一种基于3D重建自动化分析海底植物生长状况的方法与流程

本发明涉及海底植物的检测与识别领域，尤其是涉及了一种基于3d重建自动化分析海底植物生长状况的方法。

背景技术：

海底植物的检测与识别常用于海底植物种类的识别、植物生态系统监控、赤潮预测和防治等领域，自动和准确的实时海底植物表型分析是现代作物监测和农业技术的典型部分。具体地，自动检测和识别海底植物，对浮游植物进行显微图像分析，有利于海洋生态系统的建立。在生态系统监控方面，通过监测海底植物的生长状态，采集海底植物生长的信息，有助于海底植物生理方面的研究。除此之外，通过识别和检测赤潮生物的数目，分析其增值率，可预报赤潮的发生以通过一定措施进行防治。对海底植物进行非侵入性分析在海底植物科学研究中是非常需要的，因为传统技术通常需要对海底植物进行破坏，因此禁止在其生命周期内分析海底植物生长。机器视觉系统可以实现自动监测，分析和产生高生产量，无需任何手动干预。

本发明提出了一种基于3d重建自动化分析海底植物生长状况的方法，监控和分析海底植物的整个生命周期的生长。首先，龙门机器人系统用于数据采集过程的自动化，机器人按照特定的轨迹在海底植物周围移动，3d激光扫描仪放置于机械臂，可从关于海底植物的多个视角记录3d点云数据，机器人从一个视角移动到另一个视角，并与扫描仪通信，对被观察的海底植物进行扫描。每天6次按30°扫描12个视角约360°，最后将所有视图合并为单个3d三角形网格表示整个海底植物。本发明突破了传统监测会对海底植物造成破坏的局限性，开发了一种3d海底植物表型视觉系统，能够自动监控和分析海底植物整个生命周期的生长，而不对海底植物造成破坏，有利于对海底植物生长状态进行自动而准确的监测和分析，从而提高作物的产量和进一步推动海底植物科学的研究。

技术实现要素：

针对传统方法会对海底植物造成破坏的问题，开发了一种3d海底植物表型视觉系统，能够自动监控和分析海底植物的整个生命周期的生长，而不对海底植物造成破坏，有利于对海底植物生长状态进行自动而准确的监测和分析，从而提高作物的产量和进一步推动海底植物科学的研究。

为解决上述问题，本发明提供一种基于3d重建自动化分析海底植物生长状况的方法，其主要内容包括：

(一)机器人；

(二)扫描仪；

(三)生长室；

(四)多视图对齐；

(五)系统集成。

其中，所述的机器人，包括可调底座和携带7自由度机械臂的2轴高架龙门架，植物放置在可以上下移动的基座上，以适应不同的应用和植物大小，7自由度机械臂为控制3d扫描的位置和方向提供了高度的灵活性，而2轴龙门架提供了一个扩展的工作空间，机器人的精度和重复性均为0.1μm，通过编程，令机器人围绕植物按圆形轨迹移动进行扫描，最初机器人停留在原位，机械臂垂直向下放置，在初始化命令后，它通过交替的宏观和微观的关节运动从原始位置移动到所需位置，将基座中心相对于机械臂垂直轴的水平距离保持在0.56米，从基座平面到扫描仪的距离保持在0.26米，这些距离均根据经验设定，可获得最佳的扫描数据。

其中，所述的扫描仪，扫描仪是机械臂的有效载荷，以点云格式测量物体可见表面的密集深度图，扫描仪使用825nm的近红外光，降低对植物生长的影响，扫描仪的不同参数(例如视场，激光功率等)均根据经验设定，用激光功率1.0mw执行整个实验，单次扫描需要大约1分钟的时间才能产生两点间分辨率为0.25mm的点云数据，扫描仪软件通过用户数据报协议(udp)与机器人控制软件进行通信，每次机器人在扫描位置停止时，即与扫描仪通讯，进行一次扫描，然后移动到下一个位置。

其中，所述的生长室，自主设计了一个生长室内的整个机器人装置，该生长室完全可编程，可控制温度，湿度，风扇转速和光强度，使用相机进行远程监控，整个生长室是专门的嵌入式系统，可由机器人控制软件进行控制。

其中，所述的多视图对齐，多视图对齐是构建对象的3d模型的主要任务，使用高斯混合模型(gmm)登记两个非刚性点的集合，通过连续概率密度函数来表示离散点，高斯混合模型可以表示为m高斯密度的加权和：

其中x是d维向量，ωi(i＝1，...，m)是平均值为μi和协方差为σi的每个混合g的权重，并且参数λ＝{ωi，μi，∑i}，通过最小化以下代价函数来最小化两个高斯混合物之间的差异：

其中是模型点集，是场景(数据)点集，函数表示由构成的高斯混合密度，目的是找到能最小化上述代价函数的参数θ，通过使用l2范数作为距离测量，最后通过扩展相干点漂移(cpd)算法来对齐多数据集。

进一步地，所述的代价函数，给定两个点云，x＝(x1，x2，...，xm)^t和y＝(y1，y2，...，yn)^t，一般来说对于点x，gmm概率密度函数将是：

其中，

不用最大化gmm后验概率，通过最小化负对数似然函数以获得最佳对齐：

其中，

然后迭代地使用期望最大化算法来优化代价函数。

进一步地，所述的相干点漂移，该方法是包含两个步骤，从大致对齐扫描开始，然后将单次扫描登记到由所有其他扫描构造的“平均”形状中，并将集合更新以包括新登记的结果，对所有其他扫描集合执行相同的过程，避免合并错误的累积，具体通过构建“平均”扫描，登记所有其他扫描，对于扫描x，找到与扫描中的一个点相互最近邻(mnn)的点集，然后计算由每个点计算所得质心组成的扫描，一旦初始登记完成，就联合使用cpd与mnn，以恢复植物在每次扫描捕获之间受到的非刚性形变场，在这一点上，扫描应该大致对准，然后构造质心/平均扫描，继续进行登记。

其中，所述的系统集成，整合了生长室，机器人和扫描仪，其中机器人和扫描仪由不同的计算机操作，通过专用udp链接进行通信，生长室通过互联网远程进行访问，通过一个gui即可操作整个系统，一旦系统启动，理论上，它可以一直扫描和处理，直到实验终止，其中在每个扫描位置，系统等待10秒以允许设备和扫描仪在启动扫描之前被设置好，一旦完成一个扫描，即分析所得的扫描数据，以确保植物已被完全捕获(即通过边界框计算没有被剪切)。

进一步地，所述的通信，生长室与机器人操作之间的通信需要时常进行，在扫描植物时，需要关闭或大幅度降低室内的风扇转速，否则扫描数据将错误，另外，在不同的照明条件的实验中，需要生长室与机器人的扫描时间表之间的通信，在实验开始之前，根据应用需要设置生长室参数，在一组扫描之前的实验期间，机器人与生长室之间通信，关闭风扇(如有需要则打开照明)，并在扫描完成时恢复生长室的默认设置，在每次扫描时重复该过程。

进一步地，所述的扫描设置，在每次扫描期间先动态地确定包围整个植物的扫描边界，此外，随着植物生长，它可以朝向特定方向倾斜，要求相应地调整扫描仪的位置，在每次扫描之前，执行一个简单的边界框计算，在进行实际扫描之前，从2个方向(正面和侧面)执行预扫描程序，从这些扫描中，植物的边界框中心被近似并用于更新圆形扫描轨迹的旋转中心，一旦确定了植物中心，系统就会使龙门架和机械臂平移并将扫描头旋转到植物周围的指定离散位置。

附图说明

图1是本发明一种基于3d重建自动化分析海底植物生长状况的方法的系统流程图。

图2是本发明一种基于3d重建自动化分析海底植物生长状况的方法的机器人系统示意图。

图3是本发明一种基于3d重建自动化分析海底植物生长状况的方法的机器人实验室。

图4是本发明一种基于3d重建自动化分析海底植物生长状况的方法的系统示意图。

图5是本发明一种基于3d重建自动化分析海底植物生长状况的方法的边界框计算示意图。

图6是本发明一种基于3d重建自动化分析海底植物生长状况的方法的包围示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于3d重建自动化分析海底植物生长状况的方法的系统流程图。主要包括机器人、扫描仪、生长室、多视图对齐、系统集成。

其中，所述的机器人，包括可调底座和携带7自由度机械臂的2轴高架龙门架，植物放置在可以上下移动的基座上，以适应不同的应用和植物大小，7自由度机械臂为控制3d扫描的位置和方向提供了高度的灵活性，而2轴龙门架提供了一个扩展的工作空间，机器人的精度和重复性均为0.1μm，通过编程，令机器人围绕植物按圆形轨迹移动进行扫描，最初机器人停留在原位，机械臂垂直向下放置，在初始化命令后，它通过交替的宏观和微观的关节运动从原始位置移动到所需位置，将基座中心相对于机械臂垂直轴的水平距离保持在0.56米，从基座平面到扫描仪的距离保持在0.26米，这些距离均根据经验设定，可获得最佳的扫描数据。

其中，所述的扫描仪，扫描仪是机械臂的有效载荷，以点云格式测量物体可见表面的密集深度图，扫描仪使用825nm的近红外光，降低对植物生长的影响，扫描仪的不同参数(例如视场，激光功率等)均根据经验设定，用激光功率1.0mw执行整个实验，单次扫描需要大约1分钟的时间才能产生两点间分辨率为0.25mm的点云数据，扫描仪软件通过用户数据报协议(udp)与机器人控制软件进行通信，每次机器人在扫描位置停止时，即与扫描仪通讯，进行一次扫描，然后移动到下一个位置。

其中，所述的生长室，自主设计了一个生长室内的整个机器人装置，该生长室完全可编程，可控制温度，湿度，风扇转速和光强度，使用相机进行远程监控，整个生长室是专门的嵌入式系统，可由机器人控制软件进行控制。

其中，所述的多视图对齐，多视图对齐是构建对象的3d模型的主要任务，使用高斯混合模型(gmm)登记两个非刚性点的集合，通过连续概率密度函数来表示离散点，高斯混合模型可以表示为m高斯密度的加权和：

其中x是d维向量，ωi(i＝1，...，m)是平均值为μi和协方差为∑i的每个混合g的权重，并且参数λ＝{ωi，μi，∑i}，通过最小化以下代价函数来最小化两个高斯混合物之间的差异：

其中是模型点集，是场景(数据)点集，函数表示由构成的高斯混合密度，目的是找到能最小化上述代价函数的参数θ，通过使用l2范数作为距离测量，最后通过扩展相干点漂移(cpd)算法来对齐多数据集。

进一步地，所述的代价函数，给定两个点云，x＝(x1，x2，...，xm)^t和y＝(y1，y2，...，yn)^t，一般来说对于点x，gmm概率密度函数将是：

其中，

不用最大化gmm后验概率，通过最小化负对数似然函数以获得最佳对齐：

其中，

然后迭代地使用期望最大化算法来优化代价函数。

进一步地，所述的相干点漂移，该方法是包含两个步骤，从大致对齐扫描开始，然后将单次扫描登记到由所有其他扫描构造的“平均”形状中，并将集合更新以包括新登记的结果，对所有其他扫描集合执行相同的过程，避免合并错误的累积，具体通过构建“平均”扫描，登记所有其他扫描，对于扫描x，找到与扫描中的一个点相互最近邻(mnn)的点集，然后计算由每个点计算所得质心组成的扫描，一旦初始登记完成，就联合使用cpd与mnn，以恢复植物在每次扫描捕获之间受到的非刚性形变场，在这一点上，扫描应该大致对准，然后构造质心/平均扫描，继续进行登记。

其中，所述的系统集成，整合了生长室，机器人和扫描仪，其中机器人和扫描仪由不同的计算机操作，通过专用udp链接进行通信，生长室通过互联网远程进行访问，通过一个gui即可操作整个系统，一旦系统启动，理论上，它可以一直扫描和处理，直到实验终止，其中在每个扫描位置，系统等待10秒以允许设备和扫描仪在启动扫描之前被设置好，一旦完成一个扫描，即分析所得的扫描数据，以确保植物已被完全捕获(即通过边界框计算没有被剪切)。

进一步地，所述的通信，生长室与机器人操作之间的通信需要时常进行，在扫描植物时，需要关闭或大幅度降低室内的风扇转速，否则扫描数据将错误，另外，在不同的照明条件的实验中，需要生长室与机器人的扫描时间表之间的通信，在实验开始之前，根据应用需要设置生长室参数，在一组扫描之前的实验期间，机器人与生长室之间通信，关闭风扇(如有需要则打开照明)，并在扫描完成时恢复生长室的默认设置，在每次扫描时重复该过程。

进一步地，所述的扫描设置，在每次扫描期间先动态地确定包围整个植物的扫描边界，此外，随着植物生长，它可以朝向特定方向倾斜，要求相应地调整扫描仪的位置，在每次扫描之前，执行一个简单的边界框计算，在进行实际扫描之前，从2个方向(正面和侧面)执行预扫描程序，从这些扫描中，植物的边界框中心被近似并用于更新圆形扫描轨迹的旋转中心，一旦确定了植物中心，系统就会使龙门架和机械臂平移并将扫描头旋转到植物周围的指定离散位置。

图2是本发明一种基于3d重建自动化分析海底植物生长状况的方法的龙门机器人系统示意图。包括可调底座和携带7自由度机械臂的2轴架空龙门架，海底植物放置在可以上下移动的基座上，以适应不同的应用和海底植物大小。其中7自由度机械臂为控制3d扫描的位置和方向提供了高度的灵活性，而2轴龙门架提供了一个扩展的工作空间。

图3是本发明一种基于3d重建自动化分析海底植物生长状况的方法的机器人实验室。通过编程，令机器人围绕海底植物按圆形轨迹移动以进行扫描，最初，机器人停留在原位，机械臂垂直向下放置，如图所示。在命令初始化后，它通过交替的宏观和微观的关节运动从原始位置移动到所需位置。将基座中心相对于机械臂垂直轴的水平距离保持在0.56米，从基座平面到扫描仪的距离保持在0.26米。

图4是本发明一种基于3d重建自动化分析海底植物生长状况的方法的系统示意图。系统整合了生长室，机器人和扫描仪，其连接如图所示。机器人和扫描仪由不同的计算机操作，通过专用udp链接进行通信。该生长室通过互联网远程访问。整个系统通过一个gui进行操作，一旦系统启动，理论上，它可以继续扫描和处理，直到实验终止。

图5是本发明一种基于3d重建自动化分析海底植物生长状况的方法的边界框计算示意图。由于海底植物的尺寸或维度不是预先知道的，所以需要在每次扫描期间先动态地确定包围整个海底植物的扫描边界。此外，随着海底植物生长，它可以朝向特定方向倾斜，这要求相应地调整扫描仪的位置。在每次扫描之前，执行一个简单的边界框计算。在进行实际扫描之前，从2个方向(如图所示的正面和侧面)执行预扫描程序。从这些扫描中，海底植物的边界框中心被近似并用于更新圆形扫描轨迹的旋转中心。一旦确定了海底植物中心，系统就会使龙门架和机械臂平移并将扫描头旋转到海底植物周围的指定离散位置。

图6是本发明一种基于3d重建自动化分析海底植物生长状况的方法的包围示意图。在每个扫描位置，系统等待10秒以允许设备和扫描仪在启动扫描之前已被设置好。一旦一个扫描完成，分析所得到的扫描数据，以确保海底植物已被完全捕获(即通过边界框计算没有被剪切)。有时，由于扫描仪线性平台的行程(0.2m)有限，扫描仪fov不够宽，无法捕获海底植物的全部宽度。在这种情况下，将会通过移动扫描仪自动对该视图进行再次扫描。根据经验观察，对于海底植物拟南芥，不超过3次扫描就可以包围单个视图，如图所示。通常，如果海底植物不太宽，则p的单一视图就足够了。否则，在位置p1，p2和p3执行侧扫。所有扫描，包括侧面扫描均是完全自动化。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。