一种植株器官分离方法及系统与流程

本发明涉及植物器官分离领域，特别是涉及一种植株器官分离方法及系统。

背景技术：

目前植株的三维扫描与测量都是直接使用点云数据，利用图像软件建模，很少对点云数据进行分类识别，实现植物器官分离。已有文献提出了分别以树冠、枝干、地面为目标的分类方法，主要适用于大范围景物识别，无法实现单木精细植物器官分类。还有文献提出构造散点空间分布特征，使用支持向量机(supportvectormachine,svm)对葡萄藤的植物结构进行了分类，但并没有充分考虑叶面与枝干的几何形态特性。也有文献使用的近似支持向量机(proximalsvm,psvm)和广义特征值近似支持向量机(psvmviageneralizadeigenvalues,gepsvm)两种分类器。还有文献结合叶面与枝干的几何形态特点，考虑流形结构特性，构造局部切平面分布特征，从而组成多维融合特征，以期提高分类效果，但使用方法并没有实现全自动化枝叶分离，前期仍需人工标记部分训练样本，而且训练样本的标定在一定程度上受到人为因素制约，导致分离精度低。

技术实现要素：

本发明的目的是提供一种植株器官分离方法及系统，以提高植株器官分离的精度，降低分离过程的复杂度。

为实现上述目的，本发明提供了如下方案：

一种植株器官分离方法，所述植株器官分离方法应用于植株器官分离装置，所述植株器官分离装置包括：扫描探头、测试机架、测试平台和计算机；所述扫描探头固定于所述测试机架上，所述测试机架可上下运动；所述测试平台用于承放待测量植株；所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像，并将所述植株图像传输至所述计算机，所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离；所述扫描探头包括多个摄像机和两个线性激光发射器，多个摄像机位于第一水平面，多个所述摄像机等间距分布在虚拟圆弧上；两个所述线性激光发射器位于所述第一水平面下方的第二水平面，两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机；两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上，所述第三水平面与所述第一水平面和所述第二水平面均平行；多个摄像机的拍摄角度倾斜向下；

所述植株器官分离方法包括：

获取每个摄像机拍摄的待测植株图像；

根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；

将所述初始的待测植株三维点云投影至所述全局坐标系的oxy平面，得到待测植株二维投影点图像；

利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；

根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；

利用k均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。

可选的，所述获取每个摄像机拍摄的待测植株图像，之前还包括：

对每个摄像机的内参和外参进行标定，得到每个摄像机的标定参数；

利用全局校准方法，将每个摄像机的局部坐标系统一至全局坐标系下。

可选的，所述将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云，具体包括：

利用光条骨架的灰度重心法提取激光条纹中心线；

根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

利用全局校准方法，将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云。

可选的，所述利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域，具体包括：

利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注；

采用mask-rcnn深度学习方法进行茎叶区域检测模型训练，利用茎叶区域检测模型检测待测植株二维投影点图像，得到所述待测植株的茎干和叶片区域。

一种植株器官分离系统，所述植株器官分离系统应用于植株器官分离装置，所述植株器官分离装置包括：扫描探头、测试机架、测试平台和计算机；所述扫描探头固定于所述测试机架上，所述测试机架可上下运动；所述测试平台用于承放待测量植株；所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像，并将所述植株图像传输至所述计算机，所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离；所述扫描探头包括多个摄像机和两个线性激光发射器，多个摄像机位于第一水平面，多个所述摄像机等间距分布在虚拟圆弧上；两个所述线性激光发射器位于所述第一水平面下方的第二水平面，两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机；两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上，所述第三水平面与所述第一水平面和所述第二水平面均平行；多个摄像机的拍摄角度倾斜向下；

所述植株器官分离系统包括：

待测植株图像获取模块，用于获取每个摄像机拍摄的待测植株图像；

三维点云获取模块，用于根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

拼接模块，用于将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；

投影模块，用于将所述初始的待测植株三维点云投影至所述全局坐标系的oxy平面，得到待测植株二维投影点图像；

定位模块，用于利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；

植株器官三维点云区域初始获取模块，用于根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；

植株器官三维点云区域确定模块，用于利用k均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。

可选的，所述系统还包括：

摄像机标定模块，用于对每个摄像机的内参和外参进行标定，得到每个摄像机的标定参数；

全局校准模块，用于利用全局校准方法，将每个摄像机的局部坐标系统一至全局坐标系下。

可选的，所述拼接模块具体包括：

激光条纹中心线提取单元，用于利用光条骨架的灰度重心法提取激光条纹中心线；

三维点云获取单元，用于根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

拼接单元，用于利用全局校准方法，将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云。

可选的，所述定位模块具体包括：

标注单元，用于利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注；

模型训练单元，用于采用mask-rcnn深度学习方法进行茎叶区域检测模型训练，利用茎叶区域检测模型检测待测植株二维投影点图像，得到所述待测植株的茎干和叶片区域。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过多台摄像机与激光发射器的配合，从多个角对植物进行全方位扫描，避免了数据拼接时出现盲区，该系统对植物进行三维扫描效率更高、适用性强、成本低，并且点云数据更完整，重建效果也更好。

为了完成植物三维器官分离，将三维点投影生成二维投影点以及基于二维点进行三角构网和光照处理生成二维投影图像，基于二维投影图像分割出茎干和叶片区域，再基于二维投影点与三维点的对应关系，自动获取三维点云中茎干点云区域和叶片点云区域，利用三维点与投影点的投影关系得到茎干和叶片点云大致区域；最后，利用k均值聚类算法实现植物各器官点云分割。整个三维器官分离过程首先将三维空间计算转换至二维空间计算，得到茎干和叶片点云初步分割，降低了直接基于三维点云进行点云分割的复杂度。

相比通用的三维点云分割方法，本文三维点云分割是基于茎干和叶片三维点云区域初步获取基础上，再基于每个初步已分割的点云区域进行k均值聚类分割。整个三维点云分割相比没有先验知识的点云分割，分割效率更高，分割更准确。

具体实施时，基于图像分割预训练模型利用迁移学习方法在小数据量样本上训练高性能的二维茎叶检测模型，即通过有限的已标注的二维茎叶训练样本可以得到较好性能效果。利用基于基因表达式编程的植物形态建模智能化方法生成三维玉米植物样本并对样本作轻微扰动进行样本扩充，以此生成少量有限样本。这样基于植物基因表达方法模拟生成的玉米植物样本更加丰富多样，也更加接近真实样本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明植株器官分离方法的流程示意图；

图2为本发明植株器官分离系统的结构示意图；

图3为本发明植株器官分离装置的结构示意图；

图4为本发明具体实施案例中基于基因表达式编程的玉米植株形态化建模法的流程示意图；

图5为本发明具体实施案例中采用mask-rcnn深度学习方法进行茎干区域检测模型训练的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明植株器官分离方法的流程示意图。如图1所示，所述植株器官分离方法包括以下步骤：

步骤100：获取每个摄像机拍摄的待测植株图像；

步骤200：根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

步骤300：将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；

步骤400：将所述初始的待测植株三维点云投影至所述全局坐标系的oxy平面，得到待测植株二维投影点图像；

步骤500：利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；

步骤600：根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；

步骤700：利用k均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。

其中，步骤100之前还包括：

对每个摄像机的内参和外参进行标定，得到每个摄像机的标定参数；

利用全局校准方法，将每个摄像机的局部坐标系统一至全局坐标系下。

步骤300具体包括：

利用光条骨架的灰度重心法提取激光条纹中心线；

根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

利用全局校准方法，将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云。

步骤500具体包括：

利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注；

采用mask-rcnn深度学习方法进行茎叶区域检测模型训练，利用茎叶区域检测模型检测待测植株二维投影点图像，得到所述待测植株的茎干和叶片区域。

本发明还提供一种植株器官分离系统，图2为本发明植株器官分离系统的结构示意图。如图2所示，所述植株器官分离系统包括以下结构：

待测植株图像获取模块201，用于获取每个摄像机拍摄的待测植株图像；

三维点云获取模块202，用于根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

拼接模块203，用于将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云；

投影模块204，用于将所述初始的待测植株三维点云投影至所述全局坐标系的oxy平面，得到待测植株二维投影点图像；

定位模块205，用于利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域；

植株器官三维点云区域初始获取模块206，用于根据三维点云与所述全局坐标系中投影点的对应关系，获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域；

植株器官三维点云区域确定模块207，用于利用k均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割，得到所述待测植株每个器官对应的三维点云区域。

其中，所述拼接模块203具体包括：

激光条纹中心线提取单元，用于利用光条骨架的灰度重心法提取激光条纹中心线；

三维点云获取单元，用于根据每个摄像机的标定参数，获取每个摄像机视角下的三维点云；

拼接单元，用于利用全局校准方法，将所有三维点云统一至全局坐标系进行拼接，得到初始的待测植株三维点云。

所述定位模块205具体包括：

标注单元，用于利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注；

模型训练单元，用于采用mask-rcnn深度学习方法进行茎叶区域检测模型训练，利用茎叶区域检测模型检测待测植株二维投影点图像，得到所述待测植株的茎干和叶片区域。

上述系统还包括：

摄像机标定模块，用于对每个摄像机的内参和外参进行标定，得到每个摄像机的标定参数；

全局校准模块，用于利用全局校准方法，将每个摄像机的局部坐标系统一至全局坐标系下。

上述的植株器官分离方法和植株器官分离系统均应用于植株器官分离装置，图3为本发明植株器官分离装置的结构示意图。如图3所示，植株器官分离装置包括以下结构：扫描探头、测试机架3、测试平台4和计算机(图中未标识)。所述扫描探头固定于所述测试机架3上，所述测试机架3可上下运动；所述测试平台4用于承放待测量植株；所述扫描探头用于随着所述测试机架3的运动扫描所述待测量植株不同高度的植株图像，并将所述植株图像传输至所述计算机，所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离。

所述扫描探头包括多个摄像机和两个线性激光发射器2-1和2-2，多个摄像机位于第一水平面，多个所述摄像机等间距分布在虚拟圆弧上。图中以3个摄像机为例，包括摄像机1-1、摄像机1-2和摄像机1-3。

两个线性激光发射器位于所述第一水平面下方的第二水平面，两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机，图中线性激光发射器2-1上方对应摄像机1-1，线性激光发射器2-2上方对应摄像机1-3。两个线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上，所述第三水平面与所述第一水平面和所述第二水平面均平行。多个摄像机的拍摄角度倾斜向下，使得当两个线性激光发射器发出的激光位于待测植株的顶端时，每个摄像机均可拍摄到待测植株顶端的图像。由于绿色叶片在红光和蓝光波段有吸收峰，线性激光发射器可以采用绿光激光器进行激光扫描。

本实施例的植株器官分离装置还包括：运动控制卡和步进电机，所述测试机架3和所述步进电机均与所述运动控制卡连接，通过所述步进电机调节所述测试机架3的运动状态。本实施例的植株器官分离装置还可以包括：多个窄带滤光片，所述窄带滤光片的中心波长为532nm，每个摄像机的镜头上对应设置一个所述窄带滤光片。

下面结合一个具体实施案例进一步说明本发明的方案。

本具体实施案例用来对玉米植株的器官进行分离。分离装置由3个ccd工业相机、3个滤光片、2个线性激光发射器、测试机架、测试平台、一台计算机组成。采用绿光激光器进行激光扫描，且为了增强激光条纹的对比度，以获得更高的精度，在每个相机的镜头上加上了中心波长为532nm的窄带滤光片。

将线性激光器与摄像机固定为扫描探头，相对位置始终保持不变，等间距分别固定安装在机架3个位置。2台激光器发出的线性激光保持在同一平面且平行于测试平台，相机向下倾斜与激光器保持固定角度。机架与运动控制卡链接，步进电机与运动控制卡连接，通过labview编程控制实现机架上下运动。

装置启动前，需要先对摄像机的坐标系进行统一，利用全局校准方法将每个摄像机的局部坐标系统一到全局坐标系下，即确定各个摄像机坐标系到全局坐标系的旋转矩阵及平移矩阵。

本实施案例安装了3组扫描探头，利用摄像机标定方法和线结构光激光条纹图像重建每个摄像头视角下的植株三维点云。为了将获取的三维点云能够有机拼接起来，文本将1号摄像机坐标系作为基准坐标系，然后将其他摄像机坐标系全局校准至基准坐标系下。全局校准就是计算其他摄像机坐标系到基准坐标系的旋转平移矩阵。

各摄像机坐标系的转换关系为：

其中：rn为两个相机之间的3×3旋转矩阵；tn为两个相机之间的3×1平移向量。

利用等式(1)通过计算两两摄像机之间的旋转平移矩阵，确定所有的摄像机坐标系到基准坐标系之间的旋转平移矩阵，则可将各个相机下得到的三维点云数据进行统一。

装置启动后，步进电机控制机架和扫描探头从上到下匀速进行扫描时，线性激光器投射激光条纹至待测植株表面，3部相机通过信号发生器实现图像同步采集，采集所得图像数据通过网卡送入计算机进行实时三维重建，待扫描探头从上扫描至最下端时完成整个玉米植株的三维重建与器官点云分离。具体过程如下：

步骤一、玉米植株三维重建

1.玉米植株三维点云获取

基于光条骨架的灰度重心法提取光条中心，并利用每个摄像机标定参数，则可获取每个摄像机视角下的三维点云，然后利用全局校准方法将所有三维点云调整至统一坐标系下，完成三维点云的拼接，得到初始的植株三维点云。

2、点云去噪

对已拼接完成的三维点云进行内部高频点云去除。

步骤二、玉米植株器官分离

玉米植株器官点云分离方法如下：首先，将获取的植株三维点云投影至yoz平面，形成玉米植株二维投影点，并利用三角构网和光照处理构建二维植株图像；其次，利用玉米植株图像区域分割模型定位二维植株图像的茎干和叶片区域；再次，利用三维点与投影点的投影关系得到茎干和叶片点云大致区域；最后，利用k均值聚类算法实现植物各器官点云分割。

(1)三维玉米植株模型样本收集

首先，收集50株不同生长周期和形态的玉米植株；其次，利用本文系统分别对50株玉米植株扫描重建；再次，分别以50株三维模型作为输入，利用基于基因表达式编程的植物形态建模智能化方法对初始玉米植株进化100代并模拟出优良个体玉米植株三维模型，整个三维玉米植株模拟模型数据量为3951个；最后，将50株初始三维模型和模拟完成的玉米植株三维模型进行收集，整个玉米植株三维模型样本库共计4001个。图4为本发明具体实施案例中基于基因表达式编程的玉米植株形态化建模法的流程示意图。

为了获取更多样本，对上述收集样本全部对齐至全局校准坐标系下，然后在坐标系下每个玉米植株模型进行轻微扰动5次，以达到样本扩充的目的。其中模型轻微扰动是指以模型质心为中心随机旋转、缩放和移动，旋转角度范围是0-5度，缩放大小范围是原始模型尺寸的0.9-1.1倍，移动范围0-0.1×l，l是整个模型包围盒最短边长度。

所有样本收集完毕后，共计20005个。将样本分成两部分，一部分为90％样本用于后续生成二维茎叶区域的训练样本，一部分为10％样本用于后续生成二维茎叶区域检测的测试样本和最终器官分离的精度评估样本。

(2)样本标注

将所有三维模型的三维点云投影至全局坐标系的oyz面，形成二维投影点，并对二维投影点进行三角构网和光照处理形成二维玉米植株图像；最后，利用labelme标注工具对每一幅二维玉米植株投影图像的茎干区域和叶片区域进行标注。

(3)二维茎叶检测模型

采用mask-rcnn深度学习方法进行茎干区域检测模型训练，其主要流程如下：首先，输入玉米茎叶训练样本和加载基于coco数据集上训练的预训练模型；其次，利用迁移学习方法进行玉米图像茎叶区域分割模型微调。玉米图像区域分割模型训练流程，如图5所示，图5为本发明具体实施案例中采用mask-rcnn深度学习方法进行茎干区域检测模型训练的流程示意图。

步骤三、三维器官分割

首先，将重建的玉米植株三维点云模型投影影至yoz平面，利用三角构网和光照处理构建二维植株图像；其次，根据茎叶检测模型，进行二维玉米植株图像区域分割；再次，利用茎叶检测区域信息和二维点与三维点的投影关系，反向计算三维模型中植株茎干和叶片点云大致区域；最后，利用k均值聚类算法实现三维各个器官点云的分离，并对每个三维点的分类标记，标记信息包括索引和颜色。

本实施案例能够实现以下有益效果：

创新与有益效果：

1、通过多台摄像机与激光发射器的配合，从三个角对植物进行全方位扫描，避免了数据拼接时出现盲区，该系统对植物进行三维扫描效率更高、适用性强、成本低，并且点云数据更完整，重建效果也更好。

2、由于绿色叶片在红光和蓝光波段有吸收峰，所以我们选择绿光激光器进行激光扫描，且为了增强激光条纹的对比度，以获得更高的精度，我们在每个相机的镜头上加上了中心波长为532nm的窄带滤光片，这样简化了线结构光条区域提取和提高了线结构光条中心提取精度；

3、基于图像分割预训练模型利用迁移学习方法在小数据量样本上训练高性能的二维茎叶检测模型，即通过有限的已标注的二维茎叶训练样本可以得到较好性能效果。

4、利用基于基因表达式编程的植物形态建模智能化方法生成三维玉米植物样本并对样本作轻微扰动进行样本扩充，以此生成少量有限样本。这样基于植物基因表达方法模拟生成的玉米植物样本更加丰富多样，也更加接近真实样本。

5、为了完成植物三维器官分离，将三维点投影生成二维投影点以及基于二维点进行三角构网和光照处理生成二维投影图像，基于二维投影图像分割出茎干和叶片区域，再基于二维投影点与三维点的对应关系，自动获取三维点云中茎干点云区域和叶片点云区域，利用三维点与投影点的投影关系得到茎干和叶片点云大致区域；最后，利用k均值聚类算法实现植物各器官点云分割。整个三维器官分离过程首先将三维空间计算转换至二维空间计算，得到茎干和叶片点云初步分割，降低了直接基于三维点云进行点云分割的复杂度。

6、相比通用的三维点云分割方法，本文三维点云分割是基于茎干和叶片三维点云区域初步获取基础上，再基于每个初步已分割的点云区域进行k均值聚类分割。整个三维点云分割相比没有先验知识的点云分割，分割效率更高，分割更准确。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。