植株三维点云的叶杆分离方法
【专利摘要】本发明公开了一种植株三维点云的叶杆分离方法，包括：(1)获取待分离植株的叶片样本的三维点云，经降噪处理后确定若干个叶片样本关键点；(2)计算各个叶片样本关键点的三维特征描述矢量；(3)获取待分离植株的三维点云，经降噪处理后确定若干个植株关键点，并采用三维区域增长算法将植株关键点划分至若干个独立区域；(4)针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独立区域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维点云的叶杆分离。本发明解决了茎杆远小于叶片宽度、且叶片的平均法向量变化小于叶柄处法向量变化的植株的叶杆分离，且分离过程简洁、速度快、易于实现。
【专利说明】植株三维点云的叶杆分离方法
【技术领域】
[0001] 本发明涉及三维点云分割【技术领域】，尤其涉及一种植株三维点云的叶杆分离方 法。
【背景技术】
[0002] 几个世纪以来，作物育种的目的一直是培育出产量更高、更适合抵抗各种不利环 境条件、营养价值更高的品种并且能利用现有耕地满足全世界对更多和更好粮食品种的需 求。在作物育种过程中，无论采用什么样的育种技术，生物学家们都需要观测作物的表型。 而一直以来，作物表型的观察与测量是一个费时费力的高成本工作。很多育种工作为了完 成作物表型的观测任务，往往将本应贯穿在整个作物生长过程中全过程观测简化为最后的 产出比对。可见，作物生长信息的精确快速测量已成为作物育种工作的一个重要的瓶颈。随 着三维技术的发展，我们已有可能采用三维技术，获取作物的三维点云数据并建立三维作 物模型，在三维作物模型上自动完成所需的表型观测。
[0003] 当我们获取作物的三维点云数据后，通常我们需要把作物叶片和作物的茎杆分 开处理。作物叶片和莖杆的分离在常规的三维点云处理中，属于三维点云自动分割领域。 DouiIIard在2011年，针对三维LIDAR数据，首先提取数据的地面信息，通过地面信息的提 取，将位于一个地平面上的不同物体分离开来。JanKnopp在2011年，采用隐含形态模型 (ImplicitShapeModle,ISM)与最小割算法（Min-Cut)相结合的方法，将嵌入一个场景复 杂某个特定物体分离出来。上述研宄中，或是只侧重于物体的分离，无需识别。或是侧重于 将同一物体从不同场景中的分离出来。而植株体的叶杆分离的不同点在于：植物的叶与茎 杆有明显的形态差异，同一植株的不同的叶子之间和茎杆之间都只是相似，而不是完全相 同；我们最终希望能够从三维植株点云中识别并分离出叶子。
[0004] 本发明提出了一种简易的叶杆分离方法，即三维区域增长与三维霍夫投票相结合 的方法完成叶杆分离。
【发明内容】
[0005] 针对现有技术的不足，本发明提供了一种植株三维点云的叶杆分离方法。
[0006] -种植株三维点云的叶杆分离方法，包括：
[0007] (1)获取待分离植株的叶片样本的三维点云，经降噪处理后确定若干个叶片样本 关键点；
[0008] (2)计算各个叶片样本关键点的三维特征描述矢量；
[0009] (3)获取待分离植株的三维点云，经降噪处理后确定若干个植株关键点，并采用三 维区域增长算法将植株关键点划分至若干个独立区域；
[0010] (4)针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独 立区域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维 点云的叶杆分离。
[0011] 本发明中给的叶杆分离是指将叶子从杆茎上分离下来。
[0012] 本发明的叶杆分离方法适用于细杆植株，即植株的茎杆直径相对于叶片的宽度来 说要小很多，而且植株茎杆和叶片没有明显的颜色差异，如茶树苗期、辣椒、番茄等，无法采 用颜色作为叶杆分离的指标。
[0013] 本发明中选取植株点云的关键点作为识别基础，首先采用区域增长算法将植株关 键点划分至独立区域，然后以独立区域为单位进行识别，确定各个独立区域为叶片或杆茎， 大大提高了叶杆分离的效率。
[0014] 所述步骤（1)、（3)中进行降噪处理时，均采用统计异常点去除法去掉相应的离散 点。使叶片更平滑并使杆茎部分更加稀疏，有利于三维区域增长分离植株部件更加准确。
[0015] 采用三维体元网格过滤法确定叶片样本关键点或植株关键点。可以在叶片出现因 配准而引起的多层叶片问题时，有效去除或避免多层叶片所引起的识别错误的问题。
[0016] 所述步骤（2)中通过如下步骤计算叶片样本关键点的三维特征描述矢量：
[0017] (2-1)计算各叶片样本关键点的三维快速点特征直方图描述矢量，并根据得到的 三维快速点特征直方图描述矢量计算叶片样本的矢量描述中心；
[0018] (2-2)计算当前叶片样本关键点的三维快速点特征直方图描述矢量与矢量描述中 心的相对位置关系矢量，并将该相对位置关系矢量转换到局部参考坐标系下作为当前叶片 样本关键点的三维特征描述矢量；
[0019] 所述的局部参考坐标系由当前叶片样本关键点与其邻域点的距离加权协方差矩 阵的三个特征向量构建。
[0020] 局部参考坐标系的构建具体参见如下文献：Federico TombarijSamueleSaltijandLuigiDiStefano，UniqueSignaturesofHistogramsfor LocalurfaceDescription.ECCV2010。PartIII，LNCS6313,pp. 356 - 369, 2010〇
[0021] 其中，各叶片样本关键点的三维快速点特征直方图描述矢量以及矢量描述中心均 采用现有方法计算得到。
[0022] 所述步骤（3)通过如下方法将植株关键点划分至独立区域：
[0023] (3-1)计算各个植株关键点的曲率和法向量，将各个植株关键点按照曲率大小排 序；
[0024] (3-2)初始化一个独立区域，在未进行划分的植株关键点中选取曲率最小的移动 至独立区域，并以该曲率最小的植株关键点作为种子；
[0025] (3-3)在预设邻域内确定与该种子几何距离最近、且未进行划分的植株关键点作 为邻域点，并计算该邻域点与种子的法向量的夹角；
[0026] (3-4)将所述的夹角与预设的角度阈值进行比较，并根据比较结果进行如下操 作：
[0027] 若夹角小于预定的角度阈值，则认为该邻域点与种子是同一区域，将该邻域点划 分至独立区域中，并进行如下操作：
[0028] (a)若该邻域点的曲率小于或等于预设的曲率阈值，则以该邻域点作为种子，返回 步骤（3-3);
[0029] (b)若该邻域点的曲率大于预设的曲率阈值，则返回步骤（3-2);
[0030] 否则，直接返回步骤（3-2)。
[0031] 每次返回步骤（3-2)时都会重新初始化一个独立区域，通过若干次循环将所有的 植株关键点均划分至相应的区域中。实际上初始化得到的独立区域并不能确定该独立区域 的最终包含的植株关键点，需要不断将满足夹角满足条件的关键点划分至该独立区域，完 成增长。未进行划分的植株关键点指没有被划分至相应的独立区域的植株关键点。
[0032] 对于每个独立区域，增长时均从未进行划分的植株关键点中曲率最小的植株关键 点作为增长的起点，进而使增长时从点云中最平的点开始，有利于把成片的较平整的独立 区域连在一起。
[0033] 采用三维区域增长算法进行区域增长后，可能出现因采样噪声等引起的个别植株 关键点的所属区域与周围点有明显不同。为避免该情况，在区域增长结束后，还采用三维均 值滤波法对三维点云进行降噪。
[0034] 邻域大小阈值可根据叶片的实际大小和叶片表面的实际平滑程度来选取。作为优 选，所述的邻域为直径为〇. 5cm?Icm的圆形区域，所述圆形区域以种子为圆心。
[0035] 具体实现时，首先计算所选邻域内任意两个相邻的植株关键点的法向量的角度 差，然后再求和后除以相邻的植株关键点的对数，即得到角度差的平均值。
[0036] 在采用三维区域增长算法时，至少需要一个相邻的法向量变化角度域值（即角度 域值）。由于不同数据获取方法所获取的点云密度不一，所述的角度阈值根据所选邻域内， 相邻植株关键点的法向量之间的夹角设定，作为优选，为所选邻域内，所有相邻的植株关键 点的法向量的夹角的平均值的〇. 9?I. 1倍。因此，本方法适用于叶柄处的法向量变化角 度大于叶片平均法向量角度变化的植株。
[0037] 所述的曲率阈值根据所选邻域范围内，相邻的植株关键点的曲率变化量设定，作 为优选，所述的曲率阈值为所选邻域范围内，相邻的植株关键点的曲率变化量的平均值的 2?3倍。
[0038] 不同类型的植物及不同的数据获取方法，有不一样的点云数据的特点。因此，对于 由特定一种方法得到的特定生长期的某类植株点云，需要通过实验，选择一个较好的阈值 系数。以相邻空间点的平均几何参数变化为系数选择的基准点，有利于尽快找到较理想的 域值。
[0039] 所述步骤（4)中针对每一个独立区域：
[0040] (4-1)计算当前独立区域中各个植株关键点的三维特征描述矢量；
[0041] (4-2)针对当前独立区域中的每个植株关键点，进行如下操作：
[0042] (4-21)确定所有叶片样本关键点的三维特征描述矢量与当前植株关键点的三维 特征描述矢量的距离，以距离最近的叶片样本关键点的三维特征描述矢量作为标准矢量；
[0043] (4-22)根据该标准矢量反推出当前独立区域的中心位置，即由标准矢量，可得到 该标准矢量相对于原叶片中心的位置关系V，由该位置关系V可计算出相对于当前三维特 征描述矢量所对应的独立区域的叶片中心位置，并在该中心位置上的权重加1 ;
[0044] (4-3)统计各个中心位置的权重作为该中心位置的投票结果，若存在投票结果大 于预设的投票阈值的中心位置，则认为当前独立区域为叶片；
[0045] 否则，认为当前独立区域为杆茎。
[0046] 本发明中针对每一个关键点（包括叶片样本关键点或植株关键点）可以理解为对 应的一系列原始点云的特征表示。因此，当一个独立区域为叶片，即认为该独立区域中所有 植株关键点对应的三维点云均为叶片。
[0047] 本发明中为杆茎的独立区域可能是杆茎也可能是叶片，若是叶片，则为误判，误判 的概率直接影响到该方法的分离率。
[0048] 本发明中定义分离率为所分离叶片数量占植株上所有面积大于ICM的叶片数量 的比例。太小的叶片没有完全展开的叶片不在本算法的考虑范围内。例如，一个植物有10 片叶子，10片都分呙出来了，贝 1J分呙率为100%。如果只分呙出9. 5片，贝Ij分呙率为95%。
[0049] 投票阈值可根据实际分离的植株的种类进行调整，通常通过计算待分离植株的典 型叶片的投票值而得到，即可事先针对比较特殊的叶片（如采样效果不是太好的叶片），计 算一次投票值，作为投票阈值。
[0050] 本发明的有益效果：
[0051] (1)本发明解决了在叶柄部有显著法向量变化，柄部法向量变化大于叶片平均法 向量变化的叶杆分离问题。
[0052] (2)本发明不需要采用点云的颜色信息即可完成植株点云数据的叶杆分离，可适 用于大部分的三维扫描仪数据。
【具体实施方式】
[0053] 下面将结合具体实施例以及对比例对本发明的植株三维点云的叶杆分离方法进 行详细说明。
[0054] 选取辣椒苗、茶树各1株为例来说明实施方式不同的植株作为待分离植株，采集 三维点云数据。这2株待分离植株的三维点云的数量分别为：18576、18655个。
[0055] 实施例1
[0056] 本实施例的植株三维点云的叶杆分离方法包括如下步骤：
[0057] (1)获取待分离植株的叶片样本的三维点云，采用统计异常点去除法去掉相应的 离散点，以对获取的三维点云进行降噪处理，经降噪处理后采用三维体元网格过滤法确定 若干个叶片样本关键点。
[0058] 采用统计异常点去除法去掉叶片表面的离散噪声点，使叶片更平滑；叶柄在使用 了统计异常点去除法后，会使叶柄处的点更少，使之在形态上更细，有利于三维区域增长分 离作物部件更加准确。
[0059] 采用三维体元网格过滤法确定若干个叶片样本关键点，之后以关键点作为判定依 据，可以有效减小甚至去除多层叶片引起的误判问题。
[0060] (2)计算各个叶片样本关键点的三维特征描述矢量，具体如下：
[0061] (2-1)计算各叶片样本关键点的三维快速点特征直方图描述矢量，并根据得到的 三维快速点特征直方图描述矢量计算叶片样本的矢量描述中心；
[0062] (2-2)计算当前叶片样本关键点的三维快速点特征直方图描述矢量与矢量描述中 心的相对位置关系矢量，并将该相对位置关系矢量转换到局部参考坐标系下作为当前叶片 样本关键点的三维特征描述矢量；
[0063] 本实施例中局部参考坐标系由当前叶片样本关键点与其邻域点的距离加权协方 差矩阵的三个特征向量构建。
[0064] (3)获取待分离植株的三维点云，并采用与步骤（1)相同的方法进行降噪处理并 确定若干个植株关键点；然后采用三维区域增长算法将植株关键点划分至若干个独立区 域。
[0065] 通过如下操作进行划分：
[0066] (3-1)计算各个植株关键点的曲率和法向量，将各个植株关键点按照曲率大小排 序；
[0067] (3-2)初始化一个独立区域，在未进行划分的植株关键点中选取曲率最小的移动 至独立区域，并以该曲率最小的植株关键点作为种子；
[0068] (3-3)在预设邻域内确定与该种子几何距离最近、且未进行划分的植株关键点作 为邻域点，并计算该邻域点与种子的法向量的夹角；
[0069] (3-4)将所述的夹角与预设的角度阈值进行比较，并根据比较结果进行如下操 作：
[0070] 若夹角小于预定的角度阈值，则认为该邻域点与种子是同一区域，将该邻域点划 分至独立区域中，并进行如下操作：
[0071] (a)若该邻域点的曲率小于或等于预设的曲率阈值，则以该邻域点作为种子，返回 步骤（3-3);
[0072] (b)若该邻域点的曲率大于预设的曲率阈值，则返回步骤（3-2);
[0073] 否则，直接返回步骤（3-2)。
[0074] 通过区域增长算法进行区域划分后，大部分的叶片已完整的分离开了。但仍无法 知道每个分离的区域是叶还是杆，因此还需要进一步判定。
[0075] (4)针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独 立区域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维 点云的叶杆分离。具体通过如下步骤实现：
[0076] (4-1)计算当前独立区域中各个植株关键点的三维特征描述矢量；
[0077] (4-2)针对当前独立区域中的每个植株关键点，进行如下操作：
[0078] (4-21)确定所有叶片样本关键点的三维特征描述矢量与当前植株关键点的三维 特征描述矢量的距离，以距离最近的叶片样本关键点的三维特征描述矢量作为标准矢量；
[0079] (4-22)根据该标准矢量反推出当前独立区域的中心位置，并在该中心位置上的权 重加1 ;
[0080] (4-3)统计各个中心位置的权重作为该中心位置的投票结果，若存在投票结果大 于预设的投票阈值的中心位置，则认为当前独立区域为叶片。
[0081] 本实施例中采用最不典型叶片的投票值作为三维霍夫投票的投票阈值。
[0082] 其中，预设邻域、角度阈值、曲率阈值和投票阈值与待分离植株的叶片宽度与茎杆 直径的比有关。
[0083] 本实施例中当待分离植株为辣椒苗时，邻域为25mm2 (直径），角度阈值为0. 20,曲 率阈值为〇. 08,投票阈值为45。
[0084] 本实施例中当待分离植株为茶树时，邻域为25mm2 (直径）角度阈值为0. 10,曲率 阈值为〇. 03,投票阈值为40。
[0085] 本实施例中对于不同植株的分离率和分离时间（完成分离所用的时间）如表1所 示。表1还列出了采用其他方法时，对应的分离率和分离时间。
[0086] 表I
[0087]
【权利要求】
1. 一种植株三维点云的叶杆分离方法，其特征在于，包括： (1) 获取待分离植株的叶片样本的三维点云，经降噪处理后确定若干个叶片样本关键 占 . (2) 计算各个叶片样本关键点的三维特征描述矢量； (3) 获取待分离植株的三维点云，经降噪处理后确定若干个植株关键点，并采用三维区 域增长算法将植株关键点划分至若干个独立区域； (4) 针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独立区 域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维点云 的叶杆分尚。
2. 如权利要求1所述的植株三维点云的叶杆分离方法，其特征在于，所述步骤（1)、（3) 中进行降噪处理时均采用统计异常点去除法去掉相应的离散点。
3. 如权利要求2所述的植株三维点云的叶杆分离方法，其特征在于，采用三维体元网 格过滤法确定叶片样本关键点或植株关键点。
4. 如权利要求3所述的植株三维点云的叶杆分离方法，其特征在于，所述步骤（2)中通 过如下步骤计算叶片样本关键点的三维特征描述矢量： (2-1)计算各叶片样本关键点的三维快速点特征直方图描述矢量，并根据得到的三维 快速点特征直方图描述矢量计算叶片样本的矢量描述中心； (2-2)计算当前叶片样本关键点的三维快速点特征直方图描述矢量与矢量描述中心的 相对位置关系矢量，并将该相对位置关系矢量转换到局部参考坐标系下作为当前叶片样本 关键点的三维特征描述矢量； 所述的局部参考坐标系由当前叶片样本关键点与其邻域点的距离加权协方差矩阵的 三个特征向量构建。
5. 如权利要求1?4中任意一项权利要求所述的植株三维点云的叶杆分离方法，其特 征在于，所述步骤（3)通过如下方法将植株关键点划分至独立区域： (3-1)计算各个植株关键点的曲率和法向量，将各个植株关键点按照曲率大小排序； (3-2)初始化一个独立区域，在未进行划分的植株关键点中选取曲率最小的移动至独 立区域，并以该曲率最小的植株关键点作为种子； (3-3)在预设邻域内确定与该种子几何距离最近、且未进行划分的植株关键点作为邻 域点，并计算该邻域点与种子的法向量的夹角； (3-4)将所述的夹角与预设的角度阈值进行比较，并根据比较结果进行如下操作： 若夹角小于预定的角度阈值，则认为该邻域点与种子是同一区域，将该邻域点划分至 独立区域中，并进行如下操作： (a) 若该邻域点的曲率小于或等于预设的曲率阈值，则以该邻域点作为种子，返回步骤 (3-3)； (b) 若该邻域点的曲率大于预设的曲率阈值，则返回步骤（3-2); 否则，直接返回步骤（3-2)。
6. 如权利要求5所述的植株三维点云的叶杆分离方法，其特征在于，所述的邻域大小 阈值根据叶片的实际大小和叶片表面的实际平滑程度设定。
7. 如权利要求6所述的植株三维点云的叶杆分离方法，其特征在于，所述的角度阈值 为所选邻域内，相邻的植株关键点的法向量的角度差的平均值的0. 9?1. 1倍。
8. 如权利要求7所述的植株三维点云的叶杆分离方法，其特征在于，所述的曲率阈值 为所选邻域范围内，相邻的植株关键点的曲率变化量的平均值的2?3倍。
9. 如权利要求8所述的植株三维点云的叶杆分离方法，其特征在于，所述步骤（4)中针 对每一个独立区域： (4-1)计算当前独立区域中各个植株关键点的三维特征描述矢量； (4-2)针对当前独立区域中的每个植株关键点，进行如下操作： (4-21)确定所有叶片样本关键点的三维特征描述矢量与当前植株关键点的三维特征 描述矢量的距离，以距离最近的叶片样本关键点的三维特征描述矢量作为标准矢量； (4-22)根据该标准矢量反推出当前独立区域的中心位置，并在该中心位置上的权重加 1 ; (4-3)统计各个中心位置的权重作为该中心位置的投票结果，若存在投票结果大于预 设的投票阈值的中心位置，则认为当前独立区域为叶片； 否则，认为当前独立区域为杆茎。
【文档编号】G06T7/00GK104484873SQ201410713753
【公开日】2015年4月1日 申请日期:2014年11月28日 优先权日:2014年11月28日
【发明者】方慧, 张昭, 何勇, 刘飞 申请人:浙江大学