一种基于轮廓分割的高架原位草莓三维建模方法与流程

本发明涉及三维图像生成技术领域，具体涉及一种基于轮廓分割的高架原位草莓三维建模方法。

背景技术：

基于实测数据的植物三维建模是农业数字化研究及应用的重要环节，通过建立的植物三维模型，不仅能够快速测量作物参数，探索植物生长发育规律，而且可研究植株枝叶分布特点，建立简便、快速、准确的目标搜索方法，为智能农业机器人植物场景构建提供新的技术支持。

目前，国内外常作为植物三维建模采集设备的有三类：三维数字化仪、激光扫描仪和深度相机TOF(Time of Flight)相机。三维数字化仪能够多角度采集植株各点信息，但采集过程复杂，对外界环境条件要求苛刻。激光扫描仪扫描速度快、点云精度高，但后续处理过程繁琐，需大量人工交互。深度相机TOF(Time of Flight)相机，可快速获取场景深度信息，并转换成植物表面三维点云数据，但设备分辨率不高。

光学混合探测器PMD(Photonic Mixer Device)相机是一种基于TOF三维成像设备，受光照影响较小，能够快速获取场景多源信息，与彩色相机的结合使用，在非结构光环境的多源图像融合中得到了较好的应用，为草莓植株三维建模提供了可靠的工具。

三维信息的分割是将点云分割为不同的区域以便于属于同一平面的点可以归为一个区域，三维信息分割技术已在遥感、测绘医学等领域得到了广泛的应用，该方法常以点云的曲率突变、几何特征突变、密度突变等为特征进行分割。PMD相机获取的深度点云，边缘存在跳边数据，不同点云区域间存在平滑过渡的跳边点云，其特征的突变往往难以检测；传统建模方法不能在大棚高架原位条件下建立整株植物三维模型，而且所采集数据的利用率低。

目前，针对大棚环境下的高架原位草莓的三维形态模型建模技术未见报道。

技术实现要素：

针对上述技术问题，本发明的目的是提供一种适合于大棚环境下基于轮廓分割的高架原位草莓三维建模方法。

为了实现上述目的，本发明提供了如下技术方案：

本发明提供一种基于轮廓分割的高架原位草莓三维建模方法，其特征在于：该方法包括如下步骤：

步骤S101，多源图像预处理：

利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像，该多源图像包括彩色图像、强度图像和深度图像；保证多源图像内，存在至少一株完整的草莓；

采用基于特征的多源图像融合方法，将该草莓的彩色图像与强度图像进行像素点间的匹配，得到彩色图像与强度图像的空间映射关系；并利用色彩空间滤除背景,得到待分割强度图像；

步骤S102，分割轮廓初始化：

计算步骤S101得到的待分割强度图像的矢量场卷积模型，采用快速傅里叶法计算离散后的矢量场卷积的大小及方向；并选取矢量流场散射中心作为轮廓点集，设置轮廓点集的两点间距离阈值对轮廓点集进行精简，得到最终的初始轮廓点集；

步骤S103，强度图像过分割：

构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力，以弹性能量和刚性能量的和为内部力，以步骤S102中的初始轮廓点集为起始位置的能量泛函，然后，通过设置弹性和刚性系数，不断迭代计算能量泛函，使强度图像的初始轮廓动态演化成过分割轮廓；

步骤S104，区域点云提取：

建立空的模型点云集，以过分割轮廓作为边缘点云，提取并保存其内部点云，采用标记的方法统计点云数量，归并或去除遗漏点云，得到最终的模型点云集；

步骤S105，叶片模型选择及显示：

设计以单个内部三维点云集为单位的平面拟合选择机制，以最小均方差模型作为叶片的三维模型，统一各个叶片的空间坐标，得到整株叶片的三维模型。

所述步骤S101中，选用Harris算子提取彩色图像与强度图像的角点，依据角点附近8邻域的灰度均值作为相似性测度，提取12对以上同名点；计算同名点间距离大小并进行排序，保留距离最远的3～6对点；以保留的点对为基准，对彩色图像进行仿射变化，记录得到彩色图像与强度图像的空间映射关系；

进一步，将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间，通过最大类间方差法计算该空间模型的阈值，从而将草莓植株与背景分离，然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息，得到滤除背景的待分割强度图像。

所述步骤S102中，矢量场卷积的大小及方向的具体计算步骤如下：

对于待分割强度图像，以(0,0)为核原点，用公式m(i，j)＝(r+ε)^-γ计算卷积核的模值大小和方向；其中，i、j为强度图像的横、纵像素坐标，r、ε、γ分别为引力大小、无限小常数和指数参数；指数参数γ的选取范围为2～5，方向为像素点指向核原点的单位向量,将带方向的卷积核记为k(i，j)；把卷积核k(i，j)与待分割强度图像的边缘图f(i，j)进行卷积操作，得到矢量场卷积模型f_vfc；

构造核半径大小为的离散矩阵，其中M为强度图像的大小，对卷积核进行离散，利用快速傅里叶算法求解卷积核与边缘图的卷积，求出离散后的矢量流场大小及方向，记为f_vfc(v(s，t))；

其中，

v(s，t)＝[x(s，t)，y(s，t)]^T为随时间变化的参数曲线；

x(s，t)，y(s，t)——x，y方向随时间变化的参数曲线；

s——归一化曲线长度；

t——时间。

所述步骤S102中，最终的初始轮廓点集通过如下方法获得：

将待分割强度图像中P(i，j)点矢量流场的方向分成x,y两方向，各个方向再分为三类，分别用数字1、0、-1标记：

其中1表示向右，0表示无方向，-1表示向右；

构建数组P_SX、P_SY用于保存满足以下条件的点P(i，j)，

P_SX＝{P(i，j)│x(i，j)≤x(i+1，j)&abs(h(x(i，j))+h(x(i+1，j)))≤1}

P_SY＝{P(i，j)│y(i，j)≤y(i+1，j)&abs(h(y(i，j))+h(y(i+1，j)))≤1}

式中，

P(i，j)——图像坐标为(i，j)的点

P_SX，P_SY——点集数组

x(i，j)，y(i，j)——(i，j)点的x，y方向力场

abs——求绝对值

h(x(i，j))+h(x(i+1，j))——相邻点力场方向和

取P_SX、P_SY的交集作为轮廓点集P_S，计算P_S内两点间距离并对该距离排序，设置两点距离阈值D_min，取值范围为其中M为图像大小，当点集中存在两点间间距大于该阈值的点，则在P_S点集空间中随机删除二者之间排序靠前的点，实现对点集空间P_S的精简，得到最终的初始轮廓点集P；

所述步骤S103中，能量泛函为：

其中，

v(s，t)＝[x(s，t)，y(s，t)]^T为随时间变化的参数曲线；

αv″(s，t)为弹性能量；

βv″″(s，t)为刚性能量；

F_ext＝f_vfc(v(s，t))为外部力。

式中：

α——弹力系数

β——刚性系数

取上式α为0.5～0.8，β为0.5～0.9，采用有限差分法不断迭代求解该能量泛函，初始轮廓点集P中若干个点可构成一个初始轮廓，每一个初始轮廓将对应一个过分割轮廓，得到k个强度图像的过分割轮廓；

所述步骤S104中，建立模型点云集Q＝{q₁，q₂，q₃，...，q_i|1≤i≤k}，其中q_i为内部三维点云集，q_i＝{(x,y,z)|x∈R,y∈R,z∈R},R为实数集，k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除，统计总的有效点N；以步骤S103中强度图像的k个过分割轮廓作为边缘，从N中提取这k个内部三维点云并分别保存至内部三维点云集q_i(i＝1，2，3，...，k)中；标记N中提取出的内部三维点云，统计N中未标记的三维点云U，设置三维点云最小数量阈值U_min，阈值取值范围为当U＞U_min时，将U提取出，并保存至新的内部三维点云集q_k+1中，更新k值，更新模型点云集Q＝{q，q₂，q₃，...，q_i|1≤i≤k}及分割轮廓个数k，当U＜U_min时，从N中删除U。

所述步骤S105中，实际点云的坐标形式为(x,y,z)，则叶片模型为Z＝H(x，y)，选择平面型模型Z₁和曲面型模型Z₂两种备选叶片模型，

式中：a，b，c，d，e——叶片模型系数

x,y,z——原始三维点云坐标

Z₁，Z₂——拟合后三维点云z轴方向坐标

对k个内部三维点云集q_i设置最小均方差“小者为优”的选择机制，平面型模型Z₁和曲面型模型Z₂与实际点云的均方差分别记为E₁、E₂，若E₁＜E₂，则采用平面型模型Z₁作为叶片的三维结构，否则选用曲面型模型Z₂；

处理完模型点云集Q中的每个内部三维点云集q_i后，将它们的三维结构同时显示在同一坐标空间下，即可得到草莓植株的三维模型。

与现有技术相比，本发明的有益效果在于：

本发明通过计算矢量场卷积的中心点，选出多目标的初始轮廓控制点，将参数的活动轮廓模型应用于强度图像过分割；采用标记的方法将分割轮廓转换成点云集，以点云集为单位构建平面拟合选择机制，最终完成高架原位草莓三维模型的建模及显示，为农业智能机器人局部视觉场景构建进行了探索性研究；采用本发明方法可对原位的植株进行三维建模，有效克服了传统建模方法不能在大棚环境下建立整株植物三维模型的局限，提高了所采集数据的利用率。

本发明解决了深度相机无法用点云分割方法建立单个叶片模型的问题，在提升叶片细节的基础上，保留了草莓植株的形态空间关系，研究成果为智能农业机器人局部视觉场景的构建提供了新的技术支持，对植株参数测量、采摘等大棚草莓信息化管理具有重要意义，同时，本发明还适用于其他小型蔷薇类植物的三维建模。

附图说明

图1为本发明基于轮廓分割的高架原位草莓三维建模方法的流程图；

图2a为本发明实施例的彩色图像预处理结果图；

图2b为本发明实施例的待分割强度图像；

图3为本发明实施例的初始化的轮廓效果图；

图4为本发明实施例的强度图像轮廓分割结果图；

图5为本发明实施例的单个叶片区域三维点云提取图；

图6a为本发明实施例的三维形态模型效果图；

图6b为本发明实施例的植株三维模型的侧视效果图；

图6c为本发明实施例的植株三维模型的俯视效果图。

具体实施方式

下面结合附图和实施例对本发明进行进一步说明。

本发明的基于轮廓分割的高架原位草莓三维建模方法，利用基于光合混合探测技术的PMD相机与彩色相机分别获取草莓植株图像，针对强度图像和彩色图像，开展基于多源图像分割的草莓植株三维建模技术研究。依据配准点将彩色图像转换成强度图像相同大小的待分割图像，应用L*a*b*彩色模型及多源图像映射关系去除强度背景信息；以矢量场中心为初始轮廓的参数活动轮廓模型为强度图分割准则，确定点云过分割区域；对各个区域的点云设定两类可选模型，实现不同姿态叶片的三维建模及显示。

本发明的基于轮廓分割的高架原位草莓三维建模方法包括如下步骤：

步骤S101，多源图像预处理：

利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像，该多源图像包括彩色图像、强度图像和深度图像；保证多源图像内，存在至少一株完整的草莓。

采用基于特征的多源图像融合方法，将该草莓的彩色图像与强度图像进行像素点间的匹配，得到彩色图像与强度图像的空间映射关系，并利用色彩空间滤除背景,得到待分割强度图像；具体步骤如下：

选用Harris算子提取彩色图像与强度图像的角点，依据角点附近8邻域的灰度均值作为相似性测度，提取12对以上同名点。计算同名点间距离大小并进行排序，保留距离最远的3～6对点；以保留的点对为基准，对彩色图像进行仿射变化，记录得到彩色图像与强度图像的空间映射关系。

进一步，将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间，通过最大类间方差法计算该空间模型的阈值，从而将草莓植株与背景分离，然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息，得到滤除背景的待分割强度图像。

步骤S102，分割轮廓初始化：

首先，计算步骤S101得到的待分割强度图像的矢量场卷积模型，采用快速傅里叶法计算离散后的矢量场卷积的大小及方向，具体步骤如下：

对于待分割强度图像，以(0,0)为核原点，用公式m(i，j)＝(r+ε)^-γ计算卷积核的模值大小和方向；其中，i、j为强度图像的横、纵像素坐标，r、ε、γ分别为引力大小、无限小常数和指数参数；指数参数γ的选取范围为2～5，优选指数参数γ为2，方向为像素点指向核原点的单位向量,将带方向的卷积核记为k(i，j)。把卷积核k(i，j)与待分割强度图像的边缘图f(i，j)进行卷积操作，得到矢量场卷积模型f_vfc。

构造核半径大小为的离散矩阵，其中M为强度图像的大小，对卷积核进行离散，利用快速傅里叶算法求解卷积核与边缘图的卷积，求出离散后的矢量流场大小及方向，记为f_vfc(v(s，t))。

其中，

v(s，t)＝[x(s，t)，y(s，t)]^T为随时间变化的参数曲线，

x(s，t)，y(s，t)——x，y方向随时间变化的参数曲线

s——归一化曲线长度

t——时间

然后，选取矢量流场散射中心作为轮廓点集，设置轮廓点集的两点间距离阈值对轮廓点集进行精简，得到最终的初始轮廓点集。

将待分割强度图像中P(i，j)点矢量流场的方向分成x,y两方向，各个方向再分为三类，分别用数字1、0、-1标记：

其中1表示向右，0表示无方向，-1表示向右。

构建数组P_SX、P_SY用于保存满足以下条件的点P(i，j)，

P_SX＝{P(i，j)│x(i，j)≤x(i+1，j)&abs(h(x(i，j))+h(x(i+1，j)))≤1}

P_SY＝{P(i，j)│y(i，j)≤y(i+1，j)&abs(h(y(i，j))+h(y(i+1，j)))≤1}

式中，

P(i，j)——图像坐标为(i，j)的点

P_SX，P_SY——点集数组

x(i，j)，y(i，j)——(i，j)点的x，y方向力场

abs——求绝对值

h(x(i，j))+h(x(i+1，j))——相邻点力场方向和

取P_SX、P_SY的交集作为轮廓点集P_S，计算P_S内两点间距离并对该距离排序，设置两点距离阈值D_min，取值范围为其中M为强度图像大小，当点集中存在两点间间距大于该阈值的点，则在P_S点集空间中随机删除二者之间排序靠前的点，实现对点集空间P_S的精简，得到最终的初始轮廓点集P。

步骤S103，强度图像过分割：

构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力，以弹性能量和刚性能量的和为内部力，以步骤S102中的初始轮廓点集P为起始位置的能量泛函：

其中，

v(s，t)＝[x(s，t)，y(s，t)]^T为随时间变化的参数曲线；

αv″(s，t)为弹性能量；

βv″″(s，t)为刚性能量；

F_ext＝f_vfc(v(s，t))为外部力。

式中：

α——弹力系数

β——刚性系数

然后，通过设置弹性和刚性系数，不断迭代计算能量泛函，将强度图像的初始轮廓动态演化成过分割轮廓。

取上式α为0.5～0.8，β为0.5～0.9，采用有限差分法不断迭代求解该能量泛函，初始轮廓点集P中若干个点可构成一个初始轮廓，每一个初始轮廓将对应一个过分割轮廓，得到k个强度图像的过分割轮廓。

步骤S104，区域点云提取：

建立空的模型点云集，以过分割轮廓作为边缘点云，提取并保存其内部点云，采用标记的方法统计点云数量，归并或去除遗漏点云，得到最终的模型点云集。

建立模型点云集Q＝{q₁，q₂，q₃，...，q_i|1≤i≤k}，其中q_i为内部三维点云集，q_i＝{(x,y,z)|x∈R,y∈R,z∈R},R为实数集，k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除，统计总的有效点N；以步骤S103中强度图像的k个过分割轮廓作为边缘，从N中提取这k个内部三维点云并分别保存至内部三维点云集q_i(i＝1，2，3，...，k)中；标记N中提取出的内部三维点云，统计N中未标记的三维点云U，设置三维点云最小数量阈值U_min，阈值取值范围为当U＞U_min时，将U提取出，并保存至新的内部三维点云集q_k+1中，更新k值，更新模型点云集Q＝{q，q₂，q₃，...，q_i|1≤i≤k}及分割轮廓个数k，当U＜U_min时，从N中删除U。

步骤S105，叶片模型选择及显示：

设计以单个内部三维点云集q_i为单位的平面拟合选择机制，以最小均方差模型作为叶片的三维模型，统一各个叶片的空间坐标，得到整株叶片的三维模型。

实际点云的坐标形式为(x,y,z)，则叶片模型为Z＝H(x，y)，选择平面型模型Z₁和曲面型模型Z₂两种备选叶片模型，

式中：a，b，c，d，e——叶片模型系数

x,y,z——原始三维点云坐标

Z₁，Z₂——拟合后三维点云z轴方向坐标

对k个内部三维点云集q_i设置最小均方差“小者为优”的选择机制，平面型模型Z₁和曲面型模型Z₂与实际点云的均方差分别记为E₁、E₂，若E₁＜E₂，则采用平面型模型Z₁作为叶片的三维结构，否则选用曲面型模型Z₂。

处理完模型点云集Q中的每个内部三维点云集q_i后，将它们的三维结构同时显示在同一坐标空间下，即可得到草莓植株的三维模型。

实施例

本实施例数据采集采用相机俯拍的方式，选取成熟期草莓为测试对象，草莓顶叶与相机镜头距离约为50cm，保证多源图像内存在至少一株完整的草莓(由于PMD相机所获取的图像分辨率为200×200像素，故选用空间分辨率为320×240像素的彩色图片为补充信息)。

本实施例中适合大棚高架原位草莓植株的三维建模方法的流程如图1所示，包括以下步骤：

步骤S101，选用Harris算子作为特征角点的提取工具，分别提取强度图像和彩色图像的角点，依据角点附近8邻域的灰度均值作为相似性测度，提取14对同名点，计算同名点间距离大小并进行排序，保留距离最远的5对点；以这5对点为基准，将320×240像素的彩色图像仿射变化成200×200像素，同时记录两幅图像的空间映射关系。

仿射变化后的彩色图像转换至L*a*b*彩色模型下，通过最大类间方差法计算该空间模型下a*分量的阈值，从而保留植株信息、分离出彩色图像的背景，该彩色图像预处理后的效果图如图2a所示；将彩色图像的植株像素位置信息通过空间映射关系转换成强度图像下的植株信息，得到滤除背景后的待分割强度图像如图2b所示。

步骤S102，为同时分离出一幅植株图像中的多个叶片，需初始化多个轮廓曲线。首先，计算步骤S101取得的待分割强度图像的矢量场卷积。

对于200×200像素的强度图像，以(0,0)为核原点，用公式m(i，j)＝(r+ε)^-γ计算卷积核的模值大小和方向，其中i、j为强度图像的横、纵像素坐标，r，ε，γ分别为引力大小、无限小常数和指数参数，本实施例中选取指数参数γ为2，方向为像素点指向核原点的单位向量。

构造核半径大小为的离散矩阵，其中M为强度图像大小，本例中选用70作为最优核半径，对该卷积核进行离散。利用快速傅里叶算法求解离散卷积核与边缘图的卷积，最终求出离散后的矢量流场大小及方向,记为f_vfc(v(s，t))。

其中，

v(s，t)＝[x(s，t)，y(s，t)]^T为随时间变化的参数曲线，

x(s，t)，y(s，t)——x，y方向随时间变化的参数曲线

s——归一化曲线长度

t——时间

将图像中P(i，j)点矢量流场的方向分成x,y两方向，各个方向再分为三类，分类规则为

其中1表示向右，0表示无方向，-1表示向右。

构建数组P_SX、P_SY用于保存满足以下条件的点P(i，j)，

P_SX＝{P(i，j)│x(i，j)≤x(i+1，j)&abs(h(x(i，j))+h(x(i+1，j)))≤1}

P_SY＝{P(i，j)│y(i，j)≤y(i+1，j)&abs(h(y(i，j))+h(y(i+1，j)))≤1}

式中，

P(i，j)——图像坐标为(i，j)的点

P_SX，P_SY——点集数组

x(i，j)，y(i，j)——(i，j)点的x,y方向力场

abs——求绝对值

h(x(i，j))+h(x(i+1，j))——相邻点力场方向和

取P_SX、P_SY的交集作为轮廓点集P_S，计算P_S内两点间距离并对该距离排序，设置之间的任意整数为两点距离阈值D_min，本实施例中选取12为阈值D_min的最优值，当点集中存在两点间间距大于该阈值的点，则在P_S点集空间中随机删除其中之一，实现对点集空间P_S的精简，得到最终的初始轮廓点集P。由初始轮廓点集构成的初始化的轮廓效果图如图3所示。

步骤S103，构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力，以弹性能量和刚性能量的和为内部力，以步骤S102中的初始轮廓点集P为起始位置的能量泛函：

其中，

v(s，t)＝[x(s，t)，y(s，t)]^T为随时间变化的参数曲线,

αv″(s，t)为弹性能量，

βv″″(s，t)为刚性能量，

F_ext＝f_vfc(v(s，t))为外部力。

式中：

α——弹力系数

β——刚性系数

取上式α为0.5～0.8，β为0.5～0.9，本实施例优选值分别为α为0.5和β为0.6。采用有限差分法不断迭代求解该能量泛函，初始轮廓点集中若干个点可构成一个初始轮廓，每一个初始轮廓将对应一个过分割轮廓，本实施例中共得到26个过分割轮廓，如图4所示为该强度图像轮廓过分割结果图。

步骤S104，建立模型点云集Q＝{q₁，q₂，q₃，…，q_i|1≤i≤k}，其中q_i为内部三维点云集，q_i＝{(x,y,z)|x∈R,y∈R,z∈R},R为实数集，k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除，统计总的有效点N；以步骤S103中强度图像的k个过分割轮廓作为边缘，从N中提取这k个内部三维点云并分别保存至内部三维点云集q_i(i＝1，2，3，...，k)中；标记N中提取出的内部三维点云，统计N中未标记的三维点云U，设置三维点云最小数量阈值U_min，阈值取值范围为统计N个有效点中未标记的点云U，设置点云最小数量阈值U_min，本实施例中点云最小数量阈值U_min取650。当U＞U_min时，将U提取出，并保存至新的内部三维点云集q_k+1中，更新k值，更新模型点云集Q={q，q₂，q₃，...，q_i|1≤i≤k}及分割轮廓个数k，当U＜U_min时，从N中删除U。

由于每个内部三维点云集q_i常常对应实际的一个叶片的区域，因此实际中每个内部三维点云集q_i可视为单个叶片区域，图5所示为单个叶片区域三维点云提取图。

步骤S105，实际点云的坐标形式为(x,y,z)，则叶片模型为Z=f(x，y)，选择平面型模型Z₁和曲面型模型Z₂两种备选叶片模型，

式中：a，b，c，d，e——叶片模型系数

x,y,z——原始三维点云坐标

Z₁，Z₂——拟合后点云z轴方向坐标

对k个内部点云集q_i设置最小均方差“小者为优”的选择机制，平面型模型Z₁和曲面型模型Z₂与实际点云的均方差分别记为E₁、E₂，若E₁＜E₂，则采用平面型模型Z₁作为叶片的三维结构，否则选用曲面型模型Z₂。

处理完模型点云集Q中的每个内部三维点云集q_i后，将它们的三维结构同时显示在同一坐标空间下，即可得到草莓植株的三维模型。

图6a为某一点集模型选取后的效果图。按照上述步骤处理完每个点集模型后，将它们同时显示在同一坐标空间下，即可得到草莓植株的三维重建模型，如图6b和6c所示，分别为采用本发明重建算法得出的模型的侧视和俯视效果图。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。