部分遮挡的柑橘果实图像识别方法与流程

本发明特别涉及一种部分遮挡的柑橘果实图像识别方法。

背景技术

树上果实的实时在线识别是果实采收机器人的核心技术之一，也是果实信息化管理的基础性问题，被遮挡果实的快速识别就是这些问题中首先要攻克的难点问题。

树上部分遮挡的果实机器识别主要包括未被遮挡的果实区域轮廓段提取、果实轮廓的还原、果实位置与大小参数计算3个环节，以往的方法在轮廓提取环节上受光照条件及图像采集角度影响较大，同时存在果实轮廓还原时存在单一性质曲线的局限。

技术实现要素：

本发明的目的在于，针对上述现有技术的不足，提供一种部分遮挡的柑橘果实图像识别方法，对于顺光、逆光、侧光等采图角度不敏感，保证了被遮挡果实区域轮廓提取的准确性，满足了果实轮廓还原时同时检测圆形果实与椭圆形果实的要求。

为解决上述技术问题，本发明所采用的技术方案是：

一种部分遮挡的柑橘果实图像识别方法，其特点在于包括以下步骤：

步骤a：采集树上柑橘果实图像，并对采集到的柑橘果实图像进行t×t像素大小的图像裁切；

步骤b：

b1.建立γ＝0.5r-0.42g-0.81b的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，对γ色差分量图进行灰度转换，并通过自动阈值法转化为黑白二值图像；

b2.利用白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，同时将黑白二值图像中的白色果实伪目标黑色化背景处理；

步骤c：通过canny算子检测经过步骤b2得到的黑白二值图像，对检测到的果实轮廓宽度单像素化，标记单像素化后的果实轮廓图像，读取各标记区果实轮廓坐标，得到柑橘果实轮廓坐标矩阵；

步骤d：以柑橘果实轮廓坐标矩阵的第1点为始点，按顺时针方向在柑橘果实轮廓坐标矩阵中找出距该始点距离最小的点作为第2点，依次搜寻，至柑橘果实轮廓坐标矩阵最后一点结束，形成按顺时针方向排列的柑橘果实轮廓坐标集；在柑橘果实轮廓坐标集中，找出横坐标及纵坐标均不同于前点的轮廓转角点，产生柑橘果实轮廓转角点集；

步骤e：遍历柑橘果实轮廓转角点集，找出相邻三点连成的三角形中中间转角点所对应的三角形高中的最大者作为交点；同时找出间距等于的两转角点的中点、中点往前的第二转角点、中点往后的第二转角点连成的三角形中中点所对应的三角形高中的最大者作为交点；

步骤f：遍历柑橘果实轮廓转角点集，找出二阶导数符号变化的转角点作为拐点；

步骤g：遍历柑橘果实轮廓坐标集，找出横坐标最小点和横坐标最大点，从找出的横坐标最小点和横坐标最大点中筛选出纵坐标最小点和纵坐标最大点，从而提取出柑橘果实轮廓竖向分布的首尾端点及被竖向遮挡的轮廓断点；同时，遍历柑橘果实轮廓坐标集，找出纵坐标最小点和纵坐标最大点，从找出的纵坐标最小点和纵坐标最大点中筛选出横坐标最小点和横坐标最大点，从而提取出柑橘果实轮廓横向分布的首尾端点及被横向遮挡的轮廓断点；

步骤h：剔除以上检测出的交点、端点、断点及拐点中的重复点与距离小于5个像素单位的过检点，形成待选特征点集；依据过相邻3个特征点的两线段斜率同号的原则，对待选特征点集进行初次筛选，去除部分过检点，形成粗选特征点集；再根据凸多边三角形判别法，去除粗选特征点集中的凹点，形成特征点集；

步骤i：以特征点为分界点，在柑橘果实重新排列的边缘轮廓中筛选出未被遮挡的果实轮廓段，对未被遮挡的果实轮廓段进行圆形及椭圆形曲线拟合，舍弃大小超正常果实0.3～1.7倍的伪果实目标；同时，对于大小与中心点均在5个像素内的多条过度拟合曲线，仅保留其中任一条；

步骤j：计算步骤i中保留下来的二次曲线各连通区域内圆形轮廓曲线的中心坐标和半径大小；计算步骤i中保留下来的二次曲线各连通区域内椭圆形轮廓曲线的中心坐标、长轴大小和短轴大小。

作为一种优选方式，所述步骤a中，对采集到的柑橘果实图像进行512×512像素大小的图像裁切。

作为一种优选方式，所述步骤b2中，对黑白二值图像中像素数小于500的果实伪目标黑色化背景处理。

作为一种优选方式，所述步骤i中，设待拟合的圆形及椭圆形曲线方程为

p(1)x²+p(2)xy+p(3)y²+p(4)x+p(5)y+1＝0，式中，

p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数，对未被遮挡的柑橘果实轮廓段依据最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。

与现有技术相比，本发明所用γ＝0.50r-0.42g-0.81b色差模型的分量图受光照条件影响小，对于顺光、逆光、侧光等采图角度不敏感；相邻像素点构成的三角形底边上高的最大值所对应的中点、二阶导数符号变化的拐点、轮廓的端点及断点能较准确找出果实间或果实与枝叶间的轮廓交点，保证了被遮挡果实轮廓提取的准确性；通过多重筛选，剔除重复点与过检测点，依据特征点间的未被遮挡的果实轮廓段进行二次曲线拟合，满足了果实轮廓还原时同时检测圆形果实与椭圆形果实的要求。

附图说明

图1为柑橘果实裁切图像。

图2为γ色差分量图。

图3为黑白二值图像。

图4为运用白色填充法去除黑色孔洞后的图像。

图5为对白色伪目标黑色化背景处理后的图像。

图6为canny算子检测到的果实轮廓图像。

图7为轮廓单像素化图像。

图8为各连通区域轮廓转角点图，其中，图8(a)为连通区域ⅰ轮廓角点图，图8(b)为连通区域ⅱ轮廓角点图，图8(c)为连通区域ⅲ轮廓角点图。

图9为不同轮廓交点图。

图10为轮廓拐点图。

图11为轮廓端点及断点图。

图12为待选特征点集图。

图13为初次筛选过检点后的图。

图14为特征点集图。

图15为检测结果图。

具体实施方式

本发明的一实施方法包括以下步骤：

步骤a：采集树上柑橘果实图像，并对采集到的柑橘果实图像进行512×512(或1024×1024)像素大小的图像裁切。

步骤a具体包括：晴天用1000万以上有效像素相机在4m物距内采集成熟期挂果柑橘树图像。为提高柑橘果实目标识别速度，并方便以2为基数的幂律分析，依据式(1)对采集图像进行512×512像素大小的图像裁切，得到如图1所示的图像。式(1)中，f(x,y)为裁切后的柑橘树图像，f(x',y')为采集到的柑橘树图像，x'与x分别为裁切前后柑橘树图像的行坐标，y'与y分别为裁切前后柑橘树图像的列坐标，x'1与y'1分别为裁切的行与列的始点，x'2与y'2分别为裁切的行与列的终点，x'2-x'1＝y'2-y'1＝511。

f(x,y)＝f(x',y'),x∈[x'1,x'2],y∈[y'1,y'2](1)

步骤b：

b1.建立γ＝0.5r-0.42g-0.81b的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，减少光照条件与采图角度的影响，得到如图2所示的γ色差分量图。对γ色差分量图进行灰度转换，并通过式(2)中的自动阈值法转化为黑白二值图像，如图3所示。式(2)中，f1(x,y)为f(x,y)的黑白二值图像，t为自动阈值。

b2.由于黑白二值图像中的白色果实目标中存在杂散分布的黑色孔洞，运用式(3)中的白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，以保证果实区域的完整性，如图4所示。式(3)中，f2(x,y)为白色填充后的图像，δ为黑色孔洞，ω为白色区域。

f2(x,y)＝1,δ∈ω(3)

同时，由于果实目标区域外杂散分布的白色孔洞像素数通常在500以内，通过式(4)对于黑白二值图像中零散分布像素数小于500的白色果实伪目标黑色化背景处理，即将像素数小于500的非连通区域灰度值置与柑橘果实背景相同的0值，如图5所示，式(4)中，f3(x,y)为零散伪目标处理后的图像，s为伪目标白色像素数。通过此方法，与成熟柑橘果实表皮色泽接近的枯叶、小石子等伪目标皆处理成了黑色背景，以白色反映出的果实目标区域最大限度地保留下来，形成了柑橘果实目标二值图。

至此，果实区域及果实区域外的背景处理到位，形成了完整的柑橘果实目标黑白二值图像。

步骤c：通过canny算子检测经过步骤b2得到的黑白二值图像，得到如图6所示的果实轮廓图像。对检测到的果实轮廓宽度单像素化处理，标记单像素化后的果实轮廓图像，得到如图7所示的轮廓单像素化图像，读取各标记区果实轮廓坐标，得到柑橘果实轮廓坐标矩阵f4(x,y)。

步骤d：柑橘果实轮廓坐标矩阵f4(x,y)按行或列的大小顺序排列，这种情形不利于轮廓上点的特征分析与计算，为此将柑橘果实轮廓坐标矩阵f4(x,y)按顺时钟方向重新排列。以柑橘果实轮廓坐标矩阵f4(x,y)的第1点为始点，按顺时针方向在柑橘果实轮廓坐标矩阵中找出距该始点距离最小的点作为第2点，在除第1、2点外的其它点中找出距离第2点最近的点作为第3点，依次搜寻，至柑橘果实轮廓坐标矩阵最后一点结束，形成按顺时针方向排列的柑橘果实轮廓坐标集f5(x,y)。

为提高计算速度，并使关于特征的计算与提取有意义，提取柑橘果实轮廓转角点集。在柑橘果实轮廓坐标集f5(x,y)中，筛选出横坐标及纵坐标均不同于前点的轮廓转角点，产生柑橘果实轮廓转角点集得到如图8所示的各连通区域轮廓转角点图。其中xi与yi(i＝1,2,...,m)分别为轮廓角点的行坐标和列坐标，式(5)中，为空集。

步骤e：果实间的遮挡、果实与枝叶间的遮挡，其轮廓的分界点为不同轮廓的交点，在交点处存在两种情形：一种是交点与前后转角点距离较大，三个点(交点与前后转角点)连接成的三角形中，过交点的高较其他转角点处都大；二是交点处存在非常接近的两个转角点，距离仅像素单位，但与分布于这相互接近的两个转角点外的前后两转角点相距较远，前后转角点与中间非常接近的两转角点的中点构成一个三角形，此时过中点的高较其他转角点处都大。无论一、二中的哪种情形，依据式(6)以高度为阈值，低于阈值的点剔除，高于阈值的点即交点被提取出来，得到如图9所示的不同轮廓交点图。式(6)中，d为三角形的高，t为阈值，jd为交点，mt(i,j)为柑橘果实轮廓转角点集的轮廓分界点。

步骤f：遍历柑橘果实轮廓转角点集mt，根据式(7)找出二阶导数符号变化的转角点作为拐点gd，这类点也极有可能是果实轮廓相互遮挡或果实与枝叶相互遮挡的交点，如图10所示。

式(7)中，ds＝gs(j,1)×gs(j,2)，

步骤g：遍历柑橘果实轮廓坐标集f5(x,y)，找出横坐标最小点和横坐标最大点，从找出的横坐标最小点和横坐标最大点中筛选出纵坐标最小点和纵坐标最大点，从而提取出柑橘果实轮廓竖向分布的首尾端点及被竖向遮挡的轮廓断点；同理，遍历柑橘果实轮廓坐标集，找出纵坐标最小点和纵坐标最大点，从找出的纵坐标最小点和纵坐标最大点中筛选出横坐标最小点和横坐标最大点，从而提取出柑橘果实轮廓横向分布的首尾端点及被横向遮挡的轮廓断点；如图11所示。

步骤h：剔除以上检测出的交点、端点、断点及拐点中的重复点与距离小于5个像素单位的过检点，形成待选特征点集td，如图12所示。

依据式(8)中过相邻3个特征点的两线段斜率同号的原则，对待选特征点集td进行初次筛选，去除部分过检点，形成粗选特征点集cd，如图13所示。在此基础上，再根据式(9)中的凸多边三角形判别法，去除粗选特征点集中的凹点，再次筛选过检点，形成特征点集td，如图14所示。

式(8)中，

式(9)中，

行列式

步骤i：以特征点为分界点，在柑橘果实重新排列的边缘轮廓bj中筛选出未被遮挡的果实轮廓段，依据最小二乘法对未被遮挡的果实轮廓段进行圆形及椭圆形曲线拟合，舍弃大小超正常果实0.3～1.7倍的伪果实目标；同时，对于大小与中心点均在5个像素内的多条过度拟合圆锥曲线，仅保留其中任一条，实现被遮挡区域果实轮廓的还原。

步骤j：计算步骤i中保留下来的二次曲线各连通区域内圆形轮廓曲线的中心坐标和半径大小；计算步骤i中保留下来的二次曲线各连通区域内椭圆形轮廓曲线的中心坐标、长轴大小和短轴大小，精确到1个像素单位，完成被部分遮挡果实图像的机器识别。

所述步骤i中，设待拟合的圆形及椭圆形曲线方程为

p(1)x²+p(2)xy+p(3)y²+p(4)x+p(5)y+1＝0(10)

式(10)中，p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数。对未被遮挡的柑橘果实轮廓段依据最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。

图15示出了检测结果图，在图像坐标系中，ⅰ果中心点坐标为(172，118)，长短轴分别为89mm与79mm；ⅱ果中心点坐标为(339，139)，长短轴分别为90mm与72mm；ⅲ果中心点坐标为(126，186)，长短轴分别为61mm与48mm；ⅳ果中心点坐标为(183，297)，长短轴分别为110mm与81mm；ⅴ果中心点坐标为(324，405)，长短轴分别为88mm与70mm。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是局限性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。