一种实景下的西瓜图像处理和定位方法
【专利摘要】本发明提出一种实景下的西瓜图像处理和定位方法，其特征在于，所述定位是通过对左右两个摄像机采集到的实景西瓜图像有效截图后进行图像处理，分别计算出西瓜重心在左右两幅图像上以图像中心为坐标原点的坐标，再将计算出的两幅图像中的西瓜重心坐标采用斜视双目视觉定位算法，获得以左摄像机为坐标原点的西瓜重心的实际三维空间坐标的过程。其中，图像中的西瓜重心坐标是先对初步定位出的西瓜重心点所在区域进行有效截图后再作进一步的图像处理从而计算出来。本方法为西瓜采摘机器人提供关键的视觉定位技术，成本低且定位精度较高。
【专利说明】一种实景下的西瓜图像处理和定位方法
【技术领域】
[0001]本发明涉及一种实景下的西瓜图像处理和定位方法，通过对实景西瓜图像进行图像处理并定位西瓜重心的实际空间位置，属于机器视觉和人工智能领域。
【背景技术】
[0002]果蔬采摘机器人的首要任务是对目标的识别和定位。果实的形状、尺寸、颜色等差异性大，而且果实总是随机分布生长，这给果实的识别与定位带来很大的困难。目前识别果实的方法主要有灰度阈值、颜色识别法和区域识别法等，前两种方法主要是基于果实的光谱反射特性，因此极易受到自然光照的影响；而区域识别法则要求目标具有完整的边界条件，实际中果实往往被枝干或叶子遮挡，很难辨别出完整的轮廓。因此如何准确定位采摘对象成为亟待解决的问题。
【发明内容】
[0003]有鉴于此，本发明在于提供一种实景下的西瓜图像处理和定位方法，实现对实景下的西瓜的精确定位，为西瓜采摘机器人的研究提供关键的视觉定位技术，成本低且定位精度较高。
[0004]本发明提出了一种实景下的西瓜图像处理和定位方法，其技术方案是:一种实景下的西瓜图像处理和定位方法，其特征在于，通过对拍摄的实景西瓜图像进行有效截图并进一步图像处理得到的西瓜重心坐标为基础，根据斜视双目视觉定位算法计算出以左摄像机为坐标原点的西瓜重心的实际三维空间坐标，具体步骤为:
步骤101:左右两个摄像机拍摄实景下的同一个西瓜目标，获得西瓜在不同位置拍摄的2幅图像；
步骤102:读入拍摄的左右2幅实景西瓜图像并对其分别有效截图并图像处理后，可分别计算出西瓜重心点在左右2幅实景西瓜图像上的坐标(xl+al, yl+bl)和(x2+a2, y2+b2),该坐标是以实景西瓜图像最左上角像素点为坐标原点的像素坐标；
步骤103:建立以图像中心为坐标原点的图像坐标系，将步骤102计算出的西瓜重心点坐标(xl+al，yl+bl)和(x2+a2，y2+b2)转换成以实景图像中心为坐标原点的西瓜重心点坐标(xl, yl)和(xr,yr)；
步骤104:计算得到左右两个摄像机对同一个西瓜重心目标的视差(xl-xr)；
步骤105:根据平视双目定位算法，计算出在平视情况下，西瓜重心目标点相对于以左摄像机摄像头中心为坐标原点的三维空间坐标(xc, yc, zc):xc=bXxl/(xl-xr) (b 为基线距)(I)
yc=b X yl/ (xl-xr)(2)
zc=bXf/(xl-xr) (f 为相机焦距) (3)
步骤106:将平视时的坐标系的3个坐标轴均旋转一个β角度，就可得到斜视时的三维坐标系，并由此可推导出斜视双目视觉定位公式(4)、(5)、(6)，将步骤105计算得到的西瓜重心的三维空间坐标(xc，yc，zc)代入公式(4)、(5)、(6):
XW=Xc(4)
yw=zcX cos β +ycX sin β(5)
ZW=Zc X sin β -yc X cos β(6)
则可计算出西瓜重心的实际三维空间坐标(xw，yw, zw)0
[0005]所述以实景西瓜图像最左上角像素点为坐标原点，对实景西瓜图像进行截图并图像处理得到的西瓜重心坐标(xl+al，yl+bl)和(x2+a2，y2+b2)，其具体步骤为:
步骤201:读入实景西瓜图像将其转为灰度图像，再转为二值图像；
步骤202:对二值图像进行处理，求取该二值图像上像素值为O的点到距离其最近的非零点的距离，得到一个距离矩阵，找出这个距离矩阵中的最大值，则这个最大值所在的像素点位置即可认为是西瓜重心所在区域内的一点(xO，yO)(亦称初步定位点)；
步骤203:以初步定位点(x0，y0)为参考点，对原实景西瓜图像进行截图处理，所截图像的大小为原图像大小的四分之一；具体地，设原图像大小为mXnX3的矩阵:(I)若xO〈l/4Xm 且 yO〈l/4Xn，则截取原图像的区域为(O: l/2Xm，0: l/2Xn); (2)若 xO〈l/4Xm且 l/4Xn〈yO〈3/4Xn，则截取原图像的区域为(O: l/2XmyO_l/4Xn:yO+l/4Xn) ; (3)若xO〈l/4Xm且yO>3/4Xn，则截取原图像的区域为(O: l/2Xm，l/2Xn:n) ; (4)若l/4Xm〈xO〈3/4Xn 且 yO〈l/4Xn,则截取原图像的区域为(xO-l/4Xm:xO+l/4Xm,0:l/2Xn) ；(5)若 l/4Xm〈xO〈3/4Xn 且 l/4Xn〈yO〈3/4Xn，则截取原图像的区域为(xO-1/4 X m: xO+1/4 X m，yO-1/4 X η: yO+1/4 X n) ；(6)若 1/4 X m〈x0〈3/4 X n 且yO>3/4Xn,则截取原图像的区域为(xO-1/4Xm:xO+1/4Xm, l/2Xn:n) ; (7)若 xO>3/4Xm且yO〈l/4Xn，则截取原图像的区域为(l/2Xm:m，0: l/2Xn) ; (8)若xO>3/4Xm且l/4Xn〈yO〈3/4Xn,则截取原图像的区域为(l/2Xm:m, yO_l/4Xn:yO+l/4Xn) ; (9)若xO>3/4Xm且yO>3/4Xn，则截取原图像的区域为(l/2Xm:m，l/2Xn:n);获得截图区域后，分别对原实景西瓜图像的R、G、B三个分量截取相应区域，再将这三个分量截得的图像重构成一幅RGB图像；
步骤204:将截图所得RGB图像的红绿蓝三个颜色通道映射到色调、饱和度和亮度空间(HSV)并提取其H分量；
步骤205:将H图像二值化后进行形态学腐蚀操作；对腐蚀后的二值图像进行删除小目标处理，再对删除小目标后的图像进行填充孔洞操作；
步骤206:找出填充孔洞后图像的所有非零点像素值及其坐标(xi，yi)，计算出截图图像中的目标区域重心点坐标(xl，yl):
区域面积:S=S I(7)
目标区域重心点横坐标:xl=l/SX Σχ?(8)
目标区域重心点纵坐标:yl=l/SX Syi(9)
步骤207:若截图图像的最左上角像素点对应原实景西瓜图像的像素点(al，bl)，则目标区域重心点(即西瓜重心点)在原实景西瓜图像中的坐标则为(xl+al, yl+bl)。
[0006]所述在图像处理过程中对图像H的二值图像进行形态学腐蚀操作，可以去除图像背景带来的部分干扰，并将较大面积的干扰的细长连接处断开，使较大面积的干扰变小，从而二值图像上连通区域面积的最大者可确认是西瓜目标区域。
[0007]所述图像处理过程中的删除小目标处理过程，具体为:先选定一个小面积值P作为初始值，对图像进行删除小目标处理，每次处理后标记二值图像的连通区域并计算连通区域的个数，若连通区域个数大于1，就增大P的值，并继续对图像进行删除小目标处理，直至原图像连通区域个数仅为I。
[0008]由于H分量图像二值化后存在一定干扰，对其进行形态学腐蚀操作会造成西瓜重心所在的目标区域存在孔洞，而孔洞的存在会影响西瓜重心点坐标计算的准确性，因此对删除小目标后的图像需要进行填充孔洞操作。
[0009]所述左右两个摄像机为焦距相同的两个摄像机，在拍摄实景下的西瓜图像时，左右两个摄像机固定于同一水平高度，左右两个摄像机的摄像头相距一定距离b (称基线距)，左右两摄像机的光轴平行并与竖直方向成一定角度β。
[0010]本发明与现有技术相比具有以下创新点:(I)本发明在图像处理过程中，使用了先有效截图再图像处理的方法，降低了去噪和西瓜重心目标点提取的难度，使得西瓜重心目标点的识别更准确；(2)在图像处理中，H分量图像二值化阈值的选取具有一定的自适应能力；(3)基于现有的西瓜采摘机器装置，定位精度较高。
【专利附图】
【附图说明】
[0011]为了更清晰地说明本发明的具体步骤，下面结合附图作进一步说明。
[0012]图1是本发明的整体流程图。
[0013]图2是本发明的西瓜重心点在实景西瓜图像上的坐标计算流程图。
[0014]图3是本发明的图像处理和定位方法效果图。
[0015]图4是本发明的定位结果与西瓜重心实际值的比较。
【具体实施方式】
[0016]参照图1，通过对拍摄的实景西瓜图像进行有效截图并进一步图像处理得到的西瓜重心坐标为基础，根据斜视双目视觉定位算法计算出以左摄像机为坐标原点的西瓜重心的实际三维空间坐标，具体步骤为:
步骤101:左右两个摄像机拍摄实景下的同一个西瓜目标，获得西瓜在不同位置拍摄的2幅图像；
步骤102:读入拍摄的左右2幅实景西瓜图像并对其分别有效截图并图像处理后，可分别计算出西瓜重心点在左右2幅实景西瓜图像上的坐标(xl+al, yl+bl)和(x2+a2, y2+b2),该坐标是以实景西瓜图像最左上角像素点为坐标原点的像素坐标；
步骤103:建立以图像中心为坐标原点的图像坐标系，将步骤102计算出的西瓜重心点坐标(xl+al，yl+bl)和(x2+a2，y2+b2)转换成以实景图像中心为坐标原点的西瓜重心点坐标(xl, yl)和(xr,yr)；
步骤104:计算得到左右两个摄像机对同一个西瓜重心目标的视差(xl-xr)；
步骤105:根据平视双目定位算法，计算出在平视情况下，西瓜重心目标点相对于以左摄像机摄像头中心为坐标原点的三维空间坐标(xc, yc, zc):xc=bXxl/(xl-xr) (b 为基线距)(I)
yc=b X yl/ (xl-xr)(2) zc=bXf/(xl-xr) (f 为相机焦距) (3)
步骤106:将平视时的坐标系的3个坐标轴均旋转一个β角度，就可得到斜视时的三维坐标系，并由此可推导出斜视双目视觉定位公式(4)、(5)、(6)，将步骤105计算得到的西瓜重心的三维空间坐标(xc，yc, zc)代入公式(4)、(5),(6):
XW=Xc(4)
yw=zcX cos β +ycX sin β(5)
ZW=Zc X sin β -yc X cos β(6)
则可计算出西瓜重心的实际三维空间坐标(xw，yw, zw)0
[0017]参照图2，以实景西瓜图像最左上角像素点为坐标原点，经对实景西瓜图像进行截图和图像处理后，西瓜重心点在实景西瓜图像上的坐标计算步骤为:
步骤201:读入实景西瓜图像将其转为灰度图像，再转为二值图像；
步骤202:对二值图像进行处理，求取该二值图像上像素值为O的点到距离其最近的非零点的距离，得到一个距离矩阵，找出这个距离矩阵中的最大值，则这个最大值所在的像素点位置即可认为是西瓜重心所在区域内的一点(x0，y0)(亦称初步定位点)；
步骤203:以初步定位点(x0，y0)为参考点，对原实景西瓜图像进行截图处理，所截图像的大小为原图像大小的四分之一；具体地，设原图像大小为mXnX3的矩阵:(1)若xO〈l/4Xm 且 yO<l/4Xn,则截取原图像的区域为(0:1/2Xm,0:1/2Xn); (2)若 xO〈l/4Xm且 l/4Xn〈yO〈3/4Xn，则截取原图像的区域为(O: l/2XmyO_l/4Xn:yO+l/4Xn) ；(3)若xO〈l/4Xm且yO>3/4Xn，则截取原图像的区域为(O: l/2Xm，l/2Xn:n) ; (4)若l/4Xm〈xO〈3/4Xn 且 yO〈l/4Xn,则截取原图像的区域为(xO-1/4Xm: xO+1/4Xm,0:l/2Xn) ；(5)若 l/4Xm〈xO〈3/4Xn 且 l/4Xn〈yO〈3/4Xn，则截取原图像的区域为(xO_l/4Xm: xO+l/4Xm，yO-1/4 X η: yO+1/4 X η) ；(6)若 1/4 X m〈x0〈3/4 X η 且yO>3/4Xn,则截取原图像的区域为(xO-1/4Xm:xO+1/4Xm, l/2Xn:n) ; (7)若 xO>3/4Xm且yO〈l/4Xn，则截取原图像的区域为(1/2 Xm:m，0:1/2 Xn) ; (8)若xO>3/4Xm且l/4Xn〈yO〈3/4Xn,则截取原图像的区域为(l/2Xm:m, yO_l/4Xn:yO+l/4Xn) ; (9)若xO>3/4Xm且yO>3/4Xn，则截取原图像的区域为(l/2Xm:m，l/2Xn:n);获得截图区域后，分别对原实景西瓜图像的R、G、B三个分量截取相应区域，再将这三个分量截得的图像重构成一幅RGB图像；
步骤204:将截图所得RGB图像的红绿蓝三个颜色通道映射到色调、饱和度和亮度空间(HSV)并提取其H分量；
步骤205:将H图像二值化后进行形态学腐蚀操作；对腐蚀后的二值图像进行删除小目标处理，再对删除小目标后的图像进行填充孔洞操作；
步骤206:找出填充孔洞后图像的所有非零点像素值及其坐标(xi，yi)，计算出截图图像中的目标区域重心点坐标(xl，yl):
区域面积:S=S I(7)
目标区域重心点横坐标:xl=l/SX Σχ?(8)
目标区域重心点纵坐标:yl=l/SX Syi(9)
步骤207:若截图图像的最左上角像素点对应原实景西瓜图像的像素点(al，bl)，则目标区域重心点(即西瓜重心点)在原实景西瓜图像中的坐标则为(xl+al, yl+bl)。
[0018]参照图3，图301是经过步骤101对原图像处理后获得的二值图像；图302是初步定位点在二值图上描绘出来的效果图；图303是初步定位点在原图像的灰度图像上描绘出来的效果图；图304是以初步定位点为中心，截图所得图像的灰度图像；图305是截图所得RGB图像映射到HSV空间，对其H分量二值化后的结果；图306是对H分量二值图进行腐蚀、删除小目标和填充空洞处理后的结果；图307是通过计算目标区域重心，并将计算得到的定位点在截图所得图像的二值图像上描绘出来的结果；图308是通过计算得到最终定位点后，将最终定位点在原图像的灰度图像上描绘出来的结果。图3中定位点(*)是指西瓜重心点。
[0019]参照图4，在利用本发明进行的19次试验中，将两个摄像机光轴与竖直方向的角度β调整为44.3°，两个摄像机镜头距离(即基线距)设置为200mm，将西瓜重心的实际测量坐标值记录于该图中，再与运用本发明方法获得的西瓜重心坐标的定位计算结果进行了比较。从图中数据可知，本发明的定位坐标相对误差均在±10%以内，验证了本发明的定位精度较高。
【权利要求】
1.一种实景下的西瓜图像处理和定位方法，其特征在于，通过对拍摄的实景西瓜图像进行有效截图并进一步图像处理得到的西瓜重心坐标为基础，根据斜视双目视觉定位算法计算出以左摄像机为坐标原点的西瓜重心的实际三维空间坐标，具体步骤为: 步骤101:左右两个摄像机拍摄实景下的同一个西瓜目标，获得西瓜在不同位置拍摄的2幅图像； 步骤102:读入拍摄的左右2幅实景西瓜图像并对其分别有效截图并图像处理后，可分别计算出西瓜重心点在左右2幅实景西瓜图像上的坐标(xl+al, yl+bl)和(x2+a2, y2+b2),该坐标是以实景西瓜图像最左上角像素点为坐标原点的像素坐标； 步骤103:建立以图像中心为坐标原点的图像坐标系，将步骤102计算出的西瓜重心点坐标(xl+al，yl+bl)和(x2+a2，y2+b2)转换成以实景图像中心为坐标原点的西瓜重心点坐标(xl, yl)和(xr,yr)； 步骤104:计算得到左右两个摄像机对同一个西瓜重心目标的视差(xl-xr)； 步骤105:根据平视双目定位算法，计算出在平视情况下，西瓜重心目标点相对于以左摄像机摄像头中心为坐标原点的三维空间坐标(xc, yc, zc):xc=bXxl/(xl-xr) (b 为基线距)(I) yc=b X yl/ (xl-xr)(2) zc=bXf/(xl-xr) (f 为相机焦距) (3) 步骤106:将平视时的坐标系的3个坐标轴均旋转一个β角度，就可得到斜视时的三维坐标系，并由此可推导出斜视双目视觉定位公式(4)、(5)、(6)，将步骤105计算得到的西瓜重心的三维空间坐标(xc，yc, zc)代入公式(4)、(5),(6):XW=Xc(4) yw=zcX cos β +ycX sin β(5) ZW=Zc X sin β -yc X cos β(6) 则可计算出西瓜重心的实际三维空间坐标(xw，yw, zw)0
2.根据权利要求1所述的一种实景下的西瓜图像处理和定位方法，其特征在于，所述以实景西瓜图像最左上角像素点为坐标原点，对实景西瓜图像进行截图并图像处理得到的西瓜重心坐标(xl+al，yl+bl)和(x2+a2，y2+b2)，其具体步骤为: 步骤201:读入实景西瓜图像将其转为灰度图像，再转为二值图像； 步骤202:对二值图像进行处理，求取该二值图像上像素值为O的点到距离其最近的非零点的距离，得到一个距离矩阵，找出这个距离矩阵中的最大值，则这个最大值所在的像素点位置即可认为是西瓜重心所在区域内的一点(x0，y0)(亦称初步定位点)； 步骤203:以初步定位点(x0，y0)为参考点，对原实景西瓜图像进行截图处理，所截图像的大小为原图像大小的四分之一；具体地，设原图像大小为mXnX3的矩阵:(1)若xO〈l/4Xm 且 yO〈l/4Xn，则截取原图像的区域为(O: l/2Xm，0: l/2Xn); (2)若 xO〈l/4Xm且 l/4Xn〈yO〈3/4Xn，则截取原图像的区域为(O: l/2XmyO_l/4Xn:yO+l/4Xn) ; (3)若xO〈l/4Xm且yO>3/4Xn，则截取原图像的区域为(O: l/2Xm，l/2Xn:n) ; (4)若l/4Xm〈xO〈3/4Xn 且 yO〈l/4Xn,则截取原图像的区域为(xO-l/4Xm:xO+l/4Xm,0:l/2Xn) ；(5)若 l/4Xm〈xO〈3/4Xn 且 l/4Xn〈yO〈3/4Xn，则截取原图像的区域为(xO-1/4 X m: xO+1/4 X m，yO-1/4 X η: yO+1/4 X n) ；(6)若 1/4 X m〈x0〈3/4 X n 且yO>3/4Xn,则截取原图像的区域为(xO-1/4Xm:xO+1/4Xm, l/2Xn:n) ; (7)若 xO>3/4Xm且yO〈l/4Xn，则截取原图像的区域为(1/2 Xm:m，0:1/2 Xn) ; (8)若xO>3/4Xm且l/4Xn〈yO〈3/4Xn,则截取原图像的区域为(1/2Xm:m, yO_l/4Xn:yO+l/4Xn) ; (9)若xO>3/4Xm且yO>3/4Xn，则截取原图像的区域为(l/2Xm:m，l/2Xn:n);获得截图区域后，分别对原实景西瓜图像的R、G、B三个分量截取相应区域，再将这三个分量截得的图像重构成一幅RGB图像； 步骤204:将截图所得RGB图像的红绿蓝三个颜色通道映射到色调、饱和度和亮度空间(HSV)并提取其H分量； 步骤205:将H图像二值化后进行形态学腐蚀操作；对腐蚀后的二值图像进行删除小目标处理，再对删除小目标后的图像进行填充孔洞操作； 步骤206:找出填充孔洞后图像的所有非零点像素值及其坐标(xi，yi)，计算出截图图像中的目标区域重心点坐标(xl，yl):区域面积:S=S I(7) 目标区域重心点横坐标:xl=l/SX Σχ?(8) 目标区域重心点纵坐标:yl=l/SX Syi(9) 步骤207:若截图图像的最左上角像素点对应原实景西瓜图像的像素点(al，bl)，则目标区域重心点(即西瓜重心点)在原实景西瓜图像中的坐标则为(xl+al, yl+bl)。
3.根据权利要求2所述的一种实景下的西瓜图像处理和定位方法，其特征在于，在图像处理过程中对图像H的二值图像进行形态学腐蚀操作，可以去除图像背景带来的部分干扰，并将较大面积的干扰的细长连接处断开，使较大面积的干扰变小，从而二值图像上连通区域面积的最大者可确认是西瓜目标区域。
4.根据权利要求2所述的一种实景下的西瓜图像处理和定位方法，其特征在于，图像处理过程中的删除小目标处理过程，具体为:先选定一个小面积值P作为初始值，对图像进行删除小目标处理，每次处理后标记二值图像的连通区域并计算连通区域的个数，若连通区域个数大于1，就增大P的值，并继续对图像进行删除小目标处理，直至原图像连通区域个数仅为I。
5.根据权利要求1所述的一种实景下的西瓜图像处理和定位方法，其特征在于，所述左右两个摄像机拍摄实景下的西瓜图像时，左右两个摄像机焦距相同且固定于同一水平高度，左右两个摄像机的摄像头相距一定距离b (称基线距)，左右两摄像机的光轴平行并与竖直方向成一定角度β。
【文档编号】G06K9/32GK104346614SQ201410445330
【公开日】2015年2月11日 申请日期:2014年9月4日 优先权日:2014年9月4日
【发明者】许丽佳, 康志亮, 陈崇任, 邹志勇, 王楠, 谭雪松, 庞涛, 何宇, 陈晓燕, 刘明丹 申请人:四川农业大学