专利名称：基于双目视觉网格划分匹配算法的农作物喷雾定位方法
技术领域：
本发明属于农作物施药技术领域，尤其涉及一种基于双目视觉网格划分匹配算法的农作物喷雾定位方法。
背景技术：
在农业生产过程中，为防治病虫害，往往需要经过多次农药喷洒。而施药的过程会对环境和操作人员的健康造成一定的危害，特别是在温室条件下，空间相对封闭，施药次数多，因此危害更为明显。通过研制自动化精准施药系统，可将药液直接喷洒到作物表面，避免药液浪费，提高药液使用效率、减少环境污染、保障劳动者健康、减轻劳动强度。研制自动化施药系统有着重要的现实意义和社会价值。 在自动化施药系统中，目前主要存在的问题有I、喷药定位不够准确，药液浪费严重。根据2010年国际植保机械与施药技术学术会议资料显示我国农药平均利用率极低，只有20%左右。大部分的农药都没有得到充分有效的利用，究其根源一方面在于施药方法和手段不够科学合理，另外在农药的使用上多采用粗放式喷药，缺乏精准施药的技术与条件。2、农药喷洒不够均匀，作物表面药液残留超标，尤其在温室中生产的作物更为明显。药液喷洒时的雾化效果和喷雾作业方式对喷雾的均匀性有着很大的影响。资料显示，采用静电喷雾可以形成微小的雾滴颗粒，并具有良好的附着性，有利于减少重喷和漏喷，提高喷雾的均匀性。采用防漂移等技术也可一定程度上改善喷雾效果，但从根本上讲喷雾定位的准确性直接会影响到喷雾质量。3、喷雾农机具的使用适应性有限。例如国外在果树园中使用的喷雾机，采用超生波喷雾定位，这种方式要求果树以特定的距离和排列方式栽培，只要在超声波检测范围内存在物体，就会进行喷雾。喷雾时不论作物形态如何，都以同样方式工作。因此，当环境和作物发生变化后就很难有效工作。4、用于自动化精准喷雾的机器人定位检测效果不够理想，实时性较差。例如，运用视觉检测技术对特定病虫害区域进行喷雾的机器人，其定位检测的算法上，往往较为复杂，需要一定的计算时间。同时，对需要施药的目标作物检测也存在一定的错误率。5、对农作物喷雾施药基本使用的都属于二维定位系统。在工作过程中，一般都是先通过特定的传感器或摄像头先检测并获取喷雾对象的二维信息，将喷头移动到指定位置或对多个喷头的开闭进行控制，而喷头与目标作物的距离往往都是事先设定好的，工作过程中并不调整。因此，当作物形态、大小存在一定差异时，就会造成不同的喷雾效果。6、农药喷洒自动化系统的性价比同样是制约其广泛应用的一个问题。但是，随着设施农业数量和技术的不断发展，同时与老龄化社会到来相伴随的劳动力成本不断上升，自动化喷雾作业将有着广阔的应用前景。综上所述，当前最重要的问题是解决喷雾目标的识别和定位问题，开发一种具有良好适应性、定位准确、实时性好、性价比高的喷雾定位系统。
目前，对于物体空间三维信息获取的方法主要有激光、超声波、雷达、红外和双目视觉等。前四者工作时通常是以通过反射波时间或相位差来计算距离信息，双目视觉主要通过三角测距原理，通过左右图像匹配来实现定位信息获取。双目视觉定位系统的优点在于，适用范围广泛，可通过一定的算法配合直接实现对目标的识别和定位；其缺点是识别与定位算法往往较为复杂，实时性和鲁棒性较差，特别是对物体形态不规则、环境复杂、光照条件差的场合更加难以检测。此外，采用多传感器融合技术，将视觉与激光、红外、超声波等信息结合的定位方式可在一定程度上提高定位精度及定位可靠性。本发明所提出的喷雾定位方式属于视觉定位范畴,采双目视觉定位系统对目标农作物进行位置检测。目前使用双目视觉定位的技术方法中，如何快速、稳定、准确、可靠的识别判断目标并确定目标位置轮廓信息是急需要解决的主要问题。
发明内容
本发明的目的在于，提供一种基于双目视觉网格划分匹配算法的农作物喷雾定位方法，用于快速准确地计算目标作物的位置信息，并根据目标作物的位置信息，规划喷头运行路径以使喷头按照合理的喷雾距离和角度进行喷雾。为实现上述目的，本发明提供的技术方案是，一种基于双目视觉网格划分匹配算法的农作物喷雾定位方法，其特征是所述方法包括步骤I :利用双摄像头标定目标作物并获取目标作物的图像；所述双摄像头分别记为左摄像头和右摄像头；步骤2 :分别将左摄像头获取的目标作物的图像和右摄像头获取的目标作物的图像从背景中分离出来，得到左摄像头目标作物的二值图像和右摄像头目标作物的二值图像；步骤3 :分别对左摄像头获取的目标作物的二值图像和右摄像头获取的目标作物的二值图像进行网格划分，得到左侧网格区域和右侧网各区域；步骤4 :对左侧网格区域中的每个点，在右侧网格区域中进行匹配搜索，得到相互匹配的点，形成匹配点对；步骤5 由各匹配点对计算左右图像视差并求取所述匹配点对对应的目标作物的点的三维坐标；步骤6 :分析目标作物的点的三维坐标，删除错误点；步骤7 :对目标作物的点进行拟合处理，得到拟合曲线或曲面；步骤8 :根据拟合曲线或曲面规划喷头路径。所述将左/右摄像头获取的目标作物的图像从背景中分离出来，得到左/右摄像头目标作物的二值图像包括步骤101 :在HSI颜色空间中，利用固定阈值分割法获取目标作物的初步分割图像；步骤102 :利用超绿算法获取目标作物的灰度图像；步骤103 :对目标作物的灰度图像进行直方图统计，得到目标作物的直方图；步骤104 :利用近邻多点平均法对目标作物的直方图进行平滑处理；步骤105 :搜索经过平滑处理的目标作物的直方图的峰值并计算峰值左右两侧的波谷位置，从而得到目标作物的二值图像。所述步骤4包括步骤201 :初始化参数,令j = I, wj = I, Min = 10000 ;其中，j为右侧网格区域
中的点的纵坐标，wj 用于记录匹配成功的右侧网格区域中的点的纵坐标，Min用于记录左侧网格和右侧网格的修正的绝对差之和的最小值；步骤202 :选取左侧网格区域中的点(u，i)，将其所处的左侧网格记为p并计算左侧网格P的灰度均值Mi和方差Ei (u，i)；步骤203 :选取右侧网格区域中的点(u，j)，使该点的横坐标与左侧网格区域中选取的点(u，i)的横坐标相同，将其所处的右侧网格记为q并计算右侧网格q的灰度均值Nj和方差Fj (U，j)；步骤204 :判断Mi-Fj | < e是否成立，如果Mi-Fj | < e成立，则执行步骤205 ;否贝U，令j = j+1并返回步骤203 ;其中，e是设定值；步骤205 :计算左侧网格p和右侧网格q的绝对差之和，记为SAD ;计算左侧网格p的方差Ei (u，i)和右侧网格q的方差Fj (u，j)的绝对值之差，记为FCC ；步骤206 :根据公式SF = SADXa+FCCXb计算左侧网格p和右侧网格q的修正的绝对差之和，其中a和b分别为比例参数；步骤207 :如果左侧网格p和右侧网格q的修正的绝对差之和小于Min，则执行步骤208 ;否则，令j = j+1并返回步骤203 ；步骤208 :令Min = SF, wj = j ;判断j的取值是否经过所有极线点，如果j的取值经过所有极线点，则执行步骤209 ;否则，令j = j+1并返回步骤203 ；步骤209 :右侧网格区域中的点(u, wj)为左侧网格区域中的点(u, i)的匹配点。所述比例参数a和b的比值为1:1。所述步骤5包括步骤301 :利用公式D=Xl-Xk计算左右图像视差，其中Xl为匹配点对中一个点的横
坐标，Xe为匹配点对中另一个点的横坐标；
BXi
I)步骤302 :利用公式Je 计算匹配点对对应的目标作物的点的三维坐标；其
Zc—U
中，xe、y。和z。分别为目标作物的点的三维坐标值，B为左右两个摄像头的光轴之间的距离，Xl为匹配点对中一个点的横坐标，Y为匹配点对中任意一点的纵坐标，f为左摄像头或右摄像头的焦距。本发明采用细化分割自适用阈值分割的方法，提高了自适应分割算法的鲁棒性和准确性；采用网格划分的方法减少了计算总体计算量；在双目视觉定位的图像匹配过程中，采用SAD改进算法，很大程度上减少了单一 SAD算法中容易出现的错误匹配，并在计算效率上比最大相关系数法速度更快。
图I是基于双目视觉网格划分匹配算法的农作物喷雾定位方法流程图；图2是利用双摄像头标定目标作物的示意图；其中，(a)是利用左摄像头标定目标作物的示意图，(b)利用右摄像头标定目标作物的示意图；图3是利用固定阈值分割法获取目标作物的初步分割图像；
图4是对左摄像头获取的目标作物的二值图像进行网格划分的示意图；图5是形成匹配点对的流程图；图6是平行光轴双摄像头原理图。
具体实施例方式下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。图I是基于双目视觉网格划分匹配算法的农作物喷雾定位方法流程图。如图I所示，本发明提供的基于双目视觉网格划分匹配算法的农作物喷雾定位方法包括步骤I :利用双摄像头标定目标作物并获取目标作物的图像，双摄像头分别记为左摄像头和右摄像头。在布设左右摄像头时，应当保证两个摄像头的光轴相互平行并且处于同一个水平面上。图2是利用双摄像头标定目标作物的示意图。步骤2 :分别将左摄像头获取的目标作物的图像和右摄像头获取的目标作物的图像从背景中分离出来，得到左摄像头目标作物的二值图像和右摄像头目标作物的二值图像。下面以左摄像头为例，说明获取左摄像头目标作物的二值图像的过程。步骤101 :在HSI颜色空间中，利用固定阈值分割法获取目标作物的初步分割图像。在该步骤中，首先需要将左摄像头获取的目标作物的图像(RGB图像)转换为HSI图像并进行归一化处理。其次，设定H (色调)、S (色饱和度)、1 (亮度)的取值范围，将范围之外的像素定位为黑色，其余保留原值。接下来，将保留原值的像素由HSI图像转换为RGB图像并进行反归一化处理，最终得到目标作物的初步分割图像。图3是利用固定阈值分割法获取目标作物的初步分割图像。步骤102 :利用超绿算法获取目标作物的灰度图像。超绿算法是一种通过提高绿色通道的权重增加与非绿色背景的对比度的一种算法。该算法能够较好地提取出绿色农作物的信息，其经常在绿色农作物图像处理中使用。该算法采用公式2XG-R-B来处理每个像素，其中G、R和B分别代表像素的绿色、红色和蓝色通道的数值。经过超绿算法的处理，可以得到目标作物的灰度图像。步骤103 :对目标作物的灰度图像进行直方图统计，得到目标作物的直方图。步骤104 :利用近邻多点平均法对目标作物的直方图进行平滑处理。近邻多点平均法是解决当直方图出现局部突变，而宏观趋势仍然未到波谷时的一种算法解决方案。对初步分割后背景置零的图像做超绿计算，其直方图中除去灰度值为0的背景部分，当只有单个灰度级对应的像素数目为局部较小值时，并不认为该点一定是波谷位置，因此采用邻接连续多点平均值做为波谷位置检测可有效避免局部极小值对分割结果的影响。具体算法是，将找到的极小值位置附近以左邻域、右邻域、中心区域划分三个等分区间，计算每个小区域内的直方图数据平均值，根据数值结果判断是否为合理波谷位置。例如，当求取左侧波谷位置时，区域数值特性出现左低右高，且三个区域的均值左侧区域最小，右侧最大，则应继续向左侧移动寻找新的波谷，避免局部极小的影响。步骤105 :搜索经过平滑处理的目标作物的直方图的峰值并计算峰值左右两侧的波谷位置，从而得到目标作物的二值图像。在峰值两侧搜索波谷，得到波谷后，两侧波谷之间的图像即为目标作物的二值图像。步骤3 :分别对左摄像头获取的目标作物的二值图像和右摄像头获取的目标作物 的二值图像进行网格划分，得到左侧网格区域和右侧网各区域。图4是对左摄像头获取的目标作物的二值图像进行网格划分的示意图。图4中，还是以左摄像头为例，说明对获取的目标作物的二值图像进行网格划分的过程。以图像左上角位置为搜索目标像素的起始位置，当出现目标作物的像素时，定位第一个网格。继续在其周围划分网格，判断该网格周围是否存在目标作物的像素，如果存在，则再定位一个网格。对于边缘处的目标像素，不够画整格的区域从反向添加网格。这样可以保证将所有目标像素划到同大小的网格区域中。步骤4 :对左侧网格区域中的每个点，在右侧网格区域中进行匹配搜索，得到相互匹配的点，形成匹配点对。图5是形成匹配点对的流程图。如图5所示，形成匹配点对的过程包括步骤201 :初始化参数,令j = I, wj = I, Min = 10000 ;其中，j为右侧网格区域中的点的纵坐标，wj用于记录匹配成功的右侧网格区域中的点的纵坐标，Min用于记录左侧网格和右侧网格的修正的绝对差之和的最小值。步骤202 :选取左侧网格区域中的点(u，i)，将其所处的左侧网格记为p并计算左侧网格P的灰度均值Mi和方差Ei (u，i)。其中，左侧网格p的灰度均值Mi的计算公式为
权利要求
1.一种基于双目视觉网格划分匹配算法的农作物喷雾定位方法，其特征是所述方法包括 步骤I:利用双摄像头标定目标作物并获取目标作物的图像；所述双摄像头分别记为左摄像头和右摄像头； 步骤2 :分别将左摄像头获取的目标作物的图像和右摄像头获取的目标作物的图像从背景中分离出来，得到左摄像头目标作物的二值图像和右摄像头目标作物的二值图像；步骤3 :分别对左摄像头获取的目标作物的二值图像和右摄像头获取的目标作物的二值图像进行网格划分，得到左侧网格区域和右侧网各区域； 步骤4:对左侧网格区域中的每个点，在右侧网格区域中进行匹配搜索，得到相互匹配的点，形成匹配点对； 步骤5 :由各匹配点对计算左右图像视差并求取所述匹配点对对应的目标作物的点的三维坐标； 步骤6 :分析目标作物的点的三维坐标，删除错误点； 步骤7 :对目标作物的点进行拟合处理，得到拟合曲线或曲面； 步骤8 :根据拟合曲线或曲面规划喷头路径。
2.根据权利要求I所述的方法，其特征是所述将左/右摄像头获取的目标作物的图像从背景中分离出来，得到左/右摄像头目标作物的二值图像包括 步骤101 :在HSI颜色空间中，利用固定阈值分割法获取目标作物的初步分割图像； 步骤102 :利用超绿算法获取目标作物的灰度图像； 步骤103 :对目标作物的灰度图像进行直方图统计，得到目标作物的直方图； 步骤104 :利用近邻多点平均法对目标作物的直方图进行平滑处理； 步骤105 :搜索经过平滑处理的目标作物的直方图的峰值并计算峰值左右两侧的波谷位置，从而得到目标作物的二值图像。
3.根据权利要求I所述的方法，其特征是所述步骤4包括 步骤201 :初始化参数，令j = 1，wj = 1，Min = 10000 ;其中，j为右侧网格区域中的点的纵坐标，wj用于记录匹配成功的右侧网格区域中的点的纵坐标，Min用于记录左侧网格和右侧网格的修正的绝对差之和的最小值； 步骤202 :选取左侧网格区域中的点(u，i)，将其所处的左侧网格记为p并计算左侧网格P的灰度均值Mi和方差Ei (u，i)； 步骤203 :选取右侧网格区域中的点(u，j)，使该点的横坐标与左侧网格区域中选取的点(u，i)的横坐标相同，将其所处的右侧网格记为q并计算右侧网格q的灰度均值Nj和方差 Fj (u，j)； 步骤204 :判断Mi-Fj |< e是否成立，如果Mi-F j | < e成立，则执行步骤205 ;否则，令j = j+1并返回步骤203 ;其中，e是设定值； 步骤205 :计算左侧网格p和右侧网格q的绝对差之和，记为SAD ;计算左侧网格p的方差Ei (u，i)和右侧网格q的方差Fj (u，j)的绝对值之差，记为FCC ； 步骤206 :根据公式SF = SADXa+FCCXb计算左侧网格p和右侧网格q的修正的绝对差之和，其中a和b分别为比例参数； 步骤207 :如果左侧网格p和右侧网格q的修正的绝对差之和小于Min，则执行步骤.208 ;否则，令j = j+1并返回步骤203 ； 步骤208 :令Min = SF, wj = j ;判断j的取值是否经过所有极线点，如果j的取值经过所有极线点，则执行步骤209 ;否则，令j = j+1并返回步骤203 ； 步骤209:右侧网格区域中的点(u，wj)为左侧网格区域中的点(u，i)的匹配点。
4.根据权利要求3所述的方法，其特征是所述比例参数a和b的比值为1:1。
5.根据权利要求I所述的方法，其特征是所述步骤5包括 步骤301 :利用公式D=\-XK计算左右图像视差，其中\为匹配点对中一个点的横坐标，Xe为匹配点对中另一个点的横坐标；
全文摘要
本发明公开了农作物施药技术领域中的一种基于双目视觉网格划分匹配算法的农作物喷雾定位方法。包括利用双摄像头标定目标作物并获取目标作物的图像；分别获取左摄像头目标作物的二值图像和右摄像头目标作物的二值图像；分别对左摄像头获取的目标作物的二值图像和右摄像头获取的目标作物的二值图像进行网格划分；对左侧网格区域中的每个点，在右侧网格区域中进行匹配搜索，得到相互匹配的点，形成匹配点对；由各匹配点对计算左右图像视差并求取所述匹配点对对应的目标作物的点的三维坐标；删除错误点并对目标作物的点进行拟合处理，得到拟合曲线或曲面；根据拟合曲线或曲面规划喷头路径。本发明实现了目标作物的三维信息轮廓提取与定位。
文档编号G06T7/00GK102800083SQ20121020371
公开日2012年11月28日 申请日期2012年6月19日 优先权日2012年6月19日
发明者张宾, 刘涛, 郑承云 申请人:中国农业大学