基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法

本发明涉及一种基于机器视觉的智能标定方法，特别涉及一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法。

背景技术：

随着精准农业的不断发展，变量喷药技术成为精准智能施药技术的重要组成部分，其应用可以改变我国传统大面积平均喷药方式，能够有效减少农药使用量，促进农药合理使用，有助于保护环境，降低对绿色食品作物的危害。其中，以视觉传感器为主的感知技术日益成为研究的热点。机器视觉技术已广泛应用于各种农田作业(如除草，喷药，播种，收获等)过程中，其作业的效果直接影响到农业机械的效率、可靠性及稳定性。

与世界先进农业国相比,我国精准智能喷药技术水平还比较落后,用于喷药的传统植保机械不考虑不同地块受病虫草害的情况,采取大面积均量投入的喷药方法,导致农药在部分田地用量不足,在部分田地用量过度。现有变量喷药的主要应用途径有：一、利用处方图对农田的病虫草害进行评判，不同位置喷施不同药量，但是这种处方图的方法在除草前期需要对农田中的点进行采集并且评判，效率较低；二、使用对靶喷药的变量喷药方式，利用图像分割技术对杂草和作物进行分割，然后对杂草进行对靶喷药，但是对于类似于小麦的密集型作物实际作业效果较差。三、利用激光雷达的树冠变量喷药方式，利用激光雷达探测采集树行两侧树冠边界与激光扫描传感器之间的距离,实现仿形变量喷药，但是这种方式大多数是应用于树冠等距离可识别性高的农作物喷药，对于地面的农田作物效果实际作业效果较差。针对于密集地面作物，如小麦返青期，对于缺苗，断苗，无苗的区域使用变量喷药技术，暂未有一种很好变量喷药方法。

相机的标定可以分为两种方式：自标定和依赖于参照物标定。相机自标定是通过拍摄周围物体，依据数字图像处理相关方法以及依据数字图像处理相关方法以及几何计算来调节相机参数，标定结果误差较大，不适用于高精度的应用场合。依靠参照物的相机标定相比自标定方法精度更高，通过相机成像，依据数字图像处理方法，计算相机的内外参矩阵，得到由三维世界坐标到二维平面坐标的转换矩阵。为了得到这种矩阵，通常需要测量相机高度，俯仰角度等信息，以此得到相机坐标系和规定的世界坐标系的转换关系，通常这种做法只涉及到了一个三维世界的平面的到像素平面的投影转换关系，不涉及到多个平面的投影转换关系，对于多个平面多台相机，人工测量高度和俯仰角的方法比较复杂。

技术实现要素：

针对返青期小麦植保作业时，喷药点与地面实际作业区域在图像中的位置不同的问题，本发明的目的是提供一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，对固定于喷杆上方的相机的拍摄区域进行标定，从而确定喷头对应检测区域在图像中的位置，使实际检测区域与地面实际作业区域保持一致，为喷杆喷雾车机施药的准确性提供前提条件。

为了实现上述目的，本发明提供了如下技术方案：

一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机6的各相机1进行标定，确定出每一个喷头对应检测区域5在图像中的位置，所述喷杆喷雾机6包括垂直于机具前进方向的具有多个喷头7的喷杆4和多个朝向地面作物且位于喷杆4上方的相机1。该方法包括如下步骤：

s1、标定前准备；

在每一个喷头7的正上方各设置与机具前进方向平行的喷头标识板2；在每个相机1的采集区域内各设置与喷杆4平行的喷杆标识板3，喷头标识板2和喷杆标识板3位于同一水平的标识板平面11内；将黑白棋盘格标定板9分别设置在各相机1的采集区域内，各相机1分别采集一张带有黑白棋盘格标定板9的清晰图像，建立相机坐标系8和图像坐标系，提取图像中的棋盘格的角点信息，并对应黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标；由张氏标定法获得相机的内参和畸变参数；

所述喷头标识板2和喷杆标识板3的颜色不同；

s2、获取地面棋盘格图像和标识板平面棋盘格图像；

将与步骤s1相同的黑白棋盘格标定板9分别设置在各相机1的采集区域内的地面13和标识板平面11内，各相机1分别拍摄一张带有设置在地面13和标识板平面11的黑白棋盘格标定板9的地面棋盘格图像和标识板平面棋盘格图像，提取两幅图像中黑白棋盘格标定板9的棋盘格的角点信息，并根据黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标，建立地面坐标系12和标识板坐标系10，使用步骤s1获得的相机的内参，对两幅图像中的棋盘格进行外参矩阵的估计，获得地面坐标系12的外参矩阵mf_c和标识板坐标系10的外参矩阵mp_c；

s3、识别标识板，确定喷头在图像中的位置；

s3.1、对步骤s2获得的各相机1的地面棋盘格图像和标识板平面棋盘格图像进行畸变校正，获得地面棋盘格校正图像和标识板平面棋盘格校正图像；

s3.2、根据喷杆标识板3的颜色选择对应的颜色识别的方式对步骤s3.1获得的各相机1的标识板平面棋盘格校正图像中的喷杆标识板3进行识别，并进行二值处理；对得到的喷杆标识板3的二值图像的真值点使用最小二乘法进行拟合，得到喷杆标识板3的喷杆拟合直线以及该直线在图像坐标系下的喷杆拟合直线方程；

s3.3、根据喷头标识板2的颜色选择对应的颜色识别的方式对步骤s3.1获得的各相机1的标识板平面棋盘格校正图像中的喷头标识板2进行识别，并进行二值处理；对得到的包含多个喷头标识板2的二值图像进行分区，每一个分区只包含一个喷头标识板2的二值图像，对每一个分区的二值图像使用最小二值法进行直线拟合，得到各喷头标识板2的喷头拟合直线以及该直线在图像坐标系下的喷头拟合直线方程；

s3.4、将步骤s3.3获得的每一个喷头拟合直线方程和步骤s3.2获得的喷杆拟合直线方程进行联立求解，得到多个交点，所述交点为喷头交点，所述喷头交点为在标识板平面棋盘格图像中喷头的位置；

s4、将图像中的喷头交点映射至标识板坐标系；

由步骤s3.1获得的标识板平面棋盘格校正图像获取图像坐标到标识板坐标系10的单应性矩阵r3×3；再通过公式1将步骤s3.4获得的图像坐标系下的喷头交点映射到标识板坐标系10下，得到标识板坐标系10下的喷头交点坐标；

式中，x、y分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；x、y分别为图像坐标系下的喷头交点的x轴坐标值，y轴坐标系坐标值，单位为像素；s为比例因子，r3×3为单应性矩阵；

s5、喷头交点投影至地面；

通过公式2将步骤s4获得的标识板坐标系10下的喷头交点坐标转换到地面坐标系12，得到地面坐标系12下的喷头交点坐标；

式中，mp_c为标识板坐标系10的外参矩阵，mf_c^-1为地面坐标系12的外参逆矩阵；(xpw，ypw，zpw)为标识板坐标系10下的喷头交点坐标，xpw、ypw、zpw分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(xf，yf，zf)为在地面坐标系12下的喷头交点坐标，xf、yf、zf分别为在地面坐标系12下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；

s6、引入参数，确定喷头对应区域；

令地面坐标系12的喷头交点坐标的zf等于0，得到喷头交点在地面坐标系12下的喷头投影坐标；分别设置喷头7的有效喷幅宽度w、喷头7对应的检测区域与喷杆4之间的距离h1和喷头7对应检测区域宽度h2，通过公式3和公式4确定在地面坐标系12下的喷头对应的检测区域5的坐标；

式中，(xf1,yf1)为喷头交点在地面坐标系12下的喷头投影坐标，xf1,yf1分别为喷头交点在地面坐标系12下喷头投影坐标的x轴坐标值、y轴坐标值，单位为mm；α为地面坐标系12的喷杆投影直线与该坐标系横轴的夹角，单位为度；(x′f1,y′f1)为(xf1,yf1)在地面坐标系旋转角度α后的喷头交点坐标，x′f1、y′f1分别为(xf1,yf1)在地面坐标系旋转角度α后的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；(xf2,yf2)，(xf3,yf3)，(xf4,yf4)，(xf5,yf5)为喷头对应检测区域5的四个边界点在地面坐标系12下的坐标，xf2、xf3、xf4、xf5为喷头对应检测区域5的四个边界点在地面坐标系12下的x轴坐标值，yf2、yf3、yf4、yf5为喷头对应检测区域5的四个边界点在地面坐标系12下的y轴坐标值，单位为mm；h1为喷头7对应的检测区域与喷杆4之间的距离，单位为mm；h2为喷头7对应检测区域宽度，单位为mm；w为喷头7的有效喷幅宽度，单位为mm；

s7、将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域；

通过公式5和公式6将步骤s6获得的地面坐标系12下喷头对应的检测区域5返回至图像坐标系，获得对应的像素坐标值，获取图像感兴趣区域；

式中，mf_c为地面坐标系12的外参矩阵，(xf,yf,0)为对应检测区域5在地面坐标系12下的坐标，xf、yf、0分别为对应检测区域5在地面坐标系12下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(xcf,ycf,zcf)为喷头对应检测区域5在相机坐标系8下的坐标，xcf、ycf、zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；

式中，a为相机的内参矩阵；s为比例系数；(xcf,ycf,zcf)为喷头对应检测区域5在相机坐标系8下的坐标，xcf、ycf、zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；u、v分别为检测区域在图像坐标系下的横坐标和纵坐标。

所述相机1的像素设置为1920×1080，所采集的图像像素均为1920×1080。

所述步骤s1中，内参为图像由相机坐标系8转换到图像坐标系的变换矩阵，用于计算相机坐标系8下的坐标点在图像中的位置。

所述步骤s1中，畸变参数为在相机制造过程中，以及相机坐标系8转换至图像坐标系过程产生的畸变。

所述步骤s2中，外参矩阵是由黑白棋盘格标定板9所确定的坐标系转换到相机坐标系8下的矩阵。

所述步骤s3.1中，畸变校利用步骤s1获得的畸变参数对有畸变的图像进行校正，消除畸变。

所述喷杆标识板3为绿色，在步骤s3.2中，采用2g-r-b的和大津法对图像绿色区域进行识别和二值化处理。

所述喷头标识板2为红色，在步骤s3.3中，采用2r-g-b的和大津法对图像红色区域进行识别和二值化处理。

所述步骤s4中，单映性矩阵为图像坐标点转换到标识板坐标系的转换矩阵。

所述步骤s6中，地面坐标系12的喷杆投影直线与该坐标系横轴的夹角α确定过程如下：

任意选取两个地面坐标系12下的喷头投影点坐标，求取地面坐标系12中喷杆投影直线l：y＝kx+b；式中k为直线斜率；通过直线斜率k获取喷杆投影直线与该坐标系横轴的夹角。与现有技术相比，本发明的有益效果在于：

本发明由黑白棋盘格图像建立三维坐标系，通过标识板和黑白棋盘格快速确定喷头对应区域在图像中的位置，即感兴趣区域，无需人工测量相机的高度，俯仰角等信息，降低人工误差，具有通用性好、准确度高的特点。

附图说明

图1为本发明的基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法的流程图；

图2为本发明的喷杆喷雾机6作业示意图；

图3为本发明的喷雾感兴趣区域标定的图像采集及坐标系示意图。

其中的附图标记为：

1相机2喷头标识板

3喷杆标识板4喷杆

5喷头对应检测区域6喷杆喷雾机

7喷头8相机坐标系

9黑白棋盘格标定板10标识板坐标系

11标识板平面12地面坐标系

13地面

w喷头7的有效喷幅宽度

h1喷头7对应的检测区域与喷杆4之间的距离

h2喷头7对应检测区域宽度

具体实施方式

下面结合附图和实施例对本发明进行进一步说明。

一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机6的各相机1进行标定，确定出每一个喷头对应检测区域5在图像中的位置。如图2所示，所述喷杆喷雾机6包括垂直于机具前进方向的具有多个喷头7的喷杆4和多个朝向地面作物且位于喷杆4上方的相机1；所述相机1与喷杆4之间的距离为900～1100mm，相机1相对于地面的倾斜角度25～35度，喷头高度为400～600mm。

如图1所示，该方法包括如下步骤：

s1、标定前准备；

在每一个喷头7的正上方各设置与机具前进方向平行的喷头标识板2；在每个相机1的采集区域内各设置与喷杆4平行的喷杆标识板3，喷头标识板2和喷杆标识板3位于同一水平的标识板平面11内；将黑白棋盘格标定板9分别设置在各相机1的采集区域内，各相机1分别采集一张带有黑白棋盘格标定板9的清晰图像，建立相机坐标系8和图像坐标系，提取图像中的棋盘格的角点信息，并对应黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标；由张氏标定法获得相机的内参和畸变参数。所述张氏标定法为属于本领域公知常识，在此不再赘述。

本实施例中相机1的像素设置为1920×1080，以下采集的图像像素均为1920×1080。

所述喷头标识板2和喷杆标识板3的颜色不同。本实施例中，喷头标识板2采用红色标识，喷杆标识板3采用绿色标识。所述喷杆标识板3的长度为300mm，宽度为90mm；喷头标识板2的长度为190mm，宽度为50mm。

所述黑白棋盘格标定板9中，每个黑白方格的边长为30mm，黑白方格阵列12×9。

所述内参为图像由相机坐标系8转换到图像坐标系的变换矩阵。该参数用于计算相机坐标系8下的坐标点在图像中的位置。

所述畸变参数为在相机制造过程中，以及相机坐标系8转换至图像坐标系过程产生的畸变。

s2、获取地面棋盘格图像和标识板平面棋盘格图像；

将与步骤s1相同的黑白棋盘格标定板9分别设置在各相机1的采集区域内的地面13和标识板平面11内，各相机1分别拍摄一张带有设置在地面13和标识板平面11的黑白棋盘格标定板9的地面棋盘格图像和标识板平面棋盘格图像，提取两幅图像中黑白棋盘格标定板9的棋盘格的角点信息，并根据黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标，建立地面坐标系12和标识板坐标系10，使用步骤s1获得的相机的内参，对两幅图像中的棋盘格进行外参矩阵的估计，获得地面坐标系12的外参矩阵mf_c和标识板坐标系10的外参矩阵mp_c。

所述外参矩阵是由黑白棋盘格标定板9所确定的坐标系转换到相机坐标系8下的矩阵。

s3、识别标识板，确定喷头在图像中的位置；

s3.1、对步骤s2获得的各相机1的地面棋盘格图像和标识板平面棋盘格图像进行畸变校正，获得地面棋盘格校正图像和标识板平面棋盘格校正图像；

所述畸变校正是利用步骤s1中标定所获得的畸变参数对有畸变的图像进行校正，消除畸变。畸变校正属于本领域常用技术手段，在此不再赘述。

s3.2、根据喷杆标识板3的颜色选择对应的颜色识别的方式对步骤s3.1获得的各相机1的标识板平面棋盘格校正图像中的喷杆标识板3进行识别，并进行二值处理；对得到的喷杆标识板3的二值图像的真值点使用最小二乘法进行拟合，得到喷杆标识板3的喷杆拟合直线以及该直线在图像坐标系下的喷杆拟合直线方程。

本实施例中，喷杆标识板3为绿色，采用2g-r-b的和大津法对图像绿色区域进行识别和二值化处理。

s3.3、根据喷头标识板2的颜色选择对应的颜色识别的方式对步骤s3.1获得的各相机1的标识板平面棋盘格校正图像中的喷头标识板2进行识别，并进行二值处理；对得到的包含多个喷头标识板2的二值图像进行分区，每一个分区只包含一个喷头标识板2的二值图像，对每一个分区的二值图像使用最小二值法进行直线拟合，得到各喷头标识板2的喷头拟合直线以及该直线在图像坐标系下的喷头拟合直线方程。

本实施例中，喷头标识板2为红色，采用2r-g-b的和大津法对图像红色区域进行识别和二值化处理。

s3.4、将步骤s3.3获得的每一个喷头拟合直线方程和步骤s3.2获得的喷杆拟合直线方程进行联立求解，得到多个交点，所述交点为喷头交点，所述喷头交点为在标识板平面棋盘格图像中喷头的位置。

s4、将图像中的喷头交点映射至标识板坐标系；

由步骤s3.1获得的标识板平面棋盘格校正图像获取图像坐标到标识板坐标系10的单应性矩阵r3×3；再通过公式(1)将步骤s3.4获得的图像坐标系下的喷头交点映射到标识板坐标系10下，得到标识板坐标系10下的喷头交点坐标；

式中，x、y分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；x、y分别为图像坐标系下的喷头交点的x轴坐标值，y轴坐标系坐标值，单位为像素；s为比例因子，r3×3为单应性矩阵。

所述的单映性矩阵为从一个平面到另一个平面投影映射，在本实施例中表示为图像坐标点转换到标识板坐标系的转换矩阵。

s5、喷头交点投影至地面；

通过公式(2)将步骤s4获得的标识板坐标系10下的喷头交点坐标转换到地面坐标系12，得到地面坐标系12下的喷头交点坐标；

式中，mp_c为标识板坐标系10的外参矩阵，mf_c^-1为地面坐标系12的外参逆矩阵；(xpw，ypw，zpw)为标识板坐标系10下的喷头交点坐标，xpw、ypw、zpw分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm，(xf，yf，zf)为在地面坐标系12下的喷头交点坐标，xf、yf、zf分别为在地面坐标系12下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm。

s6、引入参数，确定喷头对应区域

令地面坐标系12的喷头交点坐标的zf等于0，得到喷头交点在地面坐标系12下的喷头投影坐标；分别设置喷头7的有效喷幅宽度w、喷头7对应的检测区域与喷杆4之间的距离h1和喷头7对应检测区域宽度h2，通过公式(3)和公式(4)确定在地面坐标系12下的喷头对应的检测区域5的坐标。

式中，(xf1,yf1)为喷头交点在地面坐标系12下的喷头投影坐标，xf1,yf1分别为喷头交点在地面坐标系12下喷头投影坐标的x轴坐标值、y轴坐标值，单位为mm；α为地面坐标系12的喷杆投影直线与该坐标系横轴的夹角，单位为度；(x′f1,y′f1)为(xf1,yf1)在地面坐标系旋转α角度后的喷头交点坐标，x′f1、y′f1分别为(xf1,yf1)在地面坐标系旋转α角度后的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；(xf2,yf2)，(xf3,yf3)，(xf4,yf4)，(xf5,yf5)为喷头对应检测区域5的四个边界点在地面坐标系12下的坐标，xf2、xf3、xf4、xf5为喷头对应检测区域5的四个边界点在地面坐标系12下的x轴坐标值，yf2、yf3、yf4、yf5为喷头对应检测区域5的四个边界点在地面坐标系12下的y轴坐标值，单位为mm；h1为喷头7对应的检测区域与喷杆4之间的距离，单位为mm；h2为喷头7对应检测区域宽度，单位为mm，w为喷头7的有效喷幅宽度，单位为mm。

其中，地面坐标系12的喷杆投影直线与该坐标系横轴的夹角α确定过程如下：

任意选取两个地面坐标系12下的喷头投影点坐标，求取地面坐标系12中喷杆投影直线l：y＝kx+b；式中k为直线斜率；通过直线斜率k获取喷杆投影直线与该坐标系横轴的夹角。

本实施例中，喷头7的有效喷幅宽度w为600mm，喷头7对应的检测区域与喷杆4之间的距离h1为200mm，喷头7对应检测区域宽度h2为200mm。

s7、将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域；

通过公式(5)和公式(6)将步骤s6获得的地面坐标系12下喷头对应的检测区域5返回至图像坐标系，获得对应的像素坐标值，获取图像感兴趣区域；

式中，mf_c为地面坐标系12的外参矩阵，(xf,yf,0)为对应检测区域5在地面坐标系12下的坐标，xf、yf、0分别为对应检测区域5在地面坐标系12下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(xcf,ycf,zcf)为喷头对应检测区域5在相机坐标系8下的坐标，xcf、ycf、zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm。

式中，a为相机的内参矩阵；s为比例系数；(xcf,ycf,zcf)为喷头对应检测区域5在相机坐标系8下的坐标，xcf、ycf、zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；u、v分别为检测区域在图像坐标系下的横坐标和纵坐标。