一种无人插秧机栽插质量的图像检测方法与流程

本发明涉及机器视觉和模式识别领域，特别是一种基于机器视觉的缺陷检测方法。

背景技术：

随着农业机械智能化水平的不断提高，无人驾驶农机进行自主作业的研究也在快速的发展。插秧机代替人工进行秧苗栽植也已经有很长一段时间，虽然可以高效工作，但是由于人工控制插秧机在狭小的空间内作业，不仅浪费人力，还可能因为作业人员的控制作业使行走路线发生偏离造成秧苗的栽植发生偏离，从而影响秧苗的生长。此外，插秧机在减震、降噪等设计上存在很多的不足，这样会使人长期处在强震动、高噪音和高温的恶劣环境下，对身体健康造成巨大的损害。因此，无人插秧机的研究应运而生。实时、准确地对无人插秧机的栽植质量进行监控，以及在发生故障时能及时地报警是无人插秧机高效、安全作业的重要保障，能够有效提高作业效率、降低安全隐患。

技术实现要素：

本发明的目的在于提出一种能够有效提高作业效率、降低安全隐患的无人插秧机栽插质量的图像检测方法。该方法能够实时、准确地对无人插秧机的栽植质量进行监控，以及在发生故障时能及时地报警是无人插秧机高效、安全作业的重要保障。本发明的技术方案包含以下步骤：

(a)将相机安装在无人插秧机插植臂后上方俯拍，根据gps信号每行进一段距离采集一幅秧苗图像；

(b)将图像中的秧苗从背景中分割出来；

(c)确定每簇秧苗的质心；

(d)检测图中的漏秧；

(e)剔除不完整形态秧苗；

(f)提取秧苗形状特征；

(g)通过神经网络检测图中的漂秧；

(h)统计漏秧和漂秧出现的次数并判断是否报警。

进一步，步骤(a)中所述相机的安装与图像的采集，将相机安装在无人插秧机插植臂后上方，镜头向下保持水平进行俯拍，并适当调节相机的位置和高度以及图像roi等使采集的图像视野能够覆盖插植臂工作范围，根据gps信号插秧机每行进一定距离采集一幅图像。

进一步，步骤(b)中所述图像的分割，首先采用超绿算子exg(exg＝2*g-r-b，其中r,g,b分别是图像的红色、绿色和蓝色分量)对图像进行灰度化，然后采用最大类间方差法(又称otsu法)将图像二值化从而将秧苗从背景中分割出来(记为bw1)。

进一步，步骤(c)中所述每簇秧苗质心的确定，首先滤除分割图像中面积较小的连通区域(记为bw2)，然后通过形态学膨胀算法连接相互靠近的连通区域，接着对未连接且面积较小的连通区进行滤除(记为bw3)，最后计算每个连通区的质心并将其作为对应秧苗簇的质心。

进一步，步骤(d)中所述漏秧的检测，沿插植臂组间的中间位置将图像中的秧苗分成对应的列，分别计算每列相邻秧苗(每列最前最后的秧苗还要分别计算其质心到图像上沿或下沿的纵向像素距离)质心的纵向像素距离d，纵向标准株距在图像中的像素距离为l，若d>1.5l则表明存在漏秧，漏秧的数目即相邻秧苗间质心的距离相对标准株距的倍数减去1.5后向无限大方向取整。

进一步，步骤(e)中所述不完整形态秧苗的剔除，秧苗质心到图像上沿或下沿的纵向像素距离小于0.35l则认为该秧苗没有完整的呈现在图像中并从bw3中剔除该簇秧苗对应的连通区(记为bw4)。

进一步，步骤(f)中所述秧苗形状特征的提取，提取bw4中每个连通区与该连通区有相同二阶中心距的椭圆离心率，再采用bw4中的每个连通区作为掩膜提取bw2中的每簇秧苗，然后计算每簇秧苗的7个不变矩，共提取8个秧苗的特征。

进一步，步骤(g)中所述漂秧的检测，将未知状态的秧苗特征值输入预先建立并训练完成的神经网络中进行分类。

进一步，步骤(h)中所述漏秧和漂秧的自动报警机制，若一帧图像有3簇及以上秧苗存在漂秧或漏秧则进行报警，此外还对每列秧苗设置可以存储15个数据的先入先出堆栈，存入堆栈中的数据用00表示正常栽插秧苗，01表示漏秧，11表示漂秧，每处理一帧图像就将处理结果存入对应列的堆栈，然后对堆栈中3种类型的数据分别进行统计，若每列堆栈中漏秧和漂秧数量超过4个则进行报警。

本发明的有益效果是：

本发明采用机器视觉与模式识别技术实现对秧苗状态的检测。机器视觉技术在工业上已广泛应用于工业产品的缺陷检测，机械元件的尺寸测量以及视觉伺服控制等领域，然而在农业上由于室外环境的多变性难以广泛应用。模式识别技术是一种智能化的分类方法，与人工智能和图像处理等领域有交叉关系。本发明通过机器视觉技术分割出图像中的秧苗并实现对漏秧的检测，采用模式识别技术对检测出的秧苗进行分类，识别出其中的漂秧。

本发明采用的方法能够在户外光照环境下较好的分割出秧苗，实现对漏秧和漂秧的检测，并且提供了有效的自动报警机制。该方法能够实现对秧苗的实时无接触式检测，帮助实现无人插秧的管理和监控。

附图说明

图1栽插质量检测流程图；

图2秧苗分割示意图；

图3二值图像去噪示意图；

图4二值图像膨胀示意图；

图5漏秧检测示意图。

具体实施方式

下面结合附图对本发明的具体实施方案做进一步描述。

一种无人插秧机栽插质量的图像检测方法，其步骤如图1所示，具体描述如下：

(a)将相机安装在无人插秧机插植臂后上方俯拍，实时采集所栽插秧苗。实验所用插秧机具有7组插植臂相邻插植臂组间隔30cm，每组插植臂分别有3个插植臂轮转作业。为使采集图像大小能够覆盖7列栽插的秧苗，需要保证相机视野能够覆盖210cm的实际宽度。因此选用具有1/2ccd，分辨率为3120×2320，全分辨率下最大帧率为30fps的工业相机进行图像采集，同时配备焦距4mm，视场角为76°*60.6°的镜头使相机在1.5m的高度拍摄234cm×175.5cm大小的视野范围从而满足工作要求。将相机固定在距离地面高度为1.5m，插植臂后0.8m处中央位置，并设置相机roi使得相机完整的拍摄7列至少5行的秧苗，图像大小为2800×2320，根据gps信号无人插秧机每行进175.5cm拍摄一副图像。此外，相机需固定在防抖动云台上，以减少插秧机抖动造成的图像模糊。

(b)将图像中的秧苗从背景中分割出来。首先采用超绿算子exg(exg＝2*g-r-b，其中r,g,b分别是图像的红色、绿色和蓝色分量)对图像进行灰度化，然后采用最大类间方差法(又称otsu法)将图像二值化从而将秧苗从背景中分割出来(记为bw1，如图2所示)。

(c)确定每簇秧苗的质心。首先滤除分割图像中面积小于240个像素面积的连通区域(记为bw2,如图3所示)，然后通过形态学膨胀算法采用60×60的结构元素连接相互靠近的连通区域，接着对未连接且面积小于800的连通区进行滤除(记为bw3，如图4所示)，最后计算每个连通区的质心并将其作为对应秧苗簇的质心。

(d)检测图中的漏秧。沿插植臂间的中间位置(图像中从左到右400,800,1200,1600,2000,2400的像素距离处)将图像中的秧苗分成对应的列，如图5所示，图中虚线表示分割线，图中的星号“*”表示秧苗质心，分别计算每列相邻秧苗(每列最前最后的秧苗还要分别计算其质心到图像上沿和下沿的纵向像素距离)质心的像素距离d，将实际的纵向标准株距换算成像素距离l(根据拍摄图像得l＝400)，若d>1.5l则表明相邻的两簇秧苗之间存在漏秧，漏秧的数目即相邻秧苗间质心的距离相对标准株距的倍数减去1.5后向无限大方向取整。

(e)剔除不完整形态的秧苗。若秧苗质心到图像上沿或下沿的纵向像素距离小于0.35l则认为该秧苗没有完整的呈现在图像中并从bw3中剔除该簇秧苗对应的连通区(记为bw4)。

(f)提取秧苗形状特征。提取bw4中每个连通区与该连通区有相同二阶中心距的椭圆离心率，再采用bw4中的每个连通区作为掩膜提取bw2中的每簇秧苗，然后计算每簇秧苗的7个不变矩，共提取8个秧苗的形状特征。

(g)检测图中的漂秧。预先建立三层8×17×1的bp神经网络，采集1000簇正常栽插秧苗和200簇漂秧的特征数据采用80％的数据训练50组网络，然后采用其他20％数据进行测试并选用测试误差最小的网络进行漂秧检测，将未知状态的秧苗特征值输入训练完成的神经网络进行分类。

漏秧漂秧的自动报警机制。若一帧图像有3簇及以上秧苗存在漂秧或漏秧则进行报警，此外还对每列秧苗设置可以存储15个数据的先入先出堆栈，存入堆栈中的数据用00表示正常栽插秧苗，01表示漏秧，11表示漂秧，每处理一帧图像就将处理结果存入对应列的堆栈，然后对堆栈中3种类型的数据分别进行统计，若每列堆栈中漏秧和漂秧数量超过4个则进行报警。

综上，本发明的一种无人插秧机栽插质量的图像检测方法，该方法通过安装在插秧机插植臂上方的相机进行俯拍连续采集刚栽插秧苗的图像，然后采用图像分割，图像形态学方法和模式识别等数字图像处理技术分别实现对漏秧和漂秧的识别，同时通过对每列秧苗中漏秧和漂秧的统计分析，进行漏秧和漂秧的自动报警，实现对无人插秧机栽插作业质量的实时监控。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。