一种基于单目视觉的农业车辆导航线检测系统及方法
【专利摘要】本发明公开了一种基于单目视觉的农业车辆导航线检测系统及方法，有效解决了现有检测技术效率低、成本高的问题。本发明包括导航线检测系统的硬件系统搭建，以及导航线检测方法。导航线检测方法包括以下步骤：基于农田绿色特征的作物行提取；基于中值滤波的图像噪声去除；图像的形态学开运算处理；导航线特征点提取；导航线的拟合。本发明基于单目视觉传感器，结合图像处理技术，从采集的农田图中提取代表作物行的中心线，作为农业车辆自主行走的导航线。本发明提供的检测方法通过分析农田图像特征，采用基于绿色特征的作物行提取和基于形心的导航线检测，并通过中值滤波和形态学方法去除了农田图像中的噪声干扰，具有计算量小、稳定性高的特点。
【专利说明】
-种基于单目视觉的农业车辆导航线检测系统及方法
技术领域
[0001] 本发明设及农业机械导航系统技术领域，尤其设及一种基于单目视觉的农业车辆 导航线检测系统及方法。
【背景技术】
[0002] 自动导航技术是智能农业的重要组成部分，在自动施药、施肥、收割、中耕除草等 方面有着广泛的用途。目前应用最广泛的导航方式是视觉导航和GPS导航。GPS导航的应用 受环境限制较大，当遇到建筑物、高大树木等的遮挡时，信号容易发生丢失，且由于其价格 和先验地图信息的不可或缺，使得成本较高，运对农业机器人作业的实时性、稳定性都造成 很大影响。相比较而言，视觉导航成本较低，灵活性更大，特别是能获取丰富的环境信息，实 时进行导航路径的规划，是目前研究的热点。
[0003] 对视觉图像进行处理及特征信息提取是视觉导航系统应用的前提和基础，针对行 栽作物，视觉导航的主要任务就是从图像中识别出作物行，作为导航参考线，为确定车辆的 相对位置提供依据。目前，国内外已有不少关于导航路径检测的研究，如袁佐云应用的基于 垂直投影法进行作物行定位，根据灰度直方图的峰值确定作物行，运种方法有效快速，但在 行间出现噪声干扰时效果受到影响。如传统的霍夫变化拟合作物行，稳定性高，但同时计算 量巨大，难W满足作业车辆的实时性要求。
[0004] 因此，本发明基于单目视觉传感器，针对农田非结构化作业环境，提出一种基于农 田绿色特征和定位点的快速导航信息检测系统，对传统的方法进行有效改进，完成路径的 实时、快速和准确的提取。
【发明内容】
[0005] 本发明目的就是为了弥补已有技术的缺陷，提供一种基于单目视觉的农业车辆导 航线检测系统及方法。
[0006] 本发明是通过W下技术方案实现的：
[0007] 一种基于单目视觉的农业车辆导航线检测系统，包括有工业相机、USB传输模块、 图像处理平台、图像存储卡和显示器，所述的工业相机安装在作业车辆的顶部，倾斜向下安 装采集车辆正前方的环境图像;所述的USB传输模块将工业相机和图像处理平台相连;所述 的图像处理平台进行图像数据的处理，提取导航所需的信息;所述的图像存储卡安装在图 像处理平台上，保存工业相机拍摄W及处理后的数字图像;所述的显示器通过VGA接口与图 像处理平台相连，用于实时显示检测出的导航路径信息。
[000引一种基于单目视觉的农业车辆导航线检测的方法，包括W下步骤：
[0009] 步骤1:工业相机采集的农田图像，根据作物的过绿特征进行阔值处理，提取作物 行；
[0010] 步骤2:对于提取出作物行的图像，采用平均值法进行灰度化预处理，基于灰度图 像，采用中值滤波去除图像中的噪声；
[0011] 步骤3:对于去除噪声后的图像，根据类间方差最大化原理进行二值化，获得黑白 两色二值图；
[0012] 步骤4:对于二值化图像，利用矩形结构元素进行形态学开运算处理，消除作物行 中细小的孔桐，W及作物生长不规则导致的独立小团块，获得边缘平滑、形状规则的作物行 图像；
[0013] 步骤5:对于形态学处理后的作物行图像，将其分割成等高的水平条图像，计算水 平条中代表作物行的白色色块的形屯、，获取导航线提取的特征点；
[0014] 步骤6:对于获取的导航线特征点，使用最小二乘法进行拟合，最终获得检测的导 航线。
[0015] 步骤1中，根据过绿特征提取作物行，进行阔值处理的公式如下所示：
[0016]
[0017] 其中，采用RGB颜色空间进行农田图像分析，八1，^、邑(1，^、6(1，如分别表示数字 图像中坐标为（i，j)的像素红、绿、蓝通道值，将像素的2*g (i，j) -r (i，j) -b (i，j)值作为阔 值，对图像中像素进行判断，如果该值大于0，则为作物行，保持原有像素值不变，反之将其 作为背景。
[0018] 步骤2中采用平均值法进行灰度化预处理计算公式如下所示：
[0019] Gray(i,j) = (r(i,j)+g(i,j)+b(i,j))/3
[0020] 其中，Gray(i，j)是计算出的像素灰度值。
[0021] 步骤2中，进行中值滤波去除图像中的噪声的公式如下所示：
[0022] G(i , j) =Med{Grayi-v，...，Grayi,...，Grayi+v}，i EN，V = (m-l)/2
[0023] 其中，G(i，j)为滤波后的灰度值，Med是求中值操作，m代表结构元素的尺寸，一般 取奇数，Grayi-V，…，Grayi，…，Grayi+v是Grayi为中屯、的像素点的邻域像素灰度值。
[0024] 步骤3中，类间方差最大化原理进行二值化处理的公式如下所示：
[0025]
[0026] 其中，BQ J)是处理后的像素值，分割阔值T基于Otsu类间方法最大化方法计算得 出。
[0027] 步骤4中，所述的形态学开运算处理根据作物行的线型特征，采用5像素*1像素的 矩形结构元素进行腐蚀、膨胀操作。
[002引步骤5中，水平条的分割采用等高的原则，设图像大小为LXH像素，W高度h为单位 对图像进行等距离分割，每个水平条的大小则为LXh,划分的水平条条数为H/h，实际应用 中可调整分割条数。
[0029] 步骤5中，特征点的计算采用基于形屯、的计算方式，其公式如下：
[0030]
[0031]
[0032] 其中，f(i，j)表示像素值，a'J'）表示求取的形屯、坐标。
[0033] 本发明的优点是:本发明利用价格低廉的CCD工业相机作为环境感知传感器，结合 嵌入式图像处理平台和相关检测方法，检测出导航参考线，为农业车辆的实时导航提供了 参考依据，本发明提供的检测方法通过分析农田图像特征，采用基于绿色特征的作物行提 取和基于形屯、的导航线检测，并通过中值滤波和形态学方法去除了农田图像中的噪声干 扰，具有计算量小、稳定性高的特点。同时本发明结构简单、成本低廉，对于农田车辆自主导 航技术有巨大的潜在应用价值。
【附图说明】
[0034] 图1为本发明的硬件拓补图。
[0035] 图2为本发明中导航路径检测流程图。
[0036] 图3为作物行提取的结果图。
[0037] 图4为图像噪声去除后的效果图。
[0038] 图5为图像二值化的结果图。
[0039] 图6为形态学处理的效果图。
[0040] 图7为特征点提取的结果图。
[0041 ]图8为导航线拟合的结果图。
【具体实施方式】
[0042] 如图1所示，一种基于单目视觉的农业车辆导航线检测系统，包括有工业相机1、 USB传输模块2、图像处理平台3、图像存储卡4和显示器5,所述的工业相机1安装在作业车辆 的顶部，倾斜向下安装采集车辆正前方的环境图像6;所述的USB传输模块2将工业相机1和 图像处理平台3相连;所述的图像处理平台3进行图像数据的处理，提取导航所需的信息;所 述的图像存储卡4安装在图像处理平台3上，保存工业相机1拍摄W及处理后的数字图像;所 述的显示器5通过VGA接口与图像处理平台3相连，用于实时显示检测出的导航路径信息。
[0043] 如图2所示，一种基于单目视觉的农业车辆导航线检测的方法，包括W下步骤：
[0044] 步骤1:工业相机1采集的农田图像，根据作物的过绿特征进行阔值处理，提取作物 行；
[0045] 步骤2:对于提取出作物行的图像，采用平均值法进行灰度化预处理，基于灰度图 像，采用中值滤波去除图像中的噪声，如图4所示；
[0046] 步骤3:对于去除噪声后的图像，根据类间方差最大化原理进行二值化，获得黑白 两色二值图；
[0047] 步骤4:对于二值化图像，利用矩形结构元素进行形态学开运算处理，消除作物行 中细小的孔桐，W及作物生长不规则导致的独立小团块，获得边缘平滑、形状规则的作物行 图像；
[0048] 步骤5:对于形态学处理后的作物行图像，将其分割成等高的水平条图像，计算水 平条中代表作物行的白色色块的形屯、，获取导航线提取的特征点；
[0049] 步骤6:对于获取的导航线特征点，使用最小二乘法进行拟合，最终获得检测的导 航线。
[0050]步骤I中，根据过绿特征提取作物行，进行阔值处理的公式如下所示：
[0化1 ]
[0052] 其中，采用RGB颜色空间进行农田图像分析，八1，^、邑(1，^、6(1，如分别表示数字 图像中坐标为（i，j)的像素红、绿、蓝通道值，将像素的2*g(i，j)-r(i，j)-b(i，j)值作为阔 值，对图像中像素进行判断，如果该值大于0，则为作物行，保持原有像素值不变，反之将其 作为背景。
[0053] 步骤2中采用平均值法进行灰度化预处理计算公式如下所示：
[0054] Gray(i,j) = (r(i,j)+g(i,j)+b(i,j))/3
[0055] 其中，Gray(i，j)是计算出的像素灰度值。
[0056] 步骤2中，进行中值滤波去除图像中的噪声的公式如下所示：
[0057] G(i , j) =Med{Grayi-v, ??? ,Grayi, ??? ,Grayi+v}, i v = (m-1 )/2
[005引其中，G(i，j)为滤波后的灰度值，Med是求中值操作，m代表结构元素的尺寸，一般 取奇数，Grayi-V，…，Grayi，…，Gray i+v是Grayi为中屯、的像素点的邻域像素灰度值。
[0059] 步骤3中，类间方差最大化原理进行二值化处理的公式如下所示：
[0060]
[0061] 其中，BQ J)是处理后的像素值，分割阔值T基于Otsu类间方法最大化方法计算得 出。
[0062] 步骤4中，所述的形态学开运算处理根据作物行的线型特征，采用5像素*1像素的 矩形结构元素进行腐蚀、膨胀操作。
[0063] 步骤5中，水平条的分割采用等高的原则，设图像大小为LXH像素，W高度h为单位 对图像进行等距离分割，每个水平条的大小则为LXh,划分的水平条条数为H/h，实际应用 中可调整分割条数。
[0064] 巧驢5中，据佈占的计貸采巧其干巧如的计貸力?式，巧公式如下：
[00 化]
[0066]
[0067] 其中，f(i，j)表示像素值，a'J'）表示求取的形屯、坐标。
[0068] 采用的工业相机为500万像素，USB接口，分辨率可调，设置采集分辨率为720X576 像素，设置采集图像格式为肝EG格式。
[0069] 图像存储卡安装在图像处理平台上，并通过USB传输模块将工业相机和图像处理 平台连接，工作时，图像采集卡将相机采集的农田图像或视频W数字信号方式存储，图像处 理平台进行图像数据的处理，提取导航信息。处理完成的图像也存在图像采集卡中。图像处 理平台使用的是基于飞思卡尔i.MX6Q(Cotrex A9)的QS-PTE9嵌入式视频图像处理平台。
[0070] 将显示器5通过VGA接口和图像处理平台3连接，用于实时显示作业车辆周围的环 境图像，W及提取出的导航路径参考信息。
[0071] 如图2所示，导航路径检测系统整体流程，包括作物行提取、图像噪声去除、图像二 值化、形态学处理、特征点提取、导航线拟合运几个步骤，具体实现如下。
[0072] 第一步，农田图像的作物行提取。采用RGB颜色空间进行农田图像分析，通过分析 可知，图像中作物和±壤及其他背景信息的主要特征在于绿色分量的值，作物行具有明显 的绿色特征，即G值较高，而±壤背景R值和G值较高，因此利用像素的G值进行作物行的提 取。基于传统2G-R-B超绿特征灰度化方法进行改进，直接将其作为判断阔值，该值大于0的 像素认为是作物，保留原像素值，反之作为背景处理，如公式(1)所示，其中r(i，j)、g(i，j)、 b(i，j)分别表示数字图像中坐标为（i，j)的像素红、绿、蓝通道值。运种方法直接进行作物 行的分割提取，同时将背景去除，通过保留原像素值的极大地减小了计算量，改善了实时 性。作物行提取的结果如图3所示。
[007；3]
(1)
[0074] 第二步，图像噪声的去除。噪声去除包含灰度化预处理、中值滤波两个步骤。
[0075] 1)灰度处理:使用全局统计均值方法计算图像素的灰度值，具体如公式(2)所示， Gray (i，j)是计算出的像素灰度值。
[0076] Gray(i,j) = (r(i,j)+g(i,j)+b(i,j))/3 (2)
[0077] 2)中值滤波：图像中包含来自路面，作物W及环境的多源信息，采用中值滤波进行 平滑处理，去除其中的椒盐噪声。按照强度值将窗内像素点进行排列，选择排序像素集的中 间值作为像素点Q J)的新值，对于边缘处的像素点，直接保留原有灰度值。如公式（3)所 示：
[007引 G(i , j) =Med{Grayi_v，...，Grayi，...，Grayi+v}，i EN，V = (m-1)/2
[0079] (3)
[0080] 其中，G(i，j)为滤波后的灰度值，Med是求中值操作，m代表结构元素的尺寸，一般 取奇数，Grayi-V，…，Grayi，…，Grayi+v是Grayi为中屯、的像素点的邻域像素灰度值。
[0081] 在本实施例中取m值为3,采用3X3像素的模板进行滤波，也即取{Gray(i-l，j-l), Gr曰y(i-l，j) ,Gr曰y(i-l，j+1) ,Gr曰y(i，y-l) ,Gr曰y(i，j) ,Gr曰y(i，j+1) ,Gr曰y(i+l，j) ,Gr曰y (i+lJ+1)}的中值作为滤波输出值。具体应用时，针对不同的作物图像，可采取不同尺寸的 模板取得最佳滤波效果。
[0082] 第=步，图像二值化。二值化的关键在于阔值的选取，基于类间方差最大化原理， 在最小到最大灰度值区间内进行遍历，选择使得目标、背景两类直接方差最大化的灰度值T 作为分割阔值，如公式(4)所示，BQ J)是处理后的像素值。二值化处理结果如图5所示。
[008；3]
(4)
[0084] 第四步，形态学处理。为消除作物行中细小的孔桐，W及作物生长不规则导致的独 立小团块，进行形态学开运算处理，也就是进行先腐蚀、后膨胀的卷积操作。考虑作物行的 线型特征，采用5像素*1像素的矩形结构元素进行腐蚀、膨胀操作，处理连接相邻元素，同时 去除分散的噪声点。
[0085] 首先进行腐蚀操作：用结构元素扫描图像的每一个像素，将结构元素与其覆盖的 二值图像做与操作，如果像素值全为1，则该像素值为1，否则为0 ;其次进行膨胀操作，用结 构元素扫描图像的每一个像素，将结构元素与其覆盖的二值图像做与操作，如果都为0,则 该像素值为0,否则为1。形态学处理的效果如图6所示，有效去除了图像中细小的噪声快，并 平滑作物行的边界。
[0086] 第五步，特征点的提取。采用基于水平条分割和特征点计算的方法获得导航特征 点。
[0087] 1)水平条分割:设图像大小为LXH像素，W高度h为单位对图像进行等距离分割， 每个水平条的大小则为LXh,划分的水平条条数为HA，可根据需要进行调整。本实施例中 选择划分出8个水平条。
[0088] 2)基于形屯、的特征点计算:水平条分割出的图像中，黑色像素为背景，将其像素值 表示为0,白色色块代表了目标作物行，像素值表示为1，通过遍历计算每一个白色块的形屯、 位置，也就是作物行的中屯、作为拟合导航线的特征点。具体如计算公式(5)、（6)所示，f Q， j)表示像素值，a'J'）表示求取的形屯、坐标。图7为提取的特征点图像。
[0091] 第六步，导航线的拟合:基于最小二乘法对所有特征点进行直线拟合，得到代表作 物行的参考导航线。结果如图8所示。
[0089] 樹
[0090]
【主权项】
1. 一种基于单目视觉的农业车辆导航线检测系统，其特征在于:包括有工业相机、USB 传输模块、图像处理平台、图像存储卡和显示器，所述的工业相机安装在作业车辆的顶部， 倾斜向下安装采集车辆正前方的环境图像;所述的USB传输模块将工业相机和图像处理平 台相连;所述的图像处理平台进行图像数据的处理，提取导航所需的信息;所述的图像存储 卡安装在图像处理平台上，保存工业相机拍摄W及处理后的数字图像;所述的显示器通过 VGA接口与图像处理平台相连，用于实时显示检测出的导航路径信息。2. -种基于单目视觉的农业车辆导航线检测的方法，其特征在于:包括W下步骤： 步骤1:工业相机采集的农田图像，根据作物的过绿特征进行阔值处理，提取作物行； 步骤2:对于提取出作物行的图像，采用平均值法进行灰度化预处理，基于灰度图像，采 用中值滤波去除图像中的噪声； 步骤3:对于去除噪声后的图像，根据类间方差最大化原理进行二值化，获得黑白两色 二值图； 步骤4:对于二值化图像，利用矩形结构元素进行形态学开运算处理，消除作物行中细 小的孔桐，W及作物生长不规则导致的独立小团块，获得边缘平滑、形状规则的作物行图 像； 步骤5:对于形态学处理后的作物行图像，将其分割成等高的水平条图像，计算水平条 中代表作物行的白色色块的形屯、，获取导航线提取的特征点； 步骤6:对于获取的导航线特征点，使用最小二乘法进行拟合，最终获得检测的导航线。3. 根据权利要求2所述一种基于单目视觉的农业车辆导航线检测的方法，其特征在于： 步骤1中，根据过緑特征提取作物行，进行阔值处理的公式如下所示：其中，采用RGB颜色空间进行农田图像分析，^1，^、邑(1，^、6(1^)分别表示数字图像 中坐标为（i，j)的像素红、绿、蓝通道值，将像素的巧g (i，j)-r (i，j) -b (i，j)值作为阔值，对 图像中像素进行判断，如果该值大于O，则为作物行，保持原有像素值不变，反之将其作为背 景。4. 根据权利要求2所述一种基于单目视觉的农业车辆导航线检测的方法，其特征在于： 步骤2中采用平均值法进行灰度化预处理计算公式如下所示： Gray(i , j) = (r(i , j)+g(i , j)+b(i , j))/3 其中，GrayQ J)是计算出的像素灰度值。5. 根据权利要求2所述一种基于单目视觉的农业车辆导航线检测的方法，其特征在于： 步骤2中，进行中值滤波去除图像中的噪声的公式如下所示： G(i ,j) =Med(Grayi-V，…，Grayi，…，Grayi+v}i EN, V= (m-1)/2 其中，G(i，j)为滤波后的灰度值，Med是求中值操作，m代表结构元素的尺寸，一般取奇 数，Grayi-V，…，Grayi，…，Grayi+v是Grayi为中屯、的像素点的邻域像素灰度值。6. 根据权利要求2所述一种基于单目视觉的农业车辆导航线检测的方法，其特征在于： 步骤3中，类间方差最大化原理进行二值化处理的公式如下所示：其中，B(i，j)是处理后的像素值，分割阔值T基于Otsu类间方法最大化方法计算得出。7. 根据权利要求2所述一种基于单目视觉的农业车辆导航线检测的方法，其特征在于： 步骤4中，所述的形态学开运算处理根据作物行的线型特征，采用5像素*1像素的矩形结构 元素进行腐蚀、膨胀操作。8. 根据权利要求2所述一种基于单目视觉的农业车辆导航线检测的方法，其特征在于： 步骤5中，水平条的分割采用等高的原则，设图像大小为LXH像素，W高度h为单位对图像进 行等距离分割，每个水平条的大小则为LXh,划分的水平条条数为H/h，实际应用中可调整 分割条数。9. 根据权利要求2所述一种基于单目视觉的农业车辆导航线检测的方法，其特征在于： 步骤5中，特征点的计當采巧其干化,1、,、的计當方击.丑:公击血下，其中，f (i J)表示像素值，（i ' J '）表示求取的形屯、坐标。
【文档编号】G06K9/00GK105987684SQ201510971942
【公开日】2016年10月5日
【申请日】2015年12月18日
【发明人】牛润新, 陈慧, 王杰, 储森, 丁骥, 刘路, 刘永博
【申请人】中国科学院合肥物质科学研究院