基于梯度信息和搜索策略的玉米图像姿态估计方法与流程

本发明涉及数据处理领域，尤其涉及一种基于梯度信息和搜索策略的玉米图像姿态估计方法。

背景技术：

随着计算机视觉技术的发展和现代化农业的发展要求，机器视觉已经被广泛应用于农业生产和管理中。虽然视觉分析技术具有数据采集方便的优势，但由于采集环境的限制，得到的数据图像中往往包含一定干扰因素，影响对作物进一步分析。

玉米是我国种植面积最广的农作物之一，已有众多研究者将机器视觉应用于玉米生产和管理，如玉米收获机器人路径识别^[1，2]、玉米冠层的分析^[3]、玉米秸秆的定位^[4]等，需要指出的：上述生产和管理基于玉米图像中玉米植株的姿态角度而进一步实现。由于在玉米图像采集过程中各种因素的影响，采集得到的玉米图像往往具有一定的角度偏差，即玉米植株的轴向和垂直方向存在夹角，该夹角记为姿态角度。因为玉米图像中姿态角度的存在直接影响基于玉米图像的生产和管理的准确实现，故，需要提供一种用于估计玉米图像中姿态角度的方法。

[1]胡丹丹,殷欢.基于机器视觉的玉米收获机器人路径识别.农机化研究,2017,12:190-198。

[2]刘永博.基于机器视觉的小型农业AGV玉米田间路径识别研究.安徽农业大学,2016,硕士学位论文。

[3]杜建军,袁杰,王传宇,郭新宇.基于玉米冠层原位监测的全生育期叶色建模及其应用.农业工程学报,2017,33(16):188-197。

[4]张丽,胡应占,汪小志,鲍秀兰.基于机器视觉的玉米秸秆行实时定位机器人设计.农机化研究,2016,6:165-172。

技术实现要素：

本发明的目的在于提供一种基于梯度信息和搜索策略的玉米图像姿态估计方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明所述基于梯度信息和搜索策略的玉米图像姿态估计方法，所述估计方法包括：实时采集待估计姿态角度的玉米图像，在预设姿态角度判定的搜索范围内，以一定的角度间隔依次旋转所述待估计姿态角度玉米图像，计算每个旋转角度所对应玉米图像的梯度信息集合；基于每个旋转角度所对应的梯度信息集合计算每个旋转角度的判别特征，对比得到最大判别特征，获取最大判别特征所对应的旋转角度，该旋转角度为所述待估计姿态角度玉米图像的姿态角度。

优选地，在预设姿态角度判定的搜索范围内，以一定的角度间隔依次旋转所述待估计姿态角度玉米图像，具体为：在预设姿态角度判定的搜索范围[-r,r]内，以T度为单位步长，旋转角度从-r开始依次旋转所述待估计姿态角度玉米图像，直至旋转角度无限接近r为止，计算每个旋转角度所对应玉米图像的梯度信息集合；其中，|-r|＝|r|表示预先设定姿态角度的最大值。

优选地，计算每个旋转角度所对应玉米图像的梯度信息集合具体为：计算每个旋转角度所对应玉米图像的绿色通道子图像的梯度信息集合。

优选地，计算每个旋转角度所对应玉米图像的梯度信息集合，具体为：设任意一个旋转角度为λ，待估计姿态角度玉米图像旋转λ度后得到玉米图像K，提取该玉米图像K的绿色通道子图像I，用梯度算子提取绿色通道子图像I在水平方向的所有梯度信息，记为旋转角度为λ时绿色通道子图像I的梯度信息集合。

更优选地，所述梯度算子为Sobel算子。

更优选地，用Sobel算子提取绿色通道子图像I在水平方向的所有梯度信息，具体采用公式(1)实现：

Gx表示水平方向的梯度模板，x表示水平方向，I表示绿色通道子图像。

优选地，在每个旋转角度的梯度信息集合的基础上，计算每个旋转角度的判别特征Fnorm，具体为：

A1，旋转角度为λ时，获取待估计姿态角度玉米图像旋转λ后得到的玉米图像的绿色通道子图像的梯度信息集合；

A2，将A1中梯度信息集合中所有的梯度信息累加得到统计特征Fsum；

Gx表示水平方向的梯度模板，x表示水平方向，i、j依次表示梯度模板的行、列；

A3，根据绿色通道子图像的大小对Fsum进行归一化，得到旋转角度为λ时的判别特征Fnorm；

W表示绿色通道子图像的宽度，H表示绿色通道子图像的高度。

本发明的有益效果是：

本发明结合玉米植株自身特点，提出一种基于梯度信息和搜索策略的快速估计玉米图像姿态角度的方法。所述估计方法首先基于实时采集到的待估计姿态玉米图像，获取该玉米图像旋转角度后所得图像绿色通道对应的子图像，利用水平sobel算子计算每个旋转角度所对应绿色通道子图像的梯度信息集合；基于每个旋转角度所对应的梯度信息集合计算每个旋转角度的判别特征，对比得到最大判别特征，获取最大判别特征所对应的旋转角度，该旋转角度为所述待估计姿态角度玉米图像的姿态角度，对玉米图像进行姿态校正。本发明所述估计方法简单、计算量较小且准确度高，能基本满足实时处理的要求。

附图说明

图1是待估计姿态角度玉米图像的R、G、B通道子图像示意图和灰度图像的示意图；a图是待估计姿态角度玉米图像的R通道子图像示意图；b图是待估计姿态角度玉米图像的G通道子图像示意图；c图是待估计姿态角度玉米图像的B通道子图像示意图；d图是待估计姿态角度玉米图像的灰度图像的示意图；

图2是待估计姿态角度玉米图像的G通道子图像所对应的梯度图像；

图3是姿态角度为10度的玉米图像所对应的姿态角度判别特征随搜索角度的变化示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

关于本发明所述基于梯度信息和搜索策略的玉米图像姿态估计方法的详细说明：

(一)提取梯度信息

1、关于挑选进行梯度分析的颜色分量图像

为了能更有效地提取玉米图像的梯度信息，首先要挑选合适的颜色分量图像进行梯度分析，同时要选择合适的梯度算子提取梯度信息。

玉米的彩色图像可以分解为如图1所示的R、G、B(红、绿、蓝)三个颜色通道的子图像，彩色图像利用公式1转化为灰度图像，在R、G、B和灰度图像四个图像上都可以进行梯度的提取。从图1中可以看到G通道子图像亮度更显著一些，这是由于玉米植株主要呈现绿色，而土地的颜色是灰色或黄褐色。本发明对玉米植株进行姿态角度的估计方法中，除玉米植株外的土地等是干扰因素，因此本发明选择能保存更多玉米株信息的G通道子图像进行下一步的处理。

Grey＝0.299×R+0.587×G+0.114×B (1)

2、关于梯度信息的提取

当玉米图像中的玉米植株没有姿态时，玉米植株垂直于地面，此时如果提取玉米水平方向的梯度信息，则在水平方向上会有最大梯度响应。当玉米植株有一定角度时，玉米植株在相对应角度上会有最大梯度响应。

常用梯度算子包括Sobel算子、Robert算子和Prewitt算子。Sobel算子是典型的基于一阶导数的边缘检测算子，由于Sobel算子的计算中引入类似局部平均的运算，因此Sobel算子对噪声具有平滑作用，能很好消除噪声的影响。由于Sobel算子对象素位置的影响做了加权处理，因此与Prewitt算子、Roberts算子相比边沿检测效果更好。

Robert算子用交叉差分表示梯度，是一种利用局部差分算子寻找边缘的算子，该Robert算子对具有陡峭的低噪声的图像效果最好。Prewitt算子是加权平均算子，对噪声有抑制作用，但是像素平均相当于对图像进行低通滤波，所以Prewitt算子对边缘的定位不如Robert算子。

考虑到野外采集的玉米图像中可能有比较强的噪声信息，结合实验对比，本发明采用Sobel算子提取玉米图像的梯度信息。

Sobel算子包含两组3×3的矩阵。在图像的X、Y方向各用一个模板，最后两个模板组合起来构成一个梯度算子。X方向模板对垂直边缘响应最大，Y方向模板对水平边缘响应最大。水平方向的梯度变化通过公式(2)计算，垂直方向的梯度变化通过公式(3)计算。

在Sobel算子对需要检测图像进行梯度信息提出时，需要检测图像上每一点的最终梯度通过公式(2)、公式(3)和公式(4)得到。

由于本发明所述估计方法的目的是为了检测玉米植株的角度，仅仅需要提取待检测图像水平方向的梯度信息，因此本发明所述估计方法仅仅采用公式(2)在玉米图像的G通道子图像上提取梯度信息，并将提取到的梯度信息作为最终使用的玉米图像的梯度信息。待估计姿态角度玉米图像对应的梯度图像如图2所示。

(二)姿态角度判定

在梯度算子的基础上，提取梯度图像的梯度统计信息作为判别特征，最后通过对判别特征的搜索策略确定图像的姿态角度。

(1)统计特征的提取

在玉米姿态角度的方向上，G通道子图像的梯度信息会有最大的响应。因此将G通道子图像对应的梯度信息累加作为判定姿态角度的统计特征Fsum。

Gx表示水平方向的梯度模板，x表示水平方向，i、j依次表示梯度模板Gx的行、列；

为了消除G通道子图像大小对判别特征的影响，对Fsum根据G通道子图像的大小进行归一化，得到判别特征Fnorm，计算方法为公式(2)所示：

W表示G通道子图像的宽度，H表示G通道子图像高度。

(2)姿态角度的确定

根据判别特征Fnorm，采用搜索策略确定玉米的姿态角度。当玉米的姿态角度正确时，Fnorm将达到最大值。获取姿态角度的方法步骤如下：

在姿态角度预设搜索范围内[-r,r]，依次对待估计姿态角度玉米图像进行旋转得到图像Ir，提取图像Ir的G通道子图像，然后利用Sobel算子提取G通道子图像的梯度信息，计算归一化的判别特征Fnorm。遍历[-r,r]范围内的所有角度，得到判别特征集合H；

H＝{Fnorm(-r),Fnorm(-r+1)…Fnorm(r-1)Fnorm(r)}

求取集合H中的最大值Fnorm(β)，最大值Fnorm(β)对应的角度β就是待估计姿态角度玉米图像对应的姿态角度。

实施例

实验数据：直接标注有姿态的玉米图像的姿态角度是比较困难的，因此从在野外采集的玉米图像中挑选400张没有姿态的图像，然后采用人工添加角度扰动的方法得到最终的试验数据2000张图像。每张图像添加一个20度以内的随机角度扰动，每张图像进行4次，加上原有的图像，最终得到2000张待检测图像。

姿态角度估计：采用本申请所述估计方法获取每张待检测图像的姿态角度，设置姿态角度的搜索范围是30度。在-30度和30度的范围内，以1度为步长，逐步变化待检测图像的姿态角度，计算对应角度的梯度图像，角度的判别特征Fnorm。

姿态角度为10度的玉米图像所对应的姿态角度判别特征随搜索角度的变化如图3所示。整体来看，在到达正确姿态角度之前，角度判别特征随着搜索的角度的增加而不断增大。过了正确姿态角度以后，角度判别特征随着搜索角度的增加而逐渐减小。

在正确姿态角度的位置(即10度)，角度判别特征的数值相比邻近点的位置有明显的增加，达到整个搜索区域内的最大值。这个位置也就是本申请所述估计方法得到待检测玉米图像的姿态角度，该角度和输入的玉米图像的姿态角度(10度)是一致的。从图3可以看到，通过本申请所述估计方法准确的得到了输入图像的姿态角度。

结果及分析：本申请所述估计方法在全部的2000张图像上进行了实验。设定本申请所述估计方法的单张图像的误差为估算角度和图像实际角度的差值，Ea＝abs(Angle_gt-Angle_pre)，其中Angle_gt为图像的真实姿态角度，Angle_pre为本申请所述估计方法估计的姿态角度，abs表示取绝对值。

如果角度的误差Ea小于一定阈值Ta，判定本申请所述估计方法的角度估计正确。论文中设置阈值Ta为3度，在2000张图像中，共有1813张判断正确，准确率达到90.65％。本申请所述估计方法能够快速准确的估计玉米图像的姿态角度。

根据本申请所述估计方法得到的姿态角度，将待检测玉米图像进行相应角度的旋转，得到姿态校正后的图像，可以为进一步的玉米生长评估等提高分析的准确度。

通过分析发现，姿态角度估计误差较大的图像中玉米的枝叶分布比较稠密、复杂。下一步的研究工作将针对这种复杂情况下的玉米图像展开，提升本申请所述估计方法在复杂场景下姿态估计精度。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：从野外环境采集的玉米株图像，往往带有一定姿态。本发明所述估计方法结合玉米植株的自身特点，首先在采集玉米图像旋转角度后所得图像的基础上选取绿色通道子图像，然后提取绿色通道子图像的梯度信息，最后采用搜索策略判定玉米植株的姿态角度。通过实验表明，本发明所述估计方法不仅可以实时、准确的估计出玉米的姿态角度，而且计算量小。在通过本发明所述估计方法得到的姿态角度结果的基础上，对有姿态的玉米图像进行姿态校正，有助于提高对玉米的生长分析、产量估计等研究的准确性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。