一种果园果实图像获取方法与流程

本发明属于图像处理技术领域，涉及一种果园果实图像获取方法，尤其是自然环境下存在光照不均的果实图像的获取。

背景技术：

杨梅为中国传统特产水果，果实味酸甜适中，可直接食用，同时具有止渴、生津、助消化等功能，具有很高的药用和食用价值。而杨梅果树高大、挂果密集，果实成熟期较短，且受梅雨高温天气影响，极易腐烂变质或脱落，降低其商品价值，果农损失较为严重。因此果实适时采收、降低采摘成本尤为重要。杨梅采摘机器人可以节约劳动力，实现快速采摘，提高杨梅采摘质量，从而提升经济效益，增加果农收入。

随着现代农业的发展，基于机器视觉的采摘机器人成为国内外农业工程领域的研究热点。而对果实图像的获取是采摘机器人后续目标识别定位、采摘的首要任务。

技术实现要素：

本发明的目的是：提供一种果园果实图像获取方法，使得果实采摘机器人在图像处理阶段能够实现对果实图像的精确获取，进一步可完成识别定位，推动果实采摘机器人的实用化进程。实现本发明的技术方案包括如下步骤：

(1)图像采集步骤：基于视觉传感器实时采集果实图像。

(2)图像增强步骤：该步骤采用的是同态滤波图像增强算法，对光照不均的图像进行光线补偿，使整体像素分布更趋于合理，在增强图像对比度的同时，增强图像暗处细节，从而使图像中果实更为显著清晰。

(3)显著性目标检测步骤：首先，采用SLIC超像素分割算法，将果实图像分割为形状规则，大小一致且视觉均匀的超像素，以降低图像处理对象的数量，提高后续处理的效率；构建以超像素为节点的无向图模型，以缩短相似超像素之间的测地距离，提高后续显著性检测的准确度；然后将构建的闭环图模型模拟成图像数据集内在的流形结构；接着，在第一级显著目标检测模型中，先将四个边界的每个边界单独作为查询节点通过流形排序算法进行排序，获得四个不同的显著性检测结果，采用乘法的合并策略将这四个显著图进行合并，得出第一级检测的显著性目标；最后，在第二级显著目标检测模型中，选取显著图的均值作为自适应阈值，对第一级的显著图进行二值分割，将大于阈值的节点标记为目标查询节点，并相应构建一个标签向量y，再用流形排序的算法获得排序向量f^*，将归一化的排序值定义为超像素节点的显著值，获得第二级显著图。

(4)果实图像获取步骤：该步骤是对得到的第二级显著图通过Otsu方法进行自适应阈值分割，获得二值黑白图像，再与原始图像叠加，从而将果实从背景中分割出来。

本发明的有益效果：

(1)对于果实采摘机器人来说，该发明方法能够实现杨梅果实图像的分割，获取完整果实区域，对推动果实采摘机器人的实用化起到重要作用。

(2)在果实图像获取步骤前进行了杨梅果实显著性目标的检测，能够不需要根据杨梅果实的颜色或形状特征等和背景的差异进行分割，从而具有一定的通用性，可适用于其他和杨梅类似的野外生长果实。

(3)图像增强步骤中图像增强算法采用同态滤波算法，能够补偿光线，增强对比度的同时，暗处细节也得到了增强，使果实更为显著清晰。

(4)显著性目标检测步骤中将构建成的闭环图模型模拟成图像数据集内在的流形结构，通过流形排序算法进行查询点显著性值的赋值，获得显著性图。

(5)显著性目标检测步骤中采用了两级显著性目标检测模型，通过流形排序算法的二级排序，很好地抑制了背景中存在的一些奇异点。

(6)果实图像获取步骤中采用Otsu方法对得到的第二级显著图进行自适应阈值分割，再与原始图像叠加，从而将果实从背景中分割出来。

附图说明

图1为果实图像分割总流程；

图2为同态滤波图像增强流程；

图3为显著性目标检测流程；

图4为杨梅果实获取效果图。

具体实施方式

下面结合附图对本发明的实施方式做进一步的描述。本发明以杨梅为例进行说明，但本发明同样适用于同类其他果实。

如图1所示，本发明提出的果园杨梅果实图像获取方法包括如下步骤：

(1)图像采集步骤

图像的采集基于视觉传感器，用作后续提取目标对象的区域信息，采集图像如图4(a)所示。

(2)图像增强步骤

该步骤实施流程如图2所示。考虑到自然环境下存在光照不均的现象，会影响显著性目标的检测，进而影响图像分割的效果，采用同态滤波的图像增强算法进行光线补偿。该步骤采用的是同态滤波图像增强算法，通过将采集图像从RGB颜色空间转换到HSV颜色空间，针对亮度V分量取对数后进行快速傅里叶变换(FFT)，可得到频域表达式，选择动态巴特沃斯同态滤波函数H(u,v)进行频域滤波，函数定义见公式(1)，再进行快速逆傅里叶变换(IFFT)及指数变换，如此得到滤波增强后的图像如图4(b)。

$H(u,v)=\frac{\left(r_{H-}{r}_L\right)}{1+c{\left(\frac{D_0^n}{D{(u,v)}^m}\right)}^2}+r_L---\left(1\right)$

式(1)中r_L代表低频增益，0<r_L<1；r_H代表高频增益，r_H>1；常数c在r_L和r_H间过渡，用来控制滤波器函数斜面的陡度；m、n为动态算子；D(u,v)为点(u,v)到Fourier变换中心的距离，见公式(2)：

$D(u,v)=\sqrt{{(u-\frac{M}{2})}^2+{(v-\frac{N}{2})}^2}---\left(2\right)$

式(2)中，M、N分别代表图像的行数和列数。

(3)显著性目标检测步骤

该步骤实施流程如图3所示。对于杨梅采集图像中提取步骤包括：

首先，利用SLIC超像素产生算法进行超像素分割，其间，将像素映射到LABXY空间，表示为五维的特性向量[l,a,b,x,y]，其中，[l,a,b]为像素在CIElab颜色空间的颜色特征，[x,y]为像素的空间坐标，通过定义两个像素i,j之间的距离，见式(3)、(4)、(5),利用K-means均值聚类算法在局部的范围内对像素进行聚类，得到形状规则，大小一致且视觉均匀的超像素，如图4(c)。

$D_s=d_c+\frac{m}{S}{d}_p---\left(3\right)$

$d_p=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}---\left(4\right)$

$d_c=\sqrt{{(l_i-l_j)}^2+{(a_i-a_j)}^2+{(b_i-b_j)}^2}---\left(5\right)$

式(3)中，m为[1,20]范围内的一个常数，用来控制超像素的紧凑程度，衡量颜色值与空间信息在相似度衡量中的比重，N为图像总像素个数，K为要生成的超像素个数。

接着，构建以超像素为节点的无向图模型，在无向图模型中不单纯是两者之间有共同边界的节点之间相连，还包括与相邻节点有共同边界的节点之间相连，并将图像的四个边界相连，从而构成一个闭环图模型。

而后，将构建成的闭环图模型模拟成图像数据集内在的流形结构，采用两级显著性目标检测模型进行杨梅目标的检测。在第一级显著目标检测模型中，先将四个边界的每个边界单独作为查询节点，通过流形排序算法的迭代方程进行迭代，见式(6)，得到所有节点的排序向量f^*，见式(7)，将f^*归一化到[0,1]范围后的排序向量f^-*，通过式(8)来定义超像素节点i的显著性S_b(i)，获得为四个不同的显著性目标检测结果，采用乘法的合并策略将这四个显著图进行合并，得出第一级检测的显著性目标，如图4(d)。

f(t+1)＝αSf(t)+(1-α)y (6)

f^*＝(1-α)(D-αW)^-1y (7)

S_b(i)＝1-f^-*(i)i＝1,2,...,N (8)

其中：α表示为初始排序值和邻域传播对最终排序值的贡献度，W＝[w_ij]_n×n表示为图的相似度矩阵，对应于边E的权重，w_ij∈W，c_i和c_j分别代表超像素节点i和j在CIELab颜色空间的均值，σ_w代表控制权重的强度；D＝diag{d₁₁,...,d_nn}表示为图的对角矩阵，d_ii＝∑_jw_ij；S＝D^-1/2WD^-1/2表示为图的相似度矩阵的归一化矩阵；f:X→Rⁿ表示为一个排序方程，也可看作为一个向量f＝[f₁,...,f_n]^T；y＝[y₁,...,y_n]^T表示一个标签向量，当x_i为查询节点时y_i＝1，反之y_i＝0，数据集X＝{x₁,...,x_l,x_l+1,...,x_n}∈R^n×n，对应于无向图模型G(V,E)，V代表图中的节点，包括已标记的查询节点和需要进行排序的未标记节点，E代表图中的无向边。

在第二级显著目标检测模型中，选取显著图的均值作为自适应阈值，对第一级的显著图进行二值分割，将大于阈值的节点标记为目标查询节点，并相应构建一个标签向量y，再用流形排序的算法获得排序向量f^*，将归一化的排序值定义为超像素节点的显著值，见式(9)，检测出第二级显著图，以此获得杨梅果实显著性目标,如图4(e)。

S_fq(i)＝f^-*(i)i＝1,2,...,N (9)

(4)果实图像获取步骤

该步骤是采用Otsu方法对得到的第二级显著图进行自适应阈值分割，得到二值黑白图像，再与原始图像叠加，从而将果实从背景中分割出来，如图4(f)所示。

以上实施方式仅用于说明本发明的技术方案，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明保护的范畴。