本发明涉及农业智能化、精准农业、机器视觉、模式识别领域，具体为一种树上柑橘果实检测方法。
背景技术：
随着果园管理成本的递增和熟练劳动力的递减，传统柑橘果实劳动密集型采摘作业的可持续发展性已呈现不断降低的趋势(Gongal A,Amatya S,Karkee M,et al.Sensors and systems for fruit detection and localization.Computers and Electronics in Agriculture,2015,116:8-19)。柑橘采摘机器人是一种改变传统方式的自动化作业装备，它面临的一个主要问题是树上柑橘果实的快速可靠检测。
果实检测系统中常用的传感技术有视觉(可见光)成像、红外成像、多光谱/高光谱技术以及双目/多目成像或多传感器融合技术等。高光谱成像技术或多传感技术的融合有利于获取更多果实区域信息，但需要考虑高维冗余信息的处理或多目图像的配准问题、且设备综合成本较高，故本发明聚焦于单目视觉成像系统。一般来说，树上柑橘果实检测方法由图像预处理、果实区域分割和果实识别与定位三个主要环节组成。
Xu等(Xu LM,L JD.Recognition method for apple fruit based on SUSAN and PCNN.Multimedia Tools&Applications,DOI:10.1007/s11042-017-4629-6)通过全局同态滤波解决图像的光照不均匀问题，该方法进行图像预处理前并没有判断输入图像的光照情况，虽然能有效处理光照均匀性较差的输入图像，但处理光照均匀的图像时容易出现“过度曝光”现象，影响后续果实区域分割的完整性。Wang等(Wang CL,Tang YC,Zou XJ,et al.A robust fruit image segmentation algorithm against varying illumination for vision system of fruit harvesting robot.Optik-International Journal for Light and Electron Optics,2017,131:626-631)采用小波变换和Retinex算法增强果实表面的光照度，并通过k-均值聚簇法分割果实区域。但基于聚簇的分割方法对聚类数k具有较高的敏感性，当颜色差异较大的场景参与物数量发生变化时，参数k需要重新调整以避免果实区域的过分割或欠分割问题。Zhao等(Zhao CY,Lee WS,He DJ.Immature green citrus detection based on colour feature and sum of absolute transformed difference(SATD)using colour images in the citrus grove.Computers and Electronics in Agriculture,2016,124:243-253)提出融合RB色差图和基于绝对值求和函数块匹配算法的柑橘果实区域分割方法，并利用最优灰度共生矩阵识别果实区域。Lu等(Lu J,Sang N.Detecting citrus fruits and occlusion recovery under natural illumination conditions.Computers and Electronics in Agriculture,2015,110:121-130)结合RB色差图和归一化的RGB模型分割成熟柑橘果实区域，通过Canny算子提取果实区域的轮廓线，并利用椭圆拟合法融合分散的果实轮廓线以检测遮挡果实。但上述RB色差图会导致分割结果中存在过多的背景像素，影响成熟柑橘果实区域的准确提取。Kurtulmus等(Kurtulmus F,Lee WS,Vardar A.Green citrus detection using‘eigenfruit’,color and circular Gabor texture features under natural outdoor conditions.Computers and Electronics in Agriculture,2011,78(2):140-149)采用多尺度滑窗法扫描整幅输入图像，结合色彩信息和圆形Gabor滤波算法，提出eigenfruit特征识别柑橘区域。Sengupta等(Sengupta S,Lee WS.Identification and determination of the number of immature green citrus fruit in a canopy under different ambient light conditions.Biosystems Engineering,2014,117:51-61)结合Canny算子和Hough变换提取果实区域，通过边缘形状、纹理特征和尺度不变特征变换(Scale Invariant Feature Transform,SIFT)检测果实。然而，上述多尺度滑窗法、Canny算子、Hough变换和SIFT算法的计算复杂度均较高，会影响果实检测的实时性。
综上所述，尽管目前基于单目视觉成像系统的果实检测方法已经取得一定的成效，但是在光照条件不断变化的自然场景中，针对多果粘连、场景参与物遮挡问题的柑橘果实快速可靠检测方法仍有待进一步的改进。
技术实现要素：
本发明的目的在于提供一种树上柑橘果实检测方法，旨在改善面向机器视觉技术的柑橘检测系统的自适应性、准确性和实时性。本发明通过如下技术方案实现。
树上柑橘果实检测方法，其包括如下步骤：
(1)融合输入图像亮度分量V的全局和局部信息熵分析图像的光照分布特性，根据图像局部光照均匀性指标对V执行分块局部同态滤波(Block-based Local Homomorphic Filtering,BLHF)，形成光照分布均匀的亮度分量V'，并结合原色调与色饱和度信息合成处理后的RGB图像I'RGB；
(2)通过自适应增强RG色差法(Adaptive Enhanced Red and Green Chromatic Map,AERGCM)从I'RGB中提取红绿色差图IARG；阈值化IARG得到二值图像I'ARG，通过数学形态学方法处理I'ARG，提取前景图像T；
(3)采用标记控制分水岭变换(Markers Controlled Watershed Transform,MCWT)和凸壳理论(Convex Hull Theory,CHT)提取独立候选柑橘果实区域(Separated Regions of Interest,SROIs)；
(4)提取所有独立候选柑橘果实区域SROIs的直方图式描述特征，利用基于直方图交叉核(Histogram Intersection Kernel,HIK)的支持向量机(Support Vector Machine,SVM)识别树上柑橘，完成果实定位。
进一步的，步骤(1)所述输入图像亮度分量V通过将输入RGB图像变换到HSV颜色空间中，提取其亮度成分获得。
进一步的，步骤(1)所述分析图像的光照分布特性通过以下方法获得：将V等分成m×n个子块Bij(i＝1,2,…,m；j＝1,2,…,n)，计算V的全局信息熵E0和每个子块Bij的局部信息熵Eij；若Eij与E0的比值低于阈值a(0<a≤1)且E0大于阈值b(0<b≤8)，表明输入RGB图像的子块Bij存在局部光照不均匀现象。
进一步的，步骤(1)所述分块局部同态滤波(Block-based Local Homomorphic Filtering,BLHF)为如下处理：对局部光照不均匀的V的子块，进行频率域同态滤波处理；对局部光照均匀的V的子块Bij，不进行频率域同态滤波处理；处理后的V的所有子块图像B′ij(i＝1,2,…,m；j＝1,2,…,n)合并成亮度分量V'，并结合原色调H和色饱和度S分量形成新RGB图像I'RGB。
进一步的，步骤(2)所述自适应增强RG色差法(Adaptive Enhanced Red and Green Chromatic Map,AERGCM)为如下处理：提取I'RGB的R与G分量，利用红绿分量强度的比值衡量红绿颜色灰度差异并将该比值作为系数加权到红色分量中，通过加权后红色分量与绿色分量的差值提高R分量的影响并减弱G分量的影响，获得高对比度RG色差图IARG。
进一步的，步骤(2)所述前景图像T通过以下方法获得：通过阈值化处理获得IARG的二值图像I'ARG，前景目标像素为白色、背景像素为黑色；采用形态学腐蚀运算滤除I'ARG中的噪声像素，采用形态学膨胀运算补充前景目标的局部弱连接像素，采用孔洞填充处理所有前景目标内部的背景像素。
进一步的，步骤(3)所述通过标记控制分水岭变换(Markers Controlled Watershed Transform,MCWT)和凸壳理论(Convex Hull Theory,CHT)提取独立候选柑橘果实区域SROIs(Separated Regions of Interest,SROIs)为如下处理：基于前景图像T和连通邻域标记准则，通过标记控制分水岭变换MCWT进一步分割多果粘连或相互遮挡的柑橘果实区域，利用凸壳理论CHT处理因背景遮挡导致的柑橘果实区域的欠分割。
进一步的，步骤(4)所述直方图式描述特征通过图像全局和/或局部纹理和/或边缘形状描述符的统计分布获得；步骤(4)所述支持向量机(Support Vector Machine,SVM)通过离线和/或在线收集包含柑橘和不包含柑橘的图片样本构成训练样本集，提取训练样本集的直方图式描述特征，采用基于直方图交叉核(Histogram Intersection Kernel,HIK)的SVM训练所得。
进一步的，步骤(4)所述识别树上柑橘，完成果实定位通过以下方法获得：从测试图像中分割出独立候选柑橘果实区域SROIs，提取SROIs的直方图式描述特征，采用离线训练所得的支持向量机SVM分类器进行判断，通过判别为柑橘的SROIs的区域质心及其外边界周长完成果实定位。
本发明的有益效果是：(1)基于局部和全局信息熵的分块局部同态滤波可以改善输入图像的光照不均匀现象，并且有利于避免对光照均匀图像的“过度曝光”处理效果；(2)自适应增强RG色差图能最大化接近成熟和/或成熟柑橘果实与背景之间的颜色差异，获得高对比度的前景/背景色差图，有利于提高基于色差图的阈值化处理效果；(3)结合标记控制分水岭变换与凸壳理论的二次前景目标分割，有利于分离粘连果实区域，避免果实的漏识别问题，并能缓解阈值化处理环节产生的过分割现象；(4)基于图像全局和/或局部直方图式描述特征的HIKSVM有利于进一步过滤干扰背景，提高果实区域检测结果的可靠性。
附图说明
图1为实施方式中树上柑橘果实检测流程的实施例图。
图2为实施方式中图像的一种分块划分方式实施例图。
图3a为实施方式中一副光照不均匀图像的实施例图。
图3b为实施方式中图3a所示图像经分块局部同态滤波算法处理后的效果实施例图。
图3c为实施方式中一副光照均匀图像的实施例图。
图3d为实施方式中图3c所用图像经分块局部同态滤波算法处理后的效果实施例图。
图4a为实施方式中图3b所示图像的RG色差法处理效果实施例图。
图4b为实施方式中图3b所示图像的自适应增强RG色差法处理效果实施例图。
图4c为实施方式中图3d所示图像的RG色差法处理效果实施例图。
图4d为实施方式中图3d所示图像的自适应增强RG色差法处理效果实施例图。
图5a为实施方式中图4b所示图像的阈值化与形态学处理效果实施例图。
图5b为实施方式中图4d所示图像的阈值化与形态学处理效果实施例图。
图6a为实施方式中图3b和图5a所示图像的乘积经标记控制分水岭变换处理后的效果实施例图。
图6b为实施方式中图6a所示图像经过凸壳理论处理后的效果实施例图。
图6c为实施方式中图3d和图5b所示图像的乘积经标记控制分水岭变换处理后的效果实施例图。
图6d为实施方式中图6c所示图像经过凸壳理论处理后的效果实施例图。
图7a为实施方式中图3a所示图像的柑橘检测结果实施例图。
图7b为实施方式中图3c所示图像的柑橘检测结果实施例图。
具体实施方式
以下结合附图给出详细的实施例操作过程。附图所示实施例以本发明技术方案为前提，附图所述的实施例属于但不限于本发明保护范围。本发明方法的整体流程如图1所示。1、分块局部同态滤波
在消除输入RGB图像IRGB的光照不均匀现象时，为了不改变原始图像的色彩信息，本发明将IRGB由RGB颜色空间变换到HSV颜色空间，提取对应HSV图像IHSV的亮度分量V，仅对V执行光照补偿，而保持色调分量H和色饱和度分量S不变。设V的分辨率为M×N，根据公式(1)计算V的全局信息熵E0。
其中，L为V的灰度级数，nk为V中灰度级为rk的像素数。特别地，若图像V中的灰度级ri缺失，则规定
p(ri)log[p(ri)]＝0,i∈{0,1,...,L-1} (3)
进一步，将V等分成m×n个图像子块，图2显示了一种分块划分方式。设子块Bij(i＝1,2,…,m；j＝1,2,…,n)的尺寸为r×c，根据公式(4)可计算Bij的局部信息熵Eij。
其中，Lij为Bij的有效灰度级数，nl为第rl个有效灰度级包含的像素数。
若Eij与E0的比值低于阈值a(0<a≤1)且E0大于阈值b(0<b≤8)，表明IRGB的子块Bij存在局部光照不均匀现象。其中，参数a和b由与果实检测任务相关的图像数据确定。如，本实施例中，参数a和b是在柑橘图像的训练集上通过5重交叉验证得到的。
进一步，对评估结果为局部光照不均匀的V的子块Bij，采用局部同态滤波进行处理；对评估结果为局部光照均匀的V的子块Bij，则不进行局部同态滤波处理。本实施例中，通过由公式(6)决定的频率域高斯滤波器实现同态滤波处理。
其中，u和v是傅里叶变换后V的空间域变量所对应的频率域变量，δH和δL为控制高斯滤波幅度的参数，λ为控制高斯滤波器形态的参数，D0为截止频率，P和Q是Bij经过周期延拓后的图像尺寸，且满足
P≥2r-1 (8)
Q≥2c-1 (9)
本实施例中取P＝2r和Q＝2c，V的所有子块均经过上述处理后，将所有处理后的子块图像B′ij按分块划分的顺序合并成新亮度分量V'，该分量与IHSV中的H和S分量重新组成新HSV图像I'HSV，并将其转换成对应的新RGB图像I'RGB。
图3给出了分块局部同态滤波前后的处理效果对比图。图3a为一副光照不均匀的图像，其分块局部同态滤波BLHF处理效果如图3b所示，可看出滤波后原图像的阴暗区域显示出了更多的细节信息，局部光照情况得到了显著的改善；图3c为一副光照均匀的图像，其BLHF处理效果如图3d所示，可以看出BLHF处理前后的图像差别极小，这是因为图3c并不存在光照不均匀现象，无需进行同态滤波处理，所以本发明的分块局部同态滤波法在改善图像光照分布的同时，还有利于避免“过度曝光”现象的发生。
2、复杂场景中基于色彩信息的前景分割
一般来说，从柑橘园中采集的树上柑橘图像，包含柑橘果实、树干、树枝、叶片、天空、土壤、杂草和草地等众多参与物，场景复杂度较高。通常不同参与物之间会呈现出不同的颜色外观，所以RGB空间中不同颜色分量携带的色彩信息有利于区分不同的场景参与物。接近成熟或成熟柑橘果实的外观呈现出橙黄色表观特征，与其它场景参与物之间存在一定差异，红绿(RG)色差法有利于提取场景中的柑橘果实。然而，传统的RG色差法会受到场景中红绿颜色强度存在一定差距的其它背景参与物的干扰，所得RG色差图会出现前景(柑橘)与背景(其它场景参与物)之间对比度不够高的现象，当前景与背景区域相互粘连时，容易导致后续阈值化处理中前景目标的过分割问题。为此，提出一种自适应增强RG色差法(Adaptive Enhanced Red and Green Chromatic Map,AERGCM)，通过I'RGB中红色分量R与绿色分量G的比值ρ来衡量每个像素点的红绿颜色分布差异，将其作为增强R分量的权重系数，以增强红绿颜色存在显著强度差异的前景区域像素，并抑制红绿颜色强度差异较小或不太显著的背景区域像素，从而提高RG色差图的前景与背景对比度。由公式(8)可获得一副自适应增强RG色差图IARG。
IARG＝ρ×R-G (10)
为避免I'RGB中因部分像素点绿色信息G缺失而导致RG比值ρ溢出的问题，本发明作如下规定
其中，b是一个衡量RGB图像位图信息的常数，如某RGB图像的最大灰度级为255，那么b＝8。
图4给出了RG色差法和自适应增强RG色差法AERGCM处理前后的效果对比图。图4a为图3b所示图像的RG色差法处理效果，图4b为图3b所示图像的AERGCM色差法处理效果；图4c为图3d所示图像的RG色差法处理效果，图4d为图3d所示图像的AERGCM色差法处理效果。从实施例中可以看出自适应增强RG色差图中前景与背景的对比度明显高于RG色差图。
进一步，采用阈值化算法处理IARG得到二值图像I'ARG，并采用数学形态学膨胀、腐蚀和孔洞填充运算处理I'ARG，获得前景图像T。图5a为图4b所示图像的阈值化与数学形态学处理效果图；图5b为图4d所示图像的阈值化与数学形态学处理效果图。
3、多果粘连和/或遮挡果实区域的提取
为了解决图像中可能存在的多果粘连或相互遮挡问题，本发明通过标记控制分水岭变换(Marker Controlled Watershed Transform,MCWT)分离出粘连和/或相互遮挡的果实区域，处理过程如下：根据前景图像T和8-连通邻域标记准则从V'中提取潜在的柑橘果实图像IROIs(即所有前景目标组成的图像)；采用微分算子计算IROIs的梯度图像GROIs；基于形态学开运算的重构方法处理IROIs，获得前景重构图像I'ROIs，从中提取前景目标标记；基于形态学闭运算和腐蚀运算的重构方法处理I'ROIs，获得背景重构图像I″ROIs，从中提取背景目标标记；基于上述标记控制的I'ROIs和I'ROIs修改GROIs，使得GROIs在前景和背景目标标记处达到局部极小，从而得到处理后的梯度图像G'ROIs，最后对G'ROIs执行分水岭变换。图6a和图6c为标记控制分水岭变换MCWT处理后的分割效果图。图6a是对图3b和图5a所示图像的乘积结果经MCWT处理后的效果图；图6c是对图3d和图5b所示图像的乘积结果经MCWT处理后的效果图。
引入标记控制的思想有利于解决传统分水岭变换的过分割问题，这种过分割主要是由多果粘连或相互遮挡现象较为严重时引起的。此外，柑橘果实还可能被叶片、树枝和/或树干等场景参与物遮挡，所得的分割结果会存在由这些背景目标引起的欠分割现象，如图6a和图6c所示，MCWT对部分柑橘果实内部区域的分割并不完整，这会影响后续对果实区域定位的准确度。针对该问题，本发明基于凸壳理论(Convex Hull Theory,CHT)提取已分割目标的连续光滑外轮廓曲线，并填充该轮廓曲线内部的所有像素，以缓解因背景目标遮挡导致柑橘果实区域的欠分割现象，由此获得若干独立候选柑橘果实区域SROIs(Separated Regions of Interest,SROIs)。图6b为图6a所示图像经凸壳理论处理后的效果图；图6d为图6c所示图像经凸壳理论处理后的效果图。
4、柑橘果实区域识别
场景中可能存在部分与柑橘果实色彩特征相近的背景区域，为了进一步滤除这些区域，采用直方图式描述子提取独立候选柑橘果实区域SROIs的特征。直方图交叉核(Histogram Intersection Kernel,HIK)有利于描述两个直方图式特征向量之间的相似度，两个D维特征向量F1和F2之间的HIK映射关系K(F1,F2)可表示为
其中，F1(i)表示特征向量F1中第i个维度上的属性值，F2(i)表示特征向量F2中第i个维度上的属性值。
本发明采用基于HIK的支持向量机(Support Vector Machine,SVM)识别柑橘果实区域，与其它类型的核映射函数相比，HIK可最大化直方图式特征向量的识别性能。识别环节包含两个部分，分别为柑橘分类器的离线训练和树上柑橘的在线识别。
(1)柑橘分类器的离线训练
从图像序列中提取若干包含柑橘果实的图像区域组成正训练样本集，从不包含柑橘果实的场景图像序列中随机提取若干背景图像区域组成负训练样本集。本实施例中通过局部二值模式(Local Binary Pattern,LBP)描述正负训练样本集的局部纹理特征，采用基于HIK的SVM算法离线训练柑橘分类器。
(2)树上柑橘的在线识别
对输入的待测试RGB图像，依次通过上述步骤1～3处理后，可以从图像中提取独立候选柑橘果实区域SROIs，本实施例中提取这些SROIs的局部二值LBP特征，将其输入离线训练得到的柑橘分类器中进行识别。
若某SROIs被柑橘分类器识别为正类，则提取该区域所有像素坐标的平均值作为区域质心，根据该区域外边界的周长L估算区域半径r＝L/(2×π)，从而完成对柑橘果实的定位；若某SROIs被柑橘分类器识别为负类，则直接将其滤除。此外，本实施例中的测试图像均在指定距离范围内成像所得，大部分树上柑橘果实区域的面积也落在某个指定范围中，所以在最终检测结果中过滤了面积较小和较大的SROIs。图7a为图3a所示图像的树上柑橘检测效果图；图7b为图3c所示图像的树上柑橘检测效果图。
上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于这些内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。