一种果实定位识别方法
【技术领域】
[0001] 本发明涉及计算机视觉和模式识别技术领域，更具体涉及一种果实定位识别方 法。
【背景技术】
[0002] 随着全球信息化的迅猛发展，数字农业已经发展成为现代农业的新潮流。快速准 确地获取农作物生长形态图像信息已成为农业数字化和智慧化管理的必然趋势和手段。利 用机器视觉技术准确获取果树上果实的数量是进行果树测产和精细果园管理的关键。传统 的果实产量估测是基于历史数据、天气条件和人工计数来进行的，这种方法不仅误差较大， 而且还费时费力，已不能满足现代农业发展的需求。随着现代信息技术的发展，基于机器视 觉的测产方法表现出了能够代替人工测产方法的潜力。到目前为止，国内外一些机构已经 开发了各种基于机器视觉的果实的识别计数系统。
[0003] 卡梅隆大学的Q. Wang等开发了基于双目视觉的苹果园测产系统。在HSV颜色空 间下，利用苹果和树叶颜色区间的不同检测出果实像素点，然后使用形态学算法将苹果的 像素区域分割为个体苹果。首先计算每个苹果区域的偏心率（E)，并使用阈值0 < E < 0. 6 发现相对圆区，去除噪声后，计算剩余相对圆区的平均直径并将其作为苹果的平均直径万。 计算某个苹果区域直径，若该直径大于2万丨则将这对区域分解为两个苹果。对受遮挡的苹 果，一个苹果可能得到多个苹果区域，计算任意两个苹果区域的中心之间的距离，若该距离 小于万则将这两个区域视为只有一个苹果。再从多幅图像中对苹果进行定位，使用块匹配 算法获得图像序列中被测苹果在以摄像头为参照的坐标系中的三维坐标，再将该坐标转换 到地面坐标系中，在地面坐标系中，计算两个苹果之间的距离，合并距离小于0. 05m的两个 苹果，并给出合并后的苹果新的定位。通过计算果园固定设施的GPS偏移和立体三角测量 偏差修正苹果位置。得到校正后的定位信息后，对苹果进行计数。但是该系统需要在晚上 有人工光源和人工背景的条件下才能进行，并且对苹果重叠问题只能检测两个苹果的重叠 情况。
[0004] 中国农业大学提出了一种基于多源图像信息融合的果实识别方法。该方法使用基 于光学混合探测（PMD)技术的深度摄像机与RGB摄像机组合捕获果园环境的多源图像并进 行预处理，得到待配准图像。通过SURF算法提取待配准图像的尺度不变特征，欧式距离作 为判断特征相似的测度，最近邻与次近邻比值实现特征向量的初匹配，采用最近邻的搜索 策略加速过程，剔除异常点与优化模型交替迭代的方法提纯匹配结果，采用模糊逻辑技术 实现多源图像的像素级融合。采用直方图首阈检测的方法实现对果实区域识别。但是该发 明并没有解决果实遮掩、重叠、定位等问题。
[0005] 其他相关研宄也不尽人意，现有技术受环境光照影响显著，也未能很好地解决光 照变化、果实表面颜色变异、重叠、遮挡，以及果实定位和计数等问题，给测产结果带来较大 的误差。
【发明内容】
[0006] (一）要解决的技术问题
[0007] 本发明要解决的技术问题是如何有效解决光照变化、果实颜色变异、果实重叠、果 实遮挡的影响，并通过对果实定位的方法准确对果实数量进行计数。
[0008] (二）技术方案
[0009] 为了解决上述技术问题，本发明提供了一种果实定位识别方法，所述方法包括以 下步骤：
[0010] S1、利用不同光照条件下的不同成熟程度果实图像与非果实图像作为训练样本， 通过对神经网络模型进行训练得到用于果实检测的神经网络颜色分类模型；
[0011] S2、获取目的场景的RGB图像以及深度图像；
[0012] S3、将所述RGB图像的R、G、B值作为所述神经网络颜色分类模型的输入，并输入到 所述神经网络颜色分类模型，由所述神经网络颜色分类模型对所述RGB图像的像素点进行 分类，去除背景像素，得到果实像素区域图像；
[0013] S4、利用边缘检测算法对所述步骤S3得到的果实像素区域图像进行边缘检测，得 到果实边缘图像，所述果实边缘图像为各个果实的边界；
[0014] S5、选用标准的圆作为果实的形状模型，利用霍夫变换算法对所述果实边缘图像 进行圆检测，得到果实圆以及圆心在所述RGB图像中的坐标；利用霍夫变换圆检测，根据不 完全信息检测园的特性实现对所述果实边缘图像中重叠区域的分割；
[0015] S6、匹配所述RGB图像和深度图像的像素坐标，得到果实圆心的深度信息；
[0016] S7、根据果实圆心的所述深度信息，融合采集深度图像的摄像头的姿态信息以及 其世界定位信息，通过世界坐标变换算法得到每个果实圆心的世界坐标。
[0017] 优选地，所述步骤S2中，通过RGB摄像头获取所述RGB图像，通过深度摄像头获取 所述深度图像。
[0018] 优选地，所述步骤Sl中的神经网络颜色分类模型为三层结构的BP神经网络，其隐 含层神经元使用双曲正切S型传递函数tansig，用于将所述隐含层神经元上范围为（_ <-， + 00 )的输入值映射到区间（-1，+1)上；输出层使用线性传递函数purelin传递函数。
[0019] 优选地，所述步骤S3之后、所述步骤S4之前，还包括以下步骤：
[0020] 所述神经网络颜色分类模型对所述果实像素区域图像进行二值化，然后对二值化 的所述果实像素区域图像进行形态学的孔洞填充和开运算，用得到的孔洞填充和开运算之 后的所述果实像素区域图像对所述RGB图像做掩码运算，得到边缘平滑的去除背景的果实 像素区域图像。
[0021] 优选地，所述步骤S4中的边缘检测算法为拉普拉斯二阶零交叉检测算子，所述拉 普拉斯二阶零交叉检测算子利用两个不同参数的高斯函数的差来近似地对所述果实像素 区域图像作卷积，通过寻找所述果实像素区域图像的二阶导数的过零点来