一种油茶果花识别定位系统的制作方法

本发明涉及农业机械化领域，具体是一种油茶果花识别定位系统。

背景技术：

在果蔬的生产作业中,采摘约占整个作业量的40％。采摘作业质量的好坏直接影响到农作物的经济效益，在果蔬的采摘过程中,它的识别和定位是一道重要环节。目前，果蔬采摘方式主要包括人工采摘和机器人采摘两种。由于人工采摘作业的效率较低并且受工作人员的疲劳程度以及不同工人对果实判别标准不同影响,很难达到严格的采摘和分类要求。实现果蔬的自动化采摘,对于解决果蔬生产成本高、误差大以及人工劳动强度大等问题以及保证果蔬的适时采收和保证采摘品质等方面均具有重要的意义。

油茶树是一种较为特别的果树品种，往往果期未结束，花期即至，形成花果并存的特有现象，被群众称为“抱子怀胎”，这是油茶树异于其他果树的一大显著特征。油茶果为一种小型球果呈扁圆形或橄榄形，直径3-4cm，果瓣厚而木质化。未成熟的油茶果是红色或者是绿色，成熟后会脱一层皮，里面的肉质呈银白色或者白色。油茶花为两性花，直径3-5cm，无梗；花瓣为5-7片，白色，分离，倒卵形至披针形，长2.5-4.5cm，先端常有凹缺，外面有毛；雄蕊多数，无毛，外轮花丝仅基部连合。由于大多的果树的花在经过授粉后开始结果，果期一般在花期结束之后，在果实采摘的过程中不需要考虑对花的影响。因此果实采摘机器人在果实采摘的过程中只对果实进行识别和定位而对花并不进行识别。对于油茶树，这种果花同期的果树品种，由于果实与花同时存在，采摘机器人易在果实采摘的过程中破坏油茶花。如果果实的花受到了损害，则对后期的果实生长会产生不良影响。因此，油茶果采摘机器人进行采摘的过程中油茶果与油茶花目标的快速识别和准确定位是一个十分重要的环节。

技术实现要素：

(一)要解决的技术问题

为了解决现有的农业采摘机器人在对树上油茶果进行采摘过程中易对油茶花造损伤的问题，本发明提出了一种油茶果花识别定位系统，可以对树上成熟的油茶果和油茶花进行快速、准确地识别和定位，防止果实采摘机器人采摘果实过程中对油茶花造成损害，影响油茶果产量。

(二)技术方案

为了解决上述技术问题,本发明提供了一种果花识别定位系统,所述系统具体包括：(1)raspberrypi、(2)底座、(3)电机支架1、(4)伺服电机1、(5)伺服电机2、(6)kinect体感器、(7)电机支架2；(6)kinect体感器安置在(7)电机支架2的顶部，通过标准usb接口与(1)raspberrypi进行数据通信；(1)raspberrypi内安装有图像处理程序，图像处理程序包括程序控制界面、图像采集程序、果花识别程序、果花定位程序和电机驱动程序五部分。(1)raspberrypi可通过gpio口控制(4)伺服电机1和(5)伺服电机2角度，调整二自由度云台的拍摄角度。

所述(6)kinect体感器可通过实时扫描前方景物，同步获得现场的彩色图像和深度图像，并将图像通过usb标准接口传输给(1)raspberrypi。

所述(1)raspberrypi中的图像处理程序利用python语言和opencv库函数和openni库函数编写而成，具体包括程序控制界面、图像采集程序、果花识别程序、果花定位程序和电机驱动程序五部分，可完成对图像数据的接收，图像中油茶果和油茶花的识别、定位以及实时显示现场图像和对二自由度云台的操作控制。

所述(1)raspberrypi中的图像处理程序所包含的果花识别程序，具体用于处理对彩色图像中油茶果和油茶花目标的识别工作，程序的运行步骤如下：首先彩色图像经过slic算法处理，分割成超像素图像。再将彩色图像由rgb颜色空间转换成lab颜色空间，计算所有超像素的属性值(属性值包括：超像素的灰度均值、熵、标准差、一致性度量)，根据属性值计算各超像素之间的特征距离，经过fcm处理，从彩色图像中分割出油茶果像素区域和油茶花像素区域。最后应用边缘检测算法，绘制出油茶果和油茶花的轮廓。

所述(1)raspberrypi中的图像处理程序所包含的果花定位程序，具体用于处理对图像数据中油茶果和油茶花目标的三维空间定位工作，程序的运行步骤如下：利用油茶果和油茶花在彩色图像上的平面点云坐标一一对应其深度数据，计算油茶花和油茶果的空间点云坐标，再利用机器运动学算法计算各点空间坐标，根据二自由度云台的当前拍摄角度校正油茶花和油茶果的空间点云坐标。利用彩色图像中油茶果轮廓线凸包的谷底对轮廓线进行分段，再将分段的轮廓线分别进行最小二乘椭圆拟合，对拟合椭圆中心点的平面坐标和轮廓线内点云的深度数据情况计算中心点的空间坐标和椭圆的长轴半径，对拟合椭圆长轴半径超出3cm的轮廓重新寻找凸包并根据谷底继续分割，若无谷底则将此段轮廓线剔除。对两中心点空间坐标距离小于0.5cm的两个轮廓线重新组合，循环进行拆分组合直到所有的轮廓线皆符合条件。记录所有油茶花的空间点云坐标和各油茶果单位的空间中心点坐标及表面点云坐标。

所述二自由度云台结构包括(2)底座、(3)电机支架1、(4)伺服电机1、(5)伺服电机2、(7)电机支架2，所述(4)伺服电机1安置在所述(3)电机支架1上，可调节二自由度云台在水平方向上的拍摄角度，所述(4)伺服电机2安置在所述(7)电机支架2上，可调节二自由度云台在垂直方向上的拍摄角度，所述(2)底座用于固定系统硬件结构。

所述(1)raspberrypi中的图像处理程序的程序控制界面可显示现场的图像，并将图像中的油茶果和油茶花标记出来，且程序界面上设有控制按钮，可通过raspberrypi的gpio口输出控制信号控制伺服电机1和伺服电机2转动，调整二自由度云台的姿态，改变kinect体感器的拍摄角度。

(三)有益效果

本发明的优点在于利用机器视觉技术，根据图像的颜色和纹理以及深度数据可以有效实现对油茶果和油茶花的识别和定位，解决了果实采摘机器人由于不能识别油茶花而无法对油茶花合理避让，造成对油茶花破坏使得油茶果产量下降等问题。

附图说明

图1为本发明的一种油茶果花识别定位系统的结构图。

图2为本发明的该系统的逻辑结构框图。

图3为本发明的识别检测算法的流程图。

图4为kinect体感器坐标系。

具体实施方式

为了使本发明的研发目的和技术方案及优点更加清楚明白，以下结合附图对本发明进行进一步详细说明。

如图1所示，图1为本发明的一种油茶果花识别定位系统的结构图。该系统结构包括：(1)raspberrypi、(2)底座、(3)电机支架1、(4)伺服电机1、(5)伺服电机2、(6)kinect体感器、(7)电机支架2；所述(2)底座用于固定系统硬件结构，所述(6)kinect体感器安置在所述(7)电机支架2的顶部，所述(4)伺服电机1安置在所述(3)电机支架1上可调整垂直方向的拍摄角度的，所述(5)伺服电机2安置在(7)电机支架2上可调整水平方向的拍摄角度。

如图2所示，图2为本发明的一种油茶果采摘机器人的逻辑结构框图，包括软件部分和硬件部分。硬件部分具体包括：(1)raspberrypi、(6)kinect体感器和二自由度云台。其中(6)kinect体感器通过标准usb接口与(1)raspberrypi进行数据通信，将拍摄的彩色图像和深度图像传输给(1)raspberrypi，(1)raspberrypi可通过控制(4)伺服电机1和(5)伺服电机2调整二自由度云台上的(6)kinect体感器在水平方向和垂直方向上的拍摄角度；软件部分具体包括：(1)raspberrypi内安装有图像处理程序，图像处理程序包括程序控制界面、图像采集程序、果花识别程序、果花定位程序和电机驱动程序五部分。果花识别程序可识别出图像中的油茶花和油茶果目标，果花定位程序可标定图像中的油茶花和油茶果单位的空间坐标；程序控制界面可显示现场的图像，并将图像中的油茶果和油茶花标记出来；电机驱动程序可根据操作者在程序控制界面的输入指令，通过raspberrypi的gpio口输出控制信号控制伺服电机1和伺服电机2转动，调整二自由度云台的姿态，改变kinect体感器的拍摄角度。

如图3所示，图3为图像处理算法的流程图，油茶果图像首先经过slic分割算法处理，将图像分割成由超像素组成的图像；然后将图像由rgb颜色空间转换成lab颜色空间，并分别计算各超像素的属性值，属性值包括平均灰度值、熵、一致性度量和标准差。根据属性值计算各超像素之间的特征距离，然后利用fcm算法对各超像素进行聚类。最后将油茶果的超像素和油茶花的超像素进行聚类处理，从彩色图像中分割出油茶果像素区域和油茶花像素区域。利用彩色图像上油茶果和油茶花轮廓内各像素点云坐标x，y一一对应其在深度图像上的深度数据z计算油茶花和油茶果的空间点云坐标。空间坐标的具体运算步骤如下：

首先计算换算关系realworldxtoz＝2tan(a/2)、realworldytoz＝2tan(b/2)，获取深度图像的宽度值，高度值与距离的比值，a表示水平视角角度值，b表示垂直视角角度值；然后，求像素点在实际平面坐标下的x，y值：normalizedx＝x/outputmode.nxres-0.5，即深度图像左侧在x轴负方向上，右侧在x轴正方向上，同样normalizedy＝0.5-y/outputmode.nyres，上侧在y轴正方向上，下侧在y轴负方向上；最后计算空间坐标x′＝normalizedx×z×realworldxtoz、y′＝normalizedx×z×realworldxtoz、z′＝z。

初步确定各点的空间坐标后，提取二自由度云台当前在水平方向的转动角度α和垂直方向的转动角度β，利用机器运动学算法校正油茶花和油茶果的空间点云坐标。算法具体过程如下：

对当前空间坐标点p(x,y,z)进行空间坐标校正，水平方向上的校正矩阵为垂直方向上的校正矩阵为校正后的空间坐标为p′(x,y,x)＝r(z,α)·r(y,β)·p(x,y,z)。

坐标校正后利用彩色图像中油茶果轮廓线凸包的谷底对轮廓线进行分段，再将分段的轮廓线分别进行最小二乘椭圆拟合，对拟合椭圆中心点的平面坐标和轮廓线内部各像素点的深度数据均值计算中心点的空间坐标和椭圆的长轴半径，对拟合椭圆长轴半径超出3cm的轮廓线重新分割若凸包不存在谷底则将此轮廓线剔除，对两中心点之间空间距离小于0.5cm的轮廓线进行重组，循环进行拆分组合直到所有的轮廓线皆符合条件的轮廓，记录所有的拟合椭圆的中心点坐标作为油茶果单位的中心点坐标和所有油茶花各像素点的空间坐标和各油茶果单位的表面点云坐标，完成对果花的识别及空间定位。

如图4所示，图4为kinect体感器坐标系。可知空间坐标系的z轴为kinect体感器的正方向，x轴为垂直与水平视角的正上方，因此可知在拍摄角度改变的情况下，空间坐标系也会随之改变，因此需要对空间坐标进行校正处理。

本发明为一种油茶果采摘机器人的机器视觉系统，在具体使用时分为以下4个步骤：

1.打开kinect体感器和raspberrypi，开始kinect体感器与raspberrypi之间的图像传输并运行图像处理程序对图像进行处理。

2.图像处理程序对图像中的油茶果和油茶花进行识别和标定，并计算油茶果和油茶花目标的空间坐标，并将图像中各个油茶果单位进行标注，在程序界面中显示出来。

3.图像处理界面包括二自由度云台的控制按钮，可通过raspberrypi控制gpio口输出控制信号，控制伺服电机转动，调节二自由度云台的拍摄角度。

4.油茶果和油茶花的数据将会录入数据表中保存。

值得一提的是，该机器视觉系统可通过修改参数实现对一些其他类圆果实(如番茄、橘子、杏等)的识别和定位。