基于机器视觉的蘑菇自动采摘系统及方法与流程

本发明涉及农业自动化生产技术领域，尤其涉及一种基于机器视觉的蘑菇自动采摘系统及方法。

背景技术：

在果蔬生产作业中,收获采摘约占整个作业量的40％。采摘作业质量的好坏直接影响到果蔬的储存、加工和销售,从而最终影响市场价格和经济效益。加上果蔬的采摘与挑选都是劳动力密集型和时令性较强的工作,由自动化采摘系统来完成这些工作可以提高劳动生产率、解决劳动力的季节性不足、改善农业的生产环境提高作业质量等。早在上个世纪，在西方发达国家,食用蘑菇的生产主要集中在几个蘑菇生产基地,已形成大规模工业化生产。在我国，大面积蘑菇生产基地也在快速发展之中，不少生产基地已具有相当大的蘑菇生产规模。在蘑菇的生产过程中,它的采摘和分类是最后一道重要工序,传统方法都靠手工完成。由于手工作业的效率和分类的质量因工作人员的疲劳程度和依据标准不一,很难达到严格的分选要求。所以最后一道工序是蘑菇工业化生产过程中进一步降低生产成本,提高分类质量,保证最佳经济效益的制约因素。对于苗床蘑菇图像的处理，一方面由于泥土，杂草，光照不均以及大量菌丝等因素的干扰，使得图像背景十分复杂，处理难度较大；另一方面，蘑菇之间存在大量粘连的情况，要准确对蘑菇进行识别标记，必须对粘连蘑菇进行处理。采摘机构末端执行器是实现蘑菇采摘所需运动和附加功能的装置。由于蘑菇的外表较为脆弱,形状及生长状况复杂,因此末端执行器的设计通常被认为是采摘装置的核心技术之一。目前己开发出的农业自动化采摘装置有手指、吸引器、针、喷雾嘴,剪刀等各式各样的末端采摘执行器，但是由于蘑菇柔弱易破的特性导致用刚体抓取很容易损伤果实,粘有海绵、橡胶的刚体的变形适应能力也很有限。

技术实现要素：

本发明的目的在于通过一种基于机器视觉的蘑菇自动采摘系统及方法，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种基于机器视觉的蘑菇自动采摘系统，该系统包括摄像头、主控系统、运动系统、气囊式机械手以及气泵；所述摄像头与主控系统连接，用于在所述主控系统控制下，获得苗床上蘑菇的观测图像r，并将所述观测图像r传输至所述主控系统；所述主控系统与运动系统连接，用于对收到的所述观测图像r进行实时显示，并对所述观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，根据所述各个蘑菇的中心位置坐标(xh,yh)确定气囊式机械手的运动轨迹tr；所述运动系统与气囊式机械手连接，用于根据所述气囊式机械手的运动轨迹tr，将气囊式机械手移动至蘑菇采摘位置采摘蘑菇，并将蘑菇放置于相应包装盒中，然后控制气囊式机械手运动至下一个蘑菇采摘位置进行蘑菇采摘，直至摄像头当前视野内的蘑菇采摘完毕；所述气泵与气囊式机械手连接，用于当气囊式机械手移动至蘑菇采摘位置时，在主控系统控制下给气囊式机械手充气，使气囊式机械手将蘑菇抓取。

特别地，所述对所述观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，具体包括：采用基于harris角点的背景滤除算法以及基于图像清晰度属性的分水岭分割算法对观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，过程如下：计算所述观测图像r的harris角点，根据角点密集度对图像进行背景滤除，获得只包含粘连蘑菇的二值图b；使用sobel滤波器对观测图像r进行水平和垂直方向处理分别得到sobelx和sobely，计算其l1范式的梯度图像g，g＝abs(sobelx)+abs(sobely)，通过梯度图像g做tophat变换即梯度图像g减去g的形态学开运算图像得到图像tophat，对梯度图像g做blackhat变换即梯度图像g的形态学闭运算图像减去梯度图像g得到图像blackhat，取图像tophat与图像blackhat的极大值得到图像max，从而获得图清晰度属性，对图像max进行阈值化、若干次腐蚀操作得到用于分水岭计算的标记图像marker，对梯度图像g运用基于标记的分水岭算法处理并对得到的结果分水岭上的像素置0，剩余像素置255,得到边界图像w；对获得的所述二值图b和所述边界图像w执行与操作得到相互分开的蘑菇图像，最后利用最小二乘法对各个蘑菇区域进行椭圆拟合，得到摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其半径值即大小。

特别地，所述根据所述各个蘑菇的中心位置坐标(xh,yh)确定气囊式机械手的运动轨迹tr，具体包括：根据所述各个蘑菇的中心位置坐标(xh,yh)，计算出各个蘑菇在世界坐标系中的位置(xw,yw)，根据各个蘑菇在世界坐标系中的位置(xw,yw)计算出气囊式机械手的运动轨迹tr。

特别地，所述气囊式机械手包括若干气囊片，所述若干气囊片固定于金属板上，所述金属板上开设有与各气囊片连通的气孔，所述气孔与所述气泵相连；所述气囊片分为上下两层，下层为硅胶实体，上层由若干气囊室构成，所述若干气囊室之间完全隔开，每个气囊室均设置有单独的通气孔。

特别地，所述气囊式机械手包括四个气囊片，所述气囊片的上层由七个气囊室构成；通入气体前，所述气囊室中无气体，四片气囊片自由垂下，工作时，气泵通入气体，气囊室压力升高，气囊片卷缩，四片气囊片将待采摘的蘑菇包裹，完成蘑菇采摘。

特别地，所述运动系统具体用于：根据所述气囊式机械手的运动轨迹tr，控制其x、y方向电机运转，将气囊式机械手移动至蘑菇采摘位置的上方，然后，控制其z方向电机运转，将气囊式机械手下探到蘑菇抓取位置，主控系统控制气泵打开，气囊式机械手的气囊室压力升高，气囊片卷缩，气囊片将待采摘的蘑菇包裹，完成蘑菇采摘，控制x、y、z方向电机运转，将采摘的蘑菇放入指定的包装盒内，完成单个蘑菇采摘，随后，控制气囊式机械手运动至下一个蘑菇采摘位置进行蘑菇采摘，直至摄像头当前视野内的蘑菇采摘完毕。

特别地，所述运动系统还用于：在开始蘑菇采摘前，根据主控系统发送的电机指令和参数，控制摄像头运动到指定的拍照点。

特别地，所述基于机器视觉的蘑菇自动采摘系统还包括led阵列光源；所述led阵列光源用于在摄像头拍照时，补偿光线。

本发明还公开了一种基于机器视觉的蘑菇自动采摘方法，其包括如下步骤：

s101、在开始蘑菇采摘前，运动系统根据主控系统发送的电机指令和参数，控制摄像头运动到指定的拍照点；

s102、在所述主控系统控制下，获得苗床上蘑菇的观测图像r，并将所述观测图像r传输至所述主控系统；

s103、主控系统对收到的所述观测图像r进行实时显示，并对所述观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，根据所述各个蘑菇的中心位置坐标(xh,yh)确定气囊式机械手的运动轨迹tr；

s104、运动系统根据所述气囊式机械手的运动轨迹tr，控制其x、y方向电机运转，将气囊式机械手移动至蘑菇采摘位置的上方；

s105、运动系统控制其z方向电机运转，将所述气囊式机械手下探到蘑菇抓取位置；

s106、主控系统控制气泵打开，气囊式机械手的气囊室压力升高，气囊片卷缩，气囊片将待采摘的蘑菇包裹，完成蘑菇采摘；

s107、运动系统控制x、y、z方向电机运转，将采摘的蘑菇放入指定的包装盒内，完成单个蘑菇采摘；

s108、运动系统控制气囊式机械手运动至下一个蘑菇采摘位置进行蘑菇采摘，重复步骤s105-s107直至摄像头当前视野内的蘑菇采摘完毕；

s109、主控系统向运动系统发送电机运行指令和参数，所述运动系统控制摄像头到达下一拍摄位置，重复步骤s102-s109，直至苗床中蘑菇采摘区域全部采摘完毕。

特别地，所述步骤s103中对所述观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，具体包括：采用基于harris角点的背景滤除算法以及基于图像清晰度属性的分水岭分割算法对观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，过程如下：计算所述观测图像r的harris角点，根据角点密集度对图像进行背景滤除，获得只包含粘连蘑菇的二值图b；使用sobel滤波器对观测图像r进行水平和垂直方向处理，计算其l1范式，得到观测图像r的梯度图像g，通过对梯度图像g做tophat变换即梯度图像g减去g的形态学开运算图像得到图像tophat，对梯度图像g做blackhat变换即梯度图像g的形态学闭运算图像减去梯度图像g得到图像blackhat，取图像tophat与图像blackhat的极大值得到图像max，从而获得图清晰度属性，对图像max进行阈值化、若干次腐蚀操作得到用于分水岭计算的标记图像marker，对梯度图像g运用基于标记的分水岭算法处理并对得到的结果分水岭上的像素置0，剩余像素置255,得到边界图像w；对获得的所述二值图b和所述边界图像w执行与操作得到相互分开的蘑菇图像，最后利用最小二乘法对各个蘑菇区域进行椭圆拟合，得到摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其半径值即大小。

本发明提出的基于机器视觉的蘑菇自动采摘系统及方法解决了蘑菇人工采摘效率低、分类的质量不均以及现有采摘末端执行器易损伤蘑菇、变形适应能力差等问题，能够对复杂背景、具有严重粘连的蘑菇苗床图像进行处理，并通过气囊式机械手解决了采摘造成的蘑菇损伤问题。本发明通过计算出苗床上蘑菇的中心位置坐标和大小信息，引导机械手采摘蘑菇，从而改变了国内大规模蘑菇生产基地长期依靠人工采摘的现状，为蘑菇生产工业化、自动化发展打开了新格局。与现有技术相比较，本发明为蘑菇采摘和分类提供了了基于机器视觉的处理方法，提出来了一种全新的针对蘑菇苗床图片复杂背景和严重粘连的问题的解决方案，解决了以往手工作业的效率和分类的质量因工作人员的疲劳程度和依据标准不一而低下的问题，实现了蘑菇采摘和分类过程的完全自动化。本发明中的气囊式机械手的弥补了刚体机械手抓取很容易损伤果实,粘有海绵、橡胶的刚体的变形适应能力有限的缺陷，为蘑菇自动采摘机械手的设计提供了全新的思路。本发明为蘑菇工业化、自动化生产提供一种新方法，使蘑菇的生产从苗床管理到收获分类实现全部自动化，降低了生产成本，提高了分类质量，从而创造出蘑菇大规模工业化生产新局面。

附图说明

图1为本发明实施例提供的基于机器视觉的蘑菇自动采摘系统结构图；

图2为本发明实施例提供的气囊式机械手结构示意图；

图3为本发明实施例提供的气囊式机械手囊片通气后的截面图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容理解的更加透彻全面。需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参照图1所示，图1为本发明实施例提供的基于机器视觉的蘑菇自动采摘系统结构图。

本实施例中基于机器视觉的蘑菇自动采摘系统具体包括：摄像头101、主控系统102、运动系统103、气囊式机械手104以及气泵105。为了保证摄像头101的拍照效果，在本实施例中基于机器视觉的蘑菇自动采摘系统还包括一led阵列光源106，led阵列光源106设置在相机架上，在摄像头101拍照时，补偿光线。

所述摄像头101设置在相机架上，与主控系统102连接，用于在所述主控系统102控制下，获得苗床上蘑菇的观测图像r，并将所述观测图像r传输至所述主控系统102。在开始蘑菇采摘前，运动系统103根据主控系统102发送的电机指令和参数，控制摄像头101运动到指定的拍照点。

所述主控系统102与运动系统103连接，用于对收到的所述观测图像r进行实时显示，并对所述观测图像r进行处理，获得摄像头101当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，根据所述各个蘑菇的中心位置坐标(xh,yh)确定气囊式机械手104的运动轨迹tr。

在本实施例中对所述观测图像r进行处理，获得摄像头101当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，具体包括：采用基于harris角点的背景滤除算法以及基于图像清晰度属性的分水岭分割算法对观测图像r进行处理，获得摄像头101当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小。通过基于harris角点的背景滤除算法解决摄像头101获得的苗床上蘑菇的观测图像r的背景复杂问题，过程如下：计算所述观测图像r的harris角点，根据角点密集度对图像进行背景滤除，获得只包含粘连蘑菇的二值图b；通过基于图像清晰度属性的分水岭分割算法解决摄像头101获得的苗床上蘑菇的观测图像r中蘑菇粘连严重的问题，过程如下：使用sobel滤波器对观测图像r进行水平和垂直方向处理分别得到sobelx和sobely，计算其l1范式的梯度图像g，g＝abs(sobelx)+abs(sobely)，得到观测图像r的梯度图像g，通过对梯度图像g做tophat变换即梯度图像g减去g的形态学开运算图像得到图像tophat，对梯度图像g做blackhat变换即梯度图像g的形态学闭运算图像减去梯度图像g得到图像blackhat，取图像tophat与图像blackhat的极大值得到图像max，从而获得图清晰度属性，对图像max进行阈值化、若干次腐蚀操作得到用于分水岭计算的标记图像marker，对梯度图像g运用基于标记的分水岭算法处理并对得到的结果分水岭上的像素置0，剩余像素置255,得到边界图像w，其中，所述分水岭算法是一种流行的图像分割算法，用于快速分割图像为同类区域，因使用较多，被opencv图像处理库封装，可直接调用，其难点在于标记图像marker的获取，所述运用基于标记的分水岭算法处理是指将梯度图像g看作拓扑结构的地图，均质区域对应的是被陡峭边缘包围的平坦盆地，以标记图像marker中的标记像素开始，不断往盆地中注水，当要发生不同盆地的水汇聚时，创建一个分水岭以保持两个盆地分离；对获得的所述二值图b和所述边界图像w执行与操作得到相互分开的蘑菇图像，最后利用最小二乘法对各个蘑菇区域进行椭圆拟合，得到摄像头101当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其半径值即大小。

所述运动系统103与气囊式机械手104连接，用于根据所述气囊式机械手104的运动轨迹tr，将气囊式机械手104移动至蘑菇采摘位置采摘蘑菇，并将蘑菇放置于相应包装盒中，然后控制气囊式机械手104运动至下一个蘑菇采摘位置进行蘑菇采摘，直至摄像头101当前视野内的蘑菇采摘完毕。所述气泵105与气囊式机械手104连接，用于当气囊式机械手104移动至蘑菇采摘位置时，在主控系统102控制下给气囊式机械手104冲入气体，使气囊式机械手104将蘑菇抓取，在本实施例中所述气体为高压气体。其中，所述根据所述各个蘑菇的中心位置坐标(xh,yh)确定气囊式机械手104的运动轨迹tr，具体包括：根据所述各个蘑菇的中心位置坐标(xh,yh)，计算出各个蘑菇在世界坐标系中的位置(xw,yw)，根据各个蘑菇在世界坐标系中的位置(xw,yw)计算出气囊式机械手104的运动轨迹tr。由于气囊式机械手104与蘑菇之间无任何阻挡物，tr可根据初始位置和蘑菇位置两点坐标规划化为直线轨迹。

如图2所示，在本实施例中所述气囊式机械手104包括若干气囊片201，所述若干气囊片201固定于金属板202上，在本实施例中金属板202为圆形金属板，气囊片201用螺栓固定于圆形金属板上；所述金属板202上开设有与各气囊片201连通的气孔，所述气孔与所述气泵105相连；如图3所示，所述气囊片201分为上下两层，下层为硅胶实体2011，上层由若干气囊室2012构成，所述气囊片201通过固定端2013固定于金属板202上，所述若干气囊室2012之间完全隔开，每个气囊室2012均设置有单独的通气孔；。实际应用时，所述气囊式机械手104包括四个气囊片201，所述气囊片201的上层由七个气囊室2012构成；通入气体前，所述气囊室2012中无气体，四片气囊片201自由垂下，工作时，气泵105通入气体，气囊室2012压力升高，气囊片201卷缩，四片气囊片201将待采摘的蘑菇包裹，完成蘑菇采摘。值得一提的是，为了优化气囊式机械手104的蘑菇抓取效果，经过试验，所示气囊片201的形状优选设置为树叶状如柳叶等。

具体的，在本实施例中所述运动系统103具体用于：根据所述气囊式机械手104的运动轨迹tr，通过坐标转换后，控制其x、y方向电机运转，将气囊式机械手104移动至蘑菇采摘位置的上方，然后，控制其z方向电机运转，将气囊式机械手104下探到蘑菇抓取位置，主控系统102控制气泵105打开，气囊式机械手104的气囊室2012压力升高，气囊片201卷缩，气囊片201将待采摘的蘑菇包裹，完成蘑菇采摘，控制x、y、z方向电机运转，将采摘的蘑菇放入指定的包装盒内，完成单个蘑菇采摘，随后，控制气囊式机械手104运动至下一个蘑菇采摘位置进行蘑菇采摘，直至摄像头101当前视野内的蘑菇采摘完毕。x，y，z方向如图1所示。

基于上述系统，本实施例还公开了一种基于机器视觉的蘑菇自动采摘方法，该方法具体包括如下步骤：

s101、在开始蘑菇采摘前，运动系统根据主控系统发送的电机指令和参数，控制摄像头运动到指定的拍照点。

s102、在所述主控系统控制下，获得苗床上蘑菇的观测图像r，并将所述观测图像r传输至所述主控系统。

s103、主控系统对收到的所述观测图像r进行实时显示，并对所述观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，根据所述各个蘑菇的中心位置坐标(xh,yh)确定气囊式机械手的运动轨迹tr。

在本实施例中对所述观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小，具体包括：采用基于harris角点的背景滤除算法以及基于图像清晰度属性的分水岭分割算法对观测图像r进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其大小。通过基于harris角点的背景滤除算法解决摄像头获得的苗床上蘑菇的观测图像r的背景复杂问题，过程如下：计算所述观测图像r的harris角点，根据角点密集度对图像进行背景滤除，获得只包含粘连蘑菇的二值图b；通过基于图像清晰度属性的分水岭分割算法解决摄像头获得的苗床上蘑菇的观测图像r中蘑菇粘连严重的问题，过程如下：使用sobel滤波器对观测图像r进行水平和垂直方向处理，计算其l1范式，得到观测图像r的梯度图像g，通过对梯度图像g做tophat变换即梯度图像g减去g的形态学开运算图像得到图像tophat，对梯度图像g做blackhat变换即梯度图像g的形态学闭运算图像减去梯度图像g得到图像blackhat，取图像tophat与图像blackhat的极大值得到图像max，从而获得图清晰度属性，对图像max进行阈值化、若干次腐蚀操作得到用于分水岭计算的标记图像marker，对梯度图像g运用基于标记的分水岭算法处理并对得到的结果分水岭上的像素置0，剩余像素置255,得到边界图像w；对获得的所述二值图b和所述边界图像w执行与操作得到相互分开的蘑菇图像，最后利用最小二乘法对各个蘑菇区域进行椭圆拟合，得到摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标(xh,yh)及其半径值即大小。

s104、运动系统根据所述气囊式机械手的运动轨迹tr，控制其x、y方向电机运转，将气囊式机械手移动至蘑菇采摘位置的上方。

s105、运动系统控制其z方向电机运转，将所述气囊式机械手下探到蘑菇抓取位置。

s106、主控系统控制气泵打开，气囊式机械手的气囊室压力升高，气囊片卷缩，气囊片将待采摘的蘑菇包裹，完成蘑菇采摘。

s107、运动系统控制x、y、z方向电机运转，将采摘的蘑菇放入指定的包装盒内，完成单个蘑菇采摘。

s108、运动系统控制气囊式机械手运动至下一个蘑菇采摘位置进行蘑菇采摘，重复步骤s105-s107直至摄像头当前视野内的蘑菇采摘完毕。

s109、主控系统向运动系统发送电机运行指令和参数，所述运动系统控制摄像头到达下一拍摄位置，重复步骤s102-s109，直至苗床中蘑菇采摘区域全部采摘完毕。

本发明的技术方案通过计算出苗床上蘑菇的中心位置坐标和大小信息，引导机械手采摘蘑菇，从而改变了国内大规模蘑菇生产基地长期依靠人工采摘的现状，为蘑菇生产工业化、自动化发展打开了新格局。与现有技术相比较，本发明为蘑菇采摘和分类提供了了基于机器视觉的处理方法，提出来了一种全新的针对蘑菇苗床图片复杂背景和严重粘连的问题的解决方案，解决了以往手工作业的效率和分类的质量因工作人员的疲劳程度和依据标准不一而低下的问题，实现了蘑菇采摘和分类过程的完全自动化。本发明中的气囊式机械手的弥补了刚体机械手抓取很容易损伤果实,粘有海绵、橡胶的刚体的变形适应能力有限的缺陷，为蘑菇自动采摘机械手的设计提供了全新的思路。本发明为蘑菇工业化、自动化生产提供一种新方法，使蘑菇的生产从苗床管理到收获分类实现全部自动化，降低了生产成本，提高了分类质量，从而创造出蘑菇大规模工业化生产新局面。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。