专利名称：一种苹果套袋机器人视觉定位方法
技术领域：
本发明涉及一种机器人的视觉定位系统，更具体地，涉及基于机器视觉的苹果套袋机器人精准定位系统的组成及其实现方法。
背景技术：
随着我国整体农业科技水平和高技术产业的高速发展，人工智能和机器视觉等新型技术在农业机械中的应用研究得到了高度重视。由于当今劳动资源的逐步短缺，国家十分重视农业机器人的研究，而机器人视觉的研究是农业机器人研究的一个重要内容之一，所以设计一种视觉精准定位系统引导机器人工作成为了一项非常紧迫的任务。国内也有一部分人针对此问题进行了研究并取得了一定的成果，目前研制的视觉定位系统绝大多数是对前景颜色和背景颜色具有较大差异的图像进行处理实现定位的，而这样的视觉定位系统局限性很强，结构复杂，鲁棒性低。当环境改变，图像的前景和背景颜色差异较小时就很难进行准确的定位。而在现实环境中，天气的变化，光照的变化等多方面的不利条件的影响总是存在的，相比以上方法的不足，设计一种能克服已有系统的不足之处以及能适应环境变化的视觉定位系统显得尤为重要，尤其是针对那些前后背景差异较小的情况下能进行精准定位的系统。
发明内容
本发明的目的是提供一种苹果套袋机器人视觉定位方法，提高了工作效率、减少操作工人，降低生产成本。采用的技术方案是:
一种苹果套袋机器人 视觉定位方法，由硬件和软件两部分组成。硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器。处理器可选用微机或单板机。苹果幼果图像采集装置用来在远景处对果树及苹果幼果进行图像采集，需要模拟人类的眼睛，因此选用二台工业CXD摄像机(双目摄像机)，并装设在苹果套袋机器人的设定位置上，二台工业CXD摄像机将采集到的图像信息输送到存储装置。存储装置用来存储苹果幼果图像采集装置采集的图像，还用来存储图像处理程序的处理结果及系统运行的实时数据记录等。所述软件部分包括图像处理程序和定位程序。所述的软件部分中图像处理程序是用来对从存储装置中读取的图像进行预处理的。所述的软件部分中定位程序是用来对预处理后的图像提取目标并进行精准定位的。本发明的一种基于机器视觉的苹果套袋机器人视觉定位方法，包括如下步骤:
I)用工业CXD双目摄像机对苹果树及苹果幼果进行采集，得到整体图像后，将左目和右目采集到的图像分别存储在存储装置中，并从存储装置中读取出这两幅图像；2)对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分(ROI)，判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤I )，如果有将其分割提取出来后进入步骤3)；
3)对相机进行标定后对目标体匹配，以及去除误匹配，匹配成功，则进入步骤4)，否则进入2)；
4)对匹配好的目标体进行三维重建，最后确定目标体在图像中的位置以及获取准确的三维坐标；
5)将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作。进一步，所述步骤2)具体包括如下几个步骤:
21)对图像进行预处理并提取出ROI；
22)判断是否有苹果幼果并分割；
进一步，所述步骤3)具体包括如下几个步骤:
31)对双目摄像机进行标定；
32)对两幅图像进行极线校正； 33)特征提取与匹配；
进一步，所述步骤4)具体包括如下:
41)对目标体进行三维重建；
42)获取目标体位置与三维坐标；
进一步，所述步骤21)具体包括如下几个步骤:
211)对图像进行灰度处理；
212)对图像进行增强处理；
213)对图像进行二值化处理；
214)对图像进行形态学运算；
进一步，所述步骤22)具体为:
本发明中判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为:
权利要求
1.一种苹果套袋机器人视觉定位方法，采用本方法完成苹果套袋视觉定位，包括硬件和软件两部分； 硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器；苹果幼果图像采集装置为工业C⑶双目摄像机，装设在苹果套袋机器人的设定位置上； 软件部分包括图像处理程序和定位程序，图像处理程序包括ROI提取，灰度化，图像增强和图像分割；定位程序包括摄像机标定，极线校正，特征提取与匹配和三维重建；图像处理程序用于将从存储装置中读取的图像进行预处理，定位程序用来对预处理后的图像提取目标并进行精确定位；其特征在于苹果套袋机器人视觉定位包括下述步骤: 1)用工业C⑶双目摄像机对苹果树及苹果幼果进行采集，得到整体图像后，将左目和右目采集到的图像分别存储在存储装置中，并从存储装置中读取出这两幅图像； 2)对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分R0I，判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤I)，如果有则将其分割提取出来后进入步骤3)； 3)对相机进行标定后对目标体匹配，以及去除误匹配，匹配成功，则进入步骤4)，否则进入2)； 4)对匹配好的目标体进行三维重建，最后确定目标体在图像中的位置以及获取准确的三维坐标； 5)将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作； 进一步，所述步骤2)具体包括如下几个步骤: 21)对图像进行预处理并提取出ROI； 22)判断是否有苹果幼果并分割； 进一步，所述步骤3)具体包括如下几个步骤: 31)对双目摄像机进行标定； 32)对两幅图像进行极线校正； 33)特征提取与匹配； 进一步，所述步骤4)具体包括如下: 41)对目标体进行三维重建； 42)获取目标体位置与三维坐标； 进一步，所述步骤21)具体包括如下几个步骤: 211)对图像进行灰度处理； 212)对图像进行增强处理； 213)对图像进行二值化处理； 214)对图像进行形态学运算； 进一步，所述步骤22)具体为: 判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为:
2.根据权利要求1所述的一种苹果套袋机器人视觉定位方法，其特征在于所述的三维重建方法是运用了最小二乘法，其表达公式为:
全文摘要
本发明涉及一种机器人的视觉定位方法，更具体地，涉及基于机器视觉的苹果套袋机器人视觉定位系统及方法。该方法可以对苹果幼果进行准确的图像处理与分析，通过算法快速的对苹果幼果进行准确定位，确定幼果的精确位置，引导机械臂完成套袋工作。本发明的方法组成有硬件和软件两个部分，其中的硬件包括图像采集装置、存储装置、处理器、控制器；软件部分包括图像处理程序与定位程序。本发明的方法是由ROI提取、灰度化、图像增强、图像分割、相机标定、图像极线校正、图像的特征提取和匹配以及图像的三维重建来实现的。
文档编号A01G13/02GK103198477SQ20131009596
公开日2013年7月10日 申请日期2013年3月25日 优先权日2013年3月25日
发明者高宏伟, 李斌, 刘哲, 洪坤, 于洋 申请人:沈阳理工大学