结合eye?to?hand和eye?in?hand结构的混合视觉伺服系统及方法
【专利摘要】本发明公开了结合eye?to?hand和eye?in?hand结构的混合视觉伺服系统及方法，通过eye?to?hand摄像头和eye?in?hand摄像头采集待识别目标的信息，并通过计算机进行位置计算，控制驱动器驱动机械臂带动eye?in?hand摄像头对待识别目标进行精确定位，本发明相对于传统仅用基于位置的视觉伺服和基于图像的视觉伺服，具有更高的定位精度和灵活性，本发明兼具全局视野范围大和局部视野精度高的特点，成本低，适应性强，应用范围广，对科学研究和目标搜索定位等应用都能带来很大的方便，具有非常重要的研究价值和现实意义。
【专利说明】结合eye-to-hand和eye-1 n-hand结构的混合视觉伺服系统及方法
技术领域
[0001 ] 本发明属于视觉伺服控制领域，具体涉及结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统及方法。
【背景技术】
[0002]随着科技的快速发展及机器人应用领域的扩大，人们对机器人技术提出了更高要求，希望机器人有更高的智能和更强的环境感知能力。视觉伺服利用视觉信息作为反馈，具有更大的信息量，提高了机器人系统灵活性和精确性，在机器人领域具有不可替代的作用。
[0003]国内各研究所、高校对视觉伺服系统展开了一些研究，取得了一定成果。如中国科学院沈阳自动化所进行了移动机器人视觉导航技术研究，沈阳新松公司研制了开关柜机器人焊接系统，清华大学自行研制可以进行高精度仪器装配的眼在手机器人等；同济大学、浙江大学、湖南大学等高校对控制算法进行了相关研究。目前研制的系统多数将工业机器人和视觉伺服结合，功能较单一。
[0004]视觉伺服系统根据摄像机安装位置的结构关系可以分为eye-to-hand和eye-1n-hand。前者结构特点是将摄像机距离机器人一定距离安装固定，获取环境的全景视觉角度；后者是将摄像机固定在机器人的末端执行器上，近距离观察对象，减少周围信息干扰。对比两者特点有如下结论，eye-to-hand有较低精度和较大范围的全局视觉，而eye-1n-hand具有较高精度和较小范围的局部视觉。将大的视觉范围和高的定位精度结合，能够更好的提高机器人感知能力和应用范围，是具有极大的研究价值。
【发明内容】
[0005]本发明的目的在于克服上述不足，提供结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统及方法，适用于对较大范围环境的目标捕捉及近距离精确定位、跟踪任务。
[0006]为了达到上述目的，结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统，包括连接计算机的eye-1n-hand摄像头和eye-to-hand摄像头，eye-1n-hand摄像头和eye-to-hand 摄像头采集待识别目标的图像，eye-1n-hand摄像头固定于机械臂末端上，机械臂连接有驱动器，驱动器连接计算机和电源模块；
[0007]所述eye-to-hand摄像头用于获取全局视觉信息，对待识别目标进行识别实现初步定位；
[0008]所述eye-1n-hand摄像头用于获取局部视觉信息，对待识别目标进行识别实现精确定位；
[0009]所述计算机用于对eye-1n-hand摄像头和eye-to-hand摄像头所采集图像进行处理，计算求解目标对象位置，将解算的运动控制指令发送给驱动器，结合eye-1n-hand摄像头和eye-to-hand摄像头获取的图像特征进行位置精确修正；
[0010]所述电源模块用于给驱动器模块提供持续稳定的电力；
[0011]所述驱动器用于接收计算机的控制指令，再根据控制信息驱动机械臂完成要求运动。
[0012]所述电源模块选用AC-DC电源模块或DC-DC电源模块。
[00?3]所述eye-to-hand摄像头采用具有大视角的图像采集装置；
[0014]所述eye-1n-hand摄像头采用具有小焦距的图像采集装置。
[0015]结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统的控制方法，包括以下步骤:
[0016]步骤一，当待识别目标出现在eye-to-hand摄像头所覆盖的全局视野范围内，通过eye-to-hand摄像头提取其图像特征与先验知识模型进行匹配，实现对目标的检测；
[0017]步骤二，通过eye-to-hand摄像头的小孔模型求解目标位置信息，通过计算机计算机械臂的控制量，并将控制量发送至驱动器；
[0018]步骤三，驱动器执行运动命令，驱动机械臂带动eye-1n-hand摄像头接近目标位置；
[0019]步骤四，通过eye-1n-hand摄像头对待识别目标近距离测定，获取精确位置信息，并反馈给计算机以调整运动执行末端姿态；
[0020]步骤五，若目标位置移动，超出eye-1n-hand摄像头的视觉范围外，则重复步骤一至步骤四。
[0021]所述步骤一中，图像特征为相比环境具有高辨识度和信噪比，包括颜色、形状、轮廓、尺寸特征。
[0022]所述步骤二中，小孔模型是对摄像头进行内外参数标定，计算建模得到的从图像平面映射到三维物理空间的转换模型，可以将图像上点的坐标转换到对应实际物理空间点的坐标。
[0023]与现有技术相比，本发明通过eye-to-hand摄像头和eye-1n-hand摄像头采集待识别目标的信息，并通过计算机进行位置计算，控制驱动器驱动机械臂带动eye-1n-hand摄像头对待识别目标进行精确定位，本发明相对于传统仅用基于位置的视觉伺服和基于图像的视觉伺服，具有更高的定位精度和灵活性，本发明兼具全局视野范围大和局部视野精度高的特点，成本低，适应性强，应用范围广，对科学研究和目标搜索定位等应用都能带来很大的方便，具有非常重要的研究价值和现实意义。
[0024]进一步的，本发明通过普遍的CCD摄像头实现对图像的获取，此外其他模块硬件系统要求不高，采用的硬件单元常见且成本较低，故整个系统成本低，便于推广使用。
[0025]本发明通过eye-to-hand摄像头进行全局视野范围内对待识别目标进行检测，在通过计算机进行目标初定位与运动计算，计算机驱动机械臂运动，对待识别目标进行精确定位，本发明不仅适用于目标搜索和精确定位，还可以为运动执行机构的位姿准确控制提供反馈信息，具有良好的实时性，适用于工业、农业、娱乐等多种环境变化的场合，为动态目标跟踪、机器人控制等问题提供了一种新的解决思路。
【附图说明】
[0026]图1为本发明的原理不意图；
[0027]图2为本发明的信息流程图；
[0028]其中，I代表计算机；2代表驱动器；3代表电源模块;4代表机械臂；5代表eye-1n-hand摄像头;6代表eye-to-hand摄像头;7代表待识别目标;长虚线代表eye-to-hand摄像头视野范围;短虚线代表eye-1n-hand摄像头视野范围。
【具体实施方式】
[0029]下面结合附图和实施例对本发明做进一步说明。
[°03°] 参见图1，结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统，包括连接计算机 I 的eye-1n-hand 摄像头 5 和eye-to-hand 摄像头 6，eye-1n-hand 摄像头 5 和eye-to-hand摄像头6采集待识别目标7的图像，eye-1n-hand摄像头5固定于机械臂4末端上，机械臂4连接有驱动器2，驱动器2连接计算机I和电源模块3;
[0031 ] eye-to-hand摄像头6用于获取全局视觉信息，对待识别目标7进行识别实现初步定位，采用具有大视角的图像采集装置；
[0032]eye-1n-hand摄像头5用于获取局部视觉信息，对待识别目标7进行识别实现精确定位，采用具有小焦距的图像采集装置；
[0033]计算机I用于对eye-1n-hand摄像头5和eye-to-hand摄像头6所采集图像进行处理，计算求解目标对象位置，将解算的运动控制指令发送给驱动器2，结合eye-1n-hand摄像头5和eye-to-hand摄像头6获取的图像特征进行位置精确修正；
[0034]电源模块3用于给驱动器模块提供持续稳定的电力，选用AC-DC电源模块或DC-DC电源模块；
[0035]驱动器2用于接收计算机I的控制指令，再根据控制信息驱动机械臂4完成要求运动。
[0036]实施例:
[0037]参见图2，下面以果疏自动米摘任务为例，具体说明本发明结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统控制方法。本实施例中，视觉伺服系统的任务主要是将成熟水果的作为目标，利用视觉技术检测、定位并引导采摘臂运动，实现准确抓取目标果实。运动执行模块选取多自由度的灵巧机械臂。通过以下5个步骤即可实现基于eye-to-hand 和eye-1n-hand 结构的混合视觉伺服系统的精确定位和跟踪:
[0038](I)全局视野范围内目标检测:以成熟果实的颜色、尺寸等的图像特征为模板，对eye-to-hand摄像头6所覆盖的全局视野范围内进行目标搜索，实现对果实的检测。
[0039](2)目标初定位与运动计算:对已检测出的目标果实提取图像位置信息，并转换到三维物理空间，存储其大致位置坐标；以初步定位坐标为目标点，根据机械臂运动学模型解算控制量并发送机械臂驱动器2。
[0040](3)驱动运动执行机构运动:接收图像处理模块下发控制信息，机械臂驱动器2驱动机械臂4进行运动，接近目标位置区域。
[0041](4)目标精确定位:切换至eye-1n-hand摄像头5工作方式，对果实近距离测定，获取精确位置信息；同时求解当前图像特征点和期望图像特征点位置差，并反馈给计算机I以调整机械臂末端姿态。
[0042](5)信息反馈与修正:若目标果实始终保持在eye-1n-hand摄像头5视野范围内，计算机I根据eye-1n-hand摄像头5测定的精确位置信息和偏差量求解机械臂4各关节的运动控制量，当偏差量在允许误差范围内则结束控制，当偏差量较大则将控制量发送机械臂驱动器重复步骤(3)-(4);若目标果实在eye-1n-hand摄像头5的视野范围外，则重复步骤(I )-
(4)重新搜索调整。
【主权项】
1.结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统，其特征在于，包括连接计算机(I)的eye-1n-hand摄像头(5)和eye-to-hand摄像头(6)，eye-1n_hand摄像头(5)和eye-to-hand摄像头(6)采集待识别目标(7)的图像，eye-1n_hand摄像头(5)固定于机械臂(4)末端上，机械臂(4)连接有驱动器(2)，驱动器(2)连接计算机(I)和电源模块(3); 所述eye-to-hand摄像头(6)用于获取全局视觉信息，对待识别目标(7)进行识别实现初步定位； 所述eye-1n-hand摄像头(5)用于获取局部视觉信息，对待识别目标(7)进行识别实现精确定位； 所述计算机(I)用于对eye-1n-hand摄像头(5)和eye-to-hand摄像头(6)所采集图像进行处理，计算求解目标对象位置，将解算的运动控制指令发送给驱动器(2)，结合eye-1n-hand摄像头(5)和eye-to-hand摄像头(6)获取的图像特征进行位置精确修正； 所述电源模块(3)用于给驱动器模块提供持续稳定的电力； 所述驱动器(2)用于接收计算机(I)的控制指令，再根据控制信息驱动机械臂(4)完成要求运动。2.根据权利要求1所述的结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统，其特征在于，所述电源模块选用AC-DC电源模块或DC-DC电源模块。3.根据权利要求1所述的结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统，其特征在于，所述eye-to-hand摄像头(6)采用具有大视角的图像采集装置； 所述eye-1n-hand摄像头(5)采用具有小焦距的图像采集装置。4.权利要求1所述的结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统的控制方法，其特征在于，包括以下步骤: 步骤一，当待识别目标(7)出现在eye-to-hand摄像头(6)所覆盖的全局视野范围内，通过eye-to-hand摄像头(6)提取其图像特征与先验知识模型进行匹配，实现对目标的检测； 步骤二，通过eye-to-hand摄像头(6)的小孔模型求解目标位置信息，通过计算机(I)计算机械臂(4)的控制量，并将控制量发送至驱动器(2); 步骤三，驱动器(2)执行运动命令驱动机械臂动作，使机械臂(4)带动eye-1n-hand摄像头(5)接近目标位置； 步骤四，通过eye-1n-hand摄像头(5)对待识别目标(7)近距离测定，获取精确位置信息，并反馈给计算机(I)以调整运动执行末端姿态； 步骤五，若目标位置移动，超出eye-1n-hand摄像头(5)的视觉范围外，则重复步骤一至步骤四。5.根据权利要求1所述的结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统的控制方法，其特征在于，所述步骤一中，图像特征为相比环境具有高辨识度和信噪比，包括颜色、形状、轮廓、尺寸特征。6.根据权利要求1所述的结合eye-to-hand和eye-1n-hand结构的混合视觉伺服系统的控制方法，其特征在于，所述步骤二中，小孔模型是对摄像头进行内外参数标定，计算建模得到的从图像平面映射到三维物理空间的转换模型，可以将图像上点的坐标转换到对应实际物理空间点的坐标。
【文档编号】B25J9/16GK106041927SQ201610463755
【公开日】2016年10月26日
【申请日】2016年6月22日
【发明人】王孙安, 罗亮, 张斌权, 谢向阳, 王冰心
【申请人】西安交通大学