本发明属于计算机视觉技术领域，具体来说，涉及一种基于自动形状拟合的立体视觉定位机械臂抓取系统及方法。
背景技术：
机械臂是一种借助传感器感知环境，并利用环境信息指导自身运动进而完成某种工作任务的机械。其中，从复杂环境中感知信息是这一系列动作的达成的基础。伴随着硬件成本的降低和计算机性能的提升，以摄像机为代表的视觉传感器能够给机械臂的运动提供丰富全面的实时信息，成为常用的感知器件。而机器视觉作为人工智能的一个分支，能够通过数字技术对摄像机采集到的图像进行处理，将其中对机械臂运动有指导意义的信息提取出来并用数学符号进行描述。
双目立体视觉是一种机器视觉形式，它利用理想平行双目视觉成像模型的视差原理，根据从两个不同位置获取的同一时刻同一场景的两幅二维图像，通过计算两幅图像对应点的位置偏差得到物体的三维空间位置信息。利用目标物体表面形心作为对应特征点的双目立体视觉定位方法具有以下不足：
(1)提取的物体表面轮廓边缘易受光照影响发生变化导致形心定位不准，进而影响重投影计算得到的空间位置坐标精度；
(2)对不同形状物体定位适应性差，需要针对不同形状的目标物体反复调整参数。
hu矩是一种高度浓缩的图像统计特征，具有平移、旋转和缩放不变性，又称为hu不变矩。hu矩最初由ming-kueihu在1962年提出，作为一种典型的图像特征被应用于数字图像处理技术中。
技术实现要素：
针对相关技术中的上述技术问题，本发明提出一种基于自动形状拟合的立体视觉定位机械臂抓取系统及方法，通过hsv自动阈值分割算法和基于hu矩的形状拟合算法改进了利用目标物体表面形心作为特征点的双目立体视觉定位方法，具有在不同光照条件下测量鲁棒性高、自动阈值化参数寻优、构造简单、成本低的特点。
为实现上述技术目的，本发明的技术方案如下：
一种基于自动形状拟合的立体视觉定位机械臂抓取系统，包括：双目图像采集模块、上位机图像处理模块和机械臂运动模块；
所述双目图像采集模块用于实时采集含有目标物体的图像，并将所述含有目标物体的图像传输至所述上位机图像处理模块；
所述上位机图像处理模块用于对所述含有目标物体的图像进行图像处理，所述上位机图像处理模块进一步包括数字图像处理模块和hsv阈值化参数调节模块；
所述hsv阈值化参数调节模块用于设定hsv阈值化参数，所述hsv阈值化参数包括初始上下限、寻优步长和最优阈值查找范围；
所述数字图像处理模块用于对所述含有目标物体的图像进行处理，包括图像预处理单元、hsv自动阈值分割单元、形态学滤波单元、基于hu矩的形状拟合单元、几何图形形心计算单元、以及双目立体视觉重投影单元；
所述基于hu矩的形状拟合单元用于还原所述目标物体的实际形状，采用多个hu矩作为几何形状的特征，形成多种几何形状模板；将所述目标物体的实际形状与所述多种几何形状模板进行图像匹配，计算所述目标物体的实际形状与所述多种几何形状模板的hu矩的相似度，使用hu矩特征最为相似的几何形状模板对所述目标物体的实际形状进行拟合；
所述机械臂运动模块用于接收所述数字图像处理模块计算得出的所述目标物体的空间位置坐标，实现机械臂的抓取动作。
所述双目图像采集模块进一步包括双目摄像机和uvc通讯协议；
所述双目摄像机采用支持uvc通讯协议的双目摄像机，以30hz的频率采集含有目标物体的图像，并将所述含有目标物体的图像以yuv颜色空间格式暂存在所述双目摄像机中；
所述uvc通讯协议用于将所述含有目标物体的图像通过所述uvc通讯协议实时传输至所述上位机图像处理模块。
所述机械臂运动模块进一步包括蓝牙串口模块、舵机控制模块和机械臂执行机构；
所述蓝牙串口模块用于通过蓝牙连接实现所述数字图像处理模块与所述舵机控制模块的通讯；
所述舵机控制模块用于基于所述机械臂执行机构的运动学模型和所述上位机图像处理模块计算得到的所述目标物体的空间位置坐标，求解出机械臂的各个关节在完成抓取任务的前提下应当旋转的角度；所述机械臂的各个关节由所述舵机控制模块产生占空比可变的脉冲宽度调制波形来驱动。
所述机械臂执行机构用于根据所述舵机控制模块输出的所述机械臂的各个关节在完成抓取任务的前提下应当旋转的角度来实现机械臂的抓取动作；所述机械臂执行机构为多自由度串联机械臂执行机构，各个连杆之间均为转动副连接，各个关节的转动由所述舵机控制模块控制。
进一步地，所述图像预处理单元用于对所述双目摄像机在同一时间点采集到的两幅含有目标物体的图像进行立体匹配，使所述同一时间点采集到的两幅含有目标物体的图像的成像过程满足理想平行双目视觉成像模型；将所述含有目标物体的图像从yuv颜色空间转换到hsv颜色空间，得到对应的hsv图像；对所述hsv图像进行高斯平滑滤波。
进一步地，所述hsv自动阈值分割单元用于对所述hsv图像进行自动阈值分割，具体为：根据所述hsv阈值化参数，对所述hsv图像的阈值的初始上下限分别以给定步长进行寻优，以使得所述hsv图像的分割结果面积最大的上下限的数值为最优的阈值，使用最优的阈值对所述hsv图像进行阈值分割。
进一步地，所述双目立体视觉重投影单元用于计算得到所述目标物体的空间位置坐标，具体是：基于理想平行双目视觉成像模型的视差原理，利用所述目标物体的表面几何形心作为双目视觉立体匹配的特征点，根据立体匹配得到的所述双目摄像机在同一时间点采集到的两幅含有目标物体的图像中的特征点的位置差异，进行重投影计算，得到所述目标物体的空间位置坐标。
本发明的另一方面提供一种基于自动形状拟合的立体视觉定位机械臂抓取方法，包括以下步骤：
s1：配置hsv阈值化参数，所述hsv阈值化参数包括：初始上下限、寻优步长和最优阈值查找范围；
s2：采用双目摄像机捕获图像，得到含有目标物体的图像；
s3：对含有目标物体的图像进行图像预处理；
s4：根据所述hsv阈值化参数，进行hsv自动阈值分割，得到二值图像；
s5：采用形态学开运算方法对所述二值图像进行形态学滤波；
s6：采用基于hu矩的形状拟合算法，得到拟合后的图形；
s7：采用平面几何图形的重心计算方法计算所述拟合后的图形的形心，得到所述拟合后的图形的形心在所述二值图像中的位置坐标；
s8：双目立体视觉重投影计算，得到所述目标物体的空间位置坐标；
s9：所述机械臂根据所述目标物体的空间位置坐标完成抓取动作。
进一步地，s3中，所述图像预处理的步骤包括：
对所述双目摄像机在同一时间点采集到的两幅含有目标物体的图像进行立体匹配，使所述同一时间点采集到的两幅含有目标物体的图像的成像过程满足理想平行双目视觉成像模型；
将所述含有目标物体的图像从yuv颜色空间转换到hsv颜色空间，得到对应的hsv图像；
对所述hsv图像进行高斯平滑滤波。
进一步地，s4中，所述hsv自动阈值分割的步骤包括：
确定所述hsv自动阈值分割所需的hsv阈值，包括hsv阈值上限和hsv阈值下限，所述hsv阈值上限和hsv阈值下限进一步分别包括h值、s值和v值，即所述hsv阈值包括h值上限、s值上限、v值上限、h值下限、s值下限、v值下限；
依次对所述hsv阈值寻优，并进行阈值分割，取分割结果的图形面积最大的hsv阈值为最优的hsv阈值；
使用最优的hsv阈值对含有目标物体的hsv图像进行阈值分割，得到二值图像。
进一步地，s6中，所述基于hu矩的形状拟合算法的步骤包括：
提取经过形态学滤波的二值图像中的目标物体的最大图形轮廓，作为待拟合图形；
计算所述待拟合图形的多个hu矩特征；
计算所述待拟合图形与事先存储的多个几何形状图形模板之间的多hu矩特征向量的欧式距离；
使用最小欧氏距离对应的几何图形模板拟合所述待拟合图形，得到拟合后的图形。
进一步地，s8中，所述双目立体视觉重投影计算具体是：基于理想平行双目视觉成像模型的视差原理，利用所述目标物体的表面几何形心作为双目视觉立体匹配的特征点，根据立体匹配得到的所述双目摄像机在同一时间点采集到的两幅含有目标物体的图像中的特征点的位置差异，进行重投影计算，得到所述目标物体的空间位置坐标。
本发明的有益效果：
(1)本发明在数字图像处理模块中采用基于hu矩的形状拟合算法对目标图像的轮廓进行识别，得到最优拟合几何图形，提取目标物体的拟合几何图形形心。通过多hu矩将几何形状模板与目标物体的实际形状进行匹配，将hu矩特征相似度最高的几何形状模板作为目标物体的实际形状，并计算得到目标物体的几何形心。该算法解决了光照条件下目标物体光照不均匀下色度变化、轮廓边缘处颜色失真等缺点，提高了目标物体检测的准确性和在光照场景下的鲁棒性，在图像识别、视觉测量、安防等领域具有较高的应用价值。
(2)本发明在图像分割方面采用hsv自动阈值分割算法，通过自动hsv阈值寻优得到了目标物体在hsv空间的阈值分布，并进行二值化图像分割，使用高斯平滑滤波进行了图像降噪，得到了较好的预处理结果。该算法克服了现有图像分割技术噪声大及参数调节工作量大的缺点，具有实用性强、准确性高的优点，对图像识别、物体检测、安防等领域的工程实践具有一定的指导意义。
(3)本发明的系统功能多、扩展性好，成本较低，应用范围较广，具有跨平台的运行特性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明的基于自动形状拟合的立体视觉定位机械臂抓取系统结构示意图；
图2是根据本发明的基于自动形状拟合的立体视觉定位机械臂抓取方法的流程图；
图3是根据本发明的hsv阈值寻优的流程图；
图4是根据本发明的基于hu矩的形状拟合算法的流程图；
图5是双目摄像机在同一时间点采集到的两幅含有目标物体的图像；
图6是图像预处理的计算结果；
图7是拟合后图形的形心计算结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明的一种基于自动形状拟合的立体视觉定位机械臂抓取系统，包括：双目图像采集模块、上位机图像处理模块和机械臂运动模块；图1中实线箭头表示系统各个模块的组成和逻辑关系，虚线剪头表示系统运行时各个模块间信息的传递方向。
双目图像采集模块用于实时采集含有目标物体的图像，并将含有目标物体的图像传输至上位机图像处理模块；
双目图像采集模块进一步包括双目摄像机和uvc通讯协议；
双目摄像机采用支持uvc通讯协议的cmos双目摄像机，以30hz的频率采集含有目标物体的图像，图像的像素为320×200，并将含有目标物体的图像以yuv颜色空间格式暂存在双目摄像机中；cmos双目摄像机通过usb数据线与上位机usb3.0接口连接，实时拍摄的图像通过uvc通讯协议传输至上位机，作为上位机图像处理模块的输入；
uvc通讯协议用于将含有目标物体的图像通过所述uvc通讯协议实时传输至上位机图像处理模块。
上位机图像处理模块进一步包括数字图像处理模块和hsv阈值化参数调节模块；上位机图像处理模块中，上位机运行windows10操作系统，使用visualstudio2013集成开发环境对数字图像处理模块以及hsv阈值化参数调节模块的算法程序进行编译、链接、调试、运行。使用opencv跨平台计算机视觉库作为程序开发的基本工具。使用在windows平台上进行流媒体处理的directshow开发包从双目摄像机中捕获图像数据。
hsv阈值化参数调节模块用于设定hsv阈值化参数，hsv阈值化参数包括初始上下限、寻优步长和最优阈值查找范围。
数字图像处理模块用于对含有目标物体的图像进行处理，包括图像预处理单元、hsv自动阈值分割单元、形态学滤波单元、基于hu矩的形状拟合单元、几何图形形心计算单元、以及双目立体视觉重投影单元。
图像预处理单元用于对双目摄像机在同一时间点采集到的两幅含有目标物体的图像进行立体匹配，使同一时间点采集到的两幅含有目标物体的图像的成像过程满足理想平行双目视觉成像模型；将含有目标物体的图像从yuv颜色空间转换到hsv颜色空间，得到对应的hsv图像；对hsv图像进行高斯平滑滤波。
hsv自动阈值分割单元用于对hsv图像进行自动阈值分割，具体为：根据hsv阈值化参数，对hsv图像的阈值的初始上下限分别以给定步长进行寻优，以使得hsv图像的分割结果面积最大的上下限的数值为最优的阈值，使用最优的阈值对hsv图像进行阈值分割。
形态学滤波单元采用形态学开运算方法进行，即利用同一个模板集合对对象集合先进行腐蚀运算，再进行膨胀运算，能起到平滑物体轮廓，消除突出于周围点的部分的作用。
基于hu矩的形状拟合单元用于还原目标物体的实际形状，采用多个hu矩作为几何形状的特征，形成多种几何形状模板；将目标物体的实际形状与多种几何形状模板进行图像匹配，计算目标物体的实际形状与多种几何形状模板的hu矩的相似度，使用hu矩特征最为相似的几何形状模板对目标物体的实际形状进行拟合；最大程度还原了目标物体的实际形状，有效减少由于光线强度、阴影、遮挡等因素导致的图像中目标物实际形状变形对目标物体几何形心位置的影响。
几何图像形心计算单元使用平面几何图形的重心计算方法，计算得出拟合后的图形的形心在图像中的位置坐标。
双目立体视觉重投影单元用于计算得到目标物体的空间位置坐标，具体是：基于理想平行双目视觉的视差原理，利用目标物体的表面几何形心作为双目视觉立体匹配的特征点，根据立体匹配得到的双目摄像机在同一时间点采集到的两幅含有目标物体的图像中的特征点的位置差异，进行重投影，计算得到目标物体的空间位置坐标。
机械臂运动模块中，蓝牙串口模块使用hc-06无线透传模组，与带有蓝牙连接功能的上位机连接，模拟成一个串口设备与上位机通讯。舵机控制模块使用嵌入式开源硬件arduino平台进行设计，运行由空间坐标转换算法、机械臂运动学模型、舵机控制算法构成的机械臂控制算法，使用9v稳压开关电源供电。arduino使用低价微处理器(atmega8或atmega128)，集成了类似于java、c语言的开发环境，开发周期短，成本较低。舵机控制模块与蓝牙串口模块之间利用uart通用串行数据总线连接，通过通用异步串口通信协议进行串口通讯，接收蓝牙串口模块从上位机图像处理模块获得的目标物体的空间位置信息。舵机控制模块产生占空比可变的脉冲宽度调制波形驱动关节舵机旋转指定的角度。机械臂执行机构为多自由度串联机械臂，各个连杆之间均为转动副连接，每个关节舵机输出轴的转动由舵机控制模块控制并驱动。
系统的操作流程如下：
(1)装置通电后启动，cmos双目摄像机开始对含有目标物体的场景进行拍摄，采集到的图像如图5所示；机械臂运动模块进入抓取初始位置；
(2)人为设定hsv阈值化参数调节模块的hsv阈值化参数：初始上下限、寻优步长和最优步长查找范围；
(3)设定完成后，上位机执行数字图像处理程序，对图像进行预处理，并自动依据设定的hsv阈值化参数对所需的hsv阈值进行寻优，图像预处理计算结果如图6所示；
(4)依据得出的最优的阈值对图像进行二值化分割，得到含有目标物体的图形轮廓信息的二值图像；
(5)对二值图像进行形态学滤波，利用形态学开运算平滑目标物体的轮廓；
(6)提取二值图像中的目标物体的最大图形轮廓的多hu矩特征，将得到的值与大量几何图形模板的hu矩特征进行比较，使用多hu矩特征最为相近的几何图形模板对目标物体的图形轮廓进行拟合，拟合结果如图7所示；
(7)计算拟合后图形的形心位置，利用其作为特征点进行双目视觉重投影计算，得到目标物体相对于摄像机坐标系的空间位置坐标；
(8)舵机控制模块接收上位机通过蓝牙串口传出的目标物体的空间位置坐标，转换成相对与机械臂坐标系的目标物体的位置坐标，并进行逆向运动学求解，得出机械臂各个关节在完成目标物体抓取任务时应当转过的角度；
(9)舵机控制模块驱动舵机以指定速度和转角运动，使得机械臂执行机构运动至目标位姿，抓取目标物体并返回抓取初始位置，准备完成下一次抓取。
如图2所示，本发明的另一方面提供一种基于自动形状拟合的立体视觉定位机械臂抓取方法，包括以下步骤：
s1：配置hsv阈值化参数，hsv阈值化参数包括：初始上下限、寻优步长和最优阈值查找范围；打开cmos双目摄像机，建立蓝牙连接；
s2：采用双目摄像机捕获图像，得到含有目标物体的图像；
s3：对含有目标物体的图像进行图像预处理；
图像预处理中利用事先实验获得的双目摄像机参数对cmos双目摄像机在同一时间点采集到的左右两幅图像进行立体匹配，使得同一时间点采集到的左右两幅含有目标物体的图像的成像过程满足理想平行双目视觉成像模型；将含有目标物体的图像从yuv颜色空间转换为hsv颜色空间，得到对应的hsv图像；对hsv图像进行高斯平滑滤波，削弱图像在传输的过程中可能产生的噪声。
s4：根据hsv阈值化参数，进行hsv自动阈值分割，得到二值图像；
hsv自动阈值分割是在给定阈值初始上下限、寻优步长和最优阈值查找范围的前提下，对hsv阈值初始上下限分别以给定步长进行探索，以使得图像分割结果面积最大的上下限数值为最优的阈值。进行图像的阈值分割所需的hsv阈值包括hsv阈值上限和hsv阈值下限，阈值上限和下限进一步分别包括h值、s值和v值，即hsv阈值包括h值上限、s值上限、v值上限、h值下限、s值下限、v值下限，故hsv阈值共包含6个整数值。如图3所示，hsv自动阈值分割算法对以上6个整数值依次分别进行寻优，在针对某个值进行寻优时，将其他值固定为已经确定的最优值或指定的初始值，在该值的最优阈值查找范围内，从满足最优阈值查找范围的最小值开始，逐次增加指定的寻优步长，得到若干个尝试值，直到尝试值超出最优阈值查找范围为止。在其他值固定的前提下，使用每个尝试值进行一次阈值分割，计算分割结果的图形面积，将使得分割结果图形面积数值最大的尝试值作为最优值固定下来。在对所有6个整数值都寻优完毕后，得到了进行图像分割所需最优hsv阈值，使用最优hsv阈值对图像进行阈值分割，得到在当前条件下最优的阈值分割结果的二值图像。
s5：采用形态学开运算方法对二值图像进行形态学滤波，即利用同一个模板集合对对象集合先进行腐蚀运算，再进行膨胀运算，能起到平滑物体轮廓，消除突出于周围点的部分的作用。
s6：采用基于hu矩的形状拟合算法，得到拟合后的图形；
如图4所示，基于hu矩的形状拟合算法首先提取经过形态学滤波的二值图像中的目标物体的图形轮廓，保留轮廓面积最大的轮廓作为待拟合的图形，剔除其余面积过小的无关轮廓。计算待拟合的图形的多个hu矩特征，结果存储在一个多维向量中，作为该形状轮廓图形的多hu矩特征向量。计算该多hu矩特征向量与事先存储的大量几何形状图形模板的多hu矩特征向量之间的欧氏距离，以使得向量间欧式距离最小的几何形状图形模板作为最优拟合模板对待拟合的图形进行拟合。使用最小二乘法将几何形状图形模板的轮廓外接于待拟合的图形，得到拟合后的图形。
s7：采用平面几何图形的重心计算方法计算拟合后的图形的形心，得到拟合后的图形的形心在所述二值图像中的位置坐标；
s8：双目立体视觉重投影计算，得到目标物体的空间位置坐标；
双目立体视觉重投影计算具体是：基于理想平行双目视觉的视差原理，利用目标物体的表面几何形心作为双目视觉立体匹配的特征点，根据立体匹配得到的双目摄像机在同一时间点采集到的两幅含有目标物体的图像中的特征点的位置差异，进行重投影，计算得到目标物体的空间位置坐标。
s9：机械臂根据目标物体的空间位置坐标完成抓取动作。
将目标物体的空间位置坐标信息通过蓝牙串口模块建立的通讯串口输出至机械臂运动模块中的舵机控制模块；舵机控制模块计算得出使机械臂执行机构末端运动到目标物体所在空间坐标所需的机械臂各个关节转动的角度；舵机控制模块根据计算结果产生脉冲宽度调制波形驱动机械臂执行机构各关节舵机旋转指定的角度，完成对目标物体的抓取动作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。