基于三维机器视觉的智能机械臂系统及其控制方法与流程

本发明涉及机械臂技术领域，特别是一种基于三维机器视觉的智能机械臂系统及其控制方法。

背景技术

在最初，工业中应用的机械臂大多是示教型机器人，通常在使用前需要预先设置好运动路线使机械臂去抓取一个位置、方向、规格均已知的物体，这样的机器人运动方式简单而且单一，虽然能够代替人类做一些简单的重复性工作，但是操作灵活性低，使用上受到较大限制，因为它没有像人类一样的视觉感知功能。一般的工业机器人是没有立体视觉的，工件存放位置、姿态、工件规格稍有改变机器人就束手无策。然而现有的通过非接触式获取物体形貌的工具如照相机、摄像机等只能以二维形式重现物体，不可避免的会造成所获物体第三维形貌信息的丢失，为了更加准确的获取物体的立体数据，定量地对物体的形貌进行描述，必须对物体的三维形貌进行准确的测量。随着现代科学研究的深入和工业生产水平的不断提高，人们对于赋予机械臂三维视觉能力的需求日益强烈。

技术实现要素：

为了克服现有技术的不足，本发明的目的在于提供一种基于三维机器视觉的智能机械臂系统及其控制方法，能够根据不同规格的物件自动调整抓取的位置，从而实现对不同规格的物件的智能抓取处理。

本发明解决其问题所采用的技术方案是：

基于三维机器视觉的智能机械臂系统，包括用于输送物件的传输机构、用于采集物件的三维信息的检测机构、用于抓取物件的机械臂和用于统筹管理的上位机；检测机构包括用于检测物件是否通过的激光测距模块、用于检测物件的高度信息的信息获取组件和用于采集物件的二维信息的摄像头；激光测距模块与信息获取组件相连接，信息获取组件、摄像头和机械臂分别与上位机进行数据交互；上位机根据由信息获取组件检测到的物件的高度信息和由摄像头采集到的物件的二维信息，调整机械臂的抓取位置而对不同规格的物件进行抓取处理。

进一步，信息获取组件包括用于对物件进行条纹投影的投影仪和用于对被投影有条纹的物件进行拍摄的相机，投影仪和相机分别与上位机相连接。

进一步，传输机构包括传送带，传送带沿着其运动方向设置有第一信息获取区、第二信息获取区和抓取区；激光测距模块、投影仪和相机均对准第一信息获取区设置；摄像头和机械臂分别对准第二信息获取区和抓取区设置。

进一步，传送带还设置有用于检测传输速度的编码器，编码器与机械臂相连接。

进一步，机械臂包括机械臂控制器、用于进行传动的舵机和用于对物件进行夹取的机械爪，舵机和机械爪分别与机械臂控制器相连接。

进一步，机械爪之中设置有用于检测抓取力度的压力传感器，压力传感器与机械臂控制器相连接。

进一步，上位机设置有蓝牙发送模块，机械臂控制器设置有用于与蓝牙发送模块配合通讯的蓝牙接收模块。

基于三维机器视觉的智能机械臂系统的控制方法，包括：

启动传送带，机械臂控制器根据设置于传送带之上的编码器获取传送带的传输速度；

初始化投影仪、相机、摄像头和激光测距模块；

激光测距模块检测到物件时，触发投影仪朝物件投影条纹，并触发相机对被投影有条纹的物件进行图像拍摄，上位机根据由相机拍摄到的图像获取物件的高度信息；

物件被传输到第二信息获取区时，摄像头获取物件的二维信息，上位机根据二维信息计算得到物件的长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，上位机把高度信息、长度信息、宽度信息和距离信息发送给机械臂控制器；

机械臂控制器采用几何分析法解算出机械臂中舵机的旋转角度，并且根据第一信息获取区和抓取区之间预设的距离以及传送带的传输速度，计算得到物件到达抓取区的到达时间；

机械臂控制器结合到达时间驱动机械爪对到达抓取区的物件进行抓取。

进一步，激光测距模块检测到物件时，触发投影仪朝物件投影条纹，并触发相机对被投影有条纹的物件进行图像拍摄，上位机根据由相机拍摄到的图像获取物件的高度信息，具体包括：

分别对投影仪和相机进行标定，得到投影仪和相机的内外参数矩阵；投影仪对物件分别投影每组6张的两组不同波长的条纹图，相机对应每一张被投影到物件之上的条纹图拍摄一张图片；

利用六步相移轮廓术求解被投影到物件之上的变形条纹，得到包裹相位，对包裹相位进行相位展开，得到相位展开图，结合投影仪和相机的内外参数矩阵及相位展开图重构三维立体点云；

对三维立体点云进行滤波，保留物件点云数据，并根据物件点云数据计算出物件的高度。

进一步，机械臂控制器结合到达时间驱动机械爪对到达抓取区的物件进行抓取，具体包括：

当达到到达时间时，机械臂控制器根据旋转角度驱动舵机转动，使得机械爪对准物件；

机械爪根据长度信息和宽度信息张开与物件匹配的角度并对物件进行夹持，设置于机械爪的压力传感器根据检测到的压力值调整机械爪对物件的抓取力度；

当机械爪抓紧物件时，机械臂将物件抓离传送带并放置到指定的位置；

机械臂复位，等待下一次抓取处理。

本发明的有益效果是：

基于三维机器视觉的智能机械臂系统，物件在传输机构的输送作用下依次被输送到检测机构所处的区域中和机械臂所处的区域中，当物件被传输到检测机构所处的区域中时，激光测距模块能够对物件进行检测，从而能够准确判断物件是否进入到了检测机构所处的区域中，从而能够准确对物件进行后续的处理；当物件被检测到进入到检测机构所处的区域中，信息获取组件和摄像头能够分别采集物件的高度信息和二维信息，其中，物件的二维信息包括长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，因此，在信息获取组件和摄像头的共同作用下，物件的三维信息能够被准确获取，所以，上位机能够根据该三维信息而区分不同规格尺寸的物件，从而能够通过调整机械臂的抓取位置而对不同规格的物件进行智能抓取处理；

基于三维机器视觉的智能机械臂系统的控制方法，首先，利用激光测距模块对物件进行检测，当检测到物件后，激光测距模块分别触发投影仪、相机和摄像头，使得投影仪、相机和摄像头能够共同作用采集物件的包含有高度信息、长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息的三维信息，接着，通过计算获得物件从第一信息获取区传输到抓取区所需要的到达时间，最后，机械臂控制器根据三维信息所对应的不同规格尺寸的物件，并结合物件的到达时间，自动调整机械臂的抓取位置，从而能够实现对不同规格的物件的智能抓取处理。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明的智能机械臂系统的原理图；

图2是本发明的控制方法的流程图；

图3是采用几何分析法解算舵机的旋转角度的示意图。

具体实施方式

参照图1，本发明的一个实施例中，基于三维机器视觉的智能机械臂系统，包括用于输送物件的传输机构1、用于采集物件的三维信息的检测机构2、用于抓取物件的机械臂3和用于统筹管理的上位机4；检测机构2包括用于检测物件是否通过的激光测距模块21、用于检测物件的高度信息的信息获取组件和用于采集物件的二维信息的摄像头22；激光测距模块21与信息获取组件相连接，信息获取组件、摄像头22和机械臂3分别与上位机4进行数据交互；上位机4根据由信息获取组件检测到的物件的高度信息和由摄像头22采集到的物件的二维信息，调整机械臂3的抓取位置而对不同规格的物件进行抓取处理。具体地，物件在传输机构1的输送作用下依次被输送到检测机构2所处的区域中和机械臂3所处的区域中，当物件被传输到检测机构2所处的区域中时，激光测距模块21能够对物件进行检测，从而能够准确判断物件是否进入到了检测机构2所处的区域中，从而能够准确对物件进行后续的处理；当物件被检测到进入到检测机构2所处的区域中，信息获取组件和摄像头22能够分别采集物件的高度信息和二维信息，其中，物件的二维信息包括长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，因此，在信息获取组件和摄像头22的共同作用下，物件的三维信息能够被准确获取，所以，上位机4能够根据该三维信息而区分不同规格尺寸的物件，从而能够通过调整机械臂3的抓取位置而对不同规格的物件进行智能抓取处理。

其中，参照图1，信息获取组件包括用于对物件进行条纹投影的投影仪23和用于对被投影有条纹的物件进行拍摄的相机24，投影仪23和相机24分别与上位机4相连接。具体地，本实施例中的上位机4为具有数据处理能力的设备或装置，例如计算机、数据服务器等。当相机24把拍摄到的被投影有条纹的物件的图片发送给上位机4时，上位机4采用基于波长选择的多条纹投影相位展开技术获取物件的高度信息，即，当上位机4接收到多张投影于物件之上的不同波长的条纹图时，上位机4利用相移轮廓术求解被投影到物件之上的变形条纹，得到包裹相位，然后对包裹相位进行相位展开，得到相位展开图，接着结合投影仪23和相机24的内外参数矩阵及相位展开图重构三维立体点云，最后对三维立体点云进行滤波，保留物件点云数据，并根据物件点云数据计算出物件的高度。

其中，参照图1，传输机构1包括传送带11，传送带11沿着其运动方向设置有第一信息获取区、第二信息获取区和抓取区；激光测距模块21、投影仪23和相机24均对准第一信息获取区设置；摄像头22和机械臂3分别对准第二信息获取区和抓取区设置。具体地，激光测距模块21主要由vl53l0x模块构成，在本实施例中，选取在2mm到200mm的距离范围作为激光测距模块21的检测范围，当物件经过激光测距模块21并处于上述检测范围之中时，激光测距模块21会触发一个脉冲信号并分别发送给投影仪23和相机24，从而启动投影仪23和相机24分别对物件进行投影及拍照，从而为上位机4获取物件的高度信息而做好前期的准备。

其中，参照图1，传送带11还设置有用于检测传输速度的编码器15，编码器15与机械臂3相连接。具体地，由于物件处于传送带11之上并随着传送带11进行移动，并且第一信息获取区、第二信息获取区和抓取区之间间隔有一定的距离，因此，若需要机械臂3准确抓取物件，则需要结合物件从第一信息获取区传输到抓取区的时间，使得机械臂3能够在准确的时间点对物件进行抓取。为了能够准确获取物件从第一信息获取区传输到抓取区的时间，本实施例中，在传送带11之上设置了用于检测传输速度的编码器15，由于第一信息获取区和抓取区之间的距离固定，因此根据第一信息获取区和抓取区之间的距离及传送带11的传输速度，即可准确获取物件从第一信息获取区传输到抓取区的时间。

其中，参照图1，机械臂3包括机械臂控制器31、用于进行传动的舵机32和用于对物件进行夹取的机械爪33，舵机32和机械爪33分别与机械臂控制器31相连接；机械爪33之中设置有用于检测抓取力度的压力传感器34，压力传感器34与机械臂控制器31相连接。具体地，本实施例中，机械臂3设置有3个连杆，所以，机械臂3设置有3个舵机32。而机械臂控制器31则包括有单片机，并且该单片机分别和激光测距模块21、编码器15、舵机32、机械爪33及压力传感器34相连接，其中，舵机32作为机械臂3的关节，压力传感器34主要由型号为rfp602的电阻式薄膜压力传感器构成。当单片机接收到由上位机4传输过来的关于物件的高度信息、长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息后，单片机驱动机械臂3根据距离信息调整舵机32需要转动的角度，并控制机械爪33到达抓取区的上方，同时结合物件从第一信息获取区传输到抓取区的时间，当物件到达目标位置后，机械臂3对物件进行抓取，并且通过压力传感器34控制机械爪33的抓紧程度，把物件从传送带11之上抓起并于指定位置放下物件，最后机械臂3复位到初始位置等待下一次抓取处理。

此外，参照图1，上位机4设置有蓝牙发送模块41，机械臂控制器31设置有用于与蓝牙发送模块41配合通讯的蓝牙接收模块35，上位机4和机械臂控制器31通过蓝牙传输的方式进行数据交互。

参照图2－图3，本发明的另一个实施例中，基于三维机器视觉的智能机械臂系统的控制方法，包括以下步骤：

s100、启动传送带11，机械臂控制器31根据设置于传送带11之上的编码器15获取传送带11的传输速度；

s200、初始化投影仪23、相机24、摄像头22和激光测距模块21；

s300、激光测距模块21检测到物件时，触发投影仪23朝物件投影条纹，并触发相机24对被投影有条纹的物件进行图像拍摄，上位机4根据由相机24拍摄到的图像获取物件的高度信息；

s400、物件被传输到第二信息获取区时，摄像头22获取物件的二维信息，上位机4根据二维信息计算得到物件的长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，上位机4把高度信息、长度信息、宽度信息和距离信息发送给机械臂控制器31；

s500、机械臂控制器31采用几何分析法解算出机械臂3中舵机32的旋转角度，并且根据第一信息获取区和抓取区之间预设的距离以及传送带11的传输速度，计算得到物件到达抓取区的到达时间；

s600、机械臂控制器31结合到达时间驱动机械爪33对到达抓取区的物件进行抓取。

具体地，首先利用激光测距模块21对物件进行检测，当检测到物件后，激光测距模块21分别触发投影仪23、相机24和摄像头22，使得投影仪23、相机24和摄像头22能够共同作用采集物件的包含有高度信息、长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息的三维信息，接着，通过计算获得物件从第一信息获取区传输到抓取区所需要的到达时间，最后，机械臂控制器31根据三维信息所对应的不同规格尺寸的物件，并结合物件的到达时间，自动调整机械臂3的抓取位置，从而能够实现对不同规格的物件的智能抓取处理。

具体地，本实施例中，机械臂3设置有3个连杆，所以，机械臂3设置有3个舵机32，即机械臂3包括有3个中间自由度。在步骤s400中，上位机4根据二维信息并通过opencv计算得到物件的长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息。而在步骤s500中，参照图3，机械臂控制器31采用几何分析法，并通过余弦定理分别算出机械臂3中3个舵机32的旋转角度。在图3中，l1、l2和l3分别是机械臂3的3个连杆，其中l1的长度等于l2的长度，图3中的关节角度∠β＝2∠a，因此可知θ2＝π-2a，∠n＝4a-π，通过余弦定理进行几何分析可得如下公式：

把三角形△pqn的三个边长代入上式中可得以下两式：

将上述两式合并并化简，可得以下四个公式：

d＝2l1sin(a)

s＝sign(α-π/2)

其中，s为一个系数，取值为1和－1；r为机械臂坐标原点和机械臂终端的连线长度，通过以上四个公式可得到以下角度公式：

其中，上述角度公式的输入量为机械臂坐标原点和机械臂终端的连线长度r及该连线与水平面的夹角α，θ1、θ2、θ3即为机械臂3的每一个连杆所需转动的角度。

本实施例中，在步骤s300中，激光测距模块21检测到物件时，触发投影仪23朝物件投影条纹，并触发相机24对被投影有条纹的物件进行图像拍摄，上位机4根据由相机24拍摄到的图像获取物件的高度信息，具体包括以下步骤：

s301、分别对投影仪23和相机24进行标定，得到投影仪23和相机24的内外参数矩阵；

s302、投影仪23对物件分别投影每组6张的两组不同波长的条纹图，相机24对应每一张被投影到物件之上的条纹图拍摄一张图片；

s303、利用六步相移轮廓术求解被投影到物件之上的变形条纹，得到包裹相位，对包裹相位进行相位展开，得到相位展开图，结合投影仪23和相机24的内外参数矩阵及相位展开图重构三维立体点云；

s304、对三维立体点云进行滤波，保留物件点云数据，并根据物件点云数据计算出物件的高度。

具体地，步骤s303中采用了六步相移轮廓术来求解被投影到物件之上的变形条纹，从而得到包裹相位。本步骤中的六步相移轮廓术，和现有常用的三步相位测量轮廓术或三步相位测量轮廓术相类似，由于步骤s302中投影仪23对物件分别投影每组6张的两组不同波长的条纹图，并且相机24对应每一张被投影到物件之上的条纹图拍摄一张图片，因此本实施例采用六步相移轮廓术来求解变形条纹，从而能够更准确获取物件的高度信息。

此外，步骤s600中，机械臂控制器31结合到达时间驱动机械爪33对到达抓取区的物件进行抓取，具体包括以下步骤：

s601、当达到到达时间时，机械臂控制器31根据旋转角度驱动舵机32转动，使得机械爪33对准物件；

s602、机械爪33根据长度信息和宽度信息张开与物件匹配的角度并对物件进行夹持，设置于机械爪33的压力传感器34根据检测到的压力值调整机械爪33对物件的抓取力度；

s603、当机械爪33抓紧物件时，机械臂3将物件抓离传送带11并放置到指定的位置；

s604、机械臂3复位，等待下一次抓取处理。

具体地，步骤s601中机械臂控制器31根据旋转角度驱动舵机32转动，机械臂控制器31采用pwm脉宽型调节舵机32的旋转角度，周期为20ms，占空比为0.5ms－2.5ms的脉宽电平对应舵机32于0°到270°的旋转角度范围。并且，舵机32在6.6v的工作电压时，堵转扭矩能达到20kg·cm，而当工作电压为7.4v时，舵机32的旋转速度为0.16sec/60°，具有控制精度高、线性度好、响应速度快的特点，因此能够满足机械臂宽角度的控制和快速抓取的需求，同时能够抓取更重的物件。

除了上述的实施方式之外，本发明的智能机械臂系统还可以具有不同的抓取方式：分类抓取和不分类抓取。这两种抓取方式能够根据上位机4的控制指令而进行调节。当用户在上位机4之中进行参数设置而设定机械臂3的抓取方式后，机械臂3将会根据由上位机4发送过来的控制指令而采用不同的抓取方式。例如，当上位机4发送控制指令0时，机械臂3不区分物件的形状，仅对物件进行抓取；当上位机4发送控制指令1时，机械臂3区分物件的形状，对物件进行分类抓取，如区分圆形物件和方形物件等。

当需要进行不分类抓取时，上位机4只需获取物件的高度信息和宽度信息，此时，上位机4把该高度信息和宽度信息发送给机械臂控制器31，而机械臂控制器31则根据宽度信息控制机械爪33的张度，从而对物件进行抓取，并且将物件夹取到同一位置进行放置。

当需要进行分类抓取时，用户首先在上位机4之上设置物件的参数，如长度信息、宽度信息和高度信息；接着，上位机4结合摄像头22、投影仪23和相机24分别获取物件的长度信息、宽度信息和高度信息，并且上位机4通过运用opencv对拍摄到的图像进行处理，识别出物件的二维形状，再向机械臂控制器31发送图像类别命令和分类放置位置命令，使得机械臂控制器31控制机械臂3将物件分别抓取到相应的位置，如将圆形物件和方形物件分类抓取，并且把圆形物件和方形物件分别放置于不同的位置。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。