一种基于三维点云的定位抓取系统及其使用方法与流程
本发明涉及智能控制技术领域，具体涉及一种基于三维点云的定位抓取系统及其使用方法。
背景技术：
随着人工智能技术的发展，在工业自动化生产中，越来越多的使用机械手或机器人进行工件的移动和取放，对机械手和机器人的智能化控制中，抓取对象定位是至关重要的一环，现有技术中基于机器视觉定位的抓取系统，一般是通过采集待抓取物体的二维图像后进行图像特征提取分析进行目标识别与定位，这种方法算法较为复杂，运算时间较长，且这种定位方法对于待抓取物体的表面形状较为敏感，对于不同形状的待抓取物体需要运行不同算法进行特征提取，严重影响了生产效率。在工业生产中，抓取对象随意堆放且无需顺序抓取时，现有技术的视觉定位方法存在运算复杂，应用要求高的问题。
技术实现要素：
本发明为克服现有技术中存在的运算复杂、应用要求高的问题，提供了一种基于三维点云的定位抓取系统及其使用方法，能够实现对待测物体的安全定位，且提供了自动控制和人工控制两种操控模式，实现定位抓取系统的高智能化和人工控制的灵活定位抓取。
本发明提供一种基于三维点云的定位抓取系统，包括：
图像采集单元：用于捕获抓取对象表面成像图像并将所述表面成像图像传送至上位机控制单元；上位机控制单元：用于接收所述表面成像图像并生成包含定位信息的三维点云，向所述图像采集单元和抓取单元提供指令；抓取单元：用于接收所述指令，根据所述指令抓取所述抓取对象。
本发明提供一种基于三维点云的定位抓取系统，作为优选方式，图像采集单元包括激光发生器和相对激光发生器位置固定的相机，激光发生器发射激光照射在抓取对象上，相机能采集到当前位置抓取对象一定区间内完整纵向表面成像图像；图像采集单元位于抓取对象纵向边缘一侧开始并沿抓取对象横向边缘水平移动，同时图像采集单元以固定频率连续拍摄，直至完成对抓取对象完整的表面成像图像采集。确定激光发生器和相机的相对位置可以通过相机在不同拍照高度捕获的照射在标定板的激光点成像，根据几何关系
θ为当前点与成像点连线与激光线的夹角；
α为相机镜头轴线与激光线的夹角；
b为相机镜头中心到激光线的水平距离；
a为相机芯片的1/2尺寸；
f为相机的焦距；
h为拍照高度；
x为成像点到芯片边界的距离；
u为芯片边界长度；
t为成像点到图像边界的像素数；
z为图像中长度方向总像素数。
本发明提供一种基于三维点云的定位抓取系统，作为优选方式，上位机控制单元包括pc端后台程序和人机交互界面，预先存储有标定板成像图像和标定数据的后台程序用于接收并存储表面成像图像，将表面成像图像运行预先编制好的处理程序后生成三维点云并显示在人机交互界面上；人机交互界面基于labview运行，包括主界面和标定界面，主界面用于向图像采集单元发送拍照指令，同时显示操控模式、三维点云图像和三维点云当前最高点坐标，并将当前最高点坐标发送给抓取单元，标定界面用于对标定板成像图像进行标定和详细参数设置，选择不同标定板成像图像标定影响三维点云与现实坐标系的转换关系；人机交互界面基于labview开发运行，简化点云算法，提高三维点云定位的运算效率，更方便进行点云图像的重新标定和参数设置。
本发明提供一种基于三维点云的定位抓取系统，作为优选方式，详细参数设置包括图像采集单元拍摄频率、三维点云安全限位坐标范围、三维点云滤波条件；通过重新调整参数设置，本发明提供的定位抓取系统可以适用于不同形状尺寸的抓取对象，并调整点云安全范围及滤波条件，提高点云数据精确度，避免发生碰撞故障。
本发明提供一种基于三维点云的定位抓取系统，作为优选方式，抓取单元至少包括机械臂和为机械臂提供动力的驱动部件；本发明提供的定位抓取系统中，抓取单元既可以为机械臂本体，也可以是机器人，图像采集单元可以与抓取单元分类，也可以共同安装于机器人上。
本发明提供一种基于三维点云的定位抓取系统，作为优选方式，上位机控制单元与图像采集单元和抓取单元通过tcp/ip协议相互连接并完成图像和信号传输。
本发明提供一种基于三维点云的定位抓取系统使用方法，作为优选方式，定位抓取系统的使用方法包括自动控制和人工控制两种方式。两种操控模式既能保证定位抓取系统的高智能化，又能通过人工操控的方式，精确点云定位，灵活选择抓取对象。
本发明提供一种基于三维点云的定位抓取系统使用方法，作为优选方式，自动控制使用方法包括以下步骤：
s1、将图像采集单元和抓取单元设置于抓取对象纵向边缘一侧，打开上位机控制单元，调整至自动控制模式，并将上位机控制单元与图像采集单元和抓取单元连接；
s2、抓取单元向上位机控制单元发送拍照命令，上位机控制单元向图像采集单元发送拍照指令，图像采集单元开始采集抓取对象表面成像图像，并将表面成像图像发送至上位机控制单元，主界面上显示三维点云图像及当前位置最高点坐标，将最高点坐标发送给抓取单元，抓取单元移动到最高点坐标所示位置完成抓取；若不采用表面成像图像则再次发送拍照命令，图像采集单元重新采集抓取对象表面成像图像；
s3、完成一次抓取后，图像采集单元再次采集剩余抓取对象表面成像图像，重复步骤s2，直至无抓取对象可选择。
本发明提供一种基于三维点云的定位抓取系统使用方法，作为优选方式，人工控制使用方法包括以下步骤：
s1、将图像采集单元和抓取单元设置于抓取对象纵向边缘一侧，打开上位机控制单元，调整至人工控制模式，并将上位机控制单元与图像采集单元和抓取单元连接；
s2、人工在主界面上发送拍照命令，图像采集单元开始采集抓取对象表面成像图像，并将表面成像图像发送至上位机控制单元，采用数据，则表面成像图像经预先编制好的处理程序处理后，主界面上显示三维点云图像及当前位置最高点坐标；若不采用表面成像图像则再次发送拍照命令，图像采集单元重新采集抓取对象表面成像图像；
s3、打开标定界面，重现选择标定板成像图像进行标定，并重新调整详细参数设置，参数调整完成后，重新发送拍照命令，重复步骤s2；
s4、将当前最高点坐标送给抓取单元，抓取单元移动到最高点坐标所示位置完成抓取；
s5、完成一次抓取后，再次发送拍照命令，图像采集单元再次采集剩余抓取对象表面成像图像，重复步骤s2至s4，直至无抓取对象可选择。
本发明提供一种基于三维点云的定位抓取系统，作为优选方式，表面成像图像处理程序包括以下步骤：
s1、图像畸变矫正：将图像采集单元捕获的畸变标定板成像图像输入labview进行畸变矫正，生成畸变矫正关系，根据畸变矫正关系编制畸变矫正程序；畸变矫正关系如下：
其中：
m为矫正前像素点所在行数；
n为矫正前像素点所在行列数；
m矫为矫正后像素点所在行数；
n矫为矫正后像素点所在列数；
km为第m行像素的矫正系数；
kn为第n列像素的矫正系数；
s2、三维点云定位：以图像采集单元所在平面的抓取对象中心位置为现实坐标系原点，以坐标系原点指向待抓取对象为z向，以图像采集单元移动拍摄方向为x向，以坐标系原点指向图像采集单元方向为y向建立现实坐标系，表面成像图像按拍照顺序合成可获得m行n列的二维矩阵a，根据二维矩阵a中第m行n列点与现实坐标的映射关系编制三维点云定位程序；二维矩阵a中第m行n列点在现实坐标系中具有如下表示：
其中：
amn为二维矩阵a第m行n列的高度值；
x为起拍点到结束拍照点的距离；
n为待测物体成像图像数目；
m为单张图像分辨率的行数；
k为成像尺寸关系中常值系数；
成像尺寸关系为：
l＝ksh
其中：
l为实际长度；
s为成像长度所占像素点数；
k为常值系数；
h为拍摄高度；
s3、三维点云限位：根据二维矩阵a第m行n列点与现实坐标的映射关系，确定满足安全范围的点云条件并编制三维点云安全限位程序；二维矩阵a中处于安全范围内点满足如下关系：
其中：
i为外切矩形x方向投影距离；
j为外切矩形y方向投影距离；
h1为待测物体z方向最小值；
h2为待测物体z方向最大值；
amn为二维矩阵a第m行n列的高度值；
x为起拍点到结束拍照点的距离；
n为待测物体成像图像数目；
m为单张图像分辨率的行数；
k为成像尺寸关系中常值系数；
s4、三维点云滤波：在二维矩阵a基础上建立二维矩阵b，二维矩阵b第m行n列元素bmn符合过滤点条件时，bmn赋值为|h2|+|h1|；其他情况下，bmn赋值为二维矩阵a第m行n列元素amn值，并根据二维矩阵b生成原理编制滤波程序；滤波条件是指二维矩阵b第m行n列中元素bmn处于二维矩阵b边界，即m＝1或m＝m，n＝1或n＝n；或者元素bmn与周围8个元素中任意一个元素的高度差大于z轴安全范围|h2-h1|的五分之一，即
本发明提供的基于三维点云的定位抓取系统及其使用方法通过抓取对象的三维点云进行定位不受待测物体的表面形状和尺寸的影响，基于基于labview开发运行人机交互界面，提高点云算法运行效率，并通过对三维点云的限位和滤波参数灵活调整，有效了避免外界光干扰和抓取碰撞故障发生。
附图说明
图1为一种基于三维点云的定位抓取系统使用方法流程图；
图2为一种基于三维点云的定位抓取系统图像采集单元几何关系示意图：
图3为一种基于三维点云的定位抓取系统处理程序流程图；
图4为一种基于三维点云的定位抓取系统自动控制方式流程图；
图5为一种基于三维点云的定位抓取系统人工控制方式流程图；
图6为实施例中机器人抓料逻辑图。
具体实施方式
实施例1
如图1所示，本发明提供一种基于三维点云的定位抓取系统及其使用方法，包括：图像采集单元：用于捕获抓取对象表面成像图像并将表面成像图像传送至上位机控制单元；上位机控制单元：用于接收表面成像图像并生成包含定位信息的三维点云，向图像采集单元和抓取单元提供指令；抓取单元：用于接收指令，根据指令抓取抓取对象；上位机控制单元与图像采集单元和抓取单元通过tcp/ip协议相互连接并完成图像和信号传输。
如图2所示，图像采集单元包括激光发生器和相对激光发生器位置固定的相机，激光发生器发射激光照射在抓取对象上，相机能采集到当前位置抓取对象一定区间内完整纵向表面成像图像；图像采集单元位于抓取对象纵向边缘一侧开始并沿抓取对象横向边缘水平移动，同时图像采集单元以固定频率连续拍摄，直至完成对抓取对象完整的表面成像图像采集。
上位机控制单元包括pc端后台程序和人机交互界面，预先存储有标定板成像图像和标定数据的后台程序用于接收并存储表面成像图像，将表面成像图像运行预先编制好的处理程序后生成三维点云并显示在人机交互界面上；人机交互界面基于labview运行，包括主界面和标定界面，主界面用于向图像采集单元发送拍照指令，同时显示操控模式、三维点云图像和三维点云当前最高点坐标，并将当前最高点坐标发送给抓取单元，标定界面用于对标定板成像图像进行标定和详细参数设置，选择不同标定板成像图像标定影响三维点云与现实坐标系的转换关系，详细参数设置包括图像采集单元拍摄频率、三维点云安全限位坐标范围、三维点云滤波条件。
抓取单元至少包括机械臂和为机械臂提供动力的驱动部件。
如图3所示，一种基于三维点云的定位抓取系统处理程序包括以下步骤：
s1、图像畸变矫正：将图像采集单元捕获的畸变标定板成像图像输入labview进行畸变矫正，生成畸变矫正关系，根据畸变矫正关系编制畸变矫正程序；畸变矫正关系如下：
其中：
m为矫正前像素点所在行数；
n为矫正前像素点所在行列数；
m矫为矫正后像素点所在行数；
n矫为矫正后像素点所在列数；
km为第m行像素的矫正系数；
kn为第n列像素的矫正系数；
s2、三维点云定位：以图像采集单元所在平面的抓取对象中心位置为现实坐标系原点，以坐标系原点指向待抓取对象为z向，以图像采集单元移动拍摄方向为x向，以坐标系原点指向图像采集单元方向为y向建立现实坐标系，表面成像图像按拍照顺序合成可获得m行n列的二维矩阵a，根据二维矩阵a中第m行n列点与现实坐标的映射关系编制三维点云定位程序；二维矩阵a中第m行n列点在现实坐标系中具有如下表示：
其中：
amn为二维矩阵a第m行n列的高度值；
x为起拍点到结束拍照点的距离；
n为待测物体成像图像数目；
m为单张图像分辨率的行数；
k为成像尺寸关系中常值系数；
成像尺寸关系为：
l＝ksh
其中：
l为实际长度；
s为成像长度所占像素点数；
k为常值系数；
h为拍摄高度；
s3、三维点云限位：根据二维矩阵a第m行n列点与现实坐标的映射关系，确定满足安全范围的点云条件并编制三维点云安全限位程序；二维矩阵a中处于安全范围内点满足如下关系：
其中：
i为外切矩形x方向投影距离；
j为外切矩形y方向投影距离；
h1为待测物体z方向最小值；
h2为待测物体z方向最大值；
amn为二维矩阵a第m行n列的高度值；
x为起拍点到结束拍照点的距离；
n为待测物体成像图像数目；
m为单张图像分辨率的行数；
k为成像尺寸关系中常值系数；
s4、三维点云滤波：在二维矩阵a基础上建立二维矩阵b，二维矩阵b第m行n列元素bmn符合过滤点条件时，bmn赋值为|h2|+|h1|；其他情况下，bmn赋值为二维矩阵a第m行n列元素amn值，并根据二维矩阵b生成原理编制滤波程序；滤波条件是指二维矩阵b第m行n列中元素bmn处于二维矩阵b边界，即m＝1或m＝m，n＝1或n＝n；或者元素bmn与周围8个元素中任意一个元素的高度差大于z轴安全范围|h2-h1|的五分之一，即
如图4所示，自动控制使用方法包括以下步骤：
s1、将图像采集单元和抓取单元设置于抓取对象纵向边缘一侧，打开上位机控制单元，调整至自动控制模式，并将上位机控制单元与图像采集单元和抓取单元连接；
s2、抓取单元向上位机控制单元发送拍照命令，上位机控制单元向图像采集单元发送拍照指令，图像采集单元开始采集抓取对象表面成像图像，并将表面成像图像发送至上位机控制单元，采用数据主界面上显示三维点云图像及当前位置最高点坐标，将最高点坐标发送给抓取单元，抓取单元移动到最高点坐标所示位置完成抓取；若不采用表面成像图像则再次发送拍照命令，图像采集单元重新采集抓取对象表面成像图像；
s3、完成一次抓取后，图像采集单元再次采集剩余抓取对象表面成像图像，重复步骤s2，直至无抓取对象可选择。
本实施例中，抓取单元为机械手，图像采集单元与机械手分离设置，操控模式为自动控制，抓取任务为对a、b两个装有刹车盘的料框进行来回抓料，抓料逻辑如图6所示，图像采集单元采集a料框成像图像，发送给上位机控制单元并生成三维点云图像，定位并显示当前点云最高点坐标，将最高点坐标发送给机械手，机械手先移动到a料框上方基准点，然后根据定位坐标识别有件且处于安全范围，则将刹车盘从a料框抓取放置到b框；如果识别为无件或不可抓，则移动到b料框，图像采集单元采集b料框成像图像，重复上述步骤，将b料框的刹车盘送至a料框。
实施例2
本实施例与实施例1相比具有不同的操控模式，如图5所示，人工控制使用方法包括以下步骤：
s1、将图像采集单元和抓取单元设置于抓取对象纵向边缘一侧，打开上位机控制单元，调整至人工控制模式，并将上位机控制单元与图像采集单元和抓取单元连接；
s2、在主界面上发送拍照命令，图像采集单元开始采集抓取对象表面成像图像，并将表面成像图像发送至上位机控制单元，采用数据，则表面成像图像经预先编制好的处理程序处理后，主界面上显示三维点云图像及当前位置最高点坐标；若不采用表面成像图像则再次发送拍照命令，图像采集单元重新采集抓取对象表面成像图像；
s3、打开标定界面，重现选择标定板成像图像进行标定，并重新调整详细参数设置，参数调整完成后，重新发送拍照命令，重复步骤s2；
s4、将当前最高点坐标送给抓取单元，抓取单元移动到最高点坐标所示位置完成抓取；
s5、完成一次抓取后，再次发送拍照命令，图像采集单元再次采集剩余抓取对象表面成像图像，重复步骤s2至s4，直至无抓取对象可选择。
本实施例中，抓取单元为机器人，图像采集单元中的相机和激光发生器分别位于机器人双眼位置，操控模式为人工控制，抓取任务为对a、b两个装有刹车盘的料框进行来回抓料，抓料逻辑如图6所示，机器人开始位于a料框左下方边缘处，操作人员发送拍照命令后，机器人沿a料框横向边缘开始移动采集a料框成像图像，并发送至上位机控制单元，人机交互界面上显示三维点云图像，操作人员判断采用此次采集数据实时可以打开标定界面，重新设定标定方式，调整过点云数据精确度，并进行详细参数设置，根据实际看情况设置点云滤波条件及点云定位安全范围，完成详细参数设置后将当前点云最高点坐标或手动选择所需抓取对象坐标发送给机器人，机器人根据定位坐标识别有件且处于安全范围，则将刹车盘从a料框抓取放置到b框；如果识别为无件或不可抓，则走到b料框，操作人员再次发送拍照命令，机器人重复上述步骤，将b料框的刹车盘送至a料框。
以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离权利要求所限定的精神和范围的情况下，可作出的任何修改、变化或等效，都将落入本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！