一种基于机器视觉的流水线上零件定位与点云获取方法与流程

1.本发明属于电子信息技术领域，涉及一种基于机器视觉的流水线上繁杂零件定位与点云获取的方法。


背景技术：

2.目前流水线上零件的定位与点云获取都有成功的应用案例，其可行性和有效性得到了充分验证。目前，使用最广泛的方法有两种，一是基于二维视觉图像的流水线上零件的定位，二是基于三维图像的目标识别与定位。其中，基于二维图像的识别定位方法通常需要确定目标零件的形状和大小，零件种类比较少，并且零件在流水线上的摆放需要一定的规则，局限性比较大。基于三维扫描图像的目标识别与定位，会存在两个突出问题，一是因为零件反光产生点云空洞，影响点云的使用；二是背景干扰产生非常多的干扰点云，对于大量不确定形状特征的零件，很容易造成误识别、误匹配的问题，因此在现有的三维扫描应用场景中，对零件类别、零件背景都有很大限制。


技术实现要素：

3.本发明主要是解决针对任意的、不确定特征的零件，获取其基于流水线的位置并获取点云数据。
4.本发明采用的技术方案为：
5.一种基于机器视觉的流水线上零件定位与点云获取方法，当在流水线托盘上任意摆放零件后，托盘随流水线依次经过二维检测工位、三维扫描工位，最终输出该托盘上各零件的点云数据和位置坐标，整个过程包括以下几个步骤：
6.第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系。二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正。托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：
7.1)二维相机图像中标定板左上点作为二维图像坐标系原点o
2d
，沿标定板图像横边向左为二维相机图像横坐标x
2d
正方向，沿标定板图像纵边向下为二维相机图像纵坐标y
2d
正方向，垂直二维相机图像平面向下为z
2d
正方向；
8.2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点o
3d
，沿标定板点云横边向左为三维点云横坐标x
3d
正方向，沿标定板点云纵边向下为三维点云纵坐标y
3d
正方向，垂直标定板三维点云向下为z
3d
正方向；
9.3)托盘空间坐标系中以标定板左上点作为空间坐标系原点ow，沿标定板横边向左空间坐标系xw正方向，沿标定板纵边向下为空间坐标系yw正方向，垂直标定板向下为zw正方向。
10.标定完成后，记录二维相机图像坐标系与托盘空间坐标、三维扫描点云坐标系与托盘空间坐标系的转换矩阵，进而推算出二维图像坐标与三维点云坐标的关系。标定操作仅需在系统初始搭建时进行，除非硬件变动，无需重复操作。
11.第二步，承载零件的托盘运动至二维检测工位时，二维相机拍摄当前托盘图像，依次经过各图像处理方式，包含但不限于图像滤波、亮度调整、灰度处理、二值化、轮廓提取等，最终提取零件的二维轮廓信息，表现形式为轮廓各点的像素坐标。将轮廓各点像素坐标转换到二维图像坐标系o
2d-x
2dy2dz2d
下，进而依据第一步的标定结果，将轮廓各点坐标转换到托盘空间坐标系o
w-x
wywzw
下，此信息便为系统输出的零件位置信息。
12.第三步，承载零件的托盘运动至三维扫描工位时，三维相机依次从多角度对托盘及零件进行扫描，多次扫描的结果通过组合拼接、剔除明显的离群点数据、点云预处理后形成托盘及零件完整的三维点云图像。依据第二步输出的零件位置信息，将零件轮廓的空间坐标转换到三维点云坐标系下，将轮廓坐标内部的点云保留，剔除轮廓外部点云，输出各零件点云数据。
13.本发明的有益效果为：
14.本发明针对流水线上随意摆放的不同零件难以采用传统方法同时获取完整点云数据和零件位置的问题，通过在流水线托盘上定义坐标系，将二维相机图像坐标系、三维扫面图像坐标系、托盘空间坐标系结合起来，获取零件准确位置并依此分割零件准确的点云数据。输出点云数据可用于多种工程应用场景：1)输出点云中杂点数据少，可有效进行零件点云配准，提升准确定；2)可直接采用点云数据进行数据分析，分析零件特征；3)可采用点云数据和零件位置信息，设计打磨或喷涂机器人手臂移动路径，无需传统的示教方式，提高系统的智能化程度。本发明提出的方法实现方法简便、可实现性强、且便于集成于各类机器视觉相关的智能化系统。
附图说明
15.图1为一种基于机器视觉的流水线上零件定位与点云获取方法的实现流程图；
16.图2为一种基于机器视觉的流水线上零件定位与点云获取方法实现的硬件示意图；
17.图3为二维图像拍摄托盘及零件轮廓示意图；
18.图4为三维扫描分割后零件示意图。
19.图中：1二维相机、2三维扫描仪、3扫描仪拖动机构、4系统控制台、5托盘、6流水线、7任意摆放的零件。
具体实施方式
20.为使本发明解决的方法问题、采用的方法方案和达到的方法效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
21.图1为本发明实施例提供的一种基于机器视觉的流水线上零件定位与点云获取方法的实现流程图。图2为与本发明相关方法的硬件实现，图中标号分别代表：1二维相机、2三维扫描仪、3扫描仪拖动机构、4系统控制台、5托盘、6流水线、7任意摆放的零件。其中，托盘5位于流水线6上，沿着流水线6移动，任意摆放的零件7位于托盘5上；二维相机设于流水线上方，用于拍摄托盘5上零件7的图片，并上传至系统控制台4；三维扫描仪也位于流水线6上
方，通过扫描仪拖动机构3带动移动，与系统控制台4通信。
22.如图1所示，本发明实施例提供的一种基于机器视觉的流水线上零件定位与点云获取方法包括：
23.第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系。二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正。托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：
24.1)二维相机图像中标定板左上点作为二维图像坐标系原点o
2d
，沿标定板图像横边向左为二维相机图像横坐标x
2d
正方向，沿标定板图像纵边向下为二维相机图像纵坐标y
2d
正方向，垂直二维相机图像平面向下为z
2d
正方向；
25.2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点o
3d
，沿标定板点云横边向左为三维点云横坐标x
3d
正方向，沿标定板点云纵边向下为三维点云纵坐标y
3d
正方向，垂直标定板三维点云向下为z
3d
正方向；
26.3)托盘空间坐标系中以标定板左上点作为空间坐标系原点ow，沿标定板横边向左空间坐标系xw正方向，沿标定板纵边向下为空间坐标系yw正方向，垂直标定板向下为zw正方向。
27.矩形标定板放置在当前托盘上合适位置，随流水线运动至二维相机下端，二维相机随机拍摄托盘图像，并识别二维图像中的矩形标定板。依据公式计算出二维图像坐标与托盘空间坐标的rt
2d
转换关系，其中：z
wc
表示相机平面到矩形标定板平面的深度坐标，表示二维相机内参矩阵(逆阵)，p
2d
表示矩形标定板点的图像坐标，表示矩形标定板点的空间坐标(逆阵)。
28.托盘随流水线继续移动至三维扫描工位，扫描仪拖动机构带动扫描仪从多方位、多角度对当前托盘进行拍摄，获取整个托盘的完成点云数据，并从中识别出矩形标点板，依据公式计算出三维点云坐标与托盘空间坐标的rt
3d
转换关系，其中：表示三维相机参数矩阵(逆阵)，p
3d
表示矩形标定板点的三维坐标，表示矩形标定板点的空间坐标(逆阵)。
29.标定完成后，记录二维相机图像坐标系与托盘空间坐标、三维扫描点云坐标系与托盘空间坐标系的转换矩阵，进而推算出二维图像坐标与三维点云坐标的关系。标定操作仅需在系统初始搭建时进行，除非硬件变动，无需重复操作。
30.第二步，承载零件的托盘运动至二维检测工位时，二维相机拍摄当前托盘图像，经过图像处理方式，依次为图像滤波、亮度调整、灰度处理、二值化、轮廓提取，采用opencv库第三方工具库进行图像处理操作，拍摄图像与处理后图像如图3所示。最终提取零件的二维轮廓信息，表现形式为轮廓各点的像素坐标。将轮廓各点像素坐标转换到二维图像坐标系o
2d-x
2dy2dz2d
下，进而依据第一步的标定结果，将轮廓各点坐标转换到托盘空间坐标系o
w-x
wywzw
下，此信息便为系统输出的零件位置信息。
31.第三步，承载零件的托盘运动至三维扫描工位时，扫描仪拖动机构带动三维相机依次从多角度对托盘、零件进行扫描，多次扫描的结果可选择pcl点云处理工具库等进行组
合拼接、剔除明显的离群点数据、点云预处理，形成托盘及零件完整的三维点云图像。依据第二步输出的零件位置信息，将零件轮廓的空间坐标转换到三维点云坐标系下，将轮廓坐标内部的点云保留，剔除轮廓外部点云，输出各零件点云数据。图4为其中一个零件的输出结果。
32.以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。