一种基于结构光3D传感器的机器人定位系统和方法与流程

本发明属于工业自动化技术领域，涉及一种基于结构光的3d视觉识别的机器人定位系统和方法。

背景技术：

随着自动化技术的发现，越来越多的流水线引入了各类自动化操作和判断技术，从而减少人工投入、保障产品质量。作为流水线自动化的基础，对工件的识别是自动化流程的起始一步，也是颇具难度的步骤。3d视觉识别技术，为该步骤的工业化应用奠定了基础。3d视觉识别技术的基本原理是，通过采集工件的图像，并通过一定的算法进行处理，获得工件轮廓、外貌、纹理、形态等物理信息，并将这些物理信息数字化、模型化，从而获得计算机可以识别和处理的数字信号，使得诸如机械手等设备能够根据这些数字信号的处理结果对工件进行相应的操作，从而达到自动化生产的目的。

线结构光视觉传感器主要由线结构光投射器(线型激光器)和摄像机组成，结构简单、体积小、重量轻、成本较低，而且校准方便，具有较高的测量精度，因此在工业视觉测量各领域有着广泛的应用。尤其是基于工业机器人的柔性测量系统中，出于运动和空间等方面的考虑，相比较立体(双目或多目)视觉传感器而言，线结构光视觉传感器更显示出突出的优势。

目前应用于生产领域的工业机器人，其控制模式大多数还是采用传统的人工示教方法记录机器人工作过程的操作点位置，再由机器人按照制定的轨迹运动。当工件因尺寸误差、定位误差而偏离示教位置，或工作过程中工件位置发生偏移时，机器人将无法自动进行调整。对于散乱无序工件的识别和抓取需要借助模具的改进和人工的干预，造成人员的浪费和生产效率的降低。

技术实现要素：

本发明的目的是提供一种基于结构光3d传感器的机器人定位系统和方法，通过前置3d视觉系统实现不同截面形状、不同形状的轨迹跟踪，有效提高机器人的灵活性、自适应性和自动化、智能化水平提，将机器人由单纯的执行机构升级为智能化的生产工具。

本发明的技术方案是：基于结构光3d传感器的机器人定位系统，由成像模块、光学模块、激光器、arm模块、fpga模块和通信模块组成。成像模块为设备的关键部件，负责扫描区域内的图像采集。光学模块为相应的光学透镜、滤光片和偏振片，通过光学透镜改变激光器和成像模块的角度。激光器为主动光源模块，arm模块为数据处理器，对采集的光条信息数据进行处理，构建工件的轮廓信息。fpga模块负责各个模块之间的任务调节和资源调度，通信模块为程序处理模块和外部执行器件的处理单元，包含各种常见主流通讯协仪。成像模块、光学模块、激光器、arm模块、fpga模块和通信模块通信连通。

系统根据三角测量原理，通过成像模块拍摄由激光器打在被测物体上的光条，生成被测物体的三维信息。

结构光3d传感器的数学模型为：结构光平面与相机光轴夹角为角α，取世界坐标系ow-xwywzw的原点ow位于相机光轴与结构光平面的交点，xw轴和yw轴分别与相机坐标系xc轴和yc轴平行，zw与相机坐标系zc重合但方向相反；ow与相机坐标原点oc的距离为l；则世界坐标系与相机坐标系有如下关系：

取a点的像为a′，在世界坐标系中，视线oa′的方程为：

式中：xwywzw为世界坐标系的某一点，xcyczc为世界坐标系点到相机坐标系的映射，f为镜头焦距，l为世界坐标第原点与相机坐标系原点的距离；在世界坐标系中，结构光平面为：

图像中任意一个像素在两个坐标系下的坐标采用齐次坐标和矩阵形式表示，有如下关系：

式中：(u,v)是像素点在数字图像坐标系中以像素为单位的坐标；(u0,v0)为像素点在像平面二维坐标系的坐标点，(sx，sy)为像素点在x轴和y轴方向上的物理尺寸；

逆关系为：

得到像素点一世界坐标点之间的对应关系为：

本发明利用基于结构光3d传感器的机器人定位系统的定位方法，机器人配合3d传感器完成，步骤如下：

⑴激光器在工件上扫描，通过成像模块和光学模块采集工件光条数据；

⑵计算光条中心建立点云数据；

⑶所述arm模块根据点云数据重建工件的三维轮廓数据；

⑷提取相关信息；

⑸根据工艺内容，对提取的相关三维数据进行相应分析，

⑹根据分析结果通知机器人执行相应的操作，控制机器人执行操作。

步骤⑷提取的相关信息包括：工件重心、寻找边缘、平整度检测和尺寸测量。

本发明由机器人与3d传感器构成的结构光定位系统，通过系统前置3d视觉系统可以实现不同截面形状、不同形状的轨迹跟踪，有效的提高了机器人的灵活性、自适应性和自动化、智能化水平，进一步提高了机器人对工作环境的适应能力，将机器人由单纯的执行机构升级为智能化的生产工具。

附图说明

图1为本发明基于结构光3d传感器的机器人定位方法的流程示意图；

图2为本发明基于结构光3d传感器的机器人定位方法的原理图；

图3为3d传感器在输送带上分拣产品及扫码示意图；

其中：1—定位系统、2—激光器、3—发射器透镜、4—输送带、5—接收器、6—感光元件、7—分拣输送带、8—扫码输送带、9—产品、10—3d传感器。

具体实施方式

下面结合实施例和附图对本发明进行详细说明。本发明保护范围不限于实施例，本领域技术人员在权利要求限定的范围内做出任何改动也属于本发明保护的范围。

本发明基于结构光3d传感器的机器人定位系统，由成像模块、光学模块、激光器、arm模块、fpga模块和通信模块组成。成像模块为设备的关键部件，负责扫描区域内的图像采集。光学模块为相应的光学透镜、滤光片和偏振片，通过光学透镜改变激光器和成像模块的角度。激光器为主动光源模块，arm模块为数据处理器，对采集的光条信息数据进行处理，构建工件的轮廓信息。fpga模块负责各个模块之间的任务调节和资源调度，通信模块为程序处理模块和外部执行器件的处理单元，包含各种常见主流通讯协仪。成像模块、光学模块、激光器、arm模块、fpga模块和通信模块通信连通。

系统根据三角测量原理，通过成像模块拍摄由激光器打在被测物体上的光条，生成被测物体的三维信息。结构光3d传感器的数学模型为：结构光平面与相机光轴夹角为角α，取世界坐标系ow-xwywzw的原点ow位于相机光轴与结构光平面的交点，xw轴和yw轴分别与相机坐标系xc轴和yc轴平行，zw与相机坐标系zc重合但方向相反；ow与相机坐标原点oc的距离为l；。则世界坐标系与相机坐标系有如下关系：

a点的像为a′，在世界坐标系中，视线oa′的方程为：

式中：xwywzw为世界坐标系的某一点，xcyczc为世界坐标系点到相机坐标系的映射，f为镜头焦距，l为世界坐标第原点与相机坐标系原点的距离；在世界坐标系中，结构光平面为：

图像中任意一个像素在两个坐标系下的坐标采用齐次坐标和矩阵形式表示，有如下关系：

式中：(u,v)是像素点在数字图像坐标系中以像素为单位的坐标；(u0,v0)为像素点在像平面二维坐标系的坐标点，(sx，sy)为像素点在x轴和y轴方向上的物理尺寸；

逆关系为：

得到像素点一世界坐标点之间的对应关系为：

基于结构光的3d传感器机器人的定位原理如图2所示，包括定位器1，定位器设有激光器2、发射器透镜3、接收器透镜5和感光元件6，激光器发出的光，经发射器透镜传到输送带4的物体上，再经反射透镜反射到感光元件，转化成电信号，通过系统各模块的运行，形成三维信息数据，控制机器人执行操作。

如图3所示，基于结构光3d传感器的机器人定位系统用于分拣工位分拣产品9，机器人配合3d传感器10完成，由放置在分拣输送带7上端的3d传感器对产品进行识别和分类，由3d传感器10实时获取生产线上的点去数据建立三维模型，由arm处理器判断是否为正品，如为正品，通知机器人按照约定角度和位置进行抓取并放置到扫码工位的扫码输送带8，在扫码工位上端的3d传感器10进行顶面扫描或六面扫描，通过比对相应信息，交由机器人执行相关操作。

本发明利用基于结构光3d传感器的机器人定位系统的定位过程：如图1所示，定位步骤如下：

⑴激光器在工件上扫描，通过成像模块和光学模块采集工件光条数据；

⑵计算光条中心建立点云数据；

⑶arm模块根据点云数据重建工件的三维轮廓数据；

⑷提取相关信息；提取的相关信息包括：工件重心、寻找边缘、平整度检测和尺寸测量；

⑸根据工艺内容，对提取的相关三维数据进行相应分析；

⑷根据分析结果通知机器人执行相应的操作，控制机器人执行操作。