基于三维视觉的自动装配系统的制作方法

本发明涉及一种利用三维视觉控制机械手自动完成零件装配的系统。

背景技术：

一台机器从众多零件变成一个完整的个体，需要经过装配的过程。在过去很长一段时间，零件的装配工作都由装配工人手动完成，随着工业自动化的飞速发展，越来越多的装配工作转为由机器完成，灭火器器头自动组装机、扁平垫圈全自动装配机等一系列专用自动装配机应运而生。这些装配机器虽然能够较好的完成既定的装配工作，但通常结构复杂且只能用于一种装配场合，当装配线调整时就需要更换设备，成本较高。为进一步提升装配设备的通用性，六自由度工业机械手由于其优异的灵活性被广泛应用在自动化装配工作中，但如何简易、高效和准确的控制机械手完成装配工作一直是亟待解决的难题。

为解决上述问题，申请日为2015年9月9日，申请号201510570360.x的专利涉及的“一种基于视觉识别的工业机器人示教装置及方法”，该方法通过大视场相机进行运动路径的粗略定位和总体规划，小视场相机对每个粗略定位点进行精确定位，从而实现生产线零件的精确抓取、加工和装配。但该方法需要两个摄像头同时工作，系统复杂，对工作环境要求较高。

申请日为2015年7月7日，申请号201510394465.4的专利涉及的“基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法”，该方法利用Camshift视觉跟踪算法和机械臂上的USB相机获取到待抓取和组装工件的精确定位信息，并建立机器人D-H坐标系从而得到多目标的准确位置，最后通过逆动力学计算得到机械臂各舵机关节运动的位移控制参数，实现机械臂对工件的抓取和装配工作。但该方法需要在每次的装配过程中对各目标位置进行重复实时获取和计算，对系统硬件要求较高；需要在上安装相机，提升了改装成本且增加了的负载。

技术实现要素：

本发明的目的在于提供一种能够根据一次人工装配示教训练对机械手的运动完成规划，使机械手能独立重复完成人工演示的装配工作的基于三维视觉的自动装配系统。

基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图像和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中,由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；

示教训练包括：

S1、对机械手坐标系和三维摄像头坐标系进行标定，计算三维摄像头坐标系到工业机械手坐标系的转换矩阵；

S2、三维摄像头对工作场景拍照，此时使工件处于原始位姿，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置；特征点A、特征点B和向量处于三维摄像头坐标系下；

S3、将工件从原始位姿调整到装配初始位姿，在装配初始位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A¹和sift特征B¹，即为装配初始姿态，以A¹点坐标作为工件的装配初始位置，特征点A¹、特征点B¹和向量处于三维摄像头坐标系下；(由于sift特征具有特征尺度不变性，所以从原始位姿到装配初始位姿即使工件发生了旋转或者光照改变，仍然能够从装配初始位姿中找到匹配的sift特征点A¹和sift特征B¹)。

S4、将工件从装配初始位姿调整到装配终止位姿，在装配终止位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A²和sift特征B²，即为装配终止姿态，以A²点坐标作为工件的装配终止位置，特征点A²、特征点B²和向量处于三维摄像头坐标系下。

S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿的工件的控制信息，将装配初始姿态和装配初始位置A¹转化为工业机械手移动工件到装配初始位姿的控制信息，将装配终止姿态和装配终止位置A²转化为工业机械手移动工件到装配终止位姿的控制信息。每个位姿包含工件的位置坐标和姿态向量。

进一步，步骤S5包括：

S51.三维摄像头坐标系下各个特征点坐标和向量坐标转化到工业机械手坐标系：

将A点和B点、A¹点和B¹点以及A²点和B²点在三维摄像头坐标系下的坐标分别乘以步骤S1中得到的转换矩阵计算出A点和B点、A¹点和B¹点、以及A²点和B²点在工业机械手坐标系下的坐标；以A'表示A点在工业机械手坐标系下的坐标，A'为在工业机械手坐标系下工件的原始位置；以B'表示B点在工业机械手坐标系下的坐标，以A¹'表示A¹点在工业机械手坐标系下的坐标，A¹'为在工业机械手坐标系下工件的装配初始位置；以B¹'表示B¹点在工业机械手坐标系下的坐标，以A²'表示A²点在工业机械手坐标系下的坐标，A²'为在工业机械手坐标系下工件的装配终止位置；以B²'表示B²点在工业机械手坐标系下的坐标；以向量表示在工业机械手坐标系下工件的原始姿态，向量表示在工业机械手坐标系下工件的装配初始姿态，向量表示在工业机械手坐标系下工件的装配终止姿态；

S52.机械手控制器根据步骤S51中的位置和姿态信息以及工业机械手的运动学逆解得到工业机械手的各个关节角度协同变化的关系：

机械手控制器根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到原始位姿时的工业机械手的各个关节角度，从而控制工业机械手夹持处于初始位姿的工件；机械手控制器根据A¹'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配初始位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配初始位姿；机械手控制器根据A²'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配终止位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配终止位姿。

进一步，当工业机械手夹持工件从原始位姿到达装配初始位姿的过程中、或从装配初始位姿到达装配终止位姿的过程中有障碍物时，在从原始位姿到达装配初始位姿或从装配初始位姿到达装配终止位姿中插入中转位姿，中转位姿的数量为N个，N为自然数，在中转位姿下计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到中转位姿下的sift特征点Pⁱ和sift特征点Qⁱ(1≤i≤N)，并构成姿态向量以特征点Pⁱ作为当前中转位置，向量作为工件的当前中转姿态；按工作时刻的先后顺序排列工件的各个中转位姿，依次将三维摄像头坐标系下的各个位姿的特征点Pⁱ(1≤j≤N)和特征点Qⁱ转换到工业机械手坐标系下，并根据工业机械手的运动学逆解得到工件到达每一个位姿时工业机械手的各个关节角度的变化关系。

本发明通过人工手拿工件，使工件从原始位姿、到装配初始位姿、再到装配终止位姿、以及必要的一个或多个中转位姿的转换，三维摄像头拍摄工件的每个姿态和该姿态所处的位置，按照工作时刻排列各个位姿，通过将工件的每个姿态和该姿态所处的位置从三维摄像头坐标系下转为在机械手坐标系下的位姿和位置，将各位姿通过逆解算法得到成工业机械手的各关节运动控制信息。示教完成后，工业机械手按照其各关节运动控制信息运动即可，三维摄像头无需再工作。

本发明具有以下有益效果：

1.操作者通过一次手动装配演示，即完成对机械手的运动规划，人工手动完成示教装配，示教过程中机械手不动作，免去对机械手控制的繁琐的编程，降低使用门槛，减少调试时间。

2.本发明在示教过程中由人工完成工件在各个位姿的迁移，由三维摄像头获取各个位姿下的位置和姿态信息，再将位置和姿态信息转换到工业机械手坐标系下，根据工业机械手的运动学逆解得到机械手在工件处于每一个位姿时，各关节运动控制信息；示教过程无需机械手参与，自动装配过程中、由各类型的机械手匹配的逆解算法获得控制信息完成对工业机械手的自动控制，对机械手的结构无要求，适用范围广。

附图说明

图1为本发明整体结构和工作流程的示意图。

图2为工件的轮廓上提取的特征点的示意图。

图3为增加中转位姿的工作流程的示意图。

图中，1.工业机械手、2.三维摄像头、3.机械手控制器、4.机架、5.工作场景、6.工件、K1.初始位姿、K2.装配初始位姿、K3.装配终止位姿、K4.中转位姿

具体实施方法

如图1所示，基于三维视觉的自动装配系统，包括机架4，固定安装在机架4上的工业机械手1，机械手控制器3和三维摄像头2；三维摄像头2获取工业机械手1当前工作时刻的二维图像和深度信息，工业机械手1经示教训练后依照示教过程完成自动装配任务，示教过程中，由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；

示教训练包括：

S1、对机械手坐标系OXYZ和三维摄像头坐标系oxyz进行标定，计算三维摄像头坐标系oxyz到工业机械手坐标系OXYZ的转换矩阵；

S2、三维摄像头2对工件拍照，此时使工件处于原始位姿K1，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置，如图2所示；特征点A、特征点B和向量处于三维摄像头坐标系oxyz下；

S3、将工件从原始位姿K1调整到装配初始位姿K2，在装配初始位姿K2下再次计算sift特征，并与原始位姿K1的sift特征A和sift特征B进行匹配，找到装配初始位姿K2下的sift特征A¹和sift特征B¹，即为装配初始姿态，以A¹点坐标作为工件的初始装配位置，特征点A¹、特征点B¹和向量处于三维摄像头坐标系oxyz下；(由于sift特征具有特征尺度不变性，所以从原始位姿K1到装配初始位姿K2即使工件发生了旋转或者光照改变，仍然能够从装配初始位姿K2中找到匹配的sift特征点A¹和sift特征B¹)。

S4、将工件从装配初始位姿K2调整到装配终止位姿K3，在装配终止位姿K3下再次计算sift特征，并与原始位姿K1的sift特征A和sift特征B进行匹配，找到装配初始位姿K1下的sift特征A²和sift特征B²，即为装配终止姿态，以A²点坐标作为工件的初始装配位置，特征点A²、特征点B²和向量处于三维摄像头坐标系oxyz下。

S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿K1的工件的控制信息，将装配初始姿态和装配初始位置A¹转化为工业机械手移动工件到装配初始位姿K2的控制信息，将装配终止姿态和装配终止位置A²转化为工业机械手移动工件到装配终止位姿K3的控制信息。

步骤S5包括：

S51.三维摄像头坐标系oxyz下各个特征点坐标和向量坐标转化到工业机械手坐标系OXYZ：

将A点和B点、A¹点和B¹点以及A²点和B²点在三维摄像头坐标系oxyz下的坐标分别乘以步骤S1中得到的转换矩阵计算出A点和B点、A¹点和B¹点、以及A²点和B²点在工业机械手坐标系OXYZ下的坐标；以A'表示A点在工业机械手坐标系OXYZ下的坐标，A'为在工业机械手坐标系OXYZ下工件的原始位置；以B'表示B点在工业机械手坐标系OXYZ下的坐标，以A¹'表示A¹点在工业机械手坐标系OXYZ下的坐标，A¹'为在工业机械手坐标系OXYZ下工件的装配初始位置；以B¹'表示B¹点在工业机械手坐标系OXYZ下的坐标，以A²'表示A²点在工业机械手坐标系OXYZ下的坐标，A²'为在工业机械手坐标系OXYZ下工件的装配终止位置；以B²'表示B²点在工业机械手坐标系OXYZ下的坐标；以向量表示在工业机械手坐标系OXYZ下工件的原始姿态，向量表示在工业机械手坐标系OXYZ下工件的装配初始姿态，向量表示在工业机械手坐标系OXYZ下工件的装配终止姿态；

S52.机械手控制器3根据步骤S51中的位置和姿态信息以及工业机械手1的运动学逆解得到工业机械手1的各个关节角度协同变化的关系：

机械手控制器3根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手1的末端运动到原始位姿K1时的工业机械手1的各个关节角度，从而控制工业机械手1夹持处于初始位姿K1的工件6；机械手控制器3根据A¹'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配初始位姿K2时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配初始位姿K2；机械手控制器3根据A²'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配终止位姿K3时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配终止位姿K3。

逆解算法根据工业机械手1的型号采用相匹配的算法，如赵献丹、赵虎发表于《设计与研究》杂志的《六自由度串联机械手运动学逆解研究》中披露的采用分离变量法求解机械手逆运动学封闭解即可逆解得到工业机械手1的末端在不同位置和姿态下时，各关节角度的变化关系。逆解求得的是关节电机的绝对角度，关节电机控制器对于关节电机发出的控制信号也是绝对角度。逆解的过程是已知机械臂末端的位置和姿态，求得各关节的角度。

如图3所示，当工业机械手1夹持工件6从原始位姿K1到达装配初始位姿K2的过程中、或从装配初始位姿K2到达装配终止位姿K3的过程中有障碍物时，在从原始位姿K1到达装配初始位姿K2或从装配初始位姿K2到达装配终止位姿K3中插入中转位姿K*，中转位姿K*的数量为N个，N为自然数，在中转位姿K*下计算sift特征，并与原始位姿K1的sift特征A和sift特征B进行匹配，找到中转位姿K*下的sift特征点Pⁱ和sift特征点Qⁱ(1≤i≤N)，并构成姿态向量以特征点Pⁱ作为当前中转位置，姿态向量作为工件的当前中转姿态；按工作时刻的先后顺序排列工件的各个位姿，依次将三维摄像头坐标系下的各个位姿的特征点Pⁱ和特征点Qⁱ转换到工业机械手坐标系下，以Pⁱ'表示特征点Pⁱ在工业机械手坐标系下的坐标，以Qⁱ'表示特征点Qⁱ在工业机械手坐标系下的坐标，向量表示工业机械手坐标系下的当前中转姿态；根据工业机械手的运动学逆解得到工件6到达每一个中转位姿时工业机械手1的各个关节角度的变化关系。

当需要通过中转位姿来避开障碍物时，例如：在原始位姿K1和装配初始位姿K2之间需要插入一个中转位姿K*，即工业机械手运动过程中各个位姿按照工作时刻的排列顺序为：原始位姿K1、中转位姿K*、装配初始位姿K2、装配终止位姿K3。

工业机械手的运动过程是：1、根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手1的末端运动到原始位姿K1时的工业机械手1的各个关节角度，从而控制工业机械手1夹持处于初始位姿K1的工件6；

2、特征点P¹'的坐标表示中转位姿K*在工业机械手坐标系下的中转位置，向量表示工业机械手坐标系下的K*中转姿态；机械手控制器根据P¹'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手1的末端运动到中转位姿K*时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到中转位姿K*；

3、机械手控制器3根据A¹'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配初始位姿K2时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配初始位姿K2；

4、机械手控制器3根据A²'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配终止位姿K3时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配终止位姿K3。

本发明通过人工手拿工件6，使工件6从原始位姿K1、到装配初始位姿K2、再到装配终止位姿K3、以及必要的一个或多个中转位姿K*的转换，三维摄像头2拍摄工件6的每个姿态和该姿态所处的位置，通过将工件6的每个姿态和该姿态所处的位置从三维摄像头坐标系oxyz下转为在机械手坐标系OXYZ下的位姿和位置，将各位姿的迁移转换成工业机械手1的各关节运动控制信息。示教完成后，工业机械手1按照其各关节运动控制信息运动即可，三维摄像头2无需再工作。

本发明具有以下有益效果：

1.操作者通过一次手动装配演示，即完成对机械手的运动规划，人工手动完成示教装配，示教过程中机械手不动作，免去对机械手控制的繁琐的编程，降低使用门槛，减少调试时间。

2.本发明在示教过程中由人工完成工件在各个位姿的迁移，由三维摄像头获取各个位姿下的位置和姿态信息，再将位置和姿态信息转换到工业机械手坐标系下，根据工业机械手的运动学逆解得到机械手在工件处于每个位姿时，各关节运动控制信息；示教过程无需机械手参与，自动装配过程中、由各类型的机械手匹配的逆解算法获得控制信息完成对工业机械手的自动控制，对机械手的结构无要求，适用范围广。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。