基于双目视觉的焊接机器人快速示教装置及方法

本发明属于焊接机器人示教领域，具体涉及一种基于双目视觉的焊接机器人快速示教装置及方法。

背景技术：

1、焊接机器人因其工作效率高，响应时间短，动作迅速，焊接速度远高于手工焊接等优点被广泛应用于现代工业生产和智能制造行业。焊接机器人在工作时，需要通过示教技术获得焊缝在空间中的位置和姿态。常用的机器人示教技术可分为拖动示教、离线编程示教，示教器示教和虚拟现实示教。

2、拖动示教的实现方法是使用外力将机器人末端按照预定的轨迹进行移动，机器人自动记忆移动的轨迹，从而完成示教工作。由于机器人存在自重以及机器人各个关节之间存在阻尼，使得该示教方法无法达到较高的精度。

3、离线编程示教是利用cad/cam并基于计算图形学的机器人离线编程示教技术，通过建立机器人模型和工作环境的模型，离线计算并且规划出机器人的运动轨迹，然后对编程的结果进行机器人模型三维图形的仿真来检验编程的准确性。但该方法也存在明显的缺点，即需要对每个工件模型进行建模，并且建模的精度直接影响示教的精度。难以满足多品种、小批量、短周期的生产要求。

4、示教器指引示教通过示教手柄操控机器人，沿着需要工作的轨迹上行走并记录轨迹，从而完成示教。这种工业机器人示教编程方式对从业人员的编程水平提出了较高的要求，并且针对复杂轨迹编程存在示教点过多，编程周期长的问题。基于虚拟现实的机器人示教也属于离线编程示教。在利用高端的虚拟现实设备及接口搭建的虚拟现实环境中，用户能够对虚拟机的器人进行指挥操控，从而完成示教工作。该方法为人机交互提供了较为新颖的方式，但存在搭建虚拟现实环境的设备成本较高的问题。

技术实现思路

1、本发明的目的在于提供一种基于双目视觉的焊接机器人快速示教装置及方法，该装置及方法能够实现对焊缝空间位置的高精度获取，同时提供更加灵活快速的示教方式。

2、为了实现上述目的，本发明采用的技术方案是：一种基于双目视觉的焊接机器人快速示教装置，包括：双目相机和手持示教装置，所述双目相机安装于焊接机器人的末端法兰盘上，且其拍摄方向朝向手持示教装置，所述手持示教装置上端有带有特殊标记的aruco码用于特征识别和位姿计算，所述手持示教装置上设有微处理器、无线通信模块、电源模块和按键模块，所述按键模块包括电源开关按键、单次位姿（图像）记录按键、位姿（图像）持久化保存按键和停止记录按键。

3、进一步地，所述手持示教装置由柄身和上端盖组成，所述上端盖连接于柄身上，所述带有特殊标记的aruco码设置于上端盖上，所述微处理器、无线通信模块和电源模块安装于柄身的壳体内，所述按键模块设置于柄身侧面的壳体上。

4、进一步地，所述微处理器与无线通信模块连接，以与上位机进行通信，所述按键模块与微处理器连接，以通过按键控制手持示教装置进行相应工作，所述电源模块为手持示教装置供电。

5、进一步地，所述无线通信模块为蓝牙通信模块。

6、本发明还提供了一种利用上述装置的基于双目视觉的焊接机器人快速示教方法，包括以下步骤：

7、步骤s1：将双目相机安装在焊接机器人的末端法兰盘上，并使手持示教装置上的aruco码处于双目相机的有效视场范围内；依次对双目相机和焊接机器人进行相机标定和手眼标定；

8、步骤s2：打开手持示教装置的电源开关按键，通过双目相机检测视场中的aruco码，获取aruco码在空间中的位置和姿态，根据位置和姿态求解出aruco坐标系到双目相机的齐次变换矩阵；

9、步骤s3：在手持示教装置的电源打开之后，手持示教装置内的无线通信模块与上位机建立连接；通过单次位姿（图像）记录按键记录焊接轨迹的轨迹点，等到所有轨迹示教点记录完毕，通过按下位姿（图像）持久化按键将轨迹位姿持久化存储到上位机中；

10、步骤s4：数据处理，针对示教人员在示教过程中存在的抖动导致的数据不准确、误差大的问题，采用卡尔曼滤波进行消抖处理；

11、步骤s5：将处理后的数据转化成焊接机器人可执行的程序指令传输给焊接机器人，让焊接机器人复现焊接轨迹。

12、进一步地，所述步骤s1具体包括以下步骤：

13、步骤s1.1：利用标定板对双目相机进行标定；将标定板以不同位置和姿态放置在双目相机的有效视场范围内，拍摄标定板的图像序列，通过角点检测算法提取标定板上的角点坐标，根据标定板上的角点坐标系和实际物理世界中的坐标系的对应关系计算出双目相机的内参和外参；

14、步骤s1.2：焊接机器人眼在手上的手眼标定；将标定板固定放置在双目相机的有效视场范围内，控制焊接机器人移动，使双目相机以不同的位置和姿态观测标定板，重复拍摄多组图片，根据特征匹配和角点检测算法结合最小二乘算法求解出双目相机到焊接机器人末端的齐次变换矩阵，用于后续的坐标系位姿转换。

15、进一步地，所述双目相机的内参包括焦距和畸变系数，外参包括旋转矩阵和平移矩阵。

16、进一步地，所述步骤s2具体包括以下步骤：

17、步骤s2.1：检测标记；分析图像，以找到哪些形状可被识别为标记；首先利用自适应性阈值来分割标记，然后从阈值化的图像中提取外形轮廓，并舍弃非凸多边形及非方形的轮廓，并通过滤波来剔除过小或者过大的轮廓；

18、步骤s2.2：检测完标记之后，分析它们的内部编码来确定它们是否确实是aruco标记；首先，对图像进行透视变换，来得到规范的图像；然后，对规范的图像通过otsu阈值化分离白色和黑色的位；图像根据标记的大小和边界大小被分为不同格子，然后统计落在每个格子中的黑白像素数目来决定这是黑色还是白色的位；最终，分析这些位数来决定这个标记属于哪个特定字典；

19、步骤s2.3：对aruco码的4个角点进行角点细化操作，获得aruco四个角点在双目相机图像坐标系中的亚像素级别的坐标位置；

20、步骤s2.4：获得aruco的四个角点在双目相机图像坐标系下的亚像素级别坐标，通过计算四个角点在双目相机左右相机中的视差，结合相机的内外参数，将视差值转化为物体与相机之间的实际三维坐标，根据四个角点的三维坐标确定一个平面，再根据平面的法向量的方向角确定手持示教装置的姿态值。

21、进一步地，所述步骤s4具体包括以下步骤：

22、步骤s4.1：根据数据的特性和噪声情况设置初始状态的均值和协方差矩阵；

23、步骤s4.2：根据系统的状态转移矩阵和噪声的协方差矩阵预测下一个状态的均值和协方差矩阵；

24、步骤s4.3：根据测量值和观测矩阵，计算卡尔曼增益；然后，将预测状态的均值和协方差矩阵与卡尔曼增益和观测值进行加权融合，得到新的状态估计；

25、步骤s4.4：重复步骤s4.2~s4.3，根据新的状态估计，继续进行预测和更新，直到满足停止条件；

26、步骤s4.5：以最终的估计状态作为滤波结果。

27、与现有技术相比，本发明具有以下有益效果：本发明提供了一种基于双目视觉的焊接机器人快速示教装置及方法，该装置及方法通过人为的选择焊缝轨迹点，充分发挥人的自主性和灵活性，操作人员无需经过专业的机器人技术培训就可以轻松的操作焊接机器人完成工件的焊接等任务。相比传统的焊接机器人示教方式，省去繁琐的操作机器人示教工作，大大提高了焊接机器人工作效率。本装置结构简单，操作便捷，成本低廉，具有很强的实用性和广阔的应用前景。