一种基于视觉检测的制孔孔位离线指令生成和在线定位方法

本发明涉及智能制造，尤其涉及航空航天装配制孔领域中，一种缺少待加工工件准确理论数学模型情况下，零件制孔孔位的确定和定位方法，具体地说是一种基于视觉检测的制孔孔位离线指令生成和在线定位方法，它可用于机器人在零件上在线定位制孔任务，首先利用视觉检测单元根据已制备完成的零件确定待制孔位置信息与相对的基准特征，从而实现机器人离线加工程序的自动化生成，并据此在待制孔零件上进行孔位定位和制孔。

背景技术：

1、由于航空航天领域产品结构件数量众多、协调关系复杂等原因，其装配过程严重依赖于人工操作。手工制孔的定位需要操作人员细致的交互操作，利用划线定位等方式确定每一个零件的装配孔与导孔的定位。而对于航空航天产品批量的稳步上升，原有的制孔定位方式严重阻碍效率的提升和成本的控制。

2、随着数字化制造技术与机器人技术的快速发展，机器人自动化制孔技术，因其在制孔效率、制孔质量与适应性等方面的诸多优势，得到了越来越广泛的应用。为保障产品装配质量、缩短产品的生产制造周期，研发先进的装配技术与装备对于现代航空航天制造业的发展具有重要意义。随着数字化制造技术与机器人技术的快速发展，机器人自动化制孔技术得到了越来越广泛的应用。

3、采用机器人制孔需要精确的产品数模和孔位信息，并确定制孔的基准。由于现场大量早期生成的零件往往不是采用基于模型定义（mbd）的方法进行生产加工，缺少零件的理论数学模型，因此实现机器人制孔离线指令生成和孔位在线定位任务的工作量巨大且易出错。

4、目前机器人制孔孔位确定，主要存在如下两种解决方式：其一是基于在线示教的方式，其二是基于离线编程的方式。

5、基于在线示教的机器人制孔孔位确定方法是通过操作人员手动控制机器人，将机器人末端移动到预定的位置，并记录下该位置，从而完成运动指令的“编写”，在线制孔过程中，机器人根据指令自动重复执行这些位置上制孔的工作。这种方式最大的问题是对于大量航空航天钣金类零件来说，零件的精度较低，示教决定的位置往往并不能保证制孔边距等要求。另外对于外形是复杂曲面的航空航天类零件来说，在线示教的效率和精度较低，尤其是小批量、多品种的生产模式，大大提高了机器人的使用成本与编程耗时。

6、基于离线编程的机器人制孔孔位确定方法，则需要在精确的产品理论数学模型（mbd模型）上预先设计出定位基准和待制孔位置，其次通过离线编程软件自动识别基准和待制孔的位置，从而生成离线指令，在线制孔时，机器人检测相应的基准，并在基准的基础上偏移到制孔孔位上完成制孔。这种方式最大的问题是要有准确的mbd模型，对于早期未按照mbd设计标准的零件来说，建模的工作量非常巨大，从而限制了这个方式的使用。

7、基于以上两种机器人制孔孔位确定方法的缺陷与不足，有必要设计一种新的方式，能够在避免重新建立数字模型的前提下，快速确定制孔位置，然后在新的待制孔零件上完成相应孔位的定位制孔工作。

技术实现思路

1、本发明旨在针对在已经应用的采用人工定位制孔的零件上应用机器人制孔所面临的离线程序的孔位生成和在线控制程序的孔位定位问题，发明一种基于视觉检测的制孔孔位离线指令生成和在线定位方法，通过机器人上安装的视觉检测单元对按照工艺要求的已制备完成的工件进行孔位检测和基准特征检测，然后记录相应的孔位并输入给离线程序，最后在在线制孔时检测待制孔零件相同基准特征后按离线程序中孔位和基准的位置关系实现自动定位。

2、本发明的技术方案如下：

3、一种基于视觉检测的制孔孔位离线指令生成和在线定位方法，其特征在于：

4、采用如下步骤：

5、首先，采用该方法需要的设备装置包括机器人制孔机、视觉检测单元、控制系统与实物样件。机器人制孔机包括工业机械臂或其它机器人本体以及末端执行器；视觉检测单元包括检测孔位和基准特征的图像采集装置，包括单目或/和多目摄像头、照明装置等，视觉检测单元安装在末端执行器上；控制系统包括控制器或plc等运动控制系统和计算机；实物样件为按照工艺要求的已制备完成的工件。在设备装置使用之前，应对视觉检测单元和机器人进行标定，得到所述视觉检测单元坐标系与所述机器人坐标系的转换关系；

6、第二，人工驱动机器人制孔装备，将视觉检测单元移动到实物样件上局部孔位对应的基准特征附近，完成基准特征的图像采集，并利用特征识别算法识别基准的特征，将对应的特征和位置记录至离线程序中；

7、第三，人工驱动机器人制孔装备，依次用视觉检测单元拍摄实物样件上上一区域基准对应的待制孔孔位，完成孔位特征的图像采集，并利用特征识别算法识别待制孔孔位，将对应的位姿记录至离线程序中；注意基准和孔位之间一般是一对多的关系，即一个区域的基准对应多个制孔孔位。

8、第四，重复执行第二、第三步骤，完成实物样件所有的基准和孔位检测后，控制系统中的计算机根据所获取的待制孔相对的基准特征和孔位位姿信息，生成机器人加工信息，自动完成离线编程，并保存为相应零件的离线加工程序，可供机器人制孔系统重复使用；

9、第五，机器人制孔系统调用前述相应的离线加工程序对待加工工件进行制孔加工。

10、本发明的有益效果是：

11、本发明解决了在已经应用的采用人工定位制孔的零件上应用机器人制孔所面临的离线程序的孔位生成和在线控制程序的孔位定位问题，避免了对大量零件重新精确建模和孔位定义的过程，同样避免了因零件制造误差而无法人工示教编程的问题，从而实现一种基于视觉检测的制孔孔位离线指令生成和在线定位方法。该方案具有以下显著优点：

12、首先，传统型号的航空航天产品未采用基于模型的定义(model baseddefiniton, mbd)技术，其制造装配的依据是二维工程图，从而造成了即使有三维数模也不能保证这些数模和实际相符合，特别对于多次改型的零件，其三维数模的一致性更是无法保证。本发明的方法直接利用可挑选的已经完成的实物样件作为模板，通过视觉检测进行基准和制孔孔位的识别定位，从而不需建模即可完成离线指令生成任务。

13、第二，传统人工示教编程位姿固化，无法适应精度误差较大的钣金零件的制孔边距要求。本发明方法利用基准和制孔孔位的匹配信息，可有效解决因零件制造误差导致的短边距等精度问题。

14、第三，本发明所涉及的视觉检测单元，可同时供制孔时使用，并未增加设备的成本。

技术特征：

1.一种基于视觉检测的制孔孔位离线指令生成和在线定位方法，其特征是：首先，利用包括机器人制孔机、视觉检测单元、控制系统、实物样件在内的零部件配置一个制孔所需的系统，机器人制孔机又包括机器人本体以及末端执行器，对所述的视觉检测单元和机器人本体进行标定，得到视觉检测单元坐标系与所述机器人坐标系的对应关系；

2.根据权利要求1所述的方法，其特征是，所述的视觉检测单元包括检测待制孔孔位和基准特征的图像采集装置，图像采集装置包括单目或/和多目摄像头、照明装置；视觉检测单元安装在末端执行器上。

3.根据权利要求1所述的方法，其特征是，所述的控制系统包括控制器或plc运动控制系统和计算机。

4.根据权利要求1所述的方法，其特征是，所述的实物样件为按照工艺要求的已制备完成的工件。

5.根据权利要求1所述的方法，其特征是，所述的机器人制孔机由工业机械臂及末端执行器组成。

技术总结
一种基于视觉检测的制孔孔位离线指令生成和在线定位方法，通过机器人上安装的视觉检测单元对已经制孔零件进行孔位检测和定位特征检测，然后记录相应的孔位并输入给离线程序，最后在在线制孔时检测待制孔零件同样的特征后按离线程序中孔位和特征的位置关系自动定位。本发明解决了在已经应用的采用人工定位制孔的零件上应用机器人制孔所面临的离线程序的孔位生成和在线控制程序的孔位定位问题，避免了对数以万记的各类零件重新精确建模和孔位定义的过程，也避免了因零件误差而无法人工示教编程的问题，从而实现一种基于视觉检测的制孔孔位离线指令生成和在线定位方法。

技术研发人员：杜天宇,陈文亮,王珉,张得礼,金霞,鲍益东,齐振超
受保护的技术使用者：南京航空航天大学
技术研发日：
技术公布日：2024/1/13