基于增强现实的盲区零件引导装配系统及引导装配方法

本发明涉及增强现实(augmented reality，ar)装配辅助领域，尤其涉及一种盲区零件引导装配系统及引导装配方法。所述盲区零件是指装配位置处于待装配产品的盲区内，被产品或其它零件遮挡的待装配零件。

背景技术：

0、现有技术

1、增强现实技术是指将现实世界中某一区域原本并不存在的信息，基于某种媒介并经过模拟仿真后叠加到真实世界，被人类感官所感知的技术。增强现实技术实现了真实物理世界与虚拟信息世界的直观、有效融合，改善了人对物理世界的认知和理解。基于增强现实的引导装配能将虚实融合的引导信息以直观可视化的形式展示给工人，使工人易于查看与理解装配工艺内容，降低工人的认知负荷，提高装配操作效率和用户体验。在复杂系统装配(如开敞性差的飞机部件装配)中经常存在相互遮挡的组件，工人很难直观地估计组件之间的相对位置，从而增加了装配的复杂性。不可见的零件和产品内部结构导致了盲区装配的效率降低、错误率提高、工作负荷增加。

2、专利文献cn 113326761a公开了一种基于ar辅助的汽车工件装配图像识别方法及系统，包括全息影像眼镜和计算机，所述全息影像眼镜内部安装有图像采集控制模块、图像处理分析模块和图像显示模块，所述计算机内部安装有ftp服务器。通过全息影像眼镜中的图像采集控制模块扫描工件实物并将其形状、颜色等数据信息传送到全息影像眼镜中的图像处理分析模块，图像处理分析模块会在计算机的ftp服务器中搜索该工件实物，搜索到后会通过图像显示模块将该工件实物的照片、编号、安装事项等显示在全息影像眼镜中，减少使用者实际安装时的失误，提高工作效率。然而，该技术方案只能识别零件类型并可视化装配相关信息，对于盲区内零件装配，无法追踪显示被遮挡零件位姿，工人难以估计组件之间的相对位置，无法引导盲区零件的装配。

3、专利文献cn 113269095a公开了一种基于ar的汽车制造装配辅助指导方法及系统，包括ar虚实注册模块、操作者视点跟踪模块、工具位姿跟踪模块、盲装透明化显示模块。ar虚实注册模块通过匹配真实标志点和虚拟标志点位置生成虚实注册文件，操作者视点跟踪模块根据真实标志点解算虚拟场景在操作者观察点位姿，工具位姿跟踪模块通过在安装工具外露部分设置工具标志点计算工具在场景中的位姿，盲装透明化显示模块用于在进行装配操作时，根据虚实注册文件、操作者的观察点位姿、工具在场景中的位姿，确定装配零配件的位姿，同时根据电子作业指导书显示附加信息，解决了复杂零配件的装配问题，减少了装配错误。然而，该技术方案中的工具位姿跟踪模块只能基于工具外露部分设置的工具标志点跟踪，对于盲区内完全被遮挡的零件，其标志点也被完全遮挡，导致无法实现工具位姿的跟踪，无法引导此类盲区零件的装配。

4、专利文献cn 115797099a公开了一种飞机设备舱视野盲区增强现实辅助装配方法，包括基于点云配准的深度相机自定位、基于深度学习的装配对象位姿估计、基于边缘区域的装配对象位姿估计、位姿估计方法自适应切换、辅助装配引导可视化；使用自适应切换方法来融合基于深度学习的位姿估计方法以及传统图像处理的位姿估计方法，以平衡位姿估计的鲁棒性、实时性与准确性；基于位姿估计结果利用增强现实技术可视化装配过程的视野盲区，辅助工人完成装配任务，提升人工装配效率和质量。然而，该技术方案采用深度相机采集的rgbd图像追踪零件位姿，存在如下缺点：若采用单个深度相机，只能解决深度相机视野范围内的零件装配，辅助范围难以覆盖整个装配盲区；若采用多个深度相机，深度相机间需要在盲区中进行复杂的联合校准工作，难度高且工作量大；深度相机必须放在待装配产品盲区内部，而许多精密设备装配中，冗余设备不允许侵入内部结构，该解决方案应用受限。

技术实现思路

1、为了解决装配位置处于产品盲区内而被遮挡的待装配零件装配效率低、装配错误率高、工作负荷大，而现有基于ar的引导装配技术无法有效引导盲区零件装配以及应用受限的技术问题，本发明提供了一种基于增强现实的盲区零件引导装配系统及引导装配方法，相比现有的增强现实辅助系统和装配方法，本发明的优势在于能够辅助盲区内被完全遮挡的零件装配，能够提高盲区零件的装配效率，降低错误率，减轻装配工作负荷。此外，本发明不需要在每个零件上预先粘贴人工标识，也不需要在每个产品盲区内部架设和校准相机，只需预先构建装配工艺数据库模块，并对三维注册设备、力监测设备和ar显示设备进行校准即可使用。对于一种待装配产品和零件，这些预处理步骤只需一次即可重复使用，操作简单易行，不存在应用受限的情形。

2、本发明的技术方案是：

3、基于增强现实的盲区零件引导装配系统，其特殊之处在于，包括：

4、手部追踪设备，用于在待装配产品的盲区中追踪操作者的手部位姿和手部动作；

5、力监测设备，用于实时测量待装配零件施加给待装配产品的力和力矩；

6、三维注册设备，用于实时追踪ar显示设备和待装配产品在世界坐标系下的位姿；

7、装配工艺数据库模块，包括装配工艺信息、手持零件手势数据库和手势-零件位姿匹配关系；装配工艺信息包括待装配零件cad模型、待装配产品cad模型、装配指令、装配顺序和装配位置；

8、零件位姿计算模块，用于实时判断待装配零件是否与待装配产品接触：在二者未接触时，根据所述手部位姿、手部动作、手持零件手势数据库和手势-零件位姿匹配关系粗略计算待装配零件的绝对位姿；在二者接触时，根据所述力、力矩、待装配产品cad模型、手部位姿、手部动作、手持零件手势数据库和手势-零件位姿匹配关系精确计算待装配零件的绝对位姿；

9、ar装配指令生成模块，用于根据手部位姿、手部动作、待装配零件cad模型、待装配产品cad模型、装配位置、装配顺序、待装配零件实时位姿、待装配产品实时位姿和ar显示设备实时位姿，生成ar装配引导指令；

10、ar显示设备，用于显示所述ar装配引导指令。

11、进一步地，所述装配工艺数据库模块的建立方法是：

12、模拟在待装配产品盲区装配时手持零件的各种手势动作，使用手部追踪设备和三维注册设备收集手持零件手势数据和对应的零件位姿，建立手持零件手势数据库和手势-零件位姿匹配关系，结合待装配零件cad模型、待装配产品cad模型、装配指令、装配顺序和装配位置这些装配工艺信息，构建装配工艺数据库模块。

13、进一步地，用于追踪ar显示设备位姿的三维注册设备安装在ar显示设备上，用于追踪待装配产品位姿的三维注册设备安装在用于装夹待装配产品的工装夹具上；用于测量待装配产品所受力和力矩的力监测设备安装在用于装夹待装配产品的工装夹具上。

14、进一步地，零件位姿计算模块根据力监测设备测量的力和/或力矩的变化量实时判断待装配零件是否与待装配产品接触。

15、进一步地，在待装配零件与待装配产品未接触时，零件位姿计算模块粗略计算待装配零件的绝对位姿的方法是：

16、步骤1.1：将在盲区内手持零件时的手部动作与手持零件手势数据库进行手势识别匹配，得到手持零件手势；

17、步骤1.2：基于得到的手持零件手势，根据手势-零件位姿匹配关系确定手部坐标系下该待装配零件相对位姿；

18、步骤1.3：根据手部位姿对所述待装配零件相对位姿进行坐标变换，得到世界坐标系下待装配零件绝对位姿；

19、在待装配零件与待装配产品接触时，零件位姿计算模块精确计算待装配零件的绝对位姿的方法是：

20、步骤2.1：基于所述力和力矩，及其与待装配零件和待装配产品的按压力和接触点的理论力学关系，得到接触点直线方程；

21、步骤2.2：结合待装配产品位姿，求解接触点直线与待装配产品cad模型的交点，得到可能的接触点集；

22、步骤2.3：结合手部位姿、手部动作、装配位置和装配顺序从接触点集中剔除错误接触点，得到正确接触点位置；

23、步骤2.4：根据接触点位置、力方向、手部动作、手部位姿、手持零件手势数据库和手势-零件位姿匹配关系，推算待装配零件的精确位姿。

24、进一步地，所述ar装配引导指令至少包括待装配产品盲区内部结构、操作人员手部动作、需要执行的装配步骤和待装配零件的实时位姿的可视化数据。

25、本发明还提供了一种利用上述的基于增强现实的盲区零件引导装配系统对盲区零件进行引导装配的方法，其特殊之处在于，包括以下步骤：

26、步骤一：校准手部追踪设备、安装并校准三维注册设备，构建装配工艺数据库模块；

27、步骤二：操作人员佩戴ar显示设备和手部追踪设备，ar装配指令生成模块根据待装配零件cad模型、待装配产品cad模型、装配顺序和装配位置生成待装配零件拿取位置和装配位置的装配指令，并通过ar显示设备显示；

28、步骤三：操作人员依据当前装配指令手持待装配零件进入待装配产品的盲区进行装配；

29、步骤四：手部追踪设备在待装配产品盲区内追踪操作人员的手部动作和手部位姿并发送给零件位姿计算模块和ar装配指令生成模块；

30、步骤五：零件位姿计算模块粗略计算待装配零件的绝对位姿：

31、步骤六：ar装配指令生成模块根据接收到的待装配零件的绝对位姿、手部动作、手部位姿以及装配工艺信息，生成ar装配引导指令，发送给ar显示设备进行实时显示，从而引导操作人员执行装配操作，并在装配操作期间零件位姿计算模块根据力监测设备测量的力和/或力矩的变化量实时判断待装配零件是否与待装配产品接触，若未接触，则返回步骤五；若接触，则进入步骤七；

32、步骤七：零件位姿计算模块精确定位待装配零件的绝对位姿；

33、步骤八：ar装配指令生成模块根据接收到的待装配零件的绝对位姿、手部动作、手部位姿以及装配工艺信息，生成ar装配引导指令，发送给ar显示设备进行实时显示，从而引导操作人员执行装配操作，完成当前零件装配；

34、步骤九：重复步骤三-八，逐个完成所有盲区内零件的装配。

35、本发明的有益效果：

36、1.在盲区装配中，操作人员会通过触摸产品表面来了解产品的内部结构，在触觉感应的引导下定位装配位置。本发明利用了这一操作，当待装配零件位于待装配产品盲区被遮挡且与待装配产品接触后，通过测量二者接触产生的力和力矩，结合手部位姿、手势、待装配产品cad模型、装配信息，共同计算获取当前待装配零件位姿，能够在产品盲区中精确追踪待装配零件；然后，通过ar显示设备提供虚实融合的装配指令，并可视化具有正确位姿的待装配零件，辅助操作人员完成该零件装配，加快盲区内零件的装配速度，降低操作人员的工作负荷，提高装配准确度。根据用户内部试用研究结果，相比传统的增强现实辅助引导装配系统，本发明平均能够减少46％的装配时间，并提高引导装配系统的感知易用性，降低工人的感知工作负荷。

37、2.对于一种被遮挡零件，本发明的引导装配系统只需建立手持零件手势数据库和手势-零件位姿匹配关系后即可使用，不需要预先在待装配零件上粘贴任何标记。

38、3.本发明的辅助范围能够覆盖整个装配盲区，并且不需要在每个待装配产品盲区内部架设和校准相机，只需预先构建装配工艺数据库模块，并对三维注册设备、力监测设备和ar显示设备进行校准即可使用。此外，对于一种待装配产品和零件，这些预处理步骤只需一次即可重复使用。因此，本发明操作简单，易于实施，不存在应用受限的情形。

39、4.本发明对待装配零件的追踪精度与力监测设备的精度和装配按压力相关。力监测设备精度越高，零件追踪精度越高；装配按压力越大，零件追踪精度越高。