一种增强现实诱导维修系统的实现设备与方法
【专利摘要】本发明公开了一种增强现实诱导维修系统的实现设备与方法，硬件包括一个3D智能眼镜与头盔和一个光学位置跟踪器，实现增强现实诱导维修系统的方法的步骤如下：步骤一:在软件系统中建立虚拟装配模型；步骤二:完成操作者所戴头盔的位置注册；步骤三:定义零部件的拆装关系层次；步骤四:通过光学位置跟踪器跟踪操作者位置，完成维修拆装情景感知；步骤五:拆装诱导信息生成；步骤六:诱导信息的叠加与显示；本发明具有诱导信息准确稳定，实现设备简单、成本低、便于携带的优点，具有较好的操作性，便于使用者上手，同时将标准操作步骤、实时的操作进度以及3D诱导信息结合于一体，实现一体化设计。
【专利说明】一种増强现实诱导维修系统的实现设备与方法
【技术领域】
:
[0001]本发明与增强现实技术、人机交互和虚拟装配维修技术相关，尤其涉及一种增强现实诱导维修系统的实现设备与方法。
【背景技术】
:
[0002]增强现实技术(Augmented Reality Technique，简称AR)是在虚拟现实技术(Virtual Reality Technique，简称VR)的基础上发展起来的，通过对真实环境中的真实物体对象的识别，利用计算机技术根据识别的结果生成相应的虚拟信息，并通过算法设计将这些虚拟的信息与真实物体所匹配叠加，从而实现对现实的“增强”。
[0003]拆装(拆卸和装配)是机械产品进行维修的重要步骤，它是恢复和提升机械装备整机性能和稳定性的重要保障手段，因此合理的拆装工艺和操作是对维修效率和质量的重要保证。
[0004]传统的复杂装配体的拆装与维修往往要求操作者有着丰富的拆装经验，与此同时在整个拆装与维修的过程中经常会需要查阅大量的资料。虽然当前存储拆装维修技术信息的电子技术手册使查阅变得方便，但在实际拆装维修过程中操作者需边操作设备边手动查看手册，这样导致操作难度大、效率低；操作者的注意力需要在手册和设备之间频繁切换，这就使操作者易受周围环境影响，从而造成拆装维修差错，如拆装顺序不当导致装配精度不达标，使用不恰当的维修工具产生磨损、划痕等损伤使设备精度下降。
[0005]随着现代科技与生产力的不断提升，当代大型复杂机械装备大多已经成为融合机械、电子、动力、信息、控制、能源、电气、液压、材料等多学科技术为一体的高精尖设备系统，因此它们的拆装维修过程涉及到的技术和所需知识也不断增加，维修人员单纯依靠自身经验、技术和知识难以高效地完成复杂机械装备的拆卸、维修和装配。
[0006]随着信息技术，特别是便携式智能设备和增强现实技术的发展，使可穿戴式智能辅助拆装维修系统成为可能。
【发明内容】
:
[0007]本发明的目的在于提供一种具有普遍适应性的便携式增强现实诱导维修系统的实现设备与方法，以起到提高维修效率，减少不必要损失的目的。
[0008]为实现以上目的，本发明采用了以下技术方案:
[0009]一种增强现实诱导维修系统的实现设备，包括一个3D智能眼镜、头盔，光学位置跟踪器以及计算机，该3D智能眼镜包含两块液晶显示屏，头盔上贴有反光贴纸标志物，光学位置跟踪器通过反光贴纸标志物对头盔的位姿进行实时跟踪，计算机分别与光学位置跟踪器以及3D智能眼镜进行通讯。
[0010]所述通讯采用无线方式，采用无线交互技术进行3D交互以增强适用范围。
[0011]一种增强现实诱导维修系统的实现方法，包括以下步骤:
[0012]第一步、在软件系统中建立虚拟装配模型
[0013]首先对维修物体CAD模型文件进行二次开发，使之变成便于本增强现实诱导维修系统识别的虚拟装配模型，并包含模型零件间的相互约束关系，其次将二次开发后的虚拟装配模型加载至系统中；
[0014]第二步、完成操作者所戴头盔的位置注册
[0015]要实现增强现实诱导维修系统，并能够将正确的诱导信息展示给操作者，就要求首先对操作者的位姿坐标进行定位，本发明使用光学位置跟踪器进行定位，而实现这种定位的前提是对操作者所佩戴的头盔进行注册；利用光学位置跟踪器追踪操作者所戴头盔上的标志点(反光贴纸标志物)，并在光学位置跟踪器中注册头盔三维模型，从而实时获得操作者头部(被追踪对象为头盔)的位姿坐标矩阵；
[0016]第三步、定义零部件的拆装关系层次
[0017]为实现诱导维修系统的正确运行，在综合考虑实际情况下的拆装约束，包括重力支持约束以及工具操作空间限制和拆装过程中可能出现的碰撞后，要对加载完成的虚拟装配模型定义其正确的拆装关系层次；
[0018]第四步、通过光学位置跟踪器跟踪操作者位置，完成维修拆装情景感知
[0019]利用光学位置跟踪器对操作者头部位置进行跟踪定位，获得操作者头部相对操作零件位置信息，并在本系统的运行过程中实时重建当前的三维拆装场景，同时根据外部指令以及结合拆装场景中心区域的零件判断并识别当前的拆装零件；
[0020]第五步、三维虚拟诱导信息生成
[0021]诱导信息生成过程中，建立基于零部件的自由度以及相应约束的零部件拆装运动模型，建立基于装配约束和操作空间的装配零件工具选择模型，根据建立的零部件拆装运动模型和工具选择模型，以及建立的拆装关系层次模型，结合根据情景感知所得当前拆装零件，以动画的形式生成当前步骤拆装诱导信息，并以这种方式向操作者给出相应的拆装工具以及拆装方向；
[0022]第六步、诱导信息的叠加与显示
[0023]根据增强现实的三维注册技术并结合计算机图形学相关知识实现拆装诱导信息与真实场景的叠加，并显示在3D智能眼镜的二维眼镜显示屏上。
[0024]所述CAD模型文件的二次开发，主要提取的零件信息以及装配约束信息包括:零件名称、零件三维模型与零件拓扑信息；以及约束名称、类型、参数、约束涉及零件特征的名称与涉及零件的空间位置。
[0025]所述拆装关系层次可用约束优先关系树模型表示。
[0026]所述外部指令包括语音以及操作者头部位置信息。
[0027]获得操作者头部相对操作零件位置信息的方法为:通过使用光学位置跟踪器对操作者所戴头盔上反光贴纸标志物的识别得到操作者的相对坐标关系，通过比对维修物体相对于光学位置跟踪器的相对坐标关系，获得操作者头部相对操作零件位置信息，再根据重建的虚拟三维场景以及操作者的语音提示识别出操作者操作的零件。
[0028]第五步具体步骤如下:根据零件的自由度以及相应约束确定零部件拆装运动模型，包括运动副模型，通过查询当前虚拟装配模型的零部件拆装运动模型后，确定第四步所识别的当前的拆装零件的拆装运动方位，并根据约束形式以及操作空间大小选择合适的维修工具，从而实现当前步骤诱导维修动画的生成，并以这种方式向操作者给出相应的拆装工具以及拆装方向提示。也就是说，根据当前拆装零部件的自由度以及相应约束确定零部件的拆装方向，并根据约束形式以及操作空间大小选择合适的维修工具，两者结合生成相应的诱导拆装动画信息。
[0029]第六步具体步骤如下:根据维修物体与光学位置跟踪器的相对坐标关系，以及维修操作者相对光学位置跟踪器的相对坐标关系，获得当前的三维拆装场景中零件在场景坐标系中的坐标及其在虚拟装配模型中的相对于世界坐标系的坐标，通过矩阵变换得到操作者相对维修物体的位置关系，建立虚拟信息的虚拟视点位置，再结合虚拟三维模型到二维显示平面的转换，将三维虚拟诱导信息与真实场景结合到一起，并通过3D智能眼镜的液晶显示屏传递给操作者。
[0030]本发明的有益效果体现在:
[0031]本发明通过将维修装备的CAD模型转化成虚拟装配模型，并根据约束条件、拆装操作空间定义拆装关系层次树，在维修过程中，通过光学位置跟踪器对维修操作人员进行位置跟踪、维修情景识别，明确当前维修步骤，根据拆装层次关系，向维修操作人员提供相应诱导信息；本发明在使用过程中只需提前导入相应维修设备的CAD模型，即可向设备维修人员提供相应的维修诱导信息，并将虚拟诱导动画叠加至真实场景；本发明设备采用小型轻便的便携式设备智能眼镜，以及可采用无线有线两种交互模式传递信息，大大增加了本发明的适用条件。
【专利附图】
【附图说明】
:
[0032]图1为发明结构框图；
[0033]图2为装配模型转换关系图；
[0034]图3为头盔的位置注册图；其中:(a)XY平面标志点分布，(b)ZY平面标志点分布，(C)XZ平面标志点分布，(d)头盔的注册追踪模型；
[0035]图4为装配结构以及装配层次关系树图；其中:(a)变速箱外部视图，(b)变速箱内部视图，(C)变速箱树状拆装优先关系分层网络；
[0036]图5为虚实叠加框图；
[0037]图中:1_上盖；2-端盖A ;3-轴I ;4_轴承A ;5-大齿轮；6_轴承B ;7-端盖B ;8_端盖C ;9_轴承C ; 10-大锥齿轮；11-轴承D ; 12-端盖D ; 13-齿轮轴；14-小锥齿轮；15_轴承E ; 16-端盖E ; 17-轴承6 ; 18-底座；19_轴套；20_输出轴。
【具体实施方式】
:
[0038]下面结合附图和实施例对本发明做详细说明。
[0039]本发明设计了一种增强现实诱导维修系统。其中软件包括自主开发的一套基于OSG显示引擎的零部件装配诱导系统，硬件包括一个3D智能眼镜与头盔和一个光学位置跟踪器以及计算机。该3D智能眼镜包含两块液晶显示屏，光学位置跟踪器是一款6自由度光学跟踪器，采用无线交互技术进行3D交互，并使用红外光对物体进行实时跟踪，操作者可佩戴贴好标志物并完成位置注册的头盔，从而使得光学位置跟踪器感知操作者在局部坐标系的位姿。增强现实诱导维修系统的实现方法的步骤如下:步骤一:在软件系统中建立虚拟装配模型；步骤二:完成操作者所戴头盔的位置注册；步骤三:定义零部件的拆装关系层次；步骤四:通过光学位置跟踪器跟踪操作者位置，完成维修拆装情景感知；步骤五:拆装诱导信息生成；步骤六:诱导信息的叠加与显示；本发明具有诱导信息准确稳定，实现设备简便、成本低、便于携带的优点，具有较好的操作性便于使用者上手，同时将标准操作步骤、实时的操作进度以及3D诱导信息结合于一体，实现一体化设计。
[0040]如图1所示，该诱导维修系统实现设备包括一个3D智能眼镜与头盔，光学位置跟踪器，计算机。该3D智能眼镜包含两块液晶显示屏，采用无线交互技术进行3D交互，并使用光跟踪系统对物体进行实时跟踪。光学位置跟踪器与3D智能眼镜、计算机之间可采用无线或有线的方式进行通讯。
[0041]增强现实诱导维修系统的实现方法的步骤如下:
[0042]第一，虚拟装配模型导入:该步过程是对CAD模型二次开发的过程，将商业CAD软件模型格式转化为本系统的虚拟装配模型，格式转化后的虚拟装配模型包含的零件与装配约束信息如图2所示。包含:零件名称、零件三维模型、零件拓扑信息；约束名称、类型、参数、约束涉及零件特征的名称与涉及零件的空间位置。
[0043]第二，完成操作者所戴头盔的位置注册:在连接设置好光学位置跟踪器后，在光学位置跟踪器中建立头盔模型，维修人员手持头盔轻轻转动，直到将头盔上所有标志物点都扫描入光学位置跟踪器中，并构建出头盔位置跟踪模型，如图3。
[0044]第三，拆装关系层次定义:考虑实际情况下的拆装约束以及操作空间限制和拆装过程中可能出现的碰撞后，对加载完成的虚拟装配模型定义其正确的拆装关系层次树。如图4所示，每一个正方形虚线框内的所有零件是一个子装配体。产品的拆卸由树状拆装优先关系分层网络模型的叶子节点(图4中的第6层)开始，拆卸前应先拆卸与被拆零部件相关的连接件；装配则从产品的根节点(第O层)开始，先装配完与连接件相关的零部件后才能装配连接件，通过以上规则可以利用树状拆装优先关系分层网络模型实现包含连接件的拆装顺序诱导所示的变速箱树状拆装优先关系分层网络模型，可在线规划拆装顺序，假设端盖A、端盖B、端盖C、端盖D、端盖E与变速箱上盖I及底座18的连接螺栓组分别为L1、L2、L3、L4、L5，端盖A与底座18之间的连接螺栓组为L6，使用基于树状拆装优先关系分层网络模型的拆装顺序诱导方法计算零件的拆卸指数，向操作者输送诱导信息，操作者结合自己的拆装经验按照以下顺序完成拆卸:Ll-2-L3-8-L5-16-L4-12-L2-7-L6-1-4-6-5-3-11-9-10-13-17-14-20-15-19-18。
[0045]第四，通过光学位置跟踪器跟踪操作者位置，完成维修拆装情景感知，通过使用光学位置跟踪器，在完成跟踪对象模型的注册后，如头盔，就可利用光学位置跟踪器获得跟踪对象的位置坐标矩阵，包含一个3X3的旋转坐标阵和一个I X I的平移坐标阵，在本系统的运行过程中会实时重建当前的三维拆装场景，同时根据外部指令如语音、操作者头部位置信息等以及结合重建场景中心区域的零件判断并识别当前的拆装零件；根据定义的拆装层次关系向操作者给出当前步骤的操作提示。
[0046]第五，拆装诱导信息生成，根据所识别确定的当前操作步骤零部件，拆装层次关系，通过建立零件模型与拆装工具模型的运动关系模型，实现当前步骤诱导维系动画的生成，并以这种方式向操作者给出相应的拆装工具以及拆装方向。
[0047]将模型间的装配约束关系，转换成零件间的相对运动自由度关系，进一步建立相应的运动副以及运动轨迹线，从而建立起模型的拆装运动模型；
[0048]建立不同类型、尺寸规格的装配工具虚拟模型，并建立相应的尺寸参数数据库；定义不同零件不同装配约束时所使用工具以及相应工具的定位规则的数据库。
[0049]结合拆装层次关系，相关约束等选择合适的工具，并最终生成诱导拆装动画。
[0050]第六、诱导信息的叠加与显示，实现方式如图5所示，根据增强现实的三维注册技术并结合计算机图形学相关知识实现诱导信息与真实场景的叠加，并显示在二维眼镜显示屏上。
[0051]具体来说，根据维修物体与光学位置跟踪器的相对坐标关系，以及维修操作者相对光学位置跟踪器的相对坐标关系，通过矩阵变换的知识(如对模型的进行平移变换T，缩放变换S，旋转变换R，变换后的位姿矩阵为:M’ = M*R*S*T)，建立虚拟信息的虚拟视点位置，再结合虚拟三维模型到二维显示平面的转换，将三维虚拟诱导信息与真实场景结合到一起，并通过智能眼镜传递给操作者。
【权利要求】
1.一种增强现实诱导维修系统的实现设备，其特征在于:包括3D智能眼镜、头盔，光学位置跟踪器以及计算机，该3D智能眼镜包含液晶显示屏，头盔上贴有反光标志物，光学位置跟踪器通过反光标志物对头盔的位姿进行实时跟踪，计算机分别与光学位置跟踪器以及3D智能眼镜进行通讯。
2.根据权利要求1所述一种增强现实诱导维修系统的实现设备，其特征在于:所述通讯采用无线方式。
3.一种增强现实诱导维修系统的实现方法，其特征在于:包括以下步骤: 第一步、在软件系统中建立虚拟装配模型 首先对维修物体CAD模型文件进行二次开发，生成系统可识别的虚拟装配模型，其次将虚拟装配模型加载至系统中； 第二步、完成操作者所戴头盔的位置注册 利用光学位置跟踪器追踪操作者所戴头盔上的标志点，并在光学位置跟踪器中注册头盔三维模型，从而实时获得操作者头部的位姿坐标矩阵； 第三步、定义零部件的拆装关系层次 对加载完成的虚拟装配模型定义拆装关系层次； 第四步、完成维修拆装情景感知 利用光学位置跟踪器对操作者头部位置进行跟踪定位，获得操作者头部相对操作零件位置信息，并实时重建当前的三维拆装场景，同时根据外部指令以及结合拆装场景中心区域的零件判断并识别当前的拆装零件； 第五步、三维虚拟诱导信息生成 根据零部件拆装运动模型和工具选择模型，以及拆装关系层次模型，结合根据情景感知所得当前拆装零件，以动画的形式生成当前步骤拆装诱导信息，向操作者给出相应的拆装工具以及拆装方向； 第六步、诱导信息的叠加与显示 根据增强现实的三维注册技术并结合计算机图形学知识实现拆装诱导信息与真实场景的叠加，并显示在3D智能眼镜的二维眼镜显示屏上。
4.根据权利要求3所述一种增强现实诱导维修系统的实现方法，其特征在于:二次开发提取的零件信息以及装配约束信息包括:零件名称、零件三维模型与零件拓扑信息；以及约束名称、类型、参数、约束涉及零件特征的名称与涉及零件的空间位置。
5.根据权利要求3所述一种增强现实诱导维修系统的实现方法，其特征在于:所述拆装关系层次用约束优先关系树模型表示。
6.根据权利要求3所述一种增强现实诱导维修系统的实现方法，其特征在于:所述外部指令包括语音以及操作者头部位置信息。
7.根据权利要求3所述一种增强现实诱导维修系统的实现方法，其特征在于:获得操作者头部相对操作零件位置信息的方法为:通过使用光学位置跟踪器对操作者所戴头盔上反光标志物的识别得到操作者的相对坐标关系，通过比对维修物体相对于光学位置跟踪器的相对坐标关系，获得操作者头部相对操作零件位置信息。
8.根据权利要求3所述一种增强现实诱导维修系统的实现方法，其特征在于:第五步具体步骤如下:根据零件的自由度以及相应约束确定零部件拆装运动模型，通过查询当前虚拟装配模型的零部件拆装运动模型后，确定第四步所识别的当前的拆装零件的拆装运动方位，并根据约束形式以及操作空间大小选择维修工具，从而实现当前步骤诱导维修动画的生成，并以这种方式向操作者给出相应的拆装工具以及拆装方向提示。
9.根据权利要求3所述一种增强现实诱导维修系统的实现方法，其特征在于:第六步具体步骤如下:根据维修物体与光学位置跟踪器的相对坐标关系，以及操作者相对光学位置跟踪器的相对坐标关系，获得当前的三维拆装场景中零件在场景坐标系中的坐标及其在虚拟装配模型中的相对于世界坐标系的坐标，通过矩阵变换得到操作者相对维修物体的位置关系，建立虚拟信息的虚拟视点位置，再结合虚拟三维模型到二维显示平面的转换，将三维虚拟诱导信息与真实场景结合到一起，并通过30智能眼镜传递给操作者。
【文档编号】G06F3/01GK104484523SQ201410771733
【公开日】2015年4月1日 申请日期:2014年12月12日 优先权日:2014年12月12日
【发明者】王崴, 洪军, 郑帅, 申凌宇, 刘晓卫, 瞿珏 申请人:西安交通大学