一种基于增强现实的检查方法、检查设备和远程协助方法与流程

1.本技术涉及增强现实技术领域，尤其是涉及一种基于增强现实的检查方法及系统。


背景技术：

2.传统热力管道修复中，热管的漏点位置和泄露原因往往多变，比如法兰盘上的螺丝发生锈蚀导致法兰盘的连接不紧密，或者密封圈发生老化破损而导致蒸汽泄露或热水泄露，或者管道产生裂缝而产生渗漏。检查漏点的过程较为漫长，且对于不同的漏点往往会有不同的修复方法，这通常需要熟练的专业维修人员到现场进行检查和判断，未经过长期培训的用户难以进行自行维护。


技术实现要素：

3.为了使得非专业人员能够对热力管道进行修复，本技术提供一种基于增强现实的检查方法、检查设备和远程协助方法。
4.第一方面，本技术提供的一种基于增强现实的检查方法，采用如下的技术方案：一种基于增强现实的检查方法，包括以下步骤：定位步骤，获取取景框内的目标图像并与数据库内的预设图像进行匹配，并基于匹配结果确定问题对象，其中，取景框设置于目镜上，目标图像为取景框对准目标物体后落入取景框内目标物体的图像；示教步骤，获取问题对象对应的解决方案，并在目镜上投映解决方案对应的示教信息。
5.通过采用上述技术方案，在损坏事件发生而需要进行解决时，目镜的朝向能够进行调整。在使用时目镜需要调整到标准姿态，比如目镜中部的取景框需要位于使用者正视前方的视线上，则用户盯住目标物体且转动头部时，各个取景框的位置将会发生改变，而使得不同的取景框在头部转动过程中能够框住目标图像。当目标物体位于适当的取景框中时，摄像头所获取的图像中，目标物体将会位于指定的位置。系统提取目标图像中的目标物体并进行识别，识别方法可通过多分类神经网络模型或其它的方法，从而判定出该目标图像对应于数据库中的物体信息，并判定目标对象是否为问题对象。通过该种方法，可以用于对现场的各种物体进行遍历识别，从而筛查出问题对象。再从云端或本地数据中提取预存的针对于该问题对象的解决方案，或是通过远程人工客服指导以获得解决方案，解决方案能够以动态图像或其它形式从在目镜上投映，投映的过程中可以与目标物体在目镜上的中心投影重叠，产生类似于交互的效果，比如形成光斑落在目标物体上面，或者光斑在目标物体的图像上移动以示意操作步骤，或者直接在目镜上播放维修影像，从而指导用户解决损坏事件。
6.综上，该方法能够使得非专业人员能够对热力管道进行修复，大量地节约人力，并缩短问题的处理周期。
7.可选的，所述定位步骤包括：对取景框内的目标物体进行拍摄并进行特征提取；基于预设特征信息与所提取特征的比较结果，识别出目标物体的种类；基于识别结果的预录入损坏特征与所提取特征的比较结果，获得目标物体的损坏信息；基于损坏信息判断目标物体是否为问题对象。
8.通过采用上述技术方案，取景框内的目标物体具有颜色、形状等特征，颜色具体不止肉眼可视颜色，还包括红外成像颜色等，形状具体指的目标物体上各线条的比例，线条的连续程度等特征，系统将图像中物体的该类信息提取出来。系统的数据库中预存有多种零件的预设特征信息，通过特征信息的对比，对目标物体的种类进行判定。在识别出目标物体后，基于目标物体的预录入的损坏特征与所提取的特征进行对比，判断物体是否发生损坏，若损坏则目标物体即为问题对象，若未损坏则目标物体为正常物体。
9.可选的，所述定位步骤还包括：基于问题对象判断结果连接远程协助系统；对取景框内的目标物体进行拍摄并传输至远程协助系统；获取远程协助系统发出的标定指令，并将标定点投映在目镜上，其中，标定点对应于标定指令中标定的物体；获取取景框内的标定图像并传输至远程协助系统，其中，取景框基于目镜与标定物体的距离进行选取而得，标定图像为取景框对准标定物体后落入取景框内标定物体的图像，标定物体基于远程协助系统的指令被拆卸；基于远程协助系统的判断被标定的物体是否为问题对象。
10.通过采用上述技术方案，当遍历所有的零部件后，无法通过系统内置的数据库信息认定出问题对象，则可以选择连接远程协助系统，远程协助系统由专业人员进行远程控制，专业人员基于发送到远程协助系统的图像进行标定，标定点位于图像中被专业人员所选定的物体上，远程协助系统将标定指令发送到本地的检查系统，本地的检查系统将标定点反应在目镜上，且标定点刚好对应在被标定的物体上。用户可以根据标定点选择标定物体进行二次检查，检查方式可以包括多角度观看或拆卸观看，远程协助系统上的专利人员利用远程影像进行判断，以判断标定对象是否为问题对象。
11.可选的，所述示教步骤包括：基于问题对象判断结果自动或手动连接协助系统，其中，协助系统包括本地协助系统或远程协助系统；基于协助系统和显示模组在目镜上生成指示点移动轨迹，其中，问题对象相对于佩戴者眼睛在目镜上具有中心投影图像，指示点移动轨迹位于问题对象的中心投影上，指示点移动轨迹对应于问题对象解决方案的操作步骤。
12.通过采用上述技术方案，在获得问题对象后，协助系统在目镜上生成指示点移动轨迹，用于示意拆解顺序或拆解方向等步骤。
13.可选的，取景框对准目标物体的步骤包括：基于目镜与目标物体的距离选择取景框，其中，纵向刻度线上的每个刻度均在作为中心以在周围形成有取景框；
调整目镜的位置，以使得目标物体相对移动到取景框的中心位置。
14.通过采用上述技术方案，每个刻度的周边均形成有取景框，分别对应于目标物体与目镜不同的距离。通过调整取景框，使得选定取景框中的物体图像能够位于拍摄图像的正中间。
15.第二方面，本技术提供的一种基于增强现实的远程协助方法，采用如下的技术方案：一种基于增强现实的远程协助方法，包括以下步骤：获取检查设备上传的远程图像；录入标定指令，其中，所述标定指令为基于标定物体在远程图像上的位置所输入，标定物体相对于佩戴者眼睛在目镜上具有中心投影图像，所述标定指令对应的标定点位于所述中心投影图像上的标定物体上；向检查设备输出所述标定指令；再次获取检查设备上传的远程图像，并判断远程图像中对应于取景框的物体是否为问题对象；输出所述判断结果到检查设备；再次获取检查设备上传的远程图像；录入协助指令，其中，远程图像上对应于取景框的物体为问题对象，问题对象相对于在检查设备上相对于佩戴者的眼睛具有中心投影图像，协助指令包括位于检查设备上的问题对象中心投影上的指示点移动轨迹，指示点移动轨迹对应于问题对象解决方案的操作步骤；输出所述协助指令到检查设备。
16.通过采用上述技术方案，检查设备对现场的零部件进行拍摄，并将拍摄的零部件上传到远程协助系统。远程协助系统录入标定指令，标定指令是专业人员基于标定物体在远程图像上的位置所输入的，远程协助设备将标定指令传送到检查设备后，检查设备的目镜上将会在对应于标定物体的位置上显示标定点。待检修人员做出操作且检查设备将图像传送到远程协助设备上时，专业人员对图像上的标定对象进行判断，做出该标定对象是否为问题对象的结论，若是，则输入协助指令以在检查设备的目镜上生成指示点的移动轨迹作为解决方案，解决方案能够以动态图像或其它形式从在目镜上投映，投映的过程中可以与目标物体在目镜上的中心投影重叠，产生类似于交互的效果，比如形成光斑落在目标物体上面，或者光斑在目标物体的图像上移动以示意操作步骤，或者直接在目镜上播放维修影像，从而指导用户解决损坏事件。
17.第三方面，本技术提供的一种用于上述检查方法的基于增强现实的检查设备，采用如下的技术方案：一种检查设备，包括：镜架，所述镜架上形成有相互垂直的纵向参考面和横向参考面，所述横向参考面用于作为平视平面，所述纵向参考面用于作为俯仰时正视视线活动的平面；目镜，设置于镜架上，并带有位于纵向参考面上的纵向刻度线，所述纵向刻度线在横向参考面上设置有校位刻度 ；显示模组，设置于镜架上以用于在目镜上成像；
摄像头，设置于镜架上，摄像头能够对中心取景区域的物体进行测距，所述摄像头的镜头光轴平行于纵向参考面，所述摄像头的镜头光轴在纵向参考面上的投影与所述目镜的镜面光轴在纵向参考面上的投影成锐角，穿过所述纵向刻度线上刻度的视线在纵向参考面上的投影与所述摄像头的镜头光轴在纵向参考面上的投影的交点位置为纵向落点位置，相邻落点位置等距。
18.目前，市场上已经实现了能够捕捉眼球朝向的装置，且能够发射激光以供第三者捕捉眼部视线的落点，但是这种装置结构精密且昂贵，难以推广。也有通过检测人头部的摆动角度和头部的位移来确定眼睛与环境物体的实际位置关系的，但是这种方法对信号的延迟和测量的精确程度要求较高。以上捕捉眼球朝向的目的，均是为了模拟得到眼睛所获得的视野，以便于ar光机在目镜上的成像能够与中心投影在目镜上的图像实现较高的匹配程度。也有为了规避捕捉眼球朝来实现高精确度ar的技术，其基于计算机视觉的 ar 是利用计算机视觉方法建立现实世界与屏幕之间的映射关系，使绘制的图形或是 3d 模型可以如同依附在现实物体上一般展现在屏幕上。换句话说，本质上来讲就是要找到现实场景中的一个依附平面，然后再将这个三维场景下的平面映射到该二维平面上，然后再在这个平面上绘制图形。该种方法通常需要ai芯片通过神经网络模型等算法进行高速运算，对计算能力的要求比较高，成本也会相对比较高，显然，这对于功能要求比较单一的检查设备来说是不现实的。
19.通过采用上述技术方案，镜架用于对其它的结构组件进行托持固定，且使用者使用时对镜架的位置有要求，需要镜架进行调整之标准姿态，以使得使用者在平视时平视平面位于横向参考面上，使用者盯住校位刻度时仰头或低头时，头部的俯仰平面位于纵向参考面上。
20.由于人对自己头部的转动角度感受不灵敏，但是对距离的感知能力是相对敏感的。因此，在本方案中，综合地利用了可变的视线、可调的刻度选取和摄像头相对于目镜而言固定的拍摄方向，依靠人对距离的估计选取对应刻度对应的取景框，在该取景框中的物体即会对应在摄像头的拍摄中心，因此无须浪费算力对拍摄照片中的所有部分进行遍历识别以获取物体，也提高了判别的精准度。摄像头通过对中心取景区域的物体进行测距，获取该物体与目镜之间的距离，从而建立摄像头图像于目镜上中心投影图像的映射关系，当远程协助系统在摄像头图像上标点时，能够准确地映射在目镜上中心投影的对应位置。
21.综上，通过该设备，通过简单的元器件对辅助以设定好的配合关系，能够有效地用于上述检查方法，对算力的要求低，生产成本低。
22.可选的，陀螺仪传感器，设置于镜架上，用于检测目镜的偏转角度。
23.通过采用上述技术方案，陀螺仪传感器对目镜的偏转角度进行测量，基于该偏转量获取位于水平面上的取景框的位置，使用者可以通过将相应刻度对应的取景框移动到水平面上，以使得系统直接得知所使用的取景框，而可以减少利用摄像头进行测距的步骤。当然，也可以与摄像头的测距相互配合，更准确地获得使用者所选择的取景框。
24.可选的，还包括麦克风，所述麦克风设置于镜架上。
25.通过采用上述技术方案，远程协助人员能够通过麦克风与现场人员语音沟通，以协助问题解决。
26.第四方面，本技术提供的一种基于增强现实的远程协助系统，采用如下的技术方
案：一种基于增强现实的远程协助系统，包括：第一图像模块，用于获取检查设备上传的远程图像；标定指令录入模块，用于录入标定指令，其中，所述标定指令为基于标定物体在远程图像上的位置所输入，标定物体相对于佩戴者眼睛在目镜上具有中心投影图像，所述标定指令对应的标定点位于所述中心投影图像上的标定物体上；标定指令输出模块，用于向检查设备输出所述标定指令；第二图像模块，用于再次获取检查设备上传的远程图像，并判断远程图像中对应于取景框的物体是否为问题对象；判断输出模块，用于向检查设备输出所述判断结果；第三图像模块，用于再次获取检查设备上传的远程图像；协助指令输入模块，用于录入协助指令，其中，远程图像上对应于取景框的物体为问题对象，问题对象相对于在检查设备上相对于佩戴者的眼睛具有中心投影图像，协助指令包括位于检查设备上的问题对象中心投影上的指示点移动轨迹，指示点移动轨迹对应于问题对象解决方案的操作步骤；协助指令输出模块，用于向检查设备输出所述协助指令。
27.第五方面，本技术提供的一种主机，采用如下的技术方案：一种主机，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述检查方法的计算机程序。
28.第六方面，本技术提供的一种可读存储介质，采用如下的技术方案：一种可读存储介质，存储有能够被处理器加载并执行如上的检查方法的算机程序。
29.第七方面，本技术提供的一种主机，采用如下的技术方案：一种主机，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述远程协助方法的计算机程序。
30.第八方面，本技术提供的一种可读存储介质，采用如下的技术方案：一种可读存储介质，存储有能够被处理器加载并执行如上的远程协助方法的算机程序。
附图说明
31.图1用于示出本技术某一实施例的一种基于增强现实的检查设备的示意图，图中只功能性地示意出该检查设备的镜架、目镜和摄像头。
32.图2用于示出本技术某一实施例的一种基于增强现实的检查方法的程序框图。
33.图3用于示出本技术某一实施例的用户调整取景框对准目标物体的步骤的程序框图。
34.图4用于示出本技术某一实施例的定位步骤的程序框图。
35.图5用于示出本技术某一实施例的示教步骤的程序框图。
36.图6用于示出本技术某一实施例的一种基于增强现实的远程协助方法。
37.附图说明：
1、镜架；2、目镜；3、横向参考面；4、纵向参考面；5、刻度线；6、取景框；7、摄像头。
具体实施方式
38.以下结合附图，对本技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
39.在以下描述中，为了解释的目的，阐述了很多具体细节，以便提供对发明构思的彻底理解。作为本说明书的一部分，本公开的附图中的一些附图以框图形式表示结构和设备，以避免使所公开的原理复杂难懂。为了清晰起见，实际具体实施的并非所有特征都有必要进行描述。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或限定本发明的主题，从而诉诸于所必需的权利要求以确定此类发明主题。在本公开中对“一个具体实施”或“具体实施”的提及意指结合该具体实施所述的特定特征、结构或特性被包括在至少一个具体实施中，并且对“一个具体实施”或“具体实施”的多个提及不应被理解为必然地全部是指同一具体实施。
40.基于计算机视觉的 ar 是利用计算机视觉方法建立现实世界与屏幕之间的映射关系，使绘制的图形或是 3d 模型可以如同依附在现实物体上一般展现在屏幕上，本质上来讲就是要 找到现实场景中的一个依附平面，然后再将这个三维场景下的平面映射到二维屏幕上，然后再在这个平面上绘制的图形。
41.实际上，工程上并不需要产生动态图像以进行交互，也无须像hololens一般在现实中产生立体图像以进行交互，更不需要一些虚拟助手。在民用场景中，虚拟影像通常是通过计算机视觉的方法，建立现实世界与屏幕之间的映射关系，使我们想要绘制的图形或是 3d 模型可以如同依附在现实物体上一般展现在屏幕、墙面上、地面上等平整的依附平面。但是在在工业场景中，难以找到依附平面，因此虚拟影像也难以良好地呈现在现实中，可目前的ar眼镜的可视角度普遍很低，增强现实的效果也相对较差。
42.本技术实施例公开一种基于增强现实的检查设备。参照图1，该检查设备至少包括镜架、目镜、显示模组和摄像头，还可以包括有陀螺仪传感器和麦克风等其它辅助组件。
43.镜架上形成有相互垂直的纵向参考面和横向参考面，横向参考面用于作为平视平面，纵向参考面用于作为俯仰时正视视线活动的平面，具体的，在图1中横向参考面表现为横向设置的虚线，纵向参考面表现为垂直于横向参考面设置的虚线。目镜设置于镜架上，并带有位于纵向参考面上的纵向刻度线，纵向刻度线在横向参考面上设置有校位刻度。具体的，纵向刻度线具体表现为图1的目镜上沿纵向设置的刻度线。每一个纵向刻度线的周围均对应有一个取景框，取景框用于使用者在调整镜架姿态时使得需要关注的物体与纵向刻度线相对应。具体的，取景框具体表现为图1上围绕各刻度线的虚线框。镜架用于对其它的结构组件进行托持固定，且使用者使用时对镜架的位置有要求，需要镜架进行调整之标准姿态，以使得使用者在平视时平视平面位于横向参考面上，使用者盯住校位刻度时仰头或低头时，头部的俯仰平面位于纵向参考面上。
44.显示模组设置于镜架上以用于在目镜上成像，其需要由摄像头反馈的数据以使得显示模组的在目镜上的成像能够与外部物体相对于眼球中心投影在目镜上的图像相匹配。举个例子，比如桌面上有一个苹果，其经过目镜上方一个取景框，那么如果显示模组需要在苹果上显示光标，则显示模组必须在显示光标时让光标准确落在苹果上面。在不同的实施
例中，显示模组可以为光机，也可以为设置在目镜上的透明显示屏，或其它的装置，但凡能够根据输入信号以准确地在目镜对应位置产生相应图像的装置均可作为显示模组。
45.为此，摄像头设置于镜架上，且摄像头的镜头光轴平行于纵向参考面，摄像头的镜头光轴在纵向参考面上的投影与目镜的镜面光轴在纵向参考面上的投影成锐角，穿过纵向刻度线上刻度的视线在纵向参考面上的投影与摄像头的镜头光轴在纵向参考面上的投影的交点位置为纵向落点位置，相邻落点位置等距。
46.由于人对自己头部的转动角度感受不灵敏，但是对距离的感知能力是相对敏感的。因此，在本方案中，综合地利用了可变的视线、可调的刻度选取和摄像头相对于目镜而言固定的拍摄方向，依靠人对距离的估计选取对应刻度对应的取景框，在该取景框中的物体即会对应在摄像头的拍摄中心，因此无须浪费算力对拍摄照片中的所有部分进行遍历识别以获取物体，也提高了判别的精准度。摄像头通过对中心取景区域的物体进行测距，获取该物体与目镜之间的距离，从而建立摄像头图像于目镜上中心投影图像的映射关系，当远程协助系统在摄像头图像上标点时，能够准确地映射在目镜上中心投影的对应位置。
47.参照图1b举个例子，人目视无穷远的位置时，则人盯住校位刻度，则此时人的视线与摄像头的拍摄延长线在无穷远处相交。参照图1c，当人穿过校位刻度上一格刻度看东西时，则人的视线与摄像头光轴在近处相交；当人穿过校位刻度更上一格刻度看东西时，则人的视线与摄像头光轴在更近处相交。通过设置，纵向落点位置等距设置，有利于使用者对预设距离进行记忆。比如说，以0.2m作为间隔，则有连续的五个纵向落点是位于距离目镜0.4m，0.6m，0.8m，1.0m，1.2m处，这些纵向落点分别对应于连续相邻的五个纵向刻度线及取景框，可选的，目镜上的取景框旁边可以对该落点距离进行标记，以辅助使用者选择合适的取景框。
48.在一些实施例中，该检查设备还包括陀螺仪传感器，设置于镜架上，用于检测目镜的偏转角度。陀螺仪传感器对目镜的偏转角度进行测量，基于该偏转量获取位于水平面上的取景框的位置，使用者可以通过将相应刻度对应的取景框移动到水平面上，以使得系统直接得知所使用的取景框，而可以减少利用摄像头进行测距的步骤。当然，也可以与摄像头的测距相互配合，更准确地获得使用者所选择的取景框。
49.在一些实施例中，该检查设备还包括麦克风，麦克风设置于镜架上，麦克风与目镜上的增强影像相互配合，从而提高人与场景的交互能力。
50.增强现实能够应用在多种工业场景，这里使用传统热力管道修复作为举例场景，但并不把该检测方法对应的使用场景限定在传统热力管道修复上。对于传统热力管道修复中，热管的漏点位置和泄露原因往往多变，比如法兰盘上的螺丝发生锈蚀导致法兰盘的连接不紧密，或者密封圈发生老化破损而导致蒸汽泄露或热水泄露，或者管道产生裂缝而产生渗漏。检查漏点的过程较为漫长，且对于不同的漏点往往会有不同的修复方法，这通常需要熟练的专业维修人员到现场进行检查和判断，未经过长期培训的用户难以进行自行维护。
51.据此，参照图2，本技术还公开一种可以应用于上述检查设备的基于增强现实的检查方法，包括定位步骤和示教步骤：s100.定位步骤：获取取景框内的目标图像并与数据库内的预设图像进行匹配，并基于匹配结果确定问题对象，其中，取景框设置于目镜上，目标图像为取景框对准目标物体
后落入取景框内目标物体的图像。
52.在这里，问题对象指的是具有缺陷或者发生损坏而导致热力管道产生漏点的物体，比如破损的密封圈，锈蚀的螺栓等。推广在其它的场景中，问题对象即为需要搜寻的对象。在这里需要指出的一点是，问题对象的命名并不代表该对象一定具有问题，其只是被寻找对象的代称，而不对被寻找对象的类型范围产生限制。目标对象指的是寻找问题对象的过程中，需要进行检查的对象，该对象的选取具有主观性，可以进行任意的选取。数据库中的预设图像指的是预存在数据库中的标准图像信息，比如完好的密封圈，完好的螺栓等，该类信息可以包含尺寸、颜色、形状等信息。匹配一词指的是利用数据库中的标准图像信息与获取的目标图像的信息进行匹配，匹配的信息类型可以但不限制为尺寸、颜色、形状等信息，匹配过程中对各种信息的匹配程度进行打分，当综合评分超过预设阈值时即可评判为同一物体。
53.在损坏事件发生而需要进行解决时，目镜的朝向能够进行调整。在使用时目镜需要调整到标准姿态，比如目镜中部的取景框需要位于使用者正视前方的视线上，则用户盯住目标物体且转动头部时，各个取景框的位置将会发生改变，而使得不同的取景框在头部转动过程中能够框住目标图像。当目标物体位于适当的取景框中时，摄像头所获取的图像中，目标物体将会位于指定的位置。系统提取目标图像中的目标物体并进行识别，识别方法可通过多分类神经网络模型或其它的方法，从而判定出该目标图像对应于数据库中的物体信息，并判定目标对象是否为问题对象。
54.具体的，参照图3，用户调整取景框对准目标物体的步骤包括：基于目镜与目标物体的距离选择取景框，其中，纵向刻度线上的每个刻度均在作为中心以在周围形成有取景框；调整目镜的位置，使得目标物体位于纵向参考面上，再使得目标物体沿纵向参考面相对移动到取景框的中心位置。
55.每个刻度的周边均形成有取景框，分别对应于目标物体与目镜不同的距离。通过调整取景框，使得选定取景框中的物体图像能够位于拍摄图像的正中间。
56.作为示例的，在一些实施例中，参照图4，定位步骤包括：s101.对取景框内的目标物体进行拍摄并进行特征提取。
57.s102.基于预设特征信息与所提取特征的比较结果，识别出目标物体的种类。
58.s103.基于识别结果的预录入损坏特征与所提取特征的比较结果，获得目标物体的损坏信息。
59.s104.基于损坏信息判断目标物体是否为问题对象。
60.取景框内的目标物体具有颜色、形状等特征，颜色具体不止肉眼可视颜色，还包括红外成像颜色等，形状具体指的目标物体上各线条的比例，线条的连续程度等特征，系统将图像中物体的该类信息提取出来。系统的数据库中预存有多种零件的预设特征信息，通过特征信息的对比，对目标物体的种类进行判定。在识别出目标物体后，基于目标物体的预录入的损坏特征与所提取的特征进行对比，判断物体是否发生损坏，若损坏则目标物体即为问题对象，若未损坏则目标物体为正常物体。
61.可选的，这里的预设特征信息可以预存在检查设备上的本地存储器上，并经由控制器调出数据，也可以存储在云端上，并利用设置在检查设备上的无线通信装置来获取数
据。这里本地存储器和云端数据的调用可以依据相应策略来实现，举个例子，比如控制器优先调度本地存储器，当本地存储器内无相关数据与目标物体的特征匹配时，则从云端进行数据调度。
62.另外，在一些实施例中，也可以通过将目标物体的特征上传到云端服务器，云端服务器利用云端数据库的信息与之进行匹配，并将匹配结果返回到检查设备中。
63.由于本地数据库和云端数据库的存储数据是有限的，且不同现场中的工况也是复杂多变的，因此，在一些实施例中，继续参照图4，定位步骤还包括以下步骤：s105.基于问题对象判断结果连接远程协助系统。
64.当遍历所有的零部件后，无法通过系统内置的数据库信息认定出问题对象，则可以选择连接远程协助系统，远程协助系统由专业人员进行远程控制。这里的远程协助系统的连接可以为自动请求连接，也可以为用户手动请求连接。
65.s106.对取景框内的目标物体进行拍摄并传输至远程协助系统。
66.专业人员基于发送到远程协助系统的图像进行标定，标定点位于图像中被专业人员所选定的物体上。
67.s107.获取远程协助系统发出的标定指令，并将标定点投映在目镜上，其中，标定点对应于标定指令中标定的物体。
68.远程协助系统将标定指令发送到本地的检查系统，本地的检查系统将标定点反应在目镜上，且标定点刚好对应在被标定的物体上。
69.s108.获取取景框内的标定图像并传输至远程协助系统，其中，取景框基于目镜与标定物体的距离进行选取而得，标定图像为取景框对准标定物体后落入取景框内标定物体的图像，标定物体基于远程协助系统的指令被拆卸。
70.s109.基于远程协助系统的判断被标定的物体是否为问题对象。
71.用户可以根据标定点选择标定物体进行二次检查，检查方式可以包括多角度观看或拆卸观看，远程协助系统上的专利人员利用远程影像进行判断，以判断标定对象是否为问题对象。
72.s200.示教步骤：获取问题对象对应的解决方案，并在目镜上投映解决方案对应的示教信息。
73.在识别出问题对象后，从云端数据库或本地数据库中提取预存的针对于该问题对象的解决方案，或是通过远程人工客服指导以获得解决方案，解决方案能够以动态图像或其它形式从在目镜上投映，投映的过程中可以与目标物体在目镜上的中心投影重叠，产生类似于交互的效果，比如形成光斑落在目标物体上面，或者光斑在目标物体的图像上移动以示意操作步骤，或者直接在目镜上播放维修影像，从而指导用户解决损坏事件。
74.作为示例的，在一些实施例中，参照图5，示教步骤包括：s201.基于问题对象判断结果自动或手动连接协助系统，其中，协助系统包括本地协助系统或远程协助系统；s202.基于协助系统和显示模组在目镜上生成指示点移动轨迹，其中，问题对象相对于佩戴者眼睛在目镜上具有中心投影图像，指示点移动轨迹位于问题对象的中心投影上，指示点移动轨迹对应于问题对象解决方案的操作步骤。
75.在获得问题对象后，协助系统在目镜上生成指示点移动轨迹，用于示意拆解顺序
或拆解方向等步骤。另外，该处还可以利用检查设备上的麦克风进行声音指示，以辅助指示点移动轨迹对用户进行示意。
76.本技术提供的一种基于增强现实的远程协助方法，用于远程协助设备，参照图6，包括以下步骤：s301.获取检查设备上传的远程图像；s302.录入标定指令，其中，所述标定指令为基于标定物体在远程图像上的位置所输入，标定物体相对于佩戴者眼睛在目镜上具有中心投影图像，所述标定指令对应的标定点位于所述中心投影图像上的标定物体上；s303.向检查设备输出所述标定指令；s304.再次获取检查设备上传的远程图像，并判断远程图像中对应于取景框的物体是否为问题对象；s305.输出所述判断结果到检查设备；s306.再次获取检查设备上传的远程图像；s307.录入协助指令，其中，远程图像上对应于取景框的物体为问题对象，问题对象相对于在检查设备上相对于佩戴者的眼睛具有中心投影图像，协助指令包括位于检查设备上的问题对象中心投影上的指示点移动轨迹，指示点移动轨迹对应于问题对象解决方案的操作步骤；s308.输出所述协助指令到检查设备。
77.检查设备对现场的零部件进行拍摄，并将拍摄的零部件上传到远程协助系统。远程协助系统录入标定指令，标定指令是专业人员基于标定物体在远程图像上的位置所输入的，远程协助设备将标定指令传送到检查设备后，检查设备的目镜上将会在对应于标定物体的位置上显示标定点。待检修人员做出操作且检查设备将图像传送到远程协助设备上时，专业人员对图像上的标定对象进行判断，做出该标定对象是否为问题对象的结论，若是，则输入协助指令以在检查设备的目镜上生成指示点的移动轨迹作为解决方案，解决方案能够以动态图像或其它形式从在目镜上投映，投映的过程中可以与目标物体在目镜上的中心投影重叠，产生类似于交互的效果，比如形成光斑落在目标物体上面，或者光斑在目标物体的图像上移动以示意操作步骤，或者直接在目镜上播放维修影像，从而指导用户解决损坏事件。
78.本技术实施例还公开一种基于增强现实的远程协助系统，包括：第一图像模块，用于获取检查设备上传的远程图像；标定指令录入模块，用于录入标定指令，其中，所述标定指令为基于标定物体在远程图像上的位置所输入，标定物体相对于佩戴者眼睛在目镜上具有中心投影图像，所述标定指令对应的标定点位于所述中心投影图像上的标定物体上；标定指令输出模块，用于向检查设备输出所述标定指令；第二图像模块，用于再次获取检查设备上传的远程图像，并判断远程图像中对应于取景框的物体是否为问题对象；判断输出模块，用于向检查设备输出所述判断结果；第三图像模块，用于再次获取检查设备上传的远程图像；协助指令输入模块，用于录入协助指令，其中，远程图像上对应于取景框的物体为
问题对象，问题对象相对于在检查设备上相对于佩戴者的眼睛具有中心投影图像，协助指令包括位于检查设备上的问题对象中心投影上的指示点移动轨迹，指示点移动轨迹对应于问题对象解决方案的操作步骤；协助指令输出模块，用于向检查设备输出所述协助指令。
79.本技术实施例还公开一种主机，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述基于增强现实的检查方法的计算机程序。本实施例方法的执行主体可以是一种控制装置，该控制装置设置在主机上，当前设备可以是具有wifi功能的手机，平板电脑，笔记本电脑等电子设备，本实施例方法的执行主体也可以直接是电子设备的cpu(central processing unit，中央处理器)。
80.本技术实施例还公开一种主机，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述基于增强现实的远程协助方法的计算机程序。本实施例方法的执行主体可以是一种控制装置，该控制装置设置在主机上，当前设备可以是具有wifi功能的手机，平板电脑，笔记本电脑等电子设备，本实施例方法的执行主体也可以直接是电子设备的cpu(central processing unit，中央处理器)。
81.本技术实施例还公开一种可读存储介质，存储有能够被处理器加载并执行如上的基于增强现实的检查方法的计算机程序。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
82.本技术实施例还公开一种可读存储介质，存储有能够被处理器加载并执行如上的基于增强现实的远程协助方法的计算机程序。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
83.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。