一种基于AR的远程协助系统的交互方法、系统和存储介质与流程

本发明涉及远程协助技术领域，具体涉及一种基于ar的远程协助系统的交互方法、系统和存储介质。

背景技术：

现在ar技术已经广泛的应用于机械组装、设备维修和结构展示等领域，尤其是应用于机械组装和设备维修时，有时候现场无法解决的技术问题，往往需要求助于远程的专家，这时候就需要采用远程协助系统，现有的远程协助系统往往是通过获取现场的二维画面进行截图，并将该画面截图发送给远程的专家，专家在截图上完成标注后，再将截图发送给现场人员，以达到远程协助的目的。这种采用截图标注的方式虽然也能达到远程协助的目的，但是效果不够理想，因为无法实时性的、多互动性的进行指导。另外，如果采用视频的方式进行指导，专家直接在动态图画面上进行标注，由于现场人员头部晃动，引起佩戴的ar眼镜会晃动，加上数据传输的延迟性，则专家的标注位置传回到求助端时和实际的标注位置也会发生移动，无法达到准确标注的作用。

技术实现要素：

为了解决现有技术中由于现场人员的佩戴的ar眼镜的晃动导致远程协助时标注的位置发生移动，导致标注不准确的技术问题。本申请提供以下技术方案：

一种基于ar的远程协助系统的交互方法,包括：

实时获取待协助现场的第一图像信息并将所述第一图像信息发送至专家端；

将专家完成标注后的标注点的位置信息实时返回给求助端；

求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；

根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。

其中，所述获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量，包括：

获取所述标注点处的深度值；

获取所述求助端当前时刻相对于发送所述第一图像信息时刻的位移量和转动量；

根据所述位移量、转动量以及深度值计算所述标注点在所述第二图像信息上相应的待调整量。

其中，所述根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置，包括：

所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。

其中，所述获取所述标注点处的深度信息，包括：

采用深度传感器、红外测距传感器、tof相机、结构光相机中的一种或多种获取所述标注点处的深度值。

进一步的，还包括：

获取所述待调整像素值后，将所述待调整像素值实时发送给专家端，并根据所述待调整像素值实时调整所述求助端和专家端的第二图像信息上所述标注点的位置。

一种基于ar的远程协助系统的交互系统，包括第一用户设备和第二用户设备；

所述第一用户设备用于获取待协助现场的第一图像信息并将所述第一图像信息发送至第二用户设备；

所述第二用户设备用于将专家完成标注后的标注点的位置信息实时返回给的第一用户设备；

所述第一用户设备还用于获取所述标注点处的深度信息以及该第一用户设备相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；并根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置。

其中，所述第一用户设备包括：

摄像头，用于获取待协助现场的第一图像信息；

第一通信模块，用于将所述第一图像信息发送至所述第二用户设备；

深度相机传感器，用于获取所述标注点位置的深度信息；

第一传感器，用于获取所述摄像头相对于上一时刻的移动信息；

第一处理器，用于所述深度信息和移动信息计算标注点的待调整量，并根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置。

在其他实施例中，深度相机传感器还可以替换为红外测距传感器、tof相机、结构光相机，通过这些传感器中的一种均可以获取标注点处的深度值。

其中，所述第二用户设备包括：

第二通信模块，用于接收所述第一用户设备发送的第一图像信息；

第二显示屏，用于呈现所述第一图像信息；

输入装置，用于专家在所述第一图像信息上进行标注；

第二处理器，用于提取所述标注后在第一图像上的位置信息，并将所述标注点的位置信息发送给所述第一用户设备。

其中，所述根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置，包括：

所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。

一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。

依据上述实施例的基于ar的远程协助系统的交互方法和系统，将专家标注后的标注点的位置信息实时返回给求助端，获取所述标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算出该标注点的待调整量，然后根据待调整量实时调整标注点在求助端和专家端显示的第二图像信息上的位置，以消除由于用户头部晃动而引起的专家端返回的标注点在用户端显示时与实际标注位置产生的偏移，使得在实时标注时，即使用户端头部佩戴的ar设备有晃动，通过该方法依然能准确地进行标注，提高了远程协助的效果。

附图说明

图1为本申请实施例的交互方法流程示意图；

图2为本申请实施例的交互系统结构示意图；

图3为本申请实施例的交互系统工作时交互方法流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

在本发明实施例中，提供一种基于ar的远程协助系统的交互方法，通过用户佩戴在头部的ar眼镜或手持终端实时获取待协助现场的第一图像信息并将第一图像信息发送至专家端，专家端收到该信息后对该第一图像信息进行呈现，专家进行标注后系统记录住该标注点在显示屏上的位置信息，即坐标信息，求助端的ar眼镜获取标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据该深度信息和移动信息计算标注点的待调整量，然后根据待调整量实时更新标注点在第二图像信息上的位置，这样消除由于用户头部晃动而引起的专家端返回的标注点在用户端显示时与实际标注位置产生的偏移，达到准确标注的目的，提高了远程协助的效果。

其中，在求助者和专家端显示的第一图像信息是求助端采集的原始图像，即未标注的图像信息，第二图像信息是在第一图像信息上标注完之后的图像，即包括标注点的图像信息，标注完成之后，求助者和专家端显示的都是第二图像信息。

实施例一：

请参考图1，本实施例提供一种基于ar的远程协助系统的交互方法，该方法包括：

s101：实时获取待协助现场的第一图像信息。用户在进行设备维修或者设备拆装时通过佩戴在头部的ar头盔实时获取现场的第一图像信息。

s102：将第一图像信息发送给专家端。通过专家端的第二用户设备对第一图像信息进行呈现，专家在第一图像信息上进行标注，第二用户设备记录该标注点在显示画面上的坐标信息。

s103:将专家在第一图像信息上标注的标注点位置信息发送给求助端；完成对第一图像信息的标注后，将标注点的坐标信息发送给求助端。

s104:求助端接收到标注点的位置信息，获取该标注点的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算标注点的待调整量。通过深度相机传感器获取标注点的深度信息，同时获取用户佩戴的ar眼镜相对于上次获取第一图像信息时的移动信息，该移动信息包括转动量和位移量，根据获取的深度信息以及转动量和位移量即可计算出标注点相对于上一时刻的待调整量。其中当前时刻相对于上一时刻的转动量和位移量通过ar眼镜中的传感器测(例如imu传感器)得。

s105:根据所述待调整量实时更新标注点在第二图像信息上的位置。根据计算得到的待调整量再结合当前显示屏每个像素的间距，即可计算出标注点需要调节的像素个数，根据该像素个数调整标注点，以完成对标注点位置的更新，这样当前显示画面上标注点的位置刚好对应专家标记的标注点的位置，使得标注更加精确，有利于远程协助。

s106:将待调整量发送给专家端，求助端实时的将计算得到的待调整量(即像素个数)返回给专家端，或者将当前时刻标注点的坐标返回专家端。

s107:根据待调整量实时更新标注点在专家端显示画面上的位置，专家端接收到该待调节量后根据该待调节量实时调节显示画面上标注点的位置，或者专家端接收到新的标注点坐标后在显示画面上实时显示新的标注点位置。

通过本实施例的交互方法，可以实时的获取用户头戴ar眼镜的移动信息，根据该移动信息以及标注点的深度值计算出标注点的待调节量，然后根据该待调节量实时更新标注点的位置，以消除由于用户头部晃动而引起的专家端返回的标注点在用户端显示时与实际标注位置产生的偏移，该方法保证了远程协助时标注的准确性，提高了远程协助的效果。

实施例二：

请参考图2，本实施例提供一种基于ar的远程协助系统的交互系统，该系统包括第一用户设备30和第二用户设备40；

其中，第一用户设备30用于获取待协助现场的第一图像信息并将第一图像信息发送至第二用户设备；

第二用户设备40用于将专家标注后的标注点在所述第一图像信息上的位置信息实时返回给的第一用户设备；

其中，第一用户设备30还用于获取标注点处的深度信息以及该第一用户设备相对于上一时刻的移动信息，根据深度信息和移动信息计算标注点的待调整量；并根据待调整量实时更新标注点在所述第二图像信息上的位置。

进一步的，第一用户设备30还用于将计算出来的待调整量(即像素个数)返回给第二用户设备40，第二用户设备40根据接收到的待调整量实时调整标注点的位置，或者第一用户设备30将当前时刻标注点的坐标返回给第二用户设备40，第二用户设备40根据返回的坐标实时更新显示屏上标注点的位置。

本实施例中，第一用户设备30采用ar眼镜，用户佩戴该ar眼镜进行机械组装或者维修，第二用户设备40采用计算机(包括显示屏)，专家可以通过远程的计算机对求助端ar眼镜返回的图像信息进行标注。

具体的，如图2，该第一用户设备30包括：

摄像头301，用于获取待协助现场的第一图像信息；

第一通信模块302，用于和专家端的第二用户设备40进行无线通信，将第一图像信息发送至第二用户设备，通信方法类似手机之间的通信或者手机与计算机之间的通信，如现有的手机端与计算机端之间进行视频的方式类似，此处不再赘述。

深度相机传感器303，用于获取标注点位置的深度信息，即根据该标注点的位置信息获取该位置处的深度值；

第一传感器304，用于获取ar眼镜或者摄像头相对于上一时刻的移动信息，其中上一时刻指的是上次获取待协助现场的第一图像信息并发送给第二用户设备40的时刻。

还包括显示模组306，用于对获取的虚拟的图像信息进行显示，以及返回的标注点在虚拟图像进行显示。

第一处理器305，用于根据深度信息(即深度值)和移动信息计算标注点的待调整量，并根据待调整量实时更新所述标注点在第二图像信息上的位置，其中计算待调整量以及更新标注点的方法和实施例1中相同，此处不再赘述。

其中，第二用户设备40包括：

第二通信模块401，用于和第一用户设备30进行通信，接收第一用户设备发送的第一图像信息；

第二显示屏402，用于呈现第一图像信息，本实施例中第二显示屏即为计算机的显示屏；

输入装置403，用于专家在第一图像信息上进行标注，本实施例中该输入装置403为键盘和鼠标，在其他实施例中输入装置403还可以为可输入显示屏(即现有的触摸屏)，再配合手写笔，如三星的s10手机，可以通过手写笔在显示屏上进行标注和输入。

第二处理器404，用于对标注后的第一图像信息进行处理生成第二图像信息，并将第二图像信息发送给第一用户设备。

其中，根据待调整量实时更新所述标注点在所述第二图像信息上的位置，包括：待调整量包括标注点在第二图像信息上的待调整位移，根据待调整位移结合第二图像信息的像素间距得到待调整像素值，根据待调整像素值调整所述标注点在第二图像信息上的位置。

该系统工作时的交互方法如图3所示，通过该系统可以在基于ar技术进行设备维修、设备拆装等操作时，通过远程协助的方式向专家请求指导，并且可以消除由于头部移动带来的误差，使得专家的标注更加准确，保证了远程协助的效果。

实施例三

本实施例提供一种计算机可读存储介质，该存储介质中包括程序，该程序能够被处理器执行以实现如实施例1提供的基于ar的远程协助系统的交互方法。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。