一种基于增强现实的远程视频交互系统以及方法与流程

本发明涉及一种基于增强现实的远程视频交互系统以及方法，属于远程视频交互技术领域。

背景技术：

随着互联网技术的快速发展，基于网络技术的远程交互方式在越来越多的领域被广泛应用。手机、电脑等电子设备的处理器不断发展，使得增强现实(Augmented Reality，AR)的应用越来越被人们所接受。将增强现实技术用于远程交互领域，是一种全新的远程沟通、交流、生活工作方式。

增强现实AR技术是将计算机生成的虚拟信息(文字，图片，三维模型动画等)叠加显示在真实世界中的技术，它提高了用户对现实世界感知力，改变了用户观察世界的方式。AR技术结合三维跟踪技术，通过计算机计算出虚拟信息在真实环境中的位置并显示在输出设备中(如手机屏幕、智能眼镜等)，近年来被广泛应用于工业、军事、医疗、教育、娱乐等多个领域。

1.跟踪注册技术

对于AR来说就是要实时、准确地获取当前摄像机位置和姿态，再计算出虚拟物体在真实世界中的位置，最后进行虚实融合并显示在屏幕上。其中摄像机位置、姿态的获取方法即为跟踪注册技术，可以分为以下3类：

1)基于传感器的跟踪注册技术：主要通过硬件传感器，如磁场传感器、惯性传感器、超声波传感器、光学传感器、机械传感器等对摄像机进行跟踪定位。这类传感器技术算法简单，获取速度快，但设备较为昂贵，且容易受外界环境的影响。

2)基于计算机视觉的跟踪注册技术：是通过分析处理拍摄到的图像数据信息识别和定位真实场景环境，进而确定现实场景与虚拟信息之间的对应关系。该方法一般只需要摄像机拍摄到的图像信息(如人工标志或自然特征)，对硬件要求较低，对图像识别算法速度和精度要求高

3)综合视觉与传感器的跟踪注册技术是前两者的结合，例如苹果公司推出的ARKit和Google公司推出的ARCore，就利用了传感器加视觉跟踪的方式在移动端实现了比较好的效果。

2.显示技术：

显示技术是增强现实系统中的重要组成部分，目前，常用的显示设备有头戴式显示设备、计算机屏幕显示设备(投影显示设备)及手持式移动显示设备等

1)头戴式显示设备主要是光学透视式头盔显示器，内部集成了中央处理器(CPU)、图形处理器(GPU)和全息处理器(HPU)，根据光的反射原理，通过多片光学镜片的组合，为用户产生虚拟物体和真实场景相互融合的画面，例如：Hololens。

2)计算机显示屏(投影显示设备)作为AR输出设备，通常体积较大，浸感较弱，多用于室内或大范围的多用户场景中。

3)手持式移动显示设备如智能手机，Pad等允许用户手持的设备。通常体积小、重量轻便于携带，但沉浸感较弱且硬件性能参差不齐影响用户的体验。

3.人机交互技术

目标是让用户能够在现实世界中感受到近乎真实的虚拟物体，人机交互方式的好坏很大程度上影响了用户的体验。一般来说，传统的交互方式主要有键盘、鼠标、触控设备等，近年来还出现了一些更自然的基于语音、触控、眼动、手势和体感的交互方式。

1)基于传统的硬件设备的交互技术，如鼠标、键盘、手柄这类方法简单易于操作，但与用户交互不够自然，降低了沉浸感。

2)基于语音识别的交互技术是与用户最直接的交互方式，但需要处理大量信息来获取指令，如Siri。

3)基于触控的交互技术较传统的键盘鼠标输入更为人性化，随着智能移动终端的普及更容易被用户认可。

4)基于动作识别的交互技术通过对动作捕获系统获得的关键部位的位置进行计算、处理，分析出用户的动作行为并将其转化为输入指令，实现用户与计算机之间的交互。如Hololens采用深度摄像头获取用户的手势信息进行交互。这类交互方式不但降低人机交互的成本，而且更符合人类的自然习惯，较传统的交互方式更为自然、直观易于用户接受。

5)基于眼动追踪的交互技术通过捕获人眼在注视不同方向时眼部周围的细微变化，分析确定人眼的注视点，并将其转化为电信号发送给计算机，实现人与计算机之间的互动，这一过程中无需手动输入。

增强现实技术可广泛应用于远程交互。目前增强现实领域的远程交互多采用一对一或一对多的方式，由增强现实终端向远程专家发起一对一或一对多的远程交互，远程专家对增强现实终端采集的实时画面进行观察后向增强现实终端提供指导文本、图片等数据。

发明专利CN201610801442.5提出了一种基于增强现实技术的交互式远程专家协作检修系统及方法，它利用增强现实技术，将专家反馈信息、现场客户采集视频或图像和当前设备的状态信息合成增强现实视频，解放客户双手。但是，该专利不支持真实场景结合到AR过程中，不支持多人视频会议；不支持离线AR视频消息；只有远程专家可以进行AR勾画处理，现场客户端人员无法进行AR勾画处理。

发明专利CN201710439165.2提出了一种远程协助方法、系统及增强现实终端，支持多位专家在不同地域同时远程协助现场工作人员。但是，该专利中协助者终端是将所述真实场景信息生成的虚拟场景，为虚拟现实技术(VR)，不是增强现实技术；被协助者只能单向接受AR标注，无法向远程协助专家进行AR数据发送；远程协助专家只能接受真实场景信息转化的信息，无法接受AR增强现实信息。

发明专利CN107395671A提出了一种新型的远程交互技术，支持多位专家在不同地域同时远程交互现场工作人员。该技术方案的缺点在于，需在增强现实终端显示渲染出的三维虚拟场景，或依据真实场景信息解码后在显示模块中还原显示出的图形或视频，被交互终端需要耗费大量时间采集真实场景；被交互终端是增强现实眼镜或有增强现实功能的便携式可移动终端，交互终端是电脑终端。

发明专利CN102054166B提出了在户外复杂的大范围环境下基于增强现实的一种快速、准确的场景识别方法。该专利并未涉及视频语音通话和基于3D和AR交互运维技术。

发明专利CN107547554A提出了一种基于增强现实的智能设备远程交互系统，包括AR智能眼镜、交互计算设备和服务器，该系统着重实现AR智能眼镜与交互计算设备经服务器交互信息，从而提升远程交互的便利性和体验的直观性，在多方视频电话会议和AR互动交互方面未有提及。

发明专利CN108352195A提出了具有用于经由增强现实眼镜远程交互空间放置任务的用户界面的远程交互工作站、方法和系统，可在便携式设备中绘制对应的3D虚拟内容项，并在AR眼镜上显示3D虚拟内容项。该专利同样没有涉及实时多方视频交互和基于AR技术的远程运维交互。

传统远程交互的方式有语音远程交互和传统视频远程交互：语音远程交互只能进行声音的沟通，没有图像传输，不形象不直观；传统视频远程交互与语音远程交互相比，视频交互增加了图像的实时传输，在可视性方面有了极大的突破。但传统的视频远程交互只是单纯的视频通话，而在实际远程交互的场景中，可能会存在多个复杂步骤，然而传统的视频通话却无法对这些步骤进行现场标记，更无法记录包含专业标注信息的视频交流内容。同时，远程应答者通过视频对话向发起者进行帮助的过程中，可能会存在由于描述不到位或理解不到位的原因，导致双方都无法精准找到问题物品的问题部位，甚至可能因为问题描述不清、定位不明而进一步拖延导致问题无法解决。

着眼于现存方案在各方面的不足和缺憾，本专利目标定位为帮助发起者快速精准的找到问题点，通过基于AR的远程交互方式对视频流数据进行准确定位、实时标记；同时包含准确录制带有AR标记内容的视频。在传统的实时视频通讯方法的基础上辅以强大的增强现实AR功能，高效实现远程交互过程中的准确定位、标注，让运维问题的快速解决成为可能。

此外，传统视频交互技术需要双方在线时，发起者和应答者，在一方不在线时，会造成通讯请求的无限延时。本发明还提供了通过离线视频的反馈方式，辅以准确的AR标记、视频录制，在远程应答人员不在线时，用户向服务商提供包含了准确时间标签、求助类型等所需数据，寻求服务商的服务人员给予解决方案以方便应答者上线后快速做出响应，应答者可以在视频记录中进一步做出标记并录制音频记录进行回复，也可以一键回拨与发起者取得实时视频联络，进行现场问题分析和解决。

技术实现要素：

本发明正是针对现有技术中存在的问题，提供一种基于增强现实的远程视频交互方法及系统，该技术方案在支持增强现实的移动终端(手机、平板电脑)上，基于AR图像识别方法，空间定位技术，自主开发的一种软件方法，在传统的视频通讯基础上添加了增强现实的模块，联系单一专家或多方专家进行远程视频交互的方法，允许请求帮助的用户与专家(们)两种在移动终端对视频对象进行精准的圈画标记，对每一个圈画都进行序列标记，同步显示在发起者和应答者(们)双方的多人移动终端上，方便快速精准的描述问题，定位问题，大幅度提升远程交互的成功率以及降低远程运维的沟通成本。

为了实现上述目的，本发明的技术方案如下，一种基于增强现实的远程视频交互方法，其特征在于，所述方法包括以下步骤：

1)融合视频和空间定位技术的AR标记方法；

2)融合AR标记的实时多人视频通信方法；

3)融合AR标记的异步视频消息通信方法；

作为本发明的一种改进，所述融合视频和空间定位技术的AR标记方法，具体步骤如下：

发起者(移动终端A)从摄像头实时采集到当前帧画面；

利用分析软件或算法分析采集到图像中的对比度差、色差等信息，从而计算出图像中特征点，算法可以是Sift算法、Surf算法等；

当移动终端A的摄像头发生位置、角度变化时，所采集到的画面也会随之变化，再根据特征点可以计算出相对位置变化；

将这种变化量转化为三维坐标修正参数，用于虚拟物体定位。

在虚拟的环境中所绘制的内容是属于三维空间的一部分，所以当观察角度发生变化时也要随之变化。空间定位技术可使应答者在视频远程交互时，在移动终端B对视频进行精准的AR圈画标记，同步地显示在移动终端A上。当视频通话的画面移动时，应答者在移动终端B的标注仍能跟随标记物移动，且当标记物移动出画面时，显示箭头提示发起者找回标记物，保证标记始终在某物体上。

在虚拟三维空间绘制内容时，从摄像机投出射线与虚拟空间中某一平面相交产生三维坐标信息。连接若干点后形成所绘制的图形，并保存其三维坐标信息。

将绘制的图形叠加显示在现实场景中，并于场景中特征点建立对应关系。当摄像机产生位移时，将所绘制内容的三维坐标加上偏移量，更新后显示在屏幕上实现空间定位效果。

作为本发明的一种改进，所述融合AR标记的实时多人视频通信方法：

实时视频服务：

视频通话通常指基于互联网和移动互联网端，通过手机之间实时传送人的语音和图像(用户的半身像、照片、物品等)的一种通信方式。

发起者(移动终端A)共享音视频时，通过用户数据报协议(UDP)或实时传输协议(RTP)上传到自有网络服务器上，如果有其它参与人(移动终端B)要与移动终端A进行实时互动，那么移动终端B也是通过UDP连接到自有网络，这样才能达到实时互动的效果。

移动终端A的音视频数据上传到自有网络后，传输经过媒体服务器，再将数据流转成实时消息传输协议(RTMP流)发送到内容分发网络(CDN网络)，这样对于大多数不参与实时互动的发起者就可以从CDN获取音视频数据了，最后，CDN网络通过HLS(Apple的动态码率自适应技术)将音视频数据传输至移动终端B。

与此同时，移动终端A通过超文本传输协议(HTTP)向信令服务器发送会话描述协议(SDP)，然后信令服务器通过HTTP向移动终端B发送该SDP。

融合AR标记的实时视频方法，原理是基于实时视频服务，在移动终端的采集端上传数据到自有网络过程中，加入AR视频标记模块，对采集视频每一帧进行AR标记后，形成新的数据后，再上传到自有网络。

同时，应答者作为移动终端B的使用者，可以暂停当前移动终端B的画面，此时A依然可以进行相机移动，变动自己设备的画面。B在移动终端暂停的页面上进行AR标注，当标注后，取消暂停，画面重新同步A画面，暂停时的标注会以包含空间坐标系和圈画的数据通过SDP传给A，从而达到暂停时AR的标注会在空间坐标系里以对应的方式呈现的目的。

移动终端B可以存在一个也可以存在多个，及提供1对1实时视频交互或者多人实时视频交互。

作为本发明的一种改进，所述融合AR标记的异步视频消息通信方法：

当由于应答者不在线或其他原因导致无法进行增强现实AR视频通话时，提供了对离线实时录制视频的AR标记方法，并开发了异步通信消息管理系统，解决了无法实时视频通话的结合AR标记的离线视频和异步通信消息机制的延时通信方法。

当无法视频通话时，发起者在移动终端上对相机拍摄的实时视频进行边AR标记，边视频录制。当带AR标记的视频录制完成后，填写对应的信息，消息管理系统会针对该段视频，按照时间信息，分类信息，发起对象等信息，分门别类的生成一个工单，并将工单信息推送给对应应答者，应答者上线后可快速做出响应找到问题：可以在视频记录中进一步做出标记并录制音频记录进行回复，也可以一键回拨与请求发起者取得实时视频与联络，进行现场问题分析和解决。

一种基于增强现实的远程视频交互系统，所述系统包括个人模块、管理模块以及AR远程视频交互模块，个人模块历史记录查询和AR实时远程视频，当用户碰到问题后可先在历史视频记录中查看是否有同类型问题。如果没有则进行AR远程视频交互；

其中管理模块包含历史记录查询和工单管理，当用户碰到问题后可先在历史视频记录中查看是否有同类型问题，如果没有则提交向企业提交工单，填写对应工单信息，并向企业的服务人员寻求AR远程视频帮助，如果服务人员在线，则开始AR实时远程视频交互；如果服务人员不在线，则提交AR离线视频；

AR视频交互模块用于融合AR的视频交互，服务器端包含视频服务器以及信令服务器，视频服务器用于传输视频流，以及云端视频流的录制，信令服务器用于传输AR标注数据。客户端用于展现AR视频内容，同时用于标注AR数据。

一种基于增强现实的远程视频交互系统的工作方法，所述方法包括在线远程视频交互步骤与离线远程视频交互步骤；

在线远程视频交互方法的步骤如下：

1.1)发起者向应答者发起远程视频交互请求；

1.2)应答者在线时，接通远程视频通话；双方共享发起者的视频；

1.3)视频过程中，基于图像识别和空间定位技术，双方均可在视频上进行AR标记，不同用户使用不同的颜色和线形标注，可标注操作步骤1.1、1.2、1.3等；

1.4)视频过程中，双方可随时增加应答者，开启多人视频通信，共同讨论发起者的技术问题；

1.5)通话结束后，本次视频交互过程上传保存至视频服务器；

离线远程视频交互方法的步骤如下：

2.1)发起者向应答者发起远程视频交互请求；

2.2)应答者不在线时，发起者针对问题录制短视频，可在视频上增加AR标注；

2.3)发起者向远程视频服务器提交离线视频消息，创建工单；

2.4)应答者上线后，通过查看工单，观看发起者提交的视频，可向发起者发起AR视频请求；发起者在线时，进入步骤2.5；发起者不在线时，进入步骤2.6；

2.5)双方建立远程视频连接，之后执行在线远程视频交互方法；

2.6)应答者可以在手机上或电脑上对视频进行编辑，添加标注，并添加语音，生成一段新的解决方案的视频发送给发起者，等待发起者确认工单是否得到解决；

2.7)如发起者如果有进一步的问题，可以重复步骤2.1提供更多信息。

相对于传统的AR技术，该发明具有以下优点；1)本方法仅需使用发起者和远程应答者的移动终端设备，无需AR眼镜，沟通成本低，沟通效率高，简单方便；2)该技术方案支持发起者和远程应答者在视频通话上的圈画和标注，并用不同颜色区别。基于实时视频交流或者录制交流，辅以AR技术的增强现实标注，配合多方视频会议协助，本方法将高效、准确的定位问题，描述问题，最终为问题快速解决打下坚实基础；3)相比于同类型的AR视频通话，本技术集成了空间定位技术，当视频通话的画面移动时，标注仍能跟随标注物移动，且当标注物移动出画面时，显示箭头提示发起者找回标注物，保证每个AR标注都有迹可循；4)本发明首创集成AR技术的多人视频会议，有效利用群体智慧，高效解决疑难问题。

附图说明

图1a为特征点相对位置变化示意图；

图1b为绘制图形示意图；

图1c为位移后定位偏移转化示意图；

图2为视频通话架构图；

图3为融合AR视频标记的实时视频方法示意图；

图4为融合AR标记的离线视频和异步通信消息的交互方法示意图；

图5为应答者在线时的远程视频交互方法流程示意图；

图6为应答者不在线时的视频交互运维方法示意图；

图7为AR系统模块图；

图8为系统AR视频交互流程示意图。

具体实施方式：

为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。

实施例1：参见图1，一种基于增强现实的远程视频交互方法，所述方法包括以下步骤：

1)融合视频和空间定位技术的AR标记方法；

2)融合AR标记的实时多人视频通信方法；

3)融合AR标记的异步视频消息通信方法；

其中，所述融合视频和空间定位技术的AR标记方法，具体步骤如下：

发起者(移动终端A)从摄像头实时采集到当前帧画面；

利用分析软件或算法分析采集到图像中的对比度差、色差等信息，从而计算出图像中特征点，算法可以是Sift算法、Surf算法等；

当移动终端A的摄像头发生位置、角度变化时，所采集到的画面也会随之变化，再根据特征点可以计算出相对位置变化；参见图1a，

将这种变化量转化为三维坐标修正参数，用于虚拟物体定位。

在虚拟的环境中所绘制的内容是属于三维空间的一部分，所以当观察角度发生变化时也要随之变化。空间定位技术可使应答者在视频远程交互时，在移动终端B对视频进行精准的AR圈画标记，同步地显示在移动终端A上。当视频通话的画面移动时，应答者在移动终端B的标注仍能跟随标记物移动，且当标记物移动出画面时，显示箭头提示发起者找回标记物，保证标记始终在某物体上。

在虚拟三维空间绘制内容时，从摄像机投出射线与虚拟空间中某一平面相交产生三维坐标信息。连接若干点后形成所绘制的图形，并保存其三维坐标信息。

参见图1b、图1c将绘制的图形叠加显示在现实场景中，并于场景中特征点建立对应关系。当摄像机产生位移时，将所绘制内容的三维坐标加上偏移量，更新后显示在屏幕上实现空间定位效果。

参见图2，其中，所述融合AR标记的实时多人视频通信方法：

实时视频服务：

视频通话通常指基于互联网和移动互联网端，通过手机之间实时传送人的语音和图像(用户的半身像、照片、物品等)的一种通信方式，

发起者(移动终端A)共享音视频时，通过用户数据报协议(UDP)或实时传输协议(RTP)上传到自有网络服务器上，如果有其它参与人(移动终端B)要与移动终端A进行实时互动，那么移动终端B也是通过UDP连接到自有网络，这样才能达到实时互动的效果；

移动终端A的音视频数据上传到自有网络后，传输经过媒体服务器，再将数据流转成实时消息传输协议(RTMP流)发送到内容分发网络(CDN网络)，这样对于大多数不参与实时互动的发起者就可以从CDN获取音视频数据了，最后，CDN网络通过HLS(Apple的动态码率自适应技术)将音视频数据传输至移动终端B。

与此同时，移动终端A通过超文本传输协议(HTTP)向信令服务器发送会话描述协议(SDP)，然后信令服务器通过HTTP向移动终端B发送该SDP；

融合AR标记的实时视频方法，原理是基于实时视频服务，在移动终端的采集端上传数据到自有网络过程中，加入AR视频标记模块，对采集视频每一帧进行AR标记后，形成新的数据后，再上传到自有网络。

同时，应答者作为移动终端B的使用者，可以暂停当前移动终端B的画面，此时A依然可以进行相机移动，变动自己设备的画面。B在移动终端暂停的页面上进行AR标注，当标注后，取消暂停，画面重新同步A画面，暂停时的标注会以包含空间坐标系和圈画的数据通过SDP传给A，从而达到暂停时AR的标注会在空间坐标系里以对应的方式呈现的目的。

参见图3，移动终端B可以存在一个也可以存在多个，及提供1对1实时视频交互或者多人实时视频交互。

参见图4，所述融合AR标记的异步视频消息通信方法：

当由于应答者不在线或其他原因导致无法进行增强现实AR视频通话时，提供了对离线实时录制视频的AR标记方法，并开发了异步通信消息管理系统，解决了无法实时视频通话的结合AR标记的离线视频和异步通信消息机制的延时通信方法。

当无法视频通话时，发起者在移动终端上对相机拍摄的实时视频进行边AR标记，边视频录制。当带AR标记的视频录制完成后，填写对应的信息，消息管理系统会针对该段视频，按照时间信息，分类信息，发起对象等信息，分门别类的生成一个工单，并将工单信息推送给对应应答者，应答者上线后可快速做出响应找到问题：可以在视频记录中进一步做出标记并录制音频记录进行回复，也可以一键回拨与请求发起者取得实时视频与联络，进行现场问题分析和解决。

实施例2：参见图7、图8，一种基于增强现实的远程视频交互系统，所述系统包括个人模块、管理模块以及AR远程视频交互模块，个人模块历史记录查询和AR实时远程视频，当用户碰到问题后可先在历史视频记录中查看是否有同类型问题。如果没有则进行AR远程视频交互；

其中管理模块包含历史记录查询和工单管理，当用户碰到问题后可先在历史视频记录中查看是否有同类型问题，如果没有则提交向企业提交工单，填写对应工单信息，并向企业的服务人员寻求AR远程视频帮助，如果服务人员在线，则开始AR实时远程视频交互；如果服务人员不在线，则提交AR离线视频；

AR视频交互模块用于融合AR的视频交互，服务器端包含视频服务器以及信令服务器，视频服务器用于传输视频流，以及云端视频流的录制，信令服务器用于传输AR标注数据。客户端用于展现AR视频内容，同时用于标注AR数据。

工作流程：参见图5，一种基于增强现实的远程视频交互方法，其工作流程如下：

用户分为两种角色：请求发起者(简称“发起者”)和远程应答者(简称“应答者”)。当应答者在线时：

1.发起者碰到问题无法独立解决时，打开移动终端，如手机(移动终端A)，向应答者发起远程视频交互请求；

2.发起者是一个，协助者可以是一个或者多个，每个人绘制的图形使用不同颜色。基于稳定、快速的视频服务技术，提供实时、高并发的1对1或者多人远程视频交互会议；

3.应答者接受到请求后，在自己的移动终端(移动终端B)上与发起者建立视频连接，移动终端所呈现的画面，都是发起者(移动终端A)的摄像头拍摄的画面；

4.发起者与应答者建立视频通话后，基于视频通话向应答者进行咨询，在应答者的语音指导下，发起者将移动终端A的摄像头移动到特定位置，应答者在移动终端B的画面上进行基于AR图像识别的圈画，在发起者的移动终端A画面上可以同步呈现。同理，发起者如果有互动诉求，也可以在移动终端A上进行圈画，应答者的移动终端B画面上也能同步呈现；

5.发起者和应答者的画面永远是同步的，支持双方同时圈画，并且有对应的颜色区分。同时，发起者的圈画标注只有发起者可以编辑，包括删除发起者上一条的圈画，删除发起者的所有圈画；应答者的圈画标注只有应答者可以编辑和删除；

6.基于空间定位技术，双方的AR标注都是在基于真实场景的三维空间坐标系里进行绘制。当视频通话的画面移动时，标注仍能跟随标注物移动；且当标注物移动出画面时，画面显示箭头提示发起者找回标注物；

7.为了防止发起者的镜头晃动过于剧烈导致应答者还没有画完发起者就移开了当前画面，软件为应答者特地提供了暂停画面的功能，暂停后，画面停留在暂停前的最后一帧图像上，应答者可以对当前页面进行AR标注，点击继续按钮，此时双方的画面继续完全同步，应答者暂停时的圈画会在空间坐标系中以对应的形式同步呈现；

8.发起者与应答者的带AR标注的视频通话，都会以视频流的形式，实时存在服务器中，方便以后碰到相同问题的发起者查看，同时帮助企业对运维人员进行工作上的管理；

9.通过视频电话和带空间定位的AR标注的方法，发起者和应答者能快速的找到设备

问题的地点，发起者能在正确的位置进行正确的操作，从而达到解决问题的目的。应答者在线时的远程视频交互方法流程图如图5所示。

当应答者不在线：

1.发起者碰到设备问题无法独立解决时，打开移动终端，如手机，向应答者发起远程交互请求，如应答者在线，进行AR远程视频交互通话，流程如图5；

2.发现应答者不在线或者碰到问题时不在应答者的服务时间时，发起者可以向远程视频服务器提交离线视频消息，类似于创建一个可以稍后处理的工单；

3.提交离线视频消息时，在移动终端上填写基本信息后，需要拍摄一段带AR标注的视频图像提交，在视频中，发起者可以对有疑问的具体设备进行圈画标注并配合视频语音描述；

4.当应答者在线后，通过查看工单并观看发起者提交的视频后，了解到发起者的具体问题，向发起者发起AR视频请求，如发起者在线，双方建立AR视频连接，流程如图5；

5.如发起者不在线，应答者可以在手机上或电脑上对视频进行编辑，添加标注，并添加语音，生成一段新的解决方案的视频发送给发起者，等待发起者确认工单是否得到解决；

6.如发起者如果有进一步的问题，可以重复步骤1提供更多信息。

应答者不在线时的视频交互运维流程图如图6所示：

应用场景：

家用场景：

发起者碰到问题后直接向可能知道问题方法的人进行AR视频请求，应答者应答后AR视频交互流程如下。

发起者的前面有一台电风扇，后面有一台冰箱，发起者打开手机摄像头先对我们的电风扇进行圈画，记作圈画1，圈画颜色为黄色。同时应答者在手机上也对电风扇进行了圈画，记作圈画2，圈画颜色为蓝色。双方都圈画完成后，发起者拿着手机180°转身去圈画冰箱时，电风扇消失在了发起者手机的镜头之中。这时，圈画1和圈画2的图形也都消失在发起者和应答者的手机画面上，取而代之的是一个黄色的箭头和一个蓝色的箭头在双方的手机画面呈现，箭头的指向为身后(即刚才圈画的电风扇的位置)，代表的意思是，在发起者现在的镜头之外，还有一个发起者的圈画和一个应答者的圈画。发起者对电冰箱又进行了1次圈画，记作圈画3，颜色为红，应答者也对电冰箱进行了一次圈画，记作圈画4，颜色为绿。发起者拿着手机再一次180°转身将镜头切换到了刚才拍摄电风扇的位置，圈画3和圈画4都消失在双方的手机画面上，取而代之的是一个红色和蓝色的指向身后的箭头，而最开始的圈画1和圈画2又会再一次在电风扇对应的位置呈现。

工业场景：

发起者碰到设备问题无法独立解决，选择有疑问的设备类型后，系统会提供对应的历史视频给用户查看。仍然无法解决后，按要求填写对应工单信息，如果远程协助人员不在线，则发起者录制本地AR视频进行上传，当远程协助者在线后，查看工单信息进行问题解决。如远程人员在线，则进行AR视频通话。AR视频交互流程同家用场景。完成后视频流会在服务端转成视频文件，进行存储，方便下次查看。

该方案基于实时视频通话技术，保证发起者和远程应答者可共享移动终端的共享画面；集成了支持AR标注的离线视频消息，充分利用异步通信机制，提升信息交流成功率；集成了基于AR的图像识别技术，可对共享画面中的物体提取特征点；支持发起者和远程应答者在视频通话上的圈画和标注，并用不同颜色区别，标注清楚且可共享；集成了空间定位技术，当视频通话的画面移动时，标注仍能跟随标注物移动，且当标注物移动出画面时，显示箭头提示交流者屏幕以外的标注信息；基于视频通信和AR技术，实现多方AR会议，充分发挥多方群体智慧，提升交流质量。

需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。