一种保护前端安全的远程指导方法和系统与流程

本发明涉及增强现实的技术领域，具体涉及一种保护前端安全的远程指导方法和系统。

背景技术：

增强现实远程指导系统是为了解决让远端的专家可以具有像现场的工作人员一样身临其境的体验，并给与现场工作人员最直接、最准确的结合现场实景的指导。

在前端工作的时候，很多时候会遇到前端人员无法解决的问题，这个时候就需要向后端专家请教了。目前可以通过语音交互(电话)，或者视频+语音交互(实时视频)来实现目标。但是这两种方式会很有局限性：

其一、前后端人员交互会很不方便，信息指代不明确。专家仅通过语言很难让前端用户明确的获知自己应该怎么操作。

其二、对于通过音频和视频传输的方案，等于将前端的所有情况都毫无保留的展示给后端。如果前端用户场景涉及隐私问题，或者涉及商业秘密、国家秘密，不方便后端专家看到的时候，将导致大量前端用户隐私被泄露，造成用户安全隐患。

技术实现要素：

有鉴于此，本发明提供了一种保护前端安全的远程指导方法和系统，能够在受限的条件下依然完成指导任务，保护前端的信息安全，而且前后端专家设备双方明确信息指代，提高远程指导的有效性。

为了解决上述技术问题，本发明是这样实现的。

一种保护前端安全的远程指导方法，前端增强现实设备和后端专家设备通过具有3个传输层的信息交互链路交互信息，3个传输层分别是视频层、音频层和数据层，分别用于传输视频信息、音频信息和交互数据；该方法包括如下步骤：

步骤一、前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；前端增强现实设备采集真实场景的视频信息、音频信息以及交互数据；前端增强现实设备的交互数据包括表征前端增强现实设备视角的信息，以及表征虚拟模型变化的信息；

步骤二、根据用户选定的传输层，前端增强现实设备利用3层信息交互链路中的1层或1层以上进行信息传输；选定的传输层至少包括数据层；

步骤三、后端专家设备根据自身存储的虚拟模型以及所接收的交互数据，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致；如果接收到音、视频，将重构的指导对象和指导动画叠加到视频中，播放音频；

步骤四、后端专家设备接收专家输入的指导信息，将指导信息同步至前端增强现实设备，由前端增强现实设备结合虚拟模型进行展示。

优选地，所述表征前端增强现实设备视角的信息包括增强现实设备的运动姿态和摄像头变焦信息；所述表征虚拟模型变化的信息为虚拟模型的位置、旋转和缩放信息。

优选地，所述指导信息包括语音指导信息和数字指导信息，所述数字指导信息包括标注信息和/或对虚拟模型的变换；所述语音指导信息通过语音层同步至前端增强现实设备进行播放；所述数字指导信息通过数据层同步至前端增强现实设备。

优选地，前端增强现实设备和后端专家设备配置有相同的指导步骤；指导步骤按顺序执行，每个指导步骤对应不同的指导动画，前端增强现实设备和后端专家设备通过数据层同步当前指导步骤，同步播放对应的指导动画。

本发明还提供了一种保护前端安全的远程指导系统，包括前端增强现实设备和后端专家设备，前端增强现实设备和后端专家设备通过具有3个传输层的信息交互链路交互信息，3个传输层分别是视频层、音频层和数据层，分别用于传输视频信息、音频信息和交互数据；

所述前端增强现实设备，用于将指导对象和指导动画的虚拟模型叠加到真实对象上显示；采集真实场景的视频信息、音频信息以及交互数据，该交互数据包括表征前端增强现实设备视角以及虚拟模型变化的信息；根据用户选定的传输层，利用3层信息交互链路中的1层或1层以上进行采集信息的传输，选定的传输层至少包括数据层；当接收到来自后端专家设备的指导信息后，结合虚拟模型进行展示；

所述后端专家设备，用于根据所接收的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致；如果接收到音、视频，则将重构的指导对象和指导动画叠加到视频中，播放音频；接收专家输入的指导信息，同步至前端增强现实设备。

优选地，所述表征前端增强现实设备视角的信息包括增强现实设备的运动姿态和摄像头变焦信息；所述表征虚拟模型变化的信息为虚拟模型的位置、旋转和缩放信息；

所述指导信息包括语音指导信息和数字指导信息，所述数字指导信息包括标注信息和/或对虚拟模型的变换。

优选地，所述前端增强现实设备中配置有视频采集模块、前端音频采集及接收模块、前端数据采集模块、前端同步模块和传输层选择模块；

前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；

视频采集模块，用于采集真实场景的视频信息，通过视频层发送给后端专家设备；

前端音频采集及接收模块，用于采集真实场景的音频信息，通过音频层发送给后端专家设备；播放来自后端专家设备的语音指导信息；

前端数据采集及接收模块，用于采集前端增强现实设备的状态，通过数据层发送给后端专家设备；

传输层选择模块，用于接收用户对传输层的选定，选定的传输层至少包括数据层；禁止所述视频采集模块和所述前端音频采集及接收模块将用户未选定的传输层的数据发送给后端专家设备；

前端同步模块，用于将前端增强现实设备中虚拟模型的当前变换姿态通过数据层同步至后端专家设备，将后端专家设备同步过来的作为数据指导信息的标注信息和/或对虚拟模型的变换叠加到虚拟模型上展示。

优选地，所述后端专家设备包括后端视频接收模块、后端音频采集及接收模块、后端数据采集模块、后端同步模块和后端显示模块；

后端视频接收模块，用于通过视频层接收前端增强现实设备的视频信息；

后端音频采集及接收模块，用于通过音频层接收并播放来自前端增强现实设备的音频信息，采集专家的语音指导信息，通过音频层发送给前端增强现实设备；

后端数据采集模块，用于采集专家的数据指导信息，包括标注信息和/或对虚拟模型的变换，发送给后端同步模块；

后端同步模块，用于将专家的数据指导信息通过数据层同步至前端增强现实设备，根据来自前端增强现实设备的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，将重构的指导对象和指导动画发送给后端显示模块；

后端显示模块，用于将重构的指导对象和指导动画叠加到后端视频接收模块接收的视频信息中显示；如果未接收到视频，则直接显示重构内容。

优选地，前端同步模块和后端同步模块中均存储有相同的指导步骤；各指导步骤按按顺序执行，每个指导步骤对应不同的指导动画，前端同步模块和后端同步模块通过数据层同步当前指导步骤，前端增强现实设备和后端专家设备同步播放对应的指导动画。

优选地，前端增强现实设备进一步包括用户操作面板模块，用于接收用户对指导步骤的选择，将用户选择通过数据层同步到后端专家设备。

有益效果：

(1)本发明将前端和后端的信息交互链路设计为3层，视频层，音频层和数据层。当前端用户场景中出现隐私问题的时候，用户可以主动关闭视频或者音频传输通道，仅通过数据层进行内容的传输。即使在没有视频或者音频传输的情况下，由于有数据传输，后端专家虽然不能了解前端的实景内容，但是却可以利用虚拟模型以及第一视角，知道前端人员和周边三维世界的关系，以及要指导的标的物之间的关系，即使看不到实景，后端专家也可以通过在三维世界中的标注，继续指导前端人员，在受限的条件下依然可以完成任务。

(2)本发明在前后端的交互内容中加入了数据，使用交互的数据，后端专家设备可以获得与前端增强现实设备相同的视角，专家的指导信息也能够正确的叠加在真实场景当中，从而令双方的交互更加准确，解决前后端专家设备人员交互不便，信息指代不明确的问题。

附图说明

图1为本发明系统结构示意图。

图2为前端视频和数据传输到后端的情况。

图3为前端数据没有传输到后端的情况。

图4为一个对待维修设备操作的前端第一人称视角。

具体实施方式

本发明提供了一种保护前端安全的远程指导方案，其基本思想为：在增强现实远程指导的同时，当前端用户场景中有需要保密的内容的时候，可以主动通过三层网络传输模块关闭视频或者音频传输通道，从而保证用户的隐私性，并达到稳定进行远程指导的目的。

为了保证关闭视频和音频传输通道数据的情况下，专家仍能够实现指导。本发明在视频和语音交互的基础上，又增加了数据交互，后端专家设备可以根据交互数据重建前端场景的模型信息，并和实景完全匹配起来，使得后端专家设备也拥有与前端用户设备相同的第一人称视角信息。专家可以在后端在虚拟模型上进行操作或增加标注信息，操作结果和标注信息会传回至前端设备，并显示，从而帮助用户明确获知专家的指导，解决了限制条件下的远程指导问题，保证用户隐私，同时也解决了前后端人员交互不便，信息指代不明确的问题。

下面结合附图并举实施例，对本发明进行详细描述。该方法包括如下步骤：

步骤一、在前端增强现实设备与后端专家设备之间构建具有3个传输层的信息交互链路，3个传输层分别是视频层、音频层和数据层，分别用于传输视频信息、音频信息和交互数据。用户可以根据当前情景，对3个传输层进行选择，可以关闭音频层和/或视频层，至少保留一个数据层。

步骤二、前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示。其中指导对象是指例如空调、汽车、打印机等需要维修的对象。指导动画是指以动画形式展示的螺丝刀、箭头等用于指导用户操作的动画。当虚拟模型有所变化时，能够位置对应的反应到真实对象上，便于用户的理解和操作。

虚拟物体与真实场景中的物体重合，可以采用图像识别技术实现。在真实场景中放置一个标记点，该标记点可以是一张具有明显纹理特征的图像。前端增强现实设备可以通过摄像头采集该标记点的图像并进行识别，从而将虚拟物体所在的虚拟空间的坐标系与现实场景中的坐标系重合，来达到虚拟物体能够正确的与真实场景中的物体重合的目的。

步骤三、前端增强现实设备采集真实场景的视频信息、音频信息，并且获取表征前端增强现实设备视角的信息，以及表征虚拟模型变化的信息，这两种信息都作为交互数据。然后，将视频信息、音频信息和交互数据传输至后端专家设备。

对于视频采集，本步骤中，将视频采集模块部署在前端增强现实设备上，采集真实场景中的视频信息，然后将采集到的视频信息进行h.265编码。将编码后的视频信息以字节的形式采用http/tcp通过3层信息交互链路中的视频层，由前端增强现实设备传输到后端专家设备。在后端专家设备中保有与前端增强现实设备同样的指导程序，当视频由前端增强现实设备通过视频层传到后端专家设备的时候，经过解码将视频显示在后端专家设备上，这样使得后端专家拥有与前端用户同样的视频画面。仅仅如此还不够，因为视频流仅仅传输了前端的视频信息，也就是前端的真实场景中的信息，但是前端的虚拟信息并没有传递过来，如图3所示，这一问题在后文的描述中来解决。

对于音频采集，本步骤中，将音频采集及接收模块分别部署在前端增强现实设备以及后端专家设备上，采集前端增强现实设备和后端专家设备的音频信息，然后将采集到的音频信息进行编码。通过3层信息交互链路中的音频层，传递到两端的音频采集及接收模块中进行解码播放，实现前端用户与后端专家的对话。

上述音频层和视频层都是可以由用户决定是否关闭传输的，这里需要说明的是，用户关闭的是单向传输，也就是限制了前端向后端的传输，并不影响后端指导语音的回传。

对于交互数据，前端发送给后端的交互数据包括表征前端增强现实设备视角的信息以及表征虚拟模型变化的信息。其中，表征前端增强现实设备视角的信息为前端增强现实设备的状态，包括增强现实设备的运动姿态和摄像头变焦信息。在后端专家设备放置一个与前端设备相同姿态的虚拟摄像机，利用增强现实设备的状态可以模拟出用户的第一人称视角。表征虚拟模型变化的信息为虚拟模型的当前变换状态，包括虚拟模型的位置、旋转和缩放信息。这些状态信息可以帮助后端专家设备重建对象及其与三维环境之间的关系。并且为了解决虚拟信息没有通过视频流一同传输过来的问题，在后端专家设备上部署与前端增强现实设备中相同的虚拟模型，通过数据交互来进行模型位姿、大小的同步，而且不需要交互模型本身，这样交互信息量比较少。

具体来说，后端专家设备仅仅拥有前端用户的视频内容是远远不够的，因为不知道前端用户距离物体远近，相对物体的方向等信息，因此后端专家设备的虚拟内容不能够正确的叠加在视频内容上，会导致显示错误。因此，在后端专家设备上部署一个虚拟摄像机用于模拟前端增强现实设备的姿态信息，也就是说模拟出前端操作者的头部姿态。前端增强现实设备采集到前端用户的设备姿态，即移动和旋转，以字节的形式通过tcp协议传输到后端专家设备，后端专家设备接收到姿态信息后，通过该信息模拟出前端用户的设备姿态，使虚拟内容正确叠加在视频当中，如图2所示。

步骤四、前端增强现实设备根据用户对传输层的选定，进行信息传输。禁止将用户未选定的传输层的数据发送给后端专家设备。

步骤五、后端专家设备根据所接收的交互数据，以及后端专家设备自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致。显示时，如果有视频信息传来，则将重构的指导对象和指导动画叠加到视频中，同时播放音频，从而营造一个与实际相同的三维环境。如果没有视频，则直接显示重构的虚拟内容。

步骤六、后端专家设备接收专家输入的指导信息，指导信息可以包括语音指导信息和数据指导信息，数据指导信息例如标注信息(维修的标记点)和/或对指导对象、指导动画的变换(移动等)，将指导信息通过3层信息交互链路同步至前端增强现实设备，其中，语音指导信息走音频层，数据指导信息走数据层。

在后端专家设备中，专家可以通过后端显示的模型为前端增强现实设备指示当前操作步骤，例如在需要维修的位置添加一个标记点，并且通过移动模型来告诉前端增强现实设备如何操作的。

步骤五、前端增强现实设备接收指导信息，结合虚拟模型进行展示。

本步骤中，对于语音指导信息，进行播放；对于数据指导信息，施放到虚拟模型上进行展示，这样，前端用户就可以看到专家指导了。

由以上方案可以看出，本方案通过三层信息交互链路的设计，当前端用户场景中有需要保密的内容的时候，用户可以主动关闭视频或者音频传输通道，仅通过数据层进行内容的传输，从而保证用户的隐私性，并达到稳定进行远程指导的目的。而且，由于加入了数据交互的设计，使得前后端专家设备指代清楚，提高指导有效性。

为了让未受过训练的人员也能够使用本发明，本发明在前端增强现实设备和后端专家设备配置了相同的指导程序。指导程序中具有多个需要依次执行的指导步骤。每个指导步骤对应不同的指导动画，例如第一步是拧开螺丝，第二步是翻开上盖。前端增强现实设备的每一部操作都可以同步到后端专家设备设备中，后端专家设备对虚拟模型的操作也可以同步到前端增强现实设备当中以指导前端用户。因此，前端增强现实设备和后端专家设备需要通过数据层同步当前指导步骤，从而使得前、后端同步播放对应的指导动画。

具体来说，用户在使用增强现实设备进行步骤化的指导的时候，同步模块将该当前步骤指令通过3层信息交互链路的数据层传到后端专家设备中。在后端专家设备中同样保有前端增强现实设备的指导内容，当后端专家设备的同步模块接收到来自前端增强现实设备发送的数据指令后，根据指令在后端专家设备中执行对应步骤的内容。类似的，后端专家设备中也部署有同步模块，当后端专家进行操作的时候，例如专家对当前步骤的虚拟内容进行拖拽的操作，同步模块会发送同步指令通过数据层传输到前端增强现实设备当中完成同步。如此保证了前端增强现实设备与后端专家设备的内容的同步。

为了实现本发明的一种远程指导方法，本发明还提供了一种如图1所示的远程指导系统。该远程指导系统包括一台前端增强现实设备和一台后端专家设备。

下面针对前端增强现实设备进行描述。

前端增强现实设备除了具有自身的增强现实功能，还配置了视频采集模块、前端音频采集及接收模块、前端数据采集模块、前端同步模块和传输层选择模块；

前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；

视频采集模块，用于采集真实场景的视频信息，通过视频层发送给后端专家设备；

前端音频采集及接收模块，用于采集真实场景的音频信息，通过音频层发送给后端专家设备；播放来自后端专家设备的语音指导信息；

前端数据采集及接收模块，用于采集前端增强现实设备的状态，通过数据层发送给后端专家设备；

传输层选择模块，用于接收用户对传输层的选定，选定的传输层至少包括数据层；禁止所述视频采集模块和所述前端音频采集及接收模块将用户未选定的传输层的数据发送给后端专家设备；

前端同步模块，用于将前端增强现实设备中虚拟模型的当前变换姿态通过数据层同步至后端专家设备，将后端专家设备同步过来的作为数据指导信息的标注信息和/或对虚拟模型的变换叠加到虚拟模型上展示。

后端专家设备包括后端视频接收模块、后端音频采集及接收模块、后端数据采集模块、后端同步模块、后端显示模块和网络环境自适应模块。

后端视频接收模块，用于通过视频层接收前端增强现实设备的视频信息；

后端音频采集及接收模块，用于通过音频层接收并播放来自前端增强现实设备的音频信息，采集专家的语音指导信息，通过音频层发送给前端增强现实设备；

后端数据采集模块，用于采集专家的数据指导信息，包括标注信息和/或对虚拟模型的变换，发送给后端同步模块；

后端同步模块，用于将专家的数据指导信息通过数据层同步至前端增强现实设备，根据来自前端增强现实设备的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，将重构的指导对象和指导动画发送给后端显示模块；

后端显示模块，用于将重构的指导对象和指导动画叠加到后端视频接收模块接收的视频信息中显示；如果未接收到视频，则直接显示重构内容。

优选地，前端同步模块和后端同步模块中均存储有相同的指导步骤；各指导步骤按按顺序执行，每个指导步骤对应不同的指导动画，前端同步模块和后端同步模块通过数据层同步当前指导步骤，前端增强现实设备和后端专家设备同步播放对应的指导动画。

为了便于操作，前端还提供了用户操作面板，该面板可以是虚拟的或是实际的，用户通过操作面板进行指导步骤的前进、后退、开始、结束、跳过等操作。用户的操作也通过数据层同步到后端。

下面举一个具体操作实例：

如图4所示，用户需要对设备进行维修工作。前端用户使用增强现实设备中的维修程序可以一步一步的对需要维修的设备进行维修的提示指导。首先，程序会识别出现实场景，通过增强现实设备将虚拟信息正确叠加在真实场景当中。然后，用户呼出虚拟菜单，点击虚拟按钮可以观看不同的步骤信息，在每一步当中，虚拟信息都会做出相应的变化，例如，螺丝刀会移动到需要拆装的部位来提示用户使用螺丝刀对当前部位进行拆装操作，同时用户视角中会显示当前的步骤信息。当用户对维修有疑问的时候便可以呼叫后端专家来对其进行指导，点击指导按钮的时候，前端设备通过数据传输模块将命令转换为可传输字节形式，通过三层网络传输模块中的数据传输通道传输到后端。后端指导设备接收到命令，与前端设备建立视频和音频的通信连接。接着，前端将前方用户的增强现实设备中采集到的视频信息通过视频层传输到后端。同时，前端设备将设备姿态信息采用数据层传输到后端虚拟摄像机当中来模拟前端用户的第一人称视角。由于后端设备上有一套与前端一样的维修步骤程序，因此，后端将模拟出前端用户第一视角中的真实场景内容以及虚拟场景中的内容。此时，后端专家便可以对前端用户进行指导。具体可以进行的操作为：专家可以对后端设备中的虚拟场景中的物体进行拖动、旋转以及缩放的操作，这些操作会触发后端的同步模块，将这些操作以字节的形式通过数据层传输到前端设备当中，并将拖动、旋转或者缩放的操作施放到指定的虚拟物体上，使前端用户可以看到后端专家的操作行为。并且后端专家可以在虚拟场景中添加标注点来提示前端用户。当前端用户在进行步骤变更的同时，也会触发同步模块，将当前步骤通过数据层传输到后端设备当中。后端设备接收到相应的步骤并在自己的指导程序中执行指定步骤来达到与前端的同步。

当用户端环境限制不能传输语音时，关闭音频层传输，只传输视频和交互数据，从而保证前端私密性。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。