一种远程协助中视频画面共享标注系统及共享标注方法与流程

本发明涉及远程协助技术领域。具体而言，本发明涉及一种远程协助中视频画面共享标注系统及共享标注方法。

背景技术：

增强现实(augmentedreality，ar)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息通过图像处理等技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术在具体产业领域具有较好的应用前景，能广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

同时，远程协助技术已经从最初的基于计算机的远程桌面协助技术逐渐发展到更多的技术领域，如医疗的远程协助、设备维护远程协助等等，但目前的远程协助主要基于语音、视频的沟通，而且通常是一对一的实时沟通。这种远程协助方法，一方面由于网络等原因导致信息沟通困难，另一方面协助者完全靠语音解释导致沟通效率较低，同时由于是一对一的远程协助，对部分疑难问题无法实现多个远程专家的会诊式协助指导。

针对现有的远程协助系统和方法存在的上述问题，本发明提出一种新型的远程协助中视频画面共享标注系统及标注方法实现多人实时共享视频画面，并基于增强现实技术叠加标注信息，从而实现更复杂问题的高效远程协助。

技术实现要素：

针对现有远程协助系统和方法中存在的沟通效率较低、较难进行会诊式协助指导等问题，本发明提供一种远程协助中视频画面共享标注系统，包括：

第一终端，所述第一终端具有：第一视频获取单元，用于抓取或拍摄视频画面；第一解算单元，用于对所述视频画面进行解算，获取所述视频画面的三维认知信息；第一叠加单元，用于将所述视频画面、三维认知信息和标注信息进行叠加；第一显示单元，用于显示叠加后的视频画面；

第二终端，所述第二终端具有：第二显示单元，用于显示来自第一终端的视频画面以及标注信息；第二标注单元，用于对共享视频画面进行标注；第二解算单元，用于将所述标注解算为标注信息；以及第二叠加单元，用于将所述视频画面、三维认知信息和标注信息进行叠加；以及

共享单元，所述共享单元用于各终端间的数据传输共享。

在本发明的一个实施例中，所述第一终端还包括第一标注单元，用于对视频画面进行标注，并由第一解算单元对所述标注进行解算，获取标注信息。

在本发明的一个实施例中，所述三维认知信息包括当前视频画面中的平面信息、平面中的点信息和所述第一终端的位置信息、姿态信息。

在本发明的一个实施例中，所述第二终端还包括第二视频获取单元，用于抓取或拍摄第二视频画面。

在本发明的一个实施例中，所述第一终端和或所述第二终端为具有摄像装置且安装有专用程序的手持计算设备。

在本发明的一个实施例中，所述第一终端和或所述第二终端为具有摄像装置且安装有专用程序的可穿戴设备。

在本发明的一个实施例中，所述标注信息通过所述所述视频画面的三维认知信息固定在所述视频画面的特定对象上。

在本发明的一个实施例中，所述共享单元共享传输的数据包括视频画面数据、三维认知信息以及标注信息。

在本发明的一个实施例中，具有n个第二终端，其中n大于等于2。

根据本发明的另一个实施例，提供一种远程协助中视频画面共享标注方法，包括：

第一终端获取视频画面；

第一终端解算视频画面获得三维认知信息；

第一终端同步共享视频画面及三维认知信息；

第二终端通过共享获取来自第一终端的视频画面和三维认知信息；

第一终端和/或第二终端对视频画面进行标注操作；

第一终端和/或第二终端将标注操作解算为标注信息；

第一终端和/或第二终端共享三维场景标注信息；

第一终端获取来自第二终端的标注信息；以及

叠加生成带标注的视频画面。

在本发明的另一个实施例中，所述第一终端解算视频画面获得的三维认知信息包括当前视频画面中的平面信息、平面中的点信息和所述第一终端的位置信息、姿态信息。

在本发明的另一个实施例中，所述叠加生成带标注的视频画面是基于视频画面、三维认知信息，将三维场景标注信息在视频画面上进行投影显示。

在本发明的另一个实施例中，具有n个第二终端，其中n大于等于2。

在本发明的另一个实施例中，各第二终端的标注信息共享传输给第一终端和其他所有第二终端。

在本发明的另一个实施例中，所有第二终端和第一终端同时叠加共享接收到所有标注信息，不同第二终端的标注信息通过在叠加后以不同颜色进行区分。

本发明提出一种远程协助中视频画面共享标注系统及共享标注方法，通过在所有终端共享同一终端的视频画面及三维认知信息，并将视频画面与对应三维认知信息进行同步，操作人可根据表达需要可在终端的实景画面上进行标注，更好地表达意图，并通过颜色、形状等对不同终端的标注内容进行区分，所有标注内容共享后叠加至所有终端的视频画面中。基于本发明的该种远程协助中视频画面共享标注系统及共享标注方法，可以实现远程协助中视频画面的共享标注，解决了现有系统中通话人只能语言交流，无法实景互动的痛点，提高远程协助的协助效率，同时可就疑难问题进行多人专家会诊式协助讨论。同时，所有操作在本机进行解算、绘制，并将解算结果同步到所有用户，操作者实时感知，无时延，解算的准确性不受网络时延影响。

附图说明

为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出根据本发明的一个实施例的一种远程协助中视频画面共享标注系统100的原理框架示意图。

图2示出根据本发明的一个实施例的一种远程协助中视频画面共享标注系统100的完成共享标注的效果图。

图3示出根据本发明的另一个实施例的一种远程协助中视频画面共享标注系统300的原理框架示意图。

图4示出基于本发明的一种远程协助中视频画面共享标注系统100进行共享标注的流程图400。

具体实施方式

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

本发明提出一种远程协助中视频画面共享标注系统及共享标注方法，通过在所有终端共享同一终端的视频画面及三维认知信息，并将视频画面与对应三维认知信息进行同步，操作人可根据表达需要在终端的实景画面上进行标注，更好地表达意图，并通过颜色、形状等将来自不同终端的标注内容进行区分，所有标注内容共享后叠加至所有终端的视频画面中。基于本发明的该种远程协助中的视频画面共享标注系统及共享标注方法，可以实现远程协助中视频画面的共享标注，解决了现有系统中通话人只能语言交流，无法实景互动的痛点，提高远程协助的协助效率，同时可就疑难问题进行多人专家会诊式协助讨论。同时，所有操作在本机进行解算、绘制，并将解算结果同步到所有用户，操作者实时感知，无时延，解算的准确性不受网络时延影响。

下面结合图1来详细介绍根据本发明的一个实施例的一种远程协助中视频画面共享标注系统。图1示出根据本发明的一个实施例的一种远程协助中视频画面共享标注系统100的原理框架示意图。如图1所示，该远程协助中视频画面共享标注系统100由第一终端110、第二终端120以及共享单元130构成。

第一终端110可以是远程协助系统的请求终端。第一终端110进一步包括视频获取单元111、解算单元112、叠加单元113以及显示单元114。视频获取单元111用于抓取或拍摄协助环境的视频，通常为视频图像获取设备。在本发明的一个具体实施例中，视频获取单元111为计算设备的摄像头。解算单元112用于对视频获取单元111获取的视频画面进行解算，从而获取对应的三维认知信息。在本发明的一个实施例中，解算单元112解算当前视频画面获取的三维认知信息一方面包括当前视频画面中的有限范围的平面信息(如平面位置、平面范围等)以及平面中的点信息(例如特征点信息)，另一方面包括第一终端110的信息(例如第一终端110位置、姿态信息等)；叠加单元113基于视频画面、三维认知信息以及接收到的三维标注信息进行信息叠加，从而在视频画面上投影显示三维标注信息；显示单元114基于视频画面获取单元111和信息叠加单元113叠加绘制的视频画面进行视频显示。在本发明的一个实施例中，第一终端110为手持计算设备，例如手机、pad等。视频画面获取单元111为手持计算设备的摄像头，解算单元112和叠加单元113分别为基于手持计算设备的处理器进行运算的专用程序模块，显示单元114为手持计算设备的显示屏。在本发明的又一实施例中，第一终端110还可以为可穿戴设备，例如googleglass等。第一终端110可选地可以包括标注操作单元115，用于请求者对共享视频画面进行信息标注。在本发明的一个实施例中，标注单元115可以是触摸式显示屏、鼠标、触写笔等设备。

第二终端120可以是远程协助系统的协助终端。第二终端120进一步包括解算单元122、叠加单元123、显示单元124以及标注单元125。显示单元124用于显示来自第一终端110的视频画面以及三维标注信息；标注操作单元125用于协助者对共享视频画面进行信息标注，在本发明的一个实施例中，标注操作单元125可以是触摸式显示屏、鼠标、触写笔等设备；解算单元122基于标注单元122获取的标注操作，解算为三维标注信息；叠加单元123基于视频画面、三维认知信息以及解算得到的三维标注信息进行信息叠加，从而在视频画面上投影显示三维标注信息。在本发明的一个实施例中，第二终端120也为手持计算设备，例如手机、pad等，显示单元124为手持计算设备的显示屏、标注单元125为手持计算设备的触摸屏，解算单元122和叠加单元123分别为基于手持计算设备的处理器进行运算的专用程序模块。在本发明的又一实施例中，第二终端120也可以为可穿戴设备，例如googleglass等。

第二终端120可任选地包括视频获取单元121。在这种情况下，在该远程协助中视频画面共享标注系统100的工作过程中，第一终端110和第二终端120的显示图像可以进行切换，即，第二终端120作为请求端而第一终端110作为协助端，视频获取单元121所获取的图像为作为共享图像。其他单元的操作与上述描述类似，因此不再详细说明。

共享单元130用于第一终端110和第二终端120间的视频画面数据、语音数据、三维认知信息以及三维标注信息的共享、传输。

图2示出根据本发明的一个实施例的一种远程协助中视频画面共享标注系统100的完成共享标注的效果图。如图2所示，左图为第一终端110的显示画面，右图为第二终端的显示画面，两个显示画面中都已完成三维标注信息的叠加(图中箭头)，其中左图、右图的视频画面发生了一定水平位移，但基于解算后的三维标注信息与三维认知信息的匹配，图示的三维标注信息能分别准确的标示到对应的视频画面中。

图3示出根据本发明的另一个实施例的一种远程协助中视频画面共享标注系统300的原理框架示意图。如图3所示，该种远程协助中视频画面共享标注系统300相对于前述的远程协助中视频画面共享标注系统100，其第二终端(协助终端)具有多个320-1、320-2…320-n，各第二终端320-1、320-2…320-n分别之间以及与第一终端310都形成共享连接，从而实现第一终端310获取的视频画面能实时共享到各第二终端320-1、320-2…320-n，且各第二终端320-1、320-2…320-n的标注操作在解算成三维标注信息后能实时共享到其他第二终端以及第一终端310。在本发明的一个实施例中，为了区别不同第二终端的三维标准信息，可以通过颜色、形状等对不同终端的标注进行区分。在本发明的另一实施例中，第一终端310和第二终端320-1、320-2…320-n都具有操作标注、解算等功能。在本发明的又一实施例中，第一终端310和/或第二终端320-1、320-2…320-n为手机、ipad等手持计算设备或可穿戴电子设备。

在本发明的实施例中，远程协助中视频画面共享标注系统300中除了上述第一终端310和一个或多个第二终端320-1、320-2…320-n之外，还可包括一个或多个参观者330-1、330-2…330-n，参观者320-1、320-2…320-n能观看实时共享视频及标注信息，但不能进行标注操作。

下面结合图4来详细介绍基于本发明的一种远程协助中视频画面共享标注系统100进行远程协助时的共享标注方法。图4示出基于本发明的一种远程协助中视频画面共享标注系统100进行共享标注的流程图400。

如图4所示，首先，在步骤410，第一终端110获取视频画面。在本发明的一个实施例中，第一终端110是具有远程协助中视频画面共享标注系统的手持移动终端，如手机、ipad等，第一终端110通过其摄像头拍摄获取视频画面图像。在本发明的一个具体实施例中，通过打开第一终端110(手机)中的远程协助程序，再通过程序中的摄像模块控制摄像头获取视频画面。

接下来，在步骤420，第一终端110解算视频画面获得三维认知信息。由于不同终端的硬件配置可能存在差异，例如显示屏的像素不同，从而会导致不同终端对同一视频画面解算的三维认知信息不同，因此在本发明的一个实施例中，每一帧视频画面的三维认知信息都由第一终端110进行解算。在本发明的一个具体实施例中，第一终端110的远程协助程序在获得当前帧视频画面，实时解算获得三维认知信息，并将该三维认知信息与当期帧视频画面进行配对组合。

然后，在步骤430，第一终端110同步共享视频画面及三维认知信息。

接下来，步骤440，第二终端120通过共享获得来自第一终端110的视频画面和三维认知信息。在本发明的一个实施例中，第二终端120也为具有远程协助中视频画面共享标注系统的手持移动终端，在获取来自第一终端110的视频画面和三维认知信息前，先和第一终端110建立通讯连接。

然后，在步骤450，对视频画面进行标注操作。具体的标注操作可以是在第一终端110和/或第二终端120显示视频画面时，采用手势、鼠标、键盘等对特定点(位置)进行标注。在下面的描述中以第二终端120进行标注为例进行说明，但本发明的保护范围不限于此，远程协助系统中的任何终端均可对视频画面进行标注并共享。在本发明的一个实施例中，通过第二终端120的触摸显示屏对在该显示屏上显示的视频画面中的特点位置进行标画等操作实现标注操作。为了更好的实现标注准确性，在本发明的又一实施例中，当协助者进行标注时，当前帧视频画面锁定(视频不再播放)，且当前帧视频画面可以采取缩放、移动等操作以方便获得更准确的标注。标注操作包括但不限于标画、选择、文字等各种形式。

接下来，在步骤460，第二终端120将标注操作解算为三维场景标注信息。解算依据当前帧的三维环境认知信息和标准操作形成三维场景标准信息。

然后，在步骤470，第二终端120共享三维场景标注信息。

接下来，在步骤480，第一终端110获取来自第二终端120的三维场景标注信息。在本发明的一个实施例中，具有多个第二终端120，这时其中一个第二终端120共享三维场景标注信息后，第一终端110以及其他第二终端都能共享获取该三维场景标注信息；当多个第二终端120各自完成标注操作，生成各自的三维场景标注信息后，所有三维标注信息都会共享到所有终端。在本发明的一个具体实施例中，通过不同颜色的标注对不同终端的三维场景标注信息予以区分，在本发明的又一实施例中，通过不同形状的标注(例如，线的粗细不同，虚实线不同等)。

最后，在步骤490，叠加生成带标注的视频画面。在本发明的一个实施例中，具体的叠加步骤包括：各终端先将视频画面显示在屏幕，再根据同步共享获得的该帧视频画面的三维认识信息，将共享获得的三维场景标注信息进行投影显示，从而达到操作标注与视频画面叠加。

由于标注信息是基于对视频画面的三维认知信息进行锁定的，因此，在实际的视频通话过程中，标注信息会锁定在视频画面中特定的物体之上，不管视频获取单元的拍摄位置和拍摄角度是否发生改变。当该特定物体在视频画面中消失时，标注信息随之消失。当该特定物体在视频画面中再次出现时，标注信息也随之再次出现在视频画面上。

基于本发明提出的该种远程协助中视频画面共享标注系统及共享标注方法，通过在所有终端共享同一终端的视频画面及三维认知信息，并将视频画面与对应三维认知信息进行同步，操作人可根据表达需要可在终端的实景画面上进行标注，更好地表达意图，并通过颜色、形状等对不同终端的标注内容进行区分，所有标注内容共享后叠加至所有终端的视频画面中。基于本发明的该种远程协助中视频画面共享标注系统及共享标注方法，可以实现远程协助中视频画面的共享标注，解决了现有系统中通话人只能语言交流，无法实景互动的痛点，提高远程协助的协助效率，同时可就疑难问题进行多人专家会诊式协助讨论。同时，所有操作在本机进行解算、绘制，并将解算结果同步到所有用户，操作者实时感知，无时延，解算的准确性不受网络时延影响。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。