一种视频通信的方法及系统的制作方法
【专利摘要】本发明公开了一种视频通信的方法及系统。包括：获取第一会场的三维影像；通过增强现实将获取的所述三维影像显示给第二会场的用户。本发明实施例能够获取第一会场的三维影像，然后将获取的三维影像通过增强现实方式显示给第二会场的用户。由于增强现实方式能够为用户提供真实性较强的三维影像显示功能，因此通过增强现实方式能够彻底摆脱以二维视频信息展示对端会场画面的表示方式，使视频会议更加生动，此外，由于三维影像所能表示的信息量远大于二维视频信息所能表示的信息量，因此能够提高视频会议图像的真实性。
【专利说明】
一种视频通信的方法及系统
技术领域
[0001]本发明实施例涉及视频数据处理技术，尤其涉及一种视频通信的方法及系统。
【背景技术】
[0002]随着中国信息通信网络的持续快速建设，通信水平的大幅度提高为各行各业的信息交流提供了可靠的保证。在诸多通信业务中，视频会议因其实时性高和可视性强而被视为具有良好的发展前景。视频会议，是指位于两个或多个地点的人们，通过通信设备和网络，进行面对面交谈的会议。
[0003]通常，在两个会场进行视频会议时，通过设置在会场A中的麦克风可获取到会场A中的音频信息，通过会场A中的摄像头获取会场A中的动画信息。通过通信网络可将从会场A获取到的音频信息和动画信息发送到会场B，会场B通过扩音器和投影仪根据时间戳同步播放从会场A发送过来的音频信息和动画信息，视频信息和动画信息组合形成视频信息。
[0004]然而，视频信息所显示的内容为平面图像，缺乏生动性。
【发明内容】
[0005]本发明提供一种视频通信的方法及系统，以实现提高视频通信的生动性。
[0006]第一方面，本发明实施例提供了一种视频通信的方法，包括:
[0007]获取第一会场的三维影像；
[0008]通过增强现实将获取的所述三维影像显示给第二会场的用户。
[0009]第二方面，本发明实施例还提供了一种视频通信的系统，包括:三维影像信息采集设备、控制设备和增强现实显示设备；
[0010]所述控制设备用于通过所述三维影像信息采集设备获取第一会场的三维影像；
[0011]所述增强现实显示设备用于通过增强现实将所述控制设备获取的所述三维影像显示给第二会场的用户。
[0012]本发明实施例能够获取第一会场的三维影像，然后将获取的三维影像通过增强现实方式显示给第二会场的用户。现有技术仅能够实现二维视频信息的显示，缺乏生动性。本发明实施例能够生成第一会场的三维影像，并将生成的三维影像通过增强现实方式显示给第二会场的用户。由于增强现实方式能够为用户提供真实性较强的三维影像显示功能，因此通过增强现实方式能够彻底摆脱以二维视频信息展示对端会场画面的表示方式，使视频会议更加生动，此外，由于三维影像所能表示的信息量远大于二维视频信息所能表示的信息量，因此能够提高视频会议图像的真实性。
【附图说明】
[0013]图1是本发明实施例一中的视频通信的方法的流程图；
[0014]图2是本发明实施例二中的视频通信的方法的流程图；
[0015]图3是本发明实施例三中的视频通信的方法的流程图；
[0016]图4是本发明实施例五中的视频通信的系统的结构示意图。
【具体实施方式】
[0017]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0018]实施例一
[0019]图1为本发明实施例一提供的一种视频通信的方法的流程图，本实施例可适用于多方进行视频会议的情况，假设第一会场和第二会场中均由参会人员，通过下述方法可使第二会场中的参会人员获知第一会场中的情况，该方法具体包括如下步骤:
[0020]步骤110、获取第一会场的三维影像。
[0021]在一种实现方式中，通过点云获取设备(如激光电源设备)获取第一会场的点云数据，根据第一会场的点云数据构建三维模型，进而生成第一会场的三维影像。
[0022]在另一种实现方式中，通过超声波探测器获取第一会场的声波反馈信息，根据第一会场的声波反馈信息构建三维模型，进而生成第一会场的三维影像。
[0023]步骤120、通过增强现实(Augmented Reality，AR)将获取的三维影像显示给第二会场的用户。
[0024]可选的，使用基于视频合成技术的穿透式HMD(Video See-through HMD)技术将获取的所述三维影像显示给第二会场的用户。具体可以为，将获取到的三维影像投影到第二会场中任意用户所佩戴的增强现实智能眼镜看到的二维图像上，得到增强现实的三维影像。第二会场中各个用户获取到的二维图像可以相同也不同。
[0025]相应的，第一会场中的参会人员也可通过相应方法获取到第二会场中的情况。可以使用增强现实头盔或眼睛实现该功能。
[0026]进一步的，将获取的所述三维影像分发给第二会场用户所佩戴的增强现实智能眼镜，并通过所述增强现实智能眼镜的增强现实技术显示给第二会场的用户。使得第二会场的不同用户可观看到第一会场相同的三维影像。
[0027]可佩戴式的增强现实智能眼镜方便穿戴，提高增强识别技术的便捷性。
[0028]本实施例能够获取第一会场的三维影像，然后将获取的三维影像通过增强现实方式显示给第二会场的用户。现有技术仅能够实现二维视频信息的显示，缺乏生动性。本实施例能够生成第一会场的三维影像，并将生成的三维影像通过增强现实方式显示给第二会场的用户。由于增强现实方式能够为用户提供真实性较强的三维影像显示功能，因此通过增强现实方式能够彻底摆脱以二维视频信息展示对端会场画面的表示方式，使视频会议更加生动，此外，由于三维影像所能表示的信息量远大于二维视频信息所能表示的信息量，因此能够提尚视频会议图像的真实性。
[0029]本发明实施例能够直接通过增强现实头盔活眼睛观察到每个发言人的三维立体空间，语言表情手势，周边的环境，以及数据等等，同时可用于其他领域，比如检测工厂情况，机械设备是否正常，家用防盗等等。
[0030]实施例二
[0031]图2为本发明实施例二提供的一种视频通信的方法的流程图，作为对图1所示方法的具体说明，步骤110、获取第一会场的三维影像，具体可通过下述方式进行实施:
[0032]步骤111、获取第一会场的至少一个帧画面。
[0033]在第一会场设置至少一个摄像头，其中，摄像头为多角度摄像头。当使用一个摄像头时，可使用摄像头对准被拍摄物体，拍摄被拍摄物体的多张图片，其中，被拍摄物体可以为第一会场中的某个参会人员，也可以为第一会场中的一个产品样品。当使用多个摄像头时，可以通过在第一会场的多个角落中设置多个摄像头，进而得到不同角度的第一会场的多张帧画面(图片)。示例性的，在第一会场屋顶的四个角落处分别设置四台摄像头，在一个时间点上，得到四台摄像头分别获取的四张帧画面。
[0034]可选的，摄像头每隔预设时间间隔获取一副帧画面，在在生成三维模型之后，停止获取帧画面，当需要重新建立三维模型或者需要进行调焦或更改浏览视角时，重新启动摄像头。可选的，摄像头处于常开状态。其中，隔预设时间间隔获可以为Ims或0.5ms。
[0035]步骤112、根据至少一个帧画面生成第一会场的三维影像。
[0036]可选的，使用基于自然特征点的实时增强现实注册算法将得到的多个帧画面合成为二维影像。
[0037]基于自然特征点的实时增强现实注册算法是一种基于自然特征点的实时跟踪注册算法。该算法在已知场景的3D模型以及少量标定关键帧图像的基础上，选择与当前图像最为匹配的关键帧，利用基于关键帧的图像匹配方法实时获取摄像机的运动参数估计。算法采用合成中间图像的技术解决两图像特征点间的宽基线匹配问题，并应用扩展卡尔曼滤波器对参数估计结果进行平滑，以消除系统抖动现象。实验结果表明，算法鲁棒性强、注册精度高，能够有效地克服系统误差漂移。
[0038]本实施例能够从第一会场获取至少一个帧画面，然后根据获取的多个帧画面生成三维影像，最后将生成的三维影像通过增强现实方式显示给第二会场的用户。现有技术仅能够实现二维视频信息的显示，缺乏生动性。本实施例能够生成第一会场的三维影像，并将生成的三维影像通过增强现实方式显示给第二会场的用户。由于增强现实方式能够为用户提供真实性较强的三维影像显示功能，因此通过增强现实方式能够彻底摆脱以二维视频信息展示对端会场画面的表示方式，使视频会议更加生动，此外，由于三维影像所能表示的信息量远大于二维视频信息所能表示的信息量，因此能够提高视频会议图像的真实性。由于摄像头的成本低于超声波探测器和点云获取设备的成本，因此可降低生成三维影像的所需成本。
[0039]实施例三
[0040]图3为本发明实施例三提供的视频通信的方法的流程图，作为对上述实施例的进一步说明，在步骤120、在通过增强现实将获取的所述三维影像显示给第二会场的用户之后，还包括:
[0041]步骤130、通过第二会场的用户所佩戴的增强现实智能眼镜采集第二会场的用户输入的语音信息。
[0042]语音信息为声波信息。第二会场中的用户在观看到第一会场中的三维影像后，会产生与第一会场的参会者进行语音沟通的使用需求。此时，可通过第二会场的用户所佩戴的增强现实智能眼镜的麦克风等第一会场音频获取设备采集第二会场的用户输入的语音?目息O
[0043]步骤140、将语音信息发送到第一会场进行播放。
[0044]当麦克风等第二会场音频获取设备采集到音频信息后，通过网络传输设备将获取的音频信息发送到第一会场。可通过有线网络或无线网络进行传输。
[0045]本实施例可将第二会场的用户输入的语音信息发送到第一会场，使得第一会场的参会者能够获取到第二会场用户说出的语音信息，提高视频通信的可交互性。
[0046]实施例四
[0047]本发明实施例还提供了一种视频通信的方法，作为对上述实施例的进一步说明，进一步的，视频通信的方法还包括:
[0048]步骤150、通过第二会场的用户所佩戴的增强现实智能眼镜获取第二会场的用户输入的控制指令。
[0049]其中，所述控制指令包括:调焦指令或调节当前视角指令。
[0050]可选的，对第二会场的用户所佩戴的增强现实智能眼镜采集的所述语音信息进行语音识别，得到语音控制指令。
[0051]通过第二会场的用户所佩戴的增强现实智能眼镜的麦克风可获取到用户的语音信息，通过对语音信息进行识别可从用户说出的语音信息中识别出语音控制指令。语音控制指令的调焦指令可以为:“放大”、“缩小”，调整当前视角指令可以为“向左旋转”、“向右旋转”、“向上旋转”以及“向下旋转”。分贝提取上述语音控制指令的特征，通过特征比对从语音信息中识别出各语音控制指令。
[0052]或者，可选的，对第二会场的用户所佩戴的增强现实智能眼镜采集的手势信息进行解析，得到手势控制指令。
[0053]通过第二会场的用户所佩戴的增强现实智能眼镜的摄像头或者超声波探测器可获取用户的手指或者整个手的移动轨迹，通过分析可获取到用户的手势类型，如向上移动、向下移动、向左移动、向右移动以及相向运动、反向移动等。
[0054]步骤160、根据控制指令进行相应操作。
[0055]通过语音识别或手势识别可得到用户输入的控制指令，根据获取的指令对三维影像进行相应调整。例如:当接收到用户输入的调节当前视角指令时，将构建的三维模型的浏览角度进行调整，并将调整后的三维影像显示给用户；或者调整第一会场中摄像头的拍摄角度，进而获取不同拍摄角度下得到的三维影像。当接收到用户输入的调焦指令时，根据调焦指令对构建的三维模型进行调焦，调焦包括在当前焦点上进行放大或缩小。
[0056]当多个用户通过佩戴的增强现实智能眼镜发出不同的控制指令时，根据控制指令发出的时间顺序对多个控制指令进行排序，根据排序结果依次执行控制指令。
[0057]可选的，用户通过增强现实头盔或眼睛上自带的语音识别系统识别到用户的所要进行的操作，将结果发送到计算机控制器，然后通过远程网络传输到摄像头端，摄像头端接收到信息后，执行对应的操作。
[0058]本实施例提供的视频通信方法，能够对第二会场中的用户给出的语音控制指令或手势控制指令进行识别，并根据识别结果进行相应操作，进而简化用户操作，使得用户在阅览三维影响到同时能够对三维影像进行控制，提高互动性。
[0059]进一步的，上述方法还包括:
[0060]步骤170、采集第一会场中的音频信息。
[0061]可通过第一会场中的麦克风采集第一会场中的音频信息。
[0062]步骤180、通过第二会场的用户所佩戴的增强现实智能眼镜向第二会场的用户播放采集到的音频信息。
[0063]可以通过增强现实头盔或眼睛向第二会场的用户播放播放采集到的音频信息。
[0064]本实施例还能够从第一会场采集音频信息，并将该音频信息展示给第二会场的用户，进而使得第一会场的参会人员能够与第二会场的参会人员进行语音聊天，进一步提供视频通信的互动性。
[0065]实施例五
[0066]图4为本发明实施例五提供的一个视频通信的系统的结构示意图，一种视频通信的系统，包括:三维影像信息采集设备11、控制设备12和增强现实显示设备13。其中，三维影像信息采集设备11可以为多角度摄像头、点云获取设备或超声波探测器，控制设备12可以为具有运算能力的服务器、笔记本电脑或个人电脑(Personal Computer，PC)，增强现实显示设备13可以为增强现实头盔或眼睛。每个会场的每个参会人员均佩戴一个增强现实显示设备13。
[0067]所述控制设备12用于通过所述三维影像信息采集设备11获取第一会场的三维影像；
[0068]所述增强现实显示设备13用于通过增强现实Augmented Reality将所述控制设备12获取的所述三维影像显示给第二会场的用户。
[0069]可选的，三维影像信息采集设备11可以位于第一会场中的任意一个增强现实显示设备13中，也可以独立设置。
[0070]进一步的，所述三维影像信息采集设备11用于获取第一会场的至少一个帧画面；
[0071]所述控制设备12用于根据所述三维影像信息采集设备11获取的所述至少一个帧画面生成所述第一会场的三维影像。
[0072]进一步的，所述控制设备12具体用于，将获取的所述三维影像分发给第二会场用户所佩戴的增强现实智能眼镜，
[0073]所述增强现实显示设备13具体用于，通过所述增强现实智能眼镜的增强现实技术显示给第二会场的用户。
[0074]进一步的，所述增强现实显示设备13为第二会场的用户所佩戴的增强现实智能眼镜，包括第二会场音频采集单元，所述增强现实显示设备还包括发送单元；
[0075]所述第二会场音频采集单元用于采集所述第二会场的用户输入的语音信息；
[0076]所述发送单元用于将所述语音信息发送到所述第一会场进行播放。
[0077]需要说明的是，第二会场音频采集单元可设置在第二会场的任意一个增强现实显示设备13中，也可以独立设置。
[0078]进一步的，所述第二会场的用户所佩戴的增强现实智能眼镜，还包括:
[0079]控制指令获取单元，用于所述第二会场的用户输入的控制指令，所述控制指令包括:调焦指令或调节当前视角指令；
[0080]操作单元，用于根据所述控制指令获取单元得到的所述控制指令进行相应操作。[0081 ]进一步的，所述控制指令获取单元具体用于:
[0082]对通过所述第二会场的用户所佩戴的增强现实智能眼镜所述第二会场音频采集单元14采集的所述语音信息进行语音识别，得到语音控制指令;或者，
[0083]对通过所述第二会场的用户所佩戴的增强现实智能眼镜视频采集单元采集的手势信息进行解析，得到手势控制指令。
[0084]进一步的，还包括设置在第一会场的第一会场音频采集单元和第一会场音频发送单元:
[0085]所述第一会场音频采集单元用于采集所述第一会场中的音频信息；
[0086]所述第一会场音频发送单元131用于向第二会场的用户所佩戴的增强现实智能眼镜所述增强现实显示设备13发送所述第一会场中的音频信息；
[0087]所述增强现实显示设备13还用于播放所述第一会场中的音频信息。
[0088]需要说明的是，设置在第一会场的第一会场音频采集单元和第一会场音频发送单元可以设置在第一会场中的任意一个增强现实显示设备13中。
[0089]进一步的，所述增强现实显示设备13为增强现实智能眼镜。
[0090]本发明实施例中，增强现实智能眼镜负责观看计算机控制器传输来的三维(3D)立体影像，同时在视频会议中，增强现实智能眼镜和计算机服务器通过局域网络连接，还负责语音识别，采集，当用户发言时记录语音发送到控制器，传输到远程端，同时用户可以发出指令调节当前视频角度，焦距等，增强现实智能眼镜的核心功能是语音识别3D影像信息还原，即展不3D影像彳目息。
[0091]3D影像采集设备能够实现360度全方位可浏览，摄像头可由远程控制，进行拉伸或旋转。
[0092]用户使用该系统可以实现三维立体视频会议，通过带上增强现实智能眼镜，用户可以直接看到3D立体全方位影像，同时可以进行实时通话，发送指令控制3维立体画面显示，从而还原真实的场景，达到和远程的会议交流如同在自己面前交流一样。
[0093]上述系统可执行本发明实施例一至实施例四所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一至实施例四所提供的方法。
[0094]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【主权项】
1.一种视频通信的方法，其特征在于，包括: 获取第一会场的三维影像； 通过增强现实将获取的所述三维影像显示给第二会场的用户。2.根据权利要求1所述的视频通信的方法，其特征在于，所述获取第一会场的三维影像，包括: 获取第一会场的至少一个帧画面； 根据所述至少一个帧画面生成所述第一会场的三维影像。3.根据权利要求1所述的视频通信的方法，其特征在于，通过增强现实将获取的所述三维影像显示给第二会场的用户，包括: 将获取的所述三维影像分发给第二会场用户所佩戴的增强现实智能眼镜，并通过所述增强现实智能眼镜的增强现实技术显示给第二会场的用户。4.根据权利要求1所述的视频通信的方法，其特征在于，在通过增强现实将获取的所述三维影像显示给第二会场的用户之后，还包括: 通过第二会场的用户所佩戴的增强现实智能眼镜采集所述第二会场的用户输入的语首?目息; 将所述语音信息发送到所述第一会场进行播放。5.根据权利要求4所述的视频通信的方法，其特征在于，还包括: 通过第二会场的用户所佩戴的增强现实智能眼镜获取所述第二会场的用户输入的控制指令，所述控制指令包括:调焦指令或调节当前视角指令； 根据所述控制指令进行相应操作。6.根据权利要求5所述的视频通信的方法，其特征在于，所述获取所述第二会场的用户输入的控制指令，包括: 对通过第二会场的用户所佩戴的增强现实智能眼镜采集的所述语音信息进行语音识另IJ，得到语音控制指令;或者， 对通过第二会场的用户所佩戴的增强现实智能眼镜采集的手势信息进行解析，得到手势控制指令。7.根据权利要求1-6中任一项所述的视频通信的方法，其特征在于，还包括: 采集所述第一会场中的音频信息； 通过第二会场的用户所佩戴的增强现实智能眼镜向所述第二会场的用户播放采集到的所述音频信息。8.—种视频通信的系统，其特征在于，包括:三维影像信息采集设备、控制设备和增强现实显示设备； 所述控制设备用于通过所述三维影像信息采集设备获取第一会场的三维影像； 所述增强现实显示设备用于通过增强现实将所述控制设备获取的所述三维影像显示给第二会场的用户。9.根据权利要求8所述的视频通信的系统，其特征在于， 所述三维影像信息采集设备用于获取第一会场的至少一个帧画面； 所述控制设备用于根据所述三维影像信息采集设备获取的所述至少一个帧画面生成所述第一会场的三维影像。10.根据权利要求8所述的视频通信的系统，其特征在于，所述控制设备具体用于，将获取的所述三维影像分发给第二会场用户所佩戴的增强现实智能眼镜， 所述增强现实显示设备具体用于，通过所述增强现实智能眼镜的增强现实技术显示给第二会场的用户。11.根据权利要求8所述的视频通信的系统，其特征在于，所述增强现实显示设备为第二会场的用户所佩戴的增强现实智能眼镜，包括第二会场音频采集单元，所述增强现实显示设备还包括发送单元； 所述第二会场音频采集单元用于采集所述第二会场的用户输入的语音信息； 所述发送单元用于将所述语音信息发送到所述第一会场进行播放。12.根据权利要求11所述的视频通信的系统，其特征在于，所述第二会场的用户所佩戴的增强现实智能眼镜，还包括: 控制指令获取单元，用于所述第二会场的用户输入的控制指令，所述控制指令包括:调焦指令或调节当前视角指令； 操作单元，用于根据所述控制指令获取单元得到的所述控制指令进行相应操作。13.根据权利要求12所述的视频通信的系统，其特征在于，所述控制指令获取单元具体用于: 对通过所述第二会场的用户所佩戴的增强现实智能眼镜所述第二会场音频采集单元采集的所述语音信息进行语音识别，得到语音控制指令;或者， 对通过所述第二会场的用户所佩戴的增强现实智能眼镜视频采集单元采集的手势信息进行解析，得到手势控制指令。14.根据权利要求8-13中任一项所述的视频通信的系统，其特征在于，还包括设置在第一会场的第一会场音频采集单元和第一会场音频发送单元: 所述第一会场音频采集单元用于采集所述第一会场中的音频信息； 所述第一会场音频发送单元用于向第二会场的用户所佩戴的增强现实智能眼镜发送所述第一会场中的音频信息； 所述增强现实显示设备还用于播放所述第一会场中的音频信息。15.根据权利要求14所述的视频通信的系统，其特征在于，所述增强现实显示设备为增强现实智能眼镜。
【文档编号】H04N7/14GK105933637SQ201610263751
【公开日】2016年9月7日
【申请日】2016年4月26日
【发明人】资雪飞
【申请人】上海与德通讯技术有限公司