用于生成多人的沉浸式视频的方法
【技术领域】
[0001 ]本发明涉及一种在多方视频会议系统中的视频处理方法。
【背景技术】
[0002]随着通信系统中带宽性能的提升，视频通信系统在商业及住宅应用中已经变得越来越受欢迎。实际上，在地理上分散的团队协作的情况下，这些系统避免了团队协作者的旅行并提高了灵活性。
[0003]视频会议技术使用视频和音频通信来允许多人同时交流，例如，用于会议活动。并且，除了会议活动的音频和视频的传输，视频会议技术能够被用于共享文件和显示信息。
[0004]视频会议的每个参与者都会被生成视频流的摄影机拍摄，该视频流代表了在他/她自己环境下的参与者。为了创建视频会议，通常使用两种不同的技术。
[0005]在基于混合视频的会议中，来自N个参与者的所有进入的视频流被多方会议单元(MCU)组合在一个混合视频流中。该混合视频流包括结合在一起的所有参与者的视频流。该混合视频流被发送到N个参与者。
[0006]与视频混合截然相反，视频路由技术包括由每个参与者将他自己的视频流发送到所有其他参与者，同时解码多达视频流中的4至5个视频流。因此每个视频客户端设备必须支持接收和解码多个流。
【发明内容】
[0007]在一实施例中，本发明提供了一种用于连接多个视频会议客户端设备的方法，所述视频会议客户端设备包括视频路由客户端和视频混合客户端，其中，所述的混合客户端包括能够接收多个客户视频流并通过混合所述多个客户视频流生成混合视频流的多方会议单元，在连接到所述客户端设备的计算机服务器中，所述方法包括:
[0008]从所述视频路由客户端接收第一客户视频流；
[0009]对从所述视频路由客户端接收的所述第一客户端视频流的视频图像进行标记；
[0010]通过双向通信信道，将所标记的第一客户端视频流发送到所述混合客户端；
[0011]通过与所述混合客户端之间的所述双向通信信道，从所述混合客户端接收混合视频流；
[0012]在从所述混合客户端接收的所述混合视频流中，检测不同于所标记的第一客户端视频流的所标记的视频图像的视频图像部分；
[0013]从所述混合视频流提取所检测的视频图像部分；
[0014]从所提取的视频图像部分生成第二客户端视频流；
[0015]将所述第二客户视频流发送到所述视频路由客户端。
[0016]根据实施例，该方法可以包括以下特征中的一者或多者。
[0017]在一实施例中，该方法还包括以下步骤:
[0018]接收附加信息数据，其中，所述附加信息数据包括在所述第一客户端视频流中；
[0019]对从所述视频路由客户端接收的所述附加信息数据进行标记；
[0020]将所标记的附加信息数据发送到所述混合客户端；
[0021 ]在从所述混合客户端接收的所述混合视频流中，检测不同于所标记的附加信息数据的附加信息数据；
[0022]提取在所述混合视频流中检测的元数据；
[0023]将所述第二客户端视频流中发送所提取的元数据发送到一个或多个所述视频路由客户端。
[0024]在一实施例中，该方法还包括以下步骤:
[0025]检测不同于所标记的客户端视频图像的所述视频图像部分，该所标记的客户端视频图像包括多个分离部分；
[0026]生成多个第二客户端视频流，每个第二客户端视频流与所述分离部分的不同的分离部分相对应；
[0027]将所述多个第二客户端视频流发送到所述视频路由客户端。
[0028]在一实施例中，从所述视频路由客户端接收的所述客户端视频流在双向传送多个视频流的双向通信信道上传送。
[0029]在一实施例中，所述标记的步骤包括在从所述视频路由客户端接收的第一客户端视频流的所述视频图像周围增加帧的步骤。
[0030]在一实施例中，所述标记的步骤包括在从所述视频路由客户端接收的所述视频流上增加透明层的步骤。
[0031 ]在一实施例中，该方法还包括以下步骤:
[0032]从多个视频路由客户端接收多个第一客户端视频流；
[0033]对从所述多个视频路由客户端接收的每个第一客户端视频流进行标记；
[0034]通过多个双向通信信道，将每个所标记的第一客户端视频流发送到所述混合客户端；
[0035]在从所述混合客户端接收的所述混合视频流中，检测不同于多个所标记的第一客户端视频流的每个所标记的第一客户端视频流的视频图像部分；
[0036]在一实施例中，该方法还包括以下步骤:
[0037]从多个第一视频路由客户端接收多个附加信息数据；
[0038]对从所述多个第一视频路由客户端接收的多个附加信息数据进行标记。
[0039]在一实施例中，本发明还提供了用于连接多个视频会议客户端设备的视频处理服务器，所述视频会议客户端设备包括视频路由客户端和视频混合客户端，其中，所述混合客户端包括能够接收多个客户端视频流，并通过混合所述多个客户视频流来生成混合视频流的多方会议单元，所述视频处理服务器包括:
[0040]路由器，能够
[0041 ]从视频路由客户端设备接收第一客户端视频流；
[0042]将从视频图像部分生成的第二客户端视频流发送到所述视频路由客户端，所述视频图像部分从从所述混合客户端接收的混合视频流被提取；
[0043]标记代理模块，能够对从所述视频路由客户端接收的所述第一客户端视频流做记号，
[0044]通信模块，能够
[0045]在传送所标记的第一客户端视频流的双向通信信道中，发送到所述混合客户端；以及
[0046]接收由所述混合客户端生成的混合视频流，所述混合视频流包括发送到所述混合客户端的所标记的第一客户端视频流；
[0047]标记检测模块，能够
[0048]检测从不同于所标记的第一客户端视频流的所述混合客户端接收的所述混合视频流的视频图像部分；
[0049]在从所述混合客户端接收的混合视频流中提取所检测的图像部分。
[0050]在其他实施例中，来自所述视频路由客户端的第一客户端视频流和被发送到所述视频路由客户端的所述第二视频流，在所述服务器和所述视频路由客户端之间建立的双向通信信道上被传送。
[0051]在一实施例中，本发明还提供了一种计算机程序，所述计算机程序包括计算机可执行指令和包含所述计算机程序的计算机，当计算机可执行指令运行时，执行上述方法。
[0052]本发明源于观察到，尽管所安装的基础市场由混合兼容视频系统主导，所述系统的重要部分嵌入多达四个端口的MCU，但是，多方视频会议正从混合技术向视频路由技术转移。本发明基于的想法包括将基于系统的这些视频混合包含在按路线发送的多方视频会议中，其中，多视频流(有时包括展示共享数据)在所有参与者之间交换。
【附图说明】
[0053]本发明的这些及其他方面将由下文中所描述的实施例而变得显而易见，并将结合下文中描述的实施例参照附图，以举例的方式对本发明进行阐述。
[0054]图1功能性地示出了在三个视频路由客户端正使用包含集成捕获设备的混合客户端参加视频会议情况下的视频会议系统结构的实施例。
[0055]图2是表示由图1的系统中的服务器执行的步骤的示意图。
[0056]图3A图示地表示出由图1的混合客户端生成的混合视频流的图像。
[0057]图3B图示地表示出由混合客户端生成的混合视频流的图像，该混合客户端具有直接连接到MCU的两个不同的捕获设备。
【具体实施方式】
[0058]图1示出了在四个人正在参加视频会议情况下的视频会议系统结构的实施例。
[0059]在图1中，混合参与者1使用混合客户端设备2。三个视频路由参与者3中的每个参与者使用一个视频路由客户端设备4。混合客户端设备2和视频路由客户端设备被连接到混合兼容视频路由服务器5(MCVRS)。每个客户端设备例如可以是个人电脑、手机、平板电脑或者任何其他设备。该参与者和他们各自的客户端设备位于不同地点，并且一起召开视频会议。
[0060]每个视频路由客户端设备4具有捕获设备6。举例来说，该捕获设备6是捕获路由参与者3在他/她自己环境下的视频流7的摄像头6。每个视频路由客户端设备4具有能够使用MCVRS 5建立双向通信信道8的通信端口。该建立在视频路由客户端设备4和MCVRS 5之间的通信信道8，能够双向传送多个视频流。在使用时，该视频路由客户端设备4将其捕获的视频流7发送到MCVRS 5，并且接收与其他参与者捕获的视频流相对应的视频流。视频路由客户端设备4能够将自己捕获的视频流和接收到的通信信道8传送的视频流混合在混合视频流中。该混合视频流的图像包括结合在一起的所有视频流的同步图像(见图2)。
[0