专利名称：用于网络视频会议的视频数据传输系统及方法
技术领域：
本发明涉及视频传输领域，具体涉及用于网络视频会议的视频数据传输系 统及方法。
背景技术：
网络视频会议系统是通过网络通信技术来实现虚拟会议，使在地理上分散 的用户可以共聚一处，通过图形、声音等多种方式交流信息，支持人们远距离 进行实时信息交流与共享、开展协同工作的应用系统。网络视频会议极大地方 便了协作成员之间真实、直观地交流，对远程教学和会议有着举足轻重的作用。
视频会议系统所采用的标准和协议主要是由ITU-T根据需要制定的，包括:H.320 协议、H.323协议、MPEG-4标准以及H.264标准，其中H.264标准结合了 H.323 协议中的H.263协议和MPEG-4标准，解决了目前基于软件视频会议MPEG-4 标准无法与H.323切、议的终端兼容问题，使之成为目前最好的视频压缩协议。
如图1所示，在传统的网络视频会议系统中，用户端将各自的视频数据发 送给多点控制单元(MCU)，由MCU集中对视频数据进行解码、混屏、编码， 然后再将视频数据发送给各个用户端，如果各用户端所采用的协议不同，则MCU 的编解码负荷会很重。因此，这类网络视频会议系统的主要缺点有
(1) MCU集中承担编码、解码和混屏工作，造成其能够承载的用户数量 非常有限，例如，采用R323协议，MCU可支持16路视频用户，但在实际使 用中，其最多只能支持4路高清用户，甚至更少；
(2) 在网络视频会议中，用户端承担的工作相对较少，造成了资源的浪费；
(3) 在传统的网络视频会议系统中，例如，有4个终端用户参与该会议，-每个用户端所发送的视频数据的分辨率大小为4CIF(CIF的分辨率为352X^8; 4CIF的分辨率为704X576)，由于MCU必须进行混频，即将4个4CIF的视频 混频成1个4CIF的视频数据，因此传回用户端时，每个视频数据的分辨率已经 变为CIF大小了。因此，该方法是以降低分辨率为代价来提高传输视频数据速 率。因此在高清视频会议系统中，这种缺陷是难以容忍的。
发明内容
本发明的目的在于克服现有技术的上述缺点和不足，提供一种用于网络视
频会议的视频数据传输系统，该系统中的MCU将不再对视频数据进行解码、混 频、编码的工作，而是将视频数据通过建好的发送虚拟通道直接发送给目标用 户端，由目标用户端完成视频数据的解码工作，而无需再次混屏和编码，因此 有效地提高了系统资源的利用率，减轻了MCU的工作负荷，保证了单个MCU 的鲁棒性(Robustness)，能让更多的终端参与视频会议；能够保证视频数据的原 始分辨率，从而大大提高了支持高清视频的能力。
本发明的目的还在于提供由上述用于网络视频会议的视频数据传输系统实 现视频数据传输的方法。
本发明目的通过下述技术方案实现用于网络视频会议的视频数据传输系 统包括MCU及2个以上用户端，各用户端分别与MCU进行网络连接；所述各 用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及 依次连接的虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两 端分别与虚拟通道接收管理模块、显示设备相连接。
所述MCU至少包括虚拟通道转发模块、虚拟通道逻辑控制模块；所述虚拟 通道逻辑控制模块用于
创建MCU与用户端之间的接收虚拟通道；所述的接收虚拟通道，用于将 MCU已经接收的本地视频数据发送到目标用户端;
创建MCU与用户端之间的发送虚拟通道，所述的发送虚拟通道，用于将用 户端视频数据发送到MCU;
所述虚拟通道转发模块用于转发MCU所收到的视频数据。
所述各用户端的视频解码器数量=用户端的数量-1。
所述各用户端的视频编码器均为H.26X系列编码器。
所述各用户端的视频解码器均为H.26X系列解码器。
所述各用户端的虚拟通道发送管理模块均包括相互连接的编码器、网络发 送设备，该编码器主要用于标注视频数据的虚拟通道标识信息，该虚拟通道标 识信息至少包括所采用的视频编码器类型、视频数据的分辨率大小以及虡拟 通道号；所述网络发送设备将编码器标注完毕的视频数据发送到MCU。
所述各用户端的虚拟通道接收管理模块均包括相互连接的网络接收设备、 解码器；该网络接收设备主要用于接收视频数据；所述解码器主要用于分析视
频数据的虚拟通道标识信息将接收到的视频数据按照不同的通道号整理解码， 然后根据解码结果获得视频数据的编码类型选择相应的视频解码器并对其进行 初始化，然后将视频数据输入视频解码器解码，最终获得可直接显示的未改变 分辨率的视频数据。
利用上述用于网络视频会议的视频数据传输系统实现视频数据传输的方 法，包括下述步骤
(1 )本地用户端发送建立虚拟通道请求到MCtJ，由MCU的虚拟通道逻辑
控制模块建立本地用户端到MCU的发送虚拟通道，并由虚拟逻辑控制模块分配 给该发送虚拟通道唯一的通道号；
(2) MCU的虚拟通道逻辑控制模块检查自身的用户列表，如果存在步骤 (1)所述的本用户端以外的其他用户端，则由MCU的虚拟通道逻辑控制模块
分别建立与本地用户端相对应的MCU到其他用户端之间的接收虚拟通道，使其 他用户通过该接收虚拟通道接收本地用户端的视频数据；并且由MCU的虚拟通 道逻辑控制模块分别建立与其他用户端相对应的MCU到本地用户端之间的接 收虚拟通道，使本:fe用户端通过该接收虚拟通道接收其他用户端的视频数据；
(3) 本地用户端的摄像头采集视频数据，并发送给视频编码器；
(4) 本地用户端的视频编码器对所述的视频数据进行编码，并发送给虚拟 通道发送管理模块；
(5) 本地用户,端的虚拟通道发送管理模块对接收到的视频数据标注虚拟通 道标识信息，然后将本地用户端的视频数据通过步骤(1)所述的发送虚拟通道 传输到MCU;所述的虚拟通道标识信息至少包括编码类型、分辨率、发送虚拟 通道号；
(6) MCU接收到视频数据后，虚拟通道转发模块将其转发到步骤(2)所 述的与本地用户端相对应的MCU到其他用户端之间的接收虚拟通道中；
(7) 其他用户端的虚拟通道接收管理模块通过步骤(6)所述的接收虚拟 通道接收视频数据，然后对所接收到的视频数据进行虚拟通道标识信息分析， 获得视频数据的编码类型，再根据视频数据的编码类型选择对应的视频解码器， 并对该视频解码器进行初始化，最后视频解码器将还原的视频数据发送给显示 设备进行显示。
上述方法中，所述发送虚拟通道和接收虚拟通道的大小根据视频数据的大 小而调整。
本发明用于网络视频会议的视频数据传输系统相对于现有技术具有以下优
点
(1) 本发明突破了传统视频会议系统的技术瓶颈，整个系统将不需要进行 解码、混屏、编码的高负荷工作，将MCU集中承担的解码的工作分散到各个用
户端后，这样不^有效地提高了系统资源的利用率，减轻了MCU的工作负荷， 保证了单个MCU的鲁棒性，能让更多的终端参与视频会议；
(2) 本发明突破了传统视频会议系统的MCU混屏以降低分辨率来获得传 输效率的缺陷，在保证用户传输效率的同时能不降低视频数据的原始分辨率， 因此用户端的显示不会因为参加视频会议的用户数量增多而变得模糊，使得本 发明支持高清视频能力大大提高；
(3) 本发明通过创建独立的虚拟通道来传输视频数据，使得MCU大部分 工作集中在虚拟通道数据的转发管理，从而保证了数据传输的速度和质量。
图1是传统网络视频会议系统的结构示意图； 图2是本发明系统的结构示意图； 图3是本发明系统的工作流程图。
具体实施例方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施 方式不限于此。 实施例
图2所示的本发明用于网络视频会议的视频数据传输系统包括MCU及4 个用户端，即包括用户端l、用户端2、用户端3、用户端4， MCU，用户端l、 2、 3、 4分别与MCU网络连接。
所述MCU至少'包括虛拟通道转发模块、虚拟通道逻辑控制模块，还可以包 括传统MCU除编解码及混屏之外的其它模块。
各用户端包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，还 包括依次连接的虚拟通道接收管理模块、3个视频解码器、显示设备。
所述各用户端的虚拟通道发送管理模块均包括相互连接的编码器、网络发送 设备，该编码器主要用于标注虚拟通道标识信息，所述虚拟通道标识信息包括
所采用的视频编码器类型、视频数据的分辨率大小以及虚拟通道号；所述各用 户端的虚拟通道接收管理模块均包括相互连接的网络接收设备、解码器，该解 码器主要用于识别视频数据的类型、视频数据的分辨率大小以及虚拟通道号。
如图2所示，本发明系统中H.26X系列的视频解码器的具体类型与用户端 所采用的视频编码器的类型相对应。用户端1、用户端2、用户端3、用户端4 分别采用H.261、 H.263、 H.264、 H.264视频编码器，而用户端1所包括的3个 视频解码器即H.26X系列的解码器分别为H.263解J^器、H.264解码器、H.264 解码器，即与用户端2、 3、 4的视频编码器的类型对应一致；用户端2所包括 的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.264解码器、 R264解码器，即与用户端l、 3、 4的视频编码器的类型对应一致；用户端3所 包括的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.263解码 器、R264解码器，即与用户端l、 2、 4的视频编码器的类型对应一致；用户端 4所包括的3个视颍解码器即H.26X系列的解码器分别为H.261解码器、H.263 解码器、H.264解码器，即与用户端l、 2、 3的视频编码器的类型对应一致。
用户端1与MCU的连接通道为RTP通道1，包括4条虛拟通道，分别为发 送虚拟通道l，接收虚拟通道2、 3、 4;用户端2与MCU的连接通道为RTP通 道2，包括4条虚苹通道，分别为发送虚拟通道2，接收虚拟通道l、 3、 4;用 户端3与MCU的连接通道为RTP通道3，包括4条虚拟通道，分别为发送虚拟 通道3，接收虚拟通道l、 2、 4;用户端4与MCU的连接通道为RTP通道4， 包括4条虚拟通道，分别为发送虚拟通道4，接收虚拟通道l、 2、 3。
下面以用户端4为本地用户端，用户端l、 2、 3为其他用户端，并假设l、 2、 3用户端已经和.MCU建立了对应的所有虚拟通道，这时用户4连接到MCU 为起点，来说明本发明系统视频数据传输的过程，如图3所示，包括以下步骤 (1 )本地用户端4发送建立虚拟通道请求到MCU，由MCU的虚拟通道 逻辑控制模块建立本地用户端到MCU的发送虚拟通道，并由虚拟逻辑控制模块 分配给该发送虚拟通道唯一的通道号4;虚拟通道逻辑控制模块可以根据预设的 条件来决定是否建立该发送虚拟通道；
(2 ) MCU的虚拟通道逻辑控制模块检查自身的用户列表，如果存在步骤 (1)所述的本用户端以外的其他用户端1、 2、 3，则由MCU的虚拟通道逻辑 控制模块分别建立与本地用户端的虚拟发送通道4相对应的MCU到其他用户端 之间的接收虚拟通道4，即为用户端l、 2、 3各建立一条接收虚拟通道4，使其 他用户端可以通过该接收虚拟通道4接收本地用户端的视频数据；并且由MCU 的虚拟通道逻辑控制模块分别建立与其他用户端己建立的虚拟发送通道1、 2、 3 相对应的MCU到本地用户端4之间的接收虚拟通道1、 2、 3，使本地用户端可 以通过该接收虚拟通道1、 2、 3接收其他用户端的视频数据。此处接收虚拟通 道也可以通过虚拟通道逻辑控制模块根据预设的条件来决定是否建立； (3)本地用户端4的摄像头采集视频数据，并发送给视频编码器； (4 )本地用户端4的视频编码器对所述的视频数据进行编码，并发送给 虚拟通道发送管理模块；
(5)本地用户端4的虚拟通道发送管理模块对接收到的视频数据标注虚 拟通道标识信息，然后将本地用户端视频数据通过发送虚拟通道4传输到MCU; 所述的虚拟通道标识信息至少包括视频编码器的类型、视频数据的分辨率及发 送虚拟通道号(编码器为H.264、分辨率假定为4CIF、发送虚拟通道号为4);
(6 ) MCU接收到视频数据后，虚拟通道转发模块将其转发到步骤(2) 所述的其他用户端l、 2、 3的接收虚拟通道中4;
(7 )其他用户端1、 2、 3的虚拟通道接收管理模块通过各自的接收虚拟通 道4接收视频数据，然后对所接收到的数据进行虚拟通道标识信息分析，视频 数据的编码类型为H.264和分辨率为4CIF，再根据视频数据的编码类型选择对 应的H.264视频解码器，并对该视频解码器进行初始化，最后视频解码器将还 原的视频数据发送给显示设备进行显示。
上述MCU所创建虚拟通道的大小可以根据视频数据的大小而调整，虚拟数 据通道的大小与视频数据的大小相适应。
以上所述的方法仅仅用户端4为例来说明书数据处理过程，用户端l、 2、 3 的数据处理过程与用户端4的处理过程一样。
以上示例是以'4个用户端为例进行说明，但用户端只有两个的时候，可以 去掉MCU，两个用户端可以应用上述的方法进行点对点的数据传输。如果确定 没有第三个人加入视频会议系统的情况下，通过MC U转发将降低两个用户之 间的传输效率。在不能确定是否有第三个人加入会议的时候，通常两个用户也 需要通过MCU转发。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
权利要求
1、用于网络视频会议的视频数据传输系统，其特征在于包括MCU及至少2个用户端，各用户端分别与MCU网络连接；所述各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及依次连接的虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接；所述MCU包括用于转发MCU所收到的视频数据的虚拟通道转发模块、用于创建MCU与用户端之间的接收虚拟通道以及创建MCU与用户端之间的接收虚拟通道的虚拟通道逻辑控制模块。
2、 根据权利要求1所述用于网络视频会议的视频数据传输系统，其特征在 于所述各用户端的视频解码器数量=用户端的数量-1。
3、 根据权利要求1所述用于网络视频会议的视频数据传输系统，其特征在 于所述各用户端的视频编码器均为H.26X系列编码器，所述各用户端的视频 编码器也均为H.26X系列编码器。
4、 根据权利要求1所述用于网络视频会议的视频数据传输系统，其特征在 于所述各用户端的虚拟通道发送管理模块均包括相互连接的用于标注视频数 据的虚拟通道标识信息的编码器、用于将编码器标注完毕的视频数据发送到 MCU的网络发送设备；所述各用户端的虚拟通道接收管理模块均包括相互连接 的用于接收视频数据的网络接收设备、用于分析视频数据的虚拟通道标识信息 的解码器。
5、 一种利用权利要求1所述用于网络视频会议的视频数据传输系统实现视 频数据传输的方法，其特征在于，包括下述步骤(1) 本地用户端发送建立虚拟通道请求到MCU，由MCU的虚拟通道逻辑 控制模块建立本地用户端到MCU的发送虚拟通道，并由虚拟逻辑控制模块分配 给该发送虚拟通道唯一 的通道号；(2) MCU的虚拟通道逻辑控制模块检査自身的用户列表，如果存在步骤 (1)所述的本用户端以外的其他用户端，则由MCU的虚拟通道逻辑控制模块分别建立与本地用户端相对应的MCU到其他用户端之间的接收虚拟通道，使其 他用户通过该接收虚拟通道接收本地用户端的视频数据；并且由MCU的虚拟通 道逻辑控制模块分别建立与其他用户端相对应的MCU到本地用户端之间的接收虚拟通道，使本地用户端通过该接收虚拟通道接收其他用户端的视频数据；(3) 本地用户端的摄像头采集视频数据，并发送给视频编码器；(4) 本地用户端的视频编码器对所述的视频数据进行编码，并发送给虚拟 通道发送管理模块；(5) 本地用户端的虚拟通道发送管理模块对接收到的视频数据标注虚拟通 道标识信息，然后将本地用户端的视频数据通过步骤(1)所述的发送虚拟通道 传输到MCU;所述的虚拟通道标识信息至少包括编码类型、分辨率、发送虚拟 通道号；(6) MCU接收到视频数据后，虚拟通道转发模块将其转发到步骤(2)所 述的与本地用户端相对应的MCU到其他用户端之间的接收虚拟通道中；(7) 其他用户端的虚拟通道接收管理模块通过步骤(6)所述的接收虚拟 通道接收视频数据，然后对所接收到的视频数据进行虚拟通道标识信息分析， 获得视频数据的编码类型，再根据视频数据的编码类型选择对应的视频解码器， 并对该视频解码器进行初始化，最后视频解码器将还原的视频数据发送给显示 设备进行显示。
6、 根据权利要求5所述的用于网络视频会议的视频数据传输方法，其特征 在于步骤(5)所述的虚拟通道标识信息至少包括编码类型、分辨率、发送虚 拟通道号。
7、 根据权利要求5所述的用于网络视频会议的视频数据传输方法，其特征 在于所述发送虚拟通道和接收虚拟通道的大小根据视频数据的大小而调整。
全文摘要
本发明提供一种用于网络视频会议的视频数据传输系统，包括MCU以及至少2个用户端，各用户端分别与MCU网络连接，所述各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接。本发明将编解码工作分散到各个用户端，有效地提高了系统资源的利用率，能让更多的终端参与视频会议；能够保证视频数据的原始分辨率，从而大大提高了支持高清视频的能力。
文档编号H04N7/15GK101350908SQ200810198060
公开日2009年1月21日 申请日期2008年8月28日 优先权日2008年8月28日
发明者徐蜀中, 朱小华 申请人:广东威创视讯科技股份有限公司