专利名称：多画面合成方法、系统及媒体处理装置的制作方法
技术领域：
本发明涉及通信领域，具体而言，涉及一种多画面合成方法、系统及媒体处理装置。
背景技术：
会议电视技术的出现和发展，逐渐改变了人类的社会活动方式，视频通信也成为人类社会经济生活中不可缺少的一部分。传统的通信工具，如电话、传真机等都无法达到面 对面或一群人聚集在一起的沟通效果。对企事业单位来说，出差开会，已成为令人苦恼，望 而却步的事情。采用会议电视的方式既达到了召开会议的目的，又避免了出差到外地。视频会议系统主要包括多点控制单元(Multipoint Control Unit，简称为MCU)和 终端系统，其中，MCU是多点视频会议系统的关键设备，它从来自各会议场点的信息流，抽取 出音频、视频、数据等信息和信令，再将各会议场点的信息和信令，分别送入多点控制模块 和媒体处理模块，完成相应的音频混合或切换、视频混合或切换、数据广播和路由选择、定 时和会议控制等过程，最后将各会议场点所需的各种信息重新组合起来，送往各相应的终 端系统设备。终端系统分为桌面式会议终端和会议室型会议终端两大类。桌面式会议终端 成本低、使用方便等特点，适合个人办公使用和召开小规模的会议。会议室型终端配备有高 品质变焦镜头、高保真音响、大屏幕彩电或投影等外部辅助设备，加上视频的前处理/后处 理器，使得画面画质更清晰、达到更好的会议效果，适合召开较大规模的会议。会议室终端 适用于会议室，几个到几十个与会人员的环境。广播终端是单向接收终端，它可以接收会议 的图象与声音，但是不能发送图像与声音。广播终端可以用于只需要单向传递信息的场合， 例如上级向下级传达政策等场合。移动终端是在桌面型终端的基础上，配上无线接入卡和 无线发射装置，可以在一定地区范围内移动加入会议。会议终端配置在视频会议中的本地 会议场点和各分会场点。在传统的会议电视中，通过MCU和终端系统的密切配合，以分屏方式实现多画面 的同时输出。从4、9、16的对称分屏到1+5、1+7、3+4、2+8、1+12等不对称分屏，从1+1,1+2 等画中画到6、2+4等16 9宽屏显示，多种不同的分屏组合方式，满足用户任意的显示要 求。以下结合图1描述传统的会议电视显示的多画面布局。该布局为9个画面，每个画 面大小相同，为整个画面大小的1/9。传统会场不要求真身大小，更期望能够看到更多会场 信息。9个画面每排3个小画面可以显示一个多流会场，9个画面能够显示3个多流会场。由此可知，用户虽然可以看到尽可能多的会场，但是，用户观看的画面无法保持其 显示场景的真身大小、也难以有效进行眼神交流，因此降低了用户临场感体验。
发明内容
针对相关技术中无法在尽可能多地合成多个场景时，还保持场景的真身大小的问 题，本发明的主要目的在于提供一种多画面合成方法、系统及媒体处理装置，以解决上述问题至少之一。 根据本发明的一个方面，提供了一种多画面合成方法。根据本发明的多画面合成方法，应用于视频会议系统，该方法包括获取多路媒体 码流，其中，每路媒体码流用于显示场景的一个画面；按照布局将多路媒体码流合成为一组 多画面，其中，布局中的至少一个画面的大小等于所显示场景的真实大小。根据本发明的另一方面，提供了一种多画面合成系统。根据本发明的多画面合成系统包括接入模块，用于获取多路媒体码流，其中，每 路媒体码流用于显示场景的一个画面；媒体处理模块，用于按照布局将多路媒体码流合成 为一组多画面，其中，布局中的至少一个画面的大小等于所显示场景的真实大小。根据本发明的又一方面，提供了 一种媒体处理装置。根据本发明的媒体处理装置包括接收模块，用于接收多路媒体码流，其中，每路 媒体码流用于显示场景的一个画面；处理模块，用于按照布局将接收到的多路媒体码流合 成为一组多画面，其中，布局中的至少一个画面的大小等于所显示场景的真实大小。输出模 块，用于将合成后的一组多画面输出。通过本发明，按照预定的布局将多路媒体码流合成为一组多画面，其中，该布局中 的至少一个画面的大小等于所显示场景的真实大小，解决了相关技术中无法在尽可能多地 合成多个场景时，还保持场景的真身大小的问题，进而可以在尽可能地合成多个会场信息 夕卜，还能保持画面显示场景的真实大小，有效提高了用户临场感体验。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中图1是传统的会议电视显示的多画面布局；图2是视频会议系统的结构示意图；图3是根据本发明实施例的多画面合成方法的流程图；图4是根据本发明优选实施例一的多画面布局的示意图；图5是根据本发明优选实施例二的多画面布局的示意图；图6是根据本发明优选实施例三的多组多画面布局的示意图；图7是根据本发明优选实施例的多画面合成方法的流程图；图8是根据本发明实施例的多画面合成系统的结构框图；图9是根据本发明优选实施例的多画面合成系统的结构框图；图10是根据本发明优选实施例的媒体处理装置的结构框图。
具体实施例方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的 情况下，本申请中的实施例及实施例中的特征可以相互组合。图2是视频会议系统的结构示意图。如图2所示，该视频会议系统包括单、多视 频流会场和多点控制单元(Multipoint (011廿01此行，简称为]\ ^)13。其中，111、112、113 为多流会场，121、122、123为单流会场。其中，111会场为广播源会场，其他会场都看111会场；111所看会场为113会场。单流会场121、122、123只能选看111会场中多流的一路码 流，存在信息不完备的缺陷，因此需要媒体处理模块把多路码流合成为一路码流。111会场 虽然是多流会场，但是也只能看一个多流会场，也需要媒体处理模块把其他会场码流合成
一路码流。 在上述视频会议系统中，如果用户需要尽可能地看到多个会场信息，还能看到画 面显示的会场场景的真实大小，则需要提供一种新的多画面合成方法，以下结合图3进行 描述。图3是根据本发明实施例的多画面合成方法的流程图。如图3所示，该多画面合 成方法包括以下处理步骤S302 获取多路媒体码流，其中，每路媒体码流用于显示场景的一个画面；步骤S304 按照布局将多路媒体码流合成为一组多画面，其中，布局中的至少一 个画面的大小等于所显示场景的真实大小。采用上述方法，由于上述布局中的至少一个画面的大小等于所显示场景的真实大 小，用户观看的画面可以保持其显示场景的真身大小、也能够有效进行眼神交流，因此提高 了用户临场感体验。优选地，上述多画面中还可以有至少一个小画面，其中，每个小画面的大小小于所 显示场景的真实大小。以下结合图4和图5描述上述优选实施过程。图4是根据本发明优选实施例一的多画面布局的示意图；如图4所示，该布局由4 个画面组合而成，其中414对应是大画面，并在其底部中间叠加411、412、413共3个长宽比 16 9的小画面，小画面的面积在大画面的1/36至1/16之间。411、412、413媒体源来自 同一多流会场或者多个单流会场。可见，414保持了真身大小，不影响眼神交流，411、412、 413又能够看到其他会场的图像信息。图5是根据本发明优选实施例二的多画面布局的示意图；如图5所示，该布局与图 4的区别主要在于小画面叠加在顶部中间。与图4 一样，大画面52保持了真身大小，不影响 眼神交流，511、512、513又能够看到其他会场的图像信息。优选地，根据会议状态，可以动态确定需要合成的多画面组数，每组多画面用一个
屏幕显示。在优选实施过程中，上述多组多画面中，也可以采用传统的多画面布局，具体可以 参见图1。以下结合图6描述上述优选实施过程。图6是根据本发明优选实施例三的多组多画面布局的示意图；本实施例以图2为 例，给出不同会场所看多画面合成后的图像信息。611为111左屏所看码流示意图，其图像 分别来自113左席和121、122、123会场。612为111中屏所看码流示意图，其图像分别来 自113中席和112会场图像。613为111右屏所看码流示意图，其图像来自113右席图像。 可见111所看会场大画面图像信息来自113，其大小保持真身大小，此外还叠加了 112，121、 122、123会场图像。621，622，623为113所看图像信息，其大画面媒体源为111会场，并在 622上合成多画面叠加112会场信息，因此113能够同时看到111和112会场视频。63为 121、122、123单流会场所看的9个画面图像，其媒体码流分别来自111、112、113三个会场。优选地，该方法还可以包括以下处理在会议中根据会议状态，确定更改当前布局；根据更改后的布局，将多路媒体码流合成为一组多画面。优选地，该方法还可以包括以下处理在会议中根据会议状态，确定更改码流源； 从新的码流源获取新的多路媒体码流；按照布局将新的多路媒体码流合成为一组多画面。以下结合图7描述上述优选实施过程。图7是根据本发明优选实施例的多画面合成方法的流程图。如图7所示，该多画 面合成方法包括以下处理步骤S702 在会议召开过程中，根据MCU图像合成能力和与会终端特点来决定合 成几组多画面，每组多画面采用何种布局。其中，MCU图像合成能力指的是能够合成多少个多画面，还包括不同协议不同速率 间转码能力。当能力有限时，首先保证主席会场的多画面合成。多画面采用的布局，可以根 据实际情况选择图1、图4、图5所示布局。普通会场一般采用图1布局，网真会场一般采用 图4或图5布局。此外，布局和画面数还可以在会议中动态调整。步骤S704 会议中根据会议状态随时改变多画面由哪些终端码流合成(相当于上 述在会议中根据会议状态，确定更改码流源)。会议中可能发生广播源改变，则每组多画面 所合成的媒体码流要随之变化。图4、图5布局中大画面选择广播源会场码流或者广播源所 看会场码流，小画面选择其他会场码流并按次序填充。图1布局中媒体码流可由用户指定， 或者显示最近有发言的多个会场。步骤S706 根据每个会场特点选择不同的媒体码流传输给该会场。该会场通过多 路码流能够直接看到其他会场的场景，或者其他会场合成后的多画面，具体可以根据实际 情况而定。在优选实施过程中，可以实时调整以下至少之一多画面组数、多画面的布局、媒 体源。具体地，系统可以根据预定配置动态调整，也可以响应用户的调整指令进行动态调整。图8是根据本发明实施例的多画面合成系统的结构框图。如图8所示，该多画面 合成系统，应用于视频会议系统，包括接入模块80、媒体处理模块82。接入模块80，用于获取多路媒体码流，其中，每路媒体码流用于显示场景的一个画 面；媒体处理模块82，用于按照布局将多路媒体码流合成为一组多画面，其中，布局中 的至少一个画面的大小等于所显示场景的真实大小。采用上述系统，由于上述布局中的至少一个画面的大小等于所显示场景的真实大 小，用户观看的画面可以保持其显示场景的真身大小、也能够有效进行眼神交流，因此提高 了用户临场感体验。优选地，上述接入模块80，还用于将媒体处理模块处理后的一组多画面输出至终端。优选地，如图9所示，如果接入模块和媒体处理模块均为多个，则系统还可以包 括媒体交换模块84，用于将接入模块获取的媒体码流转发至该接入模块对应的媒体处理 模块，将媒体处理模块处理后的多画面输出至该媒体处理模块对应的接入模块。需要注意的是，上述多画面合成系统中各个模块相互结合的优选实施方式可以参 见图3至图7中的描述，此处不再赘述。
图10是根据本发明优选实施例的媒体处理装置的结构框图。如图10所示，该媒 体处理装置主要包括接收模块10、处理模块12、以及输出模块14。接收模块10，用于接收多路媒体码流，其中，每路媒体码流用于显示场景的一个画 面；在优选实施过程中，接收模块10接收终端码流，其中，该终端码流通过网络和MCU 接入模块进入到MCU内部。处理模块12，用于按照布局将接收到的多路媒体码流合成为一组多画面，其中，该 布局中的至少一个画面的大小等于所显示场景的真实大小。在优选实施过程中，处理模块12 根据画面布局和多画面填充码流信息合成多画 面。其中，该处理模块12还用于进行码流协议处理和速率转换。输出模块14，用于将合成后的一组多画面输出。上述媒体处理装置可以按照预定的布局将接收到的多路媒体码流合成为一组多 画面，其中，上述布局中的至少一个画面的大小等于所显示场景的真实大小，因而经过媒体 处理装置处理后的图像能够保持真身大小，不影响眼神交流，有效提高了用户体验。优选地，多画面中还可以有至少一个小画面，其中，每个小画面的大小小于所显示 场景的真实大小。该多画面的布局具体可以参见图4和图5。通过上述处理，可以使用户尽可能地看到多个场景的画面，有效提高了用户的观 看体验。综上所述，借助本发明提供的上述实施例，可以在尽可能地合成多个会场信息外， 还能保持画面显示场景的真实大小，便于用户之间进行眼神交流，有效提高了用户临场感 体验。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用 的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成 的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储 在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示 出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或 步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
一种多画面合成方法，应用于视频会议系统，其特征在于，包括获取多路媒体码流，其中，每路媒体码流用于显示场景的一个画面；按照布局将所述多路媒体码流合成为一组多画面，其中，所述布局中的至少一个画面的大小等于所显示场景的真实大小。
2.根据权利要求2所述的方法，其特征在于，所述多画面中有至少一个小画面，其中， 每个小画面的大小小于所显示场景的真实大小。
3.根据权利要求1或2所述的方法，其特征在于，还包括根据会议状态，确定需要合成的多画面组数，每组所述多画面用一个屏幕显示。
4.根据权利要求1所述的方法，其特征在于，还包括 在会议中根据会议状态，确定更改所述布局；根据所述更改后的布局，将所述多路媒体码流合成为一组多画面。
5.根据权利要求1所述的方法，其特征在于，还包括 在会议中根据会议状态，确定更改码流源；从所述新的码流源获取新的多路媒体码流； 按照布局将所述新的多路媒体码流合成为一组多画面。
6.一种多画面合成系统，应用于视频会议系统，其特征在于，包括接入模块，用于获取多路媒体码流，其中，每路媒体码流用于显示场景的一个画面； 媒体处理模块，用于按照布局将所述多路媒体码流合成为一组多画面，其中，所述布局 中的至少一个画面的大小等于所显示场景的真实大小。
7.根据权利要求6所述的系统，其特征在于，所述接入模块，还用于将所述媒体处理模块处理后的所述一组多画面输出至终端。
8.根据权利要求7所述的系统，其特征在于，所述接入模块和所述媒体处理模块均为 多个，所述系统还包括媒体交换模块，用于将所述接入模块获取的媒体码流转发至该接入模块对应的媒体 处理模块，将所述媒体处理模块处理后的所述多画面输出至该媒体处理模块对应的接入模 块。
9.一种媒体处理装置，应用于视频会议系统，其特征在于，包括接收模块，用于接收多路媒体码流，其中，每路媒体码流用于显示场景的一个画面； 处理模块，用于按照布局将接收到的所述多路媒体码流合成为一组多画面，其中，所述 布局中的至少一个画面的大小等于所显示场景的真实大小。 输出模块，用于将合成后的所述一组多画面输出。
10.根据权利要求9所述的装置，其特征在于，所述多画面中有至少一个小画面，其中， 每个小画面的大小小于所显示场景的真实大小。
全文摘要
本发明公开了一种多画面合成方法、系统及媒体处理装置，应用于视频会议系统，上述多画面合成方法包括获取多路媒体码流，其中，每路媒体码流用于显示场景的一个画面；按照布局将多路媒体码流合成为一组多画面，其中，布局中的至少一个画面的大小等于所显示场景的真实大小。根据本发明提供的上述技术方案，可以在尽可能地合成多个会场信息外，还能保持画面显示场景的真实大小，有效提高了用户临场感体验。
文档编号H04N7/15GK101860715SQ20101018044
公开日2010年10月13日 申请日期2010年5月14日 优先权日2010年5月14日
发明者吴衍平, 孙波, 田智平, 黄书平 申请人:中兴通讯股份有限公司