专利名称：一种会议电视系统中的多画面合成方法及装置的制作方法
技术领域：
本发明涉及会议电视，具体的说，涉及一种会议电视系统中的多画面合成方法及
装置。
背景技术：
会议电视作为一种先进的通信手段，已经在政府会议，远程教学，远程诊断和跨地 区远程会议等领域得到了广泛的应用。 现有会议电视多画面的实现方法是在MCU(多点控制单元)侧，MCU侧的DSP(数 字信号处理器)首先是对多个终端传过来的码流进行解码，再将解码后的数据根据MCU侧 中的主控MP(多点处理器)下发的多画面布局信息进行多画面合成，最后将合成后的图像 进行编码后输出。 现有技术中，如果要实现暂时将多画面中的一个画面放大观看，随即恢复原来的 图像很麻烦，其需要切换多画面布局，将现有的多画面布局A改为多画面布局B (布局B中， 所需查看的画面比较大)，看完后再恢复到多画面布局A。 在MCU处理中，多画面布局A变为多画面布局B，需要主控MP将布局B下发给DSP， DSP计算出布局B的多画面相关信息(多画面中每个画面的起始坐标、宽度、高度等)并进 行相应多画面合成，然后编码输出；恢复布局A的时候，需要主控MP将布局A重新下发给 DSP， DSP再次计算布局A的多画面信息并进行相应的多画面合成。 以上操作的问题在于一、MCU内部处理复杂，存在多次重复计算；二、需要放大的 图像不能够灵活显示，只能根据目前有的布局进行选择。
发明内容
有鉴于上述背景，本发明提供了一种会议电视系统中的多画面合成方法及装置，
能够灵活、简便地实现会议电视系统中的多画面合成。 为了解决上述技术问题，本发明采用了如下技术方案 —种会议电视系统中的多画面合成方法，包括 A、会议电视系统控制端根据预设多画面布局将多个画面合成为多画面图像底 层； B、会议电视系统控制端在所述多画面图像底层之上，创建至少一层图像层，在每 一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画 面，将所述预输出画面输出到对应图像框中。 在上述方法的一种实施例中，所述图像框输出特性包括图像框位置、图像框尺寸。
在上述方法的一种实施例中，所述图像框通过鼠标信号在web页面中创建。
在上述方法的一种实施例中，还包括通过鼠标信号在web页面中关闭所述图像 框。
在上述方法的一种实施例中，还包括对所述多画面图像底层之上的各层的各个图像框进行层级和/或输出特性调整。 在上述方法的一种实施例中，所述预输出画面为所述多画面图像底层中的画面， 或者为其他送显画面。 本发明还公开了一种会议电视系统中的多画面合成装置，包括设置于会议电视系 统控制端的图像底层合成模块以及图像框合成模块，其中 所述图像底层合成模块，用于根据预设多画面布局将多个画面合成为多画面图像 底层； 图像框合成模块，用于在所述多画面图像底层之上，创建至少一层图像层，在每一 图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面， 将所述预输出画面输出到对应图像框中。 本发明通过将会议电视系统的多画面进行分层合成，将初始的多画面布局合成为 图像底层，而后在图像底层之上创建上层图像框，将需要暂时观看的画面输出到上层图像 框，因而不需要改变会议电视系统的原有多画面布局，MCU内部无需复杂的处理计算，上层 图像框中的画面可以根据图像框的输出特性灵活调整。因而灵活、简便地实现了会议电视 系统的多画面合成。
图1是本发明实施例的MCU侧系统框图； 图2是本发明实施例的MCU侧MP的处理流程图； 图3是本发明实施例的MCU侧DSP的处理流程图； 图4是本发明实施例的MCU侧DSP的处理中的多画面二次合成的详细处理流程 图； 图5是本发明实施例的二次合成前的16画面布局； 图6是本发明实施例的二次合成后，将0号画面放大后的布局。
具体实施例方式
下面对照附图并结合具体实施方式
对本发明做详细说明。 本发明应用于会议电视系统，其主要涉及到会议电视系统的MCU侧，也即会议电 视系统控制端的处理。 如图1所示，终端或者WEB页面处理模块发出的消息流到达MCU侧，MCU侧包括主 控MP和DSP，主控MP首先对消息流进行处理，发送给DSP的消息处理模块，其中包含多画面 布局等信息，DSP同时接收媒体流，根据消息指示，由DSP解码模块、DSP多画面合成模块、 DSP编码模块依次进行媒体流的码流解码、多画面合成、合成后的图像编码输出。
参见图5，假设主控MP下发给DSP的多画面布局为图5所示的16画面布局，画面按 从左到右、从上到下顺序依次编号为0-15。 一般的，16画面中的各个画面来自于不同的终 端，由DSP对这些画面按图5所示的多画面布局进行合成输出，形成一个720P (1280x720) 16 画面的图像。本文中，将该图像称为多画面图像底层。 当用户在看图5所示的图像时，如果想把画面号为0的画面放大观看，则在多画面 图像底层之上，创建一个图像层，在该图像层中创建一个图像框，将画面号0的画面的图像数据依据图像框的输出特性进行调整，输出到图像框中进行显示。 图像框的输出特性主要包括图像框尺寸和位置，图像框一般定义为矩形，因此，图 像框尺寸由图像框的宽度和高度定义。图像框位置一般由图像框起始坐标定义，图像框起 始坐标通常是图像框的某一顶点坐标。 可以创建多个图像层，每一图像层中，可以创建多个图像框。并且，各个图像框可 以进行层级(从一个图像层调整到另一个图像层)、输出特性等的调整。当用户通过WEB页 面观看多画面合成图像底层时，可以在WEB页面中通过鼠标信号创建图像框并输出图像。 例如，如图6所示，只需用鼠标在多画面图像底层之上，拖出一个大的矩形框，然后将16画 面中0号画面拖进矩形框，就可以实现将0号画面放大观看。 图像框中的预输出画面，可以是多画面合成图像底层当中的某一画面，也可以是 其他送显画面，例如用户送显的某一开会时的图片的YUV数据。 为简略起见，下文中以一个图像框为例，并以图像框为矩形框进行说明。可以理 解，在多层、多个图像框时，其流程是类似的。为了区分，将多画面图像底层的多画面合成称 为一次画面合成，将图像框的创建和图像输出称为二次画面合成。 参照图1，终端或者WEB页面处理模块向MP发送消息，通知MP用户要进行二次画 面合成，二次画面合成消息包括矩形框起始坐标(210， 40)，矩形框宽度750，高度450，需 要将16画面中0号放入矩形框。 MP得到以上消息，除了将需要进行16画面多画面合成的消息( 一次画面合成消 息，其包括需要进行多画面合成，合成的多画面数，多画面布局)下发给DSP，还要将需要 进行二次画面合成的消息(包括需要进行二次画面合成，矩形框起始坐标和宽度高度，需 要放入矩形框的画面号)下发给DSP。 DSP端，首先是DSP解码模块依次接收16个终端发过来的压縮码流，循环对每个码 流进行解码，并将解码后的YUV数据发送给DSP多画面合成模块。 DSP多画面合成模块，首先判断出当前需要进行多画面合成，之后按照MP下发的 多画面数和多画面布局得到每个画面的起始坐标和宽度高度，然后对每一路YUV数据进行 縮放和合成，完成16画面的多画面合成。 —次多画面合成后，DSP多画面合成模块判断出还要进行二次画面合成，按照MP 下发的矩形框起始坐标(210， 40)，矩形框宽度750，高度450和所需送显的画面号0号画面 进行处理。假设所需送显的画面号0号的宽度为320，高度为180，由于矩形框宽度为750， 高度为450，所以需要进行画面縮放，将0号画面縮放为750x450 (注意縮放需要使用送显画 面号的原始YUV数据)，之后将縮放后的图像按照矩形框起始坐标位置进行二次画面合成。
DSP编码模块接收到多画面合成后的码流，按照相应的格式码率进行编码，编码后 就可以得到用户需要看到的图像(也即图6展示的图像，16画面在底层，O号画面显示在上 层的矩形框中)。 观看完毕后，用户在WEB页面中关闭矩形框。则WEB页面处理模块通知MP，用户要 停止二次画面合成。 MP得到以上消息后，除了将需要进行16画面多画面合成的消息下发给DSP，还要 将需要停止二次合成的消息下发给DSP。 DSP端，首先是DSP解码模块依次接收16个终端发过来的压縮码流，循环对每个码流进行解码，并将解码后的YUV数据发送给DSP多画面合成模块。 DSP多画面合成模块，判断出当前需要进行一次画面合成，之后按照MP下发的多 画面数和多画面布局得到每个画面的起始坐标和宽度高度，然后对每一路YUV数据进行縮 放和合成，完成16画面的多画面合成。 多画面合成后，DSP多画面合成模块判断出不需要进行二次画面合成，直接跳到下
__Lt少。 DSP编码模块接收到多画面合成后的码流，按照相应的格式码率进行编码，编码后 就恢复了用户需要的看到的图像(也即图5展示的图像)。
综上，本发明实施例的多画面合成控制的主要过程包括
A、 MP下发多画面合成消息，DSP处理此消息。
B、 DSP将多个终端传过来的码流进行多路解码。 C、将解码后的数据根据主控MP下发的多画面布局进行多画面合成。
D、将合成后的图像进行编码后输出。 E、 MP下发开始多画面二次合成消息，或者下发停止多画面二次合成消息，DSP处 理此消息。 F、当开始多画面二次合成时，DSP在进行多画面合成后，将所需送显的图像根据矩 形框尺寸进行縮放，然后二次合成到多画面上，或者不进行二次合成。
如果按照消息以及数据处理，流程进行顺序为A— > E— > B-D。骤4。束。
续解码
如图2所示，MP处理二次合成时的消息处理包括
1、 WEB页面是否设置开始多画面二次合成，如是，进行下一步；
2、 MP得到多画面二次合成指令。
3、 MP从多画面二次合成指令中得到矩形框宽度、高度、所需图
4、 WEB页面是否设置停止多画面二次合成，如是，进行下一步；
5、 MP得到停止多画面二次合成指令。
6、 MP下发相关消息给DSP。
7、 流程结束。
如图3所示，DSP的消息处理主要包括
1) 对MP下发的消息进行处理。
2) 进行多路视频压縮码流的解码，如果解码到最后-
> C— > F— >
否则，进行步
否则流程结
-路，则进行下一步，否则，继
3) 进行多画面合成。
4) 是否需要多画面二次合成，如是，进行多画面二次合成后再进行下一步；否则，
直接进行下一步。 5)合成图像(在有多画面二次合成时，是含有底层的多画面和上层的矩形框的合 成图像；没有多画面二次合成时，就是底层的多画面)的编码输出。
6)流程结束。
6
如图4所示，本发明实施例的二次画面合成主要包括 —、是否需要多画面二次合成，是则进行下一步；否则流程结束。 二、根据多画面二次合成信息得到矩形框起始坐标、宽度、高度等信息。 三、得到叠加图像(也即输出到矩形框中的预输出画面)的相关信息，例如，如是
底层的多画面的一个画面，则得到该画面的画面号。 四、矩形框和叠加图像的尺寸是否匹配，即矩形框和叠加图像的宽度、高度是否相 等，如是，进行下一步；否则，进行步骤六。
五、叠加图像縮放。
六、完成多画面二次合成。 本发明实施例的一种会议电视系统中的多画面合成装置，包括设置于会议电视系 统控制端的图像底层合成模块以及图像框合成模块，其中 所述图像底层合成模块，用于根据预设多画面布局将多个画面合成为多画面图像 底层； 图像框合成模块，用于在所述多画面图像底层之上，创建至少一层图像层，在每一 图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面， 将所述预输出画面输出到对应图像框中。 本发明克服了现有的多画面合成技术中，MCU内部处理复杂性高、多画面显示灵活 性差的问题和缺陷，简便、灵活地实现了会议电视系统的多画面合成。在例如需要暂时将多 画面中的一个画面放大观看时，只需在WEB页面中通过鼠标拖出 一个任意大小的矩形框， 然后将所需图像拖到矩形框中，看完后，直接关闭矩形框就可以了。 对于MCU内部处理，不需要改变多画面布局A，只需要在多画面布局A下，MP下发 给DSP两条关于多画面二次合成的消息，即开始多画面二次合成消息(包括WEB页面设置 的矩形框起始坐标以及宽度、高度和需要输出到矩形框的图像)，以及停止多画面二次合成 消息。如果是终端WEB页面设置，需要终端将上述二次合成消息传给MCU的MP ;如果是MCU 端WEB页面，则直接由MP从WEB页面得到此消息。DSP在根据布局A完成多画面合成后，根 据MP下发的开始多画面二次合成消息对所需送显的图像根据矩形框大小进行縮放，然后 根据矩形框的起始地址将该画面二次合成到布局A的多画面图像上。 本发明，减少了 MCU内部处理的复杂性，多画面图像的显示调整更加灵活、方便、 是一种高效的会议系统多画面合成方法。 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，但这只是 为便于理解而举的实例，不应认为本发明的具体实施只局限于这些说明。对于本发明所属 技术领域的普通技术人员来说，在不脱离本发明构思的前提下，可以做出各种可能的等同 改变或替换，这些改变或替换都应属于本发明的保护范围。
权利要求
一种会议电视系统中的多画面合成方法，其特征在于，包括A、会议电视系统控制端根据预设多画面布局将多个画面合成为多画面图像底层；B、会议电视系统控制端在所述多画面图像底层之上，创建至少一层图像层，在每一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面，将所述预输出画面输出到对应图像框中。
2. 如权利要求1所述的方法，其特征在于，所述图像框输出特性包括图像框位置、图像框尺寸。
3. 如权利要求l所述的方法，其特征在于，所述图像框通过鼠标信号在web页面中创建。
4. 如权利要求3所述的方法，其特征在于，还包括通过鼠标信号在web页面中关闭所述图像框。
5. 如权利要求l-4任一所述的方法，其特征在于，还包括对所述多画面图像底层之上的各层的各个图像框进行层级和/或输出特性调整。
6. 如权利要求l-4任一所述的方法，其特征在于，所述预输出画面为所述多画面图像底层中的画面，或者为其他送显画面。
7. —种会议电视系统中的多画面合成装置，其特征在于，包括设置于会议电视系统控制端的图像底层合成模块以及图像框合成模块，其中所述图像底层合成模块，用于根据预设多画面布局将多个画面合成为多画面图像底层；图像框合成模块，用于在所述多画面图像底层之上，创建至少一层图像层，在每一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面，将所述预输出画面输出到对应图像框中。
8. 如权利要求7所述的装置，其特征在于，所述图像框输出特性包括图像框位置、图像框尺寸。
9. 如权利要求7或8所述的装置，其特征在于，还包括图像框调整模块，用于对所述多画面图像底层之上的各层的各个图像框进行层级和/或输出特性调整。
10. 如权利要求7或8所述的装置，其特征在于，所述预输出画面为所述多画面图像底层中的画面，或者为其他送显画面。
全文摘要
本发明公开了一种会议电视系统中的多画面合成方法，所述方法包括会议电视系统控制端根据预设多画面布局将多个画面合成为多画面图像底层；会议电视系统控制端在所述多画面图像底层之上，创建至少一层图像层，在每一图像层，创建至少一个图像框，并按每一图像框输出特性调整该图像框对应的预输出画面，将所述预输出画面输出到对应图像框中。所述装置包括设置于会议电视系统控制端的图像底层合成模块以及图像框合成模块。本发明灵活、简便地实现了会议电视系统的多画面合成。
文档编号H04N5/262GK101742221SQ200910110040
公开日2010年6月16日 申请日期2009年11月9日 优先权日2009年11月9日
发明者刘军莉, 管辉, 陈军 申请人:中兴通讯股份有限公司