视频及音频处理方法、多点控制单元和视频会议系统的制作方法

专利名称：视频及音频处理方法、多点控制单元和视频会议系统的制作方法
技术领域：
本发明涉及音视频技术，尤其涉及一种视频处理方法、音频处理方法、 视频处理装置、音频处理装置、多点控制单元和视频会议系统。
背景技术：
最初的视频会议系统中，每个会场只能发送一路视频图像， 一般为摄像 机采集的会议室场景，给与会者提供类似面对面的效果。随着视频会议技术 的不断进步，又出现了双流标准，允许与会者发送两踏4见频图像，主流发送 摄像机采集的会议室场景，辅流可以发送笔记本电脑上的胶片图像，提高了 与会者之间的数据共享。再进一步的又出现了远程呈现系统，该系统可以同 时传送多个摄像机图像，并且多个摄像机图像可以拼接在一起构成一个视角 更大的完整会议室场景，给与会者提供高临场感视频沟通体验。
虽然双流或多流的会议模式给用户带来了极大的方便和体验，但是要求 同 一个会议的所有会场都要同时支持双流或多流，不能与现有的单流兼容。 单流会场的用户如果需要参加双流或多流会议，就必须将单流设备替换为双 流或多流设备，而双流或多流设备的成本比较高，因此需要一种方案来支持 单流会场、双流会场、多流会场之间的混合组网，以尽量减低整体建设成本。 现有技术中存在一种方案可以解决单流会场和双流会场的混合会议，其采用 的方案是将双流会场的主视频流转发给单流会场，而丟弃双流会场的辅视频流。
发明人在实现本发明的过程中发现现有技术至少存在如下问题现有技 术在实现双流会场和单流会场的混合组网时，由于丟弃了双流会场的辅视频 流，造成单流会场只能看到双流会场发送的主流图像，而看不到辅流图像，
影响会议效果。同时，现有技术中还没有给出远程呈现会场与单流会场及双 流会场及路数不同的远程呈现会场之间的混合组网方案。

发明内容
本发明是提供一种视频处理方法、音频处理方法、视频处理装置、音频 处理装置、多点控制单元和视频会议系统，解决支持不同音视频会场的混合 组网问题。
本发明实施例提供了一种视频处理方法，包括 获取第一会议终端发送的N路视频流；
确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端 支持与N不同的L路视频流；
将所述N路视频流中携带的N路视频信息，携带在L路视频流中； 将所述L路视频流传输给所述第二会议终端。 本发明实施例提供了一种音频处理方法，包括
获取各会议终端的音频流，所述会议终端至少包括一个远程呈现会场的 终端；
对各会议终端的音频流进行混音处理；
将混音后的音频流发送给各会议终端。
本发明实施例提供了一种视频处理装置，包括
视频获取模块，用于获取第一会议终端发送的N路视频流；
确定模块，用于确定与所述第一会议终端进行交互的第二会议终端，所
述第二会议终端支持与N不同的L路视频流；
处理模块，用于将所述N路视频流中携带的N路视频信息，携带在L路
视频流中；
传输模块，用于将所述L路视频流传输给所述第二会议终端。 本发明实施例提供了一种音频处理装置，包括
音频获取模块，用于获取各会议终端的音频流，所述会议终端至少包括
一个远程呈现会场的终端；
混音模块，用于对各会议终端的音频流进行混音处理； 发送模块，用于将混音后的音频流发送给各会议终端。 本发明实施例提供了一种多点控制单元，包括
第一接入模块，用于接入第一会议终端，与所述第一会议终端传输第一
媒体流，所述第一i某体流包括N路视频流和N路音频流；
第二接入模块，用于接入第二会议终端，与所述第二会议终端传输第二
媒体流，所述第二媒体流包括L路视频流和L路音频流，L与N不相同； 媒体交换模块，用于将第一媒体流中的信息传输给第二会议终端，将第
二媒体流中的信息传输给第一会议终端。
本发明实施例提供了一种视频会议系统，包括
至少两个会议终端，所述会议终端至少支持两种媒体流路数；
多点控制单元，用于交换所述至少两个会议终端的媒体流中携带的信息。
由上述技术方案可知，本发明实施例通过对接入的音视频流进行处理，
使处理后的音视频路数与接收会场的路数相同，实现各个不同路数会场之间
的互通，即实现远程呈现会场、单流会场、双流会场之间的互通融合，使这
些不同路数的会场可以混合组网，降低整网建设成本。


为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描迷中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前 提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频会议系统的结构示意图； 图2为本发明实施例一提供的视频处理方法的流程示意图； 图3为本发明实施例二提供的多点控制单元的结构示意图4为本发明实施例二提供的视频处理方法的实施例一的流程示意图5为本发明实施例二提供的视频处理方法的实施例二的流程示意图6为本发明实施例三提供的多点控制单元的结构示意图7为本发明实施例四提供的多点控制单元的结构示意图8为本发明实施例四提供的音频处理方法的流程示意图9为本发明视频处理装置实施例的结构示意图IO为本发明音频处理装置实施例的结构示意图。
具体实施例方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的视频会议系统的结构示意图，包括第一会议 终端、与第 一会议路数不同的第二会议终端和用于进行第 一会议终端与第二 会议终端媒体流交互的多点控制单元(Multipoint Control Unit，MCU) 13。第 一会议终端和第二会议终端至少为一个，其中，图1所示的第一会议终端为 路数为三路的第一远程呈现会场111、第二远程呈现会场112,传输的分别为 A、 B、 C及D、 E、 F三路媒体流；第二会议终端为第一单流会场121、第二 单流会场122、第三单流会场123，分别传输的为G、 H、 I 一路士某体流；MCU13 负责各个会场(包括单流会场、双流会场、多流会场)之间的核心交换、混 音、分屏处理等。第一远程呈现会场111、第二远程呈现会场112与第一单 流会场121、第二单流会场122、第三单流会场123通过E1或IP或ISDN等 传输网络接入MCU13,媒体流(包括视频流和音频流)在MCU13上汇聚， MCU13对各个会场接入的々某体流统一进行控制、交换，以实现各个会场之间
的媒体流交换。
参见图1,第二远程呈现会场112可以接收到第一单流会场121、第二单 流会场122、第三单流会场123的媒体信息(G、 H、 I)，第一单流会场121 可以接收到第二远程呈现会场112的媒体信息(D、 E、 F),因此，实现了 远程呈现会场和单流会场之间的交互，解决了现有技术中不同路数会场之间 不能融合的问题。同时，同现有技术一样，远程呈现会场之间、单流会场之 间也可以交互，例如，第一远程呈现会场111可以接收到第二远程呈现会场 112的媒体信息，第二单流会场122、第三单流会场123分别接收到第一单流 会场lll、第二单流会场112的媒体信息，因此，可以同现有技术兼容。
本实施例还可以进一步包括业务管理台14，业务管理台14用于对系统 的各种参数进行预定义，之后将预定义的各参数传输给MCU13，使MCU13 根据预定义的各参数进行统一控制管理。具体的MCU的结构及实现方式可 以参见下述的实施例。
本实施例中，MCU进行不同媒体流路数的会场之间的交互，可以实现不 同路数会场之间的混合组网，可以根据网络中各用户的情况配置相应的远程 呈现会场终端、单流会场终端、双流会场终端，而不必整网配置性能较高的 设备，因此，可以降低整网的建设成本，避免之前使用的设备的资源浪费。
图2为本发明实施例一提供的视频处理方法的流程示意图，包括
步骤21: MCU获取第一会议终端发送的N路视频流。例如，MCU接收 远程呈现会场的三路视频流。
步骤22: MCU确定与所述第一会议终端进行交互的第二会议终端，所 述第二会议终端支持L路视频流，L与N不同。例如，第二会议终端为单流 会场，支持一路一见频流。
步骤23: MCU将所述N路视频流中携带的N路视频信息，携带在L路 视频流中。例如，参照图1，第一单流会场121支持的视频流为一路，与MCU 接入的第二远程呈现会场112支持的三路视频流的路数不相同，因此，MCU 需要对三路视频流进行处理，使三路视频流中的信息携带在一路视频流中，
如该一路视频流中包括信息D、 E、 F)。相比于现有会议电视系统中要求各 会场支持的路数相同，本实施例可以支持各不同路数的会场之间的互通；相 比于现有双流会场只将主视频流传输给单流会场造成的信息丟失问题，本实 施例在处理后得到的第二々某体流中保留了原有的第一々某体流中全部信息，避 免信息丟失的问题。上述将远程呈现会场的三路视频信息进行合成，还可以 将三路视频信息分时地以一路视频流的方式发送给单流会场，具体的可参见 下述实施例。
步骤24: MCU将所述L路视频流传输给所述第二会议终端。例如，将 携带三流视频信息的 一路视频流发送给单流会场。
本实施例通过对来自各会场的视频流进行处理，使接入的视频流与输出 的视频流的路数不相同，实现各不同路数的会场之间的融合；并且实现输出 的视频流保留输入视频流的全部信息，避免信息丢失。
图3为本发明实施例二提供的多点控制单元的结构示意图，本实施例是 针对视频的MCU的结构示意图，包括第一接入模块31、第二接入模块32、 视频合成模块33和媒体交换模块34。第一接入模块31与第一会议终端连接， 用于接入第一会议终端的N路视频流，例如，接入图1中的远程呈现会场的 三路视频流；第二接入模块32与第二会议终端连接，用于接入第二会议终端 的与N不同的L路视频流，例如，接入图1中的单流会场的一路视频流；视 频合成模块33与第一接入模块31相连，用于将N路视频流合成为L路视频 流，例如，将图1的远程呈现会场的三路视频流合成一路视频流；媒体交换 模块34与视频合成模块33相连，用于将N路视频流合成得到的L路视频流 转发给第二会议终端，例如，将图1的三路视频流合成为一路视频流后发送 给单流会场。同时，视频合成模块33还可以用于将接入的未合成的N路视 频流直接转发给媒体交换模块34，再传输给相应的支持多路的会场，例如， 图1的第二远程呈现会场112将多路视频流通过媒体交换模块34直接转发给
第一远程呈现会场111。
息，如将L个N路视频信息合成为L路视频信息，每个N路视频信息合成为 一路视频信息；或者所述视频合成模块具体用于将一个N路视频信息合成为 L路视频信息，如将一个N路视频信息中的(L-l )路视频信息保持不变，将 N- (L-l )路的视频信息合成为一路视频信息。本实施例还可以进一步包括协 议转换/速率适配模块35，协议转换/速率适配模块35分别位于视频合成模块 与媒体交换模块之间，及位于第二接入模块与媒体交换模块之间，用于对不 同的协议和速率进行转换和适配，即把源视频流格式转换为目的视频格式， 或把源视频带宽转换为目的视频带宽。如果会场之间的协议或速率不需要转 换和适配，就不需要经过此模块。进一步的，本实施例还可以包括会议控制 模块，会议控制模块与MCU内部的各模块连接，用于根据业务管理台输入 的各种参数，管理、控制MCU内部包括接入模块、视频合成模块、协议转 换/速率适配模块、媒体交换模块共同动作，实现用户对会议的管理，例如， 控制接入模块将接入的视频流送入协议转换/速率适配模块，还是直接送入视 频合成模块；控制视频合成模块是进行视频流合成还是直接进行视频流转发； 控制媒体交换模块将处理后的视频流送入哪个会场；并且还可以控制这些模 块统一工作等。
本实施例通过视频合成模块实现多路视频流的合成，达到路数少会场可 以支持的路数，因此可以实现将路数多会场的视频信息传输给路数少会场， 而无需将支持较少路数的会场升级成支持较多路数的会场，节省设备成本。
图4为本发明实施例二提供的视频处理方法的实施例一的流程示意图。 本实施例以远程呈现会场为输入侧，单流会场及远程呈现会场为输出侧的情 形为例，第一接入模块接入的为远程呈现会场输入的多路视频流。该实施例 包括
步骤41:通过标准协议(H.323或SIP或H.320)的呼叫、能力协商过程，
远程呈现会场与MCU中的第一接入模块建立媒体通道，MCU中的第一接入 模块获取远程呈现会场的多路视频流。
步骤42:第一接入模块将多路视频流发送给视频合成模块。视频合成模 块对接收到的多路视频流进行图像解码，解码出来的原始图像进行缩放、组 合成一幅新的图像，然后对该新的图像进行编码，根据会议控制模块的控制 获知需要传输给单流会场，因此视频合成模块将编码得到一路视频流，并将 编码后的图像一路视频流发送给媒体交换模块。同时，因为远程呈现会场之 间交换的是多路视频流，所以，视频合成模块除了可以将合成后的一路视频 流发送给媒体交换模块之外，还可以将接入模块接入的多路视频流直接转发 给媒体交换模块，用于在远程呈现会场之间进行交换。具体的是要合成还是 直接转发可以由会议控制模块进行控制。
步骤43:视频合成模块将合成后的视频流发送给媒体交换模块。媒体交 换模块根据会议控制模块的指令，将视频流在各个会场之间进行转发。
步骤44:视频合成模块将多路视频流直接转发给媒体交换模块。
步骤45:媒体交换模块将合成后的视频流发送给单流会场。通过视频合 成模块的处理，将多路视频流合成一路视频流，并且，经过媒体交换模块的 转发，单流会场便可以收看到远程呈现会场的多路信息。参见图1,经过路 数合成，第一单流会场121可以收看到第二远程呈现会场112的包括三路视 频信息(D、 E、 F)的视频图像。
步骤46:媒体交换模块将多路视频流发送给远程呈现会场。参照图1， 将第二远程呈现会场112的信息传输给第一远程呈现会场111。
本实施例以多路转换成一路为例，应用该码流合成原理可以实现任意的 N流会场与L流会场之间的混和组网，假设N〉L。具体的做法可以包括下述 两种方式
方式一将若干个N路;f见频信息合成为L踏4见频信息，即对若干个N流 会场进行分别合成，得到L鴻4见频流。具体可以为将N流会场的N鴻4见频码流组合成包括N个画面的 一路视频流，再把该一路视频流发送给L流会场的 一个^L频通道中，L流会场的其余L-l个^L频通道可以用于4妻收其他会场的 牙见频流信息。例如，对两个三流会场进行处理，将每个三流会场的三3各浮见频 流合成为一鴻4见频流，最终形成两蹈4见频流，之后可以发送全合双流会场。因 此，通过该方式可以使L流会场接收到L个会场的组合画面。
方式二将一个N鴻4见频信息合成为L鴻"视频信息，即对一个N流会场 进行合成得到L絲4见频流。具体可以为将N流会场中的L-l賴4见频流分别发 送给L流会场的L-l个视频通道中，N流会场的其余的N- ( L-l )路的视频 流组合成包括N- (L-l)个画面的一踪4见频流，将该包括多画面的一聘4见频 流发送给L流会场的剩下的 一个视频通道中。例如，将一个三流会场的 一路 保持不变，另两路合成为一路，最终形成两踏4见频流，之后可以发送给双流 会场。因此，通过该方式可以保证L流会场尽可能看到最多的大画面。
本实施例通过将路数多会场的视频流进行合成，解决了路数少会场收看 路数多会场的视频互通问题。
图5为本发明实施例二提供的视频处理方法的实施例二的流程示意图， 本实施例是以单流会场为输入侧，远程呈现会场为输出侧的情形为例，包括
步骤51-53:单流会场将单路视频流分别通过第二接入^t块发送给々某体交 换模块。例如，参照图1,第一单流会场121、第二单流会场122、第三单流 会场123分别将各自的一路—见频流(分别为G、 H、 I)发送》会^某体交换中心。
步骤54:媒体交换模块将多个单流会场的单路视频流合并成多路视频流。 例如，将上述的三个单路一见频流合并成三路3见频流。
步骤55-56:媒体交换模块将多路视频流转发给远程呈现会场。例如，参 照图1,将三路视频流(G、 H、 I)发送给第二远程呈现会场112。
本实施例以 一路转换成三路为例，应用该会场合成原理可以实现任意的 L流会场与N流会场之间的混和组网，假设N〉L。具体的做法可以为在若 干个L流会场中任意选择共N路的视频码流发送给N流会场。例如，将2个
双流会场的^L频流合并成4路4见频流后，输出给一个路H为四的远程呈现会 场。
本实施例通过将若千个路数少会场的视频码流进行合成，解决了路数多 会场收看路数少会场的视频互通问题。
图6为本发明实施例三提供的多点控制单元的结构示意图，本实施例是 针对视频的MCU的结构示意图，包括第一接入模块61、第二接入模块62和 媒体交换模块63。第一接入模块61用于接入第一会议终端的N路视频流， 例如，接入远程呈现会场的视频流。第二接入模块62用于接入第二会议终端 的与N不同的L路视频流，例如，接入单流会场的视频流。
以N大于L为例，第一会议终端为输入侧，第二会议终端为输出侧的情 况下，与实施例二提供的MCU不同的是，本实施例中不包括视频合成单元， 本实施例中的媒体交换模块63根据预设的条件或者视频流的条件分时地在N 路视频流中选择L路视频流，得到分时的若干个L路视频流；之后，将该若 干个L路视频流分时传输给第二会议终端。如设置第一时刻选择图1中的第 二远程呈现会场112的包含D信息的这一路(如可以根据视频流的源地址确 定是否为需要选择的视频流)，第二时刻选择包含E信息的这一路，第三时 刻选择包含F信息的这一路，之后分别传输给图1中的第一单流会场121， 这样第一单流会场121便会分时地看到第二远程呈现会场112的全部内容。 其中，某一时刻在N路视频流中选择L路视频流具体可以为
方式一根据预设的控制规则，如用户可以将自身需要的视频流的信息 设置为相应的控制规则，在N路视频流中选择L路视频流。方式二根据预 设的优先级，在N路视频流中按照优先级从高到低排列选择L路传输给L流 会场。
方式三MCU通过分析接入的N路视频流对应的音频流，按照音频流 的音量从高到低排列选择L路音频流对应的视频流传输给L流会场。
方式四N流会场在视频流中携带一个表明优先级高低的标志，MCU根
据优先级从高到低排列选择L路视频流传输给L流会场。
本实施例还可以进一步包括协议转换/速率适配模块64和会议控制模块。 这两个模块的作用于实施例二相同，如，协议转换/速率适配模块64用于协 议及速率之间的转换和适配，会议控制模块对各模块进行控制。
图7为本发明实施例四提供的多点控制单元的结构示意图，本实施例是 针对音频的MCU的结构示意图，包括第一接入模块71、第二接入模块72、 音频码流选择/合成模块73、媒体交换模块74和混音模块75。第一接入模块 71用于接入N路音频流。第二接入才莫块72用于接入与N不同的L路音频流。 音频码流选择/合成模块73与接入非单路音频流的接入模块对应连接，例如， N不为1, L为1,则音频码流选择/合成模块与第一接入模块连接；若N及L 均不为1,则存在两个音频码流选择/合成模块，分别与第一接入模块和第二 接入模块连接。音频码流选择/合成模块用于对第一接入模块或/和第二接入模 块接入的多路音频流进行选择或者合成，即可以根据各音频流的音量选择一 路音量最大的音频流，或者将至少两路的音频流合成为一路音频流。混音才莫 块75用于对各个会场的音频流进行集中混音，集中混音的输入方为远程呈现 会场的选择或合成的一路音频码流，及单流会场的直接的一路音频码流。混 音可以具体为将各个会场的音频码流进行解码，然后根据音量大小，选择其 中几路会场的语音进行数字合成，合成后的语音数据重新进行编码，编码后 的码流经过媒体交换模块发送给各个会场。其中，编码可以根据不同会场的 具体协议或速率等分别编码，以满足不同会场的协议或速率等要求。媒体交 换模块74对各会场集中混音后的音频流进行交换。
本实施例还可以进一步包括会议控制模块，与上述各个模块(第一接入 模块、第二接入模块、混音模块、媒体交换模块)连接，对各个模块进行控 制。
本实施例中，混音模块用于对各会场的音频流进行混音处理，可以使各 会场听到其它会场的声音，实现不同会场之间的音频互通。
图8为本发明实施例四提供的音频处理方法的流程示意图，包括 步骤81:远程呈现会场通过呼叫、能力协商过程建立与第一接入模块之 间的媒体通道。
步骤82:第一接入模块将远程呈现会场的多路音频流发送给音频码流选 择/合成模块。音频码流选择/合成模块根据会议控制模块的指定选择某 一路音 频流或自动根据音频流的音量选择一路音频流，或者，音频码流选择/合成模 块将多路音频流合成为 一路包括多路语音信息的音频码流。可以根据需要设 定是选择出 一路还是组合成一路。
步骤83:音频码流选择/合成模块将选择或合成后的音频流发送给媒体交 换模块。
步骤84:媒体交换模块将合成后的音频流发送给混音模块。
步骤85-86:混音模块将混音后的音频流通过第二接入模块发送给单流会 场，及通过第一接入^t块发送给远程呈现会场。
本实施例将各个会场的音频流集中到混音模块进行混音，再通过媒体交 换模块分发给各个会场，使各个会场都能够听到会议的声音，实现会场的音 频互通。同时，混音才莫块在混音处理时根据不同音频协i义进行编码，可以实 现不同音频协议的会场之间的音频互通。
上述实施例针对视频和音频分别对MCU进行了描述，其中图3、图6是 针对视频的，图7是针对音频的。由于MCU需要对视频和音频都进行处理， 因此MCU可以结合图3及图7，或者结合图6及图7。即MCU包括第一接 入模块、第二接入模块和媒体交换模块；第一接入模块用于接入第一会议终 端，与所述第一会议终端传输第一媒体流，所述第一i某体流包括N路视频流 和N路音频流；第二接入模块用于接入第二会议终端，与所述第二会议终端 传输第二i某体流，所述第二媒体流包括L路视频流和L路音频流，L与N不 相同；媒体交换模块用于将第一媒体流中的信息传输给第二会议终端，将第 二i某体流中的信息传输给第一会议终端。更为具体的，以N大于L为例，MCU包括上述的第一接入模块、第二 接入模块和媒体交换模块，还包括视频合成模块、音频码流选择/合成模块和 混音模块。视频合成模块与第 一接入模块相连，用于将N路视频流合成为L 路视频流，通过所述媒体交换模块转发给第二会议终端；所述媒体交换模块 还用于将多个所述L路视频流合并为N路视频流，转发给第二会议终端；音 频码流选择/合成模块，与第一接入模块和/或第二接入模块相连，用于当N 大于1时，将N路音频流合成为一路音频流或者根据音量在N路音频流中选 择一路音频流，得到一路的第一音频流，当L大于1时，将L路音频流合成 为一路音频流或者根据音量在L路音频流中选择一路音频流，得到一路的第 二音频流；混音模块，用于对音频码流选择/合成模块得到的一路的第一音频 流或者第一接入模块接入的一路音频流，及音频码流选择/合成模块得到的一 路的第二音频流或者第二接入模块接入的一路音频流，进行混音处理，并将
混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终 端。其中，视频合成模块具体用于将若干个N路视频信息合成为L路视频信 息，如将L个N路视频信息合成为L路视频信息，每个N路视频信息合成为 一路视频信息；或者所述视频合成模块具体用于将一个N路视频信息合成为 L路视频信息，如将一个N路视频信息中的(L-l )路视频信息保持不变，将 N- (L-l)路的视频信息合成为一路视频信息。
或者，MCU包括上述的第一接入模块、第二接入模块和媒体交换模块， 还包括音频码流选择/合成模块和混音模块；所述媒体交换模块还用于分时地 在所述N路视频流中选择L路视频流，得到分时的若干个L路视频流，并将 所述若干个L路视频流分时传输给所述第二会议终端；音频码流选择/合成模 块，与第一接入模块和/或第二接入模块相连，用于当N大于1时，将N路 音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频流，得 到一路的第一音频流，当L大于1时，将L路音频流合成为一路音频流或者 根据音量在L路音频流中选择一路音频流，得到一路的第二音频流；混音模
块，用于对音频码流选择/合成模块得到的一路的第一音频流或者第一接入模 块接入的一路音频流，及音频码流选择/合成模块得到的一路的第二音频流或 者第二接入模块接入的一路音频流，进行混音处理，并将混音处理后的音频 流通过媒体交换模块发送给第一会议终端和第二会议终端。其中，媒体交换 模块用于根据预设的控制规则，在所述N路视频流中选择预设的控制规则指
定的L路视频流；或者媒体交换模块用于根据预设的优先级，在所述N路视 频流中选择L路视频流；或者媒体交换模块用于根据与各视频流对应的音频 流，按照音频流的音量大小选择L路视频流；或者媒体交换模块用于根据各 视频流中携带的优先级，选择L路视频流。
或者，MCU进一步包括协议转换/速率适配模块，协议转换/速率适配模 块与第一接入模块和第二接入模块相连，用于对N路视频流和L路视频流进 4亍协议转换或速率适配处理。
图9为本发明视频处理装置实施例的结构示意图，包括视频获取模块91、 确定模块92、处理模块93和传输模块94。视频获取模块91用于获取第一会 议终端发送的N路视频流；确定模块92用于确定与视频获取模块91接入的 第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的 L路视频流；处理模块93用于将视频获取模块91获取的所述N路视频流中 携带的N路视频信息，携带在确定模块92确定的第二会议终端支持的L路 视频流中；传输模块94用于将处理模块93得到的所述L路视频流传输给所 述第二会议终端。
其中，若N大于L，所述处理模块具体用于将所述N路浮见频信息合成为 L路视频信息，将所述L路视频信息分别携带在L路视频流中。
若N小于L，所述处理模块具体用于将多个所述N路视频信息合并为L 路信息，将所述L路视频信息分别携带在L路视频流中。
若N大于L，所述处理模块还可以具体用于分时地在所述N路一见频流中 选择L路视频流，得到分时的若干个L路视频流；所述传输模块具体用于将
所述L路视频流传输给所述第二会议终端包括将所述若干个L路视频流分 时传输给所述第二会议终端。
本实施例还可以进一步包括协议转换/速率适配^^块，该协议转换/速率适 配模块用于对所述N路视频流和L路视频流进行协议转换或/和速率适配。
本实施例对视频流进行合成或合并或选择处理，可以实现不同路数的会 i义终端之间的^L频互通。
图10为本发明音频处理装置实施例的结构示意图，包括音频获取模块 101、混音模块102和发送模块103。音频获取模块101用于获取各会议终端 的音频流，所述会议终端至少包括一个远程呈现会场的终端；混音模块102 用于对音频获取模块101获取各会议终端的音频流进行混音处理；发送模块 103用于将混音模块102混音后的音频流发送给各会议终端。
本实施例还可以进一步包括音频合成/选择模块，与音频获取模块连接， 用于分别将各会议终端的音频流合成为一路音频流或者根据音量选择一路音 频流，并将合成的或者选择的 一路音频流分别发送给所述混音模块。
本实施例通过混音处理，实现不同路数的会场之间的音频互通。
本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读 取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述 的存储介质包括ROM、 RAM、磁碟或者光盘等各种可以存储程序代码的介 质。
最后应说明的是以上实施例仅用以说明本发明的技术方案而非对其进 行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技 术人员应当理解其依然可以对本发明的技术方案进行修改或者等同替换， 而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的 精神和范围。
权利要求
1.一种视频处理方法，其特征在于，包括获取第一会议终端发送的N路视频流；确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；将所述N路视频流中携带的N路视频信息，携带在L路视频流中；将所述L路视频流传输给所述第二会议终端。
2、 根据权利要求1所述的视频处理方法，若N大于L，其特征在于，所 述将所述N路视频流中携带的N路视频信息，携带在L路视频流中包括将 所述N路视频信息合成为L路视频信息，将所述L路视频信息分别携带在L 路视频流中。
3、 根据权利要求1所述的视频处理方法，若N小于L，其特征在于，所 述将所述N路视频流中携带的N路视频信息，携带在L路视频流中包括将 多个所述N路视频信息合并为L路视频信息，将所述L路视频信息分别携带 在L路视频流中。
4、 根据权利要求1所述的视频处理方法，若N大于L,其特征在于 所述将所述N路视频流中携带的N路视频信息，携带在L路视频流中包括分时地在所述N路^L频流中选择L路:f见频流，得到分时的若干个L鴻4见 频流；所述将所述L路视频流传输给所述第二会议终端包括将所述若干个L 路视频流分时传输给所述第二会议终端。
5、 根据权利要求2所述的视频处理方法，其特征在于，所述将所述N 路视频信息合成为L路视频信息包括将若干个N路视频信息合成为L路视频信息；或者 将一个N路视频信息合成为L路视频信息。
6、 根据权利要求5所述的视频处理方法，其特征在于所述将若千个N路视频信息合成为L路视频信息包括将L个N路视频 信息合成为L路^L频信息，每个N路视频信息合成为一路视频信息；或者，所述将一个N路视频信息合成为L路视频信息包括将N路视频信息中 的(L-l)路视频信息保持不变，将N- (L-l)路的视频信息合成为一路视频 信息。
7、 根据权利要求4所述的视频处理方法，其特征在于，所述在所述N 路视频流中选择L路视频流包括根据预设的控制规则，在所述N路视频流中选择预设的控制规则指定的 L路视频流；或者根据预设的优先级，在所述N路视频流中选择L路视频流；或者 根据与各视频流对应的音频流，按照音频流的音量大小选择L路视频流；或者根据各视频流中携带的优先级，选择L路视频流。
8、 根据权利要求1所述的视频处理方法，其特征在于，还包括 对所述N路视频流和L路视频流进行协议转换或/和速率适配。
9、 一种音频处理方法，其特征在于，包括获取各会议终端的音频流，所述会议终端至少包括一个远程呈现会场的 终端；对各会议终端的音频流进行混音处理； 将混音后的音频流发送给各会议终端。
10、 根据权利要求9所述的音频处理方法，其特征在于，所述对各会议 终端的音频流进行混音处理包括将各非单流会议终端的音频流合成为一路 音频流或者将各非单流会议终端的音频流根据音量选择一路音频流后，进行 混音处理。
11、 一种视频处理装置，其特征在于，包括 视频获取模块，用于获取第一会议终端发送的N路视频流确定模块，用于确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；处理模块，用于将所述N路视频流中携带的N路视频信息，携带在L路 视频流中；传输模块，用于将所述L路视频流传输给所述第二会议终端。
12、 根据权利要求11所述的视频处理装置，若N大于L，其特征在于 所述处理模块具体用于将所述N路视频信息合成为L路视频信息，将所述L 路视频信息分别携带在L路视频流中。
13、 根据权利要求11所述的视频处理装置，若N小于L，其特征在于 所述处理模块具体用于将多个所述N路视频信息合并为L路信息，将所述L 路视频信息分别携带在L路视频流中。
14、 根据权利要求11所述的视频处理装置，若N大于L，其特征在于 所述处理模块具体用于分时地在所述N路视频流中选择L路视频流，得到分时的若干个L路视频流；所述传输模块具体用于将所述L路视频流传输给所述第二会议终端包 括将所述若干个L路视频流分时传输给所述第二会议终端。
15、 根据权利要求12所述的视频处理装置，其特征在于所述处理模块 进一步具体用于将若干个N路视频信息合成为L路视频信息；或者所述处理 模块进一步地具体用于将一个N路视频信息合成为L路视频信息。
16、 根据权利要求15所述的视频处理装置，其特征在于所述处理模块 进一步具体用于将L个N路视频信息合成为L路视频信息，每个N路视频信 息合成为一路视频信息；或者所述处理模块进一步地具体用于将一个N路视 频信息中的(L-l)路视频信息保持不变，将N- (L-l)路的视频信息合成为 一路^L频信息。
17、 根据权利要求14所述的视频处理装置，其特征在于 所述处理模块用于根据预设的控制规则，在所述N路视频流中选择预设 的控制规则指定的L路视频流；或者所述处理模块用于根据预设的优先级，在所述N路视频流中选择L路视 频流；或者所述处理模块用于根据与各视频流对应的音频流，按照音频流的音量大 小选择L路视频流；或者所述处理模块用于根据各视频流中携带的优先级，选择L路视频流。
18、 根据权利要求11所述的视频处理装置，其特征在于，还包括 协议转换/速率适配模块，用于对所述N路视频流和L路视频流进行协议转换或/和速率适配。
19、 一种音频处理装置，其特征在于，包括音频获取模块，用于获取各会议终端的音频流，所述会议终端至少包括 一个远程呈现会场的终端；混音模块，用于对各会议终端的音频流进行混音处理； 发送模块，用于将混音后的音频流发送给各会议终端。
20、 根据权利要求19所述的音频处理装置，其特征在于，还包括 音频合成/选择模块，与所述音频获取模块连接，用于分别将各会议终端的音频流合成为一路音频流或者根据音量选择一路音频流，并将合成的或者 选择的 一路音频流分别发送给所述混音模块。
21、 一种多点控制单元，其特征在于，包括第一接入模块，用于接入第一会议终端，与所述第一会议终端传输第一 媒体流，所述第 一媒体流包括N路视频流和N路音频流；第二接入模块，用于接入第二会议终端，与所述第二会议终端传输第二 媒体流，所述第二媒体流包括L路视频流和L路音频流，L与N不相同；媒体交换模块，用于将第一媒体流中的信息传输给第二会议终端，将第 二媒体流中的信息传输给第一会议终端。
22、 根据权利要求21所述的多点控制单元，若N大于L,其特征在于， 还包括视频合成模块，与第一接入模块相连，用于将N路视频流合成为L路视 频流，通过所述媒体交换模块转发给第二会议终端；所述媒体交换模块还用于将多个所述L路视频流合并为N路视频流，转 发给第二会议终端；音频码流选择/合成模块，与第一接入模块和/或第二接入模块相连，用于 当N大于1时，将N路音频流合成为一路音频流或者根据音量在N路音频流 中选择一路音频流，得到一路的第一音频流，当L大于1时，将L路音频流 合成为一路音频流或者根据音量在L路音频流中选择一路音频流，得到一路 的第二音频流；混音模块，用于对音频码流选择/合成模块得到的一路的第 一音频流或者 第 一接入模块接入的 一路音频流，及音频码流选择/合成模块得到的 一路的第 二音频流或者第二接入模块接入的一路音频流，进行混音处理，并将混音处 理后的音频流通过媒体交换模块发送给第 一会议终端和第二会议终端。
23、 根据权利要求22所述的多点控制单元，其特征在于所述视频合成 模块具体用于将若干个N路视频信息合成为L路视频信息；或者所述视频合 成模块具体用于将一个N路视频信息合成为L路视频信息。
24、 根据权利要求23所述的多点控制单元，其特征在于所述视频合成 模块进一步具体用于将L个N路视频信息合成为L路视频信息，每个N路视 频信息合成为一路视频信息；或者所述视频合成模块进一步地具体用于将一 个N路视频信息中的(L-l)路视频信息保持不变，将N- (L-l)路的视频信 息合成为 一路视频信息。
25、 根据权利要求21所述的多点控制单元，若N大于L，其特征在于 所述媒体交换模块还用于分时地在所述N路视频流中选择L路视频流，得到 分时的若干个L路视频流，并将所述若干个L路视频流分时传输给所述第二 会议终端； 该多点控制单元还包括音频码流选择/合成模块，与第一接入模块和第二接入模块相连，用于将 N路音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频 流，得到一路的第一音频流，将L路音频流合成为一路音频流或者根据音量 在L路音频流中选择一路音频流，得到一路的第二音频流；混音模块，用于第一音频流和第二音频流进行混音处理，并将混音处理 后的音频流通过媒体交换模块发送给第 一会议终端和第二会议终端。
26、 根据权利要求25所述的多点控制单元，其特征在于 所述媒体交换模块用于根据预设的控制规则，在所述N路视频流中选择预设的控制规则指定的L路视频流；或者所述媒体交换模块用于根据预设的优先级，在所述N路视频流中选择L 路视频流；或者所述媒体交换模块用于根据与各视频流对应的音频流，按照音频流的音 量大小选择L路视频流；或者所述媒体交换模块用于根据各视频流中携带的优先级，选择L路视频流。
27、 根据权利要求21至26任一权利要求所述的多点控制单元，其特征 在于，还包括协议转换/速率适配模块，与第一接入模块和第二接入模块相 连，用于对N路^L频流和L路^L频流进行协议转换或速率适配处理。
28、 一种视频会议系统，其特征在于，包括至少两个会议终端，所述会议终端至少支持两种媒体流路数；多点控制单元，用于交换所述至少两个会议终端的媒体流中携带的信息。
29、 根据权利要求28所述的视频会议系统，其特征在于所述多点控制 单元为权利要求21至26任一权利要求所述的多点控制单元。
全文摘要
本发明公开了一种视频及音频处理方法、多点控制单元和视频会议系统，尤其是一种视频处理方法、音频处理方法、视频处理装置、音频处理装置、多点控制单元和视频会议系统。该视频处理方法包括获取第一会议终端发送的N路视频流；确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；将所述N路视频流中携带的N路视频信息，携带在L路视频流中；将所述L路视频流传输给所述第二会议终端。通过本发明实施例可以实现支持不同媒体流路数的会场之间的互通，实现远程呈现会场、双流会场、单流会场之间的融合，有利于降低整网建设成本。
文档编号H04N7/15GK101370114SQ200810223810
公开日2009年2月18日 申请日期2008年9月28日 优先权日2008年9月28日
发明者王向炯, 龙彦波 申请人:深圳华为通信技术有限公司