专利名称：一种实现视频会议级联的方法及终端的制作方法
技术领域：
本发明涉及视频会议技术，特别是指一种实现视频会议级联的方法及终端。
背景技术：
视频会议系统是支持声音、视频远程双向传送的通信系统。通过视频会议系统，身处异地的使用者能完成实时双向的面对面可视沟通。国际电信联盟(ITU，hternational Telecomunication Unit)、互联网工程任务组(IETF, Internet Engineering Task Force)、以及第三代合作伙伴计划(3GPP,3rd Generation Partnership Project)等标准组织负责视频会议标准的制定。ITU已制定了 ITU-T H. 320,ITU-T H. 323、以及 ITU-T H. 3 等多个视频通信标准。其中，ITU-T H. 320 是针对窄带电路交换网络的多媒体通信应用，ITU-T H. 323是针对因特网协议(IP，Internet Protocol)网络的多媒体通信应用，而ITU-T H. 3 是针对非常低速的网络的多媒体通信应用，比如公共交换电话网络(PSTN, Public Switched Telephone Network)及移动网络等。IETF负责制定会话初始协议(SIP, Session Initialization Protocol)、以及基于SIP 的多媒体会议标准。3GPP负责制定IP多媒体子系统(IMS，IP Multimedia Subsystem)的标准，3GPP在IETF制定的标准的基础上，也制定了一套基于IMS网络的多媒体会议标准。视频会议产品可遵守各种开放标准或企业私有标准。图1为简化的视频会议系统示意图，如图1所示，从技术原理分析，视频会议系统一般由终端、多点控制单元(MCU，Multipoint Control Unit)、呼叫控制器、以及网关等实体或设备组成。其中，终端是用户使用的设备，一般，一个视频会议系统包含多个终端；终端采集用户的声音、以及摄像信号，经过压缩编码后经由网络发送给其它远端，同时从网络接收其它远端的信号，经过解码处理后，播放给用户。MCU用来完成多方会议通信。具体地，当召开多点会议时，参与多方会议通信的终端和MCU建立多对一连接，终端通过MCU交换音、视频信号。MCU负责完成媒体流的交换和混合。对于声音媒体流，MCU通常为每个终端输出一个经过混音的声音媒体流，混音一般选择输入音量最大的几路声音媒体流进行叠加。对于视频，MCU可以为某个终端发送另一个终端的单画面视频流，如果MCU支持多画面功能，也能够把多个终端传送的视频合成为一个多画面图像，然后发送给某个或某些终端。呼叫控制器用来完成呼叫的路由选择，例如ITU-T H. 323标准中定义的网守实体 (feiteke印er)、以及SIP标准中定义的代理服务器(I^oxy)实体负责完成呼叫路由功能。网关用来实现不同网络协议、媒体格式之间的设备互通的转换。视频会议设备之间相互交换的信息内容包括呼叫控制信令、以及一种以上音频流、视频流、辅视频流、远端摄像机控制流、文本消息流等媒体流。这里，各种媒体流的含义、 以及媒体流的编解码和传送管理，可参考ITU-T H. 323相关标准或SIP相关标准。级联会议就是将两个在不同MCU召开的会议通过某种技术手段融合起来，参加一个会议的用户与参加另一个会议的用户之间能够相互观看对方的音、视频信号内容。目前， 实现级联会议主要存在两种解决手段。第一种方案是通过MCU之间建立通信连接，由两个 MCU负责相互转发两个会议的音、视频流。这种方式一般采用数字信号传送，具有连接简单、 控制灵活、音视频信号损失小的优点。第二种方案是采用两个终端背靠背进行级联。所谓的背靠背，就是指将第一个会议所属的第一个终端接收的远端信号输出连接到第二个会议所属的第二个终端的本地信号输入，第二个终端再将输入信号发送给远端设备，反之亦然。 用户选择使用第二种方案而不使用第一种方案的原因可以包括以下几种1)由于协议不一致性，无法建立MCU之间的级联，比如一个MCU支持ITU-T H. 323，另一个 MCU 支持 SIP ；2)两个MCU之间的网络相互不通；3)不同厂商之间的MCU的互操作性不可靠。但是，第二种方案存在明显的缺点，具体地，由于两个终端之间采用模拟信号连接，信号经过再次模数或数模转换后，会产生衰减，从而会造成信号质量变差。另外，两个终端之间连接线较多，布线复杂，难于日常检测维护。除此以外，两个终端之间由于彼此独立， 无法联动控制。
发明内容
有鉴于此，本发明的主要目的在于提供一种实现视频会议级联的方法及终端，能在保证音视频质量的前提下，有效地实现视频会议的级联。为达到上述目的，本发明的技术方案是这样实现的本发明提供了一种实现视频会议级联的方法，该方法包括在会议进行过程中，终端将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第二会议所处的网络；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第一会议所处的网络。上述方案中，所述将收到的第一会议的音频数据，依据遵循的协议，进行处理，包括依据自身遵循的协议，将所述第一会议的音频数据进行解复用处理，将提取出的压缩形式的音频流，进行解码处理，再将得到的压缩前的所述第一会议的原始音频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据；和/或，所述将收到的第二会议的音频数据，依据遵循的协议，进行处理，具体包括依据自身遵循的协议，将所述第二会议的音频数据进行解复用处理，将提取出的压缩形式的音频流，进行解码处理，再将得到压缩前的所述第二会议的原始音频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。上述方案中，在将得到压缩前的所述第一会议的原始音频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第一会议的原始音频码流及本地输入的第二会议的音频数据进行混合处理，并将处理后的数据依次进行编码及复用处理；和/或，在将得到压缩前的所述第二会议的原始音频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第二会议的原始音频码流及本地输入的第一会议的音频数据进行混合处理，并将处理后的数据依次进行编码及复用处理。上述方案中，所述将收到的来自第一会议的视频数据，依据遵循的协议，进行处理，包括依据自身遵循的协议，将所述第一会议的视频数据进行解复用处理，将提取出的压缩形式的视频流，进行解码处理，再将得到压缩前的所述第一会议的原始视频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据；和/或，所述将收到的来自第二会议的视频数据，依据遵循的协议，进行处理，包括依据自身遵循的协议，将所述第二会议的视频数据进行解复用处理，将提取出的压缩形式的视频流，进行解码处理，再将得到压缩前的所述第二会议的原始视频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。上述方案中，在将得到压缩前的所述第一会议的原始视频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第一会议的原始视频码流及本地输入的第二会议的视频数据进行叠加处理，并将处理后的数据依次进行编码及复用处理；和/或，在将得到压缩前的所述第二会议的原始视频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第二会议的原始视频码流及本地输入的第一会议的视频数据进行叠加处理，并将处理后的数据依次进行编码及复用处理。上述方案中，该方法进一步包括在本地输出得到的压缩前的原始音频、和/或视频码流。上述方案中，所述原始音频码流包括来自第一会议的原始音频码流及来自第二会议的原始音频码流；在本地输出得到的压缩前的原始音频码流之前，该方法进一步包括将来自第一会议的原始音频码流及来自第二会议的音频原始码流进行混合处理， 之后在本地输出混合处理后的音频数据；和/或，所述原始视频码流包括来自第一会议的原始视频码流及来自第二会议的原始视频码流；在本地输出得到的压缩前的原始视频码流之前，该方法进一步包括 根据用户的选择或设置的选择规则，选择来自两个会议中的一个视频码流进行本地输出，或者，将来自第一会议的原始视频码流及来自第二会议的原始视频码流叠加成一路视频码流，将叠加后的视频码流送给进行本地输出。本发明还提供了一种实现视频会议级联的终端，该终端包括处理单元及网络接口模块；其中，处理单元，用于在会议进行过程中，将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给网络接口模块；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给网络接口模块；网络接口模块，用于将处理单元发送的第一会议的音频、和/或视频数据发送给第二会议所处的网络；和/或，将处理单元发送的第二会议的音频、和/或视频数据发送给第一会议所处的网络。上述方案中，所述处理单元进一步包括数据复用/解复用模块、音频解码模块、 以及音频编码模块；其中，数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议、和/或第二会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给音频解码模块； 并将音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；音频解码模块，用于将数据复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的原始码流发送给音频编码模块；音频编码模块，用于将音频解码模块发送的压缩前的原始码流进行编码处理，并将处理后的码流发送给数据复用/解复用模块。上述方案中，所述音频编码模块，在将得到压缩前的原始码流进行编码处理时，还用于将得到的原始码流及音频输入模块发送的本地输入的第二会议或第一会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给数据复用/ 解复用模块；所述处理单元包括音频输入模块，用于本地输入第二会议或第一会议的音频数据，并将本地输入的第二会议或第一会议的音频数据发送给音频编码模块。上述方案中，所述处理单元进一步包括视频解码模块、以及视频编码模块；其中，所述数据复用/解复用模块，还用于依据自身遵循的协议，将所述第一会议、和/ 或第二会议的视频数据进行解复用处理，并将提取出的压缩形式的视频流发送给视频解码模块；并将视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；视频解码模块，用于将数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的原始码流发送给视频编码模块；视频编码模块，用于将视频解码模块发送的压缩前的原始码流进行编码处理，并将处理后的码流发送给数据复用/解复用模块。上述方案中，所述视频编码模块，在将得到压缩前的原始码流进行编码处理时，还用于将得到的原始码流及视频输入模块发送的本地输入的第二会议、或第一会议的视频数据进行叠加处理，并将处理后的数据进行编码处理，并将处理后的码流发送给数据复用/ 解复用模块；所述处理单元进一步包括视频输入模块，用于本地输入第二会议或第一会议的视频数据，并将本地输入的第二会议或第一会议的视频数据发送给视频编码模块。上述方案中，所述处理单元进一步包括音频输出模块，用于收到音频解码模块发送的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述音频解码模块，还用于将得到的压缩前的原始音频码流发送给音频输出模块；和/或，所述处理单元进一步包括视频输出模块，用于收到视频解码模块发送的原始视频码流后，在本地输出得到的压缩前的原始视频码流；所述视频解码模块，还用于将得到的压缩前的原始视频码流发送给视频输出模块。上述方案中，所述原始音频码流包括来自第一会议的原始音频视频码流及来自第二会议的原始音频码流；所述音频解码模块，还用于将来自第一会议的原始音频码流及来自第二会议的音频原始码流进行混合处理，并将混合处理后的音频数据发送给音频输出模块；所述音频输出模块，还用于收到音频解码模块发送的混合处理后的音频数据后， 在本地输出混合处理后的音频数据；和/或，所述原始视频码流包括来自第一会议的原始视频码流及来自第二会议的原始视频码流；所述音频解码模块，还用于将来自第一会议的原始视频码流及来自第二会议的视频原始码流进行叠加处理，并将叠加处理后的视频数据发送给视频输出模块；所述视频输出模块，还用于收到视频解码模块发送的叠加处理后的视频数据后， 在本地输出叠加处理后的视频数据。上述方案中，所述处理单元进一步包括第一处理子单元及第二处理子单元 ’第一处理子单元进一步包括第一数据复用/解复用模块；第二处理子单元进一步包括第二数据复用/解复用模块、第二音频解码模块、以及第二音频编码模块；所述网络接口模块包括第一网络接口模块及第二网络接口模块；第一数据复用/解复用模块与第一网络接口模块相连接，第二数据复用/解复用模块与第二网络接口模块相连接；其中，第一数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第二音频解码模块；和/或， 将第一音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；第二音频解码模块，用于将数据第一复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的所述第一会议的原始音频码流发送给第二音频编码模块；第二音频编码模块，用将第二音频解码模块发送的压缩前的所述第一会议的原始音频码流进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；第二数据复用/解复用模块，用于将第二音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；和/或，依据自身遵循的协议，将所述第二会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第一音频解码模块；第一音频解码模块，用于将第二数据复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的所述第二会议的原始音频码流发送给第一音频编码模块；第一音频编码模块，用将第一音频解码模块发送的压缩前的所述第二会议的原始音频码流进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块。上述方案中，所述第二音频编码模块，在将得到压缩前的所述第一会议的原始音频码流进行编码处理时，还用于将得到的所述第一会议的原始音频码流及第二音频输入模块发送的本地输入的第二会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；所述第二处理子单元进一步包括第二音频输入模块，用于本地输入第二会议的音频数据，并将本地输入的第二会议的音频数据发送给第二音频编码模块；和/或，
所述第一音频编码模块，在将得到压缩前的所述第二会议的原始音频码流进行编码处理时，还用于将得到的所述第二会议的原始音频码流及第一音频输入模块发送的本地输入的第一会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块；所述第一处理子单元进一步包括第一音频输入模块，用于本地输入第一会议的音频数据，并将本地输入的第一会议的音频数据发送给第一音频编码模块。上述方案中，所述第一处理子单元进一步包括第一视频解码模块、以及第一视频编码模块；所述第二处理子单元进一步包括第二视频解码模块、以及第二视频编码模块； 其中，所述第一数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议的视频数据进行解复用处理，并将提取出的压缩形式的视频流发送给第二视频解码模块；和 /或，将第一视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；第二视频解码模块，用于将第一数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的所述第一会议的原始视频码流发送给第二视频编码模块；第二视频编码模块，用将第二视频解码模块发送的压缩前的所述第一会议的原始视频码流进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；第二数据复用/解复用模块，用于将第二视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；和/或，依据自身遵循的协议，将所述第二会议的视频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第一视频解码模块；第一视频解码模块，用于将第二数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的所述第二会议的原始视频码流发送给第一视频编码模块；第一视频编码模块，用将第一视频解码模块发送的压缩前的所述第二会议的原始视频码流进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块。上述方案中，所述第二视频编码模块，在将得到压缩前的所述第一会议的原始视频码流进行编码处理时，还用于将得到的所述第一会议的原始视频码流及第二视频输入模块发送的本地输入的第二会议的视频数据进行叠加处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；所述第二处理子单元进一步包括第二视频输入模块，用于本地输入第二会议的视频数据，并将本地输入的第二会议的视频数据发送给第二视频编码模块；和/或，所述第一视频编码模块，在将得到压缩前的所述第二会议的原始视频码流进行编码处理时，还用于将得到的所述第二会议的原始视频码流及第一视频输入模块发送的本地输入的第一会议的视频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块；所述第一处理子单元进一步包括第一视频输入模块，用于本地输入第一会议的视频数据，并将本地输入的第一会议的视频数据发送给第一视频编码模块。上述方案中，所述第一处理子单元，进一步包括第一音频输出模块，用于收到第一音频解码模块发送的所述第二会议的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述第一音频解码模块，还用于将得到的压缩前的所述第二会议的原始音频码流发送给第一音频输出模块；和/或，所述第二处理子单元进一步包括第二音频输出模块，用于收到第二音频解码模块发送的所述第一会议的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述第二音频解码模块，还用于将得到的压缩前的所述第一会议的原始音频码流发送给第二音频输出模块；和/或，所述第一处理子单元进一步包括第一视频输出模块，用于收到第一视频解码模块发送的所述第二会议的原始视频码流后，在本地输出得到的压缩前的所述第二会议的原始视频码流；所述第一视频解码模块，还用于将得到的压缩前的所述第二会议的原始视频码流发送给第一视频输出模块；和/或，所述第二处理子单元进一步包括第二视频输出模块，用于收到第二视频解码模块发送的所述第一会议的原始视频码流后，在本地输出得到的压缩前的所述第一会议的原始视频码流；所述第二视频解码模块，还用于将得到的压缩前的所述第一会议的原始视频码流发送给第二视频输出模块。本发明实现视频会议级联的方法及终端，在会议进行过程中，终端将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和 /或视频数据发送给第二会议所处的网络；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第一会议所处的网络，如此，能在保证音视频质量的前提下，有效地实现视频会议的级联。另外，采用本发明的技术方案，设备之间的连线简单、方便，易于实现。
图1为简化的视频会议系统示意图； 图2为本发明实现视频会议级联的方法流程示意图； 图3为本发明实现视频会议级联的终端结构示意图； 图4为实施例一实现视频会议级联的终端结构示意图； 图5为实施例一的终端与网络、以及外部设备的连接关系示意图； 图6为实施例一发送音频数据的处理方法流程示意图； 图7为实施例一接收音频数据的处理方法流程示意图； 图8为实施例一发送视频数据的处理方法流程示意图； 图9为实施例一接收视频数据的处理方法流程示意图； 图10为实施例一接收视频数据的处理方法流程示意图； 图11为实施例二实现视频会议级联的终端结构示意图； 图12为实施例二发送音频数据处理方法流程示意图； 图13为实施例二接收音频数据的处理方法流程示意图14为实施例二发送方向视频数据的处理方法流程示意图；图15为实施例二接收视频数据的处理方法流程示意图；图16为实施例二的终端与网络、以及外部设备的连接关系示意图；图17为实施例二基于SIP级联会议建立的信令过程流程示意图。
具体实施例方式下面结合附图及具体实施例对本发明再作进一步详细的说明。本发明的基本思想是终端将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第二会议所处的网络；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第一会议所处的网络。本发明实现视频会议级联的方法，如图2所示，包括以下步骤步骤200 终端开机后，接入到第一会议及第二会议中；这里，本步骤的具体实现为现有技术，这里不再赘述。终端参与到第一会议及第二会议中后，即可接收来自第一会议及第二会议的数据；其中，所述数据包括音频数据、视频数据、以及呼叫控制信令等。步骤201 在会议进行过程中，终端将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第二会议所处的网络；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第一会议所处的网络。这里，所述遵循的协议具体可以是现有视频会议标准中的任意一种，比如ITU-T H. 320、ITU-T H. 323、ITU-T H. 324,SIP等。依据自身遵循的协议，对收到的音频、和/或视频数据进行处理的目的是为了接收处理后的音频、和/或视频数据的网络能够正确识别接收到的音频、和/或视频数据。所述将收到的第一会议的音频数据，依据遵循的协议，进行处理，具体包括依据自身遵循的协议，将所述第一会议的音频数据进行解复用处理，将提取出的压缩形式的音频流，进行解码处理，再将得到的压缩前的所述第一会议的原始音频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。其中，进行解复用处理、解码处理以及对压缩前的所述第一会议的原始音频码流依次进行编码及复用处理的具体处理过程可采用现有技术。在将得到压缩前的所述第一会议的原始音频码流依次进行编码及复用处理时，该方法还可以进一步包括将得到的所述第一会议的原始音频码流及本地输入的第二会议的音频数据进行混合处理，并将处理后的数据依次进行编码及复用处理。这里，将得到的所述第一会议的原始音频码流及本地输入的第二会议的音频数据进行混合处理的具体处理过程可采用现有技术。所述将收到的来自第一会议的视频数据，依据遵循的协议，进行处理，具体包括依据自身遵循的协议，将所述第一会议的视频数据进行解复用处理，将提取出的压缩形式的视频流，进行解码处理，再将得到压缩前的所述第一会议的原始视频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。其中，进行解复用处理、解码处理、以及对压缩前的所述第一会议的原始视频码流依次进行编码及复用处理的具体处理过程可采用现有技术。在将得到压缩前的所述第一会议的原始视频码流依次进行编码及复用处理时，该方法还可以进一步包括将得到的所述第一会议的原始视频码流及本地输入的第二会议的视频数据进行叠加处理，并将处理后的数据依次进行编码及复用处理。这里，将得到的所述第一会议的原始视频码流及本地输入的第二会议的视频数据进行混合处理的具体处理过程可采用现有技术。相应的，所述将收到的第二会议的音频数据，依据遵循的协议，进行处理，具体包括依据自身遵循的协议，将所述第二会议的音频数据进行解复用处理，将提取出的压缩形式的音频流，进行解码处理，再将得到压缩前的所述第二会议的原始音频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。其中，进行解复用处理、解码处理以及对压缩前的所述第二会议的原始音频码流依次进行编码及复用处理的具体处理过程可采用现有技术。在将得到压缩前的所述第二会议的原始音频码流依次进行编码及复用处理时，该方法还可以进一步包括将得到的所述第二会议的原始音频码流及本地输入的第一会议的音频数据进行混合处理，并将处理后的数据依次进行编码及复用处理。这里，将得到的所述第二会议的原始音频码流及本地输入的音频数据进行混合处理的具体处理过程可采用现有技术。所述将收到的来自第二会议的视频数据，依据遵循的协议，进行处理，具体包括依据自身遵循的协议，将所述第二会议的视频数据进行解复用处理，将提取出的压缩形式的视频流，进行解码处理，再将得到压缩前的所述第二会议的原始视频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。其中，进行解复用处理、解码处理、以及对压缩前的所述第二会议的原始视频码流依次进行编码及复用处理的具体处理过程可采用现有技术。在将得到压缩前的所述第二会议的原始视频码流依次进行编码及复用处理时，该方法还可以进一步包括将得到的所述第二会议的原始视频码流及本地输入的第一会议的视频数据进行叠加处理，并将处理后的数据依次进行编码及复用处理。这里，将得到的所述第二会议的原始视频码流及本地输入的第一会议的视频数据进行混合处理的具体处理过程可采用现有技术。在将提取出的压缩形式的音频流，进行解码处理后，该方法还可以进一步包括在本地输出得到的压缩前的原始音频码流，以便呈现给终端的使用者；其中，所述原始音频码流包括来自第一会议的原始音频码流及来自第二会议的原始音频码流；在本地输出得到的压缩前的原始音频码流之前，该方法还可以进一步包括
将来自第一会议的原始音频码流及来自第二会议的音频原始码流进行混合处理， 之后在本地输出混合处理后的音频数据。相应的，将提取出的压缩形式的视频流，进行解码处理后，该方法还可以包括在本地输出得到的压缩前的原始视频码流，以便呈现给终端的使用者；这里，在实际使用时，如果所述压缩前的原始视频码流包括来自第一会议的原始视频码流及来自第二会议的原始视频码流，当用户配置了两台显示器时，可以将来自第一会议及第二会议的原始视频码流分别输出，当用户只配置了一台显示器时，可以由用户选择或终端自动选择输出来自两个会议中的一个视频码流，或者，可以将来自第一会议的原始视频码流及来自第二会议的原始视频码流先叠加成一路视频码流，然后输出叠加后的视频码流。这里，需要说明的是本发明只关心音视频数据的处理过程，而对于呼叫控制信令、文本消息流等其它数据的处理过程，不是本发明关心的内容。为实现上述方法，本发明还提供了一种实现视频会议级联的终端，如图3所示，该终端包括处理单元31及网络接口模块32 ；其中，处理单元31，用于将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给网络接口模块32 ；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给网络接口模块32 ；网络接口模块32，用于将处理单元31发送的第一会议的音频、和/或视频数据发送给第二会议所处的网络；和/或，将处理单元31发送的第二会议的音频、和/或视频数据发送给第一会议所处的网络。其中，所述网络接口模块32，还用于接收第一会议、和/或第二会议的音频、和/或视频数据，并发送给处理单元31 ；所述处理单元31，还用于接收网络接口模块32发送的第一会议、和/或第二会议的音频、和/或视频数据。所述处理单元31还可以进一步包括数据复用/解复用模块、音频解码模块、以及音频编码模块；其中，数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议、和/或第二会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给音频解码模块； 并将音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；音频解码模块，用于将数据复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的原始码流发送给音频编码模块；音频编码模块，用于将音频解码模块发送的压缩前的原始码流进行编码处理，并将处理后的码流发送给数据复用/解复用模块。所述音频编码模块，在将得到压缩前的原始码流进行编码处理时，还用于将得到的原始码流及音频输入模块发送的本地输入的第二会议或第一会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给数据复用/解复用模块；所述处理单元31还可以进一步包括音频输入模块，用于本地输入第二会议或第一会议的音频数据，并将本地输入的第二会议或第一会议的音频数据发送给音频编码模块。所述处理单元31还可以进一步包括视频解码模块、以及视频编码模块；其中，所述数据复用/解复用模块，还用于依据自身遵循的协议，将所述第一会议、和/ 或第二会议的视频数据进行解复用处理，并将提取出的压缩形式的视频流发送给视频解码模块；并将视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；视频解码模块，用于将数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的原始码流发送给视频编码模块；视频编码模块，用于将视频解码模块发送的压缩前的原始码流进行编码处理，并将处理后的码流发送给数据复用/解复用模块。所述视频编码模块，在将得到压缩前的原始码流进行编码处理时，还用于将得到的原始码流及视频输入模块发送的本地输入的第二会议、或第一会议的视频数据进行叠加处理，并将处理后的数据进行编码处理，并将处理后的码流发送给数据复用/解复用模块；所述处理单元31还可以进一步包括视频输入模块，用于本地输入第二会议或第一会议的视频数据，并将本地输入的第二会议或第一会议的视频数据发送给视频编码模块。所述处理单元31，还可以进一步包括音频输出模块，用于收到音频解码模块发送的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述音频解码模块，还用于将得到的压缩前的原始音频码流发送给音频输出模块。其中，所述原始音频码流包括来自第一会议的原始音频视频码流及来自第二会议的原始音频码流；所述音频解码模块，还用于将来自第一会议的原始音频码流及来自第二会议的音频原始码流进行混合处理，并将混合处理后的音频数据发送给音频输出模块；所述音频输出模块，还用于收到音频解码模块发送的混合处理后的音频数据后， 在本地输出混合处理后的音频数据。所述处理单元31，还可以进一步包括视频输出模块，用于收到视频解码模块发送的原始视频码流后，在本地输出得到的压缩前的原始视频码流；所述视频解码模块，还用于将得到的压缩前的原始视频码流发送给视频输出模块。其中，所述原始视频码流包括来自第一会议的原始视频码流及来自第二会议的原始视频码流；所述音频解码模块，还用于将来自第一会议的原始视频码流及来自第二会议的视频原始码流进行叠加处理，并将叠加处理后的视频数据发送给视频输出模块；所述视频输出模块，还用于收到视频解码模块发送的叠加处理后的视频数据后， 在本地输出叠加处理后的视频数据。所述处理单元31还可以进一步包括第一处理子单元及第二处理子单元；第一处理子单元进一步包括第一数据复用/解复用模块；第二处理子单元进一步包括第二数据复用/解复用模块、第二音频解码模块、以及第二音频编码模块；所述网络接口模块32包括第一网络接口模块及第二网络接口模块；第一数据复用/解复用模块与第一网络接口模块相连接，第二数据复用/解复用模块与第二网络接口模块相连接；其中，第一数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第二音频解码模块；和/或， 将第一音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；第二音频解码模块，用于将第一数据复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的所述第一会议的原始音频码流发送给第二音频编码模块；第二音频编码模块，用将第二音频解码模块发送的压缩前的所述第一会议的原始音频码流进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；第二数据复用/解复用模块，用于将第二音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；和/或，依据自身遵循的协议，将所述第二会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第一音频解码模块；第一音频解码模块，用于将第二数据复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的所述第二会议的原始音频码流发送给第一音频编码模块；第一音频编码模块，用将第一音频解码模块发送的压缩前的所述第二会议的原始音频码流进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块。所述第二音频编码模块，在将得到压缩前的所述第一会议的原始音频码流进行编码处理时，还用于将得到的所述第一会议的原始音频码流及第二音频输入模块发送的本地输入的第二会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；所述第二处理子单元还可以进一步包括第二音频输入模块，用于本地输入第二会议的音频数据，并将本地输入的第二会议的音频数据发送给第二音频编码模块；和/或，所述第一音频编码模块，在将得到压缩前的所述第二会议的原始音频码流进行编码处理时，还用于将得到的所述第二会议的原始音频码流及第一音频输入模块发送的本地输入的第一会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块；所述第一处理子单元还可以进一步包括第一音频输入模块，用于本地输入第一会议的音频数据，并将本地输入的第一会议的音频数据发送给第一音频编码模块。所述第一处理子单元还可以进一步包括第一视频解码模块、以及第一视频编码模块；所述第二处理子单元还可以进一步包括第二视频解码模块、以及第二视频编码模块；其中，所述第一数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议的视频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第二视频解码模块；和 /或，将第一视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；第二视频解码模块，用于将第一数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的所述第一会议的原始视频码流发送给第二视频编码模块；第二视频编码模块，用将第二视频解码模块发送的压缩前的所述第一会议的原始视频码流进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；第二数据复用/解复用模块，用于将第二视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；和/或，依据自身遵循的协议，将所述第二会议的视频数据进行解复用处理，并将提取出的压缩形式的视频流发送给第一视频解码模块；第一视频解码模块，用于将第二数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的所述第二会议的原始视频码流发送给第一视频编码模块；第一视频编码模块，用将第一视频解码模块发送的压缩前的所述第二会议的原始视频码流进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块。所述第二视频编码模块，在将得到压缩前的所述第一会议的原始视频码流进行编码处理时，还用于将得到的所述第一会议的原始视频码流及第二视频输入模块发送的本地输入的第二会议的视频数据进行叠加处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；所述第二处理子单元还可以进一步包括第二视频输入模块，用于本地输入第二会议的视频数据，并将本地输入的第二会议的视频数据发送给第二视频编码模块；和/或，所述第一视频编码模块，在将得到压缩前的所述第二会议的原始视频码流进行编码处理时，还用于将得到的所述第二会议的原始视频码流及第一视频输入模块发送的本地输入的第一会议的视频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块；所述第一处理子单元还可以进一步包括第一视频输入模块，用于本地输入第一会议的视频数据，并将本地输入的第一会议的视频数据发送给第一视频编码模块。所述第一处理子单元，还可以进一步包括第一音频输出模块，用于收到第一音频解码模块发送的所述第二会议的原始音频码流后，在本地输出得到的压缩前的原始视频码流；所述第一音频解码模块，还用于将得到的压缩前的所述第二会议的原始音频码流发送给第一音频输出模块；和/或，所述第二处理子单元，还可以进一步包括第二音频输出模块，用于收到第二音频解码模块发送的所述第二会议的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述第二音频解码模块，还用于将得到的压缩前的所述第一会议的原始音频码流发送给第二音频输出模块。所述第一处理子单元，还可以进一步包括第一视频输出模块，用于收到第一视频解码模块发送的所述第二会议的原始视频码流后，在本地输出得到的压缩前的原始音频视频码流；所述第一视频解码模块，还用于将得到的压缩前的所述第二会议的原始视频码流发送给第一视频输出模块；所述第二处理子单元，还可以进一步包括第二视频输出模块，用于收到第二视频解码模块发送的所述第一会议的原始音频码流后，在本地输出得到的压缩前的所述第一会议的原始视频码流；所述第二视频解码模块，还用于将得到的压缩前的所述第一会议的原始视频码流发送给第二视频输出模块。
下面结合实施例对本发明再作进一步详细的描述。实施例一本实施例实现视频会议级联的终端，如图4所示，音频输入模块、音频编码模块、 视频输入模块、视频编码模块、网络接口模块、数据复用/解复用模块、音频解码模块、视频解码模块、音频输出模块、视频输出模块、信令处理模块、以及控制和管理模块；其中，音频输入模块，用于对输入的音频信号进行数字化采集处理；这里，所述音频输入模块支持一个以上外部设备的接口，比如支持麦克风、调音台等的输入。音频编码模块，用于对数字化采集处理后的音频数据及需要发送的其它音频数据进行编码处理；这里，为了减少网络传输带宽，终端一般都会对音视频数据进行压缩编码。编码后的数据送给数据复用/解复用模块，进行复用处理，即进行网络封装处理，之后发送给对端。视频输入模块，用于将输入的视频信号进行数字化采集处理；这里，所述视频输入模块支持一个以上外部设备的接口，比如支持摄像机、计算机显示信号等的输入。视频编码模块，用于对数字化采集处理后的视频数据及需要发送的其它视频数据进行编码处理；这里，为了减少网络传输带宽，终端一般都会对音视频数据进行压缩编码。编码后的数据送给数据复用/解复用模块，进行复用处理，即进行网络封装处理，之后发送给对端。网络接口模块，用于接入网络；这里，接入网络后，终端能够和网络中的其它终端、MCU、呼叫控制器等设备进行远程通信。由于要同时加入两个会议，如果两个会议所要求的网络接口类型不同，那么，终端就需要提供两种网络接口，以满足要求。数据复用/解复用模块，用于对发送给网络的数据进行复用处理，并对收到的网络发送的数据进行解复用处理；这里，终端和对端通信的信令、媒体等数据一般需要按规定的帧格式进行封装后发送到网络，即进行复用处理后发送到网络，从网络接收的数据需要进行拆包处理后再送给解码模块等模块，即进行解复用处理后再送给解码模块等模块。举个例子来说，符合 ITU-T H. 320标准的终端，需要按ITU-T H. 221帧格式对信令、以及声音、视频等媒体数据进行复用/解复用处理，符合ITU-TH. 323或SIP标准的终端需要声音、视频等媒体数据按 RTP格式进行复用/解复用处理。音频解码模块，用于对解复用处理后提取出的压缩形式的音频流，进行解码处理；具体地，音频解码模块从数据复用/解复用模块获取远端的编码音频流，进行解码处理后恢复为压缩前的原始格式。原始格式数据送给音频输出模块进行输出处理。视频解码模块，用于对解复用处理后提取出的压缩形式的视频流，进行解码处理；
具体地，视频解码模块从数据复用/解复用模块获取远端的视频流，进行解码处理后恢复为压缩前的原始格式。原始格式数据送给视频输出模块进行输出处理。音频输出模块，用于输出压缩前的原始音频码流；这里，所述音频输出模块支持一个以上外部设备的接口，比如支持扬声器、调音台等输出设备。音频输出模块负责输出终端收到的对端的音频信号。视频输出模块，用于输出压缩前的原始视频码流；这里，所述视频输出模块支持一个以上外部设备的接口，比如支持连接电视机、 投影仪等输出设备。视频输出模块负责显示终端收到的对端的视频信号。信令处理模块，用于负责处理控制信令；这里，所述控制信令包括呼叫控制信令、会议控制信令、以及媒体控制信令等。如果终端符合ITU-T H. 323标准，信令和媒体流是分离的，信令处理模块直接通过网络接口模块进行信令发送和接收；如果终端符合ITU-T H. 320标准，信令和媒体流复用在一个H. 221 帧结构中，因此，需要通过复用和解复用模块进行信令的发送和接收。控制和管理模块，负责与用户的接口，并对各模块进行初始化、配置等管理，完成运行时的处理控制以及协调各模块采取一致的活动。这里，图4描述的终端的内部逻辑结构原理图，主要为了方便描述本实施例的实现原理，一个真实的物理实现可能包含更多个模块，模块的功能分配可能会不同，模块之间的连接关系也可能存在差别，这些差异如果不影响基本原理，应视为和本实施例实质相同。图5为本实施例的终端与网络、以及外部设备的连接关系示意图。从图5中可以看出，由于采用一体化实现，第一会议和第二会议之间的音视频数据交换是在终端内部数据线路上传送的。图6为本实施例发送音频数据的处理方法流程示意图，如图6所示，终端的网络接口模块收到来自第一个会议的音频数据，经由数据复用/解复用模块对所述第一会议的音频数据进行解复用处理，提取出压缩形式的音频流，再由音频解码模块进行解码处理，还原为压缩前的原始音频码流，并发送给音频编码模块；同时，音频输入模块对本地输入的音频信号进行数字化采集处理，并将处理后的数据传输给音频编码模块，音频编码模块将得到的压缩前的原始音频码流及本地输入的音频数据进行混合，并将混合的音频数据进行编码处理，然后由数据复用/解复用模块进行复用处理，转化为适合网络传输的帧格式，最后通过网络接口模块发送到第二会议所处的网络中。将收到的来自第二会议的音频数据发送到第一会议所处的网络中的具体处理过程与将第一会议的音频数据发送到第二会议所处的网络中的具体处理过程相同，这里不再赘述。图7为本实施例接收音频数据的处理方法流程示意图，如图7所示，终端从网络接口模块收取来自第一个会议及第二个会议的音频数据，经由数据复用/解复用模块对两路音频数据分别进行解复用处理，提取出压缩形式的音频流，再由过音频解码模块进行解码处理，还原为压缩前的原始音频码流，然后，将两路原始音频码流进行混合处理后，再送给音频输出模块进行本地输出。图8为本实施例发送视频数据的处理方法流程示意图，如图8所示，网络接口接模块收到来自第一个会议数据，经由数据复用/解复用模块对所述第一会议的视频数据进行解复用处理，提取出压缩形式的视频流，再由视频解码模块进行解码处理，还原为压缩前的原始视频码流，并发送给视频编码模块；同时，视频输入模块对本地输入的视频信号进行数字化采集处理，并将处理后的数据传输给视频编码模块，视频编码模块根据用户的选择或系统配置的自动判决原则，选择本地输入的视频数据、或将得到的压缩前的原始视频码流、 或将得到的压缩前的原始视频码流及本地输入的视频信号进行叠加处理，并将处理后的数据进行编码处理，然后由数据复用/解复用模块进行复用处理，转化为适合网络传输的帧格式，最后通过网络接口模块发送到第二会议所处的网络中。将收到的来自第二会议的视频数据发送到第一会议所处的网络中的具体处理过程与将第一会议的视频数据发送到第二会议所处的网络中的具体处理过程相同，这里不再赘述。图9为本实施例接收视频数据的处理方法流程示意图，如图9所示，终端从网络接口模块收取来自第一个会议及第二个会议的视频数据，经由数据复用/解复用模块对两路视频数据分别进行解复用处理，提取出压缩形式的视频流，再由视频解码模块进行解码处理，还原为压缩前的原始视频码流，然后，将两路原始视频码流分别送给视频输出模块进行本地输出。在实际应用时，在某些使用场合下，如果用户只配置了一台显示器，如图10所示， 视频解码模块可以根据用户的选择或设置的选择规则，选择来自两个会议中的一个视频码流送给视频输出模块进行本地输出，或者，将来自第一会议的原始视频码流及来自第二会议的原始视频码流叠加成一路视频码流，将叠加后的视频码流送给视频输出模块进行本地输出。实施例二图11为实施例二实现视频会议级联的终端结构示意图，如图11所示，本实施例与实施例一不同的是本实施例有一对独立的功能相似的设备单元组成，即由设备单元1及设备单元2组成，每个设备单元具有完整的终端特征，换句话说，每个设备单元均具有实施例一中的终端所具有的功能，每个设备单元分别负责接入一个会议。具体地，设备单元1负责接入第一会议，设备单元2负责接入第二会议，两个设备单元之间存在相互联系，两个设备单元通过相互协作，实现交换两个会议的音频、视频数据。为了提高音频、视频质量，两个设备单元之间采用IP连接，以交换数字化的媒体信号。每个设备单元的内部结构及原理与图4中的终端的内部结构及原理类似，因此，每个设备单元的功能不再详细描述。本实施例在本质上可以理解为实施例一的一种分布式的实现方式。具体地，实施例一在一个设备上同时处理两个会议的媒体信号，而实施例二将两个会议的媒体信号处理分配到两个设备单元上。这样，每个设备单元处理的资源和处理能力就可以下降一半左右。图12为本实施例发送音频数据处理方法流程示意图，如图12所示，设备单元1的网络接口模块1收到来自第一会议的音频数据，经由数据复用/解复用模块1对所述第一会议的音频数据进行解复用处理，提取出压缩形式的音频流，通过IP网络传输给设备单元 2的音频解码模块2进行解码处理，还原为压缩前的原始音频码流，并发送给设备单元2的音频编码模块2 ；同时，设备单元2的音频输入模块2对本地输入的音频信号进行数字化采集处理，并将处理后的数据传输给音频编码模块2，音频编码模块2将得到的压缩前的原始音频码流及本地输入的音频数据进行混合，并将混合的音频数据进行编码处理，然后由设
22备单元2的数据复用/解复用模块2进行复用处理，转化为适合网络传输的帧格式，最后通过设备单元2的网络接口模块2发送到第二会议所处的网络中。将收到的来自第二会议的音频数据发送到第一会议所处的网络中的具体处理过程与将第一会议的音频数据发送到第二会议所处的网络中的具体处理过程相同，这里不再赘述。图13为本实施例接收音频数据的处理方法流程示意图，如图13所示，设备单元1 从网络接口模块1收取来自第一个会议的数据，数据经由数据复用/解复用模块1对音频数据进行解复用处理，提取出压缩形式的音频流，再由设备单元1的音频解码模块1进行解码处理，还原为压缩前的原始音频码流，然后，再送给设备单元1的音频输出模块1进行本地输出。相应的，设备单元2从网络接口模块2收取来自第二会议的数据，数据经由数据复用/解复用模块2对音频数据进行解复用处理，提取出压缩形式的音频流，再由音频解码模块进行解码处理，还原为压缩前的原始码流，然后，再送给设备单元2的音频输出模块2进行本地输出。图14为本实施例发送方向视频数据的处理方法流程示意图，如图14所示，网络接口 1收到来自第一个会议数据，经过数据复用/解复用模块1对所述第一会议的视频数据进行解复用处理，提取出压缩形式的视频流，通过IP网络传输给设备单元2的视频解码模块2进行解码处理，还原为压缩前的原始视频码流，并发送给设备单元2的视频编码模块2 ； 同时，设备单元2的视频输入模块2对本地输入的视频信号进行数字化采集处理，并将处理后的数据传输给视频编码模块2，视频编码模块2根据用户的选择或系统配置的自动判决原则，选择本地输入的视频数据、或将得到的压缩前的原始视频码流、或将得到的压缩前的原始视频码流及本地输入的视频信号进行叠加处理，并将处理后的数据进行编码处理，然后由数据复用/复用模块2进行复用处理，转化为适合网络传输的帧格式，最后通过网络接口模块2发送到第二会议所处的网络中。将收到的来自第二会议的视频数据发送到第一会议所处的网络中的具体处理过程与将第一会议的视频数据发送到第二会议所处的网络中的具体处理过程相同，这里不再赘述。图15为本实施例接收视频数据的处理方法流程示意图，如图15所示，设备单元1 从网络接口模块1收取来自第一会议的数据，数据经由数据复用/解复用模块1对视频数据进行解复用处理，提取出压缩形式的视频流，再由设备单元1的视频解码模块1进行解码处理，还原为压缩前的原始视频码流，然后，再送给设备单元1的视频输出模块1进行本地输出。相应的，设备单元2从网络接口模块2收取来自第二会议的数据，数据经由数据复用/解复用模块2对视频数据进行解复用处理，提取出压缩形式的视频流，再由设备单元2 的视频解码模块进行解码处理，还原为压缩前的原始视频码流，然后，再送给设备单元的视频输出模块2进行本地输出。图16为本实施例的终端与网络、以及外部设备的连接关系示意图。从图16中可以看出，设备单元1及设备单元2分别有独立的输出外部设备，两个设备单元共享输入外部设备。设备单元1及设备单元2之间用IP网络连接，以实现控制交互、以及第一会议和第二会议的媒体交换。当终端不支持本地音频、视频输入时，即终端不包含音、频视频输入输出接口时， 此时，设备单元1及设备单元2之间只会相互转发第一会议和第二会议的音频、视频数据。 转发第一会议和第二会议的音频、视频数据的具体处理过程已在上文中详述，这里不再赘述。在本实施例中，由于存在两个具备终端功能的设备单元1及设备单元2，因此，在进行第一会议及第二会议的音频、视频数据的转发之前，需要建立级联会议，图17为基于 SIP级联会议建立的信令过程，如图17所示，该过程包括以下步骤步骤1701 设备单元1启动后，设备单元1向呼叫控制器1注册本终端的地址信息；这里，设备单元1负责接入第一会议。步骤1702 呼叫控制器1收到设备单元1的注册信息后，响应注册成功；这里，所述响应注册成功，具体为发送200 OK消息。步骤1703 设备单元1收到响应后，尝试与设备单元2建立配对关系，之后执行步骤 1704 ；这里，如果设备单元2也已经启动，则设备单元1与设备单元2双方握手成功，通过配对过程，可以协商出双方需要交换媒体流的通信地址信息，即设备单元1及设备单元 2分别获得对方的通信地址信息；其中，通过配对过程，协商出双方需要交换媒体流的通信地址信息的具体处理过程可采用现有技术。步骤1704 第一会议所关联的MCUl主动邀请终端入会，MCU 1通过第一会议所在的呼叫控制器1向终端发送邀请(INVITE)消息；这里，具体地，MCU 1向呼叫控制器1发送INVITE消息，呼叫控制器1收到消息后， 根据终端装置注册时登记的IP地址信息，将INVITE请求转发给设备单元1 ；其中，所述INVITE消息携带MCU 1的会话描述协议(SDP，Session Description Protocol)参数。步骤1705 设备单元1收到消息后，通过呼叫控制器1向MCU 1响应200 OK消息；这里，所述200 OK消息携带设备单元1的SDP参数。步骤1706 =MCUl收到响应200 OK消息后，通过呼叫控制器1向设备单元1响应确认(ACK)消息，之后执行步骤1707。至此，第一会议和设备单元1之间的呼叫建立过程完成，MCU 1和设备单元1之间根据协商的SDP参数，相互发送音视媒体流。步骤1707 第二会议和设备单元2之间进行呼叫建立过程，之后执行步骤1708 ；这里，第二会议和设备单元2之间的呼叫建立过程与第一会议和设备单元1之间的呼叫建立过程相同，这里不再说明。在实际应用时，第二会议和设备单元2之间的呼叫建立过程与第一会议和设备单元1之间的呼叫建立过程无时间先后顺序，即可以先进行第一会议和设备单元1之间的呼叫建立过程，再进行第二会议和设备单元2之间的呼叫建立过程，也可以先第二会议和设备单元2之间的呼叫建立过程，再进行第一会议和设备单元1之间的呼叫建立过程，还可以第一会议和设备单元1之间的呼叫建立过程与第二会议和设备单元2之间的呼叫建立过程同时进行。步骤1708 设备单元1和设备单元2通过配对时确定的通信地址信息，相互转发第一会议和第二会议2的音视媒体流。这里，需要说明的是基于除SIP外的其它视频会议标准级联会议建立的信令过程的具体实现为本领域技术人员的惯用技术手段，这里不再赘述。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
权利要求
1.一种实现视频会议级联的方法，其特征在于，该方法包括在会议进行过程中，终端将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第二会议所处的网络；和/ 或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第一会议所处的网络。
2.根据权利要求1所述的方法，其特征在于，所述将收到的第一会议的音频数据，依据遵循的协议，进行处理，包括依据自身遵循的协议，将所述第一会议的音频数据进行解复用处理，将提取出的压缩形式的音频流，进行解码处理，再将得到的压缩前的所述第一会议的原始音频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据；和/或，所述将收到的第二会议的音频数据，依据遵循的协议，进行处理，具体包括依据自身遵循的协议，将所述第二会议的音频数据进行解复用处理，将提取出的压缩形式的音频流，进行解码处理，再将得到压缩前的所述第二会议的原始音频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。
3.根据权利要求2所述的方法，其特征在于，在将得到压缩前的所述第一会议的原始音频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第一会议的原始音频码流及本地输入的第二会议的音频数据进行混合处理，并将处理后的数据依次进行编码及复用处理；和/或，在将得到压缩前的所述第二会议的原始音频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第二会议的原始音频码流及本地输入的第一会议的音频数据进行混合处理，并将处理后的数据依次进行编码及复用处理。
4.根据权利要求1所述的方法，其特征在于，所述将收到的来自第一会议的视频数据， 依据遵循的协议，进行处理，包括依据自身遵循的协议，将所述第一会议的视频数据进行解复用处理，将提取出的压缩形式的视频流，进行解码处理，再将得到压缩前的所述第一会议的原始视频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据；和/或，所述将收到的来自第二会议的视频数据，依据遵循的协议，进行处理，包括依据自身遵循的协议，将所述第二会议的视频数据进行解复用处理，将提取出的压缩形式的视频流，进行解码处理，再将得到压缩前的所述第二会议的原始视频码流依次进行编码及复用处理，得到满足网络传输帧格式的数据。
5.根据权利要求4所述的方法，其特征在于，在将得到压缩前的所述第一会议的原始视频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第一会议的原始视频码流及本地输入的第二会议的视频数据进行叠加处理，并将处理后的数据依次进行编码及复用处理；和/或，在将得到压缩前的所述第二会议的原始视频码流依次进行编码及复用处理时，该方法进一步包括将得到的所述第二会议的原始视频码流及本地输入的第一会议的视频数据进行叠加处理，并将处理后的数据依次进行编码及复用处理。
6.根据权利要求2至5任一项所述的方法，其特征在于，该方法进一步包括在本地输出得到的压缩前的原始音频、和/或视频码流。
7.根据权利要求6所述的方法，其特征在于，所述原始音频码流包括来自第一会议的原始音频码流及来自第二会议的原始音频码流；在本地输出得到的压缩前的原始音频码流之前，该方法进一步包括将来自第一会议的原始音频码流及来自第二会议的音频原始码流进行混合处理，之后在本地输出混合处理后的音频数据；和/或，所述原始视频码流包括来自第一会议的原始视频码流及来自第二会议的原始视频码流；在本地输出得到的压缩前的原始视频码流之前，该方法进一步包括根据用户的选择或设置的选择规则，选择来自两个会议中的一个视频码流进行本地输出，或者，将来自第一会议的原始视频码流及来自第二会议的原始视频码流叠加成一路视频码流，将叠加后的视频码流送给进行本地输出。
8.一种实现视频会议级联的终端，其特征在于，该终端包括处理单元及网络接口模块；其中，处理单元，用于在会议进行过程中，将收到的来自第一会议的音频、和/或视频数据， 依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给网络接口模块；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给网络接口模块；网络接口模块，用于将处理单元发送的第一会议的音频、和/或视频数据发送给第二会议所处的网络；和/或，将处理单元发送的第二会议的音频、和/或视频数据发送给第一会议所处的网络。
9.根据权利要求8所述的终端，其特征在于，所述处理单元进一步包括数据复用/解复用模块、音频解码模块、以及音频编码模块；其中，数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议、和/或第二会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给音频解码模块；并将音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；音频解码模块，用于将数据复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的原始码流发送给音频编码模块；音频编码模块，用于将音频解码模块发送的压缩前的原始码流进行编码处理，并将处理后的码流发送给数据复用/解复用模块。
10.根据权利要求9所述的终端，其特征在于，所述音频编码模块，在将得到压缩前的原始码流进行编码处理时，还用于将得到的原始码流及音频输入模块发送的本地输入的第二会议或第一会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给数据复用/解复用模块；所述处理单元包括音频输入模块，用于本地输入第二会议或第一会议的音频数据，并将本地输入的第二会议或第一会议的音频数据发送给音频编码模块。
11.根据权利要求9所述的终端，其特征在于，所述处理单元进一步包括视频解码模块、以及视频编码模块；其中，所述数据复用/解复用模块，还用于依据自身遵循的协议，将所述第一会议、和/或第二会议的视频数据进行解复用处理，并将提取出的压缩形式的视频流发送给视频解码模块；并将视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；视频解码模块，用于将数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的原始码流发送给视频编码模块；视频编码模块，用于将视频解码模块发送的压缩前的原始码流进行编码处理，并将处理后的码流发送给数据复用/解复用模块。
12.根据权利要求11所述的终端，其特征在于，所述视频编码模块，在将得到压缩前的原始码流进行编码处理时，还用于将得到的原始码流及视频输入模块发送的本地输入的第二会议、或第一会议的视频数据进行叠加处理，并将处理后的数据进行编码处理，并将处理后的码流发送给数据复用/解复用模块；所述处理单元进一步包括视频输入模块，用于本地输入第二会议或第一会议的视频数据，并将本地输入的第二会议或第一会议的视频数据发送给视频编码模块。
13.根据权利要求9至12任一项所述的终端，其特征在于，所述处理单元进一步包括 音频输出模块，用于收到音频解码模块发送的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述音频解码模块，还用于将得到的压缩前的原始音频码流发送给音频输出模块；和/或，所述处理单元进一步包括视频输出模块，用于收到视频解码模块发送的原始视频码流后，在本地输出得到的压缩前的原始视频码流；所述视频解码模块，还用于将得到的压缩前的原始视频码流发送给视频输出模块。
14.根据权利要求13所述的终端，其特征在于，所述原始音频码流包括来自第一会议的原始音频视频码流及来自第二会议的原始音频码流；所述音频解码模块，还用于将来自第一会议的原始音频码流及来自第二会议的音频原始码流进行混合处理，并将混合处理后的音频数据发送给音频输出模块；所述音频输出模块，还用于收到音频解码模块发送的混合处理后的音频数据后，在本地输出混合处理后的音频数据；和/或，所述原始视频码流包括来自第一会议的原始视频码流及来自第二会议的原始视频码流；所述音频解码模块，还用于将来自第一会议的原始视频码流及来自第二会议的视频原始码流进行叠加处理，并将叠加处理后的视频数据发送给视频输出模块；所述视频输出模块，还用于收到视频解码模块发送的叠加处理后的视频数据后，在本地输出叠加处理后的视频数据。
15.根据权利要求8所述的终端，其特征在于，所述处理单元进一步包括第一处理子单元及第二处理子单元；第一处理子单元进一步包括第一数据复用/解复用模块；第二处理子单元进一步包括第二数据复用/解复用模块、第二音频解码模块、以及第二音频编码模块；所述网络接口模块包括第一网络接口模块及第二网络接口模块；第一数据复用/解复用模块与第一网络接口模块相连接，第二数据复用/解复用模块与第二网络接口模块相连接；其中，第一数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第二音频解码模块；和/或，将第一音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；第二音频解码模块，用于将数据第一复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的所述第一会议的原始音频码流发送给第二音频编码模块；第二音频编码模块，用将第二音频解码模块发送的压缩前的所述第一会议的原始音频码流进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；第二数据复用/解复用模块，用于将第二音频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；和/或，依据自身遵循的协议，将所述第二会议的音频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第一音频解码模块；第一音频解码模块，用于将第二数据复用/解复用模块发送的提取出的压缩形式的音频流，进行解码处理，并将得到的压缩前的所述第二会议的原始音频码流发送给第一音频编码模块；第一音频编码模块，用将第一音频解码模块发送的压缩前的所述第二会议的原始音频码流进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块。
16.根据权利要求15所述的终端，其特征在于，所述第二音频编码模块，在将得到压缩前的所述第一会议的原始音频码流进行编码处理时，还用于将得到的所述第一会议的原始音频码流及第二音频输入模块发送的本地输入的第二会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；所述第二处理子单元进一步包括第二音频输入模块，用于本地输入第二会议的音频数据，并将本地输入的第二会议的音频数据发送给第二音频编码模块；和/或，所述第一音频编码模块，在将得到压缩前的所述第二会议的原始音频码流进行编码处理时，还用于将得到的所述第二会议的原始音频码流及第一音频输入模块发送的本地输入的第一会议的音频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块；所述第一处理子单元进一步包括第一音频输入模块，用于本地输入第一会议的音频数据，并将本地输入的第一会议的音频数据发送给第一音频编码模块。
17.根据权利要求15或16所述的终端，其特征在于，所述第一处理子单元进一步包括第一视频解码模块、以及第一视频编码模块；所述第二处理子单元进一步包括第二视频解码模块、以及第二视频编码模块；其中，所述第一数据复用/解复用模块，用于依据自身遵循的协议，将所述第一会议的视频数据进行解复用处理，并将提取出的压缩形式的音频流发送给第二视频解码模块；和/或， 将第一视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；第二视频解码模块，用于将第一数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的所述第一会议的原始视频码流发送给第二视频编码模块；第二视频编码模块，用将第二视频解码模块发送的压缩前的所述第一会议的原始视频码流进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；第二数据复用/解复用模块，用于将第二视频编码模块发送的码流进行复用处理，得到满足网络传输帧格式的数据；和/或，依据自身遵循的协议，将所述第二会议的视频数据进行解复用处理，并将提取出的压缩形式的视频流发送给第一视频解码模块；第一视频解码模块，用于将第二数据复用/解复用模块发送的提取出的压缩形式的视频流，进行解码处理，并将得到的压缩前的所述第二会议的原始视频码流发送给第一视频编码模块；第一视频编码模块，用将第一视频解码模块发送的压缩前的所述第二会议的原始视频码流进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块。
18.根据权利要求17所述的终端，其特征在于，所述第二视频编码模块，在将得到压缩前的所述第一会议的原始视频码流进行编码处理时，还用于将得到的所述第一会议的原始视频码流及第二视频输入模块发送的本地输入的第二会议的视频数据进行叠加处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第二数据复用/解复用模块；所述第二处理子单元进一步包括第二视频输入模块，用于本地输入第二会议的视频数据，并将本地输入的第二会议的视频数据发送给第二视频编码模块；和/或，所述第一视频编码模块，在将得到压缩前的所述第二会议的原始视频码流进行编码处理时，还用于将得到的所述第二会议的原始视频码流及第一视频输入模块发送的本地输入的第一会议的视频数据进行混合处理，并将处理后的数据进行编码处理，并将处理后的码流发送给第一数据复用/解复用模块；所述第一处理子单元进一步包括第一视频输入模块，用于本地输入第一会议的视频数据，并将本地输入的第一会议的视频数据发送给第一视频编码模块。
19.根据权利要求18所述的终端，其特征在于，所述第一处理子单元，进一步包括第一音频输出模块，用于收到第一音频解码模块发送的所述第二会议的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述第一音频解码模块，还用于将得到的压缩前的所述第二会议的原始音频码流发送给第一音频输出模块；和/或，所述第二处理子单元进一步包括第二音频输出模块，用于收到第二音频解码模块发送的所述第一会议的原始音频码流后，在本地输出得到的压缩前的原始音频视频码流；所述第二音频解码模块，还用于将得到的压缩前的所述第一会议的原始音频码流发送给第二音频输出模块；和/或，所述第一处理子单元进一步包括第一视频输出模块，用于收到第一视频解码模块发送的所述第二会议的原始视频码流后，在本地输出得到的压缩前的所述第二会议的原始视频码流；所述第一视频解码模块，还用于将得到的压缩前的所述第二会议的原始视频码流发送给第一视频输出模块；和/或，所述第二处理子单元进一步包括第二视频输出模块，用于收到第二视频解码模块发送的所述第一会议的原始视频码流后，在本地输出得到的压缩前的所述第一会议的原始视频码流；所述第二视频解码模块，还用于将得到的压缩前的所述第一会议的原始视频码流发送给第二视频输出模块。
全文摘要
本发明公开了一种实现视频会议级联的方法，该方法包括在会议进行过程中，终端将收到的来自第一会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第二会议所处的网络；和/或，将收到的来自第二会议的音频、和/或视频数据，依据自身遵循的协议，进行处理，并将处理后的音频、和/或视频数据发送给第一会议所处的网络。本发明同时公开了一种实现视频会议级联的终端，采用本发明的方法及终端，能在保证音视频质量的前提下，有效地实现视频会议的级联。
文档编号H04N7/26GK102404547SQ201110378990
公开日2012年4月4日 申请日期2011年11月24日 优先权日2011年11月24日
发明者吴永明 申请人:中兴通讯股份有限公司