专利名称：实现混音的方法、装置和系统的制作方法
技术领域：
本发明涉及通信技术领域，特别涉及一种实现混音的方法、装置和系统。
背景技术：
目前，随着通讯技术的发展，视讯会议得到了广泛的开展和应用。视讯会议可以理 解为通常意义上的电视会议业务，通过多媒体通信手段，利用电视设备和通信网络召开会 议，可以同时实现两地或多个地点之间的图像、语音、数据的交互功能。通常，视讯会议系统 包括视讯终端设备、通信网络、多点控制单元(MCU，Multipoint Control Unit)等几部分。传统的会议终端通常只有单声道或双声道，一般没有空间方位感，或者只能区分 左右方位。下一代会议终端一般采用多屏方案，图像与真人大小相同，为了具有很强的临场 感和沉浸感，一般要求有很强的声音方位感和空间感，传统的双声道已不能满足要求。为了 体现较强的方位感和空间感，现有技术采用能够两种方案一种是基于多声道的方式进行 编码和传输；另外一种是基于音频对象的音频协议进行编码和传输，从而实现在增加较少 码率的情况下，可以携带声音的方位和空间感。现有的MCU混音方法通常为基于声道的混 首方案。在实现本发明的过程中，发明人发现现有技术中至少存在如下问题现有的基于声道的混音方法，在同一会议中只能兼容传统的会议终端，而对于基 于多声道的下一代终端以及基于音频对象的下一代终端，不能实现兼容。
发明内容
本发明的实施例提供一种实现混音的方法、装置和系统，能够提高对不同会议终 端的兼容性。本发明实施例采用的技术方案为一种实现混音的方法，包括接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号 和基于音频对象的音频信号；在所述接收的音频信号中为各接收会场选择音频信号；根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基 于声道的接收会场和基于音频对象的接收会场；按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。一种实现混音的装置，包括接收模块，用于接收各发送会场发送的音频信号，其中，所述音频信号包括基于声 道的音频信号和基于音频对象的音频信号；选择模块，用于在所述接收的音频信号中为各接收会场选择音频信号；处理模块，用于根据接收会场的类型对所选择的音频信号进行处理，其中，所述接 收会场包括基于声道的接收会场和基于音频对象的接收会场；
发送模块，用于按照接收会场的类型，将所述经过处理的音频信号分别向各接收 会场发送。一种实现混音的系统，包括多个发送会场和接收会场、多点控制单元，其中，所述发送会场，用于向多点控制单元发送音频信号，其中，所述音频信号包括基于 声道的音频信号和基于音频对象的音频信号；所述多点控制单元，用于接收所述发送会场发送的音频信号，在所述接收的音频 信号中为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理， 按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送，其中，所述接收 会场包括基于声道的接收会场和基于音频对象的接收会场；所述接收会场，用于由所述多点控制单元接收所述经过处理的音频信号。本发明实施例实现混音的方法、装置和系统，多点控制单元接收到各发送会场发 送的基于声道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根 据接收会场的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各 接收会场发送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对 象的音频信号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的 下一代终端以及基于音频对象的下一代终端，提高用户的体验质量。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其它的附图。图1为本发明实施例一提供的实现混音的方法流程图；图2、图3为本发明实施例二提供的实现混音的方法流程图；图4为本发明实施例二提供的将所选择的音频信号转换为与基于声道的接收会 场声道数一致的音频信号的流程图；图5为本发明实施例二提供的网真终端的音频呈现方式示意图；图6为本发明实施例三提供的实现混音的装置结构示意图；图7、图8为本发明实施例四提供的实现混音的装置结构示意图；图9为本发明实施例五提供的实现混音的系统结构示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它 实施例，都属于本发明保护的范围。为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说 明。实施例一
本实施例提供一种实现混音的方法，如图1所示，所述实现混音的方法包括101、接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频 信号和基于音频对象的音频信号；102、在所述接收的音频信号中为各接收会场选择音频信号；103、根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包 括基于声道的接收会场和基于音频对象的接收会场；104、按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。其中，同一个会场既可以发送音频信号，也可以接收音频信号，也就是说，发送会 场和接收会场可以为同一个会场。本发明实施例实现混音的方法，多点控制单元接收到各发送会场发送的基于声 道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根据接收会场 的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各接收会场发 送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对象的音频信 号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端 以及基于音频对象的下一代终端，提高用户的体验质量。实施例二在本实施例中，多点会议系统中有多个发送会场和接收会场，所述发送会场包括 基于声道的发送会场和基于音频对象的发送会场，所述发送会场发出的音频信号由MCU进 行混音；其中，同一个会场既可以发送音频信号，也可以接收音频信号，也就是说，发送会场 和接收会场可以为同一个会场。如图2、图3所示，所述实现混音的方法包括201、MCU接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音 频信号和基于音频对象的音频信号；其中，所述音频信号的类型根据发送会场的类型确定，若发送会场为基于声道的 发送会场，则该发送会场发出的音频信号为基于声道的音频信号；若发送会场为基于音频 对象的发送会场，则该发送会场发出的音频信号为基于音频对象的音频信号；所述基于声 道的发送会场可以为基于单声道或多声道的发送会场，相应地，所述基于声道的音频信号 可以为基于单声道或多声道的音频信号。音频对象指的是将音源作为一个对象来看待，一个音频对象除了包括音频信号之 外，还包括辅助信息，所述辅助信息中包括该音频对象的最大绝对能量、能量比值、空间信 息、方位信息、不同播放方式及其对应参数等信息。202、MCU在所述接收的音频信号中为各接收会场选择音频信号；其中，所述MCU为各接收会场选择音频信号可以根据各音频信号的能量大小进行 选择，具体选择过程可以包括202a、MCU分别计算基于声道的音频信号的能量和/或基于音频对象的音频信号 的能量；(1)计算基于声道的音频信号的能量当所述声道为单声道时，所述基于声道的音频信号的能量即为该单声道的能量；当所述声道为多声道时，分别计算各个声道的能量，然后取最大的声道能量作为该基于声道的音频信号的能量；或者取各个声道的能量的平均值作为该基于声道的音频信 号的能量。(2)计算基于音频对象的音频信号的能量所述音频对象的辅助信息中携带最大绝对能量和该音频对象的能量比值，根据音 频对象中最大绝对能量以及该音频对象的能量比值，来计算该音频对象的绝对能量。例如， 最大绝对能量为Emax，音频对象Si、S2、S3的能量比值分别是al、a2、a3，则这三个音频对 象的绝对能量分另U是EmaxXaU EmaxXa2、EmaxXa3。202b、MCU根据所述基于声道的音频信号的能量和/或基于音频对象的音频信号 的能量大小，为各接收会场选择音频信号能量较大的多个音频信号；其中，MCU为各接收会 场选择的音频信号可以相同，也可以不同。例如，多点会议系统中有A、B、C、D、E五个会场，所述五个会场既可以接收音频信 号，也可以发送音频信号，A、B、C、D、E五个会场发出的音频信号对应为Al、Bi、Cl、Dl、El ； MCU根据各会场发出的音频信号的能量大小选择出B1、C1、D1三个音频信号，由于各会场通 常不接收自己会场发出的音频信号，因此，MCU为各会场选择的音频信号如表1所示
权利要求
1.一种实现混音的方法，其特征在于，包括接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基 于音频对象的音频信号；在所述接收的音频信号中为各接收会场选择音频信号；根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声 道的接收会场和基于音频对象的接收会场；按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
2.根据权利要求1所述的实现混音的方法，其特征在于，所述在所述接收的音频信号 中为各接收会场选择音频信号具体为分别计算基于声道的音频信号的能量和/或基于音频对象的音频信号的能量； 根据所述基于声道的音频信号的能量和/或基于音频对象的音频信号的能量选择音 频信号。
3.根据权利要求2所述的实现混音的方法，其特征在于，所述计算基于声道的音频信 号的能量包括当所述声道为单声道时，所述基于声道的音频信号的能量即为该单声道的能量； 当所述声道为多声道时，分别计算各个声道的能量，取最大的声道能量作为该基于声 道的音频信号的能量，或者取各个声道的能量的平均值作为该基于声道的音频信号的能量。
4.根据权利要求2所述的实现混音的方法，其特征在于，所述计算基于音频对象的音 频信号的能量包括根据最大绝对能量和所述音频对象的能量比值，计算所述音频对象的绝对能量，其中， 所述最大绝对能量和所述音频对象的能量比值在所述音频对象的辅助信息中携带。
5.根据权利要求1所述的实现混音的方法，其特征在于，当所述接收会场为基于声道 的接收会场时，所述根据接收会场的类型对所选择的音频信号进行处理包括将所选择的音频信号转换为与接收会场声道数一致的音频信号； 基于所述接收会场的声道，对所述转换后的音频信号进行混音。
6.根据权利要求5所述的实现混音的方法，其特征在于，所述将所选择的音频信号转 换为与接收会场声道数一致的音频信号包括判断所选择的音频信号的类型；若所选择的音频信号为基于声道的音频信号，则将所述基于声道的音频信号转换成与 所述接收会场声道数一致的信号；若所选择的音频信号为基于音频对象的音频信号，则判断所述音频对象的辅助信息中 是否携带与所述接收会场声道数一致的播放方式；若所述音频对象的辅助信息中携带与所述接收会场声道数一致的播放方式，则根据所 述辅助信息中相应播放方式的参数，将所述音频对象转换成与所述接收会场声道数一致的 音频信号；若所述音频对象的辅助信息中没有携带与所述接收会场声道数一致的播放方式，则根 据所述音频对象的方位信息将所述音频对象转换成与接收会场声道数一致的信号，其中， 所述方位信息在所述音频对象的辅助信息中携带。
7.根据权利要求6所述的实现混音的方法，其特征在于，所述根据所述音频对象的方 位信息将所述音频对象转换成与接收会场声道数一致的信号包括根据音频对象的方位和所述接收会场各个声道对应的扬声器的位置，确定与所述音频 对象距离最近的扬声器；将所述基于音频对象的音频信号复制给与所述音频对象距离最近的扬声器对应的声道。
8.根据权利要求1所述的实现混音的方法，其特征在于，当所述接收会场为基于音频 对象的接收会场时，所述根据接收会场的类型对所选择的音频信号进行处理包括根据接收会场的呈现方式，将所选择的音频信号转换成音频对象； 将所述转换后的音频对象合并为一个音频对象流。
9.根据权利要求8所述的实现混音的方法，其特征在于，所述根据接收会场的呈现方 式，将所选择的音频信号转换成音频对象包括根据接收会场的呈现方式，设定所选择的音频信号的呈现方式； 当所选择的音频信号为基于声道的音频信号时，根据所述设定的呈现方式，将所选择 的音频信号转换成音频对象；当所选择的音频信号为基于音频对象的音频信号时，根据所述设定的呈现方式，对所 述音频对象的参数进行修改。
10.一种实现混音的装置，其特征在于，包括接收模块，用于接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的 音频信号和基于音频对象的音频信号；选择模块，用于在所述接收的音频信号中为各接收会场选择音频信号； 处理模块，用于根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会 场包括基于声道的接收会场和基于音频对象的接收会场；发送模块，用于按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场 发送。
11.根据权利要求10所述的实现混音的装置，其特征在于，所述选择模块包括 计算单元，用于分别计算基于声道的音频信号的能量和/或基于音频对象的音频信号的能量；选择单元，用于根据所述基于声道的音频信号的能量和/或基于音频对象的音频信号 的能量选择音频信号。
12.根据权利要求10所述的实现混音的装置，其特征在于，所述处理模块包括第一转换单元，用于将所选择的音频信号转换为与接收会场声道数一致的音频信号； 混音单元，用于基于所述接收会场的声道，对所述转换后的音频信号进行混音。
13.根据权利要求12所述的实现混音的装置，其特征在于，所述第一转换单元包括 第一判断子单元，用于判断所选择的音频信号的类型；第一转换子单元，用于当所选择的音频信号为基于声道的音频信号时，将所述基于声 道的音频信号转换成与所述接收会场声道数一致的信号；第二判断子单元，用于当所选择的音频信号为基于音频对象的音频信号时，判断所述 音频对象的辅助信息中是否携带与所述接收会场声道数一致的播放方式；第二转换子单元，用于当所述音频对象的辅助信息中携带与所述接收会场声道数一致 的播放方式时，根据所述辅助信息中相应播放方式的参数，将所述音频对象转换成与所述 接收会场声道数一致的音频信号；第三转换子单元，用于当所述音频对象的辅助信息中没有携带与所述接收会场声道数 一致的播放方式时，根据所述音频对象的方位信息将所述音频对象转换成与接收会场声道 数一致的信号，其中，所述方位信息在所述音频对象的辅助信息中携带。
14.根据权利要求10所述的实现混音的装置，其特征在于，所述处理模块包括 第二转换单元，用于根据接收会场的呈现方式，将所选择的音频信号转换成音频对象；合并单元，用于将所述转换后的音频对象合并为一个音频对象流。
15.根据权利要求14所述的实现混音的装置，其特征在于，所述第二转换单元包括 设定子单元，用于根据接收会场的呈现方式，设定所选择的音频信号的呈现方式；第四转换子单元，用于当所选择的音频信号为基于声道的音频信号时，根据所述设定 的呈现方式，将所选择的音频信号转换成音频对象；修改子单元，用于当所选择的音频信号为基于音频对象的音频信号时，根据所述设定 的呈现方式，对所述音频对象的参数进行修改。
16.一种实现混音的系统，其特征在于，包括多个发送会场和接收会场、多点控制单 元，其中，所述发送会场，用于向多点控制单元发送音频信号，其中，所述音频信号包括基于声道 的音频信号和基于音频对象的音频信号；所述多点控制单元，用于接收所述发送会场发送的音频信号，在所述接收的音频信号 中为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，按照 接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送，其中，所述接收会场 包括基于声道的接收会场和基于音频对象的接收会场；所述接收会场，用于由所述多点控制单元接收所述经过处理的音频信号。
全文摘要
本发明实施例公开了一种实现混音的方法、装置和系统，所述实现混音的方法包括接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；在所述接收的音频信号中为各接收会场选择音频信号；根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。本发明适用于在多点会议中对基于声道的音频信号和基于音频对象的音频信号进行混音处理。
文档编号H04N7/15GK102065265SQ20091020718
公开日2011年5月18日 申请日期2009年11月13日 优先权日2009年11月13日
发明者王东琦, 詹五洲 申请人:华为终端有限公司