专利名称：一种多路音频信号处理的方法、设备及系统的制作方法
技术领域：
本发明涉及一种信号处理方法及设备，尤其涉及一种多路音频信 号处理的方法、设备及系统。
背景技术：
当前的多媒体业务都需多路音频信号处理，如视讯会议系统，参
加会议的会议终端往往多于2个，因此有多路音频信号，需要多路音 频信号处理设备进行处理，例如多点控制单元即MCU (Multipoint Control Unit)进行处理及控制，实现多点会议终端传来的多路音频信 号的混音，处理过程如下，以可同时发言会议终端数量为3个即最大 三方会场为例
现有技术一，MUC的编码器同与会的会议终端——对应，数量相 等，非最大三方会场所对应的编码器均对最大三方会场的音频信号进 行编码并发送给相应的会议终端，也就是说所有1MCU的编码器均为完 全编码，但是所有编码器连续进行完全编码工作，会造成系统处理能 力的浪费，增加成本，降低所支持的容量及会议终端的数量；
现有技术二， MUC中编码器的数量比可最多同时发言的会议终端 数量多一个，其中一个编码器用作固定编码器，以最大三方会场为例， 则MCU采用4个编码器，其中一个作为固定编码器，对最大三方会场 的音频信号进行完全编码，将编码后的音频信号传输至除最大三方会 场之外的每一个会议终端，当最大三方会场发生变化时，发生变化的原最大三方会场由固定编码器传送经过编码的新最大三方会场的音频 信号。但是由于编码器在编码过程中需要保留编码器的编码状态信息，
如AAC ( Advanced Audio Coding)协议的编码器需要保留前两帧编码 数据作为编码状态信息，用于对当前的帧编码时进行预测处理。而且， 会议终端即信源的解码器需要对编码器所编码的信号进行解码，所以 解码器的解码状态信息也与编码器的编码状态信息相关，如果在编码 状态信息不一致的情况下，将不同编码器所编码的信号发送至同一解 码器，解码器会因为当前解码的数据与前一帧预测的数据不一致而导 致当前数据无法解码，或者解码出的声音效果很差，因此，当发言的 会议终端发生改变时，会导致编码器的切换，从而是解码器不能正确 解码，尤其在自由讨论的时候，声音效果非常差。因此，现有技术二 在最大三方会场发生变化时，由于会议终端的解码器不能正确解码而 导致声音效果很差。
现有技术一，浪费系统处理能力，增加成本，降低MCU所支持的 容量及信源的数量；
现有技术二，当发言的会议终端发生改变时，会导致MCU编码器 的切换，从而导致会议终端的解码器不能正确解码，声音效果差，尤 其在自由讨论的时候，声音效果非常差。
发明内容
本发明实施例的目的在于提供一种多路音频信号处理方法、设备 及系统，不仅可以节约处理器的资源，还可以保证声音效果，为此，
本发明实施例提供一种多路音频信号处理方法，包括
接收来自与会的会议终端的L路音频信号，并对所述L路音频信 号分别进行解码，根据所述解码得到的数据，从所述与会的会议终端 中确定N个待混音的会议终端，其中所述L、 N为自然数，且L〉NX);
选择所述与会的会议终端中除所述n个待混音的会议终端外的 L-N个编码器中的任一编码器作为共用编码器，对解码后的所述N个 待混音的会议终端的音频信号编码，将编码之后的数据发送至与所述 L-N个编码器对应的会议终端；
当L-N>1时，所述L-N个编码器中除所述共用编码器外的其余 L-N-l个编码器更新其编码状态信息以与上述共用编码器的编码状态 信息保持同步。
本发明实施例另 一方面提供一种多路音频信号处理设备，包括 L个编码器，同与会的会议终端分别对应；
处理单元，用于接收来自与会的会议终端的L路音频信号，并对 所述L路音频信号分别进行解码；
选取单元，用于根据所述解码得到的数据，从所述与会的会议终 端中确定N个待混音的会议终端；选才奪单元，用于从所述与会的会议终端中除所述N个待混音的会 议终端外的L-N个编码器中选择任一编码器作为共用编码器，其中所 述L、 N为自然H且L>N>0;
控制单元，用于当L-NX)时，控制所述L-N个编码器中除所述共 用编码器的其余L-N-l个编码器更新其编码状态信息以与上述共用编 码器的编码状态信息保持同步。
本发明实施例的另一方面还提供了一种会议系统，包括
L个与会的会议终端，用于发送音频信号；
多路音频处理设备，包括同所述L个与会的会议终端分别对应的L 个编码器；
所述多路音频处理设备用于接收来自所述L个与会的会议终端 的L路音频信号，并对所述L路音频信号分别进行解码，根据所述解 码得到的数据，从所述与会的会议终端中确定N个待混音的会议终端，
终端对应的L-N个编码器中选择任一编码器作为共用编码器，
还用于当L-N>1时控制所述L-N个编码器中除所述共用编码器外 的其余L-N-l个编码器更新其编码状态信息以与上述共用编码器的编 码状态信息保持同步，其中所述L、 N为自然数，且L〉NX)。
本发明实施例提供的多路音频信号处理方法、设备及系统，可以 大大节约处理器的资源，从而在处理器资源一定的情况下增加可接入 信源如会议终端的数量，降低成本，而且可以保证与会的会议终端除
10待混音终端与共用编码器外的所有会议终端的编码器状态信息达到同 步更新。
图1为本发明提供的一种多路音频信号处理方法的一个实施例的
流程示意图2为本发明提供的一种多路音频信号处理方法的一个实施例的 流程示意图3为本发明提供的一种多路音频信号处理方法的一个实施例的 流程示意图
图4为本发明提供的一种多路音频信号处理设备的一个实施例的 结构示意图5为本发明提供的一种会议系统的一个实施例的示意图。
具体实施例方式
图1为本发明提供的一种多路音频信号处理方法的一个实施例的 流程示意图。如图1所示，该实施例中，多路音频信号处理方法包括
S01:接收来自与会的会议终端的L路音频信号，并对所述L路音 频信号分别进行解码，根据所述解码得到的数据，从所述与会的会议 终端中确定N个待混音的会议终端；
S02:选择所述与会的会议终端中除所述N个待混音的会议终端外 的L-N个编码器中的任一编码器作为共用编码器，对解码后的所述N个待混音的会议终端的音频信号编码，将编码之后的数据发送至与所
述L-N个编码器对应的会议终端；
S03:当L-N>1时，所述L-N个编码器中除所述共用编码器外的 其余L-N-l个编码器更新其编码状态信息以与上述共用编码器的编码 状态信息保持同步。
在该实施例中，所述L、 N为自然数，且L〉NX)。以多々某体会议 系统为例，如L为7， N为3，表示接收到7路音频信号，从所述与会 的会议终端中确定N个待混音的会议终端，可以有多种确定方式，如 可以预先设定音频能量阈值，从经过解码的接收到的音频信号中选取 超过音频能量阈值的音频信号，从而确定所选取音频信号对应的会议 终端为待混音的会议终端，或者预先设定需要选取的音频信号的数量， 比如需要选取3路音频信号，则将经过解码的接收到的音频信号的音 频能量进行比较，然后从中选取音频能量最大的3路音频信号，从而 确定所选取音频信号对应的会议终端为待混音的会议终端，或者由会 议终端发出申请信号，由控制侧选取是否接收该会议终端的音频信号， 从而确定所选取音频信号对应的会议终端为待混音的会议终端。本实 施例中，乂人所述与会的会议终端中确定3个待混音的会议终端，该3 路音频信号分别来自会议终端Z1、 Z2及Z3，分别对应于编码器T1、 T2及T3,则编码器Tl将会议终端Z2及Z3的解码后的音频信号完全 编码并将编码后的数据发送至Zl，编码器T2将会议终端Zl及Z3解 码后的音频信号完全编码并将编码后的数据发送至Z2,编码器T3将 会议终端Zl及Z2解码后的音频信号完全编码并将编码后的数据发送 至Z3，选择其余的L-N即4个编码器中的任意一个作为共用编码器对 该Z1、 Z2、 Z3解码后的音频信号编码，如编码器T4作为共用编码器
12对会议终端Zl、 Z2及Z3解码后的音频信号进行完全编码并将编码后 的数据发送至会议终端Z4-Z7,其余的3个编码器即编码器T5-T7则更 新其编码状态信息以与上述共用编码器的编码状态信息保持同步，即
编码器T5至编码器T7更新其编码状态信息以与共用编码器即编码器 T4的编码状态信息保持同步，即进行不完全编码，即只编码到编码状 态更新，如AAC编码器只编码到编码状态信息更新，而不进行后续的 运算如时频变换、心理声学模型分析等。
根据实际测试表明，AAC编码器在DM642单板上运行，AAC编 码器编码的运算量为60M,而采用本实施例方法的AAC编码器不完全 编码即只编码到编码状态信息更新时的运算量为6M。
因此，本实施例的多路音频信号处理方法，可以大大的节约处理 器的资源，在处理器资源相同的情况下可以增加信源的容量，降低成 本，而且可以保证与会的会议终端除待混音终端与共用编码器外的所 有会议终端的编码器状态信息达到同步更新。
图2为本发明提供的一种多路音频信号处理方法的一个实施例的 流程示意图。如图2所示，该实施例中，当上述N个待混音的会议终 端发生变化时，且上述N个原待混音的会议终端对应的编码器中的任 意一个被选作新共用编码器时，所述方法还包括
Sll:从所述与会的会议终端中确定M个新待混音的会议终端:
'/比貫w、j'云d S个相同的会议终端；S12:所述N个原待混音的会议终端中除所述S个相同的会议终端 与新共用编码器之外的N-S-l个会议终端当编码状态信息与所述新待 混音会议终端的编码器的编码状态信息相同时，停止发送信号，并对 解码后的所述M个新待混音的会议终端的音频信号进行不完全编码。
该实施例中，M、 S为自然数，且满足0《S〈min(M， N}。通过上 述确定待混音的会议终端的方法，从与会的会议终端中选取M个新待 混音终端，所述M个新待混音的会议终端与所述N个原待混音的会议 终端中包括S个相同的会议终端，例如，从7个与会的会议终端中选 取4个新待混音终端Z4-Z7,此时相同的会议终端S为0，从原待混音 终端对应的编码器中选择一个编码器为共用编码器，如选择T1为共用 编码器；编码器T1、 T2、 T3对会议终端Z4-Z7解码后的音频信号完 全编码并发送至相应的会议终端Zl、 Z2、 Z3，同时编码器T4对会议 终端Z5-Z7解码后的音频信号完全编码并发送至会议终端Z4,编码器 T5对会议终端Z4、 Z6、 Z7解码后的音频信号完全编码并发送至会议 终端Z5，编码器T6对会议终端Z4、 Z5、 Z7解码后的音频信号完全编 码并发送至会议终端Z6、编码器T7对会议终端Z4-Z6解码后的音频 信号完全编码并发送至会议终端Z7;当编码器T2、 T3对会议终端 Z4-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T1的 编码状态信息一致时，停止向对应的会议终端Z2、 Z3发送数据，转为 对会议终端Z4-Z7解码后的音频信号进行不完全编码，并由共用编码 器Tl对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终端 Zl、 Z2、 Z3。
该实施例中，例如从7个与会的会议终端中选取5个新待混音终 端Z3-Z7，此时有1个相同的会议终端即Z3, ^^原待混音终端对应的编码器中选择一个编码器为共用编码器，如选择T1为共用编码器；编码器Tl、 T2对会议终端Z3-Z7解码后的音频信号完全编码并发送至相应的会议终端Zl、 Z2，同时编码器T3对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终端Z3,编码器T4对会议终端Z3、Z5-Z7解码后的音频信号完全编码并发送至会议终端Z4，编码器T5对会议终端Z3、 Z4、 Z6、 Z7解码后的音频信号完全编码并发送至会议终端Z5，编码器T6对会议终端Z3-Z5、 Z7解码后的音频信号完全编码并发送至会议终端Z6、编码器T7对会议终端Z3-Z6解码后的音频信号完全编码并发送至会议终端Z7;当编码器T2对会议终端Z3-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T1的编码状态信息一致时，停止向对应的会议终端Z2发送数据，转为对会议终端Z3-Z7解码后的音频信号进行不完全编码，并由共用编码器T1对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终端Zl、 Z2。
这样，当上述N个待混音的会议终端发生变化时，且上述N个原待混音的会议终端对应的编码器中的任意 一 个被选作新共用编码器时，本实施例的多路音频信号处理方法，可以大大的节约处理器的资源，在处理器资源相同的情况下可以增加信源的容量，降低成本，而且可以保证与会的会议终端除待混音终端与共用编码器外的所有会议终端的编码器状态信息达到同步更新，并且待混音的会议终端发生切换时，编码器进行预测帧编码，使编码器的编码状态信息与会议终端的解码器的解码状态信息能够平滑的过度，然后由共用编码器向与会的会议终端除新待混音会议终端发送数据，因此，待混音的会议终端发生切换时，会议终端可以正常解码，保证音频质量。图3为本发明提供的一种多路音频信号处理方法的一个实施例的流程示意图。如图3所示，该实施例中，当上述N个待混音的会议终端发生变化，且上述N个原待混音的会议终端对应的编码器未被选作新共用编码器时，所述方法还包括
S21:从所述与会的会议终端中确定M个新待混音的会议终端，所述M个新待混音的会议终端与所述N个原待混音的会议终端中包括s个相同的会议终端；
S22:所述N个原待混音的会议终端中除所述S个相同的会议终端之外的N-S个会议终端当编码状态信息与所述新待混音的会议终端的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码。
该实施例中，M、 S为自然数，且满足0《S《min{M, N}。通过上述确定待混音的会议终端的方法，从与会的会议终端中选取M个新待混音终端，所述M个新待混音的会议终端与所述N个原待混音的会议终端中包括S个相同的会议终端，例如，从7个与会的会议终端中选取3个新待混音终端Z5-Z7，此时相同的会议终端S为0，从除原待混音终端外的与会的会议终端对应的编码器中选择一个编码器为共用编码器，如选择T4为共用编码器；编码器Tl-T4对会i义终端Z5-Z7解码后的音频信号完全编码并发送至相应的会议终端Zl-Z4，同时编码器T5对会议终端Z6、 Z7解码后的音频信号完全编码并发送至会议终端Z5，编码器T6对会议终端Z5、 Z7解码后的音频信号完全编码并发送至会议终端Z6、编码器T7对会议终端Z5、 Z6解码后的音频信号完全编码并发送至会议终端Z7;当编码器T1、 T2、 T3对会议终端Z5-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T4的编码状态信息一致时，停止向对应的会议终端Z1、 Z2、 Z3发送数据，转为对会议终端Z5-Z7解码后的音频信号进行不完全编码，并由共用编码器T4对会议终端Z5-Z7解码后的音频信号完全编码并发送至会议终端Zl、 Z2、 Z3、 Z4。
该实施例中，例如，从7个与会的会议终端中选取3个新待混音终端Z3、 Z4、 Z7，此时有1个相同的会议终端Z3，从除原待混音终端外的与会的会议终端对应的编码器中选择一个编码器为共用编码器，如选择T5为共用编码器；编码器T1、 T2、 T5、 T6分别对会议终端Z3、 Z4、 Z7解码后的音频信号完全编码并发送至相应的会议终端Zl、 Z2、 Z5、 Z6，同时编码器T3对会议终端Z4、 Z7解码后的音频信号完全编码并发送至会议终端Z3，编码器T4对会议终端Z3、 Z7解码后的音频信号完全编码并发送至会议终端Z4、编码器T7对会议终端Z3、 Z4解码后的音频信号完全编码并发送至会议终端Z7;当编码器Tl、 T2、 T6对会议终端Z3、 Z4、 Z7解码后的音频信号完全编码至编码状态信息与共用编码器T5的编码状态信息一致时，停止向对应的会议终端Z1、 Z2、 Z6发送数据，转为对会议终端Z3、 Z4、 Z7解码后的音频信号进行不完全编码，并由共用编码器T5对会议终端Z3、 Z4、Z7解码后的音频信号完全编码并发送至会议终端Z1、 Z2、 Z5、 Z6。
这样，当上述N个待混音的会议终端发生变化时，且上述N个原待混音的会议终端对应的编码器未被选作新共用编码器时，本实施例的多路音频信号处理方法，可以大大的节约处理器的资源，在处理器资源相同的情况下可以增加信源的容量，降低成本，而且可以保证与
状态信息达到同步更新，并且待混音的会议终端发生切换时，编码器
17进行预测帧编码，使编码器的编码状态信息与会议终端的解码器的解码状态信息能够平滑的过度，然后由共用编码器向与会的会议终端除新待混音会议终端发送数据，因此，待混音的会议终端发生切换时，会议终端可以正常解码，保证音频质量。
图4本发明提供的一种多路音频信号处理设备的一个实施例的结
构示意图，如图4所示，该实施例的多路音频信号处理设备1包括
编码器6，共L个，同与会的会议终端分别对应；
处理单元2，用于接收来自与会的会议终端的L路音频信号，并对所述L路音频信号分别进行解码；
选取单元3，用于根据所述解码得到的数据，从所述与会的会议终端中确定N个待混音的会议终端；
选择单元4,用于从所述与会的会议终端中除所述N个待混音的会议终端外的L-N个编码器中选择任一编码器作为共用编码器；
控制单元5，用于当L-NX)时，控制所述L-N个编码器中除所述共用编码器的其余L-N-l个编码器更新其编码状态信息以与上述共用编码器的编码状态信息保持同步。
本实施例中所述L、 N为自然数，且L>N>0。以多々某体会议系统为例，如L为7， N为3，表示多路音频信号处理设备1的处理单元2接收到7路音频信号，选取单元3从所述与会的会议终端中确定N个待混音的会议终端，可以有多种确定方式，如可以预先设定音频能量阈值，从经过处理单元2解码的接收到的音频信号中选取超过音频能量阈值的音频信号，从而确定所选取音频信号对应的会议终端为待混音的会议终端，或者预先设定需要选取的音频信号的数量，比如需要
选取3路音频信号，则将处理单元2经过解码的接收到的音频信号的音频能量进行比较，然后从中选取音频能量最大的3路音频信号，从而确定所选取音频信号对应的会议终端为待混音的会议终端，或者由会议终端发出申请信号，由控制侧选取是否接收该会议终端的音频信号，从而确定所选取音频信号对应的会议终端为待混音的会议终端。本实施例中，选取单元3从所述与会的会议终端中确定3个待混音的会议终端，该3 if各音频信号分别来自会议终端Zl、 Z2及Z3，分别对应于编码器6的编码器Tl、 T2及T3,则编码器Tl将会议终端Z2及Z3的解码后的音频信号完全编码并将编码后的数据发送至Zl,编码器T2将会议终端Zl及Z3解码后的音频信号完全编码并将编码后的数据发送至Z2，编码器T3将会议终端Zl及Z2解码后的音频信号完全编码并将编码后的数据发送至Z3，选择单元4选择其余的L-N即4个编码器中的任意一个作为共用编码器对该Z1、 Z2、 Z3解码后的音频信号完全编码，如选^t奪单元4选择编码器T4作为共用编码器对会议终端Zl、 Z2及Z3解码后的音频信号进行完全编码并将编码后的数据发送至会议终端Z4-Z7,控制单元5控制其余的3个编码器即编码器T5-T7则更新其编码状态信息以与上述共用编码器的编码状态信息保持同步，即控制编码器T5至编码器T7更新其编码状态信息以与共用编码器即编码器T4的编码状态信息保持同步，即进行不完全编码，即只编码到编码状态更新，如AAC编码器只编码到编码状态信息更新，而不进行后续的运算如时频变换、心理声学模型分析等。
19根据实际测试表明，AAC编码器在DM642单板上运行，AAC编码器编码的运算量为60M,而采用本实施例方法的AAC编码器不完全编码即只编码到编码状态信息更新时的运算量为6M。
因此，本实施例的多路音频信号处理设备，可以大大的节约设备处理器的资源，在处理器资源相同的情况下可以增加信源的容量，降低成本，而且可以保证与会的会议终端除待混音终端与共用编码器外的所有会议终端的编码器状态信息达到同步更新。
本发明提供的一种多路音频信号处理设备的一个实施例中，如图4所示，上述选择单元4还用于当所述N个待混音的会议终端发生变化时，选择所述N个原待混音的会议终端对应的编码器中的任意一个为新共用编码器；则
上述选取单元3，还用于从所述与会的会议终端中确定M个新待混音的会议终端，所述M新待混音的会议终端与所述N个原待混音的会议终端中包括S个相同的会议终端；
上述控制单元5,还用于控制所述N个原待混音的会议终端中除所述S个相同的会议终端与所述新共用编码器之外的N-S-l个会议终端当编码状态信息与所述新待混音的会议终端的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码。
该实施例中，M、 S为自然数，且满足(KS〈min(M， N}。当所述N个待混音的会议终端发生变化时，上述选取单元3从与会的会议终端中选取M个新待混音终端，所述M个新待混音的会议终端与所述N
20个原待混音的会议终端中包括S个相同的会议终端，例如，选取单元3从7个与会的会议终端中选取4个新待混音终端Z4-Z7,此时相同的会议终端S为0,选择单元4 >^人原待混音终端对应的编码器中选择一个编码器为共用编码器，如选择单元4选择Tl为共用编码器；则编码器Tl、 T2、 T3对会议终端Z4-Z7解码后的音频信号完全编码并发送至相应的会议终端Z1、 Z2、 Z3，同时编码器T4对会议终端Z5-Z7解码后的音频信号完全编码并发送至会议终端Z4，编码器T5对会议终端Z4、Z6、 Z7解码后的音频信号完全编码并发送至会议终端Z5，编码器T6对会议终端Z4、 Z5、 Z7解码后的音频信号完全编码并发送至会议终端Z6、编码器T7对会议终端Z4-Z6解码后的音频信号完全编码并发送至会议终端Z7;上述控制单元5控制编码器T2、 T3对会议终端Z4-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T1的编码状态信息一致时，停止向对应的会议终端Z2、 Z3发送数据，转为对会议终端Z4-Z7解码后的音频信号进行不完全编码，并由共用编码器Tl对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终端Zl、Z2、Z3。
该实施例中，例如选取单元3从7个与会的会议终端中选取5个新待混音终端Z3-Z7，此时有1个相同的会议终端即Z3，选择单元4从原待混音终端对应的编码器中选择一个编码器为共用编码器，如选择单元4选择T1为共用编码器；则编码器T1、 T2对会议终端Z3-Z7解码后的音频信号完全编码并发送至相应的会议终端Z1、 Z2,同时编码器T3对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终端Z3，编码器T4对会议终端Z3、 Z5-Z7解码后的音频信号完全编码并发送至会议终端Z4，编码器T5对会议终端Z3、 Z4、 Z6、 Z7解码后的音频信号完全编码并发送至会议终端Z5，编码器T6对会议终端Z3-Z5、 Z7解码后的音频信号完全编码并发送至会议终端Z6、编码器T7对会议终端Z3-Z6解码后的音频信号完全编码并发送至会议终端Z7;控制单元5控制编码器T2对会"i义终端Z3-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T1的编码状态信息一致时，停止向对应的会议终端Z2发送数据，转为对会议终端Z3-Z7解码后的音频信号进行不完全编码，并由共用编码器Tl对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终端Z1、 Z2。
这样，本实施例的多路音频信号处理设备当上述N个待混音的会议终端发生变化时，可从上述N个原待混音的会议终端对应的编码器中的任意一个被选作新共用编码器，可以大大的节约处理器的资源，在处理器资源相同的情况下可以增加信源的容量，降低成本，而且可以保证与会的会议终端除待混音终端与共用编码器外的所有会议终端的编码器状态信息达到同步更新，并且待混音的会议终端发生切换时，编码器进行预测帧编码，使编码器的编码状态信息与会议终端的解码器的解码状态信息能够平滑的过度，然后由共用编码器向与会的会议终端除新待混音会议终端发送数据，因此，待混音的会议终端发生切换时，会议终端可以正常解码，保证音频质量。
本发明提供的一种多路音频信号处理设备的一个实施例中，如图4所示，上述选择单元4还用于当所述N个待混音的会议终端发生变化时，从所述L-N个编码器中选择任一编码器为新共用编码器；则上述选取单元3还用于从所述与会的会议终端中确定M个新待混音的会议终端，所述M新待混音的会议终端与所述N个原待混音的会议终端中包括S个相同的会议终端；
上述控制单元5,还用于控制所述N个原待混音的会议终端中除所述S个相同的会议终端之外的N-S个会议终端当编码状态信息与所述新待混音的会议终端的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码。
该实施例中，M、 S为自然数，且满足0《S《min(M， N}。例如，选取单元3从7个与会的会议终端中选取3个新待混音终端Z5-Z7,此时相同的会议终端S为0，选择单元4从除原待混音终端外的与会的会议终端对应的编码器中选4^一个编码器为共用编码器，如选择T4为共用编码器；编码器Tl-T4对会议终端Z5-Z7解码后的音频信号完全编码并发送至相应的会议终端Z1-Z4,同时编码器T5对会议终端Z6、Z7解码后的音频信号完全编码并发送至会议终端Z5，编码器T6对会议终端Z5、 Z7解码后的音频信号完全编码并发送至会议终端Z6、编码器T7对会议终端Z5、 Z6解码后的音频信号完全编码并发送至会议终端Z7;上述控制单元5控制编码器Tl、 T2、 T3对会议终端Z5-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T4的编码状态信息一致时，停止向对应的会议终端Z1、 Z2、 Z3发送数据，转为对会议终端Z5-Z7解码后的音频信号进^f亍不完全编码，并由共用编码器T4对会议终端Z5-Z7解码后的音频信号完全编码并发送至会议终端Zl、 Z2、 Z3、 Z4。
该实施例中，例如，选取单元3从7个与会的会议终端中选取3个新待混音终端Z3、 Z4、 Z7,此时有1个相同的会议终端Z3，选择
23单元4从除原待混音终端外的与会的会议终端对应的编码器中选择一个编码器为共用编码器，如选择T5为共用编码器；编码器T1、 T2、T5、 T6分别对会议终端Z3、 Z4、 Z7解码后的音频信号完全编码并发送至相应的会议终端Z1、 Z2、 Z5、 Z6，同时编码器T3对会议终端Z4、Z7解码后的音频信号完全编码并发送至会议终端Z3，编码器T4对会议终端Z3、 Z7解码后的音频信号完全编码并发送至会议终端Z4、编码器T7对会议终端Z3、 Z4解码后的音频信号完全编码并发送至会议终端Z7;控制单元5控制编码器T1、 T2、 T6对会议终端Z3、 Z4、 Z7解码后的音频信号完全编码至编码状态信息与共用编码器T5的编码状态信息一致时，停止向对应的会议终端Zl、 Z2、 Z6发送数据，转为对会议终端Z3、 Z4、 Z7解码后的音频信号进行不完全编码，并由共用编码器T5对会议终端Z3、 Z4、 Z7解码后的音频信号完全编码并发送至会议终端Z1、 Z2、 Z5、 Z6。
这样，本实施例的多路音频信号处理设备在上述N个待混音的会议终端发生变化时，从除原待混音会议终端外的与会的会议终端对应的编码器中选择任意一个作为新共用编码器，可以大大的节约处理器的资源，在处理器资源相同的情况下可以增加信源的容量，降低成本，
议终端的编码器状态信息达到同步更新，并且待混音的会议终端发生切换时，编码器进行预测帧编码，使编码器的编码状态信息与会议终端的解码器的解码状态信息能够平滑的过度，然后由共用编码器向与会的会议终端除新待混音会议终端发送数据，因此，待混音的会议终端发生切换时，会议终端可以正常解码，保证音频质量。图5为本发明提供的一种会议系统的一个实施例的示意图，如图5所示，该实施例的会i义系统包括
与会的会议终端7，包括会议终端Z1-ZL,用于发送音频信号；
多路音频处理设备1，包括同所述L个与会的会议终端分别对应的编码器6，即编码器T1-TL;
所述多路音频处理设备1用于接收来自所述与会的会议终端7的L路音频信号，并对所述L路音频信号分别进行解码，根据所述解码得到的数据，从所述与会的会议终端中确定N个待混音的会议终端，从所述L个与会的会议终端中除所述N个待混音的会议终端外的会议终端对应的L-N个编码器中选择任一编码器作为共用编码器，
还用于当L-N>1时控制所述L-N个编码器中除所述共用编码器外的其余L-N-l个编码器更新其编码状态信息以与上述共用编码器的编码状态信息保持同步。
在该实施例中，所述L、 N为自然数，iLL>N>0。以多々某体会议系统为例，如L为7， N为3，表示与会的会议终端7—共为7个，向多路音频处理设备1发送7路音频信号，多路音频处理终端1接收到7路音频信号，从所述与会的会议终端7中确定N个待混音的会议终端，可以有多种确定方式，如可以预先设定音频能量阈值，从经过解码的接收到的音频信号中选取超过音频能量阈值的音频信号，从而确定所选取音频信号对应的会议终端为待混音的会议终端，或者预先设定需要选取的音频信号的数量，比如需要选取3路音频信号，则将经过解码的接收到的音频信号的音频能量进行比较，然后从中选取音频能量最大的3路音频信号，从而确定所选取音频信号对应的会议终端为待
25混音的会议终端，或者由会议终端发出申请信号，由控制侧选取是否 接收该会议终端的音频信号，从而确定所选取音频信号对应的会议终 端为待混音的会议终端。本实施例中，多路音频处理设备1从所述与
会的会议终端7中确定3个待混音的会议终端，该3路音频信号分别 来自会议终端Z1、 Z2及Z3，分别对应于编码器T1、 T2及T3，则编 码器Tl将会议终端Z2及Z3的解码后的音频信号完全编码并将编码后 的数据发送至Zl，编码器T2将会议终端Zl及Z3解码后的音频信号 完全编码并将编码后的数据发送至Z2，编码器T3将会议终端Zl及 Z2解码后的音频信号完全编码并将编码后的数据发送至Z3，选择其余 的L-N即4个编码器中的任意一个作为共用编码器对该Zl、 Z2、 Z3 解码后的音频信号编码，如编码器T4作为共用编码器对会议终端Zl 、 Z2及Z3解码后的音频信号进行完全编码并将编码后的数据发送至会 议终端Z4-Z7,其余的3个编码器即编码器T5-T7则更新其编码状态信 息以与上述共用编码器的编码状态信息保持同步，即编码器T5至编码 器T7更新其编码状态信息以与共用编码器即编码器T4的编码状态信 息保持同步，即进行不完全编码，即只编码到编码状态更新，如AAC 编码器只编码到编码状态信息更新，而不进行后续的运算如时频变换、 心理声学模型分析等。
根据实际测试表明，AAC编码器在DM642单板上运行，AAC编 码器编码的运算量为60M,而采用本实施例方法的AAC编码器不完全 编码即只编码到编码状态信息更新时的运算量为6M。
因此，本实施例的会议系统，可以大大的节约多路音频处理设备l 的处理器的资源，在多路音频处理设备1的处理器的资源相同的情况 下可以增加信源的容量，降低成本，而且可以保证与会的会议终端除
26待混音终端与共用编码器外的所有会议终端的编码器状态信息达到同 步更新。
本发明提供的一种会议系统的一个实施例中，如图5所示，所述 多路音频处理设备1还用于当所述N个待混音的会议终端发生变化时， 选择N个原待混音的会议终端对应的编码器中的任意一个为新共用编 码器，从所述L个与会的会议终端7中确定M个新待混音的会议终端， 所述M新待混音的会议终端与所述N个原待混音的会议终端中包括S 个相同的会议终端，控制所述N个原待混音的会议终端中除所述S个 相同的会议终端与所述新共用编码器之外的N-S-l个会议终端的编码 器当编码状态信息与所述新待混音的会议终端的编码器的编码状态信 息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终 端的音频信号进行不完全编码。
本实施例中，M、 S为自然数，且满足(K S<min{M, N}。当所述 N个待混音的会议终端发生变化时，多路音频处理设备1从与会的会 议终端7中选取M个新待混音终端，所述M个新待混音的会议终端与 所述N个原待混音的会议终端中包括S个相同的会议终端，例如，多 路音频处理设备1从7个与会的会议终端中选取4个新待混音终端 Z4-Z7，此时相同的会议终端S为0,多路音频处理设备1从原待混音 终端对应的编码器中选择一个编码器为共用编码器，如选择T1为共用 编码器；编码器T1、 T2、 T3对会议终端Z4-Z7解码后的音频信号完 全编码并发送至相应的会议终端Zl、 Z2、 Z3,同时编码器T4对会议 终端Z5-Z7解码后的音频信号完全编码并发送至会议终端Z4,编码器 T5对会议终端Z4、 Z6、 Z7解码后的音频信号完全编码并发送至会议终端Z5，编码器T6对会议终端Z4、 Z5、 Z7解码后的音频信号完全编 码并发送至会议终端Z6、编码器T7对会议终端Z4-Z6解码后的音频 信号完全编码并发送至会议终端Z7;当编码器T2、 T3对会议终端 Z4-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T1的 编码状态信息一致时，停止向对应的会议终端Z2、 Z3发送数据，转为 对会议终端Z4-Z7解码后的音频信号进行不完全编码，并由共用编码 器Tl对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终端 Zl、 Z2、 Z3。
该实施例中，例如多路音频处理设备1从7个与会的会议终端中 选取5个新待混音终端Z3-Z7，此时有1个相同的会议终端即Z3,多 路音频处理设备1从原待混音终端对应的编码器中选择一个编码器为 共用编码器，如选择Tl为共用编码器；编码器Tl 、T2对会议终端Z3-Z7 解码后的音频信号完全编码并发送至相应的会议终端Z1、 Z2,同时编 码器T3对会议终端Z4-Z7解码后的音频信号完全编码并发送至会议终 端Z3，编码器T4对会议终端Z3、 Z5-Z7解码后的音频信号完全编码 并发送至会议终端Z4，编码器T5对会议终端Z3、 Z4、 Z6、 Z7解码 后的音频信号完全编码并发送至会议终端Z5，编码器T6对会议终端 Z3-Z5、 Z7解码后的音频信号完全编码并发送至会议终端Z6、编码器 T7对会议终端Z3-Z6解码后的音频信号完全编码并发送至会议终端 Z7;当编码器T2对会议终端Z3-Z7解码后的音频信号完全编码至编码 状态信息与共用编码器T1的编码状态信息一致时，停止向对应的会议 终端Z2发送数据，转为对会议终端Z3-Z7解码后的音频信号进行不完 全编码，并由共用编码器Tl对会议终端Z4-Z7解码后的音频信号完全 编码并发送至会议终端Z1、 Z2。这样，本实施例的会议系统当上述N个待混音的会议终端发生变 化时，从上述N个原待混音的会议终端对应的编码器中的任意一个被 选作新共用编码器时，可以大大的节约多路音频处理设备1的处理器 的资源，在处理器资源相同的情况下可以增加信源的容量，降低成本， 而且可以保证与会的会议终端除待混音终端与共用编码器外的所有会 议终端的编码器状态信息达到同步更新，并且待混音的会议终端发生 切换时，编码器进行预测帧编码，使编码器的编码状态信息与会议终 端的解码器的解码状态信息能够平滑的过度，然后由共用编码器向与 会的会议终端除新待混音会议终端发送数据，因此，待混音的会议终 端发生切换时，会议终端可以正常解码，保证音频质量。
本发明提供的一种会议系统的一个实施例中，如图5所示，上述
从所述L-N个编码器中任选一个编码器作为新共用编码器，并从所述 L个与会的会议终端7中确定M个新待混音的会议终端，所述M个新 待混音的会议终端与所述N个原待混音的会议终端中包括S个相同的 会议终端，控制所述N个原待混音的会议终端中除所述S个相同的会 议终端之外的N-S个会议终端对应的编码器当编码状态信息与所述新 待混音的会议终端的编码器的编码状态信息相同时，停止发送信号， 并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编 码。
本实施例中，M、 S为自然数，且满足0《S《min{M, N}。当所 述N个待混音的会议终端发生变化时，上述多路音频处理设备1从与 会的会议终端中选取M个新待混音终端，所述M个新待混音的会议终H、j':snx^瑪T巴孑左S 'i、孑日Pj的免、i"又^祸，侈'J^口， 上述多路音频处理设备1从7个与会的会议终端中选取3个新待混音 终端Z5-Z7，此时相同的会议终端S为0,上述多路音频处理设备1从
为共用编码器，如选择T4为共用编码器；编码器Tl-T4对会议终端 Z5-Z7解码后的音频信号完全编码并发送至相应的会议终端Z1-Z4,同 时编码器T5对会议终端Z6、 Z7解码后的音频信号完全编码并发送至 会议终端Z5,编码器T6对会议终端Z5、 Z7解码后的音频信号完全编 码并发送至会议终端Z6、编码器T7对会议终端Z5、 Z6解码后的音频 信号完全编码并发送至会议终端Z7;当编码器T1、 T2、 T3对会议终 端Z5-Z7解码后的音频信号完全编码至编码状态信息与共用编码器T4 的编码状态信息一致时，停止向对应的会议终端Zl、 Z2、 Z3发送数据， 转为对会议终端Z5-Z7解码后的音频信号进行不完全编码，并由共用 编码器T4对会议终端Z5-Z7解码后的音频信号完全编码并发送至会议 终端Z1、 Z2、 Z3、 Z4。
该实施例中，例如，上述多路音频处理设备1从7个与会的会议 终端中选取3个新待混音终端Z3、 Z4、 Z7，此时有l个相同的会议终 端Z3,上述多路音频处理设备1从除原待混音终端外的与会的会议终 端对应的编码器中选择一个编码器为共用编码器，如选择T5为共用编 码器；编码器T1、 T2、 T5、 T6分别对会议终端Z3、 Z4、 Z7解码后的
骨
频信号完全编码并发送至相应的会议终端Zl、 Z2、 Z5、 Z6,同时编
码器T3对会议终端Z4、 Z7解码后的音频信号完全编码并发送至会议 终端Z3，编码器T4对会议终端Z3、 Z7解码后的音频信号完全编码并 发送至会议终端Z4、编码器T7对会议终端Z3、 Z4解码后的音频信号完全编码并发送至会议终端Z7;当编码器T1、 T2、 T6对会议终端Z3、 Z4、 Z7解码后的音频信号完全编码至编码状态信息与共用编码器T5 的编码状态信息一致时，停止向对应的会议终端Zl、 Z2、 Z6发送数据， 转为对会议终端Z3、 Z4、 Z7解码后的音频信号进行不完全编码，并由 共用编码器T5对会议终端Z3、 Z4、 Z7解码后的音频信号完全编码并 发送至会议终端Z1、 Z2、 Z5、 Z6。
这样，本实施例的会议系统当上述N个待混音的会议终端发生变 化时，从上述除N个原待混音的会议终端外的与会的会议终端7对应 的编码器中任选一个编码器作新共用编码器，可以大大的节约处理器 的资源，在处理器资源相同的情况下可以增加信源的容量，降低成本， 而且可以保证与会的会议终端除待混音终端与共用编码器外的所有会 议终端的编码器状态信息达到同步更新，并且待混音的会议终端发生 切换时，编码器进行预测帧编码，使编码器的编码状态信息与会议终 端的解码器的解码状态信息能够平滑的过度，然后由共用编码器向与 会的会议终端除新待混音会议终端发送数据，因此，待混音的会议终 端发生切换时，会议终端可以正常解码，保证音频质量。
总之，以上所述仅为本发明的实施例，并非用于限定本发明的保 护范围，而是用于说明本发明。凡在本发明的精神和原则之内，所作 的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
另外，以上实施例中分别说明的各技术，系统，装置，方法以及 各实施例中分别说明的技术特征可以进行组合，从而形成不脱离本发 明的精神和原则之内的其他的模块，方法，装置，系统及技术，这些 根据本发明实施例的记载组合而成的模块，方法，装置，系统及技术 均在本发明的保护范围之内。
权利要求
1、一种多路音频信号处理的方法，其特征在于，包括接收来自与会的会议终端的L路音频信号，并对所述L路音频信号分别进行解码，根据所述解码得到的数据，从所述与会的会议终端中确定N个待混音的会议终端，其中所述L、N为自然数，且L>N>0；选择所述与会的会议终端中除所述N个待混音的会议终端外的L-N个编码器中的任一编码器作为共用编码器，对解码后的所述N个待混音的会议终端的音频信号编码，将编码之后的数据发送至与所述L-N个编码器对应的会议终端；当L-N>1时，所述L-N个编码器中除所述共用编码器外的其余L-N-1个编码器更新其编码状态信息以与上述共用编码器的编码状态信息保持同步。
2、 如权利要求l所述的方法，其特征在于，当所述N个待混音的 会议终端发生变化时，且所述N个原待混音的会议终端对应的编码器 中的任意一个被选作新共用编码器时，所述方法还包括从所述与会的会议终端中确定M个新待混音的会议终端，所述M 个新待混音的会议终端与所述N个原待混音的会议终端中包括S个相 同的会议终端，其中，M、 S为自然数，且满足(KS〈min(M,N〉；所述N个原待混音的会议终端中除所述S个相同的会议终端与新 共用编码器之外的N-S-l个会议终端当编码状态信息与所述新待混音 会议终端的编码器的编码状态信息相同时，停止发送信号，并对解码 后的所述M个新待混音的会议终端的音频信号进行不完全编码。
3、 如权利要求l所述的方法，其特征在于，当所述N个待混音的会议终端发生变化时，且所述N个原待混音的会议终端对应的编码器未被选作新共用编码器时，所述方法还包括从所述与会的会议终端中确定M个新待混音的会议终端，所述M同的会议终端，其中，M、 S为自然数，且满足(KS《min(M,N〉；所述N个原待混音的会议终端中除所述S个相同的会议终端之外的N-S个会议终端当编码状态信息与所述新待混音的会议终端的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码。
4、 一种多路音频信号处理的设备，其特征在于，包括L个编码器，同与会的会议终端分别对应；处理单元，用于接收来自与会的会议终端的L路音频信号，并对所述L路音频信号分别进行解码；选取单元，用于根据所述解码得到的数据，从所述与会的会议终端中确定N个待混音的会议终端；选择单元，用于从所述与会的会议终端中除所述N个待混音的会议终端外的L-N个编码器中选择任一编码器作为共用编码器，其中所述L、 N为自然凄t，且L〉NX);控制单元，用于当L-NX)时，控制所述L-N个编码器中除所述共用编码器的其余L-N-l个编码器更新其编码状态信息以与上述共用编码器的编码状态信息保持同步。
5、 如权利要求4所述的设备，其特征在于所述选择单元还用于当所述N个待混音的会议终端发生变化时，选择所述N个原待混音的会议终端对应的编码器中的任意一个为新共用编码器；则所述选取单元，还用于从所述与会的会议终端中确定M个新待混音的会议终端，所述M新待混音的会议终端与所述N个原待混音的会议终端中包括S个相同的会议终端，其中，M、 S为自然数，且满足0《S<min{M, N};所述控制单元，还用于控制所述N个原待混音的会议终端中除所述S个相同的会议终端与所述新共用编码器之外的N-S-l个会议终端当编码状态信息与所述新待混音的会议终端的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码。
6、 如权利要求4所述的设备，其特征在于所述选择单元还用于当所述N个待混音的会议终端发生变化时，从所述L-N个编码器中选择任一编码器为新共用编码器；则所述选^^单元还用于从所述与会的会议终端中确定M个新待混音的会议终端，所述M新待混音的会议终端与所述N个原待混音的会议终端中包括S个相同的会议终端，其中，M、 S为自然数，且满足0《S<min{M, N};所述控制单元，还用于控制所述N个原待混音的会议终端中除所述S个相同的会议终端之外的N-S个会议终端当编码状态信息与所述新待混音的会议终端的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码。
7、 一种会议系统，其特征在于，包括L个与会的会议终端，用于发送音频信号；多路音频处理设备，包括同所述L个与会的会议终端分别对应的L个编码器；所述多路音频处理设备用于接收来自所述L个与会的会议终端的L路音频信号，并对所述L路音频信号分别进行解码，根据所述解码得到的数据，从所述与会的会议终端中确定N个待混音的会议终端，从所述L个与会的会议终端中除所述N个待混音的会议终端外的会议终端对应的L-N个编码器中逸择任一编码器作为共用编码器，还用于当L-N>1时控制所述L-N个编码器中除所述共用编码器外的其余L-N-l个编码器更新其编码状态信息以与上述共用编码器的编码状态信息保持同步，其中所述L、 N为自然数，且L〉NX)。
8、 如权利要求7所述的系统，其特征在于，所述多路音频处理设备还用于当所述N个待混音的会议终端发生变化时，选择N个原待混音的会议终端对应的编码器中的任意一个为新共用编码器，从所述L个与会的会议终端中确定M个新待混音的会议终端，所述M新待混音端，控制所述N个原待混音的会议终端中除所述S个相同的会议终端与所述新共用编码器之外的N-S-l个会议终端的编码器当编码状态信息与所述新待混音的会议终端的编码器的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码，其中，M、 S为自然数，且满足(K S<min{M， N}。
9、如权利要求7所述的系统，其特征在于，所述多路音频处理设备还用于当所述N个待混音的会议终端发生变化时，从所述L-N个编码器中任选一个编码器作为新共用编码器，并从所述L个与会的会议终端中确定M个新待混音的会议终端，所述M个新待混音的会议终端与所述N个原待混音的会议终端中包括S个相同的会议终端，控制所述N个原待混音的会议终端中除所述S个相同的会议终端之外的N-S个会议终端对应的编码器当编码状态信息与所述新待混音的会议终端的编码器的编码状态信息相同时，停止发送信号，并对解码后的所述M个新待混音的会议终端的音频信号进行不完全编码，其中，M、 S为自然凄t,且满足0《S《min(M, N}。
全文摘要
本发明实施例提供一种多路音频信号处理方法，包括接收来自与会的会议终端的L路音频信号，并分别进行解码，根据解码得到的数据从与会的会议终端中确定N个待混音的会议终端；选择与会的会议终端中除N个待混音的会议终端外的L-N个编码器中的任一编码器作为共用编码器，对解码后的N个待混音的会议终端的音频信号编码，将编码之后的数据发送至与所述L-N个编码器对应的会议终端；L-N个编码器中除共用编码器外的其余L-N-1个编码器更新其编码状态信息以与上述共用编码器的编码状态信息保持同步。同时公开相应的设备及系统，本发明的实施例可以节约处理器的资源，在处理器资源一定的情况下增加可接入信源的数量。
文档编号H04N7/52GK101466043SQ20081018736
公开日2009年6月24日 申请日期2008年12月30日 优先权日2008年12月30日
发明者岳中辉 申请人:深圳华为通信技术有限公司