专利名称：会议音频系统的制作方法
技术领域：
本发明涉及一种会议音频系统，属于视频会议系统技术领域。
背景技术：
常见的视频会议系统等系统中，会场的音频系统包括以下2个部分，即多个客户端和MCU，其中，客户端主要是对发言者的音频数据进行采集，通过一些处理及编码后发送至MCU，并接收MCU转发的合成音频数据进行解码后并进行播放；MCU主要是将所有客户端上发的音频数据进行合成后转发至所有的客户端。在一般的会议中，都包括一个主讲和多个听众，常见的会议系统的客户端的音频与其它客户端的音频是进行叠加合成的，所有的音频数据都受到统一的增益等控制，而实际的应用情况是，在视频会议中往往是需要主讲的声音能够被所有的听众都听到，而不受会场背景声音(即其它客户端上的用户声音)的影响，所以，由于现有的视频会议系统的音频系统无法对主讲的音频码流和背景音频的码流的播放进行分开控制，导致主讲的声音容易受到来自其它客户端的声音影响，造成会场的音频效果较差。
发明内容
为了解决上述问题，本发明的目的在于提供一种会议音频系统，解决了导致主讲的声音容易受到来自其它客户端的声音影响，造成会场的音频效果较差的问题。一种会场会议音频系统，包括至少一个客户端和一个MCU，所述客户端包括音频数据采集单元和音频数据播放单元；
所述音频数据采集单元用于采集主音频数据或副音频数据并将其发送至所述MCU ； 所述音频数据播放单元包括主音频数据播放模块和副音频数据播放模块；其中，所述主音频数据播放模块用于对所述主音频数据进行播放处理，所述副音频数据播放模块用于对所述副音频数据进行播放处理；
所述MCU包括合成单元和缓存单元；
所述合成单元用于将所接收的副音频数据进行叠加合成并转发至所述客户端；所述缓存单元用于缓存所接收的主音频数据，将与所述经过叠加合成后的副音频数据同步到达的所述主音频数据，同步转发至所述客户端。与现有技术相比，本发明的技术通过改进MCU的音频叠加过程，将主音频数据与副音频数据的处理过程分开，可以形成一个独立的主讲者的音频编码流和针对会场各个终端的叠加合成编码流。同时在客户端对主音频数据与副音频数据的播放过程进行分开控制，使得主讲者的声音不受会场其它客户端的声音的干扰，在会议中获得一个更好的会场音频效果。
图1是本发明的会议音频系统的结构示意图；图2是会议音频系统的较佳实施例的结构示意图； 图3是同步等待队列模块的结构示意图。
具体实施例方式下面结合附图和实施例对本发明的会议音频系统作详细描述。本发明的会议音频系统，包括至少一个客户端和一个MCU，如图1所示，所述客户端包括音频数据采集单元和音频数据播放单元；
所述音频数据采集单元用于采集主音频数据或副音频数据并将其发送至所述MCU ； 所述音频数据播放单元包括主音频数据播放模块和副音频数据播放模块；其中，所述主音频数据播放模块用于对所述主音频数据进行播放处理，所述副音频数据播放模块用于对所述副音频数据进行播放处理；
所述MCU包括合成单元和缓存单元；
所述合成单元用于将所接收的副音频数据进行叠加合成并转发至所述客户端；所述缓存单元用于缓存所接收的主音频数据，将与所述经过叠加合成后的副音频数据同步到达的所述主音频数据，同步转发至所述客户端。为了更加清晰本发明的会议音频系统，下面结合附图和较佳实施例作更详细的阐述。参见图2所示，对于所述音频数据采集单元，包括依次连接的采集模块、音频前处理模块、客户端编码模块和客户端发送模块；其工作原理是
采集模块根据预设的采样率采集音频数据；音频前处理模块对音频数据进行滤波处理，去除噪音；客户端编码模块采用预设的编码算法对滤波处理后的音频数据进行编码； 客户端发送模块根据预设的传输协议将经过编码后的音频数据进行协议打包，然后通过网络发送至所述MCU，其中，所采集的音频数据包括主音频数据和/或副音频数据。音频数据播放单元还包括客户端接收模块；该客户端接收模块用于接收MCU转发的数据包并根据预设的传输协议进行解包，将主音频数据输出至主音频数据播放模块、将副音频数据输出至副音频数据播放模块，其中，数据包中的数据为主音频数据和/或副音频数据。音频数据是通过数据包的形式在客户端与MCU之间的网络传输，客户端发送模块将音频数据按预设的传输协议进行打包，并通过预设的网络地址进行发送至MCU;客户端接收模块接收MCU转发的数据包，然后按预设的传输协议进行解包。对于主音频数据播放模块，包括与所述音频数据播放单元连接的主音频解码模块、主音频后处理模块和主音频播放模块；其工作原理是
主音频解码模块根据预设的解码算法对客户端接收模块解包后得到的主音频数据进行解码；主音频后处理模块对所述主音频数据进行增益控制，也可以进行其它的控制；主音频播放模块通过音频播放设备将主音频数据进行播放；
对于副音频数据播放模块，包括与所述音频数据播放单元连接的副音频解码模块、副音频后处理模块和副音频播放模块；其工作原理是
副音频解码模块根据预设的解码算法对客户端接收模块解包后得到的副音频数据进行解码；副音频后处理模块对所述副音频数据进行增益控制，也可以进行其它的控制；副音频播放模块通过音频播放设备将副音频数据进行播放，其中，主音频播放模块和副音频播放模块可以通过同一个音频播放设备将音频数据进行播放。上述对主音频数据和副音频数据是进行独立的并列处理，可以分别对主音频数据和副音频数据进行相应的增益控制或其它的控制。主音频后处理模块和副音频后处理模块还将输出的音频数据反馈至音频前处理模块，音频前处理模块将接收的主音频数据和副音频数据作为计算参数进行回音消除。作为一种优选的实施方式，客户端接收模块还用于对接收的数据包进行缓冲延时，缓冲延时的时间为200ms-400ms为较佳，通过缓冲延时处理，可以防止网速的抖动。对于所述MCU，还包括MCU接收模块和MCU转发模块；其工作原理是所述MCU接收模块接收来自客户端的数据包，并根据预设的传输协议对数据包进行解包，将主音频数据输出至缓存单元、将副音频数据输出至合成单元；MCU转发模块将合成单元输出的副音频数据和缓存单元输出的主音频数据进行打包并转发至所有的客户端，其中，所述数据包中的数据包括主音频数据和/或副音频数据。MCU接收模块根据预设的传输协议，接收来自各个客户端的数据包；MCU转发模块把音频数据按预设的传输协议进行协议打包，并按与客户端协商好的网络地址发送至客户端。对于所述合成单元，包括MCU副音频解码模块、叠加合成模块、MCU副音频编码模块；其工作原理是
MCU副音频解码模块对MCU接收模块解包后输出的副音频数据进行解码；叠加合成模块将来自于客户端的解码后的副音频数据进行叠加合成；MCU副音频编码模块将叠加合成后的副音频数据进行编码后输出至MCU转发模块进行打包。上述叠加合成，是分别为各个客户端进行音频叠加合成，为了防止客户端从收听到音频中听到自己的声音，会议音频系统常规的叠加合成是把除接收该音频数据的客户端自身送上来的音频数据之外的其他客户端的音频数据进行线性叠加。对于所述缓存单元，主要是实现对MCU接收模块输出的主音频数据进行缓存，根据MCU编码模块输出的同步发送信息将与主音频数据同步到达的经过叠加合成后的副音频数据，同步输出至所述MCU转发模块。作为一种优选的实施方式，缓存单元包括:MCU主音频解码模块、MCU主音频编码模块和同步等待队列模块；其工作原理是
MCU主音频解码模块对MCU接收模块输出的主音频数据进行解码；MCU主音频编码模块将主音频数据进行编码后输出至所述MCU转发模块；同步等待队列模块存放所述主音频数据，根据MCU副音频编码模块输出的同步发送信息将主音频数据输出至MCU转发模块，即 MCU副音频编码模块在编码完毕后通知缓存单元输出与本次编码副音频数据同时到达的主音频数据。MCU主音频解码模块和MCU主音频编码模块主要是实现转码功能，在主音频数据的音频格式不一致的情况下(例如一边是G. 711，另一边是G. 722)，可以通过这两个模块进行解码和重新编码，在主音频数据的音频格式一致时，这两个模块对音频数据不做任何处理。主音频数据的码流到同步等待队列模块，同步等待队列模块的结构，如图3所示，包括两个记录时间戳的寄存器Sl和寄存器S2，一个等待发送超时的定时器Tl，一个音频等待FIFO队列，队列元素存储结构主要包括记录接收到该音频数据的时间戳和音频数据两部分。为了使主音频数据和副音频数据有一定的同步性，且主音频数据不会因为副音频数据的传输延时而造成延时，可以采用多线程的技术，具体地，使用了 4个线程MCU主音频编码模块的线程；队列元素的处理线程；MCU副音频编码模块的线程；定时器线程。其中，定时器线程即定时器Tl的调度线程，即在定时时间到达时唤醒队列元素的处理线程。MCU主音频编码模块的线程在往音频数据等待队列插入数据时，唤醒队列元素的处理线程。队列元素的处理线程的处理流程，具体地，包括如下步骤 步骤301 如果队列中无元素时进入等待唤醒状态。步骤302 被唤醒检查定时器Tl，如果定时器Tl在工作，则停止定时器Tl，把队列首元素的时间戳记录到Sl中。步骤303 检查S2的时间戳，如果S2>S1，则立即把队列头元素出队并发送它当中的音频数据，然后执行步骤305 ；如果S1>S2即表示同一时间到达的副音频数据仍未编码完毕，可能需要等待。步骤304 如果Sl-S2>120ms则队列头元素出队列，发送该音频数据，然后执行步骤305 ；如果Sl-S2<120ms则以120-(S1-S2)ms的时间值启动定时器Tl，并进入等待唤醒状态。步骤305如果队列中仍有元素，则把新的队列头元素的时间戳记录到Sl中。然后转去执行步骤303。步骤306如果队列已没有元素，则转去执行步骤301。对于MCU主音频编码模块的线程，具体地，在编码完一个副音频数据的帧后，用该次编码的副音频数据接收的时间戳，更新S2中的时间戳，如果队列中有元素，以及S1<S2， 且队列元素的处理线程正在等待唤醒状态下，则立即唤醒队列元素的处理线程。本实施例的会议音频系统所采用的编码算法包括G. 711、G. 729等编码算法，所采用的传输协议包括RTP协议，也可以是其它协商好的输协议，如TCP协议。本实施例的会议音频系统，可以选择从客户端中选择一个主讲者，并将该主讲者的音频数据作为主音频数据进行处理，从而可以将主讲的音频码流和背景音频的码流的播放分开进行控制，提升了会场的音频效果。以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
权利要求
1.一种会议音频系统，包括至少一个客户端和一个MCU，其特征在于所述客户端包括音频数据采集单元和音频数据播放单元；所述音频数据采集单元用于采集主音频数据或副音频数据并将其发送至所述MCU ； 所述音频数据播放单元包括主音频数据播放模块和副音频数据播放模块；其中，所述主音频数据播放模块用于对所述主音频数据进行播放处理，所述副音频数据播放模块用于对所述副音频数据进行播放处理；所述MCU包括合成单元和缓存单元；所述合成单元用于将所接收的副音频数据进行叠加合成并转发至所述客户端；所述缓存单元用于缓存所接收的主音频数据，将与所述经过叠加合成后的副音频数据同步到达的所述主音频数据，同步转发至所述客户端。
2.根据权利要求1所述的会议音频系统，其特征在于，所述音频数据采集单元包括依次连接的采集模块、音频前处理模块、客户端编码模块和客户端发送模块；所述采集模块，用于根据预设的采样率采集音频数据； 所述音频前处理模块，用于对所述音频数据进行滤波处理；所述客户端编码模块，用于采用预设的编码算法对所述滤波处理后的音频数据进行编码；所述客户端发送模块，用于根据预设的传输协议将所述编码后的音频数据进行协议打包，并通过网络发送至所述MCU ；其中，所述音频数据包括主音频数据或副音频数据。
3.根据权利要求1所述的会议音频系统，其特征在于，所述音频数据播放单元还包括客户端接收模块；所述客户端接收模块，用于接收MCU转发的数据包并根据预设的传输协议进行解包， 将主音频数据输出至所述主音频数据播放模块、将副音频数据输出至所述副音频数据播放模块，其中，所述数据包中包括主音频数据和/或副音频数据；所述主音频数据播放模块包括主音频解码模块、主音频后处理模块和主音频播放模块；所述主音频解码模块，用于根据预设的解码算法对所述主音频数据进行解码； 所述主音频后处理模块，用于对所述主音频数据进行增益控制； 所述主音频播放模块，用于将所述主音频数据进行播放；所述副音频数据播放模块包括副音频解码模块、副音频后处理模块和副音频播放模块；所述副音频解码模块，用于根据预设的解码算法对所述副音频数据进行解码； 所述副音频后处理模块，用于对所述副音频数据进行增益控制； 所述副音频播放模块，用于将所述副音频数据进行播放。
4.根据权利要求3所述的会议音频系统，其特征在于，所述客户端接收模块，还用于对接收的数据包进行缓冲延时。
5.根据权利要求4所述的会议音频系统，其特征在于，所述缓冲延时的时间为 200ms-400ms。
6.根据权利要求3所述的会议音频系统，其特征在于，所述音频前处理模块还用于接收所述副音频后处理模块和所述主音频后处理模块输出的主音频数据和副音频数据，根据该给主音频数据和副音频数据进行回音消除。
7.根据权利要求1所述的会议音频系统，其特征在于，所述MCU还包括MCU接收模块和 MCU转发模块；所述MCU接收模块，用于接收来自所述客户端的数据包，并根据预设的传输协议对所述数据包并进行解包，将主音频数据输出至所述缓存单元、将副音频数据输出至所述合成单元；所述MCU转发模块，用于将根据预设的传输协议对所述合成单元输出的副音频数据和所述缓存单元输出的主音频数据进行打包并转发至所有的客户端； 其中，所述数据包中包括主音频数据和/或副音频数据； 所述合成单元包括:MCU副音频解码模块、叠加合成模块、MCU副音频编码模块； 所述MCU副音频解码模块，用于对所述MCU接收模块输出的所述副音频数据进行解码；所述叠加合成模块，用于将来自于所述客户端的副音频数据进行叠加合成； 所述MCU副音频编码模块，用于将所述叠加合成后的副音频数据进行编码后输出至所述MCU转发模块；所述缓存单元对所述MCU接收模块输出的主音频数据进行缓存，根据所述MCU副音频编码模块输出的同步发送信息将与所述主音频数据同步到达的经过叠加合成后的副音频数据同步输出至所述MCU转发模块。
8.根据权利要求7所述的会场会议音频系统，其特征在于，所述缓存单元包括:MCU主音频解码模块、MCU主音频编码模块和同步等待队列模块；所述MCU主音频解码模块，用于对所述MCU接收模块输出的所述主音频数据进行解码所述MCU主音频编码模块，用于将所述主音频数据进行编码后输出至所述MCU转发模块；所述同步等待队列模块，用于存放所述主音频数据，根据所述MCU编码模块输出的同步发送信息将主音频数据输出至所述MCU转发模块。
9.根据权利要求2至8任一项所述的会议音频系统，其特征在于，所述编码算法包括 G. 711和/或G. 7 编码算法。
10.根据权利要求2至8任一项所述的会议音频系统，其特征在于，所述预设的传输协议包括RTP协议。
全文摘要
一种会议音频系统，包括至少一个客户端和一个MCU，客户端包括音频数据采集单元和音频数据播放单元；所述音频数据采集单元用于采集音频数据并将其发送至所述MCU；所述音频数据播放单元包括主音频数据播放模块和副音频数据播放模块；所述MCU包括合成单元和缓存单元。本发明的技术通过改进MCU的音频叠加过程，将主音频数据与副音频数据的处理过程分开，可以形成一个独立的主讲者的音频编码流和针对会场各个终端的叠加合成编码流。同时在客户端对主音频数据与副音频数据的播放过程进行分开控制，使得主讲者的声音不受会场其它客户端的声音的干扰，在会议中获得一个更好的会场音频效果。
文档编号H04N7/15GK102404546SQ201110333910
公开日2012年4月4日 申请日期2011年10月28日 优先权日2011年10月28日
发明者刘明宇 申请人:广东威创视讯科技股份有限公司