一种包含音频数据的通信方法、装置及系统的制作方法
【专利摘要】本发明实施例公开了包含音频数据的通信方法、装置及系统，应用于通信技术领域。第一音频子会场中的主体机分别建立与第一音频子会场的其它客户端的第一通信链路，通过第一通信链路主体机将接收的第一混音信号发送给第一音频子会场内其它客户端，使得其它客户端可以同步地接收到第一混音信号，如果主体机在接收到第一混音信号的一定时延后再播放该第一混音信号，从而使得一个音频子会场内所有客户端播放第一混音信号基本趋于同步，且该第一混音信号为其它音频子会场的音频信号的混音信号，这样就不会由于一个音频子会场中播放本音频子会场的声音而产生声反馈啸叫和不同步的问题。进而使得各个音频子会场中的客户端可以采用手机等便携式终端。
【专利说明】
一种包含音频数据的通信方法、装置及系统
技术领域
[0001]本发明涉及通信技术领域，特别涉及一种包含音频数据的通信方法、装置及系统。
【背景技术】
[0002]音频会议在办公及生活中有着非常广泛的应用需求，这样在不同地域的用户可以使用各自的会议终端加入到同一音频会议中进行通话，解决了不同地域的多人语音交流问题，比较典型的场景是多人在同一会场(例如一个会议室内)使用一台会议终端与远方各会场进行语音交流，而该场景对会议终端提出两个要求:会议终端的播放音量足够大，能让会场内的收听者都能听见，同时会议终端拾音效果要特别好，因为会场内发言者可能离会议终端的直线距离达到5m甚至更远。
[0003]现有的比较成熟的方案是专用的会议终端，例如polycom的会议终端，该会议终端使用尺寸较大的扬声器，确保声音足够大，同时采用多个麦克风(3个以上)，常规拾音距离在5m之内，为了达到更好的拾音效果，会议终端提供了外接的麦克风扩展模块，该模块是通过有线连接独立麦克风拾音模块和主机，独立的麦克风模块可以放在靠近发言人的位置，以便更近距离拾音提高拾音效果。但是现有的会议终端设备成本较高，且携带不方便。
【发明内容】
[0004]本发明实施例提供一种包含音频数据的通信方法、装置及系统，使得第一音频子会场的第一客户端将接收的第一混音信号统一发送给第一音频子会场的其它客户端进行播放。
[0005]本发明实施例的第一方面提供一种包含音频数据的通信方法，应用于包含音频数据的通信系统中的第一客户端，所述第一客户端属于第一音频子会场，所述方法包括:
[0006]分别建立与所述第一音频子会场中其它客户端之间的第一通信链路；
[0007]接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号；
[0008]通过所述第一通信链路将所述第一混音信号分别发送给所述其它客户端进行播放；
[0009]在接收到所述第一混音信号之后的预定时延后播放所述第一混音信号，所述预定时延为到所述其它客户端的网络时延均值。
[0010]本发明实施例的第二方面提供一种包含音频数据的通信方法，应用于包含音频数据的通信系统中的第二客户端，所述第二客户端属于第一音频子会场，所述方法包括:
[0011 ]建立与所述第一音频子会场中的主体机之间的第一通信链路；
[0012]通过所述第一通信链路接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号；
[0013]播放所述第一混音信号。
[0014]本发明实施例的第三方面提供一种包含音频数据的通信方法，所述方法应用于包含音频数据的通信系统中的混音设备，包括:
[0015]分别确定多个音频子会场的主体机；
[0016]分别接收所述多个音频子会场的音频信号及对应音频子会场的标识信息；
[0017]根据所述音频子会场的标识信息，将所述多个音频子会场中除第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号；
[0018]将所述第一混音信号发送给所述第一音频子会场的主体机，以便所述主体机将所述第一混音信号发送给所述第一音频子会场中的其它客户端进行播放。
[0019]本发明实施例的第四方面提供一种包含音频数据的通信装置，所述包含音频数据的通信装置属于第一音频子会场，包括:
[0020]第一链路建立单元，用于分别建立与所述第一音频子会场中其它客户端之间的第一通信链路；
[0021]信号接收单元，用于接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号；
[0022]第一信号发送单元，用于通过所述第一通信链路将所述第一混音信号分别发送给所述其它客户端进行播放；
[0023]播放单元，用于在接收到所述第一混音信号之后的预定时延后播放所述第一混音信号，所述预定时延为到所述其它客户端的网络时延均值。
[0024]本发明实施例的第五方面提供一种包含音频数据的通信装置，所述包含音频数据的通信装置属于第一音频子会场，包括:
[0025]链路建立单元，用于建立与所述第一音频子会场中的主体机之间的第一通信链路；
[0026]混音接收单元，用于通过所述第一通信链路接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号；
[0027]信号播放单元，用于播放所述第一混音信号。
[0028]本发明实施例的第六方面提供一种包含音频数据的通信装置，包括:
[0029]确定单元，用于分别确定多个音频子会场的主体机；
[0030]接收单元，用于分别接收所述多个音频子会场的音频信号及对应音频子会场的标识信息；
[0031 ]混音操作单元，用于根据所述音频子会场的标识信息，将所述多个音频子会场中除第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号；
[0032]混音信号发送单元，用于将所述第一混音信号发送给所述第一音频子会场的主体机，以便所述主体机将所述第一混音信号发送给所述第一音频子会场中的其它客户端进行播放。
[0033]本发明实施例的第七方面提供一种包含音频数据的通信系统，包括混音设备和多个音频子会场，所述多个音频子会场中每个音频子会场包括多个客户端，所述多个客户端中包括第一客户端和多个第二客户端；
[0034]所述混音设备是如本发明实施例第六方面所述的包含音频数据的通信装置；
[0035]所述第一客户端是如本发明实施例第四方面所述的包含音频数据的通信装置；
[0036]所述第二客户端是如本发明实施例第五方面所述的包含音频数据的通信装置。
[0037]本发明实施例第八方面提供一种包含音频数据的系统，包括两个音频子会场，所述两个音频子会场中每个音频子会场都包括第一客户端和多个第二客户端，其中:
[0038]所述第一客户端是如本发明实施例第四方面所述的包含音频数据的通信装置；
[0039]所述第二客户端是如本发明实施例第五方面所述的包含音频数据的通信装置。
[0040]可见，本实施例的方法中，在包含音频数据的通信系统中任一音频子会场中的主体机(比如第一音频子会场的第一客户端)分别建立与第一音频子会场的其它客户端的第一通信链路，这样由于第一客户端到第一音频子会场中其它客户端的网络时延的标准偏差较小，使得其它客户端基本可以同步地接收到第一混音信号，如果第一客户端在接收到第一混音信号的一定时延后再播放该第一混音信号，从而使得第一音频子会场内所有客户端播放第一混音信号基本趋于同步，且该第一混音信号为其它音频子会场的音频信号的混音信号，这样就不会由于一个音频子会场中播放本音频子会场的声音而产生声反馈嘯叫和不同步。这样由于本发明实施例的方法能有效地抑制嘯叫问题，使得各个音频子会场中的客户端可以采用手机等便携式终端，而不用专用的音频通信的终端，降低了音频通信的成本。
【附图说明】
[0041]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042]图1a是本发明实施例中一种包含音频数据的通信系统的结构示意图；
[0043]图1b是本发明实施例中另一种包含音频数据的通信系统的结构示意图；
[0044]图2是本发明方法实施例一提供的一种包含音频数据的通信方法的流程图；
[0045]图3a是本发明方法实施例一中第一客户端确定为第一音频子会场的主体机的一种方法流程图；
[0046]图3b是本发明方法实施例一中第一客户端确定为第一音频子会场的主体机的另一种方法流程图；
[0047]图4是本发明方法实施例二提供的一种包含音频数据的通信方法的流程图；
[0048]图5是本发明方法实施例三提供的一种包含音频数据的通信方法的流程图；
[0049]图6是本发明方法实施例四提供的一种包含音频数据的通信方法的流程图；
[0050]图7是本发明方法实施例五提供的一种包含音频数据的通信方法的流程图；
[0051 ]图8是本发明设备实施例一提供的一种包含音频数据的通信装置的结构示意图；
[0052]图9是本发明设备实施例一提供的另一种包含音频数据的通信装置的结构示意图；
[0053]图10是本发明设备实施例二提供的一种包含音频数据的通信装置的结构示意图；
[0054]图11是本发明设备实施例二提供的另一种包含音频数据的通信装置的结构示意图；
[0055]图12是本发明设备实施例三提供的一种包含音频数据的通信装置的结构示意图；
[0056]图13是本发明设备实施例三提供的一种包含音频数据的通信装置的结构示意图；
[0057]图14是本发明设备实施例四提供的一种包含音频数据的通信装置的结构示意图。
【具体实施方式】
[0058]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0060]本发明方法实施例一
[0061]提供一种包含音频数据的通信方法，主要可以应用于如图1a和Ib所示的包含音频数据的通信系统，如图1a所示的系统中包括多个音频子会场及混音设备，在每个音频子会场中包括多个客户端，这多个客户端中某一个客户端(比如第一客户端)会作为主体机，主体机分别与该音频子会场内其它客户端进行通信连接，混音设备分别与这多个客户端进行通信连接(图1a中未示出混音设备与非主体机之间的通信连接)。其中:
[0062]客户端可以加入某一音频子会场，与其它客户端之间建立包含音频数据的通信会话并与其它客户端进行包含音频数据的通信，其中包含音频数据的通信可以是纯音频数据的通信，或是视频数据的通信等。客户端主要用于对距离该客户端一定范围内的声音进行拾取，并将拾音信号发送给混音设备进行混音;作为主体机的客户端还用于接收混音设备发送的混音信号，并将接收的混音信号发送给所属音频子会场的其它客户端进行播放。本发明实施例中的客户端可以是便携式终端(比如手机或pad等)中所装载的音频通信的客户端。
[0063]混音设备分别与各个音频子会场连接，主要用于接收各个音频子会场的音频信号，并对接收的音频信号进行混音后再发送到各个音频子会场的主体机，由主体机将接收的混音信号发送给所属音频子会场的其它客户端进行播放。
[0064]如图1b所示的系统中包括两个音频子会场(即第一音频子会场和第二音频子会场)，每个音频子会场包括多个客户端，多个客户端中某一个客户端(比如第一客户端)会作为主体机，其中两个音频子会场的主体机之间进行通信连接。任一主体机可以对该主体机所属的音频子会场的音频信号进行混音后发送给另一音频子会场的主体机。
[0065]本实施例的方法是由系统中某一音频子会场(比如第一音频子会场)中作为主体机的第一客户端所执行的方法，流程图如图2所示，包括:
[0066]步骤101，分别建立与第一音频子会场中其它客户端之间的第一通信链路。
[0067]可以理解，用户可以操作第一客户端，使得该第一客户端加入到某一音频子会场(比如第一音频子会场)中，比如可以通过“摇一摇”，或“面对面建群”的用户操作指令，使得第一客户端搜索到一定范围内的空间中的其它音频通信的客户端，并与其它音频通信的客户端一同加入到第一音频子会场中。本实施例中，加入同一个音频子会场内的多个客户端主要是在一定范围内的空间中的客户端，比如一间房间内的客户端，或某一无线网络覆盖范围内的客户端。
[0068]在多个客户端加入到第一音频子会场后，需要在这多个客户端中确定一个客户端(比如第一客户端)作为主体机，则其它客户端为非主体机。在实际应用中，在确定某一音频子会场的主体机时，可以由混音设备或第三方设备根据一个音频子会场中各个客户端分别到其它客户端的网络时延均值来确定。具体确定主体机的过程可以有如下两种方式:
[0069](I)在如图1a所示的情况下，当多个客户端加入到第一音频子会场后，多个客户端就与混音设备之间进行通信连接，可以通过混音设备来选定一个主体机。
[0070]参考图3a所示，在这种情况下，对于第一客户端来说，在执行了如下步骤Al到A3之后，可以触发第一客户端开始执行步骤101到104的流程:
[0071 ]步骤Al，获取第一客户端到第一音频子会场中其它客户端的网络时延均值。
[0072]第一客户端到另一客户端的网络时延值可以通过PING方式完成，即第一客户端向另一客户端发送网络控制报文协议(Internet Control Messages Protocol，ICMP)回送请求消息，当另一客户端收到ICMP回送请求消息后会自动返回ICMP回送应答消息，将发送ICMP请求包和接收ICMP应答包之间的时间间隔作为该第一客户端到另一客户端的网路时延值，该第一客户端的网络时延均值为第一客户端分别到第一音频子会场中其它客户端的网络时延值的平均值。
[0073]步骤A2，将第一客户端的网络时延均值发送给包含音频数据的通信系统中的混音设备，这样混音设备在获取了第一音频子会场中其它客户端对应的网络时延均值后，选取其中最小的网络时延均值对应的客户端(比如第一客户端)作为主体机，即第一客户端的网络时延均值比第一音频子会场中其它客户端的网络时延均值都小，则混音设备会发送通知信息给第一客户端。
[0074]步骤A3，接收混音设备发送的通知信息，该通知信息包括第一客户端作为第一音频子会场的主体机的信息。
[0075](2)在如图1b所示的情况下，当多个客户端加入到第一音频子会场后，可以通过分别与多个客户端都连接的第三方设备来选定一个主体机。该第三方设备可以是系统中对于多个客户端的管理设备等。
[0076]参考图3b所示，在这种情况下，对于第一客户端来说，在执行了如下步骤BI到B3之后，可以触发第一客户端开始执行步骤101到104的流程:
[0077]步骤BI，获取第一客户端到第一音频子会场中其它客户端的网络时延均值。
[0078]步骤B2，将第一客户端的网络时延均值发送给第三方设备，这样第三方设备在获取了第一音频子会场中其它客户端对应的网络时延均值后，选取其中最小的网络时延均值对应的客户端(比如第一客户端)作为主体机，并发送通知信息给第一客户端。
[0079]步骤B3，接收第三方设备发送的通知信息，该通知信息包括第一客户端作为第一音频子会场的主体机的信息。
[0080]这样，通过上述方法确定主体机后，任一音频子会场中的主体机到该音频子会场的其它客户端的网络时延的标准偏差最小。
[0081]步骤102，接收第一混音信号，该第一混音信号为第一音频子会场之外的其它音频子会场的音频信号的混音信号。
[0082]在如图1a的一种情况下，由混音设备对各个音频子会场的音频信号进行混音，第一客户端是接收混音设备发送的第一混音信号。在如图1b所示的一种情况下，由各个音频子会场中的主体机对所属音频子会场的音频信号进行混音，第一客户端是接收第二音频子会场的主体机发送的第一混音信号。
[0083]步骤103，通过步骤101建立的第一通信链路将第一混音信号分别发送给第一音频子会场的其它客户端进行播放。
[0084]步骤104，在接收到第一混音信号之后的预定时延后播放第一混音信号，预定时延为到其它客户端的网络时延均值。
[0085]由于第一客户端在发送第一混音信号给其它客户端时是需要一定的网络时延的，则第一客户端在接收第一混音信号之后的一定时间后再播放第一混音信号时，才可能使得第一音频子会场内所有客户端同步播放该第一混音信号。其中一定时间为网络时延均值，具体为第一客户端分别发送信号到第一音频子会场中其它客户端所用时间的均值，即网络时延均值。
[0086]需要说明的是，上述步骤103与104之间并没有绝对的顺序关系，可以同时执行，也可以顺序执行，图2中所示的只是其中一种具体的实现方式。
[0087]可见，本实施例的方法中，在包含音频数据的通信系统中任一音频子会场中的主体机(比如第一音频子会场的第一客户端)分别建立与第一音频子会场的其它客户端的第一通信链路，这样由于主体机(即第一客户端)到第一音频子会场中其它客户端的网络时延的标准偏差较小，使得其它客户端基本可以同步地接收到第一混音信号，如果主体机在接收到第一混音信号的一定时延后再播放该第一混音信号，从而使得一个音频子会场内所有客户端播放第一混音信号基本趋于同步;且由于某一个音频子会场内的所有客户端播放的混音信号都相同，且为其它音频子会场的音频信号的混音信号，不存在该音频子会场中播放本音频子会场的声音而产生声反馈嘯叫。这样由于本发明实施例的方法能有效地抑制嘯叫问题，使得各个音频子会场中的客户端可以采用手机等便携式终端，而不用专用的音频通信的终端，降低了音频通信的成本。
[0088]需要说明的是，上述步骤101到104的方法是第一客户端在下行接收第一混音信号的过程，对于第一客户端在上行发送信号的过程主要有如下两种情况:
[0089](I)如图1a所示的系统中，第一客户端会获取拾音信号，将该拾音信号及第一音频子会场的标识信息，或将对拾音信号进行至少一次处理后的信号及第一音频子会场的标识信息发送给混音设备，这样混音设备会将拾音信号或至少一次处理后的拾音信号与第一音频子会场之外的至少一个第二音频子会场的音频信号进行混音后，发送给第三音频子会场中的客户端。其中，第一客户端发送第一音频子会场的标识信息是为了让混音设备知道该混音设备接收的哪些信号是属于同一个音频子会场的。
[0090]在一种情况下，第一客户端在获取拾音信号时，可以获取该第一客户端的第一拾音信号。对拾音信号进行至少一次处理后的信号为对获取的第一拾音信号进行立体声回声消除处理后的信号。
[0091 ]在另一种情况下，第一客户端在获取拾音信号时，主要是获取第一音频子会场中其它客户端(即非主体机)发送的第二拾音信号及获取第一客户端的第一拾音信号。对拾音信号进行至少一次处理后的信号为对第一拾音信号与第二拾音信号进行混音后得到的第一音频子会场的混音信号，或对第一拾音信号进行立体声回声消除处理后的信号，与第二拾音信号进行混音后得到的第一音频子会场的混音信号。
[0092]在其它情况下，第一客户端在获取拾音信号时，主要是获取第一音频子会场中其它客户端(g卩非主体机)发送的进行立体声回声消除处理后的第三拾音信号，及获取第一客户端的第一拾音信号。对拾音信号进行至少一次处理后的信号为对第三拾音信号与第二拾音信号进行混音后得到的第一音频子会场的混音信号，或对第一拾音信号进行立体声回声消除处理后的信号，与第三拾音信号进行混音后得到的第一音频子会场的混音信号。
[0093]需要说明的是，上述后面两种情况是，由每个音频子会场的主体机将该音频子会场的音频信号进行混音后再发送给混音设备再次混音的，这样可以由主体机分担一部分混音操作，减轻了混音设备的负担。
[0094](2)在如图1b所示的系统中，当第一客户端在确定为第一音频子会场的主体机时，第一客户端不仅需要与第一音频子会场中其它客户端之间建立第一通信链路，还需要建立与第二音频子会场中的主体机之间的第二通信链路。这样第一客户端执行上述步骤102时，是通过该第二通信链路接收第二音频子会场中的主体机发送的第一混音信号。而第一客户端在上行发送信号时:
[0095]第一客户端会将第一音频子会场中各个客户端(包括第一客户端和其它客户端)的音频信号进行混音得到第二混音信号，然后通过第二通信链路将第二混音信号发送给第二音频子会场的主体机，以便该主体机将第二混音信号发送给第二音频子会场的非主体机。其中各个客户端的音频信号可以为各个客户端的拾音信号，或为对各个客户端的拾音信号进行立体声回声消除处理后的信号。
[0096]本发明方法实施例二
[0097]提供一种包含音频数据的通信方法，主要可以应用于如图1a和图1b所示的包含音频数据的通信系统中，本实施例的方法是由系统中某一音频子会场(比如第一音频子会场)中作为非主体机的第二客户端所执行的方法，流程图如图4所示，包括:
[0098]步骤201，建立与第一音频子会场中的主体机之间的第一通信链路。
[0099]可以理解，用户可以操作第二客户端，使得该第二客户端加入到某一音频子会场(比如第一音频子会场)中，比如可以通过“摇一摇”，或“面对面建群”的用户操作指令，使得第二客户端与其它音频通信的客户端一同加入到第一音频子会场中。本实施例中，加入同一个音频子会场内的多个客户端主要是在一定范围内的空间中的客户端。
[0100]在多个客户端加入到第一音频子会场后，可以由混音设备或第三方设备根据一个音频子会场中各个客户端分别到其它客户端的网络时延均值来确定该音频子会场的主体机和非主体机。具体确定的过程可以有如下两种方式:
[0101](I)在如图1a所示的情况下，当多个客户端加入到第一音频子会场后，多个客户端就与混音设备之间进行通信连接，可以通过混音设备来确定主体机和非主体机。
[0102]在这种情况下，对于第二客户端来说，在执行了如下步骤之后，可以触发第二客户端开始执行步骤201到203的流程:获取第二客户端到第一音频子会场中其它客户端的网络时延均值;将第二客户端的网络时延均值发送给包含音频数据的通信系统中的混音设备；如果第一客户端的网络时延均值比第一音频子会场内除第一客户端之外的其它客户端的网络时延均值小，接收混音设备发送的通知信息，该通知信息包括第一客户端作为第一音频子会场的主体机的信息。
[0103]其中，获取第二客户端到其它客户端的网络时延均值的方法可以如上述第一客户端获取对应的网络时延均值的方法，在此不进行赘述。
[0104](2)在如图1b所示的情况下，当多个客户端加入到第一音频子会场后，可以通过分别与多个客户端都连接的第三方设备来确定主体机和非主体机。该第三方设备可以是系统中对于多个客户端的管理设备等。
[0105]在这种情况下，对于第二客户端来说，在执行了如下步骤之后，可以触发第二客户端开始执行步骤201到203的流程:获取第二客户端到第一音频子会场中其它客户端的网络时延均值;将第二客户端的网络时延均值发送给第三方设备;如果第一客户端的网络时延均值比第一音频子会场内除第一客户端之外的其它客户端的网络时延均值小，接收第三方设备发送的通知信息，该通知信息包括第一客户端作为第一音频子会场的主体机的信息。
[0106]步骤202，通过第一通信链路接收第一混音信号，该第一混音信号为第一音频子会场之外的其它音频子会场的音频信号的混音信号。
[0107]步骤203，播放第一混音信号。
[0108]可见，本实施例的方法中，由于一个音频子会场中主体机到该音频子会场中其它客户端即非主体机的网络时延的标准偏差较小，这样下行接收的第一混音信号可以通过一个音频子会场的主体机发送给其它客户端，使得其它客户端基本可以同步地接收到第一混音信号，从而使得一个音频子会场内非主体机播放混音信号基本趋于同步。且第一音频子会场内的各个客户端播放的第一混音信号相同，且为其它音频子会场的音频信号的混音信号，不存在该第一音频子会场中播放本音频子会场的声音而产生声反馈嘯叫。因此由于本发明实施例的方法能有效地抑制嘯叫问题，使得各个音频子会场中的客户端可以采用手机等便携式终端，而不用专用的音频通信的终端，降低了音频通信的成本。
[0109]需要说明的是，上述步骤201到203的方法是第二客户端在下行接收第一混音信号的过程，对于第二客户端在上行发送信号的过程主要有如下两种情况:
[0110](I)在如图1a所示的系统中，第二客户端会将第二客户端的第二拾音信号及第一音频子会场的标识信息发送给包含音频数据的通信系统中的混音设备，或将对第二拾音信号进行至少一次处理后的信号及第一音频子会场的标识信息发送给混音设备，这样由混音设备对各个音频子会场的客户端发送的信号进行混音。其中，第二客户端发送第一音频子会场的标识信息是为了让混音设备知道该混音设备接收的哪些信号是属于同一个音频子会场的。
[0111](2)在如图1b所示的系统中，第二客户端会将第二客户端的第二拾音信号，或对第二拾音信号进行至少一次处理后的信号发送给主体机，主体机将第一音频子会场中各个非主体机发送的信号进行混音后，发送给第二音频子会场的主体机。
[0112]其中，对第二拾音信号进行至少一次处理为对第二拾音信号进行立体声回声消除处理后的信号。
[0113]进一步地，在一个具体的实施例中，如果第一音频子会场中的主体机退出第一音频子会场，比如主体机的使用用户离开第一音频子会场内其它客户端所在的一定范围的空间，为了维持当前的音频数据的通信，可以将本实施例的第二客户端(即非主体机)可以作为新的主体机，分别建立与第一音频子会场中其它剩余客户端之间的第三通信链路;如果将另一个客户端(除第二客户端之外的客户端)作为新的主体机，则本实施例的第二客户端会建立与第一音频子会场中新的主体机之间的第四通信链路。
[0114]其中，该第二客户端作为新的主体机可以通过混音设备或第三方设备来确定，当混音设备或第三方设备确定了新的主体机(比如第二客户端)后，可以发送通知信息给该第二客户端，该通知信息包括第二客户端为新主体机的信息。这样当第二客户端接收到通知信息后，就建立与其它剩余客户端之间的第三通信链路。
[0115]本发明方法实施例三
[0116]提供一种包含音频数据的通信方法，主要可以应用于如图1a所示的包含音频数据的通信系统中，本实施例的方法是系统中的混音设备所执行的方法，流程图如图5所示，包括:
[0117]步骤301，分别确定多个音频子会场的主体机。
[0118]具体地，混音设备在确定一个音频子会场(比如第一音频子会场)的主体机时，可以根据该音频子会场的各个客户端到其它客户端的网络时延均值来确定，具体地，混音设备可以分别获取第一音频子会场中各个客户端到其它客户端的网络时延均值，如果第一音频子会场中第一客户端到其它客户端的网络时延均值比其它客户端的网络时延均值小，将第一客户端确定为第一音频子会场的主体机;发送通知信息给第一客户端，通知信息包括第一客户端作为第一音频子会场的主体机的信息。
[0119]如果第一客户端退出第一音频子会场，比如第一客户端的使用用户离开第一音频子会场内其它客户端所在的一定范围的空间，则第一音频子会场中包括多个剩余客户端，混音设备还需要在这多个剩余客户端中重新确定第一音频子会场的主体机。
[0120]步骤302，分别接收多个音频子会场的音频信号及对应音频子会场的标识信息。[0121 ]在一种情况下，各个音频子会场中的客户端都会对距离该客户端一定范围内的声音进行拾取，并可以将得到的拾音信号直接发送给混音设备，由混音设备进行混音操作。在这种情况下，混音设备接收到的多个音频子会场中任一音频子会场的音频信号为任一音频子会场中各个客户端发送的音频信号。
[0122]在另一种情况下，各个音频子会场中的客户端会对距离该客户端一定范围内的声音进行拾取，对于任一音频子会场中的客户端，会将得到的拾音信号发送给该音频子会场中的主体机，由主体机对该音频子会场内各个客户端的拾音信号进行混音后将混音信号发送给混音设备，由混音设备对各个音频子会场的主体机发送的混音信号再次进行混音操作。在这种情况下，混音设备接收到的多个音频子会场中任一音频子会场的音频信号为对任一音频子会场中各个客户端的音频信号进行混音后的信号。这样将一部分混音操作放置到客户端来操作，减轻了本实施例的混音设备的负担。
[0123]进一步地，各个音频子会场中的各个客户端在得到拾音信号后，可以先对拾音信号进行立体声回声消除处理，然后再将处理后的信号发送给混音设备。由于音频子会场内的回声被消除，就可以有效地避免混音设备将回声混入到客户端拾取的有效音频信号中形成循环进而嘯叫。在这种情况下，混音设备接收到的多个音频子会场中任一音频子会场的音频信号为对任一音频子会场中的客户端的拾音信号进行立体声回声消除处理后的信号。
[0124]步骤303，根据音频子会场的标识信息，将多个音频子会场中除第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号。其中，音频子会场的标识信息主要是为了确定哪些音频信号属于同一个音频子会场的。
[0125]在一种情况下，混音设备先将同一音频子会场内的客户端发送的音频信号进行混音得到各个音频子会场对应的混音信号，然后再将不同音频子会场对应的混音信号进行再次混音。
[0126]另一种情况下，如果混音设备接收到各个音频子会场的主体机发送的各个音频子会场对应的混音信号，混音设备再对各个音频子会场对应的混音信号进行再次混音。
[0127]步骤304，将第一混音信号发送给第一音频子会场的主体机，以便主体机将第一混音信号发送给第一音频子会场中的其它客户端进行播放，这样第一音频子会场内的每一个客户端播放的混音信号都相同，即为第一混音信号，是其它音频子会场(即第二音频子会场)的混音信号，不存在该第一音频子会场中其它客户端的拾音信号被混入而产生嘯叫。
[0128]可见，在本实施例的方法中，混音设备会将除某一音频子会场比如第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号，并将第一混音信号发送给该第一音频子会场的主体机，然后由主体机发送给其它客户端进行播放。由于某一个音频子会场内的客户端播放的混音信号相同，且为其它音频子会场的音频信号的混音信号，不存在该音频子会场中播放本音频子会场的声音而产生声反馈嘯叫。进一步地，由于主体机到音频子会场中其它客户端的网络时延的标准偏差较小，使得其它客户端基本可以同步地接收到第一混音信号，如果主体机在接收到混音设备发送的第一混音信号的一定时延后再播放该第一混音信号，从而使得一个音频子会场内所有客户端播放第一混音信号基本趋于同步。
[0129]本发明方法实施例四
[0130]提供一种包含音频数据的通信方法，应用于如图1a所示的包括音频数据的通信系统中，本实施例的方法流程图如图6所示，包括:
[0131]步骤401，客户端加入音频子会场，形成两个以上的音频子会场，这样各个音频子会场中的各个客户端分别与混音设备之间通信连接。
[0132]本实施例中用户通过手机中装载的客户端，以某种约定的方式加入到某个音频子会场。由于手机上具备拾音麦克风和扬声器，这样通过自己的手机在较短距离内拾音，拾音效果得到保证，同样手机近距离播放声音能确保用户能有效收听。
[0133]步骤402，如果一个音频子会场中有多个客户端，混音设备选定其中一个客户端作为主体机，主体机到音频子会场中其它客户端的网络时延的标准偏差最小。
[0134]步骤403，各个音频子会场的主体机分别与所属音频子会场内的其它客户端之间建立第一通信链路。
[0135]步骤404，判断一个音频子会场中的主体机是否退出所属的音频子会场，如果没有退出，则执行步骤405;如果退出，则返回执行步骤402，切换音频子会场内的主体机，选取另一个主体机，并重新建立连接。
[0136]步骤405，在对于某个音频子会场中的任一个客户端来说，该客户端对该音频子会场内的声音进行拾取得到拾音信号，然后对拾音信号进行立体声回声消除处理。
[0137]在一种情况下，各个音频子会场的客户端将进行立体声回声消除处理后的拾音信号及对应音频子会场的标识信息直接发送给混音设备，由混音设备执行步骤406。
[0138]另一种情况下，为了减轻混音设备的负担，可以将一部分混音操作放置到主体机上，则主体机会将主体机的拾音信号进行立体声回声消除处理后，与接收的其它客户端发送的进行立体声消除处理后的拾音信号进行混音处理得到该音频子会场对应的混音信号，并将得到的混音信号及该主体机所属的音频子会场的标识信息发送给混音设备，由混音设备执行步骤407。
[0139]步骤406，混音设备接收到各个音频子会场的音频信号后，根据对应的音频子会场的标识信息，先将同一音频子会场内的客户端发送的音频信号进行混音得到各个音频子会场对应的混音信号;然后再将不同音频子会场对应的混音信号进行再次混音。
[0140]步骤407，混音设备接收到各个音频子会场的主体机发送的混音信号后，将各个音频子会场的混音信号进行再次混音。
[0141]其中，步骤406和407中混音设备再次混音的原则是将某一音频子会场(比如第一音频子会场)之外的其它音频子会场对应的混音信号再次混音得到最终的一个混音信号比如第一混音信号。
[0142]步骤408，混音设备将第一混音信号发送给第一音频子会场内的主体机，由主体机将该第一混音信号发送给第一音频子会场内的其它客户端。
[0143]步骤409，其它客户端接收到第一混音信号后直接播放该第一混音信号，主体机则在接收到第一混音信号后的一定网络时延后才播放该第一混音信号。
[0144]本实施例中，由于一个音频子会场中主体机到该音频子会场中其它客户端即非主体机的网络时延的标准偏差最小，使得其它客户端基本可以同步地接收到混音信号，如果主体机在接收到混音设备发送的混音信号的一定时延后再播放该混音信号，从而使得一个音频子会场内所有客户端播放混音信号基本趋于同步。
[0145]本发明方法实施例五
[0146]提供一种包含音频数据的通信方法，应用于如图1b所示的包含音频数据的通信系统中，本实施例的方法流程图如图7所示，包括:
[0147]步骤501，客户端加入音频子会场，形成两个音频子会场，即第一音频子会场和第二音频子会场。
[0148]本实施例中用户通过手机中装载的客户端，以某种约定的方式加入到某个音频子会场。其中，同一个音频子会场中的多个客户端是指在一定范围的空间中的手机分别装载的客户端。由于手机上具备拾音麦克风和扬声器，这样通过自己的手机在较短距离内拾音，拾音效果得到保证，同样手机近距离播放声音能确保用户能有效收听。
[0149]步骤502，与两个音频子会场中客户端都通信连接的第三方设备确定各个音频子会场的主体机，主体机到所属音频子会场中其它客户端的网络时延的标准偏差最小。
[0150]步骤503，两个音频子会场的主体机之间建立第二通信链路，各个音频子会场的主体机分别与所属音频子会场的其它客户端之间建立第一通信链路。
[0151]步骤504，对于某个音频子会场中的非主体机来说，主要是对该音频子会场内的声音进行拾取得到拾音信号，然后对拾音信号进行立体声回声消除处理，将处理后的拾音信号通过第一通信链路发送给所属音频子会场的主体机。
[0152]本实施例中，由于每个音频子会场内所有客户端播放的混音信号均相同，则各个客户端在做立体声回声消除处理时均可以利用相同信号作为回声参考信号，这样能对音频子会场内的回声进行有效消除。
[0153]步骤505，对于某个音频子会场中的主体机来说，主要是获取拾音信号并对拾音信号进行立体声回声消除处理，当接收到所属音频子会场的其它客户端发送的信号，将接收的各个信号与该主体机进行立体声回声消除处理后的信号进行混音得到混音信号。
[0154]步骤506，将步骤505得到的混音信号通过上述步骤503建立的第二通信链路发送给另一个音频子会场内的主体机，主体机将接收的混音信号再发送给所属音频子会场中的其它客户端。
[0155]步骤507，作为非主体机的客户端直接播放接收的混音信号，主体机则在接收到混音信号后的一定网络时延后播放接收的混音信号。
[0156]本实施例的方法中，同一个音频子会场内的各个客户端播放的混音信号相同，且为另一音频子会场的音频信号的混音信号，不存在该音频子会场中播放本音频子会场的声音而产生声反馈嘯叫。且本实施例中是由主体机进行混音操作，而不需要单独的混音设备进行混音操作，节省了网络设备的资源。
[0157]本发明设备实施例一
[0158]还提供一种包含音频数据的通信装置，该包含音频数据的通信装置为第一音频子会场的主体机，比如上述的第一客户端，其结构示意图如图8所示，具体可以包括:
[0159]第一链路建立单元10，用于分别建立与所述第一音频子会场中其它客户端之间的第一通信链路。
[0160]信号接收单元11，用于接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号。信号接收单元11可以接收包含音频数据的通信系统中的混音设备或第二音频子会场的主体机发送的第一混音信号。
[0161]第一信号发送单元12，用于通过所述第一链路建立单元10建立的第一通信链路将所述信号接收单元11接收的第一混音信号分别发送给所述其它客户端进行播放。
[0162]播放单元13，用于在所述信号接收单元11接收到所述第一混音信号之后的预定时延后播放所述第一混音信号，所述预定时延为到所述其它客户端的网络时延均值，具体为第一客户端分别发送信号到第一音频子会场中其它客户端所用时间的均值，即网络时延均值。
[0163]本实施例的装置中，第一链路建立单元10分别建立与第一音频子会场的其它客户端的第一通信链路，这样由于本实施例的装置到第一音频子会场中其它客户端的网络时延的标准偏差较小，使得其它客户端基本可以同步地接收到第一混音信号，如果信号接收单元11在接收到第一混音信号的一定时延后再由播放单元13播放该第一混音信号，从而使得一个音频子会场内所有客户端播放第一混音信号基本趋于同步;且由于某一个音频子会场内的所有客户端播放的混音信号都相同，且为其它音频子会场的音频信号的混音信号，不存在该音频子会场中播放本音频子会场的声音而产生声反馈嘯叫。这样由于能有效地抑制嘯叫问题，使得各个音频子会场中的客户端即本实施例的装置可以采用手机等便携式终端，而不用专用的音频通信的终端，降低了音频通信的成本。
[0164]参考图9所示，在一个具体的实施例中，包含音频数据的通信装置除了可以包括如图8所示的结构外，还可以包括第二信号发送单元14，第二链路建立单元15，第三信号发送单元16，加入单元17，第一均值发送单元18和第一信息接收单元19，其中:
[0165]第二信号发送单元14，用于获取拾音信号，将所述拾音信号及所述第一音频子会场的标识信息，或将对所述拾音信号进行至少一次处理后的信号及所述第一音频子会场的标识信息发送给所述混音设备。
[0166]所述第二信号发送单元14，具体用于获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第一拾音信号进行立体声回声消除处理后的信号；
[0167]或，所述第二信号发送单元14，具体用于获取所述其它客户端发送的第二拾音信号及获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第二拾音信号与所述第一拾音信号进行混音后得到的所述第一音频子会场的混音信号，或对所述第一拾音信号进行立体声回声消除处理后的信号，与所述第二拾音信号进行混音后得到的所述第一音频子会场的混音信号；
[0168]或，所述第二信号发送单元14，具体用于获取所述其它客户端发送的进行立体声回声消除处理后的第三拾音信号，及获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第三拾音信号与所述第一拾音信号进行混音后得到的所述第一音频子会场的混音信号，或对所述第一拾音信号进行立体声回声消除处理后的信号，与所述第三拾音信号进行混音后得到的所述第一音频子会场的混音信号。
[0169]第二链路建立单15，用于建立与第二音频子会场的主体机之间的第二通信链路。
[0170]第三信号发送单元16，用于将所述第一音频子会场中各个客户端的音频信号进行混音得到第二混音信号;通过所述第二链路建立单元15建立的第二通信链路将所述第二混音信号发送给所述第二音频子会场的主体机，以便所述主体机将所述第二混音信号发送给所述第二音频子会场的非主体机。
[0171 ]加入单元17，用于加入所述第一音频子会场。
[0172]第一均值发送单元18，用于获取所述包含音频数据的通信装置到所述第一音频子会场中其它客户端的网络时延均值，将所述包含音频数据的通信装置的网络时延均值发送给所述包含音频数据的通信系统中的混音设备或第三方设备；
[0173]第一信息接收单元19，用于如果所述第一均值发送单元18发送的包含音频数据的通信装置的网络时延均值比所述其它客户端的网络时延均值小，接收所述混音设备或第三方设备发送的通知信息，所述通知信息包括所述包含音频数据的通信装置作为所述第一音频子会场的主体机的信息。
[0174]在一种情况下，如本实施例中的装置是如图1a所示的系统中任一音频子会场的主体机，则当加入单元17加入到第一音频子会场后，就可以与混音设备之间进行连接，然后第一均值发送单元18就可以将本实施例的装置的网络时延均值发送给混音设备。当第一信息接收单元19接收混音设备发送的通知信息后，可以触发第一链路建立单元10建立第一通信链路，当信号接收单元11接收到混音设备发送的第一混音信号后，由第一信号发送单元12通过该第一通信链路将第一混音信号发送给其它客户端。
[0175]在另一种情况下，如本实施例中的装置是如图1b所示的系统中任一音频子会场的主体机，则当加入单元17加入到第一音频子会场后，第一均值发送单元18就可以将本实施例的装置的网络时延均值发送给第三方设备。当第一信息接收单元19接收第三方设备发送的通知信息后，可以触发第一链路建立单元10建立第一通信链路，第二链路建立单元15建立第二通信链路，这种情况下，第一信号发送单元12可以通过所述第二链路建立单元15建立的第二通信链路接收所述第二音频子会场中的主体机发送的第一混音信号信号;还可以由第三信号发送单元16通过第二通信链路发送第二混音信号。
[0176]本发明设备实施例二
[0177]还提供一种包含音频数据的通信装置，该包含音频数据的通信装置属于第一音频子会场的非主体机，比如上述的第二客户端，其结构示意图如图10所示，具体可以包括:
[0178]链路建立单元20，用于建立与所述第一音频子会场中的主体机之间的第一通信链路；
[0179]混音接收单元21，用于通过所述链路建立单元20建立的第一通信链路接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号；
[0180]信号播放单元22，用于播放所述混音接收单元21接收的第一混音信号。
[0181]参考图11所示，在一个具体的实施例中，包含音频数据的通信装置除了可以包括如图10所示的结构外，还可以包括信号发送单元23，重建单元24，会场加入单元25，第二均值发送单元26和第二信息接收单元27，其中:
[0182]信号发送单元23，用于将所述第二客户端的第二拾音信号，或对所述第二拾音信号进行至少一次处理后的信号发送给所述主体机;或，
[0183]所述信号发送单元23，用于将所述第二客户端的第二拾音信号及所述第一音频子会场的标识信息发送给所述包含音频数据的通信系统中的混音设备，或将所述对所述第二拾音信号进行至少一次处理后的信号及所述第一音频子会场的标识信息发送给所述混音设备；
[0184]其中，对所述第二拾音信号进行至少一次处理为对所述第二拾音信号进行立体声回声消除处理后的信号。
[0185]重建单元24，用于如果所述第一音频子会场中的主体机退出所述第一音频子会场，将所述第二客户端作为新的主体机，分别建立与所述第一音频子会场中其它剩余客户端之间的第三通信链路。或，如果所述第一音频子会场中的主体机退出所述第一音频子会场，建立与所述第一音频子会场中新的主体机之间的第四通信链路。
[0186]会场加入单元25，用于加入所述第一音频子会场。
[0187]第二均值发送单元26，用于获取所述包含音频数据的通信装置到所述第一音频子会场中其它客户端的网络时延均值;将所述包含音频数据的通信装置的网络时延均值发送给所述包含音频数据的通信系统中的混音设备或第三方设备；
[0188]第二信息接收单元27，用于如果所述第一客户端的网络时延均值比所述第一音频子会场内除第一客户端之外的其它客户端的网络时延均值小，接收所述混音设备或第三方设备发送的通知信息，所述通知信息包括第一客户端作为所述第一音频子会场的主体机的
?目息O
[0189]在一种情况下，如本实施例中的装置是如图1a所示的系统中任一音频子会场的非主体机，则当会场加入单元24加入到第一音频子会场后，就可以与混音设备之间进行连接，然后第二均值发送单元25就可以将本实施例的装置的网络时延均值发送给混音设备。当第二信息接收单元26接收混音设备发送的通知信息后，可以触发链路建立单元20建立第一通信链路，当混音接收单元21接收到主体机发送的第一混音信号后，由信号播放单元22播放该第一混音信号。
[0190]在另一种情况下，如本实施例中的装置是如图1b所示的系统中任一音频子会场的非主体机，则当会场加入单元24加入到第一音频子会场后，第二均值发送单元25就可以将本实施例的装置的网络时延均值发送给第三方设备。当第二信息接收单元26接收第三方设备发送的通知信息后，可以触发链路建立单元20建立第一通信链路。当第一音频子会场的主体机退出第一音频子会场后，由混音设备或第三方设备确定新的主体机，如果选定本实施例的装置为主体机，重建单元24可以重新建立与其它客户端之间的通信链路，这样混音接收单元21就可以通过该重建单元24重新建立的通信链路接收第一混音信号。
[0191]本发明设备实施例三
[0192]还提供一种包含音频数据的通信装置，比如上述的混音设备，其结构示意图如图12所示，具体可以包括:
[0193]确定单元30，用于分别确定多个音频子会场的主体机。
[0194]所述确定单元30，具体用于分别获取所述第一音频子会场中各个客户端到其它客户端的网络时延均值;如果所述第一音频子会场中第一客户端到其它客户端的网络时延均值比其它客户端的网络时延均值小，将所述第一客户端确定为所述第一音频子会场的主体机;发送通知信息给所述第一客户端，所述通知信息包括所述第一客户端作为第一音频子会场的主体机的信息。
[0195]接收单元31，用于分别接收所述多个音频子会场的音频信号及对应音频子会场的标识信息。
[0196]具体地，接收单元31接收的所述多个音频子会场中任一音频子会场的音频信号为对所述任一音频子会场中的客户端的拾音信号进行立体声回声消除处理后的信号。
[0197]或，接收单元31接收的所述多个音频子会场中任一音频子会场的音频信号为所述任一音频子会场中各个客户端发送的音频信号;或，
[0198]或，接收单元31接收的多个音频子会场中任一音频子会场的音频信号为对所述任一音频子会场中各个客户端的音频信号进行混音后的信号。
[0199]混音操作单元32，用于根据所述接收单元31接收的音频子会场的标识信息，将所述多个音频子会场中除第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号。
[0200]混音信号发送单元33，用于将所述混音操作单元32得到的第一混音信号发送给所述确定单元30确定的第一音频子会场的主体机，以便所述主体机将所述第一混音信号发送给所述第一音频子会场中的其它客户端进行播放。
[0201]参考图13所示，在一个具体的实施例中，包含音频数据的通信装置除了可以包括如图12所示的结构外，还可以包括:重新确定单元34，用于如果所述第一客户端退出所述第一音频子会场，则所述第一音频子会场中包括多个剩余客户端，在所述多个剩余客户端中重新确定所述第一音频子会场的主体机。之后混音信号发送单元33就可以将第一混音信号发送给重新确定单元34重新的新的主体机。
[0202]在本实施例的装置中，混音操作单元32会将除某一音频子会场比如第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号，并由混音信号发送单元33将第一混音信号发送给该第一音频子会场的主体机，然后由主体机发送给其它客户端进行播放。由于某一个音频子会场内的客户端播放的混音信号相同，且为其它音频子会场的音频信号的混音信号，不存在该音频子会场中播放本音频子会场的声音而产生声反馈嘯口 H。进一步地，由于主体机到音频子会场中其它客户端的网络时延的标准偏差较小，使得其它客户端基本可以同步地接收到第一混音信号，如果主体机在接收到混音设备发送的第一混音信号的一定时延后再播放该第一混音信号，从而使得一个音频子会场内所有客户端播放第一混音信号基本趋于同步。
[0203]本发明设备实施例四
[0204]还提供一种包含音频数据的通信装置，其结构示意图如图14所示，该包含音频数据的通信装置可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units’CroMCK例如，一个或一个以上处理器)和存储器41，一个或一个以上存储应用程序421或数据422的存储介质42(例如一个或一个以上海量存储设备)。其中，存储器41和存储介质42可以是短暂存储或持久存储。存储在存储介质42的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对包含音频数据的通信装置中的一系列指令操作。更进一步地，中央处理器40可以设置为与存储介质42通信，在包含音频数据的通信装置上执行存储介质42中的一系列指令操作。
[0205]包含音频数据的通信装置还可以包括一个或一个以上电源43，一个或一个以上有线或无线网络接口 44，一个或一个以上输入输出接口 45，和/或，一个或一个以上操作系统423，例如Windows ServerTM,Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
[0206]上述方法实施例中所述的由混音设备所执行的步骤，第一客户端所执行的步骤，及第二客户端所执行的步骤都可以基于该图14所示的包含音频数据的通信装置的结构。
[0207]本发明实施例还提供一种包含音频数据的通信系统，其结构示意图如图1a所示，包括混音设备和多个音频子会场，多个音频子会场中每个音频子会场包括多个客户端，这多个客户端中包括第一客户端和多个第二客户端，其中:
[0208]混音设备的结构可以如上述设备实施例三或设备实施例四中所述的包含音频数据的通信装置的结构，第一客户端的结构可以如上述设备实施例一或设备实施例四中所述的包含音频数据的通信装置的结构，第二客户端的结构可以如上述设备实施例二或设备实施例四中所述的包含音频数据的通信装置的结构，在此不进行赘述。
[0209]本发明实施例还提供另一种音频通信系统，其结构示意图如图1b所示，包括两个音频子会场，这两个音频子会场中每个音频子会场都包括第一客户端和多个第二客户端，其中:
[0210]第一客户端的结构可以如上述设备实施例一或设备实施例四中所述的包含音频数据的通信装置的结构，第二客户端的结构可以如上述设备实施例二或设备实施例四中所述的包含音频数据的通信装置的结构，在此不进行赘述。
[0211]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:只读存储器(R0M)、随机存取存储器RAM)、磁盘或光盘等。
[0212]以上对本发明实施例所提供的包含音频数据的通信方法、装置及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种包含音频数据的通信方法，其特征在于，应用于包含音频数据的通信系统中的第一客户端，所述第一客户端属于第一音频子会场，所述方法包括: 分别建立与所述第一音频子会场中其它客户端之间的第一通信链路； 接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号； 通过所述第一通信链路将所述第一混音信号分别发送给所述其它客户端进行播放； 在接收到所述第一混音信号之后的预定时延后播放所述第一混音信号，所述预定时延为到所述其它客户端的网络时延均值。2.如权利要求1所述的方法，其特征在于，所述接收第一混音信号，具体包括:接收所述包含音频数据的通信系统中的混音设备发送的第一混音信号； 所述方法还包括: 获取拾音信号，将所述拾音信号及所述第一音频子会场的标识信息，或将对所述拾音信号进行至少一次处理后的信号及所述第一音频子会场的标识信息发送给所述混音设备。3.如权利要求2所述的方法，其特征在于， 所述获取拾音信号具体包括:获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第一拾音信号进行立体声回声消除处理后的信号； 或， 所述获取拾音信号具体包括:获取所述其它客户端发送的第二拾音信号及获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第二拾音信号与所述第一拾音信号进行混音后得到的所述第一音频子会场的混音信号，或对所述第一拾音信号进行立体声回声消除处理后的信号，与所述第二拾音信号进行混音后得到的所述第一音频子会场的混音信号； 或， 所述获取拾音信号具体包括:获取所述其它客户端发送的进行立体声回声消除处理后的第三拾音信号，及获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第三拾音信号与所述第一拾音信号进行混音后得到的所述第一音频子会场的混音信号，或对所述第一拾音信号进行立体声回声消除处理后的信号，与所述第三拾音信号进行混音后得到的所述第一音频子会场的混音信号。4.如权利要求1所述的方法，其特征在于，所述接收第一混音信号之前，还包括:建立与第二音频子会场的主体机之间的第二通信链路； 所述接收第一混音信号，具体包括:通过所述第二通信链路接收所述第二音频子会场中的主体机发送的第一混音信号； 所述方法还包括: 将所述第一音频子会场中各个客户端的音频信号进行混音得到第二混音信号； 通过所述第二通信链路将所述第二混音信号发送给所述第二音频子会场的主体机，以便所述主体机将所述第二混音信号发送给所述第二音频子会场的非主体机。5.如权利要求1至4任一项所述的方法，其特征在于，所述分别建立与所述第一音频子会场中其它客户端之间的第一通信链路之前，所述方法还包括: 加入所述第一音频子会场。6.如权利要求1至4任一项所述的方法，其特征在于，所述分别建立与所述第一音频子会场中其它客户端之间的第一通信链路之前，所述方法还包括: 获取所述第一客户端到所述第一音频子会场中其它客户端的网络时延均值； 将所述第一客户端的网络时延均值发送给所述包含音频数据的通信系统中的混音设备或第三方设备； 如果所述第一客户端的网络时延均值比所述其它客户端的网络时延均值小，接收所述混音设备或第三方设备发送的通知信息，所述通知信息包括所述第一客户端作为所述第一音频子会场的主体机的信息。7.—种包含音频数据的通信方法，其特征在于，应用于包含音频数据的通信系统中的第二客户端，所述第二客户端属于第一音频子会场，所述方法包括: 建立与所述第一音频子会场中的主体机之间的第一通信链路； 通过所述第一通信链路接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号； 播放所述第一混音信号。8.如权利要求7所述的方法，其特征在于，所述方法还包括: 将所述第二客户端的第二拾音信号，或对所述第二拾音信号进行至少一次处理后的信号发送给所述主体机;或， 将所述第二客户端的第二拾音信号及所述第一音频子会场的标识信息发送给所述包含音频数据的通信系统中的混音设备，或将所述对所述第二拾音信号进行至少一次处理后的信号及所述第一音频子会场的标识信息发送给所述混音设备； 其中，对所述第二拾音信号进行至少一次处理为对所述第二拾音信号进行立体声回声消除处理后的信号。9.如权利要求7所述的方法，其特征在于，所述方法还包括: 如果所述第一音频子会场中的主体机退出所述第一音频子会场，将所述第二客户端作为新的主体机，分别建立与所述第一音频子会场中其它剩余客户端之间的第三通信链路；或，如果所述第一音频子会场中的主体机退出所述第一音频子会场，建立与所述第一音频子会场中新的主体机之间的第四通信链路。10.如权利要求7至10任一项所述的方法，其特征在于，所述建立与所述第一音频子会场中主体机之间的第一通信链路之前，所述方法还包括: 加入所述第一音频子会场。11.如权利要求10所述的方法，其特征在于，所述建立与所述第一音频子会场中主体机之间的第一通信链路之前，所述方法还包括: 获取所述第二客户端到所述第一音频子会场中其它客户端的网络时延均值； 将所述第二客户端的网络时延均值发送给所述包含音频数据的通信系统中的混音设备或第三方设备； 如果所述第一客户端的网络时延均值比所述第一音频子会场内除第一客户端之外的其它客户端的网络时延均值小，接收所述混音设备或第三方设备发送的通知信息，所述通知信息包括第一客户端作为所述第一音频子会场的主体机的信息。12.—种包含音频数据的通信方法，其特征在于，所述方法应用于包含音频数据的通信系统中的混音设备，包括: 分别确定多个音频子会场的主体机； 分别接收所述多个音频子会场的音频信号及对应音频子会场的标识信息； 根据所述音频子会场的标识信息，将所述多个音频子会场中除第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号； 将所述第一混音信号发送给所述第一音频子会场的主体机，以便所述主体机将所述第一混音信号发送给所述第一音频子会场中的其它客户端进行播放。13.如权利要求12所述的方法，其特征在于，确定所述多个音频子会场中第一音频子会场的主体机，具体包括: 分别获取所述第一音频子会场中各个客户端到其它客户端的网络时延均值； 如果所述第一音频子会场中第一客户端到其它客户端的网络时延均值比其它客户端的网络时延均值小，将所述第一客户端确定为所述第一音频子会场的主体机； 发送通知信息给所述第一客户端，所述通知信息包括所述第一客户端作为第一音频子会场的主体机的信息。14.如权利要求13所述的方法，其特征在于，所述方法还包括: 如果所述第一客户端退出所述第一音频子会场，则所述第一音频子会场中包括多个剩余客户端，在所述多个剩余客户端中重新确定所述第一音频子会场的主体机。15.如权利要求12至14任一项所述的方法，其特征在于，所述多个音频子会场中任一音频子会场的音频信号为对所述任一音频子会场中的客户端的拾音信号进行立体声回声消除处理后的信号。16.如权利要求12至14任一项所述的方法，其特征在于，所述多个音频子会场中任一音频子会场的音频信号为所述任一音频子会场中各个客户端发送的音频信号;或， 所述多个音频子会场中任一音频子会场的音频信号为对所述任一音频子会场中各个客户端的音频信号进行混音后的信号。17.一种包含音频数据的通信装置，其特征在于，所述包含音频数据的通信装置属于第一音频子会场，包括: 第一链路建立单元，用于分别建立与所述第一音频子会场中其它客户端之间的第一通信链路； 信号接收单元，用于接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号； 第一信号发送单元，用于通过所述第一通信链路将所述第一混音信号分别发送给所述其它客户端进行播放； 播放单元，用于在接收到所述第一混音信号之后的预定时延后播放所述第一混音信号，所述预定时延为到所述其它客户端的网络时延均值。18.如权利要求17所述的装置，其特征在于， 所述信号接收单元，具体用于接收所述包含音频数据的通信系统中的混音设备发送的第一混音信号； 还包括:第二信号发送单元，用于获取拾音信号，将所述拾音信号及所述第一音频子会场的标识信息，或将对所述拾音信号进行至少一次处理后的信号及所述第一音频子会场的标识信息发送给所述混音设备。19.如权利要求18所述的装置，其特征在于， 所述第二信号发送单元，具体用于获取所述第一客户端的第一拾音信号；所述对所述拾音信号进行至少一次处理后的信号为对所述第一拾音信号进行立体声回声消除处理后的信号； 或， 所述第二信号发送单元，具体用于获取所述其它客户端发送的第二拾音信号及获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第二拾音信号与所述第一拾音信号进行混音后得到的所述第一音频子会场的混音信号，或对所述第一拾音信号进行立体声回声消除处理后的信号，与所述第二拾音信号进行混音后得到的所述第一音频子会场的混音信号； 或， 所述第二信号发送单元，具体用于获取所述其它客户端发送的进行立体声回声消除处理后的第三拾音信号，及获取所述第一客户端的第一拾音信号;所述对所述拾音信号进行至少一次处理后的信号为对所述第三拾音信号与所述第一拾音信号进行混音后得到的所述第一音频子会场的混音信号，或对所述第一拾音信号进行立体声回声消除处理后的信号，与所述第三拾音信号进行混音后得到的所述第一音频子会场的混音信号。20.如权利要求17所述的装置，其特征在于，还包括:第二链路建立单元，用于建立与第二音频子会场的主体机之间的第二通信链路； 所述第一信号发送单元，具体用于通过所述第二通信链路接收所述第二音频子会场中的主体机发送的第一混音信号； 所述装置还包括: 第三信号发送单元，用于将所述第一音频子会场中各个客户端的音频信号进行混音得到第二混音信号;通过所述第二通信链路将所述第二混音信号发送给所述第二音频子会场的主体机，以便所述主体机将所述第二混音信号发送给所述第二音频子会场的非主体机。21.如权利要求17至20任一项所述的装置，其特征在于，还包括: 加入单元，用于加入所述第一音频子会场。22.如权利要求17至20任一项所述的装置，其特征在于，还包括: 第一均值发送单元，用于获取所述包含音频数据的通信装置到所述第一音频子会场中其它客户端的网络时延均值，将所述包含音频数据的通信装置的网络时延均值发送给所述包含音频数据的通信系统中的混音设备或第三方设备； 第一信息接收单元，用于如果所述包含音频数据的通信装置的网络时延均值比所述其它客户端的网络时延均值小，接收所述混音设备或第三方设备发送的通知信息，所述通知信息包括所述包含音频数据的通信装置作为所述第一音频子会场的主体机的信息。23.一种包含音频数据的通信装置，其特征在于，所述包含音频数据的通信装置属于第一音频子会场，包括: 链路建立单元，用于建立与所述第一音频子会场中的主体机之间的第一通信链路； 混音接收单元，用于通过所述第一通信链路接收第一混音信号，所述第一混音信号为所述第一音频子会场之外的其它音频子会场的音频信号的混音信号； 信号播放单元，用于播放所述第一混音信号。24.如权利要求23所述的装置，其特征在于，还包括: 信号发送单元，用于将所述第二客户端的第二拾音信号，或对所述第二拾音信号进行至少一次处理后的信号发送给所述主体机;或， 所述信号发送单元，用于将所述第二客户端的第二拾音信号及所述第一音频子会场的标识信息发送给所述包含音频数据的通信系统中的混音设备，或将所述对所述第二拾音信号进行至少一次处理后的信号及所述第一音频子会场的标识信息发送给所述混音设备；其中，对所述第二拾音信号进行至少一次处理为对所述第二拾音信号进行立体声回声消除处理后的信号。25.如权利要求23所述的装置，其特征在于，还包括: 重建单元，用于如果所述第一音频子会场中的主体机退出所述第一音频子会场，将所述第二客户端作为新的主体机，分别建立与所述第一音频子会场中其它剩余客户端之间的第三通信链路； 或，如果所述第一音频子会场中的主体机退出所述第一音频子会场，建立与所述第一音频子会场中新的主体机之间的第四通信链路。26.如权利要求23至25任一项所述的装置，其特征在于，还包括: 会场加入单元，用于加入所述第一音频子会场。27.如权利要求26所述的装置，其特征在于，还包括: 第二均值发送单元，用于获取所述包含音频数据的通信装置到所述第一音频子会场中其它客户端的网络时延均值;将所述包含音频数据的通信装置的网络时延均值发送给所述包含音频数据的通信系统中的混音设备或第三方设备； 第二信息接收单元，用于如果所述第一客户端的网络时延均值比所述第一音频子会场内除第一客户端之外的其它客户端的网络时延均值小，接收所述混音设备或第三方设备发送的通知信息，所述通知信息包括第一客户端作为所述第一音频子会场的主体机的信息。28.一种包含音频数据的通信装置，其特征在于，包括: 确定单元，用于分别确定多个音频子会场的主体机； 接收单元，用于分别接收所述多个音频子会场的音频信号及对应音频子会场的标识信息; 混音操作单元，用于根据所述音频子会场的标识信息，将所述多个音频子会场中除第一音频子会场之外的其它音频子会场的音频信号进行混音得到第一混音信号； 混音信号发送单元，用于将所述第一混音信号发送给所述第一音频子会场的主体机，以便所述主体机将所述第一混音信号发送给所述第一音频子会场中的其它客户端进行播放。29.如权利要求28所述的装置，其特征在于， 所述确定单元，具体用于分别获取所述第一音频子会场中各个客户端到其它客户端的网络时延均值;如果所述第一音频子会场中第一客户端到其它客户端的网络时延均值比其它客户端的网络时延均值小，将所述第一客户端确定为所述第一音频子会场的主体机;发送通知信息给所述第一客户端，所述通知信息包括所述第一客户端作为第一音频子会场的主体机的信息。30.如权利要求28所述的装置，其特征在于，还包括: 重新确定单元，用于如果所述第一客户端退出所述第一音频子会场，则所述第一音频子会场中包括多个剩余客户端，在所述多个剩余客户端中重新确定所述第一音频子会场的主体机。31.如权利要求28至30任一项所述的装置，其特征在于，所述多个音频子会场中任一音频子会场的音频信号为对所述任一音频子会场中的客户端的拾音信号进行立体声回声消除处理后的信号。32.如权利要求28至30任一项所述的装置，其特征在于，所述多个音频子会场中任一音频子会场的音频信号为所述任一音频子会场中各个客户端发送的音频信号;或， 所述多个音频子会场中任一音频子会场的音频信号为对所述任一音频子会场中各个客户端的音频信号进行混音后的信号。33.—种包含音频数据的通信系统，其特征在于，包括混音设备和多个音频子会场，所述多个音频子会场中每个音频子会场包括多个客户端，所述多个客户端中包括第一客户端和多个第二客户端； 所述混音设备是如所述权利要求28至32任一项所述的包含音频数据的通信装置； 所述第一客户端是如权利要求17至19，21和22中任一项所述的包含音频数据的通信装置； 所述第二客户端是如权利要求23至27任一项所述的包含音频数据的通信装置。34.一种包含音频数据的系统，其特征在于，包括两个音频子会场，所述两个音频子会场中每个音频子会场都包括第一客户端和多个第二客户端，其中: 所述第一客户端是如权利要求17，20至22中任一项所述的包含音频数据的通信装置； 所述第二客户端是如权利要求23至27任一项所述的包含音频数据的通信装置。
【文档编号】H04L12/28GK105847096SQ201610321348
【公开日】2016年8月10日
【申请日】2016年5月12日
【发明人】梁俊斌
【申请人】腾讯科技（深圳）有限公司