用于会议系统中回声消除的方法与装置制造方法

用于会议系统中回声消除的方法与装置制造方法
【专利摘要】用于回声消除的方法，所述方法包括步骤：-采用各自的标记信号(m1；m11，m21)标记各个源信号(S1；S11，S21)，所述各自的标记信号用于标识所述各个源信号各自的开始时间基准并且用于标识各个发射机(TX1；TX11，TX21)，所述各个发射机用于各自地发送所获得的标记的源信号(D1；D11，D21)，-由所述各个发射机将各个标记的源信号发送到至少一个聚合节点(AN1；AN1，AN2，AN)，-集中由所述至少一个聚合节点所接收的各个标记的源信号以据此创建多播信号(DAG1；DA)，用于经由多播节点(mcast)提供至与各个发射机(TX1；TX11，TX21)相关的各个接收机(RX1；RX11，RX21)，-确定各自的往返功率归一化以及往返延迟数值，用于在所述各个接收机中修改所述各个标记的源信号(D1；D11，D21)，据此获得各个延迟的并且归一化的各个标记的源信号，-在所述各个接收机处从所述多播信号中去除各个往返延迟的并且归一化的标记的源信号，以据此在所述各个接收机中获得各个回声消除的多播信号(EC1；EC11，EC21)。
【专利说明】用于会议系统中回声消除的方法与装置
【技术领域】
[0001 ] 本发明涉及用于如会议服务的回声消除方法。
【背景技术】
[0002]当前，在多方音频连接中，诸如使用于跨越相当距离的电话会议系统中的多方音频连接中，代表全部的音频源的聚合信号相对每个独立源可能具有相当大的延迟。由于此，当该聚合信号被接收回该源地点时，例如经由扬声器，存在过滤掉该聚合信号的该本地音频源的需要。这是由于该延迟的原始信号将被认为是严重的具有大约一秒甚至更多的延迟的回声。现有的实现方式在中心服务器处，因此可以有选择地集中全部的其它信号，用于生成一群独立相异的聚合信号。然而这导致沉重的网络负载。

【发明内容】

[0003]本发明的实施例的目的在于提供可供选择的方法与装置，用于能够简单、同时也有效的用于对于诸如会议桥的应用的回声消除的方法，其中大量参与者的信号被集中以生成合成信号。
[0004]值得注意的是，本发明实施例的目的不在于处理声学回声消除，其中声学回声例如由于扬声器至麦克风的耦合。因此目的在于提供用于所发送信号的返回回声(return-echo)的抑制方案。显然，声学回声也需要被抑制，但其它技术通常可用于此。
[0005]根据本发明实施例，通过用于回声消除的方法，该目的被达成，所述方法包括如下步骤:采用各自的标记信号标记各个源信号，所述各自的标记信号用于标识所述各个源信号各自的开始时间基准并且用于标识用于各自地发送所获得的标记的源信号的各个发射机，
[0006]-由所述各个发射机将各个标记的源信号发送到至少一个聚合节点，
[0007]-集中由所述至少一个聚合节点所接收的各个标记的源信号以据此创建多播信号，用于经由多播节点(mcast)提供至与各个发射机相关的各个接收机，
[0008]-确定各自的往返功率归一化以及往返延迟数值，用于在所述各个接收机中修改所述各个标记的源信号，据此获得各个延迟的并且归一化的各个标记的源信号，
[0009]-在所述各个接收机处从所述多播信号中去除各个往返延迟的并且归一化的标记的源信号，以据此在所述各个接收机中获得各个回声消除的多播信号。
[0010]由于在中央服务器中无需选择性地处理，这显著地降低了支持跨越大范围的会议服务所需要的处理能力以及能量，并且该本地回声消除如今变成简单得多的在接收机处从该聚合信号中去除延迟的并且增益调整的标记的源信号。
[0011]在一个实施例中，该方法进一步包括如下步骤:由聚合节点接收各自地发送的标记的源信号，在所述聚合节点中将各个所接收的标记的源信号分离为各个延迟的源信号以及各个标记信号，并且再次将各个标记的源信号以及各个标记信号集中以据此创建聚合信号用于提供至所述多播节点。[0012]该方案被证明对于活动参与者的数量具有很好的可伸缩性，由于耦合至一个聚合节点的多个集群的发射机/接收机节点可以进一步被连接进入最终多播节点的树形结构中。对于该结构，增加仅收听音频的被动的参与者非常容易、节能并且无需任何更多的处理能力或沉重的网络负载。
[0013]在一个实施例中，该标记信号被生成为所述源信号的带内信号。
[0014]这具有如下优点:所产生的多播信号是可以被承载该信号的遗留设备透明地处理
的单一信号。
[0015]在一个实施例中，对于不同发射机的不同的该带内信号可以基于具有合适的相关属性的伪随机编码被生成，所述伪随机编码被插入为例如该原始音频信号中的低功率噪声信号，以使得仅相关解码器能够提取该标记信号，同时对于人类几乎不可见。相对于特定发射机，这些编码中的每个均是特定的，并且这些编码通常事先被确定，如通过用于实现该方法的主软件程序的方式。
[0016]在另一个实施例中，空闲的或未使用的音频信号比特可以用于该标记信号的带内编码。通过仔细地增加多个被排除的数值，该音频解码器中的符号比特将被掩蔽。在8位系统中，其可以例如为如下情形:表示.:0，127以及255的以下组合被排除。对于M在{O, 127, 255}中并且V不在{0,127,255}中的满足MVM的任何3个比特是I符号，任何3个比特MMV是O符号。
[0017]在又一个实施例中，所述标记信号被生成为所述源信号的带外信号。
[0018]本发明还涉及包括信号源修改装置的发射机的实施例，该信号源修改装置适于采用标记信号来标记源信号，所述标记信号用于标识所述源信号的时间基准并且用于标识该发射机，所述信号源修改装置据此适于来生成标记的源信号以用于发送至聚合节点。
[0019]本发明还涉及耦合至多个该等发射机的聚合节点的实施例，并且该聚合节点适于将各个所接收的标记的源信号为聚合信号以用于进一步发送至多播节点，所述各个所接收的标记的源信号由该等发射机发送。
[0020]在一个实施例中，这些标记的所接收的源信号先被分离进入各个标记信号以及延迟的源信号中，随后为同步至公共时基(common time base)的步骤，其中同步的信号接下来被集中以形成该聚合信号用于进一步发送至多播节点。
[0021]本发明还涉及稱合到至少一个聚合节点的多播节点的实施例，并且该多播节点适于从所述至少一个聚合节点接收任一个多播信号，用于提供至分别与所述多个发射机相关的多个接收机。
[0022]可替代地，该多播节点可以与该最终聚合节点组合，诸如适于接收该至少一个各个聚合信号并且适于集中所述至少一个各个聚合信号到多播聚合信号中，以用于进一步提供至分别与所述多个发射机相关的多个接收机。
[0023]此外，本发明还涉及耦合至多播节点并且与发射机相关的接收机的实施例，所述接收机适于从该多播节点中接收多播信号，所述接收机进一步适于确定各自的往返功率归一化以及往返延迟数值，用于在所述接收机中对由与所述接收机相关的所述发射机所提供的各个标记的源信号的修改步骤中使用，用于生成各自的延迟的并且归一化的标记的源信号，所述接收机进一步适于从所述多播信号中去除各个往返延迟的并且归一化的标记的源信号，以据此获得回声消除的多播信号。[0024]需要注意该术语“耦合”，用于权利要求中，不应被解释为仅限制于直接连接。因此，表述“设备A与设备B相耦合”的范围不应被限制为其中设备A的输出直接连接至设备B的输入的设备或系统。这意味着A的输出与B的输入之间存在一条路径，其可以是包括其他设备或者装置的路径。
[0025]需要注意术语“包括”，用于权利要求中，不应被解释为限制于其后所列出的装置。因此，表述“设备包括装置A和B”的范围不应该被限制为仅由元件A和B组成的设备。这意味着对于本发明，该设备仅相关的元件是A和B。
【专利附图】

【附图说明】
[0026]本发明的上述和其他目的和特征将变得更明显，并且本发明自身将通过参阅以下实施例结合附图的描述来被最好地理解，其中:
[0027]图1示出耦合至一个聚合节点并且耦合至多播节点的η个发射机/接收机的结构，
[0028]图2示出具有相关的耦合的发射机以及接收机的聚合节点的树形结构的结构以及一个多播节点。
【具体实施方式】
[0029]图1示出包括多个发射机TXl至TXn的系统的示例。为避免该图过满，仅TXl被足够详细地示出。然而，该系统的全部其它发射机与TXl近似。
[0030]该系统将通过音频会议系统示例的方式被解释。然而，在图中所示出的并且在以下段落所解释的系统也可适用于任何类型的会议装置，无论是音频/视频/数据或者全部这些的混合。
[0031]TXl包括接收源输入信号的装置。在图1中，至该发射机的该源输入信号是A/D转换过的数字信号Si，该数字信号SI代表由所标记的讲话者发出的该模拟语音信号，该模拟信号通过麦克风的方式被检测到，并且通过公知的电路被转换为数字语音或数字音频信号。
[0032]发射机TXl进一步包括信号源修改装置SMl，其适于来接收该源信号SI,并且基于该接收来触发标记生成装置MGl。该触发信号被标记为Cl，如SMl至MGl之间的虚线所示。基于该触发信号Cl的接收，MGl适于来生成标记信号ml，该标记信号ml被用于标识该源信号的开始时间基准，并且还被用于标识该发射机TX1。该发射机的标识可以例如公共IP地址或MAC地址，或者会议系统上的账户或者结构化的电话号码等，并且该发射机的标识通常以比特串的形式被提供。该源信号的时间基准的标识可以例如通过在该第一个语音分组中插入代表该发射机标识的符号被实现，例如通过使用空比特或空闲比特。这些标记比特在该流中被插入的位置则可以代表指示该时间基准。该方案对应于带内(in-band)方案。
[0033]可选地，带外方案可以被使用，带外方案意味着分离的信号被用于该标记信号。在一个实施例中，这可以由分离的并行比特序列来表示，例如，包括指向该终端中数据结构的指针，该数据结构包括该终端标识。该指针或第二指针也可指向该数据流自身中的特定位置，以便指示该开始时间来指示该时间基准。或者，与该数据比特流自身有关的该额外比特流的相关开始时间，其自身也可代表时间基准，据此减轻第二指针的使用。[0034]该信号源修改装置SMl因此将通过将该标记信号ml包含进该源信号SI中来修改该进入的源信号。所产生的信号被标记为标记的源信号Dl并且经由通信网络被发送至多播节点mcast ο
[0035]当该标记信号ml被生成为所述源信号SI的带内信号时，该标记信号ml可能表现为附加噪音，以将其隐藏于该信号中。在该等终端之间，对于每个单独终端的标记信号的带内信号可以例如基于的具有合适的相关特性的伪随机编码，使得随后能够优异的辨别。
[0036]可选地，该标记信号可以因此被生成为所述源信号SI的带外信号。这具有信号可以被承载而不具有附加噪声的优点，但缺点是需要与该音频源数据流同步的附加流，以用于承载该时间信息。
[0037]该所产生的信号被标记为标记的源信号，在图1中由Dl表示。Dl因此可以作为该源信号，其中一些空闲比特如今接收到一些专用值，或者Dl可以被包括在两个平行同步信号中:S1连同ml。
[0038]会议系统的每个参与的发射机TXl至TXn则适于来生成并发送它们的标记的源信号，通常经由聚合节点，至多播节点。该聚合节点在图1上被标记为ANl并且该聚合节点适于来接收由耦合至该聚合节点的发射机TXl至TXn发送的被标记为D1’至Dn’的各个延迟的标记的源信号。由于该聚合节点可以被放置在距发射机相当距离的位置，各个标记的源信号通常将已经经历各自的网络延迟。在一个实施例中，该聚合节点ANl将仅集中这些不同的延迟信号进入集中信号中。在另一个优选实施例中，该聚合节点ANl适于将各个延迟的标记的源信号分离为他们原始的各自的延迟的标记信号ml”，…，mn”中以及被标记为SI”至Sn”的各自的延迟的源信号中。这在图1的实施例中被示出。 [0039]在下一步中，这些再同步的各个延迟的源信号SI”，…，Sn”以及他们的重建标记信号ml”至mn”被再次综合，用于形成再同步的标记的源信号D1”至Dn”，并且这些各个再同步的标记的源信号接着被集中以生成聚合信号DAG1，用于向多播节点的进一步发送，并且可能经由其它聚合节点。
[0040]在之前所述的实施例中，其中各个延迟的标记的源信号D1’至Dn’并未被分成他们的各个源信号以及标记信号中，在被再同步之前，这些各个延迟的标记的源信号仅被集中在聚合节点ANl中。
[0041]在图1中仅一个聚合节点被示出，其被直接地连接至多播节点。如将参考图2被解释的，通常可能存在一连串的聚合节点。在图2中，最末的聚合节点AN则集中不同的接收信号如DAGl和DAG2，以生成最终聚合信号DA，其随后被多播返回至不同接收机。
[0042]在图1中，该多播节点被标记为mcast并且仅存在一个稱合至mcast的聚合节点。该多播节点则适于自该聚合节点接收该聚合信号DAG1，并且进一步将其在多播结构中提供给全部接收机，所述接收机与耦合至该聚合节点的发射机相关。
[0043]在图1中，与发射机TXl相关的接收机被标记为RXl。RXl自TXl接收标记的源信号Dl，并且自mcast接收该多播聚合信号，在该实施例中则为聚合信号DAGl。接收机RXl进一步适于从多播聚合信号DAGl中去除延迟的并且功率归一化的标记的源信号。这是由于DAGl包含已经采用公知数值衰减过的Dl的延时副本，该公知数值与该会议呼叫的讲话参与者的数量有关。该衰减值可以被视作往返功率归一化数值，并且由于该往返功率归一化数值是该等聚合节点中的集中过程的结果，该衰减值等于参与该呼叫的活动的发射机的数量。通过使用适应于使用接收机中的数字编码器可用的全解析度的固有增益并且由于该标记，DAGl相对于Dl的准确延迟也可被确定，例如，通过比较所接收信号DAGl和标记信号ml而移动一个确定的可变延迟，这样使得，当例如在比较器中两个标记信号重合时，该延迟被确定。通过从DAGl中去除该延迟的并且功率调整过的Dl信号，无回声的多播信号则被获得。这被标记为ECl并且被提供至输出设备，在图1中输出设备被视为扬声器LI。可选择地，为改进该过程，原始源信号SI可以单独地被提供至扬声器，用于使用户能听到他或她自己的讲话。
[0044]图2示出包括两个集群的聚合节点的系统，该等聚合节点耦合至各自的发射机/接收机组合，并且其中每个聚合节点正被耦合至最终聚合节点，该最终聚合节点自身连接至多播节点。在上行方向中每个集群内的操作，像从发射机至聚合节点这样，基本与参考图1所描述的操作相同。与图1的实施例的不同在于，每个聚合节点ANl和AN2如今提供其各自所生成的聚合信号DAG1、DAG2至最终聚合节点AN，该AN如今将各个聚合信号DAGl和DAG2集中为被标记为DA的最终聚合信号，其则将对应于该多播信号，用于供给至该多播节点。该多播节点mcast将进一步提供该多播信号至两簇接收机，所述两簇接收机分别耦合至各自的聚合节点ANl和AN2。
[0045]应予以注意，在一些实施例中，该多播节点以及最终聚合节点可以被合并，诸如被包含在一个单一装置中。
[0046]在全部实施例中，每个参与者精确地接收该聚合信号DA的相同拷贝。从该多播节点mcast返回至全部参与者的分布因此可以采用多播树来优化，由于多播树中的每个节点精确地处理该相同信号而确保了高带宽和节能，允许该树对于网络拓扑而被优化。在传统系统中，这是不可能的，因为流向每个参与者的信号不是相同的。
[0047]该分布式系统通常可以使用2个不同树结构来管理上行和下行数据。该上行数据在全部分支上使用承载不同信号的树。向该树添加新的音频源可以在该树的本地完成，从而经由耦合至该新发射机的该聚合节点。这对该树的其它部分没有影响。
[0048]该下行数据在全部分支上使用承载该相同多播信号的树，该多播信号被标记为DA。向该树添加耦合至非活动的发射机的新音频收听器或接收机可以本地完成，并且更重要地，由于全部分支承载相同的信号，该树可以轻易地再均衡。这使其很容易来预定大量被动的、收听的参与者至该连接。
[0049]在接收机中，例如在耦合至活动的发射机TXll的RXll中，该标记的源信号Dll先采用往返功率归一化因子被再次归一化，并且采用时延被延迟。该功率归一化可以被确定为参与到该呼叫的活动的发射机的总量，并且该延迟数值可以，例如通过先前提到过的比较具有时变基础的纯标记信号以及接收信号的技术从DA来被确定。标记信号被发现重合的时间实例则相对应于往返延迟。该归一化的并且延迟的信号接下来从该多播聚合信号DA中被去除，用于据此获得对于各个接收机的无回声的多播信号，分别被标记为ECll和EC21，对应于图2中的接收机RXll和RX21。
[0050]这些延迟以及功率归一化操作由接收机RXll和RX21中所指示的模块“ASUB”的方式被执行。
[0051]类似操作发生在全部其它接收机中。
[0052]实现方式可以通过软件的方式被实现，在可能参与的发射机、接收机、聚合节点以及多播节点上以分布式的方式实现。该软件可以以分布式方式被提供，用于本地安装，或者可以为可下载的软件，如从控制全部操作的中央服务器下载。该服务器可以被安置于聚合节点或多播节点中，或者可以为远程服务器，全部参与单元可以从该远程服务器仅下载他们的部分用于实现他们的特定操作。
[0053]当本发明的原理已经结合具体的装置被描述如上，可清楚地理解该描述仅通过举例方式进行，且并非对本发明的范围的限制，该范围由所附的权利要求所限定。在本文的权利要求中表示为用于执行特定功能的装置的任何单元意图包含执行该功能的任何方式。这可以包括，例如，a)执行该功能的电子或机械单元的组合或者b)任何形式的软件，因此包括固件、微编码等，结合用于执行该软件以执行该功能的合适的电路，以及如果有的话，耦合至软件控制电路的机械单元。由该等权利要求限定的本发明在于以下事实:由多个所述装置所提供的功能以该等权利要求所要求的形式被组合并且被放在一起，并且除非另外地具体限定，任何物理结构对所要求的发明的创新性不是很重要或不具有重要性。 申请人:因此视为可以提供等同于此处所示出的那些功能的任何装置。
【权利要求】
1.用于回声消除的方法，所述方法包括步骤: -采用各自的标记信号(ml ；mll, m21)标记各个源信号(SI ;S11，S21)，所述各自的标记信号用于标识所述各个源信号各自的开始时间基准并且用于标识各个发射机(TXl ；TX11，TX21)，所述各个发射机用于各自地发送所获得的标记的源信号(D1 ;D11，D21)， -由所述各个发射机将各个标记的源信号发送到至少一个聚合节点(ANl ；AN1, AN2，AN), -集中由所述至少一个聚合节点所接收的各个标记的源信号以据此创建多播信号(DAG1 ;DA)，用于经由多播节点(mcast)提供至与各个发射机(TXl ；TX11, ΤΧ21)相关的各个接收机(RXl ；RX11, RX21)， -确定各自的往返功率归一化以及往返延迟数值，用于在所述各个接收机中修改所述各个标记的源信号(D1 ;D11，D21)，据此获得各个延迟的并且归一化的各个标记的源信号， -在所述各个接收机处从所述多播信号中去除各个往返延迟的并且归一化的标记的源信号，以据此在所述各个接收机中获得各个回声消除的多播信号(ECl ；EC11, EC21)。
2.根据权利要求1的方法，其中所述各自的标记信号(ml)被生成为所述各个源信号的带内信号。
3.根据权利要求1的方法，其中所述各自的标记信号(ml；mll)被生成为所述各个源信号的带外信号。
4.发射机(TXl;TX11)，其包括信号源修改装置(SMI ;SM11)，所述信号源修改装置适于采用标记信号(ml ；mll)来标记源信号(SI ;S11)，所述标记信号用于标识所述源信号的时间基准并且用于标识该发射机，所述信号源修改装置据此来生成标记的源信号(D1 ；D11)以用于经由至少一个聚合节点(ANl)发送至多播节点(mcast)。
5.根据权利要求4的发射机(TXl)，其中所述标记信号(ml)由标记生成装置(MGl)生成，该标记生成装置适于来生成所述标记信号(ml)为所述源信号(SI)的带内信号。
6.根据权利要求4的发送的(TXl;TX11)，其中所述标记信号(ml ；mll)由标记生成装置(MGl ；MG11)生成，该标记生成装置适于来生成所述标记信号为所述源信号(SI ；S11)的带外信号。
7.接收机(RXl;RX11)，其与发射机(TXl ；TX11)相关并且耦合至多播节点(mcast)用于从那里接收多播信号(DAG1，DA)，所述接收机进一步适于确定各自的往返功率归一化以及往返延迟数值，以用于在所述接收机中对由与所述接收机相关的所述发射机所提供的各个标记的源信号(D1 ；D11)的修改步骤中使用，用于生成各自的延迟的并且归一化的标记的源信号，所述接收机进一步适于从所述多播信号(DAG1 ；DA)中去除各个往返延迟的并且归一化的标记的源信号以据此获得回声消除的多播信号(ECl ;EC11)。
8.一种计算机编程产品，包括当在一个或多个数据处理装置上被运行时，适于执行根据权利要求1至3中任一项的方法步骤的软件。
【文档编号】H04M3/56GK103959752SQ201280058105
【公开日】2014年7月30日 申请日期:2012年11月15日 优先权日:2011年11月24日
【发明者】菲力浦·多布拉 申请人:阿尔卡特朗讯