音频信号的处理方法、装置及系统的制作方法
【专利摘要】本发明公开了一种音频信号的处理方法，包括：根据每路音频信号的声源相对于收听该路音频信号的用户端的方位信息，对该路音频信号进行左路延迟调整和右路延迟调整，生成对应所述每路音频信号的左右两路音频信号；当某一路音频信号的声源移动时，采用不同的比率对这路移动的音频信号对应的左右两路音频信号进行压缩或者扩张处理，使该移动的左右两路音频信号的延迟分别平滑变化。与现有技术中ITD跳变导致信号失真相比，本发明实施例提供的音频信号的处理方法，可以使移动的音频信号对应的左右两路音频信号的延迟平滑变化，从而使ITD平滑变化，避免了信号失真。
【专利说明】音频信号的处理方法、装置及系统
【技术领域】
[0001]本发明涉及音频处理【技术领域】，具体涉及一种音频信号的处理方法、装置及系统。【背景技术】
[0002]典型的会议架构是基于微控制单元(MCU, Micro Control Unit)混音的客户端_服务器(client-Server)拓扑,每个client同Server保持一个双向的连接,Server上对每个Client传送来的数据包解码、混音、再编码后发送给client，这种基于MCU的会议架构增加了端到端的延迟，转码也降低了语音质量。
[0003]现有技术中采用转发模式的服务器拓扑，对所有client的码率进行分析并将最有可能是说话者M个数据包发送给客户端，客户端采用三维音效(3Daudio，three-dimensional audio)合成的方法来生成带有虚拟方位的立体声或双耳音频,之后再混音。3D audio合成一般包括空间位置信息，空间位置信息合成是采用参数双耳时间差(ITD, interaural time difference)和双耳强度差(IID, interaural intensitydifference)进行合成。
[0004]现有技术中给出了利用ITD、位置滤波(Positional Filter)和IID的处理方法来生成3D信号的方法，ITD对应的是L/R信号间的时间差，ILD对应L/R信号的电平差，Positional Filter对应的是头方位函数。
[0005]本发明的发明人发现，现有技术中在3D信号的生成过程中对音频信号的处理，当声源在移动的时候，直接改变ITD，这样，导致ITD跳变，引起信号失真。
【发明内容】
[0006]本发明实施例提供一种音频信号的处理方法，可以使移动音频信号对应的左右两路信号的延迟平滑变化，从而使ITD平滑变化，避免信号失真。
[0007]本发明实施例第一方面提供一种音频信号的处理方法，包括:
[0008]获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息；
[0009]根据所述每路音频信号的声源相对于所述用户端的方位信息，对所述每路音频信号进行左路延迟调整和右路 延迟调整，生成对应所述每路首频?目号的左右两路首频/[目号；
[0010]接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
[0011]结合第一方面，在第一种可能的实现方式中，所述根据所述每路音频信号的声源相对于所述用户端的方位信息，对每路音频信号进行左路延迟调整和右路延迟调整，包括:
[0012]根据所述每路音频信号的声源相对于所述用户端的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ；[0013]根据所述每路音频信号的左路延迟和右路延迟，对所述每路音频信号进行左路延迟调整和右路延迟调整。
[0014]结合第一方面或者第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理的步骤之前，还包括:
[0015]获取所述任意一路音频信号的声源的移动方向；
[0016]根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频 信号对应的左右两路音频信号的压缩或者扩张比率。
[0017]结合第一方面第二种可能的实现方式，在第三种可能的实现方式中，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息；
[0018]所述米用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理的步骤之前，还包括:
[0019]根据所述声源要移动到的目标位置的方位信息，计算所述移动的任意一路音频信号在目标位直的左路延迟和右路延迟。
[0020]结合第一方面第三种可能的实现方式，在第四种可能的实现方式中，所述根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率，包括:
[0021]获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间，并根据所述距离和时间计算所述移动的任意一路音频信号的声源的移动速度；
[0022]根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率；
[0023]根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子；
[0024]根据所述计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
[0025]结合第一方面第三种可能的实现方式，在第五种可能的实现方式中，所述处理方法还包括:
[0026]持续检测所述左右两路音频信号的左路延迟和右路延迟，当检测到的左右两路音频?目号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
[0027]结合第一方面，在第六种可能的实现方式中，所述获取至少一路音频信号的步骤之后，还包括:
[0028]获取所述至少一路音频信号中每个音频信号的信号强度；
[0029]将所述获取的每路音频信号的信号强度调整到预置的信号强度范围。
[0030]本发明实施例第二方面提供一种用户端，包括:
[0031]获取单元，用于获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息；
[0032]信号调整单元，用于根据所述获取单元获取的每路音频信号的声源相对于所述用户端的方位/[目息，对每路首频/[目号进行左路延迟调整和右路延迟调整，生成对应每路首频信号的左右两路音频信号；
[0033]接收单元，用于接收所述至少一路音频信号中任意一路音频信号的声源移动的消息；
[0034]信号处理单元，用于在所述接收单元接收到所述声源移动的消息后，采用不同的比率对所述信号调整单元调整的移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
[0035]结合第二方面，在第一种可能的实现方式中，所述信号调整单元包括:第一计算子单元和信号调整子单元；
[0036]第一计算子单元，用于根据所述每路音频信号的声源相对于所述用户端的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ；
[0037]信号调整子单元，用于根据所述第一计算子单元计算出的每路音频信号的左路延迟和右路延迟，对所述每路音频信号进行左路延迟调整和右路延迟调整。
[0038]结合第二方面或者第二方面第一种可能的实现方式，在第二种可能的实现方式中，所述用户端还包括计算单元，
[0039]所述获取单元，用于获取所述任意一路音频信号的声源的移动方向；
[0040]所述计算单元，用于根据所述获取单元获取的声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
[0041]结合第二方面第二种可能的实现方式，在第三种可能的实现方式中，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息时，
[0042]所述获取单元，还用于获取所述目标位置相对于所述用户端的方位信息；
[0043]所述计算单元，还用于根据所述获取单元获取的声源要移动到的目标位置相对于所述用户端的方位信息，计算所述移动的任意一路音频信号在目标位置的左路延迟和右路延迟。
[0044]结合第二方面第三种可能的实现方式，在第四种可能的实现方式中，所述信号处理单元包括:获取子单元、第二计算子单元和确定子单元；
[0045]所述获取子单元，用于获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间；
[0046]所述第二计算子单元，用于根据所述获取子单元获取的距离和时间计算所述移动的任意一路音频信号的声源的移动速度，并根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率，再根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子；
[0047]所述确定子单元，用于根据所述第二计算子单元计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述获取子单元获取的声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
[0048]结合第二方面第三种可能的实现方式，在第五种可能的实现方式中，所述用户端还包括检测单元和控制单元，
[0049]所述检测单元，用于持续检测所述左右两路音频信号的左路延迟和右路延迟；
[0050]所述控制单元，用于当所述检测单元检测到的左右两路音频信号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
[0051]结合第二方面，在第六种可能的实现方式中，
[0052]所述获取单元，还用于获取获取所述至少一路音频信号中每个音频信号的信号强度；
[0053]信号调整单元，还用于将所述获取单元获取的每路音频信号的信号强度调整到预置的信号强度范围。
[0054]本发明实施例第三方面提供种计算机存储介质，所述计算机存储介质存储有程序，所述程序执行时包括上述所述音频信号的处理方法的部分或者全部的步骤。
[0055]本发明实施例第四方面提供一种信号处理装置，包括:输入装置、输出装置、存储器和处理器；
[0056]其中，所述处理器执行如下步骤:
[0057]获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的信号处理装置的方位信息；
[0058]根据所述每路音频信号的声源相对于所述信号处理装置的方位信息，对所述每路首频?目号进行左路延迟调整和右路延迟调整，生成对应所述每路首频?目号的左右两路首频信号;
[0059]接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
[0060]结合第四方面，在第一种可能的实现方式中，所述处理器具体执行如下步骤:
[0061]根据所述每路音频信号的声源相对于所述信号处理装置的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ；
[0062]根据所述每路音频信号的左路延迟和右路延迟，对所述每路音频信号进行左路延迟调整和右路延迟调整。
[0063]结合第四方面或者第四方面第一种可能的实现方式，在第二种可能的实现方式中，所述处理器还执行如下步骤:
[0064]获取所述任意一路音频信号的声源的移动方向，根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
[0065]结合第四方面第二种可能的实现方式，在第三种可能的实现方式中，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息；
[0066]所述处理器还执行如下步骤:
[0067]根据所述声源要移动到的目标位置的方位信息，计算所述移动的任意一路音频信号在目标位直的左路延迟和右路延迟。[0068]结合第四方面第三种可能的实现方式，在第四种可能的实现方式中，
[0069]所述处理器具体执行如下步骤:
[0070]获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间，并根据所述距离和时间计算所述移动的任意一路音频信号的声源的移动速度；
[0071]根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率；
[0072]根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子；
[0073]根据所述计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
[0074]结合第四方面第三种可能的实现方式，在第五种可能的实现方式中，
[0075]所述处理器还执行如下步骤:
[0076]持续检测所述左右两路音频信号的左路延迟和右路延迟，当检测到的左右两路音频?目号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
[0077]结合第四方面，在第六种可能的实现方式中，
[0078]所述处理器还执行如下步骤:·[0079]获取所述至少一路音频信号中每个音频信号的信号强度；
[0080]将所述获取的每路音频信号的信号强度调整到预置的信号强度范围。
[0081]本发明实施例第五方面提供一种信号处理系统，包括:声源和收听声源的音频信号的用户端；
[0082]所述声源用于发出音频信号；
[0083]所述用户端为上述技术方案所述的任意一个用户端。
[0084]本发明实施例采用根据每路音频信号的声源相对于收听该路音频信号的用户端的方位/[目息，对该路首频/[目号进行左路延迟调整和右路延迟调整，生成对应所述每路首频信号的左右两路音频信号；当某一路音频信号的声源移动时，采用不同的比率对这路移动的音频信号对应的左右两路音频信号进行压缩或者扩张处理，使该移动的左右两路音频信号的延迟分别平滑变化。与现有技术中ITD跳变导致信号失真相比，本发明实施例提供的音频信号的处理方法，可以使移动的音频信号对应的左右两路音频信号的延迟平滑变化，从而使ITD平滑变化，避免了信号失真。
【专利附图】
【附图说明】
[0085]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0086]图1是本发明实施中音频信号的处理方法的一实施例示意图；
[0087]图2是本发明实施例中应用场景的一实施例示意图；[0088]图3是本发明实施例中用户端的一实施例示意图；
[0089]图4是本发明实施例中用户端的另一实施例示意图；
[0090]图5是本发明实施例中用户端的另一实施例示意图；
[0091]图6是本发明实施例中用户端的另一实施例示意图；
[0092]图7是本发明实施例中用户端的另一实施例示意图；
[0093]图8是本发明实施例中信号处理装置的一实施例示意图；
[0094]图9是本发明实施例中信号处理系统的一实施例不意图。
【具体实施方式】
[0095]本发明实施例提供一种音频信号的处理方法，可以使移动音频信号对应的左右两路信号的延迟平滑变化，从而使ITD平滑变化，避免信号失真。本发明实施例还提供相应的装置及系统。以下分别进行详细说明。
[0096]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0097]本发明的音频信号的处理方法和装置可以应用于会议系统，该会议系统可以是音频会议系统或视频会议系统。会议系统的媒体服务器接收所有参会者通过用户端发送的语音流，将所有用户端的码率合成一个大包或者多个小包的形式下发，这样对于每个参会者都能收到其它参会者的码率。当一个用户端收到媒体服务器转发过来的多码流后，缓冲网络码流，并解码产生音频数据，对每个参与者通过场景控制来分配每个参与者的位置，并和视频及其它表示该参与者的信息对应起来。每个参与者生成左右两路音频信号，最后所有的左右两路首频彳目号分别相加完成混首。
[0098]参阅图1，本发明实施例提供的音频信号的处理方法的一实施例包括:
[0099]101、获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息。
[0100]本发明实施例中可以将收听每路音频信号的用户端作为半圆的圆心，将声源分布到半圆的边上，声源相对于所述用户端的方位信息可以为声源所在的半径与圆边上O度角所在半径的夹角。
[0101]102、根据所述每路音频信号的声源相对于所述用户端的方位信息，对所述每路音频?目号进行左路延迟调整和右路延迟调整，生成对应所述每路首频?目号的左右两路首频/[目号。
[0102]每个所述用户端都有左右两路接收通道，根据方位信息计算每路音频信号到左右两个通道的左路延迟Left Delay和右路延迟Right Delay。
[0103]当声源所在的半径与O度角所在的半径的夹角为Θ时，计算出第一延迟Delayl和第二延迟Delay2。
[0104]Delayl=MaxDelayl*|cos(θ ) ;Delay2=MaxDelay2*|cos(θ )
[0105]Delayl<Delay2.[01 06]当声源在所述用户端左边方位的时候，[0107]Left Delay=Delay I ；Right Delay=Delay2 ；
[0108]当声源在所述用户端右边方位的时候，
[0109]Left Delay=Delay2;Right Delay=Delay I ；
[0110]其中，[MaxDelayl，MaxDelay2]是最左边O度角位置的声源的音频信号的左路延迟和右路延迟；[MaxDelay2，MaxDelayl]是最右边180度角位置的声源的音频信号的左路延迟和右路延迟。
[0111]声源正前方90度角的位置的声源的音频信号的左路延迟和右路延迟都分别为O。
[0112]也就是说，[MaxDelayl,MaxDelay2]是声源从正前方90度角的位置移动到最左，O度角的位置，左路延迟和右路延迟的变化。
[0113][MaxDelay2, MaxDelayl]是声源从正前方90度角的位置移动到最右，180度角的位置，路延迟和右路延迟的变化。
[0114]根据每路首频/[目号的左路延迟和右路延迟对该路首频/[目号进行调整，生成对应每路音频信号的左右两路音频信号。
[0115]每路音频信号到两路接收通道的双耳时间差ITD=Left Delay-Right Delay
[0116]103、接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
[0117]当因ITD为左右延迟与右路延迟的差值，所以当左右延迟采用不同的比率平滑变化时，从ITD也随着平滑变化。
[0118]本发明实施例采用获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息；根据所述每路音频信号的声源相对于所述用户端的方位信息，对所述每路音频信号进行左路延迟调整和右路延迟调整，生成对应所述每路音频信号的左右两路音频信号；接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。与现有技术中ITD跳变导致信号失真相比，本发明实施例提供的音频信号的处理方法，可以使移动的音频信号对应的左右两路音频信号的延迟平滑变化，从而使ITD平滑变化，避免了信号失真。
[0119]可选地，在上述图1对应的实施例的基础上，本发明实施例提供的音频信号的处理方法的另一实施例中，
[0120]所述根据所述每路音频信号的声源相对于所述用户端的方位信息，对每路音频信号进彳了左路延迟调整和右路延迟调整，包括:
[0121]根据所述每路音频信号的声源相对于所述用户端的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ；
[0122]根据所述每路音频信号的左路延迟和右路延迟，对所述每路音频信号进行左路延迟调整和右路延迟调整。
[0123]可选地，在上述图1及图1对应的可选实施例的基础上，本发明实施例提供的音频信号的处理方法的另一实施例中，
[0124]所述采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理的步骤之前，还包括:
[0125]获取所述任意一路音频信号的声源的移动方向；
[0126]根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
[0127]可选地，在上述可选实施例的基础上，本发明实施例提供的音频信号的处理方法的另一实施例中，
[0128]所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息；
[0129]所述采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理的步骤之前，还包括:
[0130]根据所述声源要移动到的目标位置的方位信息，计算所述移动的任意一路音频信号在目标位直的左路延迟和右路延迟。
[0131]可选地，在上述可选实施例的基础上，本发明实施例提供的音频信号的处理方法的另一实施例中，
[0132]所述根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率，包括:
[0133]获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间，并根据所述距离和时间计算所述移动的任意一路音频信号的声源的移动速度；
[0134]根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率；
[0135]根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子；
[0136]根据所述计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
[0137]本发明实施例中，声源是向靠近90度的方向移动，还是向远离90度的方向移动，可以设定向靠近靠近90度的方向移动是压缩，向远离90度的方向移动是扩张，压缩的比率小于I，扩张的比率大于I。
[0138]如:比率的计算公式可以为:Ratio=L 0+direct*v/c*f0/f ;或者Ratio=L 0+direct*v/c*f0/f*|cos (θ) | ；
[0139]其中，V:声源移动速度；c:声波的速度，340m/s ；f0:声源的高度，如IkHz ；f:是采样率，f取值通常为8kHz、16kHz、32kHz ；direct:表示运动的方向，I表示离开所述用户端，-1表示靠近所述用户端。
[0140]可以先获取声源从原来位置到目标位置的举例和时间，设定声源时匀速运动，可以计算出声源的移动速度。
[0141]然后计算左右两路调整比率，左路调整比率Rl=Ratio土 δ ；右路调整比率Rr=Ratio+ δ ;其中 δ =0.5* | (ITD2-1TD1) /Times/f ；
[0142]其中ITDl表示第一位置的双耳时间差，ITD2表示第二位置的双耳时间差，Times表示从第一位置移动到第二位置的时间，f:是采样率，f取值通常为8kHz、16kHz、38kHz ；direct。
[0143]当声源在所述用户端的左边的时候Rl=Ratio-δ ；Rr=Ratiο+ δ ；
[0144]当声源在所述用户端的右边的时候Rl=Ratio+δ ；Rr=Ratiο- δ ；
[0145]当声源从左边变化到中间的时候，Rl=Ratio ;Rr=Ratio+δ ；
[0146]当声源从右边变化到中间的时候，Rl=Ratio+δ ；Rr=Ratiο ；
[0147]可选地，在上述图1对应的实施例的基础上，本发明实施例提供的音频信号的处理方法的另一实施例中，还包括:
[0148]持续检测所述左右两路首频彳目号的左路延迟和右路延迟，当检测到的左右两路首频?目号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
[0149]可选地，在上述图1对应的实施例的基础上，本发明实施例提供的音频信号的处理方法的另一实施例中，所述获取至少一路音频信号的步骤之后，还包括:
[0150]获取所述至少一路音频信号中每个音频信号的信号强度；
[0151]将所述获取的每路音频信号的信号强度调整到预置的信号强度范围。
[0152]以上多个实施例提供的技术方案，都可以使ITD平滑变化，避免信号失真。
[0153]实际上，还可以根据Θ计算音频信号的左路增益GainL和右路增益GainR，
[0154]GainL=Cos(Θ/2)· ；GainR=sin(θ/2)；
[0155]IID=GainL/GainR ；
[0156]当频段较高时，可以通过方位信息Θ来调整信号的IID。
[0157]为了便于理解，下面以一个具体的应用场景为例，详细的说明本发明实施例中音频信号的处理过程:
[0158]参阅图2，声源最初的位置在60度的位置，目标位置为90度的位置，设MaxDe I ay I =48 ;MaxDelay2=72,在 60 度位置计算出:
[0159]Delayl=MaxDelayl*|cos(θ) =48*0.5=24 ；
[0160]Delay2=MaxDelay2*I cos(Θ) =72*0.5=36 ；
[0161]声源在所述用户端的左边，所以Left Delay=Delay 1=24 ；RightDeIay=Delay2=36 ；
[0162]在60度位置左右两声道的ITD=24-36=_12 ；
[0163]从60度位置开始，所述用户端接收到该路音频信号移动的消息，移动消息中携带声源要移动到的目标位置的方位信息为90度，计算目标位置的音频信号的左路延迟和右路延迟，计算结果分别为0，ITD也为O ;
[0164]声源开始移动，所述用户端确定声源的移动方向为靠近90，确定采用压缩处理，计算音频信号的左路压缩比率和右路压缩比率；
[0165]设声源的移动速度为170m/s, fO=4kHz, f = 16kHz, Times=12s ；
[0166]Ratio=L 0+direct*v/c*f0/f = 1.0-170/340*4/16=1.0-1/8 ；
[0167]δ=0.5*I (ITD2-1TD1) |/Times/f = 0.5*12/12/16=1/32 ；
[0168]声源在所述用户端的左边，所以左路比率比率用Rl表示，右路比率用Rr表示:
[0169]Rl=Ratio- δ =1.0-1/8-1/32=27/32;
[0170]Rr=Ratio+δ=1.0-1/8+1/32=29/32 ；[0171]声源运动过程中按照Rl和Rr对左右两路音频信号分别进行压缩，也使左右两路延迟逐渐发生变化，当检查到左路延迟变为0，右路延迟也变为O时，即可判断出声源已到达90位置，停止对左右两路音频信号的压缩处理。
[0172]在声源移动过程中，左路信号延迟从24逐渐变化到0，右路信号延迟从36逐渐变化到0，从而使ITD从-12逐渐变化到0，避免了信号失真。
[0173]参阅图3，本发明实施例提供的用户端的一实施例包括:
[0174]获取单元201，用于获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息；
[0175]信号调整单元202，用于根据所述获取单元201获取的每路音频信号的声源相对于所述用户端的方位信息，对每路音频信号进行左路延迟调整和右路延迟调整，生成对应每路首频彳目号的左右两路首频/[目号；
[0176]接收单元203，用于接收所述至少一路音频信号中任意一路音频信号的声源移动的消息；
[0177]信号处理单元204，用于在所述接收单元203接收到所述声源移动的消息后，采用不同的比率对所述信号调整单元202调整的移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
[0178]本发明实施例中，获取单元201获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息；信号调整单元202根据所述获取单元201获取的每路音频信号的声源相对于所述用户端的方位信息，对每路首频/[目号进行左路延迟调整和右路延迟调整，生成对应每路首频/[目号的左右两路音频信号；接收单元203接收所述至少一路音频信号中任意一路音频信号的声源移动的消息；信号处理单元204在所述接收单元203接收到所述声源移动的消息后，采用不同的比率对所述信号调整单元202调整的移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。与现有技术相比，本发明实施例提供的用户端可以采用不同的比率处理左右两路音频信号，使左右两路延迟平滑变化，从而使ITD平滑变化，避免了信号失真。
[0179]在上述图3对应的实施例的基础上，参阅图4，本发明实施例提供的用户端的另一实施例中，所述信号调整单元包括:第一计算子单元2021和信号调整子单元2022 ；
[0180]第一计算子单元2021，用于根据所述每路音频信号的声源相对于所述用户端的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ；
[0181]信号调整子单元2022，用于根据所述第一计算子单元2021计算出的每路音频信号的左路延迟和右路延迟，对所述每路首频彳目号进打左路延迟调整和右路延迟调整。
[0182]在上述图3对应的实施例的基础上，参阅图5，本发明实施例提供的用户端的另一实施例还包括计算单元205,
[0183]所述获取单元201，用于获取所述任意一路音频信号的声源的移动方向；
[0184]所述计算单元205，用于根据所述获取单元201获取的声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
[0185]在上述图5对应的实施例的基础上，本发明实施例提供的用户端的另一实施例中，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息时，
[0186]所述获取单元201，还用于获取所述目标位置相对于所述用户端的方位信息；
[0187]所述计算单元205，还用于根据所述获取单元201获取的声源要移动到的目标位置相对于所述用户端的方位信息，计算所述移动的任意一路音频信号在目标位置的左路延迟和右路延迟。
[0188]在上述图5对应的实施例的基础上，参阅图6，本发明实施例提供的用户端的另一实施例中，所述信号处理单元包括:获取子单元2041、第二计算子单元2042和确定子单元2043 ；
[0189]所述获取子单元2041，用于获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间；
[0190]所述第二计算子单元2042，用于根据所述获取子单元2041获取的距离和时间计算所述移动的任意一路音频信号的声源的移动速度，并根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率，再根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子；
[0191]所述确定子单元2043，用于根据所述第二计算子单元2042计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述获取子单元获取的声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
[0192]在上述图5对应的实施例的基础上，参阅图7，本发明实施例提供的用户端的另一实施例还包括:检测单元206和控制单元207,
[0193]所述检测单元206，用于持续检测所述左右两路音频信号的左路延迟和右路延迟；
[0194]所述控制单元207，用于当所述检测单元206检测到的左右两路音频信号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
[0195]在上述图3对应的实施例的基础上，本发明实施例提供的用户端的另一实施例中，
[0196]所述获取单元201，还用于获取获取所述至少一路音频信号中每个音频信号的信号强度；
[0197]信号调整单元202，还用于将所述获取单元201获取的每路音频信号的信号强度调整到预置的信号强度范围。
[0198]本发明实施例还提供了一种计算机存储介质，该计算机存储介质存储有程序，程序执行时包括上述音频信号处理中的部分或者全部步骤。
[0199]参阅图8，本发明实施例提供的信号处理装置的一实施例包括:输入装置100、输出装置200、存储器300和处理器400 ；
[0200]输入装置100、输出装置200、存储器300和处理400可以通过总线或者其他方式
连接；[0201]其中，所述处理器400执行如下步骤:
[0202]获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的信号处理装置的方位信息；
[0203]根据所述每路音频信号的声源相对于所述信号处理装置的方位信息，对所述每路首频?目号进行左路延迟调整和右路延迟调整，生成对应所述每路首频?目号的左右两路首频信号;
[0204]接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一 路音频信号对应的左右两路音频信号的延迟分别平滑变化。
[0205]在本发明的一些实施例中，所述处理器400具体执行如下步骤:
[0206]根据所述每路音频信号的声源相对于所述信号处理装置的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ；
[0207]根据所述每路音频信号的左路延迟和右路延迟，对所述每路音频信号进行左路延迟调整和右路延迟调整。
[0208]在本发明的一些实施例中，所述处理器400还执行如下步骤:
[0209]获取所述任意一路音频信号的声源的移动方向，根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
[0210]在本发明的一些实施例中，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息；
[0211 ] 所述处理器400还执行如下步骤:
[0212]根据所述声源要移动到的目标位置的方位信息，计算所述移动的任意一路音频信号在目标位直的左路延迟和右路延迟。
[0213]在本发明的一些实施例中，所述处理器400具体执行如下步骤:
[0214]获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间，并根据所述距离和时间计算所述移动的任意一路音频信号的声源的移动速度；
[0215]根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率；
[0216]根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子；
[0217]根据所述计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
[0218]在本发明的一些实施例中，所述处理器400还执行如下步骤:
[0219]持续检测所述左右两路首频彳目号的左路延迟和右路延迟，当检测到的左右两路首频?目号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
[0220]在本发明的一些实施例中，所述处理器400还执行如下步骤:[0221]获取所述至少一路音频信号中每个音频信号的信号强度；
[0222]将所述获取的每路音频信号的信号强度调整到预置的信号强度范围。
[0223]参阅图9，本发明实施例还提供了信号处理系统的一实施例，包括:声源10和收听声源的音频信号的用户端20;
[0224]所述声源10，用于发出音频信号；
[0225]所述用户端20，用于获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息；根据所述每路音频信号的声源相对于所述用户端的方位信息，对所述每路音频信号进行左路延迟调整和右路延迟调整，生成对应所述每路音频信号的左右两路音频信号；接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
[0226]本实施例中的用户端也可以是声源，声源也可以具有用户端的功能。
[0227]如:在一个会议系统中，有6个用户端，在讲话时，该用户端充当声源，在收听时，该用户端具有本发明实施例中的用户端的功能。
[0228]当其中的一个用户端收听其他5个用户端发言时，可以模拟将收听的用户端放在圆心位置，其他五个发言的用户端放在半圆的圆边上，每个发言的用户端与该收听的用户端与O度角所在的半径都有一个夹角，该夹角为该发言的用户端相对于收听的用户端的方位信息。
[0229]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:ROM、RAM、磁盘或光盘等。
[0230]以上对本发明实施例所提供的音频信号的处理方法、装置以及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种音频信号的处理方法，其特征在于，包括: 获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息； 根据所述每路音频信号的声源相对于所述用户端的方位信息，对所述每路音频信号进行左路延迟调整和右路延迟调整，生成对应所述每路首频?目号的左右两路首频/[目号； 接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
2.根据权利要求1所述的处理方法，其特征在于，所述根据所述每路音频信号的声源相对于所述用户端的方位信息，对每路音频信号进行左路延迟调整和右路延迟调整，包括: 根据所述每路音频信号的声源相对于所述用户端的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ； 根据所述每路音频信号的左路延迟和右路延迟，对所述每路音频信号进行左路延迟调整和右路延迟调整。
3.根据权利要求1或2所述的处理方法，其特征在于，所述采用不同的比率对所述移动的任意一路音频信 号对应的左右两路音频信号进行压缩或者扩张处理的步骤之前，还包括: 获取所述任意一路音频信号的声源的移动方向； 根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
4.根据权利要求3所述的处理方法，其特征在于，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息； 所述采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理的步骤之前，还包括: 根据所述声源要移动到的目标位置的方位信息，计算所述移动的任意一路音频信号在目标位置的左路延迟和右路延迟。
5.根据权利要求4所述的处理方法，其特征在于， 所述根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率，包括: 获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间，并根据所述距离和时间计算所述移动的任意一路音频信号的声源的移动速度； 根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率； 根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子； 根据所述计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
6.根据权利要求4所述的处理方法，其特征在于，还包括: 持续检测所述左右两路首频/[目号的左路延迟和右路延迟，当检测到的左右两路首频/[目号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
7.根据权利要求1所述的处理方法，其特征在于，所述获取至少一路音频信号的步骤之后，还包括: 获取所述至少一路音频信号中每个音频信号的信号强度； 将所述获取的每路音频信号的信号强度调整到预置的信号强度范围。
8.一种用户端，其特征在于，包括: 获取单元，用于获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的用户端的方位信息； 信号调整单元，用于根据所述获取单元获取的每路音频信号的声源相对于所述用户端的方位/[目息，对每路首频/[目号进行左路延迟调整和右路延迟调整，生成对应每路首频/[目号的左右两路首频/[目号； 接收单元，用于接收所述至少一路音频信号中任意一路音频信号的声源移动的消息； 信号处理单元，用于在所述接收单元接收到所述声源移动的消息后，采用不同的比率对所述信号调整单元调整的移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
9.根据权利要求8所述的用户端，其特征在于，所述信号调整单元包括:第一计算子单元和信号调整子单元； 第一计算子单元，用于根据所述每路音频信号的声源相对于所述用户端的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ； 信号调整子单元，用于根据所述第一计算子单元计算出的每路音频信号的左路延迟和右路延迟，对所述每路首频彳目号进打左路延迟调整和右路延迟调整。
10.根据权利要求8或9所述的用户端，其特征在于，所述用户端还包括计算单元， 所述获取单元，用于获取所述任意一路音频信号的声源的移动方向； 所述计算单元，用于根据所述获取单元获取的声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
11.根据权利要求10所述的用户端，其特征在于，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息时， 所述获取单元，还用于获取所述目标位置相对于所述用户端的方位信息； 所述计算单元，还用于根据所述获取单元获取的声源要移动到的目标位置相对于所述用户端的方位信息，计算所述移动的任意一路音频信号在目标位置的左路延迟和右路延迟。
12.根据权利要求11所述的用户端，其特征在于，所述信号处理单元包括:获取子单元、第二计算子单元和确定子单元；所述获取子单元，用于获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间； 所述第二计算子单元，用于根据所述获取子单元获取的距离和时间计算所述移动的任意一路音频信号的声源的移动速度，并根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率，再根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子； 所述确定子单元，用于根据所述第二计算子单元计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述获取子单元获取的声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
13.根据权利要求11所述的用户端，其特征在于，所述用户端还包括检测单元和控制单元， 所述检测单元，用于持续检测所述左右两路音频信号的左路延迟和右路延迟； 所述控制单元，用于当所述检测单元检测到的左右两路音频信号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路首频信号的压缩或者扩张。
14.根据权利要求8所述的用户端，其特征在于， 所述获取单元，还用于获取获取所述至少一路音频信号中每个音频信号的信号强度；信号调整单元，还用于将所述获取单元获取的每路音频信号的信号强度调整到预置的信号强度范围。
15.一种计算机存储介质，其特征在于， 所述计算机存储介质存储有程序，`所述程序执行时包括如权利要求1至7任意一项所述的步骤。
16.一种信号处理装置，其特征在于，包括:输入装置、输出装置、存储器和处理器； 其中，所述处理器执行如下步骤: 获取至少一路音频信号，并获取所述至少一路音频信号中每路音频信号的声源相对于收听所述每路音频信号的信号处理装置的方位信息； 根据所述每路音频信号的声源相对于所述信号处理装置的方位信息，对所述每路音频?目号进行左路延迟调整和右路延迟调整，生成对应所述每路首频?目号的左右两路首频/[目号; 接收到所述至少一路音频信号中任意一路音频信号的声源移动的消息后，采用不同的比率对所述移动的任意一路音频信号对应的左右两路音频信号进行压缩或者扩张处理，使所述移动的任意一路音频信号对应的左右两路音频信号的延迟分别平滑变化。
17.根据权利要求16所述的信号处理装置，其特征在于， 所述处理器具体执行如下步骤: 根据所述每路音频信号的声源相对于所述信号处理装置的方位信息，计算所述每路音频信号的左路延迟和右路延迟，所述左路延迟与所述右路延迟的差值为双耳时间差ITD ；根据所述每路音频信号的左路延迟和右路延迟，对所述每路音频信号进行左路延迟调整和右路延迟调整。
18.根据权利要求16或17所述的信号处理装置，其特征在于，所述处理器还执行如下步骤: 获取所述任意一路音频信号的声源的移动方向，根据所述声源的移动方向和所述声源相对于所述用户端的方位信息，计算所述移动的任意一路音频信号对应的左右两路音频信号的压缩或者扩张比率。
19.根据权利要求18所述的信号处理装置，其特征在于，所述声源移动的消息中携带所述声源要移动到的目标位置相对于所述用户端的方位信息； 所述处理器还执行如下步骤: 根据所述声源要移动到的目标位置的方位信息，计算所述移动的任意一路音频信号在目标位置的左路延迟和右路延迟。
20.根据权利要求19所述的信号处理装置，其特征在于， 所述处理器具体执行如下步骤: 获取所述移动的任意一路音频信号的声源从原始位置到达目标位置的距离和时间，并根据所述距离和时间计算所述移动的任意一路音频信号的声源的移动速度； 根据所述声源的移动方向和所述移动速度计算所述任意一路音频信号的压缩或者扩张的比率； 根据目标位置的ITD、原来位置的ITD和所述时间计算所述压缩或者扩张比率的微调因子； 根据所述计算出的所述任意一路音频信号的压缩或者扩张的比率和所述压缩或者扩张比率的微调因子以及所述声源的移动方向，确定所述左右两路音频信号的压缩或者扩张比率。
21.根据权利要求19所述的信号处理装置，其特征在于， 所述处理器还执行如下步骤: 持续检测所述左右两路首频/[目号的左路延迟和右路延迟，当检测到的左右两路首频/[目号的左路延迟和右路延迟与目标位直的左右两路首频彳目号的左路延迟和右路延迟相等时，停止对所述左右两路音频信号的压缩或者扩张。
22.根据权利要求16所述的信号处理装置，其特征在于， 所述处理器还执行如下步骤: 获取所述至少一路音频信号中每个音频信号的信号强度； 将所述获取的每路音频信号的信号强度调整到预置的信号强度范围。
23.一种信号处理系统，其特征在于，包括:声源和收听声源的音频信号的用户端； 所述声源用于发出音频信号； 所述用户端为上述权利要求8~14的任意一个用户端。
【文档编号】H04S7/00GK103796150SQ201210424009
【公开日】2014年5月14日 申请日期:2012年10月30日 优先权日:2012年10月30日
【发明者】吴文海, 王田, 张德军, 王凤玲 申请人:华为技术有限公司