一种波束形成方法、装置、设备和存储介质与流程
本申请涉及智能音箱等产品波束形成技术领域，更具体地说，涉及一种波束形成方法、装置、设备和一种计算机可读存储介质。
背景技术：
随着5g的问世，波束形成技术也成为了当下发展的热点之一。所谓的波束形成(beamforming)，亦称空域滤波，是阵列信号处理的一个主要方面。技术理论框图如图1所示，其本质是通过对各阵元加权进行空域滤波，阵列的输出经过加权求和后，可以在一定时间内将阵列波束“导向”到一个方向，来达到增强期望信号、抑制干扰的目的，计算公式如下：
技术实现要素：
本申请的目的在于提供一种波束形成方法、装置、设备和一种计算机可读存储介质，能够有效调节波束形成的指向性。
为实现上述目的，本申请提供了一种波束形成方法，包括：
采集各个声道的声音信号；
结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道；
以所述目标声道为导向进行波束形成。
可选的，所述结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道，包括：
确定所述声音信号与所述aec检测信号的相关系数，并基于所述相关系数在所述声音信号中确定候选声道；
利用所述aec检测信号确定目标频域范围，根据所述目标频域范围从所述候选声道中选择所述目标声道。
可选的，所述结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道，包括：
利用所述aec检测信号确定目标频域范围，根据所述目标频域范围在所述声音信号中确定候选声道；
确定所述声音信号与所述aec检测信号的相关系数，并基于所述相关系数从所述候选声道中选择所述目标声道。
可选的，所述确定所述声音信号与所述aec检测信号的相关系数，包括：
基于第一公式计算所述声音信号与所述aec检测信号的相关系数，所述第一公式为：
其中，x和y分别为所述声音信号与所述aec检测信号在当前时间节点的时域值，cov(x,y)为x和y的协方差，var表示方差，ρxy为相关系数；
当确定所述候选声道时，将所述相关系数大于第一阈值的声道确定为所述候选声道；
当确定所述目标声道时，将所述相关系数最大的候选声道确定为所述目标声道。
可选的，在所述确定所述声音信号与所述aec检测信号的相关系数之后，还包括：
判断各个所述声音信号对应的所述相关系数中是否存在大于第二阈值的系数；
如果是，则允许执行将所述相关系数最大的候选声道确定为所述目标声道的步骤；
如果否，则结束当前工作进程，禁止执行将所述相关系数最大的候选声道确定为所述目标声道的步骤。
可选的，所述利用所述aec检测信号确定目标频域范围，包括：
对所述aec检测信号进行频域划分，并计算各个频段的第一能量占比；
将所述第一能量占比大于第三阈值的频段确定为所述目标频域范围，并计算各个声道在所述目标频域范围的第二能量占比；
当确定所述候选声道时，将所述第二能量占比大于第四阈值的声道确定为所述候选声道；
当确定所述目标声道时，将所述第二能量占比中最大能量占比对应的候选声道作为所述目标声道。
可选的，在所述计算各个所述候选声道在所述目标频域范围的第二能量占比之后，还包括：
判断各个所述候选声道对应的第二能量占比中是否存在大于第五阈值的能量占比；
如果是，则允许执行将所述第二能量占比中最大能量占比对应的候选声道作为所述目标声道的步骤；
如果否，则结束当前工作进程，禁止执行将所述第二能量占比中最大能量占比对应的候选声道作为所述目标声道的步骤。
可选的，所述以所述目标声道为导向进行波束形成，包括：
根据各个声道与所述目标声道的声程差计算各个声道对应的补偿参数；
根据各声道对应的补偿参数通过反比例运算调整权重系数，以使波束形成指向目标声道，形成目标波束。
为实现上述目的，本申请提供了一种波束形成装置，包括：
信号采集模块，用于采集各个声道的声音信号；
声道确定模块，用于结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道；
波束形成模块，用于以所述目标声道为导向进行波束形成。
为实现上述目的，本申请提供了一种波束形成设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现前述公开的任一种波束形成方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述公开的任一种波束形成方法的步骤。
通过以上方案可知，本申请提供的一种波束形成方法，包括：采集各个声道的声音信号；结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道；以所述目标声道为导向进行波束形成。由上可知，本申请在采集到各个声道的声音信号之后，可以选择与aec检测信号关联度高或/和能量分布接近的声音信号确定为目标声道，以便将目标声道作为导向进行波束形成，即本申请能够结合aec检测信号动态调整目标方向，从而有效调节波束形成的指向性，使阵列接收信号达到更优的指向性效果。
本申请还公开了一种波束形成装置、设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为传统技术中波束形成的技术理论框图；
图2为本申请实施例公开的一种波束形成方法的流程图；
图3为一种具体的aec回声消除技术的理论框图；
图4、图5为本申请实施例公开的另一种波束形成方法的流程图；
图6为本申请实施例公开的又一种波束形成方法的流程图；
图7为本申请实施例公开的一种波束形成装置的结构图；
图8为本申请实施例公开的一种波束形成设备的结构图；
图9为本申请实施例公开的另一种波束形成设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在相关技术中，波束形成的本质是通过对各阵元加权进行空域滤波，阵列的输出经过加权求和后，可以在一定时间内将阵列波束“导向”到一个方向，来达到增强期望信号、抑制干扰的目的，然而，针对固定阵列输入的固定信号，波束形成的输出结果完全由权重系数hi决定。在实际应用中，期望信号的方向通常是未知的，因此选择合适的权重系数是波束形成技术的关键所在。
因此，本申请实施例公开了一种波束形成方法，能够有效调节波束形成的指向性。
参见图2所示，本申请实施例公开的一种波束形成方法包括：
s101：采集各个声道的声音信号；
本申请实施例中，可以利用麦克风采集各个声道的声音信息。针对智能音箱等产品，通常存在多通道麦克风阵列，每个麦克风对应一个声道，由于各个麦克风声程差的不同，导致其接收信号相位差也存在不同。麦克风接收的信号中包括回声信号、噪声干扰信号和目标信号。
s102：结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道；
在本步骤中，可以结合aec(acousticechocancellation，回声消除)检测信号，即aec中的扬声器输出信号，从声音信号中选择与aec检测信号关联度较高或/和能量分布较接近的声音信号，以确定目标声道。图3为aec回声消除技术的理论框图，参见图3所示，回声的主要来源是麦克风经过墙壁等大部件的反射传导，回声消除技术即为在接收信号中根据输出信号的成分进行检测和消除。
需要说明的是，本申请实施例可以通过关联度和能量分布中任一数据进行目标声道的选择。即可以选取声音信号中与aec检测信号关联度最高的作为目标声道，或选取声音信号中与aec检测信号能量分布最接近的作为目标声道。
作为一种优选的实施方式，为了提高准确度，可以结合关联度和能量分布两种数据进行目标声道的选择。在一种可行的实施方式中，可以先选取声音信号中与aec检测信号关联度较高的若干声音信号作为候选声道，进而选取候选声道中与aec检测信号能量分布最接近的作为目标声道；在另外一种可行的实施方式中，可以先选取声音信号中与aec检测信号能量分布较接近的若干声音信号作为候选声道，进而选取候选声道中与aec检测信号关联度较高的作为目标声道。
s103：以所述目标声道为导向进行波束形成。
可以理解的是，基于上述确定的目标声道，本步骤将以目标声道作为导向进行波束形成。具体地，可以先确定各个声道与目标声道之间的声程差，并进一步根据各个声道与目标声道的声程差，通过相位补偿或时间补偿的方式计算各个声道对应的补偿参数，由此可基于各声道对应的补偿参数调整权重系数，以使波束形成指向目标声道，形成目标波束。
在具体实施中，根据各声道对应的补偿参数调整权重系数时，可以通过反比例运算进行计算，即补偿参数越大，权重参数越小。这是由于补偿参数越大，表征该声道距离目标声道越远，因此对应的权重参数应当越小；反之，补偿参数越小，表征该声道距离目标声道越近，则对应的权重参数应当越大。本申请实施例并不对具体的计算公式进行限定，只需满足补偿参数和权重系数的反比例关系即可。
通过以上方案可知，本申请提供的一种波束形成方法，包括：采集各个声道的声音信号；结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道；以所述目标声道为导向进行波束形成。由上可知，本申请在采集到各个声道的声音信号之后，可以选择与aec检测信号关联度高或/和能量分布接近的声音信号确定为目标声道，以便将目标声道作为导向进行波束形成，即本申请能够结合aec检测信号动态调整目标方向，从而有效调节波束形成的指向性，使阵列接收信号达到更优的指向性效果。
本申请实施例公开了另一种波束形成方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图4、图5所示，具体的：
s201：采集各个声道的声音信号；
s202：确定所述声音信号与所述aec检测信号的相关系数，并基于所述相关系数在所述声音信号中确定候选声道；
在具体实施中，可基于第一公式计算声音信号与aec检测信号的相关系数，相关系数用于表征声音信号和aec检测信号的关联程度。第一公式可以具体为：
进而可在各个声道中筛选出相关系数大于第一阈值的声道，将其确定为候选声道。优选的，由于接收信号中信号成分较多，上述第一阈值可以选择相对较小的阈值，以尽量保证不会有方向的泄露。当然，在具体实施过程中第一阈值可以根据需求进行设定，本实施例对此不进行具体限定。
s203：利用所述aec检测信号确定目标频域范围，根据所述目标频域范围从所述候选声道中选择所述目标声道；
具体地，本申请实施例可针对步骤s102筛选得到的候选声道进行进一步的频率成分能力分析。首先，可对aec检测信号进行频域划分，并计算各个频段的第一能量占比，进而可将第一能量占比大于第三阈值的频段确定为目标频域范围。例如，假设第三阈值为95％，若200～300hz的能量占比大于95％，则选择200～300hz作为目标频域范围；若100～200hz的能量占比为10％，200～300hz的能量占比为85％，则选择100～300hz作为目标频域范围。
进一步地，可根据上述确定的目标频域范围从候选声道中选择得到目标声道。首先可以计算各个候选声道在目标频域范围的第二能量占比，并选择第二能量占比中最大能量占比对应的声道作为目标声道。
需要指出的是，在计算各个候选声道在目标频域范围的第二能量占比之后，还可判断各个候选声道对应的第二能量占比中是否存在大于第五阈值的能量占比。若存在，则可进入后续选择最大能量占比以确定目标声道的流程；若不存在，则判定为无有效信号，可直接结束当前工作进程，无需进入后续确定目标声道的工作流程。
s204：以所述目标声道为导向进行波束形成。
可以理解的是，在确定目标信道后，可以目标信道为基准，对其余声道的信号进行相应的相位延迟和提前即可。具体可通过如下公式计算补偿角：
本申请实施例中，具体采用了应用于智能音箱等产品的基于回声检测的自适应波束形成技术，该技术可以有效的调节波束形成的指向性，使阵列接收信号方向指向使用者所需要的方向。在实际应用中，由于产品通常摆放在墙边，该方法的自适应波束形成效果更好。
本申请实施例公开了又一种波束形成方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图6所示，具体的：
s301：采集各个声道的声音信号；
s302：利用所述aec检测信号确定目标频域范围，根据所述目标频域范围在所述声音信号中确定候选声道；
本申请实施例中，可以对aec检测信号进行频域划分，计算各个频段的第一能量占比，并将第一能量占比大于第三阈值的频段确定为目标频域范围。进而可计算各个声音信号在目标频域范围的第二能量占比，将第二能量占比大于第四阈值的声道确定为候选声道。上述第四阈值可以选择相对较小的阈值，以尽量保证不会有方向的泄露。在具体实施过程中，第四阈值可以根据需求进行设定，本实施例对此不进行具体限定。
s303：确定所述声音信号与所述aec检测信号的相关系数，并基于所述相关系数从所述候选声道中选择所述目标声道；
在一种具体的实施方式中，本步骤可以基于上述第一公式计算声音信号与aec检测信号的相关系数，将相关系数最大的候选声道确定为目标声道。
需要指出的是，在计算各个声音信号与aec检测信号的相关系数之后，还可判断各个声音信号对应的相关系数中是否存在大于第二阈值的系数。若存在，则可进入后续将相关系数最大的候选声道确定为目标声道的流程；若不存在，则判定为无有效信号，可直接结束当前工作进程，无需进入后续确定目标声道的工作流程。
s304：以所述目标声道为导向进行波束形成。
下面对本申请实施例提供的一种波束形成装置进行介绍，下文描述的一种波束形成装置与上文描述的一种波束形成装置可以相互参照。
参见图7所示，本申请实施例提供的一种波束形成装置包括：
信号采集模块401，用于采集各个声道的声音信号；
声道确定模块402，用于结合aec检测信号，通过关联度或/和能量分布在所述声音信号中确定目标声道；
波束形成模块403，用于以所述目标声道为导向进行波束形成。
关于上述模块401至403的具体实施过程可参考前述实施例提供的相应内容，在此不再进行赘述。
本申请还提供了一种波束形成设备，参见图8所示，本申请实施例提供的一种波束形成设备包括：
存储器100，用于存储计算机程序；
处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的步骤。
具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器或其他数据处理芯片，为波束形成设备提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现前述任一实施例公开的波束形成方法的步骤。
在上述实施例的基础上，作为优选实施方式，参见图9所示，所述波束形成设备还包括：
输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。
显示单元400，与处理器200相连，用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode，有机发光二极管)触摸器等。
网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(mhl)、通用串行总线(usb)、高清多媒体接口(hdmi)、无线保真技术(wifi)、蓝牙通信技术、低功耗蓝牙通信技术、基于ieee802.11s的通信技术等。
图9仅示出了具有组件100-500的波束形成设备，本领域技术人员可以理解的是，图9示出的结构并不构成对波束形成设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本申请还提供了一种计算机可读存储介质，该存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一实施例公开的波束形成方法的步骤。
本申请在采集到各个声道的声音信号之后，可以选择与aec检测信号关联度高或/和能量分布接近的声音信号确定为目标声道，以便将目标声道作为导向进行波束形成，即本申请能够结合aec检测信号动态调整目标方向，从而有效调节波束形成的指向性，使阵列接收信号达到更优的指向性效果。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
- 还没有人留言评论。精彩留言会获得点赞！