一种音频质量增强的方法及装置与流程

本申请涉及音频处理技术领域，特别涉及一种音频质量增强的方法及装置。

背景技术：

随着科学技术的发展，各个领域对于音频质量的追求越来越高，音频研究的对象由最初的单路(mono)，逐渐过渡到立体声(stereo)、环绕声(surround)以及3D(3-dimensional)音频。不同于单路音频，多路音频通常是通过麦克风阵列得到的。对于3D音频，为了拾取各个方向的音频，通常为立体麦克风阵列，该阵列可以得到信号的水平方位角、垂直方位角和声源与麦克风阵列参考点距离的三维信息。

现有技术中，针对线性麦克风阵列和平面麦克风阵列的音频增强技术能够得到有效的效果。但是对于立体麦克风阵列，现有技术还不能达到有效的音频增强效果。

技术实现要素：

本申请的目的在于提供一种音频质量增强的方法及装置，能够有效地提升立体麦克风阵列的音频质量。

为实现上述目的，本申请一方面提供了一种音频质量增强的方法，所述方法包括：获取预设格式的音频信号；针对所述音频信号进行预处理，所述预处理包括计算所述音频信号中各路音频信号的平均信号和/或对所述音频信号进行波束成形处理；基于预处理得到的信号，对所述音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

进一步地，当所述预处理为计算所述音频信号中各路音频信号的平均信号，基于预处理得到的信号，对所述音频信号进行噪声抑制处理的步骤具体包括：根据所述平均信号，确定所述音频信号对应的噪声能量谱和信号能量谱；根据所述噪声能量谱和信号能量谱，对所述音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

进一步地，当所述预处理为对所述音频信号进行波束成形处理时，基于预处理得到的信号，对所述音频信号进行噪声抑制处理的步骤具体包括：分别利用第一导向矢量以及与所述第一导向矢量方向相反的第二导向矢量对所述音频信号进行内积处理，得到内积处理后的第一路音频信号和第一路音频信号；其中，根据所述第一导向矢量可得到所述音频信号中的预设方位的音频信号；根据所述内积处理后的第一路音频信号和第二路音频信号，确定所述音频信号对应的噪声能量谱和信号能量谱；根据所述噪声能量谱和信号能量谱，对所述内积处理后的第一路音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

进一步地，当所述预处理为计算所述音频信号中各路音频信号的平均信号和对所述音频信号进行波束成形处理时，基于预处理得到的信号，对所述音频信号进行噪声抑制处理的步骤具体包括：利用第一导向矢量对所述音频信号进行内积处理，得到内积处理后的音频信号；其中，根据所述第一导向矢量可得到所述音频信号中的预设方位的音频信号；根据所述平均信号，确定所述音频信号对应的噪声能量谱和信号能量谱；根据所述噪声能量谱和信号能量谱，对所述内积处理后的音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

进一步地，当所述预处理为计算所述音频信号中各路音频信号的平均信号和对所述音频信号进行波束成形处理时，基于预处理得到的信号，对所述音频信号进行噪声抑制处理的步骤具体包括：利用第一导向矢量以及与所述第一导向矢量方向相反的第二导向矢量对所述音频信号进行内积处理，得到内积处理后的第一路音频信号和第二路音频信号；其中，根据所述第一导向矢量可得到所述音频信号中的预设方位的音频信号；根据所述平均信号和内积处理后的第一路音频信号和第二路音频信号，确定所述音频信号对应的噪声抑制因子；根据所述噪声抑制因子，对所述内积处理后的第一路音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

进一步地，在针对所述音频信号进行预处理之前，所述方法还包括：获取所述音频信号的声场参数，所述声场参数包括声源方位、声源能量以及声源发散度中的至少一种。

进一步地，估算所述音频信号对应的噪声能量谱具体包括：判断所述声场参数中Z信号的声源能量与第一阈值之间的大小，当所述声场参数中Z信号的声源能量大于所述第一阈值时，采用数值小于第二阈值的平滑因子估算所述音频信号对应的噪声能量谱；当所述声场参数中Z信号的声源能量小于或者等于所述第一阈值时，采用数值大于或者等于所述第二阈值的平滑因子估算所述音频信号对应的噪声能量谱。

进一步地，对所述音频信号进行波束成形处理具体包括：根据所述声场参数中的声源方位确定目标导向矢量；利用所述目标导向矢量与所述音频信号进行内积处理，以得到波束成形的音频信号。

进一步地，基于预处理得到的信号，对所述音频信号进行噪声抑制处理具体包括：根据所述声场参数中的声源发散度，确定用于进行噪声抑制处理的调整因子；根据确定的所述调整因子，对所述音频信号进行噪声抑制处理。

进一步地，根据所述声场参数中的声源发散度，确定用于进行噪声抑制处理的调整因子具体包括：判断所述声场参数中的声源发散度与第三阈值之间的大小，当所述声源发散度大于所述第三阈值时，确定数值大于第四阈值的调整因子；当所述声场参数中的声源发散度小于或者等于所述第三阈值时，确定数值小于或者等于所述第四阈值的调整因子。

为实现上述目的，本申请另一方面还提供了一种音频质量增强的方法，所述方法包括：获取预设格式的音频信号；针对所述音频信号进行波束成形处理，得到经过音质增强的音频信号。

进一步地，所述波束成形处理具体包括：结合预设方向的导向矢量与所述音频信号进行内积处理，得到所述预设方向上增强的音频信号。

进一步地，在针对所述音频信号进行预处理之前，所述方法还包括：获取所述音频信号的声场参数，所述声场参数包括声源方位、声源能量以及声源发散度中的至少一种。

进一步地，对所述音频信号进行波束成形处理具体包括：根据所述声场参数中的声源方位确定目标导向矢量；利用所述目标导向矢量与所述音频信号进行内积处理，得到目标方向上增强的音频信号。

为实现上述目的，本申请另一方面还提供一种音频质量增强的装置，所述装置包括：音频信号获取单元，用于获取预设格式的音频信号；预处理单元，用于针对所述音频信号进行预处理，所述预处理包括计算所述音频信号中各路音频信号的平均信号和/或对所述音频信号进行波束成形处理；噪声抑制处理单元，用于基于预处理得到的信号，对所述音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

本发明实施方式提出的一种音频质量增强的方法及装置，能够针对预设格式的信号进行音频增强处理，进一步可以结合声场参数(声源方位、声源能量以及声源发散度)进行噪声抑制处理和波束成形处理，可以有效提升音频的质量，达到了预期效果。

附图说明

图1为本申请一个实施方式中音频质量增强的方法流程图；

图2为本申请一个实施方式中四路音频信号的示意图；

图3为本申请另一个实施方式中音频质量增强的方法流程图；

图4为本申请另一个实施方式中音频质量增强的方法流程图；

图5为本申请另一个实施方式中音频质量增强的方法流程图；

图6为本申请另一个实施方式中音频质量增强的方法流程图；

图7为本申请另一个实施方式中音频质量增强的方法流程图；

图8为本申请一个实施方式中音频质量增强的装置的功能模块图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

请参阅图1，本申请实施方式提供一种音频质量增强的方法，所述方法包括以下步骤。

S1：获取预设格式的音频信号。

在本实施方式中，所述预设格式的音频信号可以是Ambisonic A格式的音频信号。所述Ambisonic A格式的音频信号为四路音频信号(LFU、RFD、LBD、RBU)。所述四路音频信号可以如图2所示。

S2：针对所述音频信号进行预处理，所述预处理包括计算所述音频信号中各路音频信号的平均信号和/或对所述音频信号进行波束成形处理。

在本实施方式中，可以对所述Ambisonic A格式的音频信号进行预处理，所述预处理的目的是对所述音频信号进行增强处理。具体地，在本实施方式中，预处理的方式可以包括计算所述音频信号中各路音频信号的平均信号和/或对所述音频信号进行波束成形处理。

其中，音频信号中各路音频信号的平均信号x_ave(n)：

其中，n为音频时域信号中样点的标号，L为音频信号处理的帧长，x_i(n)为第i路音频的时域信号。

波束成形处理x_bf(n)：

其中，θ为[0,360]范围内的方位角，p_i(θ)为θ方向的导向矢量。

在估算所述音频信号对应的噪声能量谱时，可以计算所述音频信号中各路音频信号的平均信号，然后可以根据所述平均信号，确定用于估算噪声能量谱的平滑因子。所述平滑因子例如可以通过下式表示：

α_s(λ,k)＝α_d+(1-α_d)p(λ,k)

其中，λ表示音频信号中音频帧的标号，k表示音频信号中频点的标号，α_s(λ,k)表示指定音频帧和指定频点处对应的平滑因子，α_d表示平滑系数，取值为0.85，p(λ,k)表示指定音频帧和指定频点处对应的平均信号。这样，针对不同音频帧和频点，可以对应不同的平滑因子，所述平滑因子可以由平均信号确定。

在本实施方式中，可以根据所述平滑因子估算所述音频信号对应的噪声能量谱。具体地，估算噪声能量谱的公式可以如下所示：

D(λ,k)＝α_s(λ,k)D(λ-1,k)+(1-α_s(λ,k))|Y(λ,k)|²

其中，D(λ,k)表示指定音频帧和指定频点处对应的估算噪声能量谱，Y(λ,k)表示指定音频帧和指定频点处的音频幅度。

在本实施方式中，请参阅图3，还可以对所述音频信号进行波束成形处理。具体地，可以结合预设方向的导向矢量(steering vector)与所述音频信号进行内积处理，从而可以在所述预设方向上增强所述音频信号。这样便可以有效地增强特定方向的声源。

在本申请一个实施方式中，请参阅图4，可以结合声场参数估计噪声能量谱。具体地，可以获取所述音频信号的声场参数，所述声场参数包括声源方位(sound location)、声源能量(sound power)以及声源发散度(sound diffusivity)中的至少一种。所述声场参数可以通过波达方向(Direction of Arrival，DOA)方法获取。

在本实施方式中，平滑因子根据不同音频帧和频点可以具备不同的数值，因此可以根据声场参数中Z信号的声源能量与第一阈值之间的大小来确定实际采用的平滑因子。具体地，当所述声场参数中Z信号的声源能量大于所述第一阈值时，采用数值小于第二阈值的平滑因子估算所述音频信号对应的噪声能量谱；当所述声场参数中Z信号的声源能量小于或者等于所述第一阈值时，采用数值大于或者等于所述第二阈值的平滑因子估算所述音频信号对应的噪声能量谱。具体地，如果小于第二阈值的平滑因子有多个，可以采用其中的任意一个平滑因子进行估算。同样的，如果大于或者等于第二阈值的平滑因子有多个，也可以采用其中的任意一个平滑因子进行估算。具体的，第一阈值范围为[0.3,0.6]，第二阈值范围为[0.05,0.4]。

其中，根据转换矩阵A得到Z信号：

其中，所述转换矩阵A＝[a₁₁ a₁₂ a₁₃ a₁₄]，所述A的元素a₁₁,a₁₂,......,a₁₄的值为常数，由不同声源场景确定。

Z信号的能量为

在本实施方式中，请参阅图5，也可以结合声场参数进行波束成形处理。具体地，可以根据所述声场参数中的声源方位自适应地确定目标导向矢量，然后可以利用所述目标导向矢量与所述音频信号进行内积处理，以得到波束成形的音频信号。

S3：基于预处理得到的信号，对所述音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

在本实施方式中，在对音频信号预处理后，可以对所述音频信号进行噪声抑制处理，从而得到经过音质增强的音频信号。具体地，可以采用谱减法进行噪声抑制，也可以采用维纳滤波法进行噪声抑制。其中，谱减法和维纳滤波法均可以在频域中实现。噪声抑制的过程可以在整个频带中进行，也可以在子带中进行。

在本实施方式种，请参阅图6，在对音频信号进行波束成形后，可以进行噪声抑制处理。具体地，可以分别利用第一导向矢量以及与所述第一导向矢量方向相反的第二导向矢量对所述音频信号进行内积处理，分别得到内积处理后的第一路音频信号和第二路音频信号；其中，根据所述第一导向矢量可得到所述音频信号中的预设方位的音频信号；然后可以将所述内积处理后的第一路音频信号和第二路分别变换为频域信号，并在频域中进行噪声抑制处理。

具体的，波束成形处理为：

其中，θ为[0,360]范围内的方位角，p_i(θ)为θ方向的导向矢量，x_i(n)为第i路音频时域信号。

将时域信号变换为频域信号，可以采用离散傅里叶变换DFT、快速傅里叶变换FFT或修正离散余弦变换MDCT实现。

需要说明的是，本申请实施方式还可以仅对音频信号进行波束成形处理。具体地，本申请实施方式提供一种音频质量增强的方法，所述方法包括：

获取预设格式的音频信号；

针对所述音频信号进行波束成形处理，其中，波形成形处理具体包括：

结合预设方向的导向矢量与所述音频信号进行内积处理，以在所述预设方向上增强所述音频信号。

请参阅图7，当然，还可以结合声场参数进行噪声抑制处理。具体地，可以分别利用第一导向矢量以及与所述第一导向矢量方向相反的第二导向矢量对所述音频信号进行内积处理，分别得到内积处理后的第一路音频信号和第二路音频信号；其中，根据所述第一导向矢量可得到所述音频信号中的预设方位的音频信号；然后可以将所述内积处理后的第一路音频信号和第二路音频信号分别变换为频域信号，并根据所述声场参数中的声源发散度，确定用于进行噪声抑制处理的调整因子，最后则可以根据确定的所述调整因子，对所述音频信号进行噪声抑制处理。具体地，在根据所述声场参数中的声源发散度，确定用于进行噪声抑制处理的调整因子的步骤中，可以判断所述声场参数中的声源发散度与第三阈值之间的大小，当所述声源发散度大于所述第三阈值时，确定数值大于第四阈值的调整因子；当所述声场参数中的声源发散度小于或者等于所述第三阈值时，确定数值小于或者等于所述第四阈值的调整因子。具体的，第三阈值范围为[0.3,0.5]，第四阈值范围为[0.05,0.5]。

请参阅图8，本申请实施方式还提供一种音频质量增强的装置，所述装置包括：

音频信号获取单元100，用于获取预设格式的音频信号；

预处理单元200，用于针对所述音频信号进行预处理，所述预处理包括计算所述音频信号中各路音频信号的平均信号和/或对所述音频信号进行波束成形处理；

噪声抑制处理单元300，用于基于预处理得到的信号，对所述音频信号进行噪声抑制处理，得到经过音质增强的音频信号。

在本申请一个实施方式中，所述预处理单元200具体包括：

平均信号计算模块，用于计算所述音频信号中各路音频信号的平均信号；

平滑因子确定模块，用于根据所述平均信号，确定用于估算噪声能量谱的平滑因子；

估算模块，用于根据所述平滑因子估算所述音频信号对应的噪声能量谱。

本发明实施方式提出的一种音频质量增强的方法及装置，能够针对预设格式的信号进行音频增强处理，进一步可以结合声场参数(声源方位、声源能量以及声源发散度)进行噪声抑制处理和波束成形处理，可以有效提升音频的质量，达到了预期效果。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。