1.本发明涉及人工智能技术领域，更具体的说是涉及一种基于多尺度残差注意力网络的声音场景分类方法。
背景技术：2.人类具有识别声音场景的固有能力，即可以根据一段音频，凭借以往的经验，来判断这段音频所处的场景，如地铁，公交等。随着信号处理和人工智能技术的不断发展，使机器设备理解声音、判断声音的来源也成为可能。声音场景分类(acoustic scene classification,asc)是一项多类别的分类任务，旨在根据音频片段识别出该音频所处的场景。目前，声音场景分类已被广泛地应用于智能穿戴设备、音频归档，交互机器人，安全监控等领域。
3.声音场景分类方法主要包括两大类：一种是基于传统机器学习的声音场景分类方法，如高斯混合模型，隐马尔可夫模型，支持向量机等，但其分类效果不高，泛化能力较差；另一种是基于深度学习的声音场景分类方法，如深度神经网络，卷积神经网络，循环神经网络等，但其往往只包含单一尺度的卷积核，挖掘的特征不够丰富全面，且未考虑不同区域的特征具有不同的重要性。
4.因此，如何全面挖掘数据特征，提高声音场景分类的准确度是本领域技术人员亟需解决的问题。
技术实现要素：5.有鉴于此，本发明提供了一种基于多尺度残差注意力网络的声音场景分类方法，为了解决目前声音场景分类任务中提取特征尺度单一、不够丰富、且未考虑提取的特征不同区域具有不同的重要性等问题，采用多尺度残差网络，挖掘更多细节与整体信息，同时引入通道注意力，突出重要特征，抑制次要特征。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种基于多尺度残差注意力网络的声音场景分类方法，包括以下步骤：
8.步骤1：采集音频数据输入到特征提取模块进行特征提取，提取出对数梅尔频谱图及其一阶差分和二阶差分作为输入特征；
9.步骤2：构建多尺度残差注意力网络，将输入特征输入到网络中进行训练建立分类模型；
10.步骤3：采用mixup方法对音频数据进行处理，获得数据样本，增强数据多样性；
11.步骤4：将数据样本输入分类模型进行分类，采用焦点损失关注分类困难的样本，优化分类模型；
12.步骤5：获取新的声音场景语音，输入优化后的分类模型进行声音场景分类，得到声音场景分类结果。
13.优选地，所述步骤1中进行特征提取的具体过程为：
14.步骤1.1：对所采集到的语音数据进行预加重处理，使得声音信号的高频部分和低频部分更加均衡；
15.步骤1.2：将预加重后的语音数据进行分帧，分成若干帧语音信号；
16.步骤1.3：采用汉宁窗函数对每帧语音信号进行加窗处理，得到短时加窗的语音信号；
17.步骤1.4：将短时加窗的语音信号进行傅里叶变换将其从时域转换到频域，获得频域信号；
18.步骤1.5：将得到的频域信号通过梅尔滤波器，得到合适大小的梅尔频谱图；
19.步骤1.6：对梅尔频谱图取对数得到对数梅尔频谱图；
20.步骤1.7：对对数梅尔频谱图求其一阶差分和二阶差分，得到语音信号的动态特性，再将对数梅尔频谱图及其一阶差分、二阶差分堆叠起来，得到最终的输入特征。
21.优选地，所述步骤1中，对语音数据进行分帧时帧重叠率为50％；傅里叶变换过程中fft点数为2048；梅尔滤波器个数为128。
22.优选地，所述步骤2的具体过程为：
23.步骤2.1：将由对数梅尔频谱图及其一阶差分、二阶差分构成的输入特征分为高频部分和低频部分；
24.步骤2.2：分别将高频部分与低频部分输入多尺度残差注意力网络的通道注意力模块，根据特征的重要性不同分配不同的权重，突出重要特征，抑制次要特征，从而生成新的特征；
25.步骤2.3：将经过通道注意力模块提取出的新的特征输入到多尺度残差注意力网络的多尺度残差模块，提取不同精度与不同深度的特征信息，获得高频部分特征图和低频部分特征图；
26.步骤2.4：将通过多尺度残差模块得到的两部分特征图在频率维度上拼接起来，获得全部特征；
27.步骤2.5：全部特征依次经过由批处理归一化层、修正线性单元以及1
×
1卷积层组成的卷积块，由批处理归一化层以及1
×
1卷积层组成的卷积块，批处理归一化层，全局平均池化层，以及softmax层进行分类。
28.优选的，所述步骤2.2中经过通道注意力模块生成新的特征的具体过程包括：
29.步骤2.2.1：将高频部分输入特征和低频部分输入特征分别进行最大池化和平均池化操作，得到两个特征图；
30.步骤2.2.2：将池化处理得到的两个特征图分别送入多层感知机中，获得两个感知结果；
31.步骤2.2.3：将经过多层感知机得到的两个感知结果进行相加，获得结果；
32.步骤2.2.4：将相加之后的结果经过sigmoid激活操作，获得输入特征的权重参数；
33.步骤2.2.5：最后将权重参数与输入特征进行乘积运算，生成新的特征。
34.优选的，所述步骤2.3中新的特征依次通过批处理归一化层以及卷积层，然后经过两次由两个1
×
1、两个3
×
3和两个5
×
5的卷积核组成的残差块residual 01，再经过三次由两个1
×
1、两个3
×
3和两个5
×
5的卷积核、最大池化、平均池化和零填充组成的残差块residual 02以及残差块residual 01构成的组合块，从而获得高频部分特征图和低频部分
特征图。
35.优选的，所述步骤3中采用的mixup方法获取数据样本的公式为：
36.x＝λxi+(1-λ)xj37.y＝λyi+(1-λ)yj38.其中，(xi,yi)和(xj,yj)分别为采集的语音数据划分的训练集中随机挑选的两个任意的随机样本，xi和xj为原始输入向量，yi和yj为对应的标签编码；λ是超参数，λ∈[0,1]。
[0039]
优选地，对获取的新的声音场景语音进行测试获得真实分类结果，并根据所述步骤5中获得的声音场景分类结果，计算得到分类准确率。根据分类准确率可以对分类模型进行优化修正，提高分类准确性。
[0040]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于多尺度残差注意力网络的声音场景分类方法，利用多种不同尺度的卷积核，挖掘更多细节和整体信息，且结合改进的残差网络结构提取更多不同层次的语义信息；引入通道注意力机制，根据特征不同的重要性，对不同通道上的特征赋予不同的权重，从而学习关键特征，抑制次要特征，增强网络学习特征的能力；采用了mixup方法增强数据多样性，采用焦点损失关注分类困难的样本，提高了声音场景的分类效果。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0042]
图1附图为本发明提供的基于多尺度残差注意力网络的声音场景分类方法流程示意图；
[0043]
图2附图为本发明提供的特征提取流程示意图；
[0044]
图3附图为本发明提供的通道注意力模块结构示意图；
[0045]
图4附图为本发明提供的多尺度残差模块结构示意图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
如图1所示，本发明提供一种基于多尺度残差注意力网络的声音场景分类方法，包括以下步骤：
[0048]
s1：将采集到的音频数据输入到特征提取模块，提取出对数梅尔频谱图及其一阶差分和二阶差分作为输入特征；特征提取模块具体流程如图2所示，包括以下步骤：
[0049]
s1.1：对所采集到的音频数据进行预加重处理，使得声音信号的高频部分和低频部分更加均衡，预加重的公式如下所示：
[0050]
h(z)＝1-az-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0051]
s1.2：将预加重后的音频数据进行分帧，分成若干帧语音信号；
[0052]
s1.3：采用汉宁窗函数对每帧语音信号进行加窗处理，得到短时加窗的语音信号，汉宁窗的公式如下所示：
[0053][0054]
s1.4：将短时加窗的语音信号进行傅里叶变换将其从时域转换到频域，获得频域信号，转换过程如下所示：
[0055][0056]
s1.5：将上一步得到频域信号通过梅尔滤波器，得到合适大小的梅尔频谱图；梅尔滤波器中的各个三角滤波器的中心频率如公式(4)所示，频率响应如公式(5)所示：
[0057][0058][0059]
其中f(m)为第m个滤波器的中心频率，f
l
和fh分别为是三角滤波器的上限和下限，n是滤波器中的采样点数，fs是采样频率；m-1
和m互为逆函数，m定义如公式(6)所示：
[0060][0061]
其中，
[0062]
s1.6：对梅尔频谱图取对数得到对数梅尔频谱图；
[0063]
s1.7：对对数梅尔频谱图求其一阶差分及二阶差分，得到语音信号的动态特性，再将对数梅尔频谱图及其一阶，二阶差分堆叠起来，得到最终的输入特征；
[0064]
s2：构建多尺度残差注意力网络，将提取到的输入特征输入到多尺度残差注意力网络中进行训练，获得分类模型；
[0065]
s2.1：将有对数梅尔频谱图及其一阶差分，二阶差分构成的输入特征分为高频部分和低频部分；
[0066]
s2.2：分别将高频部分与低频部分输入多尺度残差注意力网络的通道注意力模块，根据特征的重要性不同分配不同的权重，突出重要特征，抑制次要特征，具体过程可表示为公式(7)和(8)：
[0067]
mc(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)))
ꢀꢀꢀꢀꢀꢀ
(7)
[0068][0069]
其中f为输入特征图，大小为(h
×w×
c)；avgpool(f)和maxpool(f)分别为平均池化和最大池化操作；mc(f)为权重参数，f'为经过通道注意力模块得到的特征；σ表示sigmoid函数，表示乘积运算；
[0070]
通道注意力模块结构如图3所示，包括以下步骤：
[0071]
s2.2.1：将输入特征分别进行最大池化和平均池化操作，得到两个特征图；
[0072]
s2.2.2：将池化处理得到的两个特征图分别送入多层感知机中，获得两个感知结果；
[0073]
s2.2.3：将经过多层感知机得到的两个感知结果进行相加；
[0074]
s2.2.4：将相加得到的结果经过sigmoid激活操作，获得输入特征的权重参数；
[0075]
s2.2.5：最后将权重参数与输入特征进行乘积运算，生成新的特征。
[0076]
s2.3：将经过通道注意力模块提出的新的特征输入到多尺度残差注意力网络的多尺度残差模块(multi-scale residual module,msrm)，提取不同精度与不同深度的特征信息，获得高频部分特征图和低频部分特征图；多尺度残差模块结构如图4所示，步骤如下：
[0077]
s2.3.1：将生成的新的特征通过批处理归一化层(batchnormalization,bn)以及卷积层；
[0078]
s2.3.2：再通过两次由1
×
1、3
×
3和5
×
5三种不同尺度的卷积核组成的残差块residual 01；
[0079]
s2.3.3：再通过三次由1
×
1、3
×
3和5
×
5三种不同尺度的卷积核、最大池化、平均池化和零填充组成的残差块residual 02以及残差块residual 01构成的组合块；
[0080]
s2.3.4：最后获得高频部分特征图和低频部分特征图。
[0081]
s2.4：将通过多尺度残差模块得到的两部分特征图在频率维度上拼接起来，获得全部特征；
[0082]
s2.5：将全部特征依次经过由bn层、修正线性单元(rectifiedlinearunit,relu)以及1
×
1卷积层组成的卷积块，由bn层以及1
×
1卷积层组成的卷积块，bn层，全局平均池化层，以及softmax层进行分类；
[0083]
s3：采用mixup方法增强数据多样性，mixup可以具体表示为：
[0084]
x＝λxi+(1-λ)xjꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0085]
y＝λyi+(1-λ)yjꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0086]
其中(xi,yi)和(xj,yj)分别是来自采集的语音数据划分的训练集中随机挑选的两个任意的随机样本，xi和xj为原始输入向量，yi和yj为对应的标签编码；λ是超参数，λ∈[0,1]，能够控制两个随机样本的混淆程度；
[0087]
s4：采用焦点损失关注分类困难的样本，焦点损失函数可以具体表示为：
[0088][0089]
其中n代表类别数；yi表示第i个样本的真实标签编码；pi表示第i个样本被预测为真实标签的概率；α是权重因子；λ是超参数；
[0090]
s5：获取新的声音场景语音，使用训练好的分类模型对新的声音场景语音进行声音场景分类，得到声音场景分类结果。
[0091]
实施例
[0092]
采用dcase2020(声学场景和事件检测分类挑战赛)挑战赛任务1a中的公开数据集tau urbanacoustic scenes 2020mobile development dataset(简称tau)进行声音场景分类。该数据集包含分别来自10个欧洲城市由9种不同设备录制的10种不同声学场景中的录音。数据集包含10种声音场景，包括机场(airport)、商场(shopping mall)、地铁站
(metro station)、人行道(street pedestrian)、公共广场(public square)、拥堵街道(streettraffic)、有轨电车(tram)、公共汽车(bus)、地铁(metro)和公园(park)。实验采用声音场景类别的分类准确率作为评判模型的准则，训练集用于训练模型参数，测试集用于比较模型的性能。实验结果如表1声音场景类别分类结果所示：
[0093]
表1声音场景类别分类结果
[0094][0095]
从实验结果可以看出，本发明的提出多尺度残差注意力网络性能明显优于dcase2020 task1a的基线系统。
[0096]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0097]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。