一种基于少样本度量学习的事件音频检测方法及系统与流程

1.本技术涉及人工智能技术领域，尤其涉及一种基于少样本度量学习的事件音频检测方法及系统。


背景技术：

2.事件音频检测是在一段音频中判别事件的有无及出现、终止的时间，其在众多领域都有重要的应用价值，可以极大地节省人力成本，在安防、监控等领域应用尤为广泛。事件音频检测是比语音识别更为困难的，因为事件音频时序结构复杂、频率不定，不像人类语音中包含固定结构和韵律，因此，业内事件音频检测的准确率一直比较低。近年来，基于深度学习的方法极大地提升了事件音频检测准确度，但深度学习需要经过大量的标注的训练样本。对于一些罕见的事件音频(样本数少)，其检测精度会因训练样本不够而大幅下降。同时，基于度量学习的少样本(few-shot)方法在其它深度学习任务上都很大程度上缓解了样本数量少导致性能差的问题。这类方法在训练中计算支持集中每个样本和查询集样本的相似度，在测试中依靠学习到的相似度计算去推断测试样本的标签。但是，这种方法忽略了支持集中各样本之间的潜在联系，会导致深度学习模型无法学习到此支持集的某些重要特征，如所有样本的共同特性和某些样本的独有特性。这种现象会极大降低检测准确率。


技术实现要素：

3.本技术实施例的主要目的在于提出一种基于少样本度量学习的事件音频检测方法及系统，能够学习到各类间样本之间的共性，提高事件音频检测的精确度。
4.为实现上述目的，本技术实施例的第一方面提出了一种基于少样本度量学习的事件音频检测方法，所述方法包括：
5.获取事件音频的样本数据集，根据样本类别将所述样本数据集中的多个样本划分为支持集和查询集；
6.对所述支持集和所述查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集；
7.根据所述第一支持样本特征集获得掩码；
8.通过卷积网络基于所述掩码对所述第一支持样本特征集和所述第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集；
9.根据所述掩码、所述第二支持样本特征集和所述第二查询样本特征集计算相似度；
10.根据所述相似度确定损失函数的值，并根据所述损失函数的值训练事件音频检测模型，直至所述损失函数的值满足预设阈值，得到训练好的事件音频检测模型；
11.将待检测的事件音频输入至训练好的所述事件音频检测模型，获得检测结果。
12.在一些实施例中，所述获取事件音频的样本数据集，根据样本类别将所述样本数据集中的多个样本划分为支持集和查询集，包括：
13.获取事件音频的样本数据集，所述样本数据集包括多个样本类别的样本，每个所述样本类别对应的样本数量为多个；
14.对于每个样本类别，分别获取所述样本类别对应的k个样本，k为大于1的整数；
15.按照预设比例值将每个样本类别对应的k个样本划分为支持样本和查询样本，得到所述支持集和所述查询集。
16.在一些实施例中，所述基于少样本度量学习的事件音频检测方法还包括：
17.采用卷积层对所述第一支持样本特征集进行降维，获得降维样本特征集；
18.计算所述降维样本特征集中同类别的样本在第一维的均值，获得平均降维样本特征集；
19.将所述平均降维样本特征集中的每个特征作为对应类别的共性表征。
20.在一些实施例中，所述根据所述第一支持样本特征集获得掩码，包括：
21.对所述降维样本特征集进行变形，获得变形后的降维样本特征集；
22.通过卷积层将所述变形后的降维样本特征集进行变形，获得掩码；
23.采用归一化函数激活所述掩码。
24.在一些实施例中，所述通过卷积网络基于所述掩码对所述第一支持样本特征集和所述第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集，包括：
25.采用卷积网络，对所述第一支持样本特征集进行填充，以使所述第一支持样本特征集的维度和所述掩码的维度相匹配，获得第二支持样本特征集；
26.采用卷积网络，对所述第一查询样本特征集进行填充，以使所述第一查询样本特征集的维度和所述掩码的维度相匹配，获得第二查询样本特征集。
27.在一些实施例中，所述根据所述掩码、所述第二支持样本特征集和所述第二查询样本特征集计算相似度，包括：
28.获取每个类别的掩码；
29.度量每个所述类别的掩码和所述第二查询样本特征集之间的欧氏距离，所述欧氏距离表示相似度，所述相似度计算公式如下：
[0030][0031]
其中，s表示支持集，q表示查询集，表示特征提取网络，θ表示原型网络的参数，p表示每个所述类别的掩码，r(s)表示所述第二支持样本特征集，r(q)表示所述第二查询样本特征集，
⊙
表示序列掩码计算；
[0032]
将所述欧氏距离作为判别所述第二查询样本特征集的标签的依据。
[0033]
在一些实施例中，所述损失函数为：
[0034][0035]
其中，表示支持集中第i类的第j个样本，xq表示所述查询集中的第q个样本，k表
示样本数量。
[0036]
为实现上述目的，本技术实施例的第二方面提出了一种基于少样本度量学习的事件音频检测系统，所述系统包括：
[0037]
数据划分模块，用于获取事件音频的样本数据集，根据样本类别将所述样本数据集中的多个样本划分为支持集和查询集；
[0038]
特征获取模块，用于对所述支持集和所述查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集；
[0039]
掩码获取模块，用于根据所述第一支持样本特征集获得掩码；
[0040]
特征填充模块，用于通过卷积网络基于所述掩码对所述第一支持样本特征集和所述第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集；
[0041]
相似度计算模块，用于根据所述掩码、所述第二支持样本特征集和所述第二查询样本特征集计算相似度；
[0042]
模型训练模块，用于根据所述相似度确定损失函数的值，并根据所述损失函数的值训练事件音频检测模型，直至所述损失函数的值满足预设阈值，得到训练好的事件音频检测模型；
[0043]
事件音频检测模块，用于将待检测的事件音频输入至训练好的所述事件音频检测模型，获得检测结果。
[0044]
为实现上述目的，本技术实施例的第三方面提出了一种电子设备，包括：
[0045]
至少一个存储器；
[0046]
至少一个处理器；
[0047]
至少一个计算机程序；
[0048]
所述至少一个计算机程序被存储在所述至少一个存储器中，所述至少一个处理器执行所述至少一个计算机程序以实现上述第一方面所述的一种基于少样本度量学习的事件音频检测方法。
[0049]
为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述第一方面所述的一种基于少样本度量学习的事件音频检测方法。
[0050]
本技术提出的一种基于少样本度量学习的事件音频检测方法及系统，通过获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集；为了促进后续的学习和泛化，对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集。为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，根据第一支持样本特征集获得掩码；通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集。为了提高事件音频检测的精确度，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度；根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型。本技术根据第一支持样本特征集获得掩码，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度，能够学习到各类样本之间的共性，提高事件音频检测的精确度。
附图说明
[0051]
图1是本技术实施例提供的一种基于少样本度量学习的事件音频检测方法的流程图；
[0052]
图2是本技术实施例提供的一种基于少样本度量学习的事件音频检测方法的另一流程图；
[0053]
图3是图1中的步骤s130的流程图；
[0054]
图4是图1中的步骤s140的流程图；
[0055]
图5是本技术实施例提供的一种基于少样本度量学习的事件音频检测系统的结构示意图；
[0056]
图6是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0057]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0058]
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0059]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
[0060]
首先，对本技术中涉及的若干名词进行解析：
[0061]
深度学习(deep learning,dl)：是机器学习(machine learning,ml)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(artificial intelligence，ai)。
[0062]
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
[0063]
卷积神经网络(convolutionalneural networks,cnn)：是一种多层的监督学习神经网络，隐含层的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。
[0064]
欧式距离：欧几里得距离或欧几里得度量是欧几里得空间中两点间“普通”(即直线)距离。使用这个距离，欧氏空间成为度量空间。相关联的范数称为欧几里得范数。较早的文献称之为毕达哥拉斯度量。
[0065]
度量学习：度量学习(metric learning)是人脸识别中常用的传统机器学习方法，由eric xing在nips 2002提出，可以分为两种：一种是通过线性变换的度量学习，另一种是
通过非线性变化的度量。其基本原理是根据不同的任务来自主学习出针对某个特定任务的度量距离函数。后来度量学习又被迁移至文本分类领域，尤其是针对高维数据的文本处理，度量学习有很好的分类效果。
[0066]
事件音频检测是在一段音频中判别事件的有无及出现、终止的时间，其在众多领域都有重要的应用价值，可以极大地节省人力成本，在安防、监控等领域应用尤为广泛。事件音频检测是比语音识别更为困难的，因为事件音频时序结构复杂、频率不定，不像人类语音中包含固定结构和韵律，因此，业内事件音频检测的准确率一直比较低。近年来，基于深度学习的方法极大地提升了事件音频检测准确度，但深度学习需要经过大量的标注的训练样本。对于一些罕见的事件音频(样本数少)，其检测精度会因训练样本不够而大幅下降。同时，基于度量学习的少样本(few-shot)方法在其它深度学习任务上都很大程度上缓解了样本数量少导致性能差的问题。这类方法在训练中计算支持集中每个样本和查询集样本的相似度，在测试中依靠学习到的相似度计算去推断测试样本的标签。但是，这种方法忽略了支持集中各样本之间的潜在联系，会导致深度学习模型无法学习到此支持集的某些重要特征，如所有样本的共同特性和某些样本的独有特性。这种现象会极大降低检测准确率。
[0067]
基于此，本技术实施例提供了一种基于少样本度量学习的事件音频检测方法及系统，通过获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集；为了促进后续的学习和泛化，对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集。为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，根据第一支持样本特征集获得掩码；通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集。为了提高事件音频检测的精确度，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度；根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型。本技术根据第一支持样本特征集获得掩码，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度，能够学习到各类样本之间的共性，提高事件音频检测的精确度。
[0068]
本技术实施例提供的基于少样本度量学习的事件音频检测方法、基于少样本度量学习的事件音频检测系统、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的一种基于少样本度量学习的事件音频检测方法。
[0069]
本技术实施例提供的一种基于少样本度量学习的事件音频检测方法，涉及人工智能技术领域。本技术实施例提供的一种基于少样本度量学习的事件音频检测方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现基于少样本度量学习的事件音频检测方法的应用等，但并不局限于以上形式。
[0070]
本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备
的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0071]
请参阅图1，图1是本技术实施例提供的一种基于少样本度量学习的事件音频检测方法的一个可选的流程图，图1中的方法可以具体包括但不限于步骤s110至步骤s170。
[0072]
步骤s110，获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集；
[0073]
步骤s120，对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集；
[0074]
步骤s130，根据第一支持样本特征集获得掩码；
[0075]
步骤s140，通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集；
[0076]
步骤s150，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度；
[0077]
步骤s160，根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型；
[0078]
步骤s170，将待检测的事件音频输入至训练好的事件音频检测模型，获得检测结果。
[0079]
在一些实施例的步骤s110至步骤s170中，通过获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集；为了促进后续的学习和泛化，对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集。为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，根据第一支持样本特征集获得掩码；通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集。为了提高事件音频检测的精确度，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度；根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型。本技术根据第一支持样本特征集获得掩码，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度，能够学习到各类样本之间的共性，提高事件音频检测的精确度。
[0080]
在一些实施例的步骤s110中，为了实现少样本度量学习的事件音频检测，首先，获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集。具体地，从dcase task5中获取事件音频的样本数据集，样本数据集包括多个样本类别的样本，每个样本类别对应的样本数量为多个；对于每个样本类别，分别获取样本类别对应的k个样本，k为大于1的整数；按照预设比例值将每个样本类别对应的k个样本划分为支持样本和查询样本，得到支持集和查询集。
[0081]
需要说明的是，dcase task5是公开数据集，本实施例不做详细描述，并且本实施例不限定只用dcase task5数据集。
[0082]
需要说明的是，按照预设比例值将每个样本类别对应的k个样本划分为支持样本
和查询样本，本实施例的预设比例值可以根据需要进行更改，本实施例不做限定。
[0083]
在一些实施例的步骤s120中，为了促进后续的学习和泛化，对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集。具体地，通过使用一个卷积网络f
φ
提取样本的特征，该卷积网络f
φ
包含五层，前两层是卷积核为3x3的卷积层，第三层是批标准化层，第四层是4x4的最大池化层，第五层是1x1的最大池化层。通过卷积网络分别对步骤s110中的支持集s和查询集q进行特征提取，获得第一支持样本特征集和第一查询样本特征集
[0084]
在一些实施例的步骤s130中，为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，根据第一支持样本特征集获得掩码。具体地，根据第一支持样本特征集获得掩码，将掩码作为每个类别间样本的共性，以学习各类间样本之间的共性，学习支持集中各样本之间的潜在联系。
[0085]
在一些实施例的步骤s140中，为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集。具体地，通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，以使掩码的维度与第一支持样本特征集和第一查询样本特征集的维度相匹配，从而学习各类间样本之间的共性，学习支持集中各样本之间的潜在联系。
[0086]
在一些实施例的步骤s150中，为了提高事件音频检测的精确度，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度。具体地，获取每个类别的掩码，度量每个类别的掩码和第二查询样本特征集之间的欧氏距离，欧氏距离表示相似度，相似度计算公式如下：
[0087][0088]
其中，s表示支持集，q表示查询集，表示特征提取网络，θ表示原型网络的参数，p表示每个类别的掩码，r(s)表示第二支持样本特征集，r(q)表示第二查询样本特征集，
⊙
表示序列掩码计算；
[0089]
将欧氏距离作为判别第二查询样本特征集的标签的依据，与哪一类距离最小，则把第二查询样本特征集判别为那一类。
[0090]
需要说明的是，本实施例中的原型网络是经典的基于度量学习的小样本方法，原型网络的原理是取支持集中每类所有样本表征的平均作为这类样本的原型，然后度量查询集样本与每类原型的欧式距离作为判别每类原型标签的依据，在此不再赘述。
[0091]
在一些实施例的步骤s160中，当计算出相似度后，根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型。具体地，损失函数为：
[0092][0093]
其中，表示支持集中第i类的第j个样本，xq表示查询集中的第q个样本，k表示样本数量；
[0094]
在获得相似度后，根据相似度通过上述公式确定损失函数的值l，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型。
[0095]
需要说明的是，本实施例的预设阈值可以根据实际需要进行调整，在此不再赘述。
[0096]
在一些实施例的步骤s170中，当得到训练好的事件音频检测模型后，将待检测的事件音频输入至训练好的事件音频检测模型，获得检测结果。具体地，利用训练好的事件音频检测模型对待检测的事件音频进行检测，能够获得检测结果。本技术实施例通过基于少样本度量学习的事件音频检测方法，能够学习到各类样本之间的共性，提高事件音频检测的精确度。
[0097]
请参阅图2，图2是本技术实施例提供的一种基于少样本度量学习的事件音频检测方法的另一个可选的流程图。图2中的方法包括但不限于步骤s210和步骤s230，下面结合图2对这三个步骤进行详细介绍。
[0098]
步骤s210，采用卷积层对第一支持样本特征集进行降维，获得降维样本特征集；
[0099]
步骤s220，计算降维样本特征集中同类别的样本在第一维的均值，获得平均降维样本特征集；
[0100]
步骤s230，将平均降维样本特征集中的每个特征作为对应类别的共性表征。
[0101]
在一些实施例的步骤s210和步骤s230中，为了减少维度，降低计算量，采用卷积层对第一支持样本特征集进行降维，获得降维样本特征集；计算降维样本特征集中同类别的样本在第一维的均值，获得平均降维样本特征集；将平均降维样本特征集中的每个特征作为对应类别的共性表征。具体地，将第一支持样本特征集作为输入，目的是发现支持集s中每类的k个样本的共性特征。假设支持集s经过特征提取网络后的输出维度为(n
×
k,m1,w1,h1)，m1,w1,h1分别代表通道数量、空间宽和空间高。通过一个卷积层对第一支持样本特征集进行降维，获得降维样本特征集，计算降维样本特征集中同类别的样本在第一维的均值，获得平均降维样本特征集，将平均降维样本特征集中的每个特征o:(n,m2,w2,h2)作为对应类别的共性表征。本技术实施例通过卷积层对第一支持样本特征集进行降维，降低了计算量，并通过将平均降维样本特征集中的每个特征作为对应类别的共性表征，能够学习各类间样本之间的共性。
[0102]
请参阅图3，图3是本技术一些实施例的步骤s130的具体方法的流程图。在本技术的一些实施例中，步骤s130具体包括但不限于步骤s310和步骤s330，下面结合图3对这三个步骤进行详细介绍。
[0103]
步骤s310，对降维样本特征集进行变形，获得变形后的降维样本特征集；
[0104]
步骤s320，通过卷积层将变形后的降维样本特征集进行变形，获得掩码；
[0105]
步骤s330，采用归一化函数激活掩码。
[0106]
在一些实施例的步骤s310和步骤s330中，为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，通过对降维样本特征集进行变形，获得变形后的降维样本特征集，通过卷积层将变形后的降维样本特征集进行变形，获得掩码，采用归一化函数激活掩码。具体地，将降维样本特征集中的每个特征o:(n,m2,w2,h2)作为输入，目的是发现各类别的特性。首先，将o:(n,m2,w2,h2)变形为采用卷积层将变形为掩码p:(1,m3,w3,h3)，采用归一化指数函数作用在掩码p的通道维度上使得掩码激活。本技术实施例通过卷积层将变形后的降维样本特征集进行变形获得掩码，以学习各类间样本之间的共性，学习支持集中各样本之间的潜在联系。
[0107]
请参阅图4，图4是本技术一些实施例的步骤s140的具体方法的流程图。在本技术的一些实施例中，步骤s140具体包括但不限于步骤s410和步骤s420，下面结合图4对这两个步骤进行详细介绍。
[0108]
步骤s410，采用卷积网络，对第一支持样本特征集进行填充，以使第一支持样本特征集的维度和掩码的维度相匹配，获得第二支持样本特征集；
[0109]
步骤s420，采用卷积网络，对第一查询样本特征集进行填充，以使第一查询样本特征集的维度和掩码的维度相匹配，获得第二查询样本特征集。
[0110]
在一些实施例的步骤s410和步骤s420中，为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，采用卷积网络，对第一支持样本特征集进行填充，以使第一支持样本特征集的维度和掩码的维度相匹配，获得第二支持样本特征集，采用卷积网络，对第一查询样本特征集进行填充，以使第一查询样本特征集的维度和掩码的维度相匹配，获得第二查询样本特征集。具体地，为使得掩码p的维度与第一支持样本特征集和第一查询样本特征集的维度相匹配继而作用在和上，使用基于卷积网络的填充模块将和的维度对齐为r(.):(n
×
k,m3,w3,h3)。掩码p作为各类别内样本的共性及各类别间特性的表征对r(s)和r(q)进行序列掩码计算。本技术实施例基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，以使掩码的维度与第一支持样本特征集和第一查询样本特征集的维度相匹配，从而学习各类间样本之间的共性，学习支持集中各样本之间的潜在联系，提高事件音频检测的精确度。
[0111]
需要说明的是，序列掩码计算是本领域常规技术，本实施例不做详细描述。
[0112]
本技术实施例提供的一种基于少样本度量学习的事件音频检测方法，通过获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集；为了促进后续的学习和泛化，对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集。为了降低了计算量，通过卷积层对第一支持样本特征集进行降维。为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，根据第一支持样本特征集获得掩码；通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集。为了提高事件音频检
测的精确度，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度；根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型。本技术根据第一支持样本特征集获得掩码，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度，能够学习到各类样本之间的共性，提高事件音频检测的精确度。
[0113]
请参阅图5，本技术实施例还提供了一种基于少样本度量学习的事件音频检测系统，可以实现上述一种基于少样本度量学习的事件音频检测方法，该系统包括数据划分模块510、特征获取模块520、掩码获取模块530、特征填充模块540、相似度计算模块550、模型训练模块560和事件音频检测模块570。
[0114]
数据划分模块510，用于获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集；
[0115]
特征获取模块520，用于对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集；
[0116]
掩码获取模块530，用于根据第一支持样本特征集获得掩码；
[0117]
特征填充模块540，用于通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集；
[0118]
相似度计算模块550，用于根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度；
[0119]
模型训练模块560，用于根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型；
[0120]
事件音频检测模块570，用于将待检测的事件音频输入至训练好的事件音频检测模型，获得检测结果。
[0121]
需要说明的是，本技术实施例的基于少样本度量学习的事件音频检测用于实现上述基于少样本度量学习的事件音频检测方法，本技术实施例的基于少样本度量学习的事件音频检测系统与前述的基于少样本度量学习的事件音频检测方法相对应，具体的处理过程请参照前述的基于少样本度量学习的事件音频检测方法，在此不再赘述。
[0122]
本技术实施例提供的一种基于少样本度量学习的事件音频检测系统，可以实现上述一种基于少样本度量学习的事件音频检测方法，通过获取事件音频的样本数据集，根据样本类别将样本数据集中的多个样本划分为支持集和查询集；为了促进后续的学习和泛化，对支持集和查询集分别进行特征提取，获得第一支持样本特征集和第一查询样本特征集。为了降低了计算量，通过卷积层对第一支持样本特征集进行降维。为了学习到各类间样本之间的共性，学习支持集中各样本之间的潜在联系，根据第一支持样本特征集获得掩码；通过卷积网络基于掩码对第一支持样本特征集和第一查询样本特征集进行填充，获得第二支持样本特征集和第二查询样本特征集。为了提高事件音频检测的精确度，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度；根据相似度确定损失函数的值，并根据损失函数的值训练事件音频检测模型，直至损失函数的值满足预设阈值，得到训练好的事件音频检测模型。本技术根据第一支持样本特征集获得掩码，根据掩码、第二支持样本特征集和第二查询样本特征集计算相似度，能够学习到各类样本之间的共性，提高事件音频检测的精确度。
[0123]
本技术实施例还提供了一种电子设备，该电子设备包括：至少一个存储器，至少一个处理器，至少一个计算机程序，至少一个计算机程序被存储在至少一个存储器中，至少一个处理器执行至少一个计算机程序以实现上述实施例中任一种的基于少样本度量学习的事件音频检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0124]
请参阅图6，图6示意了另一实施例的一种电子设备的硬件结构，该电子设备包括：
[0125]
处理器610，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0126]
存储器620，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器620可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器620中，并由处理器610来调用执行本技术实施例的一种基于少样本度量学习的事件音频检测方法；
[0127]
输入/输出接口630，用于实现信息输入及输出；
[0128]
通信接口640，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0129]
总线650，在设备的各个组件(例如处理器610、存储器620、输入/输出接口630和通信接口640)之间传输信息；
[0130]
其中处理器610、存储器620、输入/输出接口630和通信接口640通过总线650实现彼此之间在设备内部的通信连接。
[0131]
本技术实施例还提供了一种存储介质，该存储介质为计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序用于使计算机执行上述实施例中任一种的基于少样本度量学习的事件音频检测方法。
[0132]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0133]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0134]
本领域技术人员可以理解的是，图1至4中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0135]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0136]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0137]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0138]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0139]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0140]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0141]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0142]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0143]
以上参阅附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。