一种睡眠声音识别方法、装置、电子设备及存储介质与流程

本技术涉及声音识别和神经网络的，具体而言，涉及一种睡眠声音识别方法、装置、电子设备及存储介质。

背景技术：

1、睡眠声音识别，是指对人在睡眠时采集的声音进行分类识别，获得声音类别，此处的声音类别包括但不限于：打鼾，梦话，呼吸，翻身，磨牙，咳嗽等，以及睡觉时的环境声，比如猫狗鸟叫，婴儿哭声，车鸣，雨声等。

2、目前，由于睡眠声音识别的运算量较大，因此大都是需要采集并传输给服务器来识别处理，具体例如：连续8小时对人在睡眠时的声音进行采集，获得采集的声音数据，并全部声音数据传输到服务器，以使服务器进行全部睡眠声音的识别。在具体的实践过程中发现，云端服务器需要识别全部声音数据导致睡眠声音识别的计算资源消耗过高的问题。

技术实现思路

1、本技术实施例的目的在于提供一种睡眠声音识别方法、装置、电子设备及存储介质，用于改善睡眠声音识别的计算资源消耗过高的问题。

2、本技术实施例提供了一种睡眠声音识别方法，包括：获取声音数据，并从声音数据中确定有效数据；对有效数据进行睡眠声音识别，获得睡眠声音识别结果。在上述方案的实现过程中，通过从声音数据中确定出有效数据，并对有效数据进行睡眠声音识别，改善了识别全部睡眠声音的情况，有效地降低了睡眠声音识别的计算功耗和计算资源消耗。

3、可选地，在本技术实施例中，从声音数据中确定有效数据，包括：根据声音数据的平均能量从声音数据中确定有效数据。在上述方案的实现过程中，通过根据声音数据的平均能量从声音数据中只确定出需要识别的有效数据，能够有效减少声音识别的数据量，从而有效地降低睡眠声音识别的计算功耗和计算资源消耗。

4、可选地，在本技术实施例中，根据声音数据的平均能量从声音数据中确定有效数据，包括：从声音数据中获取当前声音片段，并计算当前声音片段的平均能量；将当前声音片段划分为多个声音帧，并计算出多个声音帧中的每个声音帧的平均能量；针对多个声音帧中的每个声音帧，判断该声音帧的平均能量与当前声音片段的平均能量之间的比值是否大于第一比例阈值；若是，则将该声音帧确定为有效声音帧，并根据有效声音帧确定当前声音片段是否是有效数据。在上述方案的实现过程中，通过根据声音帧的平均能量与当前声音片段的平均能量之间的比值是否大于第一比例阈值来确定有效声音帧，从而不会受到电平音量本身的影响，提高了从声音数据中确定有效数据的准确率。

5、可选地，在本技术实施例中，根据声音数据的平均能量从声音数据中确定有效数据，包括：从声音数据中获取当前声音片段，并获取上一个声音片段的底噪能量；将当前声音片段划分为多个声音帧，并计算出多个声音帧中的每个声音帧的平均能量；针对多个声音帧中的每个声音帧，判断该声音帧的平均能量与上一个声音片段的底噪能量之间的比值是否大于第二比例阈值；若是，则将该声音帧确定为有效声音帧，并根据有效声音帧确定当前声音片段是否是有效数据。在上述方案的实现过程中，通过根据平均能量设计的基于时域信号的自适应去噪方式，从而使得在根据平均能量来确定有效数据时，不会受到电平音量本身的影响，提高了从声音数据中确定有效数据的准确率。

6、可选地，在本技术实施例中，根据声音数据的平均能量从声音数据中确定有效数据，包括：从声音数据中获取当前声音片段，并获取上一个声音片段的底噪能量；将当前声音片段划分为多个声音帧，并计算出多个声音帧中的每个声音帧的平均能量；判断多个声音帧中的第一有效数量和第二有效数量的和值是否大于预设数量阈值，第一有效数量是声音帧的平均能量与当前声音片段的平均能量之间的比值大于第一比例阈值的声音帧数量，第二有效数量是声音帧的平均能量与上一个声音片段的底噪能量之间的比值大于第二比例阈值的声音帧数量；若是，则将当前声音片段确定为有效数据。在上述方案的实现过程中，通过根据平均能量设计的基于时域信号的自适应去噪方式，这种自适应去噪方式仅仅涉及到当前声音片段的简单运算和比较，因此，这种自适应去噪方式对计算和存储要求都很低，从而有效地提高了睡眠声音识别的实时性。

7、可选地，在本技术实施例中，还包括：判断上一个声音片段是否是有效数据；若是，则将上一个声音片段的底噪能量确定为当前声音片段的底噪能量，否则，根据上一个声音片段的底噪能量和当前声音片段的平均能量确定当前声音片段的底噪能量。在上述方案的实现过程中，通过根据平均能量设计的基于时域信号的自适应去噪方式，从而使得在根据平均能量来确定底噪能量时，不会受到电平音量本身的影响，提高了从声音数据中确定底噪能量的准确率。

8、可选地，在本技术实施例中，还包括：从声音数据中删除上一个声音片段之前的声音片段。在上述方案的实现过程中，由于只需要当前声音片段和上一个声音片段即可完成有效数据的确定，因此，从声音数据中删除上一个声音片段之前的声音片段就能够有效地节约存储空间。

9、可选地，在本技术实施例中，对有效数据进行睡眠声音识别，包括：使用神经网络模型对有效数据进行睡眠声音识别。在上述方案的实现过程中，通过使用轻量级的神经网络模型来对有效数据进行睡眠声音识别，从而降低了神经网络模型的参数数量和计算复杂度。

10、可选地，在本技术实施例中，神经网络模型包括：一维逐点卷积层和一维深度分离卷积层；使用神经网络模型对有效数据进行睡眠声音识别，包括：将有效数据输入神经网络模型，以使神经网络模型对有效数据进行睡眠声音识别。在上述方案的实现过程中，采用了大量轻量级的一维逐点卷积层和一维深度分离卷积层，从而降低了神经网络模型的参数数量和计算复杂度。

11、可选地，在本技术实施例中，将有效数据输入神经网络模型，以使神经网络模型对有效数据进行睡眠声音识别，包括：使用神经网络模型的一维卷积层对有效数据进行卷积处理，获得卷积特征；使用神经网络模型的归一化层对卷积特征进行归一化处理，获得归一化特征；使用神经网络模型的至少一个子网络模块对归一化特征进行降采样处理，获得降采样特征，子网络模块包括：一维逐点卷积层和一维深度分离卷积层；使用神经网络模型的池化层对降采样特征进行池化处理，获得池化特征；使用神经网络模型的全连接层对池化特征进行全连接运算，获得睡眠声音识别结果。在上述方案的实现过程中，通过使用训练后的轻量级的子网络模块来对有效数据进行睡眠声音识别，从而降低了神经网络模型的参数数量和计算复杂度。

12、可选地，在本技术实施例中，在将有效数据输入神经网络模型，以使神经网络模型对有效数据进行睡眠声音识别之前，还包括：获取多个声音样本数据和多个声音样本标签，声音样本标签是声音样本数据的类别标签；以多个声音样本数据为训练数据，以多个声音样本标签为训练标签，对神经网络进行训练，获得神经网络模型；其中，获取多个声音样本数据和多个声音样本标签，包括：针对多个声音样本数据中的每个声音样本数据，根据平均能量判断该声音样本数据是否为有效数据；若是，则对该声音样本数据进行标注，获得该声音样本数据对应的声音样本标签。在上述方案的实现过程中，通过使用训练后的轻量级的神经网络模型来对有效数据进行睡眠声音识别，从而降低了神经网络模型的参数数量和计算复杂度。

13、可选地，在本技术实施例中，输入神经网络模型的有效数据是一维数据。在上述方案的实现过程中，只需要将一维时域信号的有效数据输入神经网络模型即可识别，这样不仅可以减少特征提取的计算开销，也能将二维特征建模的计算过程降维成一维特征建模的计算过程，从而极大地减少了神经网络模型的计算复杂度。

14、可选地，在本技术实施例中，睡眠声音识别结果包括：当前声音片段的多个类别概率；在获得睡眠声音识别结果之后，还包括：判断当前声音片段的多个类别概率中的最大值与最小值之间的差值是否小于预设阈值；若是，则将当前声音片段上传至服务器，以使服务器将当前声音片段存储为训练数据集，或者，对当前声音片段进行睡眠声音识别，获得当前声音片段的睡眠声音识别结果。在上述方案的实现过程中，通过当当前声音片段的多个类别概率中的最大值与最小值之间的差值小于预设阈值时，就将当前声音片段上传至服务器，以使服务器将当前声音片段存储为训练数据集，从而提高了神经网络模型识别睡眠声音的准确率。

15、可选地，在本技术实施例中，在获得睡眠声音识别结果之后，还包括：根据睡眠声音识别结果生成睡眠质量报告，或者，根据睡眠声音识别结果生成健康评估报告。在上述方案的实现过程中，通过根据睡眠声音识别结果生成睡眠质量报告，或者，根据睡眠声音识别结果生成健康评估报告，从而有效地提高了睡眠质量报告或健康评估报告的准确率。

16、本技术实施例还提供了一种睡眠声音识别装置，包括：有效数据确定模块，用于获取声音数据，并从声音数据中确定有效数据；识别结果获得模块，用于对有效数据进行睡眠声音识别，获得睡眠声音识别结果。在上述方案的实现过程中，通过从声音数据中确定出有效数据，并对有效数据进行睡眠声音识别，改善了识别全部睡眠声音的情况，有效地降低了睡眠声音识别的计算功耗和计算资源消耗。

17、可选地，在本技术实施例中，有效数据确定模块，包括：有效数据确定子模块，用于根据声音数据的平均能量从声音数据中确定有效数据。

18、可选地，在本技术实施例中，有效数据确定子模块，包括：第一声音片段计算单元，用于从声音数据中获取当前声音片段，并计算当前声音片段的平均能量；第一平均能量计算单元，用于将当前声音片段划分为多个声音帧，并计算出多个声音帧中的每个声音帧的平均能量；第一平均能量判断单元，用于针对多个声音帧中的每个声音帧，判断该声音帧的平均能量与当前声音片段的平均能量之间的比值是否大于第一比例阈值；第一有效数据确定单元，用于若该声音帧的平均能量与当前声音片段的平均能量之间的比值大于第一比例阈值，则将该声音帧确定为有效声音帧，并根据有效声音帧确定当前声音片段是否是有效数据。

19、可选地，在本技术实施例中，有效数据确定子模块，包括：第二声音片段计算单元，用于从声音数据中获取当前声音片段，并获取上一个声音片段的底噪能量；第二平均能量计算单元，用于将当前声音片段划分为多个声音帧，并计算出多个声音帧中的每个声音帧的平均能量；第二平均能量判断单元，用于针对多个声音帧中的每个声音帧，判断该声音帧的平均能量与上一个声音片段的底噪能量之间的比值是否大于第二比例阈值；第二有效数据确定单元，用于若该声音帧的平均能量与上一个声音片段的底噪能量之间的比值大于第二比例阈值，则将该声音帧确定为有效声音帧，并根据有效声音帧确定当前声音片段是否是有效数据。

20、可选地，在本技术实施例中，有效数据确定子模块，包括：第三声音片段计算单元，用于从声音数据中获取当前声音片段和上一个声音片段，并计算上一个声音片段的平均能量和底噪能量；第三平均能量计算单元，用于将当前声音片段划分为多个声音帧，并计算出多个声音帧中的每个声音帧的平均能量；第三平均能量判断单元，用于判断多个声音帧中的第一有效数量和第二有效数量的和值是否大于预设数量阈值，第一有效数量是声音帧的平均能量与当前声音片段的平均能量之间的比值大于第一比例阈值的声音帧数量，第二有效数量是声音帧的平均能量与上一个声音片段的底噪能量之间的比值大于第二比例阈值的声音帧数量；第三有效数据确定单元，用于若多个声音帧中的第一有效数量和第二有效数量的和值大于预设数量阈值，则将当前声音片段确定为有效数据。

21、可选地，在本技术实施例中，睡眠声音识别装置，还包括：声音片段判断模块，用于判断上一个声音片段是否是有效数据；底噪能量确定模块，用于若上一个声音片段是有效数据，则将上一个声音片段的底噪能量确定为当前声音片段的底噪能量，否则，根据上一个声音片段的底噪能量和当前声音片段的平均能量确定当前声音片段的底噪能量。

22、可选地，在本技术实施例中，睡眠声音识别装置，还包括：声音片段删除模块，用于从声音数据中删除上一个声音片段之前的声音片段。

23、可选地，在本技术实施例中，识别结果获得模块，包括：睡眠声音识别子模块，用于使用神经网络模型对有效数据进行睡眠声音识别。

24、可选地，在本技术实施例中，神经网络模型包括：一维逐点卷积层和一维深度分离卷积层；睡眠声音识别子模块，包括：有效数据输入单元，用于将有效数据输入神经网络模型，以使神经网络模型对有效数据进行睡眠声音识别。

25、可选地，在本技术实施例中，有效数据输入单元，包括：卷积特征获得子单元，用于使用神经网络模型的一维卷积层对有效数据进行卷积处理，获得卷积特征；特征归一处理子单元，用于使用神经网络模型的归一化层对卷积特征进行归一化处理，获得归一化特征；特征降采样处理单元，用于特征使用神经网络模型的至少一个子网络模块对归一化特征进行降采样处理，获得降采样特征，子网络模块包括：一维逐点卷积层和一维深度分离卷积层；池化特征获得子单元，用于使用神经网络模型的池化层对降采样特征进行池化处理，获得池化特征；识别结果获得子单元，用于使用神经网络模型的全连接层对池化特征进行全连接运算，获得睡眠声音识别结果。

26、可选地，在本技术实施例中，睡眠声音识别装置，还包括：数据标签获取模块，用于获取多个声音样本数据和多个声音样本标签，声音样本标签是声音样本数据的类别标签；网络模型训练模块，用于以多个声音样本数据为训练数据，以多个声音样本标签为训练标签，对神经网络进行训练，获得神经网络模型；其中，获取多个声音样本数据和多个声音样本标签，包括：针对多个声音样本数据中的每个声音样本数据，根据平均能量判断该声音样本数据是否为有效数据；若是，则对该声音样本数据进行标注，获得该声音样本数据对应的声音样本标签。

27、可选地，在本技术实施例中，输入神经网络模型的有效数据是一维数据。

28、可选地，在本技术实施例中，睡眠声音识别结果包括：当前声音片段的多个类别概率；睡眠声音识别装置，还包括：类别概率判断模块，用于判断当前声音片段的多个类别概率中的最大值与最小值之间的差值是否小于预设阈值；声音片段上传模块，用于若当前声音片段的多个类别概率中的最大值与最小值之间的差值小于预设阈值，则将当前声音片段上传至服务器，以使服务器将当前声音片段存储为训练数据集，或者，对当前声音片段进行睡眠声音识别，获得当前声音片段的睡眠声音识别结果。

29、可选地，在本技术实施例中，睡眠声音识别装置，还包括：结果报告生成模块，用于根据睡眠声音识别结果生成睡眠质量报告，或者，根据睡眠声音识别结果生成健康评估报告。

30、本技术实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。

31、可选地，在本技术实施例中，电子设备包括：移动设备、可穿戴设备、家用电器或医疗设备。

32、本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。

33、本技术实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。