用于室内多人识别检测的深度学习模型的训练方法及系统

本发明涉及声学领域，尤其涉及一种用于室内多人识别检测的深度学习模型的训练方法及系统。

背景技术：

1、随着智能语音的发展，智能语音逐步应用于各类生活场景中。在室内场景中，高效且隐蔽的多人检测和识别的需求迅速增长。在这种需求下，室内多人检测和识别的声学信号处理尤为重要。

2、现有技术在进行室内多人检测和识别时，主要依赖于视觉和语音提示。但在室内场景下，变化的照明条件和隐私问题限制了其识别性能。相比之下，本领域技术人员尝试利用其他声音信号进行室内多人检测和识别。

3、在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

4、通过其他声音信号虽然可以处理室内多人检测和识别，但其受限于噪音、多个其他声音信号之间的干扰等复杂声学环境因素，导致检测和识别的准确性和鲁棒性方面存在局限性。

技术实现思路

1、为了至少解决现有技术中多人识别检测上述所存在的问题。

2、第一方面，本发明实施例提供一种用于室内多人识别检测的深度学习模型的训练方法，包括：

3、对室内进行音量活动检测，确定出没有达到预设功率密度阈值的室内噪声训练集，以及达到所述预设功率密度阈值的脚步声训练集；

4、利用所述室内噪声训练集确定室内环境噪声信噪比，基于所述信噪比更新室内噪声库；

5、基于所述室内噪声库滤除所述脚步声训练集中的附加噪声，对滤除所述附加噪声的脚步声训练集进行离散小波变换，得到包含脚步声细节的时频域信息，对所述时频域信息进行噪声相似匹配，得到第一噪声、脚步声数据样本特征；

6、通过动态时间规整确定所述脚步声训练集中不稳定脚步声所对应的概率分布函数，利用所述概率分布函数建立相似矩阵，对所述相似矩阵进行噪声相似匹配，得到第二噪声、脚步声数据样本特征；

7、将所述第一噪声、脚步声数据样本特征以及所述第二噪声、脚步声数据样本特征对深度学习模型进行训练，直至模型收敛，得到用于室内多人检测的深度学习模型。

8、第二方面，本发明实施例提供一种基于深度学习模型的室内多人识别检测方法，包括：

9、对室内进行音量活动检测，确定出没有达到预设功率密度阈值的室内噪声，以及达到所述预设功率密度阈值的脚步声；

10、利用所述室内噪声确定室内环境噪声信噪比，基于所述信噪比实时更新室内噪声库；

11、基于所述室内噪声库滤除所述脚步声中的附加噪声，对滤除所述附加噪声的脚步声进行离散小波变换，得到包含脚步声细节的时频域信息，对所述时频域信息进行噪声相似匹配，得到第一噪声、脚步声数据样本特征；

12、通过动态时间规整确定所述脚步声中不稳定脚步声所对应的概率分布函数，利用所述概率分布函数建立相似矩阵，对所述相似矩阵进行噪声相似匹配，得到第二噪声、脚步声数据样本特征；

13、将所述第一噪声、脚步声数据样本特征以及所述第二噪声、脚步声数据样本特征输入至训练的深度学习模型中，得到预测多人识别结果。

14、第三方面，本发明实施例提供一种用于室内多人识别检测的深度学习模型的训练系统，包括：

15、训练集确定模块，用于对室内进行音量活动检测，确定出没有达到预设功率密度阈值的室内噪声训练集，以及达到所述预设功率密度阈值的脚步声训练集；

16、噪声库更新模块，用于利用所述室内噪声训练集确定室内环境噪声信噪比，基于所述信噪比更新室内噪声库；

17、第一样本确定模块，用于基于所述室内噪声库滤除所述脚步声训练集中的附加噪声，对滤除所述附加噪声的脚步声训练集进行离散小波变换，得到包含脚步声细节的时频域信息，对所述时频域信息进行噪声相似匹配，得到第一噪声、脚步声数据样本特征；

18、第二样本确定模块，用于通过动态时间规整确定所述脚步声训练集中不稳定脚步声所对应的概率分布函数，利用所述概率分布函数建立相似矩阵，对所述相似矩阵进行噪声相似匹配，得到第二噪声、脚步声数据样本特征；

19、训练模块，用于将所述第一噪声、脚步声数据样本特征以及所述第二噪声、脚步声数据样本特征对深度学习模型进行训练，直至模型收敛，得到用于室内多人检测的深度学习模型。

20、第四方面，本发明实施例提供一种基于深度学习模型的室内多人识别检测系统，包括：

21、声音确定模块，用于对室内进行音量活动检测，确定出没有达到预设功率密度阈值的室内噪声，以及达到所述预设功率密度阈值的脚步声；

22、噪声库更新模块，用于利用所述室内噪声确定室内环境噪声信噪比，基于所述信噪比实时更新室内噪声库；

23、第一样本确定模块，用于基于所述室内噪声库滤除所述脚步声中的附加噪声，对滤除所述附加噪声的脚步声进行离散小波变换，得到包含脚步声细节的时频域信息，对所述时频域信息进行噪声相似匹配，得到第一噪声、脚步声数据样本特征；

24、第二样本确定模块，用于通过动态时间规整确定所述脚步声中不稳定脚步声所对应的概率分布函数，利用所述概率分布函数建立相似矩阵，对所述相似矩阵进行噪声相似匹配，得到第二噪声、脚步声数据样本特征；

25、识别检测模块，用于将所述第一噪声、脚步声数据样本特征以及所述第二噪声、脚步声数据样本特征输入至训练的深度学习模型中，得到预测多人识别结果。

26、第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用于室内多人识别检测的深度学习模型的训练方法以及基于深度学习模型的室内多人识别检测方法的步骤。

27、第六方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的用于室内多人识别检测的深度学习模型的训练方法以及基于深度学习模型的室内多人识别检测方法的步骤。

28、第七方面，本发明实施例提供一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本发明任一实施例的用于室内多人识别检测的深度学习模型的训练方法以及基于深度学习模型的室内多人识别检测方法的步骤。

29、本发明实施例的有益效果在于：通过基于动态时间规整的信号包络相关性分析有效降低了检测触发伪造的概率。同时，采用小波变换和谱减法进行特征提取，进一步提高了多人检测的分辨性能，使训练后的深度学习模型能够更加准确的识别检测出室内的人员。

技术特征：

1.一种用于室内多人识别检测的深度学习模型的训练方法，包括：

2.根据权利要求1所述的方法，其中，所述深度学习模型的结构包括：初始卷积层、四个残差单元块，其中，所述残差单元块包括可变数量的残差单元，各残差单元块之间通过批量正则化以及线性整流函数按顺序互联，形成深度神经网络，以捕获复杂层次的脚步声特征。

3.根据权利要求1所述的方法，其中，所述对室内进行音量活动检测，确定出没有达到预设功率密度阈值的室内噪声训练集，以及达到所述预设功率密度阈值的脚步声训练集包括：

4.根据权利要求3所述的方法，其中，所述将所述第一噪声、脚步声数据样本特征以及所述第二噪声、脚步声数据样本特征对深度学习模型进行训练包括：

5.一种基于深度学习模型的室内多人识别检测方法，包括：

6.一种用于室内多人识别检测的深度学习模型的训练系统，包括：

7.一种基于深度学习模型的室内多人识别检测系统，包括：

8.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

技术总结
本发明实施例提供一种用于室内多人识别检测的深度学习模型的训练方法。该方法包括：对室内进行音量活动检测，确定出没有达到预设功率密度阈值的室内噪声训练集，以及达到预设功率密度阈值的脚步声训练集；利用室内噪声训练集确定室内环境噪声信噪比，基于信噪比更新室内噪声库；基于室内噪声库滤除脚步声训练集中的附加噪声，得到第一样本特征；通过动态时间规整确定脚步声训练集的概率分布函数，利用概率分布函数建立相似矩阵，匹配得到第二样本特征；对深度学习模型进行训练，直至模型收敛。本发明实施例基于动态时间规整的信号包络相关性分析有效降低了检测触发伪造的概率。采用小波变换和谱减法进行特征提取，提高了多人检测的分辨性能。

技术研发人员：曲原莹,时李铭,王新珩
受保护的技术使用者：西交利物浦大学
技术研发日：
技术公布日：2024/4/22