基于深度学习的语音信息疲劳检测与预警方法及相关装置

文档序号:39292901发布日期:2024-09-06 01:07阅读:134来源:国知局

本发明属于疲劳检测,涉及一种基于深度学习的语音信息疲劳检测与预警方法及相关装置。


背景技术:

1、随着社会的快速发展,人们的工作和生活节奏日益加快,长时间的工作或学习容易导致疲劳。疲劳不仅影响个人的工作效率和身体健康,还可能引发一系列安全事故。因此,疲劳检测与预警技术的发展受到了广泛关注。

2、传统的疲劳检测方法主要包括基于生理指标的检测和基于行为特征的检测。基于生理指标的检测方法通常依赖于专业的医疗设备进行心电图、脑电图等生理参数的测量,这种方法虽然准确度高,但操作复杂、成本高昂,难以在日常生活中普及。基于行为特征的检测方法通过观察个体的行为变化来判断其疲劳程度,但这种方法通常受到观察者的主观因素影响,且难以实时、精准地检测疲劳,无法满足现在对疲劳检测准确性和客观性的要求。


技术实现思路

1、本发明提供一种基于深度学习的语音信息疲劳检测与预警方法及相关装置,以解决现有技术中疲劳检测方法受主观因素影响大、检测结果准确率低的技术问题。

2、为达到上述目的,本发明采用以下技术方案予以实现:

3、第一方面,本发明提供一种基于深度学习的语音信息疲劳检测与预警方法,包括以下步骤:

4、采集待测人员的语音数据;

5、对语音数据进行预处理,消除背景噪声并分割语音片段;

6、对预处理后的语音数据进行特征提取,提取关键特征;

7、使用语音信息疲劳检测模型对关键特征进行深度学习和分析,预测得到待测人员的疲劳程度;

8、当检测到待测人员疲劳程度超出预设阈值时,触发疲劳预警机制。

9、进一步地,所述对语音数据进行预处理,消除背景噪声并分割语音片段的步骤,具体包括:

10、采用自适应滤波器滤除语音数据中的背景噪声;

11、对滤除背景噪声后的语音数据进行分段,确保每个语音片段的完整性;

12、对分段后的语音数据进行标准化处理,包括调整语音片段的采样率、幅度归一化以及去除语音中的直流分量。

13、进一步地,所述对滤除背景噪声后的语音数据进行分段的步骤,具体包括:通过设定阈值检测语音的静默期对语音信号进行切片,每个语音片段的长度根据待测人员语音的平均持续时间确定。

14、进一步地,所述语音信息疲劳检测模型为基于自注意力机制的transformer模型。

15、进一步地,所述使用语音信息疲劳检测模型对关键特征进行深度学习和分析的步骤,具体包括:

16、s401,添加位置编码以捕获输入序列的位置信息,具体公式为:

17、

18、其中,pos是位置,i是维度,d是嵌入维度的数量,pe是位置编码;将位置编码加到输入的嵌入向量中;

19、s402,通过自注意力层建立输入序列中不同位置之间的依赖关系;所述自注意力层的计算过程如下:

20、计算注意力权重,具体公式为:

21、

22、其中,q是查询矩阵,k是键矩阵,v是值矩阵,dk是键的维度,attention(q,k,v)是注意力权重;

23、进行加权求和,将注意力权重应用于值矩阵,得到加权和作为自注意力层的输出;具体公式为:

24、

25、其中,q是查询矩阵,k是键矩阵,v是值矩阵;

26、将每个注意力头产生的输出串联,并通过个线性变换产生最终的输出;

27、s403,将每个输出通过一个前馈全连接层进行处理;所述前馈全连接层由两个线性变换和一个非线性激活函数组成,具体计算过程如下:

28、ffn1=relu(xw1+b1)

29、ffn2=ffn1w2+b2

30、其中,x是自注意力层的输出,w1是第一个线性变换的权重,b1是第一个线性变换的偏置,w2是第二个线性变换的权重,b2是第二个线性变换的偏置;

31、s404,通过残差连接将自注意力层的输入x与前馈全连接层的输出ffn2相加,然后通过层归一化进行规范化;

32、s405,将多个transformer块堆叠在一起,每个transformer块均包含自注意力层和前馈全连接层,并通过残差连接和层归一化进行连接;

33、s406,将transformer块的输出连接到输出层,生成模型的最终疲劳检测结果。

34、进一步地,所述触发疲劳预警机制的步骤,具体包括:当检测到疲劳程度超过阈值时,生成预警信号传递给待测人员;所述预警信号为声音信号、振动信号和视觉信号中的一种或多种。

35、第二方面,本发明提供一种基于深度学习的语音信息疲劳检测与预警系统,包括:

36、采集模块,用于采集待测人员的语音数据;

37、预处理模块,用于对语音数据进行预处理,消除背景噪声并分割语音片段;

38、特征提取模块,用于对预处理后的语音数据进行特征提取,提取关键特征;

39、预测模块,用于使用语音信息疲劳检测模型对关键特征进行深度学习和分析,预测得到待测人员的疲劳程度;

40、预警模块,用于当检测到待测人员疲劳程度超出预设阈值时,触发疲劳预警机制。

41、进一步地,所述预警模块还包括自适应阈值调整模块,自适应阈值调整模块用于根据待测人员的日常作息习惯与环境因素动态调整疲劳程度的阈值。

42、第三方面,本发明提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方法的步骤。

43、第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。

44、与现有技术相比,本发明具有以下有益效果:

45、本发明公开了一种基于深度学习的语音信息疲劳检测与预警方法及相关装置,对采集到的语音数据进行预处理,以消除背景噪声并精确分割语音片段;对预处理后的语音数据进行特征提取,提取关键特征;使用语音信息疲劳检测模型对提取的特征进行深度学习和分析;根据语音信息疲劳检测模型的输出结果,实时监测和判断待测人员的疲劳程度;当检测到待测人员疲劳程度超出预设阈值时,触发疲劳预警机制。本发明能够有效地识别和评估待测人员的语音特征,实现实时快速、准确地检测待测人员的疲劳程度,从而显著减少事故发生概率。

46、进一步地,本发明语音信息疲劳检测模型为基于自注意力机制的transformer模型;具有更好的灵活性和可解释性,能够更加精准地检测待测人员的疲劳程度。



技术特征:

1.一种基于深度学习的语音信息疲劳检测与预警方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于深度学习的语音信息疲劳检测与预警方法,其特征在于,所述对语音数据进行预处理,消除背景噪声并分割语音片段的步骤,具体包括:

3.根据权利要求2所述的一种基于深度学习的语音信息疲劳检测与预警方法,其特征在于,所述对滤除背景噪声后的语音数据进行分段的步骤,具体包括:通过设定阈值检测语音的静默期对语音信号进行切片,每个语音片段的长度根据待测人员语音的平均持续时间确定。

4.根据权利要求1所述的一种基于深度学习的语音信息疲劳检测与预警方法,其特征在于,所述语音信息疲劳检测模型为基于自注意力机制的transformer模型。

5.根据权利要求1所述的一种基于深度学习的语音信息疲劳检测与预警方法,其特征在于,所述使用语音信息疲劳检测模型对关键特征进行深度学习和分析的步骤,具体包括:

6.根据权利要求1所述的一种基于深度学习的语音信息疲劳检测与预警方法,其特征在于,所述触发疲劳预警机制的步骤,具体包括:当检测到疲劳程度超过阈值时,生成预警信号传递给待测人员;所述预警信号为声音信号、振动信号和视觉信号中的一种或多种。

7.一种基于深度学习的语音信息疲劳检测与预警系统,其特征在于,包括:

8.根据权利要求7所述的一种基于深度学习的语音信息疲劳检测与预警方法,其特征在于,所述预警模块还包括自适应阈值调整模块,自适应阈值调整模块用于根据待测人员的日常作息习惯与环境因素动态调整疲劳程度的阈值。

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。


技术总结
本发明公开了一种基于深度学习的语音信息疲劳检测与预警方法及相关装置,属于疲劳检测技术领域;对采集到的语音数据进行预处理,以消除背景噪声并精确分割语音片段;对预处理后的语音数据进行特征提取,提取关键特征;使用语音信息疲劳检测模型对提取的特征进行深度学习和分析;根据语音信息疲劳检测模型的输出结果,实时监测和判断待测人员的疲劳程度;当检测到待测人员疲劳程度超出预设阈值时,触发疲劳预警机制。本发明能够有效地识别和评估待测人员的语音特征,实现实时快速、准确地检测待测人员的疲劳程度,从而显著减少事故发生概率。

技术研发人员:沙云翔,刘德民,杨雨萌,张诗尧
受保护的技术使用者:西安交通大学
技术研发日:
技术公布日:2024/9/5
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!