倦怠检测预警方法、系统及计算设备

本发明涉及医疗设备，特别是涉及一种基于语音倦怠检测预警方法、系统及计算设备。

背景技术：

1、职业倦怠(burnout)由freudenberger于1974年首次提出，主要描述以人为服务对象的工作中的个体由于工作时间过长、工作量大和工作强度高引起的个体体验到的一组负性症状，如长期的情感耗竭、身体疲劳以及成就感降低等症状。

2、职业倦怠主要发生在人际接触频繁的服务性职业中，目前对于职业倦怠应用最广泛的理论时maslach提出的三维理论：

3、1、情感耗竭，职业倦怠的个体压力维度，指个体的情感资源过度消耗、疲乏不堪、精力丧失，是由于个体在心理水平上的过度付出而导致无法在对工作或他人倾注关注与感情；

4、2、去人格化，是职业倦怠的人际关系维度，指个体对待服务对象消极的、负性的、冷淡的、过度疏远的甚至麻木不仁的态度，将服务对象当作一件无生命体的物体看待；

5、3、低个人成就，是职业倦怠的自我评价维度，表现为个体在工作中对自我及所从事工作的意义和价值评价偏低，甚至对自己所作的贡献表示怀疑，对工作的胜任感和成就感下降。

6、医护人员相对于其他群体更易发生职业倦怠，主要原因包括：

7、1、工作负担重，医护人员工作量较大且需面对不同背景、职业和性格的患者及其家属，进而加大了工作量；

8、2、风险高，医疗工作本身具有风险性，贯穿在门诊、急诊、住院、出院等各个环节以及诊断、治疗、康复等诊疗行为的全过程，更是造成了从而导致医护人员心理负担过重；

9、3、工作时间不确定，主要是由于日夜班制度以及无规律的加班抢救患者所导致，因而不可避免的对医护人员的生活规律和习惯产生影响，进而影响医护人员的生理和心理状态；

10、4、工作节奏失衡，患者就诊的突然性和紧迫性易于导致医护人员工作节奏的失衡，从而使得医护人员时时处于应激状态，造成身心素质下降；

11、5、同情心，患者病情变化导致医护人员内心感受的波动也较易引发心理健康问题。

12、因此医护人员职业倦怠的比例一直处于比较高的水平，随着新冠肺炎的流行该状况变得愈发严重。美国国家医学院(nam)发布报告称，21世纪，医疗保健服务质量面临的挑战之一，是“维护医疗从业人员的健康”。并且该报告指出，35％-54％的医护存在职业倦怠。在医学生和住院医师中，这一比例达60％。而在中国，根据一项包含2.5万余医生的研究结果显示，有60％医生存在职业倦怠。

13、医护人员职业倦怠可能会带来严重后果。首先，对于医生本人，长期处于倦怠状态可加大患抑郁的风险，进而引发缺勤、离职甚至自杀等严重后果。此外，处于职业倦怠状态还会增大医护人员提供医疗服务过程中发生医疗安全事件和医疗事故的风险，造成对患者的身心伤害。

14、早期发现并及时干预是有效提升医护人员精神健康、降低职业倦怠危害的有效方式。目前针对职业倦怠的评估主要包括访谈和职业倦怠专用量表自测两种方法。而医护人员由于职业的特殊性导致在出现职业倦怠相关症状后其往往羞于寻求专业的心理帮助。而量表自测相对访谈虽然易于实施，但由于其完全由使用者自填，测量结果缺乏客观性且影响其准确度，而且量表中的问题往往容易引起处于倦怠状态下使用者心理上的不适。

15、鉴于上述情况，面对医护人员职业倦怠高发情况极其所带来的不良后果，尤其是在新冠肺炎流行下医护人员职业倦怠状况的加重，目前迫切需要简便、快捷、客观且智能化的辅助手段，能够及早的发现并监测医护人员的倦怠状态，对其进行预警并给出进一步的干预建议，成为亟待解决的医疗技术问题。

技术实现思路

1、(一)要解决的技术问题

2、本发明要解决的技术问题是：提供一种操作方便且及时有效的倦怠检测预警方法、系统及计算设备。

3、(二)技术方案

4、为解决上述问题，本发明一方面提出了一种倦怠检测预警方法，该方法包括以下步骤：

5、s1：采集用户语音生成语音信号；

6、s2：对接收到的语音信号进行识别转换为文本信息；

7、s3：对所述文本信息进行分词和去停用词处理，并与所述语音信号时间对齐，根据预训练多模态深度学习模型所接受向量的长度对文本信息和语音信号进行补齐，获得保持一致序列长度的词序列和音频序列，然后将所述音频序列转换为mel语谱图；

8、s4：利用所述词序列和所述mel语谱图，通过预训练多模态深度学习模型计算用户倦怠概率并反馈预警。

9、优选地，所述步骤s1和步骤s2之间还包括步骤s102，所述步骤s102对步骤s1生成的语音信号进行降噪并删除语音信号中的空白片段。

10、优选地，所述步骤s3在将所述音频序列转换为mel语谱图时，通过预加重、分帧、加窗、短时傅里叶变换获得音频序列的频域线性谱，然后采用mel滤波器组进一步将频域线性谱转换为mel语谱图。

11、优选地，所述步骤s4在计算用户倦怠概率时，首先采用预训练的bert模型对所述词序列进行词嵌入，获得嵌入后文本词向量，将所述嵌入后文本词向量输入到预训练的双向长短期记忆网络(bi-lstm)，获得文本的新的表示etext；同时将所述mel语谱图分块进行扁平化后输入到线性层，获得mel语谱图的分块嵌入表达，加入位置嵌入参数后输入到transformer编码器中获得音频的新的表示eaudio；再将文本的新的表示etext和音频的新的表示eaudio同时输入预训练多模态深度学习模型的协同注意力模块，计算得出用户倦怠概率。

12、优选地，所述步骤s1进一步包括如下子步骤：s11:提示用户输入账号密码登陆系统，s12:向用户提示环境要求，设备要求及回答时长要求，s13:向用户显示须回答问题，用户点击“开始回答”按钮后开始录音进行语音采集，s14:采集完成后通过回放检查录音是否正常，若正常保存录音生成语音信号，若异常删除重新录制；

13、所述步骤s102进一步包括如下步骤：采用asteroid工具包中预先训练好的模型对步骤s1生成的语音信号中的用户语音进行分离，从而消除背景噪声，再采用光谱门控技术进行降噪，然后删除语音信号中的空白片段，形成新的纯净的语音信号；

14、所述步骤s3进一步包括如下步骤：对所述文本信息进行分词处理及去停用词，并与所述语音信号时间对齐，对齐过程中使用p2fa获得每个词的时间步长，并根据所述时间步长获取该词对应的音频序列，文本信息与音频序列对齐后，根据预训练多模态深度学习模型所接受向量的长度对文本信息和音频序列进行补齐，获得保持一致序列长度的词序列和音频序列，然后将所述音频序列转换为mel语谱图；

15、所述步骤s4进一步包括如下步骤：首先采用bert模型对所述词序列进行词嵌入，获得嵌入后文本词向量，将所述嵌入后文本词向量输入到预训练的双向长短期记忆网络(bi-lstm)，获得文本的新的表示etext；同时将所述mel语谱图分块进行扁平化后输入到线性层，获得mel语谱图的分块嵌入表达，加入位置嵌入参数后输入到预训练多模态深度学习模型中的transformer编码器中获得音频的新的表示eaudio；再将文本的新的表示etext和音频的新的表示eaudio同时输入预训练多模态深度学习模型中的协同注意力模块，计算得出用户倦怠概率，然后向用户反馈预警。

16、本发明另一方面提出了一种倦怠检测预警系统，该系统包括语音采集端、语音识别模块、文本音频处理模块和倦怠检测预警模块；所述语音采集端采集用户语音生成语音信号，并将语音信号传输至语音识别模块；所述语音识别模块对接收到的语音信号进行识别转换为文本信息；所述文本音频处理模块对所述文本信息进行分词和去停用词处理，并与所述语音信号时间对齐，根据预训练多模态深度学习模型所接受向量的长度对文本信息和语音信号进行补齐，获得保持一致序列长度的词序列和音频序列，然后将所述音频序列转换为mel语谱图；所述倦怠检测预警模块利用所述词序列和所述mel语谱图，通过预训练多模态深度学习模型计算用户倦怠概率并反馈预警。

17、优选地，该系统还包括语音预处理模块，所述语音预处理模块包括降噪单元和/或空白删除单元，所述降噪单元和所述空白删除单元分别对语音采集端生成的语音信号进行降噪和删除语音信号中的空白片段。

18、优选地，该系统文本音频处理模块还包括mel语谱图单元，所述mel语谱图单元将所述音频序列通过预加重、分帧、加窗、短时傅里叶变换获得音频序列的频域线性谱，然后采用mel滤波器组进一步将频域线性谱转换为mel语谱图。

19、优选地，该系统倦怠检测预警模块包括文本表示单元、音频表示单元和倦怠计算单元，所述文本表示单元采用bert模型对所述词序列训练进行词嵌入，获得嵌入后文本词向量，将所述嵌入后文本词向量输入到预训练的双向长短期记忆网络(bi-lstm)，获得文本的新的表示etext；所述音频表示单元将所述mel语谱图分块进行扁平化后输入到线性层，获得mel语谱图的分块嵌入表达，加入位置嵌入参数后输入到预训练的transformer编码器获得音频的新的表示eaudio；所述倦怠计算单元将文本的新的表示etext和音频的新的表示eaudio同时输入预训练多模态深度学习模型中的协同注意力模块，计算得出用户倦怠概率。

20、本发明再一方面提出了一种计算设备，该计算设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述倦怠检测预警方法的步骤。

21、(三)有益效果

22、本发明的上述倦怠检测预警方法、系统及计算设备，通过向用户提示问题并采集用户回答问题的语音进行分析，通过运算识别用户注意力状态确定用户的倦怠风险并向用户或管理人员预警，检测方法客观有效，能够实现较好的倦怠风险预警效果，不仅可以用于医护人员的倦怠检测预警，还可以用于交通运输、安全生产等领域，具有广阔的应用前景。