一种疲劳测量方法、装置及计算机可读介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种疲劳测量方法、装置及计算机可读介质。


背景技术：

2.云上课成了疫情期间学生们上课的主要形式。云上课是通过上网课实现的，而网课通常是采用录播的形式，为此，学生和老师无法建立面对面的互动。对于自制力比较弱的小学生和中学生，经常会出现由于通宵玩手机或者打游戏导致白天上课疲惫，从而注意力不集中，进而影响学习。因此急需要提供一种疲劳检测方法，能够在上网课时对学生的疲劳程度进行检测以密切监测学生的生理和身体状态，从而有助加强学生的自主学习，进而帮助学生养成良好的学习习惯。
3.目前疲劳监测技术主要应用于无人机驾驶上，主要通过检测眼睛、口腔以及头部的疲劳特征，再通过复杂的逻辑分析从而判断疲劳程度。然而这种串行的逻辑分析不仅鲁棒性低而且逻辑繁琐，并且忽略了眼睛以及嘴巴的相互关系，因此无法对疲劳状态进行准确检测。


技术实现要素：

4.为了解决上述现有技术存在的问题，本发明实施例提供一种疲劳测量方法、装置及计算机可读介质装置，能够基于脸部视频对疲劳状态进行检测，提高了疲劳检测的准确性和鲁棒性。
5.为实现上述目的，根据本发明实施例第一方面，提供一种疲劳测量方法，所述方法包括：获取目标对象的脸部视频；对所述脸部视频进行处理，得到若干准心率和若干准震动频率；所述准心率用于通过眉间感兴趣区域和/或下巴感兴趣区域而获得，所述准震动频率用于通过眼睛和/或嘴巴而获得；从若干准心率中选取目标心率，并从若干准震动频率中选取目标震动频率；对所述目标心率和所述目标震动频率进行检测，并根据检测结果确定所述目标对象处于疲劳状态。
6.可选的，所述对所述脸部视频进行处理，得到若干准心率和若干准震动频率，包括：按照特定步长的时间窗口将所述脸部视频划分成若干窗口视频；针对任一所述窗口视频：对所述窗口视频进行提取处理，得到眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号；对所述眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号进行融合处理，得到融合特征信号；对所述融合特征信号进行转换处理，得到准心率和准震动频率。
7.可选的，所述对所述窗口视频进行提取处理，得到眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号，包括：利用模型对所述窗口视频进行预测，生成脸部关键点，所述脸部关键点包括轮廓关键点和特定部位关键点；从所述脸部关键点中分别提取眼睛关键点、嘴巴关键点、眉间感兴趣区域，以及下巴感兴趣区域；对所述眼睛关键点和所述嘴巴关键点分别进行降维处理，得到眼部特征信号和嘴部特征信号；对所述眉间感兴趣区
域和所述下巴感兴趣区域分别进行特征提取处理，得到眉间色彩信号和下巴色彩信号；对所述眉间色彩信号和所述下巴色彩信号分别进行降噪处理，得到眉间特征信号和下巴特征信号。
8.可选的，所述对所述融合特征信号进行转换处理，得到准心率和准震动频率，包括：对所述融合特征信号进行降噪处理，得到平稳特征信号；对所述平稳特征信号进行盲源分离，并将盲源分离后的信号成分转化成频率值，得到若干频率值；基于机体心率范围，从所述若干频率值中选取预心率，并对选取的预心率求均值，得到准心率；基于眼嘴部震动频率范围，从所述若干频率值中选取预震动频率，并对选取的预震动频率求均值，得到准震动频率。
9.可选的，所述从若干准心率中选取目标心率，并从若干准震动频率中选取目标震动频率，包括：确定若干准心率的中位数和若干准震动频率的中位数；针对任一所述准心率：确定所述准心率与对应中位数之间的偏差，并确定所述偏差是否大于第一预设心率阈值，若是，则从所述若干准心率中移除该准心率，得到目标心率；针对任一所述准震动频率：确定所述准震动频率与对应中位数之间的偏差，并确定所述偏差是否大于第一预设震动阈值，若是，则从所述若干准震动频率中移除该准震动频率，得到目标震动频率。
10.可选的，所述对所述目标心率和所述目标震动频率进行检测，并根据检测结果确定所述目标对象处于疲劳状态，包括：获取目标对象处于非疲劳状态时的正常心率和正常震动频率；分别确定所述正常心率和所述目标心率之间的差值，以及所述正常震动频率与所述目标震动频率之间的差值；若预设测量次数内每次测得目标心率对应的差值均大于第二预设心率阈值且每次测得目标震动频率对应的差值均大于第二预设震动阈值，则确定所述目标对象处于轻度疲劳状态。
11.可选的，所述对所述目标心率和所述目标震动频率进行检测，并根据检测结果确定所述目标对象处于疲劳状态，包括：获取目标对象处于非疲劳状态时的正常心率和正常震动频率；分别确定所述正常心率和所述目标心率之间的差值，以及所述正常震动频率与所述目标震动频率之间的差值；若预设测量次数内每次测得目标心率对应的差值均大于第三预设心率阈值且每次测得目标震动频率对应的差值均大于第三预设震动阈值，则确定所述目标对象处于微睡眠状态。
12.为实现上述目的，根据本发明实施例第二方面，还提供一种疲劳测量装置，所述装置包括：获取模块，用于获取目标对象的脸部视频；处理模块，用于对所述脸部视频进行处理，得到若干准心率和若干准震动频率；所述准心率用于通过眉间感兴趣区域和/或下巴感兴趣区域而获得，所述准震动频率用于通过眼睛和/或嘴巴而获得；选取模块，用于从若干准心率中选取目标心率，并从若干准震动频率中选取目标震动频率；检测模块，用于对所述目标心率和所述目标震动频率进行检测，并根据检测结果确定所述目标对象处于疲劳状态
13.可选的，所述处理模块包括：划分单元，用于按照特定步长的时间窗口将所述脸部视频划分成若干窗口视频；处理单元，用于针对任一所述窗口视频：对所述窗口视频进行提取处理，得到眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号；对所述眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号进行融合处理，得到融合特征信号；对所述融合特征信号进行转换处理，得到准心率和准震动频率。
14.为实现上述目的，根据本发明实施例第三方面，还提供一种计算机可读介质，其上
存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的测量方法。
15.与现有技术相比，本发明实施例提供的一种疲劳测量方法、装置及计算机可读介质，首先获取目标对象的脸部视频，并对脸部视频进行处理，得到若干准心率和若干准震动频率；之后从若干准心率中选取目标心率，并从若干准震动频率中选取目标震动频率；最后对目标心率和目标震动频率进行检测，并根据检测结果确定目标对象处于疲劳状态。由此，能够基于脸部视频获得心率和眼睛嘴部的震动频率，并将心率和震动频率相结合用于目标对象疲劳状态的检测，提高了疲劳测量结果的准确性和鲁棒性，解决了现有技术中由于复杂的逻辑分析导致计算量增大且疲劳测量结果鲁棒性低的问题。
16.需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
17.附图用于更好地理解本发明，不构成对本发明的不当限定。其中在附图中，相同或对应的标号表示相同或对应的部分。
18.图1为本发明一实施例疲劳测量方法的示意性流程图；
19.图2为本发明另一实施例疲劳测量的方法的示意性流程图；
20.图3为本发明一实施例确定准心率和准震动频率的示意性流程图；
21.图4为本发明一实施例疲劳测量装置的示意性框图。
具体实施方式
22.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.如图1所示，本发明一实施例疲劳测量方法的示意性流程图。一种疲劳测量方法，包括如下操作流程：s101，获取目标对象的脸部视频；s102，对脸部视频进行处理，得到若干准心率和若干准震动频率；准心率用于通过眉间感兴趣区域和/或下巴感兴趣区域而获得，准震动频率用于通过眼睛和/ 或嘴巴而获得；s103，从若干准心率中选取目标心率，并从若干准震动频率中选取目标震动频率；s104，对目标心率和目标震动频率进行检测，并根据检测结果确定目标对象处于疲劳状态。
24.在s101中，脸部视频用于指示一定时间段内的脸部视频。
25.在s102中，通过脸部视频获取若干准心率和若干准震动频率的实现方式有多种，这里不作太多的限定。
26.例如，按照特定步长的时间窗口将脸部视频划分成若干窗口视频；针对任一窗口视频：对窗口视频进行提取处理，得到眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号；其中准心率可以是对眉间特征信号提取处理后得到的，也可以是对下巴特征信号提取处理后得到的，还可以是对眉间特征信号和下巴特征信号提取处理后得到的。准震动频率可以是对眼睛特征信号提取处理后得到的，也可以是对嘴巴特征信号提取处理后得
到的，还可以是对眼睛特征信号和嘴巴特征信号提取处理后得到的。由于每个窗口视频对应一个准心率和一个准震动频率，因此，若干窗口视频对应若干准心率和若干准震动频率。由此，通过滑动窗口的方式统计脸部视频的准心率和准震动频率，不仅能够对疲劳状态进行实时检测，而且能够获得鲁棒性更好的疲劳测量结果。
27.需要说明的是，由于脸部视频是由多帧脸部图像按照时间顺序排列形成的具有时序性的序列，并且窗口视频是按照特定步长的时间窗口将脸部视频划分而得到的，因此脸部视频对应的若干准心率和若干准震动频率均是具有时序性的序列。
28.在s103中，对若干准心率和若干准震动频率分别进行去噪处理，得到目标心率和目标震动频率。去噪处理的方式有多种，在这里不作限定，只要能够去除若干准心率中的离散值和若干准震动频率中的离散值即可。
29.去除离散值后得到的目标心率有若干个，去除离散值后得到的目标震动频率有若干个，若干目标心率和若干目标震动频率也均是具有时序性的序列。
30.在s104中，分别对目标心率和目标震动频率进行检测，若检测结果表征目标心率满足第一预设条件且目标震动频率满足第二预设条件，则确定目标对象处于疲劳状态。对疲劳状态等级的划分是根据实际测量需求确定的。
31.例如，疲劳状态可以分为轻度疲劳状态以及微睡眠状态。获取目标对象处于非疲劳状态时的正常心率和正常震动频率；分别确定正常心率和目标心率之间的差值，以及正常震动频率与目标震动频率之间的差值。若预设测量次数内每次测得目标心率对应的差值均大于第二预设心率阈值且每次测得目标震动频率对应的差值均大于第二预设震动阈值，则确定目标对象处于轻度疲劳状态；例如在连续3个窗口视频中每个窗口视频测得的目标心率对应的差值均大于第二预设心率阈值且每个窗口视频测得的目标震动频率对应的差值均大于第二预设震动阈值，则确定目标对象处于轻度疲劳状态。若预设测量次数内每次测得目标心率对应的差值均大于第三预设心率阈值且每次测得目标震动频率对应的差值均大于第三预设震动阈值，则确定目标对象处于微睡眠状态。
32.需要说明的是，一个窗口视频对应一个目标心率和一个震动频率，若干窗口视频对应若干目标心率和若干震动频率。
33.本发明实施例通过对脸部视频进行处理，得到若干准心率和若干准震动频率；并分别从若干准心率和若干准震动频中选取目标心率和目标震动频率；之后对目标心率和目标震动频率进行检测，并根据检测结果确定目标对象处于疲劳状态；由此，能够将心率和眼睛嘴巴震动频率相结合用于目标对象的疲劳状态的检测，从而提高了疲劳测量结果的准确性和鲁棒性，解决了现有技术中由于复杂的逻辑分析导致计算量增大且疲劳测量结果鲁棒性低的问题。
34.如图2所示，本发明另一实施例疲劳测量方法的示意性流程图。本实施例是在前述实施例的基础上进一步优化得到的。一种疲劳测量方法，该方法至少包括如下操作流程：s201，获取目标对象的脸部视频；s202，对脸部视频进行处理，得到若干准心率和若干准震动频率；准心率用于通过眉间感兴趣区域和/或下巴感兴趣区域而获得，准震动频率用于通过眼睛和/或嘴巴而获得；s203，确定若干准心率的中位数和若干准震动频率的中位数；s204，针对任一准心率：确定准心率与对应中位数之间的偏差，并确定偏差是否大于第一预设心率阈值，若是，则从若干准心率中移除该准心率，得到目标心率；s205，针对任一准震动
频率：确定准震动频率与对应中位数之间的偏差，并确定偏差是否大于第一预设震动阈值，若是，则从若干准震动频率中移除该准震动频率，得到目标震动频率；s206，对目标心率和目标震动频率进行检测，并根据检测结果确定目标对象处于疲劳状态。
35.其中，s201至s202的具体实现过程与图1所示实施例中s101以及s102 的具体实现过程相类似，这里不再赘述。
36.在s203至s205中，由此对若干准心率或若干准震动频率中进行有效去噪，从而能够准确获取目标准心率或目标准震动频率
37.在s206中，获取目标对象处于非疲劳状态时的正常心率和正常震动频率；分别确定正常心率和目标心率之间的差值，以及正常震动频率与目标震动频率之间的差值；对目标心率对应的差值以及目标震动频率对应的差值进行检测；若检测结果表征预设测量次数内每次测得目标心率对应的差值均大于第二预设心率阈值且每次测得目标震动频率对应的差值均大于第二预设震动阈值，则确定目标对象处于轻度疲劳状态；若预设测量次数内每次测得目标心率对应的差值均大于第三预设心率阈值且每次测得目标震动频率对应的差值均大于第三预设震动阈值，则确定目标对象处于微睡眠状态；其中，第三预设心率阈值大于第二预设心率阈值，第三预设震动阈值大于第二预设震动频率阈值。
38.需要说明的是，当每次测得目标震动频率对应的差值大于第二预设震动阈值时，此时的目标震动频率已经降至个位数；当每次测得目标震动频率对应的差值大于第三预设震动阈值时，此时的目标震动频率已经降至0。
39.本实施例通过测量目标心率对应的差值以及目标震动频率对应的差值，并对两个差值进行检测，之后基于检测结果和不同的预设阈值，确定目标对象所处疲劳状态的等级；由此能够基于不同预设阈值判断目标对象所处疲劳状态的程度，进而能够对目标对象的疲劳状态进行准确检测，提高了目标对象疲劳检测的准确率。
40.如图3所示，本发明一实施例确定准心率和准震动频率的示意性流程图。本实施例是在前述实施例的基础上进一步优化得到的。确定准心率和准震动频率，至少包括如下操作流程：s301，利用模型对窗口视频进行预测，生成脸部关键点，脸部关键点包括轮廓关键点和特定部位关键点；s302，从脸部关键点中分别提取眼睛关键点、嘴巴关键点、眉间感兴趣区域，以及下巴感兴趣区域；s303，对眼睛关键点和嘴巴关键点分别进行降维处理，得到眼部特征信号和嘴部特征信号；s304，对眉间感兴趣区域和下巴感兴趣区域分别进行特征提取处理，得到眉间色彩信号和下巴色彩信号；s305，对眉间色彩信号和下巴色彩信号分别进行降噪处理，得到眉间特征信号和下巴特征信号；s306，对眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号进行融合处理，得到融合特征信号；s307，对融合特征信号进行降噪处理，得到平稳特征信号；s308，对平稳特征信号进行盲源分离，并将盲源分离后的信号成分转化成频率值，得到若干频率值；s309，基于机体心率范围，从若干频率值中选取预心率，并对选取的预心率求均值，得到准心率；基于眼嘴部震动频率范围，从若干频率值中选取预震动频率，并对选取的预震动频率求均值，得到准震动频率。
41.在s301中，多任务网络模型的训练过程如下：获取标注有脸部轮廓关键点的脸部图像，并将该脸部图像作为第一训练样本；获取标注有特定部位关键点的脸部图像，并将该脸部图像作为第二训练样本；将第一训练样本和第二训练样本同时输入多任务网络以进行模型训练，最后得到多任务网络模型。由此，通过多个任务共享一个模型，能够使得第一训
练样本和第二训练样本之间进行信息共享和信息补充，从而使得脸部关键点的像素能够稳定下来，减缓了训练过程中脸部关键点像素的偏移，进而减少了多任务网络的计算量，加快了多任务网络的逻辑推理速度，提高了模型训练的准确性。
42.从窗口视频中提取脸部图像，得到若干帧脸部图像；对每帧脸部图像进行归一化处理，将归一化处理后的脸部图像输入训练好的多任务网络模型，进行预测，生成脸部关键点，脸部关键点包括轮廓关键点和特定部位关键点。由此，通过将脸部视频按照特定步长的时间划分成若干窗口视频以进行处理，提高了多任务网络模型处理的速度，从而有利于实现实时测量；之后通过对窗口视频进行归一化处理，从而降低了窗口视频中所有脸部图像像素的量纲，进而使得输入多任务网络模型中多个脸部图像之间的差异减小，提高了多任务网络模型预测的准确性。
43.为了能够更有效地对目标对象的疲劳状态进行实时检测，还可以针对归一化处理后的脸部图像，进行分辨率调整，例如将归一化处理后的脸部图像分辨率调整为320x240。由此，能够在保证脸部图像像素精度的条件下，减少多任务网络模型的逻辑推理时间，实现基于脸部视频实时检测疲劳状态。
44.在s302中，基于关键点索引从特定部位关键点中选取左眼关键点、右眼关键点，以及嘴巴关键点，并将左眼关键点和右眼关键点确定为眼睛关键点。例如，经过模型预测生成的脸部关键点有98个，根据关键点索引从98个关键点中选取构成左眼区域的9个关键点，构成右眼区域的9 个关键点，构成嘴巴的20个关键点。基于轮廓关键点，以及特定部位关键点中左眉毛关键点和右眉毛关键点，确定位于眉毛之间额头下方的眉间感兴趣区域；并基于轮廓关键点和嘴巴关键点确定下巴感兴趣区域。由此，通过索引查询的方式能够准确获取眼睛关键点、嘴巴关键点、眉间感兴趣区域，以及下巴感兴趣区域。
45.在这里，眼睛关键点和嘴巴关键点均是通过点坐标表示的。眉间感兴趣区域和下巴感兴趣区域均是基于多个点坐标形成区域
46.在s303中，眼睛关键点包括眼睛的横纵比语义信息，嘴巴关键点包括嘴巴的横纵比语义信息。由于一个关键点对应一个特征信号，因此18 个眼睛关键点对应18个眼睛特征信号，20个嘴巴关键点对应20个嘴巴特征信号。
47.通过降维处理将眼睛关键点和嘴巴关键点从二维向量转化成一维向量，从而有利于后期眼睛特征信号、嘴巴特征信号、眉间特征信号和下巴特征信号的融合。
48.在s304中，将眉间感兴趣区域和下巴感兴趣区域分别转化成hsv格式；对具有hsv格式的眉间感兴趣区域的三个通道(例如色相通道、饱和度通道和明度通道)的像素值分别取平均值，得到色相信号、饱和度信号和明度信号，并将色相信号、饱和度信号和明度信号确定为眉间色彩信号；对具有hsv格式的下巴感兴趣区域的三个通道分别取平均值，得到色相信号、饱和度信号和明度信号，并将色相信号、饱和度信号和明度信号确定为下巴色彩信号。由于1个感兴趣区域对应是3个特征信号，因此 2个感兴趣区域对应6个特征信号。
49.由于亮度和饱和度对于动态模糊的图像灵敏度较高，因此通过将两个感兴趣区域转化成hsv格式，能够有效去除窗口视频中感兴趣区域比较模糊的脸部图像，从而解决由于窗口视频中出现动态模糊的脸部图像导致心率计算不准确的问题。
50.在s305中，降噪处理的实现方式有很多种，可以通过方差选择的方式进行降噪处理，也可以通过去中心化的方式进行降噪处理，还可以是将方差选择和去中心化的方式相
结合进行降噪处理。
51.由于眉间色彩信号和下巴色彩信号均是与窗口视频对应的，而窗口视频是具有时序性的，因此眉间色彩信号和下巴色彩信号也是有时序性的。针对眉间色彩信号按照特定时间步长进行分段，得到若干眉间子色彩信号；针对任一眉间子色彩信号：计算眉间色子彩信号对应的饱和度信号和明度信号之间的方差，若方差大于预设阈值，则从眉间色彩信号中移除该段眉间子色彩信号；将剩余的眉间子色彩信号进行拼接，得到眉间信号。针对下巴色彩信号按照特定时间步长进行分段，得到若干下巴子色彩信号；针对任一下巴子色彩信号：计算下巴色子彩信号对应的饱和度信号和明度信号之间的方差，若方差大于预设阈值，则从下巴色彩信号中移除该段下巴子色彩信号；将剩余的下巴子色彩信号进行拼接，得到下巴信号。由此，通过方差选择的方式，能够有效去除窗口视频中由于运动模糊造成的异常值，提高了心率计算的准确率。
52.针对眉间信号按照特定时间步长进行分段，得到若干眉间子信号；针对任一眉间子信号：计算眉间子信号的hsv均值，将该眉间子信号中每一位置对应的hsv值与均值做差值，得到去中心化后的眉间子信号；将若干去中心化后的眉间子信号进行拼接，得到眉间特征信号。针对下巴信号按照特定时间步长进行分段，得到若干下巴子信号；针对任一下巴子信号：计算下巴子信号的hsv均值，将该下巴子信号每一位置对应的hsv 值与均值做差值，得到去中心化后的下巴子信号；将若干去中心化后的下巴子信号进行拼接，得到下巴特征信号。由此，通过去中心化处理，能够有效去除窗口视频中由于运动模糊造成的异常值，从而使得窗口视频中下巴特征和眉间特征更加明显。
53.在s306中，在这里融合处理是指将眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号进行拼接处理，以形成一个融合特征信号。例如将18个眼睛特征信号、20个嘴巴特征信号，以及两个感兴趣区域对应的6个特征信号进行相加，得到44维的融合特征信号。
54.在s307中，将融合特征信号中的每一维特征信号进行转轴样条曲线拟合，得到非线性趋势的信号；利用融合特征信号与非线性趋势的信号做差值，得到去除非线性趋势的信号；利用最小二乘法对去除非线性趋势的信号进行拟合处理，得到线性趋势信号；利用去除非线性趋势的信号与线性趋势信号做差值，得到去除线性趋势的信号。由此，通过转轴样条曲线拟合的方式去除了融合特征信号中非线性趋势，能够确保融合特征信号线性的光顺性；之后通过最小二乘法去除特征信号中的线性趋势，从而能够获得一个类似直线的平稳特征信号，提高了信号的稳定性，避免了信号的波动。
55.在获得平稳特征信号后，还可以通过滤波器对平稳特征信号进行滤波处理，以滤除信号中的超低频与高频成分，从而能够减少噪声信号对盲源分离产生的影响。
56.在s308中，采用独立成分分析(ica)对平稳特征信号进行盲源分离，得到相互独立的若干信号成分；对每一信号成分进行傅里叶变换处理，得到与信号成分对应的频率值；每一信号成分对应一频率值，若干信号成分对应若干频率值。若干频率值中包括心率以及眼嘴部的震动频率。
57.在s309中，例如，人体心率范围是在0.75
‑
2.5hz，对各个信号进行分析，含有心率的信号会在频率范围内的区域有一个明显的高峰，而其他信号峰值则会远远低于该峰值，由此从若干频率值中选取预心率，并对选取多个预心率求均值，得到准心率。人体眼睛与嘴
巴震动频率范围为 0.25
‑
0.5hz，且眼睛和嘴巴震动频率相近，因此对各个信号进行分析，含有眼嘴部震动频率的信号会在震动频率范围内有一个明显的高峰，通过分析峰值便能够获得眼嘴部的震动频率。由此，从若干频率值中选取预震动频率，并对选取的多个预震动频率求均值，得到准震动频率。
58.本实施例先采用多任务联合训练的一体化模型进行脸部关键点预测，提高了关键点测量结果的鲁棒性；并结合对感兴趣区域的hsv通道信号进行方差选择和去中心化处理，从而能够有效去除窗口视频中由于运动模糊造成的异常值，提高了心率计算的准确性；之后通过转轴样条曲线拟合和最小二乘法对融合特征信号进行处理，从而去除了融合特征信号中的非线性趋势和线性趋势，保证了融合特征信号的光顺性；最后通过盲源分离和去噪处理的方式获得准心率和准震动频率，从而提高了准心率和准震动频率计算的准确性，进而提高了疲劳测量结果的准确性和鲁棒性。
59.应理解，在本发明的各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在的逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
60.如图4所示，为本发明一实施例疲劳测量装置的示意性框图。一种疲劳测量装置，所述装置400包括：获取模块401，用于获取目标对象的脸部视频；处理模块402，用于对脸部视频进行处理，得到若干准心率和若干准震动频率；准心率用于通过眉间感兴趣区域和/或下巴感兴趣区域而获得，准震动频率用于通过眼睛和/或嘴巴而获得；选取模块403，用于从若干准心率中选取目标心率，并从若干准震动频率中选取目标震动频率；检测模块 404，用于对目标心率和目标震动频率进行检测，并根据检测结果确定目标对象处于疲劳状态。
61.在可选的实施例中，处理模块402包括：划分单元，用于按照特定步长的时间窗口将脸部视频划分成若干窗口视频；处理单元，用于针对任一窗口视频：对窗口视频进行提取处理，得到眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号；对眼睛特征信号、嘴部特征信号、眉间特征信号和下巴特征信号进行融合处理，得到融合特征信号；对融合特征信号进行转换处理，得到准心率和准震动频率。
62.在可选的实施例中，处理单元包括：预测子单元，用于利用模型对窗口视频进行预测，生成脸部关键点，脸部关键点包括轮廓关键点和特定部位关键点；第一提取子单元，用于从脸部关键点中分别提取眼睛关键点、嘴巴关键点、眉间感兴趣区域，以及下巴感兴趣区域；降维子单元，用于对眼睛关键点和嘴巴关键点分别进行降维处理，得到眼部特征信号和嘴部特征信号；第二提取子单元，用于对眉间感兴趣区域和下巴感兴趣区域分别进行特征提取处理，得到眉间色彩信号和下巴色彩信号；第一降噪子单元，用于对眉间色彩信号和下巴色彩信号分别进行降噪处理，得到眉间特征信号和下巴特征信号。
63.在可选的实施例中，处理单元还包括：第二降噪子单元，用于对融合特征信号进行降噪处理，得到平稳特征信号；盲源分离子单元，用于对平稳特征信号进行盲源分离，并将盲源分离后的信号成分转化成频率值，得到若干频率值；选取子单元，用于基于机体心率范围，从若干频率值中选取预心率，并对选取的预心率求均值，得到准心率；基于眼嘴部震动频率范围，从若干频率值中选取预震动频率，并对选取的预震动频率求均值，得到准震动频率。
64.在可选的实施例中，选取模块403包括：确定单元，用于确定若干准心率的中位数
和若干准震动频率的中位数；第一选取子单元，用于针对任一准心率：确定准心率与对应中位数之间的偏差，并确定偏差是否大于第一预设心率阈值，若是，则从若干准心率中移除该准心率，得到目标心率；第二选取子单元，用于针对任一准震动频率：确定准震动频率与对应中位数之间的偏差，并确定偏差是否大于第一预设震动阈值，若是，则从若干准震动频率中移除该准震动频率，得到目标震动频率。
65.在可选的实施例中，检测模块404包括：获取单元，用于获取目标对象处于非疲劳状态时的正常心率和正常震动频率；差值单元，用于分别确定正常心率和目标心率之间的差值，以及正常震动频率与目标震动频率之间的差值；确定单元，用于若预设测量次数内每次测得目标心率对应的差值均大于第二预设心率阈值且每次测得目标震动频率对应的差值均大于第二预设震动阈值，则确定目标对象处于轻度疲劳状态。
66.在可选的实施例中，检测模块404包括：获取单元还用于，获取目标对象处于非疲劳状态时的正常心率和正常震动频率；差值单元还用于，分别确定正常心率和目标心率之间的差值，以及正常震动频率与目标震动频率之间的差值；确定单元还用于，若预设测量次数内每次测得目标心率对应的差值均大于第三预设心率阈值且每次测得目标震动频率对应的差值均大于第三预设震动阈值，则确定目标对象处于微睡眠状态。
67.上述装置可执行本发明一实施例所提供的疲劳测量方法，具备执行疲劳测量方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的疲劳测量方法。
68.本发明实施例另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，使得所述处理器至少执行如下所述的操作步骤：s101，获取目标对象的脸部视频；s102，对脸部视频进行处理，得到若干准心率和若干准震动频率；准心率用于通过眉间感兴趣区域和/或下巴感兴趣区域而获得，准震动频率用于通过眼睛和/或嘴巴而获得；s103，从若干准心率中选取目标心率，并从若干准震动频率中选取目标震动频率； s104，对目标心率和所述目标震动频率进行检测，并根据检测结果确定目标对象处于疲劳状态。
69.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
70.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
71.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。