适用于列车司机的人脸疲劳数据集构建方法、系统及介质

本发明涉及数据处理领域，特别是涉及一种适用于列车司机工作特性的人脸疲劳数据集构建方法、系统及介质。

背景技术：

1、司机疲劳是列车事故中重要的人为因素，合理的进行司机疲劳风险管理是预防列车事故的重要任务。列车司机驾驶任务存在工作时间长、工作压力大与任务单调等特点司机疲劳的产生在所难以避免。伴随着图像识别与深度学习技术的发展，数据集高质量的数据集往往能够提高模型训练的质量和预测的准确率。如何构建适用于列车司机工作特性的人脸疲劳数据集为后续疲劳检测系统的开发奠定了基础。

2、现有人脸疲劳数据集的构建时需要拍摄疲劳时人脸状态的反应，现有的方案大体有两类。一类是被拍摄者直接通过摆拍的方式表现出疲劳状态，这种方法被拍摄者的疲劳状态并没有得到真正的诱发，与真实的疲劳状态存在差距。另一种方式为通过剥夺被拍摄者的睡眠诱发疲劳状态，然而这种方式持续较长而且并不适用于列车司机的工作特性。此外，当前的疲劳状态的判断较为主观，通过人的主观判别疲劳状态并不准确。

技术实现思路

1、本发明的目的是提供一种适用于列车司机的人脸疲劳数据集构建方法、系统及介质，能够准确得到适用于列车司机工作特性的人脸疲劳数据集，进而为列车司机实际工作场景下的疲劳状态准确检测奠定了基础。

2、为实现上述目的，本发明提供了如下方案：

3、一种适用于列车司机的人脸疲劳数据集构建方法，所述方法包括：

4、获取被拍摄者执行ax-cpt心理学范式任务时的多维度数据；所述多维度数据包括所述被拍摄者的人脸数据、所述被拍摄者的心率数据、ax-cpt任务的反应时间、ax-cpt任务的准确率；

5、利用所述被拍摄者的心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率进行疲劳状态的标定；

6、根据标定为疲劳状态的所述被拍摄者的人脸数据以及对应的疲劳状态标签构建所述人脸疲劳数据集。

7、可选的，获取被拍摄者执行ax-cpt心理学范式任务时的多维度数据，具体包括：

8、准备训练阶段：所述被拍摄者练习所述ax-cpt心理学范式的基本操作，当绩效指标达标满足预设要求后进入正式实验；所述绩效指标包括所述被拍摄者的所述ax-cpt任务的反应时间和所述ax-cpt任务的准确率；

9、疲劳状态检测与基线绩效采集阶段：所述被拍摄者完成总计10min的ax-cpt任务，采集所述被拍摄者的心率数据、ax-cpt任务的反应时间、ax-cpt任务的准确率和所述被拍摄者的人脸数据；

10、ax-cpt疲劳诱发阶段：实验时长总计90min，共分为9个连续的测试阶段，每个测试阶段为10min，所述被拍摄者每执行一个测试阶段的ax-cpt任务时，采集所述被拍摄者的心率数据、ax-cpt任务的反应时间、ax-cpt任务的准确率和所述被拍摄者的人脸数据。

11、可选的，利用所述被拍摄者的心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率进行疲劳状态的标定之前，还包括：对所述被拍摄者的心率数据、所述ax-cpt任务的反应时间和所述ax-cpt任务的准确率进行归一化处理。

12、可选的，疲劳状态的标定所依据的表达式为：

13、

14、y＝0.1(hr-hrb)+0.15(rt-rtb)+0.2(acc-accb)

15、其中，当z＜0.5则被拍摄者在当前心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率状态下为非疲劳状态；当z＞0.5则被拍摄者在当前心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率状态下为疲劳状态；hrb、rtb、accb分别表示心率数据hr、ax-cpt任务的反应时间rt、ax-cpt任务的准确率acc的基线数据。

16、可选的，根据标定为疲劳状态的所述被拍摄者的人脸数据以及对应的疲劳状态标签构建所述人脸疲劳数据集之后还包括：根据所述人脸疲劳数据集进行列车司机的疲劳状态检测，具体为：

17、利用所述人脸疲劳数据集训练深度学习网络；利用训练后的深度学习网络检测所述列车司机的疲劳状态。

18、本发明还提供一种适用于列车司机的人脸疲劳数据集构建系统，所述系统包括：

19、数据获取模块，用于获取被拍摄者执行ax-cpt心理学范式任务时的多维度数据；所述多维度数据包括所述被拍摄者的人脸数据、所述被拍摄者的心率数据、ax-cpt任务的反应时间、ax-cpt任务的准确率；

20、状态标定模块，用于利用所述被拍摄者的心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率进行疲劳状态的标定；

21、数据集构建模块，用于根据标定为疲劳状态的所述被拍摄者的人脸数据以及对应的疲劳状态标签构建所述人脸疲劳数据集；

22、状态检测模块，用于根据所述人脸疲劳数据集进行列车司机的疲劳状态检测。

23、可选的，所述系统还包括归一化模块；所述归一化模块，用于在利用所述被拍摄者的心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率进行疲劳状态的标定之前，对所述被拍摄者的心率数据、所述ax-cpt任务的反应时间和所述ax-cpt任务的准确率进行归一化处理。

24、可选的，疲劳状态的标定所依据的表达式为：

25、

26、y＝0.1(hr-hrb)+0.15(rt-rtb)+0.2(acc-accb)

27、其中，当z＜0.5则被拍摄者在当前心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率状态下为非疲劳状态；当z＞0.5则被拍摄者在当前心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率状态下为疲劳状态；hrb、rtb、accb分别表示心率数据hr、ax-cpt任务的反应时间rt、ax-cpt任务的准确率acc的基线数据。

28、可选的，所述系统还包括状态检测模块；所述状态检测模块用于根据所述人脸疲劳数据集进行列车司机的疲劳状态检测。

29、本发明还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现所述的适用于列车司机的人脸疲劳数据集构建方法。

30、根据本发明提供的具体实施例，本发明公开了以下技术效果：

31、本发明提供一种适用于列车司机的人脸疲劳数据集构建方法、系统及介质，通过执行ax-cpt心理学范式任务来诱发被拍摄者的疲劳状态，通过获取被拍摄者执行ax-cpt心理学范式任务时的心率数据、ax-cpt任务的反应时间、ax-cpt任务的准确率、被拍摄者的人脸数据，并将采集的数据与疲劳状态进行标定，从而准确得到疲劳状态下的人脸疲劳数据集，进而能够得到适用于列车司机工作特性的人脸疲劳数据集，有利于基于该人脸疲劳数据集进行列车司机疲劳状态的准确检测。

技术特征：

1.一种适用于列车司机的人脸疲劳数据集构建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，获取被拍摄者执行ax-cpt心理学范式任务时的多维度数据，具体包括：

3.根据权利要求1所述的方法，其特征在于，利用所述被拍摄者的心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率进行疲劳状态的标定之前，还包括：对所述被拍摄者的心率数据、所述ax-cpt任务的反应时间和所述ax-cpt任务的准确率进行归一化处理。

4.根据权利要求3所述的方法，其特征在于，疲劳状态的标定所依据的表达式为：

5.根据权利要求1所述的方法，其特征在于，根据标定为疲劳状态的所述被拍摄者的人脸数据以及对应的疲劳状态标签构建所述人脸疲劳数据集之后还包括：根据所述人脸疲劳数据集进行列车司机的疲劳状态检测，具体为：

6.一种适用于列车司机的人脸疲劳数据集构建系统，其特征在于，所述系统包括：

7.根据权利要求6所述的系统，其特征在于，所述系统还包括归一化模块；所述归一化模块，用于在利用所述被拍摄者的心率数据、ax-cpt任务的反应时间和ax-cpt任务的准确率进行疲劳状态的标定之前，对所述被拍摄者的心率数据、所述ax-cpt任务的反应时间和所述ax-cpt任务的准确率进行归一化处理。

8.根据权利要求6所述的系统，其特征在于，疲劳状态的标定所依据的表达式为：

9.根据权利要求6所述的系统，其特征在于，所述系统还包括状态检测模块；所述状态检测模块用于根据所述人脸疲劳数据集进行列车司机的疲劳状态检测。

10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5所述的适用于列车司机的人脸疲劳数据集构建方法。

技术总结
本发明公开一种适用于列车司机的人脸疲劳数据集构建方法、系统及介质，涉及数据处理领域，方法包括获取被拍摄者执行AX‑CPT心理学范式任务时的多维度数据，包括被拍摄者的人脸数据、心率数据、AX‑CPT任务的反应时间和AX‑CPT任务的准确率。利用被拍摄者的心率数据、AX‑CPT任务的反应时间和AX‑CPT任务的准确率进行疲劳状态的标定；根据标定为疲劳状态的人脸数据以及对应的疲劳状态标签构建人脸疲劳数据集。通过执行AX‑CPT心理学范式任务能够准确得到适用于列车司机工作特性的人脸疲劳数据集，进而为列车司机实际工作场景下的疲劳状态准确检测奠定了基础。

技术研发人员：方卫宁,胡胜建,鲍海峰,张天龙,郭北苑,裘瀚照
受保护的技术使用者：北京交通大学
技术研发日：
技术公布日：2024/1/15