专注度监测方法和系统

本发明涉及自动化监测，特别涉及一种专注度监测方法和系统。

背景技术：

1、目前，在进行航空调度和核电安全控制等操作时，工作人员通常需要使用人机交互输出设备(比如显示器)、人机交互输入设备(比如键盘、鼠标)等辅助设备对主机(比如计算机)进行状态查看和操作控制。工作时，工作人员的专注度常常受其情绪、精神状态等原因的影响，容易在其情绪不佳、疲劳等情况下出现分心、走神、发呆等状况，导致专注度不佳，影响操作的及时性和准确性，因此，如何识别人员专注度则显得尤为重要。

2、中国专利文献cn109878527a公开了一种分心感测系统，其使用接触式传感器采集皮肤电信号分析人员是否分心，该方法需要待检测人员穿戴设备，隐蔽性与便捷性尚有欠缺。中国专利文献cn104706366a公开了一种分心检测方法、装置及系统，采集待检测人员的心电数据，也有上述相同的问题。中国专利文献cn115246405a公开了一种驾驶员分心行为的检测方法及系统，采集驾驶人员的眼球特征，并换算成视线关注的区间范围，当超过预设的正常区间时判断待检测人员分心，该方法检测粒度太粗，无法区分是否在正常驾驶还是已分心。中国专利文献cn114026611a公开了一种使用热图检测驾驶员注意力，其分别生成场景注意力热力图和驾驶员注视热图，通过分析两个热力图之间的差异，判断驾驶员是否分心，该方法仅能识别待检测人员的视线是否与感兴趣区域吻合，对时间序列信息缺失，且对待检测人员发呆等情况很难辨析。

3、上述这些用于汽车驾驶员的分心检测方法都还存在着诸多不足，而且汽车驾驶环境又与航空调度和核电安全控制等操作环境相差较大，因此，它们并不适用航空调度和核电安全控制等工作环境下的人员分心检测。

技术实现思路

1、本发明所要解决的技术问题是提供一种可适用于航空调度和核电安全控制等工作环境下的人员分心检测方法。

2、为了解决上述问题，本发明采用的技术方案如下：

3、专注度监测方法，包括以下步骤：

4、一、利用图像获取装置采集待测人员和设备的图像信息；

5、二、以图像中人机交互输入设备所处区域为微行为识别检测区域，检测该区域内是否出现待测人员的手部，对出现在其中的手部进行微行为识别检测，得出待测人员的手部的状态，判断手部活动与否；

6、具体为，以图像中人机交互输入设备所处区域为微行为识别检测区域，检测微行为识别检测区域内是否出现待测人员的手部特征，若没有则进入下一步，若有则对出现在其中的手部特征进行微行为识别检测，判断待测人员的手部是活动还是静止，若是活动，则判定待测人员为工作状态，若是静止，则进入下一步；

7、三、获取待测人员在显示器屏幕上的视线轨迹，并结合显示器屏幕中的注意力热力图，比较两者之间的相似度；

8、四、分析视线轨迹的运动趋势，判断其与先验知识是否吻合；

9、五、对待测人员的眼部特征进行检测，得出待测人员的眨眼频率，判断其是否正常；

10、六、综合上述各项检测结果并通过加权计算，判断待测人员是否处于工作状态。

11、其中，步骤一中，图像获取装置包括相机，采集的待测人员的图像信息包括待测人员的眼部特征、手部特征和面部特征的图像信息，采集的设备的图像信息包括人机交互输入设备和显示器屏幕的图像信息。

12、其中，步骤二中，人机交互输入设备为键盘和鼠标，确定微行为识别检测区域的步骤包括：

13、a、利用图像处理中的目标检测技术，分别检测并确定键盘与鼠标在图像中的区域位置rkeyboard和rmouse，其中，rkeyboard和rmouse为：

14、rkeyboard＝((xleft，yleft)，(xright，yright))；

15、rmouse＝((xleft，yleft)，(xright，yright))；

16、其中，(xleft，yleft)表示区域r*左上角的坐标位置，(xright，yright)表示区域r*右下角的坐标位置。

17、b、通过键盘和鼠标的区域位置，确定微行为识别检测区域rdetection，区域坐标参数为：

18、

19、其中，步骤二中，微行为识别检测的步骤包括：

20、对出现在微行为识别检测区域中的手部特征上的包括手指指尖、手指关节、手掌中心位置和腕关节位置在内的关键点信息进行检测，再根据手部特征的关键点在视频序列中的轨迹来判断待测人员的手部是活动还是静止。

21、其中，步骤三中，获取视线轨迹的步骤包括：

22、a、提取并分析待测人员的眼部特征，得出视线方向；

23、b、检测人脸的若干个特征值，并与标准姿态下的人脸特征值进行比对，得出面部与图像获取装置之间的姿态关系；

24、c、结合待测人员的面部与显示器屏幕之间的位姿关系，计算出待测人员在显示器屏幕上的视线轨迹：

25、(1)通过图像获取装置的空间坐标，与显示器屏幕平面位置的关系，得出面部与屏幕之间的转换矩阵r；

26、(2)通过转换矩阵r计算出面部相对于屏幕的位姿，并通过计算的面部与屏幕之间的距离，实时计算出视线在屏幕上的位置pt；

27、(3)通过在时间上的累积，获取到视线在屏幕上的位置序列(pi)，其中i≥0。

28、其中，步骤三中，屏幕注意力热力图的分布函数为probs：

29、

30、其中，bright(i,j)为屏幕坐标i-j位置的亮度值，

31、

32、其中，width和height为屏幕的分辨率，(i,j)为采样点在屏幕上的坐标位置。

33、其中，步骤三中，检测视线轨迹与屏幕注意力热力图的相似度的步骤包括：

34、将视线轨迹与屏幕注意力热力图进行归一化处理，并按屏幕分辨率进行采样，得到视线轨迹的分布函数probeye,屏幕注意力热力图的分布函数为probscreen，通过交叉熵计算得到两者之间的相似度：

35、

36、其中，width和height分别为屏幕的分辨率，(i,j)为采样点在屏幕上的坐标位置；

37、将计算得出的视线轨迹与屏幕注意力热力图的相似度和预先设置的阈值对比，判断被测人员是否处在工作状态。

38、其中，步骤四中，先验知识为被测人员的视线从显示器屏幕中间开始，并从左上位置到右下位置移动；判断视线轨迹移动的方向的步骤包括：

39、通过计算视线轨迹的梯度，判断视线在屏幕上移动的方向：

40、

41、其中,traili(x，y)为视线轨迹第i个点的坐标信息；

42、通过中两个维度的正负号，判断轨迹移动的方向。

43、其中，步骤五中，检测待测人员的眨眼频率的步骤包括：

44、a、利用图像处理技术，提取出图像中人脸位置，并分割出眼部区域；

45、b、从眼部区域中，检测到眼睛的若干个关键点的位置，包括内眼角、外眼角、上眼睑及下眼睑的位置；

46、c、计算上下眼睑距离与内外眼角距离的比值，结合时间信息，计算出眨眼频率和闭眼的持续时间；

47、d、眨眼判别参数的计算方法为：

48、

49、其中，disw为内眼角p1与外眼角p4之间的距离，dish为上眼睑p2与下眼睑p6之间的距离；

50、周期性的计算眨眼判别参数blink，得出基于时间的变化趋势；

51、e、根据闭眼的持续时间timeclose，判断被测人员是否疲劳工作并对待测人员的异常状态做出判断：

52、

53、其中，threshold为闭眼的持续时间的阈值。

54、本发明的另一目的在于提供一种专注度监测系统，其包括存储单元和运算单元，所述存储单元存储有专注度监测程序，所述专注度监测程序通过运算单元运行以执行所述专注度监测方法中的步骤。

55、本发明提供的专注度监测方法不同于以往常见的接触式分心检测方法，其采用的是非接触的检测方法，无需待测人员穿戴设备，其只需使用摄像头、相机等非接触式设备采集图像信息，隐蔽性和便捷性更好，并且通过微行为识别、视线轨迹与屏幕注意力热力图检测、眨眼特征检测等多种方式判定待测人员的状态，通过加权计算(各项指标的权重值可以通过实验确定)，综合分析出待测人员的专注度情况，据此得出的检测结果相较于单一的判断方式而言，准确度更高。本发明提供的专注度监测方法相较于现有的汽车驾驶员分心检测方法而言，隐蔽性和便捷性更好，并且检测准确度更高，能够适用于航空调度和核电安全控制等操作环境下的人员分心检测。