一种基于头部动作的视觉刺激反应监测方法及智能终端

本发明涉及领域，具体涉及一种基于头部动作的视觉刺激反应监测方法及智能终端。

背景技术：

1、在心理学与神经科学研究、婴幼儿研究等领域，视觉刺激的反应监测有广泛的应用。在临床研究领域，对于视觉刺激的反应可用于眼科疾病以及大脑和神经障碍的诊断，例如自闭症和帕金森病等，还可提供一些疾病的早期征兆信息，如阿尔茨海默症、帕金森等。具体的参数数据令疾病或康复进展的研究得以客观量化。

2、目前对于用户在电脑或移动设备前收到的视觉刺激反应的监测，主要采用的是眼动追踪的方法，通过监测用户在阅读过程或完成任务过程中的眼球运动情况，分析用户的认知功能状态。但用于眼动分析的眼动仪成本较高，携带较为不便。另外，通过自带的单个摄像头，完成眼动分析的方法能够在一定程度上代替眼动仪，但是对于摄像头采集图像或视频的清晰度和分辨率有较高的要求。同时，无法适应逆光、强光等光线条件较差的情况，以及拍摄过程中眼睛部分没有拍全的情况；而且对认知功能评估有较高需求的老年人群体，眼睛睁开幅度普遍较年轻人小，都使得基于单个摄像头的眼动追踪实现困难，难以实现视觉刺激反应的监测。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于头部动作的视觉刺激反应监测方法及智能终端，旨在解决现有技术中眼动检测实现成本较高，以及基于单个摄像头的眼动追踪实现困难，难以实现视觉刺激反应的监测的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供一种基于头部动作的视觉刺激反应监测方法，其中，所述方法包括：

4、获取包含头部影像的图像或视频数据；

5、将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；

6、将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；

7、根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。

8、在一种实现方式中，所述将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框，包括：

9、将所述头部图像数据输入到头部检测网络模型进行训练，得到检测结果；

10、对所述检测结果进行非极大抑制后处理操作，得到所述头部检测矩形框。

11、在一种实现方式中，所述头部检测网络模型为mobilefacenet模型；其中，所述mobilefacenet模型包括第一可分离卷积模块和第二可分离卷积模块；所述第一可分离卷积模块包括一个5×5的卷积核，用于网络浅层；所述第二可分离卷积模块包括两个5×5的卷积核，用于网络深层。

12、在一种实现方式中，所述将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标，包括：

13、将所述头部检测矩形框中的头部图像输入到所述mobilemeshnet网络模型；其中，所述mobilemeshnet网络模型包括2d卷积层和残差模块；所述残差模块包括2个3×3的2d卷积层；所述2d卷积层的卷积核大小为3×3；

14、采用下采样的残差模块训练所述头部图像，得到关键点特征之间的依赖关系；

15、根据所述关键点特征之间的依赖关系，并采用卷积层-残差模块-卷积层的头部对所述头部图像进行解码，得到所述头部关键点位置坐标。

16、在一种实现方式中，所述根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应，包括：

17、根据所述头部关键点位置坐标，得到头部位置、头部各特征点坐标、头部各特征点相对深度估计；

18、根据所述头部位置、头部各特征点坐标、头部各特征点相对深度估计，得到头部动作参数；

19、根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应。

20、在一种实现方式中，所述头部动作参数，包括头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度以及反应时间；

21、在一种实现方式中，所述根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应，包括：根据所述头部转动方向、头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应；

22、根据所述头部朝向，到所述视觉刺激方向；

23、根据所述头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应。

24、第二方面，本发明实施例还提供一种基于头部动作的视觉刺激反应监测装置，其中，所述装置包括：

25、影像获取模块，用于获取包含头部影像的图像或视频数据；

26、头部检测矩形框获取模块，用于将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；

27、头部关键点位置坐标获取模块，用于将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；

28、视觉刺激反应获取模块，用于根据所述头部转动方向、头部转动速度、头部移动方向、头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度，得到所述视觉刺激反应。

29、第三方面，本发明实施例还提供一种智能终端，其中，所述智能终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于头部动作的视觉刺激反应监测程序，所述处理器执行所述基于头部动作的视觉刺激反应监测程序时，实现如以上任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。

30、第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于头部动作的视觉刺激反应监测程序，所述基于头部动作的视觉刺激反应监测程序被处理器执行时，实现如以上任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。

31、有益效果：与现有技术相比，本发明提供了一种基于头部动作的视觉刺激反应监测方法及智能终端。首先，获取包含头部影像的图像或视频数据，实现在跨平台设备和网络上，利用其自带的摄像头实现对头动行为的监测，对硬件设备要求低。然后，将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框，实现通过神经网络模型智能检测头部图像所在的矩形框。接着，将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标，通过基于深度学习的头部特征点定位追踪方法，降低了环境的要求，增加了视觉刺激反应监测的泛用性。最后，根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应，可结合简单测试任务监测头动参数，根据头动参数评估被试的认知状态。

技术特征：

1.一种基于头部动作的视觉刺激反应监测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框，包括：

3.根据权利要求2所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述头部检测网络模型为mobilefacenet模型；其中，所述mobilefacenet模型包括第一可分离卷积模块和第二可分离卷积模块；所述第一可分离卷积模块包括一个5×5的卷积核，用于网络浅层；所述第二可分离卷积模块包括两个5×5的卷积核，用于网络深层。

4.根据权利要求1所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标，包括：

5.根据权利要求1所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应，包括：

6.根据权利要求5所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述头部动作参数，包括头部朝向，头部转动方向，头部转动速度，头部移动方向，头部移动速度、头部运动轨迹、头部运动轨迹面积、头部运动加速度以及反应时间。

7.根据权利要求6所述的基于头部动作的视觉刺激反应监测方法，其特征在于，所述根据所述头部动作参数，得到视觉刺激方向和视觉刺激反应，包括：

8.一种基于头部动作的视觉刺激反应监测装置，其特征在于，所述装置包括：

9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于头部动作的视觉刺激反应监测程序，所述处理器执行所述基于头部动作的视觉刺激反应监测程序时，实现如权利要求1-7任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于头部动作的视觉刺激反应监测程序，所述基于头部动作的视觉刺激反应监测程序被处理器执行时，实现如权利要求1-7任一项所述的基于头部动作的视觉刺激反应监测方法的步骤。

技术总结
本发明公开了一种基于头部动作的视觉刺激反应监测方法，所述方法包括：获取包含头部影像的图像或视频数据；将所述图像或视频数据输入到头部检测网络模型进行训练，得到头部检测矩形框；将所述头部检测矩形框输入到头部关键点定位模型进行训练，得到头部关键点位置坐标；根据所述头部关键点位置坐标，得到视觉刺激方向和视觉刺激反应。本发明结合简单测试任务对被试施加刺激，监测头动参数，根据头动参数评估被试的认知状态，通过基于深度学习的头部特征点定位追踪方法，降低了硬件的要求，增加了视觉刺激反应监测的泛用性。

技术研发人员：周永进,蔡思瑾,刘彦杰
受保护的技术使用者：深圳大学
技术研发日：
技术公布日：2024/1/13