用于儿童ADHD筛查评估系统的眼动注意力特征向量确定方法与流程

本发明涉及一种儿童adhd筛查评估系统，尤其是眼动注意力特征向量确定方法。

背景技术：

注意缺陷多动障碍(adhd)，俗称多动症，是儿童青少年期最常见的神经发育障碍，其临床表现是注意集中困难、活动过度、冲动，情绪不稳定、学习困难等。现有的adhd医学影像的智能识别技术主要是基于脑部功能性核磁共振和脑电图等病理方面的研究，或者单独基于眼动或面部表情等观察患者的行为特征。

目前adhd儿童眼动特征的研究和技术路线主要有两种，一种是通过头戴的眼动仪跟踪儿童的眼动情况和注视点位置，另一种则需要限定儿童身体和头部的位置，然后使用固定参数的公式计算得到儿童注视点位置。前者的缺点在于儿童需要头戴一个眼动仪，操作上有点不方便，而且眼动仪容易被儿童取下或改变位置，导致结果不准确。后者的缺陷在于需要限制儿童的运动，儿童的部分行为特征在这种情况下很难表现出来，而且在儿童大幅度运动后对于眼动的计算也会产生误差。

技术实现要素：

为了克服已有adhd儿童眼动特征确定方式的操作不方便、准确性较差的不足，本发明提供了一种操作便捷、准确性较好的用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法，不限制和影响adhd儿童活动的前提下的测算眼动注意力。

本发明解决其技术问题所采用的技术方案是：

一种用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法，其特征在于，输入为采集到的正面视频vfront和相机标定矩阵cr，输出为产生的眼动注意力特征向量fg，包括以下步骤:

步骤1瞳孔位置计算：首先通过基于hog的算法确认脸部位置，对脸部关键点的检测通过连续条件神经场模型框架实现，由此计算出平面中的瞳孔位置eh；接着，利用epnp算法，将检测到的人脸与平均标准3d脸模f进行对齐，计算出相机坐标系下头部的旋转矩阵rr以及平移向量tr，输出为眼部空间位置er＝tr+eh；

步骤2视线方向计算，视线方向特征表示为一个包含偏航角和俯仰角的二维向量g，所述偏航角为视线方向与垂直平面的夹角，所述俯仰角为视线方向与水平面的夹角；

步骤3屏幕位置换算：通过外部标定的方式确定屏幕所在平面的空间位置，根据视线方向特征向量g以及眼部位置er可以计算视线与屏幕平面的交点，即为视线在屏幕上的落点ps，再根据屏幕结构得到眼部注意力区域r；

步骤4将瞳孔位置、视线方向及屏幕注意力三者进行结合，得到最终的眼动注意力特征向量，表示为fg＝[er,g,r]。

优选的，所述步骤2中，先对眼部图像进行归一化处理：将原图像乘以相机投影矩阵的逆矩阵转化为三维空间中的头部位姿；再将此时的头部原姿态乘以变换矩阵m来固定眼部位置，最后再将归一化后的眼部姿态乘以一个标准相机投影矩阵cn，得到归一化后的眼部二维图像e；

为了计算视线向量，将归一化旋转矩阵rn＝mrr变换为二维旋转矢量h，将得到的2d头部姿态信息h和单通道灰度眼部图像e输入卷积神经网络模型，此步骤输出视线方向特征向量，所述特征向量为包含偏航角和俯仰角的二维向量g。

本发明的有益效果主要表现在：不需要穿戴设备，不会让儿童产生异样感；不需要限制儿童的活动，让其表现得更加自然；测量精度较高，误差角度能控制在5°以内。

附图说明

图1是用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法的流程图。

图2是儿童adhd筛查评估系统的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法，其特征在于，输入为采集到的正面视频vfront和相机标定矩阵cr，输出为产生的眼动注意力特征向量fg，包括以下步骤:

步骤1瞳孔位置计算：首先通过基于hog的算法确认脸部位置，对脸部关键点的检测通过连续条件神经场(ccnf)模型框架实现，由此可以计算出平面中的瞳孔位置eh；接着，利用epnp算法，可将检测到的人脸与平均标准3d脸模f进行对齐，计算出相机坐标系下头部的旋转矩阵rr以及平移向量tr，此步骤的输出为眼部空间位置er＝tr+eh；

步骤2视线方向计算，视线方向特征可表示为一个包括包含偏航角(yaw)和俯仰角(pitch)的二维向量g，所述偏航角为视线方向与垂直平面的夹角，所述俯仰角为视线方向与水平面的夹角；

为了获取视线向量，先对眼部图像进行归一化处理：将原图像乘以相机投影矩阵的逆矩阵转化为三维空间中的头部位姿；再将此时的头部原姿态乘以变换矩阵m来固定眼部位置，最后再将归一化后的眼部姿态乘以一个标准相机投影矩阵cn，得到归一化后的眼部二维图像e；为了计算视线向量，将归一化旋转矩阵rn＝mrr变换为二维旋转矢量h，将得到的2d头部姿态信息h和单通道灰度眼部图像e输入卷积神经网络模型，此步骤输出视线方向特征向量，所述特征向量为包含偏航角和俯仰角的二维向量g；

步骤3屏幕位置换算：通过外部标定的方式，可以确定屏幕所在平面的空间位置，根据视线方向特征向量g以及眼部位置er可以计算视线与屏幕平面的交点，即为视线在屏幕上的落点ps，再根据屏幕结构得到眼部注意力区域r；

步骤4将瞳孔位置、视线方向及屏幕注意力三者进行结合，得到最终的眼动注意力特征向量，表示为fg＝[er,g,r]。

图2描述了儿童adhd筛查评估系统中摄像头与被测试者的关系，位于电脑显示屏后方的1号摄像头用于拍摄测试者的正面图像，采集测试者的眼动与表情变化信息。位于测试者座位侧面的2、3号双目深度摄像头模组可用于拍摄测试者全身，采集测试者三维身体姿态信息。本实施例中，使用一个放置在儿童面部正前方的摄像头(1号摄像头)来拍摄儿童的眼动情况，最终得到一段视频vfront。

本实施例中，使用平面镜-显示器正交约束的方法标定摄像头的相机矩阵cr。

眼动注意力特征向量计算的输入为采集到的正面视频vfront和相机标定矩阵cr，输出为产生的眼动注意力特征向量fg。具体计算主要分三个步骤:

瞳孔位置计算：首先通过基于hog的算法确认脸部位置。对脸部关键点的检测通过连续条件神经场(ccnf)模型框架实现，由此我们可以计算出平面中的瞳孔位置eh。接着，利用epnp算法，可将检测到的人脸与平均标准3d脸模f进行对齐，计算出相机坐标系下头部的旋转矩阵rr以及平移向量tr，此步骤的输出为眼部空间位置er＝tr+eh。

为了获取视线向量，先对眼部图像进行归一化处理：将原图像乘以相机投影矩阵的逆矩阵转化为三维空间中的头部位姿；再将此时的头部原姿态乘以变换矩阵m来固定眼部位置，最后再将归一化后的眼部姿态乘以一个标准相机投影矩阵cn，得到归一化后的眼部二维图像e。为了计算视线向量，我们将归一化旋转矩阵rn＝mrr变换为二维旋转矢量h。将前面得到的2d头部姿态信息h和单通道灰度眼部图像e输入卷积神经网络模型，此步骤输出视线方向特征向量，所述特征向量为包含偏航角和俯仰角的二维向量g。

屏幕位置换算：通过外部标定的方式，我们可以确定屏幕所在平面的空间位置，根据视线角度g以及眼部位置er可以计算视线与屏幕平面的交点，即为视线在屏幕上的落点ps，再根据屏幕结构得到眼部注意力区域r。

将瞳孔位置、视线方向及屏幕注意力三者进行结合，可以得到最终的眼动注意力特征向量，表示为fg＝[er,g,r]。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。