基于人脸图像和眼动注视信息的心理测试方法与流程

文档序号:11134665阅读:1748来源:国知局
基于人脸图像和眼动注视信息的心理测试方法与制造工艺
本发明属于心理测试
技术领域
,具体涉及一种基于人脸图像和眼动注视信息的心理测试方法。
背景技术
:传统意义上的心理测试,还是通过问卷回答,面对面直接沟通等方法,利用人的经验进行观察被测试人的行为举止进行心理判断。随着人工智能和模式识别技术发展和大量使用,多模态的数据采集设备日益增多,相应的,利用这些数据进行行为识别和心理认知的技术越来越复杂;目前检测主要是通过摄像头获取人的灰度或彩色图像,并利用图像处理和分析方法进行某种特定目的的识别,这样的工作对行为检测的范围小,误差大、成本高、对心理测试本身需要的信息融合度差,具有很大的局限性。基于此,本领域技术人员设计开发了各种行为数据的采集设备,针对可能产生的各种问题。但,上述装备往往是“独立作战”,多数装备的功能单一,信息采集内容有限,就小范围少量的使用效果明显,就针对更加复杂的行为检测应用仍存在成本、信息融合、工作误差等问题。通过检索,申请人发现了一些用于心理测试领域的系统类技术方案,基本是通过被测试人的图像和他眼动注视信息,综合分析其在被测试过程中的行为状态,进而实现负责心理行为分析的要求。然而现有涉及心理测试的系统在心理测试过程中,无法实现对被测试人进行系统全面的行为状态的分析,从而无法满足全面分析被测试人的心理状态特征。.技术实现要素:本发明的目的在于解决上述的技术问题而提供一种基于人脸图像和眼动注视信息的心理测试方法,其可以实现识别并同步跟踪被测试人的表情、头部状态、手部状态和眼动注视位置的状态,同时基于识别的被测试人的状态,分析被测试人的心理状态特征,达到辅助心理测试的要求。为实现上述目的,本发明采用如下技术方案:一种基于人脸图像和眼动注视信息的心理测试方法,包括以下步骤:步骤1、训练并建立用户特征模型,用户特征模型包括表情识别模型、手部状态识别模型、头部状态识别模型、心理特征识别模型;步骤2、使用图像识别技术提取人脸图像特征并进行表情、手部以及头部状态识别;步骤3、利用眼动仪获取用户眼动注视位置,对用户眼动注视点进行图像映射,获取左右眼在屏幕上的坐标;然后使用同步分配算法,实现在每秒预定数量帧的速度下,对每一帧图像眼动注视位置与表情状态、头部状态、手部状态的同步记录;步骤4、利用同步后的眼动注视状态以及表情状态、头部状态、手部状态特征,建立有时间维度的特征状态流;使用递归神经网络算法和心理特征识别算法,与训练好的心理特征识别模型进行匹配,实现在每秒预定数量帧的速度下,对每一帧图像心理状态识别分析的同步记录。其中,所述训练并建立用户特征模型的步骤如下:S101:搜集用户心理数据样本和彩色图像数据样本并进行标注;S102:建立表情特征识别模型:利用深度神经网络特征学习算法和表情分类算法,对标注后的图像数据样本进行学习,建立表情特征识别模型;S103:建立手部状态识别模型:利用深度神经网络特征学习算法和手部动作分类算法,对标注后的图像数据样本进行学习,建立手部状态特征识别模型;S104:建立头部状态识别模型:利用深度神经网络特征学习算法和头部动作分类算法,对标注后的图像数据样本进行学习,建立头部状态特征识别模型;S105:建立心理特征识别模型:利用递归深度神经网络特征学习算法和心理特征分类算法,对标注后心理数据样本的行为状态特征与心理特征进行学习,建立心理特征识别模型。其中,所述使用图像识别技术提取人脸图像特征并进行状态识别的步骤具体如下:S201:利用单帧视频序列初始化背景模型;S202:利用背景模型进行前景检测,并利用生命周期阈值调整背景模型的更新速度,完成前景检测;S203:通过团块检测提取运动区域,并从运动区域中获取人脸、头部和手部的区域;S204:利用深度神经网络分别计算人脸、头部和手部的每一个区域的状态特征,利用识别算法实现人脸、头部和手部的状态识别。其中,每一个区域的状态特征为2*2个梯度特征,分布于区域的4个顶角,通过在每个顶角截取一幅32*32的图像而形成。本发明本发明通过采集人脸彩色图像进行表情识别、头部状态识别、手部状态识别,同时用眼动仪记录被测试人的眼动注视位置,并将整个过程同步匹配,实现对被测试人在心理测试过程中的行为状态与眼动注视状态的同步跟踪记录,并基于得到的状态数据进行建模分析,实现对被测试人的心理特征识别,实现了在心理测试过程中对被测试人的表情、手部、头部、眼动状态的在线识别和同步处理,最终实现对心理状态的实时分析和记录。该方法具有很高的检测精度和较低的误分率,同时较快的检测速度也满足实际心理测试的需要。附图说明图1出示了本发明基于人脸图像和眼动注视信息的心理测试方法的测试进程示意图;图2出示了本发明基于人脸图像和眼动注视信息的心理测试方法的流程图。具体实施方式下面,结合实例对本发明的实质性特点和优势作进一步的说明,但本发明并不局限于所列的实施例。本发明利用彩色人脸图像进行表情识别、头部状态识别、手部状态识别,同时利用眼动仪记录被测试人的眼动注视位置,而且将整个过程进行同步匹配,实现对被测试人在心理测试过程中的行为状态与眼动注视状态的同步跟踪记录,并基于获取的状态数据进行建模分析,实现对被测试人的心理特征识别。参见图2所示,一种基于人脸图像和眼动注视信息的心理测试方法,包括如下步骤:步骤1、训练并建立用户特征模型:用户特征模型包括表情识别模型、手部状态识别模型、头部状态识别模型、心理特征识别模型;其中,本发明中,训练并建立用户特征模型的步骤可以采用如下方法:S101:搜集用户心理数据样本和彩色图像数据样本并进行标注;S102:建立表情识别模型:利用深度神经网络特征学习算法和表情分类算法,对标注后的彩色图像数据样本进行学习,建立表情特征识别模型;表情可以是包括如平淡、愉快、惊奇、生气、厌烦、悲伤、恐惧;S103:建立手部状态识别模型:利用深度神经网络特征学习算法和手部动作分类算法,对标注后的彩色图像数据样本进行学习,建立手部状态特征识别模型;手部状态可以是包括抬高、摇摆、推动、触碰、双手交叉;S104:建立头部状态识别模型:利用深度神经网络特征学习算法和头部动作分类算法,对标注后的彩色图像数据样本进行学习,建立头部状态特征识别模型;头部状态可以是包括中正、摇摆、偏歪;S105:建立心理特征识别模型:利用递归深度神经网络特征学习算法和心理特征分类算法,对标注后心理数据样本的行为状态特征与心理特征进行学习,建立心理特征识别模型;参见图1所示,在进行测试时,由用户(被测试人)登录系统,并输入用户信息,为了保证测试结果的准确性,系统会提供测试用图例让用户观察,进行表情识别、人脸识别,以验证测试系统各方面功能,使用户调整姿态,包括头部位置、正面以及眼动注视位置等;在系统验证正常后开始测试,在测试时,由用户答题或被要求做某种反馈,在答题过程中采集用户彩色图像以及眼动注视数据,直到完成所述测试题后结束测试;步骤2、测试时,使用图像识别技术提取获取的人脸彩色图像特征并进行状态识别;本发明中,提取人脸彩色图像特征并进行状态识别可以采用如下方法来实现:S201:利用基于梯度的背景建模算法进行背景建模初始化,即利用单帧视频序列初始化背景模型。背景建模方法都是根据背景图像建立像素级的背景模型然后,对后续帧判断哪些点符合模型,即被判断为背景点,不符合模型的点判断为前景点,最后利用背景点更新背景模型,达到前景检测的目的。初始化是建立背景模型的过程,一般的检测算法需要一定长度的视频序列学习完成,影响了检测的实时性,而且当视频画面突然变化时,重新学习背景模型需要较长时间。本发明提出的基于梯度的背景建模算法,是利用单帧视频序列初始化背景模型,对于一个像素点,结合相邻像素点拥有相近像素值的空间分布特性,随机的选择它的邻域点的像素值作为它的模型样本值。这样不仅减少了背景模型建立的过程,还可以处理背景突然变化的情况,当检测到背景突然变化明显时,只需要舍弃原始的模型,重新利用变化后的首帧图像建立背景模型。S202:利用背景模型进行前景检测背景模型为每个背景点存储一个样本集,然后每个新的像素值和样本集比较判断是否属于背景。计算新像素值和样本集中每个样本值的距离,若距离小于阈值,则近似样本点数目增加。如果近似样本点数目大于阈值,则认为新的像素点为背景。检测过程主要由三个参数决定:样本集数目(SampleNum),阈值(CountThreshold)和距离相近判定的阈值(DistenceThreshold),同时引入生命周期阈值(LifeThreshold)来调整背景更新速度。S203:人脸、头部和手部的区域检测在完成前景检测后,要提取每个运动区域的位置需要进行团块检测。根据上层设置的最大区域面积滤除过大或过小的运动区域,最后剩下的运动区域被认为是人脸、头部和手部的区域;S204:人脸、头部和手部的状态识别在得到所有的人脸、头部和手部的运动区域后,将对每一个运动区域计算2*2个梯度特征。即选取每全运动区域的4个顶角,每个顶角截取一幅32*32的图像。当运动区域不足64*64时会产生重叠区域,当运动区域大于64*64时会有忽略区域。对这些运动区域首先利用深度神经网络分别计算每一个区域的状态特征,通过识别算法实现对不同区域内的人脸表情状态识别、头部状态识别和手部状态识别;步骤3:眼动注视数据采集,并同步眼动注视跟踪状态。S301:利用眼动仪获取用户眼动注视位置,对用户眼动注视点进行图像映射,获取左右眼在屏幕上的坐标,获得眼动注视位置数据。S302:使用同步分配算法,实现在每秒15帧图像的速度下,每一帧图像的眼动注视位置和表情状态、头部状态、手部状态的同步记录。步骤4:利用同步后的眼动注视状态以及表情状态、头部状态、手部状态特征,进行心理特征识别和数据存储。S401:利用同步后的眼动注视状态以及表情状态、头部状态、手部状态特征,建立有时间维度的特征状态流。S402:使用递归神经网络算法和心理特征识别算法,与训练好的用户心理特征识别模型进行匹配,实现在每秒15帧图像的速度下,每一帧图像的心理状态特征识别分析的同步记录。S403:记录并存储心理状态特征数据。需要说明的是,本发明中,所提及的深度神经网络特征学习算法、表情分类算法、手部动作分类算法、头部动作分类算法、递归深度神经网络特征学习算法、心理特征分类算法、图像识别技术、同步分配算法、递归神经网络算法和心理特征识别算法,均可以采用现有算法予以实现,本发明对具体算法过程不再进行详细说明。测试验证:选取了2100段心理测试视频进行了实验,最后选用正确识别率和每段视频的平均检测识别时间对本发明的有效性进行评估。其中:正确识别率定义为正确识别的图像个数与总的图像数目之比;结果如表1所示。正确识别率和每幅图片的平均检测识别时间两个评价指标均表明了本发明方法的有效性。正确识别率95.83%平均识别时间(ms)24.01表1本发明提出的基于人脸图像和眼动注视信息的心理测试方法,可以实现在心理测试过程中对被测试人的表情、手部、头部、眼动状态的在线识别和同步处理,最终实现对心理状态的实时分析和记录。该方法具有很高的检测精度和较低的误分率,同时较快的检测速度也满足实际心理测试的需要。以上所述仅是本发明的优选实施方式,应当指出,对于本
技术领域
的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1