基于人脸视频的心理生理分析与量表测试结合的装置及方法与流程

文档序号：19789581发布日期：2020-01-24 14:04阅读：416来源：国知局

本发明属于心理测试技术领域，具体涉及一种基于人脸视频的心理生理分析与量表测试结合的装置及方法。

背景技术：

随着社会的快速发展，生活节奏的加快，心理健康越来越得到社会和个体的重视。当前的心理健康的评估都是采用量表测试的方式进行的，国内外都有非常多的已经成熟应用的量表。

对于量表的解释如下，一套量表，包含若干个问题，不同的量表的问题数量不同，每一个问题有若干个答案供被测人员选择，一般为单选题也可能是多选题，一套量表会定义若干个计分因子，每一个问题会归入一个或者若干个计分因子，一个问题的不同答案具有不同的计分权重。根据被测人员的答题得到不同因子的总分。每一个因子的不同分值段具有不同的评估结论，这些评估结论是通过设计量表阶段通过大量的样本测试得到的。被测人员一般采用纸质或者电子文档的方式进行答题。但是量表的答题过程具有一定的主观性，甚至存在部分刻意作假的情况。因此心理健康的评估需要一种客观的通过生理检测来评估的方法。

技术实现要素：

鉴于以上存在的技术问题，本发明用于提供一种基于人脸视频的心理生理分析与量表测试结合的装置及方法，应用于被测人员在进行电子化量表测试，得到量表评估指标的过程中同时通过摄像头进行人脸视频采样，并进行人脸血谱分析，得到客观的基于生理状态的心理评估指标。

为解决上述技术问题，本发明采用如下的技术方案：

本发明的一方面提供了一种基于人脸视频的心理生理分析与量表测试结合的装置，包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器，其中，

量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块；

所述人脸采集器用于通过摄像头获取实时视频流、进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；

所述血谱心理生理分析器用于接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；

所述综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。

优选地，所述量表答题模块用于在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块。

优选地，所述量表指标分析模块用于负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标。

优选地，所述量表自适应调节模块用于首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析。

优选地，进行大数据分析包括进行测试记录学习，学习的测试记录包括该套量表的所有测试人员以及每一个测试人员的每一次测试，根据大数据分析结果对原先的量表进行简化，形成精简后的小量表。

优选地，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差以及结论，心理生理指标包括心理压力、心率、呼吸率、血压。

优选地，综合展示量表指标及基于人脸视频分析的心理生理分析指标为按过程展示，按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间，心理生理指标曲线包括心理压力、心率、呼吸率、血压。

本发明是又一方面提供了一种基于人脸视频的心理生理分析与量表测试结合的方法，应用于包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器的测试系统，其中，

量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块，采用量表答题模块在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块；采用量表指标分析模块负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标；采用量表自适应调节模块首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析；

采用人脸采集器通过摄像头获取实时视频流，进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；

采用血谱心理生理分析器接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；

采用综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。

采用本发明具有如下的有益效果：

(1)在一次测试过程中可以同时得到具有一定主观性的量表的分析结论和基于人脸视频分析得到的客观的生理、心理分析结论；

(2)可以对量表结论和人脸视频分析结论进行互相佐证，当两者结论指向一致时结论更加具有说服力；

(3)在人脸视频分析得到的生理、心理分析结论基础上，可以通过专项量表测试进行心理问题的细分筛选；

(4)通过量表自适应调节模块，可以将问题数量较多的量表转换为问题数量少的小量表，减少量表答题时间。

附图说明

图1为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置的结构示意图；

图2为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置的摄像头、人脸定位区和量表测试区的位置示意图；

图3为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中量表测试器的模块示意图；

图4为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中人脸采集器的工作流程图；

图5为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中血谱心理生理分析器的工作流程图；

图6为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中按总结论展示示意图；

图7为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置中按过程展示示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明实施例的基于人脸视频的心理生理分析与量表测试结合的装置的结构示意图，包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器，其中，量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块；人脸采集器用于通过摄像头获取实时视频流、进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；血谱心理生理分析器用于接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。基于人脸视频的心理生理分析可以在进行量表答题过程中同时进行，也可以在量表答题前或者后单独进行。

其中，以上基于人脸视频的心理生理分析与量表测试结合的装置的硬件组成可以非常灵活，摄像头、量表测试器、人脸采集器、血谱心理生理分析器可以集成在一台硬件设备上，也可以根据需要分别配置或者组合集成在不同的硬件设备上。摄像头可以是独立摄像机也可以是集成在硬件设备上的集成摄像头。比如硬件形态及组成方式一：装置的硬件组成可以是一台带摄像头的平板电脑或者手机，平板电脑或者手机上集成了摄像头并且集成了量表测试器、人脸采集器和综合评估器，另外有一台服务器集成血谱心理生理分析器。硬件形态及组成方式二：一台集成摄像头的pc机集成摄像头、量表测试器、人脸采集器、综合评估器以及血谱心理生理分析器，其中血谱心理生理分析器也可以单独集成在一台服务器中。硬件形态及组成方式三：一个独立摄像头、一台pc机集成量表测试器、人脸采集器和综合评估器以及血谱心理生理分析器，其中血谱心理生理分析器也可以单独集成在一台服务器中。

本装置的摄像头可以是usb摄像头也可以是网络摄像头，可以是100万像素、200万像素或者更高像素的摄像头。

参见图2，在进行测试时候的操作界面，分为人脸定位区和量表测试区，其中人脸定位区显示摄像头实时抓拍的人脸视频，根据需要人脸定位区也可以隐藏在后台不显示。量表测试区主要进行量表测试，一般包括问题区块和答题区块以及其他需要的内容展示。

具体应用实例中，参见图3，量表测试器主要包括量表答题模块、量表指标分析模块、量表自适应调节模块。量表答题模块是在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束。并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块。量表指标分析模块，负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论。在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标(答题速度，提交速度)。量表自适应调节模块，首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案等数据，进行大数据分析。学习的测试记录包括该套量表的所有测试人员以及每一个测试人员的每一次测试。根据大数据分析结果对原先的量表进行简化，形成精简后的小量表。比如每一个问题所有测试人员都选择同一个答案，并且答题速度和提交速度均比较快，并且答题速度和提交速度的方差比较小，那么这个问题应用在团体测试的时候可以被精简。比如某一个问题某个测试人员历史测试均选择的是同一个答案，并且答题速度和提交速度均比较快，并且答题速度和提交速度的方差比较小，那么这个问题应用在这个测试人员的测试的时候可以被精简。

量表自适应调节可以针对一套量表的团体进行自适应调节，也可以针对一套量表的单个测试人员进行自适应调节。

具体应用实例中，参见图4，人脸采集器的工作流程如下：

获取实时视频流：人脸采集器从摄像头获取实时视频流(每秒30帧或者25帧、50帧、60帧)；

人脸检测跟踪：进行人脸检测、跟踪，获得每一帧的人脸检测框以及人脸转动的角度；

人脸特征点位分析：进行人脸特征点位分析，获得每一帧人脸的特征点位的坐标值，特征点位包括人脸轮廓、嘴唇、鼻子、眼眶、眉毛、额头等；

人脸血谱信息提取：进行人脸血谱信息提取，对每一帧获取特定区块的rgb或者灰度值，具体的区块根据生理和心理指标需要选择不同的区块；

人脸血谱信息打包：每一次打包的时长可以根据需要进行定义；判断是否到打包时长，若达到打包时长，则将一定时长的特定区块的rgb或者灰度值按照时间顺序进行排序打包形成血谱信息；若未达到打包时长，则继续进行获取视频流的步骤；

发送给血谱心理生理分析器；

判断是否停止采样，若停止，则流程结束；若不停止，继续进行获取视频流的步骤。

具体应用实例中，参见图5，血谱生理分析仪的具体工作过程如下：

接收人脸血谱信息包：接收人脸采集器发送的打包血谱信息；

按照时序组合血谱信息：将若干个包按照时间顺序拼接组成更长的血谱信息，具体的长度根据心理生理指标的分析要求确定；

生理指标分析：若满足检测时长要求，进行生理指标的分析，包括心率、呼吸、血压等生理指标，具体分析哪些指标根据需要进行定义，比如对于心率生理指标，将上述血谱信息进行多级滤波以及傅里叶频谱分析等方法获得心率该时间段的心率变动曲线；若未满足检测时长要求，继续接收人脸血谱信息包；

心理指标分析：进行心理指标的分析，比如通过心率变异性的频域、时域以及统计类指标进行建模获得这个时间片段内的心理压力综合指标；

发送给综合评估器，结束流程。

综合展示量表指标及基于人脸视频分析的心理生理分析指标，展示方法可以有多种。参见图6和图7，示例性的给出了按总结论和按过程展示。

参见图6，按总结论展示，展示量表的各因子总分值和各因子的结论，以及整个量表答题过程中的心理生理指标曲线，以及均值、最高、最低、方差等以及结论，心理生理指标可以是心理压力、心率、呼吸率、血压等。

参见图7，按过程展示，则按照答题过程的时序进行展示，展示内容包括每一个问题的答案，分值和归属因子以及这个问题整个答题过程中的心理生理指标时序曲线，并在时序上标记问题的出现时间、答题时间、提交时间。心理生理指标曲线可以是心理压力、心率、呼吸率、血压等。

与本发明装置实施例对应的，本发明提供了一种基于人脸视频的心理生理分析与量表测试结合的方法，应用于包括摄像头、量表测试器、人脸采集器、血谱心理生理分析器以及综合评估器的测试系统，其中，

参见图3，量表测试器包括量表答题模块、量表指标分析模块和量表自适应调节模块，采用量表答题模块在量表测试区按照顺序在问题区块显示每一个问题，在答题区块显示每一个答案选项，被测人员在答题区块选择答案，并提交进入下一个问题，直到整个量表测试结束，并将每一个问题的答案以及每一个问题的开始播放时间，答题时间，提交时间以及所选答案发送给量表指标分析模块；采用量表指标分析模块负责计算各题的量表因子分值得到量表各因子总分值，并根据各因子总分值返回分析得到的量表结论，在计算每一题的量表因子分值的时候还可以根据答题时间-开始播放时间的差值，以及提交时间-答题时间的差值，形成每一题的答题反应速度指标；采用量表自适应调节模块首先对该套量表的历史测试记录进行机器学习，学习的内容包括每一个问题的开始播放时间，答题时间，提交时间以及所选答案，得到答题速度、提交速度和所选答案数据，进行大数据分析；采用人脸采集器通过摄像头获取实时视频流，进而进行人脸检测跟踪、人脸特征点位分析、人脸血谱信息提取、将人脸血谱信息打包并发送给血谱心理生理分析器；采用血谱心理生理分析器接收人脸血谱信息包、按照时序组合血谱信息，进行生理指标分析和心理指标分析，将分析出的指标发送给综合评估器；采用综合评估器用于接收量表测试器发送的量表测试结果，接收血谱心理生理分析器发送的心理生理分析指标，综合展示量表指标及基于人脸视频分析的心理生理分析指标。基于人脸视频的心理生理分析可以在进行量表答题过程中同时进行，也可以在量表答题前或者后单独进行。

进一步，具体应用实例中，具体应用实例中，参见图4，人脸采集器的工作流程如下：