心理压力参数的获取方法和标注方法与流程

本发明涉及计算机领域，特别涉及一种心理压力参数的获取方法和标注方法。

背景技术：

随着经济的快速发展，不断加快的社会生活节奏以及日益激烈的社会竞争，使得当今社会每个人都面对着越来越大的心理(精神)压力。人类目前75％～90％的疾病均与心理压力有关，所以心理压力的评估与识别，对人类的健康与发展具有十分重要的意义。

目前，心理压力状态评估与识别的研究方法较多，大体分为基于人体生理信号的检测、基于人体行为的检测、基于人体面部反应特征的检测等方法。基于生理信号(心电、呼吸信号等)的检测方法识别准确性较高；由于行为、面部表情等可受人体意识支配，基于单一行为或面部反应特征来评估心理压力状态的鲁棒性不够高。

目前的生理信号采集方式为接触式。常用的接触式测量主要利用传感器直接或间接接触人体，达到医学信息检测的目的，接触式测量方法的最大缺点是测量操作比较复杂、测量周期较长、接触皮肤会对被测者带来不适，检测过程中对人体有一定的约束，并且受运动影响较大。其次，生理信号的采集必须获取用户同意和配合才能实施，对于某些应用场景，需要隐蔽的监控目标对象的心理状态，接触式方法就无法实施。

为了便于获取目标对象的心理状态，有必要发展一种鲁棒性足够高的基于非接触方法的心理压力状态评估方法。

技术实现要素：

有鉴于此，本发明提供一种心理压力参数的获取方法和标注方法，以解决隐蔽监测目标对象心理压力情况的问题。

本发明提供一种心理压力参数的标注方法，该心理压力参数包括心电信号参数、表情特征和微表情特征，该方法包括：

步骤11：录制目标对象的视频数据，接收目标对象反馈的心理学自查量表，令视频数据录制时的任一时刻为i-1时刻，令目标对象填写心理学自查量表时的任一时刻为i-2时刻；

步骤12：通过分析视频数据，得到目标对象在i-1时刻的心电信号参数、表情特征和微表情特征；通过分析心理学自查量表获得目标对象在i-2时刻的心理压力等级；

步骤13：将i-2时刻的心理压力等级输入贝叶斯网络模型，得到i-1时刻的心理压力等级；

步骤14：将i-1时刻心电信号参数、表情特征和微表情特征对应的心理压力等级标注为i-1时刻的心理压力等级。

本发明还提供一种心理压力参数的获取方法，该心理压力参数包括心电信号参数、表情特征和微表情特征，该方法包括：

步骤21：检测待分析视频数据的时长是否大于第三预设时长，如果是，则执行步骤22；

步骤22：将待分析视频数据按第三预设时长切分为n个子视频，对每个子视频逐一执行步骤23；

步骤23：对第n个子视频进行人脸检测，n＝1,2…n，若检测到人脸，则将人脸编号后执行步骤24；

步骤24：跟踪第n个子视频中的人脸编号对应的人脸图像，判断跟踪到的人脸编号对应的人脸图像的数量是否大于第四预设值，如果是，令第n个子视频录制时的任一时刻为j时刻，执行步骤25，如果否，返回步骤23，继续检测第n个子视频中的其他人脸，直至第n个子视频检测完毕；

步骤25：分析人脸编号对应的人脸图像，得到j时刻的人脸编号对应的目标对象的心电信号参数、表情特征和微表情特征，返回步骤23，继续检测第n个子视频中的其他人脸，直至第n个子视频检测完毕。

本发明定义一种全新的心理压力参数，该心理压力参数包括心电信号参数、表情参数和微表情参数，所有的心理压力参数均可以通过分析用户视频数据获取，因视频数据是便于获取的非接触数据，无需目标对象的配合，不会对目标对象的日常工作和生活带来干扰。同时，本申请的心理压力参数既包含心电信号参数，又包含表情参数和微表情参数，克服了基于单一行为或面部反应特征来识别心理压力状态(或等级)的鲁棒性不够高的缺陷。

为了提高机器学习模型基于本发明的心理压力参数识别用户心理压力状态的精度，本发明提出了心理压力参数的标注方法，即样本数据的生成方法，相比接触式方法，本发明得到的心理压力参数的样本数据更容易获取，如此基于充足的样本数据可以确保机器学习模型识别用户心理压力状态的准确性和鲁棒性，训练好的机器学习模型可以基于视频数据，隐蔽地追踪或监控目标对象的心理压力状态及变化趋势，可同时获得多个目标对象的心理压力状态。

附图说明

图1为本发明心理压力参数的标注方法的流程图；

图2为本发明心理压力参数的获取方法的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明提出一种心理压力参数的标注方法，该心理压力参数包括心电信号参数、表情特征和微表情特征，如图1所示，该方法包括：

步骤11(s101)：录制目标对象的视频数据，接收目标对象反馈的心理学自查量表，令视频数据录制时的任一时刻为i-1时刻，令目标对象填写心理学自查量表时的任一时刻为i-2时刻；

视频数据的录制时长一般不大于30分钟，本申请对此不做具体限定，在实际录制时，根据目标对象的状态确定，可以控制在1分钟、5分钟或10分钟，应确保目标用户在录制视频数据处于相对平稳的心理压力状态。心理学自查量表可以在视频数据录制时、录制前或录制后填写，从而获取目标用户在录制视频数据临近时刻的真实心理压力状态。

本申请的表情特征是指表情对应的情绪或情感分类，如喜怒哀乐等，同时本申请的表情特征也可以是情绪或情感分类对应的特征值，例如各种表情识别方法提取的表情特征值，不同表情特征值对应不同的情绪或情感分类。

相应地，本申请的微表情特征对应人脸局部或细微的表情特征，可以是各种微表情识别方法提取的局部表情特征值，例如人脸特征点的在预设时间内的位置变化量。

步骤11中的i-1时刻为通过视频数据得到的心理压力参数的标注时间。

步骤12(s102)：通过分析视频数据，得到目标对象在i-1时刻的心电信号参数、表情特征和微表情特征；通过分析心理学自查量表获得目标对象在i-2时刻的心理压力等级；

步骤13(s103)：将i-2时刻的心理压力等级输入贝叶斯网络模型，得到i-1时刻的心理压力等级；

当视频录制时刻和心理学自查量表填写时用户处于不同的心理状态时，利用贝叶斯网络模型推断相邻时刻的心理压力等级，可减少标注误差。

步骤14(s104)：将i-1时刻心电信号参数、表情特征和微表情特征对应的心理压力等级标注为i-1时刻的心理压力等级。

本发明提出的心理压力参数包括：心电信号参数、表情参数和微表情参数，所有的心理压力参数均可以通过分析用户视频数据获取，因视频数据是便于获取的非接触数据，无需目标对象的配合，可用于隐蔽地追踪或监控目标对象的心理压力。同时，本申请的心理压力参数既包含心电信号参数，又包含表情参数和微表情参数，克服了基于单一行为或面部反应特征来识别心理压力状态的鲁棒性不够高的缺陷。

为了提高机器学习模型基于本发明的心理压力参数识别用户心理压力状态的精度，本发明提出了图1的心理压力参数的标注方法，即样本数据的生成方法，相比接触式方法，本发明得到的心理压力参数的样本数据更容易获取，如此基于充足的样本数据可以确保机器学习模型识别用户心理压力状态的准确性和鲁棒性。

本发明并不限定根据视频数据得到本发明的心理压力参数的方法，任意可以从视频数据中获取本发明的心理压力参数的方法均适用于本发明，以下给出本发明心理压力参数的获取方法举例：

(1)心电信号参数

追踪视频数据中目标对象的人脸图像，将得到的人脸图像信号解析为rgb三通道信号，将该三通道信号输入独立分量分析ica(independentcomponentanalysis)算法，ica输出独立源信号，对该独立源信号进行峰值检测和频谱分析得到心电信号数据，统计分析得到的心电信号数据，将其中的典型值作为i-1时刻的心电信号参数的数据。

心电信号数据的典型值可以是该心电信号数据的平均值或中值。

优先地，将图像信号解析为三通道信号时，只需将人脸预设区域的图像信号解析，通过定位人脸图像的特征点，根据特征点提取人脸预设区域的图像，将预设区域的图像解析为rgb三通道信号。

人脸预设区域可以包括：人脸额头区域、左脸颊区域和/或右脸颊区域。

本申请的心电信号参数包括心率、高低频信号功率、心率变异性hrv等。

(2)表情特征

追踪视频数据中目标对象的人脸图像，对人脸图像进行局部二值模式lbp(localbinarypatterns)特征提取，得到人脸图像的lbp特征值，统计分析该视频数据得到的(所有)lbp特征值，将其中的典型值作为i-1时刻的表情特征的特征值。

表情特征的典型值可以是概率分布中占比最大的lbp特征值。

进一步地，对人脸图像进行局部二值模式lbp特征提取可以包括：对人脸图像的眼部、嘴部和额头区域进行lbp特征提取。

(3)微表情特征

追踪视频数据中目标对象的人脸图像的特征点的位置，检测特征点的位置在第二预设时间内是否发生变化，如果是，则提取位置发生变化的特征点信息和对应的位置变化量，统计分析该视频数据得到的(所有)特征点信息和对应的位置变化量，将其中的典型值作为i-1时刻的微表情特征。

例如：第二预设时间可以是0.04秒，或其他微表情发生的时间范围。

微表情特征的典型值，可以是概率分布中占比最大的特征点信息和对应的位置变化量，或是概率分布中占比最大的特征点信息和该特征点对应的位置变化量的均值或最大值。

基于以上方法得到本发明心理压力参数的样本数据，选取了典型值作为心理压力参数的表征值，可以尽量避免随机因素的影响，提高心理压力参数与心理压力等级的相关性。基于该样本数据训练机器学习模式，可确保机器学习模式的识别精度。本申请对机器学习模型不做限定，任一人工智能模型均可。机器学习模型训练好后，即可投入使用。

如图2所示，本发明还包括一种心理压力参数的获取方法，该心理压力参数包括心电信号参数、表情特征和微表情特征，该方法包括：

步骤21：检测待分析视频数据的时长是否大于第三预设时长，如果是，则执行步骤22。

待分析视频数据可以是历史视频数据，也可以是实时监控获取的视频数据。

第三预设时长可以是5分钟或10分钟，或其他视频检测周期。

步骤22：将待分析视频数据按第三预设时长切分为n个子视频，对每个子视频逐一执行步骤23。

步骤23：对第n个子视频进行人脸检测，n＝1,2…n，若检测到人脸，则将人脸编号后执行步骤24。

步骤24：跟踪第n个子视频中的人脸编号对应的人脸图像，判断跟踪到的人脸编号对应的人脸图像的数量是否大于第四预设值，如果是，令第n个子视频录制时的任一时刻为j时刻，执行步骤25，如果否，返回步骤23，继续检测第n个子视频中的其他人脸，直至第n个子视频检测完毕。

步骤24设置第四预设值，是以为了确保用人脸图像分析得到心理压力参数的具备一定的数据精度。

步骤25：分析人脸编号对应的人脸图像，得到j时刻的人脸编号对应的目标对象的心电信号参数、表情特征和微表情特征，返回步骤23，继续检测第n个子视频中的其他人脸，直至第n个子视频检测完毕。

步骤25每执行一次，可以获得第n个子视频中一个目标对象的心理压力参数，但第n个子视频中可能包含多个目标对象的人脸图像，因此需要对第n个子视频所有的目标对象都进行识别和分析。一个子视频分析完毕后，再进行下一个子视频分析。

将通过图2获取的j时刻的任一目标对象的心理压力参数输入训练好的机器学习模型，就可以得到该目标对象在j时刻的心理压力状态等级。因此基于本申请的方法，可以基于视频数据，获取目标对象的心理压力参数，该方法无需目标对象的配合，不会对目标对象的日常工作和生活带来干扰，且可以同时获得多个目标对象的心理压力状态，特别适合用于办公室、火车、医院等场合，用于隐蔽监控或追踪多个目标对象的心理压力状态及其变化趋势。

在图2的方法中，步骤21还包括：如果待分析视频数据的时长小于等于第三预设时长，则执行步骤26；

步骤26：对待分析视频进行人脸检测，若检测到人脸，则将人脸编号后执行步骤27；

步骤27：跟踪待分析视频中的人脸编号对应的人脸图像，判断跟踪到的人脸编号对应的人脸图像的数量是否大于第四预设值，如果是，令待分析视频录制时的任一时刻为k时刻，执行步骤28，如果否，返回步骤26，继续检测待分析视频中的其他人脸，直至待分析视频检测完毕；

步骤28：分析人脸编号对应的人脸图像，得到k时刻的人脸编号对应的目标对象的心电信号参数、表情特征和微表情特征，返回步骤26，继续检测待分析视频中的其他人脸，直至待分析视频检测完毕。

在上述步骤25中，分析人脸编号对应的人脸图像，得到j时刻的人脸编号对应的目标对象的心电信号参数包括：将人脸编号对应的人脸图像信号解析为rgb三通道信号，将三通道信号输入独立分量分析ica算法，ica输出独立源信号，对独立源信号进行峰值检测和频谱分析得到心电信号数据，统计分析第n个子视频得到的人脸编号对应的心电信号数据，将其中的典型值作为人脸编号对应的目标对象在j时刻的心电信号参数的数据。

在上述步骤28中，分析人脸编号对应的人脸图像，得到k时刻的人脸编号对应的目标对象的心电信号参数包括：将人脸编号对应的人脸图像信号解析为rgb三通道信号，将三通道信号输入独立分量分析ica算法，ica输出独立源信号，对独立源信号进行峰值检测和频谱分析得到心电信号数据，统计分析待分析视频得到的人脸编号对应的心电信号数据，将其中的典型值作为人脸编号对应的目标对象在k时刻的心电信号参数的数据。

进一步地，将人脸编号对应的人脸图像信号解析为rgb三通道信号包括：定位人脸编号对应的人脸图像的特征点，根据特征点提取人脸预设区域的图像，将预设区域的图像解析为rgb三通道信号。

心电信号数据的典型值可以一个子视频或待分析视频对应的心电信号数据的平均值或中值。

人脸预设区域可以包括：人脸额头区域、左脸颊区域和/或右脸颊区域。

在上述步骤25中，分析人脸编号对应的人脸图像，得到j时刻的人脸编号对应的目标对象的表情特征还包括：对人脸编号对应的人脸图像进行局部二值模式lbp特征提取，得到人脸编号对应的人脸图像的lbp特征值，统计分析第n个子视频数据得到的人脸编号对应的(所有)lbp特征值，将其中的典型值作为人脸编号对应的目标对象在j时刻的表情特征。

在上述步骤28中，分析人脸编号对应的人脸图像，得到k时刻的人脸编号对应的目标对象的表情特征还包括：对人脸编号对应的人脸图像进行局部二值模式lbp特征提取，得到人脸编号对应的人脸图像的lbp特征值，统计分析待分析视频数据得到的人脸编号对应的(所有)lbp特征值，将其中的典型值作为人脸编号对应的目标对象在k时刻的表情特征。

表情特征的典型值可以是一个子视频或待分析视频中概率分布中占比最大的lbp特征值。

进一步地，对人脸图像进行局部二值模式lbp特征提取可以包括：对人脸图像的眼部、嘴部和额头区域进行lbp特征提取。

在上述步骤25中，分析人脸编号对应的人脸图像，得到j时刻的人脸编号对应的目标对象的微表情特征还包括：追踪人脸编号对应的人脸图像的特征点的位置，检测特征点的位置在第二预设时间内是否发生变化，如果是，则提取位置发生变化的特征点信息和对应的位置变化量，统计分析第n个子视频数据的人脸编号对应的(所有)特征点信息和对应的位置变化量，将其中的典型值作为人脸编号对应的目标对象在j时刻的微表情特征。

在上述步骤28中，分析人脸编号对应的人脸图像，得到k时刻的人脸编号对应的目标对象的微表情特征还包括：追踪人脸编号对应的人脸图像的特征点的位置，检测特征点的位置在第二预设时间内是否发生变化，如果是，则提取位置发生变化的特征点信息和对应的位置变化量，统计分析待分析视频数据的人脸编号对应的(所有)特征点信息和对应的位置变化量，将其中的典型值作为人脸编号对应的目标对象在k时刻的微表情特征。

微表情特征的典型值，可以是一个子视频或待分析视频中概率分布中占比最大的特征点信息和对应的位置变化量，或是概率分布中占比最大的特征点信息和该特征点对应的位置变化量的均值或最大值。

以上所述仅为本发明的较佳实施例而已，并不用以限定本发明的包含范围，凡在本发明技术方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。