一种基于脑电实时检测面部动作的方法与流程

本发明属于检测分析技术领域，尤其涉及一种基于脑电实时检测面部动作的方法。

背景技术：

人体大脑的研究一直是人们的重点关注对象，人的大脑中约有100亿个神经元，为了研究人的大脑活动，医学上常常使用磁共振脑功能成像技术(fmri)去研究人的生理健康，例如：观察与学习和记忆有关的大脑皮层的变化，癫痫病人和正常人之间大脑皮层的区别，阿尔兹海默病、脑卒中、多发性硬化及帕金森综合症等多种脑部疾病的治疗。

随着科学技术的发展，脑电波作为一种的新的大脑活动测量方式逐渐进入到了人们的视野当中。脑电波是一种快速的、动态的时间序列，其具有的高阶分辨率特性是无法取代的，恰巧人的精神状态变化、情感变化、大脑皮层的活动也是具有高阶分辨率特性的，所以大量研究者都以脑电波为基础围绕人的认知、人的感知、人的语言能力、人的情感以及人脑的运动想象等主题进行模式识别。

面部动作的识别，在图像上用的比较多，例如opencv自带的级联分类器、基于图像hog特征的svm分类器、ssd网络、yolo网络以及fastrnn网络都可以对目标进行检测与分类以达到面部动作的识别。但是这些方式都要以大量的数据和较长的训练时间为前提，并且人脸面部特征点的数量也决定了检测的精度和复杂度，在实际运用中的实时性和准确性难以同时兼顾。

因此，针对以上缺陷，需要对现有技术进行有效创新。

技术实现要素：

经过长期的实验分析得知，脑电波是一种一维的时间序列，在提取特征的操作上比图像来的简单，适当的特征提取与分类器的选择可达到实时性和准确性的要求，此外，人面部动作的变更具有随机性和快速性，而脑电波信号具有高阶分辨率的特性，能跟上面部动作的随机和快速切换，因此，基于脑电波对面部动作进行实时检测存在可实行条件。

本发明的目的在于提供一种基于脑电实时检测面部动作的方法，该方法可以解决面部三类动作的识别分类问题，实时检测面部动作，检测准确率高，并可以为脑电检测设备提供了更多控制指令。

为实现上述目的，本发明采用如下技术方案。

一种基于脑电的面部动作检测模型创建方法，包括如下步骤，

1)采集不同类型的面部动作的脑电信号；

2)对脑电信号进行分帧处理，提取每帧上的脑电特征信息；

3)利用提取到的脑电特征进行bp神经网络模型训练，建立面部动作检测模型；

相应的，步骤1)中，面部动作包括眨眼、咬牙、向上睁眼三种类型；

相应的，步骤1)中，保留时域幅值在-400uv至400uv区间占比大于55％的数据段作为有效数据段；

相应的，对有效数据段进行短时能量和过零率分析，利用语音信号vad方法分割脑电检测设备中待识别脑电信号；

相应的，步骤2)中，提取的脑电特征信息包括δ波的能量比、θ波的能量比、α波的能量比、β波的能量比、γ波的能量比和(α+θ)/β、α/β、(α+θ)/(α+β)、θ/β、0-40hz的脑电信号能量比以及100hz-200hz的脑电信号能量比，计算脑电信号的平均能量、脑电信号总长度、脑电信号的过零率、最大值、最小值、最大值与最小值之间间隔和总长度之比；

一种基于脑电实时检测面部动作的方法，包括如下步骤，

1)获取面部动作的脑电信号；

2)对脑电信号进行分帧处理，提取每帧上的脑电特征信息；

3)输入面部动作检测模型，得到面部动作检测结果；

相应的，步骤1)中，面部动作包括眨眼、咬牙、向上睁眼三种类型；

相应的，步骤1)中，保留时域幅值在-400uv至400uv区间占比大于55％的数据段作为有效数据段；

相应的，对有效数据段进行短时能量和过零率分析，利用语音信号vad方法分割待识别脑电信号；

相应的，步骤2)中，提取的脑电特征信息包括δ波的能量比、θ波的能量比、α波的能量比、β波的能量比、γ波的能量比和(α+θ)/β、α/β、(α+θ)/(α+β)、θ/β、0-40hz的脑电信号能量比以及100hz-200hz的脑电信号能量比，计算脑电信号的平均能量、脑电信号总长度、脑电信号的过零率、最大值、最小值、最大值与最小值之间间隔和总长度之比；

一种基于脑电实时检测面部动作的装置，该装置包括脑电检测单元和脑电分析单元，所述脑电检测单元用于检测脑电信号，所述脑电分析单元用于对脑电检测装置获取的脑电信号进行分割提取，将提取的脑电信号特征输入到bp神经网络识别器中识别，得出检测结果。

本发明的有益效果为：采用该方法可以得到基于脑电实时检测面部动作的方法，解决面部三类动作的识别分类问题，实时检测面部动作，检测准确率高，并可以为脑电检测设备提供了更多控制指令。

附图说明

图1是本发明所述一个实施例的流程图；

图2是眨眼的波形图；

图3是咬牙的波形图；

图4是向上睁眼的波形图；

图5是理想状态下脑电信号的分割图；

图6是基于能量特征的脑电信号的分割图；

图7是基于过零率特征的脑电信号的分割图。

具体实施方式

如图1所示，在本发明的一个实施例中，基于脑电的面部动作检测模型创建方法包括以下步骤：

1)脑电信号获取以及数据的预排除，利用脑电检测设备采集眨眼、咬牙、向上睁眼时的脑电数据，脑电检测设备是指用于检测脑电波，并将脑电波数字化存储和显示的设备，例如脑电图仪，脑电检测设备采集到的脑电信号时域幅值处于-400uv至400uv之间，提取时域幅值在-400uv至400uv区间占比大于55％的数据段作为有效数据段，其余数据直接丢弃，无需进行后续处理；

2)待识别脑电信号的分割，对有效数据段进行短时能量和过零率分析，短时能量为一帧脑电信号的能量，过零率为一帧时域脑电信号穿过0(时间轴)的次数，以脑电信号的能量和过零率为特征，利用端点检测方法分割出脑电检测设备中的待识别脑电信号；

3)提取特征，对分割出的脑电信号进行分帧处理，提取每帧上的δ波的能量比、θ波的能量比、α波的能量比、β波的能量比、γ波的能量比和(α+θ)/β、α/β、(α+θ)/(α+β)、θ/β、0-40hz的脑电信号能量比以及100hz-200hz的脑电信号能量比，计算脑电信号的平均能量、脑电信号总长度、脑电信号的过零率、最大值、最小值、最大值与最小值之间间隔和总长度之比，其中，δ波为0-4hz的脑电波，θ波为4-8hz的脑电波，α波为8-12hz的脑电波，β波为12-30hz的脑电波，γ波为30-100hz的脑电波；

4)利用bp神经网络实现脑电信号的分类和识别，将所提取的17个特征作为bp神经网络的输入，bp神经网络是一种按误差逆传播算法训练的多层前馈网络，进行bp神经网络模型训练，建立面部动作检测模型；

5)实时验证，针对测试样本数据，按照步骤3)提取特征，将特征输入步骤4)建立的bp神经网络识别器，输出识别结果，与人工分析对比，验证短时能量阈值的正确性、信号特征提取的稳定性以及bp神经网络识别器的可行性。

基于本实施例所述的面部动作检测模型进行面部动作检测，其检测方法如下：

1)获取面部动作的脑电信号，提取时域幅值在-400uv至400uv区间占比大于55％的数据段作为有效数据段；

2)对有效数据段进行短时能量和过零率分析，利用语音信号vad方法分割出脑电检测设备中的待识别脑电信号，对脑电信号进行分帧处理；

3)提取每帧上的δ波的能量比、θ波的能量比、α波的能量比、β波的能量比、γ波的能量比和(α+θ)/β、α/β、(α+θ)/(α+β)、θ/β、0-40hz的脑电信号能量比以及100hz-200hz的脑电信号能量比，计算脑电信号的平均能量、脑电信号总长度、脑电信号的过零率、最大值、最小值、最大值与最小值之间间隔和总长度之比，其中，δ波为0-4hz的脑电波，θ波为4-8hz的脑电波，α波为8-12hz的脑电波，β波为12-30hz的脑电波，γ波为30-100hz的脑电波；

4)将提取的17个特征输入面部动作检测模型，得到面部动作检测结果。

具体的试验场景如下，

进行试验建模：

1)让试验者平静的坐在椅子上，眨眼50次，咬牙50次，向上皱眉头50次，通过csv文件格式记录这些脑电信号数据，如图2所示，为眨眼的波形图，横轴代表时间，纵轴代表信号幅值，如图3所示，为咬牙的波形图，横轴代表时间，纵轴代表信号幅值，如图4所示，为向上睁眼的波形图，横轴代表时间，纵轴代表信号幅值，将采集到的信号进行人为的观察，所使用的脑电图仪采集到的脑电信号时域幅值一般处于-400uv至400uv，统计结果证实，在一段脑电信号中，45％以上的信号幅值大于400uv或者小于400uv，则认为该段信号属干扰信号，去除干扰信号，只保留提取时域幅值在-400uv至400uv区间占比大于55％的数据段作为有效数据段；

2)对有效数据段进行短时能量和过零率分析，通过短时能量和过零率的阈值设定，利用语音信号vad方法分割出脑电检测设备中的待识别脑电信号，脑电信号的分割结果如图5-7所示，图5是理想状态下脑电信号的分割图，横轴代表时间，纵轴代表信号幅值，图6是基于能量特征的脑电信号的分割图，横轴代表帧号，纵轴代表帧能量值，图7是基于过零率特征的脑电信号的分割图，横轴代表帧号，纵轴代表帧过零率值；

3)对分割出的脑电信号进行分帧处理，一帧数据128点，帧移20点，提取每帧上的δ波的能量比、θ波的能量比、α波的能量比、β波的能量比、γ波的能量比和(α+θ)/β、α/β、(α+θ)/(α+β)、θ/β、0-40hz的脑电信号能量比以及100hz-200hz的脑电信号能量比，计算脑电信号的平均能量、脑电信号总长度、脑电信号的过零率、最大值、最小值、最大值与最小值之间间隔和总长度之比，其中，δ波为0-4hz的脑电波，θ波为4-8hz的脑电波，α波为8-12hz的脑电波，β波为12-30hz的脑电波，γ波为30-100hz的脑电波；

4)将所提取的17个特征作为bp神经网络的输入，隐藏层选用10个神经元，为了分出三类问题，所以输出层的神经元个数为3个。其中隐藏层的激活函数为relu函数，最后输出层的激活函数为softmax函数，迭代次数为2000次，设置的误差率为1e-4，学习率设置为0.01，所用的脑电信号80％用作训练集，20％用作测试集；

5)针对测试样本数据，按照s1-s3步骤提取特征，将特征输入s4所建立的bp神经网络识别器，输出识别结果，与人工分析对比，验证步骤s2中短时能量阈值的正确性、s3中信号特征提取的稳定性以及bp神经网络作为分类器的可行性。

利用模型进行面部动作检测：

1)让试验者平静的坐在椅子上，并随意做面部动作，脑电检测设备获取其脑电信号，提取时域幅值在-400uv至400uv区间占比大于55％的数据段；

2)对效数据段进行短时能量和过零率分析，利用语音信号vad方法分割出脑电检测设备中的待识别脑电信号，对脑电信号进行分帧处理；

3)提取每帧上的δ波的能量比、θ波的能量比、α波的能量比、β波的能量比、γ波的能量比和(α+θ)/β、α/β、(α+θ)/(α+β)、θ/β、0-40hz的脑电信号能量比以及100hz-200hz的脑电信号能量比，计算脑电信号的平均能量、脑电信号总长度、脑电信号的过零率、最大值、最小值、最大值与最小值之间间隔和总长度之比，其中，δ波为0-4hz的脑电波，θ波为4-8hz的脑电波，α波为8-12hz的脑电波，β波为12-30hz的脑电波，γ波为30-100hz的脑电波；

4)将提取的17个特征输入面部动作检测模型，得到面部动作检测结果。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。