一种融合多生理模态的实时注意力评估方法及系统

1.本发明涉及注意力检测和训练技术领域，尤其是涉及一种融合多生理模态的实时注意力评估方法及系统。


背景技术：

2.注意力是指人的心理活动指向和集中于某种事物的能力，是人们在生活与实践活动中需具备的一种重要心理品质。青少年的生理和心理发展均处于变化阶段，易受外界影响，从而出现注意力不集中，导致学习效率低等问题。由此，如何有效地评估青少年的注意力，并实现科学有效的训练，成为一个值得深究的问题。
3.在注意力检测方面，现有技术主要是基于单模态的注意力检测，如一种基于运动视觉的注意力检测，这种检测方法只能做到定性分析；一种基于脑电信号的频谱特征的注意力检测，这种检测方法应缺乏数据集而导致准确率在30％至70％之间。单模态的注意力检测方法在可用性和稳定性方面受到限制，随着多源异构信息融合处理方式的发展，融合多种不同信息源特征进行注意力水平的分析逐步出现，但现有少量融合多模态的注意力检测方法，平均准确率仅为59.63％至77.81％。请参阅图1，其为现有技术中的一种融合多模态的注意力检测方法的流程示意图，该方法包括步骤：在被测人员处于模拟任务状态下，获取被测人员的行为指标数据、眼动指标数据和脑电指标数据；将行为指标数据、眼动指标数据和脑电指标数据进行预处理使数据标准化；将完成预处理的数据作为预设综合评价模型的输入，综合评价模型的输出为多个考核等级中的一个；综合评价模型事先通过如下方式获得：基于预定数量的被测人员在实际任务状态下的测试数据，获得多个考核等级的理想评价指标表，并在该理想评价指标表的监督下通过神经网络学习获得多输入与单输出的关系模型。这种注意力检测方法直接将各源数据输入评价模型，而没有根据不同信息源特征得出不同模态的检测结果，且其综合评价模型存在较大误差，将影响检测结果的准确率。
4.在注意力训练方面，现有技术主要利用生物反馈技术帮助青少年提升注意力，通过在游戏中将个人的注意力实时地反馈给其本身的方法，让青少年产生激励信号从而控制游戏的进行，以此达到训练注意力的目的。但目前利用生物反馈技术的注意力训练方法都只针对一种注意力机制，没有对不同用户根据不同注意力机制进行针对性、科学性的注意力检测和训练。


技术实现要素：

5.本发明的目的在于克服现有技术的缺点与不足，提供一种融合多生理模态的实时注意力评估方法及系统。
6.本发明是通过以下技术方案实现的：一种融合多生理模态的实时注意力评估方法，其包括步骤：
7.s1：诱发评估对象的注意力；
8.s2：同时分别检测获得人脸注意力检测结果w1、检测获得脑电注意力检测结果w2、
及检测获得眼动注意力检测结果w3，之后将人脸注意力检测结果w1、脑电注意力检测结果w2、眼动信号注意力检测结果w3通过神经网络模型进行计算处理，获得评估对象的注意力水平值w。
9.相对于现有技术，本发明提供一种融合多生理模态的实时注意力评估方法通过融合人脸图像、脑电信号、眼动信号进行注意力检测，使检测结果具有更高的准确率，且可用性和稳定性高。
10.进一步地，还包括步骤：
11.s3：计算评估对象的注意力水平值w所处的等级；
12.s4：根据步骤s3的计算的等级结果显示一训练场景，同时显示步骤s2计算获得的注意力水平值w，返回步骤s2。
13.在注意力训练过程中实时反馈注意力检测结果，使评估对象进行有意识的注意力调节，可以有效提高注意力训练的训练效率。
14.进一步地，步骤s2中的神经网络模型是基于反向传播算法的神经网络模型，使用反向传播算法的神经网络模型使检测结果具有更高的准确率。
15.进一步地，步骤s2中检测获得人脸注意力检测结果w1的步骤是获取人脸图像，提取人脸图像特征数据，通过卷积神经网络模型对人脸图像特征数据进行计算处理，该人脸注意力检测结果具有更高准确率。
16.进一步地，步骤s2中检测获得脑电注意力检测结果w2的步骤是获取脑电信号，提取脑电信号中脑电波的功率谱特征数据，通过改进的随机森林模型对脑电信号特征数据进行计算处理；所述改进的随机森林模型是通过网格搜索算法获取模型训练参数的最优值，所述参数的最优值训练的模型经过多倍交叉验证进行验证；所述网格搜索算法先通过粗搜索查找参数最优点，再通过细搜索在所述最优点附近查找参数最优值，改进的随机森林模型和改进的网格搜索算法使检测结果具有更高的准确率。
17.进一步地，步骤s2中检测获得眼动信号注意力检测结果w3的步骤是获取眼动信号，提取眼动信号特征数据，通过长短期记忆网络模型对眼动信号特征数据进行计算处理，所述眼动信号特征数据包括瞳孔水平直径、瞳孔垂直直径、注视水平偏差与注视垂直偏差的均值和标准差、注视持续时间的均值和标准差以及眨眼持续时间的均值和标准差，该眼动注意力检测结果具有更高准确率。
18.基于同一发明构思，本发明还提供一种融合多生理模态的实时注意力评估系统，其技术方案为：包括摄像头、脑电设备、眼动仪和注意力评估处理器，其中注意力评估处理器包括注意力检测单元，该注意力检测单元包括人脸注意力检测模块、脑电注意力检测模块、眼动注意力检测模块和多模态融合模块，其中人脸注意力检测模块对所述摄像头采集人脸的图像进行计算，获得人脸注意力检测结果w1；脑电注意力检测模块对脑电设备采集的脑电信号进行计算，获得脑电注意力检测结果w2；眼动注意力检测模块对眼动仪采集的眼动信号进行计算，获得眼动注意力检测结果w3；多模态融合模块通过神经网络模型将人脸注意力检测结果w1、脑电注意力检测结果w2、眼动注意力检测结果w3进行融合计算处理，得到注意力水平值w。
19.进一步地，所述注意力评估处理器还包括与所述注意力检测单元并行的注意力训练单元，该注意力训练单元包括计算模块和显示模块；其中所述计算模块计算评估对象的
注意力水平值w所处的等级；所述显示模块根据所述计算模块的计算的等级结果生成训练场景；还包括显示器，所述显示器显示所述注意力水平值w和所述显示模块的训练场景。
20.进一步地，所述多模态融合模块中的神经网络模型是基于反向传播算法的神经网络模型。
21.进一步地，所述人脸注意力检测模块获取人脸图像，提取人脸图像特征数据，通过卷积神经网络模型对人脸图像特征数据进行计算处理。
22.进一步地，所述脑电注意力检测模块获取脑电信号，提取脑电信号中脑电波的功率谱特征数据，通过改进的随机森林模型对脑电信号特征数据进行计算处理，所述改进的随机森林模型是通过网格搜索算法获取模型训练参数的最优值，所述参数的最优值训练的模型经过多倍交叉验证进行验证，所述网格搜索算法先通过粗搜索查找参数最优点，再通过细搜索在所述最优点附近查找参数最优值。
23.进一步地，所述眼动信号注意力检测模块获取眼动信号，提取眼动信号特征数据，通过长短期记忆网络模型对眼动信号特征数据进行计算处理，所述眼动信号特征数据包括瞳孔水平直径、瞳孔垂直直径、注视水平偏差与注视垂直偏差的均值和标准差、注视持续时间的均值和标准差以及眨眼持续时间的均值和标准差。
附图说明
24.图1为现有技术中的一种融合多模态的注意力检测方法的流程示意图。
25.图2为本发明的融合多生理模态的注意力评估系统的结构示意图。
26.图3为改进的随机森林模型的训练流程示意图。
27.图4为反向传播算法神经网络的结构示意图。
28.图5为本发明训练场景在持续型注意力训练模式下的一个示例性实施例的展示图。
29.图6为本发明训练场景在选择型注意力训练模式下的一个示例性实施例的展示图。
30.图7为本发明训练场景在集中型注意力训练模式下的一个示例性实施例的展示图。
31.图8为本发明肢体注意力训练模式下的一个示例性实施例的展示图。
32.图9为实验前后舒尔特方格完成时间及注意力检测结果的对比图。
33.图10为受试者每次实验持续型游戏获胜需要的时间的柱形图。
34.图11为受试者每次实验选择型游戏失败时的得分的柱形图。
35.图12为受试者每次实验集中型游戏中释放技能的次数的柱形图。
36.图13为每次实验的4个评估指标的平均结果柱形图。
37.下面结合附图，对本发明的技术方案进行详细的描述。
具体实施方式
38.本发明将人脸图像、脑电信号、眼动信号三种生理数据进行分析，对应得出三种生理模态的注意力检测结果，再将三种检测结果输入神经网络模型进行分析计算，得到一个准确率更高的融合多生理模态的注意力检测结果。同时，利用脑电生物反馈技术进行注意
力训练，脑电生物反馈是一项结合心理和躯干的脑电技术，主要利用操作性条件反射的原理，通过选择性地增强或抑制特定脑电波活动的频率、位置、幅度或持续时间，使评估对象能够在特定条件下保持集中的大脑状态，并通过训练改善认知功能，即在训练中实时反馈注意力检测结果，使评估对象进行有意识的注意力调节。基于此发明构思，本发明提供一种融合多生理模态的注意力评估方法及系统，具体通过以下实施例进行说明。
39.请参阅图2，其为本发明的融合多生理模态的注意力评估系统结构示意图。该系统包括摄像头10、脑电设备20、眼动仪30、注意力评估处理器40和显示器50，其中摄像头10采集人脸的图像并传输至注意力评估处理器40；脑电设备20采集脑电信号并传输至注意力评估处理器40；眼动仪30采集眼动信号并传输至注意力评估处理器40；注意力评估处理器40包括注意力检测单元41和注意力训练单元42，其中注意力检测单元41对上述采集的生理数据进行计算，从而获得注意力水平值，并输出该注意力水平值至显示器50，所述注意力训练单元42获取注意力检测单元41的注意力水平值，然后分别以持续型、选择型、集中型和肢体四种注意力训练模式根据所述注意力水平值进行相应的计算，接着将根据计算结果输出对应的信息，该信息将通过所述显示器50显示。此外，在注意力训练单元42工作的同时，注意力检测单元41将不断更新注意力水平值并把更新的注意力水平值传输至注意力训练单元42。具体地，将通过下文继续说明。
40.1注意力检测单元41
41.所述注意力评估处理器40的注意力检测单元41包括人脸注意力检测模块411、脑电注意力检测模块412、眼动注意力检测模块413和多模态融合模块414，其中人脸注意力检测模块411对人脸图像数据进行计算处理获得人脸注意力检测结果w1；脑电注意力检测模块412对脑电信号数据进行计算处理获得脑电注意力检测结果w2；眼动注意力检测模块413对眼动信号数据进行计算处理获得眼动注意力检测结果w3；多模态融合模块414将上述人脸注意力检测结果w1、脑电注意力检测结果w2、眼动注意力检测结果w3进行融合计算处理获得最终的注意力水平值w。
42.1.1人脸注意力检测模块411
43.人脸注意力检测模块411的处理步骤包括：
44.s111：获取摄像头10传输过来的图像，识别图像中的人脸；
45.s112：提取人脸图像特征数据；
46.s113：将特征数据输入卷积神经网络模型，获得人脸注意力检测结果w1，在本实施例中，所述人脸注意力检测结果w1分为五类，包括high、medium
‑
high、medium、medium
‑
low、low。
47.在步骤s111中，对于识别图像中人脸的方式，本实施例优选为首先通过opencv中的vio
‑
jones算法提取图像矩形方块的haar特征，然后以一定大小的滑动窗口对图像进行搜索，获得人脸图像，最后将人脸图像灰度化后缩放为宽度90像素、长度120像素的图像。
48.在步骤s112中，本实施例优选使用vggnet模型对图像的高维卷积抽象特征数据进行提取，所述vggnet模型包括13层卷积层，3层全连接层，其中第1至2层卷积层分别包含64个尺寸为3
×
3的卷积核；第3至4层卷积层分别包含128个尺寸为3
×
3的卷积核；第5至7层卷积层分别包含256个尺寸为3
×
3的卷积核；第8至13层卷积层分别包含512个尺寸为3
×
3的卷积核；3层全连接层使用1
×
1卷积核的全连接层、5层2
×
2大小且步长为2的池化层，每一
卷积层和全连接层运用relu函数作为激活单元。图像输入后，经过卷积层进行特征的提取，最大池化层进行数据的采样，全连接层进行数据的降维，最后通过softmax获得特征数据。
49.在步骤s113中的卷积神经网络模型训练步骤包括：
50.s113a：将daisee数据集的视频按每一帧转换成图像；
51.s113b：通过vggnet模型提取图像的高维卷积抽象特征数据；
52.s113c：将提取的特征数据作为训练样本对卷积神经网络进行训练，获得卷积神经网络模型。
53.其中，卷积神经网络模型包括2个卷积层，2个全连接层，其中第1层卷积层包含64个尺寸为3
×
3的卷积核，以间隔为1进行滑窗，并采用relu函数进行激活，然后采用卷积核尺寸为3
×
3、步长为2的池化层进行最大池化；第2个卷积层包含16个尺寸为3
×
3的卷积核，以间隔为1进行滑窗，并采用relu函数进行激活，然后采用卷积核尺寸为3
×
3、步长为2的池化层进行最大池化；2层连接层分别包含128个神经元，并采用relu函数进行激活；最后通过softmax输出层输出结果。
54.1.2脑电注意力检测模块412
55.脑电注意力检测模块412的处理步骤包括：
56.s121：获取脑电设备20传输过来的脑电信号；
57.s122：提取脑电信号中脑电波的功率谱特征数据；
58.s123：将特征数据输入改进的随机森林模型，获取脑电注意力检测结果w2，在本实施例中，所述脑电注意力检测结果w2分为五类，包括high、medium
‑
high、medium、medium
‑
low、low。
59.在步骤s122中，本实施例优选通过连续小波变换进行脑电信号特征数据的提取，连续小波分析是将时域和频域结合起来的适用于多尺度的时频分析。连续小波基本定义公式为其中，ψ
s，t
(t)表示基本小波的位移与尺度伸缩，可以用来分析不同时段的信号成分，s为平移因子，a为尺度参数，是归一化因子。对于信号f(t)，连续小波变换及其逆变换公式为其中cwt(s，a)是将信号映射成一个时间
‑
尺度的平面函数，表示一维连续小波变换，其表达式为ψ(u)为ψ(t)的傅里叶变换。
60.该连续小波变换的变换系数采用daubechies小波变换系数，daubechies小波具有良好的时间局部性，在给定的支撑宽度n＝2a下具有最大的消失矩数，并且在2a
‑
1个可能的解中，选择其缩放滤波器具有外部相位的一个。其中，daubechies4小波兼具正交小波的紧支集和平滑性，在非平稳的脑电信号分析中有较好效果。本实施例主要对脑电设备中的tp9、tp10、af7、af8四个通道的脑电信号进行特征提取，提取的脑电信号节律为delta(0hz<f<4hz)、theta(4hz<f<8hz)、alpha(8hz<f<12hz)、beta(12hz<f<30hz)及gamma(30hz<f<45hz)，共有20个特征。
61.请参阅图3，其为步骤s123中的改进的随机森林模型的训练流程示意图，其步骤包括：
62.s123a：采集脑电信号；
63.s123b：提取脑电信号中脑电波的功率谱特征作为原始数据集；
64.s123c：将原始数据集作为样本通过网格搜索算法和多倍交叉验证获得参数最优值；
65.s123d：根据所述参数最优值训练随机森林模型。
66.在步骤s123c中的网格搜索算法用于寻找构建随机森林决策树参数的最优值，以提高随机森林模型的准确率。该网格搜索算法首先对惩罚参数、决策树数量、分裂特征数、估计量、最大特征数和最小样本叶数进行网格划分；然后通过对网格点进行粗搜索选择最优点，粗搜索的搜索步长为50；再在上述最优点附近通过精细搜索选择参数最优值，精细搜索的搜素步长为2。在选择参数最优值时，该参数最优值需满足袋外错误率最小的条件，如：若只有一组参数满足，则输出为参数最优值；若有多组参数满足，则以惩罚参数最小的一组参数输出为参数最优值。本发明中的网格搜索算法是改进的网格搜索算法，其对参数分粗细两步搜索，而不是如一般技术直接搜索全部参数，更进一步地提高了模型训练的速度。
67.在步骤s123c中的多倍交叉验证用于验证使用所述参数最优值训练的随机森林模型是否有高准确率。在本实施例中，优选十倍交叉验证进行最优值参数的验证，所述十倍交叉验证首先将原始数据集随机分成不重复的10个子集，其中9个子集作为训练集训练随机森林模型；然后通过剩余1个子集测试前述随机森林模型，获得该随机森林模型的准确率；重复上述过程10次，得到10次准确率，准确率的平均值将用于验证参数的最优值。通过十倍交叉验证能够有效避免训练后的随机森林模型过度拟合的问题，使模型获得更高的准确率。
68.在步骤s123d中的随机森林模型由多个决策树分类器的集合，决策树分类器表示为{h(x,φ
k
),k＝1,2,...}，其中参数集{φ
k
}是独立分布的随机向量，每一棵决策树对输入的特征变量x单独分类，并且按照分类的结果进行预测，然后组合多棵决策树的预测结果，以投票的方式选择得票最多的分类结果作为输出。对于决策树的构建，采用自助法重抽样技术从原始数据集中抽取多个样本并生成多个决策树分类模型，具体为：通过有放回的抽样方法从n个原始数据集中随机抽取1个bootstrap样本作为决策树训练集和决策树根节点处的样本，重复k次；在决策树每个根节点分裂时，随机从x个特征变量中随机选取x个特征变量进行计算，按照节点不纯度最小的原则，从x个特征变量中选取最佳特征变量作为该根节点的分支；对每一bootstrap样本重复上述决策树根节点分裂过程，且不进行剪枝操作，获得k个决策树分类器，决策树分类器序列表示为{h1(x)，h2(x)，
…
，h
k
(x)}。对于决策树的投票，通过简单多数投票的方法获得最终的分类结果，分类决策公式为其中，h(x)表示k个决策树分类器组合后的分类模型，h
i
(x)是一个决策树的分类模型，y表示目标变量，f(h
i
(x)＝y)为示性函数。
69.本发明的改进的随机森林模型在决策树的建立过程中引入了两个随机因素：一是从n个原始数据集中随机抽取bootstrap样本，二是选择决策树节点时随机选取特征变量作为分支。因此，随机森林模型正确率稳定，不容易过拟合。
70.1.3眼动注意力检测模块413
71.眼动注意力检测模块413的处理步骤包括：
72.s131：获取眼动仪30传输过来的眼动信号；
73.s132：提取眼动信号的特征数据；
74.s133：将特征数据输入长短期记忆网络模型，获取眼动注意力检测结果w3，在本实施例中，所述眼动注意力检测结果w3分为五类，包括high、medium
‑
high、medium、medium
‑
low、low。
75.在步骤s131中的眼动信号包括瞳孔水平和垂直直径、注视水平和垂直偏差、注视持续时间以及眨眼持续时间。
76.在步骤s132中的眼动信号特征数据由多个特征数据进行特征矩阵合并而成，所述特征数据包括：瞳孔水平直径、瞳孔垂直直径、注视水平偏差的均值和标准差、注视垂直偏差的均值和标准差、注视持续时间的均值和标准差以及眨眼持续时间的均值和标准差，其中通过小波变换方法分别提取0
‑
0.2hz以及0.2
‑
0.4hz频率对应的频率谱值作为瞳孔水平直径和瞳孔垂直直径，提取特征维数为12；注视水平偏差和注视垂直偏差的提取特征维数为4；注视持续时间的均值和标准差的提取特征维数为2；眨眼持续时间的均值和标准差的提取特征维数为2。
77.在步骤s133中，基于tensorflow和keras框架，利用长短期记忆网络模型对眼动特征数据进行处理。该长短期记忆网络模型的训练步骤包括：
78.s133a：采集眼动信号数据；
79.s133b：提取眼动信号特征数据；
80.s133c：将提取的特征数据作为样本，基于tensorflow和keras框架，训练获得长短期记忆网络模型。
81.其中长短期记忆网络模型的结构包括2个lstm层，1个全连接层，1个输出层，其中第1层lstm层包含10个长短期记忆网络的记忆单元，每个记忆单元有128个神经元；第2层lstm层包含10个记忆单元，每个记忆单元含有64个神经元；全连接层有54个神经元；输出层有5个神经元，对应5个注意力分数。上述每一结构层的记忆单元包括3个门控，分别为输入门、遗忘门和输出门，每个门控采用relu激活函数激活其状态，从而对输入信息进行有效的读、写和遗忘操作。各结构层的降采样率皆为0.5，都采用relu激活函数进行激活且需要数据归一化，因此均方误差可以用作损失矩阵的计算。
82.1.4多模态融合模块414
83.多模态融合模块414的处理步骤包括：
84.s141：将人脸注意力检测结果w1、脑电注意力检测结果w2、眼动注意力检测结果w3输入基于反向传播算法的神经网络模型，获得注意力水平值w，本实施例中，所述注意力水平w从高到低依次为1、0.75、0.5、0.25、0。
85.请参阅图4，其为步骤s141中的基于反向传播算法的神经网络模型的结构示意图，其包括输入层、隐含层和输出层，隐含层作用于输入层到输出层的映射。x
i
表示第i(i＝1,2,...,n)个输入层的输入向量，n表示输入特征的维度，yi
i
表示第i(i＝1,2,...,p)个隐含层的输入向量，yo
i
为第i(i＝1,2,...,p)个隐含层的输出向量，zi
i
为第i(i＝1,2,...,q)个输出层的输入向量，zo
i
为第i(i＝1,2,...,q)个输出层的输出向量，e
i
为第i(i＝1,2,...,q)个期望输出的向量，w
xy
为输入层与隐含层的连接权值，w
yz
为隐含层与输出层的连接权值，t
y
为隐含层各神经元的阈值，t
z
为输出层各神经元的阈值，m为样本个数，在网络隐含层
激励函数δ(x)采用sigmoid函数，输出层的激励函数θ(x)采用阶跃函数。该基于反向传播算法的神经网络模型训练步骤包括：
86.s141a：初始化网络的连接权值，权值值域为[
‑
1,1]，并且设定误差函数为
[0087]
s141b：随机选取第k个训练样本以及对应的期望输出；
[0088]
s141c：计算隐含层各神经元的输入值和输出值；
[0089]
s141d：通过模型的期望输出与实际输出，计算误差函数对输出层各神经元的偏导数；
[0090]
s141e：通过输出层各神经元的偏导数、隐含层各神经元的输出值和隐含层到输出层的连接权值，计算误差函数对隐含层各神经元的偏导数；
[0091]
s141f：通过输入层各神经元的输入值、输出层各神经元的偏导数、隐含层各神经元的输出值和隐含层各神经元的偏导数对网络的连接权值进行更新；
[0092]
s141g：通过误差函数计算全局误差，当全局误差小于0.05或者迭代次数大于1000时，训练结束；当全局误差大于或等于0.05或者迭代次数小于或等于1000时，回到步骤s141c重复运行。
[0093]
综上，注意力检测单元41通过人脸注意力检测模块411、脑电注意力检测模块412、眼动注意力检测模块413和多模态融合模块414的计算，最终得到注意力水平值w。接着注意力检测单元41还将注意力水平值w传输至所述显示器50进行显示，具体可选择显示为一表示注意力水平值w的水平进度条。
[0094]
2注意力训练单元42
[0095]
所述注意力评估处理器40的注意力训练单元42包括计算模块421和显示模块422，其中计算模块421计算所述注意力水平值w所处的等级，所述等级可以是将注意力水平划分为多个等级平区间，当所诉注意力水平值w位于其中一个等级区间时，则计算模块421计算的等级结果为该等级区间对应的等级；显示模块422根据所述计算模块421计算的等级结果生成训练场景并传输至所述显示器50进行显示。所述计算模块421和显示模块422分别对应针对持续型注意力机制、选择型注意力机制、集中型注意力机制和结合手部动作的训练有四种模式，以下分别以四种训练模式对所述计算模块421和显示模块422进行说明。
[0096]
2.1持续型注意力训练模式
[0097]
当评估对象进行持续型注意力训练模式的训练时，所述计算模块421计算评估对象的注意力水平值w所处的等级，所述显示模块422根据该计算结果生成对应训练场景，通过该训练场景使评估对象有意识地将注意力水平在一段时间内持续保持在较高的值，以达到持续型注意力的训练。
[0098]
请参阅图5，其为训练场景在持续型注意力训练模式下的一个示例性实施例的展示图。此时训练场景包括第一对象422a、第二对象422b。在训练过程中，所述第一对象422a、第二对象422b的位置根据注意力水平值w所处的等级变化：当注意力水平值w大于0.5时，注意力水平值w所处的等级为高度集中，此时第一对象422a和第二对象422b同时朝第一对象422a的方向移动；当注意力水平值w小于0.5时，注意力水平值w所处的等级为中度集中，此时第一对象422a和第二对象422b同时朝第二对象422b的方向移动；当注意力水平值w等于
0.5时，注意力水平值w所处的等级为低度集中，此时第一对象422a和第二对象422b位置不变。根据所述第一对象422a、第二对象422b的最终位置决定输出胜利信息或失败信息：若第一对象421a移动至训练场景的左边界，则输出信息；若第二对象421b移动至训练场景的右边界，则输出失败信息。
[0099]
2.2选择型注意力训练模式
[0100]
当评估对象进行选择型注意力训练模式的训练时，所述计算模块421计算评估对象的注意力水平值w所处的等级，所述显示模块422根据该计算结果生成对应训练场景，通过该训练场景使评估对象有意识地选择注意力水平值的高低，以达到选择型注意力的训练。
[0101]
请参阅图6，其为训练场景在选择型注意力训练模式下的一个示例性实施例的展示图。此时训练场景包括一控制对象422c、若干随机对象422d、初始值为0的分数s。在训练过程中，控制对象422c在水平方向上保持向训练场景的一个方向移动，垂直方向上的移动方向根据注意力水平值w变化：当w大于0.5时，注意力水平值w所处的等级为高度集中，此时控制对象422c在垂直方向上朝上移动；当注意力水平值w等于0.5时，注意力水平值w所处的等级为中度集中，此时控制对象422c在垂直方向上不移动；当注意力水平值w小于0.5时，注意力水平值w所处的等级为低度集中，此时控制对象422c在垂直方向上朝下移动。所述随机对象422d的位置随机。每当控制对象422c与随机对象422d在水平方向上的位置相同时，对控制对象422c与随机对象422d在垂直方向上的位置进行比较，若垂直方向上的位置不同，则分数s自增1；若垂直方向上的位置相同，则训练中断。
[0102]
2.3集中型注意力训练模式
[0103]
当评估对象进行集中型注意力训练模式的训练时，所述计算模块421计算评估对象的注意力水平值w所处的等级，所述显示模块422根据该计算结果生成带有干扰评估对象注意力的干扰对象的训练场景，通过该训练场景使评估对象有意识地长时间保持较高的注意力水平，并且不受外部事物的干扰，以达到集中型注意力训练的目的。
[0104]
请参阅图7，其为训练场景在集中型注意力训练模式下的一个示例性实施例的展示图。此时训练场景包括可控对象422e、若干干扰对象422f、激励对象422g、初始值为0的分数s。在训练过程中，可控对象422e保持不断移动，其移动方向根据评估对象的操作指令变化，所述操作指令由一外接键盘的方向键输入，从而可控对象422e的位置参数发生变化；所述干扰对象422f的位置参数随机，当注意力水平值w等于1时，注意力水平值w所处的等级为高度集中，此时所述干扰对象422f消失，且其周围出现若干激励对象422g。当可控对象422e位置参数与干扰对象422f的位置参数相同时，则训练中断；当可控对象422e位置参数与激励对象422g的位置参数相同时，则分数s的值自增1。
[0105]
2.4肢体注意力训练模式
[0106]
当评估对象进行肢体注意力训练模式的训练时，所述计算模块421对通过摄像头10获取的评估对象的肢体动作进行识别同时计算评估对象的注意力水平值w所处的等级，所述显示模块422根据该肢体动作的识别结果生成对应训练场景，通过该训练场景使评估对象有意识地控制肢体以保持注意力水平在较高的水平值，以更高效地完成注意力训练。
[0107]
请参阅图8，其为肢体注意力训练模式下的一个示例性实施例的展示图。此时训练场景包括可控对象422h、若干随机对象422i。在训练过程中，所述可控对象422h的位置参数
根据手势动作变化：当手势指向一水平方向时，所述可控对象422h向同一方向水平移动；当手势为张开五指时，所述可控对象422h垂直向上移动，向上移动的距离与注意力水平值w所处的等级成正比。随机对象422i的位置参数随机且不断发生变化，若所述可控对象422h与随机对象422i位置参数相同，则训练中断。
[0108]
在本实施例所述的融合多生理模态的注意力评估系统对评估对象进行评估时，先进入训练单元诱发注意力，然后进入注意力检测单元进行注意力检测，同时将注意力检测结果传输到训练单元继续进行训练。检测时通过摄像头采集人脸图像，然后传输至注意力评估处理器的人脸注意力检测模块，该模块基于卷积神经网络计算得到人脸注意力检测结果；通过脑电设备采集脑电信号，然后传输至注意力评估处理器的脑电注意力检测模块，该模块基于改进的随机森林模型计算得到脑电注意力检测模块；通过眼动仪采集眼动信号，然后传输至注意力评估处理器的眼动注意力检测模块，该模块基于长短期记忆网络计算得到眼动注意力检测结果；再将上述三模态的注意力检测结果传输至注意力评估处理器的多模态融合模块，该模块基于方向传播算法的神经网络计算，得到注意力水平，并将所述注意力水平传输至显示器，以实时反馈给评估对象，能够使评估对象有意识地进行注意力水平调节，从而达到注意力水平的提高。训练时注意力评估处理器的注意力训练单元根据注意力水平输出对应的信息到显示器，信息输出的规则针对持续型、选择型和集中型三种不同的注意力机制以及结合肢体动作设计，其中在持续型注意力训练模式中，通过持续的刺激使评估对象有意识地控制注意力长时间保持较高水平，从而提高了评估对象长时间保持注意力的能力；在选择型注意力训练模式中，通过变化的刺激使评估对象有意识地控制注意力的水平，从而提高了评估对象对注意力的控制能力；在集中型注意力训练模式中，通过长时间的刺激及干扰使评估对象有意识地保持注意力在某一事物上，从而提高了评估对象长时间保持注意力集中而不被无关事物干扰的能力；在肢体注意力训练模式中，由于注意力低下往往伴随着肢体的多动，因此将肢体动作加入注意力训练时，通过控制肢体来提高注意力。
[0109]
基于同一发明构思，本发明还提供一种融合多生理模态的注意力评估方法，该方法的步骤包括：
[0110]
s1：通过游戏任务、计算任务或阅读任务等可以诱发注意力的行为，诱发评估对象的注意力；
[0111]
s2：获取人脸图像，提取人脸图像特征数据，通过卷积神经网络模型人脸图像特征数据进行计算处理，获取人脸注意力检测结果w1；获取脑电信号，提取脑电信号中脑电波的功率谱特征数据，通过改进的随机森林模型对脑电信号特征数据进行计算处理，获取脑电注意力检测结果w2；获取眼动信号，提取眼动信号特征数据，通过长短期记忆网络模型对眼动信号特征数据进行计算处理，获取眼动注意力检测结果w3，所述眼动信号特征数据包括瞳孔水平直径、瞳孔垂直直径、注视水平偏差与注视垂直偏差的均值和标准差、注视持续时间的均值和标准差以及眨眼持续时间的均值和标准差；将人脸注意力检测结果w1、脑电注意力检测结果w2、眼动信号注意力检测结果w3输入基于反向传播算法的神经网络模型进行计算处理，获得评估对象的注意力水平值w；
[0112]
s3：计算评估对象的注意力水平值w所处的等级；
[0113]
s4：根据步骤s3计算的等级结果显示训练场景，同时显示步骤s2计算获得的注意
力水平值w，返回步骤s2。
[0114]
进一步训练，步骤s4还同时对评估对象进行干扰，和/或同时识别评估对象的肢体动作，根据该肢体动作进行计算。
[0115]
相对于现有技术，本发明融合多模态的注意力检测具有更准确的检测能力，且可用性和稳定性高，基于多模态注意力检测的注意力训练从而可达到更高的效率，同时针对不同注意力机制的训练类型可以帮助科学和全面地提高注意力，达到更佳的效果。本发明的融合多生理模态的注意力评估系统中，根据持续型、选择型和集中型注意力，有针对性地设计训练场景，同时将注意力检测结果进行量化，使其作为控制参数对训练场景进行操控，增加了趣味性和训练效率。
[0116]
为验证基于改进的随机森林算法的注意力检测方法有较高的准确率，对svm、knn、adaboost、极端随机树、随机森林、改进的随机森林进行准确率测算实验，实验使用personal eeg concentration tasks数据集，随机选取70％的样本作为训练集，30％的样本作为测试集，并利用不同的算法对注意力进行五分类，进行离线测试。实验结果如表1所示，改进的随机森林准确率达79.34％，损失率为21.76％，召回率为76.18％，精确率达82.60％，说明了在六种算法中，基于改进的随机森林算法的注意力检测方法具有较高的准确率。
[0117]
表1
[0118][0119]
我们通过实验计算了本发明中人脸注意力检测、脑电注意力检测、眼动信号注意力检测及融合多模态的注意力检测的准确率，实验选取10名身体健康的受试者(50％男性，50％女性)，年龄范围从8岁到20岁(平均值＝15.95，标准差＝4.63)。本实验中的任务主要有三类：一是屏幕上出现计算题，受试者需要在规定时间3分钟内计算出答案；二是受试者在3分钟内完成扫雷游戏；三是屏幕呈现一篇文章，受试者在3分钟内阅读完毕。实验过程如下，首先向受试者介绍valence的含义，接着每个受试者进行任务，在每项任务前有10秒的准备时间，结束后屏幕中央会出现sam量表，以收集他们的注意力指标(valence维度)，点击“提交”后，休息1分钟。在试验期间，受试者坐在舒适的椅子上，避免眨眼以及移动身体，根据指示完成整个实验过程。同时，进行设备的测试和校正，确保受试者的人脸图像位于屏幕中央。在进行测试之前，需要收集人脸图像、眼动信号和脑电信号数据来进行模型的训练。以每个受试者三个任务为一组实验，收集了10组实验数据，在此期间，使用摄像机每秒收集4个人脸图像信号，每10秒收集1个眼动信号，并使用openbci脑机接口以256hz的频率收集脑电信号，每4秒作为一个时间单元，以50％的重叠率进行采样。然后移除存在较多伪影的前4秒和后4秒的脑电信号。最后通过比较预测结果和真实标签来统计准确率。实验结果如表2所示，本发明的人脸注意力检测准确率为81.01
±
5.34％，脑电注意力检测准确率为
79.06
±
6.47％，眼动信号注意力检测的准确率为83.23
±
3.25％，融合多生理模态的注意力检测的准确率为84.92
±
4.56％，均具有较高的准确性。
[0120]
表2
[0121][0122]
为验证训练方法的有效性，选取10名身体健康的受试者(50％男性，50％女性)，年龄范围从8岁到18岁(平均值＝12.5，标准差＝4.32)，采用自身对照法(self
‑
controlled study)进行实验。自身对照是指将每名受试者在进行训练前、后的测试结果进行自身比较，具有良好的可比性和较高的可信度。实验期间，每位受试者安静地坐在椅子上，避免过多的移动，对实验的结果造成影响。每位受试者进行3次实验，在第一次实验前和每次实验后，每位受试者均需要完成一次5
×
5的舒尔特方格量表，并记录下完成所需的时间。每个实验由3个阶段组成：准备阶段、训练阶段和休息阶段。准备阶段持续3秒，在此期间受试者需要主动避免注意到屏幕中的游戏；在训练阶段，先进行持续型注意力训练，记录受试者通关所需的时间，再进行选择型注意力训练，记录受试者失败时的分数，最后进行集中型注意力训练，记录受试者释放技能的次数。休息阶段是持续5秒的放松时间，在此期间，受试者可以将注意力从屏幕上转移。
[0123]
针对10名受试者，主要有以下评估指标：
①
完成舒尔特方格量表的时间；
②
持续型游戏获胜需要的时间；
③
选择型游戏失败时的得分；
④
集中型游戏中释放技能的次数。请参阅图9
‑
12，其中图9为实验前后舒尔特方格完成时间及注意力检测结果的对比图，图10为受试者每次实验持续型游戏获胜需要的时间的柱形图，图11为受试者每次实验选择型游戏失败时的得分的柱形图，图12为受试者每次实验集中型游戏中释放技能的次数的柱形图。可以看出，受试者完成舒尔特方格量表的时间显著降低，持续型游戏获胜需要的时间不断降低、选择型游戏失败时的得分有所增加、集中型游戏中释放技能的次数明显增加，4个指标均有显著变化(p<0.05)。出现这样的结果可能有两个原因：一是因不断地训练，受试者对游戏环境的熟悉程度逐渐增加；二是脑电生物反馈感知技术的有效性。
[0124]
为探究脑电生物反馈感知技术对三次实验的影响，需另外设计一个实验：在相同受试者的基础上，删除第三次实验游戏中脑电生物反馈的相关元素，即游戏界面中的用于体现受试者注意力水平的水平条和背景音效。请参阅图13，其为每次实验的4个评估指标的平均结果柱形图，可以看出由于受试者对游戏愈加熟悉，即使没有脑电生物反馈，注意力在一定程度上也有所提高，但在没有脑电生物反馈的情况下，4个指标的变化率远低于使用脑电生物反馈感知技术的变化率。
[0125]
此外，为了验证注意力水平作为注意力训练游戏控制参数的有效性，对第一次实验前和每次实验后完成舒尔特方格的时间和完成过程中的注意力水平进行分析。10名受试者完成舒尔特方格时间与完成过程中的注意力水平的对比表格如表3所示，其中t表示完成舒尔特方格的时间，d表示注意力水平，可见，舒尔特方格完成的时间与注意力水平成反比，验证了注意力训练效果与注意力水平作为注意力训练游戏控制参数的相关性。
[0126]
表3
[0127][0128][0129]
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。