基于眼动数据的脑电实验评估系统及方法与流程

本发明涉及的是一种信息处理领域的技术，具体是一种基于眼动数据的脑电实验评估系统及方法。

背景技术：

机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。机器学习从学习方式上，可以分成：1.监督学习；2.非监督学习；3.半监督学习；4.增强学习。当今监督学习在各领域均有相对较成熟的运用，但是，监督学习对样本标签的依赖限制了其进一步发展：标签不精确、样本基数过大导致给定标签代价过大等等均可能影响监督学习准确度。相反，半监督学习、非监督学习以及增强学习更加接近于人类的学习方式，通过观察来学习做成如何的动作，每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。因此，半监督学习、非监督学习以及增强学习在机器学习领域占据了很重要的一部分。反馈是实现半监督、非监督学习、增强学习十分重要的一环。因此，此方法的提出也是实现更好的非监督学习的重要的一步。

现今多数实验均需要通过对象参与实验采集数据，因此，对象参与程度直接影响了数据的优劣程度。例如在情绪识别实验中，对象通过观看刺激素材，被诱发相应的情绪并采集脑电数据，根据脑电数据预测对象在观看各个刺激素材时的情绪。如果对象在观看刺激素材是，出现发呆、走神、或故意不认真观看素材的行为，将导致数据质量低下、模型预测精确度降低。在此方法提出之前，普遍采用填表反馈的方式，对象在结束一个片段的观看后，在反馈表格上填写对自己情绪的评价。这种反馈主观因素过大，也存在对象故意隐瞒、欺骗的可能性，因此，一个客观的基于真实数据来评估对象参与程度的方式十分的重要。

动态时间规整算法(dtw)曾经是语音识别的一种主流方法。其将时间规整与距离规整测度结合起来，采用动态规划技术，比较两个大小不同的模式，解决语音识别中语速多变的难题。其基于动态规划，能有效减小搜索时间，但对于大量样本数据，o(n²)时间复杂度仍然会消耗大量运算时间。因此，本方法中采用了dtw的快速技术，由文献stansalvador&philipchan,fastdtw:towardaccuratedynamictimewarpinginlineartimeandspace.kddworkshoponminingtemporalandsequentialdata提出的fastdtw算法。由于眼动数据的长度不一，本方法将原用于语音识别的技术用在眼动数据匹配上，成为本方法重要的一个组成部分。

眼动仪是近年新型的科技产品，佩戴之后，可以精确采集佩戴者关于眼睛运动的信息，包括：眨眼、注视点、注视时长、瞳孔大小。并可统计出：眨眼次数，注视次数，扫视、平均瞳孔大小、平均眨眼时长、眨眼频率、注视频率等。在文献yifeilu,wei-longzheng,binbinli,andbao-lianglu,combiningeyemovementsandeegtoenhanceemotionrecognition,inproc.oftheinternationaljointconferenceonartificialintelligence(ijcai'15)中，通过从眼动仪统计数据中提取特征，可以单独用作情绪识别或构造多模态。

技术实现要素：

本发明针对现有技术存在的上述不足，提出一种基于眼动数据的脑电实验评估系统及方法，客观量化评价对象参与实验认真程度，为实验以及模型形成反馈，以保证数据质量以及提高模型预测精确度。对对象参与实验的程度进行了量化的评估，构造了情绪识别实验的量化反馈。

本发明是通过以下技术方案实现的：

本发明涉及一种基于眼动数据的脑电实验评估系统，包括：眼动仪、距离矩阵生成模块、参与度检测模块以及情绪识别模块，其中：眼动仪与距离矩阵生成模块相连并传输眼动数据信息，距离矩阵生成模块与参与度检测模块相连并传输距离信息，参与度检测模块与情绪识别模块相连并传输参与度检测结果信息以及情绪识别结果信息。

所述的眼动数据包括：注视坐标、注视时长、注视起始结束时间、扫视起始坐标、扫视路径、扫视时长、扫视起始结束时间、扫视角度。

本发明涉及一种基于上述系统的基于眼动数据的脑电实验评估方法，通过眼动仪采集对象眼动数据，根据眼动数据中的注视点建立时间-空间模型；然后使用动态时间规整算法快速技术计算序列之间相似程度并构建距离矩阵，再通过基于密度的聚类算法进行离群点检测和量化排序，得到对象的参与度。

所述的距离矩阵，通过以下方式得到：

i)顺序提取对象观看刺激素材片段期间的所有注视点，即：{(x1,y1,t1),(x2,y2,t2),…,(xn,yn,tn)}，其中：xi,yi是第i个注视点坐标，ti是第i个注视点时长，n为片段注视点个数；

ii)将持续时长小于某预定阈值δ的注视点视为无效注视点，从序列中删除无效注视点。将有效注视点依次展开，即重复坐标t/δ次，其中：t是该注视点的持续时间；

iii)将步骤ii)中的注视点根据区域对序列编码；

iv)使用动态时间规整算法两两比较序列相似度，得到一个具体数值表示两序列相似程度，越小表示相似度越高；

所述的动态时间规整算法是指：fastdtw[stansalvador&philipchan,fastdtw:towardaccuratedynamictimewarpinginlineartimeandspace.kddworkshoponminingtemporalandsequentialdata,pp.70-80,2004]。

v)将每两个序列相似度数值作为距离，构造距离矩阵其中：dij＝dji，dij是第i个序列和第j个序列之间的距离，m为单个刺激素材样本总数，即对象人数；

所述的离群点检测和量化排序，具体包括以下步骤：

i)基于前一模块的距离数据，使用基于密度的聚类算法，检测出离群点和非离群点。

ii)提取每个序列到聚类结果中非离群点的距离作为特征向量<v1,v2,…,vp>，其中vi为第i个特征值，p为特征总数，即非离群点个数；

iii)针对每一个刺激素材片段，对需要反馈的实验的样本根据情绪识别结果精度排序，作为训练标签；

iv)依次选取一个刺激素材片段作为测试集，使用剩余所有刺激素材片段作为训练集，使用svmrank训练模型，预测测试样本排序。

所述的离群点检测，将对象分成了两类：眼动数据被检测成离群点的对象的参与实验程度不高，脑电、眼动数据质量低下，因此可以科学的避免使用这一部分数据；眼动数据被检测成非离群点的对象，说明其认真地参与了实验，情绪理应得到很好的诱发，数据质量优秀，因此仅使用这一部分数据可以有效提高模型预测精确度。

所述的量化排序，预测测试样本排序，量化每个对象的参与程度。量化的结果，用于改进实验，在对象多次实验过程中，给予对象反馈信息，提高对象参与程度。并可将结果融入进原实验，例如给予脑电的情绪识别，预测模型中，提高模型精度。

技术效果

与现有技术相比，本发明通过参与度检测，挑选并使用优质数据，有效的提高情绪识别预测准确度，其次本发明通过参与度检测，在被试实验过程中，给予被试反馈信息，提高被试参与程度；使用本发明方法进行实验评估，比使用隐马尔科夫模型(hmm)在实现难度上更加简单，有效。

附图说明

图1为基于眼动数据的脑电实验评估系统示意图；

图2为实施例眼动序列示意图；

图3为实施例架构示意图。

具体实施方式

实施例1

如图1所示，本实施例通过smiiviewetg眼动仪采集对象眼动数据，使用begaze软件提取眼动数据，根据眼动数据中的注视点通过距离矩阵模块生成距离矩阵；然后通过参与度检测模块与情绪识别模块得出结果。

如图3所示，本实施例在受严格控制的实验环境中进行。实验实在一个独立并且隔音的房间中进行，室内照明由照明系统控制，保证光照强度适中且恒定不变，室温由空调系统维持在令人舒适的温度。

本实施例中通过对10名对象进行检测，测试其参与情绪识别实验并佩戴眼动仪采集眼动数据，其中5名被要求认真观看刺激素材，5名被要求不认真观看刺激素材。使用本发明方法，分类结果准确度高达90％。

表1。带有标签的眼动数据聚类结果

注：“1”表示认真观看刺激素材，“-1”表示不认真观看刺激素材。

实施例2

本实施例采用与实施例1相同的环境及相同的眼动数据采集装备。另外，本实施例使用了esineuroscan系统进行脑电的采集。脑电帽拥有64个电极，电极分布符合国际统一的10-20系统标准，其中两导不利用，因此一共采集62导脑电数据。脑电帽采样频率为1000hz。

本实施例以26名对象进行测试，检测其参与情绪识别实验并佩戴眼动仪采集眼动数据，实验过程中，对象认真程度未知。使用本发明方法，将对象数据分为认真、不认真两类。使用基于脑电的情绪识别方法，计算出每个人情绪识别准确度。其中，所有对象平均情绪识别准确度为68.52％，被分为认真的对象平均情绪识别准确度为81.70％，倍分为不认真的对象平均准确度为57.26％。基于聚类结果，进行量化后，预测排序与真实排序相关性高达0.77。

表2。不带标签的眼动数据聚类结果

表3。量化评估排序结果

本发明上述实施例的方法说明了本发明的有效性及显著效果。通过注意力预测的情绪识别准确度与真实情绪识别准确度具有较大的相关系数。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。