一种基于集成学习的脑认知模型融合方法与流程

本发明涉及一种基于集成学习的脑认知模型融合方法，属于智能信息处理技术领域。

背景技术：

研究类人脑神经网络模型和计算方法，开发受脑启发的类脑智能技术，是未来智能化时代的关键领域，也是新一轮科技革命的重心。类脑智能技术能够适用于人类相对计算机更具优势的信息处理任务，如机器的环境感知、交互、自主决策与智能控制等。传统人工神经网络结构忽略了大量与实现类脑智能密切相关的生物规则。开展基于神经电生理的脑认知机理研究，以及基于脑认知的智能分析策略研究，能够从仿生学角度搭建类人脑神经网络模型，实现对脑认知技能的学习逼近和对人脑神经网络工作原理的充分表达。

对大脑认知系统进行辨识分析对深入理解面向相关感官刺激的脑认知机理有重要的指导意义。研究表明，人脑认知系统分级处理，从低层级系统区提取特征，到高层级的认知行为。高层的特征是低层特征的组合，从低层到高层的特征表示越来越强，越来越表现意图。从神经电生理角度出发，对人脑认知机制与脑电信号展开深入研究，利用前沿人工智能领域知识，构建深度卷积循环神经网络模拟人脑认知过程，旨在构建新型符合人脑认知模式的相关刺激处理系统，能够更好的为理解人体认知机理提供新的思路。其中基于集成学习的脑认知模型融合方法能够充分融合群体脑认知智能，解决面向单个被试的脑认知处理模型存在的过拟合与泛化性差等问题，能够有效提升基于脑认知的智能信息处理系统的鲁棒性与有效性。

技术实现要素：

本发明的技术解决问题是：克服现有技术的不足，提供一种基于集成学习的脑认知模型融合方法。

本发明的技术解决方案是：一种基于集成学习的脑认知模型融合方法，通过下述方式实现：

(1)对n个被试人员构建n个脑认知子模型r1～rn，以预设的实验范式中的刺激信号为输入，脑电高效特征为输出，完成模型训练；

(2)对n个被试人员构建n个脑电信号分类子模型d1～dn，以脑电高效特征为输入，相关刺激分类结果为输出，并完成模型训练；

(3)组合脑认知子模型与脑电信号分类子模型，以脑认知子模型的输出作为对应脑电信号分类子模型的输入，从而获得n个脑认知分类器s1～sn；

(4)将n个脑认知分类器相同刺激下的输出结果组合成输出向量；

(5)设计面向脑认知分类器融合的集成学习器，以各个脑认知分类器输出向量作为输入，输出相应刺激的分类识别结果，并完成模型训练；

(6)对所述集成学习器进行预测分析，并计算性能属性值，应用评定准则对所述的性能属性值进行判决，判决所述融合模型是否符合要求，若符合要求，则实现脑认知模型融合；否则，返回步骤(5)重新进行脑认知分类器融合，直至符合要求。

优选的，步骤(1)通过下述方式实现：

(1.1)分别以预设实验范式中的相关刺激信号作为输入数据，n个被试人员在实验范式相关刺激下脑电数据的高效特征作为输出数据，形成数据集；

(1.2)针对n个被试人员分别构建脑认知子模型，利用上述(1.1)中的数据集按照交叉验证原则分别对脑认知子模型展开训练，并得到拟合准确度结果；

(1.3)若拟合准确度满足要求，则得到模型最优配置参数，获得训练好的脑认知子模型r1～rn；若拟合准确率不满足要求，则返回上述(1.2)继续训练。

优选的，通过下述步骤构建脑认知子模型：

(1.2.1)构建面向实验范式中相关刺激的vgg网络结构；

(1.2.2)构建基于vgg网络低层特征的边缘信息通道网络，利用该通道提取来自vgg网络中conv1-2和conv2-2的低层特征，获得相关刺激中的目标边界，进而得到边缘信息特征图；

(1.2.3)构建基于vgg网络高层特征的语义信息通道网络，利用该通道提取来自vgg网络中conv3-3，conv4-3和conv5-3的高层特征，获得相关刺激中的语义信息，进而得到语义信息特征图；

(1.2.4)将所述的边缘信息通道网络和语义信息通道网络进行拼接融合，得到双通道检测模型，同时，将对应的边缘信息特征图与语义信息特征图进行拼接得到融合特征图；

(1.2.5)构建区域推荐网络，以所述融合特征图作为输入，得到目标推荐区域；

(1.2.6)构建回归网络，以目标推荐区域连同所述的融合特征图以区域下采样的方式一起作为输入，获取脑电高效特征；

上述构建的双通道检测模型以及区域推荐网络与回归网络形成脑认知子模型。

优选的，通过下述步骤得到边缘信息特征图：

(1.2.2.1)提取来自vgg网络中conv1-2和conv2-2的低层特征，并将每部分低层特征上采样到conv1-2特征图大小；

(1.2.2.2)构建3×3×64的卷积层，将(1.2.2.1)中上采样得到低层特征输入到该卷积层，卷积层的输出记为低层局部特征a；

(1.2.2.3)构建空间注意力网络模块，利用该模块将(1.2.2.2)中得到的低层局部特征a进行处理，得到边缘信息特征图；

具体通过下述步骤(s1)-(s4)完成空间注意力网络模块的构建：

(s1)将低层局部特征a送入一层卷积层生成两个新的二维特征图b和c；将b进行转置，并与c进行矩阵相乘，并进一步经过softmax层计算得到空间注意力图s；

(s2)与步骤(s1)同时，将低层局部特征a送入一层卷积得到一个新的二维特征图d；

(s3)将s与d进行矩阵相乘，得到的结果转为三维特征图r；

(s4)将r与a进行逐元素相加得到最终边缘信息特征图e。

优选的，通过下述步骤得到语义信息特征图：

(1.2.3.1)提取来自vgg网络中conv3-3，conv4-3和conv5-3的高层特征，并将每部分高层特征上采样到conv1-2特征图大小；

(1.2.3.2)构建多尺度语义感知模块，该模块包含三个具有不同膨胀率的3×3卷积层和一个1×1的卷积层；将(1.2.3.1)中上采样得到高层特征输入到卷积层，获取多级感受野的高层局部特征；

(1.2.3.3)构建通道注意力机制网络模块，将(1.2.3.2)中得到的高层局部特征输入到该网络模块，输出语义信息特征图；

具体通过下述步骤(a1)-(a3)完成通道注意力机制网络模块的构建：

(a1)将高层局部特征进行转置，并与高层局部特征本身相乘，并进一步经过softmax层计算得到通道注意力图x；

(a2)与步骤(a1)同时，将高层局部特征与通道注意力图x进行矩阵相乘，得到的结果转为三维特征图；

(a3)将步骤(a2)中的三维特征图与高层局部特征进行逐元素相加得到最终语义信息特征图。

优选的，步骤(2)通过下述方式实现：

(2.1)分别以n个被试人员在预设实验范式下的脑电数据对应的脑电高效特征数据为输入数据，以实验范式中的相关刺激信号的真实标签为输出数据，形成数据集；

(2.2)对n个被试人员分别构建脑电信号分类子模型，利用上述(2.1)中的数据集按照交叉验证原则对模型展开训练，并得到分类准确率结果；

(2.3)若分类准确率满足要求，则得到模型最优配置参数，获得训练好的脑电信号分类子模型；若分类准确率不满足要求，则返回上述(2.2)继续训练。

优选的，所述的脑电信号分类子模型采用xgboost分类器模型构建。

优选的，使用基于加权投票的随机森林模型构建集成学习器，得到集成学习融合模型。

优选的，所述的基于加权投票的随机森林模型的集成学习器构建步骤如下：

(5.1)令n个训练好的脑认知分类器在相同刺激下的输出结果作为独立的输出o1～on，并组合成输出向量[o1，o2，…，on]，以相应刺激信号的真实标签为输出数据，形成数据集；

(5.2)设计随机森林模型，利用(5.1)中的数据集按照交叉验证原则划分训练集与测试集，并对随机森林模型进行训练，得到随机森林模型的分类准确度指标；

(5.3)计算单个脑认知分类器的加权权重，形成基于加权投票随机森林模型的集成学习器。

优选的，所述交叉验证原则中训练集与测试集划分比例为7:3；

优选的，所述单个脑认知分类器加权权重获取方法为：计算每一个脑认知分类器对当前训练样本的准确度，并把它除以随机森林模型的分类准确度作为当前脑认知分类器的权重。

优选的，所述的性能属性值包括相关刺激信息的分类识别准确率、相关刺激信息的分类识别召回率、单个刺激信号处理时间。

本发明与现有技术相比的有益效果是：

(1)本发明采用面向多被试的基于集成学习的脑认知模型融合方法与基于单个被试的个性化脑认知模型相比，具有较高的泛化性、鲁棒性与稳定性。

(2)本发明搭建基于集成学习的群体智能融合框架，实现对群体脑认知技能的充分融合，并应用于复杂场景下的智能信息处理背景，能够有效提升相关刺激分类识别的准确率。

(3)基于群脑决策的高泛化性脑认知融合模型的研制能够促进智能信息处理技术的创新研究，为智能自主集成系统处理能力的提升提供技术支撑。

附图说明

图1为本发明流程图；

图2为本发明实验范式示意图；

图3为本发明眼电干扰去除流程图；

图4为本发明构建脑认知网络整体结构图；

图5为本发明构建空间注意力模块流程图；

图6为本发明设计多尺度语义感知模块示意图；

图7为本发明构建通道注意力模块示意图。

具体实施方式

下面结合实施例及附图1-7对本发明作进一步阐述。

如图1所示，为本发明方法流程图，具体步骤如下：

(1)设计相关刺激条件下脑电信号采集的实验范式，然后令n个被试人员分别按照实验范式进行操作，同步采集记录n个被试人员在实验范式中相关刺激下的多通道脑电信号数据，并对采集后的原始脑电信号进行有效成分提取；

首先，本部分以视觉刺激为例，介绍相关刺激条件下的脑电信号采集实验范式设计及脑电信号采集情况：

一共设计2类刺激：

图片信息中包含所感兴趣的目标物，设为目标刺激；

图片信息中不含有目标物，设为干扰刺激。

具体实验流程为：被试人员坐在电脑屏幕前约0.6米处，允许被试根据自己的身高调试合适的座位高度，戴上脑电采集设备的电极帽，正视前方播放视觉刺激图片的电脑屏幕；实验开始前确保被试已经了解实验的详细流程；一共进行五轮实验，首先屏幕显示该次实验是倒数第几轮，能让被试清楚的知道实验的进度，持续0.5s，然后是0.5s的灰屏，每次视觉刺激图片呈现与灰屏组合称为一次trial，每一个trial中都包含了0.5s的图片显示时间和0.5s的灰屏时间。一轮实验中目标图片比例为8％-10％(例如每150张图片为一轮实验，其包含10-15张目标图片)，且每个目标图片的前后均无目标图片。每轮实验间间隔保证被试充足休息，直到被试休息好了才开始下次实验。实验范式示意图如图2所示，根据实验范式流程利用脑电采集设备开展脑电信号采集工作。本发明令n个被试人员按照相同的实验范式流程，同步记录采集的脑电信号g。所述被试人员i(1<＝i<＝n)的脑电信号为gi(1<＝i<＝n)。

其次，直接采集到的脑电(eeg)信号极其微弱，易受到各种干扰噪声的影响，且脑电信号具有较强的非平稳性和随机性，影响因素较多。因而，本发明对原始脑电信号进行了有效成分提取，具体包括以下两项：

1).滤波

由奈圭斯特定理可知，若采集的原始信号中包含频率高于两倍采样频率的信号，则会出现频率混叠现象，故需选择一个较低的频率作为截止频率，一般在实际应用中，采样频率至少为截止频率的3倍。eeg中包含噪声在频率上与有用信号的差异较大。在认知神经科学实验中，事件相关电位(event-relatedpotential，erp)波形中的大部分有用成分的频率范围在0.01hz到30hz之间。故可设置截止频率为30～35hz的低通滤波器，对噪声信息进行过滤，且对erp波形造成的影响较小。许多实验中还需用滤波器衰减极低频信号，从而去除记录过程中由于非神经活动而引起的缓慢电压变化。例如，出汗、电极电阻漂移等会使eeg基线电压产生缓慢且持续的变化，从而出现缓慢长时间的电压漂移，使波形产生较大失真，这时可利用0.1～0.3hz截止频率的高通滤波器，过滤掉那些极低的频率。

2).有效成分分析

与eeg信号相比，干扰电位通常较大，这就会降低叠加平均后erp波形的信噪比。某些类型的干扰并不是随机出现的，导致叠加平均并不能消除这些干扰，最终使得平均erp波形出现差异。眼电干扰幅值范围为50～200，频率为0.1～20hz，是脑电信号中最为常见的干扰成分。眼电干扰通过放置在眼睛附近的双极性电极记录得到，可分为水平眼电(heog)、垂直眼电(veog)和径向眼电(reog)，分别反映了眼球的水平运动、垂直眨眼运动和眼球的转动。眼电干扰持续时间较短，一般不超过300ms，其幅值和频率与脑电信号相近，给脑电信号的分析带来极大的干扰。此类成分的去除首先需要要求被试在实验过程中减少眼动，以此最大程度地去除水平眼点和径向眼电。而眨眼造成的垂直眼电无法通过对被试要求得到解决。本发明设计独立成分分析(ica)和主成分分析(pca)相结合的方法对实验记录多通道脑电信号中的垂直眼电干扰进行去除，具体流程如下：

①pca处理

pca的主要作用是将信号白化处理，信号的白化处理是指对任意的多维信号通过一个线性变换使其成为白色信号的过程，其变换矩阵称为白化矩阵。白色信号是指各个分量相互统计独立并且方差为1，即协方差矩阵是单一矩阵的信号。同时，pca还有降低维度，简化ica计算量的作用。设t为观测信号x(t)的白化矩阵，则：

其中，为白化处理后的信号，所以有：

②ica处理

ica的主要作用是分解pca处理后的信号获得独立分量，从而找到干扰成分并去除。ica是在假设源信号相互统计独立的基础上，在源信号和信号混合矩阵未知的情况下，试图将一组随机变量表示成统计独立变量的线性组合，是多维数据的线性组合分析方法。第一步的白化处理便是为了保证。用矩阵的形式定义ica的线性模型为：

即

x＝as(4)

式(2)中，xi为观测信号，si称为源信号，a为混合矩阵。

在ica算法处理中，因为源信号s与混合矩阵a均为未知，因此只能构建一个解混矩阵w，希望输出的信号y尽可能逼近s。即

y(t)＝wx(t)＝was(t)＝gs(t)(5)

其中，g称为系统矩阵，最理想的情况是g＝i，即y＝s。此时成功恢复了源信号。

上述步骤获得的各分量中与眼电导联veog、heog相似度高的分量我们便认为是眼电成分，并予以剔除，将剩余的成分进行逆ica运算重构脑电信号。眼电干扰的去除流程图3所示。

(2)对n个被试人员(简称被试)有效脑电信号进行关键特征提取以及特征选择，确定n组相关刺激下的脑电高效特征；

首先，特征提取是实现脑电信号分类的重要步骤，能否充分提取相关刺激下的脑电信号有效特征直接影响后续计算步骤的设计与性能。针对相关刺激下脑电特征提取问题，本发明提取以下三类特征：

时域特征。指在时域中直接提取特征，主要为方差、直方图、峰值检测、过零点分析。时域分析具备较强的直观性以及更明确的物理意义，可以体现大脑活动的重要信息。

频域特征。主要指eeg信号的幅度谱、相位谱、功率谱及能量谱等指标。具体提取方法包括傅里叶变换、经典谱估计和现代谱估计、相干分析。

熵值特征：主要包括多通道脑电信号的多尺度近似熵、样本熵、排列熵分析。

其次，特征选择是从特征提取后的原始特征集合中选择出一些最具有统计意义的特征以降低特征数据集维度的过程，其目的是使系统的特定指标最优化。包含以上全部三类特征的原始特征中存在大量与分类无关的信息，部分特征还存在相关性较大的冗余情况。这些无关和冗余信息将降低后续分类算法的性能。因此，设计特征选择原则，从原始特征集中选择能够实现有效脑电分类的高效特征子集，形成脑电高效特征向量。本发明设计采用定量评定各项单类特征下的分类准确率指标的方式获得脑电高效特征。

(3)按照预设对n个被试构建n个脑认知子模型，并完成模型训练；

现有的脑认知子模型可以采用现有的发育思路与内部动机思路进行构建，本发明给出一种独创的优选方法，利用基于卷积循环神经网络的脑认知子模型，其网络整体结构如图4所示，n个基于卷积循环神经网络的脑认知模型网络结构均按照如下构建。

首先，需要构建基于vgg网络高层和低层目标特征的双通道检测模型，利用该模型获取所述相关刺激中提取的融合特征图，网络结构设计情况介绍如下：

a.由于cnn低层的特征语义信息比较少，但是目标位置信息准确，高层的特征语义信息比较丰富，但是目标位置信息比较粗略。因此，提出一个分别利用vgg网络高层和低层目标特征的双通道检测模型；

b.对于低层目标特征，构建空间注意力模块(spatialattentionmodule,sam)(如图5所示)，关注有效的低层特征并获得比较清晰的目标边界。sam通过对所有位置的特征进行加权求和，有选择地在每个位置聚合特征，因此具有相似特征的任意两个位置，无论在空间上相距多远，都可以相互促进，从而提高了类内紧凑性和语义一致性。sam模块设计情况详细介绍如下：

例如，给定一个局部特征a∈r^c×h×w，首先将它送入卷积层生成两个新的特征图b和c。因此，b和c降为二维(r^c×n，n＝h×w)。然后，将b进行转置(b∈n×c)，并与c进行矩阵相乘，进一步经过softmax层计算得到空间注意力图s∈r^n×n。与此同时，将a送入卷积得到一个新的特征图d∈r^c×h×w，并将其转为二维，再将s与d进行矩阵相乘，得到的结果转为三维特征图r^c×h×w，最后与a进行逐元素相加得到最终结果e∈r^c×h×w。结果特征图e中每个位置的最终特征是所有位置的特征与原始特征的加权和，因此，它具有全局上下文视图，并根据空间主义图有选择地聚合上下文信息，相似的语义特征能够实现相互促进，从而提高了类内紧凑性和语义一致性。

c.对于高层目标特征，设计多尺度语义感知模块(multi-scalesemanticawarenessmodule,msa)(如图6所示)，利用不同尺度的卷积获取多级感受野的高层特征，各层网络设计参数可见图6；

d.进一步，构建通道注意力模块(channelattentionmodule,cam)(如图6所示)，加强全局语义信息的关联，选择恰当的区域和感受野。通道注意力模块通过整合各通道映射之间的相关特征，选择性地强调相互依赖的通道映射，提高特征对目标对象的语义信息表达能力。cam模块结构与sam模块类似，不同之处在于我们直接从原始特征a上计算通道注意力图x∈r^c×c，而不经过一层卷积操作；

e.设计空间注意力模块与通道注意力模块的拼接融合，分别经过两种注意力机制的高级特征和低级特征在信息表达上是互补的，我们将其融合起来得到对目标信息表达能力更丰富的融合特征图；

其次，基于双通道注意力机制下的融合特征图，构建区域推荐网络与回归网络，形成完整的卷积循环神经网络的脑认知模型，网络设计情况介绍如下：

a.将融合得到的特征图数据分别送入后续区域推荐网络(regionproposalnetwork,rpn)和回归网络，形成完整的crnn网络结构；

b.基于以上网络结构，利用脑电信号采集实验范式设计中的相关刺激数据集作为输入刺激数据，脑电高效特征数据集作为输出数据，开展模型训练与测试。

(4)对n个被试构建n个基于xgboost的脑电信号分类子模型，并完成模型训练；

基于被试实验范式中相关刺激下脑电信号的高效特征数据及相关刺激真实标签，设计面向相关刺激识别的脑电信号分类模型。xgboost(extremegradientboosting)是一种基于树的能够自动处理稀疏数据的提升学习算法，其模型结构中的优化目标函数中加入了正则化项的结构化损失函数，能够有效减小其生成模型过拟合的风险，是一种性能优良的分类器。本发明设计的基于xgboost的脑电信号分类模型构建步骤如下所示：

a.分别以n个被试在实验范式下的脑电数据对应的脑电高效特征数据为输入数据，以实验范式中的相关刺激信号的真实标签为输出数据，形成数据集；

b.对n个被试分别构建xgboost模型，利用上述步骤a中的数据集按照交叉验证原则对模型展开训练，并得到分类准确率结果；

c.若分类准确率满足要求，则得到模型最优配置参数，获得训练好的xgboost脑电信号分类子模型；若分类准确率不满足要求，则返回上述步骤b继续训练。

(5)组合脑认知子模型与脑电信号分类子模型，以脑认知子模型的输出作为脑电信号分类子模型的输入，从而获得n个脑认知分类器s1～sn；

脑认知分类器s1～sn的获取方法是组合训练好的脑认知子模型与脑电信号分类子模型，具体是以脑认知子模型的输出作为对应脑电信号分类子模型的输入，从而脑认知分类器实现对相关刺激的分类识别。基于多个被试独立脑电信号数据，应用提出的脑认知子模型，能够拟合相关刺激信号到脑电高效特征的转化，逐步逼近人脑对相关刺激信号的认知过程。进一步，利用具有高度灵活性的xgboost分类器给出实时分类结果，从而实现对个性化脑认知技能移植，具体训练实现步骤如下：

a.选定单个被试样本数据，将数据分成训练集和测试集两部分；

b.在训练集上应用脑认知模型对人脑认知能力的在线逼近拟合；同时，应用xgboost分类器对人体脑电高效特征数据进行分类训练；

c.在测试样本上测试训练好的脑认知模型，获取预测脑电高效特征数据，继而利用xgboost分类器对预测脑电特征数据进行分类，得到分类准确度，评估模型性能。

使用训练集对模型进行训练后，再使用该被试的原始测试集对模型评估，得到相应的预测识别结果。为了评估模型的性能，通常应用交叉验证方法对模型进行评估。对数据集多次划分为不同的训练集和测试集，对所有测试数据得到的分类结果进行检验，得到分类识别的准确率。当准确率达到要求指标后，表明模型对相关刺激下个体脑识别技能进行了充分学习拟合，即得到个性化脑认知分类器。

(6)基于集成学习策略对n个脑认知分类器进行融合，并进行测试，得到融合模型的性能属性值；

基于单个被试的个性化脑认知模型能够充分拟合单个被试的脑认知规律，有效迁移特定被试的脑认知技能。但鉴于不同被试对相关刺激存在认知差异，因此基于单个被试的个性化脑认知识别模型的表征能力泛化性较弱。本发明借鉴集成学习思想，通过学习若干有差异的个性化学习器，并利用集成学习策略对子模型分类结果进行融合集成，作为最终的输出。相对于单个学习器，集成学习算法能够有效的融合群体智慧，在大多数情况下可以显著提高学习系统的泛化能力。本发明设计基于加权投票随机森林模型的集成学习器，实现对n个脑认知分类器的融合集成，具体实施步骤如下所示：

a.令n个训练好的脑认知分类器s1～sn在相同刺激下的输出结果作为独立的输出o1～on，并组合成输出向量[o1，o2，…，on]；

b.以实验范式中的相同刺激下，n个脑认知分类器的输出向量为输入数据，以相应刺激信号的真实标签为输出数据，形成数据集；

c.设计随机森林模型，以上述n个脑认知分类器的输出向量作为输入，输出相应刺激分类识别结果，以步骤b中的数据集按照交叉验证原则对随机森林模型进行训练，并得到随机森林模型的分类精确度指标；

d.计算每一个脑认知分类器对当前训练样本的平均精确度，并把它除以随机森林模型的训练精度作为当前脑认知分类器的权重，形成基于加权投票随机森林模型的集成学习器，得到集成学习融合模型；

e.对集成学习融合模型进行预测分析，并给出模型预测结果的性能属性值a；

f.用判断准则评定性能属性值，若性能属性满足准则，则得到模型最优配置参数，实现脑认知模型的融合；若分类准确率不满足要求，则返回上述步骤c继续训练。

性能属性值包括相关刺激信息的分类识别准确率、相关刺激信息的分类识别召回率、单个刺激信号处理时间；

性能属性值判定准则例如：

①相关刺激信息的分类识别准确率>85％；

②相关刺激信息的分类识别召回率>85％；

③单个刺激信号处理时间<100ms。

本发明未详细说明部分属于本领域技术人员的公知常识。