一种基于脑电图数据的深度学习视觉分类方法与流程

本发明涉及计算机视觉、机器学习和认知神经科学领域，尤其是涉及了一种基于脑电图数据的深度学习视觉分类方法。

背景技术：

信息时代科技发展突飞猛进，对计算机的视觉处理能力要求越来越高，人类在解释视觉场景方面表现出优秀的性能，机器仍然无法达到。尽管最近重新发现的卷积神经网络已使自动视觉分类的性能得到显着改进，但是它们的泛化能力不在人的水平，因为它们学习一个有区别的特征空间，其严格依赖于所采用的训练数据集而不是更一般的数据集，这反映了基于认知的自动化方法执行视觉分类任务的困难。而如果采用基于脑电图数据的深度学习视觉分类方法，则可以解决解码视觉对象相关的脑电图数据的问题，而且让机器读懂人的想法，模仿人类视觉功能执行自动化视觉对象分类任务。

本发明提出了一种基于脑电图数据的深度学习视觉分类方法，它包括两个阶段：(1)基于递归神经网络的方法学习视觉刺激诱发的脑电图数据，并输入编码器得到该数据更紧凑的表示，即脑电图特征；(2)采用将图像回归到所学习的脑电图特征表示中的基于卷积神经网络的方法，从而使得能够在“基于大脑的视觉对象流形”中进行自动视觉分类。本发明在图像识别方面，比起基于卷积神经网络的方法，在分类能力和一般化能力更具竞争性；启用一种新形式的基于大脑的图像标记，它提供有关人类视觉感知系统的有意义的洞察；有效地将图像投射到新的基于生物的流形将根本改变对象分类器的开发方式。

技术实现要素：

针对基于认知的自动化方法执行视觉分类任务困难的问题，本发明的目的在于提供一种基于脑电图数据的深度学习视觉分类方法，首先它采用由视觉对象刺激因素诱发的脑电图数据联合递归神经网络来学习一个有识别能力的大脑活动视觉分类流形，然后训练一个基于卷积神经网络的回归元，它将图像映射到学习好的流形，最后计算机采用基于人类大脑的特征执行自动化视觉分类任务，得到图像分类结果。

为解决上述问题，本发明提供一种基于脑电图数据的深度学习视觉分类方法，其主要内容包括：

(一)脑电图数据采集；

(二)学习脑电图；

(三)脑电图特征提取；

(四)自动分类。

其中，一种基于脑电图数据的深度学习视觉分类方法，训练一个基于卷积神经网络的回归元，它将图像投射到脑电图流形，从而有效地允许机器采用基于人类大脑的特征来执行自动化视觉分类任务。

其中，所述的脑电图数据采集，让被试者观看ImageNet数据库里的40个对象类的图片时的大脑活动，这40个对象类包含狗、猫、猫头鹰、海豹等；使用32信道脑电图来记录被试者观看图片受视觉刺激时产生的大脑信号，去掉不传达任何有用信息的三个通道后，得到多通道(29个通道)时间脑电图序列；将一般的输入脑电图序列称为s(c，t)，其中c(从1到29)对应一个通道，t(从1到110)对应时间上的一个样本，使用符号(·)来表示“所有值”，s(·，t)表示时间t处所有通道的向量，s(c，·)表示通道的整个时间样本集C。

进一步地，所述的图片，2000张图片(每个对象类别50张)显示0.5秒，每个类别的图片持续显示25秒，随后是只显示黑色图像的10秒暂停时间。

其中，所述的学习脑电图，预处理后的脑电图多通道时间信号，作为输入提供给编码器模块，编码器模块处理整个时间序列并输出脑电图特征向量作为输入的紧凑表示。

进一步地，所述的编码器，包括基于长短期记忆(LSTM)递归神经网络来分析序列数据，它能跟踪输入数据中的长期依赖关系；本专利采用以下三种编码器架构：

(1)公共LSTM：编码器网络由LSTM层的堆栈组成；在每个时间步骤t，第一层取输入s(·，t)(在这个意义上，“公共”意味着所有脑电图通道最初被馈送到同一LSTM层)；如果存在其他LSTM层，则第一层的输出(其可以具有与原始输入大小不同)被提供作为第二层的输入，等等；最后一个时间步长处的最深LSTM层的输出被用作整个输入序列的脑电图特征表示；

(2)通道LSTM+公共LSTM：第一编码层由几个LSTM组成，每个LSTM仅连接到一个输入通道：例如，第一LSTM处理输入数据s(1，·)，第二LSTM处理s(2，·)，等等；以这种方式，每个“通道LSTM”的输出是单个通道的数据的总结；然后，第二编码层通过接收所有信道LSTM的级联输出向量作为输入来执行通道间分析；如上所述，在最后时间步长的最深LSTM的输出被用作编码器的输出向量；

(3)公共LSTM+输出层：类似于公共LSTM架构，但是在LSTM之后添加附加的输出层(输入的线性组合，之后是ReLU非线性)，以便在少量计算时增加模型容量费用(如果与两层共同的LSTM架构相比)；在这种情况下，编码特征向量是最后一层的输出。

进一步地，所述的编码器，提供每个脑电图序列被记录时所表现的与图像相关的类标签并利用梯度下降法来训练编码器和分类器；在训练之后，编码器可以用于从输入脑电图序列生成脑电图特征，而分类网络将用于预测输入脑电图特征表示的图像类别，其可以从脑电图信号或图像计算。

其中，所述的脑电波特征提取，包括微调和深度特征提取；为了对于一般图像使用递归神经网络学习的特征表示，有必要绕过脑电图记录阶段并且直接从图像提取脑电图特征；学习的脑电图特征反映图像内容，该图像内容诱发脑电图信号。

进一步地，所述的微调和深度特征提取，微调，该方法是训练卷积神经网络以将图像映射到相应的脑电图特征向量；通常，卷积神经网络的第一层尝试学习图像的一般(全局)特征，这在许多任务之间是共同的，因此使用预训练的模型来初始化这些层的权重，然后从头开始学习最后一层的权重；特别是，使用预训练的AlexNet卷积神经网络，并通过用回归层(包含与脑电图特征向量的维数一样多的神经元)替换softmax分类层来修改它，使用欧几里得损失作为目标函数；

深度特征提取，该方法包括使用预先训练的卷积神经网络模型提取图像特征，然后采用回归方法将图像特征映射到脑电图特征向量；通过读取最后一个全连接层的输出，使用微调AlexNet作为特征提取器，然后应用几个回归方法(即K近邻回归，岭回归，随机森林回归)以获得预测的特征向量。

其中，所述的自动分类，其特征在于，将提取的脑电图特征反馈给在脑电图特征学习期间训练的分类器，让机器执行自动视觉分类任务，得出图像对应的类别结果。

附图说明

图1是本发明一种基于脑电图数据的深度学习视觉分类方法的系统流程图。

图2是本发明一种基于脑电图数据的深度学习视觉分类方法的用于视觉刺激的动物数据集。

图3是本发明一种基于脑电图数据的深度学习视觉分类方法的编码器架构图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于脑电图数据的深度学习视觉分类方法的系统流程图。主要包括脑电图数据采集；学习脑电图；脑电图特征提取；自动分类。

其中，所述的脑电图数据采集，让被试者观看ImageNet数据库里的40个对象类的图片时的大脑活动，这40个对象类包含狗、猫、猫头鹰、海豹等；使用32信道脑电图来记录被试者观看图片受视觉刺激时产生的大脑信号，去掉不传达任何有用信息的三个通道后，得到多通道(29个通道)时间脑电图序列。

其中，所述的学习脑电图，预处理后的脑电图多通道时间信号，作为输入提供给编码器模块，编码器模块处理整个时间序列并输出脑电图特征向量作为输入的紧凑表示。

其中，所述的脑电波特征提取，包括微调和深度特征提取；为了对于一般图像使用递归神经网络学习的特征表示，有必要绕过脑电图记录阶段并且直接从图像提取脑电图特征；学习的脑电图特征反映图像内容，该图像内容诱发脑电图信号。

其中，所述的自动分类，其特征在于，将提取的脑电图特征反馈给在脑电图特征学习期间训练的分类器，让机器执行自动视觉分类任务，得出图像对应的类别结果。

图2是本发明一种基于脑电图数据的深度学习视觉分类方法的用于视觉刺激的动物数据集。由40个易于识别的动物对象类的图片组成，这40个对象类包含狗、猫、猫头鹰、海豹等；在实验期间，2000张图片(每个对象类别50张)显示0.5秒，每个类别的图片持续显示25秒，随后只显示黑色图像，持续10秒。

图3是本发明一种基于脑电图数据的深度学习视觉分类方法的编码器架构图。包括基于长短期记忆(LSTM)递归神经网络来分析序列数据，它能跟踪输入数据中的长期依赖关系；本专利采用以下三种编码器架构：

(1)公共LSTM：编码器网络由LSTM层的堆栈组成；在每个时间步骤t，第一层取输入s(·，t)(在这个意义上，“公共”意味着所有脑电图通道最初被馈送到同一LSTM层)；如果存在其他LSTM层，则第一层的输出(其可以具有与原始输入大小不同)被提供作为第二层的输入，等等；最后一个时间步长处的最深LSTM层的输出被用作整个输入序列的脑电图特征表示；

(2)通道LSTM+公共LSTM：第一编码层由几个LSTM组成，每个LSTM仅连接到一个输入通道：例如，第一LSTM处理输入数据s(1，·)，第二LSTM处理s(2，·)，等等；以这种方式，每个“通道LSTM”的输出是单个通道的数据的总结；然后，第二编码层通过接收所有信道LSTM的级联输出向量作为输入来执行通道间分析；如上所述，在最后时间步长的最深LSTM的输出被用作编码器的输出向量；

(3)公共LSTM+输出层：类似于公共LSTM架构，但是在LSTM之后添加附加的输出层(输入的线性组合，之后是ReLU非线性)，以便在少量计算时增加模型容量费用(如果与两层共同的LSTM架构相比)；在这种情况下，编码特征向量是最后一层的输出。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。