基于组合目标函数的深度神经网络系统的制作方法

本发明涉及神经网络技术领域，具体是一种用于原始脑电信号去噪的基于组合目标函数的深度神经网络系统。

背景技术：

脑电图是由脑和周围组织的中枢神经系统中的神经元和突触的活动产生的电活动。人类大脑的神经元通过改变穿过其膜的电流来处理信息。这些变化的电流产生电场和磁场，可以通过将电极放置在头皮表面上来记录。eeg信号主要包括四种频率成分，分别称为α(8-13hz)，β(14-30hz)，θ(4-7hz)，δ(0.5-3hz)。eeg信号易受噪声影响，主要包含技术伪像(来自电源的噪声，振幅伪像等)和生物伪影(眼部伪影，心电ecg和肌电emg伪影)。

近年来，研究者们已经提出了各种去噪技术从eeg信号中去除伪像。针对脑电信号的传统去噪技术依赖于独立成分分析方法(independentcomponentanalysis，ica)，小波变换(wavelettransforms，wt)等。关于脑电信号的研究大致分为两类，即诱发电位(evokedpotentials，ep)和自发电位(spontaneouspotential，sp)。眨眼信号属于诱发电位ep，主要由α波组成。α波是节律性脑电波中最明显的波，当大脑清醒，眼睛闭合时出现，眼睛睁开时消失。α波在安静闭目的时候出现，波幅表现为由小变大，然后又由大到小作规律性变化。α波波形通常是正弦波样，有时呈弧形或锯齿状。因此，利用α波的特征来设计控制系统是可行的。早在1967年，dewan就使用自动控制α波振幅的方法来发送莫尔斯电码。1997年，kirkup设计了一种基于脑电图的系统，通过检测人们闭眼时α波幅度的增加来控制电子开关。目前，独立成分分析方法存在一个估算过程，小波变换需要进行频域特征提取。因而，现有技术需要进一步提高。

技术实现要素：

本发明的目的是提供一种用于原始脑电信号去噪的基于组合目标函数的深度神经网络系统，以解决现有技术对脑电信号去噪时存在的问题。

为了达到上述目的，本发明所采用的技术方案为：

基于组合目标函数的深度神经网络系统，其特征在于：包括多个节点层组成的深度神经网络，深度神经网络中每个节点层中所有神经元全部连接至下一层节点层，即每个节点层均为全连接层，每一层全连接层后均连接激活层，激活层采用prelu激活函数，脑电设备采集到的原始数据首先经过标准化预处理后加入噪声，再将加入噪声后的数据输入至深度神经网络进行去噪处理，由深度神经网络输出去噪处理后的数据，深度神经网络基于监督学习原理学习加噪的输入数据和去噪处理后的输出数据之间的非线性映射关系，学习非线性映射时的标签数据即为经标准化预处理后的未加噪的数据，利用经深度神经网络处理后的输出数据与标签数据之间的均方误差构建组合目标函数，利用组合目标函数训练优化深度神经网络，使深度神经网络学习到加噪数据和输出数据之间的非线性映射关系，达到去除人为加入到数据中的噪声的目的，其中所述组合优化函数的表达式为：

上式中，由脑电设备采集到的原始数据经预处理后为x；加噪后输入深度神经网络并经深度神经网络处理后输出的去噪数据为y，即输出数据为y；n为数据集样本数量；λ为神经网络超参数，用来平衡时域特征和csp特征对优化目标函数的贡献；filter为通过共空间模式csp算法得到的空间滤波器，该滤波器可以有效区分两类脑电信号，在此指加噪的输入信号数据和神经网络输出的去噪后的信号数据；xi为第i个未加噪预处理样本数据；yi为与xi对应的第i个输出数据；是x，y的时域均方误差；是数据x，y经共空间模式算法滤波后的均方误差。

所述的基于组合目标函数的深度神经网络系统，其特征在于：采用基于原始数据的均值和标准差的z-score标准化方法，对脑电设备采集到的原始数据进行预处理，预处理公式如下：

上式中，z'标准化数据，z是原始数据，μ和σ分别是所有原始数据的均值和标准差。

所述的基于组合目标函数的深度神经网络系统，其特征在于：所述组合目标函数由两部分构成，其中为基于未加噪的预处理数据x和网络输出y的时域信号的均方误差，是经过共空间模式算法csp滤波后的未加噪的预处理数据x和网络输出y的均方误差，并利用超参数λ平衡时域特征和csp特征对优化目标函数的贡献。

所述的基于组合目标函数的深度神经网络系统，其特征在于：深度神经网络中，激活层采用激活函数prelu对数据激活后输出。

本发明针对脑电信号，基于人工智能领域的神经网络技术，提出了一种适应于微弱脑电信号去噪的组合目标函数深度神经网络算法架构。神经网络(neuralnetwork)是一种模拟人脑的机器学习技术，通过适当的训练学习到相应的知识。它具有很强的学习输入和输出之间非线性映射关系的能力。

本发明基于两种深度神经网络的结构：multi-layerperceptron和highwaynetwork，并进行了评价。两种网络的各个节点层都采用全连接层，经过实验可知两种网络结构各有优缺点，highwaynetwork的整体评价结果稍微优于multi-layerperceptron，但是其需要更多的网络参数，所需计算量更大。所以本发明的深度神经网络可根据需求选择multi-layerperceptron或highwaynetwork中任意一种架构。multi-layerperceptron在较少网络参数时便可达到不错的去噪效果，所需运算量较小，节省时间和资源。多参数的highwaynetwork则具有比multi-layerperceptron较好的去噪能力。用于训练的优化目标函数采用均方误差(meansquareerror)，是一个结合了时域特征和csp特征的组合目标函数。

本发明的组合目标函数由时域特征和共空间模式算法csp特征的均方误差共同组成。本发明深度神经网络由多个节点层组成，每一层全连接到下一层，具有很强的学习非线性映射的能力。用于深度神经网络训练优化的组合目标函数由两部分组成，一部分是基于标签数据，即预处理后的未加噪数据和输出的时域信号的均方差，另一部分是基于经过共空间模式算法csp滤波后的标签和输出的均方误差。

本发明深度神经网络可以处理时域信号，不需要进行其他的特征提取(例如，频谱、功率谱等)。在接受加噪声的时域脑电信号通过网络后，会在输出端输出去噪后的时域脑电信号。针对脑电信号的去噪模块由基于深度神经网络的multi-layerperceptron或highwaynetwork构成，每一层都是全连接，每层全连接层后均连接激活层。对于multi-layerperceptron每一层都是全连接层，每层全连接层后均连接激活层，隐藏层数目及每一隐藏层节点个数可调整。对于highwaynetwork共有3个网络组成，非线性映射h、转换门t、携带门c，每一个网络均可视为一个multi-layerperceptron(每一层都是全连接层，每层全连接层后均连接激活层，隐藏层数目及每一隐藏层节点个数可调整)。其中非线性映射h是隐藏层数可变的非线性变换网络，转换门t决定需要非线性变换数据的多少，携带门c决定需要从输入数据中继承的数据的多少。本发明的深度神经网络比卷积网络、全卷积网络、带有skip的深度神经网络去噪性能更好。

附图说明

图1基于组合目标函数和深度神经网络的方法架构图。

图2mlp网络结构图。

图3highway网络结构图。

图4时域特征和组合特征目标函数训练loss曲线图。

具体实施方式

本发明提出了一种适应于微弱脑电信号去噪的基于组合目标函数的深度神经网络算法架构，下面参照附图对本发明做具体的介绍。

本发明基于组合目标函数的深度神经网络系统，包括多个节点层组成的深度神经网络，深度神经网络中每个节点层中所有神经元全部连接至下一层节点层，即每个节点层均为全连接层，每一层全连接层后均连接激活层，激活层采用prelu激活函数，脑电设备采集到的原始数据首先经过标准化预处理后加入噪声，再将加入噪声后的数据输入至深度神经网络进行去噪处理，由深度神经网络输出去噪处理后的数据，深度神经网络基于监督学习原理学习加噪的输入数据和去噪处理后的输出数据之间的非线性映射关系，学习非线性映射时的标签数据即为经标准化预处理后的未加噪的数据，利用经深度神经网络处理后的输出数据与标签数据之间的均方误差构建组合目标函数，利用组合目标函数训练优化深度神经网络，使深度神经网络学习到加噪数据和输出数据之间的非线性映射关系，达到去除人为加入到数据中的噪声的目的。

脑电图记录大脑的自发电活动。eeg信号十分微弱，电压通常在μv级，易受噪声污染，例如50hz工频，电极和皮肤之间的噪声等。脑电信号是非线性信号，神经网络要实现端到端的去噪(即输入信号是带噪信号，输出是去噪后信号)，就是实现端到端的非线性映射，即是一个非线性回归问题。全连接网络理论上可以近似任何非线性输入分布，因此脑电去噪网络均采用全连接层。神经网络的层数越多，其表达能力就越强。全连接层的每一个神经元都和前一层连接，要达到较好的表达能力，需要庞大的参数支持。本发明以组合目标函数优化网络，缓解上述问题。该组合目标函数结合了未加噪预处理数据与网络输出数据之间的时域特征和csp特征的均方误差作为最终优化目标。图1为本发明提出的针对脑电信号去噪的基本结构图。由脑电设备采集到的原始数据经预处理后为x，加噪后输入深度神经网络经神经网络处理后输出为y。神经网络的优化目标函数图1中是x和y的时域特征均方误差，是经csp算法得到的空间滤波器滤波后的x和y的均方误差。具体方法实施如下：

使用openbci(开源脑-计算机接口)采集脑电信号，这是一种开源的可编程脑电数据采集方案。在实际操作中，使用16个电极以125hz采样率采集到16个通道的脑电数据。获得了眨左眼，眨右眼，不眨眼三组数据。将数据截断，每个包含500个采样点。总数据分为训练和测试集，比例为9比1。通常，原始eeg数据包含直流分量，并且由于单位的选择可能具有高振幅。因此，本发明将分割的实验数据标准化，然后将它们放入去噪模型中。采用基于原始数据的均值和标准差的z-score标准化方法对数据进行预处理：

其中z′标准化数据，z是原始数据，μ和σ分别是所有原始数据的均值和标准差。标准化后，eeg数据的幅度按比例向0缩进，同时波形的趋势与标准化前的趋势相似。

在本发明中，通过共空间模式算法csp获得加噪信号和原始信号这两类信号的空间滤波器。网络训练优化时，不仅在时域上使输出逼近输入，而且要使输入输出经过csp空间滤波器滤波后的csp特征接近。这使得网络更好更快的学习到非线性映射。该网络训练过程中的目标函数由两部分组成。其中是x，y的时域均方误差，是数据x，y经共空间模式算法滤波后的均方误差。所以最终的优化目标函数：

其中由脑电设备采集到的原始数据经预处理后为x；加噪后输入深度神经网络并经深度神经网络处理后输出的去噪数据为y，即输出数据为y；n为数据集样本数量；λ为神经网络超参数，用来平衡时域特征和csp特征对优化目标函数的贡献；filter为通过共空间模式csp算法得到的空间滤波器，该滤波器可以有效区分两类脑电信号，在此指加噪的输入信号数据和神经网络输出的去噪后的信号数据；xi为第i个未加噪预处理样本数据；yi为与xi对应的第i个输出数据；是x，y的时域均方误差；是数据x，y经共空间模式算法滤波后的均方误差。

具体地，共空间模式算法csp是一种对两分类任务下的空域滤波特征提取算法，能够从多通道的脑机接口数据里面提取出每一类的空间分布成分。公共空间模式算法的基本原理是利用矩阵的对角化，找到一组最优空间滤波器进行投影，使得两类信号的方差值差异最大化，从而得到具有较高区分度的特征向量。令为预处理后eeg数据，其中c表示信道数，t表示采样点数。csp算法可表述为：

其中w0∈r^c×f表示滤波器矩阵，tr(·)是矩阵的轨迹，t表示矩阵的转置。w0是矩阵的f个最大特征值对应的特征向量矩阵。和分别表示类0和类1的平均协方差矩阵。

本发明针对多层感知机mlp网络和highway网络进行了实例验证。具体地，图2所示为mlp网络，每一层全连接层的节点都是1024，处理的数据序列是500个采样点，网络每次将16列数据序列作为一个batchsize输入网络。全连接层的层数可调整。每一层后面连接激活层，因为采集到的数据有正有负在0两端分布，激活函数采用prelu。

图3是highway网络，在实验中发现全连接层节点高于512时并不能提升网络性能，所以全连接层节点均为512。其中非线性网络h的全连接层数目是可变的。与mlp相同，全连接层后连接激活函数prelu。16个加噪后的脑电信号序列输入到深度神经网络中，经全连接层乘加操作后，经激活函数激活后输出。网络采用adam优化器优化目标函数。调整全连接层的层数，可找到最佳匹配的层数。

图4是时域特征和组合特征目标函数训练loss曲线对比。图中展示了在一定训练次数之后组合特征函数的损失小于时域特征目标函数。此外由于组合特征目标函数另外加了一个正值分量，即csp特征的均方误差，在这种情况下仍然小于时域特征。这表明了时域和csp特征结合后的目标函数的优越性能。

由于共空间模式算法csp是用来解决脑电信号的分类问题的，它可以较好的区别两类脑电信号。因此结合了时域特征和csp特征的优化目标函数性能更好。网络训练好后，使用测试集数据进行验证，运用的评价指标是网络输出数据和未加噪的预处理数据之间的均方误差。表1、表2分别表示了mlp和highway网络的mse结果。

表1不同目标函数的mlp网络评价结果

从表1中对训练采用不同的目标函数进行了对比，其中只有csp特征的目标函数表现最差，其次是时域特征目标函数，组合特征目标函数表现最优。此外，对于时域特征目标函数，当网络为3层时表现最优，而组合目标函数则在1层时就达到最优。这表明了本发明的组合特征目标函数可以在获得较优结果的同时简化网络结构，减少网络参数，减轻运算负担。表2中展示了highway网络的均方误差评价结果，其整体指标低于mlp网络。但是值得注意的是，随着网络的加深结果变好，之后又变差，最优网络层数为5层。对于浅层网络组合目标函数并没有表现出其优势，网络加深时，组合目标函数的结果差于单个时域特征目标函数。

表2不同目标函数的highwaynetwork评价结果

此外，在语音增强领域已经提出了一些技术，例如全卷积网络(fcn)和带有skip的深度神经网络。由于它们都是序列信号，类似于本发明的eeg去噪工作，在本发明的实验中，本发明验证了卷积网络cnn，全卷积网络fcn和带有skip的深度神经网络sdnn1，sdnn2的去噪效果。评价指标仍然使用均方误差mse。除了验证基于未加噪预处理数据和网络输出数据之间的均方误差的原始损失函数之外，本发明也使用了组合损失函数计算结果。表3表示那些方法的结果。与表1和表2中的方法结果相比，cnn，fcn和sdnn1，sdnn2获得了较差的mse结果。表3还表明了组合目标函数对于cnn和sdnn1网络有助于提高性能，对fcn和sdnn2的影响是负面的。这表明本发明的组合目标函数也有一定的局限性，它并不总是适用于所有类型的网络。

表3已经提出的语音增强网络结果