基于加权水平可视图多重分形的情绪识别方法及系统

1.本发明涉及一种基于加权水平可视图多重分形的情绪识别方法及系统，尤其适用于情绪特征识别领域。


背景技术：

2.随着对大脑科学的进一步研究，越来越多的证据表明，人类的大脑是一个复杂的非线性动力系统，它表现出对初始条件敏感的非周期性行为，代表着不规则的运动和突变，采用线性模型无法准确描述。脑电图是客观反映大脑动能状态的一个重要信号，蕴涵着丰富的生理、心理信息，通过对脑电信号的分析和处理，可以在人机交互领域的情绪识别方面起到辅助作用，应用非线性动力学特征分析脑电信号成为新的研究方向。
3.传统的由时间序列恢复原动力系统最常用的方法就是利用takens的相空间重构算法，它建立了时间序列波动和动力系统空间特征之间的桥梁，在实际的相空间重构中，有两个参数是至关重要的，一个是延迟时间τ，还有一个是嵌入维m，延迟时间τ和嵌入维m不能取任意值，需要通过一定的方法来确定，否则，会对重构后的特征矩阵产生严重的影响，但是当每条信号采用的延迟时间τ和嵌入维m不相同时，对于后续实验就没有很好的对比性。
4.近年来，运用复杂网络的方法进行时间序列分析，是非线性动力学发展的最新方向，为传统的以混沌理论为基础的非线性时间序列分析注入了新生力量，在刻画动力系统非线性特征方面，提供了很多崭新的见解，在很多不同领域内都取得了广泛应用。在脑电信号方面，可视图、转移网络等时间序列映射网络的算法被提出，已有很多研究人员通过对脑电信号进行复杂网络建模，把采样得到的脑电时间序列转换到对应的复杂网络，然后提取其复杂网络特征，实现了对不同状态脑电信号的分类。但以往脑电信号映射网络相关分析中，有关情绪识别的研究较少。


技术实现要素：

5.针对现有技术的不足之处，提供一种步骤简单，准确率高的基于加权水平可视图多重分形的情绪识别方法及系统
6.为实现上述技术目的，本发明的一种基于加权水平可视图多重分形的情绪识别方法：获取一条包含人类情绪的脑电信号，首先采用加权水平可视图算法对x进行从信号到加权水平可视图的映射，记加权水平可视图的映射为加权网络g，然后对加权网络g进行网络的结构分析，关注加权网络g的网络无标度特性即网络的分形与多重分形，其中网络的分形与多重分形反映了网络的自相似性和复杂性，以网络的分形和多重分形表征其蕴含的脑电信号的非线性特性，完成网络的分形和多重分形参数训练获得对应情绪脑电信号的加权网络g；更换另一条包含人类情绪的脑电信号重复进行上述工作，直至生成所有已知常规人类情绪脑电信号的加权网络。
7.具体步骤如下：
8.a、收集一条一维的包含人类情绪的脑电信号其中x
t
为脑电信号的第
t个采样值，n为脑电信号的采样长度；
9.b、将脑电信号x映射为加权水平可视图，加权水平可视图是一种由节点和连接这些节点的带有权值的链路构成的网络，记加权水平可视图为加权网络g；
10.c、对加权网络g通过计算网络的分形与多重分形性质进行网络的无标度分析；首先设置尺度因子的序列qs，取尺度因子序列qs包含尺度因子q为元素，q可以取除q＝0以外的任何实数，取值范围在-20至20之间；设置覆盖加权网络g中节点的沙盒半径的序列rs，令rs＝1∶a∶diam，即rs是最小值为1最大值为diam公差为a的等差序列，其中diam为网络的直径，即网络中任意两节点间距离的最大值，a为取值的间隔，设为网络带有权值的链路的平均值；
11.d、取尺度因子序列qs中的尺度因子q；
12.e、选择沙盒半径序列rs中的一个半径值r以及加权网络g的一个节点i作为沙盒的中心，以沙盒的中心开始，搜索所有小于等于r的节点并覆盖，并计算半径为r的沙盒中的节点数，记为其中n是加权网络g中的节点数，d
ij
表示节点i与j在加权网络g中的最短距离，为阶跃函数；
13.f、在选择沙盒半径值为r的情况下，遍历加权网络g中的所有节点，计算半径为r的沙盒中的节点数
14.g、遍历沙盒半径的序列rs不同的沙盒半径r，重复步骤e，f，g计算沙盒半径的序列rs中所有半径r的统计平均值《[m(r)]
q-1
/n》，并利用公式：/n》，并利用公式：计算多重分形标度因子τ(q)；
[0015]
h、遍历尺度因子的序列qs不同的尺度因子q，重复步骤d，e，f，g，h计算尺度因子的序列qs不同的尺度因子q对应的多重分形标度因子τ(q)；
[0016]
i、计算广义维数d(q)＝τ(q)/(q-1)，根据关联维数的定义可知，当q＝2时dc＝d(2)以衡量加权网络g的分形特性，通过勒让德变换得多重分形奇异谱f(α)～α，奇异谱通过δα来衡量加权网络g多重分形性的强弱；
[0017]
j、将广义维数d(q)和多重分形奇异谱f(α)代入深度神经网络分类器进行训练，即可实现通过脑电信号判断出对应的人类情绪；通过将不同人类情绪的脑电信号映射的加权网络g的多重分形奇异谱及广义维数，即可实现对任意输入的脑电信号所代表的情绪的分类与识别。
[0018]
进一步，将一维脑电信号映射为加权水平可视图的具体算法为：
[0019]
将长度为n的一维脑电信号x的每一个采样点映射为加权水平可视图中的一个节点，水平可视图是一种由节点和连接这些节点的带有权值的链路构成的网络，共有n个节点，而两个节点之间是否能够连接成边取决于两节点是否满足水平可视性，水平可视性定义为序列中的每个样本值对应于图中的一个节点，如果两个节点对应的数据高度大于它们之间的所有数据高度，那么这两个节点就是水平可视的，即两个节点相连接；记g＝(v，e，w)为加权水平可视图的网络结构，其中是加权网络中节点集合，vi是网络的节点，i
的取值范围为1到n；是加权网络中边集合，其中e
ij
是网络的边，表示连接vi和vj两个节点的连接关系，i和j取值范围均为1到n；w是加权网络中边e的权重值集合，w
ij
是w的元素，为e
ij
的值，w
ij
与网络中与边的两侧节点vi和vj所对应的脑电信号x的采样点xi和xj相关，若vi和vj通过边相连接，则w
ij
＝|arctan((x
j-xi)/(j-i))|，若vi和vj不通过边相连接，则w
ij
＝0；将该加权网络使用代数形式进行描述，记a为水平可视图的邻接矩阵，大小为n
×
n，邻接矩阵是一种采用矩阵记录网络的方式，水平可见性由一维脑电信号转换为水平可视图的邻接矩阵的表达式定义：
[0020][0021]
为阶跃函数，矩阵的每一行和每一列列代表着网络的每一个节点，存储在第i行和第j列的交叉点处中的值为a
ij
表示是否存在节点vi到节点vj的边，当两个节点的通过边相连接时，则它们是相邻的，且a
ij
的值大于0，a
ij
值表示节点vi到节点vj的边的权重。
[0022]
进一步，计算加权网络分形与多重分形具体方法为：
[0023]
将一维脑电信号采用加权水平可视图算法所映射的加权网络g的广义维数为d(q)，广义维数d(q)以可能出现的不同特征作为不同微观状态，根据关联维数的定义可知，当q＝2时可求得关联维数dc＝d(2)，使用关联维数来衡量加权网络g的分形特性。一维脑电信号采用加权水平可视图算法所映射的加权网络g的多重分形奇异谱为f(α)～α，当q取到足够大时，多重分形谱的变化极小，此时可以将f(α)变化极小的值所对应的α定义max(α)，同理为当q取到足够小时，多重分形谱的变化极小，此时可以将f(α)变化极小的值所对应的α定义min(α)；多重分形谱的f(α)的宽度提供了有关网络分布特征的重要信息，确定奇异谱的宽度δα＝max(α)-min(α)，δα描述了由总体分形结构测量概率分布的不均匀性，并决定了多重分形的程度，较大的δα值对应于更强的多重分形特性，较小的δα值对应于更弱的多重分形特性；
[0024]
该方法对于负面情绪的识别较为敏感，一般来说，较为兴奋的情绪如愤怒、恐惧、憎恶等脑电信号所映射的加权网络表现出较高的分形性，但同时表现出较低的多重分形性，尤其当大脑活动紊乱，产生异常电活动时，脑电信号所映射的加权网络的分形性更高，多重分形性更低；相反，低兴奋的情绪如沮丧、悲伤等的脑电信号所映射的加权网络表现出较低的分形性与较高多重分形性。
[0025]
进一步，使用神经网络分类器进行加权网络分形与多重分形参数训练与识别具体方法为：
[0026]
建立神经网络分类器的输入参数为d(q)与f(α)，其中d(q)为一维脑电信号采用加权水平可视图算法所映射的加权网络g的广义维数，f(α)为一维脑电信号采用加权水平可视图算法所映射的加权网络g的多重分形奇异谱；神经网络分类器采用多模态融合策略，对于输入参数为d(q)与f(α)分别采用长短期记忆网络，该网络输入层、隐含层和输出层共6层，其中隐含层包含3层，各输出为长度32的向量；将两个长短期记忆网络的输出融合成一个单一的特征向量作为人工神经网络的输入，该向量长度为64，人工神经网络输入层、隐含
层和输出层共5层，其中隐含层包含2层，输出为情绪识别的结果。
[0027]
一种基于脑电信号加权水平可视图分形与多重分形的情绪识别系统，其包括脑电信号采集模块，加权水平可视图分析模块，智能分析模块；
[0028]
脑电信号采集模块，用以采集脑电信号并组成时间序列x；
[0029]
加权水平可视图分析模块，用以将时间序列x映射为加权水平可视图，对加权水平可视图进行分析，提取加权水平可视图的分形与多重分形特征d(q)与f(α)；
[0030]
智能分析模块，使用神经网络对加权水平可视图的分形与多重分形特征d(q)与f(α)分类，以识别不同情绪的脑电信号。
[0031]
有益效果
[0032]
(1)通过将脑电信号时间序列构造成网络，分析网络无标度的参数，挖掘出脑电信号中之前研究未曾发现且效果良好的潜在动力学特征；(2)由于情绪产生的不确定性，本方法适用于动态的网络分析，将输出的网络的分形与多重分形无标度特征，做到神经网络分类器的综合判断，提高辅助识别的准确性；(3)利用计算机对脑电信号进行情绪自动识别，可以在人机交互领域有关情绪判断方面起到辅助作用，作为判断情绪的一种重要指标。
附图说明
[0033]
图1是本发明实施例的基于加权水平可视图多重分形的情绪识别方法流程示意图；
[0034]
图2是本发明实施例中将序列映射为水平可视图的算法示意图；
[0035]
图3是本发明实施例中将序列映射为加权水平可视图的权重值示意图；
[0036]
图4是本发明实施例中脑电信号映射为加权水平可视图的关联维数拟合示意图；
[0037]
图5是本发明实施例中脑电信号映射为加权水平可视图的多重分形奇异谱及其δα示意图；
具体实施方式
[0038]
下面结合附图对本发明的实施例做进一步说明。
[0039]
如图1所示，本发明的一种基于加权水平可视图多重分形的情绪识别方法，：
[0040]
获取一条包含人类情绪的脑电信号，首先采用加权水平可视图算法对x进行从信号到加权水平可视图的映射，记加权水平可视图的映射为加权网络g，然后对加权网络g进行网络的结构分析，关注加权网络g的网络无标度特性即网络的分形与多重分形，其中网络的分形与多重分形反映了网络的自相似性和复杂性，以网络的分形和多重分形表征其蕴含的脑电信号的非线性特性，完成网络的分形和多重分形参数训练获得对应情绪脑电信号的加权网络g；更换另一条包含人类情绪的脑电信号重复进行上述工作，直至生成所有已知常规人类情绪脑电信号的加权网络。
[0041]
具体步骤如下：
[0042]
a、收集一条一维的包含人类情绪的脑电信号其中x
t
为脑电信号的第t个采样值，n为脑电信号的采样长度；
[0043]
b、将脑电信号x映射为加权水平可视图，加权水平可视图是一种由节点和连接这些节点的带有权值的链路构成的网络，记加权水平可视图为加权网络g；
[0044]
如图2所示，将一维脑电信号映射为加权水平可视图的具体算法为：
[0045]
将长度为n的一维脑电信号x的每一个采样点映射为加权水平可视图中的一个节点，水平可视图是一种由节点和连接这些节点的带有权值的链路构成的网络，共有n个节点，而两个节点之间是否能够连接成边取决于两节点是否满足水平可视性，水平可视性定义为序列中的每个样本值对应于图中的一个节点，如果两个节点对应的数据高度大于它们之间的所有数据高度，那么这两个节点就是水平可视的，即两个节点相连接；记g＝(v，e，w)为加权水平可视图的网络结构，其中是加权网络中节点集合，vi是网络的节点，i的取值范围为1到n；是加权网络中边集合，其中e
ij
是网络的边，表示连接vi和vj两个节点的连接关系，i和j取值范围均为1到n；w是加权网络中边e的权重值集合，如图3所示，w
ij
是w的元素，为e
ij
的值，w
ij
与网络中与边的两侧节点vi和vj所对应的脑电信号x的采样点xi和xj相关，若vi和vj通过边相连接，则w
ij
＝|arctan((x
j-xi)/(j-i))|，若vi和vj不通过边相连接，则w
ij
＝0；将该加权网络使用代数形式进行描述，记a为水平可视图的邻接矩阵，大小为n
×
n，邻接矩阵是一种采用矩阵记录网络的方式，水平可见性由一维脑电信号转换为水平可视图的邻接矩阵的表达式定义：
[0046][0047]
为阶跃函数，矩阵的每一行和每一列列代表着网络的每一个节点，存储在第i行和第j列的交叉点处中的值为a
ij
表示是否存在节点vi到节点vj的边，当两个节点的通过边相连接时，则它们是相邻的，且a
ij
的值大于0，a
ij
值表示节点vi到节点vj的边的权重。
[0048]
c、对加权网络g通过计算网络的分形与多重分形性质进行网络的无标度分析；首先设置尺度因子的序列qs，取尺度因子序列qs包含尺度因子q为元素，q可以取除q＝0以外的任何实数，取值范围在-20至20之间；设置覆盖加权网络g中节点的沙盒半径的序列rs，令rs＝1∶a∶diam，即rs是最小值为1最大值为diam公差为a的等差序列，其中diam为网络的直径，即网络中任意两节点间距离的最大值，a为取值的间隔，设为网络带有权值的链路的平均值；
[0049]
d、取尺度因子序列qs中的尺度因子q；
[0050]
e、选择沙盒半径序列rs中的一个半径值r以及加权网络g的一个节点i作为沙盒的中心，以沙盒的中心开始，搜索所有小于等于r的节点并覆盖，并计算半径为r的沙盒中的节点数，记为其中n是加权网络g中的节点数，d
ij
表示节点i与j在加权网络g中的最短距离，为阶跃函数；
[0051]
f、在选择沙盒半径值为r的情况下，遍历加权网络g中的所有节点，计算半径为r的沙盒中的节点数
[0052]
g、遍历沙盒半径的序列rs不同的沙盒半径r，重复步骤e，f，g计算沙盒半径的序列rs中所有半径r的统计平均值《[m(r)]
q-1
/n》，并利用公式：/n》，并利用公式：计算多重分形标度因子τ(q)；
[0053]
h、遍历尺度因子的序列qs不同的尺度因子q，重复步骤d，e，f，g，h计算尺度因子的序列qs不同的尺度因子q对应的多重分形标度因子τ(q)；
[0054]
i、计算广义维数d(q)＝τ(q)/(q-1)，根据关联维数的定义可知，当q＝2时dc＝d(2)以衡量加权网络g的分形特性，通过勒让德变换得多重分形奇异谱f(α)～α，奇异谱通过δα来衡量加权网络g多重分形性的强弱；
[0055]
j、将广义维数d(q)和多重分形奇异谱f(α)代入深度神经网络分类器进行训练，即可实现通过脑电信号判断出对应的人类情绪；通过将不同人类情绪的脑电信号映射的加权网络g的多重分形奇异谱及广义维数，即可实现对任意输入的脑电信号所代表的情绪的分类与识别。
[0056]
如图4和图5所示，计算加权网络分形与多重分形具体方法为：
[0057]
将一维脑电信号采用加权水平可视图算法所映射的加权网络g的广义维数为d(q)，广义维数d(q)以可能出现的不同特征作为不同微观状态，根据关联维数的定义可知，当q＝2时可求得关联维数dc＝d(2)，使用关联维数来衡量加权网络g的分形特性。一维脑电信号采用加权水平可视图算法所映射的加权网络g的多重分形奇异谱为f(α)～α，当q取到足够大时，多重分形谱的变化极小，此时可以将f(α)变化极小的值所对应的α定义max(α)，同理为当q取到足够小时，多重分形谱的变化极小，此时可以将f(α)变化极小的值所对应的α定义min(α)；多重分形谱的f(α)的宽度提供了有关网络分布特征的重要信息，确定奇异谱的宽度δα＝max(α)-min(α)，δα描述了由总体分形结构测量概率分布的不均匀性，并决定了多重分形的程度，较大的δα值对应于更强的多重分形特性，较小的δα值对应于更弱的多重分形特性；
[0058]
该方法对于负面情绪的识别较为敏感，一般来说，较为兴奋的情绪如愤怒、恐惧、憎恶等脑电信号所映射的加权网络表现出较高的分形性，但同时表现出较低的多重分形性，尤其当大脑活动紊乱，产生异常电活动时，脑电信号所映射的加权网络的分形性更高，多重分形性更低；相反，低兴奋的情绪如沮丧、悲伤等的脑电信号所映射的加权网络表现出较低的分形性与较高多重分形性。
[0059]
使用神经网络分类器进行加权网络分形与多重分形参数训练与识别具体方法为：
[0060]
建立神经网络分类器的输入参数为d(q)与f(α)，其中d(q)为一维脑电信号采用加权水平可视图算法所映射的加权网络g的广义维数，f(α)为一维脑电信号采用加权水平可视图算法所映射的加权网络g的多重分形奇异谱；神经网络分类器采用多模态融合策略，对于输入参数为d(q)与f(α)分别采用长短期记忆网络，该网络输入层、隐含层和输出层共6层，其中隐含层包含3层，各输出为长度32的向量；将两个长短期记忆网络的输出融合成一个单一的特征向量作为人工神经网络的输入，该向量长度为64，人工神经网络输入层、隐含层和输出层共5层，其中隐含层包含2层，输出为情绪识别的结果。
[0061]
一种基于脑电信号加权水平可视图分形与多重分形的情绪识别系统，其包括脑电信号采集模块，加权水平可视图分析模块，智能分析模块；
[0062]
脑电信号采集模块，用以采集脑电信号并组成时间序列x；
[0063]
加权水平可视图分析模块，用以将时间序列x映射为加权水平可视图，对加权水平可视图进行分析，提取加权水平可视图的分形与多重分形特征d(q)与f(α)；
[0064]
智能分析模块，使用神经网络对加权水平可视图的分形与多重分形特征d(q)与f(α)分类，以识别不同情绪的脑电信号。
[0065]
本发明用复杂网络方法进行情绪的检测与识别，是复杂网络和信号处理方法的结合。随着网络分形概念的提出，揭示了大量实际网络具有自相似性和分形特性，越来越多研究人员逐渐关注网络的分形特性，这些基本性质有助于解释复杂网络的无标度性质，理解网络结构的复杂性，同时网络的分形特性不能用唯一的分形维数来表征，多重分形分析作为分形分析的推广在描述实际网络的复杂性方面具有更好的表现，近几年的研究发现通过信号所映射的网络，如可视图、转换网路等也具有分形与多重分形的性质。研究发现，对不同病理状态下的人群，所采集的脑电信号各不相同，通过映射算法生成的网络结构也各不相同，分形与多重分形特性在捕捉网络结构差异方面相比网络的其他基本参数更具有敏感性，映射网络结构的差异同时也说明不同病理状态信号之间的非线性差异。本发明在采用分形与多重分形特性去分析脑电信号映射网络的同时，也使用神经网络对脑电信号映射网络的分形与多重分形特征进行训练，提高了不同情绪分类识别的准确率和鲁棒性，可以为在人机交互领域的情绪识别方面提供帮助，具有现实性意义。