判别脑疲劳及情绪的自动检索背景音乐BCI系统

判别脑疲劳及情绪的自动检索背景音乐bci系统
技术领域
1.本发明涉及脑疲劳判别领域，尤其涉及判别脑疲劳及情绪的自动检索背景音乐bci系统。


背景技术：

2.背景音乐对专注度的积极和消极影响：“莫扎特效应”验证了聆听莫扎特风格音乐除了能提高认知能力,还对发展记忆力、知觉感受力、理解力、表现力、思维想象力等方面有积极影响。科学家们对背后机理研究发现，背景音乐可以在一定程度上促进大脑中脑啡肽的分泌，这种物质能够支撑人类记忆和思考功能；在背景音乐刺激下，脑电波中的α波增多，而α波占优势的时候就是大脑的最佳状态，此时说明人处于意识清醒、精神放松状态，大脑使用效率最高。这些都为背景音乐对专注度的积极作用提供了证据。不可否认，背景音乐对专注度的消极作用无法忽视，不同风格的背景音乐的影响效果参差不齐。背景音乐刺激下每个人的α波会受到自身因素的影响，如喜好的音乐类型、风格等。背景音乐也会干扰工作记忆任务。当人们在背景音乐环境中进行工作学习时，因为处理的任务难度不同，认知负荷时长，以及脑疲劳和情绪状态等多因素共同作用下，仅仅依靠喜好度单一指标选择背景音乐时，音乐信息(配乐复杂度和歌词的信息量)的加载反而消耗操作资源，最终导致学习效率低下。
3.背景音乐对脑疲劳的影响：脑疲劳指经过长时间的专注或者其他脑力活动，而引起的主观上的不适。毫无疑问，脑疲劳会影响在线办公学习效率。研究发现，快节奏音乐对疲劳具有唤醒作用，而慢节奏音乐的唤醒效果不明显甚至会加重用倦。播放音乐的一瞬间唤醒效果最好，有歌词音乐会产生更大的兴奋感，对疲劳的唤醒效果更为持久。此时，β波成分占据大部分，大脑处于兴奋状态。同样，发现部分人的β波功率值反而低于背景音乐刺激前的水平，说明此时经过一段时间的负荷任务后，情绪已经处于很低的水平，播放的背景音乐刺激强度较低，疲劳情况没有得到有效的缓解。
4.背景音乐对情绪状态的影响：处于不同情绪状态下，学习效率也大相径庭。音乐通过增加多巴胺活动，调解下丘脑-垂体-肾上腺素和刺激副交感神经系统来影响人的情绪状态。早在1953年,gaston就利用音乐帮助人们舒缓情绪,克服病痛。此外，通过研究音乐节律对人的心理唤醒程度发现，当音乐节拍越快，越能引发兴奋感，而低强度音乐可以在一定程度上缩短反应时间并缓解压力。并且发现，积极和消极两种类型的音乐对情绪的影响存在很大的差异。一系列研究结果都证实音乐能够有效影响人的情绪。
5.办公学习效率的高低不仅仅取决专注度单一指标，脑疲劳程度和情绪状态均举足轻重。而在背景音乐刺激下，如何区分个体差异化的专注度，脑疲劳和情绪，从而找到个体不同状态下和背景音乐之间的对应关系至关重要。选择通过脑电信号搭建桥梁，构建自检背景音乐的脑机接口(bci)系统。bci系统允许用户与环境的沟通，只需通过大脑活动，而无需使用肌肉输出通道。它涉及了神经科学，信号检测，信号处理，模式识别等多种领域。要建立大脑和外界设备之间的联系，首先要测量大脑活动，然后进行处理分析信号数据，再进行
机器学习(训练分类模型)实行分类，进而实现用户的意图。脑电信号记录大脑脑电活动的变化，作为脑神经细胞的电生理活动的一般反映，具有较高的时间分辨率，可有效反映大脑的工作状态，脑电信号被认为是判断脑疲劳的黄金指标，已在大量研究广泛应用且效果显著。脑电信号可以直接检测大脑动态以响应情绪状态，为情绪识别提供更为客观、全面的信息，通过不同的信号处理方法结合机器学习分类，分类效果也都达到了令人满意的效果。此外，不同风格的音乐刺激下，大脑活动程度也不同。大脑额叶区的脑电信号α频段的功率有所增加，唤醒活动得到增强，而γ和θ频段没有显著变化。大量研究表明，脑电信号被广泛应用于音乐认知研究中。
6.p300是一种常见的用于构建bci系统的脑电信号。p300是一种诱发电位，是神经系统接受特定模式下的视觉刺激所产生的特定电活动，发生于特定的时间，潜伏期为250～800ms, 幅值为5～20，在特定的脑头皮区域信号能量分布比较明显，相对比较容易检测，适合于bci 应用。采用基于p300信号的bci系统，使用者无需特别的训练就可以达到较好的效果。因此，本系统将使用背景音乐诱发p300作为评价持续认知任务过程用户办公效率高低的指标。
7.专利cn112545518a公布了提供一种基于脑波音乐的疲劳检测方法，该方法能及时检测疲劳程度并实时转化为具有缓解作用的脑波音乐。大幅度缩减了干预疲劳的时间，降低了干预疲劳的成本。专利cn112754502a提供一种基于脑电信号的音乐自动切换方法，通过获取脑电信号识别用户情绪，实现音乐应用自动随用户情绪波动进行个性化音乐推荐的功能。专利cn110123314a提供基于脑电信号判断大脑专注放松状态的方法，该方法对专注度与放松度进行建模，并提取出特征值，分析出大脑处于专注或放松状态。
8.前两个专利均只从单一方面生成脑波音乐，最后一个专利仅提供区分大脑专注与放松的方法，没有进行后续投入使用。
9.在当今音乐推荐系统研究当中，音乐推荐算法主要有两种，分别是是基于协作过滤的推荐和基于音乐内容的推荐。基于内容的音乐推荐将音乐推荐与音乐内容联系起来，基本思想是对用户喜欢的音乐进行内容上的分析，比如音乐的基本特征，包括音色、节奏和音调等，建立模型，利用模型之间的相似度进行推荐。提取音乐基本特征，利用音乐特征矩阵，进行相似度检测，根据相似度进行排序，组合新的音乐。
10.显然，现有的音乐应用资源虽然可以做到根据用户需求进行个性化推荐，例如现在市面上流行的α波音乐，缓解脑疲劳，舒缓情绪的歌单，脑波耳机等一系列产品。但大多是基于用户行为相似性判别的，资源有限且实现功能单一，导致背景音乐成为双刃剑。当听到熟悉的或者快节奏，激昂的背景音乐时，可以有效释放压力，缓解脑疲劳，但可能存在跟随音乐哼唱等行为，这无疑又增加了认知任务，导致注意力分散，办公学习效率低下。当聆听慢节奏的纯音乐或者α音乐时，虽然可以一定程度上提高空间记忆能力，但伴随持续负荷任务，这类背景音乐反而加重困倦，情绪低下。在不同脑疲劳程度和情绪下时，可以选择聆听融合多种风格进行拼接成的音乐。
11.因此，要着重考虑不同类型音乐情感对用户行为的影响。但即使两人的音乐喜好相似，音乐感知仍然具有不确定性。不同的教育背景、经历、性格、爱好所形成的不同审美观，以及不同的生理状态，在音乐情绪的感知体验上是不尽相同的，更不可能用一个多数人所评定的标签来决定每一首歌对个体的真实情绪影响。现在越来越多人转为在线办公学
习，在长时间的负荷任务下，如何解决背景音乐功能单一，满足在缓解疲劳，改善情绪同时，提高专注度的需求，并根据针对用户状态及个人音乐感知能力生成个性化背景音乐歌单，构建一个在背景音乐刺激下持续对学习专注度进行追踪反馈的bci系统。这个是现阶段没有研究同时囊括的。


技术实现要素：

12.本发明针对上述现有技术存在的问题作出改进，即本发明要解决的技术问题是提供一种判别脑疲劳及情绪的自动检索背景音乐bci系统，这种在线环境下判别脑疲劳及情绪的自动检索背景音乐bci系统降低了次要因素对分类性能的影响；降低了维数和缩减数据冗余信息，较少了运算量；提高了支持向量机的分类性能，提高了入侵检测的实时性和入侵检测精度。
13.为了解决上述技术问题，本发明提供了如下的技术方案：
14.一种判别脑疲劳及情绪的自动检索背景音乐bci系统，
15.所述系统包括脑电信号采集设备、移动端和服务端；
16.所述脑电信号采集设备，采集大脑中微弱的脑电信号；
17.所述移动端，接收脑电信号分析数据，通过监测用户的脑电信号，得到实时专注度；
18.所述服务端，完成基于脑电数据的精神疲劳分析和情绪状态识别，并将结果返回到移动端显示。
19.进一步的，所述脑电信号采集设备，包括脑电采集模块、蓝牙模块、采集传感器和信号收发模块；
20.所述脑电采集模块，用于采集大脑中微弱的脑电信号；
21.所述蓝牙模块，用于将脑波数据传输到移动端；
22.所述采集传感器，用于将原始脑波数据进行初步预处理，包括去噪、放大和a/d转化。
23.所述信号收发模块，用于处理初步预处理后的脑波数据并输出脑波频率谱、脑电信号质量、原始脑电波和三个neurosky的esense参数：专注度，放松度和眨眼侦测。
24.进一步的，所述脑电采集模块采用tgam脑电采集模块。
25.进一步的，所述移动端，包括用户登录管理模块、数据接受模块、数据显示模块、数据传输模块、结果显示模块和音乐播放模块。
26.进一步的，所述服务端，包括预处理单元、数据处理模块、分类器模型、音乐生成与自动切换模块和用户数据库；
27.所述预处理单位，采用基于emd的阈值函数法对接收到的脑电信号中的p300进行进行滤波处理，得到质量更高的脑波信号。
28.所述数据处理模块，对于后期分类器模型所需特征值，针对性采取不同处理方法；包括采用基于小波包分解进行脑疲劳检测模型特征提取，选用dwt等特征作为情绪识别特征参数，音乐情绪处理则以梅尔倒谱系数、短时能量(se)和短时能量比(ser)作为自变量进行回归分析。
29.所述分类器模型，含有4个分类器模型，包括专注度分级模型、脑疲劳检测模型、情
绪分类模型、音乐情绪自动识别模型。
30.所述音乐生成与自动切换模块，根据分类器模型识别结果，选择不同融合比例生成新的反馈音乐，建立个性化背景音乐库，并实现自动判断背景音乐切换播放的场景需求。
31.所述用户数据库，存储用户个人数据、脑电信号数据和训练阶段得到的分类器参数。并且数据库中的所有信息支持用户的查询操作并根据数据进行后期模型参数不断调优。
32.本发明提供的在线环境下判别脑疲劳及情绪的自动检索背景音乐bci系统，其有益效果在于：实现了针对用户不同状态匹配适宜背景音乐的功能，用于背景音乐刺激下的线上办公学习场景，用户仅需拥有一部手机和tgam脑电采集设备即可实现以上功能，有针对性且个性化的特点，有辅助提高用户办公学习效率的意义。
附图说明
33.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
34.图1为本发明系统组成示意图；
35.图2为本发明系统流程示意图；
36.图3为本发明emd处理流程图；
37.图4为本发明提取情绪特征集流程图；
38.图5为本发明模式分类识别流程示意图；
39.图6为脑疲劳状态识别流程示意图；
40.图7为dbn网络模型示意图；
41.图8为基于情感的音乐自动分类方法流程示意图；
42.图9为提取mfcc示意图。
具体实施方式
43.如图1-9所示，本发明公开一种判别脑疲劳及情绪的自动检索背景音乐bci系统，并实时检测脑疲劳状态，对情绪进行分类，从而判断背景音乐是否符合此时用户的状态，若不符合，服务端通过一系列算法自动对音乐情感进行识别后选择特定音乐进行不同比例融合来重构背景音乐，并通过andriod移动端进行背景音乐自动切换播放的一个系统，如图1 所示。包括步骤：脑电信号采集；脑电信号预处理；脑电信号特征提取；模式分类识别(包括专注度等级划分、脑疲劳检测和情绪分类)；控制外部设备(音乐切换与生成单元)。
44.系统组成：
45.a.脑电信号采集设备：tgam是一款面向大众的应用级脑电采集和处理模块，采集传感器采用先进的干电极技术，可有效采集大脑中微弱的脑电信号，采样频率达512hz。在信号采集过程中可去除周围环境的噪声影响,再通过滤波、放大、a/d转换等信号处理技术将得到清晰的数字化信号。信号收发模块采用工业标准的串行uart接口，能够将采集到的脑电信号经过预处理后，以每秒一个数据的速率通过蓝牙传送到移动端。并且不仅能数字化输出原始数据，还能通过其已获专利的“慢自适应”算法对脑电信号分类，输出δ，θ，α，β，γ等特定频率范围内的独立脑电波数据以及“关注度”“放松度”指数。tgam不仅对个体差异
和信号波动趋势进行动态补偿，而且抗干扰能力强，因此在不同个体和采集环境的条件下依然能可靠准确地采集脑电数据，广泛应用于各类bci领域的研究中。
46.b.android移动端：蓝牙连接成功后，用户可进行登录注册，移动端接收脑电信号分析数据，通过监测用户的脑电信号，得到实时专注度，进而准确地反映用户的办公学习状态并且记录用户的持续脑力活动时长。移动端再通过http与服务端进行数据传输，从服务器端数据库中下载解析完成的数据。用户在主界面进行登录注册后，可以查询显示结果以及专注度数据。此外，移动端内获取服务端解析的脑电数据后进行p300波形绘制，其以波形曲线图形式显示，动态刷新，横轴为时间，纵轴为脑电幅值。音乐播放模块实现用户手动控制与自动背景音乐切换播放。
47.用户登录管理，用户注册成功后，数据保存在服务端数据库中用于历史脑电信号数据和历史学习办公效率等的查询。
48.数据显示界面，从服务端数据库中下载解析完成的数据，并进行p300波形绘制，专注度，脑疲劳分析结果，情绪识别分类结果。移动端通过http与服务端进行通信，接收解析结果并触发自动播放背景音乐播放选项。用户可以通过app查阅
49.音乐播放模块，包括手动选择播放和自动播放选项，前者播放歌曲为用户基于个人喜好，后者根据用户脑电数据实时反映的情绪类型和脑疲劳程度两个指令触发。
50.c.服务端：虽然移动端具有便携的特点，但其计算能力弱，故本系统将大量脑电数据传送到远程服务器端，使基于脑电数据的精神疲劳分析和情绪状态识别等在服务器端完成，仅将结果返回到移动端显示。服务端主要负责脑电信号的分析处理。包括接收脑电信号数据、存储数据、选取脑电信号时间序列数据段并进行数据分析处理，通过相应分类器模型分析计算得出用户精神疲劳状态结果和情绪状态识别结果，并将结果返回移动端。服务端设置有预处理单元，对接收到的脑电信号中的p300进行预处理。脑电数据处理模块，对预处理后的脑电信号进行特征提取。4个分类器模型，包括专注度分级模型，脑疲劳检测模型，情绪分类模型，音乐情绪自动识别模型。音乐生成与自动切换模块，并将分析结果反馈到 android移动端。根据识别结果，选择不同融合比例生成新的反馈音乐，建立个性化背景音乐库。用户数据库存储用户个人数据、脑电信号数据(收到的数据为tgam芯片利用已获专利的内嵌esense算法处理得到的40帧16进制数据包，该数据包包含α，β，δ，θ这 4种脑电基本节律能量数据)、训练阶段得到的分类器参数。数据库中的所有信息支持用户的历史查询并进行后期模型参数调优。最后，服务端内的搭建主要由python语言完成数据的处理和分类以及各模块之间的通信和实时传输，音乐自动播放功能。系统流程如图2所示。
51.服务器内各个单元工作包括如下：
52.脑电信号预处理：eeg是一种微弱的生物电信号，相对于肌电信号，50uv的脑电信号很容易被上百微伏的眼动信号影响。在区分脑电信号过程中，尽可能去除眼动信号对脑电信号中的干扰是后期工作的关键一步。tgam芯片已初步将脑电信号解析为主要人脑特征信号,有效地去除了噪声干扰。为了进一步得到纯净脑电信号，服务端将接收来的蓝牙串口数据包进行解析和提取，并再次通过滤波算法滤除突变信号，得到稳定干净的人脑特征信号。本系统采用基于emd的阈值函数法进行滤波处理。
53.由于p300信号的有用成分主要集中在低频段，为在减少叠加平均次数的同时最大限度保留信号中的细节特征，提高信噪比，决定采用基于emd的阈值函数法。emd分解不需要
事先选定基函数，而是从本身的尺度特征出发自适应的产生合适的模态函数imf，这些imf分量从高频到低频逐次分布，能够很好的反映出信号在任何时间局部的频率特性。再根据imf 中不同分量，对脑电信号中眼电信号伪迹的频率特性进行统计，故而对每一层模态分量进行阈值滤波。在滤波后对原信号进行重构，从而达到眼电伪迹去除的效果。具体流程如图3 所示。
54.脑电特征提取：本系统中针对脑疲劳信号，情绪状态识别使用两种不同的特征提取方法。现阶段，针对脑电信号的特征提取主要从时域、频域、时频域和非线性四个方面进行研究。其中，
①
时域特征主要分析信号波形的几何特征，提取信号的统计信息；
②
频域特征一般采用功率谱分析技术提取特征；
③
时频域特征主要描述信号频率与时间变化上的关系，时频域分析方法有短时傅里叶变换、小波变换、经验模态分解和希尔伯特黄变换等；
④
非线性特征主要描述信号的复杂性和不规则性，主要包括近似熵、样本熵、排列熵、hurst 指数等。
55.区分长时间脑力劳动引起的精神疲劳与清醒状态的脑电信号疲劳信号特征提取：
56.研究发现，从正常状态向疲劳状态变化的过程中,脑疲劳程度与α,θ，β三个波段密切相关，因此将α/β，(α+θ)/β节律信号组合能量比作为判断疲劳状态的指标。在非疲劳状态下的熵值高于疲劳状态下的，说明熵值能较好地反应出脑电的复杂程度。人在疲劳状态下的脑电复杂性比较小。通过计算脑电信号的复杂程度来表征脑力疲劳脑电的特征.由样本熵的理论知道，样本熵值随着信号序列的复杂度而增加。样本熵值越高说明信号序列自我相似性越高，反之越低说明信号序列自我相似性越低。因此，样本熵可以表征脑电信号的非线性特征。
57.以上特征值的提取均采用基于小波包分解进行。
58.小波包分析：基于小波包子带能量比小波分析方法是一种十分有效的时频分析方法,尤其是对于非平稳信号，小波分析能够弥补傅里叶分析的缺点。在小波分析中首先将原始信号分为概貌部分和细节部分，然后再将概貌部分分解成下一层的概貌和细节,类似重复该过程,直到概貌部分分解到了设定的分解层。小波包变换是小波变换的推广。在小波包分解中，不仅对概貌部分进行分解,而且细节部分也进行相同分解步骤。小波包分解具有任意多尺度特点，可对信号在全频段内进行正交分解，避免了小波变换中固定时频分解的缺陷,可对时频域分析提供更大频率选择空间，更能反映信号的本质和特征订，并可根据信号的特征自适应地选择与信号频谱相匹配的频带，从而提高频率分辨率。
59.a.计算α/β和(α+θ)/β节律信号组合能量比：考虑到四个脑电节律的频率范围，为了使频率分辨率能够达到要求，将经过预处理后的原始脑电信号使用db4小波进行3级小波包分解，那么根据小波包理论与小波包子带对应频率关系，第3级分解则有8个小波包子带。根据小波包重构公式合并重构后的节点信号，提取脑电θ、δ、β、α4个子带频段，选择合适的小波包子带，分别得到α,β,θ和δ波对应的小波包分解系数。通过小波包系数计算得4个频带信号能量。这是因为小波包分解系数的大小能有效地表示信号的强弱,所以应用小波包分解系数的平方的叠加可以表示信号的能量。将第j级小波包子带能量表示为其中q为重构信号节点的标号。假设为小波包分解第j级的第q节点的小波包分解系数,则由此节点
重构信号的能量为由此定义由此定义
60.b.计算小波包样本熵：假设小波包分解的各阶分解信号{x(n)}＝{x(1),x(2),...,x(n)}的数据数目为n，样本熵s计算公式如下：
61.1)由n个数据组成的时间序列{x(n)}＝{x(1),x(2),...,x(n)}，按序号组成一组m维向量序列，即xm(1)到xm(n-m+1)，表达式为：xm(i)＝[ui,u
i+1
,u
i+2
,
…
,u
i+m+1
],i＝1～n-m+1。这些向量表示从第i点开始的m个连续的x的值。
[0062]
定义算法相关参数嵌入维度m和相似容限r，其中m为整数，表示比较向量的长度，1 为实数表示“相似度”的度量值。定义向量[xm(i),xm(j)]之间的距离为两者对应元素中最大差值的绝对值。d[xm(i),xm(j)]＝max|u
i+k-u
j+k
|,0≤k≤m-1；i,j＝1～n-m+1；i≠j
[0063]
对于给定的xm(i),统计d[xm(i),xm(j)]《r的个数表达式为: 其中sd表示一维离散时间序列的标准差。
[0064]
定义两个序列在相似度容限r下匹配m个点的概率为bm(r)：
[0065]
令k＝m+1，重复3和4步骤，可得两个序列匹配m+1个点的概率b
m+1
(r)：
[0066]
则样本熵定义为：sampen(m,r)＝lim{-ln[b
m+1
(r)/bm(r)]}
[0067]
当n为有限值，样本熵估计为：sampen(m,r)＝ln[b
m+1
(r)-bm(r)]
[0068]
综上所述，本系统将特征向量(f,r,s)作为检测脑疲劳的特征参数。
[0069]
情绪识别特征提取
[0070]
常用于情绪识别的脑电频率特征有能量、功率谱密度和微分熵等，其中微分熵在目前的情绪识别研究中取得了较好的效果。如zheng等人在识别正性、中性和负性三种情绪的实验中,使用de作为特征获得的识别准确率。因此选择四个频带的de作为情绪识别的特征参数。wang et al系统地比较三种脑电特征(功率谱特征、小波特征和非线性动力学特征)对情绪分类的影响，提出一种用流形学习跟踪情绪变化的方法。因此选用dwt特征作为情绪识别特征参数。
[0071]
计算每个频带的微分熵de:
[0072]
de是香农信息熵在连续变量上的推广形式其中p(x)表示连续信息的概率密度函数，[a,b]表示信息取值的区间，对于一段特定长度的近似服从高斯分布的脑电信号，其微分熵为：
[0073]
[0074]
b.计算小波包系数的信息熵特征和统计特征
[0075]
将子频段的能量在总体能量中的比率记为pj，进而计算能量熵s。
[0076]
则第j级节点的能量熵w通过公式(1)计算：
[0077][0078][0079]
c.利用主成分分析进行特征的降维。脑电特征往往维数非常高。这些特征之间有很大的冗余，同时，与学习目标无关的脑电特征对于后续模型的稳定性非常不利。过高维的特征空间会影响后续模型学习时的效率和求解的稳定性。因此，在对脑电特征的情绪模型等进行学习之前，对于特征的降维是有必要的。从特征融合的角度进行基于多个脑电特征的情绪识别需要通过一定的融合方法将多个特征融合到一个特征向量中，因此，首先将三类特征进行简单拼接，然后采取基于pca进行特征融合和降维。主成分分析pca是一种对多变量数据进行降维处理的方法，其基本思想是设法将原来的特征量重新组合成一组新的、线性无关且相互正交的几个融合量来替代原来的特征量，剔除冗余量，最终降维。按pca降维方法，将所有样本特征作为pca算法的输入矩阵，通过pca变换得到主成分空间，设定累积贡献率阈值为95％，得到降维后特征集。具体流程如图4所示。
[0080]
模式分类识别：脑电数据解析包括专注度监测，脑疲劳状态，情绪识别分类，音乐情感自动识别分类。当监测到用户专注度下降，低于预设的阈值时，进一步对用户此时的脑疲劳程度和情绪状态识别，判断此时播放的背景音乐是否合适，当不适合时，并根据用户状态进行包含适宜情感的背景音乐检索，通过系统内的分类器对音乐库中的音乐情感进行自动识别分类，检索出针对性背景音乐进行不同比例融合，最后反馈回移动端进行背景音乐自动切换播放。具体流程图如图5所示。
[0081]
在移动端完成与tgam的蓝牙连接后，进行数据接收，得到实时专注度数据。“esense 专注度指数”表明了使用者精神“集中度”水平或“注意度”水平的强烈程度，两个值的范围均在0至100之间。在专注状态下，专注度值普遍高于60；而在放松状态下，专注度的平均值未超过30，因此设置阈值为30。当专注度低于30时，进一步判断情绪状态和脑疲劳程度。
[0082]
2.使用svm分类器对清醒和疲劳两种状态的脑电信号
[0083]
根据脑电信号检验测试者的疲劳程度，分析疲劳程度与特征值的相关性，建立脑电波信号与疲劳程度的数学模型，而进行分类主要解决两个关键点：一是如何定义脑疲劳状态检测指标，二是如何根据脑疲劳指标构建脑疲劳状态检测模型。
[0084]
svm是机器学习中的一种监督学习方法，在解决小样本、非线性和高维模式识别等问题中具有突出优势。svm算法的核心理论是通过核函数将原始数据映射到高维特征空间，将原来线性不可分的特征参数转化成线性可分，然后寻找一个最大边界间隔超平面，从而可以使分类问题在新的特征空间中变得简单，实际上就是通过计算的负责度来换取结果的精确度。
[0085]
scikit-learn机器学习库提供多种预构建算法，可以执行有监督和无监督的机器学习。对于分类任务，该库具有分类报告，提供精度、召回、f1评分和总体精度。
[0086]
本系统基于scikit-learn机器学习库，使用svm算法进行数据分析。清醒和疲劳两种状态对应的数据标签分别设为0和1；将每组数据的(f,r,s)带入基于核函数的svm分类器中训练；核函数使用径向基内核rbf，参数gamma和正则化参数c使用网格搜索法优化，分别在[0.001,1]和[0.01,10]区间内遍历寻优；在分类阶段，使用十折叠交叉验证法将数据拆分为训练集和测试集，寻找满足最优分类器参数，提高模型的稳定性和准确度。具体流程如图6所示。
[0087]
经过训练后，通过此分类器可以实现对未知状态的脑电信号进行预测，从而检测出人体是否处于脑疲劳状态。
[0088]
基于深度信念网络和softmax分类器实现情绪状态评估。
[0089]
提高情绪状态评估的分类正确率，将帮助提高后续音乐反馈的效果。dbn的成功得益于有效的参数训练方法，而网络的训练可以归结为最小化网络输出与实际输出之间的损失函数。先采用deap情感数据集测试dbn模型的精度，以此来训练bp神经网络层，当达到一定的精度后，模型保存。
[0090]
模型流程可以分为两步，如图6所示。
[0091]
①
神经网络接收高维度的特征集后，先用无监督学习逐一预训练每一层rbm网络,确保特征向量映射到不同特征空间时,都尽可能多地保留特征信息；用贪婪逐层训练的方法不断更新的网络权值和偏置，这是一种重要的深度神经网络参数初始化和预训练的方法。rbms 网络训练模型的过程可以看作对一个深层bp网络权值参数的初始化.
[0092]
②
然后通过有监督学习训练bp层，接收rbm的输出特征向量作为它的输入特征向量. 利用softmax的bp算法反向传播,对整个网络进行微调架构每一层的rbm参数，直到网络收敛。组成深度网络的最后一层级联了一个softmax分类器，将神经网络的输出特征作为 softmax分类器的输入数据，使用adam作为梯度优化器算法，设置无监督学习率和监督学习率分别为0.5和0.6。防止在局部最小值卡住，用动量来更新权值，并设置均方误差函数 (mse)作为损失函数。
[0093]
其中，dbn的每个隐含层代表了学到的某个维度上的特征，softmax节点代表情绪的各个类别。利用该算法寻找类别本身的固有特征，找出特征相似的样本，从而划分出情绪的3 种类别，即可以将(焦虑，平静，兴奋)三种情绪状态进行有效评估。
[0094]
依托tgam脑电采集模块采集的原始脑电信号，通过蓝牙传输到服务端，经过前期数据处理后，输入分类器dbn，再利用softmax分类器就可以实现对未知状态的脑电信号进行预测，从而识别出不同情绪状态。
[0095]
4.利用改进的基于svm的多情感分类算法对音乐情感进行分类
[0096]
为了对音乐情绪进行自动分类，首先提取音乐的特征数据，然后根据收集到的数据与情绪知识库进行回归分析。最后，利用改进的基于svm的多情感分类算法，确定背景音乐情绪。具体流程如图7所示。
[0097]
a.根据音乐的价效和唤醒值，利用二维情绪模型对不同音乐进行情绪标记，最终形成情绪知识库。本系统运用经典的二维情绪模型将音乐情绪分为：快乐/高兴；兴奋/激昂；悲伤/愤怒；冷静/无聊。
[0098]
b.梅尔倒谱系数、短时能量(se)和短时能量比(ser)作为特征保存到音乐数据库。
[0099]
mfcc将人耳的特性与乐器发音规则相结合，有效地应用于乐器的识别研究；短时
能量特征可以反映音乐信号能量的变化过程,则短时能量谱排列的紧密程度可以区分出音乐的节奏快慢；短时能量比则表示相邻两帧之间的能量的比值，同时也是重要的短时时域特征，它能够反映音乐信号能量的起伏变化，则短时能量谱可以区分出音乐节奏的强弱。最终采用梅尔倒谱系数、短时能量(se)和短时能量比(ser)三个特征向量组合的特征集合来进行音乐与脑电信号相关性的检测。
[0100]
音乐特征提取算法要实现实时的分类，则计算量不能太复杂,特征向量也不能太多而且考虑到要在不完全载入音乐的条件下也能进行分类。
[0101]
音乐特征提取流程包括如下。
[0102]
1.数字音频信号频域滤波预处理，为了提高收集到的音乐信息的质量，改善音乐信号的信噪比，采用离散形式的小波变换过滤音乐信号中的噪声。
[0103]
2.提取音乐特征构建音乐数据库
[0104]
a.梅尔倒谱系数mfcc特征提取
[0105]
音乐信号的频率与梅尔倒谱系数的关系如下：mel(f)＝2595lg(1+f/700)
[0106]
提取mfcc过程如图7所示。信号经过预处理后，通过快速傅里叶变换(fft)，求得各帧信号的频谱信息；然后通过平方运算得到每一帧的功率谱；再设计一组梅尔滤波器，对上一步得到的幅度谱滤波。计算每个滤波器组输出的对数能量；最后对上一步的输出结果做离散余弦变换(dct)后即可得到mfcc特征。
[0107]
b.计算短时能量
[0108]
c.计算短时能量比
[0109]
3.回归分析是通过对音乐特征的分析来推断一个人听此音乐时所感受到的情绪。利用情绪知识库获得的价效和唤醒值与音乐数据库获得的音乐数据，分析两者所得结果之间的相关性，从而将人的情绪与音乐数据相关联。本系统以梅尔倒谱系数、短时能量(se)和短时能量比(ser)作为自变量进行回归分析，且将情绪知识库中收集到的价效和唤醒数据作为因变量。
[0110]
4.改进的svm多情绪分类模型
[0111]
进一步，通过改进的svm将背景音乐库的价效和唤醒值划分为不同类别,最终每一个情感价值都可以映射到特定的实际情感类别中。
[0112]
假设单分类模型f(x)的分类精度为q,则多情绪分类模型g(x)中f(x)的权重wi；计算公式为:
[0113]
则多情绪分类模型的混合决策函数vj计算公式为：
[0114]
具体步骤如下：
[0115]
计算平均值一阶样本绝对中心距离ac：
[0116]
样本方差s：
[0117]
计算云模型的均值ea，有
[0118]
计算数据a的特征熵en：
[0119]
计算特征超熵he：
[0120]aj
的云向量bk的云向量
[0121]
则两样本的相似性表示为：显然sim
jj
＝1，sim
jk
＝sim
kj
[0122]
通过该方法对一首新歌进行分类时，通过提取新歌的特征数据，将回归分析得到的情感值(价效和唤醒)映射到已识别的情感类别中，从而实现自动对歌曲的情感进行分类。
[0123]
音乐融合进行重构
[0124]
对音乐进行重构之前，通过对音乐情绪进行分析，将多种音乐的情感针对eeg信号与脑疲劳程度，情绪变化进行关联性检测，根据程度的不同，找到同质音乐，并截取最优背景音乐片段，最后结合音乐情绪对音乐片段进行不同程度的融合拼接。为了使新曲目显得自然而不突兀，需要对相邻的音乐片段进行音频平滑处理。
[0125]
根据脑疲劳分级(清醒/疲劳)和情绪状态，将多种
‘
同质’音乐进行提取特征，选择不同的融合比例，生成新的背景音乐。背景音乐作用于用户，形成反馈，实时检测用户状态，确保反馈背景音乐的有效性。
[0126]
该系统实现了针对用户不同状态匹配适宜背景音乐的功能，用于背景音乐刺激下的线上办公学习场景，用户仅需拥有一部手机和tgam脑电采集设备即可实现以上功能，有针对性且个性化的特点，有辅助提高用户办公学习效率的意义。
[0127]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。