性。
[0036] 优选地，脑电采集设备可以包括滤波电路，其配置为对所采集的脑电信号进行滤 波。滤波电路可以是单个滤波电路，也可以是多个滤波电路的组合。滤波电路可包括高通 滤波电路、陷波电路和/或低通滤波电路。脑电信号微弱且伴有复杂的噪声影响，滤波电路 的存在可以有效去除脑电信号中的噪声，避免所合成的声音有瑕疵。
[0037] 优选地，脑电采集设备可以包括放大器，其配置为对所采集的脑电信号进行放大。 如前所述，脑电信号非常微弱，其幅值大概在2到100微伏左右。放大器能够增加有效信号 的强度。为了计算更方便，可以将脑电信号放大15000到20000倍。
[0038] 处理器130配置为从脑电采集设备120获得经模数转换的脑电信号中稳态诱发响 应的基频和谐波幅度，并根据基频和谐波幅度计算基频和谐波幅度比。基频等于刺激信号 的频率。
[0039] 处理器130可以配置为利用直接频谱分析方法获得经模数转换的脑电信号中稳 态诱发响应的基频和谐波幅度。
[0040] 直接频谱分析方法包括快速傅里叶变换方法。具体地，利用快速傅里叶变换得到 脑电信号的频谱。可以从脑电信号的频谱中得到基频以及其谐波的幅度。计算基频与谐波 幅度比。快速傅里叶变换方法应用到脑电信号中稳态诱发响应的频谱分析中来，其表达直 观，计算简单，实现容易，成本低廉。
[0041] 处理器130还可以配置为利用间接频谱分析方法获得经模数转换的脑电信号中 稳态诱发响应的基频和谐波幅度。
[0042] 用一个函数s〇来表示一个非线性系统。当输入一个正弦信号x(t)= sin(2*pi*ft)，则输出y(t) =s(x(t))。对y(t)作频谱分析，就可以得到输出在f、2f、3f 等处的幅度，进而得到这些谐波与基波的能量比。
[0043] 间接频谱分析方法包括利用回声状态网络（Echo state network)的方法。具体 地，利用回声状态网络模拟大脑这一非线性系统的冲击响应函数。利用回声状态网络的方 法能够逼真模拟复杂的非线性系统，其保证了正确计算基波和谐波幅度比。
[0044] 假设采用频率为f的刺激信号x(t)作为刺激，可以得到脑电信号响应y(t)。根 据这两个信号X (t)和y (t)，采用回声状态网络的方法估计出对应的系统S ()。当期望演奏 频率为的声音的时候，贝1J输入X'（t) =sin ，得到y'（t) =S (X'⑴）。根据 y'（t)可以得到基波和谐波的幅度比。
[0045] 本领域普通技术人员可以理解，为了描述方便，上述示例中，谐波的频率是基频的 整数倍。但是，其也可以是非整数倍频，例如1/2倍基频、1/4倍基频，2. 5倍基频等。谐波 的频率与基频倍数为任意实数，使得本发明所合成的音色更加丰富，提高用户体验。
[0046] 可选地，处理器130可以包括数字滤波器，其配置为对经模数转换的脑电信号进 行滤波。通过数字滤波器，可以有效地去除脑电中的噪声，使基波和谐波的幅度比计算更加 准确。优选地，数字滤波器进一步配置为利用典型相关分析方法对所述经模数转换的脑电 信号进行空间滤波。对于多通道脑电信号进行空间滤波，能够更高效地提取稳态诱发响应。
[0047] 合成设备140配置为根据处理器130所计算的基频和谐波幅度比来合成音色。
[0048] 合成设备140可以根据期望音色的基频和其幅度以及上述计算获得的基 频和谐波幅度比来合成期望的音色。假设期望音色的基频为f〇,幅度为，处理器 130计算得到的基频与谐波幅度比为1叫:a2: a3. . . :. . . aN，则生成的声音表达式为 Λ s(t) = aa sin(/0i + θ) + SiS0 sin(i/0t + 0)。 1=1
[0049] 例如，根据现代乐器调音标准，中央C上方的A为440Hz。当期望播放Al时，就是播 放基频为440Hz的正弦信号。当利用某乐器演奏Al时，除了基音，还有谐波，所以实际发出 的声音的频率包含440*2Hz、440*3Hz……。这些谐波能量和基音能量的比值的差异造成了 音色的差异。在本发明的基于脑电信号的音色合成装置中，谐波和基音的差异由脑电信号 决定。当要利用上述基于脑电信号的音色合成装置播放Al时，不是简单播放频率为440Hz 的正弦信号，而是播放表达式为 a0*sin (2pi*440t) +a0*al*sin (2pi*880t) +a0*a2*sin (2pi *1320t)…的声音。
[0050] 合成设备140可以根据基于单个用户的脑电信号所计算的基频和谐波幅度比来 合成音色。合成设备140还可以根据基于多个用户的脑电信号所计算的基频和谐波幅度比 来合成音色。甚至，合成设备140还可以在根据基于单个或多个用户的脑电信号所计算的 基频和谐波幅度比来合成音色同时，将其他声音也合成进来，例如乐器的声音。
[0051] 本发明提出的上述基于脑电信号的音色合成装置100可以播放任意声音。对于音 乐，其本身没有固定音色，乐谱只标记了音高、节奏、强度等信息。音色完全取决于演奏乐谱 的乐器。利用本发明的上述装置，可以播放独具音色的音乐。相对于现有的装置，本发明的 上述装置不会破坏原有声音的音乐性。此外，因为利用脑电信号的谐波与基波能量比来生 成音色，映射关系简单，计算量小，上述装置可以实现实时合成音色。总之，有效提升了用户 体验。
[0052] 由于每个用户的脑电信号特征不同，所合成的声音音色也不同。被采集脑电信号 的用户可以合成专属于其个人的声音。脑电信号的特征可以受到特定的生理状态或者认知 任务的调制，因此声音的音色也可以作为生物反馈信息。当然，多个用户也可以组成乐队合 奏乐曲。
[0053] 根据本发明一个具体实施例，基于脑电信号的音色合成装置还可以包括播放器。 播放器配置为根据合成设备所合成的音色播放声音。其中，声音可以是任意的，不仅可以是 可以预先选定，也可以是即兴创作的。通过播放器，可以播放声音给任何人听，包括被采集 脑电信号的用户。如果播放声音给被采集脑电信号的用户听，那么该装置即为生物反馈装 置。
[0054] 本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于 举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人 员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的 变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由 附属的权利要求书及其等效范围所界定。
【主权项】
1. 一种基于脑电信号的音色合成装置，包括： 刺激设备，配置为生成针对用户的、预定频率的刺激信号； 脑电采集设备，配置为采集所述用户接收所述刺激信号后所生成的脑电信号并将所采 集的脑电信号进行模数转换； 处理器，配置为获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度，并根 据所述基频和所述谐波幅度计算基频和谐波幅度比；以及 合成设备，配置为根据所述基频和谐波幅度比来合成音色。
2. 如权利要求1所述的装置，其特征在于，所述刺激设备是视觉刺激设备、听觉刺激设 备和/或触觉刺激设备。
3. 如权利要求1所述的装置，其特征在于，所述处理器进一步包括数字滤波器，其配置 为对所述经模数转换的脑电信号进行滤波。
4. 如权利要求3所述的装置，其特征在于，所述数字滤波器进一步配置为利用典型相 关分析方法对所述经模数转换的脑电信号进行空间滤波。
5. 如权利要求1至4之一所述的装置，其特征在于，所述处理器进一步配置为利用直接 频谱分析方法获得所述经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。
6. 如权利要求5所述的装置，其特征在于，所述直接频谱分析方法是快速傅里叶变换 方法。
7. 如权利要求1至4之一所述的装置，其特征在于，所述处理器进一步配置为利用间接 频谱分析方法获得所述经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。
8. 如权利要求7所述的装置，其特征在于，所述间接频谱分析方法是利用回声状态网 络的方法。
9. 如权利要求1至4之一所述的装置，其特征在于，所述脑电采集设备进一步包括滤波 电路和放大器；其中，所述滤波电路配置为对所采集的脑电信号进行滤波；所述放大器配 置为对所采集的脑电信号进行放大。
10. 如权利要求1至4之一所述的装置，其特征在于，还包括：播放器，配置为根据所述 音色播放声音。
【专利摘要】本发明提供一种基于脑电信号的音色合成装置。该装置包括：刺激设备，配置为生成针对用户的、预定频率的刺激信号；脑电采集设备，配置为采集所述用户接收所述刺激信号后所生成的脑电信号并将所采集的脑电信号进行模数转换；处理器，配置为获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度，并根据所述基频和所述谐波幅度计算基频和谐波幅度比；以及合成设备，配置为根据所述基频和谐波幅度比来合成音色。本装置所提供的音色可以用来播放任意声音，如果播放音乐，基本不会破坏原有作品的音乐性。因此，显著提升了用户体验。
【IPC分类】A61B5-0476
【公开号】CN104688222
【申请号】CN201510156108
【发明人】吴超华, 高小榕, 王东兵
【申请人】清华大学
【公开日】2015年6月10日
【申请日】2015年4月3日