基于64通道脑电采集设备的语音交流系统

文档序号:37640487发布日期:2024-04-18 18:01阅读:来源:国知局

技术特征:

1.基于64通道脑电采集设备的语音交流系统包括:脑电采集设备(1)、mbfnet模块(2)以及主动交流模块(3),脑电采集设备(1)采集被试者根据常用交流词语表进行语音想象的脑电信号,并传递至mbfnet模块(2),实现信号的预处理、特征提取与融合、分类,将分类结果传输至主动交流模块(3),实现文字或声音的交流形式,帮助被试者实现基础交流。

2.根据权利要求1所述的基于64通道脑电采集设备的语音交流系统,其特征在于,使用者经上位机(11)诱发的的语音想象eeg信号被脑电极帽(13)采集以模拟信号的形式进入采集模块(13);采集模块(12)将模拟信号转换为相应的数字信号并发送给上位机(12);上位机(12)将处理后的数据通过虚拟串口发送给mbfnet模块(2);mbfnet模块(2)包括预处理模块、特征提取模块、特征映射与融合模块和分类器模块,根据所提出的基于语音想象的多频段特征融合网络(mbfnet)实现语音想象多频段特征深度提取与融合,并实现高精度分类,分类结果传递至主动交流系统(3),实现语音、文字形式的交流。

3.根据权利要求2所述的脑电采集设备(1),其特征在于,所述上位机(11)用于实验程序的运行以及设备供电;所述采集模块(12)包括虚拟串口通讯模块、数字电源模块与stm32h743iit6主控模块等数字模块以及ads1299采集模块、模拟电源模块等模拟模块;所述脑电极帽电极分布的位置为依据10-20国际标准导联电极分布的fp1,fpz,fp2,af7,af3,af4,af8,f7,f5,f3,f1,fz,f2,f4,f6,f8,ft9,,ft7,fc5,fc3,fcz,fc2,fc4,fc6,ft8,ft10,t7,c5,c3,c1,cz,c2,c4,c6,t8,tp9,tp7,cp5,cp3,cp1,cpz,cp2,cp4,cp6,tp8,tp10,p7,p5,p3,p1,pz,p2,p4,p6,p8,po7,po5,po3,poz,po4,po6,po8,o1,oz,o2的64通道电极排布,便于采集大脑主要语言处理功能区的脑电信号,通过软排线与采集模块相连接,用于脑电信号的采集和传输。

4.根据权利要求2所述的mbfnet模块(2),具体方法是基于语音想象的多频段融合网络(mbfnet),其特征在于,所述预处理模块,首先对脑电信号进行预处理,具体过程如下:

5.根据权利要求2所述的mbfnet模块(2),具体方法是基于语音想象的多频段融合网络(mbfnet),其特征在于,所述特征提取模块由三个特征提取分支、特征交互模块和分类器构成,三个特征提取分支具有相同的结构,单个分支可以被用于学习特定频段eeg信号所包含的时空特征;特征交互模块被用于三个频段时间特征的交互,最后,特征映射与融合被用于三个频段特征提取结果的融合,具体如下:

6.根据权利要求2所述的mbfnet模块(2),其特征在于,特征映射与融合模块以特征提取分支输出特征图x∈rn×3*d×1×t′为输入,在模块中使用三个尺度的分组卷积,每组卷积只需要对部分特征图进行学习,不同频段的特征图将进入同一组卷积进行学习,实现多频段特征之间的融合,通过改变输入特征图的排列方式,即可实现三频段特征之间的融合;三个不同尺度的卷积核大小分别为8、16和32,扩张率设置为3,以充分提取大脑在执行语音想象任务时的时间特征;在进行特征融合以后,执行批归一化和池化操作,设置0.5的dropout以缓解过拟合。

7.根据权利要求2所述的mbfnet模块(13),其特征在于分类器模块中,首先将特征图进行展平,然后通过线性层和softmax得到每个频段的输出此外,将三个频段的输出加在一起以促进三个频段的深入交互,提高模型的分类性能,具体如下:

8.根据权利要求1所述的基于64通道脑电采集设备的语音交流系统,其特征在于所述主动交流模块(3),是一款自主研发的可实现语音(发声)与文字(无声)交流的软件,具体的,患者可利用该程序查看语音想象实验词库中的设定词汇,产生的语音想象脑电信号由脑电采集设备(1)实时采集,由mbfnet模块(2)处理并分析,最后再将解码结果通过有线传输到交流软件实现对外交互,患者同样可在软件中查看对应词汇的识别率,从而进行专项训练。


技术总结
本发明涉及基于64通道脑电采集设备的语音交流系统,用于语言障碍用户的主动语言交流。具体方式为:首先通过脑电采集设备采集用户欲发声内容的语音想象脑电信号;之后针对语音相关脑电核心子波段,通过基于语音想象的多频段特征融合网络(MBFNet)实现信号分类;将分类结果传输至语言交流模块,实现文字或声音的交流形式,帮助被试者实现基础交流。

技术研发人员:高忠科,李浩宇,孙新林,郝雨时,李文婕
受保护的技术使用者:天津大学
技术研发日:
技术公布日:2024/4/17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1