基于虚拟现实的脑功能网络检测和调控的训练方法及系统与流程

文档序号:15251099发布日期:2018-08-24 19:52阅读:191来源:国知局

本发明属于神经/精神障碍辅助训练技术领域,尤其是涉及一种基于虚拟现实的脑功能网络检测和调控的训练方法及系统。



背景技术:

人脑无论在结构上还是在功能上都是非常复杂的,被称为复杂巨系统。据估计,人脑大约有干亿个神经元,每个神经元通过突触与上千个其它神经元相连,形成一个巨大而稀疏的神经网络。最近几年,复杂网络理论开始应用在人脑的研究,并取得了很大进展,基于图论分析的复杂网络研究能揭示过往分析手段所不能揭示的脑结构和脑功能的机制和特征。目前大脑已被广泛证实是具有小世界特性和无标度特性复杂网络,即使简单的脑功能也无法由单个神经元或者单一脑区独立完成的,需要神经网络内的神经元集群、功能柱或者多个脑区交互作用来实现的。当特定脑网络出现功能紊乱或缺失,不同大脑区域之间正常连接损坏或者异常,就可表现为各类神经或精神障碍。在对包括阿尔茨海默病、精神分裂症、癫痫、抑郁症、注意障碍、自闭症、脑外伤等疾病进行复杂脑网络分析发现,这些疾病的脑网络共同存在小世界特性、层级组织、关键节点等拓扑结构改变,被认为是由大脑网络连接紊乱所导致的“失连接综合症”。

对上述的精神/神经障碍用户进行辅助训练的主要针对神经网络紊乱或缺失环节的功能修正或重建,现有技术中主要包括有深部脑刺激(deepbrainstimulation,dbs),经颅磁刺激(tms)、经颅直流电刺激(tdcs)以及神经生物反馈(neurofeedback,nfb)。其中,nbf通过对自身生理信号的反馈调节,不需要接受外来的电、磁刺激,安全性较高,易于被用户接受,在对抑郁症、癫痫、自闭症、多动症、阿尔茨海默病和帕金森病等多种脑疾病进行辅助训练的过程中都表现出有效性,显示出巨大的应用前景,已经成为当前研究和应用最广的神经调制方法。神经生物反馈指应用脑电图仪记录脑电信号,通过对受试者的训练,选择性地增强或抑制某一频段的脑电信号,使功能脑网络按照受试者的要求发生改变,因为该方法主要对脑电信号进行反馈,又称为脑电图生物反馈。

但是,虽然神经生物反馈在针对神经网络紊乱或缺失环节的功能修正或重建作用已获得广泛证实,但是其被应用于辅助训练中与预期的理论效果并非相符,其主要因为:1、nfb主要对脑电图的波幅和功率进行回馈调节,反馈的内容缺乏针对性;2、进行1-2导联脑电反馈,反馈位点过少。

而脑网络紊乱都需要进行周期较长的辅助训练,现有技术中,针对精神/神经障碍的用户通常通过模拟环境来对用户进行辅助训练,并且需要在特定的实验室环境中,在满足特定的要求下记录的脑活动,其并非自然状况下发生的,不能够反应真实的脑功能状况,无法为用户提供一个足够真实的虚拟环境,也无法及时地对用户所处的虚拟环境根据用户的脑电信号及时地进行调控,存在条件创造困难,康复效果有限,成本较高等问题。

之后,人们提出了使用虚拟现实(virtualreality,vr)为用户提供较真实的虚拟环境来完成心理评估、精神障碍辅助训练等,虚拟现实是一种拥有多种感知觉(视觉、触觉、运动觉等)相互作用的3d体验界面,通过计算机产生一个类似现实的环境,让人沉浸其中,有一种“身临其境”的感觉”。

为了实现上述技术问题,中国专利公开了一种基于vr交互与脑电波及脑血流监测的精神心理评估方法[申请号:cn201610304151.5],包括基于虚拟现实交互技术的用户特定情绪诱发环节、基于脑电波脑血流数据实时监测的用户生理数据分析环节以及用户精神心理评估环节;所述基于虚拟现实交互技术的用户特定情绪诱发环节,用于诱发用户产生预期的情绪波动;所述基于脑电波脑血流数据实时监测的用户数据分析方法,用于分析所采集用户的心理数据与预期应产生的数据的差异,并且结合在虚拟现实内容中用户的行为数据,以判断用户观看该虚拟现实内容的反馈效果;所述用户精神心理评估方法,结合用户观看一系列具有特定情绪诱发效果的虚拟现实内容的反馈效果,对用户的精神心理进行综合评估。

上述方法反馈的脑电信号缺乏针对性,无法实现有目的地对某异常脑网络进行修复训练,并且只能对用户的心理状态进行评估,存在无法根据用户的心理状态调控虚拟现实情境等问题。



技术实现要素:

本发明的目的是针对上述问题,提供一种具有较好的辅助训练效果的基于虚拟现实的脑功能网络检测和调控干预的辅助训练方法。

本发明的另一个目的是针对上述问题,提供一种采用上述方法的基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统。

为达到上述目的,本发明采用了下列技术方案:

本发明的基于虚拟现实的脑功能网络检测和调控干预的辅助训练方法,其特征在于,包括以下步骤:

a:根据不同用户选择不同的脑功能网络模型并使用户进入不同的虚拟现实情境中;

b:采集用户在虚拟现实情境中的脑电信号并对脑电信号进行处理得到脑电网络特征参数,并根据脑电网络特征参数构建脑功能网络;

c:将脑电网络特征参数转换为控制信号并发送给虚拟现实情境任务模拟系统;

d:由虚拟现实情境任务模拟系统根据控制信号改变虚拟现实任务中包括听觉和/或视觉控件的活动和动作以调整脑功能网络。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练方法中,在步骤a之前,还包括以下步骤:

向数据库上传若干个携带有包括视觉和/或听觉控件且可组合的情境元素信息供虚拟现实情境任务模拟系统调用,且同时上传不同的情境元素信息与脑功能情况和/或脑电网络特征参数的对应关系,以及不同脑电网络特征参数与脑功能的对应关系。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练方法中,在步骤b中,还包括以下方法:

根据接收到的脑电网络特征参数和脑电网络特征参数与脑功能对应关系分析用户的脑功能情况;

在步骤c中,还包括以下方法:

根据脑电网络特征参数和/或者脑功能情况分析结果,结合情境元素信息与脑功能情况和/或脑电网络特征参数的对应关系从数据库中提取相应的情境元素数据用于控制虚拟现实情境。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练方法中,在步骤b中,对脑电信号进行处理得到脑电网络特征参数的具体步骤包括:

对脑电信号进行包括去伪、去噪和提取特定频带的波形的处理以将脑电信号进行量化得到脑电网络特征参数。

一种基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统,包括脑电采集系统,所述的脑电采集系统连接有脑功能网络评估系统和脑功能参数调控系统,所述的脑功能网络评估系统和脑功能参数调控系统均连接于虚拟现实情境任务模拟系统,其中,

脑电采集系统,用于检测并采集脑电信号,将该脑电信号进行处理得到脑电网络特征参数,并将该脑电网络特征参数发送给脑功能网络评估系统和脑功能参数调控系统;

脑功能网络评估系统,用于针对不同的用户选择合适的脑网络模型,并根据脑电采集系统发送的脑电网络特征参数进行功能网络的构建。

脑功能参数调控系统,用于将脑电网络特征参数转换为控制信号以控制虚拟现实任务中包括听觉和/或视觉控件的活动和动作进而调整脑功能网络;

虚拟现实情境任务模拟系统,用于根据脑功能网络评估系统的评估结果构建虚拟现实情境任务,并根据脑功能参数调控系统反馈回来的控制信号改变虚拟现实任务中包括听觉和/或视觉控件的活动和动作。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统中,本系统还包括数据库,所述的数据库存储有不同脑电网络特征参数与脑功能的对应关系,所述的脑功能网络评估系统还用于根据该对应关系和接收到的脑电网络特征参数分析用户的脑功能情况。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统中,所述的数据库中还存储有若干个携带有包括视觉和/或听觉控件的活动和动作的可组合的情境元素信息,以及不同的情境元素信息与脑功能情况和/或脑电网络特征参数的对应关系,所述的脑功能参数调控系统根据脑功能情况和/或脑电网络特征参数将该脑电网络特征参数转换为控制信号控制虚拟现实情境任务模拟系统控制虚拟现实情境。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统中,所述的脑电采集系统为多通道脑电快速采集系统,且所述的多通道脑电快速采集系统包括脑电信号检测模块和连接于脑电信号检测模块的脑电信号处理模块,所述的脑电信号检测模块包括有若干用于接收脑电信号的电极模块,且每个电极模块包括至少两个电极单元,每个电极单元均包括有用于接触用户皮肤的干电极和连接于干电极的前置放大器,且多个电极单元之间通过金属屏蔽层相互隔离;所述的脑电信号处理模块包括连接于前置放大器的脑电放大模数转换电路模块和信号预处理及特征提取模块。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统中,所述的脑电信号处理模块还包括神经反馈控制模块,所述的神经反馈控制模块的输入端和输出端分别连接于所述的信号预处理及特征提取模块和所述的脑功能参数调控系统。

在上述的基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统中,所述的信号预处理及特征提取模块用于对脑电信号进行包括去伪、去噪和提取特定频带的波形的处理以将脑电信号进行量化得到脑电网络特征参数,所述的神经反馈控制模块用于将脑电网络特征参数发送给所述的脑功能参数调控系统。

与现有的技术相比,本发明基于虚拟现实的脑功能网络检测和调控的训练方法及系统具有以下优点:1、能够高度仿真模拟现实情境,保证用户的现场感;2、集多通道脑电快速采集、虚拟现实情境任务实现、脑功能网络实时检测和脑功能网络动态调整等于一体能够有效提高精神/神经障碍用户的辅助训练效果;3、能够对脑功能网络进行评估,并在虚拟现实情境中进行脑功能网络的调控以使虚拟现实情境最大限度地适应于用户状态从而实现最佳的训练效果;4、通过选择合适的脑功能网络模型和采集的脑电数据构建脑功能网络,并按系统需求提取特定频带的波形使反馈具有针对性,能够有目的地对某种脑网络进行训练修正;5、使用多干电极的组合模块,也就是多导联脑电反馈,具有足够多的反馈点位。

说明书附图

图1是本发明的基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统的结构框图;

图2是本发明脑电采集系统的结构框图;

图3是本发明电极模块的结构示意图;

图4是本发明方法的流程图。

附图标记:脑电采集系统1;脑电信号检测模块11;脑电信号处理模块12;电极模块13;电极单元14;干电极141;前置放大器15;金属屏蔽层16;脑电放大模数转换电路模块17;信号预处理及特征提取模块18;神经反馈控制模块19;脑功能网络评估系统2;脑功能参数调控系统3;虚拟现实情境任务模拟系统4;数据库5。

具体实施方式

虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

下面结合附图和具体实施方式对本发明做进一步详细的说明。

如图1所示,本基于虚拟现实的脑功能网络检测和调控干预的辅助训练系统包括有数据库5,所述的数据库5存储有不同脑电网络特征参数与脑功能的对应关系;除此之外,数据库5中还存储有若干个携带有包括视觉和/或听觉控件的活动和动作的可组合的情境元素信息,以及不同的情境元素信息与脑功能情况和/或脑电网络特征参数的对应关系。

本系统还包括脑电采集系统1,所述的脑电采集系统1连接有脑功能网络评估系统2和脑功能参数调控系统3,所述的脑功能网络评估系统2和脑功能参数调控系统3均连接于虚拟现实情境任务模拟系统4。

其中,如图2所示,脑电采集系统1为多通道脑电快速采集系统,脑电采集系统1用于检测并采集脑电信号,且其包括脑电信号检测模块11和连接于脑电信号检测模块11的脑电信号处理模块12,如图3所示,所述脑电信号检测模块11包括有若干用于接收脑电信号的电极模块13,且每个电极模块13包括至少两个电极单元14,具体几个电极单元14根据需要设置,每个电极单元14均包括有用于接触用户皮肤的指状干电极141和连接于干电极141的前置放大器15,采用指状干电极141,可在各种皮肤、毛发环境下,准确获取神经生物反馈信息,无需剔除毛发以及增加胶状介质,获取信号更便捷。电极模块13通过头戴在采集过程中固定在头部,头戴是指类似安全帽结构且呈网状的能够佩戴在用户头部的物体,电极模块13可以安装于网状节点处。为了保持信号采集质量和噪音控制,本实施例的多个电极单元14之间通过金属屏蔽层16相互隔离,通过在干电极后面连接前置放大器15减少生物和环境噪声对脑电信号的干扰,且脑电信号处理模块12包括连接于前置放大器15的脑电放大模数转换电路模块17和信号预处理及特征提取模块18,其中脑电放大模数转换电路模块17包括具有8个脑电信号输入通道的主控芯片,该主控芯片可以采用ti公司的ads1299。

进一步地,脑电放大模数转换电路17还包括有无线连接模块和有线连接模块,其中有线连接模块包括连接于主控芯片的usb接口,无线连接模块包括连接于主控芯片的蓝牙模块,通过有线和无线两种可选的数据传输方式,能够兼顾不同采集要求并适应不同电磁干扰环境中的有效数据传输。

进一步地,脑电信号处理模块12还包括神经反馈控制模块19,所述的神经反馈控制模块19的输入端和输出端分别连接于所述的信号预处理及特征提取模块18和所述的脑功能参数调控系统3。其中信号预处理及特征提取模块18用于完成实时传输或离线存储在系统中数据的时频域滤波,按系统需求提取时频域特征对脑电信号进行包括去伪、去噪和提取特定频带的波形的处理以将脑电信号进行量化得到脑电网络特征参数;神经反馈控制模块19用于将脑电网络特征参数发送给所述的脑功能参数调控系统3。

脑功能参数调控系统3用于将脑电网络特征参数转换为控制信号以控制虚拟现实任务中包括听觉和/或视觉等控件的活动和动作进而调整脑功能网络。脑功能参数调控系统3根据检测到的脑电信号向虚拟现实情境任务模拟系统4发送控制信号,虚拟现实情境任务模拟系统4根据发送过来的控制信号控制虚拟现实场景中听觉控件以及视觉控件等元素控件的活动以及设置任务要求,也就是说改变虚拟现实情境的情境,因为虚拟现实情境中控件元素的改变以及任务的变化反过来又使用户的脑功能网络发生变化从而实现调控脑功能网络的目的。

由于针对不同的用户及用户需要进行辅助训练的具体原因,实际脑电活动和脑功能异常区域也不同,所以本实施例将现有技术已有的脑功能网络研究领域中多种脑功能网络模型写入数据库5中供选择,脑功能网络评估系统2就是用于针对不同的用户选择合适的脑网络模型,在选择合适的网络模型后,本实施例通过脑功能网络评估系统2并根据脑电网络特征参数在脑网络模型的基础上进行功能网络的构建,同时针对不同用户根据脑电网络特征参数与脑功能的对应关系和接收到的脑电网络特征参数解析用户的脑功能情况,同时还对构建起来的功能性网络进行分析,分析依据包括特征路径长度、效率、聚类系数、节点、模块特征、鲁棒性、中枢点等,并且结合大数据中的研究数据从多个角度分析这些特征参量可能反映的生理意义。此外,脑网络评估系统还向数据库5上传评估数据以用于记录用户不同时期脑电参数信息以供用户随时查看自己的辅助训练情况。

虚拟现实情境任务模拟系统4对应的的硬件设备为虚拟现实设备,可以采用htcvivepre头显与配套主机,其具有较强的图形处理功能,丰富的软硬件接口等功能,能够与本系统的其他模块进行很好地融合与数据交互。

虚拟现实情境任务模拟系统4用于根据脑功能网络评估系统2的评估结果构建虚拟现实情境任务,并根据脑功能参数调控系统3反馈回来的控制信号改变虚拟现实任务中包括听觉和/或视觉控件的活动和动作。

具体地,需要说明的是,虚拟现实情境任务模拟系统4采用三层结构的构架,即数据访问层,业务逻辑层和用户表现层三个部分,数据访问层:虚拟现实情境任务模拟系统4储存构建多种场景和三维模型和情境元素等模块,各种三维模型和情境元素通过opengl接口访问;业务逻辑层:包括呼叫数据库5和数据访问接口,主要针对构建和发布场景的操作,处理脑功能参数调控系统3的请求,并调用访问数据,实现系统需求;表现层:主要负责脑功能参数调控系统3发送的控制信号对虚拟环境中元素和对象的控制,表现层实现了脑功能参数调控系统3与虚拟现实情境任务模拟系统4交互的接口。

虚拟现实情境任务模拟系统4在构建完成三层结构构架之后,还需要根据用户的需求进行场景设计和开发,以及人物情境的设计,其中场景设计和开发该部分包括对情境任务具体实现,包括场景环境的构建,模型和对象等元素的构建等。场景开发步骤为三个阶段,场景建模、编辑和发布,场景元素包括三维模型,以及其附属的贴图,材料,还包括场景中其他基本组成元素,如文本、声音和视频等,本实施例选用目前虚拟现实技术流行的三维造型和制作软件unity3d。unity3d是一个全面整合的专业视觉交互引擎系统,具有开发效率高,可选择丰富的第三方插件和资源等优势,如实时3d动画视频、对象和建筑可视化等类型互动内容,且系统本身相对简化,适合开发能够搭配组合对象的模块化场景任务,尤其适合本实施例提出的基于任务情景开发,如针对记忆力训练情境场景,情境任务目标是在规定的情境情节中完成任务并得到相应的分数,下面举一个场景例子:将场景设计为在观光车上游览景点,每到一个关卡(任务执行点;时,用户要解决景物名胜排序,比较,分析等认知问题,任务锁时并限时,并记录完成任务时间等。本实施例能够通过脑功能参数调控系统3,以及脑功能参数调控系统3与虚拟现实情境任务模拟系统4的交互关系使虚拟现实任务中控件受脑电信号参数的控制,使用构建的脑功能网络脑特征成分,或者脑电信号参数达到阈值要求作为控制,驱动任务场景中景物控件按照任务的设计要求实现操作,成功操作后,根据完成情况,计算得分,并进入下一个场景;

任务情境设计:当处理任务时,个体会进入任务特定的认知状态,并且构建包含知觉、注意、记忆、反应相关的任务设置,处理任务是自我学习和调整认知的过程,某些神经/精神障碍用户都会有认知功能障碍的表现,认知功能主要包括:定向力、注意力、记忆力、回忆力、语言能力、视空间和运用功能等。而认知功能障碍能够从处理任务过程中反映出来,因此设计针对不同认知功能的任务,并记录处理任务时脑电信号,分析脑电网络特征参数,能够客观的监测脑功能的变化,本实施例利用虚拟现实技术提供的视听觉多媒体信息传输能力,沉浸式的高仿真环境,创建针对不同认知功能的,并符合用户认知基础的情景任务,此外针对脑功能调控研究,虚拟现实任务系统中设计与用户互动的控件,能实时反馈用户脑功能网络活动。

如图4所示,本实施例采用上述系统以及嵌有上述软件模块的硬件设备实现基于虚拟现实的脑功能网络检测和调控干预的辅助训练方法具体包括以下步骤:

a:脑功能网络评估系统2根据不同用户选择不同的脑功能网络模型,由虚拟现实情境任务模拟系统4针对不同的用户为用户构建基础的情景任务以使用户进入符合自己的虚拟现实情境中;

b:由脑电采集系统1采集用户在虚拟现实情境中的脑电信号并对脑电信号进行处理得到脑电网络特征参数,脑功能网络评估系统2基于脑功能网络模型并根据脑电网络特征参数构建脑功能网络,以及执行根据接收到的脑电网络特征参数和脑电网络特征参数与脑功能对应关系分析用户的脑功能情况等;

c:脑功能参数调控系统3将脑电网络特征参数转换为控制信号并发送给虚拟现实情境任务模拟系统4;并根据脑电网络特征参数和/或者脑功能情况分析结果,结合情境元素信息与脑功能情况和/或脑电网络特征参数的对应关系从数据库5中提取相应的情境元素数据用于控制虚拟现实情境;

d:由虚拟现实情境任务模拟系统4根据控制信号改变虚拟现实任务中包括听觉和/或视觉等控件的活动和动作以及其他情境元素以调整脑功能网络。其中,需要说明的是,在开始训练时,步骤bcd循环执行以实现不断调控用户脑功能网络。

进一步地,在步骤a之前,还包括以下步骤:

向数据库5上传若干个携带有包括视觉和/或听觉控件且可组合的情境元素信息供虚拟现实情境任务模拟系统4调用,且同时上传不同的情境元素信息与脑功能情况和/或脑电网络特征参数的对应关系,以及不同脑电网络特征参数与脑功能的对应关系。

具体地,在步骤b中,对脑电信号进行处理得到脑电网络特征参数的具体步骤包括:

对脑电信号进行包括去伪、去噪和提取特定频带的波形的处理以将脑电信号进行量化得到脑电网络特征参数。

本发明的基于虚拟现实的脑功能网络检测和调控的训练方法及系统通过对脑电进行信号检测、处理、记录、分析及调控,构建一个能够根据用户的训练情况实时、有目的性地变换情境元素的虚拟环境,接近与真实环境的自然交流状态,给予用户更加真实的现场感,有效提高辅助训练效果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了脑电采集系统1;脑电信号检测模块11;脑电信号处理模块12;电极模块13;电极单元14;干电极141;前置放大器15;金属屏蔽层16;脑电放大模数转换电路模块17;信号预处理及特征提取模块18;神经反馈控制模块19;脑功能网络评估系统2;脑功能参数调控系统3;虚拟现实情境任务模拟系统4;数据库5等术语,但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质;把它们解释成任何一种附加的限制都是与本发明精神相违背的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1