生理参数测量和反馈系统的制作方法
【技术领域】
[0001]本发明一般地涉及测量用户响应于刺激的生理参数和向用户提供反馈的系统。本发明的特定领域之一涉及测量用户的生理参数，以监视响应于显示的身体部位的运动的皮层活动，其中显示的运动以虚拟现实或增强现实向用户显示。所述系统可用于在用户经历中风之后，治疗用户的神经损伤和/或神经疾病，或帮助从用户的神经损伤和/或神经疾病复原。然而，系统可用于其它应用，比如游戏，或者了解为体育运动相关活动或其它活动所需的运动技巧。
【背景技术】
[0002]脑血管疾病是归因于大脑内的血管的问题而出现的病情，并且会导致中风。根据世界卫生组织所说，全球每年约1500万人罹患中风。在这些人中，约I/3死亡，而另外的1/3永久残废。中风随后导致的神经损伤常常表现为轻偏瘫或者身体的其他局部麻痹。
[0003]因而，中风患者的康复的领域一直是各种研究的主题。目前的康复过程通常基于受损身体部位进行的锻炼，实时追踪受损身体部位的运动，以向患者和/或执业医生提供反馈。当患者执行预定的运动模式时，计算机控制的机械驱动系统被用来追踪诸如患者的手臂之类的身体部位的位置及其施加的力。为了减轻患者疲劳，例如利用在运动的执行期间，可以提供帮助的驱动器，这种系统可以支持患者。这种设备的缺点是它们复杂并且昂贵。另夕卜，常规的系统基于追踪实际的运动，并且因此不适合于发生中风之后的运动受损或者非常有限的极早阶段中的诊断或治疗。这些系统还可能给患者带来风险，例如如果使身体部位运动过快，或者如果沉重的驱动装备的部件落在患者身上。这些系统也不是特别轻便，从而通常无法家用和在医院环境中使用，并且还难以适应于特定患者的康复要求，因为允许的运动的范围通常受机械系统限制。
[0004]US 2011/0054870公开了一种用于患者康复的基于VR的系统，其中通过运动摄像头追踪患者的身体部位的位置。使用软件来创建运动化身，在监视器上向患者显示所述运动化身。在例子中，当规定双臂的运动时，如果患者只运动右臂，那么化身还可显示左臂的运动。
[0005]在Chen, Y等的 “The design of a real-time ,multimodal b1feedback systemfor stroke patient rehabiIitat1n”(ACM Internat1nal Conference onMultimedia, 2006年10月23日)中公开了类似的系统，其中使用红外摄像头来追踪在患者的手臂上的标记的3维位置。利用监视器，在VR中，当完成预定的运动模式(比如所显示图像的抓握)时，显示患者的手臂的位置。
[0006]某些基于VR的系统的缺陷在于它们只测量身体部位对于所指示任务的响应。因而，它们不直接测量响应于显示的身体部位的运动的皮层活动，只测量大脑的某一区域可以控制身体部位的方式。这会导致除了受到损伤的那些区域，大脑的各个区域都被治疗，或者至少不能直接监视大脑的特定区域。此外，患者未完全沉浸在VR环境中，因为他们看向分离的监视器屏幕来观看VR环境。
[0007]在WO 2011/123059和US 2013/046206中，描述了具有大脑监视和运动追踪的基于VR的系统，已知系统的主要缺陷在于它们既不可靠又不精确地控制刺激或动作信号和大脑活动信号之间的同步，随着刺激或动作的作用，这会导致大脑响应信号的不正确或不精确的处理和读出。
[0008]在常规系统中，为了使多模态数据(包括生理、行为、环境、多媒体和触觉，等等)与刺激源(例如，显示、音频、电或磁刺激)同步，以分散方式连接几个(即，对于每个数据源)独立的专用单元，意味着每个单元把其固有的特性(模块延时和抖动)带进系统中。另外，这些单元可以具有不同的时钟，因此以不同的格式和不同的速度获取不同种类的数据。特别地，不存在包含其中一些内容可以在一定程度与任何相关用户的生理/行为活动相关并由系统登记的虚拟和/或增强现实信息，和/或来自环境的任意信息的立体显示的综合系统。在不同的应用领域中，未实现上述要求在各种情况下会有消极结果，如在以下的非穷举的例子列表中简要地提及:
[0009]a)在许多应用神经科学领域中，对于刺激呈现的神经响应的分析很重要。目前的解决方案损害了同步质量，尤其在测量的神经信号(例如，EEG)和刺激信号(例如，线索的显示)之间的抖动量方面。归因于此，不仅获取的信号的信噪比被降低，而且还把分析局限于更低的频率(通常小于30Hz)。确保最小抖动的更好的同步会开辟在更高频率下的神经信号探测，以及基于精确(亚毫秒)定时的刺激(不仅非侵入式刺激，而且直接在神经部位的侵入式刺激和皮下刺激)的新的可能性。
[0010]b)虚拟现实和身体感知:如果未实现用户运动的捕捉与用户运动到实时再现所述运动的虚拟人物(化身)的映射之间的同步，那么经由屏幕或头戴式显示器的所进行的运动的延迟视觉反馈会给用户他/她不是所述运动的创造者的感觉。这在训练患者以恢复运动性的运动康复方面，以及对诸如通过远程操纵机器人拆除炸弹之类极其危险的操作的训练或执行来说具有重要后果。
[0011]c)大脑-计算机接口:如果(如通过脑电图数据登记的)运动意图、肌肉活动和向大脑身体控制的神经假体的输出之间的同步失败，那么不能把运动动作和神经激活链接起来，妨碍了解对于成功控制神经假体所需的运动动作的底层的神经机制。
[0012]d)神经检查:对于表面的非侵入式记录，脑电图(EEG)数据的频谱可高达100Hz。在这种情况下，时间分辨率在数十毫秒的范围中。如果EEG和诱发特定的大脑响应(例如对于在虚拟环境中发生的确定动作的P300响应)之间的同步失败，那么不能使大脑响应和引起所述响应的特定事件相关。
[0013](e)由截肢患者使用复杂的神经义肢设备的功能性神经再支配训练:与FES耦接的混合大脑计算机接口(BCI)系统和皮下刺激可用于精心设计和把功能性神经再支配优化到截肢者的残肢或其他身体部位周围的残留肌肉中。为了得到最佳结果，重要的是获得传感器数据和刺激数据之间的高质量同步，用于生成精确的刺激参数。
【发明内容】
[0014]本发明的目的是提供一种生理参数测量和运动追踪系统，所述系统向用户提供虚拟或增强现实环境，可利用所述环境来改善认知和感觉运动系统的响应，例如在大脑损伤的治疗中或者在运动技能的训练中。
[0015]有利的是提供一种确保生理刺激和响应信号的测量和控制的精确实时整合的生理参数测量和运动追踪系统(例如，头部和身体的运动)。
[0016]有利的是提供一种可以生成不同来源的多种刺激信号(例如，视觉刺激信号、听觉刺激信号、触摸感觉刺激信号、电刺激信号、磁刺激信号…)和/或可以测量不同种类的多种生理响应信号(例如，大脑活动、身体部位运动、眼睛运动、皮肤电响应)的生理参数测量和运动追踪系统。
[0017]有利的是减少系统的线缆的数目。
[0018]有利的是减少输入模块(测量)、输出模块(刺激)和系统操作之间的电干扰。
[0019]有利的是提供一种便携并且易于使用，以致可适合于家用、门诊应用或者移动应用的系统。
[0020]有利的是容易地使系统适合于各种头部和身体大小。
[0021]有利的是提供一种穿戴舒适，并且可以容易地附着到用户身上和从用户身上去除的系统。
[0022]有利的是提供一种生产成本有效的系统。
[0023]有利的是提供一种可靠并且使用安全的系统。
[0024]有利的是提供更沉浸的VR体验。
[0025]有利的是提供全部在一个功能操作和一个存储器中同步和使用的所有输入数据和输出数据。
[0026]有利的是提供一种易于可洗并且可消毒的系统。
[0027]有利的是提供一种包括数量优化的大脑活动传感器的系统，所述传感器提供足够的大脑活动，还节省用于布置和操作的时间。有利的是具有不同的电极配置，以容易地根据需要适合于目标大脑区域。
[0028]有利的是提供一种允许去除头戴式显示器，而不干扰大脑活动和其它生理和运动追踪模块，从而对患者来说允许暂停的系统。
[0029]有利的是无论何时需要则在AR和VR之间切换，用于实现透视效果，而不去除HMD。
[0030]有利的是使多个用户的生理、行为、运动和他们的刺激数据同步，用于离线和实时分析。
[0031 ]这里公开一种生理参数测量和运动追踪系统，所述系统包含控制系统、感测系统和刺激系统，感测系统包含一个或多个生理传感器，所述一个或多个生理传感器至少包括脑电活动传感器，刺激系统包含一个或多个刺激设备，所述一个或多个刺激设备至少包括视觉刺激系统，控制系统包含配置成从感测系统接收传感器信号的采集模块，和配置成处理来自采集模块的信号、并控制给刺激系统的一个或多个设备的刺激信号的生成的控制模块。控制系统还包含时钟模块，其中控制系统被配置成接收来自刺激系统的信号，并且用来自时钟模块的时钟信号对刺激系统信号和传感器信号加盖时间戳。刺激系统信号可以是从刺激系统传送的内容代码信号。
[0032]大脑活动传感器可包括用于大脑监视的接触式传感器(EEG)或非接触式传感器(MR1、PET)，侵入式传感器(单和多电极阵列)和非侵入式传感器(EEG、MEG)。
[0033]感测系统还可包含生理传感器，所述生理传感器包括肌电图(EMG)传感器、眼电图(EOG)传感器、心电图(ECG)传感器、惯性传感器、体温传感器、皮肤电传感器、呼吸传感器、脉搏血氧饱和度传感器中的任意一个或多个。
[0034]感测系统还可包含位置和/或运动传感器，以确定用户的身体部位的位置和/或运动。
[0035]在实施例中，至少一个所述位置/运动传感器包含摄像头和可选的深度传感器。
[0036]刺激系统还可包含刺激设备，刺激设备包括音频刺激设备(33)、功能电刺激(FES)设备(31)、机器人驱动器和触觉反馈设备中的任意一个或多个。
[0037]这里另外公开一种生理参数测量和运动追踪系统，包括:向用户显示信息的显示系统;包含一个或多个感测装置的生理参数感测系统，所述感测装置被配置成感测用户的大脑中的电活动，并且生成脑电活动信息;配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测系统;布置成从生理参数感测系统接收脑电活动信息、并且从位置/运动检测系统接收身体部位位置信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示目标位置信息，控制系统还被配置成向显示系统提供身体部位位置信息，所述身体部位位置信息向用户提供身体部位的运动或者身体部位的意向运动的视图。生理参数测量和运动追踪系统还包含时钟模块，所述时钟模块可操作以对从生理参数感测系统和位置/运动检测系统传送的信息加盖时间戳，所述系统可操作以处理所述信息，以实现实时操作。
[0038]在实施例中，控制系统可被配置成判定是否由位置/运动检测系统感测到不存在运动或者存在小于预定量的运动量，并且如果判定无运动或者运动的量小于预定量，那么至少部分基于脑电活动信息向显示系统提供身体部位位置信息，以使显示的身体部位的运动至少部分基于脑电活动信息。
[0039]在实施例中，生理参数感测系统包含配置成测量不同生理参数的多个传感器，所述传感器选自包含EEG传感器、E⑶G传感器、EMG传感器、GSR传感器、呼吸传感器、ECG传感器、温度传感器、呼吸传感器和脉搏-血氧饱和度传感器的群组。
[0040]在实施例中，位置/运动检测系统包含可操作以提供用户的图像流的一个或多个摄像头。
[0041]在实施例中，位置/运动检测系统包含可操作以提供场景中的一个或多个物体的图像流的一个或多个摄像头。
[0042]在实施例中，位置/运动检测系统包含可操作以提供场景中的一个或多个人的图像流的一个或多个摄像头。
[0043]在实施例中，所述摄像头包含深度感测摄像头和一个或多个彩色摄像头。
[0044]在实施例中，控制系统可操作以向生理参数感测系统供给信息，使得提供信号以刺激用户的运动或状态。
[0045]在实施例中，系统还可包含形成单一单元的头戴式设备，所述单一单元包含可操作以向用户显示虚拟或增强现实图像或视频的所述显示系统;和被配置成感测大脑中的电活动的所述感测装置，感测装置包含分布于用户的大脑的感觉和运动区的多个传感器。
[0046]在实施例中，将大脑活动传感器成组布置，以测量大脑的特定区域中的电活动。
[0047]在实施例中，显示单元安装在显示单元支持物上，所述显示单元支持物被配置成围绕用户的眼睛，并且至少部分围绕用户的后脑延伸。
[0048]在实施例中，传感器连接到柔性的头盖形传感器支持物，所述头盖形传感器支持物被配置成在用户的头上延伸。头盖形传感器支持物可包含上面安装了传感器的板子和/或帽子，所述板子连接到配置成围绕用户的头顶延伸的带子，或者与所述带子一体形成，所述带子在其端部连接到显示系统支持物。头戴式设备从而可形成易于穿戴的单元。
[0049]在实施例中，头盖形传感器支持物可包含多个衬垫，第一组衬垫被布置成从第一衬垫支持物延伸，所述第一衬垫支持物沿近似正交的方向从显示单元支持物延伸，第二组衬垫被布置成从第二衬垫支持物延伸，所述第二衬垫支持物沿近似正交的方向从显示单元支持物延伸。
[0050]在实施例中，头戴式设备可包含配置成测量不同生理参数的多个传感器，所述多个传感器选自包含EEG传感器、ECOG传感器、眼睛运动传感器和头部运动传感器的群组。
[0051]在实施例中，头戴式设备还可包含可操作以检测用户的身体部位的位置/运动的所述位置/运动检测系统中的一个。
[0052]在实施例中，位置/运动检测系统可包含深度传感器和一个或多个彩色摄像头。
[0053]在实施例中，头戴式设备包含无线数据传送装置，所述无线数据传送装置被配置成无线地传送来自下述系统中的一个或多个系统的数据:生理参数感测系统;位置/运动检测系统;头部运动感测单元。
[0054]在实施例中，系统还可包含连接到控制系统、并且可操作以电刺激用户的一个或多个身体部位的功能电刺激(FES)系统，FES包括选自由配置成刺激神经或肌肉的电极、经颅交流电刺激(tACS)、直流电刺激(tDCS)、经颅磁刺激(TMS)和经颅超声刺激组成的群组的一个或多个刺激设备。
[0055]在实施例中，系统还可包含用于驱动用户的肢体的运动、并被配置成提供触觉反馈的机器人系统。
[0056]在实施例中，系统还可包含配置成生成包括给显示单元的指令和挑战的视觉显示帧的锻练逻辑单元。
[0057]在实施例中，系统还可包含事件管理器单元，事件管理器单元被配置成生成刺激参数，并把刺激参数传送给刺激单元。
[0058]在实施例中，每个刺激设备可包含其信号由同步设备登记的嵌入式传感器。
[0059]在实施例中，系统还可包含显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，所述显示寄存器被配置成生成用于传输给控制系统的显示内容代码，时间戳由时钟模块附加到显示内容代码。
[0060]在实施例中，刺激系统包含刺激设备，所述刺激设备可包含音频刺激设备、功能电刺激(FES)设备和触觉反馈设备。
[0061]时钟模块可被配置成与包括外部计算机的其它系统的时钟模块同步。
[0062]根据权利要求，根据详细说明和附图，本发明的进一步的目的和有利特征将