户的身体部位的位置/运动的位置/运动检测系统。
[0248]§30.按照段落§29所述的头戴式设备，其中位置/运动检测系统包含深度传感器和一个或多个彩色摄像头。
[0249]§31.按照段落§15_§30任意之一所述的头戴式设备，其中头戴式设备包含头部运动感测单元，所述头部运动感测单元可操作以在设备的操作期间感测用户的头部运动。
[0250]§32.按照段落§31所述的头戴式设备，其中头部运动感测单元包含加速度传感器和方位传感器。
[0251]§33.按照段落§15_§32任意之一所述的头戴式设备，其中头戴式设备包含无线数据传送装置，所述无线数据传送装置被配置成无线传送来自下述系统中的一个或多个系统的数据:生理参数感测系统;位置/运动检测系统;头部运动感测单元。
[0252]§34.按照段落§15_§33任意之一所述的头戴式设备，其中显示系统和生理参数感测系统包含在段落§1_§14任意之一中定义的显示系统和生理参数感测系统的特征中的任意一个或多个特征。
[°253] §35.一种生理参数测量和运动追踪系统，包含控制系统、感测系统和刺激系统，感测系统包含一个或多个生理传感器，所述一个或多个生理传感器至少包括脑电活动传感器，刺激系统包含一个或多个刺激设备，所述一个或多个刺激设备至少包括视觉刺激系统，控制系统包含配置成从感测系统接收传感器信号的采集模块，和配置成处理来自采集模块的信号、并控制给刺激系统的一个或多个设备的刺激信号的生成的控制模块，其中控制系统还包含时钟模块，并且其中控制系统被配置成用来自时钟模块的时钟信号对与刺激信号相关的信号和传感器信号加盖时间戳，通过时间戳的方式使刺激信号与传感器信号同步。
[0254]§36.按照§35所述的系统，其中与刺激信号相关的所述加盖时间戳的信号是从刺激系统接收的内容代码信号(39)。
[0255]§37.按照§36所述的系统，其中所述系统还包含显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，显示寄存器被配置成生成用于传输给控制系统的显示内容代码信号，时间戳由时钟模块附加到所述显示内容代码信号。
[0256]§38.按照§35、§36或§37所述的系统，其中感测系统包含选自包括肌电图(EMG)传感器、眼电图(EOG)传感器、心电图(ECG)传感器、惯性传感器(INS)、体温传感器、皮肤电传感器的群组的生理传感器。
[0257]§39.按照§35-38任意之一所述的系统，其中感测系统包含确定用户的身体部位的位置和/或运动的位置和/或运动传感器。
[0258]§40.按照§39所述的系统，其中至少一个所述位置/运动传感器包含摄像头和可选的深度传感器。
[0259]§41.按照§35-40任意之一所述的系统，其中刺激系统包含选自包括音频刺激设备、功能电刺激(FES)设备和触觉反馈设备的群组的刺激设备。
[0260]§42.按照§35-41任意之一所述的系统，还包含按照§1_§34所述的系统的附加特征中的任意一个或多个附加特征。
[0261]附图标记列表
[0262]10生理参数测量和运动追踪系统
[0263]12控制系统
[0264]51控制模块
[0265]57输出信号(视频、音频、刺激)
[0266]53采集模块
[0267]55存储器
[0268]52骨骼追踪模块
[0269]60数据融合单元
[0270]62校准单元
[0271]64骨骼追踪单元
[0272]54生理参数处理模块
[0273]66重参考单元
[0274]68滤波单元
[0275]70频谱滤波模块
[0276]72空间平滑滤波模块
[0277]74拉普拉斯滤波模块
[0278]76事件标记单元
[0279]78伪迹单元
[0280]80伪迹检测模块[0281 ]82伪迹去除模块
[0282]69特征提取单元
[0283]67统计单元
[0284]56头部追踪模块
[0285]104眼凝视追踪模块
[0286]58 VR生成模块
[0287]84锻练逻辑单元
[0288]输入单元
[0289]86 VR环境单元
[0290]88身体模型单元
[0291]90化身姿势生成单元
[0292]92 VR内容整合单元
[0293]94音频生成单元
[0294]96反馈生成单元
[0295]106时钟模块
[0296]71事件管理器
[0297]73追踪单元
[0298]用户追踪
[0299]-^64骨骼追踪单元
[0300]~>104眼凝视追S示板块[0301 ]物体追踪
[0302]75分析器模块
[0303]75a 运动
[0304]75b IMU
[0305]75c FES
[0306]75d机器人传感器
[0307]18头戴式设备
[0308]40头部运动感测单元
[0309]42运动感测单元
[0310]44加速度感测装置
[0311]47头部朝向感测装置
[0312]46陀螺仪
[0313]48磁力计
[0314]50运动感测单元支持物(安装到HMD系统)
[0315]32显示单元
[0316]34显示装置
[0317]35显示寄存器
[0318]36显示单元支持物
[0319]33音频单元
[0320]27头盖形传感器支持物(用于安装传感器20)
[0321]27a 板子
[0322]27b安装带
[0323]100眼凝视感测单元
[0324]102眼凝视传感器
[0325]13感测系统
[0326]14生理参数感测系统
[0327]20传感器
[0328]22脑电图(EEG)-连接到头部显示单元
[0329]24肌电图(EMG)-连接到身体中的肌肉
[0330]25眼电图(EOG)-眼睛运动传感器
[0331]27 心电图(ECG)
[0332]29惯性传感器(INS)/惯性测量单元(BlU)传感器
[0333]40头部运动感测单元
[0334]体温传感器
[0335]皮肤电传感器
[0336]16位置/运动检测系统
[0337]26传感器
[0338]28深度/距离传感器
[0339]30摄像头(彩色)
[0340]21传感器输出信号[0341 ]17刺激系统
[0342]31功能电刺激(FES)系统
[0343]音频刺激系统—音频单元33
[0344]视频刺激系统—显示单元32
[0345]37a模数转换器(ADC)
[0346]37b数模转换器(DAC)
[0347]39内容代码信号
[0348]41触觉反馈设备—机器人
[0349] 23用户反馈传感器
【主权项】
1.一种生理参数测量和运动追踪系统，包含:向用户显示信息的显示系统;包含一个或多个感测装置的生理参数感测系统，所述感测装置被配置成感测用户的大脑中的电活动，并且生成脑电活动信息;配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测系统;布置成接收来自生理参数感测系统的脑电活动信息和接收来自位置/运动检测系统的身体部位位置信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示目标位置信息，控制系统还被配置成向显示系统提供身体部位位置信息，所述身体部位位置信息向用户提供身体部位的运动或者身体部位的意向运动的视图，其中生理参数测量和运动追踪系统还包含时钟模块，所述时钟模块可操作以对从生理参数感测系统和位置/运动检测系统传送的信息加盖时间戳，所述系统可操作以处理所述信息，以使实时操作成为可能。2.按照权利要求1所述的系统，其中时钟模块被配置成对与配置成刺激用户的大脑活动的刺激信号相关的信号和测量的大脑活动信号加盖时间戳，通过时间戳的方式使刺激信号能够与大脑活动信号同步。3.按照权利要求1或2所述的系统，其中控制系统被配置成判定是否由位置/运动检测系统感测到不存在运动或者存在小于预定量的运动量，并且如果判定无运动或者运动量小于预定量，那么至少部分基于脑电活动信息向显示系统提供身体部位位置信息，以使显示的身体部位的运动至少部分基于脑电活动信息。4.按照权利要求1-3任意之一所述的系统，其中生理参数感测系统包含配置成测量不同生理参数的多个传感器，所述传感器选自由EEG传感器、ECOG传感器、EMG传感器、GSR传感器、呼吸传感器、ECG传感器、温度传感器、呼吸传感器和脉搏血氧饱和度传感器组成的群组。5.按照权利要求1-4任意之一所述的系统，其中位置/运动检测系统包含深度感测摄像头和可操作以提供用户的图像流的一个或多个彩色摄像头。6.按照权利要求1-5任意之一所述的系统，其中控制系统可操作以向生理参数感测系统供给信息，以生成刺激用户的运动或状态的信号。7.按照权利要求1-6任意之一所述的系统，包含形成单一单元的头戴式设备，所述单一单元包含可操作以向用户显示虚拟或增强现实图像或视频的所述显示系统;并且所述感测装置被配置成感测大脑中的电活动，感测装置包含分布于用户的大脑的感觉和运动区的多个传感器。8.按照权利要求7所述的系统，其中传感器连接到柔性的头盖形传感器支持物，所述头盖形传感器支持物被配置成在用户的头上延伸，并连接到显示系统支持物。9.按照权利要求7或8所述的系统，其中头盖形传感器支持物包含多个衬垫，第一组衬垫被布置成从第一衬垫支持物延伸，所述第一衬垫支持物沿近似正交的方向从显示单元支持物延伸，第二组衬垫被布置成从第二衬垫支持物延伸，所述第二衬垫支持物沿近似正交的方向从显示单元支持物延伸。10.按照权利要求7-9任意之一所述的系统，其中头戴式设备包含配置成测量不同生理参数的所述多个传感器，所述多个传感器选自由EEG传感器、ECOG传感器、眼睛运动传感器和头部运动感测单元组成的群组。11.按照权利要求7-10任意之一所述的系统，其中头戴式设备还包含可操作以检测用户的身体部位的位置/运动的所述位置/运动检测系统之一，位置/运动检测系统包含深度传感器和一个或多个彩色摄像头。12.按照权利要求6-11任意之一所述的系统，其中头戴式设备包含无线数据传送装置，所述无线数据传送装置被配置成无线传送来自下述系统中的一个或多个系统的数据:生理参数感测系统;位置/运动检测系统;头部运动感测单元。13.按照权利要求1-12任意之一所述的系统，还包括连接到控制系统并且可操作以电刺激用户的一个或多个身体部位的功能电刺激(FES)系统，FES包括选自由配置成刺激神经或肌肉的电极、经颅交流电刺激(tACS)、直流电刺激(tDCS)、经颅磁刺激(TMS)和经颅超声刺激组成的群组的一个或多个刺激设备。14.按照权利要求1-13任意之一所述的系统，还包括用于驱动用户的肢体的运动并被配置成提供触觉反馈的机器人系统。15.按照权利要求1-14任意之一所述的系统，还包括配置成生成包括给显示单元的指令和挑战的视觉显示帧的锻练逻辑单元。16.按照权利要求1-15任意之一所述的系统，还包括事件管理器单元，事件管理器单元被配置成生成刺激参数，并把刺激参数传送给刺激单元。17.按照权利要求1-16任意之一所述的系统，其中每个刺激设备包含其信号由同步设备登记的嵌入式传感器。18.按照权利要求1-17任意之一所述的系统，还包括显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，所述显示寄存器被配置成生成用于传输给控制系统的显示内容代码，时间戳由时钟模块附加到锁定内容代码。19.一种生理参数测量和运动追踪系统，所述系统包含控制系统(12)、感测系统(13)和刺激系统(17)，感测系统包含一个或多个生理传感器，所述一个或多个生理传感器至少包括脑电活动传感器(22)，刺激系统(17)包含一个或多个刺激设备，所述一个或多个刺激设备至少包括视觉刺激系统(32)，控制系统包含配置成从感测系统接收传感器信号的采集模块(53)，和配置成处理来自采集模块的信号并控制给刺激系统的一个或多个设备的刺激信号的生成的控制模块(51)，其中控制系统还包含时钟模块(106)，并且其中控制系统被配置成用来自时钟模块的时钟信号对与刺激信号相关的信号和传感器信号加盖时间戳，通过时间戳的方式使刺激信号能够与传感器信号同步。20.按照权利要求19所述的系统，其中与刺激信号相关的所述加盖时间戳的信号是从刺激系统接收的内容代码信号(39)。21.按照权利要求20所述的系统，其中所述系统还包含显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，显示寄存器被配置成生成用于传输给控制系统的显示内容代码信号，时间戳由时钟模块附加到所述显示内容代码信号。22.按照权利要求19-21任意之一所述的系统，其中感测系统包含选自包括肌电图(EMG)传感器(24)、眼电图(EOG)传感器(25)、心电图(ECG)传感器(27)、惯性传感器(INS)(29)、体温传感器、皮肤电传感器、脉搏血氧饱和度传感器、呼吸传感器的群组的生理传感器。23.按照权利要求19-22任意之一所述的系统，其中感测系统包含确定用户的身体部位的位置和/或运动的位置和/或运动传感器。24.按照权利要求23所述的系统，其中至少一个所述位置/运动传感器包含摄像头(30)和可选的深度传感器(28)。25.按照权利要求19-24任意之一所述的系统，其中刺激系统包含选自包括音频刺激设备(33)、功能电刺激(FES)设备(31)和触觉反馈设备的群组的刺激设备。26.按照权利要求19-25任意之一所述的系统，其中时钟模块被配置成与包括外部计算机的其它系统的时钟模块同步。27.按照权利要求19-26任意之一所述的系统，还包括按照权利要求1-18任意之一所述的系统的附加特征中的任意一个或多个附加特征。
【专利摘要】测量大脑的电活动(EEG)和身体部位的位置/运动(例如，手臂的运动)。呈现移动身体部位或从大脑活动确定的意向运动的虚拟表示，作为向在可以实现为平视显示器的显示器上的对象的反馈。时钟模块可操作以对从脑电活动感测系统和位置/运动检测系统传送的信息加盖时间戳，用于关节处理。该非侵入式基于EEG的大脑-计算机-接口对于中风康复特别有用。
【IPC分类】A61B5/0476, A61B5/145, A61B5/0402, A61B5/0488, A61B5/08, A61B5/00, A61B5/0496, A61B5/04, A61B5/01, A61B5/11
【公开号】CN105578954
【申请号】CN201480052887
【发明人】T·塔迪, G·加里派利, D·曼尼提, N·布尔道德, D·派瑞玛科斯
【申请人】迈恩德玛泽股份有限公司
【公开日】2016年5月11日
【申请日】2014年9月21日
【公告号】WO2015044851A2, WO2015044851A3