内部时钟，每个传感器数据的采样不会在完全相同的时刻开始。在这个例子中，EEG数据的采样频率为IkHz，EMG数据为1KHz，MU数据为300Hz，摄像头数据为120帧/秒(fps)。类似地，刺激信号具有不同的频率，其中显示器刷新速率为60Hz，机器人传感器为IKHz，而FES数据为IKHz。
[0189]采集单元53目的在于精确地解决输入和输出的同步的问题。为了实现这一点，或者利用专用传感器感测系统的输出，或者从在刺激之前的阶段间接记录系统的输出，例如如下所示:
[0190]?感测微显示器:通常，首先将在控制系统中生成的视频内容推送给显示寄存器35(在显示器上激活视频内容之前的最后阶段)。连同视频内容一起，控制器把代码发送给与一个或多个像素(不太多的像素，以使用户不被干扰)对应的寄存器的一部分(比方说N位)。优选微显示器中的角落像素，因为它们对于用户可能不可见。代码(总共2~N)可由控制器或者锻练逻辑单元定义，描述显示内容。
[0191]?感测FES:可以从FES数据的最后的生成阶段(S卩，从DAC)读取FES数据。
[0192]?感测机器人的运动:机器人电动机嵌有提供关于电动机的角位移、转矩和其它控制参数的信息的传感器。
[0193]现在利用具有优选地远高于输入和输出的频率的频率(例如，IGHz)，但是至少2倍于传感器和刺激单元之中的最高采样频率的时钟信号，采集模块读取传感器样本并附加时间戳，如图12中图解所示。当传感器的样本从其ADC 37a到达时，其到达时间用时钟信号的下一个即时上升沿标注。类似地，对于每个传感器和刺激数据关联时间戳。当这些样本到达控制器时，它按照到达的时间戳解读样本，导致最小化传感器和刺激间的抖动。
[0194]生理数据分析
[0195]生理数据信号EEG和EMG是噪声电信号，并且优选利用适当的统计方法被预处理。另外，通过在抖动可忽略不计的情况下，更好地使刺激和行为的事件与生理数据测量同步，也可减小噪声。
[0196]图13图解说明预处理的各个阶段(滤波阶段68、历元提取和特征提取阶段)。首先在各个频带(例如，对于皮层慢电位来说0.1-1Hz、对于α波和R0Iandicy节律来说8-12Hz、对于β频带来说18-30ΗΖ、对于γ频带来说30_100Ηζ)中，对来自所有电极的EEG样本频谱滤波。这些频带中的每个包含在不同位置的神经振荡的不同方面。在该阶段之后，信号经历空间滤波，以另外改善信噪比。空间滤波包括诸如普通的平均去除到具有高斯窗或拉普拉斯窗的空间卷积的简单处理。在该阶段之后，基于从事件管理器71到来的事件标记，输入的样本被分割到时间窗口。这些事件对应于患者被给予刺激或者作出响应的时刻。
[0197]随后将这些EEG段提供给特征提取单元69，在特征提取单元69中首先进行时间校正。时间校正的一个简单例子是从来自选择的频带数据的试验数据去除基线或偏移。利用诸如离群点检测之类的统计方法，评估这些试验的质量。另外，如果存在通过IMU传感器数据登记的头部运动，那么试验被标注为伪迹试验。最后，根据很好地描述底层的神经处理的每个试验来计算特征。随后将这些特征提供给统计单元67。
[0198]类似地，EMG电极样本首先被频谱滤波，并且被施加空间滤波。从EMG信号的包络或功率获得运动信息。类似于EEG试验，EMG频谱数据被分割，并且被传给特征提取单元69。随后将EMG特征数据的输出发送给统计单元67。
[0199]统计单元67结合各个生理信号和运动数据，以解读用户进行目标导向运动的意图。该程序单元主要包括用于在特征的解读中的检测、分类和回归分析的机器学习方法。该模块的输出是驱动锻练逻辑单元84中的锻练的逻辑的意图概率和相关参数。该锻练逻辑单元84生成刺激参数，随后将所述刺激参数发送给刺激系统17的反馈/刺激生成单元。
[0200]在所有这些阶段中，确保具有最小的时滞，并且更重要的是最小的抖动。
[0201 ] 事件检测&事件管理器
10202] 诸如刺激患者或者在VR显示器中向患者呈现指令的时刻、患者进行动作的时刻之类的事件是生理数据的解读所必需的。图14图解说明事件检测。需要检测与运动对应的事件以及外部物体或第二人的事件。为此，在追踪单元模块73中整合来自摄像头系统30(立体摄像头和来自深度传感器的3D点云)的数据，以产生各种追踪信息，比如:(i)患者的骨骼追踪数据，(ii)物体追踪数据，和(iii)第二用户追踪数据。基于行为分析的要求，这些追踪数据可用于生成各种事件(例如，患者抬起他的手去握着门把手的时刻)。
[0203]MU数据提供头部运动信息。分析该数据以得到诸如用户移动头部以看向虚拟门把手之类的事件。
[0204]视频显示代码对应于视频内容(例如，虚拟门把手的显示或者任何视觉刺激)。这些代码还表示视觉事件。类似地，检测FES刺激事件、机器人运动和触觉反馈事件，并传送到事件管理器71中。包括运动分析器75a、IMU分析器75b、FES分析器75c和机器人传感器分析器75d的分析器模块75为事件管理器71处理各种传感器和刺激信号。
[0205]事件管理器71随后发送这些事件，用于标记生理数据、运动追踪数据等。另外，这些事件也被发送给锻练逻辑单元，用于为患者适应锻练或挑战的动态。
[0206]控制系统的其它方面
[0207]控制系统解读输入的运动数据，从生理数据解读意图概率，激活锻练逻辑单元，并且生成刺激/反馈参数。以下块是控制系统的主要部分。
[0208]-VR反馈:运动数据(骨骼追踪、物体追踪和用户追踪数据)用于以化身和虚拟物体的形式，在头戴式显示器上呈现3D VR反馈。
[0209]-锻练逻辑单元84:锻练逻辑单元实现包括给患者的指令和挑战(按各种难度等级进行的目标任务)的视觉显示帧序列。该逻辑单元还对事件管理器71的事件作出响应。最后，该单元把刺激参数发送给刺激单元。
[0210]-机器人&FES刺激生成单元:该单元生成为进行机器人系统41的目标运动所需的输入和相关联的触觉反馈。另外，可以使用于FES模块的刺激模式(电流强度和电极位置)同步并且适合于患者。
[0211]例3:具有增强现实反馈的大脑计算机接口和运动数据激活的神经刺激
[0212]旦廹
[0213]系统可提供与患者在真实世界中进行的动作有关的精确神经刺激，导致用于意向行为的神经模式的强化。
[0214]巡里
[0215]利用摄像头系统捕捉用户的动作以及场景中的第二人和物体的动作，用于行为分析。另外，在使模式(EEG、EC0G等)之一与頂U数据同步的情况下，记录神经数据。从摄像头系统捕捉的视频与虚拟物体交织，以生成3D增强现实反馈，并通过头戴式显示器提供给用户。最后，在控制系统中生成适当的神经刺激参数，并发送给神经刺激。
[0216]由于用户的行为和生理测量之间的延迟和抖动，神经刺激应被优化，用于有效地强化神经模式。
[0217]这个例子的实现类似于例2，除了头戴式显示器(HMD)显示增强现实内容而不是虚拟现实之外(参见图2e)。意味着虚拟物体被嵌入利用立体摄像头捕捉，并显示在微显示器上的3D场景中，以确保场景的第一人视角。另外，通过诸如深部大脑刺激和皮层刺激，和诸如经颅直流电刺激(tDCS)、经颅交流电刺激(tACS)、经颅磁刺激(TMS)和经颅超声刺激之类的非侵入式刺激，实现直接神经刺激。有利的是，系统有时可使用一种或不止一种刺激形式来优化效果。该系统采用在例I中描述的采集单元。
[0218]在下面的段落§1-§41中，总结了生理参数测量和运动追踪系统的实施例的各个方面或结构:
[0219]§1.一种生理参数测量和运动追踪系统，包含:向用户显示信息的显示系统；包含配置成感测用户的大脑中和/或用户的肌肉中的电活动的一个或多个感测装置的生理参数感测系统，生理参数感测单元可操作以提供与用户的大脑和/或肌肉中的电活动有关的电活动信息;配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测单元;布置成接收来自生理参数感测系统的电活动信息和来自位置/运动检测系统的身体部位位置信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示所述目标位置信息，控制系统还被配置成基于身体部位位置信息向显示系统提供第四条信息，所述第四条信息向用户提供身体部位的运动或者与身体部位的运动相关的运动的视图，控制系统还被配置成基于电活动信息测量对于显示的身体部位的运动的生理和/或行为响应。
[0220]§2.—种生理参数测量和运动追踪系统，包含:向用户显示信息的显示系统；包含配置成感测用户的大脑和/或肌肉中的电活动的一个或多个感测装置的生理参数感测系统，生理参数感测系统可操作以提供与用户的大脑和/或肌肉中的电活动有关的电活动信息;布置成接收来自生理参数感测系统的电活动信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示所述目标位置信息，控制系统还被配置成至少部分基于电活动信息向显示系统提供第四条信息，所述第四条信息向用户提供身体部位的运动或者身体部位的意向运动的视图。
[0221]§3.按照段落§2所述的生理参数测量和运动追踪系统，包括:配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测系统;控制系统还被配置成接收来自位置/运动检测系统的身体部位位置信息，其中控制系统被配置成判定是否由位置/运动检测系统感测到不存在运动或者存在小于预定量的运动量，并且如果判定无运动或者运动量小于预定量，那么至少部分基于电活动信息向显示系统提供第四条信息，以使显示的身体部位的运动至少部分基于电活动信息。
[0222]§4.按照段落§3的生理参数测量和运动追踪系统，其中如果由位置/运动检测系统感测的运动量在预定量之上，那么控制系统可操作以基于身体部位位置信息来提供所述第四条信息。
[0223]§5.按照上述段落§1_§4任意之一所述的生理参数测量和运动追踪系统，其中控制系统被配置成向显示装置提供第五条信息，以向用户提供与在身体部位的运动或者身体部位的意向运动的完成之后获得的电活动信息的参数有关的反馈。
[0224]§6.按照段落§5所述的生理参数测量和运动追踪系统，其中所述参数是根据感测的信号强度的幅度和/或持续时间计算的。
[0225]§7.按照上述段落§1_§6任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含一个或多个EEG传感器和/或一个或多个ECOG传感器和/或一个或多个单或多单元记录芯片，前述传感器用于测量用户的大脑中的电活动。
[0226]§8.按照上述段落§1_§7任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含测量用户的肌肉中的电活动的一个或多个EMG传感器。
[0227]§9.按照上述段落§1_§8任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含一个或多个GSR传感器，生理参数感测系统可操作以把来自该或每个GSR传感器的信息提供给控制单元，控制单元可操作以处理所述信息，以确定用户的动机的水平。
[0228]§10.按照上述段落§1-§9任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含一个或多个:呼吸传感器;和/或一个或多个ECG传感器;和/或温度传感器，生理参数感测系统可操作以把来自该或每个前述传感器的信息提供给控制单元，控制单元可操作以处理所述信息，以预测和用户的状态对应的事件。
[0229]§11.按照上述段落§1和§3_§10任意之一所述的生理参数测量和运动追踪系统，其中位置/运动检测系统包含可操作以提供用户的图像流的一个或多个摄像头。
[0230]§12.按照段落§11所述的生理参数测量和运动追踪系统，其中摄像头包含深度感测摄像头和一个或多个彩色摄像头。
[0231]§13.按照上述段落§1_§12任意之一所述的生理参数测量和运动追踪系统，其中控制系统可操作以向生理参数感测系统供给信息，使得信号被提供给传感器，以刺激用户的运动或状态。
[0232]§14.按照上述段落§1_§13任意之一所述的生理参数测量和运动追踪系统，包含时钟模块，所述时钟模块可操作以对往来于下述中的一个或多个传送的信息加盖时间戳:生理参数感测系统;位置/运动检测系统;控制系统;显示系统，所述系统可操作以处理所述信息，以使生理参数测量和运动追踪系统的实时操作成为可能。
[0233]§15.—种用于测量用户的生理参数并提供虚拟现实显示的头戴式设备，包含:可操作以向用户显示虚拟现实图像或增强现实图像或混合现实或视频的显示系统;包含多个传感器的生理参数感测系统，所述传感器可操作以测量用户的大脑中的电活动，所述多个传感器被布置以使它们分布于用户的大脑的感觉和运动区。
[0234]§16.按照段落§15所述的头戴式设备，其中传感器被布置以使它们分布于用户的相当大部分头皮上。
[0235]§17.按照上述段落§15-§16任意之一所述的头戴式设备，其中按至少I个传感器/1cm2的密度布置传感器。
[0236]§18.按照上述段落§15_§17任意之一所述的头戴式设备，其中将传感器成组布置，以测量大脑的特定区域中的电活动。
[0237]§19.按照上述段落§15_§18任意之一所述的头戴式设备，其中显示单元安装在显示单元支持物上，将所述显示单元支持物配置成围绕用户的眼睛、并且至少部分围绕用户的后脑延伸。
[0238]§20.按照上述段落§15_§19任意之一所述的头戴式设备，其中传感器连接到柔性的头盖形传感器支持物，所述头盖形传感器支持物被配置成在用户的头部的相当大部分上延伸。
[0239]§21.按照段落§20所述的头戴式设备，其中头盖形传感器支持物包含帽子，所述帽子在边缘连接到显示单元支持物。
[0240]§22.按照段落§20所述的头戴式设备，其中头盖形传感器支持物包含上面安装传感器的板子，所述板子连接到配置成围绕用户的头顶延伸的带子，所述带子在其端部连接到显示系统支持物，并被布置成近似垂直于所述支持物。
[0241]§23.按照段落§20所述的头戴式设备，其中头盖形传感器支持物包含多个衬垫，第一组衬垫被布置成从第一衬垫支持物延伸，所述第一衬垫支持物沿近似正交的方向从显示单元支持物延伸，第二组衬垫被布置成从第二衬垫支持物延伸，所述第二衬垫支持物沿近似正交的方向从显示单元支持物延伸。
[0242]§24.按照段落§15_§23任意之一所述的头戴式设备，其中生理参数感测系统包含诸如EEG传感器之类的一个或多个非侵入式传感器。
[0243]§25.按照段落§15_§24任意之一所述的头戴式设备，其中生理参数感测系统包含诸如ECOG传感器之类的一个或多个侵入式传感器。
[0244]§26.按照段落§15_§25任意之一所述的头戴式设备，其中生理参数感测系统包含一个或多个眼睛运动传感器，该或每个眼睛运动传感器操作上接近用户的一只或两只眼睛地布置在头戴式设备上。
[0245]§27.按照段落§26所述的头戴式设备，其中该或每个眼睛运动传感器可操作以感测由眼睛运动引起的电活动。
[0246]§28.按照段落§27所述的头戴式设备，其中该或每个眼睛运动传感器是EOG传感器。
[0247]§29.按照段落§15-§28任意之一所述的头戴式设备，其中头戴式设备还包含可操作以检测用