个或多个模块接口，以对数据加盖时间戳。例如:时钟模块106与骨骼追踪模块52接口，以对从位置/运动检测系统16接收的数据加盖时间戳;时钟模块106与生理参数处理模块54接口，以对从生理参数感测系统14接收的数据加盖时间戳;时钟模块106与头部追踪模块58接口，以对从头部运动感测单元40接收的数据加盖时间戳;时钟模块106与眼凝视追踪模块104接口，以对从眼凝视感测单元100接收的数据加盖时间戳。VR生成模块58上的各种操作也可与时钟模块接口，以对数据(例如输出给显示装置34的数据)加盖时间戳。
[0141]和把几个独立设备连接在一起的复杂的常规系统不同，在本发明中，同步发生在(用于感测和刺激二者的)数据生成的源头处，从而确保具有最小延时、并且重要的是低抖动的精确的同步。例如，对于具有60Hz的刷新速率的立体头戴式显示器，延迟会小到16.7ms。就常规的独立或单独系统的组合来说，目前这是不可能的。本发明的一个重要特征在于能够组合不同种类的全套数据，在源头把它们同步到专用系统体系结构中，用于确保具有最小延时的多模态反馈。可穿戴的紧凑式头戴式设备允许容易地记录来自大脑和其它身体部位的生理数据。
[0142]同步概念:
[0143]延时或延迟(T):它是用户的实际动作或大脑状态的时刻与其对应的反馈/刺激的时刻之间的时间差。在典型应用中，它是正常数。抖动(AT)是在延时或延迟方面的试验间偏差。对于需要例如沉浸式VR或AR的应用，延时T和抖动AT都应被最小化到最小可能值。尽管在大脑计算机接口和离线应用中，可以牺牲延时T，但是抖动△ T应尽可能小。
[0144]参见图1a和lb，示意地图解说明了两种常规的现有系统体系结构。在这些系统体系结构中，可在一定程度上确保同步，但是抖动(AT)未被完全最小化。
[0145]设计-K图1a):
[0146]在此设计中，在获取经由USB连接或串行连接获取的EEG信号的同时，视觉线索被提供给用户的时刻被直接登记在计算机中。意味着计算机假定登记从用户的大脑获取的EEG信号的时刻是向用户显示线索的时刻。注意在此设计中，存在固有延迟和抖动。首先归因于与计算机的USB/串行端口连接，把样本登记到计算机中具有非零的可变延时。其次，从计算机发出显示命令的时刻，其经历归因于底层的显示驱动器、图形处理单元和信号传播的也不是常量的各种延迟。从而这两种延迟相加，并且损害视觉诱发电位的对准。
[0147]设计-1I(图1b):
[0148]为了避免以上问题，已知利用光电二极管来测量线索，并使其信号直接与EEG放大器同步。在此设计中，通常将光电二极管放置在显示器上以感测光。通常，在屏幕的附着有光电二极管的部分被点亮的同时，线索被呈现给用户。这样，利用光电二极管登记呈现线索的时刻，并提供给EEG放大器。这样，在源头直接使EEG和视觉线索信息同步。对于点亮视觉诱发试验，此过程精确，然而具有许多缺陷:
[0149].它可以编码的视觉线索的数目受限于光电二极管的数目。典型的基于虚拟现实的视觉刺激必须精确地登记大量的事件连同生理信号。
[0150].在头戴式显示器的典型微显示器(例如，I平方英寸大小，具有800 X 600的像素密度)中使用光电二极管会比较困难，并且更糟的是会降低可用性。另外注意为了光电二极管起作用，应向二极管提供足够的光，从而导致局限。
[0151 ].当需要使多个刺激(比如音频刺激、磁刺激、电刺激和机械刺激)和多个传感器数据(比如EEG、EMG、ECG、摄像头、惯性传感器、呼吸传感器、脉搏血氧饱和度、皮肤电位等)同步时，上述缺陷被进一步复杂化。
[0152]在本发明的实施例中，解决了上述缺陷，以提供一种精确并且可扩展为许多不同传感器和许多不同刺激的系统。这是通过采用提供时间戳信息的集中式时钟系统来实现的，并且每个传感器的样本与时间戳相关地登记。
[0153]在实施例中，有利的是，每个刺激设备装备嵌入式传感器，所述嵌入式传感器的信号由同步设备登记。这样，控制器可以解读多个传感器数据，并且可以为系统的进一步操作精确地解读刺激数据。
[0154]在实施例中，为了减少来自每个传感器的待同步的数据量，代替利用真实传感器，可以读取来自显示寄存器的视频内容代码。
[0155]参见图2a，示意地图解说明本发明的其中使提供给头戴式设备上的微显示器的内容与大脑活动信号(例如，EEG信号)同步的实施例。
[0156]通常，首先将在控制系统中生成的视觉/视频内容推送给显示寄存器(在显示器上激活视频内容之前的最终阶段)。在我们的设计中，连同视频内容一起，控制器把代码发送给与一个或多个像素(不太多的像素，以使用户不被干扰;推荐微显示器中的角落像素，因为它们对于用户可能不可见)对应的寄存器的一部分(比方说N位)。代码将由控制器定义，描述显示内容具体是什么。现在利用时钟信号，采集模块从显示寄存器读取代码，并附加时间戳，并且发送给接下来的模块。同时，EEG样本也被采样，并被附加相同的时间戳。这样，当使EEG样本和视频代码样本到达控制器时，可以相应地解读这些样本。
[0157]注意，在具有单一时钟的一个嵌入式系统中采用所有这些模块。这导致最小延时以及最小抖动。
[0158]相同的原理可用于音频刺激，如图2b中图解所示。音频刺激可由发送给数模(DAC)转换器的数据采样。
[0159]更一般地，利用传感器和模数(ADC)转换器，如图2c中图解所示，可将任意种类的刺激(比如经颅刺激(tACS)、tDCS、TMS等)引导到采集模块。如在音频刺激的情况下图解所示，这也可通过发送供给DAC的数字信号来实现。在相同的构架中，使来自EEG、摄像头数据或任何其它传感器(例如，INS:惯性传感器)的多个数据同步。注意，每个传感器或刺激可利用不同的采样频率来采样。重点在于传感器或刺激数据样本被附加时钟模块定义的时间戳。
[0160]例1:例证的“伸手去拿物体”任务中的系统(1)的操作
[0161]在该特定例子中，在VR环境112中向用户显示诸如3D盘之类的物体110。指示用户利用其虚拟手臂114去拿物体。在第一种情况下，基于从位置/运动检测系统16的传感器得到的来自骨骼追踪模块16的数据，动画表现手臂114。在第二种情况下，其中由骨骼追踪模块16检测的运动可忽略不计或者未检测到运动，那么运动基于由生理参数感测系统14检测的、来自生理参数处理模块52的与意向运动相关的数据，并且特别地，所述数据可来自EEG传感器22和/或EMG传感器24。
[0162]图7和8a_8g更详细地说明该处理。在图7中的阶段I，诸如患者或操作员之类的用户与VR生成模块58的锻练逻辑单元84的用户输入设备接口，以从可存储的任务库选择任务。在这个例子中，选择“伸手去拿物体任务”。在这个阶段，可向用户提供先前类似任务的结果108，如图8a中所示。可提供这些结果，以帮助选择特定任务或任务难度。用户还可例如基于先前任务的成功的程度，输入参数来调节任务的难度。
[〇163] 在阶段2，锻练逻辑单元84初始化任务。这包含锻练逻辑单元84与VR环境单元86接口，以从部件库取回与选择的任务相关联的部件(比如盘110)的步骤。锻练逻辑单元84还与身体模型单元88接口，以从身体部位库取回与锻练相关联的身体部位(在此例子中，单个手臂114)的3D点云模型。随后将身体部位数据提供给化身姿势生成单元90，使得可以创建身体部位114的化身。VR内容整合单元92接收与身体部位的化身和VR环境中的部件相关的数据，并在VR环境中整合这些数据。该数据之后由锻练逻辑单元84接收，并被输出给头戴式设备18的显示装置34，如图Sb中所示。通过把用于用户沿其移动手臂114的手115的目标路径118例如着色成蓝色，指示该目标路径118。
[0164]在阶段3，锻练逻辑单元84询问骨骼追踪模块16，以判定是否发生了任何手臂运动。手臂运动得自于用户穿戴的位置/运动检测系统16的传感器。如果发生可忽略不计的运动量(例如，小于预定量的量，其可由用户的状态和运动的位置确定)或者未发生运动，那么执行阶段5，否则执行阶段4。
[0165]在阶段4，锻练逻辑单元84处理运动数据，以判定运动是否正确。如果用户已在正确的方向上(例如沿着目标路径118，朝着物体110)移动他们的手115，那么执行阶段4a，并且目标路径的颜色可改变，例如，将其着色成绿色，如图Sc中所示。否则，如果用户在不正确的方向上(例如远离物体110)移动他们的手115，那么执行阶段4b，并且目标路径的颜色可改变，例如，将其着色成红色，如图8d中所示。
[0166]在阶段4a和4b之后，执行阶段4c，在阶段4c中锻练逻辑单元84判定手115是否触及物体110。如果手已触及物体，如图Se中所示，那么执行阶段6，否则重新执行阶段3。
[0167]在阶段5，锻练逻辑单元84询问生理参数处理模块52，以判定是否已经发生任何生理活动。生理活动得自于用户穿戴的生理参数感测系统模块14的传感器，例如EEG和/SEMG传感器。可以将EEG和EMG传感器结合以改善检测率，并且在缺乏来自一种类型的传感器的信号时，可以使用来自另一种类型的传感器的信号。如果存在这种活动，那么它可由锻练逻辑单元84处理，并与手115的运动相关。例如，可以使用来自生理参数处理模块52的事件相关数据段的特性(比如信号的一部分的强度或持续时间)来计算手115运动的幅度。之后执行阶段6。
[0168]在阶段6a，如果用户已成功完成任务，那么为了向用户提供反馈116，则可以计算奖励得分，所述奖励得分可以基于计算的手115运动的轨迹的精确性。图Se示出向用户显示的反馈116。来自先前任务的结果也可被更新。
[0169]之后执行阶段6b，在阶段6b中，生理参数感测系统模块14的传感器(例如EEG和EMG传感器)的标记强度可用来提供反馈118。图Sf示出向用户显示的反馈120的例子，其中将标记强度显示成最大值的百分率。来自先前任务的结果也被更新。之后，执行阶段7，在阶段7中终止任务。
[0170]在阶段8，如果在设定的时间段内，不存在由生理参数感测系统模块14的传感器，或者位置/运动检测系统16的传感器提供的数据，那么发生超时122，如在图Sg中所示，并且执行阶段7。
[0171]例2:具有利用头戴式显示器、机器人系统和功能电刺激的虚拟现实反馈的混合大脑计算机接口
[0172]目的:向具有由神经问题(例如，ALS、中风、脑损伤、闭锁综合症、帕金森疾病等)引起的上肢运动障碍的患者提供最佳训练。这些患者需要训练来重整丧失/退化的运动功能。读取他们的进行功能性运动的意图，并在完成所述运动方面提供帮助的系统可增强康复成果O
[0173]为此，在重整丧失的运动功能方面，系统可采用Hebbian学习使大脑的输入区和输出区相关联。Hebbian原理是“同时重复活动的大脑中的细胞的任意两个系统将趋向于变得’关联’，以使一个细胞系统中的活动促进另一个细胞系统中的活动”。
[0174]在本例中，两个细胞系统是大脑的涉及感觉处理和生成运动命令的区域。当关联由于神经损伤而丧失时，经由Hebbian训练可以修复或重建所述关联。为了此训练的最佳结果，必须确保系统输入和输出的近乎完美的同步，并且以小延迟、更重要的是抖动几乎可忽略不计地向患者提供实时多感官反馈。
[0175]图9中图解所示的物理实施例包含可穿戴系统，所述可穿戴系统具有在微显示器上显示虚拟现实3D视频内容(例如，以第一人的视角)的头戴式显示器(HMD)18、立体视频摄像头30和深度摄像头28(运动追踪单元)，所述立体视频摄像头30和深度摄像头28的数据用于追踪穿戴者自己的手臂、物体和在视野之内的任意第二人。另外，放置在穿戴者I头上的EEG电极22、放置在手臂上的EMG电极24将分别测量大脑和肌肉的电活动，用于推断用户进行目标导向运动的意图。另外，存在用于追踪头部运动的惯性测量单元(IMU)29。在虚拟现实显示器中呈现执行或意向的运动。在通过生理传感器数据(即，EEG、EMG和运动追踪)，有运动的迹象的情况下，反馈机制利用机器人系统41帮助患者进行目标导向运动。此外，功能电刺激(FES)系统31激活手臂的肌肉完成计划的运动。另外，反馈机制应当提供和运动意图紧密耦合的适当刺激，以确保Hebbian学习机制的实现。在下面的文本中，我们描述实现传感器数据和刺激数据的高质量同步的体系结构。
[0176]下面的段落描述进行典型的目标导向任务方面的典型试验，所述目标导向任务可由患者重复数次以完成典型训练期。如图10中所示，当显示在HMD中时，3D视觉线索81(在这种情况下，门把手)指示患者I进行与开门对应的运动。遵循该视觉线索，患者可试图进行建议的运动。与视觉线索的呈现时刻同步地获得传感器数据(EEG、EMG、頂U、运动数据)。控制系统51随后提取传感器数据，推断用户意图，在通过移动手臂的机器人41向用户提供反馈方面达成共识，并且HDM显示基于推断的数据而动画表现的化身83的运动。还使功能电刺激(FES) 31与其它反馈一起同步，以确保它们之间的一致。
[0177]图2d中图解说明这种系统的例证体系结构。采集单元获取生理数据(S卩，EEG22、EMG 24、MU 29和摄像头系统30)。摄像头系统数据包括立体视频帧和深度传感器数据。另夕卜，刺激相关的数据，比如在HMD上显示视频的特定图像帧的时刻，机器人的运动数据、传感器23的数据和FES 31刺激数据也由采集单元53采样。采集单元53使每个传感器和刺激样本与从时钟输入获得的时间戳(TS)相关联。同步的数据随后由控制系统处理，并且用在通过VR HMD显示器、机器人运动以及FES刺激，生成给用户的适当的反馈内容中。
[0178]系统的输入:
[0179]-惯性测量单元(MU)传感器29，例如包括加速度计、陀螺仪、磁力计:用途，追踪头部运动。该数据用于呈现VR内容，以及在数据质量可能因运动而恶化的情况下分割EEG数据。
[0180]-摄像头系统30、28:摄像头系统包括立体摄像头30和深度传感器28。结合这两个传感器的数据，以计算穿戴者自身上肢的运动的追踪数据，并且用于追踪穿戴者自身的手臂运动。这些运动随后用于在微显示器32上在虚拟现实中动画表现化身，和检测是否存在目标导向运动，所述目标导向运动随后用于通过显示器32、机器人41和刺激设备FES 31来触发反馈。传感器EEG 22&EMG 24用于推断是否存在进行目标导向运动的意图。
[0181]系统/反馈系统的输出
[0182]-头戴式设备18的微显示器34:呈现2D/3D虚拟现实内容，在所述2D/3D虚拟现实内容中，穿戴者体验虚拟世界的第一人视角以及他自己的化身，所述化身的手臂与他自己的运动有关地移动。
[0183]-机器人系统41:本发明中描述的机器人系统用于在用户I握着触觉旋钮的情况下，驱动手臂的运动。系统提供一系列运动以及日常生活的活动的自然运动的触觉反馈。
[0184]-功能电刺激(FES)设备31:将FES系统的胶粘电极放置在用户的手臂上以刺激神经，当被激活时，所述神经可以修复丧失的手臂的自发运动。另外，作为结果的手的运动导致给大脑的动觉反馈。
[0185]数据处理
[0186]下面的段落描述从输入到输出为止的数据操纵。
[0187]采集单元53:
[0188]采集单元53的说明确保系统的输入/传感器数据和输出/刺激/反馈的近乎完美的同步，如图11中图解所示。每个传感器数据可具有不同的采样频率，并且归因于非共享的