施例中，系统10包含眼凝视感测单元100。眼凝视感测单元100包含用于感测用户的凝视方向的一个或多个眼凝视传感器102。在有利的实施例中，眼凝视传感器102包含操作上接近用户的一只或两只眼睛布置的一个或多个摄像头。该摄像头或每个摄像头102可被配置成通过利用瞳孔的中心和红外/近红外非准直光来创建角膜反射(CR)，以追踪眼凝视。然而，要意识到可以使用其它感测手段，例如:眼电图(EOG);或者眼睛附着追踪。将来自运动感测单元42的数据提供给眼睛追踪模块，眼睛追踪模块在下面更详细地讨论，并且处理所述数据，以使显示单元32可以按照眼睛运动来更新显示的VR图像。例如，当用户移动其眼睛以向左看时，显示的VR图像向左平移。虽然这种操作不是必需的，不过它有利于提供更加沉浸的VR环境。为了维持真实性，发现由眼凝视感测单元100感测的运动和更新的VR图像定义的循环的最大延时约为50ms，不过，在有利的实施例中，所述最大延时为20ms或更小。
[0109]在有利的实施例中，可将眼凝视感测单元100布置在头戴式设备18上。例如，可将眼凝视感测单元42附着到显示单元支持物36上，如图4a中所示。
[ono]控制系统12处理来自生理参数感测系统14和位置/运动检测系统16，以及可选的头部运动感测单元40和/或眼凝视感测模块100中的一个或二者的数据，连同提供给输入单元的操作员输入数据，以生成由显示单元32显示的VR(或AR)数据。为了进行这种功能，在图1和2中所示的有利的实施例中，可将控制系统12组织成多个模块，比如:下面讨论的骨骼追踪模块52;生理参数处理模块54; VR生成模块58;头部追踪模块58;和眼凝视追踪模块104。
[0111]骨骼追踪模块52处理来自位置/运动检测系统16的感觉数据，以获得用于VR生成模块58的关节位置/运动数据。在有利的实施例中，如图3b中所示，骨骼追踪模块52包含校准单元60、数据融合单元62和骨骼追踪单元64，现在将讨论这些单元的操作。
[0112]位置/运动检测系统16的传感器26把与用户的整个或部分骨骼结构的位置/运动有关的数据提供给数据融合单元62。所述数据可能还包含与环境有关的信息，例如，用户所在房间的大小和布置。在其中传感器26包含深度传感器30和彩色摄像头28a、28b的例证实施例中，数据包含颜色和深度像素信息。
[0113]数据融合单元62使用该数据以及校准单元62，来生成包含用户的外表面和环境的3D点模型的3D点云。校准单元62包含与传感器26的校准参数有关的数据和数据匹配算法。例如，校准参数可包含与摄像头中的光学元件的形变、颜色校准以及热像素和暗像素丢弃和插值有关的数据。数据匹配算法可操作以匹配来自摄像头28a和28b的彩色图像，以估计相对于从深度传感器30生成的深度图参照的深度图。生成的3D点云包含具有估计的深度的像素的阵列，以使得可在3维坐标系中表示所述像素。还估计和保持像素的颜色。
[0114]数据融合单元62把包含3D点云信息和像素颜色信息的数据，连同彩色图像一起提供给骨骼追踪单元64。骨骼追踪单元64处理该数据，以计算用户的骨骼的位置，并据此估计3D关节位置。在有利的实施例中，为了实现该操作，将骨骼追踪单元组织成几个操作块:I)利用3D点云数据和彩色图像，从环境中分割用户；2)从彩色图像中，检测用户的头部和身体部位;3)从3D点云数据取回用户的骨骼模型；4)使用逆运动学算法连同骨骼模型一起来改善关节位置估计。骨骼追踪单元64把关节位置数据输出给VR生成模块58，VR生成模块在下面更详细地讨论。关节位置数据由时钟模块加盖时间戳，以致可以通过处理给定时间段内的关节位置数据来计算身体部位的运动。
[0115]参见图2和3，生理参数处理模块54处理来自生理参数感测系统14的感觉数据，以提供由VR生成模块58使用的数据。处理后的数据例如可包含和用户移动特定身体部位的意图或者用户的认知状态(例如，响应于移动特定身体部位或者感知的身体部位的运动的认知状态)有关的信息。处理后的数据可用来追踪用户的进展，例如，作为神经康复程序的一部分，和/或向用户提供实时反馈用于增强适应性治疗和恢复，如下面更详细地讨论。
[0116]当用户进行在VR环境中指示的特定身体部位运动/意向运动时，测量并记录皮层活动。在附加的例子中，提供了这种指示的运动的例子。为了测量皮层活动，响应于在VR中可被视为用户的化身的运动/意向运动的执行和/或观察，使用EEG传感器22来提取事件相关电位和事件相关频谱扰动。
[0117]例如，以下频带提供和各种操作有关的数据:在0.1-1.5Hz的范围中，并且出现在大脑的运动区中的皮层慢电位(SCPs)提供和用于运动的准备有关的数据;在大脑的感觉运动区中的μ-节律(8-12HZ)提供与身体部位的运动的执行、观察和想象有关的数据;β振荡(13-30ΗΖ)提供与感觉运动整合和运动准备有关的数据。要意识到可以监视上述电位中的一个或多个电位或者其它合适的电位。在一段时间内监视这种电位可用来提供和用户的恢复有关的信息。
[0118]参见图5，提供传感器20的有利的例证布置，所述布置适合于在用户进行各种感觉运动和/或认知任务时测量神经事件。有利的是布置EOG传感器25，以测量眼睛运动信号。按照这种方式，当处理其它组的信号时，可以隔离和考虑眼睛运动信号，以避免污染。有利的是，可将EEG传感器22布置成多组，以测量大脑的一个或多个区域中的运动区，例如:中央(Cl-C6、Cz);额叶-中央(FC1-FC4、FCZ)；中央-顶叶(CP3、CP4、CPZ)。在有利的实施例中，布置中心侧向EEG传感器Cl、C2、C3和C4，以测量手臂/手运动。中央、额叶-中央和中央-顶叶传感器可用于测量SCP。
[0119]在有利的实施例中，生理参数处理模块54包含重参考单元66，重参考单元66被布置成从生理参数感测系统14接收数据，并被配置成处理所述数据，以减小外部噪声对所述数据的影响。例如，它可处理来自EEG、EOG或EMG传感器中的一个或多个传感器的数据。重参考单元66可包含一个或多个重参考块:合适的重参考块的例子包括乳突电极平均参考和普通平均参考。在该例证实施例中，乳突电极平均参考适用于一些传感器，而普通平均参考适用于所有的传感器。然而，要意识到其它合适的噪声滤波技术可适用于各种传感器和传感器组。
[0120]在有利的实施例中，可将重参考单元66的处理后的数据输出给滤波单元68，然而在其中不存在重参考单元的实施例中，将来自生理参数感测系统14的数据直接提供给滤波单元68。滤波单元68可包含频谱滤波模块70，频谱滤波模块70被配置成对于EEG、EOG和EMG传感器中的一个或多个，对数据进行带通滤波。就EEG传感器来说，在有利的实施例中，对于所述传感器中的一个或多个传感器，数据被带通滤波，以获得在频带:SCP、0、aj、γ、μ、γ、δ中的一个或多个频带上的活动。在有利的实施例中，对于所有的EEG传感器，频带SCP (0.1 -1.5Ηζ)、<^Ρμ(8-12Ηζ)、β(18-30Ηζ)、δ(1.5-3.5Ηζ)、θ(3-8Ηζ)^Ρ γ (30_100Ηζ)被滤波。就EMG和EOG传感器来说，可以应用相似的频谱滤波，不过利用不同的频谱滤波参数。例如，对于EMG传感器，可以应用30Hz高通截止频率的频谱滤波。
[0121 ]替代地或另外地，滤波单元66可包含空间滤波模块72。在有利的实施例中，空间滤波模块72适用于来自EEG传感器的SCP频带数据(其由频谱滤波模块70提取)，然而，空间滤波模块72也适用于其它提取的频带。一种合适的形式的空间滤波是空间平滑，空间平滑包含相邻电极的加权平均，以减小数据的空间变异性。空间滤波还可适用于来自EOG和EMG传感器的数据。
[0122]替代地或另外地，滤波单元66可包含拉普拉斯滤波模块74，拉普拉斯滤波模块74通常用于来自EEG传感器的数据，不过也可适用于来自EOG和EMG传感器的数据。在有利的实施例中，拉普拉斯滤波模块72适用于由频谱滤波模块70提取的EEG传感器的α、μ和β频带数据中的每个，然而，它可适用于其它频带。配置拉普拉斯滤波模块72，以进一步降低噪声并且增大数据的空间分辨率。
[0123]生理参数感测系统14还可包含事件标记单元76。在有利的实施例中，当生理参数感测系统14包含重参考单元和/或滤波单元68时，当被串联布置时，事件标记单元76被布置成从这些单元中的一个或二者接收处理后的数据(如在图3c的实施例中所示)。事件标记单元76可操作以使用由锻炼逻辑单元(下面将更详细地讨论)确定的基于事件的标记来提取各段感觉数据。例如，当从锻炼逻辑单元向用户发送移动身体部位的特定指令时，在所述指令之后的合适的时间帧内提取一段数据。在EEG传感器的例子中，该数据可包含来自特定皮层区的数据，从而测量用户对于所述指令的响应。例如，可向用户发送移动其手臂的指令，并且提取的数据段可包含在所述指令之后的2秒时间段内的皮层活动。其它例证事件可包含:响应于中央电极和中央-顶叶电极中的不常见刺激的电位;作为在运动之前轻微出现的中央SCP(皮层慢电位)的运动相关电位;和误差相关电位。
[0124]在有利的实施例中，事件标记单元被配置成进行下述操作中的一个或多个操作:从SCP频带数据中提取事件相关电位数据段;从γ频带数据中提取事件相关频谱扰动标记数据段;从β频带数据中提取自发数据段。在上述例子中，自发数据段对应于无事件标记的EEG段，并且不同于事件相关电位，其提取取决于事件标记的时间位置。
[0125]生理参数感测系统14还可包含伪迹检测单元78，伪迹检测单元78被布置成从事件标记单元76接收提取的数据段，并且可操作以进一步处理所述数据段，以识别数据段中的特定伪迹。例如，识别的伪迹可包含I)运动伪迹:用户运动对传感器/传感器组的影响；2)电干扰伪迹:来自干线供电的一般50Hz的干扰;3)眼睛运动伪迹:这种伪迹可由生理参数感测系统14的EOG传感器25识别。在有利的实施例中，伪迹检测单元78包含伪迹检测器模块80，伪迹检测器模块80被配置成检测数据段中的特定伪迹。例如，需要删除的错误段，或者错误的并且需要从段中去除的一部分段。有利的实施例还包含伪迹去除模块82，伪迹去除模块82被布置成接收来自事件标记单元76的数据段和从伪迹检测器模块80检测的伪迹，以进行从数据段中去除检测的伪迹的操作。这种操作可包含诸如回归模型之类的统计方法，回归模型可操作以从数据段中去除伪迹而不损失数据段。之后将作为结果的数据段输出给VR生成模块58，在VR生成模块58中，处理所述数据段，以提供可基于运动意图的实时VR反馈，如下面将讨论的。还可存储数据，以使得能够追踪用户的进展。
[0126]在包含其它传感器(比如ECG、呼吸传感器和GSR传感器)的实施例中，要意识到在适用的情况下，可利用上述技术中的一种或多种技术来处理来自这种传感器的数据，例如:降噪;滤波;提取事件相关数据段的事件标记;从提取的数据段中的伪迹去除。
[0127]将头部追踪模块56配置成处理来自头部运动感测单元40的数据，以确定头部运动的程度。将处理后的数据发送给VR生成模块58，在VR生成模块58中处理所述数据，来提供实时VR反馈，以在VR环境中重建相关联的头部运动。例如，当用户移动他们的头部向左看时，显不的VR图像向左移动。
[0128]将眼凝视追踪模块104配置成处理来自眼凝视感测单元100的数据，以确定用户的凝视中的变化。将处理后的数据发送给VR生成模块58，在VR生成模块58中处理所述数据，来提供实时VR反馈，以在VR环境中重建凝视中的变化。
[0129]现在参见图3b，VR生成模块58被布置成从骨骼追踪模块52、生理参数处理模块54，和可选的头部追踪模块56和眼凝视追踪模块104中的一个或二者接收数据，并被配置成处理该数据，以致相对于锻练逻辑单元(下面更详细地讨论)的状态，将所述数据置于上下文中，并基于处理后的数据生成VR环境。
[0130]在有利的实施例中，可将VR生成模块组织成几个单元:锻练逻辑单元84;VR环境单元86 ；身体模型单元88 ；化身姿势生成单元90 ； VR内容整合单元92 ；音频生成单元94 ；和反馈生成单元96。现在将讨论这些单元的操作。
[0131]在有利的实施例中，锻练逻辑单元84可操作以与用户输入设备(比如键盘或其它合适的输入设备)接口。用户输入设备可用来从任务库中选择特定任务，和/或为任务设定特定参数。附加的例子提供这种任务的细节。
[0132]在有利的实施例中，将身体模型单元88布置成从锻练逻辑单元84接收与为选择的任务所需要的身体的特定部位有关的数据。例如，这可包含身体的整个骨骼结构或者诸如手臂之类的身体的特定部位。身体模型单元88之后例如从身体部位库取回所需的身体部位的模型。模型可包含3D点云模型或者其它合适的模型。
[0133]将化身姿势生成单元90配置成基于来自身体部位模型88的身体部位的模型生成化身。
[0134]在有利的实施例中，将VR环境单元86布置成从锻练逻辑单元84接收与为选择的任务所需要的特定物体有关的数据。例如，所述物体可包含将向用户显示的盘或球。
[0135]可将VR内容整合单元布置成接收来自化身姿势生成单元90的化身数据和来自VR环境单元86的环境数据，并在VR环境中整合所述数据。之后将整合后的数据传送给锻练逻辑单元58，并且还输出给反馈生成单元86。将反馈生成单元86布置成把VR环境数据输出给头戴式设备18的显示装置34。
[0136]在任务的操作期间，锻练逻辑单元84接收来自骨骼追踪模块64的包含关节位置信息的数据、来自生理参数处理模块54的包含生理数据段的数据、来自身体模型单元88的数据和来自VR环境单元86的数据。锻练逻辑单元84可操作以处理关节位置信息数据，该数据转而被发送给化身姿势生成单元90，用于进一步处理和随后显示。锻练逻辑单元84可以可选地操纵该数据，以使该数据可用来向用户提供VR反馈。这样的处理和操纵的例子包括错误运动的放大;导致正强化的运动的自动校正;一个肢体到另一个肢体的运动的映射。
[0137]当用户移动时，通过锻练逻辑单元84检测与如在VR环境中由VR环境单元86定义的物体的相互作用和/或碰撞，以进一步更新提供给用户的反馈。
[0138]锻练逻辑单元84还可提供音频反馈。例如，音频生成单元(未示出)可从锻练逻辑单元接收音频数据，所述音频数据随后由反馈单元94处理，并输出给用户，例如通过安装到头戴式设备18上的耳机(未示出)。可使音频数据与视觉反馈同步，例如以更好地指示与VR环境中的物体的碰撞，并且提供更加沉浸的VR环境。
[0139]在有利的实施例中，锻练逻辑单元84可向生理参数感测系统14发送指令，以经由生理参数感测系统14的传感器20中的一个或多个传感器向用户提供反馈。例如，EEG 22和/或EMG 24传感器可被供给被转移给用户的电位。参考附加例子，这种反馈可在任务期间提供。例如，在其中不存在手臂运动的阶段5，可向布置在手臂上的EMG 24传感器和/或EEG传感器发送电位，以试图刺激用户移动他们的手臂。在另一个例子中，可在任务开始之前(例如，设定的任务之前的一段时间)提供这种反馈，以试图增强记忆和学习的状态。
[0140]在有利的实施例中，控制系统包含时钟模块106。时钟模块可用来向输入和输出及处理的数据和各个阶段分配时间信息。时间信息可用来确保数据被正确处理，例如，按正确的时间间隔组合来自各个传感器的数据。这特别有利于确保来自各个传感器的多模态输入的精确的实时处理，并且生成给用户的实时反馈。可将时钟模块配置成与控制系统的一