用于神经康复的系统和方法与流程

本申请要求于2016年4月14日提交的标题为“systemsandmethodsforneurologicrehabilitation”的美国临时专利申请no.62/322,504的优先权，该申请通过引用整体并入本文。

本公开一般而言涉及用于通过提供音乐疗法来使患有身体损伤的用户康复的系统和方法。

背景技术：

过去十年中的许多对照研究强调了音乐在神经康复中的临床作用。例如，已知有条理的音乐疗法直接实现认知、运动和语言增强。听音乐的过程以多种形式增强大脑活动，点燃与注意力、语义处理、记忆、认知、运动功能和情绪处理相关的广泛的大脑区域双向网络。

临床数据支持增强记忆、注意力、执行功能和情绪的音乐疗法。关于音乐背后神经机制的pet扫描研究表明，愉快的音乐可以刺激皮质和皮质下区域之间的广泛网络，包括腹侧纹状体、伏隔核、杏仁核、脑岛、海马、下丘脑、腹侧被盖区、前扣带、眶额皮质、和腹侧正中前额叶皮质。腹侧被盖区产生多巴胺，与杏仁核、海马、前扣带和前额叶皮层直接相连。这种可以通过音乐激活的中脑皮质系统在调节唤醒、情绪、奖励、记忆注意力和执行功能方面起着关键作用。

神经科学研究已经揭示了音乐中的记忆形成的基本组织过程如何与非音乐记忆过程共享机制。短语分组、分层抽象和音乐模式的基础与非音乐记忆过程的时间分块原则有直接的相似之处。这意味着用音乐激活的记忆过程可以翻译和增强非音乐过程。

因而，仍然需要用于保护用户身份的使用和安全地提供个人信息的改进设备、系统和方法。

技术实现要素：

在所公开的主题的一方面，提供了一种通过提供音乐疗法来使患有身体损伤的患者康复的方法，该方法在具有由机器可读指令配置的一个或多个物理处理器的计算机系统上实现，当指令被执行时，执行该方法，该方法包括从患者接收关于患者的重复移动的生物力学数据并确定基线状况；基于基线状况确定具有恒定频率的基线节拍节奏；向患者提供音乐，该音乐具有处于基线节拍节奏的节拍信号；为患者提供线索，以在时间上利用相关联的节拍信号执行每个重复移动；接收患者的带时间戳的生物力学数据，该数据与患者在时间上利用基线节拍信号执行的重复移动相关；分析生物力学数据，以识别重复移动的一个或多个周期的开始时间；基于开始时间和相关联的节拍信号确定夹带参数；基于夹带参数修改基线节拍节奏；并确定是否已达到目标节拍节奏。

在一些实施例中，该方法包括测量生物力学数据。来自患者的生物力学数据包括与患者的移动相关联的运动、加速度和压力。在一些实施例中，测量来自患者的生物力学数据包括捕获与患者的移动相关联的视频。

在一些实施例中，测量来自患者的生物力学数据包括将数据从与患者相关联的传感器发送到计算机系统。

在一些实施例中，测量来自患者的生物力学数据包括提取与步幅长度、步调、速度、行进距离、足跟着地压力或患者步态的对称性对应的数据。

在一些实施例中，向患者提供线索以执行重复移动包括向患者提供视觉或听觉线索。可以提供手持设备以显示视觉或听觉线索。

在一些实施例中，确定夹带参数包括确定节拍信号与每个重复移动的开始时间之间的延迟。

在一些实施例中，如果节拍信号与重复移动的开始时间之间的延迟基本上恒定，那么该方法包括朝着目标节奏增加基线节拍节奏。

在一些实施例中，向患者提供音乐包括选择具有处于基线节拍节奏的节拍信号的音乐。

在一些实施例中，向患者提供音乐包括修改现有音乐以具有处于基线节拍节奏的节拍信号。

在一些实施例中，重复移动包括患者的步态，该方法还包括分析生物力学数据以对患者步态的对称性进行分类；如果患者的步态被认为是不对称的，那么在患者的一只脚的移动期间对音乐进行第一修改并且在患者的另一只脚的运动期间对音乐进行第二修改。在一些实施例中，音乐的第一与第二修改是不同的，并且包括和弦、音量和节奏的改变中的至少一个。

在一些实施例中，该方法还包括分析生物力学数据以对发起步态时的缺陷进行分类，如果患者的发起是有问题的，那么向患者提供触觉反馈以辅助发起。

在一些实施例中，该方法还包括提供用户界面，该用户界面允许用户提供关于患者的身体移动的一方面的带时间戳的符号。基于带时间戳的符号和生物力学数据来分析患者的身体移动。

在所公开的主题的另一方面，提供了一种用于通过提供音乐疗法来使患有身体损伤的用户康复的系统，该系统包括具有用于与患者交互的显示器的手持设备；连接到手持设备的音乐递送设备，用于向患者提供音乐，该音乐具有处于基线节拍节奏的节拍信号；一个或多个与患者相关联的传感器，传感器测量与患者的重复身体移动相关联的生物力学参数，以及发送器，用于从患者提供带时间戳的生物力学数据和向手持设备提供带时间戳的节拍信号；计算机系统，至少间歇地连接到手持设备，具有由机器可读指令配置的一个或多个物理处理器，以：接收关于患者的重复移动的患者的生物力学数据，并确定基线状况；基于基线状况确定具有恒定频率的基线节拍节奏；向患者提供音乐，该音乐具有处于基线节拍节奏的节拍信号；向手持设备提供指令，以向患者提供在时间上利用相关联的基线节拍信号执行重复移动的线索；接收患者的带时间戳的生物力学数据和带时间戳的节拍信号；分析带时间戳的生物力学数据，以识别重复移动的一个或多个周期的开始时间；基于开始时间和相关联的节拍信号确定夹带参数；向手持设备提供基于夹带参数修改基线节拍节奏的指令；以及确定是否已达到目标节拍节奏。

在一些实施例中，一个或多个传感器包括用于测量与患者的移动相关联的运动、加速度和压力的传感器。

在一些实施例中，一个或多个传感器包括用于捕获与患者的移动相关联的视频的图像捕获设备。

在一些实施例中，与手持设备或计算机相关联的处理器被配置为从患者的运动、加速度、压力数据和视频中的一个或多个提取与步幅长度、步调、速度、行进距离、足跟着地压力和患者步态的对称性中的一个或多个对应的数据。

在一些实施例中，处理器确定节拍信号与重复身体移动的开始时间之间的延迟。

在一些实施例中，重复身体移动包括患者的步态，其中计算机系统由机器可读指令配置，以分析生物力学数据来对患者步态的对称性进行分类；并且如果患者的步态被认为是不对称的，那么向手持设备提供指令，以在患者的一只脚的移动期间对音乐进行第一修改并且在患者的另一只脚的移动期间对音乐进行第二修改。

在一些实施例中，传感器包括触觉反馈机制；其中计算机系统由机器可读指令配置，以分析生物力学数据来分类发起步态中的缺陷；并且如果患者的发起有问题，那么向手持设备提供指令，以从传感器向患者提供触觉反馈以辅助发起。

附图说明

如附图中所示，根据其特定实施例的以下描述，本文描述的设备、系统和方法的前述及其它目的、特征和优点将是清晰的。附图不一定按比例绘制，而是将重点放在说明本文所述的设备、系统和方法的原理上。

图1是图示根据所公开主题的示例性实施例的、通过提供音乐疗法来治疗用户的系统的图；

图2是图示根据所公开主题的示例性实施例的、通过提供音乐疗法来使用户康复的系统的若干部件的图；

图3是根据所公开主题的示例性实施例的、用于测量患者的生物力学移动的传感器的示意图；

图4是图示根据所公开主题的示例性实施例的系统的若干部件的图；

图5图示了根据所公开主题的示例性实施例的、通过提供音乐疗法来使用户康复的系统的部件的示例性显示；

图6是根据所公开主题的示例性实施例的分析过程的一个实现的流程图；

图7-10是根据所公开主题的示例性实施例的过程的一个实现的流程图；

图11是图示根据所公开主题的示例性实施例的音乐和患者的身体移动的时间图；

图12-13图示了根据所公开主题的示例性实施例的患者响应；

图14-15图示了根据所公开主题的示例性实施例的患者响应；

图16-17图示了根据所公开主题的示例性实施例的患者响应；

图18图示了根据所公开主题的示例性实施例的、用于患者的步态训练的技术的实现；

图19图示了根据所公开主题的示例性实施例的、用于忽视患者训练的技术的实现；

图20图示了根据所公开主题的示例性实施例的、用于患者的声调(intonation)训练的技术的实现；

图21图示了根据所公开主题的示例性实施例的、用于患者的音乐刺激训练的技术的实现；

图22图示了根据所公开主题的示例性实施例的、用于患者的粗略运动训练的技术的实现；

图23图示了根据所公开主题的示例性实施例的、用于患者的握力训练的技术的实现；

图24图示了根据所公开主题的示例性实施例的、用于患者的语音线索训练的技术的实现；

图25图示了根据所公开主题的示例性实施例的、用于训练最低限度意识的患者的技术的实现；

图26-28图示了根据所公开主题的示例性实施例的、用于患者的注意力训练的技术的实现；

图29图示了根据所公开主题的示例性实施例的、用于患者的灵活性训练的技术的实现；

图30图示了根据所公开主题的示例性实施例的、用于患者的口腔运动训练的技术的实现；以及

图31图示了根据所公开主题的示例性实施例的、用于患者的呼吸训练的技术的实现。

具体实施方式

本发明一般而言涉及用于实现监视和指导人的行为和功能改变的动态闭环康复平台系统的系统、方法和装置。这种改变是在语言、移动和认知上，由音乐韵律、和声、旋律和力量线索暂时触发。

在本发明的各种实施例中，提供了图1中所示的动态闭环康复平台音乐疗法系统100，该系统包括传感器部件和系统102、边缘处理部件104、收集器部件106、分析系统108以及音乐疗法中心110。如下面将更详细描述的，可以在各种硬件部件上提供传感器部件、边缘处理部件、收集器部件、机器学习过程和音乐治疗中心。例如，在一个实施例中，传感器部件和边缘处理部件可以由患者定位或穿戴。在这样的实施例中，可以在手持设备上提供收集器部件和音乐疗法中心。在这样的实施例中，分析系统可以位于远程服务器上。

传感器系统

贯穿本文的描述，术语“患者”用于指接受音乐疗法治疗的个体。术语“治疗师”用于指提供音乐疗法治疗的个体。在一些实施例中，患者能够与本文所述的这种系统交互，而不需要治疗师的存在来进行治疗。

传感器部件102提供关于患者的感测到的生物力学数据。在一些实施例中，传感器部件可以包括(1)可穿戴无线实时运动感测设备或imu(惯性测量单元)，(2)可穿戴无线实时组合多区足底压力/6维运动捕获(imu)设备，诸如传感器200，(3)可穿戴无线实时肌电图(emg)设备，诸如传感器208，以及(4)实时无线近红外(nir)视频捕获设备，诸如成像设备206(参见图4)。

如图2中所示，本文描述的系统和方法与治疗患者的行走障碍一起使用。因而，示例性传感器200可以是组合多区足底压力/6自由度运动捕获设备。当患者在音乐疗法期间行走时，传感器200记录患者的足压和6自由度运动剖面。在一些实施例中，足压/6自由度运动捕获设备具有可变的记录持续时间间隔，采样率为100hz，对于包括1到4个区的足压剖面，导致每只脚每秒100至400个压力数据点。

传感器200可以包括足压垫202，其具有足跟垫(用于测量一个压力区，例如足跟着地压力)至全内底垫(用于测量4个压力区)。通过感测换能器材料的电阻性改变来进行压力测量，因为由于转移到足部的患者的体重而引起的压缩。针对每个采样间隔或在音乐疗法期间的具体时刻获得这些足压图。

传感器200可以包括6维运动捕获设备204，该设备经由基于6自由度微机电系统(mems)的传感器检测运动的改变，其中传感器确定3维的线性加速度ax、ay、az，以及旋转运动，如俯仰、偏航和滚动。以100hz采样将产生每秒600个运动数据点。这些足部运动捕获是在音乐疗法期间针对每个采样间隔或在具体时刻获得的。

利用6自由度运动捕获设备的多区压力感测允许在行走的同时进行可映射的空间和时间步态动态跟踪。传感器200的示意图在图3中示出。

从系统的角度来看，如图4中所示，患者p使用两个脚传感器200，每只脚一个，被指定为右200r和左200l。在示例性实施例中，右脚传感器200r在ieee802.15.4直接序列扩频(dsss)rf频带中的第一信道(例如，信道5)上无线地传送带时间戳的内部测量单元数据和足跟着地压力数据。左脚传感器200l在ieee802.15.4直接序列扩频(dsss)rf频带中的第二信道(例如，信道6)上无线地传送带时间戳的内部测量单元数据和足跟着地压力数据。如下所述，可选地由治疗师t使用的平板电脑或膝上型电脑220包括无线usb集线器，其包含调谐到第一和第二信道(例如，信道5和6)的两个ieee802.15.4dsssrf收发器，以便捕获右/左脚传感器rf数据。手持无线触发器250用于起动和停止视频和/或制作符号并给时间流加索引，如下面更详细地讨论的。

视频分析域可以用于提取关于疗法会话的患者语义和事件信息。患者动作和交互是疗法中影响疗法上下文和方案的组成部分。在一些实施例中，一个或多个图像捕获设备206(诸如摄像机)(参见图4)与时间同步的视频馈送一起使用。可以将任何适当的视频结合到系统中，以捕获患者的移动；但是，近红外(nir)视频捕获对于保护患者的隐私和减少要处理的视频数据是有用的。nir视频捕获设备捕获患者身体(诸如患者躯干和四肢的位置)的nir视频图像。另外，它根据音乐疗法会话捕获患者的实时动态步态特点。在一些实施例中，利用固定相机捕获视频，其中减去背景以分割出前景像素。

如图4中所示，当疗法会话开始时，一个或多个摄像机206由平板电脑或膝上型电脑应用触发。摄像机206可以由治疗师通过手持无线触发单元250停止或起动。这允许在捕获的生物力学传感器数据和视频数据流中创建标记的带时间戳的索引。

在一些实施例中，患者可以穿戴可穿戴无线实时肌电图(emg)设备208。emg传感器为运动的主要肌肉击发提供整个双脚剖面。这种传感器提供关于肌肉被击发的确切时间的数据。

边缘处理

在一些实施例中，边缘过程在传感器200处执行，其中传感器数据是从imu和压力传感器捕获的。这种传感器数据被过滤、分组成各种阵列尺寸，以供进一步处理成反映所提取的属性和特征的帧，并且这些帧例如被无线地发送到平板电脑或笔记本电脑上的收集器106。要理解的是，从传感器200获得的原始生物力学传感器数据可以替代地被传送到远程处理器以供收集，用于边缘处理功能的发生。

可穿戴传感器200、208和视频捕获设备206生成被整体处理的传感器数据流，以促进生物力学特征提取和分类。传感器融合，组合来自捕获共同事件的多个传感器的输出，比任何单个组分传感器输入都更好地捕获结果。

在音乐疗法上下文中捕获患者活动将应用于音乐疗法的交互形式化，并且开发出音乐疗法表现和功效的患者特异性和概括性正式指标。提取视频特征然后进行分析允许捕获关于患者行为的语义化高级信息。

在处理视频时，使用学习到的背景减除技术来创建背景模型，该背景模型结合了发生音乐疗法的物理区域中的照明条件和遮挡的任何变化。背景减除的结果是具有前景斑点阵列的二元前景图，其中前景斑点阵列是二维轮廓。因此，视频被切片成单独的图像帧，以供将来的图像处理和传感器融合。通过合并来自imu、(一个或多个)足压垫和emg传感器的经边缘处理的传感器数据，向视频信息提供附加的元数据。传感器数据可以使用rf触发器与其它数据进行时间同步。数据可以被直接发送到收集器、存储在内部板的存储器中，或者在运行opencv库的边缘上进行分析。

边缘处理器104可以是微处理器，诸如结合到足压/6自由度运动捕获设备中的32位微处理器，其使得能够以每秒100至400的完全足压/6自由度运动剖面的速率进行快速多区域扫描。

足压/6自由度运动捕获设备收集足压/6自由度运动剖面数据以进行实时步态分析，从而导致特征提取和分类。在一些实施例中，足压/6自由度运动捕获设备初始化微控制器单元(mcu)、持续操作员过程(cop)、通用输入输出(gpio)、串行外围接口(spi)、中断请求(irq)，并通过调用包括微控制器单元初始化(mcuinit)、通用输入输出初始化(gpioinit)、串行外设接口初始化(spiinit)、中断请求确认初始化(irqinit)、中断请求确认(irqack)、串行外设接口驱动程序读取(spidrvread)和irqpinenable的例程来设置期望的rf收发器时钟频率。mcuinit是主初始化例程，它关闭mcu看门狗并将定时器模块设置为使用总线时钟(busclk)作为参考，预分频为32。

状态变量gu8rtxmode被设置为system_reset_mode，并且调用例程gpioinit、spiinit和irqinit。状态变量gu8rtxmode被设置为rf_transceiver_reset_mode，并检查irqflag以查看irq是否被断言。首先使用spidrvread清除rf收发器中断，然后检查rf收发器的attnirq中断。最后，对于mcuinit，对plmephyreset进行调用以重置物理mac层、irqack(确认待处理的irq中断)和irqpinenable，其中irqpinenable是在信号的负边沿上钉住、使能、ie和irqclr。

足压/6自由度运动传感器200将等待来自足压/6自由度运动收集节点的响应，例如250毫秒，以确定缺省的全足压力扫描是否将完成或将发起映射的足压扫描。在映射的足压扫描的情况下，足压/6自由度运动收集节点将向适当的电极发送足压扫描映射配置数据。

分析流水线的一方面是特征集工程设计过程，该过程将定义那些捕获的传感器值及其结果所得的传感器融合值，这些值被用于创建特征向量以定义输入数据结构进行分析。代表值是ax(i)、ay(i)、az(i)和ph(i)，其中i是第i个样本，其中ax(i)是x方向上的加速度，其相对于脚传感器是横向的；ay(i)是y方向上的加速度，其相对于脚传感器在前方；az(i)是z方向上的加速度，其相对于脚传感器向上；并且ph(i)是足跟压力。传感器值在表1中给出：

在一些实施例中，传感器融合技术使用脚跟着地压力值ph(i)来“选通”以下示例性特征值的分析，以导出数据窗口，如下所述。例如，“开始”(起始)可以基于足跟压力超过指示足跟着地的阈值来确定，并且基于足跟压力的“停止”基于指示足跟脱离的阈值，在下表2中给出。要理解的是，脚跟着地压力是可以用于“选通”分析的参数的一个示例。在一些实施例中，通过使用imu传感器数据、视频数据和/或emg数据来确定“选通”。

从融合的传感器值计算更高级别的特征值，诸如表3中给出的示例性值：

本文描述的系统提供相对于患者生物力学数据“选通”或提供“窗口”的能力。生物力学数据的选通对于重复的患者移动是有用的，诸如在患者行走时的重复步幅。来自一个或多个源(诸如压力传感器、imu传感器、视频数据和emg数据)的传感器数据被用于识别随时间重复的移动的循环。例如，当患者行走时，足压反复增加和减少，因为患者的脚接触地面然后抬离地面。同样，当脚向前移动时脚的速度增加，而当脚踏在地面上时脚的速度减小到零。作为另一个示例，患者脚的y位置或高度在低位置(在地面上)和高位置(大约在中间步幅)之间循环。“选通”技术识别这些数据中的重复周期或“窗口”。在患者行走的情况下，每个脚步重复该循环。虽然在循环之间可以存在变化(例如，在脚步之间)，但是某些模式在每个循环中重复。选择每个循环的开始时间(起始时间)涉及定位生物力学参数的可识别点(最大值或最小值)。基于可用数据来选择用于开始时间的参数的选择。因此，在一些实施例中，足跟着地压力超过阈值的时刻可以用于划定每个循环的开始时间。(参见例如图5。压力316a和316b包括循环特点。“开始”可以在压力超过阈值时确定。)类似地，当足部速度降至零时可以划定开始时间。

在一些实施例中，对原始帧数据进行预处理，获取即时数据并“选通”它(例如，识别窗口)，然后分析那个窗口内的数据以识别异常值并对数据执行分析(例如，指数分析)，从而在多个窗口之间平均数据。通过包括imu数据和脚跟着地压力数据两者，传感器数据的融合允许比使用来自单个传感器的数据更精确地识别单步幅或其它重复运动单元的开始时间。在单个步幅内捕获的传感器数据被认为是“窗口”，并且从这种分析中提取的信息包括例如步幅长度、脚步计数、步调、脚步发生时的时间、行进距离、站立阶段/摆动阶段、双倍支持时间、速度、对称性分析(例如，在左腿和右腿之间)、向外摆动、拖着脚走、功率向量、横向加速度、脚步宽度、这些维度中的每一个的可变性、从上述信息导出的附加参数等。特征提取可以在微处理器芯片(例如，32位芯片)上处理。捕获无线同步选通生物力学传感器数据和视频数据捕获功能允许创建时间序列模板。

在音乐疗法会话期间，数据可以由患者或治疗师加索引。上面描述的“选通”功能对于将异常条件与特定步幅或脚步联系起来是有用的。例如，治疗师可以观察患者的移动中的特定异常状况或行为(诸如异常或事件)。索引功能允许治疗师经由手持平板电脑或膝上型电脑上的用户界面(诸如图4中所示的无线触发单元250)或语音控制来发起诸如捕获，以“记录”异常状况或行为。可以创建包括时间戳和评论的符号，诸如患者在行走时发生“绊倒”。这种索引促进时间序列模板创建。将研究这些时间序列模板，以便审查治疗会话事件，并开发用于训练机器学习算法的时间序列模板，诸如非线性多层感知器(nlmlp)、卷积神经网络(cnn)和具有长期短期记忆(lstm)的复发神经网络(rnn)。

在一个实施例中，提供通信协议以将传感器数据从边缘处理104(例如，在传感器200处)传送到收集器106。参见下面的表4。在一些实施例中，如果连接空闲超过100ms，那么rf已超时。

在一个实施例中，足压传感器区扫描由footscan例程执行，其中footdatabufferindex被初始化并且足压传感器区通过使能mcu方向模式用于输出[ptcdd_ptcddn＝output]并且带来相关联的端口线低[ptcd_ptcd6＝0]来激活。当基于足压传感器区扫描图激活足压传感器区时，将对附连到mcu模拟信号端口的足压传感器区进行采样，然后将当前电压读数转换成数字形式(它是时间区足压)。

诸如footdatabufferindex和imubufferindex之类的若干变量被用于准备ieee802.15.4rf分组gstxpacket.gau8txdatabuffer[]，该分组被用于发送要在footdatabuffer[]和imubuffer[]中使用的数据。使用rfsendrequest(&gstxpacket)例程发送rf分组。这个例程检查gu8rtxmode是否被设置为idle_mode并使用gstxpacket作为指针来调用ramdrvwritetx例程，然后ramdrvwritetx例程调用spidrvread以读取rf收发器的tx分组长度寄存器内容。使用这些内容，掩码长度设置更新，然后为crc添加2，为代码字节添加2。

调用spisendchar以发送0×7e字节，它是第二代码字节，然后再次调用spiwaittransferdone以验证发送完成。通过发送这些代码字节，使用for循环发送分组的其余部分，其中pstxpkt→u8datalength+1是spisendchar、spiwaittransferdone、spiclearrecievedatareg等一系列顺序的迭代次数。在完成后，rf收发器加载要发送的数据包。antenna_switch被设置为发送，lna_on模式使能，并且最后进行rtxenassert调用以实际发送分组。

收集器

收集器106的主要功能是从边缘处理104捕获数据，将数据传送到分析系统108并从分析系统108接收经处理的数据，以及将数据传送到音乐疗法中心110，如下所述。在一些实施例中，收集器106提供控制功能，例如，用于登录、配置系统并与用户交互的用户界面，并且包括用于可视化/显示数据的显示单元。收集器106可以包括用于分类的轻量分析或机器学习算法(例如，横向震颤、不对称、不稳定等)。

收集器106从边缘处理器104接收身体、运动和定位数据。在收集器106处接收的数据在传送到收集器之前可以是原始的或者在边缘104处被处理。例如，收集器106接收融合的传感器数据，经受“开窗”和特征提取。所传送的数据可以包括两个级别的数据：(1)从右/左脚传感器发送的rf分组，如表1中所描述的，(2)来自右/左脚传感器的rf分组，其包含如表2和3中所描述的更高级别的属性和特征。收集器106在本地存储数据。在一些实施例中，收集器106根据接收的数据对移动进行分类，例如，将其与本地存储(从分析系统预先下载)的模型进行比较，或者将其发送到分析系统以进行分类。收集器可以包括显示单元以可视化/显示数据。

在一些实施例中，收集器106在包括存储器、处理器和显示器的本地计算机上操作。其上安装有收集器的示例性设备可以包括ar设备、vr设备、平板电脑、移动设备、膝上型计算机、台式计算机等。图2图示了具有显示器222并执行收集器功能的手持设备220。在一些实施例中，用于在患者传感器和收集器之间传送数据的连接参数包括windows中设备管理器的使用(例如，波特率：38400，数据位：8；奇偶校验：无，停止位：1)。在一些实施例中，收集器106包括由音乐疗法患者持有或穿戴的处理器。在一些实施例中，收集器106包括远离音乐疗法患者并由治疗师携带的处理器，并且无线地或经由有线连接连接到音乐疗法患者。

在一个实施例中，足压/6自由度运动收集节点从足压/6自由度运动捕获设备包含实时足压/6自由度运动剖面数据的rf发送的数据分组。这是由足压/6自由度运动收集节点开始的，该节点产生rf分组接收队列，该队列由rf收发器分组接收中断上的回调(callback)功能驱动。

当从足压/6自由度运动捕获设备200接收到rf分组时，首先进行检查，以确定这是来自新的足压/6自由度运动捕获设备还是现有的。如果这是来自现有的足压/6自由度运动捕获设备，那么在进一步分析该分组之前，检查rf分组序列号以确定持续同步。如果这是足压捕获/6自由度运动设备，那么创建并初始化足压/6自由度运动捕获设备上下文状态块。上下文状态块包括信息，例如足压剖面[什么附加信息？]。

在用于节点到节点通信的这个rf分组会话级过程之上，是对rf分组数据有效载荷的分析。这种有效载荷包含基于6自由度运动之后的当前可变压力的足压剖面。其结构如下：|0×10|开始|f1|f2|f3|f4|ax|ay|az|pi|yi|ri|xor校验和|。

ieee802.15.4标准规定最大分组尺寸为127字节，并且时间同步网状协议(tsmp)为操作保留47字节，为有效负载留下80字节。ieee802.15.4符合2.4ghz工业、科学和医疗(ism)频带射频(rf)收发器。

rf模块包含为ieee802.15.4无线标准设计的完整802.15.4物理层(phy)调制解调器，其支持对等、星形和网状网络。它与mcu结合使用，以创建所需的无线rf数据链路和网络。ieee802.15.4收发器支持5.0mhz信道中的250kbpso-qpsk数据和完整的扩频编码和解码。

在一些实施例中，通过感测系统节点设备的rf收发器接口端口完成控制、状态读取、数据写入和数据读取。感测系统节点设备的mpu通过接口“事务”访问感测系统节点设备的rf收发器，其中在接口总线上发送多个字节长数据的突发。每个事务的长度是三个或更多个突发，这取决于事务类型。事务总是对寄存器地址的读访问或写访问。用于任何单个寄存器访问的相关联数据总是16位长。

在一些实施例中，借助于串行外围接口(spi)来完成足压/6自由度运动收集节点的rf收发器和数据传送的控制。虽然普通spi协议基于8位传送，但足压/6自由度运动收集收集器节点的rf收发器强加了基于每个事务多个8位传送的更高级别的事务协议。单个spi读或写事务由8位报头传送、后面跟着两个8位数据传送组成。

报头表示访问类型和寄存器地址。以下字节是读取或写入数据。spi还支持递归“数据突发”事务，其中可以进行附加的数据传送。递归模式主要用于分组ram访问和足压/6自由度运动收集节点rf的快速配置。

在一些实施例中，顺序扫描所有足压传感器区并且整个过程重复，直到重置条件或不活动断电模式。通过到惯性测量单元(imu)的串行uart接口从mcu捕获6自由度运动。用于所有感测维度的采样率为100-300hz，这些维度是ax、ay、az、俯仰、偏航、滚动，并且采样数据存储在imubuffer[]中。

调用spidrywrite以更新tx分组长度字段。接下来，调用spiclearrecievestatreg以清除状态寄存器，然后调用spiclearrecievedatareg以清除接收数据寄存器，使spi接口为读取或写入做好准备。准备好spi接口后，调用spisendchar发送一个表示第一个代码字节的0xff字符，然后调用spiwaittransferdone来验证发送是否完成。

图5是可以在手持设备的显示器222上提供的示例性输出300。例如，当为患者的步态提供疗法时，显示输出300可以包括用于右脚302的部分和用于左脚304的部分。作为时间的函数，用于右脚的显示包括加速度ax310a、ay312a和az314a，以及足压316a。类似地，用于左脚的显示包括加速度ax310a、ay312a和az314a，以及脚压力316a。

分类被理解为数据(例如，传感器融合数据、特征数据或属性数据)与现实世界事件(例如，患者的活动或处置)的相关性。通常，在分析系统108上创建和执行分类。在一些实施例中，收集器106具有一些“模板”的本地副本。因此，传入的传感器数据和特征提取的数据可以在收集器或分析系统中分类。

上下文是指形成用于事件、陈述、情境或想法的设置的环境或事实。上下文感知算法检查与对照某些数据执行算法的环境和时间相关的“谁”、“什么”、“何时”和“何处”。一些上下文感知动作包括身份、位置、时间和正在被执行的活动。在使用上下文信息来制定确定性动作时，在患者、环境和音乐疗法会话之间发生上下文接口。

患者对音乐疗法会话的反应上下文可以涉及一层算法，其解释融合的传感器数据，以推断更高级别的信息。这些算法提炼出患者的反应上下文。例如，分析患者的生物机械步态序列，因为其涉及音乐疗法会话的具体部分。在一个示例中，“横向震颤”是感兴趣的分类器。因而，确定随着横向震颤更小，患者的步态变得更加流畅。

分析系统

分析系统108(有时称为后端系统)存储大型模型/档案并且包括机器学习/分析处理，其具有本文描述的模型。在一些实施例中，还提供了用于登录以查看存档数据的web接口，以及仪表板。在一些实施例中，分析系统108位于远程服务器计算机上，该远程服务器计算机从在诸如手持设备或平板电脑220之类的手持单元上运行的收集器106接收数据。预期执行分析系统108分析和机器学习功能所需的处理能力也可以位于手持设备220上。

将数据从收集器106传送到分析系统108以进行分析处理。如图6中所示，分析处理400包括用于从收集器106接收数据的用户接口402。数据库存储装置404从收集器106接收输入数据以进行存储。训练数据以及分析处理的输出(例如，整体机器学习系统410)也可以存储在存储装置404上，以促进预测模型和分类器的创建和精炼。数据总线406允许数据流通过分析处理。对训练数据执行训练过程408，以导出一个或多个预测模型。整体机器学习系统410利用预测模型。整体机器学习系统410的输出是这些预测模型的聚合。这种聚合输出还用于利用模板分类器412的分类要求，诸如震颤、对称性、流动性或学习到的生物力学参数(诸如夹带、发起等)。api418连接到收集器和/或音乐疗法中心。疗法算法414和预测算法416包括多层感知器神经网络、隐马尔可夫模型、基于radal的功能网络、贝叶斯推理模型等。

本文描述的系统和方法的示例性应用是对患者的生物机械步态的分析。步态序列被特征提取为一系列有特点的特征。所捕获的传感器融合数据中的这些和其它特征的存在通知上下文检测算法患者的生物机械步态序列是否有效。生物机械步态序列捕获需要稳健的上下文检测，然后在代表性的音乐疗法患者群体中进行抽象。

这种活动的示例是患者在一个时刻的位置以及他们对那时的音乐疗法的反应。患者音乐疗法响应的识别和关联允许识别音乐疗法患者响应的具体模式。然后，通过创建音乐疗法患者响应的基线并将其与未来音乐疗法患者响应相关联，对具体的音乐疗法方案进行基准测试并分析其性能和功效。

与运动感测相结合，使用具有步态生物力学捕获的距离度量来使用两个或更多个音乐疗法会话之间的时间和空间变化/偏差来确定患者路径轨迹。通过这种传感器融合的数据捕获，提取特征并对其进行分类，以标记各种关键的患者疗法响应。进一步的传感器融合数据分析使用直方图来允许初始音乐疗法响应模式检测。

对于音乐疗法会话传感器融合数据分析，最初，使用利用马尔可夫链的特定于患者的贝叶斯推断模型。链的状态表示从音乐疗法基线会话捕获的特定于患者的响应模式。该推断基于每个采样间隔处患者响应模式外观的知识和到先前状态的时间链接。

预测例程，多层感知器神经网络(mlpnn)，使用具有顶层根节点的、基于有向图节点的模型，该模型预测到达后续节点的要求并获得患者的传感器融合数据特征向量。这个传感器融合数据特征向量包含时间序列处理的运动数据、音乐签名数据和视频图像数据，这对于进一步处理特别重要。在这种情况下，有向图看起来像倒置的树，其中树叶位于树的底部，并且根是根节点。从每个节点开始，例程可以向左移动，其中左边是根节点所在位置的顶层下面的下一层上的左节点，选择左子节点作为下一个观察的节点，或者向右移动，其中右边是根节点所在位置的顶层下面的下一层上的右节点，并且这是基于其索引存储在被观察节点中的某个变量的值。如果该值小于阈值，那么例程进入左节点，如果小于阈值，那么进入右节点。这些区域(在这里是左和右)变成预测空间。

该模型使用两种类型的输入变量：有序变量和分类变量。有序变量是与也存储在节点中的阈值进行比较的值。分类变量是离散值，其被测试以查看它是否属于某个有限的值子集并存储在节点中。这可以应用于各种分类。例如，轻度、中度和重度可以用于描述震颤，并且是分类变量的示例。相反，细粒度的值或数值标度的范围可以用于类似地描述震颤，但是以数值方式。

如果分类变量属于有限的值集合，那么例程进入左节点，如果不属于，那么进入右节点。在每个节点中，使用一对实体：variable_index、decision_rule(阈值/子集)来做出这个决定。这个对被称为拆分，它对变量：variable_index进行拆分。

一旦到达节点，赋给这个节点的值就被用作预测例程的输出。多层感知器神经网络是从根节点开始递归构建的。如前所述，所有训练数据、特征向量和响应被用于拆分根节点；其中实体：variable_index、decision_rule(阈值/子集)对预测区域进行分段。在每个节点中，基于用于分类的基尼(gini)“纯度”标准和用于回归的平方误差的总和，找到关于最佳主要拆分的最优决策规则。基尼指数基于集合类中总方差的测量。基尼“纯度”标准是指小的基尼指数值，指示节点主要包含来自单个类的观察，这是期望的状态。

一旦构建了多层感知器神经网络，就可以使用交叉验证例程来修剪它。为了避免模型过度拟合，树的一些分支被切断。这个例程可以应用于独立决策。如上所述，决策算法(mlpnn)的一个显著特性是计算每个变量的相对决定性能力和重要性的能力。

变量重要性评级被用于确定患者交互特征向量的最频繁交互类型。模式识别始于适于区分不同类别的音乐疗法响应和音乐疗法事件的决策空间的定义。决策空间可以由具有n个维度的图来表示，其中n是被认为表示音乐疗法响应和音乐疗法事件的属性或测量的数量。n个属性组成特征向量或签名，这可以在图中绘制。在输入了足够的样本之后，决策空间揭示属于不同类别的音乐疗法响应和音乐疗法事件的集群，决策空间用于将新向量与这些集群相关联。

动态闭环康复平台音乐疗法系统利用若干深度学习神经网络来学习和回忆模式。在一个实施例中，使用自适应径向基函数(rbf)模型生成器来构建非线性决策空间。可以使用rbf模型和/或使用k-最近邻居(k-nearestneighbor)分类器来计算新向量。图6图示了动态闭环康复平台音乐疗法系统的机器学习子系统的工作流程。

图7图示了受监督的训练过程408，其包括多个训练样本502，例如，输入将是诸如上面表3中描述的那些特征，并且示例输出将是诸如震颤、不对称和力量之类的项、这些项的程度、变化的预测、患者恢复情况的分类。要理解的是，新的输出作为这个过程的一部分来学习。这为预测和分类的更高级别的抽象提供了基础，因为它应用于不同的用例(例如，不同的疾病状态、与药物的组合、对提供者的通知、适应性和跌倒预防)。利用学习算法a1504a、a2504b、a3504c...an504n运行这些训练样本502，以导出m1506a、m2506b、m3506c...mn506n中的预测模型。示例性算法包括多层感知器神经网络、隐马尔可夫模型、基于径向的功能网络、贝叶斯推断模型。

图8图示了整体机器学习系统410，作为样本数据602(例如，特征提取数据)上的预测模型m1506a、m2506b、m3506c...mn506n的聚合，以提供多个预测结果数据606a、606b、606b...606n。在给定多个预测模型的情况下，使用例如包括决策规则和投票的聚合层608来导出输出610。

mrconvnet系统具有两层，其中第一层是具有平均池支持的卷积层。mrconvnet系统第二层是支持多项逻辑回归的完全连接的层。多项逻辑回归，也称为softmax，是用于处理多个类的逻辑回归的推广。在逻辑回归的情况下，标签是二进制的。

softmax是用于预测不同可能输出的概率的模型。以下假设经由softmax最终输出层利用m个离散类的多类分类器：

y1＝softmax(w11*x1+w12*x2+w13*x3+b1)[1]

y2＝softmax(w21*x1+w22*x2+w23*x3+b2)[2]

y3＝softmax(w31*x1+w32*x2+w33*x3+b3)[3]

ym＝softmax(wm1*x1+wm2*x2+wm3*x3+bm)[4]

一般而言:y＝softmax(w*x+b)[5]

softmax(x)i＝exp(xi)/exp(xj)之和，从j＝1至n[6]

其中y＝分类器输出；x＝样本输入(所有缩放的(归一化的)特征值)；w＝权重矩阵。例如，分类将得分不对称，例如“中等不对称得分为10分中的5分(10为高不对称级别，0为无不对称)”或步态流动性“步态流动性得分为10分中的8分正常”，等等。分析流水线在图9中示出。

softmax回归允许处理超过两个的多个类。对于逻辑回归：p(x)＝1/(1+exp(-wx))，其中w包含经过训练以最小化成本函数的模型参数。而且，x是输入要素向量并且

((x(1)，y(1)),…,(x(i)，y(i)))[7]

将表示训练集。对于多类分类，使用softmax回归，其中y可以采用表示类的n个不同值，而不是二进制情况下的1和0。因此，对于训练集((x(1)，y(1)),…,(x(i)，y(i)))，y(n)可以是1到n类范围内的任何值。

接下来，p(y＝n|x；w)是i＝1，...，n的每个值的概率。以下在数学上图示了softmax回归过程：

y(x)＝(p(y＝1|x；w)，p(y＝2|x；w)，…p(y＝n|x；w))[8]

其中y(x)是对假设的答案，给定输入x，输出跨所有类的概率分布，使得它们的归一化和为1。

mrconvnet系统将每个开窗的生物力学数据帧作为向量与每个生物力学模板过滤器卷积为向量，然后使用将特征响应求平均的平均池函数生成响应。卷积过程在添加任何偏差时计算wx，然后将其传递给逻辑回归(sigmoid)函数。

接下来，在mrconvnet系统的第二层中，将子采样的生物力学模板滤波器响应移动到二维矩阵中，其中每列将开窗的生物力学数据帧表示为向量。现在使用以下公式发起softmax回归激活过程：

y(x)＝(1/(exp(wx)+exp(wx)+....+exp(wx))*(exp(wx)，exp(wx)，…，(exp(wx))[9]

mrconvnet系统利用优化算法进行训练，梯度下降，其中定义成本函数j(w)并且将其最小化：

j(w)＝1/j*((h(t(j＝1)，p(y＝1|x；w)+h(t(j＝2)，p(y＝2|x；w)+…+h(t(j)，p(y＝n|x；w))[10]

其中t(j)是目标类。这将j个训练样本上的所有交叉熵求平均。交叉熵函数是：

h(t(j)，p(y＝n|x；w)＝-t(j＝1)*log(p(y＝1|x；w))+t(j＝2)*log(p(y＝2|x；w))+…+t(j)*p(y＝n|x；w)[11]

在图10中，整体机器学习系统408包括应用于条件输入702的多个预测模型，例如，模板系列1(震颤)706a、模板系列2(对称)706b、模板系列3(流动性)706c......附加模板(其它学习到的生物力学参数，例如夹带、发起等)706n，例如，它可以是以下：用于右和左特征的步幅(x1，x2)、步幅长度右和左特征的方差(x3，x4)、步调右和左特征(x6，x7)，步调右和左特征的方差(x8，x9)等......这是样本(x1，x2，...xn)被称为向量x，该向量在ml算法的整体中被输入到702。这些是有条件参考的归一化和/或缩放的输入。聚合分类器708输出诸如震颤尺度、对称尺度、流动性尺度等信息。

音乐疗法中心

音乐疗法中心110是在诸如图2的手持设备或膝上型计算机220之类的处理器上运行的决策制定系统。音乐疗法中心110从收集器106处的提取的传感器数据中获取输入，将它们与用于递送疗法的既定过程进行比较，然后递送通过音乐递送系统230播放的听觉刺激的内容。

本发明的实施例使用上下文信息来确定情况发生的原因，然后编码观察到的动作，其以闭环方式引起系统状态的动态和调制变化，并因此引起音乐疗法会话。

患者和音乐疗法会话之间的交互提供用于确定音乐疗法患者情境感知的实时数据，包括运动、姿势、步幅和步态反应。在由感测节点(在传感器处)收集到输入数据之后，嵌入式节点处理上下文感知数据(在边缘处理时)，并向分析系统108提供即时动态动作和/或发送数据，例如弹性基于网络的处理云环境，用于存储及进一步处理和分析。

基于输入，程序将采用任何现有歌曲内容，更改步调、主要/次要和弦、韵律(meter)和音乐线索(例如，旋律、和声、节奏和力线索)。系统可以在现有歌曲上覆盖节拍器。可以对歌曲内容进行节拍映射(例如，如果w对av或mp3文件有响应)或者以midi格式，以便可以使用节拍何时发生的精确知识来计算夹带电位。患者身上的传感器可以被配置为在音乐内容处提供触觉/振动反馈脉冲。

示例

本文描述了该方法的示例性应用。步态训练分析为患者播放的音乐节拍与患者响应那些特定音乐节拍所采取的各个脚步之间的实时关系。如上面所讨论的，选通分析被用于确定以一些变化对于每个脚步或重复移动重复的数据窗口。在一些实施例中，窗口的开始被确定为脚跟着地压力超过阈值(或其它传感器参数)的时间。图11是图示音乐节拍(“时间节拍”)和患者采取的脚步(“时间脚步”)的示例性时间图。因此，在这种情况下的开始时间与“时间脚步”相关联。特别地，该曲线图图示了在时间timebeat1时音乐的时间节拍1101。在一段时间之后在时间timestep1时，患者响应于时间节拍1001而采取脚步(即，时间脚步1102)。夹带电位1103表示timebeat1与timestep1之间的延迟(如果有的话)。

图12-13图示了通过使用本文描述的系统夹带患者步态的示例。图12图示了“完美的”夹带，例如，为零的恒定夹带电位。当在时间节拍与响应于该时间节拍所采取的相关联时间脚步之间没有延迟或可忽略的延迟时，会发生这种情况。图13图示了相移夹带，例如，夹带电位非零，但随时间保持恒定或具有最小变化的状况。当随时间在时间节拍与时间步长之间存在一致的延迟(在容限内)时，会发生这种情况。

继续参考图11，epratio被计算为时间节拍之间的持续时间与时间脚步之间的持续时间的比率：

其中timebeat11101与第一音乐节拍的时间对应，并且timestep11102与患者响应于timebeat1的脚步的时间对应。timebeat21106与第二音乐节拍的时间对应，并且timestep21108与患者响应于timebeat2的脚步的时间对应。目标是epratio＝1或epratio/factor＝1。factor如下确定：

这个因子允许发生对节拍的细分，或者允许某人每3个节拍或每4个节拍中3拍走一步。它可以为不同场景提供灵活性。

图14和15图示了使用本文描述的技术的患者随时间的夹带响应。图14(左y轴：ep比；右y轴：每分钟的节拍；x轴：时间)图示了点1402的散射，其表示第一患者的步态的ep比的平均值。该图图示了+0.1的上限1404和-0.1的下限1406。线1408图示了随时间的节奏(从每分钟60个节拍开始)，逐步增加到100bpm。图14图示了当节奏从60bpm增加到100bpm时ep比保持接近1(±0.1)。图15图示了第二患者的步态的ep比，其中当节奏从60bpm增加到100bpm时，ep比也保持接近1(±0.1)。

图16和17(y轴：夹带电位，x轴：时间)图示了两个患者对时间节拍改变(例如，节奏改变)和/或对和弦改变、触觉反馈改变、脚的线索改变(例如，左-右或左-右-拐杖线索)等的响应。图16示出了基于时间的曲线图，其中患者的步态与“完美夹带”平衡(恒定为零或可忽略不计的夹带电位)，或恒定的相移夹带电位。如图所示，需要花一段时间(即，黄金时间1602)，直到发生平衡。图17图示了基于时间的曲线图，其中患者的步态不平衡，例如，在时间节拍改变之后未到达完美夹带或恒定的相移夹带电位。黄金时间是有用的，因为它表示与测量夹带的准确性分离的数据集。黄金时间参数也可以用于筛选未来歌曲的适用性。例如，当患者在使用乐曲时表现出较长的黄金时间值时，那么这种乐曲的疗效较差。

图18图示了对步态训练有用的技术，其中重复移动是指患者在行走时所采取的脚步。步态训练针对个体患者群体、诊断和条件进行调整，以递送个性化和个体化的音乐干预。基于输入，程序在适用的情况下改变内容、步调、主要/次要和弦、韵律和音乐线索(例如，旋律、谐波和力线索)。程序可以通过使用出生日期、列出的音乐偏好和夹带节奏来选择音乐，以提供定期使用的被动音乐的播放列表。步态训练的关键输入是执行身体活动(例如，步行)的用户的步调、对称性和步幅。程序使用连接的硬件在音乐的bpm上提供触觉/振动反馈。步态训练的适合群体包括创伤性脑损伤(tbi)、中风、帕金森氏症、ms和衰老的患者。

该方法始于步骤1802。在步骤1804处，基于来自传感器(例如，传感器200、206、208)的数据在收集器106处接收生物力学数据。生物力学数据包括发起、步幅、步调、对称性、关于辅助设备的数据或由分析系统108存储和生成的其它此类患者特征集。示例性生物力学数据参数在上面的表1、2和3中列出。基线状况由一个或多个数据源确定。首先，感测没有播放任何音乐的情况下患者的步态。关于患者的发起、步幅长度、步调、对称性、关于辅助设备的数据等的传感器和特征数据包括患者用于疗法会话的基线生物力学数据。其次，来自同一患者的先前会话的传感器数据以及来自分析系统108的任何更高级别的分类数据包括患者的历史数据。第三，用于其它类似位置患者的传感器数据和更高级别分类数据包括人口数据。因此，基线状况可以包括来自以下一个或多个的数据：(a)患者用于疗法会话的基线生物力学数据，(b)来自患者的先前会话的数据和(c)人口数据。然后从基线状况中选择基线节拍节奏。例如，可以选择基线节拍节奏，以在播放音乐之前匹配患者的当前步调。可替代地，可以选择基线节拍节奏为患者当前步调的分数或多倍。作为另一个替代方案，可以选择基线节奏以匹配在同一患者的先前会话中使用的基线节拍节奏。作为又一个替代方案，可以基于用于具有相似身体状况的其他患者的基线节拍节奏来选择基线节拍节奏。最后，可以基于上述任何数据的组合来选择基线节拍节奏。还可以从这种数据确定目标节拍节奏。例如，可以通过参考由其它类似位置的患者表现出的改善来选择目标节拍节奏作为基线节拍节奏的百分比增加。节奏被理解为是指音乐中节拍的频率。

在步骤1806处，在基线节奏或基线节奏的细分处开始从手持设备220向音乐递送设备230(例如，耳塞或耳机或扬声器)提供给患者的音乐。为了以基线节奏向患者提供音乐，音乐具有从数据库中选择的恒定基线节奏，或者修改现有音乐，例如，选择性地加速或减慢，以便以恒定的节奏提供节拍信号。

在步骤1808处，指示患者听音乐的节拍。在步骤1810处，指示患者以基线节拍节奏行走，可选地接收关于左脚和右脚的线索。指示患者行走，使得每一步与音乐的节拍紧密匹配，例如以节拍节奏“按时间”行走。步骤1806、1808和1810可以由治疗师发起，或者由手持设备220上的听觉或视觉指令发起。

在步骤1812处，患者身上的传感器200、206、208被用于记录患者数据(诸如足跟着地压力、6维移动、emg活动和患者移动的视频记录)。所有传感器数据都带有时间戳。对带时间戳的传感器数据执行数据分析，包括本文讨论的“选通”分析。例如，进行传感器数据(例如，足跟着地压力)的分析，以便确定每一步的开始时间。接收的附加数据包括与提供给患者的音乐的每个节拍信号相关联的时间。

在步骤1814处，连接到夹带模型(例如，分析系统108的整体机器学习系统410或在收集器106上下载并在手持设备220上运行的模型)以进行预测和分类。(要理解的是，这个时候可以预先存在或发起这种连接。)这种连接通常非常快或者是瞬时的。

在步骤1816处，在分析系统108处执行的可选夹带分析被应用于传感器数据。夹带分析包括确定节拍信号与患者采取的每一步的开始之间的延迟。作为夹带分析的输出，确定夹带的准确性，例如，如上面所讨论的关于夹带电位和ep比的基线节奏和患者脚步之间的瞬时关系的测量。如果夹带不准确，例如夹带电位在容限内不恒定，那么在步骤1818处进行调整，例如，加快或减慢节拍节奏、增加音量、增加感官输入、覆盖节拍器或其它相关声音等。如果夹带是准确的，例如，夹带电位在容限内是恒定的，那么在步骤1820处对节奏进行增量改变。例如，用手持设备播放的音乐的基线节奏朝着目标节奏增加，例如，增加5％。

在步骤1822处，连接到夹带模型以进行预测和分类。(要理解的是，在这个时候可以预先存在或发起这种连接。)在步骤1824处，对传感器数据应用可选的对称性分析。作为对称性分析的输出，确定患者步态的对称性，例如，对于步幅长度患者的左脚运动与患者的右脚运动的匹配程度、速度、站立阶段、摆动阶段等。如果脚步不是对称的(例如，低于阈值)，那么在步骤1826处对通过手持设备向患者广播的音乐进行调整。可以对在患者的一只脚的移动期间播放的音乐进行第一修改，并且可以对在患者的另一只脚的移动期间播放的音乐进行第二修改。例如，可以在一侧(例如，受影响的一侧)播放次要和弦(或增大的音量、感官输入、节奏的改变或者声音/节拍器的覆盖)，并且在另一侧(例如，不受影响的一侧)播放主要和弦。机器学习系统410例如通过分析指示不对称性的运动来基于导致它的场景的“指纹”预先预测对称性问题。不对称性可以通过比较某人的正常步态参数与他们的背景来确定该侧受影响的程度并与另一侧进行比较。

在步骤1828处，连接到夹带模型以进行预测和分类。(要理解的是，这个时候可以预先存在或发起这种连接。)在步骤1830处，对传感器数据执行可选的平衡中心分析，例如患者是否向前倾。可以通过组合脚传感器的输出以及视频输出来执行分析。作为平衡中心分析的输出，确定患者是否向前倾。如果患者向前倾，那么在步骤1832处，由治疗师或通过手持设备上的听觉或视觉指示向患者提供“直立”的线索。

在步骤1834处，连接到夹带模型以进行预测和分类。(要理解的是，这个时候可以预先存在或发起这种连接。)在步骤1836处，对传感器数据应用发起分析，例如，患者表现出犹豫或难以发起行走。作为发起分析的输出，确定患者是否表现出关于发起的问题。如果患者表现出关于发起的问题(例如，低于阈值)，那么可以向患者提供触觉反馈，这可以包括在步骤1838处节拍节奏的倒计时或者开始歌曲之前的倒计时。

在步骤1840处，可选地确定患者是否正在使用辅助设备(例如，拐杖、双拐、助行器等)。在一些实施例中，手持设备220为患者或治疗师提供输入关于辅助设备的使用的信息的用户接口。如果存在拐杖，那么将分析改变为三个韵律，例如拐杖、右脚、左脚，并且在步骤1842处由治疗师或者由手持设备上的声音或视觉指示通过“左脚”、“右脚”和“拐杖”加线索。

在步骤1844处，连接到夹带模型以进行预测和分类。(要理解的是，这个时候可以预先存在或发起这种连接。)可选的夹带分析1846应用于传感器数据，基本上如上面在步骤1816中所描述的，具有本文所述的差异。例如，可以将夹带与来自会话早期、来自与患者的先前会话的先前夹带数据、或者与其他患者的夹带相关的数据进行比较。作为夹带分析的输出，确定夹带的准确性，例如，患者的步态与基线节奏的匹配程度。如果夹带不准确，那么在步骤1848处进行调整，基本上以与上述步骤1818相同的方式进行。

如果夹带是准确的，那么在步骤1850处确定患者是否正以目标节奏行走。如果未达到目标节奏，那么方法前进到步骤1820(如上所述)，以便对节奏进行增量改变。例如，用手持设备播放的音乐的基线节奏朝向目标节奏增加或减少，例如增加或减少5％。如果已达到目标节奏，那么患者可以在该会话中继续疗法剩余的时间(步骤1852)。在步骤1854处，可以策划在不在疗法会话中时要使用的期望速度的音乐并将其留在图2中的设备220上。这个音乐内容被用作专用疗法会话之间患者的家庭作业/练习。在步骤827处，程序结束。

要理解的是，上文描述并在图18中图示的步骤可以以与所公开的次序不同的次序执行。例如，可以同时在步骤1816、1824、1830、1836、1840、1846和1850处执行评估。而且，贯穿所描述的疗法会话，可以执行到分析系统108的多个连接一次(例如，步骤1814、1822、1828、1834和1844)。

图19图示了用于忽视训练的技术。对于忽视训练，本文描述的系统和方法使用连接的硬件来在患者正确击中目标时提供触觉/振动反馈。连接的硬件包括设备、视频动作捕获系统或连接的铃铛。所有这些设备都连接到所描述的系统中，被轻敲时振动，并有扬声器来播放听觉反馈。例如，连接的铃铛以与传感器200相同的方式向系统提供数据(例如，关于被患者敲击的铃铛的数据)。视频运动捕获系统以与摄像机206相同的方式向系统提供视频数据。忽视训练的关键输入是与跟踪到具体位置的移动相关的信息。当患者正确地击中目标时，程序使用连接的硬件来提供触觉/振动反馈。忽视训练的适当群体包括具有空间忽视或单侧视觉忽视状况的患者。

图19中所示的用于忽视训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。例如，基线测试确立患者的状态和/或从先前测试的改善。在一些实施例中，基线测试包括在屏幕(例如，手持设备220的显示器222)上示出从左到右均匀间隔开的四个对象。或者通过显示器222上出现的线索或者通过治疗师口头指示患者在时间上以背景音乐的节拍敲击对象。与步态训练一样，指示患者在时间上以背景音乐的节拍敲击对象。每次准确的敲击都会提供反馈。一旦收集到基线信息，在屏幕上就显示从左到右均匀间隔开的多个对象。如上所述，指示患者在时间上以背景音乐的节拍从左到右按次序敲击对象。每次准确的打击都会提供反馈。与步态训练一样，分析系统108评估患者的响应并对响应进行分类并且提供添加或减少对象，或者增加或减少音乐的节奏以达到目标节奏的指令。

图20图示了对语调训练有用的技术。对于语调训练，本文描述的系统和方法依赖语音处理算法。通常选择的短语是以下类别中的常用词：双唇音、喉音和元音。硬件连接到患者，以每分钟的节拍向患者的一只手提供触觉反馈。语调训练的关键输入是语音和说出的词和语音韵律。语调训练的适当群体包括broca失语症、表现性失语症、非流利性失语症、失用症、孤独症谱系障碍和唐氏综合症的患者。

图20中所示的用于语调训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。例如，向患者的一只手提供触觉反馈以鼓励轻击。然后通过出现在显示器222上的线索或由治疗师口头指示患者听取所播放的音乐。要学习的口头短语是通过将其分成两部分来播放的，其中这两部分中的第一部分是高音高的，而这两部分中的第二部分是低音高的。然后或者通过显示器222上出现的线索或者治疗师口头指示患者使用正在播放的两个音高来用该设备唱出该短语。与步态训练一样，分析系统108评估患者的响应并依据音高的准确性、说出的词以及由患者或助理/治疗师进行的排名来对响应进行分类，并提供指示以提供替代短语并将响应与目标语音参数进行比较。

图21图示了对音乐刺激训练有用的技术。对于音乐刺激训练，本文描述的系统和方法依赖语音处理算法。熟悉的歌曲与算法一起使用，以将预期部分分离出来(称为期望违规)。硬件包括用于接收和处理患者唱歌的扬声器，并且在一些实施例中，治疗师可以手动提供关于唱歌准确性的输入。关键输入是与音调和说出的词和语音韵律以及音乐偏好相关的信息。适当的群体包括患有broca失语症、非流利性失语症、tbi、中风和原发性进行性失语症的患者。

图21中所示的用于音乐刺激训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。例如，为患者播放歌曲，并且通过出现在显示器222上的线索或由治疗师口头指示患者听该歌曲。歌曲中加入了音乐线索。随后，在预期的位置，省去词或声音并播放手势音乐线索以提示患者唱出遗漏的词或声音。与步态训练一样，分析系统108评估患者的响应并依据音高的准确性、说出的词以及由患者或助理/治疗师进行的排名来对响应进行分类，并提供播放歌曲的附加部分以便改进语音到目标语音参数的指令。

图22图示了可以用于粗略运动训练的技术。对于粗略运动训练，本文描述的系统和方法旨在帮助共济失调、运动范围或发起。锻炼中更具挑战性的部分是音乐上的“重音”，例如，通过使用旋律、和声、韵律和/或力线索。关键输入是经由连接的硬件或摄像机系统与x、y和z捕获的移动相关的信息。适当的群体包括神经、矫形、力量、耐力、平衡、姿势、运动范围、tbi、sci、中风和脑性麻痹的患者。

图22中所示的用于粗略运动训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。与步态训练一样，为患者提供线索，以便在时间上随着音乐选择的基线节拍而移动。如上面所讨论的，分析系统108评估患者的反应并依据运动和夹带的准确性对响应进行分类，并提供增加或减少所播放音乐的节奏的指令。

图23图示了对握力训练有用的技术。对于握力训练，本文描述的系统和方法依赖与抓握设备相关联的传感器。硬件包括具有压力传感器的抓握设备、与手持设备220相关联的连接的扬声器。关键输入是患者以与传感器200测得的足跟着地压力类似的方式向抓握设备提供的压力。适当的群体包括神经、矫形、力量、耐力、平衡、姿势、运动范围、tbi、sci、中风和脑性麻痹的患者。

图23中所示的用于握力训练的流程图与图18中所示的用于步态训练的流程基本相同，具有本文指出的差异。与步态训练一样，向患者提供线索以在时间上随着音乐选择的基线节拍将力施加到抓握设备。如上所述，分析系统108评估患者的响应并依据运动和夹带的准确性对响应进行分类，并提供增加或减少所播放音乐的节奏的指令。

图24图示了对语音线索训练有用的技术。对于语音线索训练，本文描述的系统和方法依赖语音处理算法。硬件可以包括用于接收和处理患者唱歌的扬声器，并且在一些实施例中，治疗师可以手动提供关于语音准确性的输入。关键输入是音调和说出的词和语音韵律以及音乐偏好。适当的群体包括患有机器人、单词发现和口吃语言问题的患者。

图24中所示的用于语音线索训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。与步态训练一样，或者通过显示器222上出现的线索或者通过治疗师口头向患者提供线索，以通过在时间上随着音乐选择的每个节拍说出一个音节来说出句子。如上面所讨论的，分析系统108评估患者的语音并依据语音和夹带的准确性对响应进行分类，并提供增加或减少所播放音乐的节奏的指令。

图25图示了对训练最低限度意识的患者有用的技术。本文描述的系统和方法依赖成像系统(诸如3d相机)来测量患者的眼睛是否睁开、患者正在观看的方向以及结果所得的患者的脉搏或心率。程序搜索并优化心率、刺激、呼吸率、闭眼、姿势和不安。适当的群体包括昏迷和意识障碍的患者。

图25中所示的用于训练最低限度意识的患者的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。与步态训练一样，以患者的呼吸速率(pbr)向患者提供增加的刺激。例如，首先以音乐和弦的pbr处向患者提供刺激并观察患者的眼睛是否睁开。如果患者的眼睛没有睁开，那么刺激会从以pbr哼唱简单的旋律、到以pbr唱“啊”、到以pbr唱出患者的名字(或播放这些声音的录音)顺序增加，并在每次输入检查患者的眼睛是否睁开。分析系统108评估患者的眼睛跟踪并根据意识水平对响应进行分类并提供改变刺激的指令。

图26-28图示了对注意力训练有用的技术。对于注意力训练，本文描述的系统和方法以闭环方式操作以帮助患者维持、分开、交替和选择注意力。没有视觉线索被允许发信号通知要进行哪些动作。适当的群体包括患有脑肿瘤、多发性硬化症、帕金森病和神经疾病和损伤的患者。

图26中所示的用于持续注意力训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。与步态训练一样，向患者提供乐器(例如，任何乐器都可以，诸如鼓槌、鼓、键盘或者每一个的无线连接版本)并且或者通过显示器222上出现的线索或者由治疗师口头指示跟随或执行由级别1至9定义的音频线索的任务，如图26中所示。分析系统108评估患者准确完成任务的能力并对响应进行分类以改变任务的节奏或难度。类似地，图27图示了用于交替注意力训练的流程图，其中或者通过显示器222上出现的线索或者由治疗师口头提供跟随音频线索或对音频线索执行任务的指令，音频线索在左耳和左耳之间交替。图28图示了用于分散注意力的流程图，其中提供跟随音频线索或对音频线索执行任务的指令，在左耳和左耳中都有音频信号。

图29中所示的用于灵活性训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。对于灵活性训练，指示患者用他们的手指轻击钢琴键盘以搜集基线移动和运动范围信息。歌曲以每分钟特定的节拍开始，并且患者开始以基线数量用手指轻击。分析系统108评估患者准确完成任务的能力并对响应进行分类以改变任务的节奏或难度。

图30中所示的用于口腔运动训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。对于口腔运动训练，指示患者在两个声音(例如，“哦”和“啊”)之间交替执行任务。分析系统108评估患者准确完成任务的能力并对响应进行分类以改变任务的节奏或难度，例如，通过提供不同的目标声音。

图31中所示的用于呼吸训练的流程图与图18中所示的用于步态训练的流程基本上完全相同，具有本文指出的差异。对于呼吸训练，确定基线呼吸速率和呼吸浅度。以患者的呼吸速率提供具有基线节奏的音乐，并且指示患者执行图31中的级别中描述的呼吸任务。分析系统108评估患者准确完成任务的能力并对响应进行分类以改变任务的节奏或难度，例如，通过提供不同的呼吸模式。

可以用硬件、软件或适于应用的这些的任何组合来实现上述系统、设备、方法、过程等。硬件可以包括通用计算机和/或专用计算设备。这包括在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或其它可编程设备或处理电路系统中实现，以及内部和/或外部存储器。这也可以或替代地包括一个或多个专用集成电路、可编程门阵列、可编程阵列逻辑部件，或可以被配置为处理电子信号的任何其它设备。还将认识到的是，上述过程或设备的实现可以包括使用结构化编程语言(诸如c)、面向对象的编程语言(诸如c++)或任何其它高级或低级编程语言(包括汇编语言、硬件描述语言以及数据库编程语言和技术)创建的计算机可执行代码，这些代码可以被存储、编译或解释为在上述设备之一上运行，以及处理器、处理器体系架构或不同硬件和软件的组合的异构组合。另一方面，方法可以在执行其步骤的系统中实施，并且可以以若干方式跨设备分布。同时，处理可以跨设备(诸如上述各种系统)分布，或者所有功能可以集成到专用的独立设备或其它硬件中。另一方面，用于执行与上述过程相关联的步骤的装置可以包括上述任何硬件和/或软件。所有这些排列和组合都旨在落入本公开的范围内。

本文公开的实施例可以包括计算机程序产品，其包括计算机可执行代码或计算机可用代码，当代码在一个或多个计算设备上执行时，执行其任何和/或所有步骤。代码可以以非瞬态方式存储在计算机存储器中，计算机存储器可以是程序从其执行的存储器(诸如与处理器相关联的随机存取存储器)，或存储装置(诸如盘驱动器、闪存或任何其它光学、电磁、磁性、红外或其它设备或设备的组合)。另一方面，上述任何系统和方法可以在携带计算机可执行代码和/或来自计算机可执行代码的任何输入或输出的任何合适的传输或传播介质中实施。

将认识到的是，上述设备、系统和方法是作为示例而非限制来阐述的。在没有明确相反的指示的情况下，可以在不脱离本公开的范围的情况下修改、补充、省略和/或重新排序所公开的步骤。对于本领域普通技术人员来说，许多变化、添加、省略和其它修改是显而易见的。此外，上述描述和附图中的方法步骤的次序或表示并不旨在要求执行所述步骤的这个次序，除非明确要求次序或者以其它方式从上下文中清楚。

本文描述的实现的方法步骤旨在包括使得执行这种方法步骤的任何合适的方法，与以下权利要求的可专利性一致，除非明确地提供不同的含义或者以其它方式从上下文中清楚。因此，例如，执行x的步骤包括用于使诸如远程用户、远程处理资源(例如，服务器或云计算机)或机器之类的另一方执行x的步骤的任何合适的方法。类似地，执行步骤x、y和z可以包括指导或控制这些其它个体或资源的任意组合以执行步骤x、y和z以获得这些步骤的益处的任何方法。因此，本文描述的实现的方法步骤旨在包括使一个或多个其它方或实体执行与以下权利要求的可专利性一致的步骤的任何合适方法，除非明确地提供不同含义或以其它方式从上下文清楚。这些方或实体无需受任何其它方或实体的指导或控制，也无需位于特定的管辖区内。

应当进一步认识到的是，上述方法是作为示例提供的。在没有明确相反的指示的情况下，可以在不脱离本公开的范围的情况下修改、补充、省略和/或重新排序所公开的步骤。

将认识到的是，上述方法和系统是作为示例而非限制来阐述的。对于本领域普通技术人员来说，许多变化、添加、省略和其它修改将是显而易见的。此外，上述描述和附图中方法步骤的次序或表示并不旨在要求执行所述步骤的这个次序，除非明确要求次序或者以其它方式从上下文中清楚。因此，虽然已经示出和描述了特定实施例，但是对于本领域技术人员来说显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变和修改。