基于意图标识的机器学习移动判定的制作方法

背景技术：

1、数以亿计的人生活在残疾之中。根据美国疾病控制和预防中心2019年的一项研究，在美国，大约14％的残疾成年人具有移动能力残疾，导致人行走或爬楼梯严重困难。辅助移动能力的传统方法，诸如拐杖、手杖和轮椅，不足以使个人实现完全的独立和移动能力。

2、尽管诸如外骨骼之类的技术和诸如功能性电刺激(fes)的疗法标志着对提高移动能力的传统方法的改进，但此类技术受到与传统拐杖、手杖和轮椅类似的限制：它们不是针对用户个性化的，并且不能基于可用信息(例如，用户的移动)来优化移动能力增强。因此，可以通过个性化和优化移动能力增强来改进现有技术。

技术实现思路

1、本文描述的移动能力增强系统实现机器学习和控制机制以个性化和优化移动能力增强。该系统监测用户与移动相关联的各种数据，例如肌肉电活动(即肌肉激发)、运动学(“kinematics”)和动力学(“kinetics”)。通过监测肌肉电活动，该系统可以确定用户在做出移动之前意图做什么移动。这是对传统系统的改进，传统系统仅使用指示用户当前移动的惯性测量单元(imu)数据来确定是否增强移动。传统系统采取的这种反应性方法不能在用户尝试神经典型移动之前帮助受到神经非典型运动功能影响的用户。

2、本文描述的移动能力增强系统使用机器学习模型来确定预期移动，该机器学习模型基于诸如肌肉电活动、运动学和动力学的监测数据来标识预期移动或移动预测。机器学习模型可以根据在一群用户上收集的通用移动数据或在与特定用户的移动相关联的数据上进行训练，这微调其对该用户的移动预测并且实现个性化的移动能力增强。该系统使用移动预测来确定移动能力增强或致动策略。该致动策略可以进一步对用户个性化。

3、一旦系统应用了致动策略，它就进一步监测用户的移动，以衡量所应用的致动策略有多成功。通过比较所监测的移动和与用户意图相关联的目标移动，该系统可以重新训练机器学习模型(例如，当致动策略适合于所标识的预期移动时)。以这种方式，该系统进一步对用户个性化移动能力增强。此外，在比较所监测的移动与目标移动之后，该系统可以调整致动策略以最小化所监测的移动与目标移动之间的后续差异。因此，该系统通过在应用致动之后监测用户来优化致动策略。

4、在一个实施例中，移动能力增强系统从数据库中收集一个或多个用户的第一运动意图数据集。运动意图数据的示例包括肌电(emg)数据、imu数据、足底压力信号或其组合。该系统利用意图标签来标记第一运动意图数据集，意图标签表示由第一运动意图数据集表征的预期运动。例如，运动意图数据可以利用意图标签来标记，该意图标签指示用户意图向前迈一步或抬起脚趾。该系统基于所标记的第一组运动数据来创建第一训练集以训练机器学习模型。机器学习模型被配置为基于所监测的运动意图数据而输出对应于由所监测的运动意图数据表征的可能运动的移动预测。所监测的运动意图数据可以由位于用户身体上的各种区域的传感器(例如，与有助于第一运动意图数据集的用户不同的目标用户)捕获。该系统基于移动预测和对应于目标用户的移动信号的第二运动意图数据集来创建第二训练集。使用第二训练集来重新训练机器学习模型，以使其针对目标用户的运动进行定制。

5、第一运动意图数据集可以包括神经典型运动意图数据、神经非典型运动意图数据或两者的组合。目标用户的移动信号可以包括运动学信号、足底压力信号或动力学信号。可以使用来自数据库的一个或多个用户的足底压力信号、运动学信号和动力学信号来确定意图标签。第一运动意图数据集可以由用户、观察用户的观察者、被配置为识别视频内的运动的计算机可视化算法、提示用户执行特定动作的系统或其组合来标记。第一运动意图数据集可以包括由各个用户执行的各种运动或由各个用户执行的共同运动或相同运动。共同运动可以是迈步、抓握、抬起或收缩。

6、第一运动意图数据集可以表示目标用户在目标用户上的第一位置处执行的运动，并且可以在目标用户上的第二位置处监测移动信号，其中第一位置和第二位置跨目标用户的身体的矢状面(“sagittal plane”)而被镜像。移动预测可以对应于在第一位置执行的运动的目标移动信号。例如，第一运动意图数据集可以包括在目标用户的左脚处测量的emg数据，并且可以在目标用户的右脚处监测移动信号。使用第二训练集来重新训练机器学习模型可以包括在确定相似性得分超过阈值时，加强所监测的运动意图数据与移动预测之间的关联，其中使用目标移动信号和目标用户的移动信号(例如，信号之间的差异)来计算相似性得分。相似性得分可以指示目标用户步态的对称性。如果相似性得分未能超过阈值，则可以削弱所监测的运动意图数据与移动预测之间的关联。

7、使用第二训练集来重新训练机器学习模型可以附加地或备选地包括：在基于所标记的第二运动意图数据集来确定目标用户的一个或多个脚趾在步态期间向上翻转后加强所监测的运动意图数据与移动预测之间的关联，以及在基于标记的第二运动意图数据集来确定目标用户的一个或多个脚趾在步态期间未能向上翻转后削弱所监测的运动意图数据与移动预测之间的关联。对于各个用户中的每个用户，相应用户的第一运动意图数据集可以在时间域中对齐，并且使用信号处理技术(例如，滤波、平均、找峰、下采样、傅立叶变换、均方根平均或其组合)来处理。生物力学模型可用于确定与处理后的数据相关联的运动学数据。

8、移动预测可以对应于表示与各种目标移动信号相关联的肌肉活动事件序列的移动模板。对应于可能运动的移动预测可以包括在监测运动意图数据的时间之后发生的后续时间处的可能imu数据值。通过确定表示位于目标用户身体的不同区域的肌肉事件的特征向量，可以基于所标记的第一运动意图数据集来创建第一训练集，其中肌肉事件由第一运动意图数据集表征。可以接收来自在监测目标用户数据的移动信号之前执行的(例如，与目标用户)校准的校准数据，并且将其用于重新训练机器学习模型。例如，可以使用第二训练集来重新训练机器学习模型，该第二训练集使用校准数据。因此，该模型可以进一步对目标用户定制。可以使用远程设备(例如，远程计算服务器)的处理器来重新训练机器学习模型。

9、在另一实施例中，移动能力增强系统应用机器学习模型来标识用户的预期移动。该系统监测表示用户移动的移动信号。机器学习模型用于基于从用户接收的运动意图数据(例如，通过位于用户身体上的传感器)来确定用户的预期移动。使用预期移动确定，该系统标识移动信号与目标移动信号之间的差异。目标移动信号可以表示用户的预期移动。例如，该系统确定用户意图站立，并且目标移动信号包括运动学、动力学、emg信号或与神经典型站立移动相关联的它们的任意组合。该系统基于所标识的监测移动信号与目标移动信号之间的差异来确定致动信号。例如，用于帮助用户站立的fes刺激的参数可以基于用户所监测的移动与目标移动的距离有多近来确定。然后，该系统将所确定的致动信号应用于用户穿戴的一个或多个增强设备，或称为“移动能力增强设备”。例如，所确定的fes刺激可以通过位于设备中的每个设备的致动电极来应用。

10、运动意图数据可以包括emg数据、imu数据或两者的组合。用户的增强移动可以由移动结果信号表示，其中将致动信号应用于增强设备有助于在用户中创建增强移动。可以使用机器学习模型来标识移动结果信号与目标移动信号之间的差异。该差异可以用于修改致动信号，该致动信号然后可以被应用到用户穿戴的一个或多个增强设备。可以从数据库收集一个或多个用户的神经典型运动意图数据，其中该神经典型运动意图数据对应于由一个或多个用户执行的活动。可以使用所收集的神经典型运动意图数据来创建移动模板，其中该移动模板表示对应于所执行的活动的肌肉活动事件的序列。可以使用机器学习模型来确定移动预测，其中该移动预测指示移动信号对应于所执行的活动。可以基于移动预测来选择移动模板，其中模板的肌肉活动事件序列与目标移动信号相关联。可以使用所选择的移动模板来标识移动信号与目标移动信号之间的差异。

11、通过标识与基于移动模板的肌肉活动事件序列中的肌肉活动事件的移动策略相关联的触发器，可以基于移动信号和目标移动信号之间的差异来确定致动信号。该致动策略可以包括致动信号、要应用致动信号的增强设备以及要应用致动信号的时间。

12、可以从教练用户收集神经典型运动意图数据。神经典型运动意图数据可以对应于由教练用户执行的活动，并且可以使用由教练用户在教练用户上的位置处穿戴的传感器来监测。目标移动信号可以基于所收集的神经典型运动意图数据来确定，并且可以表征由教练用户执行的活动。移动信号可以与用户的肌肉群相关联，并且致动信号可以被应用到相同的肌肉群。可以使用在用户身体上的第一位置处穿戴的第一增强设备从用户收集神经典型运动意图数据，其中神经典型运动意图数据对应于由用户执行的活动。目标移动信号可以基于所收集的神经典型运动意图数据来确定，并且可以表征用户所执行的活动。可以使用位于用户身体上的第二位置上的第二增强设备来应用致动信号。第一位置和第二位置可以跨用户身体的矢状面而被镜像。

13、可以基于足底压力信号、运动学信号、动力学信号或其组合来确定意图标签，其中这些信号可以从一个或多个用户收集并且存储在数据库中。可以收集这些用户的运动意图数据并且对其进行预处理。预处理数据以及意图标签可以用于训练机器学习的模型。对于用户中的每个用户，对运动意图数据进行预处理可以包括在时间域中对准相应用户的运动意图数据，使用信号处理技术(例如，滤波、平均、找峰、下采样等)来处理运动意图数据，以及使用生物力学模型来确定与处理的运动意图数据相关联的运动学数据。

14、致动信号可以包括电致动信号、触觉致动信号、从用户设备的显示器输出的可视信号、音频信号或机械致动信号。电致动信号可以由第一时间段的第一频率、第一脉冲持续时间和第一幅度以及第一时间段之后第二时间段的第二频率、第二脉冲持续时间和第二幅度表征。可以通过使用致动信号来致动外骨骼来应用致动信号。增强设备可以包括外骨骼、模块化电极带、足部压力床或其组合。目标移动信号可以包括运动学信号、足底压力信号或动力学信号。可以通过确定时间(例如，每30秒、中午和下一小时的每分钟等)来应用致动信号，以根据预期移动应用致动信号。可以监测移动结果信号并且将其与目标移动信号进行比较(例如，通过使用机器学习模型来确定信号之间的差异)。该差异可以用于修改应用致动信号的时间，并且可以在经修改的时间处应用致动信号。