跨用户手部关节角度估计方法、系统及计算机设备

本技术涉及医学机器人控制，特别涉及一种跨用户手部关节角度估计方法、系统及计算机设备。

背景技术：

1、几十年来，机械手在搜索救援、工业以及人工假肢等领域得到了广泛的研究和应用。表面肌电信号具有超前于运动产生、便于采集的特性，是一种较为理想的可用来提取人体运动意图的生理信号，在康复医疗及人机交互等领域都存在众多应用，在世界范围内被广泛用于机械手的灵巧控制。由于手部作为人体最有特色的器官，具有高度的灵活性，多自由度实时连续控制的方法将是机械手未来的发展方向，因为这能提供更加自然的、符合人体直觉的控制。很多研究建立了算法实现肌电信号与手指关节角度之间的映射关系，以实现连续实时的控制策略。另外，考虑到针对截肢者的应用以及手部肌电本身难以采集这两个问题，人们常用手臂肌电来建立回归算法，以此估计手部运动时的关节角度。由于人体手部在运动过程中手臂的肌肉会活动，因此通过手臂肌电信号估计手部关节角度是可行的。然而，由于人与人之间的生理差异，导致基于表面肌电信号的估计方法在不同用户之间出现性能差异，其中最常见的解决方案是为每个用户重新训练，并使用新采集的数据校准模型。然而，这样的过程需要额外的数据收集和模型的测试验证，其复杂程度和耗时阻碍了现实世界的部署和落地。研究表明，尽管不同用户具有个体性和特殊性，但用户之间的解剖学相似性和肌肉协同效应表明，来自其他用户的数据可以用于快速构建符合新用户要求的识别策略，因此针对跨用户的意图识别方法研究逐渐成为了研究热点。综合目前研究，表面肌肉电信号控制中的跨用户意图识别方法可以分为两类：基于神经网络的模型迁移方法和基于特征的模型迁移方法。基于神经网络的模型迁移方法，神经网络首先在训练中使用足够的标记数据进行训练。然后，通过冻结一部分网络权重来固定该模型的一部分参数，并使用标记或未标记的目标数据更新未冻结的模型参数。而基于特征的模型迁移方法，基于特征的模型结构试图通过特征域对齐获得特征域不变的特征。其中神经网络从源域和目标域中提取特征进行特征域的损失计算，目的是减少隐式空间中特征分布的不匹配。

2、目前，基于神经网络模型的知识迁移方法实现方式较为简单因此被普遍使用，但由于人与人之间的生理差异，模型在不同用户之间提取的肌电信号特征差异也较大，这些特征在不同用户之间的通用性不能得到保证，因此使用基于神经网络模型的知识迁移方法，在模型矫正后效果往往不尽人意，而且矫正后的模型容易丧失对原来用户的泛化能力。而对于基于特征的迁移方法，模型的参数是通过同时学习原用户和目标用户的信息来更新的，能够提取适用于不同用户、与个体差异性关系不大的特征，因此矫正后的模型不会丧失对其它用户的鲁棒性和泛化能力，但是矫正所需耗时较大，用户的接受度较低。

技术实现思路

1、鉴于此，有必要针对现有技术中存在的缺陷提供一种矫正时间较短且用户的接受度较高的跨用户手部关节角度估计方法、系统及计算机设备。

2、为解决上述问题，本技术采用下述技术方案：

3、本技术目的之一，提供了一种跨用户手部关节角度估计方法，包括下述步骤：

4、获取多位用户手部活动信号数据，所述手部活动信号数据包括肌电信号及关节角度信号；

5、根据所述手部活动信号数据构建多用户模型；

6、通过新用户的训练数据对所述多用户模型进行校准；

7、校准的所述多用户模型对新用户的手指关节角度进行估计。

8、在其中一些实施例中，在获取多位用户手部活动信号数据，所述手部活动信号数据包括肌电信号及关节角度信号的步骤中，所述肌电信号来自于指伸肌、指屈肌、肱二头肌肱三头肌以及前臂距离手肘2～6cm处的一圈肌肉，所述肌电信号采样频率2000hz；所述关节角度信号通过数据手套进行数据采集，采样频率为20hz。

9、在其中一些实施例中，其特征在于，在获取多位用户手部活动信号数据的步骤后并进行下一步步骤之前还包括对获取多位用户手部活动信号数据进行预处理的步骤。

10、在其中一些实施例中，在对获取多位用户手部活动信号数据进行预处理的步骤中，具体包括下述步骤：

11、选用四阶巴特沃兹滤波器对所述肌电信号进行带通滤波，再用基线校正并去除所述肌电信号的噪声，采用u-law对数缩放方法对所述肌电信号进行放大；重采样所述关节角度信号至2000hz，以使肌电与关节角度序列在时间上同步，使用低通滤波器平滑化所述关节角度信号；记录采集所述肌电信号与所述关节角度信号的最大值与最小值，用于训练与测试数据的归一化。

12、在其中一些实施例中，在根据所述手部活动信号数据构建多用户模型的步骤中，具体包括下述步骤：

13、获取多位用户的表面肌电信号和关节角度的训练数据，使用有监督的均方损失函数进行模型训练，得到多用户神经网络模型，所述多用户神经网络模型包括一特征融合模块、两个卷积模块和一个多层感知机模块，其中：特征提取模块由卷积或者自注意力机制组成，所述特征融合模块由卷积组成。

14、在其中一些实施例中，在通过新用户的训练数据对所述多用户模型进行校准的步骤中，具体包括下述步骤：

15、构建与所述多用户神经网络模型相同结构的新用户神经网络模型，并由训练好的所述多用户神经网络模型的权重进行初始化，使得初始参数和训练好后的多用户神经网络模型参数一样；

16、设置特征区域判别器，所述多用户神经网络模型的参数被冻结，所述新用户神经网络模型和所述特征区域判别器的参数被矫正和优化，以使多用户的特征域和新用户特征域之间的特征距离最小；

17、当所述特征区域判别器难以区分两个特征域并找到这两个特征域之间的最小距离，完成对所述多用户模型的校准。

18、在其中一些实施例中，所述特征区域判别器包括——密集连接残差模块的结构，所述密集连接残差模块由卷积层、一密集连接层、一转换层和残差连接层组成，前面的各个卷积层用于提取特征，所述密集连接层与所述卷积层直接连接，所述卷积层用于将提取的特征被拼接起来作为后面各个卷积层的输入，所述过渡层使用1×1卷积来压缩特征的数量并压缩网络，所述残差连接层用于给予网络更深的结构和更丰富的特征表示。

19、在其中一些实施例中，在校准后的所述多用户模型对新用户的手指关节角度进行估计的步骤中，具体包括下述步骤：在校准的所述多用户模型中输入测试数据集，将连续估计的关节角度曲线与关节角度传感器得到的实际关节角度曲线进行对比，用皮尔逊相关系数、均方根误差和决定系数三个性能指标作为该回归任务的评价标准。

20、本技术目的之二，提供了一种跨用户手部关节角度估计系统，包括：

21、数据采集单元，用于获取多位用户手部活动信号数据，所述手部活动信号数据包括肌电信号及关节角度信号；

22、多用户模型构建单元，用于根据所述手部活动信号数据构建多用户模型；

23、校准单元，用于通过新用户的训练数据对所述多用户模型进行校准；

24、估计单元，用于对校准的所述多用户模型对新用户的手指关节角度进行估计。

25、本技术目的之三，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的跨用户手部关节角度估计方法。

26、本技术采用上述技术方案，其有益效果如下：

27、本技术提供的跨用户手部关节角度估计方法、系统及计算机设备，获取多位用户手部活动信号数据，根据所述手部活动信号数据构建多用户模型，通过新用户的训练数据对所述多用户模型进行校准，校准的所述多用户模型对新用户的手指关节角度进行估计，上述方法、系统及计算机设备利用多个用户的表面肌电信号和手指关节角度数据建立多用户模型，然后采用新提出的对抗迁移学习策略，使用新用户的部分训练数据校准多用户模型，校准后的模型能够实时估计人在连续运动过程中手部关节的关节角度，同时由于应用数据驱动的算法，避免了建立从肌电到生理模型的复杂实现过程。