一种面向柔性传感器时序性能变化的关节角度预测方法

1.本发明涉及传感器领域，具体涉及一种基于输出级领域自适应的面向柔性传感器时序性能变化的关节角度预测方法。


背景技术：

2.以人体运动监测(bmm)为目标的可穿戴设备已经应用于以人为中心的计算的各个领域，包括人机交互、医疗保健，甚至军事。在这些应用中，可穿戴设备通常设计有手套或关节垫，以捕捉手指、手臂或腿等身体部位的弯曲。为了便于长期使用，柔性传感器几乎不影响服装面料的手感，从而提高了服装的舒适性，成为此类可穿戴设备的首选。在这些设备中，柔性传感器盘绕在布料纤维上，随着身体的运动而拉伸。这种拉伸改变了柔性传感器的阻力，柔性传感器通常被用作身体运动的指示器。通过收集柔性传感器测量信号和身体运动的配对数据，可以直接通过监督学习来估计两者之间的映射关系。
3.上述可穿戴设备虽然前景看好，但柔性传感器老化，使得学习到的映射在使用一定量后失效。为了延缓或减轻老化效应，研究人员和从业者通常采用两种方法：替换和使用抗老化材料。两者之间，替代是简单直接的，广泛使用。虽然在某些情况下有效，但它不适用于柔性传感器，因为柔性传感器缠绕在布纤维上，因此不能在不损坏可穿戴设备的情况下进行更换。与直接替换不同，抗老化材料已经被用作柔性传感器的涂层。虽然从测试来看，仅在相对较短的时间内有效。因此，需要更多的努力来减轻柔性传感器的老化效应。
4.配备柔性传感器的可穿戴设备为人体运动监控提供了一个很有前景的解决方案。具体来说，可以通过监测拉伸柔性传感器的阻力变化来捕捉肘部弯曲等身体运动。然而，除了拉伸之外，柔性传感器的电阻也受到其老化的影响，这使得电阻成为肘关节角度的一个不太稳定的指标。
5.从身体运动监测的基本性质来看，身体运动监测在各种应用中都是一个重要的部分。身体运动监测的主要方法分为两类：基于视觉的方法和使用可穿戴设备的方法。作为优选方案，本发明中，身体运动监测基于柔性传感器的可穿戴设备，这些设备与日常服装无法区分。本发明在身体运动监测使用柔性传感器为基础的可穿戴设备。如上所述，柔性传感器因其高生物相容性、延展性和便携性成为针对身体运动监测的可穿戴设备的流行选择。虽然软测量技术很有发展前途，但由于存在老化问题，阻碍了其在消费品中的应用。除了旨在减轻传感器老化(例如抗氧化涂层)的常规做法外，已经提出了一种新的传感器可以测量晶体振动材料的老化程度，并提出了相应的方法来补偿老化的影响。然而，该方法依赖于新传感器提供的测量，因此只适用于晶体振动材料。通过研究软测量老化的起源，有人提出了一种补偿塑性变形引起的老化效应的方法。然而，该方法专门用于塑性变形，因此不适用于由其他因素引起的老化。


技术实现要素：

6.本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种基于输出
级领域自适应的面向柔性传感器时序性能变化的关节角度预测方法，借用机器学习界的领域适应思想来解决现有技术中存在的问题。因此，本发明的方法是独立于传感器材料，并隐式地同时处理所有老化因素。
7.根据本发明，提供了一种基于输出级领域自适应的面向柔性传感器时序性能变化的关节角度预测方法包括：
8.第一步骤：采用均匀分布在肘部垫周围的多个柔性传感器组成用于肘部角度预测的智能穿戴设备；
9.第二步骤：在智能穿戴设备的穿戴者匀速地完全屈曲肘关节的同时，记录智能穿戴设备采集到的信号向量以得到训练数据集用于训练肘部角度预测值，其中n是数据点的数量，是智能穿戴设备采集到的信号向量对应的肘角；
10.第三步骤：将分成两个数据集和利用两个数据集和训练一个预测器来估计函数f：
11.优选地，第三步骤利用深度学习，建立了一个由9层完全连接的神经网络，并用leaky relu包起来的预测器激活函数。
12.优选地，在预测器的低维输出水平进行域自适应。
13.优选地，在将分成两个数据集和时，最小化da和db上预测器的两个输出分布之间的统计距离。
14.优选地，使用最大平均偏差来测量统计距离。
15.优选地，多个柔性传感器的数量是六个。
16.本发明一定程度解决了柔性传感器因老化导致设备预测模型效果变差的情况，而现有技术没有相应的方案可以解决此类问题，大部分是通过更换和涂抹材料等物理方法解决，但相对于织入衣物的柔性传感器并不适用。同时采用了领域自适应的方法在数据和模型层面提高了一般回归神经网络模型的预测准确率。需要的训练数据不多，而且可以在“无限”的老化时间内都保持很好的预测效果。并不需要复杂的人工操作，在第一次模型训练就可以得到有“抗老化”效果的模型。
附图说明
17.结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
18.图1示意性地示出了传感器的电阻都以非线性方式发生显著变化的示意图。
19.图2示意性地示出了根据本发明优选实施例的基于输出级领域自适应的面向柔性传感器时序性能变化的关节角度预测方法的总体流程图。
20.需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
21.为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。
22.配备柔性传感器的可穿戴设备为人体运动监控提供了一个很有前景的解决方案。具体来说，可以通过监测拉伸柔性传感器的阻力变化来捕捉肘部弯曲等身体运动。然而，除了拉伸之外，柔性传感器的电阻也受到其老化的影响，这使得电阻成为肘关节角度的一个不太稳定的指标。在本发明的工作中，利用了深度学习的最新进展，并通过将肘部角度的老化不变性预测作为一个领域自适应问题来解决上述问题。具体地说，将在不同老化程度下收集的柔性传感器数据(即电阻值)定义为不同的域，并在其中采用回归神经网络来学习域不变特征。
23.作为传感器老化的直接证据，本发明测试了smartpad静止时传感器的电阻如何随时间变化。具体来说，首先生产一个新的smartpad，并将其保留在原位。然后，每两小时记录六个传感器的电阻。如图1所示，所有六个传感器的电阻r1、r2、r3、r4、r5、r6都以非线性方式发生显著变化，如果处理不当，这无疑会影响肘部角度预测。
24.此外，本发明还利用未老化和老化传感器电阻值分布之间的距离来测量传感器老化。结果显示，可以观察到穿戴设备中的柔性传感器确实老化了(两个不同时间划分的域数据分布差异越来越大)，并且这种老化显著地改变了传感器数据随使用情况的分布。此外，观察到老化对传感器数据分布的影响是复杂的。尽管它们呈上升趋势，但mmd值是振荡的，有时可能非常低，即老化的传感器与未老化的传感器具有相似的分布。一方面，这表明输入数据的复杂分布变化对有监督学习是有挑战性的，这证明了本发明使用域自适应是合理的。另一方面，这解释了中基线模型的异常行为：其性能在区间内的改进不是模型的优越性，而是传感器数据分布的变化。
25.在本发明中，以肘部角度预测为例，通过将领域适应性融入到学习中来解决老化问题。对于领域自适应，域适应是迁移学习的一个子领域，它的目的是消除域间的差异，使在一个或多个源域中训练的模型能够成功地应用于不同的目标域。本发明第一个表明领域适应也可以用来减轻身体运动监测柔性传感器的老化效应。此外，本发明还利用了预测肘角的低维性，提出在预测器的输出级进行域自适应。
26.在具体实施例中，本发明以肘部角度预测为例，通过将领域适应性融入到学习中来解决老化问题。具体地说，本发明没有天真地假设预测是在一个域(即监督学习)中进行的，而是观察柔性传感器信号随老化的漂移，并将在柔性传感器不同老化水平上收集的数据定义为不同的域。通过这种方法，本发明将基于老化软测量的肘部角度预测问题转化为一个域自适应问题，该问题旨在学习一个域/老化不变的回归神经网络。注意，这个公式并不简单，因为柔性传感器的不间断老化会导致“无限”的适应域，这与大多数文献中只涉及一个源域和一个目标域的情况不同。
27.而且，进一步地，为了便于统计差异估计，在预测器的低维输出水平(即标量)而不是高维特征水平上进行域自适应。也就是说，对预测器的输出角度标量而不是中间层的输出特征向量应用域自适应。这一点非常关键，因为预测输出的低维性保证了受到维数影响的统计度量的有效性。实验结果表明，该方法对老化传感器测量数据具有鲁棒性和精确性，明显优于不能推广到老化传感器数据的有监督学习方法。
28.图2示意性地示出了根据本发明优选实施例的基于输出级领域自适应的面向柔性传感器时序性能变化的关节角度预测方法的总体流程图。
29.如图2所示，根据本发明优选实施例的基于输出级领域自适应的面向柔性传感器时序性能变化的关节角度预测方法包括：
30.第一步骤s1：采用均匀分布在肘部垫周围的多个柔性传感器组成用于肘部角度预测的智能穿戴设备；例如，多个柔性传感器的数量是六个。
31.优选地，智能穿戴设备使用普通的服装材料作为织物材料，在不影响服装舒适性的情况下缝合柔性传感器，并与肘垫完美融合。使用时，由六个标量值组成的传感器信号将由配备蓝牙的pcb采集和发送。该设备可以预测手肘弯曲的角度。但是使用的柔性传感器存在“老化”问题，即本发明要解决的主要问题。
32.第二步骤s2：在智能穿戴设备的穿戴者匀速地完全屈曲肘关节的同时，记录智能穿戴设备采集到的信号向量以得到训练数据集用于训练肘部角度预测值，其中n是数据点的数量，是智能穿戴设备采集到的信号向量对应的肘角；
33.即，智能穿戴设备的穿戴者反复弯曲肘部至大约30度及延伸到大约180度以记录智能穿戴设备采集到的信号向量。
34.智能穿戴设备采集到的信号向量为智能穿戴设备采集到的信号向量为是智能穿戴设备采集到的信号向量对应的肘角，本发明的目标是训练一个预测器来估计函数f：通过拟合训练数据集dtrain。而柔性传感器在数据采集过程中不断老化。
35.然而，由于柔性传感器的老化，数据训练中的数据点往往与实际数据相差甚远。因此，尽管相对容易实现对dtrain的高预测精度，但是在实际场景中，使用监督学习训练的预测器在从不断老化的柔性传感器收集的测试数据上容易过度拟合并显著恶化。为此，本发明借鉴领域自适应的思想，提出在训练过程中显式正则化预测器来学习老化不变特征。具体来说，本发明将不同老化程度的柔性传感器测量数据x定义为不同的域，并调整其中的预测器来学习域不变特征。
36.然而，这并不是微不足道的，因为大多数现有文献所研究的成对域自适应问题只需要将预测器适应于单个目标域。相比之下，本发明的方法要求预测器适应于柔性传感器不断老化造成的“无限”目标域。
37.针对这一挑战，本发明提出了两种基于肘角范围不变性的策略(即[30
°
；180
°
]))在数据采集过程中，要求以匀速进行肘关节完全屈曲，以确保肘关节角度分布均匀；2)为了便于统计差异估计，我们对预测器的低维输出标量进行域自适应，而不是对中间层的高维输出特征向量进行域自适应。
[0038]
第三步骤s3：将分成两个数据集和利用两个数据集和训练一个预测器来估计函数f：
[0039]
其中，在预测器的低维输出水平进行域自适应。
[0040]
在具体实施例中，可以利用深度学习，建立了一个由9层完全连接的神经网络，并
用leaky relu包起来的预测器(例如，预测器参数α＝0.01)激活函数。
[0041]
上一步中收集了训练数据集用于训练肘部角度预测值。然而，这些数据是从不断老化的柔性传感器中采集的，使得训练容易出现过度拟合。解决这个问题，本发明把分成两半和通过输出级的域自适应，鼓励学习域不变特征。
[0042]
本发明最大限度地减少了数据训练的预测误差。假设是预测的弯头角度，通过均方误差(mse)损失来测量预测误差lmse：
[0043][0044]
本发明最小化da和db上预测器的两个输出分布之间的统计距离。使用最大平均偏差(mmd)来测量统计距离。通过观察两个分布p和q的样本，mmd可以作为零假设p＝q的核两样本检验。简言之，mmd将两个分布之间的距离表示为它们在再生核hilbert空间中的平均嵌入之间的距离。核心思想是p和q的平均嵌入是相同的当且仅当p＝q。mmd损失可以经验估计或计算为：
[0045][0046]
其中和分别表示和上预测器的输出，和是和的样本，φ(y)是y在再生核hilbert空间中的特征嵌入。此外，使用多核mmd平均5个不同的高斯核式中t＝{
‑
2，
‑
1，0，1，2}。明确地，γ
t
＝2
t
γ在这里，设置带宽γ是聚合样本中点之间的中间距离。注意，mmd最小化的有效性是由数据收集过程保证的，该过程保证了预测器的输出是相同分布的；和的低维性，这防止了mmd值的有问题的下降(最好是多项式)，其维数使其无效。
[0047]
其中，lmse是有监督学习中使用的标准损失项，lmmd是输出级域自适应的损失项，它通过调整输出分布使其与老化无关来鼓励老化不变性预测的学习。因此，总体损失函数为：
[0048]
l＝l
mse
+η
·
λ
·
l
mmd
，式中λ是一个加权参数，η是一个学习率衰减参数，它优先考虑在训练的早期阶段最小化lmse。
[0049]
实验
[0050]
实验收集了60000条数据，即和m＝60000，在跨越两天的不同时间段，
对应不同程度的软测量老化。然后，将数据分割成训练数据集验证数据集和测试数据集如下：其中也就是说，dtrain包含前90％的20000条数据，其余10％包含在dval中。
[0051]
其中，而且
[0052]
对dtrain和dval的分割符合老化不变学习的思想，因为它最大化了两个数据集之间软测量老化的差异，这使得更好的提前停止，从而有助于避免过度拟合。注意，使用了一个由不同老化程度的数据点组成的大型数据测试来证明本发明的方法在准确预测肘部角度对抗传感器老化方面的优越性。
[0053]
通过测试数据集dtest的平均误差来评估本发明的方法：式中，表示预测肘角，表示dtest中的地面真实肘角。
[0054]
用学习率为1e
‑5的sgd优化器训练模型；在训练期间，没有使用任何标准化层或正则化器。使用的批量大小为100。
[0055]
为了证明域自适应的有效性，将该方法的预测精度与dtest上的基线模型进行了比较。为了便于公平比较，基线模型使用与本发明的方法相同的网络结构、超参数和数据集(即dtrain和dval)进行训练，但采用有监督的学习方式。换句话说，基线模型和本发明的方法之间的唯一区别是，基线模型是用损失函数lbase＝lmse而不是等式l＝l
mse
+η
·
λ
·
l
mmd
来训练的。
[0056]
在软测量老化的情况下，本发明的方法在肘部角度预测的准确性和鲁棒性方面显著优于基线模型。一般来说，本发明的预测值平均误差为8.78
°
；在dtest上，它大约减少了基线模型的值，即16.37
°
,减半。更具体地说，观察到本发明的方法和基线模型如随着i增长。由于本发明的数据是以时间序列的形式收集的，这些不断增加的差距证明，结合域自适应确实有助于学习老化不变的特征。
[0057]
综上所述，首先，本发明提出了一种基于区域自适应的肘部角度老化不变性预测方法，它将肘部角度的平均预测误差从16:37
°
降低了一半，到8:78
°
。其次，本发明提出了一种输出级域自适应方法和两种相关策略，在准确性和鲁棒性上都优于特征级域自适应方法。实验结果表明，本发明的方法对老化柔性传感器测量数据具有鲁棒性和精确性，明显优于不能推广到老化传感器数据的有监督学习方法。
[0058]
需要说明的是，除非特别指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
[0059]
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以
限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。