用于元宇宙的传感器手套及其姿态估计方法与流程

1.本发明属于元宇宙手部数据姿态估计技术领域，具体涉及一种用于元宇宙的传感器手套和一种用于元宇宙的传感器手套的姿态估计方法。


背景技术：

2.元宇宙(metaverse)是一个平行于现实世界运行的人造虚拟空间。在这个空间里，用户拥有自己的虚拟身份和数字资产，可以在虚拟世界里尽情互动，从事生产经营活动并创造价值。2021年3月roblox以元宇宙的概念在纽交所上市，同年9月份facebook宣传进军元宇宙领域，国内也有腾讯、字节跳动等知名公司开始布局元宇宙，无不意味着元宇宙的时代正在加速到来。元宇宙的发展不是单纯的虚拟世界或者互联网技术的自我迭代，更需要可穿戴智能设备以及物联网等实体技术的同步或者领先发展。
3.目前元宇宙的主要硬件载体是各类ar/vr设备，但是现有对于手部姿态的采集大多数不便携也不可穿戴，尤其是通过较多的摄像头进行采集，然后根据计算机视觉进行呈现，这种通过计摄像头进行采集具有一定的局限性，比如其在光照差和具有遮挡物等不利于拍摄的环境中进行拍摄，大大影响人体的姿势估计。
4.因此，针对上述问题，予以进一步改进。


技术实现要素：

5.本发明的主要目的在于提供用于元宇宙的传感器手套及其姿态估计方法，其对于手部的姿态评估精简到三个传感器和一个磁铁，通过相对方向来获取手部中的相对位置，从而对整个手部进行姿态估计，并且对各个传感器的采集数据进行校准处理，从而使得采集的数据更加精确，进而使得姿态估计更加精确。
6.为达到以上目的，本发明提供一种用于元宇宙的传感器手套的姿态估计方法，用于获得手本体和指尖的相对姿态，包括以下步骤：
7.步骤s1：将传感器分别安装于手本体和指尖；
8.步骤s2：通过传感器获取手本体和指尖的第一数据，并且根据第一数据对手本体和指尖的相对角速度进行积分，并以获得积分数据，进而对积分数据进行补偿后获得手本体和指尖的相对方向；
9.步骤s3：根据获得的手本体和指尖的相对方向获得手本体和指尖的相对位置。
10.作为上述技术方案的进一步优选的技术方案，在步骤s1中，将第一传感器(包括陀螺仪、加速度计和磁力计)安装于第一指尖(优选为拇指)，将第二传感器(包括陀螺仪、加速度计和磁力计)安装于第二指尖(优选为食指)并且将第三传感器(包括陀螺仪、加速度计、磁力计和磁铁)安装于手本体的背面。
11.作为上述技术方案的进一步优选的技术方案，步骤s2具体实施为以下步骤：
12.步骤s2.1：根据传感器的陀螺仪并且通过公式获取手本体和指尖的相对角速度，公式为：
[0013][0014]
其中，为传感器输出在手本体的帧，为传感器输出在指尖的帧，为基于旋转矩阵的手本体和指尖的相对方向；
[0015]
步骤s2.2：根据传感器的加速度计并且通过公式获取手本体和指尖的相对倾斜度，公式为：
[0016][0017]
其中，为传感器输出在手本体的帧，为传感器输出在指尖的帧，g是局部重力，θa是保证在获取相对倾斜度时，非重力加速度需小于的阈值；
[0018]
手本体和指尖的加速度的关系近似为：
[0019][0020]
步骤s2.3：将手本体和指尖作为一个物体加速或者旋转条件下的相对方向估计，从而进行补偿后获得手本体和指尖的相对方向；
[0021]
由于手本体和指尖在运动中是整体运动，因此手本体和指尖共享相同的加速度和角速度：
[0022][0023]
通过以下公式确定手本体和指尖何时作为一个整体运动：
[0024][0025]
其中，θb和θc用于保证手本体和指尖共享相同的加速度和角速度，θd用于保证手本体是旋转而不是静止，θa、θb、θc和θd根据运动的复杂程度进行匹配选择。
[0026]
作为上述技术方案的进一步优选的技术方案，步骤s3具体实施为以下步骤：
[0027]
步骤s3.1：偶极子自身框架产生的磁场为：
[0028][0029]
其中，θ0为自由空间的磁导率，为磁体框架的磁矩，为磁体框架中的位置，指尖的磁力计的输出为：
[0030][0031]
其中，b0为磁力计框架中的地磁场，a0为测量误差，是磁铁和手本体指尖的旋转矩阵，是磁力计和指尖的旋转矩阵；
[0032]
当b0和a0之和远小于时，指尖的磁力计的输出：
[0033][0034]
作为上述技术方案的进一步优选的技术方案，步骤s2中，通过传感器获取手本体和指尖的第一数据，并且对第一数据进行处理(用于消除噪声对加速度计和磁力计的影响，并且减少陀螺仪积分误差的影响，以使得第一数据更加精确)，具体实施为以下步骤：
[0035]
步骤t2.1：从传感器中获得与噪声混合的原始数据，并且对原始数据进行校准处理；
[0036]
步骤t2.1.1：分别获取加速度计和磁力计的最大值和最小值，通过比较重力和磁场的大小来校准偏移误差和灵敏度；
[0037]
步骤t2.1.2：通过静止的陀螺仪的值来校准陀螺仪的偏移误差，并且衰减积分误差；
[0038]
步骤t2.1.3：通过低通率滤波器将校准后的数据进行低通滤波，从而获取加速度计和磁力计的低频信号并且衰减高频噪声；
[0039]
步骤t2.2：通过方向余弦矩阵确定参考系和观测旋转系之间的关系；
[0040]
步骤t2.3：获得dcm模型，用于表示不同坐标之间的旋转关系，一方面将观测旋转系坐标中的矢量变换为参考系的坐标，另一方面将参考系中的坐标变换回来(用于加速度计和磁力计)；
[0041]
步骤t2.4：通过四元素更新陀螺仪的方向，并且进行错误补偿。
[0042]
为达到以上目的，本发明还提供一种用于元宇宙的传感器手套，应用于所述的一种用于元宇宙的传感器手套的姿态估计方法。
附图说明
[0043]
图1是本发明的用于元宇宙的传感器手套及其姿态估计方法的示意图。
具体实施方式
[0044]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0045]
在本发明的优选实施例中，本领域技术人员应注意，本发明所涉及的手本体和指尖等可被视为现有技术。
[0046]
优选实施例。
[0047]
本发明公开了一种用于元宇宙的传感器手套的姿态估计方法，用于获得手本体和指尖的相对姿态，包括以下步骤：
[0048]
步骤s1：将传感器分别安装于手本体和指尖；
[0049]
步骤s2：通过传感器获取手本体和指尖的第一数据，并且根据第一数据对手本体和指尖的相对角速度进行积分，并以获得积分数据，进而对积分数据进行补偿后获得手本体和指尖的相对方向；
[0050]
步骤s3：根据获得的手本体和指尖的相对方向获得手本体和指尖的相对位置。
[0051]
具体的是，在步骤s1中，将第一传感器(包括陀螺仪、加速度计和磁力计)安装于第一指尖(优选为拇指)，将第二传感器(包括陀螺仪、加速度计和磁力计)安装于第二指尖(优选为食指)并且将第三传感器(包括陀螺仪、加速度计、磁力计和磁铁)安装于手本体的背面(现有的姿态估计都是在每个手指的每个关节处进行安装一个传感器，由于固定和安装方式的差距，会使得精准度差，而且估计了太多不相关的信息，增加了计算的复杂性，在很多情况下，只对指尖和手背侧之间的相对姿态进行研究)。
[0052]
更具体的是，步骤s2具体实施为以下步骤：
[0053]
步骤s2.1：根据传感器的陀螺仪并且通过公式获取手本体和指尖的相对角速度，公式为：
[0054][0055]
其中，为传感器(中的陀螺仪)输出在手本体的帧，为传感器(中的陀螺仪)输出在指尖的帧，为基于旋转矩阵的手本体和指尖的(初步)相对方向(可以用相对角速度来更新a
gyr
，通过公式：但是会引入数据漂移，需要通过步骤s2.3引入不发生漂移的相对方向的信息进行融合)；
[0056]
步骤s2.2：根据传感器的加速度计并且通过公式获取手本体和指尖的相对倾斜度，公式为：
[0057][0058]
其中，为传感器(中的加速度计)输出在手本体的帧，为传感器(中的加速度计)输出在指尖的帧，g是局部重力，θa是保证在获取相对倾斜度时，非重力加速度需小于的阈值；
[0059]
手本体和指尖的加速度的关系近似为：
[0060][0061]
步骤s2.3：将手本体和指尖作为一个物体加速或者旋转条件下的相对方向估计，从而进行补偿后获得手本体和指尖的相对方向；
[0062]
由于手本体和指尖在运动中是整体运动，因此手本体和指尖共享(大致)相同的加速度和角速度：
[0063][0064]
通过以下公式确定手本体和指尖何时作为一个整体运动：
[0065][0066]
其中，θb和θc用于保证手本体和指尖共享相同的加速度和角速度，θd用于保证手本体是旋转而不是静止，θa、θb、θc和θd根据运动的复杂程度进行匹配选择。
[0067]
进一步的是，步骤s3具体实施为以下步骤：
[0068]
步骤s3.1：(当磁铁远离磁力计，超过的长度的2.5倍时，磁铁近似为偶极子)，偶极子自身框架产生的磁场为：
[0069][0070]
其中，θ0为自由空间的磁导率，为磁体框架的磁矩，为磁体框架中的位置，指尖的磁力计的输出为：
[0071][0072]
其中，b0为磁力计框架中的地磁场，a0为测量误差，是磁铁和手本体指尖的旋转矩阵，是磁力计和指尖的旋转矩阵；
[0073]
当b0和a0之和远小于时，指尖的磁力计的输出(从而获得相对位置)：
[0074][0075]
优选地，手背侧的磁铁被用作被动磁源来估计手指指尖相对于手本体的位置。然而，磁铁的引入干扰了磁力计测得的地磁场。因此，磁力计不能用来补偿方向漂移，从而没有利用地磁场，而是利用手作为一个物体整体移动时收集到的信息来补偿方向漂移。
[0076]
更进一步的是，步骤s2中，通过传感器获取手本体和指尖的第一数据，并且对第一数据进行处理(用于消除噪声对加速度计和磁力计的影响，并且减少陀螺仪积分误差的影响，以使得第一数据更加精确)，具体实施为以下步骤：
[0077]
步骤t2.1：从传感器中获得与噪声混合的原始数据，并且对原始数据进行校准处理；
[0078]
步骤t2.1.1：分别获取加速度计和磁力计的最大值和最小值，通过比较重力和磁场的大小来校准偏移误差和灵敏度；
[0079]
步骤t2.1.2：通过静止的陀螺仪的值来校准陀螺仪的偏移误差，并且衰减积分误差；
[0080]
步骤t2.1.3：通过低通率滤波器将校准后的数据进行低通滤波，从而获取加速度计和磁力计的低频信号并且衰减高频噪声；
[0081]
步骤t2.2：通过方向余弦矩阵确定参考系和观测旋转系之间的关系；
[0082]
步骤t2.3：获得dcm模型，用于表示不同坐标之间的旋转关系，一方面将观测旋转系坐标中的矢量变换为参考系的坐标，另一方面将参考系中的坐标变换回来(用于加速度计和磁力计)；
[0083]
步骤t2.4：通过四元素更新陀螺仪的方向，并且进行错误补偿。
[0084]
本发明还公开了一种用于元宇宙的传感器手套，应用于所述的一种用于元宇宙的传感器手套的姿态估计方法。
[0085]
值得一提的是，本发明专利申请涉及的手本体和指尖等技术特征应被视为现有技术，这些技术特征的具体结构、工作原理以及可能涉及到的控制方式、空间布置方式采用本
领域的常规选择即可，不应被视为本发明专利的发明点所在，本发明专利不做进一步具体展开详述。
[0086]
对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。