基于毫米波信号的手部姿态重建方法

本发明涉及的是一种毫米波应用领域的技术，具体是一种基于毫米波信号的手部姿态重建方法。

背景技术：

1、现有人手识别技术通过网络模型进行特征提取和三维模型生成，但这类技术依赖光照条件，还可能带来隐私泄露问题。同时，其针对的是单张图像的手的建模，没有充分捕捉连续的运动过程，在复杂运动时往往失效。

技术实现思路

1、本发明针对现有技术存在的上述不足，现有的基于数据手套或手环的重建技术成本高昂、用户体验差的问题以及现有的基于计算机视觉的重建技术容易受到环境光照条件的影响，也可能带来用户隐私的泄漏的不足，提出一种基于毫米波信号的手部姿态重建方法，采用成本较低的毫米波雷达，无需用户穿戴，且不依赖环境条件，不会带来隐私泄露问题，可以实现鲁棒的细腻表示的手部三维网格，拓宽了应用范围。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种基于毫米波信号的手部姿态重建方法，通过毫米波雷达感知用户手部的姿态，收集用户手部的运动数据，对采集到的信号进行预处理，然后分别使用基于两阶段注意力的沙漏网络(mmspacenet)和长短期记忆网络(lstm)从预处理信号中提取出手部的空间特征和时间特征，以在三维空间中进行回归处理，实时生成手部三维骨架；通过通用手部参数化模型(mano)重建具有更详细表面的3d手部网格，最终实现对用户手部姿态的三维重建。

4、本发明涉及一种实现上述方法的基于毫米波信号的手部姿态重建系统，包括：毫米波信号预处理单元、手部关节回归单元和手部网格构建单元，其中：毫米波信号预处理单元对雷达采集到的毫米波信号进行格式重组、滤波降噪，获得一个包含手部信息的高维矩阵，称为radar cube，手部关节回归单元以radar cube作为输入，利用设计的深度学习模型从中回归得到21个手部关节点的三维坐标，手部网格构建单元基于回归的手部关节点，采用通用手部参数化模型(mano)重建出具有更详细表面的3d手部网格。

5、技术效果

6、本发明通过两阶段注意力机制并着重分析手部动力学损失，结合了毫米波信号的特性，加强了深度学习模型对手部特征的提取能力；在手部动力学损失的监督下，回归得到21个手部关节点的三维坐标，其准确率达到95.1％。

技术特征：

1.一种基于毫米波信号的手部姿态重建方法，其特征在于，通过毫米波雷达感知用户手部的姿态，收集用户手部的运动数据，对采集到的信号进行预处理，然后分别使用基于两阶段注意力的沙漏网络和长短期记忆网络从预处理信号中提取出手部的空间特征和时间特征，以在三维空间中进行回归处理，实时生成手部三维骨架；通过通用手部参数化模型重建具有更详细表面的3d手部网格，最终实现对用户手部姿态的三维重建。

2.根据权利要求1所述的基于毫米波信号的手部姿态重建方法，其特征是，所述的深度学习模型包括：依次相连的空间特征提取网络及时间特征提取网络lstm，其中：mmspacenet为由注意力残差块组成的沙漏网络，该网络将浅层特征与深层特征相结合，从空间中的不同粒度来表征手部；时间特征提取网络lstm将空间特征提取网络得到的全局特征图展平为一个特征向量；再通过混合损失函数，在监督学习的条件下，回归得到包含21个手部关节点的三维手部骨架。

3.根据权利要求2所述的基于毫米波信号的手部姿态重建方法，其特征是，所述的注意力残差块由两个分支组成：一个分支使用1×1卷积层在不改变特征图大小的情况下调整通道数量，以保留当前级别的特征；另一个分支首先使用卷积层进行下采样以提取高维和细粒度特征后，通过去卷积层进行上采样以获得高分辨率特征图。

4.根据权利要求2或3所述的基于毫米波信号的手部姿态重建方法，其特征是，所有的注意力残差块中采用了两阶段通道注意机制和空间注意机制，增强了mmspacenet提取关键特征的能力，具体为：

5.根据权利要求1-3中任一所述的基于毫米波信号的手部姿态重建方法，其特征是，具体包括：

6.根据权利要求5所述的基于毫米波信号的手部姿态重建方法，其特征是，所述的步骤1，具体包括：

7.根据权利要求2所述的基于毫米波信号的手部姿态重建方法，其特征是，所述的混合损失函数包含两部分：第一部分为三维坐标的欧式距离约束，第二部分为手部动力学损失lkine，具体为：lkine＝λlcop+(1-λ)lcol，其中：λ在共线时为0，共面时为1；共面损失lcop＝ab·en+bc·en+→cd·en，en为平面法向量，共线损失ed为指骨的方向向量，p为一个非常接近1的值。

8.根据权利要求5所述的基于毫米波信号的手部姿态重建方法，其特征是，所述的姿态参数预测是指：通过一个三层的线性神经网络为所有关节输出旋转四元数q∈r21×4后，将旋转四元数q转换为相应的轴角表示，即为预测得到的姿态参数θ。

9.一种实现权利要求1-8中任一所述手部姿态重建方法的系统，其特征在于，包括：毫米波信号预处理单元、手部关节回归单元和手部网格构建单元，其中：毫米波信号预处理单元对雷达采集到的毫米波信号进行格式重组、滤波降噪，获得一个包含手部信息的高维矩阵，称为radar cube，手部关节回归单元以radar cube作为输入，利用设计的深度学习模型从中回归得到21个手部关节点的三维坐标，手部网格构建单元基于回归的手部关节点，采用通用手部参数化模型重建出具有更详细表面的3d手部网格。

技术总结
一种基于毫米波信号的手部姿态重建方法，通过毫米波雷达感知用户手部的姿态，收集用户手部的运动数据，对采集到的信号进行预处理，然后分别使用基于两阶段注意力的沙漏网络(mmSpaceNet)和长短期记忆网络(LSTM)从预处理信号中提取出手部的空间特征和时间特征，以在三维空间中进行回归处理，实时生成手部三维骨架；通过通用手部参数化模型(MANO)重建具有更详细表面的3D手部网格，最终实现对用户手部姿态的三维重建。本发明采用成本较低的毫米波雷达，无需用户穿戴，且不依赖环境条件，不会带来隐私泄露问题，可以实现鲁棒的细腻表示的手部三维网格，拓宽了应用范围。

技术研发人员：吕皓鑫,俞嘉地,朱燕民
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/2/6