技术特征：
1.基于rgb图像的手部三维重建方法，其特征在于，具体包括下列步骤：(1)数据集选择的探索研究：本发明选择的是利用rgb图像实现手部三维重建，通过对rgb图像进行训练，以便更好的获取手部特征，数据集是真实的数据集，还会有一些合成的数据集，以便达到精确的训练结果；(2)手部检测：输入rgb图像，利用深度学习的手部检测算法去检测出图片中手部的位置，还会进行检测出单手、双手的操作，同时进行左右手的区分；(3)特征生成：在完成手部检测的步骤时，本发明利用2.5d
‑
net神经网络生成2.5d热图，并提取低级特征，让二维关键点检测更加准确，以便生成更加精确的二维手部姿态估计，其次，把提取的低级特征放入到resnet
‑
50网络里来产生高级特征；(4)手部三维重建：本发明利用图卷积神经网络实现手部三维重建，将生成的高级特征放入图卷积神经网络，在图卷积神经网络里估计手部网格的每个顶点坐标，将其以树的形式来存放，顶点坐标在图卷积神经网络里进行由粗糙到细化的图卷积操作，最后生成精确的手部三维网格来实现手部三维重建，本发明还可以利用生成的手部三维网格生成三维手部姿态估计。2.根据权利要求1所述的基于rgb图像的手部三维重建方法，其特征在于，数据集的选择有真实的数据集，也有合成的数据集，数据集是rgb图像，而非rgb
‑
d图像。3.根据权利要求1所述的基于rgb图像的手部三维重建方法，其特征在于，利用深度学习的算法来完成手部检测。4.根据权利要求1所述的基于rgb图像的手部三维重建方法，其特征在于，利用神经网络来完成手部特征提取，而非通过深度图像或关键点检测来完成手部特征提取。5.根据权利要求1所述的基于rgb图像的手部三维重建方法，其特征在于，利用图卷积神经网络实现手部三维重建，而非二维姿态估计或三维姿态估计生成手部三维重建。
技术总结
本发明公开了一种手部三维建模的方法，具体包括手部检测；特征生成；手部三维重建三个步骤。该方法通过RGB图像实现手部三维重建，不需要使用手部的多视图图像，并利用深度学习技术实现从二维图像到三维手部模型的映射，替代了传统的几何方法和复杂的专业软件构建手部，通过深度学习的方法来提取特征，而不是利用几何线条去构建，采用目前公开的数据和一些合成的数据来进行训练，利用深度学习实现三维重建能达到建模快，精度高。精度高。精度高。
技术研发人员：王海玲 张菁 张天驰
受保护的技术使用者：济南大学
技术研发日：2021.09.03
技术公布日：2021/12/6