一种基于姿态识别的针对人手部的三维建模系统的制作方法

1.本发明涉及三维建模技术领域，具体为一种基于姿态识别的针对人手部的三维建模系统。


背景技术：

2.基于图像的三维建模包括图像采集、稀疏重建、点云编辑、稠密重建、网络构建、纹理映射和模型编辑等多个步骤，现有生产普遍采用单个作业人员使用单台电脑独立完成全部步骤的方式，既包括稀疏重建、稠密重建等计算机自动化处理的步骤，又包括点云编辑、模型编辑等需要人工大量交互的步骤，其中，不同的建模步骤对作业人员的专业素养和技能水平要求不同，采用单个作业人员完成全流程处理对作业人员的要求很高，并且计算机长时间自动处理的步骤会造成人工的极大浪费，从而造成生产效率低下，难以降低三维建模的生产成本，从而无法保证企业的市场竞争力。
3.根据专利号为cn108921426a，一种三维建模方法及系统，方法包括：采集目标建模物品的原始数据，对原始数据进行共享存储，并添加相应的建模任务列表；根据建模任务列表和当前已登录的初模生产终端任务处理情况进行负载均衡，选择合适的生产终端派发初模任务；接收初模任务的作业人员，读取原始数据并根据建模要求进行初模生产，形成初模成果后进行初模任务提交；任务分发软件接收初模任务后，根据当前已登录的精模生产终端任务处理情况进行精模任务派发；接收到精模任务后，精模任务作业人员获取存储的初模成果，并根据初模成果进行精模生产形成精模成果，并进行精模任务提交。其降低了对模型数据生产人员的整体能力要求，提高了三维建模的生产效率。
4.上述描述对三维建模系统进行了介绍，但是现有的三维建模系统存在以下几种问题：
5.1、现有的三维建模系统在进行动态建模时常用的运动特征只关注运动部分信息，造成手势描述的不连续，丢失了手势保持时期的信息。
6.2、现有的三维建模系统在特征提取时未专注于有效的手部区域的提取，造成身体摆动等无效运动的干扰。


技术实现要素：

7.针对现有技术的不足，本发明提供了一种基于姿态识别的针对人手部的三维建模系统，所述系统包括：数据采集模块，通过摄像头采集手势图片；
8.手部检测分割模块，检测出图像中手部位置，并分割出手部区域；
9.手势识别模块，提取特征，并识别出手势类别；
10.建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；
11.检测模块，将建立好的模型与数据采集模块采集的图像进行对比；
12.所述手势识别模块包括静态手势识别和动态手势识别，所述动态手势识别为多模
态动态手势识别，所述多模态动态手势识别采用三维隐形状模型建模各模态特征的时空结构信息，通过一致性投票将特征映射至统一的概率空间，形成对各帧动作时空分布的概率估计。
13.优选的，所述静态手势识别为多视图投影的半监督静态手势识别，通过多个摄像头同时获取同一手势多个视角的深度图，其中一个视角深度图被作为输入，通过自编码网络预测另外视角的深度图，得到的编码作为手姿态的隐空间表征，最后利用全连接网络直接回归到关节位置。
14.优选的，所述数据采集模块包含多个信号采集摄像机，通过不同角度对手部进行拍摄，然后将图片信息传递至手部检测分割模块，对信息进行处理保存。
15.优选的，所述手部检测分割模块采用人体骨架算法检测得到手腕关节点分割深度图，以离用户较近部分的深度数据作为手部区域。
16.优选的，所述建模单元根据三维点云计算空间位置，得到空间位置数据，根据空间位置数据和图像信息对待建模对象进行建模，生成手部三维模型。
17.优选的，所述检测模块包括数据处理器，且数据处理器与数据采集模块电性连接，将生成的手部三维模型与数据处理器中预置的对象进行对比，生成对比结果。
18.(一)有益效果
19.本发明提供了一种基于姿态识别的针对人手部的三维建模系统。具备以下有益效果：
20.1、本发明的手势识别模块包含隐空间表征学习和姿态回归两部分，隐空间表征学习采用基于自编码器的无监督学习框架，以单个视图数据为输入，另一视图为重建目标，低维编码即可认为是两个视图之间的关联隐空间表征，最后，姿态回归融合三组视图之间的隐空间表征为输入，通过线性回归得到手势关节点坐标，通过基于多视图投影的无监督隐空间表征学习来提取有效信息，解决了手势描述不连续和丢失手势保持时期信息的问题，使三维建模更加准确。
21.2、本发明假设手部在交互过程中是默认位于整个场景的最前端，利用深度分割手部区域，原始图像输入为二维的深度图，在投影之前需要结合相机参数，将深度图转换为以相机为中心的世界坐标系的点云数据，然后利用基于肤色的手部检测器检测手部大致区域，在对应的深度图上利用深度分割删除背景，而后利用剩余点求取手部质心位置，最后以质心点为中心，截取固定大小的正方体区域作为最终的手部区域，避免了身体摆动等无效运动的干扰。
附图说明
22.图1为本发明的系统示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.实施例一：
25.如图1所示，一种基于姿态识别的针对人手部的三维建模系统，系统包括：数据采集模块，通过摄像头采集手势图片；
26.手部检测分割模块，检测出图像中手部位置，并分割出手部区域；
27.手势识别模块，提取特征，并识别出手势类别；
28.建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；
29.检测模块，将建立好的模型与数据采集模块采集的图像进行对比；
30.手势识别模块包括静态手势识别和动态手势识别，动态手势识别为多模态动态手势识别。
31.静态手势识别为多视图投影的半监督静态手势识别，通过多个摄像头同时获取同一手势多个视角的深度图，其中一个视角深度图被作为输入，通过自编码网络预测另外视角的深度图，得到的编码作为手姿态的隐空间表征，最后利用全连接网络直接回归到关节位置。
32.手势识别模块包含隐空间表征学习和姿态回归两部分，隐空间表征学习采用基于自编码器的无监督学习框架，以单个视图数据为输入，另一视图为重建目标，低维编码即可认为是两个视图之间的关联隐空间表征，最后，姿态回归融合三组视图之间的隐空间表征为输入，通过线性回归得到手势关节点坐标，通过基于多视图投影的无监督隐空间表征学习来提取有效信息，解决了手势描述的不连续和丢失手势保持时期信息的问题，使三维建模更加准确。
33.因手部是一种高自由度的链式结构使得关节点数据标注非常困难，从而造成现有的监督学习的方法学习成本极高的问题，而本发明的多视图投影的半监督学习方法，该方法将无标记三维手势点的云图投影至三个坐标平面，利用自编码器学习投影视图之间的隐空间编码，作为手势姿态的隐式表征，进而利用有标签数据学习隐式表征到手部姿态的直接映射。
34.实施例二：
35.如图1所示，多模态动态手势识别采用三维隐形状模型建模各模态特征的时空结构信息，通过一致性投票将特征映射至统一的概率空间，形成对各帧动作时空分布的概率估计，数据采集模块包含多个信号采集摄像机，通过不同角度对手部进行拍摄，然后将图片信息传递至手部检测分割模块，对信息进行处理保存，手部检测分割模块采用人体骨架算法检测得到的手腕关节点分割深度图，以离用户较近部分的深度数据作为手部区域，建模单元根据三维点云计算空间位置，得到空间位置数据，根据空间位置数据和图像信息对待建模对象进行建模，生成手部三维模型，检测模块包括数据处理器，且数据处理器与数据采集模块电性连接，将生成的手部三维模型与数据处理器中预置的对象进行对比，生成对比结果。
36.假设手部在交互过程中是默认位于整个场景的最前端，利用深度分割手部区域，原始图像输入为二维的深度图，在投影之前需要结合相机参数，将深度图转换为以相机为中心的世界坐标系的点云数据，然后利用基于肤色的手部检测器检测手部大致区域，在对应的深度图上利用深度分割删除背景，而后利用剩余点求取手部质心位置，最后以质心点
为中心，截取固定大小的正方体区域作为最终的手部区域，避免了身体摆动等无效运动的干扰。
37.本发明提出了一种统一的多模态信息融合构架，通过利用三维隐形状模型建模各模态特征的时空结构信息，而后通过一致性投票将特征映射至统一的概率空间，形成对各帧时空分布的概率估计，以此构建对齐代价矩阵，此外，本文还提出一种基于概率的快速上界求取方法，能够减少不必要的动态规划计算过程，从而加速计算。
38.手部检测与分割是手势识别重要的一步，手部检测是在图像中检测出手的位置，分割则是从图像中分割出手部区域，是后续手势识别的基础，有多种信息可以用于手部检测与分割，如肤色、形状信息、运动以及深度等，肤色和形状是相对简单的手部检测的方法，可以利用人脸识别检测人脸，而后对脸部像素颜色进行统计学习，利用得到的肤色阈值检测手部区域，该方法能够一定程度适应光照变化，对于包含脸部等类肤区域的图像，利用ikf模型预先检测手部位置，而后利用tsl皮肤颜色模型分割手部区域，可以减少人体其他肤色区域的干扰，也可以通过肤色检测出三个最大联通区域，通过启发式的方法判断各个连通区域，即手部区域为x轴最小的区域，但是这种方法不能处理手部抬起的情况，虽然上述文献对光照、类肤色背景等问题做了一定的改进，其次人种不同也对肤色检测有一定影响，结合肤色信息和形状信息，实验证明多通道信息能够带来更好的效果。
39.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个引用结构”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
40.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。