基于结构指导深度学习的人体姿态估计方法和系统与流程

技术特征：

1.一种基于结构指导深度学习的人体姿态估计方法，其特征在于，包括如下步骤：

步骤1：输入数据预处理；

步骤2：结构指导卷积神经网络预测；

步骤3：融合卷积神经网络预测；

步骤4：输出处理。

2.根据权利要求1所述的一种基于结构指导深度学习的人体姿态估计方法，其特征在于，所述步骤2进一步具体为：将预处理后的图片通过结构指导的卷积神经网络来进行学习和预测，这里结构指导指的是在一般的卷积神经网络中融入人体骨架的结构信息，来指导神经网络的学习，一般的人体姿态估计的神经网络的回归目标函数为：

表示一张由真实标记关节点为中心产生的真实标记的热点图，其分布为高斯分布y_k代表第k真实标记的关节点，(x_k，y_k)是y_k在图像中坐标点的值，(i，j)是真实标记的热点图中的每个像素点在图中的位置，σ₁是高斯分布的标准差；结构指导的卷积神经网络加入了骨架结构信息，这部分的目标函数为：

表示由两个相邻的真实标记关节点的连线为中心产生的高斯分布的真实标记热点图，p_l表示相邻关节点之间的连线，l是这些连线相应的序号，这些连线对应于不同的人体模型，可以采用树形结构的人体模型，相应的连线即位树形结构人体模型的边；dist((i，j)，p_l)表示真实标记的热点图中的每个点(i，j)到p_l的距离，σ₂是该高斯分布的标准差，用l₁表示关节点对应的热点图的损失函数，用l₂表示关节点连线对应的热点图的损失函数：

其中，X是输入图像，y是真实标记的关节点，p是相邻真实标记的关节点的连线，D是整个训练数据集，(i，j)表示热点图中的每个像素点的坐标，k和l分别表示y的序号和p的序号，H_i，j，k(X，w)表示神经网络预测输出的相应的第k关节点的热点图，P_i，j，l(X，w)表示神经网络预测输出的相应的第1关节点连线的热点图，w表示卷积神经网络的参数，结构指导卷积神经网络的总的损失函数loss₁为：

loss₁＝l₁+l₂。

3.根据权利要求1所述的一种基于结构指导深度学习的人体姿态估计方法，其特征在于，所述步骤3进一步具体为：将结构指导卷积神经网络的低层级特征层和高层次特征层进行融合，送入另外一支卷积神 经网络中进行学习和预测，低层次特征层包含更多的图像细节，高层次特征层则提供预测的初步结果；结构指导神经网络引入了人体结构约束信息，提供给融合卷积神经网络一个初步结果，并指导融合卷积网络的学习，融合卷积神经网络的目标函数为损失函数loss₂为：

loss₂＝l₁

整个神经网络总的损失函数loss_t为：

loss_t＝loss₁+λloss₂

λ是平衡loss₁和loss₂的常数。

4.一种基于结构指导深度学习的人体姿态估计系统，其特征在于，包括如下模块：

数据采集模块，主要是通过相机得到包含有人体的图片；

计算机处理模块，包括图像预处理子模块，结构指导卷积神经网络子模块，融合卷积神经网络子模块，定位关节点子模块和可视化子模块。