一种基于多层分形网络和关节亲属模式的多人姿态估计方法与流程

技术特征：

1.一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其特征在于：首先通过采用多尺度特征提取单元替换原始沙漏网络中的剩余单元，构建三层分形网络模型；然后基于该三层分形网络模型对包含多人的单张图像进行处理，获取该图像的人体候选关节点位置热图；对候选关节点进行分层，计算相邻两层关节点之间的双向条件概率，用于推理各个关节点之间的相互亲属度，根据每对关节的亲属关系和外部空间约束关系，将关节点迭代到多个人中，并组合所有单个人的姿势，形成一个完整的多人姿态。

2.根据权利要求1所述的一种基于多层分形网络和关节亲属模式的多人姿态估计方法，其特征在于：具体包括以下步骤：

步骤1、构造并优化三层分形网络模型

步骤1.1、采用多尺度特征提取单元替换8堆叠沙漏模型的原始剩余单元，构造三层分形网络模型，该三层分形网络模型包含堆叠卷积，批量归一化和ReLu非线性；

步骤1.2、采用多人姿态数据集训练三层分形网络模型，计算各个关节点置信分数,并对相应关节点位置热图进行中间预测,形成中间预测关节点热图；

在训练阶段，假设是所有K个人体关节点的地面真值位置，其中K＝15，并且lk表示第k个关节点，令为关节点k分配到位置τ的置信分数，其中置信分数可表示成：

步骤1.3、计算步骤1.2中生成的中间预测关节点热图与相应的地面真值热图之间的均方误差损失函数Γk，用于训练三层分形网络模型参数，并优化三层分形网络模型；

在训练过程中，假设所有中间预测关节点热图为Φ'＝{Φ'k}k＝1,2,...,K，尺度为15×64×64，令Φ＝{Φk}k＝1,2,...,K为高斯激活生成的每个人体部位对应的地面真值热图，其中均方误差损失函数Γk表示成：

将整体目标函数设置为最大化置信分数及最小化预测损失Γk，对模型参数进行微调，优化三层分形网络，具体过程表示如下：

步骤2、多人姿态估计

步骤2.1、读取包含多人的单张RGB图像，重置图像大小至512×512；

步骤2.2、将大小为512×512的RGB图像，作为VGG19网络的前10层卷积输入，经过VGG19网络后提取到一组人体特征图F；

步骤2.3、将步骤2.2生成的人体特征图F输入到步骤1训练得到的三层分形网络模型中，获取人体候选关节点位置热图；

步骤2.4、在人体候选关节点位置热图中，采用非最大值抑制算法查找每个关节点最大像素值位置，选择具有最大峰值的像素位置作为关节点位置的中心，然后膨胀该中心点以生成半径为R个像素的圆，即得人体关节点位置；

步骤2.5、通过步骤2.4得到的所有人体关节点位置进行分层，分别计算相邻两层的各关节点之间的双向条件概率，用于推理关节点之间的相互亲属度；

假设关节点i与关节点j为相邻层关节点，首先计算从关节点i到关键点j的条件概率同时也计算关节点j到关节点i的条件概率计算过程如下所示：

只有当相互条件概率均超过给定阈值ε时，才认为这两个关节点相互依赖，属于同一个体，判别式如下：

关节点i到关键点j的条件概率大于等于阈值ε，定义为组Di,j；关节点j到关键点i的条件概率大于等于阈值ε，定义为组Dj,i；

步骤2.6、选择在两组中同时出现的身体关节对，构建候选边集Eij，其中，边集Eij定义为：Ei,j←Di,j∩Dj,i；然后对边集Eij执行外部空间约束，进行相邻关节点的最佳匹配；

假定关节i是固定的，引入边集中关节之间的空间距离来优化边集，空间距离计算如下：

目标函数为在边集中选择关节点时，最小化空间距离，优化各层关节之间的亲属度，以最佳匹配各相邻层关节点形成关节点对，其中目标函数表示为：

步骤2.7、连接最佳匹配关节对，形成部分人体骨架；

步骤2.8、重复步骤2.5至步骤2.7，逐层迭代，直到所有关节点均被分配到相应个体，即完成单张图像中的多人姿态估计。