技术特征：
1.一种人体姿态估计与跟踪系统，其特征在于，包括：姿态估计单元，配置成对当前帧图像中的人体姿态进行估计，输出估计结果；姿态预测单元，配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果；融合单元，配置成将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。2.如权利要求1所述的人体姿态估计与跟踪系统，其中所述姿态估计单元进一步配置成：在当前帧图像中进行人体检测，生成至少一个人体边界框；分别剪裁每个所述人体边界框，并将剪裁后的包括每个所述人体的图片缩放至预设尺寸；根据缩放后的图片输出人体关节点的估计热力图，将所述估计热力图作为所述估计结果。3.如权利要求2所述的人体姿态估计与跟踪系统，其中所述姿态估计单元进一步配置成：将所述缩放后的图片输入骨干网络，由所述骨干网络输出所述人体关节点的估计热力图。4.如权利要求2或3所述的人体姿态估计与跟踪系统，其中所述人体关节点的估计热力图的数量为人体关节点的数量。5.如权利要求2所述的人体姿态估计与跟踪系统，其中，将所述缩放后的图片输入骨干网络，所述骨干网络输出所述人体关节点的特征图。6.如权利要求5所述的人体姿态估计与跟踪系统，其中所述人体关节点的特征图包括：每一个人体关节点的视觉特征、位置特征和类型特征。7.如权利要求6所述的人体姿态估计与跟踪系统，其中所述人体关节点的视觉特征通过所述骨干网络获得。8.如权利要求6所述的人体姿态估计与跟踪系统，其中所述人体关节点的位置特征通过各个关节点对应的估计热力图中的最大值的位置、人体姿态中心到对应的人体边界框的距离和图片缩放比例确定。9.如权利要求6所述的人体姿态估计与跟踪系统，其中所述类型特征通过可学习的嵌入特征矩阵得到。10.如权利要求1或2所述的人体姿态估计与跟踪系统，其中所述姿态预测单元进一步配置成：将当前帧之前的连续多帧的人体姿态跟踪序列输入图神经网络，输出对当前帧的人体姿态进行预测的结果。11.如权利要求10所述的人体姿态估计与跟踪系统，其中所述人体姿态跟踪序列包括人体姿态跟踪序列图，所述人体姿态跟踪序列图中的节点为当前帧之前的连续多帧中的人体关节点，所述人体姿态跟踪序列图中的连线为每一帧内的人体关节点之间的连接与相邻帧的对应人体关节点之间的连接。12.如权利要求11所述的人体姿态估计与跟踪系统，其中所述人体姿态跟踪序列图包
括：每一个人体关节点的视觉特征、位置特征和类型特征。13.如权利要求12所述的人体姿态估计与跟踪系统，其中所述人体关节点的视觉特征、类型特征通过所述姿态估计单元对所述当前帧之前的连续多帧进行估计的过程中输出。14.如权利要求12所述的人体姿态估计与跟踪系统，其中所述人体关节点的位置特征根据人体姿态跟踪序列的最后一帧中的人体姿态的中心进行归一化后得到。15.如权利要求12-14中任一项所述的人体姿态估计与跟踪系统，其中所述姿态预测单元进一步配置成：将所述人体关节点的视觉特征、位置特征和类型特征平均池化合并，通过所述图神经网络逐层传递，获得当前帧中潜在人体关节点的预测热力图，将所述预测热力图作为所述预测结果。16.如权利要求1或2所述的人体姿态估计与跟踪系统，其中所述融合单元进一步配置成通过以下方式将所述估计结果和所述预测结果进行匹配：将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果通过匈牙利算法进行一对一的映射，其中相似度基于所有人体关节点的位置进行计算。17.如权利要求16所述的人体姿态估计与跟踪系统，其中所述融合单元进一步配置成：将所述预测结果中的第一人体关节点对应到所述估计结果中；当所述估计结果中没有对应的人体关节点时，将所述第一人体关节点作为第二人体关节点映射到所述估计结果中。18.如权利要求16所述的人体姿态估计与跟踪系统，其中所述融合单元进一步配置成通过以下方式将所述估计结果和所述预测结果进行融合：将所述估计热力图的中心与所述预测热力图的中心进行对齐，通过对热力图求平均将其融合在一起。19.一种用于视频图像的人体姿态估计与跟踪的方法，通过如权利要求1-18中任一项所述的人体姿态估计与跟踪系统完成。
技术总结
本发明提供了一种人体姿态估计与跟踪系统，包括：姿态估计单元，配置成对当前帧图像中的人体姿态进行估计，输出估计结果；姿态预测单元，配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果；融合单元，配置成将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。本发明所提供的融合方式可以同时使用来自人体姿态的动力学信息和来自图像本身的视觉信息。得益于图神经网络的姿态预测，本发明所提供的基于人体动力学建模的人体姿态估计和跟踪方法，即使在有运动模糊和遮挡情况下也可以产生可靠的人体姿态估计和跟踪的结果。估计和跟踪的结果。估计和跟踪的结果。
技术研发人员：杨一丁 任洲 李皓翔 周春銮 华刚
受保护的技术使用者：虫极科技（北京）有限公司
技术研发日：2021.06.30
技术公布日：2023/1/2