一种基于人体关键点的多人体姿态追踪方法与流程

本发明涉及计算机视觉，具体的说，是一种基于人体关键点的多人体姿态追踪方法。

背景技术：

1、多人体目标跟踪是检测视频画面中多个目标并对每个目标进行轨迹跟踪及id分配，在电视场景下ai看家移动帧测，体感游戏互动，dptz稳定性提升，虚拟现实和增强现实等具有广泛应用价值。现有多人体目标跟踪mot框架主要有：(1)先检测后跟踪(trackingby detection)，如sort/deepsort；(2)检测和跟踪联合，如jde，centertrack等；(3)基于注意力机制，如transtrack，trackformer等。其处理过程主要可分为四个步骤：(1)按帧数解析输入视频；(2)通过目标检测网络获取视频原始帧的目标检测框；(3)对检测出的目标框进行特征提取(运动或语义特征)并对前后视频帧进行相似度计算；(4)数据关联，匹配目标框和对应轨迹及id。以上方法虽能实现多人体目标跟踪，但是存在如下缺点：1.严重依赖人体检测算法，人体跟踪速度较慢，人体跟踪框波动较大，跟踪稳定性差，容易丢失目标。2.多人体目标跟踪框架实现过程复杂，且仅能输出人体目标位置，无法获取人体姿态估计信息。

技术实现思路

1、本发明的目的在于提供一种基于人体关键点的多人体姿态追踪方法，用于解决现有技术中多人体目标跟踪方法速度慢、跟踪稳定性差、容易丢失目标，以及仅能输出人体目标位置，无法获取人体姿态估计信息的问题。

2、本发明通过下述技术方案解决上述问题：

3、一种基于人体关键点的多人体姿态追踪方法，包括：

4、步骤s1、检测出视频画面中的人体；

5、步骤s2、将检测出的人体与已跟踪目标进行目标关联匹配，若匹配成功，则跳转至步骤s4，若匹配不成功，则有初始新目标出现，跳转至步骤s3；

6、步骤s3、对初始新目标进行人体关键点跟踪筛选，若判断为伪目标则删除该初始新目标，若判定为真实人体，跳转至步骤s4；

7、步骤s4、扩展人体跟踪区域；

8、步骤s5、获取每个人体跟踪区域图像数据，缩放处理后输入轻量级人体关键点模型进行推理运算，根据轻量级人体关键点模型推理运算结果，获取每个人体关键点坐标位置和人体关键点置信度，根据每个人体关键点坐标位置计算人体关键点最小外接矩形框、人体跟踪扩展区域和人体置信度信息，其中，人体置信度为人体关键点置信度平均值；

9、根据每个人体关键点最小外接矩形框，计算人体大小，以判断人体之间的交叉遮挡是否超过第一阈值，若超过第一阈值，则保留人体面积较大目标，避免出现重复跟踪人体的情况；

10、步骤s6、根据人体跟踪扩展区域，判断人体目标是否超出视频画面边界，是否人体目标面积小于预设值，以及是否连续多帧人体置信度低于第二阈值，满足其中条件之一则判断跟踪目标已丢失，则删除该跟踪目标，否则输出跟踪人体目标的位置信息和关键点信息；若视频帧间隔大于第三阈值，则循环步骤s1～s6，否则循环步骤s4～s6，直到人体目标跟踪完成。

11、进一步地，所述步骤s2中将检出的m个人体目标与已跟踪n个人体目标进行iou计算以及匈牙利算法匹配。

12、进一步地，所述步骤s3具体包括具体包括：

13、步骤s31、扩展人体跟踪区域；

14、步骤s32、获取每个人体跟踪区域图像数据，缩放处理后输入轻量级人体关键点模型进行推理运算，根据轻量级人体关键点模型推理运算结果，获取每个人体关键点坐标位置和人体置信度；若连续k帧人体置信度大于第四阈值，则初始新目标为真实人体，否则判定初始新目标为伪目标。

15、进一步地，所述扩展人体跟踪区域具体包括：

16、将人体检测矩形框[xd,yd,wd,hd]转化为人体跟踪的初始中心和半径，同时进行跟踪半径倍数扩展以使人体跟踪扩展区域可以覆盖整个人体roi区域roi[cxt,cyt,scalet*crt]，扩展计算公式如下：

17、cxt＝xd+wd/2，cyt＝yd+hd/2

18、crt＝sqrt((wd/2)2+(hd/2)2)

19、scalet＝1.25

20、其中xd为人体检测矩形框左上角x轴起始坐标；yd为人体检测矩形框左上角y轴起始坐标；wd为人体检测矩形框宽度；hd为人体检测矩形框高度；cxt为人体跟踪扩展中心x坐标；cyt为人体跟踪扩展中心y坐标；crt为人体跟踪扩展半径；scalet为人体跟踪扩展半径倍数。

21、进一步地，根据模型推理运算结果，获取每个人体关键点坐标位置[kx,ky,ks]14和人体置信度scoret，根据人体关键点坐标计算人体跟踪目标最小外接矩形框[xt,yt,wt,ht]m，为确保输出稳定的人体最小外接矩形框，要求参与计算的人体关键点置信度ksi＞0.5，同时根据人体关键点坐标计算人体跟踪扩展区域roi[cxt,cyt,scalet*crt]以及人体置信度scoret，其计算公式如下：

22、sxt＝kxtophead，syt＝kytophead

23、cxt＝(kxleftshoulder+kxrightshoulder+4*kxlefthip+4*kxrighthip)/10

24、cyt＝(kyleftshoulder+kyrightshoulder+4*kylefthip+4*kyrighthip)/10

25、crt＝sqrt((cxt-sxt)2+(cyt-syt)2)

26、scalet＝1.25

27、scoret＝∑ksi/14

28、其中，kxtophead为头顶部关键点x坐标；kytophead为头顶部关键点y坐标；sxt为头顶部关键点x坐标；syt为头顶部关键点y坐标；kxleftshoulder为左肩部关键点x坐标；kxrightshoulder为右肩部关键点x坐标；kxlefthip为左髋部关键点x坐标；kxrighthip为右髋部关键点x坐标；kyleftshoulder为左肩部关键点y坐标；kyleftshoulder为右肩部关键点y坐标；kylefthip为左髋部关键点y坐标；kyrighthip为右髋部关键点y坐标。

29、进一步地，所述步骤s6具体包括：

30、根据人体跟踪扩展区域roi[cxt,cyt,scalet*crt]，判断人体中心是否超出视频画面边界，即cxt＜0、cyt＜0、cxt＞fw、cyt＞fh，或者人体面积是否满足π*crt*crt＜300，或者连续k帧人体置信度scoret＜0.5，满足其中条件之一则判断跟踪目标已丢失，则删除相应跟踪目标，否则输出人体跟踪目标最小外接矩形框[xt,yt,wt,ht]m和人体关键点坐标[kx,ky,ks]14，其中fw为视频帧图像宽度，fh为视频帧图像高度。

31、若视频帧间隔大于阈值th＝20则循环步骤s1～步骤s6重新进行人体检测，否则循环步骤s4～步骤s6。

32、本发明与现有技术相比，具有以下优点及有益效果：

33、本发明基于轻量级人体关键点mot跟踪框架，可有效进行多人体目标跟踪，算法框架依赖人体检测程度较低，以轻量级人体关键点跟踪为主；具有模型推理速度快，人体跟踪框波动小，跟踪稳定性强，可输出人体姿态估计信息等优点。