一种基于姿态伪图的行人再检测方法、设备及存储介质

本发明涉及图像处理，具体涉及一种基于姿态伪图的行人再检测方法、设备及存储介质。

背景技术：

1、目前，常见的深度学习行人检测算法(如faster r-cnn、yolo、ssd等)通过提取图像中行人整体特征来定位行人的矩形包围框。这些算法通常在图像中的行人目标周围获得稠密的候选框，然后采用非极大值抑制方法或类似手段消除冗余候选框来确定行人目标图像区域。然而，在拥挤行人场景中，行人间距离小，相互遮挡严重，这些算法对非极大值抑制方法中的行人候选框交并比阈值设置非常敏感。过低的交并比阈值设置会带来行人漏检，而过高的交并比阈值设置则易造成行人误报。

2、近年来，基于自底向上的行人关键点检测日趋成熟，可以通过先检测图像中行人身体的若干个局部关键点，将这些关键点的包围框作为行人检测结果。这类基于局部关键点的行人检测方法不采用非极大值抑制，尤其适合拥挤场景下的行人检测。尽管如此，当行人被物体或其他行人部分遮挡时，会导致行人关键点缺失或错误关联不同行人的关键点。行人关键点的缺失或虚假关键点的引入都会导致此类方法的行人检测精度差或不稳定，将会进一步影响后续的行人目标跟踪、行人重识别等计算机视觉应用。

技术实现思路

1、为了解决相关技术中的技术问题，本技术提供了一种基于姿态伪图的行人再检测方法、设备及存储介质，本技术的方法充分利用行人关键点检测算法得到的行人关键点坐标和关键点置信度信息，结合人体生理拓扑结构与先验知识构建行人姿态伪图，并基于真实行人图像获得的行人关键点数据，制作姿态伪图数据集，训练专门深度学习检测器逐个检测每个行人对应的行人姿态伪图，从而确定每个行人矩形包围框，本技术的方法可减少拥挤场景中相互遮挡行人之间的影响，实现行人关键点被遮挡和行人被指派错误关键点时的精确行人检测。

2、为了达到上述目的，本技术采用的技术方案为：

3、根据本技术的第一方面，提供一种基于姿态伪图的行人再检测方法，包括以下步骤：

4、步骤s1：采用行人关键点检测器检测图像中的行人关键点集，去除关键点集总置信度低于给定阈值的关键点集，再根据关键点集的最小包围框之间的交叠程度、关键点集之间的距离和关键点置信度信息进行分析和筛选，消除冗余关键点集合；

5、使用行人关键点检测器检测行人关键点集是一种现有的计算机视觉方法。它利用深度学习网络模型对图像进行处理，以检测图像中的行人关键点集。具体实现方式可以使用卷积神经网络或其他深度学习模型来训练一个关键点检测模型，该模型可以对输入的图像进行处理，输出包含行人关键点的集合以及其置信度等结果。

6、步骤s2：针对每个行人关键点集制作行人姿态伪图，先在伪图上绘制与行人大小相匹配的以关键点坐标为中心的关键点图形，再根据人体生理拓扑结构和关键点间的位置关系，绘制关键点间的连接图形，调整所得图形的大小后对图形内部区域进行颜色编码和填充，以得到每个行人关键点集对应的行人姿态伪图。

7、步骤s3：采用步骤s1与步骤s2方法制作基于真实场景图像的行人姿态伪图数据子集，并根据真实行人关键点数据，制作缺少部分关键点和包含部分错误关键点虚拟行人姿态伪图数据子集，以共同构成行人姿态伪图数据集；

8、步骤s4：使用行人姿态伪图数据集训练虚拟行人目标检测模型，检测行人姿态伪图上的虚拟行人，再根据步骤s2中虚拟行人在伪图上的绘制位置和缩放系数，将虚拟行人检测结果映射到原始图像的坐标系上，以得到行人在原始图像上的检测结果。

9、在本技术的一种优选的技术方案中，步骤s1具体包括：

10、步骤s1-1：针对每个行人关键点集对所有关键点置信度分数进行加权求和，以得到关键点集的总置信度，去除总置信度低于给定阈值的关键点集；

11、步骤s1-2：根据关键点集最小包围框之间的交叠程度、关键点集之间的距离和置信度进行分析和筛选，消除冗余关键点集。

12、在本技术的一种优选的技术方案中，所述步骤s1-2具体包括：

13、计算所有关键点集的最小包围框两两之间的交叠程度，当交叠程度大于给定阈值时，计算这两个关键点集之间的距离；当关键点集距离小于给定阈值时，去除总置信度小的关键点集；当关键点集距离大于给定阈值但小于给定阈值时，如果这两个关键点集的最小包围框之间的交叠程度大于给定阈值则去除总置信度小的关键点集；

14、其中，在计算两个关键点集之间距离时，为避免错误关键点的影响，忽略置信分数低于给定阈值的关键点，按照下式进行计算：

15、

16、

17、式中，di,j表示第i和第j个关键点集间的距离；和分别表示第i和第j个关键点集中第n个同一人体部位关键点(或称同一类型关键点)的置信分数；tconf表示关键点置信度分数阈值；表示当和小于给定阈值tconf时忽略第n个关键点；n表示纳入距离计算的关键点总数，由计算得到；和分别表示第i和第j个关键点集中第n个关键点的由位置坐标和相关参数构成的向量；为第i和第j个关键点的距离计算函数；σ为一规范化函数，将关键集间的距离映射到统一的距离范围内；λ为一个调节因子，与第i和第j个关键点集所对应行人图像的大小相关，以减少行人图像大小对关键点集距离计算的影响。

18、在本技术的一种优选的技术方案中，步骤s2具体包括：

19、步骤s2-1：针对每个行人关键点集制作单独的行人姿态伪图，在伪图上绘制与行人大小相匹配的以关键点坐标为中心的关键点图形；需确保不同行人的相同人体部位的关键点图形类型一致,以使不同行人姿态伪图具有一致的行人特征；不同人体部位关键点图形可以采用不同的形状，如圆形或正方形等，以及通过设置不同的形状和大小参数，以使得行人姿态伪图中行人细节特征更加丰富；

20、其中，

21、当绘制第n个关键点图形为圆形时，该圆形的半径rn根据行人的宽度w和高度h按照下式进行设置：

22、rn＝αnfcir(h,w)

23、式中，fcir为与行人的宽度和高度相关的函数，αn为与关键点类型相关的调节因子，可以为不同部位类型的关键点设置不同的αn参数。其中,将影响行人主要活动的部位如头部、四肢等设为首要类型,其他设为次要类型。通过为首要类型关键点设置大于次要类型的参数值,可以使首要类型关键点在姿态伪图中的图形表示尺寸大于次要类型,从而突出首要类型关键点特征；

24、当绘制第n个关键点图形为正方形时，该正方形的边长ln根据行人的宽度w和高度h按照下式进行设置：

25、ln＝αnfrect(h,w)

26、式中，frect为与行人的宽度和高度相关的函数；

27、步骤s2-2：根据人体生理拓扑结构和关键点间的位置关系，绘制关键点间的连接图形；需确保不同行人的相同人体部位间的关键点连接图形类型一致,以使不同行人姿态伪图具有一致的行人骨骼特征；

28、步骤s2-3：对通过步骤s2-1和步骤s2-2得到的行人姿态伪图图形进行缩小或放大，得到大小相同的行人姿态伪图图像,既可提高大尺度行人再检测效率,也可减少多尺度问题对行人再检测准确性带来的不利影响。

29、步骤s2-4：对经过尺度调整后的行人姿态伪图中每个关键点图形和关键点间的连接图形进行颜色编码和填充，以得到结构鲜明和信息丰富的行人姿态伪图；颜色编码时需确保相同类型的关键点图形具有相同的颜色色调，饱和度和亮度可根据关键点置信度进行不同设置；颜色编码时需确保相同类型的关键点间的连接图形具有相同的颜色色调，饱和度和亮度可根据相关联的关键点置信度和距离进行不同设置；

30、其中，

31、第n个关键点图形内部填充颜色的饱和度sn和亮度ln，根据关键点置信度分数cn按照下式进行设置：

32、sn＝βsfs(cn)

33、ln＝βlfl(cn)

34、式中，cn为第n个关键点置信度分数；fs和fl分别为根据置信分数的颜色饱和度和亮度编码相关函数；βs和βl分别为饱和度和亮度编码的调节因子。

35、在本技术的一种优选的技术方案中，步骤s3具体包括：

36、步骤s3-1：采用步骤s1与步骤s2方法制作基于真实场景行人图像的行人姿态伪图数据子集；

37、步骤s3-2：根据真实场景图像的行人关键点集，制作缺少部分关键点的虚拟行人姿态伪图数据子集；

38、步骤s3-3：基于真实行人图像获得的行人关键点数据，制作包含部分错误关键点的虚拟行人姿态伪图数据子集，与步骤s3-1和s3-2所得数据子集一起构成行人姿态伪图数据集。

39、根据本技术的第二方面，还提供了一种基于姿态伪图的行人再检测设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面或第二方面所述的方法。

40、根据本技术的第三方面，还提供了一种基于姿态伪图的行人再检测存储介质，其上存储有计算机程序，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面和第二方面所述的方法。

41、综上，本发明与现有技术相比具有以下有益效果：

42、1、通过上述技术方案，本技术提供了一种基于姿态伪图的行人再检测方法、设备及存储介质，本技术的方法充分利用行人关键点检测算法得到的行人关键点坐标和关键点置信度信息，结合人体生理拓扑结构与先验知识构建行人姿态伪图，通过构建包含部分关键点缺失和存在错误关键点的虚拟行人姿态伪图数据集，训练专门深度学习检测器逐个检测每个行人对应的行人姿态伪图，从而确定每个行人矩形包围框，本技术的方法可减少拥挤场景中相互遮挡行人之间的影响，实现行人关键点被遮挡和行人被指派错误关键点时的精确行人检测。

43、如此，通过上述技术方案中的方法，可以有效地避免行人关键点缺失与检测出虚假行人关键点从而得到不准确的行人检测框结果等问题，本技术的方法相比于之前图像表示方式，姿态伪图能够更加直观地展示行人的姿态和结构信息并且屏蔽背景信息的干扰，为行人再检测提供了更加准确和稳定的数据支持。

44、2、本技术的其他有益效果或优势将在具体实施方式中结合具体结构进行详细描述。