基于正交匹配追踪的人体关键点检测方法、装置及介质

1.本发明涉及一种人体关键点检测技术，尤其是涉及一种基于正交匹配追踪的人体关键点检测方法、装置及介质。


背景技术：

2.随着无人驾驶、人机交互、视频监控、行为识别等领域的蓬勃发展，这些研究的上游，如人体姿态估计显得尤其重要。在现有的姿态检测等任务中，首先需要对图像进行特征提取。之后，将特征信息输入预测网络进行姿态等预测。为了便于完成姿态检测等任务，一般需要确定人体的各个关键点的位置。在现有技术中，往往将人体作为整体确定其各个关键点的位置。现存的人体姿态估计方法可以分为基于heatmap的方法和基于回归的方法，其中基于heatmap的方法也可以分为自上而下的方法和自下而上的方法。由于基于heatmap的方法是基于密集估计的方法具有亚像素级别的精度备受欢迎，但有较大的计算量；基于回归的方法具有计算量小的特点，但精度普遍不及基于heatmap的方法。


技术实现要素：

3.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于正交匹配追踪的人体关键点检测方法、装置及介质，在保证较高计算精度的情况下减轻了计算负担，检测效率高。
4.本发明的目的可以通过以下技术方案来实现：
5.一种基于正交匹配追踪的人体关键点检测方法，包括：
6.将包含人物的待检测图像输入训练好的目标检测器，获得单个人物的裁剪图；
7.设置人体关键点标注坐标；
8.将裁剪图缩放至设定尺寸，并输入训练好的特征编码主干网络，获得感知矩阵；
9.根据感知矩阵，利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复，获取待检测图像中人物的人体关键点位置；
10.基于人体关键点稀疏的这一事实，根据信号处理的压缩感知理论：如果信号稀疏可压缩，就可通过远低于奈奎斯特限的采样率对信号进行采样，当采样数据涵盖了原始信号中主要信息时，便可大概率地准确重构原始信号，利用目标检测器分割出单个人物的裁剪图，统一尺寸后输入特征编码主干网络，获得感知矩阵，利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复，实现压缩感知，计算量小，在保证较高计算精度的情况下减轻了计算负担，检测效率高。
11.进一步地，所述的感知矩阵记为gm×n，表达式为
12.13.其中，gj为gm×n的第j列，g
ij
为gm×n的第i行第j列元素，i＝1,2,...,m，j＝1,2,...,n，m为挑选的关键支持点数，m≥k，n为裁剪图的像素总数。
14.进一步地，所述的正交匹配追踪算法包括：
15.设置稀疏度k、初始的残差信号r0和初始的支撑集λ0，r0＝{x,y}，{x,y}为关键点标注坐标，k是人体关键点的个数；
16.循环k次残差更新步骤，所述的残差更新步骤包括：
17.1)计算与当前残差信号最相关的列向量k
max
：
[0018][0019]
其中，λd＝[1,2,...,n]，r
k-1
为循环k-1次后的残差信号，gk为gm×n的第k列，k＝1,2,...,k；
[0020]
2)更新支撑集：
[0021]
λk＝λ
k-1
∪k
max
[0022]
其中，λk和λ
k-1
分别为循环k次和循环k-1次后的支撑集；
[0023]
3)对关键点标注坐标进行稀疏分解：
[0024][0025]
其中，qk为循环k次后的稀疏解，为当前的支撑集，p为关键点标注坐标；
[0026]
4)更新残差：
[0027][0028]
获得人体关键点位置
[0029][0030]
其中，qk为循环k次后的稀疏解，即人体关键点的稀疏表达。
[0031]
进一步地，所述的目标检测器和特征编码主干网络的训练过程包括：
[0032]
分别对目标检测器和特征编码主干网络进行单独训练；
[0033]
单独训练完成之后，联立对目标检测器和特征编码主干网络进行联立训练，两个网络互相促进，提高检测精度。
[0034]
进一步地，单独训练特征编码主干网络的过程中，对特征编码主干网络的输入进行数据增广，以提升网络的鲁棒性。
[0035]
进一步地，所述的数据增广过程包括随机翻转、随机缩放和随机旋转中的一种或多种。
[0036]
进一步地，所述的目标检测器为卷积神经网络。
[0037]
进一步地，所述的卷积神经网络为fasterrcnn。
[0038]
一种基于正交匹配追踪的人体关键点检测装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述程序指令能够执行所述的检测方法。
[0039]
一种计算机可读存储介质，包括计算机程序，所述计算机程序能够被处理器执行所述的检测方法。
[0040]
与现有技术相比，本发明具有以如下有益效果：
[0041]
(1)本发明将包含人物的待检测图像输入训练好的目标检测器，获得单个人物的裁剪图，设置人体关键点标注坐标，将裁剪图缩放至设定尺寸，并输入训练好的特征编码主干网络，获得感知矩阵，根据感知矩阵，利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复，获取待检测图像中人物的人体关键点位置，本发明基于人体关键点稀疏的这一事实，利用目标检测器分割出单个人物的裁剪图，统一尺寸后输入特征编码主干网络，获得感知矩阵，利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复，实现压缩感知，计算量小，在保证较高计算精度的情况下减轻了计算负担，检测效率高；
[0042]
(2)本发明分别对目标检测器和特征编码主干网络进行单独训练，单独训练完成之后，联立对目标检测器和特征编码主干网络进行联立训练，两个网络互相促进，提高检测精度；
[0043]
(3)本发明单独训练特征编码主干网络的过程中，对特征编码主干网络的输入进行数据增广，以提升网络的鲁棒性。
附图说明
[0044]
图1为本发明的结构示意图。
具体实施方式
[0045]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0046]
实施例1
[0047]
一种基于正交匹配追踪的人体关键点检测方法，如图1，包括：
[0048]
将包含人物的待检测图像输入训练好的目标检测器，获得单个人物的裁剪图；
[0049]
设置人体关键点标注坐标groundtruth；
[0050]
将裁剪图缩放至设定尺寸，并输入训练好的特征编码主干网络，获得感知矩阵；
[0051]
根据感知矩阵，利用正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复，获取待检测图像中人物的人体关键点位置；
[0052]
基于人体关键点稀疏的这一事实，根据信号处理的压缩感知理论：如果信号稀疏可压缩，就可通过远低于奈奎斯特限的采样率对信号进行采样，当采样数据涵盖了原始信号中主要信息时，便可大概率地准确重构原始信号，利用目标检测器分割出单个人物的裁剪图，统一尺寸后输入特征编码主干网络，获得感知矩阵，利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复，实现压缩感知，计算量小，在保证较高计算精度的情况下减轻了计算负担，检测效率高。
[0053]
感知矩阵记为gm×n，表达式为
[0054][0055]
其中，gj为gm×n的第j列，g
ij
为gm×n的第i行第j列元素，i＝1,2,...,m，j＝1,2,...,
n，m为挑选的关键支持点数，m≥k，n为裁剪图的像素总数。
[0056]
正交匹配追踪算法包括：
[0057]
设置稀疏度k、初始的残差信号r0和初始的支撑集λ0，r0＝{x,y}，{x,y}为关键点标注坐标，k是人体关键点的个数；
[0058]
循环k次残差更新步骤，残差更新步骤包括：
[0059]
1)从感知矩阵中挑选出与残差信号最相关的列向量，即两者做内积，选出绝对值最大的原子对应的列向量加入支撑集，与当前残差信号最相关的列向量k
max
的计算公式为：
[0060][0061]
其中，λd＝[1,2,...,n]，r
k-1
为循环k-1次后的残差信号，gk为gm×n的第k列，k＝1,2,...,k，“\”表示移除；
[0062]
2)更新支撑集：
[0063]
λk＝λ
k-1
∪k
max
[0064]
其中，λk和λ
k-1
分别为循环k次和循环k-1次后的支撑集，“∪”表示添加；
[0065]
3)对关键点标注坐标进行稀疏分解：
[0066][0067]
其中，qk为循环k次后的稀疏解，为当前的支撑集，p为关键点标注坐标；
[0068]
4)更新残差：
[0069][0070]
获得人体关键点位置
[0071][0072]
其中，qk为循环k次后的稀疏解，即人体关键点的稀疏表达。
[0073]
通过正交匹配追踪算法最终得到k列支撑集，人体关键点由支撑集的列向量线性表示。
[0074]
由于正交匹配追踪算法选取的列向量与残差是正交的，避免了重复选取同一列向量。
[0075]
对于coco数据集，k＝17，对于crowdpose数据集，k＝14，正交匹配追踪算法的迭代次数通常取决于需求的人体关键点数目k，但是在实际中可见的人体关键点不固定，因此可以采用限定残差的上限来终止迭代，也可以根据求得的关键点的分数来判定是否终止迭代，若分数低于预设的阈值，则终止迭代。
[0076]
目标检测器和特征编码主干网络的训练过程包括：
[0077]
分别对目标检测器和特征编码主干网络进行单独训练；
[0078]
单独训练完成之后，联立对目标检测器和特征编码主干网络进行联立训练，两个网络互相促进，提高检测精度。
[0079]
单独训练特征编码主干网络的过程中，对特征编码主干网络的输入进行数据增广，以提升网络的鲁棒性。
[0080]
数据增广过程包括随机翻转、随机缩放和随机旋转中的一种或多种。
[0081]
目标检测器为卷积神经网络。
[0082]
卷积神经网络为fasterrcnn。
[0083]
如图1所示，先采用目标检测器对待检测图中的单个个体进行检测，获得3张单个人物的裁剪图，再将裁剪图同一缩放至设定尺寸，并输入特征编码主干网络，获得感知矩阵，再根据感知矩阵，通过正交匹配追踪算法对人体关键点标注坐标进行稀疏恢复，获取待检测图像中人物的人体关键点位置。
[0084]
实施例2
[0085]
一种基于正交匹配追踪的人体关键点检测装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述程序指令能够执行实施例1检测方法。
[0086]
实施例3
[0087]
一种计算机可读存储介质，包括计算机程序，所述计算机程序能够被处理器执行实施例1检测方法。
[0088]
实施例1、实施例2和实施例3提出了一种基于正交匹配追踪的人体关键点检测方法、装置及介质，基于人体关键点稀疏的这一事实，根据信号处理的压缩感知理论，利用目标检测器分割出单个人物的裁剪图，统一尺寸后输入特征编码主干网络，获得感知矩阵，利用正交匹配追踪算法对人体关键点坐标进行稀疏恢复，实现压缩感知，计算量小，在保证较高计算精度的情况下减轻了计算负担，检测效率高。
[0089]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。