一种基于人体骨架结构化特征的行人目标跟踪方法与流程

本发明涉及计算机视觉领域，特别是涉及到基于人体骨架结构化特征的行人目标跟踪方法。

背景技术：

随着人工智能技术不断的发展，目标跟踪已成为计算机视觉领域重要的研究课题之一，广泛应用于人机交互、军事、医疗、交通等领域，对社会发展具有深远的意义。目标跟踪是通过利用目标特征信息或背景差帧分离对运动目标状态及位置进行定位检测的过程，现有的目标跟踪技术是通过输入视频或者监控的形式进行，通过利用跟踪算法对其目标的运动轨迹进行定位及预测的技术来达到跟踪的目的。随着跟踪算法的不断研究发展，从2010年以前使用的传统跟踪算法如meanshift、卡尔曼滤波、粒子滤波等，到现在使用的tld、struck、相关滤波、基于深度学习的跟踪方法等，目标跟踪的准确性和实时性不断提升，逐步解决较复杂环境下难以检测与准确跟踪的问题。然而目前的跟踪技术在遮挡、视角变化等复杂环境下稳定性不足，容易出现目标漂移及丢失等问题，导致目标难以重新定位，目标跟踪持续性能较差。因此，研究基于遮挡、视角变化等复杂环境下的目标跟踪有重要的现实意义，能够缓解目标在被遮挡丢失后难以找回的问题，及时的更新目标特征模板，增强算法稳定性。

技术实现要素：

为了解决上述的技术问题，本发明提供了一种基于人体骨架结构化特征的行人目标跟踪方法。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于人体骨架结构化特征的行人目标跟踪方法，包括以下步骤：

s1，利用摄像头记录目标运动视频，通过对目标运动视频图像进行均衡化预处理；

s2，针对目标运动视频图像，通过人体骨架检测提取行人的骨架坐标信息，手动选择跟踪目标行人，根据目标行人的骨架坐标信息建立目标初始特征模板图像，对目标行人进行跟踪；

s3，判断目标行人是否处于跟踪丢失状态，若目标行人正常，则保持当前状态继续跟踪，若目标行人丢失，则执行下一步，转入步骤s4；

s4，根据目标行人丢失前的视频图像和目标行人的骨架坐标信息提取目标结构化特征图像并更新目标特征模板图像，然后根据当前时刻视频图像和行人的骨架坐标信息提取所有行人的结构化特征图像，将当前时刻所有行人的结构化特征图像与目标特征模板图像进行逐一匹配，根据匹配结果重新定位目标行人位置；

s5，目标行人重定位后继续跟踪目标。

所述图像预处理是采用clahe算法对图像进行均衡化。

所述人体骨架检测过程为：采用openpose方法提取人体骨架关键点信息，包括人体骨架18个关键点pi＝{(xi,yi)|i＝0,1,...,17}，人体骨架关键点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。

所述目标行人跟踪过程采用kcf、tld、csk或struck算法进行跟踪。

所述结构化特征图像是指根据人体骨架结构提取的人体各部位区域的衣着特征图像，特征图像用rn(n＝1,2,3,4,...)表示，n为结构化特征图像个数，包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚图像。

所述目标初始特征模板图像是根据人体骨架所提取的目标行人各部位区域特征图像，是在执行目标行人跟踪前建立并保存的目标正常状态下的特征模板图像。

所述目标行人是否处于丢失状态是以跟踪置信度为标准进行判断，若当前跟踪过程的跟踪置信度小于跟踪置信度判断阈值，若判别目标处于丢失状态，则需要更新目标特征模板图像并重新定位目标行人；若当前跟踪置信度大于跟踪置信度判断阈值，则保持当前状态继续跟踪。

设跟踪置信度为q，q∈[0,1]，其中，0表示跟踪过程中目标行人的可信度最低，1表示跟踪过程中目标行人的可信度最高，跟踪目标处于丢失状态的跟踪置信度值为最低值且作为判断阈值记为q0，正常跟踪过程的跟踪置信度值为最高值且记为q1，具体判断方法如下：

s3.1，对目标进行跟踪，计算获得跟踪置信度值q；

s3.2，当第n帧图像中的目标行人跟踪置信度qn大于跟踪置信度判断阈值q0时，不需要更新目标特征模板图像，保持当前状态继续跟踪；当第n帧图像目标跟踪置信度qn小于跟踪置信度判断阈值q0时，需要更新目标特征模板图像，并继续执行下一步；

s3.3，判断第n-1帧图像目标跟踪置信度qn-1是否大于q1，若大于q1，则以第n-1帧图像中的目标结构化特征为依据更新特征模板，若小于q1，执行下一步；

s3.4，判断第n-2帧图像目标跟踪置信度qn-2是否大于q1；若大于q1，则以第n-2帧图像中目标结构化特征图像为依据更新目标特征模板图像，若小于阈值q1，执行下一步，转入步骤s3.5；

s3.5，判断第n-i(i＝1,2,...)帧图像目标跟踪置信度qn-i是否大于q1；若大于q1，则以第n-i帧图像中目标结构化特征图像为依据更新目标特征模板图像，若小于q1，执行下一步，转入步骤s3.6；

s3.6，重复步骤s3.1-步骤3.5，直至第n-k(k＝1,2,...)帧图像目标跟踪置信度qn-k大于q1，并以第n-k帧图像中的目标结构化特征图像为依据更新目标特征模板图像；

表达式如下：

其中，mn+1表示第n+1帧时目标特征模板图像，gn-k表示根据第n-k帧目标状态更新的目标特征模板图像，mn表示第n帧时的目标特征模板图像，qn-k表示第n-k帧时的跟踪置信度。

所述行人与目标行人匹配过程为：通过图像匹配计算行人各结构化特征图像与该行人对应的目标特征模板图像的相似度，构建综合相似度评估模型进行综合计算，得到行人特征与目标特征模板的综合相似度，若综合相似度大于设定阈值，则匹配，或综合相似度小于设定阈值，则不匹配；

设将n个结构化特征图像与特征模板图像逐一匹配，得到n个相似度值di(i＝1,2,...n)；

建立行人特征图像与目标特征模板图像的综合相似度评估模型，公式如下：

f(d)＝d1α1+d2α2+…+diαi+…+dnαn

其中，αi(i＝1,2,...n)表示函数权值，αi的范围是(0,1，由于f(d)的函数值越接近1，相似度越高，根据f(d)的函数值确定目标，数值最高的即为目标行人。

所述目标结构化特征图像提取时，具体为：设目标结构化特征图像ri在采集的视频图像中的区域位置表示为ri(x,y,w,h)，其中i＝0,1,2,...，根据该目标结构化特征图像所在区域的骨架关键点计算出该区域参考中心点g(x,y)，设定宽为w、高为h，并以参考中心点为基点，以设定的宽、高为尺度范围在采集的视频图像中截取该图像子区域即得到该目标结构化特征图像。

本发明具有以下有益效果：

(1)采用clahe算法对采集的视频图像进行均衡化预处理，进行图像质量增强，可提升算法在室外光照多变复杂环境下的适用性；通过人体骨架检测提取行人骨架关键点信息，人体骨架关键点信息可准确描述人体骨骼结构及关节部位关系，提升了对人体局部细节信息的提取能力与精度。

(2)根据行人骨架关键点信息提取人体结构化特征，可准确表征人体各部位衣着体型特征，丰富追踪过程中的人体特征细节，提升目标追踪精度与场景适用性；同时基于人体结构化特征，设计了追踪目标特征匹配模板更新策略，自动搜索目标在被遮挡、多人重叠等情况(即处于易丢失状态)前的最佳特征模板，并利用该模板进行行人匹配识别与重定位，实现在复杂多人场景下对目标行人的稳定持续跟踪，解决追踪目标在遮挡、多人重叠等复杂情况下易丢失且难以自动找回的问题。

(3)在人体结构化特征匹配过程中，建立了行人特征与目标特征模板的综合相似度评估模型，通过权重调整可有效融合行人各部位结构化特征，实现追踪目标与检测行人的相似度综合评估，可提高追踪过程中目标识别定位的准确度。

附图说明

附图1为本发明流程示意图；

附图2为本发明方法原理图；

附图3为本发明中clahe原理示意图；

附图4为本发明中人体骨架关键点信息；

附图5为本发明跟踪置信度变化图；

附图6为本发明目标被遮挡前后效果图；

附图7为本发明基于人体骨架结构化特征的行人目标跟踪效果图。

具体实施方式

为了能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1-7所示，本发明揭示了一种基于人体骨架结构化特征的行人目标跟踪方法，包括以下步骤：

s1，利用摄像头记录目标运动视频，采用clahe算法通过对目标运动视频图像进行均衡化预处理，增加图像质量。可提升clahe算法在室外光照多变复杂环境下的适用性；通过人体骨架检测提取行人骨架关键点信息，人体骨架关键点信息可准确描述人体骨骼结构及关节部位关系，提升了对人体局部细节信息的提取能力与精度。

s2，针对目标运动视频图像，通过人体骨架检测提取行人的骨架坐标信息，手动选择跟踪目标行人，根据目标行人的骨架坐标信息建立目标初始特征模板图像，对目标行人进行跟踪。

s3，判断目标行人是否处于跟踪丢失状态，若目标行人正常，则保持当前状态继续跟踪，若目标行人丢失，则执行下一步，转入步骤s4。

s4，根据目标行人丢失前的视频图像和目标行人的骨架坐标信息提取目标结构化特征图像并更新目标特征模板图像，然后根据当前时刻视频图像和行人的骨架坐标信息提取所有行人的结构化特征图像，将当前时刻所有行人的结构化特征图像与目标特征模板图像进行逐一匹配，根据匹配结果重新定位目标行人位置。

s5，目标行人重定位后继续跟踪目标。

针对步骤s1中的采用clahe算法对图像进行均衡化，具体为：

s1.1，提取yuv中的y分量通道，将该通道图像分为大小相同的若干子块。

s1.2，对分割好的每个子块进行直方图裁剪，计算该子块像素平均值，如公式如下所示，

其中，nave表示像素的平均值，nx表示x方向的像素个数，ny表示y方向的像素个数，nxy表示该子块区域的灰度级个数。

s1.3，计算对比度受限值，

c＝ncnave

其中，nc为设定的像素裁剪系数。

s1.4，以裁剪系数nc为标准对子块区域进行处理，并计算处理后的像素个数s，并将像素平均分配，即平均分配后的像素nv如公式如下所示，

s1.5，对于裁剪过后超出设定像素范围的像素值，利用下式将其找出，并重新分配。

其中，l为所分配的像素长度，lg为图像灰度范围长度。

s1.6，将进行过上述步骤的子块进行直方图均衡化；

s1.7，利用线性差值算法解决子块之间产生的作用。

所述步骤s2人体骨架检测过程为：采用openpose方法提取人体骨架关键点信息，包括人体骨架18个关键点pi＝{(xi,yi)|i＝0,1,...,17}，人体骨架关键点主要包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚这18个节点。

进一步，在步骤s2中，目标初始结构化特征模板图像的建立是以人体骨架的18个关键点pi＝{(xi,yi)|i＝0,1,...,17}为依据提取结构化特征，如图4所示，并计算结构化特征区域范围。假设结构化特征区域表示为ri(x,y,w,h)，其中i＝0,1,...,5，依次代表胸膛、胯部、左臂、右臂、左腿、右腿；同时设其重心为g(x,y)、宽为w、高为h，并以重心为基点，以宽、高为尺度范围截取结构化特征区域。具体计算过程如下所示：

设胸膛结构化特征区域为为r0(x,y,w,h)，可通过p2、p5、p8、p11关键点坐标信息得到，具体计算公式如下：

其中，

同理，胯部结构化特征区域r1(x,y,w,h)，可通过p8、p9、p11、p12关键点坐标信息得到，计算公式与胸膛结构化特征区域计算公式类似。

设左臂结构化特征区域为r2(x,y,w,h)，可通过p2、p3关键点坐标信息得到，具体计算公式如下：

同理，右臂结构化特征区域r3(x,y,w,h)可通过p5、p6坐标信息得到，左腿结构化特征区域r4(x,y,w,h)可通过p8、p9坐标信息得到，右腿结构化特征区域r5(x,y,w,h)可通过p11、p12坐标信息得到，计算公式均与左臂结构化特征区域计算公式类似。

另外，在本发明实施方式中，步骤s2所指的现有跟踪算法是以kcf跟踪算法为例进行目标跟踪，具体过程如下：

s2.1，利用循环矩阵采集训练样本，如下式所示，

c(x)为循环矩阵，是通过基本样本x循环移动得到，即通过循环矩阵采集目标周围图像样本，得到大量的训练样本。

s2.2，将循环矩阵进行离散傅里叶变换，即将矩阵x傅里叶对角化，如下式所示：

其中，f表示为不依赖x的常数矩阵，是离散傅里叶矩阵，表示x的离散傅里叶变换，f^h表示f的共轭转置矩阵。

s2.3，基本样本进行循环位移之后形成大量的正负样本，因此利用岭回归建立滤波模型对样本进行训练分类，即通过最小二乘法训练样本，寻找一个分类器f(z)＝w^tz函数，其中，z表示目标图像输入样本，w表示权重，使样本xi和其回归值yi的平方误差最小化，求解w的最小值，如下式所示：

λ是控制正则化参数，可以防止过拟合。

其中，w＝(x^tx+λi)^-1x^ty

由于需要利用傅里叶变换，因此可以简化为下式：

w＝(x^hx+λi)^-1x^hy

其中xh是x的共轭转置。

s2.4，计算kcf跟踪置信度，根据跟踪置信度来判断是否需要更新目标结构特征模板图像。

此外，跟踪置信度是采用kcf跟踪算法中的跟踪置信度进行判断，如图5所示，所述目标行人是否处于丢失状态是以跟踪置信度为标准进行判断，若当前跟踪过程的跟踪置信度小于跟踪置信度判断阈值，若判别目标处于丢失状态，则需要更新目标特征模板图像并重新定位目标行人；若当前跟踪置信度大于跟踪置信度判断阈值，则保持当前状态继续跟踪。

设跟踪置信度为q，q∈[0,1]，其中，0表示跟踪过程中目标行人的可信度最低，1表示跟踪过程中目标行人的可信度最高，跟踪目标处于丢失状态的跟踪置信度值为最低值且作为判断阈值记为q0，正常跟踪过程的跟踪置信度值为最高值且记为q1，q0是通过对行人在遮挡、多人重叠、视角变化等情况进行跟踪测试，取多次目标丢失时的跟踪置信度的平均值而得。q1是通过对行人在正常姿态情况进行跟踪测试，取多次目标未丢失时的跟踪置信度的平均值而得。

具体判断方法如下：

s3.1，对目标进行跟踪，计算获得跟踪置信度值q。依据kcf算法计算基本样本与训练样本之间的滤波响应值，即相关跟踪置信度q，公式如下：

其中，q为跟踪置信度，f(z)为岭回归建立的分类器，x为基本样本，z为训练样本，k^xz为基本样本与训练样本之间的核相关，α为向量系数，为f(z)的离散傅里叶变换，为k^xz的离散傅里叶变换，为α的离散傅里叶变换。

s3.2，当第n帧图像中的目标行人跟踪置信度qn大于跟踪置信度判断阈值q0时，不需要更新目标特征模板图像，保持当前状态继续跟踪；当第n帧图像目标跟踪置信度qn小于跟踪置信度判断阈值q0时，需要更新目标特征模板图像，并继续执行下一步；

s3.3，判断第n-1帧图像目标跟踪置信度qn-1是否大于q1，若大于q1，则以第n-1帧图像中的目标结构化特征为依据更新特征模板，若小于q1，执行下一步；

s3.4，判断第n-2帧图像目标跟踪置信度qn-2是否大于q1；若大于q1，则以第n-2帧图像中目标结构化特征图像为依据更新目标特征模板图像，若小于阈值q1，执行下一步，转入步骤s3.5；

s3.5，判断第n-i(i＝1,2,...)帧图像目标跟踪置信度qn-i是否大于q1；若大于q1，则以第n-i帧图像中目标结构化特征图像为依据更新目标特征模板图像，若小于q1，执行下一步，转入步骤s3.6；

s3.6，重复步骤s3.1-步骤3.5，直至第n-k(k＝1,2,...)帧图像目标跟踪置信度qn-k大于q1，并以第n-k帧图像中的目标结构化特征图像为依据更新目标特征模板图像；

表达式如下：

其中，mn+1表示第n+1帧时目标特征模板图像，gn-k表示根据第n-k帧目标状态更新的目标特征模板图像，mn表示第n帧时的目标特征模板图像，qn-k表示第n-k帧时的跟踪置信度。

当目标发生遮挡等情况时，容易出现丢失现象，而此时的特征模板已不满足当前的目标状态，因此需要更新特征模板来重新匹配目标。阈值q0是判断特征模板更新的条件，而阈值q1是目标在正常状态下的平均跟踪置信度。由于第n帧前的连续几帧很可能存在目标仍被遮挡的情况，又因第n-k帧的正常状态接近于第n+1帧时的目标状态，如图6所示，因此，选取第n-k帧图像作为更新特征模板的依据，从而能在第n+1帧时及时的匹配到目标。

此外，在步骤s4中，在目标丢失后重新定位的具体步骤如下所示：

(1)根据人体骨架关键点信息提取丢失前第n-k帧的目标结构化特征，本发明以胸膛、胯部、左臂、右臂、左腿、右腿区域衣着特征为例；

(2)根据步骤(1)提取的结构化特征更新目标特征模板；

(3)通过直方图相关性匹配法将目标丢失后第n+1帧的每个行人特征模板(包含六个结构化特征)与更新后的特征模板逐一对比，对比公式如下所示；

其中，h1表示第n-k帧目标特征模板直方图，即更新后的特征模板直方图；h2表示待匹配行人的结构化特征模板直方图；分别表示h1、h2的平均值；i表示图像像素值。

(4)由于每个行人与特征模板对比会产生六个相似度值，因此需要进行相似度综合评估，建立行人特征与目标特征模板的综合相似度评估模型，如下式所示。由直方图相关性匹配法的性质可知，f(d)的值越接近1相似度越高，因此可根据每个行人产生的f(d)值的最高数值重新定位目标。

f(d)＝d1α1+d2α2+…+diαi+…+d6α6

其中，di(i＝1,2,...6)表示每个结构化特征图的相似值；αi(i＝1,2,...6)表示函数权值，αi的范围是(0,1)。

(5)根据综合相似度计算结果，优选出最高相似度的目标行人重新定位跟踪目标。

本发明将根据行人骨架关键点信息提取人体结构化特征，准确表征人体各部位衣着体型特征，并设计了追踪目标特征匹配模板更新策略，提升目标行人识别定位准确度，实现在复杂多人场景下对目标行人的稳定持续跟踪，解决追踪目标在遮挡、多人重叠等复杂情况下易丢失且难以自动找回的问题，提高了行人目标跟踪性能，具有较强的稳定性。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。