一种目标跟踪方法及装置与流程

本发明涉及的是一种目标跟踪方法及装置，属于图像处理
技术领域：
，具体说就是一种检测辅助的多滤波器目标稳定跟踪算法及装置。
背景技术：
目标跟踪已经被广泛地应用在计算机视觉、监控系统、民用安检和红外制导等研究领域。目标跟踪的本质是确定目标在图像序列中的位置和几何信息。相似背景干扰及跟踪目标同类物体的遮挡等都使长时间稳定准确跟踪的难度大大增加，已成为计算机视觉领域的研究热点。目标跟踪方法采用的外观模型分为两大类：产生式模型和判别式模型。其最大的区别就是产生式模型没有利用背景信息而判别式模型利用了背景信息。即产生式模型利用各个正样本建立目标的外观数据先验分布，具体确定目标本身特征，而忽视背景图像信息。而判别式模型同样利用包含背景的负样本，训练可以将正负样本很好分开并且可以推广的分类器。现在跟踪算法主要是判别式模型，因为可以充分利用背景信息。相关滤波器跟踪算法采用的即为判别式模型，目前，对于相关滤波器类跟踪算法已经做了很多工作，提出了不少有效的改进方法，例如文章“henriquesjf,ruic,martinsp,etal,“high-speedtrackingwithkernelizedcorrelationfilters,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.37,no.3,pp.583-596,2015.”提出引入高斯核函数的kcf跟踪算法，文章“danelljanm,g,khanfs,“accuratescaleestimationforrobustvisualtracking,”inbritishmachinevisionconference,nottingham,unitedkingdom,2014,pp.65.1-65.11.”适应跟踪目标的尺度变化，文章“galoogahihk,simt,luceys,“correlationfilterswithlimitedboundaries,”inieeeconferenceoncomputervisionandpatternrecognition,boston,usa,2015,pp.4630-4638.”减小边界效应、文章“danelljanm,robinsona,khanfs,etal,“beyondcorrelationfilters:learningcontinuousconvolutionoperatorsforvisualtracking,”ineuropeanconferenceoncomputervision,amsterdam,thenetherlands,2016,pp.472-488.”将离散特征图像转化为连续特征图像并训练通用连续滤波器以融合不同尺度特征图像信息等。其中，引入高斯核函数的kcf跟踪算法作为一种性能出色的跟踪算法，在实际工程中已经得到了较为广泛的应用。但是由于kcf无法识别遮挡，并且只能存储最近的跟踪目标图像信息，所以在跟踪目标发生剧烈形变时，目标包围框容易发生漂移，目标遮挡时将引入大量错误训练样本，这些都将导致跟踪的最终失败。对于跟踪目标剧烈形变和遮挡的问题，学者们进行了研究，如文章“mac,yangx,zhangc,etal,“long-termcorrelationtracking,”inieeeconferenceoncomputervisionandpatternrecognition,boston,usa,2015,pp.5388-5396.”使用跟新速率不一样的回归模型分别应对跟踪目标的快速形变和保守尺度估计、文章“danelljanm,hagerg,khanfs,etal,“adaptivedecontaminationofthetrainingset:aunifiedformulationfordiscriminativevisualtracking,”inieeeconferenceoncomputervisionandpatternrecognition,lasvegas,usa,2016,pp.1430-1438.”学习训练样本的权重、文章“huangc,wub,nevatiar,“robustobjecttrackingbyhierarchicalassociationofdetectionresponses,”ineuropeanconferenceoncomputervision,marseille,france,2008,pp.788-801.”使用跟踪轨迹信息辅助跟踪判断遮挡、文章“cehovinl,kristanm,leonardisa,“robustvisualtrackingusinganadaptivecoupled-layervisualmode,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.35,no.4,pp.941-953,2013.”将遮挡对应为目标模板和只有图像小方块位置内的为非零元素的稀疏表示等。这些方法在某种程度上虽然提高了跟踪算法对于遮挡的鲁棒性，但是往往计算量大、满足不了实时跟踪的速度要求。为了避免这些问题，可以考虑采用多滤波器的kcf跟踪算法将训练样本分类，这样不仅可以记录多种跟踪目标典型历史形态，还可以减轻错误训练样本对正确训练样本的污染，结合引入的检测算法，识别遮挡，在目标重新出现后实现目标找回，并矫正目标包围框位置。技术实现要素：本发明的目的在于提出一种目标跟踪方法及装置，该方法在传统相关滤波器kcf跟踪算法的基础上，采用多滤波器结构进行改进，并引入检测算法辅助跟踪。本发明采用的技术方案为：一种目标跟踪装置，由可见光变焦成像系统，控制计算机和两轴伺服系统组成，其中：可见光变焦成像系统由工业相机和可见光变焦镜头两部分组成。工业相机拍摄目标图像，并通过转换传输系统将图像数据传输给控制计算机，可变光变焦镜头则根据跟踪计算机反馈结果控制镜头焦距，进而使得目标在拍摄图像中大小保持恒定；控制计算机利用跟踪算法确定当前图像中跟踪目标框的具体位置，根据目标跟踪框占图像比例的大小调节镜头焦距，并由跟踪算法给出的目标位置与视场中心点的偏差量来控制两轴伺服系统，即由目标中心距图像中心的偏移量，据此控制两轴伺服系统使目标保持在图像中心区域。两轴伺服系统主要由转台台体和电控箱两大部分组成。转台台体部分是系统的最终执行机构，采用立式u型结构形式，分别用来完成方位、俯仰两个方向的角运动。控制系统位于机械台体内部下方，用来安放两轴伺服系统的控制部分，其接受控制计算机的控制信号并实现对各框架的实时运动控制。一种目标跟踪方法实现步骤如下：步骤1：在初始帧图像中，根据给定目标区域提取目标的特征图像，训练得到第一个滤波器的特征图像和权重系数，初始化其他滤波器，依次进行以下操作：提取目标特征图像：根据给定目标区域提取其对应的hog特征图像；训练权重系数：训练的滤波器是原始训练图像循环移位得到所有图像经过非线性变换后的线性组合，线性组合的权重系数就是训练权重系数，计算方式为：其中x为c维hog特征图像，^代表离散傅里叶变换，f-1代表离散傅里叶逆变换，代表相同位置元素相乘，*代表共轭，λ是正则系数，σ是高斯分布均方差，具体方法参见“henriquesjf,ruic,martinsp,etal,“high-speedtrackingwithkernelizedcorrelationfilters,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.37,no.3,pp.583-596,2015”。其余滤波器的特征图像和权重系数均与第一个滤波器相同，但对应滤波器权重小于第一个滤波器的滤波器权重。步骤2；在当前帧图像中以不同尺度获取候选框特征图，分别匹配滤波器，设每个滤波器fi对应的训练特征图像为ifi。对于当前某一尺度候选框特征图像i,为了挑选最佳匹配滤波器，计算i和所有n个滤波器对应训练特征图像的相似度，采用如下的相似度评价方式：使得s最小的特征图像所对应的滤波器即为最匹配滤波器。响应峰值计算即为候选框特征图像与匹配滤波器卷积，卷积结果所有位置的最大值即为响应峰值。若存在响应峰值大于阈值，则根据最大响应峰值选取最匹配滤波器和对应候选框特征图像x，根据步骤1所述方法利用选取的候选框特征图像计算权重系数α。候选框特征图像与计算所得权重系数即代表新训练的滤波器信息，而最匹配滤波器的历史存储信息则用其对应的历史训练特征图像x′和历史权重向量α′表示。最匹配滤波器更新方式为：历史训练图像x′更新为θx+(1-θ)x′，历史权重向量α′更新为θα+(1-θ)α′。并增大最匹配滤波器的滤波器权重，相应减小其他滤波器权重：其中fβ是最匹配滤波器，是最匹配滤波器对应的滤波器权重，ωi是其他滤波器对应的滤波器权重。若不存在响应峰值大于阈值，则进入遮挡状态。步骤3：遮挡状态时暂停滤波器更新，根据k-1帧目标包围框位置确定第k帧中目标检测区域。基于检测高分框位置信息，提取不同尺度候选框特征图像，分别匹配滤波器并计算响应峰值，若检测得分和滤波器响应峰值均大于阈值则认为目标重新找回，跳出遮挡状态，否则下一帧仍直接进入遮挡状态：第k帧中目标检测区域仍为矩形包围框，其中心图像坐标与k-1帧目标矩形包围框中心相同，长和宽分别为k-1帧目标矩形包围框长和宽的特定倍数。根据矩形检测高分框确定候选框特征图像时，矩形检测高分框和候选框中心图像坐标相同，候选矩形框的长宽分别为矩形检测框长宽的特定倍数η，提取不同尺度候选框即将η取值为不同数值进行特征图像提取步骤4：连续20帧遮挡且未找回目标则进入紧急状态，检测范围扩展到全图，即不仅限于上一帧目标包围框位置及其周围区域，而是全图进行检测，其余将检测高分候选框匹配滤波器并计算响应峰值等后续目标找回步骤与步骤2中所述的算法相同。步骤5：重新找回目标后，结束遮挡或紧急状态，若存在某个滤波器的滤波器权重小于阈值则更新该滤波器，否则更新最匹配滤波器，增大更新滤波器的滤波器权重并相应减小其他滤波器的滤波器权重。本发明的理论基础是检测辅助的多滤波器跟踪算法，实现方法是步骤1-5，其完整算法实现框图如图4所示。本发明的主要创新之处在于将所有历史训练图像按照相似度分类为不同的训练图像集，训练得到对应于不同训练图像集(即不同目标历史形态)的多个滤波器，多个滤波器共同作用决定当前跟踪目标的图像位置，而权重系数由当前跟踪目标形态与各个滤波器的匹配程度决定，当前确定的跟踪目标包围框也只用于更新相应的匹配滤波器。本发明的另一创新之处在于引入检测辅助跟踪，进行遮挡判断和目标找回。本发明的优点及功效在于：不但可以记忆多种历史形态而适应跟踪目标的不连续外观模型，还可以将错误训练样本与正确训练样本分离，即使引入错误训练样本也不污染其他正确滤波器的历史存储信息。引入检测进行矫正，确保跟踪框的准确性。检测结合多滤波器存储的多种跟踪目标外观信息判断遮挡甚至目标同类物体的遮挡，可以避免错误样本的引入，还可以在目标重新找回的过程中，缩小检测范围(短时间遮挡只需检测原本目标候选框及其周围区域)、排除跟踪目标同类物体的干扰，找回处于任何一种历史典型形态的目标。附图说明图1为装置检测跟踪模块流程图；图2为两轴伺服系统示意图；图3为可见光变焦成像系统；图4为本发明中完整的算法实现框图；图5为本发明实施例中目标丢失和重新找回的示意图；图6为本发明实施例中飞机跟踪效果示意图。具体实施方式装置由可见光变焦成像系统，控制计算机和两轴伺服系统组成，其中：可见光变焦成像系统由工业相机和可见光变焦镜头两部分组成。工业相机拍摄目标图像，并通过转换传输系统将图像数据传输给控制计算机，可变光变焦镜头则根据跟踪计算机反馈结果控制镜头焦距，进而使得目标在拍摄图像中大小保持恒定；控制计算机利用跟踪算法确定当前图像中跟踪目标框的具体位置，根据目标跟踪框占图像比例的大小调节镜头焦距，并由跟踪算法给出的目标位置与视场中心点的偏差量来控制两轴伺服系统，即由目标中心距图像中心的偏移量，据此控制两轴伺服系统使目标保持在图像中心区域。两轴伺服系统主要由转台台体和电控箱两大部分组成。转台台体部分是系统的最终执行机构，采用立式u型结构形式，分别用来完成方位、俯仰两个方向的角运动。控制系统位于机械台体内部下方，用来安放两轴伺服系统的控制部分，其接受控制计算机的控制信号并实现对各框架的实时运动控制。目标稳定跟踪方法实现步骤如下：步骤1：在初始帧图像中，根据给定目标区域提取目标的特征图像，训练得到第一个滤波器的特征图像和权重系数，初始化其他滤波器，依次进行以下操作：提取目标特征图像：根据给定目标区域提取其对应的hog特征图像；训练权重系数：为更加充分表达特征图像信息进而提高跟踪精度，kcf作者将原始特征图像非线性变换到长宽放大的大尺度特征图像，并训练对应的大尺度滤波器。大尺度滤波器是原始训练图像循环移位得到所有图像经过同样非线性变换后的线性组合。大尺度特征图像和大尺度滤波器所有对应位置元素乘积的和(点乘)即为原始图像中心点目标存在的得分。训练的大尺度滤波器是原始训练图像循环移位得到所有图像经过非线性变换后的线性组合，线性组合的权重系数就是训练权重系数，计算方式为：其中x为c维hog特征图像，^代表离散傅里叶变换，f-1代表离散傅里叶逆变换，代表相同位置元素相乘，*代表共轭，λ是正则系数，σ是高斯分布均方差,具体方法参见“henriquesjf,ruic,martinsp,etal,“high-speedtrackingwithkernelizedcorrelationfilters,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.37,no.3,pp.583-596,2015”。其余滤波器的特征图像和权重系数均与第一个滤波器相同，但对应滤波器权重小于第一个滤波器的滤波器权重。步骤2；基于上一帧目标包围框的位置，在当前帧图像中以不同尺度获取候选框特征图，分别匹配滤波器，设每个滤波器fi对应的训练特征图像为ifi。对于当前某一尺度候选框特征图像i,为了挑选最佳匹配滤波器，计算i和所有n个滤波器对应训练特征图像的相似度，采用如下的相似度评价方式：使得s最小的特征图像所对应的滤波器即为最匹配滤波器。响应峰值计算即为候选框特征图像与匹配滤波器卷积，卷积结果所有位置的最大值即为响应峰值。若存在响应峰值大于阈值，则根据最大响应峰值选取最匹配滤波器和对应候选框特征图像x，根据步骤1所述方法利用选取的候选框特征图像计算权重系数α。候选框特征图像与计算所得权重系数即代表新训练的滤波器信息，而最匹配滤波器的历史存储信息则用其对应的历史训练特征图像x′和历史权重向量α′表示。最匹配滤波器更新方式为：历史训练图像x′更新为θx+(1-θ)x′，历史权重向量α′更新为θα+(1-θ)α′。并增大最匹配滤波器的滤波器权重，相应减小其他滤波器权重：其中fβ是最匹配滤波器，是最匹配滤波器对应的滤波器权重，ωi是其他滤波器对应的滤波器权重。若不存在响应峰值大于阈值，则进入遮挡状态。步骤3：遮挡状态时暂停滤波器更新，根据上一帧目标包围框的位置计算检测区域，将检测区域设置为目标包围框的m倍，得到检测区域图像。当前帧中目标检测区域仍为矩形包围框，其中心图像坐标与上一帧目标矩形包围框中心相同，长和宽分别为上一帧目标矩形包围框长和宽的特定倍数。根据矩形检测高分框确定候选框特征图像时，矩形检测高分框和候选框中心图像坐标相同，候选矩形框的长宽分别为矩形检测框长宽的特定倍数η，提取不同尺度候选框即将η取值为不同数值进行特征图像提取。ssd检测出检测区域内所有跟踪目标同类物体，检测得分均低于阈值则认为遮挡，否则，得到检测得分d大于阈值ν1检测框。在目标同类物体干扰较多的情况下，需将检测框重新匹配滤波器进行最大响应计算进而确认找回的是同一个目标，基于检测高分框位置信息，提取不同尺度候选框特征图像，分别匹配滤波器并计算响应峰值，若检测得分和滤波器响应峰值均大于阈值则认为目标重新找回，跳出遮挡状态，否则下一帧仍直接进入遮挡状态。在不存在同类物体干扰的跟踪环境下，可省略计算检测框重新匹配滤波器进行最大响应计算的步骤。步骤4：连续20帧遮挡且未找回目标则进入紧急状态，检测范围扩展到全图，即不仅限于上一帧目标包围框位置及其周围区域，而是全图进行检测，将检测高分候选框匹配滤波器并计算响应峰值等后续目标找回步骤与步骤2中所述的算法相同。步骤5：重新找回目标后，结束遮挡或紧急状态，若存在某个滤波器的滤波器权重小于阈值则更新该滤波器，否则更新最匹配滤波器，增大更新滤波器的滤波器权重并相应减小其他滤波器的滤波器权重。实施例以下通过具体的实施例对本发明的技术方案作进一步的详细描述。装置由可见光变焦成像系统，控制计算机和两轴伺服系统组成。可见光变焦成像系统由工业相机和可见光变焦镜头两部分组成。工业相机拍摄目标图像，并通过转换传输系统将图像数据传输给控制计算机；控制计算机利用跟踪算法确定当前帧图像中目标包围框位置，并通过目标包围框中心与视场中心点的偏差来控制两轴伺服系统，即由目标中心距图像中心的偏移量，据此控制两轴伺服系统使目标保持在图像中心区域。控制计算机还通过当前帧图像中目标包围框占整个图像的比例大小控制镜头焦距，进而使得目标在拍摄图像中大小保持恒定。系统检测跟踪模块流程图如图1所示。两轴伺服系统在设定的指令下完成相应二维角运动，以供测试使用。转台台体部分是系统的最终执行机构，采用立式u型结构形式，分别用来完成方位、俯仰两个方向的角运动。控制系统位于机械台体内部下方，用来安放两轴伺服系统的控制部分，实现对各框架的实时运动控制以及操控、监测、保护等功能。通过摇杆输入各种控制指令，实现对转台各种控制功能。如图2所示。可见光变焦成像系统由可见光变焦镜头和工业相机两部分组成。可见光变焦镜头依次由调焦组件、变倍组件、后固定组件、密封组件、相机组件等五个部分组成。工业相机选用日本jai公司设计的sp-5000型号高清彩色相机，如图3所示。利用此发明提出算法和装置对一组存在相似背景干扰，遮挡甚至跟踪目标同类物体遮挡的行人运动图像序列采用本发明的跟踪算法进行跟踪，图像为大小为640×480、位深度24的jpg图像，图像序列总帧数为3624帧，跟踪目标行人9次被遮挡，遮挡总帧数达到1379帧。实验所用平台为ubuntu16.04。所有实验均在配置intelcorei7gpu，主频2.81ghz，8gb内存，显卡为nvidiageforcegtx1050ti的电脑上完成。实验中其他参数均使用原作者提供代码默认参数。图4给出了检测辅助的多滤波器跟踪方法的系统流程图。遮挡目标重新找回效果如图5所示，每行为一次目标行人被遮挡，判定遮挡，目标行人重新出现和找回的过程。当跟踪算法运用的实际环境中，其他目标同类物体的干扰较少时，可以省略检测高分候选框匹配滤波器计算滤波器响应的步骤，而是直接使用检测结果作为目标位置。实验选取了使用深度特征的eco，使用了hog特征的kcf和本文提出的由kcf改进检测辅助的多滤波器跟踪方法共同对10段不存在遮挡干扰但目标形态变化明显的飞机视频进行了跟踪。跟踪过程截图如图6所示，每行从左至右依次为eco，kcf和本文方法在跟踪过程中跟踪框的位置示意图。eco具体方法参见“danelljanm,bhatg,khanfs,etal,“eco:efficientconvolutionoperatorsfortracking，”inieeeconferenceoncomputervisionandpatternrecognition，stateofhawaii，usa，2017，pp.6931-6939”，kcf具体方法参见“henriquesjf，ruic，martinsp，etal，“high-speedtrackingwithkernelizedcorrelationfilters，”ieeetransactionsonpatternanalysisandmachineintelligence，vol.37，no.3，pp.583-596，2015”。可见kcf虽然速度快，但是明显跟踪效果较不稳定，在飞机还未起飞时，由于现场气流湍流明显，图片画质不好，kcf的跟踪框已然出现明显偏移。eco相比而言稳定一些，但在飞机起飞后，由于飞机外形出现了明显的变化，eco也无法适应如此剧烈的形变，跟踪框也逐渐偏离了目标。但是本文提出的方法自始至终都可以很好的跟踪飞机，基本上没有出现跟踪框的漂移。实验具体结果数据与几种跟踪方法的对比如表1所示，其中fps在跟踪中就是每秒可以跟踪的图片帧数，这和图片的大小及分辨率有关，平均cle为平均中心位置误差，定义为算法定位的目标中心与基准目标中心的平均欧式距离，平均or为平均覆盖率，定义为算法定位的目标中心与基准目标中心的平均欧式距离。表1eco、kcf和本文算法跟踪各项数据对比视频名land1land2land3land4land5launch1launch2launch3launch4launch5平均值长度(帧)48007200199727605101480036003449396046404230.7fps(eco)＜10＜10＜10＜10＜10＜10＜10＜10＜10＜10＜10fps(kcf)55705747646162347387.561.05fps(改进)48346974.66233.6503443.54549.37平均cle(eco)90.574.9131.694.58151.74381.83646.373.13平均cle(kcf)55379448.545607410530.543.859.28平均cle(改进)26.43232634.630.515|2517.616.731.824.663平均or(eco)0.760.720.650.80.750.760.820.630.820.750.746平均or(kcf)0.70.770.730.730.70.730.780.710.730.680.726平均or(改进)0.920.920.880.870.830.940.90.930.930.810.893虽然10段视频包含图像的大小一致，均为1920*1080像素，位深度24的jpg图像。但是目标在图像中的大小比重不一样，目标比重很大程度上决定了计算量和跟踪速度。因为kcf每次只针对一帧目标包围框图像训练滤波器，滤波器是目标包围框图像循环移位后的权重组合，且权重系数可直接计算得出，所以它在大部分视频段上的速度是最快的。实时一般要求帧频在25帧以上，kcf都完全可以满足甚至大幅超过实时要求速度，但是其精度得不到保障。平均or一直在0.7左右，在目标外观剧烈变化时漂移明显，平均cle在launch3视频段上甚至达到了100像素。eco每次都要结合所有历史存储的目标包围框图像共同训练连续滤波器，且无法直接计算滤波器，需使用耗时的共轭梯度法进行迭代优化，所以它在所有视频段都是速度最慢的跟踪算法，完全达不到实时要求。平均or在0.75左右，在目标外观剧烈变化时漂移明显，平均cle在land3甚至达到了130像素。引入检测的多滤波器改进算法速度变化较大，因为它是检测和kcf的结合，而检测和kcf的速度是不一致的，检测速度慢于kcf速度，若视频段中飞机外观剧烈变化的次数较多，历史典型形态较多，需多次引入检测，则耗时长。改进算法有时候速度逼近甚至超过kcf的原因是，kcf产生偏移以后，框住了很多不属于目标的背景部分所以增大了计算量，拖慢了速度，但是改进算法由于一直都是较精准框住目标，所以计算量较小，速度得以提升。改进算法的帧频至少是30以上，足以满足实时要求，且改进算法精度提高明显，平均or一直都是0.8以上，很多时候达到0.9，平均cle也一直在35像素之内。以上所述仅为本发明的实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构保护或等效流程变换，或直接或间接运用在其他相关的
技术领域：
，均同理包括在本发明的保护范围内。当前第1页12