一种针对深度相关滤波目标跟踪算法的评测方法与流程

本发明涉及计算机视觉技术，具体是涉及一种针对深度相关滤波目标跟踪算法的评测方法。
背景技术：
：人类感知世界一个重要来源就通过图像信息，研究表明人类获取外界信息中大约有80％～90％的信息来自于人类眼睛获取的图像信息。目标跟踪是图像信息理解中的一个常见视觉任务。目标跟踪在实际生活中有着丰富的应用，比如可以在用户提供的视频序列中对感兴趣的目标进行实时的跟踪；会议或会场管理人员可以利用来自动化的目标跟踪系统分析会场人员的行动模式从而做出更好的决策。因此，运用计算机视觉实现自动目标跟踪具有重要的现实意义。目标跟踪是计算机视觉研究领域的热点之一，过去几十年以来，目标跟踪的研究取得了长足的发展。从经典的均值漂移(meanshift)、粒子滤波(particlefilter)跟踪算法，到基于检测(trackingbydetection)的跟踪算法及相关滤波(correlationfilter)的跟踪算法，再到最近基于深度学习(deeplearning)的跟踪算法。最近取得的研究进展主要是基于深度相关滤波的目标跟踪算法。相关滤波的跟踪算法的雏形于2012年提出，利用傅立叶变换快速实现学习和检测。学习检测过程高效，证明过程完备。利用快速傅立叶变换，csk方法的跟踪帧率能达到几百帧。随后，提出了基于hog特征的kcf方法，提出了循环矩阵的求解，解决了密集采样(densesampling)的问题，是现存最典型的相关滤波类方法。后续还有考虑多尺度或颜色特征(colornaming)的方法以及用深度学习提取的特征结合kcf的方法。但总体上说，目前对于基于深度相关滤波的目标跟踪算法的研究缺乏可理解性，即目前对于算法中的哪一个部分起主导作用并没有定论。比如深度网络不同层的卷积输出都可以作为跟踪的特征，对于如何选取有利于跟踪的深度特征，m.danelljan(m.danelljan,g.hager,f.s.khan,andm.felsberg,“learningspatiallyregularizedcorrelationfiltersforvisualtracking,”inproc.ieeeint.conf.comput.vis.(iccv),2015,pp.4310–4318；m.danelljan,a.robinson,f.s.khan,m.felsberg,beyondcorrelationfilters:learningcontinuousconvolutionoperatorsforvisualtracking,in:eccv,2016,pp.～472--488)做了大量的工作，但对于为何选取这些特征的研究却较少。将基于深度相关滤波的目标跟踪算法分为多个独立的部分进行评测能够有效的理解这些算法的优势与劣势。技术实现要素：本发明的目的在于提供可实现对算法性能评测与针对性提升的一种针对深度相关滤波目标跟踪算法的评测方法。本发明包括以下步骤：a.将基于深度相关滤波的目标跟踪算法定义为五个独立部分，即深度特征提取器、提取运动模型、相关滤波模型、相关滤波更新器和定位模型；b.分别定义五个独立部分的基准，用于作为评判其余算法的标准之一，其中，深度特征提取器以vgg神经网络为基准，该vgg神经网络使用大型视觉识别数据集ilsvrc_det进行预训练；ilsvrc_det数据集包含45万张图片，总共拥有1000个类别，这些图像被标记有类别信息与目标位置；提取运动模型以6倍目标大小为基准；相关滤波模型以核相关滤波为基准；相关滤波更新器以每帧更新为基准；定位模型以两个跟踪器协同定位的方式为基准；c.将原始基于深度相关滤波的目标跟踪算法用于目标跟踪，使用长程跟踪视频数据集进行测试，同时，将五个独立部分分别替换为基准部分并使用该长程跟踪视频数据集分别进行测试；d.对步骤c中得到的6次测试的结果进行记录，同时将结果进行比较，按照性能变化进行排序，从而对各个独立部分进行性能测试，实现对各个部分性能的评测，综合评测结果，实现对步骤a中定义的原始基于深度相关滤波的目标跟踪算法的评测。在步骤a中，所述基于深度相关滤波的目标跟踪算法用于对给定视频中的目标进行跟踪，其中第一帧包含已标记的目标；所述深度特征提取器用于使用深度神经网络提取深度特征，运动模型用于定义跟踪目标可能出现的区域，相关滤波模型用于定义基于深度相关滤波的目标跟踪算法所使用相关滤波模型，相关滤波更新器用于定义相关滤波模型的更新方法，定位模型用于定位视频中最终跟踪目标的位置。在步骤b中，所述深度特征提取器所使用的深度神经网络为vgg神经网络，该网络的输入为固定尺寸的帧图像，大小固定为224*224，包含6个卷积层，将从第1～3个卷积层所提取的特征定义为浅层特征，将从第4～6个卷积层所提取的特征定义为深层特征，将浅层特征与深层特征两者相混合的特征定义为混合特征；vgg神经网络的卷积层输出特征图后，将采用修正线性单元激活函数以及最大池化层，并在最后一层使用互相关层；定义深度卷积神经网络的输入尺寸要求：1)原始图像不可过小；2)当目标图像不为指定大小输入时，对应的图像将缩放或扩大为指定大小输入；提取运动模型是对当前视频定义搜索范围，在范围内搜索跟踪目标，最大可为整个视频区域，以六倍于目标的大小为基准；相关滤波模型是以最基础的kcf核相关滤波为基准；相关滤波更新器以逐帧更新为基准，每一帧都更新；定位模型以使用单个相关滤波模型定位为基准。在步骤c中，所述长程跟踪视频数据集可采用uav20l数据集，所述uav20l数据集包含20个长视频数据集，用于长程视频跟踪算法的测试。在使用uav20l数据集进行测试时，所采用的评测算法为平均中心误差与重合度。本发明提出一种针对深度相关滤波目标跟踪算法的评测方法。该方法可以将基于深度相关滤波的目标跟踪算法分为五个独立的部分，即移动模型，特征提取器，相关滤波模型，相关滤波模板更新器，定位模型并对这五个独立的部分单独进行评测，从而评测出各个部分对算法的影响大小；最后通过综合这五个部分的单独评测结果，实现对基于深度相关滤波的目标跟踪方法进行改进。所提出的方法所获得的评测结果能够直观的评测基于深度相关滤波的目标跟踪算法，可以进一步用于基于深度相关滤波的运动分割、特征匹配等计算机视觉领域的重要任务。在多个经典的深度相关滤波目标跟踪算法上进行实验验证，该方法在能够有效的对算法进行评价，从而实现对算法性能评测与针对性提升。附图说明图1为本发明实施例所分解的五个独立部分示意图。具体实施方式以下实施例将结合附图对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。参见图1，本发明实施例的实施方式包括以下步骤：a.给定一个基于深度相关滤波的目标跟踪算法deepcfalgo，该方法对给定视频中的目标进行跟踪，其中第一帧包含已标记的目标。基于深度相关滤波的目标跟踪算法即是指使用深度神经网络提取视频帧的特征，同时运用相关滤波器进行跟踪的方法。将deepcfalgo定义为五个独立的部分，深度特征提取器dfextrator，提取运动模型mmodel，相关滤波模型cfmodel，相关滤波更新器updater，定位模型localtionmodel。其中，深度特征提取器dfextrator使用深度神经网络提取深度特征，运动模型mmodel用于定义跟踪目标可能出现的区域(既是指对当前视频定义搜索范围，在范围内搜索跟踪目标，最大可为整个视频区域)，相关滤波模型cfmodel用于定义deepcfalgo算法所使用相关滤波模型，相关滤波更新器updater用于定义相关滤波模型的更新方法，定位模型localtionmodel用于定位视频中最终跟踪目标的位置。b.基于步骤a中定义的五个独立的部分，深度特征提取器dfextrator，提取运动模型mmodel，相关滤波模型cfmodel，相关滤波更新器updater，定位模型localtionmodel，定义各个部分的基准。该基准作为评判其余算法的标准之一，一个优秀的深度相关滤波目标跟踪算法性能应该高于基准算法。深度特征提取器dfextrator以vgg神经网络为基准，该神经网络使用大型视觉识别数据集ilsvrc_det进行预训练。ilsvrc_det数据集包含45万张图片，总共拥有1000个类别，这些图像被标记有类别信息与目标位置。提取运动模型mmodel以6倍目标大小为基准，相关滤波模型cfmodel以核相关滤波为基准，相关滤波更新器updater以每帧更新为基准，定位模型localtionmodel以两个跟踪器协同定位的方式为基准。本方法所采用的特征提取网络为vgg网络，包含六个卷积层，将从第一个到第三个卷积层所提取的特征定义为浅层特征，将从第四个到第六个卷积层所提取的特征定义为深层特征，将两者相混合的特征定义为混合特征。vgg网络的卷积层输出特征图后，将采用修正线性单元激活函数以及最大池化层，并在最后一层使用互相关层的。运动模型mmodel是对当前视频定义搜索范围，在范围内搜索跟踪目标，最大可为整个视频区域，以六倍于目标的大小为基准。相关滤波模型cfmodel则是以最基础的kcf核相关滤波为基准。相关滤波更新器updater以逐帧(每一帧都更新)更新为基准。定位模型localtionmodel以使用单个相关滤波模型定位为基准。c.把步骤a中定义的原始基于深度相关滤波的目标跟踪算法deepcfalgo用于目标跟踪，使用uav20l数据集进行测试，该数据集包含20个长视频数据集，用于长程视频跟踪算法的测试。并将该算法中的五个独立部分，深度特征提取器dfextrator，提取运动模型mmodel，相关滤波模型cfmodel，相关滤波更新器updater，定位模型localtionmodel。分别替换为基准部分，同时再使用uav20l数据集进行一次测试，一共进行六次测试。d.对步骤d中得到的结果进行记录，同时将六次测试的结果进行比较。按照性能变化进行排序，从而对各个独立部分进行性能测试。实现对各个部分性能的评测，综合评测结果，实现对步骤a中定义的原始基于深度相关滤波的目标跟踪算法deepcfalgo的评测。在使用uav20l数据集进行测试时，步骤c中所采用的评测算法为平均中心误差与重合度。所述步骤b中的定义深度卷积神经网络的输入尺寸进一步包括以下子步骤：b1.原始图像不可过小；b2.当目标图像不为指定大小输入时，对应的图像将缩放或扩大为指定大小输入。表1为本发明实施例所产生的测试结果。表1算法精度成功率基准算法0.3090.194被评测算法dsst(2017)0.4590.270dsst使用基准特征提取器0.4270.254dsst使用基准运动模型0.4550.263dsst使用基准相关滤波模型0.4600.273dsst使用基准更新器0.3970.199dsst使用定位模型0.3370.190uav20l对应为m.mueller等人提出的数据集(m.mueller,n.smith,b.ghanem,abenchmarkandsimulatorforuavtracking,in:eccv,2016,pp.～445--461.)dsst对应为m.danelljan等人提出的算法(m.danelljan,g.hager,f.s.khan,m.felsberg,discriminativescalespacetracking,tpami39(8)(2017),pp.～1561--1575.)结果表明，dsst的定位模型和更新器较好，产生了较大的性能提升，而其余三个部分(特征提取器,运动模型,相关滤波模型)较为平庸，有一定的进步空间。当前第1页12