一种改进的核相关滤波跟踪算法

1.本发明涉及目标跟踪领域，涉及到一种同时具有跟踪框自适应调节和模型自适应更新的核相关滤波跟踪方法，特别涉及一种需要判断跟踪状态进而区分跟踪状态然后进行重检测的方法。


背景技术：

2.随着目标跟踪技术的发展，目标跟踪的应用范围也越来越广泛，例如在车辆辅助驾驶技术方面。对于目标检测算法往往是对整幅图片进行处理，如果每帧都进行检测处理，势必会造成硬件资源的浪费，导致算法实时性造成影响。此时跟踪算法即能够缓解检测的压力，并能够紧紧跟住目标，对车辆的碰撞事故有较好的预防能力。视频监控也是目标跟踪技术的应用方向。视频监控不仅可以统计车辆与行人的数量，更能够跟踪住可疑的车辆与行人。当前智能机器人的发展迅速，对于跟踪技术的需求也有增无减。智能机器人不仅能够服务于各行各业，同样也是实施救援的重要帮手，其中重要性不言而喻。核相关滤波跟踪算法使用循环位移的方法生成样本，并结合了循环傅里叶矩阵对角化的知识，极大地提高了算法的运行速度，同时fhog特征的引入，增加了跟踪器对目标特征的刻画能力，提升了算法的准确率，这使得核相关滤波跟踪算法在相关滤波类算法中表现出众，但核相关滤波跟踪算法因为采取固定的跟踪框尺寸的策略，不能很好地适应目标尺度的变化；同时固定的模型更新策略也会导致模型的漂移。为解决这一问题，本发明提出一种结合cn特征融合、尺度滤波器自适应与合理的多决策模型更新与重检测机制的核相关滤波跟踪算法。实验表明，该方法与传统核相关滤波算法相比在精确度与成功率两方面都有较大提升。


技术实现要素：

3.为了解决上述技术问题，本发明提供一种特征融合方法，增强目标特征表达能力。本发明提供了一种尺度自适应方法，适应尺度的突变。本发明提供一种模型更新策略与重检测机制，缓解遮挡与丢失造成的模型漂移现象。所述方法包括如下：
4.(1)cn特征融合；
5.通过将cn特征与fhog特征进行特征向量的拼接，以求取更明显的目标特征表达。在此过程中，对fhog特征进行进一步改进，即不再使用9维的无符号特征向量，而仅使用18维的有符号特征向量，最后再将其与11维的cn特征向量进行拼接，最终形成 4+18+11＝33维的特征向量。
6.(2)尺度自适应；
7.首先经过统计实验分析，对目标尺度进行了尺度池的划分，分别划分了四个尺度区间，分别为[0.75，0.9)、[0.9，1)、(1，1.1]、(1.1， 1.25]，并最终形成3+4+1+3+4＝15维的尺度池s＝{0.75，0.8，0.85， 0.9，0.925，0.95，0.975，1，1.025，1.05，1.075，1.1，1.15，1.2， 1.25}。
[0008]
后在尺度池划分的基础上设计一种尺度搜索策略，能适应尺度突变的情况。
[0009]
(3)模型更新策略与重检测机制；
[0010]
通过模型更新策略与重检测机制改善跟踪目标因遮挡与丢失造成的模型漂移现像。首先通过判断响应图的波动情况来确定目标跟踪状态的好坏，再使用旁瓣峰检测来区分遮挡与丢失状态，最后使用重检测来重新确定目标位置。
[0011]
本方法将单目摄像头采集到的图像信号输入算法进行实时分析，通过特征融合增强目标特征后，训练一维尺度滤波器，同时跟踪过程中使用算法的模型更新策略与重检测机制进行模型跟新的自适应调整，从各方面提升了算法的性能。使用c++语言编写并成功实现了改进的核相关滤波跟踪算法，能够有效解决尺度固定与模型漂移的现象。
附图说明
[0012]
图1：特征融合示意图；
[0013]
图2：搜索策略流程图；
[0014]
图3：多决策模型跟新与重检测流程图；
具体实施方式
[0015]
(1)cn特征融合；
[0016]
核相关滤波跟踪算法使用单目摄像头采取彩色图像，通过选定任意目标进行fhog特征提取。fhog在划分区间时，分别进行了无符号划分与有符号划分，fhog特征划定每个细胞元为4
×
4像素，每个细胞元能分别生成一个9维的无符号特征与18维的有符号特征。 fohg特征再将9维无符号特征来与其周围8个细胞元进行归一化与截断，归一化与截断为一个过程，即当前细胞元分别与其左上、右上、右下、左下包含当前细胞元的四个细胞元的特征进行叠加，形成一个 4
×
9的特征矩阵。后将4
×
9的特征矩阵每行每列分别相加，得到 4+9＝13维特征向量，最后形成13+18＝31维特征向量。
[0017]
本发明通过将cn特征与fhog特征进行特征向量的拼接，以求取更明显的目标特征表达。在此过程中，对fhog特征进行进一步改进，即不再使用9维的无符号特征向量，而仅使用18维的有符号特征向量，将18维有符号特征来进行归一化与截断，形成一个4
×ꢀ
18的特征矩阵，后将4
×
18的特征矩阵每行每列分别相加，得到 4+18＝22维特征向量最后再将其与11维的cn特征向量进行拼接，最终形成4+18+11＝33维的特征向量。拼接的方式为11维的cn特征向量直接连接在22维的fhog特征向量尾部形成一个特征向量。
[0018]
(2)尺度自适应；
[0019]
目标尺度大部分落在[0.9，1)、(1，1.1]两个区间，超出[0.9，1.1] 区间的尺度绝大部分不超过原尺度的1.25倍，最小尺度则不低于原尺度的0.75倍。本发明提供了四个尺度区间，分别为[0.75，0.9)、[0.9， 1)、(1，1.1]、(1.1，1.25]，并对这四个区间进行了划分。尺度落在[0.9， 1)、(1，1.1]这两个区间的概率最大，给每个区间划分为4个尺度；尺度落在另外两区间的概率较小，给每个区间划分了3个尺度。最终形成3+4+1+3+4＝15维的尺度池s＝{0.75，0.8，0.85，0.9，0.925，0.95， 0.975，1，1.025，1.05，1.075，1.1，1.15，1.2，1.25}尺度池可由公式表示，式中m＝7，n＝4，-m＝-7，-n＝-4；
[0020]
s＝{t-m
，
…
，t-n-1
，t-n
，
…
，t-1
，t，t1…
，tn，t
n+1
，
…
，tm}
[0021]
目标在视频序列中尺度的变化具有短时一致性，即在一定的帧数内目标尺度会向
同一个方向变化，记录此信息可以起到辅助选取尺度的作用。具体的方法为：
[0022]
选取10帧为一个周期，分别记录10帧内每帧目标尺度的变化情况。本文为每一帧定义一个变量myscale,并且为myscale定义不同的数值来表示尺度的变化情况：myscale＝(2：尺度变大，0：尺度不变，-2：尺度变小)；同时维护一个变量mysum用来统计每10帧 myscale的和。式中i代表当前帧数，n代表视频总帧数。mysum的值需要在尺度开始搜索之前计算出来。
[0023][0024]
mysum的值代表不同的含义，其和大于0代表近10帧中出现目标尺度变大的情况多，当前帧目标尺度变大的概率越大，可优先搜索；若mysum小于0，代表当前帧目标尺度变小的概率较大；当mysum 等于0时，目标的尺度可能一直未发生变化，也可能表示在近10帧中出现尺度变大与变小的帧数相等。结合当前帧尺度变化的概率，可实现尺度的预测，降低计算量。
[0025]
先确定尺寸变化方向，再验证尺寸是否突变，最后确定最佳尺寸。具体可表述为：首先分别计算f(t)、f(t1)、f(t-1
)的值，f()表示计算响应,f(t) 代表尺度池s中尺度为1时的响应值，f(t1)代表尺度池s中尺度为1.025 时的响应值，f(t-1
)代表尺度池s中尺度为0.975时的响应值,t的下标为几，就代表是尺度池中对应尺度值。更具体表示为：
[0026]
步骤1：f(t)》f(t1)且f(t)》f(t-1
)此时可以确定目标尺寸没有发生变换
[0027]
步骤2：当f(t1)》f(t)时，可确定目标尺寸变大；此时再计算f(tn) 的值并比较f(t1)与f(tn),若f(t1)》f(tn)则代表目标最佳尺寸在(1，1.1]，可从t2升序搜索；若f(t1)《f(tn)且f(tn)-f(t1)》r(r取0.2),则代表目标尺寸存在剧烈变化，此时可从t
n+1
升序搜索获得最佳尺寸，反之则表明最佳尺寸在(1，1.1]区间内并距离tn较近，可从t
n-1
降序搜索快速求得最佳尺寸。
[0028]
步骤3：当f(t-1
)》f(t)时，可确定目标尺寸变小。
[0029]
与尺度预测结合之后，可以为基本搜索策略提供尺度优先级。当 mysum》0时，优先计算f(t1)的值，如果满足f(t1)》f(t)，则按照步骤2 进行尺度搜索，如果不满足，则再进行f(t-1
)的计算，然后根据计算结果选择步骤1或者步骤3；同理当mysum《0时，应优先计算f(t-1
)的值；当mysum＝0时，因为无法确定尺度变化的优先级，故随机优先计算f(t)或f(t-1
)。
[0030]
(3)模型更新策略与重检测机制；
[0031]
核相关滤波跟踪算法的模型更新策略采用每一帧皆线性加权的方式，公式如下。其中а代表更新后的模型，а
t-1
代表历史模板，а
t
代表当前帧模型，η为学习因子，η＝0.012。学习因子是模型更新过程中最重要的参数，学习因子的值越大，模型中历史信息越少。
[0032]
α＝(1-η)α
t-1
+ηa
t
[0033]
核相关滤波器每次更新时跟踪模型都会接收新模型的信息，当新模型的信息受到污染后，跟踪模型同样会被污染，这种模型更新方式并不合理，本发明提出合理的模型更新策略与重检测机制。
[0034]
通过判断响应图的波动情况确定目标跟踪状态的好坏，使用 apce作为判断响应图的波动情况，f
max
，f
min
，表示响应矩阵中的最大值与最小值，f
w,h
表示响应矩阵中(w,h)位
置对应的响度值，当apce 的值大于等于其历史平均值的0.7倍时，代表响应图的波动较小，此时更新跟踪模型，即η值不变；而当apce的值小于其历史平均值的 0.7倍时，代表响应图的波动较大，表明目标可能被遮挡或者丢失，此时需要进行遮挡与丢失的判断；
[0035][0036]
使用旁瓣峰检测区分遮挡与丢失状态，f
max
表示响应最大值，f
sp
表示局部最大值(即旁瓣峰)，r代表响应矩阵，k代表惩罚因子，k 取0.4。若响应矩阵中存在局部最大值且该值大于等于f
max
乘以比例 k时，认为目标丢失。当目标丢失，需进行重检测；否则目标被遮挡，模型不更新，即η置为1；
[0037][0038]
通过重检测来重新确定目标位置，方法为以丢失的目标框为中心，扩大采样区域，扩大后的采样区域为算法原来采样区域的两倍，并通过双线性插值的方式将其尺度变换到初始采样区域的大小后计算其响应值f(t
new
)，得到最大响应对应的坐标后再通过双线性差值的方式进行反变换，即可得到最终位置。
[0039]
合理的模型更新与重检测机制可如下表示：
[0040]
当apce大于其历史平均值的0.7倍时，此时断定跟踪状态良好，模型更新；反之，此时需要再判断是否存在f
sp
并且该值大于等于f
max
乘以比例k，若成立，则认为目标被遮挡，模型不更新，若不成立，则认为目标丢失。当判定为丢失状态时，开启重检测模块，计算重检测后最大响应值f(t
new
)并与当前响应值f(t)比较，若f(t
new
)》f(t)，代表重检测到目标，此时可以将新模型纳入更新，反之产生误判，模型不予更新。