一种相关滤波目标跟踪方法、系统及存储介质与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种相关滤波目标跟踪方法、系统及存储介质。


背景技术：

2.基于相关滤波的目标跟踪算法是将通信领域的相关滤波技术运用到目标跟踪领域，将空域中耗时的相关计算转换到频域计算，大大提升了跟踪速度，使得目标跟踪算法能够满足各类应用的实时性要求，不仅仅在军事领域得到了广泛的应用，例如无人机跟踪、精确制导等，也在民用领域发挥着重要作用，如智能视频监控、人机交互、机器人视觉导航等。
3.现有技术中，一方面，早期的相关滤波类跟踪算法，其工作重心在改进目标特征和目标尺度。对于目标特征，最早的mosse跟踪算法采用的是单一的灰度特征，kcf算法中增添了hog特征，samf算法则是将hog特征与cn特征结合；对于目标尺度，samf算法中对目标进行了7个尺度的缩放，dsst算法中则是结合了尺度空间以及平移相关滤波器。另一方面，基于相关滤波的目标跟踪算法还面临边界效应的问题。因为其主要是通过使用循环移位来获取密集的训练样本以及频域计算进行加速，这些经过移位的图像块是通过频域中相关的循环特性隐式生成的，并用作训练滤波器的负样本。所有移位的图像块都会受到边界效应的困扰，并不能真正代表真实场景中的负样本。为了弥补这一缺陷，现有技术中主要通过以下几种方法扩大搜索区域，其中，srdcf算法在训练相关滤波器时引入背景正则化项，以便在更大的搜索区域内学习；不幸的是，这种方法的计算成本很高，降低了跟踪算法速度。bacf算法则是利用裁剪矩阵从背景中密集提取图像块，以较低的计算代价扩展了搜索区域。
4.现有技术中至少存在以下缺陷，一是，srdcf算法在训练相关滤波器时引入背景正则化项，导致计算成本高，降低了跟踪算法的速度，实时性差；然而，bacf算法扩大搜索区域，虽然增加了样本数量，但是在背景信息过多的情况下，也会引入更多的背景噪声，而相关滤波器基于空域特征更容易从环境中学习而不是从目标中学习。在这种情况下，再加上完全或部分遮挡、光照变化等原因引起的物体外观变化，将使得检测过程中更容易出现偏差，从而大大降低了目标跟踪结果的可信度。


技术实现要素：

5.鉴于上述的分析，本发明旨在提供一种相关滤波目标跟踪方法、系统及存储介质，用以解决现有技术难以对复杂环境中的目标进行跟踪，且计算成本高、实时性差、目标跟踪结果可信度低的问题。
6.一方面，本发明提供了一种相关滤波目标跟踪方法，包括：
7.利用当前相关滤波模型与当前帧图像的频域特征进行相关运算获得第一响应图，进而确定当前目标位置；
8.以所述当前目标位置为基准从当前帧图像中分割获得新窗口图像，并提取所述新窗口图像的频域特征；
9.利用所述第一响应图和所述新窗口图像的频域特征优化目标函数，获得下一帧图像对应的相关滤波模型；
10.利用下一帧图像对应的相关滤波模型与下一帧图像的频域特征进行相关运算获得第二响应图，并根据所述第二响应图获得下一帧图像的目标位置。
11.进一步的，提取所述新窗口图像的频域特征包括：
12.对所述新窗口图像进行里斯变换获得对应的频域图像矩阵；
13.对所述频域图像矩阵进行逆傅里叶变换获得新窗口图像对应的空域图像矩阵；
14.根据所述空域图像矩阵以及所述新窗口图像对应的灰度矩阵获得新窗口图像对应的单演图像矩阵；
15.从所述单演图像矩阵中提取所述新窗口图像的频域特征，所述频域特征包括局部幅度、局部方向和局部相位。
16.进一步的，所述单演图像矩阵通过下述公式表示：
17.im＝i-ir
1(x)-jr
2(x)
，
18.其中，
[0019][0020][0021][0022]
上式中，r
1(x)
、r
2(x)
分别表示单演图像矩阵中的两个分量，i表示新窗口图像对应的灰度矩阵，a表示新窗口图像的局部幅度，表示新窗口图像的局部相位，θ表示新窗口图像的局部方向。
[0023]
进一步的，所述局部幅度、局部方向和局部相位分别为：
[0024][0025][0026][0027]
进一步的，利用所述第一响应图和所述新窗口图像的频域特征优化目标函数，获得下一帧图像对应的相关滤波模型，具体包括：
[0028]
建立目标函数，所述目标函数为：
[0029][0030]
其中，y表示当前帧图像对应的理想响应图，y∈rn，d表示图像对应的总通道数量，d表示第d个通道，表示第k帧新窗口图像对应的第d个通道的频域特征，表示第k帧新窗口图像对应的第d个通道相关滤波模型，b表示剪裁矩阵，b∈rm×n，n表示每一频域特征对应的向量长度，m表示每一频域特征对应的向量的中心元素的数量，λ表示空间正则化参数，
★
表示相关运算，[ψ
p,q
]表示使当前帧图像的响应图与上一帧图像的响应图峰
值重合的移位操作；
[0031]
采用最优化算法求解所述目标函数，并将使目标函数值最小的相关滤波模型作为下一帧图像对应的相关滤波模型。
[0032]
进一步的，所述下一帧图像对应的相关滤波模型为：
[0033][0034]
其中，λ表示空间正则化参数，μ表示惩罚因子，id表示d
×
d的二维矩阵，f表示离散傅里叶变换矩阵，wk表示第k帧图像对应的相关滤波模型。
[0035]
进一步的，根据所述第二响应图获得下一帧图像的目标位置，包括：确定所述第二响应图最大响应值所在位置，即为所述下一帧图像的目标位置。
[0036]
另一方面，本发明提供了一种相关滤波目标跟踪系统，包括：
[0037]
目标位置确定模块，用于利用当前相关滤波模型与当前帧图像的频域特征进行相关运算获得第一响应图，进而确定当前目标位置；
[0038]
频域特征提取模块，用于以所述当前目标位置为基准从当前帧图像中分割获得新窗口图像，并提取所述新窗口图像的频域特征；
[0039]
相关滤波模型更新模块，用于利用所述第一响应图和所述新窗口图像的频域特征优化目标函数，获得下一帧图像对应的相关滤波模型；
[0040]
目标位置确定模块，还用于利用下一帧图像对应的相关滤波模型与下一帧图像的频域特征进行相关运算获得第二响应图，并根据所述第二响应图获得下一帧图像的目标位置。
[0041]
进一步的，所述频域特征提取模块具体用于：
[0042]
对所述频域图像矩阵进行逆傅里叶变换获得新窗口图像对应的空域图像矩阵；
[0043]
根据所述空域图像矩阵以及所述新窗口图像对应的灰度矩阵获得新窗口图像对应的单演图像矩阵；
[0044]
从所述单演图像矩阵中提取所述新窗口图像的局部幅度、局部方向和局部相位，进而组成所述新窗口图像的频域特征
[0045]
又一方面，本发明提供了一种存储介质，用于存储计算机指令，处理器执行所述计算机程序，能够实现前述的相关滤波目标跟踪方法。
[0046]
与现有技术相比，本发明至少可实现如下有益效果之一：
[0047]
1、本发明提出的相关滤波目标跟踪方法、系统，创造性的提出根据图像的频域特征对相关滤波模型进行更新，并根据相关滤波模型进行目标跟踪，其中，局部相位中包含了绝大部分图像信息，而且时域和空域频率越高，局部幅度在信号中的作用越小，相位的作用越突出，因此基于局部相位重构的图像会增强并突出边缘、线以及其他窄结构，且不受外部亮度和噪声变化的影响，相较于空域图像特征，能够更加准确的描述图像特征，因此基于局部相位进行目标跟踪能够很大程度上提高目标跟踪的准确率。
[0048]
2、本发明提出的相关滤波目标跟踪方法、系统，只通过图像的局部幅度、局部相位及局部方向三个特征对图像进行描述，计算量小，计算成本高，规避了现有技术中通过图像
灰度特征、hog特征以及cn特征等空域特征来描述图像导致的计算量大、计算成本高的问题，能够很大程度上提高目标跟踪的实时性。
[0049]
3、本发明提出的相关滤波目标跟踪方法、系统，通过加入频域图像特征和响应图畸变正则化项，抑制响应图畸变，能够改进图像特征描述并改善边界效应，减少背景噪声带来的影响，使得图片存在背景杂乱、快速运动、运动模糊、遮挡、形变等场景时，根据该图片也能够快速、准确地进行目标跟踪。
[0050]
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0051]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0052]
图1为本发明实施例相关滤波目标跟踪方法的流程图；
[0053]
图2为本发明实施例任一原图的示意图；
[0054]
图3为本发明实施例用局部幅度对图2所示的任一原图进行表征的示意图；
[0055]
图4为本发明实施例用局部相位对图2所示的任一原图进行表征的示意图；
[0056]
图5为本发明实施例用局部方向对图2所示的任一原图进行表征的示意图；
[0057]
图6为本发明实施例相关滤波目标跟踪系统的示意图。
[0058]
附图标记：
[0059]
110-目标位置确定模块；120-频域特征提取模块；130-相关滤波模型更新模块。
具体实施方式
[0060]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0061]
方法实施例
[0062]
本发明的一个具体实施例，公开了一种相关滤波目标跟踪方法。如图1所示，该方法包括：
[0063]
s110、利用当前相关滤波模型与当前帧图像的频域特征进行相关运算获得当前帧图像对应的第一响应图，将该第一响应图中最大响应值对应的位置作为当前目标位置。
[0064]
s120、以当前目标位置为基准从当前帧图像中分割获得新窗口图像，并提取新窗口图像的频域特征。示例性的，当前帧图像中的目标为人脸，人脸尺寸为10cm*10cm，则按一定比例从当前帧图像中分割获得新窗口图像，具体的，在当前帧图像中，以当前目标位置为中心，选取尺寸为12cm*12cm窗口作为新窗口图像，一方面能够准确提取人脸，一方面缩小图像尺寸，可以提高计算速度。
[0065]
s130、利用第一响应图和新窗口图像的频域特征优化目标函数，获得下一帧图像对应的相关滤波模型。
[0066]
s140、利用下一帧图像对应的相关滤波模型与下一帧图像的频域特征进行相关运
算获得第二响应图，并根据第二响应图获得下一帧图像的目标位置。
[0067]
优选的，依次以下一帧图像作为当前帧图像，重复步骤s110-s140，从而实现目标的实时跟踪。
[0068]
现有技术中存在利用空域图像特征，即灰度特征、hog特征和cn特征对图像进行描述，但其中hog特征就包括上百个特征通道，计算量大，计算成本高，导致目标跟踪实时性差。
[0069]
为克服上述缺陷，考虑到图像频域特征能够增强并突出图像的边缘、线以及其他窄结构，且不受外部亮度和噪声变化的影响，相较于空域图像特征，能够更加准确的描述图像特征，因此本发明创造性的提出利用频域特征对图像进行描述。
[0070]
优选的，提取新窗口图像的频域特征包括：
[0071]
s1201、对新窗口图像进行里斯变换获得对应的频域图像矩阵，具体形式为：
[0072][0073]
其中，ω＝[ω1,ω2]，表示为频域变量，(r1(ω),r2(ω))
t
表示频域图像矩阵，if表示新窗口图像对应的灰度矩阵的傅里叶变换后的矩阵。
[0074]
s1202、对频域图像矩阵进行逆傅里叶变换获得新窗口图像对应的空域图像矩阵，具体形式为：
[0075][0076]
其中，x＝[x,y]，表示空域变量，(r1(x),r2(x))
t
表示空域图像矩阵，i表示新窗口图像对应的灰度矩阵。
[0077]
s1203、根据空域图像矩阵以及新窗口图像对应的灰度矩阵获得新窗口图像对应的单演图像矩阵。
[0078]
s1204、从单演图像矩阵中提取新窗口图像的频域特征，频域特征包括局部幅度、局部方向和局部相位，该三个频域特征即可准确的表征图像的特征，即为三特征通道，因此计算量少，计算成本高，能够很大程度上提高目标跟踪的实时性和准确率。
[0079]
优选的，单演图像矩阵通过下述公式表示：
[0080]im
＝i-ir
1(x)-jr
2(x)
，
[0081]
其中，
[0082][0083][0084][0085]
上式中，r
1(x)
、r
2(x)
分别表示单演图像矩阵中的两个分量，i表示新窗口图像对应的灰度矩阵，a表示新窗口图像的局部幅度，表示新窗口图像的局部相位，θ表示新窗口图像的局部方向。
[0086]
优选的，所局部幅度、局部方向和局部相位分别为：
[0087][0088][0089][0090]
示例性的，利用局部幅度、局部相位、局部方向对任一原图像(如图2所示)进行特征描述，对应获得的表征图像分别如图3至图5所示。从图3中可以看出，局部幅度能够准确的对图像进行表征，但当空域和频域的频率越高时，局部幅度对图像特征的表征作用弱化，无法准确描述图像信息。从图4中可以看出，局部相位能够包含图像的大部分信息，对图像进行准确描述，且局部相位对图像信息的表征作用不受频率及图像亮度变化的影响，表征作用稳定，从而能够提高目标跟踪的准确率和可靠性。从图5中可以看出，局部方向对图像信息的表征作用相对较弱，但仍能大致描述图像信息，因此结合局部幅度和局部相位能够对图像信息进行准确的描述。
[0091]
优选的，利用第一响应图和新窗口图像的频域特征优化目标函数，获得下一帧图像对应的相关滤波模型，具体包括：
[0092]
s1301、建立目标函数，该目标函数为：
[0093][0094]
其中，y表示当前帧图像对应的理想响应图，y∈rn，d表示图像对应的总通道数量，即3个频域特征对应的3个特征通道，d表示第d个通道，表示第k帧新窗口图像对应的第d个通道的频域特征，表示第k帧新窗口图像对应的第d个通道相关滤波模型，b表示剪裁矩阵，b∈rm×n，n表示每一频域特征对应的向量长度，m表示每一频域特征对应的向量的中心元素的数量，λ表示空间正则化参数，
★
表示相关运算，[ψ
p,q
]表示使当前帧图像的响应图与上一帧图像的响应图峰值重合的移位操作。
[0095]
优选的，理想响应图指的是根据第一响应图和当前目标位置确定的的理想响应图，具体的，将第一响应图中当前目标位置对应的响应值设置为1，其他位置处对应的响应值设置为0，从而获得理想响应图，根据该理想响应图能够当前位置信息融入下一帧图像对应的相关滤波模型中，从而提高目标跟踪的准确性。
[0096]
s1302、采用最优化算法求解目标函数，并将使目标函数值最小的相关滤波模型作为下一帧图像对应的相关滤波模型。
[0097]
具体的，将目标函数转换为增广拉格朗日形式：
[0098][0099]
其中，表示m
k-1
[ψ
p,q
]的离散傅里叶变换，m
k-1
表示第k-1帧图像对应的第一响
应图，^表示离散傅里叶变换，表示拉格朗日辅助向量，即傅里叶域中的拉格朗日向量；xk为的一般表示。
[0100]
应用admm方法可以将目标函数求解转化为如下两个子问题的求解:
[0101][0102]
然后，将分解为n个子问题的求解：
[0103][0104]
其中，其中，γ表示惩罚因子，n＝[1,2,3...n]。
[0105]
拉格朗日辅助变量更新为：
[0106][0107]
在目标跟踪过程中，通过更新和拉格朗日辅助变量对相关滤波模型进行更新，求解获得下一帧图像对应的相关滤波模型为：
[0108][0109]
其中，λ表示空间正则化参数，μ表示惩罚因子，id表示d
×
d的二维矩阵，f表示离散傅里叶变换矩阵，wk表示第k帧图像对应的相关滤波模型。
[0110]
优选的，根据第二响应图获得下一帧图像的目标位置，包括：确定第二响应图最大响应值所在位置，该位置即为下一帧图像的目标位置。
[0111]
系统实施例
[0112]
由于本发明实施例提供的相关滤波目标跟踪系统与前述相关滤波目标跟踪方法基于相同的原理，重复之处可以参考上述方法实施例，在此不再赘述。
[0113]
具体的，本发明的另一个实施例公开了一种相关滤波目标跟踪系统。如图6所示，该系统包括：
[0114]
目标位置确定模块110，用于利用当前相关滤波模型与当前帧图像的频域特征进行相关运算获得第一响应图，进而确定当前目标位置。
[0115]
频域特征提取模块120，用于以当前目标位置为基准从当前帧图像中分割获得新窗口图像，并提取新窗口图像的频域特征。
[0116]
相关滤波模型更新模块130，用于利用第一响应图和新窗口图像的频域特征优化目标函数，获得下一帧图像对应的相关滤波模型。
[0117]
目标位置确定模块110，还用于利用下一帧图像对应的相关滤波模型与下一帧图像的频域特征进行相关运算获得第二响应图，并根据第二响应图获得下一帧图像的目标位置。
[0118]
优选的，频域特征提取模块120具体用于：
[0119]
对频域图像矩阵进行逆傅里叶变换获得新窗口图像对应的空域图像矩阵。
[0120]
根据空域图像矩阵以及新窗口图像对应的灰度矩阵获得新窗口图像对应的单演图像矩阵。
[0121]
从单演图像矩阵中提取新窗口图像的局部幅度、局部方向和局部相位，进而组成新窗口图像的频域特征。
[0122]
本发明的另一个实施例公开了一种存储介质，用于存储计算机指令，处理器执行计算机程序，能够实现前述的相关滤波目标跟踪方法。存储介质可以是随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
[0123]
与现有技术相比，本发明实施例公开的相关滤波目标跟踪方法、系统，首先，创造性的提出根据图像的频域特征对相关滤波模型进行更新，并根据相关滤波模型进行目标跟踪，其中，局部相位中包含了绝大部分图像信息，而且时域和空域频率越高，局部幅度在信号中的作用越小，相位的作用越突出，因此基于局部相位重构的图像会增强并突出边缘、线以及其他窄结构，且不受外部亮度和噪声变化的影响，相较于空域图像特征，能够更加准确的描述图像特征，因此基于局部相位进行目标跟踪能够很大程度上提高目标跟踪的准确率。其次，本发明实施例公开的相关滤波目标跟踪方法、系统，只通过图像的局部幅度、局部相位及局部方向三个特征对图像进行描述，计算量小，计算成本高，规避了现有技术中通过图像灰度特征、hog特征以及cn特征等空域特征来描述图像导致的计算量大、计算成本高的问题，能够很大程度上提高目标跟踪的实时性。此外，本发明实施例公开的相关滤波目标跟踪方法、系统，通过加入频域图像特征和响应图畸变正则化项，抑制响应图畸变，能够改进图像特征描述并改善边界效应，减少背景噪声带来的影响，使得图片存在背景杂乱、快速运动、运动模糊、遮挡、形变等场景时，根据该图片也能够快速、准确地进行目标跟踪。
[0124]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。