一种结合时空上下文信息的目标跟踪方法与流程

本发明属于模式识别和计算机视觉技术领域，尤其涉及一种结合时空上下文信息的目标跟踪方法。

背景技术：

运动目标跟踪是计算机视觉领域重要的研究方向之一，在人机交互、智能监控、医学影像等领域具有重要的应用。跟踪算法近些年来已经取得了比较大的进展，但如何有效的解决由于遮挡、快速运动、光照变化、背景杂乱等因素引起的跟踪漂移问题，仍然是一个极具挑战性的问题。

在线boosting算法，当新的一帧到达时，利用强分类器对图片中的背景和目标进行分类，得到目标区域，但当目标发生遮挡时，就会出现利用遮挡的特征对特征池进行更新，污染了特征池，最后就会出现跟踪漂移。

基于上述问题，一些改进的在线boosting算法被提出。yan等人提出一种基于子区域分类器的在线boosting算法，将目标区域分成若干个子区域，每个子区域对应一个强分类器。在跟踪过程中对有最小置信值的强分类器所对应的特征池选择不更新，以避免遮挡的特征对特征池的污染，但当目标尺度发生变化时，跟踪效果差。

sun等人提出一种结合运动blob检测的在线boosting算法，当跟踪结果的置信值低于下限阈值时，采用运动blob检测的方法对搜索区域的运动目标进行检测，对检测到的运动块利用强分类器进行置信值评估，直到置信值大于上限阈值或下限阈值，但运动blob检测通常是检测不到远距离的运动目标，所以改进的效果不明显。

wang等人提出融合遮挡感知的在线boosting算法，利用一定数目的图片帧训练出背景特征分类器和目标特征分类器，利用这两个分类器感知目标是否发生遮挡，如果目标受到遮挡，则不采集受污染的正样本更新分类器，这样就加大了分类器的复杂度，降低了在线boosting算法实时性的效果，并且对于快速运动的目标易跟丢。

技术实现要素：

针对上述现有技术存在的缺点，本发明的目的在于提供一种结合时空上下文信息的目标跟踪方法，能够解决现有技术中在目标区域被部分遮挡或目标尺度发生较大变化时出现的跟踪漂移问题。

为达到上述目的，本发明采用如下技术方案予以实现。

一种结合时空上下文信息的目标跟踪方法，所述方法包括如下步骤：

步骤1，获取视频图像中的第一帧图像，标定所述第一帧图像的目标区域，以所述目标区域为中心，将所述目标区域扩大得到搜索区域，搜索区域大小是目标区域大小的四倍，并将所述目标区域作为正样本，将所述搜索区域的四个边角区域分别作为四个负样本；其中，所述目标区域的大小与每个边角区域的大小相同；将所述正样本和四个负样本作为训练样本，根据所述训练样本得到强分类器；

步骤2，根据第一帧图像学习空间上下文模型，并将其作为学习到的跟踪下一帧图像的时空上下文模型；

步骤3，获取需要跟踪的当前帧图像，确定当前帧图像的初始搜索区域，当前帧图像的初始搜索区域以上一帧图像的目标区域为中心，且当前帧图像的初始搜索区域为上一帧图像的目标区域的四倍；对当前帧图像的初始搜索区域按照上一帧图像的目标区域大小进行分块，得到多个大小相同的待搜索子块；

步骤4，根据强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第一置信值，组成第一置信矩阵；

步骤5，根据上一帧图像学习到的跟踪当前帧图像的时空上下文模型，求得置信图函数；确定每个待搜索子块的中心点，根据所述置信图函数、每个待搜索子块的中心点，分别求得每个待搜索子块的第二置信值，组成第二置信矩阵；

步骤6，确定第一置信矩阵对应的权重的初始值为1/2，第二置信矩阵对应的权重的初始值为1/2，根据第一置信矩阵，第一置信矩阵对应的权重，第二置信矩阵以及第二置信矩阵对应的权重，线性组合得到最终的置信矩阵；并确定所述最终的置信矩阵中最大的置信值，该最大的置信值对应的待搜索子块为跟踪到的当前帧图像的目标区域；

步骤7，确定当前帧图像的搜索区域，当前帧图像的搜索区域以当前帧图像的目标区域为中心，且当前帧图像的搜索区域是当前帧图像的目标区域的四倍；将当前帧图像的目标区域作为正样本，将当前帧图像搜索区域的四个边角区域分别作为四个负样本，对强分类器进行更新；

步骤8，根据当前帧图像学习空间上下文模型，并结合上一帧图像学习到的跟踪当前帧图像的时空上下文模型，确定当前帧学习到的跟踪下一帧图像的时空上下文模型；

步骤9，根据当前帧图像，对第一置信矩阵对应的权重，第二置信矩阵对应的权重进行更新；

步骤10，重复执行步骤3至步骤9，直到完成需要跟踪的所有视频图像。

本发明在在线boosting目标跟踪算法中融入了时空上下文信息，有效解决了当跟踪目标被部分遮挡或者全部遮挡时，在线boosting算法容易出现跟踪漂移甚至跟丢的问题，能够实现快速鲁棒性的跟踪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种结合时空上下文信息的目标跟踪方法的流程示意图；

图2为本发明方法与现有两种方法的跟踪效果对比示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明技术方案利用视频图像中相邻两帧间目标不会发生太大变化，位置也不会发生突变以及目标和目标周围的背景存在某种特定的关系；当目标的外观发生很大变化时，利用这种关系可以帮助区分目标和背景。本发明将时空上下文信息引入到在线boosting算法中。

时空上下文信息：时间信息就是临近帧间目标的外观和位置不会发生突变，空间信息就是目标和其周围的背景存在某种特定的关系，这种关系可以帮助区分目标和背景。对目标的这两个信息的结合就是时空上下文信息。

本发明实施例提供一种结合时空上下文信息的目标跟踪方法，如图1所示，所述方法包括如下步骤：

步骤1，获取视频图像中的第一帧图像，标定所述第一帧图像的目标区域，以所述目标区域为中心，将所述目标区域扩大得到搜索区域，搜索区域大小是目标区域大小的四倍，并将所述目标区域作为正样本，将所述搜索区域的四个边角区域分别作为四个负样本；其中，所述目标区域的大小与每个边角区域的大小相同；将所述正样本和四个负样本作为训练样本，根据所述训练样本得到强分类器。

步骤1中，将所述正样本和四个负样本作为训练样本，根据所述训练样本得到强分类器，具体包括如下子步骤：

(1a)记训练样本集合s＝{(xi,yi)|xi∈x,yi∈y,i＝1,2,…5}，x表示由一个正样本和四个负样本组成的训练样本空间，xi表示训练样本空间中的第i个训练样本，y表示样本类别标签，且y＝{-1,1}，yi表示训练样本空间中的第i个训练样本的样本类别标签；样本类别标签为1表示该训练样本为正样本，样本类别标签为-1表示该训练样本为负样本；

设置m个弱分类器，记其中第m个弱分类器为m＝1,...,m；m表示弱分类器的总个数；

i的初值为1，m的初值为1；设置样本重要性权重λ＝1；

(1b)获取第i个训练样本，对第m个弱分类器的参数进行更新：

当第m个弱分类器对第i个训练样本的分类结果正确时，令参数的值累加样本重要性权重λ的值，作为第m个弱分类器新的参数否则，令参数的值累加样本重要性权重λ的值，作为第m个弱分类器新的参数

其中，表示第m个弱分类器的累积分类正确样本权值，表示第m个弱分类器的累积分类错误样本权值；

(1c)令i的值加1，重复执行子步骤(1b)，直到i的值大于5；得到第m个弱分类器的最终参数

(1d)令i的值置为1，m的值加1，重复执行子步骤(1b)至(1c)，直到m的值大于m，得到m个弱分类器的最终参数；

(1e)计算第m个弱分类器的累积错误率令m分别取1,...,m，分别得到m个弱分类器的累积错误率；

(1f)获取累积错误率最小的一个弱分类器作为第n个选择器n的初值为1，n＝1,...,n；n表示选择器的总个数；

令i的值置为1；

(1g)获取第i个训练样本，采用第n个选择器对样本重要性权重λ的值进行更新：

当第n个选择器对第i个训练样本的分类结果正确时，令样本重要性权重λ的值乘以1/(2×(1-εn))，作为新的样本重要性权重λ，否则，令样本重要性权重λ的值乘以1/(2×εn)，作为新的样本重要性权重λ；其中，εn表示第n个选择器对应的弱分类器的累积错误率；

(1h)令i的值加1，重复执行子步骤(1g)，直到i的值大于5；得到最终的新的样本重要性权重λ的值；

(1i)将i的值置为1，m的值置为1，且令n的值加1，采用最终的新的样本重要性权重λ，重复执行子步骤(1b)至子步骤(1h)，直n的值大于n，得到n个选择器；

(1j)计算第n个选择器对应的投票权重令n的值依次取1,...,n，分别得到n个选择器对应的投票权重；ln(·)表示对数函数；

(1k)将n个选择器按照对应的投票权重进行线性组合，得到强分类器其中，sign()表示符号函数。

步骤2，根据第一帧图像学习空间上下文模型，并将其作为学习到的跟踪下一帧图像的时空上下文模型。

本发明技术方案利用基于时空上下文信息的目标跟踪算法在处理遮挡方面的优势，弥补在线boosting算法对遮挡方面的不足。

步骤3，获取需要跟踪的当前帧图像，确定当前帧图像的初始搜索区域，当前帧图像的初始搜索区域以上一帧图像的目标区域为中心，且当前帧图像的初始搜索区域为上一帧图像的目标区域的四倍；对当前帧图像的初始搜索区域按照上一帧图像的目标区域大小进行分块，得到多个大小相同的待搜索子块。

步骤3中，对当前帧图像的初始搜索区域按照上一帧图像的目标区域大小进行分块，得到多个大小相同的待搜索子块，其分块步长包括行步长和列步长：行步长大小为：floor((1-t)×w+0.5)，列步长大小为：floor((1-t)×h+0.5)；floor(·)表示向下求整，t表示相邻两个待搜索子块之间的重合因子，w表示第一帧图像的目标区域的宽度，h表示第一帧图像的目标区域的高度。

步骤4，根据强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第一置信值，组成第一置信矩阵。

步骤4具体包括：根据强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第一置信值组成第一置信矩阵，x表示任一待搜索子块。

步骤5，根据上一帧图像学习到的跟踪当前帧图像的时空上下文模型，求得置信图函数；确定每个待搜索子块的中心点，根据所述置信图函数、每个待搜索子块的中心点，分别求得每个待搜索子块的第二置信值，组成第二置信矩阵。

步骤5具体包括如下子步骤：

(5a)根据上一帧图像学习到的跟踪当前帧图像的时空上下文模型，求得置信图函数c(h)＝ifft(fft(h^stc(h))⊙fft(r(h)ωσ(h-h^*)))；

其中，h^stc(h)表示上一帧图像学习到的跟踪当前帧图像的时空上下文模型，h表示当前帧图像搜索区域中的任意位置，r(h)表示当前帧图像搜索区域中h位置处像素的灰度值；ωσ(h-h^*)表示一个权重函数，且定义为ζ为一规则化常数，σ为尺度参数，h^*表示上一帧图像中目标区域的中心点位置，fft(·)表示傅里叶变换，ifft(·)表示逆傅里叶变换，⊙表示点乘；

(5b)令置信图函数中的变量h分别为当前帧图像的每个待搜索子块的中心点，分别求得每个待搜索子块的第二置信值，组成第二置信矩阵。

步骤6，确定第一置信矩阵对应的权重的初始值为1/2，第二置信矩阵对应的权重的初始值为1/2，根据第一置信矩阵，第一置信矩阵对应的权重，第二置信矩阵以及第二置信矩阵对应的权重，线性组合得到最终的置信矩阵；并确定所述最终的置信矩阵中最大的置信值，该最大的置信值对应的待搜索子块为跟踪到的当前帧图像的目标区域。

步骤7，确定当前帧图像的搜索区域，当前帧图像的搜索区域以当前帧图像的目标区域为中心，且当前帧图像的搜索区域是当前帧图像的目标区域的四倍；将当前帧图像的目标区域作为正样本，将当前帧图像搜索区域的四个边角区域分别作为四个负样本，对强分类器进行更新。

步骤8，根据当前帧图像学习空间上下文模型，并结合上一帧图像学习到的跟踪当前帧图像的时空上下文模型，确定当前帧学习到的跟踪下一帧图像的时空上下文模型。

步骤8具体包括如下子步骤：

(8a)确定当前帧图像的上下文先验概率模型p(c(z)|o)：

p(c(z)|o)＝r(z)ωσ(z-h^*)

其中，p(c(z)|o)表示目标在当前帧搜索区域中出现的条件下，当前帧图像背景区域中各个像素点处上下文特征出现的先验概率，o表示目标在当前帧搜索区域出现的事件，z处的上下文特征表示为c(z)＝(r(z),z)，z∈ω，z为当前帧图像背景区域中的任意位置，ω为当前帧图像背景区域，当前帧图像背景区域指当前帧图像搜索区域中除目标区域外的图像区域，r(z)表示当前帧图像背景区域位置z处像素的灰度值，ωσ(z-h^*)表示一个权重函数，且定义为ζ为一规则化常数，σ为尺度参数，h^*表示上一帧图像中目标区域的中心点位置；

(8b)确定当前帧图像的空间上下文模型p(h|c(z),o)：

p(h|c(z),o)＝f^sc(h-z)

其中，p(h|c(z),o)表示目标在当前帧图像搜索区域中出现，且z处上下文特征出现的条件下目标位置是h的条件概率，h表示当前帧图像搜索区域中的任意位置，f^sc(h-z)是一个关于位置h和位置z的函数，表示当前帧学习到的空间上下文模型；

(8c)根据置信函数求得当前帧学习到的空间上下文模型f^sc(h)：

其中，c(h)为置信图函数，表示为其中，b为一个常数，α为比例参数，β为形状参数，表示卷积符号；

(8d)设当前帧图像为第t帧图像，且上一帧图像学习到的跟踪当前帧图像的时空上下文模型为从而当前帧学习到的跟踪下一帧图像的时空上下文模型为：

其中，ρ为更新参数，且ρ∈(0,1)，当t＝1时，表示第t帧图像学习到的空间上下文模型。

步骤9，根据当前帧图像，对第一置信矩阵对应的权重，第二置信矩阵对应的权重进行更新。

对于第一置信矩阵对应的权重，第二置信矩阵对应的权重的更新，主要是需要考虑目标是否被遮挡，初始时二者均为1/2，当目标被部分或全部遮挡时，增加第二置信矩阵对应的权重的投票权重，减小第一置信矩阵对应的权重。为了对当前帧目标是否被遮挡进行判断，本发明实施例引入遮挡因子的概念进行判断，这种方法是建立在颜色直方图特征的基础上的。

步骤9具体包括如下子步骤：

(9a)计算当前帧图像搜索区域的遮挡因子occ；

(9b)设置遮挡因子阈值ε，0<ε<1，则第一置信矩阵对应的权重a1，第二置信矩阵对应的权重a2更新如下：

其中，a表示上一帧图像确定的第一置信矩阵对应的权重，y表示最终的置信矩阵中最大的置信值。

子步骤9(a)具体包括如下子步骤：

(9a1)获取当前帧图像搜索区域的颜色直方图特征；将所述颜色直方图特征量化为j级，第j级特征表示为uj，且uj＝j，j＝1,...,j；

j的初值为1；

(9a2)设第一帧图像目标区域的像素的位置表示为k为第一帧图像目标区域中包含的像素总个数，则第j级特征uj在第一帧图像目标区域上分布的概率密度函数定义为：

其中，c为归一化的常数，k(·)为核函数，||·||²表示求模值的平方，δ(·)表示脉冲响应函数，表示位置对应的颜色直方图特征的量化级别；

(9a3)设当前帧图像任一待搜索子块的像素的位置表示为{di}i＝1,2,…k，k为当前帧图像任一待搜索子块中包含的像素总个数，与第一帧图像目标区域中包含的像素总个数相等，则第j级特征uj在当前帧图像任一待搜索子块上分布的概率密度函数定义为：

其中，s为当前帧图像目标区域的中心点位置，c为归一化的常数，k(·)为核函数，||·||²表示求模值的平方，δ(·)表示脉冲响应函数，表示位置对应的颜色直方图特征的量化级别，h1为核函数的窗口半径；

(9a4)记当前帧图像搜索区域中具有最大置信值的待搜索子块的中心点位置为y0，令第一中间变量表示为：

令第二中间变量表示为：

其中，λ1≥1，为遮挡程度参数；

(9a5)令j的值加1，重复执行子步骤(9a2)至(9a4)，得到j个第二中间变量，从而计算得到当前帧图像搜索区域的遮挡因子

步骤10，重复执行步骤3至步骤9，直到完成需要跟踪的所有视频图像。

本发明技术方案在matlab2014a中实现，部分参数设置如下：选择器的个数n＝50，弱分类器的个数m＝250，块与块之间的重合因子t＝0.99，比例参数α＝2.25，更新参数ρ＝0.075，遮挡程度参数λ1＝1，遮挡因子阈值θ＝0.5。三种方法(本发明方法，在线boosting算法，基于时空上下文算法，实线框是本发明方法的跟踪效果，纯虚线框为基于时空上下文算法的跟踪效果，带有黑色实点的虚线框为在线boosting算法的跟踪效果)在第一帧均初始化为相同的目标框，跟踪效果如图2所示。第一个视频序列(a列)跟踪一个玩具狗(背景混乱，目标发生遮挡)，本发明方法能正确的跟踪目标，但在120帧以后，其他两种算法都跟丢了目标；第二个视频序列(b列)跟踪一个地铁站台上行走的人(运动的行人遮挡目标)，可以看出本发明方法明显比其他两种效果好，特别是43帧以后；第三个序列(c列)跟踪一个快速行驶的汽车(目标尺度发生快速变化，且部分序列被遮挡)，本发明方法也能进行鲁棒性的跟踪，从而验证了本发明的可行性。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。