一种融合卡尔曼滤波与tld算法的目标跟踪方法
【技术领域】
[0001] 本发明涉及一种融合卡尔曼滤波与TLD算法的目标跟踪方法，属于图像处理技术 领域。
【背景技术】
[0002] 运动目标的检测与跟踪一直都是计算机视觉研究领域中热点问题，在国防和民用 的各个领域都能到广泛地应用，如智能监控、航天航空、人工智能、导航制导等方面。在目标 检测与跟踪过程中，会面临多个方面的挑战，如目标的遮挡、光线的变化、目标轨迹的改变、 目标的运动速度过快、相似目标的出现、复杂的背景等。
[0003] 随着计算机性能地不断提升，处理视频图像等大规模数据的能力也随随之不断提 升，从而使目标检测与跟踪技术得到了极大发展。1950年，Gibson首先提出采用光流方法， 实现由静态向动态的图像处理。随着研究的深入，光流法已很难满足系统对实时性提出的 要求，由此，许多其它方法应运而生。如：Meanshift算法以其无参数、计算量小的优势得到 重视；Condesation算法利用了粒子滤波的思想；VSAM算法实现了对复杂城市进行全方位 视频监控。
[0004] 总体而言，目前常见的目标检测与跟踪主要分为如下几类：（1)基于知识的方法： 虽然此类算法解决了统计模式方法的局限性，但同时也引入了一定的问题，如：验证困难， 成本较大，在新的场景中需要重新定义与组织知识等。（2)基于模型的方法：该类算法首先 提取目标特征；然后，建立目标的空间模型；接下来，结合这些特征和其它参数对目标的特 征进行筛选，建立有效的初始假设；最后，依据特性对目标进行预测，当标记达到特定阀值 后，则认为匹配有效。（3)基于统计模式的方法：此类算法首先对系统进行大规模的训练， 统计出目标的特征的分布；然后，以模式空间距离为标准，对特征匹配分类计数。该类算法 主要应用在目标与周边背景单一的情况下。（4)基于人工神经网络和专家系统的方法：此 类算法借助于神经网络，解决传统算法不能解决的问题，但同时由于神经网络的实时性不 佳，所以此类算法的实时性相对较差。而本发明能够很好地解决上面的问题。
【发明内容】
[0005] 本发明目的在于解决了现有技术的不足，提供了一种融合卡尔曼滤波与TLD算法 的目标跟踪方法，该方法应用于卡尔曼滤波，是利用一种改进的半监督学习机制，不断地对 检测和跟踪模块进行更新，从而提高了系统的稳定性、鲁棒性、可靠性。
[0006] 本发明的融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在于，包括以下几 个步骤：
[0007] 步骤1:分析和利用卡尔曼滤波器的原理，并对其加以改进。
[0008] 卡尔曼滤波器用于建模的系统是线性系统；预测和测量的噪声都是白噪声，噪声 服从高斯分布，第一条条件是通过k_l时刻的系统状态与一个参数矩阵的乘积得到k时刻 的系统状态；其余两个条件表示噪声是不随时间变化而变化，用协方差和均值就能准确地 为幅值建模；
[0009] 在实时跟踪过程中，两帧间的时间间隔非常小，相邻帧的目标运动可视为成线性； 这样就满足卡尔曼滤波三大条件中的第一个条件，利用卡尔曼滤波估计视频序列中目标的 运动状态，运动估计过程包括如下步骤：
[0010] (1)运动预测阶段；
[0011] 假设运动目标的坐标为（X，y)，运动速度为（Vx，Vy)，则k时刻的状态s k为 (x，y，vx，vy)T，，测量状态为z k为（x k，yk)，Ak为系统状态预测方程中的传递矩阵为：
[0012]
【主权项】
1. 一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在于，所述方法包括如下 步骤： 步骤1 :分析和利用卡尔曼滤波器的原理，并对其加以改进； 卡尔曼滤波器用于建模的系统是线性系统；预测和测量的噪声都是白噪声，噪声服从 高斯分布； 步骤2 :利用改进的卡尔曼滤波器增强TLD算法； 通过改进的卡尔曼滤波来增强TLD算法，即根据目标位置的时间步长，获得同步更新 的参数传递矩阵； 步骤3 :利用改进的卡尔曼滤波器所得到的预测结果，对检测模块进行改进，缩小TLD算法的检测区域； 根据卡尔曼滤波的功能，预计当前帧中目标存在的区域，将预计区域作为TLD算法的 目标检测区域； 通过改进卡尔曼滤波器的预估结果来设置子窗口的位置范围。
2. 根据权利要求1所述的一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在 于，所述方法步骤1包括：第一条条件是通过k-1时刻的系统状态与一个参数矩阵的乘积得 到k时刻的系统状态；其余两个条件表示噪声是不随时间变化而变化，用协方差和均值就 能准确地为幅值建模； 在实时跟踪过程中，两帧间的时间间隔非常小，相邻帧的目标运动可视为成线性；这样 就满足卡尔曼滤波三大条件中的第一个条件，利用卡尔曼滤波估计视频序列中目标的运动 状态，运动估计过程包括如下步骤： (1)运动预测阶段； 假设运动目标的坐标为（x，y)，运动速度为（vx，vy)，则k时刻的状态sk为（X，y，vx，vy)T，，测量状态为zk为（xk，yk)，Ak为系统状态预测方程中的传递矩阵为：
由于该系统中没有输入控制变量，因此Bk为0,测量方程Hk中的参数矩阵为：
卡尔曼滤波第二、三两个条件要求噪声必须是白噪声，且服从高斯分布，所以测量方程 和预测方程中的噪声为均为服从高斯分布的白噪声，它们的协方差矩阵Pk、Qk分布分别为：
系统的测量方程为：
系统的预测方程为：
(2)运动更新阶段； 利用预测阶段得到的系统估计Pk和系统状态xk，不断重复预测步骤，直到系统结束； 卡尔曼滤波在相对稳定的系统中，能取得预测效果；但当目标运动带有随机性时使 用卡尔曼滤波器，得到的预测效果往往会出现较大的误差；需对卡尔曼滤波进行适当的改 进； 卡尔曼滤波在得到上一时刻的状态后，通过状态转移矩阵决定当前时刻状态的预测 值，同时状态转移矩阵与k时刻的状态估计也有关，相对准确的测量值能保证预测值的准 确度； 若从k到k+1时刻中的某一时间kt发生状态突变，则从k到k:时间段的状态转移矩阵 为k时刻的滤波值，但kt到k+1时刻内的转移矩阵为k+1时间观测的状态；假设k到k+1时 间段内k+1/2时刻为中间时刻，则有下式：
3. 根据权利要求1所述的一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特 征在于，所述方法步骤2包括：（1)初始化系统，将初始边框的中心位置赋予ptcurrent 和ptpredict，同时修改卡尔曼滤波器系统状态的初始数值和初始预测，并利用这两个数 值初始化卡尔曼滤波器；（2)通过卡尔曼滤波器对后续帧进行预测，且将该时刻预测的 系统状态赋给ptpredict;同时，将LK光流法跟踪得到的目标边界框的中心位置点赋给 ptcurrent; (3)更新ptcurrent之前，用ptlast保存原先的系统状态测量；（4)用更新系统 的状态预测量和状态测量对卡尔曼滤波器进行纠正，并预测目标边框的中心位置点，采用 原来有的目标边框的宽高比来还原出边框；（5)利用卡尔曼滤波器预测每一帧目标边框的 可信度，即计算目标边框与最近邻分类器中目标模板的相似度：若该值大于〇. 85,则用该 目标边框取代LK光流法的检测边框结果，并将该边框检测结果传递给后续的学习模块和 检测模块；相反，则保留LK光流法所得的目标边框；若可信度小于0. 6或满足一定帧数后， 则用Lk光流法的边框检测结果重新初始化卡尔曼滤波器。
4. 根据权利要求1所述的一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在 于，所述方法步骤2的TLD算法模块包括：跟踪模块、学习模块、检测模块，其中跟踪模块的 功能是通过一个短周期的自适应跟踪器，在帧与帧之间运动的有限性、可见性的情况下，预 测目标的运动趋势；学习模块的功能是评价跟踪模块和检测模块的性能，并利用算法生成 的有效训练集来更新检测模块，消除检测误差；检测模块的功能是对目标进行实时检测，同 时在必要情况下纠正跟踪器。
5. 根据权利要求1所述的一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在 于，所述方法步骤2的TLD算法包括：首先，设定第一帧中目标的位置和大小，完成TLD算法 的初始化；然后，在跟踪过程中，检测模块和跟踪模块共同对每一帧图像进行处理，其中跟 踪模块依据前一帧中目标的位置信息来预测当前帧中同一目标的位置，检测模块则对当前 帧进行全局扫描以检测目标，且融合跟踪结果和检测结果，给出当前帧是否存在运动目标、 目标所在位置、以及跟踪轨迹是否有效等信息；最后，将检测结果和跟踪结果输入至学习模 块，由学习模块决定是否对跟踪模块和检测模块进行更新。
6. 根据权利要求1所述的一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在 于，所述方法步骤3包括：（1)通过改进的卡尔曼滤波器估计当前帧中运动目标的中心位 置；（2)若某一矩形区域的长宽比与上一帧中目标边界框的长宽比一致，大小是上一帧边 界框的4倍，即认为该矩形区域包含检测目标；（3)求与所有与该划定矩形区域有交集的子 窗口，然后将这一系列子窗口送入分类器，由分类器检测子窗口中是否包含目标。
7. 根据权利要求1所述的一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在 于，所述方法步骤3所述的检测模块包括：方程分类器；随机森林分类器；最近邻分类器； 每个阶段都将不满足条件的图像块去除，同时将满足条件的图像块送入下一个分类器。
8. 根据权利要求1所述的一种融合卡尔曼滤波与TLD算法的目标跟踪方法，其特征在 于：所述方法应用于卡尔曼滤波。
【专利摘要】本发明公开了一种融合卡尔曼滤波与TLD算法的目标跟踪方法，该方法包括以下步骤：首先分析卡尔曼滤波器的原理，并对其加以改进；然后，利用改进的卡尔曼滤波器增强TLD算法，提高系统的可靠性；最后，利用改进的卡尔曼滤波器所得到的预测结果，对检测模块进行改进，缩小TLD算法的检测区域，进一步提高跟踪的实时性。
【IPC分类】G06T7-20
【公开号】CN104574439
【申请号】CN201410819971
【发明人】朱松豪, 刘佳伟, 胡荣林
【申请人】南京邮电大学
【公开日】2015年4月29日
【申请日】2014年12月25日