高速物体的图像实时跟踪方法与系统的制作方法
【专利摘要】本发明提供一种高速物体的图像实时跟踪方法与系统，采集目标图像，预计目标在下一帧图片中的位置，并根据目标图像当前帧和下一帧图片中的位置，生成目标框，再根据图像采集窗口尺寸生成大小不同的第一类扫描框，计算第一类扫描框与目标框的重合率，选取超过预设重合率的扫描框，作为第二类扫描框，将第二类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类扫描框，对目标框和第三类扫描框进行加权整合，得出最终的目标框，根据所述最终的目标框对高速物体进行实时跟踪。采用预计目标框附近区域产生检测框的方式，来缩小TLD的目标检测区域，提高最终目标框选定效率，实时跟踪时准确率高，能够对高速目标进行实施跟踪。
【专利说明】高速物体的图像实时跟踪方法与系统
【技术领域】
[0001] 本发明涉及图像跟踪算法【技术领域】，特别是涉及高速物体的图像实时跟踪方法与 系统。
【背景技术】
[0002] 视频跟踪是计算机视觉的最重要的应用之一。 TLD(Tracking-Learning-Detection)算法将跟踪分成了 3个子任务：跟踪器、学习器、检测 器。它可以实现对目标的长期在线跟踪。学习器同时检测检测器的正负结果，可以找出错 误的正负图块，作为新的目标和背景的特征，生成样本添加到模型中。跟踪器采用估计运动 轨迹，再用前后向误差计算每个轨迹的可靠性，最后再抛弃可靠性偏低的50%的跟踪点，得 到最终的估计轨迹。检测器采用了三个分类器在当前帧中确定目标的位置，同时纠正跟踪 器的错误。整合部分从跟踪器和检测器处取来各自输出的目标框，取两者的加权整合作为 最后的目标框，显示到图像上。
[0003] 但是，TLD中检测器对每一帧图片都要产生大量的子窗口进行全局扫描，以及学习 器采集样本的方式，TLD的计算量巨大，运行速度非常缓慢。因为帧与帧之间间隔的时间太 久，来不及学习目标的新的变化，故很容易丢失一些高速运动、形状快速变化的目标。比如， 快速运动的汽车、摩托车。所以它在实时跟踪时准确率低，这使得它不能适应对实时性要求 高的场合。
【发明内容】
[0004] 基于此，有必要针对现有图像实时跟踪方式无法适用于实时性要求高的场合的问 题，提供一种效率高且适应对实时性要求高的场合的高速物体的图像实时跟踪方法与系 统。
[0005] 一种高速物体的图像实时跟踪方法，包括步骤：
[0006] 划设图像采集窗口，采集目标图像；
[0007] 根据采集的目标图像，预计目标在下一帧图片中的位置，并根据目标图像当前帧 图片中的位置和下一帧图片中的位置，生成目标框；
[0008] 根据图像采集窗口尺寸生成大小不同的第一类扫描框；
[0009] 分别计算第一类扫描框与目标框的重合率，从所述第一类扫描框中选取超过预设 重合率的扫描框，作为第二类扫描框；
[0010] 将第二类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类 扫描框；
[0011] 对目标框和第三类扫描框进行加权整合，得出最终的目标框；
[0012] 根据所述最终的目标框对高速物体进行实时跟踪。
[0013] 一种高速物体的图像实时跟踪系统，包括：
[0014] 采集模块，用于划设图像采集窗口，采集目标图像；
[0015] 预计模块，用于根据采集的目标图像，预计目标在下一帧图片中的位置，并根据目 标图像当前帧图片中的位置和下一帧图片中的位置，生成目标框；
[0016] 第一类扫描框生成模块，用于根据图像采集窗口尺寸生成大小不同的第一类扫描 框；
[0017] 第二类扫描框生成模块，用于分别计算第一类扫描框与目标框的重合率，从所述 第一类扫描框中选取超过预设重合率的扫描框，作为第二类扫描框；
[0018] 第三类扫描框生成模块，用于将第二类扫描框中的图像区域输入分类器，确定含 有目标的扫描框，作为第三类扫描框；
[0019] 整合模块，用于对目标框和第三类扫描框进行加权整合，得出最终的目标框；
[0020] 跟踪模块，用于根据所述最终的目标框对高速物体进行实时跟踪。
[0021] 本发明高速物体的图像实时跟踪方法与系统，首先划设图像采集窗口，采集目标 图像，预计目标在下一帧图片中的位置，并根据目标图像当前帧图片中的位置和下一帧图 片中的位置，生成目标框，再根据图像采集窗口尺寸生成大小不同的第一类扫描框，之后计 算第一类扫描框与目标框的重合率，选取超过预设重合率的扫描框，作为第二类扫描框，将 第二类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类扫描框，对目 标框和第三类扫描框进行加权整合，得出最终的目标框，根据所述最终的目标框对高速物 体进行实时跟踪。本发明高速物体的图像实时跟踪方法采用预计目标框附近区域产生检测 框的方式，来缩小TLD的目标检测区域，提高最终目标框选定效率，实时跟踪时准确率高， 能够对高速目标进行实施跟踪。
【专利附图】
【附图说明】
[0022] 图1为本发明高速物体的图像实时跟踪方法第一个实施例的流程示意图；
[0023] 图2为本发明高速物体的图像实时跟踪方法第二个实施例的流程示意图；
[0024] 图3为本发明高速物体的图像实时跟踪系统第一个实施例的结构示意图；
[0025] 图4为本发明高速物体的图像实时跟踪系统第二个实施例的结构示意图。
【具体实施方式】
[0026] 为了使本发明的目的、技术方案及优点更加清楚明白，以下根据附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施仅仅用以解释本发明，并不 限定本发明。
[0027] 在TLD算法将跟踪分成了 3个子任务：跟踪器、学习器和检测器，为了便于解释说 明本发明高速物体的图像实时跟踪方法与系统的技术方案，下述具体实施例中，同样将本 发明高速物体的图像实时跟踪方法与系统分为三个子任务跟踪器、学习器和检测器，不过 应当指出的是，本发明中的跟踪器、学习器和检测器与TLD算法中的跟踪器、学习器和检测 器功能以及整个操作过程不相同。
[0028] 如图1所示，一种高速物体的图像实时跟踪方法，包括步骤：
[0029] SlOO :划设图像采集窗口，采集目标图像。
[0030] 跟踪器划设图像采集窗口，采集目标图像。划设图像采集窗口可以根据预设参数 进行划设，也可以根据当前需求进行划设，通常来说划设一个矩形的图像采集窗口，类似于 用鼠标选定某个区域一样，生成图像采集窗口后，通过这个图像采集窗口跟踪对象的目标 图像。
[0031] S200:根据采集的目标图像，预计目标在下一帧图片中的位置，并根据目标图像当 前帧图片中的位置和下一帧图片中的位置，生成目标框。
[0032] 目标框是指含有跟踪对象的扫描框，检测器根据采集的目标图像，预计目标在下 一帧图片中的位置。对跟踪对象的运行轨迹进行预测，根据采集到的当前帧目标图像，预计 目标在下一帧图片中的位置。这样预计可以避免大范围重复、无价值的获取多个图像，为后 续提高最终目标框选定效率打下基础。根据目标图像当前帧图片中的位置和下一帧图片中 的位置，生成目标框具体过程可以为，跟踪器根据当前帧和下一帧的光流场的变化，基于当 前帧的目标的位置估计出的下一帧的目标框的位置。
[0033] S300 :根据图像采集窗口尺寸生成大小不同的第一类扫描框。
[0034] 检测器根据图像采集窗口尺寸生成大小不同的第一类扫描框。非必要的，大小不 同的第一类扫描框可以按照一定等比例大小生成。例如，假定有11个第一类扫描框，按照 顺序后面一个第一类扫描框的大小是之前一个扫描框大小的λ倍。
[0035] S400 :分别计算第一类扫描框与目标框的重合率，从所述第一类扫描框中选取超 过预设重合率的扫描框，作为第二类扫描框。
[0036] 检测器分别计算第一类扫描框与目标框的重合率，从所述第一类扫描框中选取超 过预设重合率的扫描框，作为第二类扫描框。预设重合率是预先设定的，其数值可以根据当 前应用环境的需求或者操作人员的需求进行调整，又或者可以根据历史数据、专家数据确 定。
[0037] 重合率具体可以为：重合率overlap的计算为两个框的重合部分面积除以未重合 部分面积之和，记录所有满足overlap〉γ的i和j，作为在目标框附近滑动的扫描框的标 签。
[0038] S500:将第二类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第 三类扫描框。
[0039] 非必要的，步骤S500具体可以为：
[0040] 第二类扫描框中的图像区域输入分类器，遍历第二类扫描框，对每个框中的区域 进行检测。先经过方差分类器检测，利用积分图计算每个待检测窗口的方差，方差大于阈值 的，则认为其含有前景目标。然后进入集成分类器，先计算该图像片的特征值，再计算该特 征值对应的后验概率累加值，若集合分类器的后验概率平均值大于阈值，则认为含有目标。 检测器将第二类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类扫 描框。分类器是一种计算机程序，他的设计目标是在通过学习后，可以自动的对给定的数据 进行分类，应用在搜索引擎以及各种检索程序中。同时也大量应用于数据分析与预测领域， 分类器是一种机器学习程序，因此归为人工智能的范畴中。人工智能的多个领域，包括数据 挖掘，专家系统，模式识别都用到此类程序，对于分类器，其实质为数学模型。针对模型的不 同，目前有多种分支，包括=Bayes网络分类器，决策树算法，聚类算法等。
[0041] S600 :对目标框和第三类扫描框进行加权整合，得出最终的目标框。
[0042] 加权整合可以通过整合器来实现。
[0043] S700 :根据所述最终的目标框对高速物体进行实时跟踪。
[0044] 在确定最终的目标框后，根据这个扫描框对高速物体进行准确的实时跟踪。
[0045] 本发明高速物体的图像实时跟踪方法，首先划设图像采集窗口，采集目标图像，预 计目标在下一帧图片中的位置，并根据目标图像当前帧图片中的位置和下一帧图片中的位 置，生成目标框，再根据图像采集窗口尺寸生成大小不同的第一类扫描框，之后计算第一类 扫描框与目标框的重合率，选取超过预设重合率的扫描框，作为第二类扫描框，将第二类扫 描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类扫描框，对目标框和第 三类扫描框进行加权整合，得出最终的目标框，根据所述最终的目标框对高速物体进行实 时跟踪。本发明高速物体的图像实时跟踪方法采用预计目标框附近区域产生检测框的方 式，来缩小TLD的目标检测区域，提高最终目标框选定效率，实时跟踪时准确率高，能够对 高速目标进行实施跟踪。
[0046] 如图2所示，在其中一个实施例中，步骤S600之后还有步骤：
[0047] S620 :检测分类器输出的目标特征和背景特征错误，将目标特征和背景特征错误 作为新的正负训练样本，更新分类器中的目标模型。
[0048] 上述步骤可以通过学习器来实现。具体来说，在跟踪学习检测算法框架中，跟踪器 和检测器两部分是并行独立的，他们之间的数据交互和自身的模型更新都是通过学习器实 现的。由于图像中目标与背景并不是相互独立的，所以不仅目标含有有价值的信息，背景的 信息也具有一定的价值。学习器中含有正样本检错器和负样本检错器，分别检测检测器中 分类器输出中目标特征和背景特征的错误。将错误作为新的正负训练样本，用于更新检测 器。正样本检错器的任务是找出检测器中被标示为背景特征的目标特征，即错误的负图块。 正样本检错器是从时间序列的角度查找错误的。它用跟踪器估计出当前帧中目标的位置， 与检测器得出的正图块位置进行比较，如果跟踪器中有但检测器中没有，则该图块就是正 样本检错器要找的错误。正样本检错器会依据其生成新的正训练样本，添加到模型中，同时 会更新检测器中的分类器。负样本检错器的工作方式与正样本检错器相似，只不过负样本 检错器要找的是被标示为目标特征的背景特征，即错误的正图块。它会从位置空间的角度， 将跟踪器与检测器的结果作比较，找到错误的正图块，生成新的负训练样本，更新模型。
[0049] 在其中一个实施例中，所述根据采集的目标图像，预计目标在下一帧图片中的位 置，具体包括步骤：
[0050] 获取目标图像序列中的第I帧图像和第I-I帧图像，其中，所述I为正整数，且大 于1 ;
[0051] 在第I-I帧图像的目标框中的产证随机原始取样点Da，采用金字塔光流法预计Da 在第I帧图像上的预计点Db。
[0052] 对第I帧图像上的预计点Db进行反向金字塔光流法计算，获得在第I-I帧图像上 对应位置Dc ;
[0053] 计算Da与Dc之间的几何距离，抛弃Da与Dc之间的几何距离大于中位值的50% 的数据；
[0054] 根据剩余的Da与Dc，计算目标在第I帧图像上的位置。
[0055] 采用金字塔光流法以及严谨的数学处理过程，确保数据获取的准确。
[0056] 如图2所示，在其中一个实施例中，步骤S200之后还有步骤：
[0057] S220 :将包含有目标位置的下一帧图像块归化到预设尺寸，计算含有目标位置的 下一帧图像块与分类器中目标模型的保守相似度，当保守相似度小于阈值时，认定本次跟 踪无效，当保守相似度大于或者等于阈值时，认定本次跟踪有效。
[0058] 预设尺寸优选的为15*15的尺寸，保守相似度的阈值可以根据历史经验数据获 取。分类器中目标模型是指分类器中已存储的各种场景模型，例如汽车、飞机等这些目标的 模型，在分类器中存储有这些目标模型的相关参数。当保守相似度小于阈值时，认定本次跟 踪无效，终止跟踪或者重新执行本步骤之前的操作，重新开始跟踪，当保守相似度大于或者 等于阈值时，认定本次跟踪有效，继续后续操作。
[0059] 在其中一个实施例中，所述将第二类扫描框中的图像区域输入分类器，确定含有 目标的扫描框，作为第三类扫描框具体包括步骤：
[0060] 将第二类扫描框中的图像区域输入分类器；
[0061] 对第二类扫描框中的图像区域进行检测，判断是否为含有目标的扫描框，其中，判 断过程具体为：
[0062] 利用积分图计算当前第二类扫描框的方差，当方差大于阈值时，则认为当前第二 类扫描框可能含有目标，再计算当前可能含有目标的第二类扫描框中的图像的特征值，以 及计算该特征值对应的后验概率累加值，根据后验概率累加值计算后验概率平均值，当后 验概率平均值大于阈值时，则认为当前第二类扫描框含有目标；
[0063] 将确定含有目标的扫描框，做为第三类扫描框。
[0064] 下面将采用一个具体实例，详细解释说明本发明高速物体的图像实时跟踪的处理 过程。
[0065] 先在上一帧的目标框用网格均匀撒点的方法采样10*10 = 100个特征点。然后用 金字塔光流法跟踪。
[0066] 以第1帧和第2帧的计算为例子。第1帧上的采样特征点的坐标为（Xl,al， yi,al)，al 代表在第1帧上面的采样点的序号。经过光流法后，得到第2帧中该物体的特征点坐标为 (X2，b2, y2，b2)。
[0067] 然后再对第2帧的估计点（x2,b2，y2, b2)使用反向金字塔光流法，计算其在第1帧上 面对应的点（X1, el，yi, J，然后比较所有（X1,al，yi,J和（X1, el，yi, J的几何距离，抛弃其中 大于中位值的50%的数据，用剩下的点估计出目标在当前帧的位置。如果最终跟踪的点中 有轨迹误差大于10的直接认为跟踪失败。
[0068] 假设保留下来的点的数量是m个，在第1帧上的（Xl, dl，yi,dl)，对应的在第2帧上 面的是（x2, d2, y2,d2)，则第2帧相对1帧矩形框的中心位置横坐标变化为，
[0069]
【权利要求】
1. 一种高速物体的图像实时跟踪方法，其特征在于，包括步骤： 划设图像采集窗口，采集目标图像； 根据采集的目标图像，预计目标在下一帧图片中的位置，并根据目标图像当前帧图片 中的位置和下一帧图片中的位置，生成目标框； 根据图像采集窗口尺寸生成大小不同的第一类扫描框； 分别计算第一类扫描框与目标框的重合率，从所述第一类扫描框中选取超过预设重合 率的扫描框，作为第二类扫描框； 将第二类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类扫描 框； 对目标框和第三类扫描框进行加权整合，得出最终的目标框； 根据所述最终的目标框对高速物体进行实时跟踪。
2. 根据权利要求1所述的高速物体的图像实时跟踪方法，其特征在于，所述对目标框 和第三类扫描框进行加权整合，得出最终的目标框之后还有步骤： 检测分类器输出的目标特征和背景特征错误，将目标特征和背景特征错误作为新的正 负训练样本，更新分类器中的目标模型。
3. 根据权利要求1或2所述的高速物体的图像实时跟踪方法，其特征在于，所述根据采 集的目标图像，预计目标在下一帧图片中的位置具体包括步骤： 获取目标图像序列中的第I帧图像和第1-1帧图像，其中，所述I为正整数，且大于1 ; 在第1-1帧图像的目标框中的产证随机原始取样点Da，采用金字塔光流法预计Da在第 I帧图像上的预计点Db。 对第I帧图像上的预计点Db进行反向金字塔光流法计算，获得在第1-1帧图像上对应 位置Dc ; 计算Da与Dc之间的几何距离，抛弃Da与Dc之间的几何距离大于中位值的50%的数 据； 根据剩余的Da与Dc，计算目标在第I帧图像上的位置。
4. 根据权利要求1或2所述的高速物体的图像实时跟踪方法，其特征在于，所述根据采 集的目标图像，预计目标在下一帧图片中的位置，并根据目标图像当前帧图片中的位置和 下一帧图片中的位置，生成目标框之后还有步骤： 将包含有目标位置的下一帧图像块归化到预设尺寸，计算含有目标位置的下一帧图像 块与分类器中目标模型的保守相似度，当保守相似度小于阈值时，认定本次跟踪无效，当保 守相似度大于或者等于阈值时，认定本次跟踪有效。
5. 根据权利要求1或2所述的高速物体的图像实时跟踪方法，其特征在于，所述将第二 类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类扫描框具体包括 步骤： 将第二类扫描框中的图像区域输入分类器； 对第二类扫描框中的图像区域进行检测，判断是否为含有目标的扫描框，其中，判断过 程具体为： 利用积分图计算当前第二类扫描框的方差，当方差大于阈值时，则认为当前第二类扫 描框可能含有目标，再计算当前可能含有目标的第二类扫描框中的图像的特征值，以及计 算该特征值对应的后验概率累加值，根据后验概率累加值计算后验概率平均值，当后验概 率平均值大于阈值时，则认为当前第二类扫描框含有目标； 将确定含有目标的扫描框，做为第三类扫描框。
6. -种高速物体的图像实时跟踪系统，其特征在于，包括： 采集模块，用于划设图像采集窗口，采集目标图像； 预计模块，用于根据采集的目标图像，预计目标在下一帧图片中的位置，并根据目标图 像当前帧图片中的位置和下一帧图片中的位置，生成目标框； 第一类扫描框生成模块，用于根据图像采集窗口尺寸生成大小不同的第一类扫描框； 第二类扫描框生成模块，用于分别计算第一类扫描框与目标框的重合率，从所述第一 类扫描框中选取超过预设重合率的扫描框，作为第二类扫描框； 第三类扫描框生成模块，用于将第二类扫描框中的图像区域输入分类器，确定含有目 标的扫描框，作为第三类扫描框； 整合模块，用于对目标框和第三类扫描框进行加权整合，得出最终的目标框； 跟踪模块，用于根据所述最终的目标框对高速物体进行实时跟踪。
7. 根据权利要求6所述的高速物体的图像实时跟踪系统，其特征在于，还包括： 学习模块，用于检测分类器输出的目标特征和背景特征错误，将目标特征和背景特征 错误作为新的正负训练样本，更新分类器中的目标模型。
8. 根据权利要求6或7所述的高速物体的图像实时跟踪系统，其特征在于，所述预计模 块具体包括有： 获取单元，用于获取目标图像序列中的第I帧图像和第1-1帧图像，其中，所述I为正 整数，且大于1; 正向计算单元，用于在第1-1帧图像的目标框中的产证随机原始取样点Da，采用金字 塔光流法预计Da在第I帧图像上的预计点Db。 反向计算单元，用于对第I帧图像上的预计点Db进行反向金字塔光流法计算，获得在 第1-1帧图像上对应位置Dc ; 数据处理单元，用于计算Da与Dc之间的几何距离，抛弃Da与Dc之间的几何距离大于 中位值的50 %的数据； 计算单元，用于根据剩余的Da与Dc，计算目标在第I帧图像上的位置。
9. 根据权利要求6或7所述的高速物体的图像实时跟踪系统，其特征在于，还包括： 跟踪认定模块，用于将包含有目标位置的下一帧图像块归化到预设尺寸，计算含有目 标位置的下一帧图像块与分类器中目标模型的保守相似度，当保守相似度小于阈值时，认 定本次跟踪无效，当保守相似度大于或者等于阈值时，认定本次跟踪有效。
10. 根据权利要求6或7所述的高速物体的图像实时跟踪系统，其特征在于，所述第三 类扫描框生成模块具体包括： 输入单元，用于将第二类扫描框中的图像区域输入分类器； 判断单元，用于对第二类扫描框中的图像区域进行检测，判断是否为含有目标的扫描 框，其中，判断过程具体为： 利用积分图计算当前第二类扫描框的方差，当方差大于阈值时，则认为当前第二类扫 描框可能含有目标，再计算当前可能含有目标的第二类扫描框中的图像的特征值，以及计 算该特征值对应的后验概率累加值，根据后验概率累加值计算后验概率平均值，当后验概 率平均值大于阈值时，则认为当前第二类扫描框含有目标； 确定单元，用于将确定含有目标的扫描框，做为第三类扫描框。
【文档编号】G06K9/62GK104517125SQ201410830968
【公开日】2015年4月15日 申请日期:2014年12月26日 优先权日:2014年12月26日
【发明者】胡志坤, 郑远力, 唐品利, 宋菁烨, 江浩, 张少腾 申请人:湖南天冠电子信息技术有限公司