一种基于tld优化算法的目标重捕获系统及方法
【专利摘要】本发明提出一种基于TLD优化算法的重捕获技术，包括以下模块：多分辨率帧间配准模块、模板匹配跟踪模块、基于遥测数据的快速检测学习模块。本发明的优点在于：提出一种快速的帧间摄像机运动补偿算法，保证在摄像机晃动较大的情况下仍可以实现对目标实时、稳定的跟踪；能实现在较低配置硬件平台上（如嵌入式平台）的实时跟踪；能够对跟踪的目标进行学习，实现在目标被遮挡或者脱离视场之后再出现时仍可以重新捕获并跟踪；通过遥测数据可大幅减少目标检测时需匹配的图像块个数，实现快速、准确的检测与重捕获。
【专利说明】一种基于TLD优化算法的目标重捕获系统及方法
【技术领域】
[0001] 本发明属于视觉图像领域，具体涉及一种通过帧间运动补偿与模板匹配学习的方 法实现的目标跟踪与重捕获系统及方法。
【背景技术】
[0002] 目前对于目标丢失后的重新捕获主要通过TLD算法来实现。TLD(TrackLearning Detection)是一种可以对目标进行在线学习的跟踪算法。该算法由跟踪、学习和检测三个 模块构成。当目标出现时跟踪模块对目标进行跟踪，跟踪的结果传入学习模块进行学习。通 过学习让计算机"记住"目标的特征。在目标丢失或者跟踪失败的情况下，检测模块会根据 之前"记忆"的特征在当前帧中检测目标。一旦检测到目标再次出现，则继续跟踪和学习。 该算法可以长时间对目标进行跟踪，当目标被遮挡后再次出现时，仍可以对目标进行跟踪。 然而该算法计算量较大，不适应在计算资源非常有限的无人机系统中使用。
[0003] TLD算法结合目标跟踪和机器学习算法，实现了对目标的稳定跟踪与重捕获。TLD 算法应用在无人机系统上是新技术。在无人机系统上使用TLD算法面临如下问题：（1)如 何在有限的硬件资源下实现实时跟踪；(2)如何跟踪在高空拍摄的"小"目标；（3)如何处理 由无人机姿态变化带来的镜头旋转（目标没有旋转）；(4)如何处理目标旋转时跟踪失败问 题；（5)如何处理跟踪短时间目标丢失时的正样本生成；（6)如何处理目标丢失后发生错误 重捕获等问题。
[0004] 本发明的技术解决问题：克服现有技术的不足，提供了一种基于TLD优化算法的 重捕获技术，该技术解决了TLD算法在无人机系统中应用的诸多问题。在有限的计算资源 上实现了实时稳定跟踪；解决了对小目标的特征提取及跟踪，提升了对旋转摄像机和目标 出现旋转的情况下跟踪的鲁棒性；降低了重捕获的误检率。
[0005] 本发明的技术解决方案：一种基于TLD优化算法的重捕获技术，包括以下模块：多 分辨率帧间配准模块、模板匹配跟踪模块、基于遥测数据的快速检测学习模块。其中多分辨 率帧间匹配模块用以对摄像机的运动进行补偿；模板匹配跟踪模块可在预测的较小搜索范 围内进行目标的快速匹配与跟踪；基于遥测数据的快速检测学习模块，可通过读取遥测数 据提供的高度信息，大幅缩减用于检测的搜索窗口数量，从而提升检测速度。
[0006] 所述的多分辨率帧间配准模块，通过在四分之一分辨率的图像上进行粗略的模板 匹配，计算出摄像机大致的运动方向；在四分之一分辨率图像上寻找角点，之后在全分辨率 图像上跟踪这些角点；对于每一对跟踪点计算其跟踪质量参数；对所有跟踪点对的跟踪质 量参数进行排序，仅选取质量最好的前26个点对进行透视变换矩阵的计算；该透视变换矩 阵可以消除摄像机带来的旋转、平移、缩放以及透视变换。
[0007] 所述的模板运动匹配跟踪模块可通过多分辨帧间配准模块计算出来的透视变换 矩阵，进一步缩小跟踪的搜索范围。缩小模板匹配的搜索范围可以大幅缩短模板匹配的计 算时间，同时降低误匹配。对于静止目标可以通过透视变换矩阵计算出目标在下一帧中大 致的位置，在该位置周围设置搜索范围进行模板匹配跟踪。对于运动目标可在透视变换的 基础上加入运动估计预测，确定较为精确的搜索范围。
[0008] 所述的基于遥测数据的快速检测学习模块，通过读取遥测数据中的焦距值和高度 值来缩减用于检测的图像块的数量。在原始TLD算法中，需要将图像分割成大小不一位置 不同的多个图像块。当目标在像空间大小变化较大时，只能通过多尺度图像块的检测才能 实现目标的重捕获。本模块可以通过遥测数据对像平面中点进行定位，计算出摄像机到大 地的距离，通过该距离与焦距可以估计出目标在像空间中的大致尺寸。利用该尺寸可以快 速选择合适的目标检测图像块大小。同时提出了一种基于相似度的快速模板学习算法。
[0009] 本发明与现有技术相比的优点在于：
[0010] (1)本发明提出一种快速的帧间摄像机运动补偿算法，保证在摄像机晃动较大的 情况下仍可以实现对目标实时、稳定的跟踪。
[0011] (2)本发明大大提升了跟踪的执行效率，能实现在较低配置硬件平台上（如嵌入 式平台）的实时跟踪。
[0012] (3)本发明能够对跟踪的目标进行学习，实现在目标被遮挡或者脱离视场之后再 出现时仍可以重新捕获并跟踪。
[0013] (4)本发明通过遥测数据可大幅减少目标检测时需匹配的图像块个数，实现快速、 准确的检测与重捕获。
【专利附图】
【附图说明】
[0014] 图1为重捕获算法整体流程图；
[0015] 图2为多分辨率帧间配准流程图；
[0016] 图3为模板匹配跟踪示意图。
【具体实施方式】
[0017] 整体算法流程如图1所示。帧间配准模块向模板匹配跟踪模块提供摄像机运动估 计。模板跟踪模块将跟踪目标送入快速检测学习模块，进行目标的统计与丢失之后的检测。
[0018] 下面从多分辨率帧间配准，模板匹配跟踪，基于遥测数据的快速检测等几个步骤， 结合附图对本发明做进一步介绍。
[0019] 1.多分辨率帧间配准
[0020] 如图2所示，设原始图像的宽为w，高为h。将原始图像进行等比例缩放，缩放因子 为s，则缩放之后的低分辨率图像宽为
【权利要求】
1. 一种基于TLD优化算法的目标重捕获系统，其特征在于，所述系统包括以下模块： 多分辨率帧间配准模块，用以对摄像机的运动进行补偿； 模板匹配跟踪模块，用于在预测的较小搜索范围内进行目标的快速匹配与跟踪； 基于遥测数据的快速检测学习模块，通过读取遥测数据中的焦距值和高度值来缩减用 于检测的搜索窗口数量。
2. 根据权利要求1所述的目标重捕获系统，其特征在于，所述多分辨率帧间配准模 块通过在长宽各为原始分辨率长宽n分之一的图像上进行粗略的模板匹配(其中n为2的 幂)，计算出摄像机大致的运动方向；在低分辨率图像上寻找特征点，之后在全分辨率图像 上跟踪这些特征点；对于每一对跟踪点将其匹配度作为其跟踪质量参数；对所有跟踪点对 的跟踪质量参数进行排序，仅选取质量最好的前m (m小于总的跟踪点数）个点对进行单应 性矩阵的计算。
3. 根据权利要求1所述的目标重捕获系统，其特征在于，所述的模板运动匹配跟踪模 块通过多分辨帧间配准模块计算出来的透视变换矩阵，进一步缩小跟踪的搜索范围；对于 静止目标可以通过透视变换矩阵计算出目标在下一帧中大致的位置，在该位置周围设置搜 索范围进行模板匹配跟踪；对于运动目标可在透视变换的基础上加入运动估计预测，确定 较为精确的搜索范围。
4. 根据权利要求1所述的目标重捕获系统，其特征在于，当焦距值发生变化时，可根 据焦距的变化选择合适的缩放因子。
5. -种基于TLD优化算法的目标重捕获方法，其特征在于，所述方法包括以下步骤： 1) 多分辨率帧间配准步骤，用以对摄像机的运动进行补偿； 2) 模板匹配跟踪步骤，用于在预测的较小搜索范围内进行目标的快速匹配与跟踪； 3) 基于遥测数据的快速检测学习步骤，通过读取遥测数据中的焦距值和高度值来缩减 用于检测的搜索窗口数量。
【文档编号】G06T7/20GK104408725SQ201410709327
【公开日】2015年3月11日 申请日期:2014年11月28日 优先权日:2014年11月28日
【发明者】吴国强, 聂志彪, 向永红, 赵甲, 尹中义, 孙浩惠, 魏巍 申请人:中国航天时代电子公司