目标跟踪方法及装置的制造方法

目标跟踪方法及装置的制造方法
【专利摘要】本发明提供了一种目标跟踪方法及装置，其中方法包括：对当前帧图像进行采样，得到靠近初始目标区域的若干个第一样本区，以及远离初始目标区域的若干个第二样本区、以相同的预设方式获取N对图像块；根据任一对图像块之间的图像差异计算与该对图像块对应的特征值，以组成N维特征向量；分别在全部第一样本区和全部第二样本区的范围内对N维特征向量进行统计，得到与N维特征向量中每一维对应的两个直方图；在此后任一帧的图像中以同样的方式获取与任一候选目标样本区对应的N维特征向量，并通过对该N维特征向量与所有直方图的比较得到该候选目标样本区与待测目标区域的匹配程度。本发明可以解决现有方法难以通过低复杂度算法实现目标跟踪的问题。
【专利说明】
目标跟踪方法及装置
技术领域
[0001] 本发明涉及计算机技术，具体涉及一种目标跟踪方法及装置。
【背景技术】
[0002] 随着智能手机等移动终端快速流行与发展，使得增强现实等应用的需求逐渐增 大。而作为增强现实等应用必不可少的部分，目标跟踪过程需要提供实时而准确的目标跟 踪结果，以使增强现实将虚拟的增强信息准确而实时地叠加到真实场景中。包括增强现实 的应用要求目标跟踪满足实时、准确的要求的同时，还要求目标跟踪可以有效地适应图像 在光照、尺度、旋转等方面上的变化。
[0003] 基于计算机视觉的特征跟踪方法包括基于局部特征匹配的跟踪方法、基于全局特 征的跟踪方法以及混合全局与局部特征的跟踪方法。其中，基于局部特征的跟踪方法受局 部特征提取及匹配速度的影响，很难达到实时的要求，同时基于局部特征匹配的方法在图 像模糊等情况下很难提取局部特征，从而导致跟踪准确率下降。而基于全局特征的跟踪方 法不依赖局部细节特征，同时全局特征的提取与匹配速度较快，所以更加适合对实时性要 求高的应用。然而现有方法在特征拟合以及特征匹配方面常使用较高复杂度的算法，仍然 无法满足移动终端实时、准确的需求。

【发明内容】

[0004] 针对现有技术中的缺陷，本发明提供一种目标跟踪方法及装置，可以解决现有方 法难以通过低复杂度算法实现目标跟踪的问题。
[0005] 第一方面，本发明提供了一种目标跟踪方法，包括：
[0006] 对当前帧的图像进行采样，得到靠近初始目标区域的若干个第一样本区，以及远 离初始目标区域的若干个第二样本区，所述第一样本区与所述第二样本区具有相同的形状 和大小；
[0007] 在所述若干个第一样本区和所述若干个第二样本区内以相同的预设方式获取N 对图像块；
[0008] 根据任一对图像块之间的图像差异计算与该对图像块对应的特征值，以组成与每 一第一样本区或第二样本区对应的N维特征向量；
[0009] 分别在全部第一样本区和全部第二样本区的范围内对所述N维特征向量进行统 计，得到与所述N维特征向量中每一维对应的两个直方图；
[0010] 在此后任一帧的图像中以同样的方式获取与任一候选目标样本区对应的N维特 征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标样本区与待测 目标区域的匹配程度；
[0011] 其中，所述N大于等于1。
[0012] 可选地，在所述分别在全部第一样本区和全部第二样本区的范围内对所述N维特 征向量进行统计，得到与所述N维特征向量中每一维对应的两个直方图之后，还包括：
[0013] 对应于所述N维特征向量中的每一维，计算对应于全部第一样本区的直方图与对 应于全部第二样本的直方图中每一直方图单元的值的比值的对数值，得到与所述N维特征 向量中的每一维对应的对数表。
[0014] 可选地，所述在此后任一帧的图像中以相同的方式获取与任一候选目标样本区对 应的N维特征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标样 本区与待测目标区域的匹配程度，包括：
[0015] 获取与任一候选目标样本区对应的N维特征向量，将每一维的值所在的直方图单 元在所述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标区域的匹配 程度的响应值。
[0016] 可选地，在所述在此后任一帧的图像中以同样的方式获取与任一候选目标样本区 对应的N维特征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标 样本区与待测目标区域的匹配程度之前，还包括：
[0017] 在确定待测目标区域的位置之后，将待测目标区域作为初始目标区域以相同的方 式得到与N维特征向量中每一维对应的两个直方图；
[0018] 利用确定待测目标区域的位置之后得到的直方图更新确定待测目标区域的位置 之前得到的直方图，并根据更新后的直方图计算所述与N维特征向量中的每一维对应的对 数表。
[0019] 可选地，在所述在此后任一帧的图像中以相同的方式获取与任一候选目标样本区 对应的N维特征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标 样本区与待测目标区域的匹配程度之前，还包括：
[0020] 根据待测目标的位置的历史记录获取待测目标区域所在的预测目标区域，并在所 述预测目标区域中获取形状和大小均与所述第一样本区相同的若干个候选目标样本区。
[0021] 第二方面，本发明还提供了一种目标跟踪装置，包括：
[0022] 采样单元，用于对当前帧的图像进行采样，得到靠近初始目标区域的若干个第一 样本区，以及远离初始目标区域的若干个第二样本区，所述第一样本区与所述第二样本区 具有相同的形状和大小；
[0023] 获取单元，用于在所述采样单元得到的若干个第一样本区和所述若干个第二样本 区内以相同的预设方式获取N对图像块；
[0024] 计算单元，用于根据所述获取单元获取的任一对图像块之间的图像差异计算与该 对图像块对应的特征值，以组成与每一第一样本区或第二样本区对应的N维特征向量；
[0025] 统计单元，用于分别在全部第一样本区和全部第二样本区的范围内对所述计算单 元得到的N维特征向量进行统计，得到与所述N维特征向量中每一维对应的两个直方图；
[0026] 比较单元，用于在此后任一帧的图像中以相同的方式获取与任一候选目标样本区 对应的N维特征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标 样本区与待测目标区域的匹配程度；
[0027] 其中，所述N大于等于1。
[0028] 可选地，所述计算单元还用于在所述统计单元得到与所述N维特征向量中每一维 对应的两个直方图之后，对应于所述N维特征向量中的每一维，计算对应于全部第一样本 区的直方图与对应于全部第二样本的直方图中每一直方图单元的值的比值的对数值，得到 与所述N维特征向量中的每一维对应的对数表。
[0029] 可选地，所述比较单元进一步用于在此后任一帧的图像中以相同的方式获取与任 一候选目标样本区对应的N维特征向量，并将该N维特征向量种每一维的值所在的直方图 单元在所述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标区域的匹 配程度的响应值。
[0030] 可选地，还包括：
[0031] 生成单元，用于在确定待测目标区域的位置之后，将待测目标区域作为初始目标 区域以相同的方式得到与N维特征向量中每一维对应的两个直方图；
[0032] 更新单元，用于根据所述生成单元得到的直方图更新所述统计单元得到的直方 图，并根据更新后的直方图计算与N维特征向量中的每一维对应的对数表。
[0033] 可选地，所述获取单元还用于在比较单元获取与任一候选目标样本区对应的N维 特征向量之前，根据待测目标的位置的历史记录获取待测目标区域所在的预测目标区域， 并在所述预测目标区域中获取形状和大小均与所述第一样本区相同的若干个候选目标样 本区。
[0034] 由上述技术方案可知，本发明采用获取图像块、计算N维特征向量的方式提取图 像中每一样本区的特征，并采用对N维特征向量进行统计、再根据统计得到的直方图进行 目标跟踪的方式，可以使得基于全局特征的跟踪方法能够以离散化的计算方式进行，相较 于包括连续函数的特征拟合或特征匹配等步骤的计算方式可以大大减小计算量和算法的 复杂度，因此可以解决现有方法难以通过低复杂度算法实现目标跟踪的问题，有利于在移 动终端上实现实时、准确的目标跟踪。
【附图说明】
[0035] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0036] 图1是本发明一个实施例中一种目标跟踪方法的步骤流程示意图；
[0037] 图2是本发明一个实施例中一种更新对数表的步骤流程示意图；
[0038] 图3是本发明一个较佳实施例中一种目标跟踪方法的步骤流程示意图；
[0039] 图4是本发明一个实施例中一种目标跟踪装置的结构框图。
【具体实施方式】
[0040] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041] 图1是本发明一个实施例中一种目标跟踪方法的步骤流程图。需要说明的是， 本发明实施例的方法将目标跟踪流程具体细化到根据已知初始目标区域的当前帧图像获 取此后任一帧图像中待检测目标区域的处理流程，其中的初始目标区域可以根据在上一帧 (或者前几帧）图像中获取的待检测目标区域确定，也可以根据适当的目标区域查找算法 确定（由于效率较低所以一般用于初始帧图像），本发明均不做限制。基于此，在进行目标 跟踪时的此后任一帧的图像中的待测目标区域都可以按照该处理流程来确定，实现任何具 有连续多帧图像的影像中的目标区域跟踪。参见图1，该方法包括：
[0042] 步骤101 :对当前帧的图像进行采样，得到靠近初始目标区域的若干个第一样本 区，以及远离初始目标区域的若干个第二样本区，所述第一样本区与所述第二样本区具有 相同的形状和大小；
[0043] 步骤102 :在所述若干个第一样本区和所述若干个第二样本区内以相同的预设方 式获取N对图像块（N多1);
[0044] 步骤103 :根据任一对图像块之间的图像差异计算与该对图像块对应的特征值， 以组成与每一第一样本区或第二样本区对应的N维特征向量；
[0045] 步骤104 :分别在全部第一样本区和全部第二样本区的范围内对所述N维特征向 量进行统计，得到与所述N维特征向量中每一维对应的两个直方图；
[0046] 步骤105 :在此后任一帧的图像中以相同的方式获取与任一候选目标样本区对应 的N维特征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标样本 区与待测目标区域的匹配程度。
[0047] 需要说明的是，上述步骤101中，若干个第一样本区靠近初始目标区域与上述若 干个第二样本区远离初始目标区域均是相对于彼此而言的，也就是说任一第一样本区相较 于任一个第二样本区都更加靠近初始目标区域。
[0048] 而上述步骤102中，由于第一样本区与第二样本区具有相同的形状和大小，因而 可以通过相同的预设方式获取N对图像块，也就是说对于任意一个第一样本区或者第二样 本区，获取的所有N对图像块的数量、大小、形状、以及相对于该第一样本区或者第二样本 区的相对位置均是相同的。所以，可以对N对图像块进行排序，得到第1对、第2对、……、 第N对图像块，而对于任意的m(1 < m < N)，第m对图像块在每一个第一样本区或者第二样 本区中均存在，且大小、形状以及相对位置在每一个第一样本区或者第二样本区中均是相 同的。
[0049] 上述步骤103中，对于任一样本区中任意的第m对图像块，可以按照根据当前帧图 像在这两个图像块内的图像差异来计算该样本区中与第m对图像块对应的特征值，比如说 直接取特征值为两个图像块内的灰度值之和的差值，或者为取特征值为两个图像块内红色 通道的像素值之和的差值等等，本发明均不作限制。在计算得到该样本区中每一对图像块 的特征值时，就可以按照上述1、2、…、N-l、N的顺序把每一个特征值都作为特征向量中的 一维，从而组成一个与该样本区对应的N维特征向量。可见，为了计算特征值，图像块的形 状可以是任意的，而不仅限于常规的矩形或者正方形。
[0050] 当然，按照上述方式根据每一个第一样本区或者第二样本区都可以得到一个N维 特征向量，假设第一样本区的总数为X，第二样本区的总数为Y，那么按照上述方式可以得 到X个第一样本区的N维特征向量和Y个第二样本区的N维特征向量。从而，上述步骤104 中可以分别对X个第一样本区的N维特征向量中的每一维进行统计、得到与N维特征向量 中的任意的第m维对应的直方图HXm，同时对Y个第二样本区的N维特征向量中的每一维 进行统计、得到与N维特征向量中的任意的第m维对应的直方图HYm。以直方图HXm为例， 该直方图中以按照预设范围划分的直方图单元统计了X个第一样本区的N维特征向量中第 m维特征值，每一个直方图单元的值都代表了特征值落在这一范围内的第一样本区的个数， 显然地该直方图中所有直方图单元的值的总和等于X。
[0051] 从而，在上述步骤105中，可以在此后任一帧的图像中按照相同的方式根据一个 候选目标样本区得到一个N维特征向量（其中的候选目标样本区可以通过任意方式在图像 中选取，但显然地其也要与第一样本区和第二样本区具有相同的大小和形状），然后就可以 通过将这一N维特征向量中的每一维与对应的直方图进行比较（比如将这一N维特征向量 中的第m维与上述直方图HXm和HYm进行比较），由于第一样本区对应的直方图和第二样本 区对应的直方图分别代表了靠近和远离目标的图像的特征，因而经过上述比较过程就可以 得到该候选目标样本区与待测目标区域的匹配程度。
[0052] 当然，根据若干个候选目标样本区与待测目标区域的比较结果，就可以很快地确 定待测目标区域在这一帧图像中的位置，也就是实现了图像的目标跟踪。
[0053] 本发明实施例采用获取图像块、计算N维特征向量的方式提取图像中每一样本区 的特征，并采用对N维特征向量进行统计、再根据统计得到的直方图进行目标跟踪的方式， 可以使得基于全局特征的跟踪方法能够以离散化的计算方式进行，相较于包括连续函数的 特征拟合或特征匹配等步骤的计算方式可以大大减小计算量和算法的复杂度，因此可以解 决现有方法难以通过低复杂度算法实现目标跟踪的问题，有利于在移动终端上实现实时、 准确的目标跟踪。
[0054] 然而，上述步骤105中的比较过程可能会涉及多次复杂运算，为了进一步减小复 杂度、提高目标跟踪的处理效率，可以使上述方法在上述步骤104 :在所述分别在全部第一 样本区和全部第二样本区的范围内对所述N维特征向量进行统计，得到与所述N维特征向 量中每一维对应的两个直方图之后，还包括附图中未示出的下述步骤：
[0055] 步骤104a :对应于所述N维特征向量中的每一维，计算对应于全部第一样本区的 直方图与对应于全部第二样本的直方图中在归一化后每一直方图单元的值的比值的对数 值，得到与所述N维特征向量中的每一维对应的对数表。
[0056] 举例来说，对于N维特征向量中的第m维，直方图HXm中直方图单元Ul、U2、U3在 归一化后的值分别是41、六233，直方图册111中直方图1]1、1]2、1]3、1]4、1]5在归一化后的值分 另lj Bl、B2、B3、B4、B5。从而与第m维对应的对数表中就记录了分别与Ul、U2、U3、U4、U5对 应的 5 个值：log(Al/Bl)、log(A2/B2)、log(A3/B3)、log(0/B4)、log(0/B5)，其中的 "log" 的底数可以任意设置，比如可以取常用的自然常数e或者10,且上式中的值仅是没有经过 计算的示意。当然，为了避免除零错误，可以将直方图单元中的"〇"用一个很小的数字代替， 例如0. 001或0. 0001等等。按照这一处理方式，对于N维特征向量，总计可以得到N个对 数表。由于这N个对数表中整合了所有直方图的数据信息，因此在上述步骤105中的比较 过程可以基于这N个对数表来进行（也就是说上述步骤104a在步骤105之前进行），有利 于比较过程的运算复杂度的减小和处理效率的提高。
[0057] 进一步地，基于这N个对数表，可以使上述步骤105 :在此后任一帧的图像中以相 同的方式获取与任一候选目标样本区对应的N维特征向量，并通过对该N维特征向量与所 有所述直方图的比较得到该候选目标样本区与待测目标区域的匹配程度，具体包括附图中 未示出的下述步骤：
[0058] 步骤105a :获取与任一候选目标样本区对应的N维特征向量，将每一维的值所在 的直方图单元在所述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标 区域的匹配程度的响应值。
[0059] 举例来说，比如与一个候选目标样本区对应的N维特征向量的第m维的值属于上 述直方图单元U3的范围内，那么求和项中与第m维对应的项就是上述log(A3/B3)。对于 该N维特征向量中的每一维都进行类似的计算，经求和后就可以得到与该候选目标样本区 对应的响应值，其大小代表了该候选目标样本区与待测目标区域的匹配程度。
[0060] 由此可见，上述N个对数表相当于是预先根据一帧图像得到的所有的直方图经计 算得到的，而在上述比较过程中只需要在得到候选目标样本区的N维特征向量之后根据上 述N个对数表进行简单的求和运算就可以得到任意一个候选目标样本区的响应值，可以通 过较低的运算复杂度实现此后每一帧图像的目标跟踪。
[0061] 当然，上述N个对数表还可以在每一次确定目标位置时进行更新，从而在后续帧 的目标跟踪过程中保障对数表的准确性。具体来说，可以使上述方法在步骤105 :在所述在 此后任一帧的图像中以同样的方式获取与任一候选目标样本区对应的N维特征向量，并通 过对该N维特征向量与所有所述直方图的比较得到该候选目标样本区与待测目标区域的 匹配程度之前，还包括如图2所示出的步骤流程：
[0062] 步骤201 :在确定待测目标区域的位置之后，将待测目标区域作为初始目标区域 以相同的方式得到与N维特征向量中每一维对应的两个直方图；
[0063] 步骤202 :利用确定待测目标区域的位置之后得到的直方图更新确定待测目标区 域的位置之前得到的直方图，并根据更新后的直方图计算所述与N维特征向量中的每一维 对应的对数表。
[0064] 也就是说，上述步骤201中，在任一帧图像中确定了待测目标区域的位置之后，就 可以将这一待测目标区域作为初始目标区域，按照上述步骤101至步骤104的流程得到与N 维特征向量中每一维对应的两个直方图，然后上述步骤202中就可以利用这一直方图来对 原有的直方图进行更新，具体的更新方式可以是按照一个预设的比例α来按照a :(1-α) 的比例来对每一个直方图中每一个直方图单元的值进行加权求和，以得到更新后的直方 图。基于此，就可以根据更新后的直方图按照上述步骤104a的计算方式得到与Ν维特征向 量中的每一维对应的对数表，也就是结合原有和更新的直方图来进行对数表的更新。当然， 更新后的对数表可以继续用于本帧和后续帧图像中的目标跟踪。
[0065] 另一方面，上述候选目标样本区可以根据待测目标的位置的历史记录来进行预估 或筛选，即使得上述方法在上述步骤105 :在此后任一帧的图像中以相同的方式获取与任 一候选目标样本区对应的N维特征向量，并通过对该N维特征向量与所有所述直方图的比 较得到该候选目标样本区与待测目标区域的匹配程度之前，还包括附图中未示出的下述步 骤：
[0066] 步骤105b :根据待测目标的位置的历史记录获取待测目标区域所在的预测目标 区域，并在所述预测目标区域中获取形状和大小均与所述第一样本区相同的若干个候选目 标样本区。
[0067] 举例来说，可以根据待测目标的位置的历史记录以上一帧图像中的目标位置为中 心选取一定半径范围内的预测目标区域，选取方式可以采用高斯分布或者均匀分布等，并 继续在预测目标区域中获取形状和大小均与所述第一样本区相同的若干个候选目标样本 区，从而尽可能地以较少的计算量获得较高可靠度的目标位置结果。显然地，当上述方法同 时包括步骤105a和步骤105b时，上述步骤105a应在步骤105b之前。
[0068] 另外，在上述步骤101 :对当前帧的图像进行采样，得到靠近初始目标区域的若干 个第一样本区，以及远离初始目标区域的若干个第二样本区之前，上述方法还可以包括附 图中未示出的下述步骤：
[0069] 步骤100 :将待跟踪目标所在的区域划分为若干个初始目标区域，并对每一个所 述初始目标区域单独进行跟踪；
[0070] 在上述步骤105 :在此后任一帧的图像中以相同的方式获取与任一候选目标样本 区对应的N维特征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目 标样本区与待测目标区域的匹配程度之后，上述方法还可以包括附图中未示出的下述步 骤：
[0071] 步骤106 :在确定与每一个所述初始目标区域对应的待测目标区域后，通过计算 若干个待测目标区域相对于若干个初始目标区域的变换矩阵来确定待跟踪目标的位置。
[0072] 举例来说，上述步骤100中，在执行上述步骤101至步骤105之前，先将待跟踪目 标所在的区域划分为3*3的初始目标区域，并根据每一初始目标区域的中心位置生成初始 矩阵，然后对每一个初始目标区域都单独进行跟踪（即对每一初始目标区域分别执行上述 步骤101至105的步骤流程）。上述步骤106中，在得到每一个初始目标区域的跟踪结果， 也就是得到每一个待测目标区域之后，就可以根据每一个待测目标区域的中心位置生成目 标矩阵，对上述初始矩阵和目标矩阵进行变换矩阵（例如仿射变换的变换矩阵）的运算，就 可以得知这两帧图像之间待跟踪目标经历了什么样的变换，从而可以不依赖于初始目标区 域的大小和形状来准确地定位待跟踪目标的位置和所在区域，更加有利于在移动终端上实 现实时、准确的目标跟踪。
[0073] 为了更清楚地说明本发明实施例的技术方案，下面以一个较佳实施例具体说明本 发明实施例的可选技术方案。
[0074] 图3是本发明一个较佳实施例中一种目标跟踪方法的步骤流程示意图。参见图3， 该方法包括：
[0075] 301、将目标视为一个整体，根据目标初始区域选取目标正负样本（分别对应上述 第一样本区和第二样本区）。
[0076] 其中，正样本是距离目标最近的一组样本，例如目标通过一个300*300像素的矩 形框标识，可以在距离该矩形框最近的范围内选取50个相同大小的矩形框作为正样本。负 样本是距离目标较远的一组样本，例如，在距离目标矩形框较远的范围内选取50个相同大 小的矩形框作为负样本。这里仅仅是举例，正样本和负样本的数量不做限制。
[0077] 302、对所有样本以相同的方式分块，并以相同的方式选取N对图像块，经计算得 到N维特征向量。
[0078] 举例来说，目标通过一个300*300像素的矩形框标识，所以可以将目标区域均匀 划分为10*10块，每一个图像块为30*30像素。每一个像素块的值为块中所有像素的灰度 值之和。采样所用的分布可以是高斯分布、均匀分布或是其他分布，这里不做限制。
[0079] N对图像块的位置需要记录下来，后续跟踪过程需要用到。例如随机选取5对图 像块，分别为（2，1 ;4,3)、（5,8 ;3,9)、（7，1 ;9,6)、（9,3 ;4,8)、（6,6 ;4,7)，这里的坐标为相 对于正样本或者负样本的坐标。其中（2,1 ;4,3)表示第2行第1列的图像块与第4行第3 列的图像块作为一对。记录每一对图像块差值，最终形成一个N维特征向量。每一个样本 对应一个N维特征向量。
[0080] 303、根据正负样本利用直方图对N维特征向量的每一维进行特征值的统计（特征 分布的拟合），并保存正负样本直方图的对应直方图单元的比值的对数，形成对数表。
[0081] N维特征向量的每一维都相对独立，因此可以对每一维单独做特征分布拟合，同时 每一维特征的分布分为正样本特征分布和负样本特征分布。举例来说，对正样本特征的某 一维进行特征拟合时，首先得到所有正样本在该维度的值，然后把所有值离散化到直方图 中，该直方图可以近似为特征分布结果。直方图拟合方法如下，首先设定直方图的单元数h， 例如这里可以设h为30。假定按照均匀分布划分的图像块的大小为像素，那么直方图 中每一个直方图单元所包含的范围大小L可以按照下式计算：
[0082]
[0083] 对于每一个特征值V，其对应的直方图单元可以按照以下公式计算：
[0084]
[0085] 对每一个特征的每一维度生成正样本和负样本的特征拟合直方图。最后对直方图 进行归一化处理，使得每一个直方图所有单元之和为1。
[0086] 最后，为N维特征向量中的每一维建立一个对数表，每个对数表保存的数值为正 样本和负样本对应单元的比值取对数ratio,具体按照如下公式计算：
[0087]
[0088] 其中，obj (i)表示正样本直方图第i个单元的值，bkg(i)表示负样本直方图第i 个单元的值。为了避免除零错误，bkg(i)如果为0,则用一个很小的值代替，例如0. 001或 0· 0001 等等。
[0089] 304、后续帧的跟踪过程确定目标的预测位置。
[0090] 举例来说，一帧图像中目标的预测位置的坐标可以认为与前一帧相同，也可以将 前几帧的位移向量做加权平均来获取目标的预测位置，这里可以不做限制。
[0091] 305、在目标的预测位置周围选取若干候选目标样本区，并对每个候选目标样本区 以相同的方式提取N维特征向量。
[0092] 举例来说，可以以目标的预测位置为中心在一定的半径范围内选取候选目标样本 区，所用的分布可以采用高斯分布、均匀分布或是其他分布。每一个候选目标样本区的N维 特征向量选择方法与前述302相同。
[0093] 306、利用分类器计算每一个候选目标样本区的响应值，并根据响应值最大的候选 目标样本区确定目标位置。
[0094] 举例来说，可以利用贝叶斯分类器计算每一个样本的响应值res，具体的计算公式 如下：
[0095]
[0096] 其中，y = 1表示正样本特征分布，y = 0表示负样本特征分布。根据Vi的值利用 公式：
[0097]
[0098] 计算其对应的直方图单元bp从第i个对数表中读取h直方图单元的值，即为上 面求和式中的第i项的值。计算求和式得到每一样本的响应值。并根据响应值最大的候选 目标样本区确定目标位置。
[0099] 307、更新特征分布。
[0100] 举例来说，每一维的特征分布由直方图近似表示，由于N维特征向量中的每 一维相互独立，因此特征分布可以独立更新。首先利用前述301至303所述的方法得 到在当前帧的特征分布直方图，假设直方图包括10个直方图单元，各个直方图单元的 值分别为（Xi，χ2, χ3，…，χ1(])，当前帧之前的特征分布直方图中的这10个直方图单元 为（ Χι'，χ2'，χ3'，…，χ1(/ )，通过加权平均得到更新后的特征分布直方图中每个直方图 Jp- ^ ： (x^rate+x/ *(l~rate), x2*rate+x2, *(l~rate), x3*rate+x3, * (1-rate) ···, x10*rate+x1Q'*(l-rate))，其中rate的值为0~1之间的有理数，这里对rate的具体数值 可以任意设置。根据加权得到的特征分布直方图，可以更新对数表，具体的方法与前述303 相同。
[0101] 基于同样的发明构思，本发明实施例提供一种目标跟踪装置。图4是本发明一个 实施例中一种目标跟踪装置的结构框图，参见图4,该装置包括：
[0102] 采样单元41，用于对当前帧的图像进行采样，得到靠近初始目标区域的若干个第 一样本区，以及远离初始目标区域的若干个第二样本区，上述第一样本区与上述第二样本 区具有相同的形状和大小；
[0103] 获取单元42,用于在上述采样单元41得到的若干个第一样本区和上述若干个第 二样本区内以相同的预设方式获取N对图像块；
[0104] 计算单元43,用于根据上述获取单元42获取的任一对图像块之间的图像差异计 算与该对图像块对应的特征值，以组成与每一第一样本区或第二样本区对应的N维特征向 量；
[0105] 统计单元44,用于分别在全部第一样本区或者全部第二样本区的范围内对上述计 算单元43得到的N维特征向量进行统计，得到与上述N维特征向量中每一维对应的两个直 方图；
[0106] 比较单元45,用于在此后任一帧的图像中以相同的方式获取与任一候选目标样本 区对应的N维特征向量，并通过对该N维特征向量与所有上述直方图的比较得到该候选目 标样本区与待测目标区域的匹配程度；
[0107] 其中，上述N大于等于1。
[0108] 可见，上述结构可以用于执行上述目标跟踪方法中步骤101至步骤105的步骤流 程，在此不再详述。
[0109] 进一步地，上述计算单元43可以还用于在上述统计单元44得到与上述N维特征 向量中每一维对应的两个直方图之后，对应于上述N维特征向量中的每一维，计算对应于 全部第一样本区的直方图与对应于全部第二样本的直方图中每一直方图单元的值的比值 的对数值，得到与上述N维特征向量中的每一维对应的对数表。
[0110] 可见，上述结构可以用于执行上述目标跟踪方法中步骤l〇4a的步骤流程，在此不 再详述。
[0111] 更进一步地，上述比较单元45进一步用于在此后任一帧的图像中以相同的方式 获取与任一候选目标样本区对应的N维特征向量，并将该N维特征向量种每一维的值所在 的直方图单元在上述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标 区域的匹配程度的响应值。
[0112] 可见，上述结构可以用于执行上述目标跟踪方法中步骤105a的步骤流程，在此不 再详述。
[0113] 更进一步地，上述装置还可以包括附图中未示出的下述结构：
[0114] 生成单元46,用于在确定待测目标区域的位置之后，将待测目标区域作为初始目 标区域以相同的方式得到与N维特征向量中每一维对应的两个直方图；
[0115] 更新单元47,用于根据上述生成单元46得到的直方图更新上述统计单元44得到 的直方图，并根据更新后的直方图计算与N维特征向量中的每一维对应的对数表。
[0116] 可见，上述结构可以用于执行上述目标跟踪方法中步骤201至步骤202的步骤流 程，在此不再详述。
[0117] 另一方面，上述获取单元42还可以用于在比较单元45获取与任一候选目标样本 区对应的N维特征向量之前，根据待测目标的位置的历史记录获取待测目标区域所在的预 测目标区域，并在上述预测目标区域中获取形状和大小均与上述第一样本区相同的若干个 候选目标样本区。
[0118] 可见，上述结构可以用于执行上述目标跟踪方法中步骤105b步骤流程，在此不再 详述。
[0119] 另外，上述目标跟踪装置还可以包括附图中未示出的下述结构：
[0120] 划分单元40,用于在采样单元41对当前帧的图像进行采样之前，将待跟踪目标所 在的区域划分为若干个初始目标区域，并对每一个所述初始目标区域单独进行跟踪；
[0121] 确定单元48,用于在确定与每一个由所述划分单元40得到的初始目标区域对应 的待测目标区域后，通过计算若干个待测目标区域相对于若干个初始目标区域的变换矩阵 来确定待跟踪目标的位置。
[0122] 可见，上述结构可以用于执行上述目标跟踪方法中步骤100和步骤106的步骤流 程，在此不再详述。
[0123] 本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通 过程序指令相关的硬件来完成。前述的装置可以以程序代码的形式存储于一计算机可读取 存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包 括：ROM (Read-Only Memory，只读存储器）、RAM (Random Access Memory，随机存取存储器）、 硬盘存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0124] 在本发明的描述中需要说明的是，术语"上"、"下"等指示的方位或位置关系为基 于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示 所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本 发明的限制。除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例 如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连 接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本 领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0125] 还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个 实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间 存在任何这种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些 要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设 备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排 除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0126] 以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例 对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施 例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者 替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1. 一种目标跟踪方法，其特征在于，包括： 对当前帧的图像进行采样，得到靠近初始目标区域的若干个第一样本区，以及远离初 始目标区域的若干个第二样本区，所述第一样本区与所述第二样本区具有相同的形状和大 小； 在所述若干个第一样本区和所述若干个第二样本区内以相同的预设方式获取N对图 像块； 根据任一对图像块之间的图像差异计算与该对图像块对应的特征值，以组成与每一第 一样本区或第二样本区对应的N维特征向量； 分别在全部第一样本区和全部第二样本区的范围内对所述N维特征向量进行统计，得 到与所述N维特征向量中每一维对应的两个直方图； 在此后任一帧的图像中以同样的方式获取与任一候选目标样本区对应的N维特征向 量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标样本区与待测目标 区域的匹配程度； 其中，所述N大于等于1。2. 根据权利要求1所述的方法，其特征在于，在所述分别在全部第一样本区和全部第 二样本区的范围内对所述N维特征向量进行统计，得到与所述N维特征向量中每一维对应 的两个直方图之后，还包括： 对应于所述N维特征向量中的每一维，计算对应于全部第一样本区的直方图与对应于 全部第二样本的直方图中每一直方图单元的值的比值的对数值，得到与所述N维特征向量 中的每一维对应的对数表。3. 根据权利要求2所述的方法，其特征在于，所述在此后任一帧的图像中以相同的方 式获取与任一候选目标样本区对应的N维特征向量，并通过对该N维特征向量与所有所述 直方图的比较得到该候选目标样本区与待测目标区域的匹配程度，包括： 获取与任一候选目标样本区对应的N维特征向量，将每一维的值所在的直方图单元在 所述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标区域的匹配程度 的响应值。4. 根据权利要求3中任意一项所述的方法，其特征在于，在所述在此后任一帧的图像 中以同样的方式获取与任一候选目标样本区对应的N维特征向量，并通过对该N维特征向 量与所有所述直方图的比较得到该候选目标样本区与待测目标区域的匹配程度之前，还包 括： 在确定待测目标区域的位置之后，将待测目标区域作为初始目标区域以相同的方式得 到与N维特征向量中每一维对应的两个直方图； 利用确定待测目标区域的位置之后得到的直方图更新确定待测目标区域的位置之前 得到的直方图，并根据更新后的直方图计算所述与N维特征向量中的每一维对应的对数 表。5. 根据权利要求1至4中任意一项所述的方法，其特征在于，在所述在此后任一帧的图 像中以相同的方式获取与任一候选目标样本区对应的N维特征向量，并通过对该N维特征 向量与所有所述直方图的比较得到该候选目标样本区与待测目标区域的匹配程度之前，还 包括： 根据待测目标的位置的历史记录获取待测目标区域所在的预测目标区域，并在所述预 测目标区域中获取形状和大小均与所述第一样本区相同的若干个候选目标样本区。6. -种目标跟踪装置，其特征在于，包括： 采样单元，用于对当前帧的图像进行采样，得到靠近初始目标区域的若干个第一样本 区，以及远离初始目标区域的若干个第二样本区，所述第一样本区与所述第二样本区具有 相同的形状和大小； 获取单元，用于在所述采样单元得到的若干个第一样本区和所述若干个第二样本区内 以相同的预设方式获取N对图像块； 计算单元，用于根据所述获取单元获取的任一对图像块之间的图像差异计算与该对图 像块对应的特征值，以组成与每一第一样本区或第二样本区对应的N维特征向量； 统计单元，用于分别在全部第一样本区和全部第二样本区的范围内对所述计算单元得 到的N维特征向量进行统计，得到与所述N维特征向量中每一维对应的两个直方图； 比较单元，用于在此后任一帧的图像中以相同的方式获取与任一候选目标样本区对应 的N维特征向量，并通过对该N维特征向量与所有所述直方图的比较得到该候选目标样本 区与待测目标区域的匹配程度； 其中，所述N大于等于1。7. 根据权利要求6所述的装置，其特征在于，所述计算单元还用于在所述统计单元得 到与所述N维特征向量中每一维对应的两个直方图之后，对应于所述N维特征向量中的每 一维，计算对应于全部第一样本区的直方图与对应于全部第二样本的直方图中每一直方图 单元的值的比值的对数值，得到与所述N维特征向量中的每一维对应的对数表。8. 根据权利要求7所述的装置，其特征在于，所述比较单元进一步用于在此后任一帧 的图像中以相同的方式获取与任一候选目标样本区对应的N维特征向量，并将该N维特征 向量种每一维的值所在的直方图单元在所述对数表中的对数值进行求和，得到代表该候选 目标样本区与待测目标区域的匹配程度的响应值。9. 根据权利要求8所述的装置，其特征在于，还包括： 生成单元，用于在确定待测目标区域的位置之后，将待测目标区域作为初始目标区域 以相同的方式得到与N维特征向量中每一维对应的两个直方图； 更新单元，用于根据所述生成单元得到的直方图更新所述统计单元得到的直方图，并 根据更新后的直方图计算与N维特征向量中的每一维对应的对数表。10. 根据权利要求6至9中任意一项所述的装置，其特征在于，所述获取单元还用于在 比较单元获取与任一候选目标样本区对应的N维特征向量之前，根据待测目标的位置的历 史记录获取待测目标区域所在的预测目标区域，并在所述预测目标区域中获取形状和大小 均与所述第一样本区相同的若干个候选目标样本区。
【文档编号】G06K9/62GK106033550SQ201510115146
【公开日】2016年10月19日
【申请日】2015年3月16日
【发明人】段凌宇, 张艺, 陈杰, 黄铁军, 高文
【申请人】北京大学