一种针对遮挡问题的目标跟踪方法及设备的制造方法

一种针对遮挡问题的目标跟踪方法及设备的制造方法
【专利摘要】本发明公开了一种针对遮挡问题的目标跟踪方法及设备，涉及运动目标跟踪技术领域，解决了在目标被遮挡的情况下跟踪不准确的问题。方法为：获取包含至少两个子图像块的视频图像，确定子图像块的置信图，根据子图像块对应的最大响应值确定子图像块对应的权重，其中，若第一子图像块的置信图中的最大响应值大于第二子图像块的置信图中的最大响应值，则第一子图像块对应的权重大于第二子图像块对应的权重，根据子图像块的权重、以及子图像块的置信图，联合得到第t帧视频图像的置信图，根据第t帧视频图像的置信图、第t?1帧视频图像的置信图、以及第t?1帧视频图像中目标的位置，确定第t帧视频图像中目标的位置。
【专利说明】
一种针对遮挡问题的目标跟踪方法及设备
技术领域
[0001 ]本发明涉及运动目标跟踪技术领域，尤其涉及一种针对遮挡问题的目标跟踪方法 及设备。
【背景技术】
[0002] 运动目标跟踪是计算机视觉领域的核心课题之一，具有十分重要的意义和广泛的 实用价值。运动目标跟踪的实质是从图像信号中实时自动识别出目标，定位目标的运动位 置，目前，已经涌现了许多好的跟踪算法来实现对运动目标的准确跟踪。
[0003] 但是，运动目标跟踪的难点在于图像信号在采集过程中的信息损失和复杂的应用 环境，特别是目标在运动过程中经常被场景中的其他物体遮挡，遮挡导致了目标固有特征 的丢失，本不属于目标的新的特征的产生，这给目标识别和定位带来了很大的困难，因此， 目标跟踪过程中的遮挡问题成为限制跟踪算法实用性的关键因素，利用现有跟踪算法很容 易导致跟踪不准确。

【发明内容】

[0004] 本发明的实施例提供一种针对遮挡问题的目标跟踪方法及设备，解决了在目标被 遮挡的情况下跟踪不准确的问题。
[0005] 为达到上述目的，本发明的实施例采用如下技术方案：
[0006] 第一方面，本发明实施例提供一种针对遮挡问题的目标跟踪方法，所述方法包括：
[0007] 获取第t帧视频图像，所述第t帧视频图像包含至少两个子图像块；
[0008] 确定子图像块的置信图，其中，所述子图像块的置信图包括所述子图像块对应的 至少一个响应值；
[0009] 确定所述置信图中所述子图像块对应的最大响应值，根据所述子图像块对应的最 大响应值确定所述子图像块对应的权重，其中，若第一子图像块的置信图中的最大响应值 大于第二子图像块的置信图中的最大响应值，则所述第一子图像块对应的权重大于所述第 二子图像块对应的权重；
[0010] 根据所述子图像块的权重、以及所述子图像块的置信图，联合得到所述第t帧视频 图像的置信图；
[0011] 根据所述第t帧视频图像的置信图、与所述第t帧视频图像相邻的第t-i帧视频图 像的置信图、以及所述第t-Ι帧视频图像中目标的位置，确定所述第t帧视频图像中目标的 位置。
[0012] 第二方面，本发明实施例提供一种针对遮挡问题的目标跟踪设备，用于执行第一 方面所述的方法，所述设备包括：
[0013] 获取单元，用于获取第t帧视频图像，所述第t帧视频图像包含至少两个子图像块；
[0014] 确定单元，用于确定子图像块的置信图，其中，所述子图像块的置信图包括所述子 图像块对应的至少一个响应值；
[0015] 权重计算单元，用于确定所述置信图中所述子图像块对应的最大响应值，根据所 述子图像块对应的最大响应值确定所述子图像块对应的权重，其中，若第一子图像块的置 信图中的最大响应值大于第二子图像块的置信图中的最大响应值，则所述第一子图像块对 应的权重大于所述第二子图像块对应的权重；
[0016] 所述确定单元，还用于根据所述子图像块的权重、以及所述子图像块的置信图，联 合得到所述第t帧视频图像的置信图；
[0017] 以及，根据所述第t帧视频图像的置信图、与所述第t帧视频图像相邻的第t-Ι帧视 频图像的置信图、以及所述第t-ι帧视频图像中目标的位置，确定所述第t帧视频图像中目 标的位置。
[0018] 由上可知，本发明实施例提供的一种针对遮挡问题的目标跟踪方法及设备，在对 包含多个子图像块的视频图像中的目标跟踪的过程中，根据子图像块的置信图中的最大响 应值确定子图像块的权重，其中，若第一子图像块的置信图中的最大响应值大于第二子图 像块的置信图中的最大响应值，则所述第一子图像块对应的权重大于所述第二子图像块对 应的权重，即子图像块的置信图中的最大响应值越大，子图像块对应的权重越大，子图像块 的置信图中的最大响应值越小，子图像块对应的权重越小。
[0019] 由于最大响应值比置信图中的其他响应值更能真实地反映出该子图像块的固有 特征，最大响应值越大表示该子图像块的固有特征变化微小，即遮挡的可能性比小，最大 响应值越小表示该子图像块的固有特征变化较大，掺杂有大量的其他背景特征，即被大面 积遮挡，此时，将无遮挡的子图像块赋予较大权重，可以加重该子图像块在整个视频图像中 的地位，重点以该子图像块的位移情况估测整个视频图像中目标的当前位置，将被大面积 遮挡的子图像块赋予较小权重，可以削弱该子图像块在整个视频图像中的影响，降低被遮 挡目标被估测错误的概率，实现对整个视频图像中目标的准确跟踪。
【附图说明】
[0020] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0021] 图1为本发明实施例提供的针对遮挡问题的目标跟踪方法的流程图；
[0022] 图2为本发明实施例提供的目标跟踪设备的结构图。
【具体实施方式】
[0023]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0024] 实施例一
[0025]图1为本发明实施例提供的一种针对遮挡问题的目标跟踪方法的流程图，可以由 目标跟踪设备执行，该目标跟踪设备可以为摄像机等采集处理设备，也可以为与摄像机连 接的、实现跟踪摄像机采集到的图像的任一计算机，还可以是智能手机、智能电视、平板电 脑等具有图像处理功能的设备;如图1所示，该方法可以包括以下步骤：
[0026] S101:获取第t帧视频图像，该第t帧视频图像包含至少两个子图像块。
[0027] 其中，该第t帧视频图像可以为通过摄像头采集到的任一帧图像，t为大于等于1的 整数，人们可以预先选定该视频图像中待跟踪的目标，进行目标跟踪，且在目标跟踪的过程 中，为了提高跟踪的准确性，可以将待跟踪的目标包含多个子图像块。
[0028] 具体的，可以获取摄像机等采集设备采集到的视频流，将获取到的视频流转化为 包含至少一帧图像的图像帧序列，读取第一帧待跟踪的图像，并对感兴趣的目标以跟踪框 的形式人工选定，作为需要跟踪的目标图像，同时，并对跟踪框内的目标图像进行初始化， 将目标图像进行分块，得到多个子图像块，在后续图像帧中，跟踪框的尺寸和大小不发生变 化，且跟踪框内视频图像所包括的各个子图像块的大小和尺寸也不发生变化，仍以该选定 的且包含多个子图像块的目标模板作为视频图像中需要跟踪的目标。
[0029] 可理解的是，在对跟踪框内的视频图像进行分块的过程中，可以根据需要采用不 同的方式将跟踪框内的视频图像分为大小相同或不同的子图像块，本发明实施例对此不进 行限定，比如:可以将跟踪框内的视频图像横向划分为多个子图像块，或者，将跟踪框内的 视频图像纵向划分为多个子图像块。
[0030] 例如，若在跟踪的初始化过程中，将采集到的图像以第一方框选定作为待跟踪的 目标图像，且将选定后的目标图像分为4个子图像块，则在后续帧图像的跟踪过程中，仍可 以对采集到的图像以第一方框选定，且按照原分块大小分为4个子图像块进行跟踪，即对于 不同帧的视频图像而言，其跟踪框内的视频图像的整体大小和尺寸、以及其内分块的大小 和尺寸都是不变的，变化的只有分块的视频图像内容。
[0031] S102:确定子图像块的置信图，其中，子图像块的置信图包括该子图像块对应的至 少一个响应值。
[0032] 其中，子图像块图的置信图中的响应值是该子图像块的提取特征输入相关滤波器 后输出的值，我们输入的子图像块的提取特征可以是一个矩阵，对应输出响应值也可以为 一个矩阵。
[0033] 可选的，可以利用核相关滤波算法（英文:Kernelized Correlation Filter，缩 写:KCF)算法确定视频图像中各个子图像块的置信图。
[0034]具体的，对于任意子图像块而言，利用KCF算法确定子图像块的置信图可以包括： [0035]提取子图像块的至少一个特征；
[0036] 将至少一个特征输入相关滤波器，得到子图像块的置信图，置信图中的响应值与 子图像块的特征 对应。
[0037] 其中，在本发明实施例中，可以利用不同的提取方法提取出子图像块中的不同种 类的特征，比如，可以利用H0G(Histogram of Oriented Gradient，方向梯度直方图）提取 方法得到H0G特征，和/或利用LBP(Local Binary Pattern，局部二值模式)提取方法得到 LBP特征，可理解的是，提取特征的方法包括但并不限于上述两种方法。
[0038] 其中，相关滤波器可以用于:衡量两个图像相似值的度量，若两个图像越相似，则 得到的响应值越高。比如：可以将图像的一些特征输入该相关滤波器，若得到的响应值比 大，则确定该图像为正在跟踪的目标图像。具体的，可以采用下述方法训练得到相关滤波 器：
[0039] 获取第一帧跟踪图像x的初始位置和大小(第一帧图像为初始帧，其初始位置和大 小是已知的），提取第一帧图像X的特征，并在傅里叶域构成特征向量；
[0040] 根据公式：
-得到相关滤波器，其中，f是高斯回归目标(已知hkf'zK (X',ρΗχ)为高斯核相关函数，当κ为高斯核函数时：
为当前待跟踪的目标图像的特征向量;σ = 〇.5, λ=10-4。
[0041] 可选的，将至少一个特征输入相关滤波器，得到子图像块的置信图可以包括：
[0042] 根据公式/(ζ) = 1^=? (?得到子图像块ζ对应的置信图，其中，为相关滤波 器，
ζ为在视频图像中该子图像块所在位置 所截取到的图像，并对其进行特征提取，生成特征向量表示的是通过输入Ζ，利用循 环转移的方法生成多个候选子图像块，并计算出其分别与X的核相关，然后和相关滤波器点 乘得到响应矩阵。
[0043] S10 3:确定置信图中子图像块对应的最大响应值，根据子图像块对应的最大响应 值确定子图像块对应的权重，其中，若第一子图像块的置信图中的最大响应值大于第二子 图像块的置信图中的最大响应值，则该第一子图像块对应的权重大于该第二子图像块对应 的权重。
[0044]其中，第一子图像块和第二图像块为视频图像块中任意两个不同的子图像块，即 子图像块的置信图中的最大响应值越大，子图像块对应的权重越大，子图像块的置信图中 的最大响应值越小，子图像块对应的权重越小。可理解的是，在本发明中，若第一子图像块 的置信图中的最大响应值等于第二子图像块的置信图中的最大响应值，则可以将第一子图 像块对应的权重设置为与第二子图像块对应的权重一样大。
[0045]子图像块的置信图中的最大响应值可以指:该置信图中数值最大的响应值，例如： 若第3帧第1子图像块的置信图为： "1 0.4 0.2"
[0046] f^= 0.3 0.3 0.1 0.2 0.1 0.1
[0047] 则第1子图像块的置信图中的最大响应度max #为:1。
[0048] 虽然，置信图中的最大响应值比置信图中的其他响应值更能真实地反映出子图像 块的固有特征，根据子图像自身对应的最大响应值对该子图像块进行权重赋值，可以在一 定程度上能够提高该子图像块在整个视频图像中的地位，但是，对于一帧视频图像而言，单 单根据自身对应的最大响应值对其进行权重赋值可能是不够准确的（例如，子图像块的置 信图在某种情况下可能是不够准确的，此时，若根据该不够准确的置信图中的最大响应值 对子图像块进行权重赋值，则可能会导致该子图像块的权重不够准确），基于此，在本发明 实施例中，可以根据前后两帧视频图像之间固有的空间连续性，以前后两帧视频图像的变 化情况来校正当前帧子图像块根据自身的最大响应值赋值的准确性，例如:若前后两帧图 像中同一子图像块的置信图变化较大，则表示后一帧图像中子图像块的置信图可能是不 够准确的，此时，可以降低该子图像块的整个权重，若前后两帧图像中同一子图像块的置信 图变化较小，则表示后一帧图像中子图像块的置信图的准确性较高，此时，可以提高该子图 像块的整个权重。
[0049] 具体的，在本发明实施例中，对于任意子图像块i，根据子图像块i对应的最大响应 值确定子图像块i对应的权重，可以包括下述两种方式：
[0050] 第一种方式:根据公式
得到第t帧视频图像中子图 像块i的权重4 ;
[0051] 其中，w丨表示第t帧视频图像中子图像块i的权重，方表示第t帧视频图像中子图像 块i的置信图，max#表示第t帧视频图像中子图像块i的置信图中的最大响应值， Ut表示第 t帧视频图像中子图像块的置信图中的最大响应值的平均值，为第t帧视频图像中子图像 块的置信图中的最大响应值的方差，η为一个权衡参量，表示第t-l帧视频图像中子图像 块i的置信图。
[0052]可理解的是，η可以根据需要进行设置，本发明实施例对此不进行限定，第t-i帧 为：与第t帧相邻的前一帧，|/7-尤_彳|丨用于表示前后两帧图像中同一子图像块的置信图的 变化情况，若前后两帧图像中同一子图像块的置信图变化较大，则表示后一帧图像中子图 像块的置信图可能是不够准确的，此时，可以用较低的值
来降低该子图像块的 权重，若前后两帧图像中同一子图像块的置信图变化较小，则表示后一帧图像中子图像块 的置信图的准确性较高，此时，可以用较大的值
_来提高该子图像块的整个权 重。
[0053] 例如:若第三帧视频图像包含四个子图像块，四个子图像块对应的置信图分别为： i3、尤、iN方，四个子图像分块分别对应的最大响应值为max无、腿x:i 3、max々、撤X方, 则第三帧视频图像中子图像块的置信图中最大响应值的平均值为： E:= ( max j;3+max方+ max,#+max方)/4，第三帧视频图像中子图像块的置信图中最大响应 值的方差为：
此时，若对第1 个子图像块计算权重，则可以将计算出来的均值、方差、以及第1个子图像块的置信图代入 上述方式一的计算公式，得到第1个子图像块的权值。
[0054] 第二种方式:根据公式
得到第t帧视频图像中子图 像块i的权重< ;
[0055] 其中，< 表示第t帧视频图像中子图像块i的权重，jf.表示第t帧视频图像中子图像 块i的置信图，max//表示第t帧视频图像中子图像块i的置信图中的最大响应值，< 表示第 t帧视频图像中子图像块i的置信图中响应值的平均值，< 表示第t帧视频图像中子图像块i 的置信图中响应值的方差，η为一个权衡参量，i"1表示第t-1帧视频图像中子图像块i的置 信图。
[0056] 例如:若第三帧视频图像包含四个子图像块，第1个子图像块的置信图为： "1 0,4 0.2'
[0057] fi = 0.3 0.3 0.1 0.2 0.1 0.1
[0058] 则(:l+0,4+Q.2+0.3+0.3+0.l+0.2+0.1+0.1) /9=:2.7/:9=0.3 (Π -〇.3): + (0.4-0.3): +…+ (0.卜0.3):)Z9，此时，可以将计算出来的均值、方差、以及 第1个子图像块的置信图代入上述方式二的计算公式，得到第1个子图像块的权值。
[0059] S104:根据子图像块的权重、以及子图像块的置信图，联合得到第t帧视频图像的 置信图。
[0060] 可选的，可以根据将子图像块的权重与自身的置信图相乘，将相乘后的结果进行 求和计算得到该第t帧视频图像的置信图；具体的，可以根据下述公式得到视频图像的置信 图：
[0061] ^=Yy,f!
[0062] 其中，C表示第t帧视频图像的置信图，η表示该视频图像包含的子图像块的个数。
[0063] S105:根据第t帧视频图像的置信图、与第t帧视频图像相邻的第t-Ι帧视频图像的 置信图、以及第t-i帧视频图像中目标的位置，确定第t帧视频图像中目标的位置。
[0064] 可选的，可以计算第t帧视频图像的置信图中的最大响应值、第t-Ι帧视频图像的 置信图中的最大响应值之间的位移关系；
[0065] 根据计算出的位移关系、以及第t-Ι帧视频图像中目标的位置，计算出第t帧视频 图像中目标的运动位置。
[0066] 例如:第2帧视频图像的置信图和第3帧视频图像的置信图分别为： "0,2 0.4 0.2] 「1 0.1 0.Γ
[0067] C2= 0.3 0.1 0.1 s C3 = 03 0.3 0.1 0.2 0.1 1 J [0.2 0.4 0.2
[0068] 从二者的置信图可知：最大响应值从第2帧中的最下角转移到了第3帧中的最上 角，此时，以矩阵中第1行第1列元素所处为坐标原点，矩阵中各元素间隔为1为例，则第2帧 中最大响应值的坐标为(2，2 )，第3帧中最大响应值的坐标为(0，0 )，即最大响应值的位置从 矩阵坐标（2,2)转移到（0,0)，位移变化为（_2，_2)，若第2帧视频图像中目标的位置为 (120，159)，经过(-2，-2)的位移变化后，第3帧视频图像中目标的位置为（118，157)。
[0069] 进一步可选的，对于任意子图像块而言，还可以根据第t-Ι帧视频图像中该子图像 块使用的相关滤波器、第t帧视频图像中该子图像块的权重、以及利用当前跟踪到的视频图 像中的子图像块重新训练得到的一个新的相关滤波器，对第t帧视频图像中该子图像块使 用过的相关滤波器进行更新，以避免在利用该相关滤波器得到第t+ι帧视频图像中该子图 像块的置信图时出现漂移现象(即跟踪丢失）的问题。
[0070] 具体的，对于第t帧视频图像中的子图像块i，可以根据公式 < = |(1 -对子瞧块i使用过的相关麵器进行更新，即当 I a, else 子图像块i的权重4大于T时，β〉= (1 -?ν丨α,，否则，α丨
[0071] 其中，αι为跟踪到视频图像后，利用当前视频图像中的子图像块i重新训练得到的 一个新的相关滤波器，T为预设阈值，可以根据需要进行设置，本发明实施例对此不进行限 定，β为相关滤波器更新因子，也可以根据需要进行设置，本发明实施例对此不进行限定。 [0072]需要说明的是，上述过程仅实现了对一帧视频图像中目标的跟踪定位，可理解的 是，对于其他帧视频图像中目标也可以采用上述方法进行跟踪定位，本发明实施例在此不 再详细赘述。
[0073]由上可知，本发明实施例提供的一种针对遮挡问题的目标跟踪方法，获取第t帧包 含至少两个子图像块的视频图像，确定第t帧视频图像中子图像块的置信图，根据子图像块 对应的最大响应值确定该子图像块对应的权重，根据子图像块的权重、以及子图像块的置 信图，联合得到第t帧视频图像的置信图，根据第t帧视频图像的置信图、与第t帧视频图像 相邻的第t-ι帧视频图像的置信图、以及第t-i帧视频图像中目标的位置，确定第t帧视频图 像中目标的位置，其中，在对子图像块确定权重时，若第一子图像块的置信图中的最大响应 值大于第二子图像块的置信图中的最大响应值，则第一子图像块对应的权重大于第二子 图像块对应的权重，即子图像块的置信图中的最大响应值越大，子图像块对应的权重越大， 子图像块的置信图中的最大响应值越小，子图像块对应的权重越小。
[0074]由于最大响应值比置信图中的其他响应值更能真实地反映出该子图像块的固有 特征，最大响应值越大表示该子图像块的固有特征变化微小，即遮挡的可能性比小，最大响 应值越小表示该子图像块的固有特征变化较大，掺杂有大量的其他背景特征，即被大面积 遮挡，此时，将无遮挡的子图像块赋予较大权重，可以加重该子图像块在整个视频图像中的 地位，重点以该子图像块的位移情况估测整个视频图像中目标的当前位置，将被大面积遮 挡的子图像块赋予较小权重，可以削弱该子图像块在整个视频图像中的影响，降低被遮挡 目标被估测错误的概率，实现对整个视频图像中目标的准确跟踪。
[0075] 实施例二
[0076] 图2为本发明实施例提供的目标跟踪设备的结构图，该设备可以为摄像机等采集 处理设备，也可以为与摄像机连接的、实现跟踪摄像机采集到的图像的任一计算机，还可以 是智能手机、智能电视、平板电脑等具有图像处理功能的设备，如图2所示，该设备可以包 括：
[0077] 获取单元201，用于获取第t帧视频图像，该第t帧视频图像包含至少两个子图像 块。
[0078] 确定单元202,用于确定子图像块的置信图，其中，子图像块的置信图包括该子图 像块对应的至少一个响应值。
[0079] 权重计算单元203,用于确定置信图中子图像块对应的最大响应值，根据子图像块 对应的最大响应值确定子图像块对应的权重，其中，若第一子图像块的置信图中的最大响 应值大于第二子图像块的置信图中的最大响应值，则该第一子图像块对应的权重大于该第 二子图像块对应的权重。
[0080] 该确定单元202,还用于根据子图像块的权重、以及子图像块的置信图，联合得到 第t帧视频图像的置信图；
[0081] 以及，根据第t帧视频图像的置信图、与第t帧视频图像相邻的第t-Ι帧视频图像的 置信图、以及第t-i帧视频图像中目标的位置，确定第t帧视频图像中目标的位置。
[0082]具体的，对第t帧视频图像中的任意子图像块，确定单元202,可以用于：
[0083] 采用核相关滤波算法确定子图像块的置信图；
[0084] 其中，采用核相关滤波算法确定子图像块的置信图具体可以包括：
[0085]提取子图像块的至少一个特征；
[0086]将至少一个特征输入相关滤波器，得到子图像块的置信图，置信图中的响应值与 子图像块的特征 对应。
[0087]具体的，对第t帧视频图像中的任意子图像块i，权重计算单元203,可以通过下述 两种方式计算得到子图像块i的权重：
[0088] 第一种方式:根据公式 F得到第t帧视频图像中子图 2 像块i的权重4 :
[0089] 其中，w丨表示第t帧视频图像中的子图像块i的权重，^表示第t帧视频图像中子图 像块i的置信图，max//表示第t帧视频图像中子图像块i的置信图中的最大响应值， Ut表示 第t帧视频图像中子图像块的置信图中的最大响应值的平均值，为第t帧视频图像中子图 像块的置信图中的最大响应值的方差，η为一个权衡参量，表示第t-Ι帧视频图像中子图 像块i的置信图。
[0090] 第二种方式:根据公式 得到第t帧视频图像中子图 像块i的权重< ;
[0091] 其中，表示第t帧视频图像中子图像块i的权重，f表示第t帧视频图像中子图像 块i的置信图，max；；:'表示第t帧视频图像中子图像块i的置信图中的最大响应值，<表示第 t帧视频图像中子图像块i的置信图中响应值的平均值，< 表示第t帧视频图像中子图像块i 的置信图中的响应值的方差，η为一个权衡参量，尤-1表示第t-1帧视频图像中子图像块i的 置信图。
[0092]具体的，确定单元202,可以用于通过下述方式得到视频图像的置信图：
[0093]将子图像块的权重与自身的置信图相乘；
[0094]将相乘后的结果进行求和计算得到第t帧视频图像的置信图。
[0095]进一步可选的，对于任意子图像块而言，还可以根据第t_l帧视频图像中该子图像 块使用的相关滤波器、第t帧视频图像中该子图像块的权重、以及利用当前跟踪到的视频图 像中的子图像块重新训练得到的一个新的相关滤波器，对第t帧视频图像中该子图像块使 用过的相关滤波器进行更新，以避免在利用该相关滤波器得到第t+Ι帧视频图像中该子图 像块的置信图时出现漂移现象(即跟踪丢失）的问题。
[0096]具体的，如图2所示，设备还可以包括:更新单元204;
[0097] 更新单元204,可以用于：
[0098] 根据第t-Ι帧视频图像中子图像块i使用的相关滤波器《广、第t帧视频图像中该子 图像块的权重<、以及利用跟踪到的第t帧视频图像重新训练得到的新的相关滤波器 〇1，采 用下述公式对第t帧视频图像中子图像块使用过的相关滤波器α丨进行更新： t \{\-β^λα\Λ if w] > T
[0099] a； - 1 ! ' h 1 1 J '
[ al else
[0100] 其中，更新后的相关滤波器用于确定第t+1帧视频图像中子图像块的置信图，T为 预设阈值，β为相关滤波器更新因子。
[0101] 由上可知，本发明实施例提供的一种目标跟踪设备，获取第t帧包含至少两个子图 像块的视频图像，确定第t帧视频图像中子图像块的置信图，根据子图像块对应的最大响应 值确定该子图像块对应的权重，根据子图像块的权重、以及子图像块的置信图，联合得到第 t帧视频图像的置信图，根据第t帧视频图像的置信图、与第t帧视频图像相邻的第t-i帧视 频图像的置信图、以及第t-Ι帧视频图像中目标的位置，确定第t帧视频图像中目标的位置， 其中，在对子图像确定权重时，若第一子图像块的置信图中的最大响应值大于第二子图像 块的置信图中的最大响应值，则第一子图像块对应的权重大于第二子图像块对应的权重， 即子图像块的置信图中的最大响应值越大，子图像块对应的权重越大，子图像块的置信图 中的最大响应值越小，子图像块对应的权重越小。
[0102] 由于最大响应值比置信图中的其他响应值更能真实地反映出该子图像块的固有 特征，最大响应值越大表示该子图像块的固有特征变化微小，即遮挡的可能性比小，最大响 应值越小表示该子图像块的固有特征变化较大，掺杂有大量的其他背景特征，即被大面积 遮挡，此时，将无遮挡的子图像块赋予较大权重，可以加重该子图像块在整个视频图像中的 地位，重点以该子图像块的位移情况估测整个视频图像中目标的当前位置，将被大面积遮 挡的子图像块赋予较小权重，可以削弱该子图像块在整个视频图像中的影响，降低被遮挡 目标被估测错误的概率，实现对整个视频图像中目标的准确跟踪。
[0103] 本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光 盘等各种可以存储程序代码的介质。
[0104]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1. 一种针对遮挡问题的目标跟踪方法，其特征在于，所述方法包括： 获取第t帖视频图像，所述第t帖视频图像包含至少两个子图像块； 确定所述子图像块的置信图，其中，所述子图像块的置信图包括所述子图像块对应的 至少一个响应值； 确定所述置信图中所述子图像块对应的最大响应值，根据所述子图像块对应的最大响 应值确定所述子图像块对应的权重，其中，若第一子图像块的置信图中的最大响应值大于 第二子图像块的置信图中的最大响应值，则所述第一子图像块对应的权重大于所述第二子 图像块对应的权重； 根据所述子图像块的权重、W及所述子图像块的置信图，联合得到所述第t帖视频图像 的置信图； 根据所述第t帖视频图像的置信图、与所述第t帖视频图像相邻的第t-1帖视频图像的 置信图、W及所述第t-1帖视频图像中目标的位置，确定所述第t帖视频图像中目标的位置。2. 根据权利要求1所述的方法，其特征在于，对第t帖视频图像中的任意子图像块i，根 据所述子图像块i对应的最大响应值确定所述子图像块i对应的权重，包括： 根据公??得到所述第t帖视频图像中子图像块i的权重 W;; 其中，表示第t帖视频图像中子图像块i的权重表示第t帖视频图像中子图像块i 的置信图，max.//表示第t帖视频图像中子图像块i的置信图中的最大响应值，ut表示第t帖 视频图像中所述子图像块的置信图中的最大响应值的平均值，为第t帖视频图像中所述 子图像块的置信图中的最大响应值的方差，η为一个权衡参量，表示第t-1帖视频图像中 子图像块i的置信图。3. 根据权利要求1所述的方法，其特征在于，对第t帖视频图像中的任意子图像块i，根 据所述子图像块i对应的最大响应值确定所述子图像块i对应的权重，包括： 根据公式#到所述第t帖视频图像中子图像块i的权重 其中，表示第t帖视频图像中子图像块i的权重表示第t帖视频图像中子图像块i 的置信图，maxi/表示第t帖视频图像中子图像块i的置信图中的最大响应值，表示第t帖 视频图像中子图像块i的置信图中响应值的平均值，扣表示子图像块i的置信图中响应值的 方差，η为一个权衡参量，i：y表示第t-1帖视频图像中子图像块i的置信图。4. 根据权利要求1-3任一项所述的方法，其特征在于，对所述第t帖视频图像中的任意 子图像块，所述确定所述子图像块的置信图，包括： 采用核相关滤波算法确定所述子图像块的置信图； 所述采用核相关滤波算法确定所述子图像块的置信图，包括： 提取所述子图像块的至少一个特征； 将所述至少一个特征输入相关滤波器，得到所述子图像块的置信图，所述置信图中的 响应值与子图像块的特征一一对应。5. 根据权利要求4所述的方法，其特征在于，对于所述第t帖视频图像中的任意子图像 块i，所述方法还包括： 根据所述第t-1帖视频图像中所述子图像块i使用的相关滤波器泣fi、所述第t帖视频图 像中所述子图像块的权重及利用跟踪到的所述第t帖视频图像重新训练得到的新的 相关滤波器〇1，采用下述公式对所述第t帖视频图像中所述子图像块使用过的相关滤波器 α/进行更新：其中，所述更新后的相关滤波器用于确定第t+1帖视频图像中所述子图像块的置信图， 所述T为预设阔值，β为相关滤波器更新因子。6. 根据权利要求1所述的方法，其特征在于，所述根据所述子图像块的权重、W及所述 子图像块的置信图，联合得到所述第t帖视频图像的置信图，包括： 将所述子图像块的权重与自身的置信图相乘； 将相乘后的结果进行求和计算得到所述第t帖视频图像的置信图。7. -种针对遮挡问题的目标跟踪设备，其特征在于，所述设备包括： 获取单元，用于获取第t帖视频图像，所述第t帖视频图像包含至少两个子图像块； 确定单元，用于确定所述子图像块的置信图，其中，所述子图像块的置信图包括所述子 图像块对应的至少一个响应值； 权重计算单元，用于确定所述置信图中所述子图像块对应的最大响应值，根据所述子 图像块对应的最大响应值确定所述子图像块对应的权重，其中，若第一子图像块的置信图 中的最大响应值大于第二子图像块的置信图中的最大响应值，则所述第一子图像块对应的 权重大于所述第二子图像块对应的权重； 所述确定单元，还用于根据所述子图像块的权重、W及所述子图像块的置信图，联合得 到所述第t帖视频图像的置信图； W及，根据所述第t帖视频图像的置信图、与所述第t帖视频图像相邻的第t-1帖视频图 像的置信图、W及所述第t-1帖视频图像中目标的位置，确定所述第t帖视频图像中目标的 位置。8. 根据权利要求7所述的设备，其特征在于，对第t帖视频图像中的任意子图像块i，所 述权重计算单元，用于： 根据公得到所述第t帖视频图像中子图像块i的权重 其中，W;表示第t帖视频图像中子图像块i的权重，若表示第t帖视频图像中子图像块i 的置信图，max.//表示第t帖视频图像中子图像块i的置信图中的最大响应值，ut表示第t帖 视频图像中所述子图像块的置信图中的最大响应值的平均值，〇t为第t帖视频图像中所述 子图像块的置信图中的最大响应值的方差，η为一个权衡参量，式'-1表示第t-1帖视频图像中 子图像块i的置信图。9. 根据权利要求7所述的设备，其特征在于，对第t帖视频图像中的任意子图像块i，所 述权重计算单元，用于： 根据公式得到所述第t帖视频图像中子图像块i的权重 作； 其中，哨表示第t帖视频图像中子图像块i的权重，表示第t帖视频图像中子图像块i 的置信图，max r表示第t帖视频图像中子图像块i的置信图中的最大响应值，Μ,嗦示第t帖 视频图像中子图像块i的置信图中响应值的平均值，σ表示第t帖视频图像中子图像块i的 置信图中响应值的方差，rl为一个权衡参量，J^ι表示第t-l帖视频图像中子图像块i的置信 图。10. 根据权利要求7-9任一项所述的设备，其特征在于，对所述第t帖视频图像中的任意 子图像块，所述确定单元，用于： 采用核相关滤波算法确定所述子图像块的置信图； 所述采用核相关滤波算法确定所述子图像块的置信图，包括： 提取所述子图像块的至少一个特征； 将所述至少一个特征输入相关滤波器，得到所述子图像块的置信图，所述置信图中的 响应值与子图像块的特征一一对应。11. 根据权利要求10所述的设备，其特征在于，对于所述第t帖视频图像中的任意子图 像块i，所述设备还包括:更新单元； 所述更新单元，用于： 根据第t-1帖视频图像中所述子图像块i使用的相关滤波器《,"、所述第t帖视频图像中 所述子图像块的权重w,t、W及利用跟踪到的所述第t帖视频图像重新训练得到的新的相关 滤波器〇1，采用下述公式对所述第t帖视频图像中所述子图像块使用过的相关滤波器每进 行更新：其中，所述更新后的相关滤波器用于确定第t+1帖视频图像中所述子图像块的置信图， 所述T为预设阔值，β为相关滤波器更新因子。12. 根据权利要求7所述的设备，其特征在于，所述确定单元，用于： 将所述子图像块的权重与自身的置信图相乘； 将相乘后的结果进行求和计算得到所述第t帖视频图像的置信图。
【文档编号】G06T7/20GK106097383SQ201610373680
【公开日】2016年11月9日
【申请日】2016年5月30日
【发明人】冷佳旭
【申请人】海信集团有限公司