一种目标跟踪的方法和装置的制造方法

一种目标跟踪的方法和装置的制造方法
【专利摘要】本发明公开一种目标跟踪的方法和装置，涉及图像处理技术领域，旨在解决目标跟踪的准确性和可靠性较低的问题。该目标跟踪的方法包括：判断整体相似度是否小于预设的整体相似度阈值；若整体相似度小于预设的整体相似度阈值，在当前图像帧中获取候选跟踪框；判断第一前景相似度是否小于预设的前景相似度阈值；若第一前景相似度大于或等于预设的前景相似度阈值，将候选跟踪框内视频图像的整体特征作为跟踪目标图像的整体特征；将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。本发明提供的目标跟踪的方法和装置用于目标跟踪过程中。
【专利说明】
一种目标跟踪的方法和装置
技术领域
[0001] 本发明涉及图像处理技术领域，尤其涉及一种目标跟踪的方法和装置。
【背景技术】
[0002] 目标跟踪是一项融合图像处理、模式识别、人工智能及自动控制等多种不同技术 的综合性应用技术，广泛应用于各种领域中。目标跟踪是指对图像序列中的运动目标或是 特征单一的物体进行检测、识别和跟踪，通过获取跟踪目标的位置、速度等参数或是目标的 形状和颜色等特征，对其进一步处理，得到跟踪目标的具体信息，从而实现对跟踪目标的准 确跟踪。在进行目标跟踪过程中，由于跟踪目标的变化、外界光线的变化以及障碍物的遮挡 等因素，目标跟踪效果较差，当跟踪目标丢失后，很难实现跟踪目标的再匹配。
[0003] 目前，在本领域中，往往对跟踪目标所在的跟踪框中的整体图像提取特征，根据提 取到的特征进行目标跟踪。但是，在一些背景复杂的场景中，随着跟踪目标的不断移动，跟 踪目标所在的跟踪框中的背景图像可能会发生剧烈变化，或者，跟踪目标可能会被其他物 体遮挡，利用上述情况中提取的跟踪框中的图像的特征对跟踪目标的特征进行更新，由于 不能准确判断背景变化情况以及跟踪目标被遮挡的具体部分，导致更新后的跟踪目标的特 征不准确，从而导致目标跟踪的准确性和可靠性较低。

【发明内容】

[0004] 本发明的目的在于提供一种目标跟踪的方法和装置，用于提高目标跟踪的准确性 和可靠性。
[0005] 为了实现上述目的，本发明提供如下技术方案：
[0006] -方面，本发明提供了 一种目标跟踪的方法，包括：
[0007] 判断整体相似度是否小于预设的整体相似度阈值，所述整体相似度为当前图像帧 中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度；
[0008] 若所述整体相似度小于预设的整体相似度阈值，在当前图像帧中获取候选跟踪 框，所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度 最高，或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图像的整体特征之间的 相似度最高；
[0009]判断第一前景相似度是否小于预设的前景相似度阈值，所述第一前景相似度为所 述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度； [0010]若所述第一前景相似度大于或等于预设的前景相似度阈值，将所述候选跟踪框内 视频图像的整体特征作为所述跟踪目标图像的整体特征；
[0011] 将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。
[0012] 另一方面，本发明提供了 一种目标跟踪的装置，包括：
[0013] 第一判断模块，用于判断整体相似度是否小于预设的整体相似度阈值，所述整体 相似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之 间的相似度；
[0014] 第一获取模块，用于当所述整体相似度小于预设的整体相似度阈值时，在当前图 像帧中获取候选跟踪框，所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前 景特征之间的相似度最高，或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图 像的整体特征之间的相似度最高；
[0015] 第二判断模块，用于判断第一前景相似度是否小于预设的前景相似度阈值，所述 第一前景相似度为所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特 征之间的相似度；
[0016] 第一更新模块，用于当所述第一前景相似度大于或等于预设的前景相似度阈值 时，将所述候选跟踪框内视频图像的整体特征作为所述跟踪目标图像的整体特征；
[0017] 第二更新模块，用于将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标 图像的前景特征。
[0018] 本发明提供的目标跟踪的方法和装置中，根据整体相似度与预设的整体相似度的 对比，以及第一前景相似度与预设的前景相似度阈值的对比，决定是否进行跟踪目标图像 的整体特征的更新以及前景特征的更新。与在跟踪框中的视频图像发生剧烈变化时依然利 用跟踪框中的图像的特征进行更新的现有技术相比，本发明中当整体相似度小于整体相似 阈值时，表示预设跟踪框中的视频图像较跟踪目标图像变化较大，需要重新搜索跟踪目标， 利用前景特征的相似度，得到候选跟踪框，当第一前景相似度大于或等于预设的前景相似 度阈值时，确定候选跟踪框中的跟踪目标与跟踪目标图像对应的跟踪目标为相同目标，可 以将候选跟踪框内视频图像的整体特征和前景特征作为跟踪目标图像的整体特征和前景 特征，从而避免错误的跟踪目标图像的整体特征和前景特征的更新，通过利用跟踪目标图 像的整体特征和前景特征进行目标跟踪，提高了目标跟踪的准确性和可靠性。
【附图说明】
[0019] 此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0020] 图1为本发明实施例中目标跟踪的方法的流程图之一；
[0021 ]图2为本发明实施例中图像帧的举例示意图；
[0022] 图3为与图2对应的前景图像的举例示意图；
[0023] 图4为本发明实施例中目标跟踪的方法的流程图之二；
[0024]图5为本发明实施例中目标跟踪的方法的流程图之三；
[0025] 图6为本发明实施例中目标跟踪的方法的流程图之四；
[0026] 图7为本发明实施例中目标跟踪的方法的流程图之五；
[0027] 图8为本发明实施例中目标跟踪的方法的流程图之六；
[0028] 图9为本发明实施例中目标跟踪的装置的结构示意图之一；
[0029] 图10为本发明实施例中目标跟踪的装置的结构示意图之二；
[0030] 图11为本发明实施例中目标跟踪的装置的结构示意图之三；
[0031 ]图12为本发明实施例中目标跟踪的装置的结构示意图之四；
[0032]图13为本发明实施例中目标跟踪的装置的结构示意图之五。
【具体实施方式】
[0033] 为了进一步说明本发明实施例提供的目标跟踪的方法和装置，下面结合说明书附 图进行详细描述。
[0034] 在本发明实施例提供的目标跟踪的方法，应用于终端设备，示例的，应用于智能交 通领域的目标车辆跟踪、社区内的目标人物跟踪或者视频录像中的目标跟踪等，可以对单 一跟踪目标进行跟踪，也可以对多个跟踪目标进行跟踪。本发明的执行主体包括但不限于 智能手机、台式电脑、智能电视、笔记本电脑、平板电脑、监控器等终端设备。
[0035] 请参阅图1，本发明实施例提供的目标跟踪的方法包括：
[0036] 步骤101，判断整体相似度是否小于预设的整体相似度阈值。整体相似度为当前图 像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度，整体 相似度越高，证明当前图像帧中预设跟踪框内视频图像的整体图像与跟踪目标图像的整体 图像越相似。预设跟踪框为终端设备在当前图像帧预设的搜索范围内与跟踪目标图像的整 体特征的相似度最高的视频图像所在的跟踪框，或者预设跟踪框为终端设备在当前图像帧 预设的搜索范围内与跟踪目标图像的前景特征的相似度最高的视频图像所在的跟踪框。其 中，可以检测得到当前图像帧的搜索范围内的目标人物，将目标人物所在的跟踪框中的图 像的整体特征与跟踪目标图像的整体特征进行比对，将整体特征的相似度最高的目标人物 所在的跟踪框作为预设跟踪框，或者将目标人物所在的跟踪框中的图像的前景特征与跟踪 目标图像的前景特征进行比对，将前景特征的相似度最高的目标人物所在的跟踪框作为预 设跟踪框。搜索范围可以根据跟踪目标的移动速度设定，比如，以跟踪目标图像所在的跟踪 框的位置为中心，以r为半径得到的圆为搜索区域，r可以根据跟踪目标的移动速度设定。跟 踪目标图像是在目标跟踪过程中的跟踪目标的图像，目标跟踪图像会在目标跟踪过程中进 行多次更新，每次更新后的目标跟踪图像会替换掉原来的目标跟踪图像。
[0037] 其中，可以利用巴氏（Bhattacharyya)距离公式来计算相似度，巴氏距离公式为
其中，s(x，x'）为相似度，N为图像的特征以向量集合 的形式表示时的向量的个数，f(x)为最近一次更新的图像帧的跟踪框中的图像的特征(包 括整体特征或前景特征），f(x')为当前图像帧的跟踪框中的图像的特征(包括整体特征或 前景特征），上述巴氏距离公式可以用于计算整体相似度，以及后续出现的第一前景相似度 和第二前景相似度。值得一提的是，整体相似阈值的具体数值可以根据具体工作场景设定， 在此并不限定
[0038]跟踪框中的视频图像既包括前景图像，也包括背景图像，前景图像主要指跟踪框 中被跟踪的运动物体的图像，比如，图像中去除背景图像后的一个或多个人物。前景特征为 根据前景图像提取出的特征，整体特征为根据跟踪框中的视频图像的整体图像提取出的特 征，前景特征和整体特征具体可以用向量集合来表示，进行整体特征和前景特征的提取可 以采用方向梯度直方图（Histogram of Oriented Gradient,H0G)特征提取方法、局部二值 模式(Local Binary Pattern，LBP)特征提取方法以及颜色直方图特征提取方法等。值得一 提的是，预设跟踪框以及后续提到的候选跟踪框均为跟踪框，预设跟踪框以及候选跟踪框 内的视频图像的前景特征提取和整体特征提取的方法与下面介绍的跟踪框内的前景特征 提取方法一致。具体的，可以将图像帧的跟踪框中的视频图像分为他块，获取Λ块中每一块 对应的整体子特征，将见块分别对应的整体子特征的合集作为图像帧内视频图像的整体特 征，他为正整数;将图像帧的跟踪框内视频图像的前景图像分为Ν 2块，获取Ν2块中每一块对 应的前景子特征，将Ν2块分别对应的前景子特征的合集作为前景特征，犯为正整数。由于前 景图像为跟踪框内的视频图像除去背景图像得到的，因此对前景图像分块的块数仏较少， 要少于跟踪框内视频图像分块的块数Λ，即Λ >Ν2。
[0039] 具体实施过程中，可以对当前图像帧的跟踪框可以利用背景建模的方式，将图像 帧的前景图像和背景图像分割开来，便于对整体特征和前景特征的提取。比如，构建背景模 型，背景模型的尺寸和图像帧的视频图像的大小是一致的，具体对背景模型中的每一个像 素进行建模，背景模型中每一个像素的对应位置都存储有多个历史图像帧中的像素值，可 以用…，B k(Xl)，…，Βμ(Χι)}表示，像素值可以是该像素位置对应的像素值， 也可以是该像素位置的四邻域的位置对应的像素值，构建的背景模型的像素值也会按照一 定的更新频率更新。可以利用公式#{di St(I(Xl)，Bk(Xl))〈R(Xl)}〈#_来进行背景像素和前 景像素的区分，其中，I( Xl)为当前图像帧中某一位置的像素值，Bk(Xl)为已构建的背景模型 中的某一个像素的像素值，R( Xl)为差异阈值，dist表示计算差异度，差异度表示对比的两 个对象不同的程度，差异度越高，对比的两个对象差别越大，# min为预设的像素匹配个数阈 值，#表示计算像素个数，满足公式#{(^1:(1(1：1)，81^：1))〈1^：1)}〈#11^的像素值对应的像素 为前景像素，不满足公式#{虹^(1(1 1)，815(11))〈以^)}〈1111的像素值对应的像素为背景像 素。根据前景像素和背景像素，从而得到背景图像和前景图像，比如，如图2所示的图像帧的 视频图像以及图3中白色部分所示的前景图像。
[0040] 步骤102,若整体相似度小于预设的整体相似度阈值，在当前图像帧中获取候选跟 踪框。其中，候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度 最高，或者候选跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度最 高。整体相似度小于整体相似度阈值，表示当前图像帧中的预设跟踪框中的视频图像与跟 踪目标图像相比变化较大，需要选取与跟踪目标图像更加相似的候选跟踪框，由于跟踪目 标有可能离开了搜索范围，为了保证能够在当前图像帧重新匹配到跟踪目标，提高目标跟 踪的准确性，在扩大搜索范围内获取候选跟踪框，扩大搜索范围的面积大于搜索区域，且包 含搜索区域。其中，可以检测得到当前图像帧的扩大搜索范围内的目标人物，将目标人物所 在的跟踪框中的图像的整体特征与跟踪目标图像的整体特征进行比对，将整体特征的相似 度最高的目标人物所在的跟踪框作为候选跟踪框，或者将目标人物所在的跟踪框中的图像 的前景特征与跟踪目标图像的前景特征进行比对，将前景特征的相似度最高的目标人物所 在的跟踪框作为候选跟踪框。
[0041] 步骤103,判断第一前景相似度是否小于预设的前景相似度阈值。其中，第一前景 相似度为候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度，第 一前景相似度也可以利用巴氏距离公式计算。需要说明的是，前景相似度阈值的具体数值 可以根据具体工作场景进行设定，在此并不限定。
[0042]步骤104,若第一前景相似度大于或等于预设的前景相似度阈值，将候选跟踪框内 视频图像的整体特征作为跟踪目标图像的整体特征。当第一前景相似度大于或等于预设的 前景相似度阈值时，认为候选跟踪框内视频图像为跟踪目标图像，因此需要对跟踪目标图 像重新进行特征初始化，即将当前图像帧候选跟踪框内视频图像的整体特征直接作为跟踪 目标图像更新后的整体特征。
[0043] 步骤105,将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。在 第一前景相似度大于或等于预设的前景相似度阈值时，将候选跟踪框内视频图像的前景特 征作为跟踪目标图像的前景特征。需要说明的是，步骤105可以和将候选跟踪框内视频图像 的整体特征作为跟踪目标图像的整体特征的步骤同时执行，也可以先后执行，具体执行时 序在这里并不限定。
[0044] 本发明提供的目标跟踪的方法中，根据整体相似度与预设的整体相似度的对比， 以及第一前景相似度与预设的前景相似度阈值的对比，决定是否进行跟踪目标图像的整体 特征的更新以及前景特征的更新。与在跟踪框中的视频图像发生剧烈变化时依然利用跟踪 框中的图像的特征进行更新的现有技术相比，本发明中当整体相似度小于整体相似阈值 时，表示预设跟踪框中的视频图像较跟踪目标图像变化较大，需要重新搜索跟踪目标，利用 前景特征的相似度，得到候选跟踪框，当第一前景相似度大于或等于预设的前景相似度阈 值时，确定候选跟踪框中的跟踪目标与跟踪目标图像对应的跟踪目标为相同目标，可以将 候选跟踪框内视频图像的整体特征和前景特征作为跟踪目标图像的整体特征和前景特征， 从而避免错误的跟踪目标图像的整体特征和前景特征的更新，通过利用跟踪目标图像的整 体特征和前景特征进行目标跟踪，提高了目标跟踪的准确性和可靠性。
[0045] 请参阅图4,为了能够使跟踪目标图像的前景特征更新更加准确，还可以在上述步 骤105之前增添步骤106,具体内容如下：
[0046] 步骤106,若第一前景相似度大于或等于预设的前景相似度阈值，判断第一前景图 像比例是否大于或等于预设的第一比例阈值。其中，第一前景图像比例为候选跟踪框内视 频图像的前景图像的面积占候选跟踪框内视频图像的面积的比例。当第一前景图像比例大 于或等于预设的第一比例阈值时，才执行上述步骤105,从而进一步提高目标跟踪的准确性 和可靠性。
[0047] 由于在图像帧的跟踪框中，占跟踪框内视频图形的面积的比例过小的前景图像在 前景特征的更新过程中会产生些许影响，可能会降低前景特征更新的准确性，因此在前景 图像的面积占候选跟踪框内视频图像的面积的比例大至不会降低前景特征更新的准确性 时，才进行前景特征的更新，即在第一前景图像比例大于或等于预设的第一比例阈值时，将 候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征，进一步提高前景特征更 新的准确性和可靠性。
[0048] 需要说明的是，步骤106可以和上述步骤104同时执行，或在步骤104之后执行，在 此并不限定。
[0049] 请参阅图5,当整体相似度大于或等于预设的整体相似度阈值时，还可以在步骤 103之后增添步骤107-步骤109,具体内容如下：
[0050] 步骤107,若整体相似度大于或等于预设的整体相似度阈值，判断预设跟踪框内视 频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阈值。整体相似度大于或等于预设 的整体相似度阈值，表示当前图像帧的预设跟踪框内视频图像与跟踪目标图像相比，变化 并不大，可以利用当前图像帧的预设跟踪框内的视频图像的整体特征更新跟踪目标图像的 整体特征。由于如果跟踪目标被遮挡面积较大时，会影响前景特征的更新，更新的前景特征 的准确率较低，因此需要判断预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预 设遮挡面积阈值，从而决定是否需要更新跟踪目标图像的前景特征。具体的，可以用像素数 目来表示跟踪目标被遮挡的面积、遮挡面积阈值，遮挡面积阈值的具体数值可以根据具体 工作场景设定，在此并不限定。
[0051]步骤108,若预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设遮挡面积 阈值，获取第二前景相似度，保证在预设跟踪框内视频图像中的跟踪目标被遮挡现象不严 重的前提下，获取更新跟踪目标图像的前景特征所需的第二前景相似度。其中，第二前景相 似度为预设跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相似度。 [0052]步骤109,根据整体相似度和预设跟踪框内视频图像的整体特征，更新跟踪目标图 像的整体特征，以及根据第二前景相似度和预设跟踪框内视频图像的前景特征，更新跟踪 目标图像的前景特征。需要说明的是，根据整体相似度和预设跟踪框内视频图像的整体特 征，更新跟踪目标图像的整体特征在步骤109中执行只是本实施例中的一种可能，根据整体 相似度和预设跟踪框内视频图像的整体特征，更新跟踪目标图像的整体特征的流程也可以 在步骤107中确定整体相似度大于或等于预设的整体相似度阈值时执行。
[0053]请参阅图6,为了能够使跟踪目标图像的前景特征更新更加准确，还可以在上述步 骤108之前增添步骤110,具体内容如下：
[0054]步骤110,若预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设的遮挡面 积阈值，则判断第二前景图像比例是否大于或等于预设的第二比例阈值。其中，第二前景图 像比例为预设跟踪框内视频图像的前景图像的面积占预设跟踪框内视频图像的面积的比 例。当第二前景图像比例大于或等于预设第二比例阈值时，执行上述步骤108中的获取第二 前景相似度的流程。
[0055]由于在图像帧的跟踪框中，占跟踪框内视频图形的面积的比例过小的前景图像在 前景特征的更新过程中会产生些许影响，可能会降低前景特征更新的准确性，因此在前景 图像的面积占候选跟踪框内视频图像的面积的比例大至不会降低前景特征更新的准确性 时，才进行前景特征的更新，即在第二前景图像比例大于或等于预设的第二比例阈值时，根 据第二前景相似度和预设跟踪框内视频图像的前景特征，更新跟踪目标图像的前景特征， 进一步提高前景特征更新的准确性和可靠性。
[0056] 请参阅图7,上述步骤109可以具体细化为步骤1091-步骤1093,具体内容如下：
[0057] 步骤1091，根据公式
，得到第一更新比重u。其中，s为整 体相似度，At为当前图像帧与上次更新跟踪目标图像的整体特征对应的图像帧之间的间 隔帧数，本发明实施例中并不一定每一帧图像帧都进行更新，只有在满足上述实施例中的 特定条件后，才对整体特征和前景特征进行更新。
[0058] 步骤1092,根据公式
得到第二更新比重V，其中，V为 第二前景相似度，At为当前图像帧与上次更新的跟踪目标图像的前景特征对应的图像帧 之间的间隔帧数，关于A t的说明可以参见步骤1091的相关说明，在此不再赘述。
[0059] 步骤1093,根据第一更新比重和预设跟踪框内视频图像的整体特征，更新跟踪目 标图像的整体特征，以及根据第二更新比重和预设跟踪框内视频图像的前景特征，更新跟 踪目标图像的前景特征。具体的，可以利用根据公式^+峨，更新跟踪目标图 像的整体特征，其中，A '为预设跟踪框内视频图像的整体特征，Am'为上次更新的跟踪目标 图像的整体特征，％为本次更新后的跟踪目标图像的整体特征。可以利用根据公式 免' =(1 一《% 1 w爲，更新跟踪目标图像的前景特征，其中，免'为预设跟踪框内视频图像 的前景特征，戈：为上次更新的跟踪目标图像的前景特征，爲为本次更新后的跟踪目标图像 的前景特征。
[0060] 需要说明的是，在多目标跟踪的场景中，图像帧中往往存在多个跟踪目标，多个跟 踪目标之间可能会相互遮挡，整体相似度阈值包括遮挡整体阈值和非遮挡整体阈值，其中， 遮挡整体阈值大于非遮挡整体阈值，需要检测当前图像帧的预设跟踪框内的跟踪目标与任 意另一其他跟踪目标的重合面积是否大于或等于预设的重合面积阈值;若当前图像帧的预 设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积大于或等于预设的重合面积 阈值，则将遮挡整体阈值作为预设的整体相似度阈值;若当前图像帧的预设跟踪框内的跟 踪目标与任意另一其他跟踪目标的重合面积小于预设的重合面积阈值，则将非遮挡整体阈 值作为预设的整体相似度阈值。即设整体相似阈值为P，遮挡整体阈值为Pi，非遮挡整体阈 值为P2，pl>p2;当前图像帧的跟踪框中的跟踪目标与任意另一跟踪目标的重合面积大于 或等于预设的重合面积阈值，p=p1;当前图像帧的跟踪框中的跟踪目标与任意另一跟踪目 标的重合面积小于预设的重合面积阈值，p=p2。
[0061] 请参阅图8，在对一段视频图像进行目标跟踪时，需要对第一帧图像帧中的跟踪目 标图像的整体特征和前景特征进行初始化，在上述步骤101之前还可以增添步骤110,具体 内容如下：
[0062] 步骤110,接收用户对初始图像帧的目标选取指令，并根据目标选取指令，选定跟 踪目标，获取跟踪目标所在的跟踪框内视频图像的整体特征和前景特征。在初始图像帧中， 需要用户选定在这一段视频图像中的跟踪目标，用户可以通过按钮、触屏等方式发出目标 选取指令，终端设备接收用户的目标选取指令，选定跟踪目标，选定跟踪目标后，可以得到 跟踪目标在第一帧视频图像中的跟踪框，跟踪框的尺寸略大于跟踪目标，能够将跟踪目标 圈在跟踪框内，再获取跟踪目标所在的跟踪框内视频图像的整体特征和前景特征，作为初 始的跟踪目标图像的整体特征和前景特征。
[0063] 请参阅图9,本发明实施例提供了一种目标跟踪的装置200,包括：
[0064] 第一判断模块201，用于判断整体相似度是否小于预设的整体相似度阈值，整体相 似度为当前图像帧中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间 的相似度；
[0065] 第一获取模块202,用于当整体相似度小于预设的整体相似度阈值时，在当前图像 帧中获取候选跟踪框，候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间 的相似度最高，或者候选跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的 相似度最高；
[0066] 第二判断模块203,用于判断第一前景相似度是否小于预设的前景相似度阈值，第 一前景相似度为候选跟踪框内视频图像的前景特征与跟踪目标图像的前景特征之间的相 似度；
[0067]第一更新模块204,用于当第一前景相似度大于或等于预设的前景相似度阈值时， 将候选跟踪框内视频图像的整体特征作为跟踪目标图像的整体特征；
[0068]第二更新模块205,用于将候选跟踪框内视频图像的前景特征作为跟踪目标图像 的前景特征。
[0069] 本发明提供的目标跟踪的装置200中，根据整体相似度与预设的整体相似度的对 比，以及第一前景相似度与预设的前景相似度阈值的对比，决定是否进行跟踪目标图像的 整体特征的更新以及前景特征的更新。与在跟踪框中的视频图像发生剧烈变化时依然利用 跟踪框中的图像的特征进行更新的现有技术相比，本发明中当整体相似度小于整体相似阈 值时，表示预设跟踪框中的视频图像较跟踪目标图像变化较大，需要重新搜索跟踪目标，利 用前景特征的相似度，得到候选跟踪框，当第一前景相似度大于或等于预设的前景相似度 阈值时，确定候选跟踪框中的跟踪目标与跟踪目标图像对应的跟踪目标为相同目标，可以 将候选跟踪框内视频图像的整体特征和前景特征作为跟踪目标图像的整体特征和前景特 征，从而避免错误的跟踪目标图像的整体特征和前景图像的更新，提高了利用跟踪目标图 像的整体特征和前景特征进行目标跟踪的准确性和可靠性。
[0070] 请参阅图10,上述实施例中的目标跟踪的装置200还包括第三判断模块206,第三 判断模块206用于当第一前景相似度大于或等于预设的前景相似度阈值时，判断第一前景 图像比例是否大于或等于预设的第一比例阈值，第一前景图像比例为候选跟踪框内视频图 像的前景图像的面积占候选跟踪框内视频图像的面积的比例。
[0071] 且第二更新模块205具体用于当第一前景图像比例大于或等于预设的第一比例阈 值时，将候选跟踪框内视频图像的前景特征作为跟踪目标图像的前景特征。
[0072] 请参阅图11，上述实施例中的目标跟踪的装置200还包括：
[0073] 第四判断模块207,用于当整体相似度大于或等于预设的整体相似度阈值时，判断 预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阈值；
[0074]第二获取模块208,用于当预设跟踪框内视频图像中的跟踪目标被遮挡面积小于 预设遮挡面积阈值时，获取第二前景相似度，第二前景相似度为预设跟踪框内视频图像的 前景特征与跟踪目标图像的前景特征之间的相似度；
[0075]第三更新模块209，用于根据整体相似度和预设跟踪框内视频图像的整体特征，更 新跟踪目标图像的整体特征，以及根据第二前景相似度和预设跟踪框内视频图像的前景特 征，更新跟踪目标图像的前景特征。
[0076]请参阅图12，上述实施例中的目标跟踪的装置200还包括第五判断模块210，第五 判断模块210用于当预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设的遮挡面积 阈值时，判断第二前景图像比例是否大于或等于预设的第二比例阈值，第二前景图像比例 为预设跟踪框内视频图像的前景图像的面积占预设跟踪框内视频图像的面积的比例。 [0077]上述第二获取模块208具体用于当第二前景图像比例大于或等于预设第二比例阈 值时，获取第二前景相似度。
[0078]需要说明的是，上述第三更新模块209具体用于根据公式
得到第一更新比重u，其中，s为整体相似度，At为当前图像帧与上次更新跟踪目标图像的 整体特征对应的图像帧之间的间隔帧数;以及用于根据公式
，得 到第二更新比重V，其中，V为第二前景相似度，At为当前图像帧与上次更新跟踪目标图 像的前景特征对应的图像帧之间的间隔帧数；以及用于根据第一更新比重和预设跟踪框内 视频图像的整体特征，更新跟踪目标图像的整体特征，以及根据第二更新比重和预设跟踪 框内视频图像的前景特征，更新跟踪目标图像的前景特征。
[0079] 请参阅图13,当前图像帧中存在多个跟踪目标时，上述实施例中的目标跟踪的装 置200还包括：
[0080] 检测模块211，用于检测当前图像帧的预设跟踪框内的跟踪目标与任意另一其他 跟踪目标的重合面积是否大于或等于预设的重合面积阈值；
[0081] 第一确定模块212,用于当当前图像帧的预设跟踪框内的跟踪目标与任意另一其 他跟踪目标的重合面积大于或等于预设的重合面积阈值时，将遮挡整体阈值作为预设的整 体相似度阈值；
[0082] 第二确定模块213,用于当当前图像帧的预设跟踪框内的跟踪目标与任意另一其 他跟踪目标的重合面积小于预设的重合面积阈值时，将非遮挡整体阈值作为预设的整体相 似度阈值，其中，遮挡整体阈值大于非遮挡整体阈值。
[0083] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部 分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。对于目标跟踪的 装置的实施例而言，由于其基本相似于目标跟踪的方法的实施例，所以描述得比较简单，相 关之处参见目标跟踪的方法的实施例的部分说明即可。
[0084] 在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多 个实施例或示例中以合适的方式结合。
[0085] 以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1. 一种目标跟踪的方法，其特征在于，包括： 判断整体相似度是否小于预设的整体相似度阔值，所述整体相似度为当前图像帖中预 设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的相似度； 若所述整体相似度小于预设的整体相似度阔值，在当前图像帖中获取候选跟踪框，所 述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度最高， 或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图像的整体特征之间的相似 度最高； 判断第一前景相似度是否小于预设的前景相似度阔值，所述第一前景相似度为所述候 选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之间的相似度； 若所述第一前景相似度大于或等于预设的前景相似度阔值，将所述候选跟踪框内视频 图像的整体特征作为所述跟踪目标图像的整体特征； 将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。2. 根据权利要求1所述的目标跟踪的方法，其特征在于，在所述将所述候选跟踪框内视 频图像的前景特征作为所述跟踪目标图像的前景特征之前，还包括： 若所述第一前景相似度大于或等于预设的前景相似度阔值，判断第一前景图像比例是 否大于或等于预设的第一比例阔值，所述第一前景图像比例为所述候选跟踪框内视频图像 的前景图像的面积占所述候选跟踪框内视频图像的面积的比例； 若所述第一前景图像比例大于或等于预设的第一比例阔值，则执行所述将所述候选跟 踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征的步骤。3. 根据权利要求1所述的目标跟踪的方法，其特征在于，所述判断当前图像帖中预设跟 踪框内的整体特征与跟踪目标图像的整体特征之间的整体相似度是否小于预设整体相似 度阔值之后，还包括： 若所述整体相似度大于或等于预设的整体相似度阔值，判断所述预设跟踪框内视频图 像中的跟踪目标被遮挡面积是否小于预设遮挡面积阔值； 若所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设遮挡面积阔值，获取 第二前景相似度，所述第二前景相似度为所述预设跟踪框内视频图像的前景特征与所述跟 踪目标图像的前景特征之间的相似度； 根据所述整体相似度和所述预设跟踪框内视频图像的整体特征，更新所述跟踪目标图 像的整体特征，W及根据所述第二前景相似度和所述预设跟踪框内视频图像的前景特征， 更新所述跟踪目标图像的前景特征。4. 根据权利要求3所述的目标跟踪的方法，其特征在于，在所述获取第二前景相似度之 前，还包括： 若所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设的遮挡面积阔值，贝U 判断第二前景图像比例是否大于或等于预设的第二比例阔值，所述第二前景图像比例为所 述预设跟踪框内视频图像的前景图像的面积占所述预设跟踪框内视频图像的面积的比例； 若所述第二前景图像比例大于或等于预设第二比例阔值，执行获取所述第二前景相似 度的步骤。5. 根据权利要求3或4所述的目标跟踪的方法，其特征在于，所述根据所述整体相似度 和所述预设跟踪框内视频图像的整体特征，更新所述跟踪目标图像的整体特征，W及根据 所述第二前景相似度和所述预设跟踪框内视频图像的前景特征，更新所述跟踪目标图像的 前景特征，包括： 根据公式，得到第一更新比重U，其中，S为所述整体相似度， At为当前图像帖与上次更新所述跟踪目标图像的整体特征对应的图像帖之间的间隔帖 数； 根据公式得到第二更新比重U >，其中，S >为所述第二前景 相似度，At为当前图像帖与上次更新所述跟踪目标图像的前景特征对应的图像帖之间的 间隔帖数； 根据所述第一更新比重和所述预设跟踪框内视频图像的整体特征，更新所述跟踪目标 图像的整体特征，W及根据所述第二更新比重和所述预设跟踪框内视频图像的前景特征， 更新所述跟踪目标图像的前景特征。6. 根据权利要求1-5中任一项所述的目标跟踪的方法，其特征在于，还包括： 接收用户对初始图像帖的目标选取指令，并根据所述目标选取指令，选定跟踪目标，获 取所述跟踪目标所在的跟踪框内视频图像的整体特征和前景特征。7. 根据权利要求1所述的目标跟踪的方法，其特征在于，当前图像帖中存在多个跟踪目 标时； 在检测所述整体相似度是否大于或等于预设的整体相似阔值之前，还包括： 检测当前图像帖的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积是 否大于或等于预设的重合面积阔值； 若当前图像帖的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积大于 或等于预设的重合面积阔值，则将遮挡整体阔值作为预设的整体相似度阔值； 若当前图像帖的预设跟踪框内的跟踪目标与任意另一其他跟踪目标的重合面积小于 预设的重合面积阔值，则将非遮挡整体阔值作为预设的整体相似度阔值，其中，所述遮挡整 体阔值大于所述非遮挡整体阔值。8. -种目标跟踪的装置，其特征在于，包括： 第一判断模块，用于判断整体相似度是否小于预设的整体相似度阔值，所述整体相似 度为当前图像帖中预设跟踪框内视频图像的整体特征与跟踪目标图像的整体特征之间的 相似度； 第一获取模块，用于当所述整体相似度小于预设的整体相似度阔值时，在当前图像帖 中获取候选跟踪框，所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特 征之间的相似度最高，或者所述候选跟踪框内视频图像的整体特征与所述跟踪目标图像的 整体特征之间的相似度最高； 第二判断模块，用于判断第一前景相似度是否小于预设的前景相似度阔值，所述第一 前景相似度为所述候选跟踪框内视频图像的前景特征与所述跟踪目标图像的前景特征之 间的相似度； 第一更新模块，用于当所述第一前景相似度大于或等于预设的前景相似度阔值时，将 所述候选跟踪框内视频图像的整体特征作为所述跟踪目标图像的整体特征； 第二更新模块，用于将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像 的前景特征。9. 根据权利要求8所述的目标跟踪的装置，其特征在于，还包括： 第Ξ判断模块，用于当所述第一前景相似度大于或等于预设的前景相似度阔值时，判 断第一前景图像比例是否大于或等于预设的第一比例阔值，所述第一前景图像比例为所述 候选跟踪框内视频图像的前景图像的面积占所述候选跟踪框内视频图像的面积的比例； 第二更新模块具体用于当所述第一前景图像比例大于或等于预设的第一比例阔值时， 将所述候选跟踪框内视频图像的前景特征作为所述跟踪目标图像的前景特征。10. 根据权利要求8所述的目标跟踪的装置，其特征在于，还包括： 第四判断模块，用于当所述整体相似度大于或等于预设的整体相似度阔值时，判断所 述预设跟踪框内视频图像中的跟踪目标被遮挡面积是否小于预设遮挡面积阔值； 第二获取模块，用于当所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设 遮挡面积阔值时，获取第二前景相似度，所述第二前景相似度为所述预设跟踪框内视频图 像的前景特征与所述跟踪目标图像的前景特征之间的相似度； 第Ξ更新模块，用于根据所述整体相似度和所述预设跟踪框内视频图像的整体特征， 更新所述跟踪目标图像的整体特征，W及根据所述第二前景相似度和所述预设跟踪框内视 频图像的前景特征，更新所述跟踪目标图像的前景特征。11. 根据权利要求10所述的目标跟踪的装置，其特征在于，还包括： 第五判断模块，用于当所述预设跟踪框内视频图像中的跟踪目标被遮挡面积小于预设 的遮挡面积阔值时，判断第二前景图像比例是否大于或等于预设的第二比例阔值，所述第 二前景图像比例为所述预设跟踪框内视频图像的前景图像的面积占所述预设跟踪框内视 频图像的面积的比例； 所述第二获取模块具体用于当所述第二前景图像比例大于或等于预设第二比例阔值 时，获取所述第二前景相似度。12. 根据权利要求10或11所述的目标跟踪的装置，其特征在于，所述第Ξ更新模块具体 用于： 根据公式I到第一更新比重U，其中，S为所述整体相似度， At为当前图像帖与上次更新所述跟踪目标图像的整体特征对应的图像帖之间的间隔帖 数； 根据公式，得到第二更新比重U >，其中，S >为所述第二前景 相似度，At为当前图像帖与上次更新所述跟踪目标图像的前景特征对应的图像帖之间的 间隔帖数； 根据所述第一更新比重和所述预设跟踪框内视频图像的整体特征，更新所述跟踪目标 图像的整体特征，W及根据所述第二更新比重和所述预设跟踪框内视频图像的前景特征， 更新所述跟踪目标图像的前景特征。13. 根据权利要求8所述的目标跟踪的装置，其特征在于，当前图像帖中存在多个跟踪 目标;所述目标跟踪的装置还包括： 检测模块，用于检测当前图像帖的预设跟踪框内的跟踪目标与任意另一其他跟踪目标 的重合面积是否大于或等于预设的重合面积阔值； 第一确定模块，用于当当前图像帖的预设跟踪框内的跟踪目标与任意另一其他跟踪目 标的重合面积大于或等于预设的重合面积阔值时，将遮挡整体阔值作为预设的整体相似度 阔值； 第二确定模块，用于当当前图像帖的预设跟踪框内的跟踪目标与任意另一其他跟踪目 标的重合面积小于预设的重合面积阔值时，将非遮挡整体阔值作为预设的整体相似度阔 值，其中，所述遮挡整体阔值大于所述非遮挡整体阔值。
【文档编号】G06T7/20GK106097385SQ201610377828
【公开日】2016年11月9日
【申请日】2016年5月31日
【发明人】王智慧
【申请人】海信集团有限公司