基于视频图像的目标实时追踪方法及其装置制造方法
【专利摘要】本申请公开了一种基于视频图像的目标实时追踪方法/装置：获取跟踪目标在参考帧中的位置，基于该位置计算跟踪目标在当前帧的位置，而后利用所计算的位置上的特征矩阵基于验证模型判断当前帧的跟踪目标是否追踪成功，从而提高了跟踪的正确性，进而降低了错误追踪跟踪目标的概率；进一步，利用连贯度模型计算跟踪目标形态连贯度以决定是否需要更新验证模型、预设分类器，从而保证了追踪的可持续性。
【专利说明】基于视频图像的目标实时追踪方法及其装置
【技术领域】
[0001] 本申请涉及视频与图像信息处理领域，尤其涉及到一种基于视频图像的目标实时 追踪方法及其装置。
【背景技术】
[0002] 目标追踪是一种主动的视频监控方式，在监控场景中出现突发事件或检测到感兴 趣目标后，主动对该目标进行锁定，通过不断估算偏移量，调整摄像机的角度、焦急等参数， 来达到持续追踪目标的目的。通过不断追踪，可以捕获目标的完整运行轨迹和详细特征信 息，为突发事件分析、感兴趣目标行为分析以及公安机关办案提供数据支持。
[0003] 通常，在对跟踪目标进行实时追踪时，会从已知跟踪目标位置的图像帧中选取一 帧作为参考帧，以辅助当前帧的追踪。当跟踪目标形态变化、被阻挡物遮拦等状况发生时， 常会发生追踪偏移甚至追踪错误。现有技术中，尚缺乏对跟踪目标的追踪验证，因此，当前 中贞跟S示目标追S示偏移/错误后，在后续的追S示过程中，其目标追S示可能会建立在追S示偏移/ 错误参考帧的基础上，从而导致偏移/错误累积，进而导致整个追踪失败。
【发明内容】
[0004] 本申请提供一种基于视频图像的目标实时追踪方法及其装置，以实现验证跟踪目 标是否被正确跟踪。
[0005] 根据本申请的第一方面，本申请提供一种基于视频图像的目标实时追踪方法，包 括：
[0006] 图像获取步骤：获取当前帧图像数据；
[0007] 跟踪目标参考帧位置确定步骤：从之前的已知跟踪目标位置的图像数据中选取至 少一巾贞作为参考巾贞，并获取跟踪目标在参考巾贞中的位置；
[0008] 跟踪目标当前位置计算步骤：基于跟踪目标在参考帧图像数据中的位置计算跟踪 目标在当前帧的位置；
[0009] 跟踪目标验证步骤：计算当前帧位置像素矩阵的特征矩阵，基于该特征矩阵利用 验证模型计算跟踪目标在该当前帧位置上的验证概率，如果验证概率大于预设验证阈值， 则该当前帧的位置为跟踪目标在该当前帧的位置。
[0010] 根据本申请的第二方面，本申请提供一种基于视频图像的目标实时追踪装置，包 括：图像获取模块、参考位置确定模块、当前位置计算模块和跟踪目标验证模块，其中，
[0011] 图像获取模块用于获取当前帧图像数据；
[0012] 参考位置确定模块用于从之前至少一帧已知跟踪目标位置的图像数据中选取一 中贞作为参考巾贞，并获取跟踪目标在参考巾贞中的位置；
[0013] 当前位置计算模块用于基于跟踪目标在参考帧图像数据中的位置计算跟踪目标 在当前帧的位置；
[0014] 跟踪目标验证模块，用于计算当前帧位置像素矩阵的特征矩阵，基于该特征矩阵 利用验证模型计算跟踪目标在该当前帧位置上的验证概率，如果验证概率大于预设验证阈 值，则该当前帧的位置为跟踪目标在该当前帧的位置。
[0015] 本申请的有益效果是：由于利用验证模型计算跟踪目标在当前帧跟踪位置上的验 证概率，根据所求的验证概率能够判断出当前帧跟踪目标所处位置是否正确，从而提高了 跟踪的正确性，进而降低了错误追踪跟踪目标的概率。
【专利附图】
【附图说明】
[0016] 图1为本申请实施例基于视频图像的目标实时追踪装置的一种结构不意图；
[0017] 图2为本申请实施例基于视频图像的目标实时追踪方法流程图；
[0018] 图3a和图3b为本申请实施例跟踪目标所在位直不意图，其中，图3a为跟踪目标 在参考帧中的位置示意；图3b为跟踪目标在当前帧中的位置示意图；
[0019]图4为本申请实施例划分像素块的策略示意图；
[0020] 图5为本申请实施例跟踪目标的当前帧位置计算流程图；
[0021] 图6为本申请实施例P-N分类器队列示意图；
[0022] 图7为本申请实施例跟踪目标验证流程图；
[0023] 图8为本申请实施例跟踪目标形态连贯度计算流程图。
【具体实施方式】
[0024] 下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0025] 在基于视频图像对目标进行实时跟踪时，通常会实时地从已知跟踪目标位置的图 像中选取一帧作为参考帧，基于跟踪目标在所选取参考帧的位置来计算跟踪目标在当前图 像帧的位置，从而实现跟踪目标的实时跟踪。
[0026] 请参考图1，为本实施例公开的一种基于视频图像的目标实时追踪装置，该追踪装 置包括：图像获取模块1、跟踪目标参考帧位置确定模块2、跟踪目标当前位置计算模块3和 跟踪目标验证模块4,其中，
[0027] 图像获取模块1用于获取当前帧图像数据；
[0028] 参考位置确定模块2用于从之前至少一帧已知跟踪目标位置的图像数据中选取 一中贞作为参考巾贞，并获取跟踪目标在参考巾贞中的位置RectO ;
[0029] 当前位置计算模块3用于基于跟踪目标在参考帧图像数据中的位置RectO计算跟 踪目标在当前帧的位置Recti ;
[0030] 跟踪目标验证模块4用于计算当前帧位置Recti像素矩阵的特征矩阵，基于该特 征矩阵利用验证模型计算跟踪目标在该当前帧位置Recti上的验证概率p2,如果验证概率 P2大于预设验证阈值T2,则该当前帧的位置Recti为跟踪目标在该当前帧的位置，否则，该 当前帧的位置Recti非所述跟踪目标在该当前帧的位置。
[0031] 在优选的实施例中，还包括更新模块5,更新模块5用于基于当前帧位置Recti像 素矩阵的特征矩阵利用连贯度模型计算用于表征跟踪目标形态变化的形态连贯度P3,如果 形态连贯度P3在预设连贯范围内，则对验证模型进行更新。
[0032] 根据上述基于视频图像的目标实时追踪装置，本实施例还公开了一种基于视频图 像的目标实时追踪方法，请参考图2,为该追踪方法的流程图，具体方法包括步骤如下：
[0033] 步骤S100,图像获取。获取当前帧图像数据。图像数据可以是灰度图像数据，也可 以是彩色图像数据。
[0034] 步骤S200,跟踪目标参考帧位置确定。从之前的已知跟踪目标位置的图像数据中 选取至少一帧作为参考帧，并获取跟踪目标在所述参考帧中的位置RectO。请参考图3a，为 已知跟踪目标位置的一帧图像数据，其中虚线框所示为跟踪目标在该参考帧图像所在的位 置RectO,该图像的其余部分为背景图像数据。在具体实施例中，跟踪目标可以是人、动物、 交通工具、和/或其它用户感兴趣的能够与背景图像区分的任何物体。
[0035] 在具体实施例中，参考帧可以是一帧，也可以是多帧，采用多帧图像作为参考帧相 对于一帧作为参考帧所包含的信息会更丰富，譬如能够获得跟踪目标之前的运动矢量、形 态变化等。当采用一帧图像作为参考帧时，应优选最接近当前帧的图像帧作为参考帧，譬 如，当前帧为第n巾贞，当第n-a帧和第n-b帧的图像中都已知跟踪目标时（其中，a〈b〈n)，则 应优选第n-a帧图像作为参考帧图像。
[0036] 步骤S300,跟踪目标当前位置计算。基于跟踪目标在参考帧图像数据中的位置 RectO计算跟踪目标在当前巾贞的位置Recti。请参考图3b，为虚线框所示跟踪目标在当前中贞 图像中的位置Recti。在具体的实施例中，可以采用现有的技术方案计算跟踪目标在当前帧 图像中的位置Rectl，例如贝叶斯估计、支持向量机（SVM)等。
[0037] 步骤S400,跟踪目标验证。计算当前帧位置Recti像素矩阵的特征矩阵，基于该特 征矩阵利用验证模型计算跟踪目标在该当前帧位置Recti上的验证概率p2。如果验证概率 P2大于预设验证阈值T2,则执行步骤S501，否则执行步骤S502。需要说明的是，特征矩阵 可以采用现有的技术方案求取，例如求取该像素矩阵的特征值，根据特征值求得特征向量， 进而得到特征矩阵。在具体实施例中，预设验证阈值T2可以根据经验或者理论推导在系统 中设置。
[0038] 步骤S501，当前帧跟踪成功。如果验证概率p2大于预设验证阈值T2,则可以确定 该当前帧的位置Recti为跟踪目标在该当前帧的位置，即步骤S300所跟踪到的目标是正确 的，目标处于持续跟踪中。在优选的实施例中，可将当前帧图像数据作为下一帧的参考帧图 像。
[0039] 步骤S502,当前帧跟踪失败。如果验证概率p2小于预设验证阈值T2,则该当前帧 的位置Recti并非跟踪目标在该当前帧的位置，即步骤S300中跟踪目标丢失。在实际跟踪 过程中，跟踪目标的丢失可能是因为跟踪目标被遮挡物遮挡，也有可能是确实没有跟踪到， 在一具体实施例中，可以修正跟踪目标的位置，重新跟踪；在另一具体实施例中，也可以放 弃当前帧的跟踪，进入下一帧图像的跟踪。在进行下一帧图像的目标跟踪时，应优选继续采 用目前的参考帧图像作为下一次跟踪的参考帧。
[0040] 在优选的实施例中，可以对当前帧滑动窗口，而后利用各窗口的多尺度矩形特征 来计算跟踪目标在当前帧的位置，因此，在步骤S100获取当前帧图像数据之后，还可以进 一步包括：
[0041] 步骤S600,窗口滑动。基于与选取的参考帧相同的预设规则对获取的当前帧图像 滑动窗口形成多个窗口，如图3b实线框所示，需要说明的是，在具体实施例中，形成的多个 窗口应覆盖RectO附近的区域，在优选的实施例中，形成的多个窗口应该能够遍历当前帧 图像的所有位置。
[0042] 对于每个窗口，都会包含着多个大小不同的像素块，在一具体实施例中，可以利用 随机矩形列表RT = {RT(1)，RT(2)，RT(3)……RT (m)}来表征各个不同的像素块，如图4所 示。各像素块之间可以部分交叠，也可以不交叠。其中，一种优选的预设规则为：以跟踪目标 在参考帧中的位置RectO为基准，按照预设的水平、垂直和尺度的步长（ SX，Sy，SS)对位置 RectO附近窗口领域的所有的检测位置（不同的像素块）进行编号。随机矩形RT列表可以 是自上而下、从左到右的顺序标记，也可以是逆序标记，还可以是随机的。需要说明的是，在 具体实施例中，在一段对跟踪目标完整跟踪的视频图像中，随机矩形列表RT的编号方式应 该保持一致，在优选的实施例中，随机矩形列表RT = {RT (1)，RT (2)，RT (3)……RT (m)}在算 法初始化时计算一次，然后在追踪的过程中保持不变。对当前帧图像滑动窗口并对窗口划 分像素块，可以高效地计算各窗口像素均值，例如可以通过积分图计算各窗口的灰度均值， 从而降低多尺度矩形特征计算的复杂度。
[0043] 步骤S700,多尺度矩形特征U提取。提取当前帧各窗口的多尺度矩形特征U = {U (1)，U (2)，U (3)……U (m)}，其中，m为正整数，U (m)为某一窗口第m个像素块的多尺度矩 形特征。在一具体实施例中，可以利用像素均值的方法求取各像素块的多尺度矩形特征，具 体地，可以采用实现如下公式计算各像素块的多尺度矩形特征U :
【权利要求】
1. 一种基于视频图像的目标实时追踪方法，其特征在于，包括： 图像获取步骤：获取当前峽图像数据； 跟踪目标参考峽位置确定步骤；从之前的已知跟踪目标位置的图像数据中选取至少一 中贞作为参考巾贞，并获取跟踪目标在所述参考巾贞中的位置化ectO); 跟踪目标当前位置计算步骤：基于跟踪目标在参考峽图像数据中的位置巧ectO)计算 跟踪目标在当前峽的位置巧ectl); 跟踪目标验证步骤；计算当前峽位置（Recti)像素矩阵的特征矩阵，基于该特征矩阵 利用验证模型计算跟踪目标在该当前峽位置巧ectl)上的验证概率（p2)，如果验证概率 (p2)大于预设验证阔值订2)，则该当前峽的位置（Recti)为所述跟踪目标在该当前峽的位 置。
2. 如权利要求1所述的目标实时追踪方法，其特征在于，如果验证概率（p2)小于预设 验证阔值订2)，则该当前峽的位置巧ectl)非所述跟踪目标在该当前峽的位置。
3. 如权利要求1所述的目标实时追踪方法，其特征在于，还包括： 窗口滑动步骤；基于与选取的参考峽相同的预设规则对获取的当前峽图像滑动窗口形 成多个窗口； 多尺度矩形特征扣）提取步骤；提取各窗口中各像素块的多尺度矩形特征U=扣(1)， U(2), U(3)……U(m)}，其中，m为正整数，U(m)为各窗口中第m个像素块的多尺度矩形特 征； 所述跟踪目标当前位置计算步骤包括： 将各窗口中各像素块的多尺度矩形特征U=扣(1)，U(2)，U(3)……U(m)}代入预设分 类器，并求取各像素块的跟踪检测值（pl); 查找跟踪检测值（pi)的极大值，所述跟踪检测值（pi)的极大值所对应的像素块即为 跟踪目标在该当前峽的位置巧ectl)。
4. 如权利要求3所述的目标实时追踪方法，其特征在于，所述验证模型为P-N分类器， 所述P-N分类器包括用于表征跟踪目标特征信息的目标队列（巧和用于表征背景信息的背 景队列（脚； 所述跟踪目标验证步骤包括： 获取目标队列（P); 获取背景队列（脚； 计算当前峽跟踪目标位置（Recti)像素块的多尺度矩形特征与目标队列（巧的相关函 数，并查找目标队列最大相关函数值； 计算当前峽跟踪目标位置（Recti)像素块的多尺度矩形特征与背景队列（脚的相关函 数，并查找背景队列最大相关函数值； 根据目标队列最大相关函数值和背景队列最大相关函数值求取所述验证概率（p2)。
5. 如权利要求3所述的目标实时追踪方法，其特征在于，还包括： 基于当前峽位置化ectl)像素矩阵的特征矩阵利用连贯度模型计算用于表征跟踪目 标形态变化的形态连贯度（p3); 如果所述形态连贯度（p3)在预设连贯范围内，则对所述验证模型和/或预设分类器进 行更新。
6. 如权利要求5所述的目标实时追踪方法，其特征在于，所述连贯度模型包括；用于表 征跟踪目标特征信息的目标队列（巧和用于表征背景信息的背景队列（脚； 所述形态连贯度（p3)的计算方法包括： 获取目标队列（P); 获取背景队列（脚； 从获取的目标队列（P)中选取若干元素构成验证队列，并计算当前峽跟踪目标位置 (Recti)像素块的多尺度矩形特征与所述验证队列的相关函数，并查找验证队列最大相关 函数值； 计算当前峽跟踪目标位置（Recti)像素块的多尺度矩形特征与背景队列（脚的相关函 数，并查找背景队列最大相关函数值； 根据目标队列最大相关函数值和背景队列最大相关函数值求取所述形态连贯度（p3)。
7. 如权利要求5所述的目标实时追踪方法，其特征在于，所述对验证模型更新包括： 从当前峽跟踪目标位置巧ectl)的邻域内随机采样若干正样本构成正样本队列（PL); 正样本队列（PL)中各元素所占权值（PV)与该元素到当前峽跟踪目标位置Recti的距离成 反比。
8. 如权利要求1-7任意一项所述的目标实时追踪方法，其特征在于，还包括： 偏移量估计步骤；根据跟踪目标在当前峽和参考峽的坐标计算跟踪目标的偏移量，所 述偏移量包括水平位移、垂直位移、和/或尺度偏移。
9. 一种基于视频图像的目标实时追踪装置，其特征在于，包括： 图像获取模块，用于获取当前峽图像数据； 参考位置确定模块，用于从之前至少一峽已知跟踪目标位置的图像数据中选取一峽作 为参考峽，并获取跟踪目标在所述参考峽中的位置巧ectO); 当前位置计算模块，用于基于跟踪目标在参考峽图像数据中的位置化ectO)计算跟踪 目标在当前峽的位置巧ectl); 跟踪目标验证模块，用于计算当前峽位置（Recti)像素矩阵的特征矩阵，基于该特征 矩阵利用验证模型计算跟踪目标在该当前峽位置巧ectl)上的验证概率（p2)，如果验证概 率（p2)大于预设验证阔值灯2)，则该当前峽的位置（Recti)为所述跟踪目标在该当前峽的 位置。
10. 如权利要求9所述的目标实时追踪装置，其特征在于，还包括： 更新模块，用于基于当前峽位置（Recti)像素矩阵的特征矩阵利用连贯度模型计算用 于表征跟踪目标形态变化的形态连贯度（p3);如果所述形态连贯度（p3)在预设连贯范围 内，则对所述验证模型进行更新。
【文档编号】H04N7/18GK104346811SQ201410525220
【公开日】2015年2月11日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】吴伟华, 靳强, 李殿平 申请人:深圳市华尊科技有限公司