随机场的目标区域跟踪方法，包括：
[0024] S1、提取待跟踪目标区域的密集光流信息和像素颜色信息，建立光流和颜色的混 合高斯模型，获得待跟踪目标区域的运动和外观模型；
[0025] 优选的，所述提取待跟踪目标区域的密集光流信息和像素颜色信息，建立光流和 颜色的混合高斯模型，获得待跟踪目标区域的运动和外观模型包括：
[0026] S11、从输入视频中读取每帧图像，在第一帧图像中手工标记待跟踪目标区域；
[0027] S12、利用当前帧和前一帧图像，计算并提取待跟踪目标区域的密集光流，再对所 述密集光流进行噪声滤除的步骤，具体可以在3X3空间邻域内进行中值滤波，图2为本发 明基于动态耦合条件随机场的目标区域跟踪方法实施例一中密集光流提取的示意图，图2a 和图2b为相邻的两帧图像，图2c和图2d分别表示x和y方向的密集光流，如图2c和图2d 所示，最后利用混合高斯模型进行建模，获得待跟踪目标区域的运动模型；
[0028] S13、提取待跟踪目标区域的颜色信息，利用混合高斯模型进行建模，获得待跟踪 目标区域的外观模型；
[0029] 在本发明实施例中，利用5个高斯分布建立混合高斯模型，通过k-均值聚类方法 来学习混合高斯模型的参数，包括每个高斯分布的均值、方差和权重，并结合待跟踪目标区 域的密集光流和颜色信息的混合高斯模型，获得目标区域的运动和外观模型；
[0030] S2、建立分别对应于跟踪和分割的动态条件随机场并进行耦合从而得到动态耦 合条件随机场，获取观测特征并结合图像序列中的时空上下文信息，建立图模型的能量函 数；
[0031] 优选的，所述建立分别对应于跟踪和分割的动态条件随机场并进行耦合从而得到 动态耦合条件随机场，获取观测特征并结合图像序列中的时空上下文信息，建立图模型的 能量函数包括：
[0032] S21、建立分别对应于跟踪和分割的动态条件随机场；对于大小为W tXHt的目标， 建立具有相同尺寸的分别对应于跟踪和分割的动态条件随机场，其中Wt和H t分别表示目标 在t时刻的宽度和高度。
[0033] S22、利用两个随机场之间的边表示兼容关系（也即前景像素属于目标，目标像素 属于前景），建立耦合条件随机场，如图3所示，这样可以保证跟踪和分割的一致性；然后在 时间域延伸，建立完整的动态耦合条件随机场，如图4所示；
[0034] S23、通过对像素的反向投影、高斯背景减除、密集光流和颜色提取获取多种观测 特征，并结合图像序列中的时空上下文信息，建立图模型的能量函数，所述图模型的节点对 应图像中的各个像素，所述图模型中的边表示节点之间的依赖关系；
[0035] 优选的，所述通过对像素的反向投影、高斯背景减除、密集光流和颜色提取获取多 种观测特征，并结合图像序列中的时空上下文信息，建立图模型的能量函数包括：
[0036] S231、计算当前帧搜索区域的密集光流，利用密集光流将像素反向投影到前一帧 图像得到对应像素，计算相邻帧之间的时间连续性能量项R，如图5所示；对于当前帧的像 素i，其位置为（ Xi，yi)，标记为$〇')，利用该像素的光流将其反向投影得到它在前一帧图 像中的对应像素i'，位置为（Xi,，yi,)，像素标记为则像素i的能量项U(i)可用 下式表示：
[0037]
【主权项】
1. 一种基于动态耦合条件随机场的目标区域跟踪方法，其特征在于，包括： 提取待跟踪目标区域的密集光流信息和像素颜色信息，建立光流和颜色的混合高斯模 型，获得待跟踪目标区域的运动和外观模型； 建立分别对应于跟踪和分割的动态条件随机场并进行耦合从而得到动态耦合条件随 机场，获取观测特征并结合图像序列中的时空上下文信息，建立图模型的能量函数； 进行图模型参数学习，通过求解动态耦合条件随机场的最小化能量函数并进行匹配确 定目标区域。
2. 根据权利要求1所述的基于动态耦合条件随机场的目标区域跟踪方法，其特征在 于，所述提取待跟踪目标区域的密集光流信息和像素颜色信息，建立光流和颜色的混合高 斯模型，获得待跟踪目标区域的运动和外观模型包括： 从输入视频中读取每帧图像，在第一帧图像中手工标记待跟踪目标区域； 利用当前帧和前一帧图像，计算并提取待跟踪目标区域的密集光流，利用混合高斯模 型进行建模，获得待跟踪目标区域的运动模型； 提取待跟踪目标区域的颜色信息，利用混合高斯模型进行建模，获得待跟踪目标区域 的外观模型。
3. 根据权利要求1所述的基于动态耦合条件随机场的目标区域跟踪方法，其特征在 于，所述建立分别对应于跟踪和分割的动态条件随机场并进行耦合从而得到动态耦合条 件随机场，获取观测特征并结合图像序列中的时空上下文信息，建立图模型的能量函数包 括： 建立分别对应于跟踪和分割的动态条件随机场； 利用两个随机场之间的边表示兼容关系，建立耦合条件随机场，然后在时间域延伸，建 立完整的动态耦合条件随机场； 通过对像素的反向投影、高斯背景减除、密集光流和颜色提取获取多种观测特征，并结 合图像序列中的时空上下文信息，建立图模型的能量函数，所述图模型的节点对应图像中 的各个像素，所述图模型中的边表示节点之间的依赖关系。
4. 根据权利要求3所述的基于动态耦合条件随机场的目标区域跟踪方法，其特征在 于，所述通过对像素的反向投影、高斯背景减除、密集光流和颜色提取获取多种观测特征， 并结合图像序列中的时空上下文信息，建立图模型的能量函数包括： 计算当前帧搜索区域的密集光流，利用密集光流将像素反向投影到前一帧图像得到对 应像素，计算相邻帧之间的时间连续性能量项R ;对于当前帧的像素 i，其位置为（Xi, Yi)，标 记为：Tt(〖）^利用该像素的光流将其反向投影得到它在前一帧图像中的对应像素 i'，位置 为（Xi,，yi,)，像素标记为巧则像素 i的能量项u(i)可用下式表示：
其中，I · I表示求绝对值运算，δ (·)是克罗内克函数，Mi,为像素 i'的四邻域，1为 目标标记； 利用高斯背景减除，计算统计意义的时间连续性能量项B ;对于当前帧的像素 i，能量 项B(i)可用下式表示：
其中，g(i)表不是否为前景像素； 综合计算所述能量项U和B的加权和作为跟踪过程的时间连续性能量项； 利用空间中相邻像素取值的一致性，计算跟踪过程的局部平滑能量项；对于当前帧的 像素 i，给定观测0下的局部平滑能量项可用下式表示：
其中，θ n是能量项的权重，dist(i，j)是像素 i和j的欧式距离，如果忑（〇 =巧(/)， 则该项能量为零，否则能量为正； 计算并提取当前帧搜索区域的密集光流及颜色信息，利用所述待跟踪目标的运动模型 和外观模型，计算分割过程的全局相似性能量项；对于当前帧的像素 i，给定观测0下的全 局相似性能量项可用下式表示：
其中，讳(〇)和?}"(雖Κ+i')）分别为给定像素颜色和光流信息时，其属于目标的 概率，θ p和ω p为权重； 利用目标像素之间外观的一致性，计算分割过程的局部平滑能量项；对于当前帧的像 素 i，给定观测0下的局部平滑能量项可用下式表示：
其中，θ τ是该能量项的权重，参数=2 <:($(〖）- 从图像中自动计算得 到，〈·>表示计算在当前帧图像的期望，如果&〇'）= ，则该项能量为零，否则能量为 正。 计算跟踪和分割过程的兼容关系能量项；对于当前帧的像素 i，给定观测O下的兼容 关系能量项可用下式表示：
其中，是该能量项的权重，θ γ为该能量项的权重；如果:rr(〇 =冬（0则该项能量为 零，否则能量为正。
5.根据权利要求1所述的基于动态耦合条件随机场的目标区域跟踪方法，其特征在 于，所述进行图模型参数学习，通过求解动态耦合条件随机场的最小化能量函数并进行匹 配确定目标区域包括： 通过分段训练方法，针对每个能量项分别独立地学习得到图模型的参数； 通过环状置信传播算法进行图模型推理，求得动态耦合条件随机场的最小化能量函数 的跟踪问题的解； 分别建立跟踪和分割过程的输出结果的直方图，将输出结果的直方图与待跟踪目标初 始的直方图进行匹配，选择最优匹配为目标区域。
【专利摘要】本发明提供一种基于动态耦合条件随机场的目标区域跟踪方法，包括：提取待跟踪目标区域的密集光流信息和像素颜色信息，建立光流和颜色的混合高斯模型，获得待跟踪目标区域的运动和外观模型；建立分别对应于跟踪和分割的动态条件随机场并进行耦合从而得到动态耦合条件随机场，获取观测特征并结合图像序列中的时空上下文信息，建立图模型的能量函数；进行图模型参数学习，通过求解动态耦合条件随机场的最小化能量函数并进行匹配确定当前的目标区域。本发明所述目标区域跟踪方法具有较高的准确性和鲁棒性，可应用于智能视频监控领域。
【IPC分类】G06T7-20, G06T7-60
【公开号】CN104751492
【申请号】CN201510182218
【发明人】王坤峰, 刘玉强, 王飞跃
【申请人】中国科学院自动化研究所
【公开日】2015年7月1日
【申请日】2015年4月17日