基于动态耦合条件随机场的目标区域跟踪方法
【技术领域】
[0001] 本发明属于智能视频监控领域，尤其涉及基于动态耦合条件随机场的目标区域跟 踪方法。
【背景技术】
[0002] 智能视频监控是一种重要的信息采集手段，而目标跟踪是智能视频监控中的一个 挑战性问题。根据不同的应用需求，跟踪具有多种形式，例如静止或运动摄像机、自动或人 工初始化、单目标或多目标等，每种形式都已经出现了大量研宄成果。从跟踪结果的角度， 跟踪问题主要表现为两种层面：轨迹层面和区域层面。轨迹层面的跟踪只需要获得目标的 轨迹（即每帧图像中目标的中心位置），不需要确定目标的具体区域。区域层面的跟踪不仅 要对目标进行连续定位，还要尽可能精确地确定目标所在区域，需要对目标区域进行分割。 两者相比，区域层面的跟踪有利于精确地定位目标和测量目标的几何和运动属性，但是它 的实现难度要远大于轨迹层面的跟踪。本发明针对区域层面的跟踪，侧重于单台静止摄像 机下的多目标跟踪，并且考虑环境中的运动阴影、光照变化、目标遮挡等不利因素。
[0003] 一种传统的区域层面的跟踪思路是将前景分割和目标跟踪作为两个问题分别进 行处理（即先检测后跟踪）：先做前景分割，再从分割得到的前景区域提取特征，然后利用 这些特征做目标跟踪。这种处理思路的主要缺点是前景分割的错误总是向后传播，导致目 标跟踪的错误。实际上，前景分割和目标跟踪是密切相关的：一方面，前景分割的结果直接 决定特征提取的准确性，进一步影响目标跟踪的性能；另一方面，区域层面的跟踪结果（目 标区域的序列）又可以提供自顶向下前景分割的提示信息。因此，同时进行前景分割和目 标跟踪，利用二者之间的相关性，实现双向信息流动，可以提高目标跟踪的性能。
[0004] 周杰等人于 2008 年在 Pattern Recognition 上发表的论文 "Tracking multiple objects through occlusion with online sampling and position estimation''，在前 景分割的基础上，利用局部块的颜色和位置特征，将相互遮挡的目标分割为具体区域；该 方法属于传统的区域层面的跟踪方法，另外在分割目标时没有考虑相邻局部块的相关性。 Bugeau 等人于 2008 年在 EURASIP Journal on Image and Video Processing 上发表的论 文"Track and cut:Simultaneous tracking and segmentation of multiple objects with graph cuts"，利用目标的颜色、运动等特征，在候选观测的基础上，通过最小化能量 函数（考虑像素的空间相关性），同时进行目标的分割和跟踪；但是该方法需要首先获得前 景区域作为目标的候选观测，并且没有考虑运动阴影等干扰，前景分割的错误很容易传播 到目标跟踪阶段。Papadakis 等人于 2011 年在 IEEE Transactions on Pattern Analysis and Machine Intelligence上发表的论文"Tracking with occlusions via graph cuts''， 通过预测目标的可见和被遮挡部分，提出了一种新的遮挡表示和管理方法，对多目标的出 现、消失和遮挡情形实现了有效建模，并通过图割优化过程分割得到目标区域；但是该方 法没有考虑阴影干扰。Khatoonabadi等人于2013年在IEEE Transactions on Image Processing 上发表的论文 "Video object tracking in the compressed domain using spatio-temporal Markov random fields"，在 H.264/AVC 压缩视频中跟踪运动目标，根据 压缩码流中的运动矢量和块编码模式，建立时空马尔科夫随机场模型，实现被跟踪目标的 块分割；该方法以块为单位、仅利用块运动矢量特征进行目标分割和跟踪，在复杂环境下 很难获得准确的目标区域。Aeschliman等人于2010年在IEEE Conference on Computer Vision and Pattern Recognition上发表的论文"A probabilistic framework for joint segmentation and tracking"，提出了一种概率框架，通过贝叶斯推理，联合考虑目标的分 割和跟踪，提高了多目标跟踪的鲁棒性；但是该方法在分割目标时没有利用像素的空间相 关性，得到的目标区域含有大量的孔洞和断裂，另外还没有考虑运动阴影等干扰，在实验中 将阴影误判成目标的一部分。David Tsai等人于2012年在International Journal of Computer Vision 上发表的论文 "Motion coherent tracking using multi-label MRF optimization"，提出了一种多标记马尔科夫随机场模型，能量函数融合了分割和运动估 计，通过Fast-ro推理实现离线的目标分割与跟踪；但是该方法只能跟踪单个目标，并且输 出结果有一定延迟。
[0005] 从技术发展现状可知，视频监控场合下的目标区域跟踪仍然是一个尚未解决的问 题。目标区域跟踪面临着许多困难：环境光照情况复杂，存在运动阴影、亮区等干扰，影响目 标分割的准确性；目标（尤其是行人）的尺寸、形状、颜色等外观特征在图像序列中经常缓 慢甚至快速地变化；目标可能发生遮挡。已有的目标区域跟踪方法尚不能很好地处理这些 困难情况。为了实现更有效的目标区域跟踪，本发明提出一种基于动态耦合条件随机场的 目标区域跟踪方法，在提取强鲁棒性图像特征的基础上，利用图像序列中的时空上下文信 息，特别是利用前景分割和目标跟踪的相关性，优化目标区域的分割和跟踪。
【发明内容】
[0006] 本发明提供一种基于动态親合条件随机场（Dynamic Coupled Conditional Random Field)的目标区域跟踪方法，以实现更为准确的目标区域跟踪。
[0007] 本发明提供一种基于动态耦合条件随机场的目标区域跟踪方法，包括：
[0008] 提取待跟踪目标区域的密集光流信息和像素颜色信息，建立光流和颜色的混合高 斯模型，获得待跟踪目标区域的运动和外观模型；
[0009] 建立分别对应于跟踪和分割的动态条件随机场并进行耦合从而得到动态耦合条 件随机场，获取观测特征并结合图像序列中的时空上下文信息，建立图模型的能量函数；
[0010] 进行图模型参数学习，通过求解动态耦合条件随机场的最小化能量函数并进行匹 配确定目标区域。
[0011] 本发明的有益效果为：
[0012] 首先，利用概率图模型的结构化建模和推理能力，特别是利用前景分割和目标跟 踪的相关性，提出一种新的目标区域跟踪方法，克服了传统方法存在的误差向后传播问题； 其次，融合利用多特征和时空上下文信息，提出的跟踪方法在复杂光照条件和遮挡情况下 有较强的鲁棒性；再次，无需对被跟踪目标的类别进行指定，可以跟踪车辆、行人等感兴趣 目标，扩大了应用范围。综上所述，本发明的目标区域跟踪方法具有较高的准确性和鲁棒 性，在智能视频监控领域具有显著的应用价值。
【附图说明】
[0013]图1为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一的计算流 程图；
[0014] 图2为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中密集光 流提取的不意图；
[0015] 图3为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中耦合条 件随机场的模型结构图；
[0016]图4为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中动态耦 合条件随机场的模型结构图；
[0017] 图5为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中利用光 流信息将像素反向投影到前一帧图像得到对应像素的示意图；
[0018]图6为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中高斯背 景减除的结果示意图；
[0019] 图7为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中第一个 应用例目标区域跟踪结果示意图；
[0020] 图8为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中第二个 应用例目标区域跟踪结果示意图；
[0021] 图9为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一中第三个 应用例目标区域跟踪结果示意图；
[0022] 图中，图6a为背景图像，图6b为当前图像，图6c为前景检测结果；图7a、图7b、图 7c、图7d为4帧图像，深色和浅灰色区域为目标区域跟踪结果示意图；图8a、图8b、图8c、 图8d为4帧图像，深色和浅灰色区域为目标区域跟踪结果。
【具体实施方式】
[0023]图1为本发明基于动态耦合条件随机场的目标区域跟踪方法实施例一的计算流 程图，如图1所示，本发明基于动态耦合条件