一种针对视频中运动目标检测与跟踪的解决方案的制作方法
【专利摘要】本发明公开一种针对视频中运动目标检测与跟踪的解决方案，主要解决了视频中指定感兴趣区域的出现目标或者物体闯入的实时报警问题；视频中多个目标的检测与跟踪问题。该方案将背景减除与GMM方法进行交替结合对背景图像的更新与暂停更新，使得视频中指定ROI区域的运动目标的运动与静止状态都能够得到有效地捕捉，为异常目标检测与持续实时报警提供一种新的解决方案。
【专利说明】
一种针对视频中运动目标检测与跟踪的解决方案
技术领域
[0001] 本发明涉及一种计算机视觉、模式识别与智能系统、图像处理技术。
【背景技术】
[0002] 对视频图像的运动分析是目前计算机视觉、模式识别领域的一个重要方向。视频 图像的分析也被广泛应用于高级人机交互、智能监控如异常目标检测与跟踪、视频会议、医 疗诊断、基于视频内容的检索等等。视频图像的智能化分析主要包括目标检测、跟踪及目标 行为识别等。
[0003] 智能化的视频图像分析目的是将原始视频图像转化为可供监控人员判断的有效 信息，辅助监控人员及时并全面地了解视频中所发生的事件，以达到系统智能化的目的，如 在什么地方、什么时间、目标具有什么样的行为。
[0004] 基于视频的目标检测，主要是从视频图像帧中将运动变化的图像区域，将其从背 景图像中分割并提取。运动目标的有效分割（前景、背景提取）是视频图像分析的重要基 础性工作。也是当今国内外学者研究的热点问题。
[0005] 按照不同标准，可将视频运动分析的方法进行分类：（1)根据摄像机的数目，可 分为单摄像机与多摄像机。（2)根据摄像机是否运动，可分为摄像机静止与摄像机运动。（3) 根据视频图像场景中运动目标的数量，可分为单目标分析与多目标分析。在本专利中，重点 关注的是静态相机的单目标或者多目标分析问题，目标主要是关于如行人或者运动物体。
[0006] 动态视频目标检测技术是智能化视频分析的研究基础，在此，简要分析目前应用 非常广发的动态视频目标检测方法：
[0007] 1、背景减除：该方法是运动目标检测非常常用的一种，利用当前图像与背景图像 的差的方式，检测出视频序列中的前景目标。对于动态变化的场景，比如在光照变化较大或 其他噪声的干扰情况下，背景减除的方式则比较敏感。背景减除方法的关键技术是背景的 建模，较为简单的背景模型是对时序图像的求平均，即对同一个场景在某一时间序列段内 的图像帧的灰度平均。基于上述时序平均的背景建模方式，由于背景模型是固定不变的，故 视频序列中，场景图像的任何变化如噪声干扰，都易当作前景目标并提取出，因而背景减除 的方式会导致前景目标提取的抗噪声能力较差。
[0008] 2、高斯背景建模：高斯背景建模是一种经典的自适应混合高斯背景提取方法，是 一种基于背景建模的方法。建模过程中，背景图像不断地更新，以适应多变的复杂背景。高 斯背景建模是根据视频中的每个像素在时域上的分布情况来构建各个像素的颜色分布，以 达到背景建模。混合高斯背景模型（GMM)是有限个高斯函数的加权和，它能描述像素的多 峰状态，更加适用于多光照渐变、小目标的干扰运动等，并对复杂背景进行准确建模。经 过许多研究人员的不断改进，混合高斯背景建模方法也已经成为非常常用的前景/背景提 取。
[0009] 3、光流法：光流的概念是空间运动物体在观察成像平面上的像素运动的瞬时速 度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当 前帧图像之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般 而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生 的。其计算方法可以分为三类：
[0010] (1)基于区域或者基于特征的匹配方法；
[0011] (2)基于频域的方法；
[0012] ⑶基于梯度的方法；
[0013] 简单来说，光流是空间运动物体在观测成像平面上的像素运动的"瞬时速度"。光 流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的 "运动"。研究光流场的目的就是为了从图像序列中近似得到不能直接得到的运动场。此外， 光流法的前提假设包含：
[0014] (1)相邻视频图像帧之间的亮度恒定；
[0015] (2)相邻视频图像帧的取帧时间连续，或者，相邻视频图像帧之间物体的运动比较 "微小"；
[0016] (3)保持空间一致性；即，同一子图像的像素点具有相同的运动。
[0017] 在摄像机固定不变时，对拍摄的视频图像的目标检测与跟踪的分析，共包含2个 主要的技术问题：
[0018] 1.视频中指定感兴趣区域的出现目标或者物体闯入的实时报警问题。
[0019] 2.视频中多个目标的检测与跟踪问题。
【发明内容】
[0020] 为解决上述技术问题，本发明提供了一种针对视频中运动目标检测与跟踪的解决 方案。
[0021] 为达成以上所述的目的，本发明采取如下技术方案：
[0022] 1.针对摄像机静止时所拍摄的视频图像帧，结合背景减除与GMM的交替方式，分 析视频图像在指定R0I区域是否有运动目标出现。当出现运动目标时，算法采用GMM对运动 目标进行分割，而当目标在R0I内停止运动时，由于GMM无法切割目标的前景，此时则停止 GMM的背景更新，并利用GMM停止背景更新之前所获得的最新背景图像，作为背景减除的背 景，用于提取R0I区域的静止目标，当目标从静止状态转为运动状态时，则继续GMM的背景 更新过程，如此交替。通过这样的方式，可有效捕捉目标在进入R0I区域后的任何状态（静 止或运动）的位置。
[0023] 2.结合图像形态学的腐蚀、膨胀处理，对采用GMM获取的前景目标图像，利用腐蚀 处理，消除小颗粒状的连通区域，进而采用膨胀处理，合并相邻的大连通区域，最终利用大 连通区域，估计目标的最大外接矩形，从而切割出多个前景目标。此外，对目标运动轨迹的 跟踪，则利用光流法，估计每个前景目标的最大外接矩形内光流点的运动方向，并统计光 流点的方向直方图，最强响应方向即为目标运动方向。目标运动方向的估计，有助于当两个 或多个目标的运动过程重叠时，可根据两个或多个目标对应的光流运动方向，使得重叠目 标在分离后，根据各个目标运动方向的惯性，使得对各个目标的判断不产生混乱。
[0024] 采用如上技术方案的本发明，具有如下有益效果：
[0025] 1.相比单独使用背景减除与GMM方法，将两者进行交替结合对背景图像的更新 与暂停更新，使得视频中指定ROI区域的运动目标的运动与静止状态都能够得到有效地捕 捉，为异常目标检测与持续实时报警提供一种新的解决方案。
[0026] 2.利用二值形态学，通过提取前景图像的连通区域，获取视频中出现的多个目标 及其最大外接矩形。同时，采用光流法，对各个目标的最大外界矩形内的光流点的方向进行 直方图统计，以判断各个目标的运动方向，在目标间的运动出现重叠时，可通过方向信息， 使得各个重叠的运动目标在分离后的判断不产生混乱。
【附图说明】
[0027] 图1异常目标实时检测报警；
[0028] 图2目标运动及跟踪。
【具体实施方式】
[0029] 为了进一步说明本发明，下面进一步进行说明：
[0030] 1.异常目标检测与报警方案：预先设定视频图像中需要被监视的感兴趣区域 (R0I)。若存在运动目标在某一个时刻进入R0I区域或者在某一段时间内持续在R0I区域 内出现，则系统自动警报。处理过程如下：
[0031] (1)系统初始化，初始化过程中需不包含异常目标出现在R0I区域内。初始化过程 首先将第一帧图像作为初始的背景帧，然后采用GMM的方式对背景图像进行动态建模。在 高斯背景建模过程中，视频场景图像中的每一个像素的值可以由K个高斯成分组成的混合 分布来表示，即图像中像素j在t的取值为\的概率为： K
[0032] = )其中表示t时刻像素j的混合高斯模型中第i 个高斯分类的权重，满足这里和;分别表示第i个高斯成分的均值及 协方差，n表示高斯概率密度函数：
[0034] 其中d为Xj的维数。对于RGB颜色空间而言，可视为相互独立，则协方差矩阵定 义为其中。表示标准差，I代表单位矩阵。
[0035] 在初始阶段，如果对混合高斯参数初始化速度要求不高，那么像素点每个颜色通 道范围为[0, 255]，可以对K个高斯分布直接初始化较大的，对每个高斯分布的权重取 winit=l/K，取第一帧图像的每个像素的值来对混合高斯模型中的K个高斯分布的均值进行 初始化。
[0036] 随着视频场景图像的不断变化，每个像素的混合高斯模型都要不断地被学习更 新。将混合高斯模型中的每个高斯分布按照由大到小排序，检验新获取的图像帧的 像素与混合高斯模型中的K个高斯分布是否匹配，假如新获取的像素和混合高斯分布的某 个成分满足下式就认为该像素与高斯分布相匹配（S为匹配阈值）
[0037]
[0038] 对于混合高斯模型而言，高斯成分的个数K是一个及其重要的变量，因为它直接 影响了算法的性能与计算效率，K的取值需大于等于2,通常在实时性要求较高或者视频图 像帧的分辨率较高时，K的取值通常可取为2或者3即可。
[0039] (2)R0I区域的异常目标检测：经过上述GMM的方式对R0I区域进行背景建模后， 即系统进入目标监测中。倘若R0I区域无异常目标出现，则背景图像（BK)不断地通过GMM 实时更新。倘若R0I区域在某一时刻T存在运动目标进入，则转入步骤（3)。
[0040] (3)提取R0I区域内的前景图像（FG)，由于前景图像为二值图（白色像素为运动 目标），因此，可统计二值R0I图像中前景目标（白色像素）的面积area，area占图像R0I 的总面积（area_image)的比例为 ratio = area/area_image。设定一个阈值 threshold， threshold的值需较小，以保证在目标进入R0I区域的瞬间可被捕捉到。当ratio > threshold，此时系统做持续报警处理，说明有异常目标进入R0I内，并且，GMM停止对背景 图像BK的更新。背景图像BK停止更新后，对T时刻之后的前景图像的分割，采用背景减除 的方式，如T时刻之后获得的视频图像帧为IM，则将IM与BK进行对应像素点的减法操作， 以提取前景目标。利用这样的方式，可有效避免运动目标在R0I区域内出现的GMM无法提 取静止状态下的目标。
[0041] (4)当目标在R0I内持续运动或者静止时，通过步骤（3)，可持续监测到目标所 处的位置和时间段并做持续报警处理。当目标离开R0I区域时，ratio的值会不断减小，当 ratio < threshold时，说明目标基本离开了 R0I区域，此时系统报警消除，并重新采用GMM 对背景图像进行实时更新，并进入步骤（2)。
[0042] 通过上述四个步骤的方式，可有效自动监测视频图像中的R0I区域内出现异常目 标的持续实时报警处理。
[0043] 2.视频中多个目标的检测与跟踪：
[0044] (1)对视频中的运动目标，采用GMM的前景分割方式，提取视频图像帧的前景FG， GMM分割出的前景FG包含较多的颗粒连通区域。因此，可以采用二值形态学的方式，利用腐 蚀操作，将小颗粒连通区域进行消除，在通过膨胀的方式，将相邻的较大连通区域合并成一 个更大的连通区域（相对完整的运动目标区域），通常，膨胀的结构元素的大小较腐蚀的结 构元素要大。上述腐蚀、膨胀以及连通区域的合并处理，依不同视频图像中运动目标情况的 不同，需设定不同的最优值。
[0045] (2)提取前景图像中的连通区域获得对应目标，对应第i个连通区域面积为 area;。设定一个阈值threshold,当area;> threshold时，提取该区域对应的最大外接矩 形MaxRecti，MaxRecti即为在视频中寻找到的前景运动目标的位置。
[0046] (3)对最大外界矩形MaxRech，采用光流法，提取运动目标的运动方向。光流法的 目的是找到图像中每个像素点的速度向量：度向量不仅有运动大小信息，还 包括了运动的方向信息。根据光流的微小运动和亮度恒定假设，对t时刻图像位置，可以 得到I (X，y，t) = I (x+dx，y+dy，t+dt)。对该式用一阶泰勒级数展开，可得到：
[0048] 即：Ixdx+Iydy+Itdt = 0,令 则 Ixu+Iyv = _It，即 ^
? L J 9 假设（u，V)的一个小的局部领域内的亮度为恒定，则： 'xl '少1「~]人 1
[0049] JX2 Iy2 v=~ It2艮P =办光流计算的目的是使得办最小。 ? ? I J ?
[0052] 根据对MaxRecti内的光流点的方向与大小，统计所有光流点在0~360°方向上 的直方图分布（将〇~360°进行bin的量化），统计最大的方向，作为目标i的运动方向。
[0053] 通过上述三个步骤，可有效将视频中每一个运动目标进行分割并赋予对应目标i 的运动方向。当多个目标产生运动重叠时，可根据各个运动目标的方向运动惯性，在多个目 标分离时，提高对各个目标的判断准确率。
[0054] 以上是对本发明的具体说明，本方案不仅仅局限在以上实施例中，针对在本方案 发明构思下所做的任何改变都将落入本发明保护范围内。
【主权项】
1. 一种针对视频中运动目标检测与跟踪的解决方案，其特征在于：提供了一种针对视 频中运动目标检测与跟踪的解决方案。2. 根据权利要求1所述的解决方案，其特征在于：该方案解决了异常目标检测与报警 问题。详细方案如下：预先设定视频图像中需要被监视的感兴趣区域（ROI)。若存在运动目 标在某一个时刻进入ROI区域或者在某一段时间内持续在ROI区域内出现，则系统自动警 报。处理过程如下：（1)系统初始化，初始化过程中需不包含异常目标出现在ROI区域内。 初始化过程首先将第一帧图像作为初始的背景帧，然后采用GMM的方式对背景图像进行动 态高斯建模。（2)R0I区域的异常目标检测：经过上述GMM的方式对ROI区域进行背景建模 后，即系统进入目标监测中。倘若ROI区域无异常目标出现，则背景图像（BK)不断地通过 GMM实时更新。倘若ROI区域在某一时刻T存在运动目标进入，则转入步骤（3)。（3)提取 ROI区域内的前景图像（FG)，由于前景图像为二值图（白色像素为运动目标），因此，可统 计二值ROI图像中前景目标（白色像素）的面积area, area占图像ROI的总面积（area_ image)的比例为 ratio = area/area_image。设定一个阈值 threshold，threshold 的值需 较小，以保证在目标进入ROI区域的瞬间可被捕捉到。当ratio > threshold,此时系统做持 续报警处理，说明有异常目标进入ROI内，并且，GMM停止对背景图像BK的更新。背景图像 BK停止更新后，对T时刻之后的前景图像的分割，采用背景减除的方式，如T时刻之后获得 的视频图像帧为頂，则将頂与BK进行对应像素点的减法操作，以提取前景目标。利用这样 的方式，可有效避免运动目标在ROI区域内出现的GMM无法提取静止状态下的目标。（4)当 目标在ROI内持续运动或者静止时，通过步骤（3)，可持续监测到目标所处的位置和时间段 并做持续报警处理。当目标离开ROI区域时，ratio的值会不断减小，当ratio < threshold 时，说明目标基本离开了 ROI区域，此时系统报警消除，并重新采用GMM对背景图像进行实 时更新，并进入步骤（2)。3. 根据权利要求1所述的解决方案，其特征在于：该方案解决了视频中多个目标的检 测与跟踪问题。详细方案如下：（1)对视频中的运动目标，采用GMM的前景分割方式，提取 视频图像帧的前景FG ;采用二值形态学的方式，利用腐蚀操作，对GMM分割出的前景FG连 通区域的小颗粒进行消除，然后通过膨胀的方式，将相邻的较大连通区域合并成一个更大 的连通区域（相对完整的运动目标区域）。（2)提取前景图像中的连通区域获得对应目标， 对应第i个连通区域面积为area;。设定一个阈值threshold,当area;> threshold时，提 取该区域对应的最大外接矩形MaxRect1, MaxRect1即为在视频中寻找到的前景运动目标的 位置。（3)对最大外界矩形MaxRect1，采用光流法，提取运动目标的运动方向。
【文档编号】G06T7/20GK105894530SQ201410753754
【公开日】2016年8月24日
【申请日】2014年12月11日
【发明人】曾庆蓉
【申请人】深圳市阿图姆科技有限公司