一种无需跟踪过程的遗弃物检测方法

专利名称：一种无需跟踪过程的遗弃物检测方法
技术领域：
本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特 别是涉及基于视频的遗弃物检测。
背景技术：
随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头 被安装到各种场合，特别是那些对安全要求敏感的场合,如机场、社区、 银行、停车场、军事基地等。动态场景的视频监控是近年来备受关注的 前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并 对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应 用中已经普遍存在，但目前的监控系统一般只能录相用于事后取证，而 不能实时的分析视频数据并实时报警。因此，开发出具有实际意义的自 动性、智能性的视频监控系统日益变得迫切和必要。这就要求不仅能用 摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制 任务。
遗弃物检测对于维护公共场所的安全有重要意义。这里所说的遗弃 物检测是指检测那些被人有意丢弃、投放在公共场所或某些要害部位， 可能装有爆炸物品的背包、公文包等。通常恐怖分子在放置这样的包裹 后，通过定时或遥控的方式来引爆装在包中的炸弹。这种作案手段成本 低、危害大、防范和侦破难度高，逐渐成为犯罪分子进行爆炸袭击的主
要方式之一。类似的案件层出不穷，如2004年的西班牙马德里连环爆 炸案；2005年英国伦敦和利物浦的爆炸案等等。基于视频的遗弃物检测 是指利用现场安装的视频监控设备，通过对视频图像中的图像内容进行 分析来探测遗弃物检测事件的发生。很明显，基于视频的遗弃物检测在 现有监控系统的基础上，无需增加新的硬件投入。
目前已经有较多算法对基于视频的遗弃物检测进行了研究，但是往往都存在着一定的缺点目前的方法需要检测场景中所有的运动目标， 然后通过跟踪过程确定同一目标在图像序列不同帧中的位置，从而获得 每个运动目标在场景中的运动轨迹，如果有某个目标的轨迹从另一个目 标的轨迹中分离，且该目标保持静止状态超过一段时间，则该目标为遗 弃物。但是，监控场景往往会比较复杂，例如动态背景和运动目标过 多。这会给运动目标的精确跟踪带来巨大的挑战。所以这类方法的准确 性较差，实用性不好。

发明内容
现有技术的遗弃物检测算法需要精确的检测和跟踪过程，当场景复 杂时，不仅会造成大量的误检测同时会使系统的计算复杂度大幅度提 高，为了解决现有技术的问题，本发明的目的是有效、便捷、准确检测 遗弃物，为此，提供一种基于视频的而且无需跟踪过程的遗弃物检测方 法。
为了实现上述目的，本发明提供的基于视频的遗弃物检测方法，无 需跟踪过程，并包括模型更新和遗弃物检测两个过程，步骤如下
步骤S1:对摄像头输入的每帧图像，利用基于象素点的方法提取可 能属于遗弃物的象素点，并用每一个可能属于遗弃物象素点的RGB颜 色信息去更新相应位置的混合高斯模型；
步骤S2:将所述图像中每个象素点的卫GB颜色信息输入到更新过 的对应混合高斯模型中，检测出与描述相应位置象素点可能出现的遗弃 物的颜色信息相匹配的象素点，完成视频中遗弃物的检测。
本发明的方法，在复杂的场景(如动态背景，运动目标过多)中可 以突出它的优越性。本发明的方法与其他的不同，本发明的方法不需要 进行运动目标检测和跟踪，从而更易于实现和应用。本发明对遗弃物检 测可以应用在如下方面
(1 )应用于智能视频监控领域，用于帮助提供监控场景中潜在的 危险区域并提供报警，从而避免因可能的爆炸事件造成的巨大损失。
(2 )应用于计算机视觉领域的物体识别，首先对目标进行粗分类， 縮小搜索空间，提高识别效率和准确率。(3)应用于智能监控系统中的语义化理解，提供其语义化中的主 体类别，帮助系统理解场景中发生的事件。


图l示出本发明无需跟踪过程的遗弃物检测的流程图。
图2a示出本发明运动视频中的一帧示例。
图2b示出本发明基于背景建模方法检测出的背景发生改变的区域。
图2c示出本发明检测出的短时静止区域。
图2d示出本发明对短时静止区域去除噪声后的结果。
图3a示出本发明运动视频中的 一帧示例。
图3b示出与图3a相邻的一帧示例。
图3c示出实施例中因为目标运动缓慢所造成的误检测。
图4a示出实施例中长时间静止目标运动前的 一帧示例图像。
图4b示出实施例中长时间静止目标运动后的 一帧示例图像。
图4c示出实施例中因为长时间静止目标运动后造成的误检测。
图5a示出实施例中 一帧报警示例。
图5b示出实施例中去除噪声前的遗弃物检测结果。
图5c示出实施例中去除噪声后的遗弃物检测结果。
具体实施例方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。 应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起 任何限定作用。
传统的基于视频的遗弃物检测方法通常需要跟踪过程，而复杂的场 景会对精确跟踪造成巨大的挑战。所以这类方法的准确性较差，实用性 不好。无需跟踪过程的遗弃物检测因为不包含跟踪过程，对于提高监控 系统对监控场景中遗弃物的精确检测有很重要的作用。利用遗弃物的特 性，本发明实现了一个无需跟踪过程的遗弃物检测系统。如图1示出无 需跟踪过程的遗弃物检测方法的流程框图，包括模型更新和遗弃物检测 两个部分所述的模型更新过程包括步骤对摄像头输入的每帧图像，利用背 景建模和帧间差分方法提取短时静止的象素点；对提取的短时静止区 域，利用遗弃物具有一定大小且有明显边缘的特性去除噪声，从而获取
可能属于遗弃物的区域；对可能属于遗弃物的区域提取该区域中的每个 象素点RGB信息更新相应的混合高斯模型，更新方法为K均值法。
所述的遗弃物检测过程包括步骤将所述图像中每个象素点的RGB 颜色信息输入对应的混合高斯模型中，检测出与描述相应位置象素点可 能出现的遗弃物的颜色信息相匹配的象素点；利用遗弃物具有一定大小 且有明显边缘的特性去除噪声；如果有遗弃物立即报警，反之则继续检 测过程。
本发明的方法需要的硬件最低配置为P43.0GCPU， 512M内存的 计算机；最低分辨率为320x240的监控摄像头；帧率为25帧每秒的视 频采集卡。这里摄像头和釆集卡用于提供实时的图像数据。在此配置水 平的硬件上，采用0++语言编程实现本方法，可以达到实时检测的效果。 本发明包含两个过程模型更新过程和遗弃物检测过程。下面对本发明 的方法中两个过程所涉及的关键步骤进行逐一详细说明，具体形式如下 所述
模型更新过程
首先，是短时静止区域提取
通常遗弃物具有如下两个特点
(1) 遗弃物会造成被占区域的背景发生改变；
(2) 物体在被遗弃后保持静止。
本步骤就是根据遗弃物的上述两个特点，提取出场景中的短时静止 区域。其包含两个过程-
第一步是利用基于背景建模的方法，提取出场景中背景发生改变的 区域。所述背景建模是提取运动目标图像序列每一帧的颜色信息，通过 对每个象素点的颜色信息进行混合高斯背景建模使该模型能够描述对 应象素点的背景颜色信息。因此可以用基于背景建模的方法检测背景发 生变化的区域。混合高斯模型目前被广泛应用于背景建模，有比较稳定
的性能。如附图2a示出的当前图像，如附图2b示出的检测出的背景发生改变的区域。
第二步在提取的背景发生改变的区域，利用帧间差分方法，提取出 短时静止的区域。帧间差分法就是用当前帧图像与相邻帧图像进行差分 的方法。如果某一象素点的差分值小于一定的阈值，就认为该象素点是 短时静止的。如附图2c示出的检测出的短时静止区域。 其二，对提取的短时静止区域，进行噪声区域去除 从附图2c我们可以看出检测出来的短时静止区域并不全是遗弃物， 包含有大量的噪声。这些噪声的产生主要有如下两个原因
(1) 当运动目标运动缓慢，且物体内部颜色分布比较均匀时，运动 目标的内部区域会被帧间差分方法当成静止区域检测出。同时该区域显
然也造成了背景的短时变化。如附图3a和附图3b示出的相邻两帧，如 附图3c示出的利用帧间差分方法提取出的场景中静止的象素点。从附 图3c可以看出运动目标的内部区域被误认为静止区域。
(2) 长时间静止的物体，突然运动后露出的背景区域会被认为是背 景发生了改变的区域。长时间静止的物体会被基于背景建模的方法认为 是背景区域。目标运动后所漏出来的真实背景因为其颜色信息与描述该 区域背景颜色信息的模型不一致，而被当成了前景，即被误认为该区域 背景发生了改变。显然被误检的区域同时也属于短时静止区域。如附图 4a示出的长时间静止目标运动前图像，如附图4b示出的目标运动后图 像，如附图4c示出的背景建模方法提取的背景发生改变的区域。从图 4c可以看出长时间停留的目标运动后，露出来的背景区域被当成了背景 发生改变的区域。
但是从实验中我们发现，这些误检测区域的轮廓对应到原始图像以 后，边缘信息并不充足。换句话来说，遗弃物一般都具有明显的边缘。 我们利用这个特征去除由上述两种原因造成的误检测。其具体做法为 利用blob分析方法将短时静止区域分块，并提取每个块的边缘；将当前 图像用canny算法提取边缘；如果某一块的边缘与当前图像的边缘重合 度大于一定阈值时，就认为该块为可能的遗弃物。如附图2d示出的短 时静止区域去除噪声后的结果。重合度由下式计算，A，=边缘中重合的象素点数目 块边缘的象素点数目
其三，更新相应位置的混合高斯模型
与混合高斯模型应用于背景类似，在这里我们也在每个象素点构建 一个混合高斯模型，用来描述该象素点可能出现遗弃物的颜色信息。将 步骤二提取出来的象素点的颜色信息采用K均值法在线更新对应位置 处的混合高斯模型，用于描述遗弃物颜色信息。假设某象素点的RGB 值在混合高斯模型中某高斯函数均值的两倍方差之内，则该高斯函数的 均值和方差由下式进行更新
A = — & =(l_ )//g+aG //A = (1 _ +
cr = (l —a)o" + "^/(i —/02+(G —A)2+(5 —a)2
其中，a， a， ^分别是高斯函数均值的RGB分量，R， G， B分 别是象素点的RGB分量的值，o"是高斯函数的方差。显然，其高斯参 数的更新策略与背景建模中的高斯混合模型相似，但是更新过程还有如 下步骤
(1) 此处混合高斯模型中的高斯权值是由该高斯未被更新的时间长 短来确定的。未更新的时间越长，其权值越小。所以每个高斯的最近更 新时间需要保存。
(2) 每个高斯的构建时间需要确定，因为只有当包裹遗弃一定时间 后才会报警。
(3) 混合高斯模型在未被任何样本更新前，其高斯个数为o。 遗弃物检测过程
首先，检测与描述遗弃物信息的混合高斯模型相匹配的象素点 这里匹配过程也与背景建模中的混合高斯模型匹配过程类似，其区 别在于
(1) 这里我们检测的是与模型匹配的象素点，而背景建模中检测的 是与模型不匹配的象素点。
(2) 除了颜色信息需要匹配外，当前时间与被匹配的高斯的创建时间需要大于一个阈值，因为只有包裹被丢弃超过一定时间才能报警。该 阈值由手工确定。
(3)若某个象素点混合高斯中，高斯的个数为0，则不匹配。
如附图5b示出的检测效果，我们发现有大量的噪声。
其二，利用遗弃物的特征去除检测噪声
该步骤所采用的特征和策略与模型更新过程中的步骤2相同。如果 仍然有遗弃物被检测，则系统报警，如果没有遗弃物被检测，则系统转
到遗弃物检测过程的步骤1继续检测过程。如附图5a示出的一帧报警 示例。如附图5c示出的去除噪声后的遗弃物检测结果。
无需跟踪过程的遗弃物检测方案主要包含模型更新和遗弃物检测 两个过程，为了详细说明该发明的具体实施例，以某一个用于车站大厅 的智能视频监控系统为例说明。这个系统可以对监控场景中的遗弃物进 行实时检测。
模型更新的目的是在线学习和更新用于描述每个象素点可能出现 的遗弃物颜色分布的模型。
模型更新如下
步骤S11:对摄像头输入的每帧图像，利用背景建模和帧间差分方 法提取该帧中短时静止区域；提取短时静止区域包含如下过程利用基 于背景建模的方法，检测出当前帧中背景发生变化的区域；在背景发生 变化的区域中，利用帧间差分方法检测出短时静止的区域；
步骤S12:对S11所获得的短时静止区域，利用遗弃物具有一定大
小且边缘明显的特点，进一步排除步骤Sll所提取的短时静止区域中的 噪声，从而获得可能属于遗弃物的区域；
步骤S13:对S12所获得的可能属于遗弃物的区域，将该区域中的 每个象素点颜色信息更新相应位置的混合高斯(GaussianMixture Model)模型。
在训练出用于描述遗弃物颜色特性的模型后，我们实时检测每帧中
可能存在遗弃物的区域。其具体步骤如下
步骤S21:对摄像头输入的每帧图像提取每个象素点的RGB颜色信 息，并将每个象素点的RGB颜色信息输入到对应位置的混合高斯模型中，检测出RGB颜色信息与对应位置混合高斯模型匹配的象素点，获 得由混合高斯模型匹配的象素点组成的区域；
步骤S22:对由匹配的象素点所组成的区域，利用遗弃物具有明显 边缘和一定大小的特点，进一步排除噪声区域，从而获得遗弃物区域；
步骤S23:对输入的每帧图像，如果有遗弃物被检测，则报警；反 之，则继续执行步骤S21的遗弃物检测过程。
总之，本发明提出了一种简单有效的无需跟踪过程的遗弃物检测方 法。PETS06数据库上的试验结果验证了我们算法的有效性。本发明易 于实现、性能稳定。本发明对于提高监控系统对监控场景的理解能力， 提升公共场所的安全性具有很重要的作用。
以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并 不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理 解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发 明的保护范围应该以权利要求书的保护范围为准。
权利要求
1.一种无需跟踪过程的遗弃物检测方法，其特征在于包括模型更新和遗弃物检测两个过程，其步骤如下步骤S1对摄像头输入的每帧图像，利用基于象素点的方法提取可能属于遗弃物的象素点，并用每一个可能属于遗弃物象素点的RGB颜色信息去更新相应位置的混合高斯模型；步骤S2将所述图像中每个象素点的RGB颜色信息输入到更新过的对应混合高斯模型中，检测出与描述相应位置象素点可能出现的遗弃物的颜色信息相匹配的象素点，完成视频中遗弃物的检测。
2. 按权利要求1所述的遗弃物检测方法，其特征在于所述模型更 新如下步骤S11:对摄像头输入的每帧图像，利用背景建模和帧间差分法 提取该帧图像中短时静止区域；步骤S12:对短时静止区域，利用遗弃物具有明显边缘和一定大小的特性，排除短时静止区域中的噪声，从而获得可能属于遗弃物的区域；步骤S13:对可能属于遗弃物的区域提取该区域中的每个象素点的RGB颜色信息并采用K均值法更新相应位置的混合高斯模型。
3. 按权利要求2所述的遗弃物检测方法，其特征在于所述提取短 时静止区域包含如下过程利用基于背景建模的方法，检测出当前图像 中背景发生变化的区域；在背景发生变化的区域中，利用帧间差分方法检测出短时静止的区域。
4. 按权利要求2所述的遗弃物检测方法，其特征在于利用提取短时静止区域的象素点用于更新混合高斯模型。
5. 按权利要求2所述的遗弃物检测方法，其特征在于采用K均值法在线更新对应位置处的混合高斯模型，用于描述遗弃物颜色信息。
6. 按权利要求1所述的遗弃物检测方法，其特征在于所述遗弃物检测步骤如下步骤S21:对摄像头输入的每帧图像提取每个象素点的RGB颜色信 息，并将每个象素点的RGB颜色信息输入到对应位置的混合高斯模型中，检测出RGB颜色信息与对应位置混合高斯模型匹配的象素点，获 得由混合高斯模型匹配的象素点组成的区域；步骤S22:对由匹配的象素点所组成的区域，利用遗弃物具有明显 边缘和一定大小的特点，进一步排除噪声区域，从而获得遗弃物区域；步骤S23:对输入的每帧图像，如果有遗弃物被检测，则报警；反 之，则继续执行步骤S21的遗弃物检测过程。
全文摘要
本发明公开一种无需跟踪过程的遗弃物检测方法，包括步骤对摄像头输入的每帧图像，利用基于象素点的方法提取可能属于遗弃物的象素点，并用每一个可能属于遗弃物象素点的RGB颜色信息去更新相应位置的混合高斯模型；将所述图像中每个象素点的RGB颜色信息输入到更新过的对应混合高斯模型中，检测出与描述相应位置象素点可能出现的遗弃物的颜色信息相匹配的象素点，完成视频中遗弃物的检测，如果有遗弃物被检测则报警。无需跟踪过程的遗弃物检测因为不包含跟踪过程，在复杂场景中对于提高监控系统对监控场景中遗弃物的精确检测有很重要的作用。可用于智能视频监控系统，帮助识别出公共场景中的遗弃物，从而提高公共场所的安全性。
文档编号G06K9/00GK101635026SQ200810117059
公开日2010年1月27日 申请日期2008年7月23日 优先权日2008年7月23日
发明者舟 刘, 王亮生, 谭铁牛, 黄凯奇 申请人:中国科学院自动化研究所