专利名称：使用统计像素建模的视频分割的制作方法
技术领域：
本发明涉及用在视频处理系统中的视频帧的处理，这些视频处理系统 比如是作为在安全、监视以及有关领土安全和反恐怖主义系统中利用的闭
路电视系统(Closed Circuit Television System, CCTV)的一部分来使用 或者结合该CCTV来使用的智能视频监视(intelligent video surveillance, IVS)系统、针对市场研究的目的为了建立店内人类行为趋势而处理零售 商业机构中的监皿频的IVS系统、监视交通工具的交通以检测错道交 通(wrong-way traffic),损坏的交通工具、事故和道路阻塞的IVS系统 以及视频压缩系统。IVS系统是在视频分割步骤之后进一步处理视频以执 行如下对象分类的系统，在该对象分类中前景对象可以分类为一般类，如 动物、交通工具或其它移动的但是未分类的对象，或者可以按照更具体分 类来分类，如人、小型或者大型非人类动物、汽车、飞行器、船只、卡车、 树木、标记或者水区。在IVS系统中， 一旦发生这样的视频分割和分类， 就处理检测到的对象以确定它们的位置、移动和行为如何与用户定义的虚 拟视频绊网和兴趣虚拟区域(其中兴趣区域可以是整个视野或者场景)有 关。出现的用户定义事件然后^^L标记为将向当班安全职员或者专业人员 传达的兴趣事件。此类事件的例子包括越过虚拟视频绊网的人或者交通工 具、逛入或者it^虚拟兴趣区域或者场景的人或者交通工具、或者留在虚 拟区域或者场景中或者从虚拟区域或者场景中带走的对象。具体而言，本 发明所处理' 的组成部分，
背景技术：
在基于对象的视频压缩中，用于检测和跟踪视频对象的视频分割以及 在其它类型的面向对象的视频处理中输入的视频被分成两个流。一个流包 含代表静止背景信息的信息，而另一个流包含M示为前景信息的代表视 频的移动部分的信息。背景信息表示为背景模型，该背景模型包括场景模 型，即由例如会在视频帧序列中发现的一系列有关图像组份的合成图像；背景模型也可以包含附加模型和建模信息。通过对准图像(例如通过匹配
点和/或区域)并且确定它们之间的重叠来生成场景模型。在一种高^JL 送或者存储方案中，场景模型只需发送一次，而对各帧发送前景信息。例 如，在观察器(即作为视频源的相机等)仅经历摇摄、倾斜、滚动和变焦 类型的运动情况中，场景模型只需发送一次，因为场景模型的外观不因帧
而改变，除了基于观察者运动定义好的方式之外，而这可通it^L送运动参
数来轻易地解决。注意这样的技术在除了摇摄、倾斜、滚动和变焦之外的
其它形式的运动情况中也适用。在IVS系统中，即4吏当背景4象素可能由 于相机的摇摄、倾斜和变焦运动而经历明显运动时，对不同的移动前景和 背景对象的创建仍然允许系统对移动的兴趣对象尝试分类。
为了使自动的面向对象的视频处理可行，需要能够区分视频序列中移 动或者变化的区域并将它们从静止的背景区域中分离(即分割)。当存在 例如会由摇摄、倾斜、滚动和/或变焦的观测器引起(或者归因于包括实 际观测器运动的其它运动有关现象)的明显运动时必须执行这一分割。为 了应对这一运动，如上文讨论的那样先对准图像；也就是说，确定图4象中 的对应位置(即帧)。在该对准之后，可以从场景中的静止对象中分割相 对于静止背景真实地移动或者变化的对象。然后使用静止区域以创建(或 者更新)场景模型，并且为各帧识别移动的前景对象。
如上文讨论的那样特别是当存在观测器运动时识别和自动地区分作 为移动前景的视频对象和静止背景并非易事。另外，为了提供最大压缩程 度或者其它视频处理技术的最大精细度或准确度，希望尽可能精细地分割 前景对象，这例如使得能够维持在连续视频帧之间的平滑性和在单独帧内 的鲜明性。然而已知的技术已经证实难以利用而且对于小的前景对象而言 并不准确并且需要大量处理能力和存储器。因此将希望有一种允许在前景 与背景信息之间的准确分割和对前景对象的准确且鲜明的表示的技术，而 无现有纟支术那些限制。
发明内容
本发明涉及一种用于基于源视频的统计性质将视频分割成前景信息 和背景信息的方法。具体而言，该方法是基于创建和更新与视频的区域的 特征有关的统计信息并且基于统计信息来标注这些区域(即标注为前景或 者背景)。例如在一个实施例中，区域是像素而特征是色强度(chromatic intensity),存在明显的诸多其它可能。在更多特定实施例中，本发明涉及使用本发明的视频分割方法来实施智能视频监视系统的方法。
在本发明的实施例中，发展包含至少两个组份的背景模型。第一组份 是例如可以如在前述美国专利申请中讨论的那样构建和更新的场景模型。 第二组份是背景统计模型。
在第一实施例中，本发明方法包括二通膝现频分割过程。该实施例的 二通路包括其中构建和更新背景统计模型的第 一通路和其中分割帧中的
区域的第二通路。第一通路的一个实施例包括以下步骤将各视频帧与场 景模型对准；以及基于对准的帧数据来更新背景统计模型。第二通路的一 个实施例包括对各帧进行以下步骤标记帧的区域和执行空间滤波的步 骤。
在第二实施例中，本发明方法包括一通膝现频分割过程。单通路包括 对视频流的帧序列中各帧进行以下步骤将帧与场景模型对准；构建背景 统计模型；标注帧的区域；以及执行空间/时间滤波。
在又一实施例中，本发明方法包括前述一通膝现频分割过程的变形。 这一实施例类似于先前实施例，不同之处在于构建背景统计模型的步骤为 构建背景统计模型和辅助统计模型的步骤所取代。
在第四实施例中，本发明方法包括一通膝现频分割过程。单通路可以 包括对实时视频流中各帧进行以下步骤标注帧中的像素；执行对帧中像 素的空间/时间滤波；可选地精化像素标注；构*/更新背景和前景统计模 型；以及将对象插入背景统计模型中。
可以用运行执行实施例步骤的软件的计算机系统和包含代表实施例 步骤的软件的计算机可读介质的形式实施这些实施例中的各实施例。
可以用硬件装置的形式实施这些实施例中的各实施例。
定义
在描述本发明时通篇(包括上文)适用如下定义。 "计算机"指的是能够接受结构化输入、根据指定规则来处理结构化输
入并且产生处理结果作为输出的任何装置。计算机的例子包括计算机、通 用计算机、超级计算机、大型计算机、超级小型计算机、小型计算机、工 作站、微型计算机、服务器、交互式电g、计算机和交互式电视机的混 合式组合、以及用以仿效计算机和/或软件的专用硬件。计算机可以具有单个处理器或者可以并行和/或不并行操作的多个处理器。计算机还指代 经由用于在计算机之间发送或者接收信息的网络来连接在一起的两个或 者更多个计算机。此类计算机的例子包括用于经由网络所链接的计算机来 处理信息的分布式计算机系统。
"计算机可读介质"指的是用于存储计算机可存取的数据的任何存储
设备。计算机可读介质的例子包括硬磁盘、软盘、光盘如CD-ROM或 DVD、磁带和存储器芯片。
"软件"指的是用以操作计算机的指定规则。软件的例子包括软件、代 码段、指令、计算机程序和编程的逻辑。
"计算机系统"指的是具有计算机的系统，其中该计算机包括实现用以 操作该计算机的软件的计算机可读介质。
"网络"指的是通过通信设施来连接的多个计算机和关联i殳备。网络涉 及到永久连接如线缆或者临时连接如通过电话或者其它通信链路来进行 的连接。网络的例子包括互联网如因特网、内部网、局域网(LAN)、广 域网(WAN)以及网络如互联网和内部网的组合。
"视频，，指的是以模拟和/或数字形式表示的运动画面。视频的例子包 括在安全、监视和反恐怖主义应用中来自CCTV系统的视频馈送、电视、 电影、来自相机或者其它观察器的图像序列、以及计算机生成的图像序列。 可以例如从有线或者无线实况馈送、存储设备、防火墙接口、视频数字化 器、视频流服务器、设备或者软件部件、计算机图形引擎或者网络连接中 获得这些视频。
"视频处理"指的是任何视频梯:控，该视频操控例如包括压缩和编辑。
"帧"指的是视频内的特定图像或者其它离散单位。
"摄#4^"可以指的是用于视觉记录的装置。摄^^的例子可以包括摄 像机、数字摄像机、彩色相机、单色相机、相机、可携式摄像机、PC相 机、摄像头、红外线(IR)摄像机、低照度摄像机、热感摄像机、闭路电 视(CCTV)相机、摇摄、倾斜、变焦(PTZ)相机以及视频感测设备中 的一个或者多个。摄像机可被定位用以执行对兴趣区域的监视。
现在将结合附图更具体地描迷本发明，在附图中:图l示出了与本发明第一实施例的实施对应的流程图2a和2b示出了与图1的流程图中的标注步骤的两个替代实施例对 应的流程图3a和3b示出了与图1的流程图中的空间/时间滤波步骤的实施对 应的流程图4示出了与本发明第二实施例的实施对应的流程图5示出了与图4的流程图中的步骤之一的实施对应的流程图6a和6b —起示出了与图4的流程图中的另 一步骤的实施对应的流 程图7示出了与本发明第三实施例的实施对应的流程图8a和8b —起示出了与图7的流程图中的步骤之一 的实施对应的流
程图9描绘了可以是计算机系统的一部分、形式为实施于计算机可读介 质上的软件的本发明一个实施例；
图10描绘了根据本发明一个实施例的实施智能视频监视系统的方法 的流考呈图11示出了与本发明第四实施例的实施对应的流程图12示出了与图11的流程图中的步骤之一的实施对应的流程图13示出了与图11的流程图中的步骤之一的实施对应的流程图14示出了与图12和图13的流程图中的步骤之一的实施对应的流 程图；以及
图15示出了与图11的流程图中的步骤之一的实施对应的流程图。 注意相同对象在包含它们的所有附图中用相同的附图标记来标注。
具体实施例方式
如上文讨论的那样，本发明涉及将视频流分割成与移动对象对应的前 景信息和与视频的静止部分对应的背景信息。可以以多种方式来实现本发 明，以下讨论其中四种特定的方式。这些实施例旨在于举例说明而非穷举。
以下讨论涉及"像素，，和"色强度(chromatic intensity)";然而本发明方法不限于此。实际上，处理可以涉及到任一类区域(包括含多个〗象素 的区域)而不仅仅是像素并且可以使用针对这样的区域或者与这样的区域 有关地来测量的任一类特征而不仅仅是色强度。
1.第一实施例——二通路(two-pass)分割
本发明的第一实施例在图1中示出并且对应于一种二通路分割方法。 如图1中所示，该方法以从视频流获得帧(或者视频)序列(步骤l)开 始。帧序列优选地包括视频流的两个或者更多个帧。帧序列可以例如^_视 频流的一部分或者整个视频流。作为视频流的一部分，帧序列可以例如是 视频流的一个连续帧序列或者视频流的两个或者更多个不连续帧序列。作 为对准步骤的一部分，还构建和更新场景模型。
在步骤1之后，在步骤2中确定是否已经处理所有帧。如果不是，则 下一帧被获取并且与视频流的底部的场景模型对准(步骤3);在上文中 以及在诸多其它参考文献中已讨论了该对准。
本发明方法是基于使用统计建模来确定应当将特定像素分类为前景 对象或者其一部分还是背景或者其一部分。步骤4涉及使用在步骤3中对 准的各帧来构建和更新背景的统计模型。
本发明的统计模型包括一阶和二阶统计量。在以下讨论中，将使用平 均值和标准偏差作为该一阶和二阶统计量；然而，这旨在于仅举例说明可 以使用的统计量。
一般而言，通过求一个样本之和并且将和除以w来计算w个样本的平 均值:；，即
其中A是与给定像素(或者区域)对应的特定样本，该特定样本在当前情 况中下可以例如是与给定像素(或者区域)对应的第/个样本的测量的色 强度。于是，在当前设置中，将为各像素或者区域计算这样的平均值。
尽管等式(1)给出用于样本平均值的通用公式，但是使用这一公式 可能并不总是最优的。在视频处理应用中，像素的样本值可能在对象移动
21经过该像素时明显改变而在移动对象不再处于该4象素内时(明显)改变回 到在它的先前值附近的值。为了解决这一类考虑，本发明利用其中在先值
比当前值被加权更多的加权平均值。具体而言，可以使用如下等式
<formula>formula see original document page 22</formula> (2)
其中，&是过寺值的权值而『《是赋予最新值的权值。
此外，U代表J个样本的加权平均值而W代表第f个样本。&和『*可
以设置为在0与1之间的任一对值，使得它们之和为1并且使得《^以 便保证过去值比最新值被加权更多。作为例子，发明人已经成功地使用
环';=汰^和^ 众/。
将标准偏差ff确定为所考虑的值的方差浐的平方根。 一般而言，按照
如下公式来确定方差
其中7代表？的平均数；因此如下给出标准偏差
由于本发明方法使用流动统计量(running statistics )，所以这就变成
<formula>formula see original document page 22</formula>
其中^7如上述等式(2)中定义的那样，而^L定义为直至第7v个样本的 样本平方值的加权平均值并如下给出
与在样本值的加权平均值情况中 一样，使用权值来保证过去值比当前值被 加权更多。
在这样的情况下，步骤4用以针对各帧通过为各像素计算等式(4a) 的值来创建和更新统计模型。在步骤4中，还在逐个像素的基础上(相对 于如何接收它们，即在逐帧的基础上)存储像素的值；也就是说，针对帧 序列为各像素编制值数组。注意在替代实施例中，步骤4仅执行值的存储 这一步骤。在步骤4之后，该方法返回步骤2以检查是否已经处理了所有帧。如 果是，则该方法进行到步骤5，步骤5开始该实施例的第二通路。
在步骤5中，完成统计背景模型。这是通过使用各像素的存储值并且 确定它们的模(mode)来完成的，其中模是最经常出现的值。这可以例 如通过求M储值的直方图并且选择直方图具有最大值的值来完成。然后 将各像素的銜旨定为该像素的背景统计模型的值。
在步骤5之后，该方法进行到步骤6，该步骤6确定是否已经处理了 所有帧。如果没有，则该方法进行到步骤7，在该步骤7中将帧中的各像 素标注为前景(FG)像素或者背景(BG)像素。在图2a和2b的流程图 中示出了这一步骤的工作的两个替代实施例。
图2a描绘了二层决策方法。在图2a中，像素标注步骤7始于步骤 71，在该步骤71中确定是否已经处理帧中的所有像素。如果没有，则该 方法进行到步骤72以检查下一〗象素。步骤72确定〗象素是否与背景统计模 型匹配，即像素的值是否与用于该像素的模型匹配。这是通过求取在像素 值与用于该像素的背景统计模型的值(即模)之间的绝对差值并且将该绝 对差值与阈值做比较来执行的；也就是说，
"卜咖「附一| 粉
与阈值"做比较。在等式(6)中，；^表示像素的值，而,狄,代表用于该 像素的统计背景模型的值。
可以用诸多方式确定阈值0。例如，该阈值可以是(给定像素的)标 准偏差ff的函数。在一个特定示例实施例中，》-3汀；在另一实施例中，
6 = Kcr，其中K由用户选择。作为另一例子，可以向-赋值以预定值(同
样对于各像素)或者由用户选择的值。
如果&S0，则认为像素值与背景统计模型匹配。在这一情况中，在
步骤73中将像素标注为背景(BG),并且该算法继续回到步骤71。另外 如果&:>没，则认为像素值不与背景统计模型匹配，并且在步骤74中将像 素标注为前景(FG)。同样，该算法然后继续回到步骤71。如果步骤71 确定已经处理(帧中的)所有像素，则完成步骤7。
图2b描绘了标注为7，的三层决策方法。在图2b中，该过程再次始 于步骤71，该步骤71确定是否已经处理了所有像素。如果没有，则该过 程考虑处理下一像素并且执行步骤72，该步骤72确定正在处理的^象素是否与背景统计模型匹配；这是以与图2a中相同的方式完成的。如果匹配， 则将像素标注为BG (步骤73)，并且该过程返回步骤71。如果不匹配， 则该过程进行到步骤75;这正是图2b的过程有别于图2a的过程之处。
在步骤75中，该过程确定所考虑的像素是否完全不与背景统计模型 匹配。这是经由与步骤72相似的阈值测试来实现的，只是在步骤75中给 予没以更大的值。与在步骤72中一样，e可以由用户赋值或者预定。在一 个实施例中，g吣V"，其中W是预定数字或者用户设置的数字，w>《。在 另一实施例中，梦=6。
如果步骤75的结果是AS 则将像素标注为FG(步骤74)。如果不 是这样，则在步骤76中将4象素标注为明确前景(definite foreground, DFG)。在各情况中，该过程返回步骤71。 一旦步骤71确定已经处理帧 中的所有^象素，则步骤7，完成。
回到图1， 一旦已经标注帧的所有像素，该过程进行到步骤8，在步 骤8中执行空间/时间滤波。尽管在图1中表示为顺序步骤，但是可替代 地步骤8可与步骤7并行执行。在图3a和3b的流程图中示出了步骤8 的细节。
在图3a中，步骤8以关于是否已经处理了帧的所有4象素的测试(步 骤81)开始。如果没有，则在步骤85中该算法选择下一l象素巧用于处理 并进行到步骤82，在该步骤82中确定像素是否被标注为BG。如果是， 则该过程回到步骤81。如果不是，则像素进行到步骤83和84中的进一 步处理。
步骤83的邻域滤波用来在图#^对准时校正未对准。如果当前图像 与t艮成的背景统计模型8WL未对准，则特别是在强边缘附近，使用背景 统计模型的本发明的分割过程将像素标注为前景。邻域滤波将校正这一 点。在图3b的流程图中描绘了步骤83的实施例。
在图3b中，步骤83始于步骤831,在该步骤831中确定与乃对应的 场景模型位置&。接着选择包括场景模型中&周围像素P"的邻域(步骤 832)。接着步骤833确定是否已经处理邻域中的所有像素。如果是，则步 骤83完成，并且乃的标注保持原样；如果不是，则该过程进行到步骤834， 在该步骤834中考虑下一邻域像素P，。步骤835然后测试以确定A'是否 与P;匹配。这一匹配测试是通过以如下变形的方式执行标注步骤(步骤 7或者7，)来实现的，在该变形的方式下^f吏用^作为所考虑的〗象素而P'沐作
24为"对应"背景统计模型点。如果标注步骤返回标注FG或者DFG则不存 在匹配，而如果它返回标注BG则存在匹配。如果不存在匹配，则该过程 返回步骤833;如果存在匹配，则这表示P/可能标注有误，并且该过程进 行到步骤836。在步骤836中，选择包括帧中乃周围的像素^的邻域，并 且执行类似过程。也就是说，在步骤833中确定是否已经考虑邻域中的所 有像素A。如果是，则步骤83完成，并且P 的标注保持原样；如果不是， 则该过程进行到步骤838，在该步骤838中考虑下一邻域像素尸V。步骤839 进行测试以确定&是否与PV匹配；这是与步骤833类似地执行的，其中 使用所考虑的^作为正在考虑的像素而&作为它的"对应"背景统计模型 点。如果不匹配，则该过程返回步骤837;如果匹配，则将^重新标注为 BG，并且步骤83完成。
返回图3a，在步骤83之后执行步骤84，在该步骤84中执行形态学 腐蚀(erosion)和膨胀(dilation)。首先执行预定次数(w次)腐蚀以去除 标注错误的前景。注意标注为DFG的像素可以不被腐蚀，因为它们代表 几乎确定是前景的像素。此后是AI次膨胀，这些膨胀恢复正确地标注为前 景但是被腐蚀的像素。最后执行第二预定次数(m次)膨胀以填充前景对 象中的孔。可以使用常规腐蚀和膨胀技术来执行、根据用户指定^来应 用并且如上文讨论的那样修改腐蚀和膨胀，使得标注为DFG的像素不被 腐蚀。
在替代实施例中，步骤84可以包括除了形态腐蚀和膨胀之外附加的 或者取而代之的滤波技术。 一般而言，步骤84可以利用任何形式的空间 和/或时间滤波。
返回图l，在步骤8之后，该算法返回步骤6以确定是否已经处理了 所有帧。如果是，则帧序列的处理完成，并且该过程结束(步骤9 )。
该二通路的实施例具有相对简易的优点，并且它是无需直接或者少量 延时处理的应用可接受的方式。此类应用的例子包括对安全和监皿频的 脱抓现频压缩和非线性视频编辑和法医处理。另一方面，比如其中及时的 事件报告至关重要的视频安全和监视这样的诸多其它应用确实具有这样 的需求，并且使下文将讨论的实施例适于满足这些需求。
2.第二实施例——一通路分割
图4描绘了根据本发明第二实施例的一通路分割过程的流程图。比较图4与图1 (第一实施例)，第二实施例的不同之处在于对于各帧序列仅 有单个处理通路。如下文将讨论的那样，如图4中的步骤2、 3、 31、 32、 8中所示，该单个通路将第二通路(图1中的步骤5-8 )与第一通路(图1 中的步骤2-4)的过程合并，尽管是以修改的形式。
与在第一实施例的情况中一样，图4中所示的第二实施例(一通路过 程)始于获得帧序列(步骤1)。与在第一实施例中一样，该过程然后执 行测试以确定是否已经处理所有帧(步骤2)。也与在第一实施例中一样， 如果答案为否，则将待处理的下一帧与场景模型对准(步骤3)。如上文 讨论的那样,作为步骤3的一部分，构建和更新背景模型的场景模型组份， 因而在背景模型中各位置处至少总是有具有确定性的确定值。
在这一点，该过程包括构建背景统计模型的步骤(步骤31)。这不同 于图1的步骤4并且在图5中更具体地示出。该过程始于确定是否已经处 理正在处理的帧中所有像素的步骤(步骤311)。如果没有，则该过程确 定背景统计模型是否"成熟"(步骤312)和"稳定"(步骤313)。
步骤312和313的原因在于起初不会充分地t艮统计背景模型以进行 关于〗象素性质的准确判断。为了克服这一点，应当在标注像素之前处理某 一数目的帧(即背景统计模型应当"成熟")；在本发明的一个实施例中， 这是用户定义的参数。这可以实施为如下"预测，，过程，在该过程中使用有 限数目的帧以在4象素标注之前积累背景统计模型(图4中的步骤32)。
尽管仅处理数目由用户定义的帧可能足以提供成熟的统计模型，但是 稳定性是第二项关注(步骤313)，并且它依赖于背景统计模型的标准偏 差。具体而言，如下文将讨论的那样，统计背景模型包括各〗象素的标准偏 差。统计模型(对于特定像素)被定义为在其方差(或者等效为其标准偏 差)合理地小时已经变得"稳定"。在本发明的一个实施例中，步骤313 通过将标准偏差与用户定义的阈值^t做比较来确定这一点；如果标准偏 差小于这一阈值，则将统计背景模型(对于该4象素)确定为稳定。
关于步骤31的流，在图5中，如果背景统计模型净皮确定为成熟(步 骤312)，则确定背景统计模型是否稳定(步骤313)。如果这些测试中的 任一测试失败，则该过程进行到步骤315，在该步骤中使用正在处理的像 素的当前值来更新该像素的背景统计模型。下文将进一步说明步骤315。
如果背景统计模型被确定为既成熟又稳定(在步骤312和313中)， 则该过程进行到步骤314，在该步骤中确定正在处理的像素是否与背景统计模型匹配。如果匹配，则使用当前像素值来更新背景统计模型(步骤
315);如果不匹配，则该过程返回步骤311以确定是否已经处理了帧中的 所有像素。
步骤314通过根据当前背景统计模型确定当前像素值是否在像素的 平均值的某一范围内来工作。在本发明的一个实施例中，该范围是用户定 义的范围。在又一实施例中，它被确定为用户定义数目的标准偏差；即如 果满足下式则像素值i与背景统计模型匹配
<formula>formula see original document page 27</formula>
其中尺是标准偏差ff的用户定义数目；x-是当前像素值；而；是背景
统计模型中当前像素的平均值。执行步骤314的目的在于在可能的程度保 证仅背景像素用来t艮和更新背景统计模型。
在步骤315中，更新背景统计模型。在这一实施例中，背景统计模型 包括(针对帧序列)对于各像素的值的平均值和标准偏差。这些是才艮据上 述等式(2)和(4a)来计算的。
在步骤315之后，该过程返回步骤311以确定是否已经处理(当前帧 中的)所有像素。 一旦已经处理所有像素，则该过程进行到步骤316，在 该步骤中完成背景统计模型。这一完成步骤包括向各像素赋值以它的当前 平均值和标准偏差(即到目前为止处理所有帧的结果)。
注意用于给定像素的背景统计模型有可能从不稳定。这一般表示特定
像素不是帧序列中的背景像素，因此无需为了背景统计模型的目的而向它
赋值。注意如上文讨论的那样也构建和更新场景模型，在背景模型中至少 总是有与各像素关联的具有确定性的确定值。
在步骤316之后，该过程如图4中所示进入步骤32,在该步骤中根 据帧中的像素的类型(即明确前景、前景或者背景)来标注像素。在图 6a和6b的流程图中更具体地示出了步骤32。
以下概念在随后对步骤32的描述中具体化。从理想意义上说，将总 是通过针对各像素在背景统计模型中的对应点测试该4象素来完成标注，但 是这并非总是可能的。如果未准备好基于处理的帧的数目来使用背景统计 模型(即"成熟")，则该过程必须退回到针对场景模型中的对应点的测试。 如果背景统计模型准备好使用但是尚未调整好(即不"稳定")，则il^示 像素在变化并且应当标注为前景。如果背景统计模型已经出于某一原因(例如由于它与场景模型匹配失败或者由于它已经再次变得未调整好)而 变得不稳定，则该过程必须再次退回到针对场景模型的测试。
如图6a中所示，步骤32始于步骤321，在该步骤中确定是否已经处 理(当前帧中的)所有像素。如果是这样，则步骤32完成；如果不是这 样，则在步骤322等步骤中处理下一4象素。
步骤322确定背景统计模型是否成熟。这是以与上文讨论的图5步骤 312中相同的方式完成的。如果不是，则该过程进行到步骤323，在该步 骤中确定〗象素是否与场景模型的对应点的背景色度数据匹配。
通过进行测试以确定给定像素是否落在背景色度数据值的某 一 范围 内来执行步骤323。这类似于图5的步骤314，其中用背景色度数据值取 代统计平均值。可以用相似方式(预定、用户确定等)确定阈值。
如果步骤323确定像素不与背景色度数据匹配，则在图6b的步骤329 中将像素标注为BG (在连接符A之后)。该过程从步骤329 (经由连接 符D)返回步骤321。
如果步骤323确定像素未与背景色度数据匹配，则在图6b的步骤 3210中将像素标注为FG (在连接符B之后)。该过程从步骤3210 (经由 连接符D)返回步骤321。
如果步骤322确定背景统计模型成熟，则处理进行到步骤324，该步 骤确定背景统计模型是否稳定。步骤324以与上文讨论的图5的步骤313 相同的方式执行这一任务。如果不是这样，则该过程进行到步骤325，在 该步骤中确定背景统计模型是否曾经稳定过(即它是否一度稳定过、但是 现在不稳定)。如果是这样，则该过程分支到步骤323，并且该过程如上 所述从此继续。如果不是这样，则在图6b的步骤3211中将像素标注为 DFG (在连接符C之后)，此后该过程(经由连接符D )返回步骤321。
如果步骤324确定背景统计模型稳定，则该过程进行到步骤326。步 骤326测试背景统计模型是否与背景色度数据匹配。类似于上述先前匹配 测试，这一测试求取在用于像素的背景统计模型的值(即平均值)与用于 像素的(场景模型的)背景色度数据之间的绝对差值。然后与上文一样将 这一绝对差值与某一阈值(预定、用户确定等)做比较。
如果步骤326确定在背景统计模型与背景色度数据之间无匹配，则该 过程分支到步骤323，在该步骤中处理以与上文所勤目同的方式继续。另 一方面，如果步骤326确定有匹配，则该过程继续到步骤327。步骤327确定当前像素是否与背景统计模型匹配。这一步骤是以与上 文讨论的图5的步骤314相同的方式执行的。如果当前像素确实匹配(如 上文讨论的那样这是通过将它与对应于当前像素的平均值做比较来确定 的)，则在图6b的步骤329中将像素标注为BG (在连接符A之后)，然 后该过程(经由连接符D)返回步骤321。如果不是这样，则在步骤328 中执行进一步测试。
假如当前像素值不反映BG像素，则步骤328确定它反映FG像素还 是DFG像素。这是通过确定像素值是否远未与背景统计模型匹配来完成 的。如上文讨论的那样，通过确定FG像素的值与平均值之差是否大于特 定量、例如某一数目的标准偏差(见等式(7))来区别FG像素与BG像 素(在步骤325中)。步骤328应用同一测试但是4吏用更大范围。同样， 阈值可以设置为预定M、计算的^lt或者用户限定的^，并且它可以 按照相对于平均值的某一数目的标准偏差来给定，即
其中》/是比等式(7)的^更大的数。如果像素值落在例如按照等式(8) 定义的范围外，则在图6b的步骤3211中将它标注为DFG (在连接符C 之后)，并且该过程(经由连接符D)返回步骤321。如果它落在该范围 内，则在图6b的步骤3210中将像素标注为FG，并且该过程(经由连接 符D)进行到步骤321。
在步骤32完成之后，该过程如图4中所示进行到步骤8，在该步骤 中对帧中的像素执行空间/时间滤波。在本发明的这一实施例中以与针对 二通路的实施例来实施的相同的方式实施步骤8，不同之处在于图6a和 6b的像素标注算法用于步骤83的步骤833和837 (与在二通路的实施例 中使用的像素标注算法相对)。在步骤8之后，该过程返回步骤2，在该 步骤中如果已经处理所有帧，则该过程结束。
如这里呈现的单通路方式具有无需第二通路的优点，由此减少与该过 程关联的延时。这对于大量延时有害的应用是有用的，诸如视频电视^i义、 万维网广播、实时游戏等。
3.第三实施例——变形的一通路分割
尽管上述一通路方式具有比二通路方式更少的延时，但是它就背景统 计模型而言确实具有一个弊端。具体而言，在本发明的一通路实施例中使用的累积统计建模方式可能在用于单元(例如像素、区域等；也就是说无 论所考虑的单元的大小如何)的非代表性的统计模型上稳定。如果与视频 场景的特定单元对应的帧单元的值(例如色度值)4艮本地改变(即发生改 变视频的某些情况，比如停放的汽车扬长而去、移动的汽车停放、光照改 变等)，则场景模型单元将不再准确地代表真实场景。可以通过利用动态 地更新背景统计模型的机制、使得它在任何给定时间都准确地代表视频中 所示场景的真实性质来解决这一问题。在图7中所示本发明实施例中描绘 了这样的机制。
在图7中，步骤l-3、 32、 8和9如在上述一通路实施例中所述。图7 的实施例与图4的实施例不同之处在于在将给定帧与场景模型对准(步骤 3)之后，该过程执行步骤310，在该步骤中构建背景统计模型并且同时 构建辅助背景统计模型。结合图8a和8b更充分地描述步骤310。
如图8a中所示，步骤310包括图5中的步骤31中所示所有步骤(用 相同标号来表示)，并且它始于确定是否已经处理所有像素的步骤(步骤 311)。如果没有，则通过进行到步骤312来处理下一像素。在步骤321中， 确定背景统计模型是否成熟。如果不是，则该过程分支到步骤315，在该 步骤中使用该像素来更新背景统计模型。在步骤315之后，该过程返回步 骤311。
如果步骤312确定背景统计模型成熟，则该过程进行到步骤313，在 该步骤中确定背景统计模型是否稳定。如果不稳定，则与在步骤312中的 否定确定情况中一样，该过程分支到步骤315 (然后返回步骤311)。否则 该过程进行到步骤314。
在步骤314中，确定所考虑的像素是否与背景统计模型匹配。如果匹 配，则该过程进行到步骤315(然后返回步骤311);否则该过程执行图 8b中所示步骤，该步骤构建和更新辅助背景统计模型。该辅助背景统计 模型如图8b中反映的那样与背景统计模型并行地来构建，使用与用来构 建和更新背景统计模型相同的过程，并且代表不与背景统计模型匹配的l象 素值。
在步骤314中的否定确定之后，该过程然后进行关于辅助背景统计模 型是否成熟的判断(步骤3107)。以与步骤313中相同的方式进行该判断。 如果不是这样，则该过程分支到步骤3109，在该步骤中使用与用于背景 统计模型相同的过程(步骤315)来更新辅助背景统计模型。该过程从步 骤3109返回步骤311 (在图8a中)。如果步骤3107确定辅助背景统计模型成熟，则该过程进行到步骤 3108，该步骤(使用与步骤314中相同的过程)确定辅助背景统计模型是 否稳定。如果不稳定，则该过程进行到步骤3109 (并且从此进行到步骤 311)。如果稳定，则该过程分支到步骤31010,在该步骤中用辅助背景统 计模型取代背景统计模型，此后该过程返回步骤311。此外，与在步骤 31010中用辅助背景统计模型取代背景统计模型并行地用辅助统计模型 的平均值取代场景模型数据。在这一点，将辅助背景统计模型重置为零， 并且将使用后续数据来构建新的辅助背景统计模型。
这一修改的一通路的实施例具有较一通路的实施例而言提高统计准 确度的优点，并且它解决了变化的背景图像的潜在问题。它实现这一点而 又仍然维持较二通路的实施例而言改进的延迟时间并且较一通路的实施 例而言处理速度仅有可忽略的下降。
4.第四实施例实时视频流一通路分割
第一、第二和第三示例实施例的关注点是用于压缩应用的分割。对于 压缩应用，其思想在于保持代^^视频序列或者视频序列一部分的统计背景 模型。因此，其思想在于创建背景模型、然后在分割视频序列之时保持背 景模型恒定一段时间。
在监视应用中， 一般不对视频序列(即视频帧的有限集)而是对实时 视频流(例如无可辨别端点的视频帧的连续集)执行处理。因而， 一般出 于两个原因而不可能创建用以^R表视频场景的背景模型。首先是场景由于 光照条件和气象条件(例如雨水、阴影、云、昼/夜变化等)而在动态地 改变，其次是场景中的组份改变(例如停放汽车、在场景内添加、去除或 者移动对象等)。为了在实时监视应用中适应这些条件，在这一实施例中 利用对一通路算法的六项变形(1)除了背景模型之外还添加一个或者多 个前景模型；(2)删除背景或者前景模型"成熟"的概念；(3)添加自动增 益控制(AGC)补偿；(4)添加对象插入机制；(5)处理顺序不同以满 足实时处理需求；以及(6)使用遮掩特征以减少需要处理的像素的数目。
关于六项不同，首先除了背景模型之外还使用前景模型来描述被标注 为前景的区域。在上述第三实施例中，辅助背景模型用来对背景场景中在 主背景已经"成熟"之后出现的变化进行建模。在第四实施例中， 一个(或 者多个)前景模型用来描述被检测为前景的〗象素(或者对象)。创建一个
31或者多个前景模型的原因在于涵盖当前景对象(例如车辆)停止于场景区 域中时的情况。在这样的情况中，出于对^J险测的目的而希望开始将前景 对象视为背景(例如汽车停放而人在汽车前方步行)。前景模型是以与背 景模型完全相同的方式来创建和维护的、但是应用于被标注为"前景"的像
素。有可能使多个前景模型描^M目互遮蔽的多个对象。例如， 一辆汽车停 放并且通过一个前景模型来建模。接着，另一辆汽车停放于第一辆汽车前 方并且通过第二前景模型来建模。
第二，从第四实施例中删除模型成熟的概念。对于处理视频流而不是 视频序列的这一实施例，假设模型不会成熟而代之以会持续地和动态地改
变以适应緩慢的环境变化，如阴影随着太阳移动而缩短和延长；乌云蔽日 或者拨云见日；雨、雪或者雾在场景中开始或者结束；以及昼夜在场景中 改变。在这一实施例中，在逐帧和逐个像素的基础上连续地修改背景模型 (以及前景模型)，使得模型最好地反映背景的"当前"状态而不是成熟模 型，其中该成熟模型是先前创建的并且可能甚至是在过去很久以前创建 的。
第三，在第四实施例中利用AGC补偿。AGC是视频成像器自动地 调整整个图像的亮度和对比度以测试和优化图像的动态范围的过程。该过 程可以很快地发生并且可以改变背景像素的强度、使得它们可以在实际上 不存在前景对象时表现为前景像素。因而，添加AGC补偿组份以在视频 图像中有AGC调整的情况下修改背景模型。
第四，向第四实施例添加对象插入机制以允许外部信号控制对象在背 景模型中的插入。这里的思想在于例如当汽车停放于场景中时对于代表该 汽车的所有像素会有前景模型。外部过程可以判断这些像素代表汽车并且 该汽车事实上已经停放。 一旦进行该判断，外部过程提供指示应当向背景
模型添加(例如"烧入(burn in)")前景模型的通知。出于分割的目的 将前景模型视为背景的一部分。
第五，在实时处理中，在处理帧之后没有时间退回并改进像素标注(与 在脱机处理或者具有延时的处理中的情况一样)。因而，实时算法的步骤 的顺序不同。起初，当新的帧到来时，将现有背景模型用于标注像素。接 着，使用各种其它过程(如例如空间-时间滤波)来精化标注，然后更新 模型。这一顺序在实时处理中为各帧提供更优的分割结果。
第六，在第四实施例中添加用以将像素指定为被忽视的遮掩。添加该 能力是为了设置视频图像中不应当施加分割的区域。这样做的原因在于节约处理资源以便维持实时性能。因而如果视频场景中有预先已知无需分割 的区域(所谓的"无兴趣区域，，)，则遮掩掉这些像素(取而代之，可以定 义"兴趣区域")。另外，自动化算法可以用来确定无需施加分割的这些无 兴趣区域。这样的无兴趣区域之所以可能存在是因为相机在视频帧的边缘 附近产生无实际图像数据的各种"未使用"像素。这样的无兴趣区域也可能 存在于场景中不希望处理或者处理不会4艮好地起作用的区域中(如天空)。
图11图示了用于本发明示例第四实施例的流程图。在步骤1101中，
从实时视频流提取现频帧。
在可选步骤1102 (其中用虚线轮廓表示该步骤的可选性质)中，可 以将提取的帧与场景模型对准以适应相机运动(例如抖动或者有意识的运 动如摇摄、倾斜、变焦或者平移运动)。
在步骤1103中，将帧中的各l象素标注为背景、前景或者明确前景(或 者按照需要有更多颗粒度级)。这构成将帧分割成背景和前景组份。在一 个实施例中，可以针对步骤1103使用关于图2b讨论的使用背景统计模型 的技术。在其它实施例中，可以使用背景统计模型和/或前景统计模型。
在步骤8中，对分割执行空间-时间滤波以改进结果。
在可选步骤1104中，可以包括执行分割或精化分割的附加过程。例 如，可以在步骤1104中包括对象跟踪和分类。作为另一例子，可以在步 骤1104中包,止目标检测。
在步骤1105中，使用分割以构建和/或更新用于各像素的背景和前景 统计模型。
在步骤1106中，将对象插入背景统计模型中。作为一种选择，来自 步骤1107的外部过程可以判决应当执行插入。
在可选步骤1107中，静止目标检测器可以确定某一组或者多组像素 代表已经移入场景中并且停止的对象(例如汽车移入和停放于场景中)。 该过程可以判决从此这些像素应当视为背景(因为判断出在这些像素有停 止的对象)。
图2图示了用于图11的步骤1103的流程图。在步骤1201中，相应 地处理各帧。
在可选步骤1202中，执行对AGC (或者其它全局光照变化)的补偿。 在步骤1203中，相应地处理帧中的各像素。在步骤1204中，如果已经分析了帧中的各像素，则流程进行到步骤 1214;否则流程进行到步骤1205。
在可选步猓1205中，判断像素是否在兴趣区域中。标注在兴趣区域 内的像素而不标注在兴趣区域外的像素。可以利用遮掩(来自可选步骤 1213 )或者任何其它这样的机制来执行对像素是否在兴趣区域内的判断。 可以人工地生成(如在可选步骤1212中那样)或者通过一种确定兴趣区 域可以在帧内何处的自动过程(如在可选步骤1211中那样)生成遮掩。 兴趣区域可以跨帧连续或者不连续并且可以包括帧中的一组或者多组像 素。如果4象素在兴趣区域中，则流程继续到步骤1206;否则流程回到步 骤1203。
步骤1206至1210以与其它先前实施例中的方式相似的方式执行对4象 素的标注。在步骤1206中，如果像素的强度值足够接近背景统计模型中 该像素的平均值，则在步骤1209中将该像素标注为背景。在步骤1207中， 如果像素的强度值较远离背景统计模型中该像素的平均值，则在步骤 1210中将该像素标注为前景。在步骤1208中，如果^^素的强度值远离背 景统计模型中该^象素的平均值，则将^^素标注为明确前景。在步骤1208、 1209和1210之后，流程回到步骤1203。
在数学意义上说，步骤1206至1210可以概括如下。对于步骤1206 至1209，如果
则将像素'甜标注为背景，其中御是在位置义处的像素强度，^"》是背景统 计模型在位置尤处的平均值，工是阈值，而Wx)是背景统计模型在位置义处 的标准偏差。对于步骤1207和1210，如果
<formula>formula see original document page 34</formula>
则将像素御标注为前景，其中^是大于打的阈值。对于步骤1207和1208， 如果<formula>formula see original document page 34</formula>则将像素耿)标注为明确前景。
图13图示了用于图11的步骤1105的流程图。在步骤1301中，相应 地处理各帧。在可选步骤1202中，执行对AGC (或者其它全局光照变4乜)的补偿。 在步骤1303中，相应地处理帧中的各〗象素。
在步骤1304中，如果已经分析帧中的各像素，则流程进行到步骤 1318;否则流程进行到步骤1305。
在可选步骤1305中，确定像素是否在兴趣区域中。标注在兴趣区域 内的像素而不标注在兴趣区域外的像素。可以利用遮掩(来自可选步骤 1313 )或者任何其它这样的机制来执行对像素是否在兴趣区域内的判断。 可以人工地生成(如在可选步骤1313中那样)或者通过一种确定兴趣区 域可以在帧内何处的自动过程(如在可选步骤1311中那样)生成遮掩。 兴趣区域可以跨帧连续或者不连续并且可以包括帧中的一组或者多组像 素。如果像素在兴趣区域中，则流程继续到步骤1306;否则流程回到步 骤1303。
接着，使用在图11中的步骤11(B、 8和1104中生成的前景遮掩作为 用以更新背景和前景统计模型的滤波器。在步骤13106中，获得前景遮掩。
在可选步骤1317中，可以通过某一形态如膨胀对前景遮掩进行滤波 以保证前景对象边缘上的像素不破坏背景模型。
在步骤1306中，如果像素不是前景或者明确前景像素，则流程进行 到步骤1307;否则流程进行到步骤1308。
在步骤1307中，利用在该像素位置处来自当前帧的信息更新背景统 计模型的平均值和方差。如果背景统计模型尚不存在，则可以基于在先前 实施例中的讨论来构建背景统计模型。
在步骤1308中，像素是前景或者明确前景像素。如果前景模型存在， 则流程进行到步骤1309;否则流程进行到步骤1312。
在步骤1312中，前景统计模型在像素的位置并不存在，并且创建新
的前景统计模型。该模型的形式为；W"(i》/"P"，其中；W代表前
景统计模型在像素位置x处的平均值，,("代表前景统计模型在像素位置x 的标准方差，而D是默i人值。
在步骤1309中，前景统计模型存在于这一位置并且利用来自当前像 素的数据来更新。
35在步骤1310中，如果像素已经在前景状态中存在一长段时间，则流 程进行到步骤1311;否则流程进行到步骤1303。
在步骤1311中，像素已经在前景状态中存在一长段时间并且可以开 始视为背景。通过在这一位置用前景模型取代背景模型来实现这一分割移 位
在第四实施例中，不同于先前三个实施例，在步骤1307和1309中对 背景和前景模型的更新可以不同。在先前实施例中，使用游动平均值和标 准偏差。在背景可能连续地经历明显变化(例如当白着r化为黑夜时并且反 之亦然)的针对这一实施例的实时情况中，游动平均值和标准偏差会提供 可能并不准确的统计模型。在这一实时实施例中，当前平均值和标准偏差 应当代表在当前时间的前景。因此，应当向新信息比向旧信息给予更多权 值。为此，考虑先前统计值的滤波器如例如无限冲激响应(IIR)滤波器 应当用来更新背景和前景模型。滤波器可以应用如下
f《x) = (1 or)f'(je) + /(x)
其中^是混合(blending)常数。混合常数《可以映射到标准混合时间常数。
图14图示了用于图12和图13的步骤1202的流程图。在步骤1401 中，相应地处理各帧。
在可选步骤1402中，相应地处理兴趣区域中的各像素。可以通过可 选步骤1408提供兴趣区域。
在步骤1403中，相应地处理各背景〗象素。背景像素可以被确定为不 在步骤1409提供的前景遮掩中的像素。
在步骤1404中，生成在来自步骤1411的背景模型与来自步骤1410 的当前帧之间的差值直方图。差值直方图针对背景模型中的各像素强度值 测量在背景模型与当前帧之间存在的差值量。作为例子，对于背景模型中 强度值为10的像素，在这些像素与它们在当前帧中的对应像素之间的平 均强度差值可以表示为5个灰度级。对于强度值为100的像素，平均差值可以是30个灰度级。
在步骤1405中，分析帧以检测任何全局AGC效应。通过检查直方 图值的平均值来分析帧。如果直方图值都很小，则这可能意味着背景像素 就强度而言与当前帧像素基本上一致。如果直方图值都很大，则这可能意 味着平均而言在当前帧与背景模型之间有大的强度差异，因此在帧中可能
有全局AGC效应(或者全局光照变化)。如果在帧中检测到全局AGC效 应，则流程进行到步骤1406;否则流程回到步骤1401。
在步骤1406中，检测AGC效应，并且更新背景模型。通过使用来 自步骤1404的差值直方图作为查找表来更新背景模型。按照在当前帧强 度数据与背景模型强度数据(对于这一背景平均强度值)之间的平均差值 来调整背景模型中各像素的平均值。这一更新可以概括如下
糾^两柳+狄，
其中Hry是在背景模型中强度为/的像素与它们在当前帧中的对应像素之 间的平均强度差值。
在步骤1407中，由于存在AGC而调整模型M。例如，如果检测 到AGC,则可以减小用于图13的步骤1307和1309中更新的混合常数《。 通过减小混合常数《，向来自当前帧的数据给予更多加权，使得当分别在 步骤1307和1309中更新背景和前景模型时，模型更新更快并Jbit全局强 度变化不那么敏感。当没有检测到AGC时增大ft'，这使得步骤1307和 1309中的模型更新过程对强度变化更敏感。
图5图示了用于图11中的步骤1106的流程图。作为例子，如&寸象 被检测到并且被跟踪而且被确定为静止(例如汽车停放)，则可能希望将 这些对象烧入背景模型中，使得背景模型可以继续检测该区域中的前景。
在步骤1502中，关于是否在背景模型中插入对象进行判断。作为一 种选择，外部过程(来自可选步骤1107)可以确定应当在背景模型中插 入对象。如果要插入对象，则流程进行到步骤1503;否则流程进行到步 骤1505并且结束。
在步骤1503中，对于对象中的各4象素，流程相应地继续。可以通过 可选对象遮掩(来自可选步骤1506)或者任何其它机制来描述对象。
在步骤1504中，对于遮掩中的各^象素，利用在该位置的前景模型(来 自步骤1508 )取代在该位置的背景模型(来自步骤1507 )，从而造成在一个步骤中在背景中全体地插入整个对象。
5.附加实施例和备注
尽管上述讨论考虑了二级和三级像素标注算法，但是这一实施例并不 仅限于这些情况。实际上，预期可以使用与不同范围(例如阈值)对应的 任意数目的判决级。在这样的情况下，模糊或者软判决逻辑将用来在分割 过程的后续步骤中进行判决。
上述讨论主要讨论了像素和色度值(可以是RGB、 YUV、强度等)； 然而如上文讨论的那样，本发明不限于这些量。可以使用除像素之外的区 域并且可以使用除色度值之外的量。
如上文讨论的那样，可以用计算机系统的形式或者以包含实施本发明 的软件的计算机可读介质的形式实施包括先前段落中讨论的所有实施例 的本发明。这一点在图9中示出，该图示出了用于本发明的计算机系统的 平面图。计算机91包括计算机可读介质92，该介质实施用于实现本发明 的软件和/或用以根据本发明来操作计算机91的软件。计算机91如图所 示接收视频流并且输出所分割的视频。取而代之，还可以在计算机内进一 步处理所分割的视频。
除了利用计算机和软件来实施这里描述的所有实施例之外，还可以用 电路和/或硬件来实施这里讨论的所有实施例。电路可以例如包括现场可 编程门阵列(FPGA)、专用集成电路(ASIC)或者在数字信号处理器 (DSP)、通用预处理器(GPP)或者其它处理设备上的或者耦合到DSP、 GPP或者其它处理设备的硬件加速器。电路可以例如用芯片和/或芯片组 来实施。电路可以例如位于印刷电路板上、附加卡上和/或附加槽中。电 路可以例如位于摄影机、视频路由器、视频编码器和/或数字录像机(DVR) 中。其它基于电路和/或基于硬件的实施对于本领域普通技术人员而言将 变得明显。
也如上文讨论的那样，上述统计像素建模方法可以并入一种实施智能 视频监视系统的方法中。图IO描绘了该方法的一个实施例。具体而言， 步骤1001代表了使用例如上述统计像素建模。 一旦已经完成统计4象素建 模，步骤1002使用结果对对象进行识别和分类。步骤1002可以使用例如 用于执行此类识别和分类的统计或者面向;^板的方法。在执行识别和分类 时，确定给定对象是否为兴趣对象；例如，可能对经过受监视区域的人的移动感兴趣，这会^A成为"兴趣对象"。在步骤1003中，分4斤兴趣对象 的行为；例如，可以确定人是否已经进入受限制区域。最后在步骤1004 中，如果希望则可以发出各种通知或者采取其它适当动作。
已经关于优选实施例描述了本发明，并且对于本领域技术人员来说， 从前文显然可看到在本发明的更广义范围中可做出变化和4务改而不脱离 本发明。因此，如在权利要求中限定的本发明旨在于涵盖落入本发明的真 正实质内的所有此类变化和修改。
权利要求
1. 一种电路，适于执行用于区分视频的前景与背景部分的二通路视频分割方法，所述方法包括以下步骤从输入的视频流获得帧序列；对所述帧序列的各帧执行第一通路方法，所述第一通路方法包括以下步骤将所述帧与场景模型对准；以及更新背景统计模型；以及完成所述背景统计模型；对所述帧序列的各帧执行第二通路方法，所述第二通路方法包括以下步骤标注所述帧的各区域；以及执行对所述帧的所述区域的空间/时间滤波。
2. 根据权利要求l所述的电路，其中所述更新背景统计模型的步骤 包括以下步骤编制与所述帧的所述区域对应的值；以及计算所述帧的各区域的标准偏差。
3. 根据权利要求l所述的电路，其中所述完成所述背景统计模型的 步骤包括以下步骤对所述帧的各区威基于所述编制的值来确定统计模；以及将各区域的所述统计模指定为该区域在所述背景统计模型中的值。
4. 根据权利要求l所述的电路，其中所述标注所述帧的各区域的步 骤包括以下步骤确定所述区域是否与所述背景统计模型匹配；以及基于所述确定步骤的结果指定标注。
5. 根据权利要求4所述的电路，其中所述确定步骤包括以下步骤 确定所述帧的所述区域的值是否落在所述区域在所述背景统计模型中的 对应值附近的某一范围内；以及其中所述指定标注的步驟包括以下步骤如果所述帧的所述区域的值落在所述范围内则指定第一标注；以及如果所述帧的所述区域的值没有落在所述范围内则指定第二标注。
6. 根据权利要求5所述的电路，其中所述第一标注是背景而所述第 二标注是前景。
7. 根据权利要求4所述的电路，其中所述确定步骤包括以下步骤确定所述帧的所述区域的值是否落在所述区域在所述背景统计模型 中的对应值的附近的第一范围内；以及如果所述帧的所述区域的值没有落在所述第一范围内，则确定该值是 否落在所述区域在所述背景统计模型中的所述对应值的附近的第二范围 内；以及其中所述指定标注的步骤包括以下步骤如果所述帧的所述区域的值落在所述第一范围内则指定第一标注；如果所述帧的所述区域的值没有落在所述第一范围内而落在所 述第二范围内则指定第二标注；以及如果所述帧的所述区域的值没有落在所述第二范围内则指定第三标注。
8. 根据权利要求7所述的电路，其中所述第一标注是背景，所述第 二标注是前景，而所述第三标注是明确前景。
9. 根据权利要求1所述的电路，其中所述标注所述帧的各区域的步 骤包括以下步骤确定所述区域是否与所述背景统计模型匹配，包括以下步骤确定所 述帧的所述区域的值是否落在所述区域在所述背景统计模型中的对应值 的任意数目的附近的范围的每一个中；以及基于所述确定步骤的结果指定标注。
10. 根据权利要求1所述的电路，其中所述空间/时间滤波步骤包括 对所述帧的各区域执行以下步骤执行邻域滤波；以及 执行空间滤波、时间滤波或者其组合。
11. 根据权利要求10所述的电路，其中所述执行空间滤波、时间滤 波或者其组合的步骤包括执行形态腐蚀和膨胀的步骤，其中在两个维度中 或者在三个维度中执行所述形态腐蚀和膨胀。
12. 根据权利要求11所述的电路，其中所述执行形态腐蚀和膨胀的 步骤包括以下步骤执行次数为n的腐蚀，其中标注为明确前景的任何区域不被腐蚀；在执行n次腐蚀的步骤之后执行n次膨胀；以及在所述执行n次膨胀的步骤之后执行第二次数为m的膨胀。
13. 根据权利要求10所述的电路，其中所述执行邻域滤波的步骤包 括对所述帧的未标注为背景的各区域巧执行以下步骤确定所述场景模型中与&对应的位置4; 确定Pm附近的邻近区域ni;确定是否有任意所述P;与&匹配；如果有任意所述P"与&匹配，则确定&附近的邻近区域PV，确定是否有任意所述P、与Pni匹配；以及如果有任意所述P^与巧匹配，则将P,重新标注为背景。
14. 一种电路，适于执行用于区分视频的前景与背景部分的一通5^ 频分割方法，所述方法包括以下步骤从视频流获得帧序列；以及对所述帧序列中的各帧执行以下步骤将所述帧与场景模型对准；构建背景统计模型；标注所述帧的所述区域；以及执行空间/时间滤波。
15. 根据权利要求14所述的电路，其中所述空间/时间滤波步骤包括 对所述帧的各区域执行以下步骤执行邻域滤波；以及执行空间滤波、时间滤波或者其组合。
16. 根据权利要求15所述的电路，其中所述执行空间滤波、时间滤 波或者其组合的步骤包括执行形态腐蚀和膨胀的步骤，其中在两个维度中 或者在三个维度中执行所述形态腐蚀和膨胀。
17. 根据权利要求16所述的电路，其中所述执行形态腐蚀和膨胀的 步骤包括以下步骤执行次数为n的腐蚀，其中标注为明确前景的任何区域不被腐蚀；在所述执行n次腐蚀的步骤之后执行n次膨胀；以及在所述执行n次膨胀的步骤之后执行第二次数为m的膨胀。
18. 根据权利要求15所述的电路，其中所述执行邻域滤波的步骤包 括对所述帧的未标注为背景的各区域Pi执行以下步骤确定所述场景模型中与P，对应的位置4;确定Pm附近的邻近区域f^;确定是否有任意所述P"与^匹配；如果有任意所述P;与&匹配，则确定P;附近的邻近区域P、；确定是否有任意所述P，i与Pm匹配；以及如果有任意所述P;与巧匹配，则将^重新标注为背景。
19. 根据权利要求14所述的电路，其中所述构建背景统计模型的步 骤包括以下步骤对所述帧的各区域执行以下步骤确定所述背景统计模型是否成熟和稳定；如果所述背景统计模型成熟和稳定，则确定所述区域的值是否与 所述背景统计模型的对应值匹配；以及如果所述区域的值与所述背景统计模型的值匹配，则使用所述区 域的值来更新所述背景统计模型。
20. 根据权利要求19所述的电路，其中所述确定所述背景统计模型 是否成熟和稳定的步骤包括以下步骤确定所述背景统计模型是否成熟，而如果不成熟，则使用所述区域的值来更新所述背景统计模型；如果所述背景统计模型被确定为成熟，则确定所述背景统计模型是否 稳定;如果所述背景统计模型被确定为不稳定，则使用所述区域的值来更新 所述背景统计模型。
21. 根据权利要求20所述的电路，其中使用所述区域的值来更新所 述背景统计模型的各步骤包括以下步骤更新所述区域的游动平均值；以及更新所述区域的游动标准偏差值。
22. 根据权利要求19所述的电路，其中所述使用所述区域的值来更 新所述背景统计模型的步骤包括以下步骤更新所述区域的游动平均值；以及更新所述区域的游动标准偏差值。
23. 根据权利要求19所述的电路，其中所述构建背景统计模型的步 骤还包括完成所述背景统计模型的步骤。
24. 根据权利要求14所述的方法，其中所述标注所述帧的所述区域 的步骤包括对所述帧的各区域执行以下步骤关于用于该区域的所述背景统计模型的成熟性和稳定性进行确定；确定用于该区域的所述背景统计模型的值是否与用于该区域的 所述场景模型的值匹配；确定所述区域的值是否与用于该区域的所述场景模型的值匹配；以及确定所述区域的值与用于该区域的所述背景统计模型的值匹配的程度；以及其中基于所述进行确定和确定的结果将标注指定给所述区域。
25. 根据权利要求24所述的电路，其中所述关于所述背景统计模型 的成熟性和稳定性进行确定的步骤包括以下步骤确定所述背景统计模型是否成熟； 确定所述背景统计模型是否稳定；以及 如果所述背景统计模型不稳定，则确定它是否曾经先前稳定过。
26. 根据权利要求25所述的电路，其中仅在所述背景统计模型被确 定为成熟时才执行所述确定所述背景统计模型是否稳定的步骤；以及其中 如果所述背景统计模型被确定为不成熟，则执行所述确定所述区域的值是否与用于该区域的所述场景模型的值匹配的步骤。
27. 根据权利要求25所述的电路，其中如果所述背景统计模型被确定为稳定，则执行所述确定用于该区域的所述背景统计模型的值是否与用 于该区域的所述场景模型的值匹配的步骤。
28. 根据权利要求25所述的电路，其中如果所述确定所述背景统计 模型是否曾经先前稳定过的步骤返回肯定结果，则执行所述确定所述区域 的值是否与用于该区域的所述场景模型的值匹配的步骤；以及其中如果所 述确定所述背景统计模型是否曾经先前稳定过的步骤返回否定结果，则将 所述区域标注为明确前景。
29. 根据权利要求24所述的电路，其中如果所述确定所述区域的值 是否与用于该区域的所述场景模型的值匹配的步骤返回肯定结果，则将所 述区域标注为背景，而如果返回否定结果，则将所述区域标注为前景。
30. 根据权利要求24所述的电路，其中如果所述确定用于该区域的 所述背景统计模型的值是否与用于该区域的所述场景模型的值匹配的步 骤返回肯定结果，则执行确定所述区域的值与用于该区域的所述背景统计 模型的值匹配的程度的步骤；以及其中如果所述确定用于该区域的所述背 景统计模型的值是否与用于该区域的所述场景模型的值匹配的步骤返回 否定结果，则执行所述确定所述区域的值是否与用于该区域的所述场景模 型的值匹配的步骤。
31. 根据权利要求24所述的电路，其中所述确定所述区域的值与用 于该区域的所述背景统计模型的值匹配的程度的步骤包括以下步骤确定所述区域的值是否与用于该区域的所述背景统计模型的值匹配；如果所述确定所述区域的值是否与用于该区域的所述背景统计模型 的值匹配的步骤，则将所述区域标注为背景；以及如果所述确定所述区域的值是否与用于该区域的所述背景统计模型的值匹配的步骤返回否定结果，则确定所述区域的值是否远离所述背景统 计模型。
32. 根据权利要求31所述的电路，其中所述确定所述区域的值是否 远离所述背景统计模型的步骤包括执行阈值比较的步骤；以及其中如果所述确定所述区域的值是否远离所述背景统计模型的步骤返回 肯定结果，则将所述区域标注为明确前景；以及如果所述确定所述区域的值是否远离所述背景统计模型的步骤返回 否定结果，则将所述区域标注为前景。
33. —种电路，适于执行用于区分视频的前景与背景部分的一通# 频分割方法，所述方法包括以下步骤从视频流获得帧序列；以及对所迷帧序列的各帧执行以下步骤将所述帧与场景模型对准；构建背景统计模型和辅助统计模型；标注所述帧的所述区域；以及执行空间/时间滤波。
34. 根据权利要求33所述的电路，其中所述空间/时间滤波步骤包括 对所述帧的各区域的以下步骤执行邻域滤波；以及执行空间滤波、时间滤波或者其组合。
35. 根据权利要求34所述的电路，其中所述执行空间滤波、时间滤 波或者其组合的步骤包括执行形态腐蚀和膨胀的步骤，其中在两个维度中 或者在三个维度中执行所述形态腐蚀和膨胀。
36. 根据权利要求35所述的电路，其中所述执行形态腐蚀和膨胀的 步骤包括以下步骤执行次数为n的腐蚀，其中标注为明确前景的任何区域不被腐蚀；在所述执行n次腐蚀的步骤之后执行n次膨胀；以及在所述执行n次膨胀的步骤之后执行第二次数为m的膨胀。
37. 根据权利要求34所述的电路，其中所述执行邻域滤波的步骤包括对所述帧的未标注为背景的各区域&的以下步骤 确定所述场景模型中与巧对应的位置P附； 确定P，附近的邻近区域Pm;确定是否任意所述P;与巧匹配；如果任意所述P;与&匹配，则确定Ps附近的邻近区域P、确定是否任意所述P、与^匹配；以及 如果任意所述f^与ft匹配，则将巧重新标注为背景。
38. 根据权利要求33所述的电路，其中所述构建背景统计模型的步 骤包括以下步骤对所述帧的各区域执行以下步骤确定所述背景统计模型是否成熟和稳定；如果所述背景统计模型成熟和稳定，则确定所述区域的值是否与 所述背景统计模型的对应值匹配；如果所述区域的值与所述背景统计模型的值匹配，则使用所述区 域的值来更新所述背景统计模型；以及如果所述区域的值不与所述背景统计模型的值匹配，则使用所述 区域的值来更新所述辅助统计模型。
39. 根据权利要求38所述的电路，其中所述确定所述背景统计模型 是否成熟和稳定的步骤包括以下步骤确定所述背景统计模型是否成熟，而如果不成熟，则使用所述区域的值来更新所述背景统计模型；如果所述背景统计模型被确定为成熟，则确定所述背景统计模型是否稳定;如果所述背景统计模型被确定为不稳定，则使用所述区域的值来更新 所述背景统计模型。
40. 根据权利要求39所述的电路，其中使用所述区域的值来更新所 述背景统计模型的各步骤包括以下步骤更新所述区域的游动平均值；以及更新所述区域的游动标准偏差值。
41. 根据权利要求38所述的电路，其中所述使用所述区域的值来更 新所述背景统计模型的步骤包括以下步骤更新所述区域的游动平均值；以及更新所述区域的游动标准偏差值。
42. 根据权利要求38所述的电路，其中所述更新辅助统计模型的步 骤包括以下步骤确定所述辅助统计模型是否成熟；如果所述辅助统计模型不成熟，则使用所述区域的值来更新所述辅助 统计模型；如果所述辅助统计模型成熟，则确定所述辅助统计模型是否稳定；如果所述辅助统计模型不稳定，则使用所述区域的值更新所述辅助统 计模型；以及如果所述辅助统计模型稳定，则利用用于该区域的所述辅助统计模型 来取代用于该区域的所述背景统计模型。
43. 根据权利要求38所述的电路，其中所述构建背景统计模型的步 骤还包括完成所述背景统计模型的步骤。
44. 根据权利要求33所述的方法，其中所述标注所述帧的所述区域 的步骤包括对所述帧的各区域的以下步骤关于用于该区域的所述背景统计模型的成熟性和稳定性进行确定；确定用于该区域的所述背景统计模型的值是否与用于该区域的所述 场景模型的值匹配；确定所述区域的值是否与用于该区域的所述场景模型的值匹配；以及确定所述区域的值与用于该区域的所述背景统计模型的值匹配的程度；以及其中基于所述进行确定和确定步骤的结果将标注指定给所述区域。
45. 根据权利要求44所述的电路，其中所述关于所述背景统计模型 的成熟性和稳定性进行确定的步骤包括以下步骤确定所述背景统计模型是否成熟；确定所述背景统计模型是否稳定；以及 如果所述背景统计模型不稳定，则确定它是否曾经先前稳定过。
46. 根据权利要求45所述的电路，其中仅在所述背景统计模型被确 定为成熟时才执行所述确定所述背景统计模型是否稳定的步骤；以及其中 如果所述背景统计模型被确定为不成熟，则执行所述确定所述区域的值是 否与用于该区域的所述场景模型的值匹配的步骤。
47. 根据权利要求45所述的电路，其中如果所述背景统计模型被确 定为稳定，则执行所述确定用于该区域的所述背景统计模型的值是否与用 于该区域的所述场景模型的值匹配的步骤。
48. 根据权利要求45所述的电路，其中如果所述确定所述背景统计 模型是否曾经先前稳定过的步骤返回肯定结果，则执行所述确定所述区域 的值是否与用于该区域的所述场景模型的值匹配的步骤；以及其中如果所 述确定所述背景统计模型是否曾经先前稳定过的步骤返回否定结果，则将 所述区域标注为明确前景。
49. 根据权利要求44所述的电路，其中如果所述确定所述区域的值 是否与用于该区域的所述场景模型的值匹配的步骤返回肯定结果，则将所 述区域标注为背景，而如果返回否定结果，则将所述区域标注为前景。
50. 根据权利要求44所述的电路，其中如果所述确定用于该区域的 所述背景统计模型的值是否与用于该区域的所述场景模型的值匹配的步 骤返回肯定结果，则执行所述确定所述区域的值与用于该区域的所述背景 统计模型的值匹配的程度的步骤；以及其中如果所述确定用于该区域的所 述背景统计模型的值是否与用于该区域的所述场景模型的值匹配的步骤 返回否定结果，则执行所述确定所述区域的值是否与用于该区域的所述场 景模型的值匹配的步骤。
51. 根据权利要求44所述的电路，其中所述确定所述区域的值与用 于该区域的所述背景统计模型的值匹配的程度的步骤包括以下步骤确定所述区域的值是否与用于该区域的所述背景统计模型的值匹配；如果所述确定所述区域的值是否与用于该区域的所述背景统计模型 的值匹配的步骤，则将所述区域标注为背景；以及如果所述确定所述区域的值是否与用于该区域的所述背景统计模型 的值匹配的步骤返回否定结果，则确定所述区域的值是否远离所述背景统计模型。
52. 根据权利要求51所述的电路，其中所述确定所述区域的值是否 远离所述背景统计模型的步骤包括执行阈值比较的步骤；以及其中如果所述确定所述区域的值是否远离所述背景统计模型的步骤返回 肯定结果，则将所述区域标注为明确前景；以及如果所述确定所述区域的值是否远离所述背景统计模型的步骤返回 否定结果，则将所述区域标注为前景。
53. —种电路，适于执行用于区分视频的前景与背景部分的二通i^L 频分割方法，所述方法包括以下步骤从输入的视频流获得帧序列；对所述帧序列的各帧执行第一通路方法，所述第一通路方法包括以下 步骤将所述帧与场景模型对准；以及更新背景统计模型，所述背景统计模型包括与所述帧序列的帧的 区域和所述区域的方差对应的值；完成所述背景统计模型；以及对所述帧序列的各帧执行第二通路方法，所述第二通路方法包括以下 步骤标注所述帧的各区域；以及 执行对所述帧的所述区域的空间/时间滤波。
54. —种电路，适于执行用于区分视频的前景与背景部分的一通5^L 频分割方法，所述方法包括以下步骤从视频流获得帧序列；以及对所述帧序列的各帧执行以下步骤将所述帧与场景模型对准；构建背景统计模型，所述背景统计模型包括与所述帧序列的帧的 区域和所述区域的方差对应的值；标注所述帧的所述区域；以及执行空间/时间滤波。
55. —种用于区分视频的前景与背景部分的一通a频分割方法，包 括以下步骤获得实时视频流；以及对所述实时帧流中的各帧执行以下步骤标注所述帧中的像素；执行空间/时间滤波；在标注所述〗象素之后更新背景统计模型；以及 在标注所述^象素之后构建和/或更新至少一个前景统计模型。
56. 根据权利要求55所述的方法，其中对所述实时帧流中的各帧还 执行以下步骤将对象插入所述背景统计模型中。
57. 根据权利要求55所述的方法，其中标记所述帧中的像素包括 补偿所述帧的全局光照变化。
58. 根据权利要求55所述的方法，其中更新所述背景统计模型和所 述前景统计模型包括补偿所述帧的全局光照变化。
59. 根据权利要求55所述的方法，其中针对所述帧中的兴趣区域在 所述帧中标注像素。
60. 根据权利要求55所述的方法，其中针对所述帧中的兴趣区域构 建和/或更新所述背景统计模型和所述前景统计模型的像素。
61. 根据权利要求55所述的方法，其中基于所述背景统计模型的先 前统计值来更新所述背景统计模型。
62. 根据权利要求61所述的方法，其中基于向所述背景统计模型的 先前统计值应用的无限沖激响应滤波器来更新所述背景统计模型。
63. 根据权利要求55所述的方法，其中基于所述前景统计模型的先 前统计值来更新所述前景统计模型。
64. 根据权利要求63所述的方法，其中基于向所述前景统计模型的 先前统计值应用的无限沖激响应滤波器来更新所述前景统计模型。
65. —种计算机系统，包括计算机；以及计算机可读介质，包含实施根据权利要求55所述的方法的软件。
66. —种计算机可读介质，包括实施根据权利要求1所述的方法的软件。
67. —种电路，适于执行用于区分视频前景与背景部分的一通膝魄频 分割方法，所述方法包括以下步骤获得实时视频流；以及对所述实时帧流中的各帧执行以下步骤标注所述帧中的像素；执行空间/时间滤波；在标注所述像素之后更新背景统计模型；以及 在标注所述像素之后构建和/或更新至少一个前景统计模型。
68. 根据权利要求67所述的方法，其中对所述实时帧流中的各帧还 执行以下步骤将对象插入所述背景统计模型中。
69. 根据权利要求67所述的方法，其中标注所述帧中的像素包括 补偿所述帧的全局光照变化。
70. 根据权利要求67所述的方法，其中更新所述背景统计模型和所 述前景统计模型包括补偿所述帧的全局光照变化。
71. 根据权利要求67所述的方法，其中针对所述帧中的兴趣区域在 所述帧中标注像素。
72. 根据权利要求67所述的方法，其中针对所述帧中的兴趣区域构 建和/或更新所述背景统计模型和所述前景统计模型的像素。
73. 根据权利要求67所述的方法，其中基于所述背景统计模型的先 前统计值来更新所述背景统计模型。
74. 根据权利要求73所述的方法，其中基于向所述背景统计模型的 先前统计值应用的无限冲激响应滤波器来更新所述背景统计模型。
75. 根据权利要求67所述的方法，其中基于所述前景统计模型的先 前统计值来更新所述前景统计模型。
76. 根据权利要求75所述的方法，其中基于向所述前景统计模型的 先前统计值应用的无限冲激响应滤波器来更新所述前景统计模型。
全文摘要
一种用于将视频数据分割成前景和背景部分(324)的方法，该方法利用对像素的统计建模。为各像素构建背景的统计模型，并且将到来的视频帧中的各像素与用于该像素的背景统计模型做比较(326)。基于比较将像素确定为前景或者背景。用于分割视频数据的方法可以并入用于实施智能视频监视系统的方法中。可以用硬件实施用于分割视频数据的方法。
文档编号G06K9/36GK101443789SQ200780017762
公开日2009年5月27日 申请日期2007年3月1日 优先权日2006年4月17日
发明者加里·W·迈尔斯, 奥马尔·贾韦德, 尹卫红, 尼尔斯·黑林, 忠 张, 彼得·L·韦奈蒂阿奈尔, 艾伦·J·利普顿, 齐山·拉希德 申请人:实物视频影像公司