专利名称：用于检测可视对象的方法和系统的制作方法
技术领域：
本发明涉及视频处理，尤其涉及用于检测视频中的对象的系统和方法。
背景技术：
背景减法是一种用于查找已知背景中的移动对象的方法。将进入图像与所存储的参考图像逐个像素地进行比较并计算出差值掩码(difference mask)。大多数这种算法只在非常局部的范围内工作。仅在后处理形态学阶段考虑相邻像素(在空间和时间上)。这是一个问题，特别是在使用阴影消除算法时，并且可能引起某些有纹理的对象被忽视。也就是说，相邻像素可能以相反方向(例如，一个变亮，一个变暗)调整，以使两者都不被感觉为不同于背景图案。
对于这种进退两难情况的一个解决方案是不采用基于像素的阴影消除算法，取而代之的是，检测所有区域并使用后处理方法来确定某些区域是否为阴影。这可以通过仔细寻找对象周围的限制边缘来完成。然而，这可能是一项费时的工作，且用于何时从较大斑点中清除阴影部分的规则很难用公式表示。此外，在高度纹理化的环境中(例如，一些室外场景，或者在凌乱的办公室中)，不论区域是怎么形成的，在区域的边界附近都可能有边缘信息。
另外一种可能的后处理规则将是搜寻一个区域内部的纹理并将其与在原始背景图像中找出的纹理进行比较。然而，控制何时保留或者解除一个区域的标准是有问题的。
发明内容
用于通过使用多个线索(cue)检测可视对象的系统和方法包括，以统计方式将来自多个源的信息组合到突起图(saliency map)内，其中所述信息可以包括其中要检测对象的图像中的颜色、边缘差异和/或动作(motion)。该统计组合方法利用像素噪声估计来加权逐像素和局部相邻线索的作用。以统计方式组合的信息被设定阈值以作出有关前景/背景像素的决定。
一种用于通过采用多个线索检测可视对象的系统包括一个视频源，其提供待处理的图像。概率确定模块基于可用信息为多个线索确定概率，以确定像素是属于对象还是背景，其中所述线索包括逐像素线索和局部相邻线索的组合。统计组合器将来自多个线索中每一个的概率组合到突起图中，以将以统计方式组合的信息用于作出关于前景或背景像素的决定。
另一种用于通过采用多个线索检测可视对象的系统包括一个视频源，其提供待处理的图像。概率确定模块基于可用信息为多个线索确定概率，以确定像素是属于对象还是背景。噪声估计器估计每个线索的噪声，其中噪声估计被用于为线索导出概率。统计组合器将来自多个线索中每一个的概率组合到突起图中，以将以统计方式组合的信息用于作出关于前景或背景像素的决定。
通过联系附图阅读以下的说明性实施例的详细描述，将清楚这些和其他目的，特性和优点。
该公开内容提供了在以下参考附图的优选实施例的描述中的细节，其中图1是示出了用于基于多个线索检测视频中对象的说明性系统/方法的方框/流程图；以及图2是示出了用于基于多个线索检测视频中对象的说明性系统的方框图。
具体实施例方式
在此描述的说明性实施例以统计方式将来自多个源(线索)(例如，差异、边缘以及可选的动作)的信息组合到突起图中，然后设定该组合迹象(evidence)的阈值以产生前景/背景像素决定。例如，差异可以包括在帧之间的颜色、纹理、边缘能量或者轮廓、移动等等的变化。由于该系统和方法能直接使用边缘信息，所以纹理变化在检测中是起作用的。此外，计算和决定标准是简单的(分别是加法和阈值设定(thresholding))。
在同时使用在多像素邻域(neighborhood)上计算的纹理差异和更为传统的单像素差异的系统中，可以找出组合这两种类型的差异的坚实统计基础。可以通过经相关的线索检测计算测量并传播像素通道噪声的估计实现适当的加权，以获得用于每种类型线索的相应噪声估计。
这种相同的方法可以延伸以适用于附加的逐像素或局部邻域线索的组合。特别是，将动作并入到突起计算中是有利的。这就允许该系统和方法检测可能被单独的像素差异或纹理方法遗漏的具有平滑强度(intensity)梯度的对象。
该系统和方法优选地估计用于各个信息源的概率，且这些概率优选地基于总体噪声估计。全局噪声估计是区别本发明与其它方法的一个方面。
通常，所讨论的图像可能具有多于或少于3个颜色通道(例如，黑白安全照相机，或者军用多谱成像)。可以为每个可用通道(和/或另外的信息源或线索)生成噪声估计并适当地传播。
应当理解的是，在各个图中所示的元件可以按照硬件，软件或其组合的各种形式实现。优选地，这些元件可在一个或多个适当编程的通用数字计算机或者具有处理器和存储器以及输入/输出接口的等同物上以软件实现。
现在参考附图，其中相同的标记代表相同或类似元素。最初参考图1，一个方框/流程图示出了用于视频中的对象检测的说明性系统/方法。在概率确定中描绘的步骤可以采用任意顺序。另外，要注意的是，为边缘差异、颜色和动作计算的概率可被图像中的其它特性或信息代替或者与其组合。
在功能框6，选取一张或者多张输入图像并将其提供用于处理。线索可以包含颜色/纹理，边缘差异，动作等等。除了这些线索之外，还可以使用其它线索，或者使用其它线索代替这些线索。
在功能框10，与功能框8中的存储的参考图像相比，该系统说明性地通过对一个图像从整体上估计红、绿和蓝色通道中的每个通道的噪声能量来开始。
在功能框12，该系统通过对输入图像中的各个像素作出最佳推测增益校正(Ic(x，y)→I′c(x，y)，在此c为颜色通道r＝红，g＝绿，b＝蓝)以校正阴影，来启动颜色处理链。该校正被局限于对应于预期的阴影(或相互反射(inter-reflection)高亮部分)深度的小范围增益。
在功能框14，相对于稳定的背景图像(来自功能框8的Sc(x，y))形成多个(例如，三个)差异。随后相对于用于每个通道(Nc)的噪声估计评估这些差异，以在功能框16中确定它们与均值(假设为0)有多少标准偏差。在功能框18，给定噪声差异的正态或者高斯分布，并将噪声估计解释为这些分布的标准偏差，每个这种差异测量都可以被解释为该像素属于背景(Bc(x，y)的概率。
Dc(c，y)＝I′c(x，y)-S(x，y)Bc(x，y)＝J*expt[-Dc(x，y)2/(2*Nc2)]其中J＝1/(2*pi)1/2功能框20中，如果像素颜色通道被假设为独立的，则一个像素属于背景模型的总概率(Bp(x，y))可以被建模为通道概率的乘积。如果改用对数概率(Lp(x，y))，则更易用。该公式在信息理论语境中有时被解释为关于观测值的“意外”(功能框22)，Bp(x，y)＝Br(x，y)*Bg(x，y)*Bb(x，y)
Lp(x，y)＝-log Bp(x，y)＝-log Br(x，y)-log Bg(x，y)-log Bb(x，y)＝[(Dr/Nr)2+(Dg/Ng)2+(Db/Nb)2]/2-3*log J在此，红色通道差异Dr(x，y)被缩写为Dr，Dg和Db类似。在红色通道Nr(x，y)中的相应噪声同样地被缩写为Nr，另外两个通道噪声估计Ng和Nb类似。
要注意，当Dr＝Dg＝Db＝0时，基于颜色差异的像素的突起应是最小的，颜色差异的突起作用Ep可以被如下定义。注意，任何通道中一个标准偏差的差异产生1的Ep值。
Ep(x，y)＝2*Lp(x，y)+6*log J＝Dr2(x，y)/Nr2+Dg2(x，y)/Ng2+Db2(x，y)/Nb2由于颜色差异引起的突起接着与由于纹理和动作引起的突起组合。要使这些新的作用能够与Ep进行比较，在功能框24中产生的输入图像的单色型式(G)上计算差异。该图像是特别构建的，以使任何颜色通道中的一个标准偏差差异将在组合强度中产生相同的变化。在这里，k是一个简单的缩放因子，其确定在输出中有多少强度级别对应于颜色通道中的一个标准偏差。
G(x，y)＝k*(I′r(x，y)/Nr+I′g(x，y)/Ng+I′b(x，y)/Nb)对于纹理，计算各种边缘能量测量例如，在功能框26中，Sobel水平掩码卷积H，Sobel垂直掩码卷积V，和3×3(或其它邻域尺寸)中心围绕差异C。还可以在背景图像(来自功能框8)的类似归一化单色型式上在每个像素处提取相同的测量。
接着在功能框28中记录每个这些纹理“通道”中的差异。分离这两个Sobel掩码意味着，即使纹理的幅值是可比较的，仍然可以检测到纹理取向中的变化。包括中心环绕算子更加清楚地标记了诸如角和斑点的特性的存在，这些特性仅仅产生微弱的Sobel响应。
在功能框30，以统计方式组合多个边缘测量，优选使用类似于功能框16中所述的那些噪声估计。对于Sobel掩码差异H和V，假定不相关的邻域，期望的变化将为K*sqrt(3/4)，然而针对角落检测器C观测的变化受到中心像素的噪声支配且为K*sqrt(9/8)。这些值可以如前一样使用，以产生归一化概率，意外估计(功能框22)，以及最终的边缘差异对总体突起的作用Ej。总之，任何纹理测量中的一个标准偏差的变化都产生1的Ej值。
Ej＝(4/(3*K2))*[Vi-Vs]2+(4/(3*K2))*[Hi-Hs]2+(8/(9*K2))*[Ci-Cs]2相同的基于统计噪声的加权方案还可以用于将动作合并到突起图像中。在功能框32，对于动作，取双重差异以将动作能量限制到对象的内部(和包含该对象刚刚所在的拖尾的“同”相反)。令G0、G1和G2为三个连续帧的单色型式，则在中间帧的原始动作M1被定义为M(x，y)＝M1＝min(|G2-G1|，|G1-GO|)假设噪声估计随着时间变化保持不变，则用于每个单色帧的缩放因子k也相同，因此，在功能框34，评估似然性Bm(x，y)，以使观测到的时间差异由真正属于背景的像素产生。
使用对数再次将这一似然性转换为意外值，接着偏移并缩放该意外值(功能框22)以获得突起作用Em。要注意的是，一个标准偏差的动作差异还是产生1的Em值。
Bm(x，y)＝J*expt[-M(x，y)2/(2*K2)]Lm(x，y)＝-log Bm(x，y)＝(M/K)2/2-logJEm(x，y)＝2*Lm(x，y)+2*logJ＝(M/K)2实际上，可能希望将Ej和Em贡献与相对于Ep的分数扭曲因数(fractional fudge factor)Fj和Fm(一为缺省值)相乘，以在功能框36中减少系统对各种类别的现象的灵敏度。这就产生了Ej’＝Fj*Ej和Em’＝Fm*Em的更改的贡献。
在这之后，在功能框38，所有三个贡献被求和以生成一个像素处的总突起E(x，y)。Em，Ep，和Ej相加，因为这是乘以可能发生观测的像素变化(由于噪声)的概率(不论像素是否真的为背景的一部分)。
E＝Ep+Ej′+Em′在功能框40，在某个特定“意外”等级为该突起值设定阈值，以确定像素是否为前景的一部分(例如，不是真的为背景的一部分)。该阈值可以由用户定义也可以是预定的。该信息可以被用于作出关于图像中像素的状态的多个不同决定。
参考图2，依据一个实施例说明性地示出了用于通过使用多个线索检测可视对象的系统100。系统100可包括获取装置102，用于记录和存储视频(例如，存储器或存储库)或可视信息(例如，用于实时图像的照相机)。装置102可包括视频记录装置，比如摄象机，数字照相机，内设照相机的电话或者任何能够接收、记录和可选地存储图像数据的其他装置。这些图像可以被实时处理，或者是被存储稍后再处理。
一个或多个概率确定模块106基于单独在像素位置的可用信息确定多个线索的概率，以确定该像素是属于对象还是属于背景。所述线索可包括亮度，颜色，动作，或者任何其他相关特性，这些特性可被用于提供差异，从所述差异可以对作为对象的像素状态作出确定。这是一种逐像素方法概率确定。
另外，一个或多个概率确定模块108基于像素的空间(或时间)邻域中的可用信息(多像素方法)确定多个线索的概率，以确定该像素是属于对象还是属于背景。所述线索可包括纹理、边缘能量、光流或者任何其他相关特性，这些特性可被用于提供差异，从所述差异可以作出关作为对象的像素状态的决定。概率优选地基于每个通道的噪声估计(来自每个线索或源)。
模块106和108被有利地在系统100中组合以提供多个线索来确定像素或像素组的状态作为前景或背景。逐像素方法(106)和局部邻域或者多像素方法(108)可以都使用多个不同特性(由此使用多个模块106和/或108)，比如颜色、纹理、动作等等或其方法和特性的组合。逐像素方法考虑每个像素的特性，而多像素方法考虑邻域或像素组的特性。
统计组合器110将来自多个线索的每一个的概率组合到突起图112，以使统计组合信息被用以作出有关前景/背景像素的决定。噪声评估器模块104提供了在一个或几个像素通道中的像素噪声的测量，以帮助确定线索检测模块106和108中的真实概率，从而调节输入到模块110的线索的加权。
组合器110，线索模块106和108，以及噪声评估器104可以是相同计算机或系统120的一部分，且可以在软件中实现。该线索可能涉及其中要检测对象的图像中的颜色、边缘差异和动作。噪声评估器104提供图1中所述的估计和功能(例如，参见功能框10和16)。可以执行噪声估计，以便为颜色、纹理、动作或任何其他线索提供统计概率。
以统计方式将来自多个源(比如差异、边缘和可选的动作)的信息组合到突起图中并随后设定该组合迹象的阈值这种方式为前景/背景像素决定带来了重大改进。由于系统和方法直接使用边缘信息，所以纹理变化有助于对差异、边缘等等的检测。此外，计算和决定标准只需要简单运算，比如加法和设定阈值。
通过还将动作合并到突起计算中，该系统和方法可以检测包括可能被现有技术的像素差异或纹理方法所遗漏的具有平滑强度梯度的对象在内的对象。
已描述了用于在可视对象检测系统中组合多个线索的系统和方法的优选实施例(其目的是说明性的而不是限制性的)，要注意的是，本领域的技术人员可以根据以上教导作出修改和变更。因此，要理解的是，在所公开的特定实施例中可以进行更改，这些更改所附加权利要求书概述的本发明的范围和精神之内。因此，虽然已经描述了本发明的各个方面，根据专利法要求的细节和特别性，专利许可证所要求和期望保护的内容在所附权利要求书中陈述。
权利要求
1.一种用于通过采用多个线索检测可视对象的方法，包括以下步骤通过使用噪声估计作为确定像素是前景像素还是背景像素的统计概率的基础，对像素状态的多个线索进行加权，以统计方式将像素信息组合到突起图中；以及设定以统计方式组合的像素信息的阈值，以作出关于前景/背景像素的决定。
2.根据权利要求1所述的方法，其中以统计方式组合包括，基于颜色确定统计概率，以确定像素是否属于背景图像。
3.根据权利要求2所述的方法，其中确定统计概率包括从整体上估计一个图像的红、绿和蓝色通道中每个通道的噪声能量。
4.根据权利要求3所述的方法，还包括为输入图像中的每个像素估计增益校正，以校正阴影。
5.根据权利要求4所述的方法，还包括相对于稳定背景图像形成多个差异，以相对于噪声能量评估每个通道的估计，以确定与均值的标准偏差。
6.根据权利要求1所述的方法，其中以统计方式组合包括基于动作确定概率，以确定像素是否属于背景图像。
7.根据权利要求6所述的方法，还包括通过取图像的单色型式中的图像帧之间的差异，将动作能量限制到对象的内部。
8.根据权利要求1所述的方法，其中以统计方式组合包括基于纹理确定概率，以确定像素是否属于背景图像。
9.根据权利要求8所述的方法，还包括通过使用归一化单色图像为边缘计算多个差异测量。
10.根据权利要求9所述的方法，其中差异测量包括Sobel水平掩码卷积H、Sobel垂直掩码卷积V和对于相邻像素的中心环绕差异中的至少一个。
11.根据权利要求1所述的方法，其中以统计方式组合包括为图像中的每个像素组合用于颜色差异、纹理差异和动作的概率，并基于组合的概率确定像素是否为背景。
12.根据权利要求1所述的方法，其中以统计方式组合信息包括，调整统计概率以允许对概率进行组合。
13.一种用于通过采用多个线索检测可视对象的方法，包括以下步骤使用噪声估计作为确定像素是前景像素还是背景像素的概率的基础，为每个像素确定针对多个信息源中每一个的概率，以作出关于像素状态的确定；以统计方式组合来自所有信息源的概率以形成突起图来确定像素是属于背景图像还是对象；以及设定以统计方式组合的信息的阈值，以作出关于前景/背景像素的决定。
14.根据权利要求13所述的方法，其中信息源包括像素颜色，并且确定概率是基于颜色来确定像素是否属于背景图像。
15.根据权利要求14所述的方法，其中确定概率包括从整体上估计和计算一个图像的红、绿和蓝色通道中的每个通道的噪声能量。
16.根据权利要求15所述的方法，还包括为输入图像中的每个像素估计增益校正，以校正阴影。
17.根据权利要求16所述的方法，还包括相对于稳定背景图像形成多个差异，以相对于噪声能量评估用于每个通道的估计。
18.根据权利要求13所述的方法，其中确定概率是基于动作来确定像素是否属于背景图像。
19.根据权利要求18所述的方法，还包括通过取图像的单色型式中的图像帧之间的差异，将动作能量限制到对象的内部的步骤。
20.根据权利要求13所述的方法，其中确定概率是基于纹理来确定像素是否属于背景图像。
21.根据权利要求20所述的方法，还包括通过使用归一化单色图像为边缘计算多个差异测量。
22.根据权利要求21所述的方法，其中所述差异测量包括Sobel水平掩码卷积H、Sobel垂直掩码卷积V以及用于相邻像素的中心环绕差异中的至少一个。
23.根据权利要求13所述的方法，其中以统计方式组合包括为图像中的每个像素组合用于颜色差异、纹理差异和动作的概率，并基于组合的概率确定该像素是否为背景。
24.根据权利要求13所述的方法，其中以统计方式组合包括调整概率以允许对概率进行组合的步骤。
25.一种可通过机器读出的程序存储装置，有形地收录了可由机器执行，用以完成如权利要求1到24中任何一项所述的，用于通过使用多个线索检测可视对象的方法步骤的指令程序。
26.一种用于通过采用多个线索检测可视对象的系统，包括提供待处理的图像的视频源；基于可用信息为多个线索确定概率，以确定像素是属于对象还是背景的概率确定模块，其中所述线索包括逐像素线索和局部邻域线索的组合；以及将来自多个线索中每一个的概率组合到突起图，从而将以统计方式组合的信息用于作出关于前景或背景像素的决定的统计组合器。
27.根据权利要求26所述的系统，其中所述线索与其中要检测对象的图像中的颜色、纹理和动作中的至少一个有关。
28.根据权利要求26所述的系统，其中概率确定模块和统计组合器包含在计算机系统中。
29.根据权利要求26所述的系统，还包括估计噪声的噪声估计器，其用于为线索导出概率。
30.一种用于通过采用多个线索检测可视对象的系统，包括提供待处理的图像的视频源；基于可用信息为多个线索确定概率，以确定像素是属于对象还是背景的概率确定模块；噪声估计器，其为每个线索估计噪声，其中噪声估计被用于为线索导出概率；以及将来自多个线索中每一个的概率组合到突起图中，从而将以统计方式组合的信息用于作出关于前景或背景像素的决定的统计组合器。
31.根据权利要求30所述的系统，其中所述线索包括逐像素线索和局部邻域线索的组合。
全文摘要
用于通过使用多个线索检测可视对象的系统和方法，包括以统计方式将来自多个源的信息组合到突起图中，其中所述信息可包括其中要检测对象或确定背景的图像中的颜色，纹理和/或动作。设定该以统计方式组合的信息的阈值，以作出关于前景/背景像素的决定。
文档编号G06T7/00GK1822646SQ20061000593
公开日2006年8月23日 申请日期2006年1月19日 优先权日2005年2月17日
发明者乔纳森·H.·康内尔 申请人:国际商业机器公司