多线索对象检测和分析的制作方法

多线索对象检测和分析的制作方法
【专利摘要】通过将视频数据图像的感兴趣区域分成具有个体单元的网格阵列，将感兴趣的前景对象与背景模型区分开，每个单元小于感兴趣的前景对象。更具体地说，所述感兴趣的前景对象的图像数据跨越连续多个所述单元。如果所述单元中的累积边缘能量满足边缘能量阈值、如果每个单元中的不同颜色的颜色强度相差颜色强度差异阈值，或者根据考虑一个或多个组合规则的判定的组合，将每个所述单元标记为前景。
【专利说明】多线索对象检测和分析

【技术领域】
[0001]本发明的各实施例涉及通过分析包括对象图像的场景的视频图像数据，自动检测和区分对象。

【背景技术】
[0002]已知自动化系统使用背景减除(BGS)方法，根据运动推理算法的分析结果，区分前景对象和确定的图像背景。在某些实例中，使用自适应背景建模检测针对BGS模型获得的前景屏蔽。BGS系统还可以使用自适应混合高斯模型将非静态对象检测为移动前景对象，这些移动前景对象不同于图像场景的背景模型中的其它对象或场景图像数据。
[0003]在现有技术BGS系统中，准确地区分静态和非静态对象存在问题。在给定时间段内保持静止的非静态对象可能被错误地视为静态对象，并且被学习到背景场景模型中。当先前静止的对象开始移动时，可能产生修复问题，其中在这些对象实际上继续移动并且移出图像场景之后，它们作为“鬼影(ghost)”保留在前景中。被分析视频图像中的嘈杂光线和阴影数据可能在对象检测和跟踪中产生更进一步的问题，其中当前帧图像数据可能由于快速变化的照明情况而突然改变，从而导致错误的移动对象检测事件。
[0004]美国专利公开20100322516披露了用于分析物理空间中的拥堵的自动化方法和系统。使用视频图像定义空间中的感兴趣区域并且将感兴趣区域分成具有子区域的不规则阵列，为每个子区域分配拥堵促成原因(contributor)。然后，确定第一和第二时空可视特性，并且计算度量，以便表征每个子区域中的动态或静态拥堵的程度。使用所述度量和拥堵促成原因生成感兴趣区域中的整体拥堵度量的指示。
[0005]美国专利公开20110170744披露了用于在视频数据中检测和跟踪诸如机动车辆之类的对象的系统和方法。所述系统和方法分析视频数据，例如以便计算对象数量，确定对象速度，并且跟踪对象的路径，而不依赖在捕获的视频数据中检测和标识背景数据。所述检测系统使用一个或多个扫描线生成时空图。时空图是表示与扫描线对应的像素数据历史的视频数据片段的时间级数。检测系统基于时空图中的直线相交，检测视频数据中的对象。在检测系统检测到对象之后，检测系统可以记录检测以用于计数目的，与视频数据结合显示对象的指示，确定对象的速度等。
[0006]美国专利公开20110293141涉及一种交通监控系统，其用于在低位安装的摄像机拍摄道路获得的视频中检测和跟踪车辆。
【发明者】发现即使在严重被挡场景中，由于交通密度或者捕获图像的低位安装的摄像机的角度，对于图像中的每个个体车辆，挡风玻璃的至少一个水平边缘最不可能被挡住。因此，本发明的一个优点是可以使用独立地直接检测挡风玻璃来检测单个图像中的车辆。参考图像中的不同点，将多个模型投影到图像上。基于图像中的水平边缘与在该点处参考的挡风玻璃模型的水平边缘的关联，确定每个点形成挡风玻璃一部分的概率。使用邻近点的这种概率合理检测图像中的车辆。该发明的各个方面包括一种方法、软件和交通监控系统。


【发明内容】

[0007]根据第一方面，提供一种用于将感兴趣的前景对象与背景模型区分开的方法，所述方法包括:由可编程设备将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，使用背景标签初始化每个单元，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元；所述可编程设备获得每个所述单元的帧图像数据；所述可编程设备检测和累积每个所述单元内的边缘能量，并将累积的边缘能量满足边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景；所述可编程设备确定每个单元内的多个不同颜色中的每一个的颜色强度，并将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，并且当前被标记为背景；以及所述可编程设备使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象。
[0008]所述方法可以还包括:针对每个所述单元生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景；针对每个所述单元生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景；响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据前景指示输出组合规则将每个所述单元标记为前景或背景；以及所述可编程设备使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。
[0009]在一个实施例中，一种用于将感兴趣的前景对象与背景模型区分开的方法包括:可编程设备将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元。所述可编程设备获得每个所述单元的帧图像数据，并且检测和累积每个所述单元内的边缘能量，从而针对每个所述单元生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景。所述可编程设备还确定每个所述单元中的多个不同颜色中的每一个的颜色强度，并且针对每个所述单元生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景。所述可编程设备响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据前景指示输出组合规则，相应地将每个所述单元标记为前景或背景；以及使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。
[0010]根据第二方面，提供一种系统，包括:处理单元，其与计算机可读存储器和有形计算机可读存储介质通信；其中所述处理单元当经由所述计算机可读存储器执行存储在所述有形计算机可读存储介质上的程序指令时:将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，使用背景标签初始化每个单元，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元；获得每个所述单元的设备帧图像数据；检测和累积每个所述单元内的边缘能量，并将累积的边缘能量满足边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景；确定每个单元内的多个不同颜色中的每一个的颜色强度，并将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，并且当前被标记为背景；以及使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象。
[0011]根据第三方面，提供一种用于将感兴趣的前景对象与背景模型区分开的制造品，包括:计算机可读有形存储介质，其具有随其包含的计算机可读程序代码，所述计算机可读程序代码包括指令，当所述指令由计算机处理单元执行时，导致所述计算机处理单元:将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，使用背景标签初始化每个单元，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元；获得每个所述单元的帧图像数据；检测和累积每个所述单元内的边缘能量，并将累积的边缘能量满足边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景；确定每个单元内的多个不同颜色中的每一个的颜色强度，并将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，并且当前被标记为背景；以及使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象。
[0012]还提供一种包括程序代码装置的计算机程序，当在计算机上运行所述程序时，所述程序代码装置适合于执行根据所述第一方面的方法。
[0013]根据第四方面，提供一种制造品，包括:计算机可读有形存储介质，其具有随其包含的计算机可读程序代码，所述计算机可读程序代码包括指令，当所述指令由计算机处理单元执行时，导致所述计算机处理单元:将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元；获得每个所述单元的帧图像数据；检测和累积每个所述单元内的边缘能量，以及针对每个所述单元生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景；确定每个所述单元中的多个不同颜色中的每一个的颜色强度，并且针对每个所述单元生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景；响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据前景指示输出组合规则将每个所述单元标记为前景或背景；以及使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。

【专利附图】

【附图说明】
[0014]现在将仅通过实例的方式并参考附图描述本发明的优选实施例，这些附图是:
[0015]图1A是从图1B的场景学习的背景模型的图示，其中图1B是与图1A—样的场景的摄影呈现；
[0016]图2A是从图2B的场景学习的前景模型的图示，其中图2B是与图2A—样的场景的摄影呈现；
[0017]图3A是从图3B中以摄影方式所示的视频数据帧学习的前景模型的图示；
[0018]图4是根据本发明的一个实施例的用于区分和分析感兴趣的前景对象和背景模型的方法、过程或系统的框图；
[0019]图5是根据本发明的一个实施例的用于区分和分析感兴趣的前景对象和背景模型的视频图像数据的图示，所述视频图像数据示出分成单元网格或阵列的感兴趣区域；
[0020]图6A是从图6B中以摄影方式所示的图像数据确定的丰富边缘的实例的图示；
[0021]图7是根据本发明的一个实施例的图5的感兴趣区域单元的图示，其中正标记(positively labeled)的单元被示为实心白色方形,并且负标记(negatively labeled)的单元以黑色示出；
[0022]图8是根据本发明的用于区分和分析感兴趣的前景对象和背景模型的方法、过程或系统的另一个实施例的框图；
[0023]图9是本发明的一个实施例的计算机化实现的框图。
[0024]附图不必成比例。附图只是示意性的表示，并非旨在描绘本发明的具体参数。附图旨在仅示出本发明的典型实施例，因此不应被视为限制本发明的范围。在附图中，相同的标号表示相同的元素。

【具体实施方式】
[0025]所属【技术领域】的技术人员知道，本发明的各个方面可以实现为系统、方法、制造品、计算机程序或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形式，即:完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
[0026]可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一但不限于一电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0027]计算机可读的信号介质可以包括例如在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括一但不限于一电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0028]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括一但不限于一无线、有线、光缆、RF等等，或者上述的任意合适的组合。
[0029]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的各个方面的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java?、Smalltalk、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。(Java以及所有基于Java的商标及标识都是Oracle公司和/或其关联公司的商标或注册商标。)程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0030]下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的实施例。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。
[0031]也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其它设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。
[0032]也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令提供实现流程图和/或框图中的一个或多个方框中规定的功能/动作的过程。
[0033]用于车辆对象检测和区分的自动化系统分析道路的视频图像数据，这些自动化系统的性能可以受到交通拥堵的危害。某些现有技术自动化系统可以以简单的途径使用背景减除(BGS)方法，该方法利用运动推理算法的分析结果。自适应背景建模被发现可用于拥堵分析，其通过计算针对BGS模型获得的前景屏蔽数量来检测拥堵，自适应背景建模还可以用于经历车辆对象拥堵的交通应用。
[0034]使用自适应混合高斯模型的BGS系统还在以下方面展现卓越的性能:将车辆检测为移动前景对象，这些对象不同于在图像场景的背景模型中表示静态图像数据的其它对象或场景图像数据。但是，在交通拥堵情况(例如，图像中由高峰期交通导致的道路上的沉重车辆负载)下，车辆可能停止并且在相对长的时间内保持静止，该时间长于系统可能通常针对否则将移动的车辆对象通过道路所预计的时间。在这些情况下，自适应BGS系统可以逐渐将静态车辆对象学习到背景场景模型中，从而未能将静态车辆检测或标识为车辆。例如，图1A示出从图1B的场景学习的背景模型，其中某些车辆在长期保持静止之后被逐渐学习到背景中，从而导致前景检测相关的交通分析方法在该系统中针对所述车辆失败。当使用系统检测静态道路拥堵情况(这是交通分析系统的常见应用)时，这个问题会特别突出。
[0035]图2A和2B示出自适应BGS前景检测的另一个问题:当静止对象开始移动时产生的修复问题。左边图2A是从BGS模型获得的前景图像，其中车辆对象在移开之后保留在前景图像中，并且可以被称为“鬼影”。右边图2B是原始视频帧，示出其中车辆在临时静态、静止时期之后移开的当前帧，该时期导致在图2A中的前景模型中产生鬼影。
[0036]可以使用较低的学习速度防止将临时静态的对象学习到图1A的车辆反映的背景中，而可以使用较高的学习速度避免图2A的鬼影指示的修复问题。因此，某些现有自适应BGS模型根据观察和确定待检测移动对象的静止时期，调整学习速度以获得权衡以便解决学习或修复问题之一。但是，此类权衡通常导致针对学习或修复问题的非优先问题增加错误。此外，在拥堵交通情况下，可能无法确定每个车辆将保持静态的时间段，并且这种不可预测的特性在自动化交通拥堵分析系统中有效采用自适应BGS模型中造成困难。
[0037]图3A和3B示出车辆检测和跟踪中的另一个问题:被分析视频图像中的嘈杂光线和阴影数据。左边图3A是从BGS模型获得的前景图像，其中右边图3B是原始视频帧。嘈杂光线图像数据由车辆头灯在夜间图像中产生，并且快速移动的云也可以在日光情况下从车辆阴影产生错误的前景数据。因为现有技术BGS模型通常从当前视频帧数据与背景模型之间的差异标识移动(非静态)对象，所以在当前帧图像数据由于快速变化的照明情况而突然改变时，这些不同的照明情况通常导致错误的移动对象检测。例如，由车辆之上吸收阳光的移动云导致的突然出现的瞬时阴影本身不是对象(移动或以其他方式)，然而现有技术BGS模型可能错误地将其标识为移动对象。
[0038]某些现有技术方法例如经由训练车辆检测器以进行拥堵预测的Adaboost和边缘向量方法，针对特定感兴趣对象使用预定对象检测器。但是，此类基于学习的对象检测器难以产生并且应用于实时交通拥堵应用中。此外，此类学习的对象检测器产生变形、遮挡和多视图问题。例如，车辆具有很大的类内变化:轿车、敞篷车、摩托车、卡车和厢式货车，它们都具有完全不同的大小和几何图像属性。因此，任何单个对象检测器模型都不可能被预计针对实际交通拥堵应用以可接受方式执行。此外，如果在一个数据集中训练并且在不同数据集中测试，则学习的检测器模型可能具有拟合问题，并且必须监管或半监管此类方法以使系统充分工作。
[0039]图4示出用于在视频图像数据中的本道路场景实例中，区分和分析感兴趣的前景车辆对象和背景模型的方法或系统的一个实施例。在102，将视频图像数据中可能包括车辆的道路场景的感兴趣区域分成多个个体单元，并且在103，获得感兴趣区域的每个个体单元的图像数据。更具体地说，每个单元具有的二维区域大小小于感兴趣的前景对象的二维区域大小。还使用默认背景标签初始化每个单元:在本实例中，使用表示背景的“O”或负值标签初始化这些单元，其中“I”或正值标签表示前景对象(即，单元数据是车辆对象的一部分)。(在其它实例中，可以改为使用前景对象标签初始化这些单元。)
[0040]图5示出跨越道路宽度的感兴趣区域202的一个实例，该道路承载诸如汽车、卡车、摩托车、滑行飞机之类的车辆交通。将感兴趣区域202分成具有小单元204的网格或阵列，这些小单元具有选定的大小，使得感兴趣的前景车辆在连续二乘二分组(两个单元高乘两个单元宽)中至少跨越四个单元204。在被配置为检测车辆对象交通的本实施例中，单元204是选定的16 X 16像素方形单元，以便与图像分辨率、当前固定视场(固定变焦设置)处的场景中的车辆大小和场景中的预计交通强度相关联。但是，可以实现各种其它单元大小(例如8X8像素方形、32X32等)，并且本实例是示例性的而不是本发明实施例的穷举实例。还可以使用来自经历因车辆对象移动而产生的车辆交通的其它感兴趣区域(例如停车场、车道和入口匝道等)的图像数据实现各实施例，以及可以针对其它类型的移动对象(例如，人、动物、昆虫等)，并且相对于这些对象可以通过的各种场景上下文(人行道、公共交通站台、林地路径等)实现其它实施例。
[0041]本实施例采用单元数据的多线索(MCUE)分析。本实施例独立分析每个帧以便确定图像像素强度、边缘、颜色和单元上下文信息，而不是如现有技术教导的那样在BGS框架中仅获得帧和背景模型之间的差异。可以考虑和组合该信息以便生成多个线索以进行可靠的移动对象检测。生成每个线索的系统可以以实时方式运行，并且可以独立(或者与其它线索确定结合)确定单元的前景标签。
[0042]从边缘线索检测对象。
[0043]在104，确定和累积(组合)在每个单元中检测的边缘能量，并且在106，比较每个单元的累积边缘能量与边缘能量阈值以便判定每个单元是否是车辆的一部分。更具体地说，如果单元中的累积边缘能量满足边缘能量阈值，则在106将该单元标记为表示它是前景(车辆对象的一部分)的“I” (或正)；否则在106将该单元标记为表示它是背景的“O” (或负)。
[0044]对象交通将通常在感兴趣区域内的图像数据中产生边缘。图6A示出从图6B中所示的图像数据确定的丰富边缘的实例，这些实例可用于检测道路上的车辆对象。在一个实施例中，在104/106的边缘能量分析包括将索贝尔(Sobel)算子应用于每个单元以便产生边缘补丁(patch)，其中由公式[I]确定单元的二进制标签:
[0045]f (cm(e)) = {I
[0046]O [I]
[0047]其中cm是第m个单元，并且E (Xi)是像素Xi处的边缘能量。如果单元中的边缘能量总和大于边缘能量阈值te，则将该单元重新标记(或标记)为“I”并且因此是前景车辆对象交通的一部分；否则该单元保持标记(或标记或重新标记)“O”作为背景(道路、车道等)的一部分。其它实施例可以使用不同的边缘检测算法，例如Canny或Prewitt,并且其它算法对于所属【技术领域】的技术人员来说将显而易见。
[0048]在106的边缘能量E(Xi)确定还可以是多个不同边缘检测过程的复杂功能组合，其中可以在适合于场景及其感兴趣对象的要求时，在104使用多个不同边缘检测过程(并且在某些应用中，以不同方式加权)。例如，如果多个不同过程104的任何一个进行前景确定，则可以在106指定正/前景标签或标签投票，从而将所有多个104输出表达为任何正标签确定输入104导致正标签或投票输出的逻辑“或”。备选地，可以需要多个不同过程104中的一个以上以便进行输出，其中在106的前景标签确定可以是投票表格，其中需要阈值数量的投票(例如，2)以便确认标签；或者其中所有多个过程104必须将相同确定输出到逻辑“与”决策过程中以便在106导致对应的标签。
[0049]从颜色线索检测对象。
[0050]在平行于(或以其他方式独立于)边缘能量过程104/106的过程中，在108确定每个单元中的多个不同颜色中的每一个的强度。在I1比较针对每个单元中的不同颜色确定的颜色强度，并且如果比较指示存在颜色对象(一个或多个颜色具有的强度比颜色的一个或多个其它强度大颜色强度差异阈值)，则将该单元标记或重新标记为表示前景的“ I”或“正”。否则，如果比较指示表示背景的基本灰色/单色图像信息，则将该单元标记或重新标记为表示背景的“O”或“负”。
[0051]根据本发明的一个实施例的颜色上下文对象检测利用以下事实:背景道路和车道通常为基本灰色或否则为单色。在一个实施例中，在108/110的颜色线索分析将探索每个单元204之间的红色-相对绿色-蓝色(RGB)强度差异。如果三个RGB颜色通道的相对强度差异显示包含在单元204中的对象是纯色对象，而不是基本灰色/单色，则将该对象标记为表示它是前景车辆对象的一部分的“ I”或“正”。
[0052]在本发明的一个实施例中，累积通道之间的强度差异以便根据公式[2]检验它是否是有颜色的单元:
[0053]f(cm(C)) = {O
[0054]I [2]
[0055]其中下标指示两个颜色通道组之间的强度差异:例如，(Drg = E Ni = 1|drg|),drg)表示红色通道(“r”)和绿色通道(“g”)之间的强度差异，并且f(cm(c))是第m个单元~的颜色强度差异。公式[2]显示如果一个颜色通道的强度明显不同于另外两个，则单元是前景对象。不同于给定强度值，在单元中的颜色强度之间确定的绝对差异通常对光照变化更稳健。公式[2]提取的信息对于检测通常为有颜色的车辆(例如红色汽车或黄色出租车)非常有效。可以通过以下方式将颜色强度差异阈值(tc)设置为其中系统具有高精度的操作点:由用户设置，或者自动通过反馈过程以及比较生成的结果与具有已知值的训练视频输入来设置，如所属【技术领域】的技术人员理解的那样。
[0056]在其它实施例中，在110确定颜色强度差异包括使用适当的度量(例如Bhattacharya过程)，构建单元的颜色直方图并计算它们之间的距离；其它适当的颜色强度确定对于所属【技术领域】的技术人员来说将显而易见。在110的颜色强度差异确定还可以是多个过程108的输出的复杂功能组合，其中可以在适合于场景及其感兴趣对象的要求时，在108使用多个不同颜色强度差异过程(以及某些应用中，以不同方式加权)。例如，如果多个不同过程108的任何一个进行前景确定，则可以在110指定正/前景标签或标签投票，从而将所有多个108输出表达为任何正标签确定输入108导致正标签或投票输出的逻辑“或”。备选地，可以需要多个不同过程108中的一个以上以便进行输出，其中在110的前景标签确定可以是投票表格，其中需要阈值数量的投票(例如，2)以便确认标签；或者其中所有多个过程108必须将相同确定输出到逻辑“与”决策过程中以便在110产生对应的标签。
[0057]从单元上下文消除错误警报
[0058]本发明的各实施例还通过针对邻近单元值考虑标签的上下文，减少单元204标签中的错误肯定。在本实例中，可以考虑两个上下文:邻近单元强度一致性和对象块上下文。
[0059]邻近单元颜色强度一致性
[0060]根据上述在104/106确定的单元204中的边缘能量，针对单元204数据进行的肯定对象确定/标签的准确性可以受到图像数据难题的损害。例如，可在单元中辨别的背景特性(例如道路车道标记、路缘石等)产生的噪声可以产生要应用于背景单元的错误肯定单元标签。此外，相对大的车辆(卡车、公共汽车等)可以具有大的平坦区域，其中在某些单元中边缘不可辨别，从而导致将其中某些单元错误地漏检为背景元素和错误的负/0标记。
[0061]因此，在112将邻近单元颜色强度一致性过程应用于边缘能量过程在104/106标记为前景(正或I)的每个单元，以便消除嘈杂边缘产生的错误肯定。在本发明的一个实施例中，对在每个正标记的单元(例如，由在108的颜色确定过程)中独立确定的不同个体颜色强度进行求和，并且与附近相邻单元的颜色强度总和相比较。在一个实例中，可以根据公式[3]量化和计算上下文邻近单元颜色强度一致性信息:
[0062]f (cm(cl)) = {O
[0063]I [3]
[0064]其中V_= (υ1； υ2, υ3) /是每个个体RGB通道的强度值总和并且与邻近单元组相关，f (cffl(cl))是第m个单元(Cm)的邻近单元颜色强度，并且(tj是颜色一致性阈值。在其它实施例中，邻近单元颜色强度一致性过程112包括使用适当的度量(例如Bhattacharya过程),构建单元的颜色直方图并计算它们之间的距离；其它适当的邻近单元颜色强度一致性过程对于所属【技术领域】的技术人员来说将显而易见。
[0065]颜色关联可能不会始终足以确定灰度区域之间的差异。因此，本实施例使用相对强度规范代替颜色关联。因此，即使两个单元仅在灰度方面不同，本实施例也可以针对前景和背景区分单元，这是由于不同的规范值所致。更具体地说，如果f (cm(Cl))大(大于颜色一致性阈值(t J )，则这指示该单元与背景一致并且应作为错误肯定被消除。相比之下，车辆图像占用的单元204的值通常明显不同于包括道路图像数据的单元204的那些值，从而产生相对较小的f(cm(Cl))。
[0066]注意，颜色强度线索过程108/110检测/标记的正单元通常不需要在112由邻近单元颜色强度一致性过程检验/验证，因为在一个实施例中它们已经具有高精度。
[0067]对象块上下文
[0068]在110和112生成的正前景单元204标签进一步在114通过对象块上下文过程验证，该过程将正标记的单元204的有联系的连续组形成的块的大小与一个或多个模板过滤器相比较。如果所述块满足模板准则，则将形成块的正标记的单元204的每一个验证为前景单元；否则，将这些单元重新标记或重新设置为表示背景单元的O或负值。
[0069]在图7中所示的实例中，将每个正标记的单元204的像素值设置为255(被示为实心白色方形)，并且将每个负标记的单元204设置为O (并且被示为实心黑色方形)。在本发明的各实施例中，单元204大小被选择为足够小，以便在任何图像帧中，每个感兴趣前景(非静态)车辆对象将跨越多个邻近单元。因此，每个正标记的单元204应该包含也跨越其它连续邻近正标记的单元204的车辆对象的图像的一部分，其中所有所述连续单元应该共同限定对象块，该对象块具有的大小对应于其中所示的车辆对象的大小。
[0070]因此，在114，对象块上下文过程进行检查以便查看正标记的单元204的连续组是否定义小于感兴趣非静态对象的预定阈值大小尺寸的块。在图7的实例中，如果邻近正标记的单元204形成的块具有小于两个单元204(例如，分别为块702和704)的宽度或高度尺寸，则该块中的所有单元204被视为错误肯定并被重新标记为背景(负/O)。这种方法被发现在消除由道路车道周围的颜色差异产生的错误前景确定中非常有效。
[0071]相比之下，块706满足阈值尺寸(例如，至少两个单元204高和宽)，并且因此块706中的每个单元被验证为真的正标记的单元204。在116，使用已验证的正标记的单元204定义前景对象以进行对象分析。
[0072]本实施例的实现已被发现在交通拥堵检测中提供可靠结果。针对在美国纽约州纽约市的林肯中心广场周围捕获的两天视频图像数据测试一个实例。来自所述视频数据的对象确定显示卓越的性能，而不管白天/黑夜变化或雨天情况。
[0073]在某些实施例中，在根据场景上下文选择和应用的某些实例中，可以提供多个不同块屏蔽以便在114检验标签。例如，如果该过程监视预计仅包括载客车辆(没有人员或大卡车)的交通场景感兴趣区域，则可以应用其具有的形状符合载客车辆形状的块(例如，两单元高X四单元长的块)，在一方面减少可能在当前场景分辨率和变焦时占用两个块X两个块的单元的行人导致的错误警报。
[0074]在图4的实施例中，在每个边缘能量过程104/106/112和颜色强度过程108/110步骤独立确定标签，其中任何一个过程可以确定应该将单元标记为前景。图8示出根据本发明的一个备选实施例，其中组合这些过程以便使用图4的某些步骤和过程进行前景单元确定。更具体地说，在104通过一个或多个过程确定和累积的在每个单元中检测的边缘能量在806用作输入并与一个或多个边缘能量阈值相比较，并且相应地指示正/前景标签(这可以包括在逻辑“或”决策过程中组合在104的多个累积值输出，每个输出满足边缘能量阈值，其中任何一个输出指示正级别；或者需要阈值倍数以便指示标签；或者逻辑“与”决策过程中的所有多个不同过程)。在806，针对每个单元相应地生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则边缘能量前景指示输出指示前景，或者如果累积边缘能量不满足边缘能量阈值，则边缘能量前景指示输出指示背景。然后在812，在邻近单元颜色强度一致性过程中检验来自806的每个单元输出的结果边缘能量前景标签指示。
[0075]在810，在每个单元中比较在108通过一个或多个过程在每个单元中确定的不同颜色的强度。如通常针对图4讨论的，在810相应地生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则颜色强度前景指示输出指示前景；否则，颜色强度前景指示输出指示单元是背景。
[0076]在813，将来自边缘能量/验证过程812和颜色强度过程810的标签指示输出接收到复杂决策功能中。在813，响应于每个单元的边缘能量前景指示输出和颜色强度前景指示输出，根据前景指示输出组合规则，决策功能将每个单元标记为前景或背景。
[0077]可以在813实现多种前景指示输出组合规则。例如，规则可以计算每个单元的前景指示数量，并且如果接收阈值数量的前景指示(例如两个或更多，如果三个或更多过程从810和812提供输入)作为输入，则将单元标记为前景。如果在“逻辑或”规则中来自810和812的任何输入指示前景，则可以在813确定前景标签。备选地，在813应用的规则可能需要在逻辑“与”决策过程中来自810和812的所有输入针对前景标签保持一致，其中任何一个输入失败将导致默认背景标签。(还应该理解，假设可以默认是前景标签而不是背景，并且用户可以根据需要自由设计实施例以便倾向任何一种确定)。在810或812生成的某些过程输出可以被以不同方式加权:例如，如果相应的输出没有针对前景或背景保持一致，则可以在813使用来自两个过程810和812中的一个更多加权的过程的指示定义标签。
[0078]本发明的各实施例较之现有技术教导的基于自适应背景建模和学习的对象检测器，提供了多个优点。这些实施例对场景改变(例如嘈杂光线)导致的突然光照变化或移动云产生的阴影更稳健。它们在检测静态和移动对象中更有效，因为移动对象确定不依赖于运动信息。它们不会遭受现有技术背景减除模型经历的修复问题。它们不需要解决遮挡和多视图问题，而在现有技术基于学习的对象检测器框架中需要解决这些问题。实际上，不需要训练过程，各实施例实现可以完全无人监管。此外，没有过度拟合问题，这些问题可能在基于学习的算法中出现。
[0079]运输优化可用于在给定领域(城市、县、大学校园，或者定义运输系统范围的任何其它组织实体)中标识运输系统的瓶颈。通过监视多个道路的每一个的拥堵程度，本发明的各实施例可以优化运输系统处理的车辆交通管理，例如以便指示严重拥堵区域中的新立交桥建造的需要和位置，或者触发应用增加、减少或差别的用户费用(通行费、收费道路指定、公共交通票价等)，从而减少给定道路上的交通拥堵。各实施例还可以用于确定和提供为道路用户给出的信息，以便实时直接缓解拥堵，例如以便响应于确定当前路线上存在的拥堵交通而向司机通知备选路线。
[0080]现在参考图9，本发明的一个实施例的示例性计算机化实现包括与感兴趣区域视频数据源540 (摄像机、从存储单元获得的归档视频数据等)结合的计算机系统或其它可编程设备522，它们提供根据图4或8的各实施例处理的视频数据。指令542位于计算机可读存储器536中的计算机可读代码中，或者位于处理器单元(CPU) 538通过计算机网络基础架构526访问的计算机可读存储系统532、输入输出(I/O)设备524或其它有形计算机可读存储介质中。因此，当指令由处理单元(CPU) 538实现时，导致处理单元(CPU) 538使用多线索(包括边缘能量和颜色强度)分析以便区分感兴趣的前景对象，如上面针对图4或8描述的那样。
[0081]本发明的各实施例还可以根据订阅、广告和/或费用执行本发明一个实施例的过程步骤。即，服务提供商可以提供将计算机可读程序代码集成到计算机系统522中，以使计算机系统522能够使用多线索(包括边缘能量和颜色强度)分析以便区分感兴趣的前景对象，如上面针对图4或8的实施例描述的那样。服务提供商可以对计算机基础架构(例如计算机系统522、网络环境526或其各部分)进行创建、维护和支持等，该计算机基础架构为一个或多个客户执行本发明的过程步骤。作为回报，服务提供商可以按照订阅和/或费用协议从客户(多个)收到付款和/或服务提供商可以通过向一个或多个第三方销售广告内容而收到付款。服务可以包括以下一个或多个:(I)将程序代码从有形计算机可读介质设备520或532安装到诸如计算机设备522之类的计算设备上；(2)将一个或多个计算设备添加到计算机基础架构；以及(3)合并和/或修改计算机基础架构的一个或多个现有系统以使计算机基础架构能执行本发明的一个实施例的过程步骤。
[0082]在此使用的术语只是为了描述特定的实施例并且并非旨在作为本发明的限制。如在此使用的，单数形式“一”、“一个”和“该”旨在同样包括复数形式，除非上下文明确地另有所指。还将理解，当在本说明书中使用时，术语“包括”和/或“包含”指定了声明的特性、整数、步骤、操作、元素和/或组件的存在，但是并不排除一个或多个其它特性、整数、步骤、操作、元素、组件和/或其组合的存在或增加。在本说明书中(包括在权利要求中并且如附图中所示)描述的某些实例和元素可以通过独特形容词与其它实例和元素区分或以其他方式标识开(例如，“第一”元素不同于多个元素的另一“第二”或“第三”元素，“主要”不同于“辅助”项目或“另一个”项目等。)这些标识形容词通常用于减少混淆或不确定性，并且不被解释为将权利要求限于任何特定示出的元素或实施例，或者暗示任何权利要求元素、限制或过程步骤的任何优先顺序、排序或排名。
[0083]下面权利要求中的对应结构、材料、操作以及所有功能性限定的装置或步骤的等同替换，旨在包括任何用于与在权利要求中具体指出的其它元件相组合地执行该功能的结构、材料或操作。出于示例和说明目的给出了对本发明的描述，但所述描述并非旨在是穷举的或是将本发明限于所公开的形式。在不偏离本发明的范围和精神的情况下，对于所属【技术领域】的普通技术人员来说许多修改和变化都将是显而易见的。实施例的选择和描述是为了最佳地解释本发明的原理和实际应用，并且当适合于所构想的特定使用时，使得所属【技术领域】的其它普通技术人员能够理解本发明的具有各种修改的各种实施例。
【权利要求】
1.一种用于将感兴趣的前景对象与背景模型区分开的方法，所述方法包括: 由可编程设备将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，使用背景标签初始化每个单元，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元；所述可编程设备获得每个所述单元的帧图像数据； 所述可编程设备检测和累积每个所述单元内的边缘能量，并将累积的边缘能量满足边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景； 所述可编程设备确定每个单元内的多个不同颜色中的每一个的颜色强度，并将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，并且当前被标记为背景；以及 所述可编程设备使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象。
2.根据权利要求1的方法，还包括: 对于响应于具有满足所述边缘能量阈值的累积边缘能量而由所述可编程设备重新标记为前景的每个所述单元，所述可编程设备: 对针对该单元确定的不同颜色强度进行求和以便生成重新标记的单元的颜色强度总和； 将所述重新标记的单元的所生成的颜色强度总和与针对所述重新标记的单元所邻近的多个单元中的每一个确定的颜色强度总和相比较；以及 如果所述重新标记的单元的所生成的颜色强度总和比针对所述重新标记的单元所邻近的多个单元中的每一个确定的所比较的颜色强度总和大颜色一致性阈值，则将所述重新标记的单元的所述标签修改为所述背景标签，其中在所述可编程设备使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象的步骤之前，执行修改所述标签。
3.根据权利要求2的方法，还包括所述可编程设备: 将重新标记的前景单元的连续组形成的块的大小与模板过滤器相比较；以及修改连续块组中不符合所比较的模板过滤器的每个所述重新标记的前景单元的所述标签，其中在所述可编程设备使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象的步骤之前，执行修改所述标签。
4.根据权利要求3的方法，其中所述模板具有高度和宽度，并且如果所述连续块组的高度小于模板高度或者如果所述连续块组的宽度小于模板宽度，则所述可编程设备修改所述连续块组的各个块的每个所述重新标记的前景单元的所述标签。
5.根据权利要求3的方法，还包括: 将计算机可读程序代码集成到包括处理单元、计算机可读存储器和计算机可读有形存储介质的计算机系统中，其中所述计算机可读程序代码包含在所述计算机可读有形存储介质上并且包括指令，当所述指令经由所述计算机可读存储器由所述处理单元执行时，导致所述处理单元执行以下步骤: 将所述感兴趣区域分成所述网格阵列； 获得每个所述单元的所述帧图像数据； 检测和累积每个所述单元内的边缘能量，并将累积的边缘能量满足所述边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景； 确定每个单元内的所述多个不同颜色中的每一个的设备颜色强度，并将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大所述颜色强度差异阈值，并且当前被标记为背景；以及 使用来自被重新标记为前景的所述单元的所述帧图像数据来定义所述前景对象。
6.根据权利要求3的方法，其中所述可编程设备检测和累积每个所述单元内的边缘能量并将累积的边缘能量满足边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景的步骤进一步包括: 将索贝尔算子应用于每个单元以产生边缘补丁；以及 根据以下等式将所述每个单元的所述标签确定为二进制标签: f(cm(e)) = {I
0； 其中cm是第m个单元，E (Xi)是像素Xi处的所述边缘补丁的能量，并且如果所述第m个单元Cm的边缘能量总和f (cm (e)大于所述边缘能量阈值te，则将所述单元Cm重新标记为“I”作为前景。
7.根据权利要求3的方法，其中具有所确定的颜色强度的所述不同颜色是红色、相对绿色和蓝色通道之一。
8.根据权利要求7的方法，其中所述可编程设备确定每个单元内的所述不同颜色中的每一个的所述颜色强度，并且根据以下等式将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大所述颜色强度差异阈值:
f(cm(C)) = {O
1 其中(Wg = ? ' = Jcghcg表示所述红色通道和所述相对绿色通道之间的强度差异，(Drb =E n^1 I CU I)，drb)表示所述红色通道和所述蓝色通道之间的强度差异，以及(Dgb= En^1 I dgb I)，dgb)表示所述相对绿色通道和所述蓝色通道之间的强度差异；以及 其中如果所述第m个单元Cm的颜色强度差异f (Cm(C))大于所述颜色强度差异阈值(tc)，则将所述单元Cm重新标记为“ I ”作为前景。
9.根据权利要求8的方法，其中对于响应于具有满足所述边缘能量阈值的累积边缘能量而由所述可编程设备重新标记为前景的每个所述单元，所述可编程设备对针对该单元确定的不同颜色强度进行求和以便生成所述颜色强度总和、将所生成的颜色强度总和与针对所述邻近单元确定的颜色强度总和相比较，以及如果所述重新标记的单元的所生成的颜色强度总和大于针对所述邻近单元确定的所比较的颜色强度总和，则将所述重新标记的单元的所述标签修改为所述背景标签的步骤包括: 根据以下等式计算上下文邻近单元颜色强度一致性信息: f(cm(cl)) = {O I 其中Igb= (U1, u2，U3V是每个个体红色、相对绿色和蓝色通道的强度值总和并与一组邻近单元相关，并且如果所述第m个单元(Cm)的邻近单元颜色强度f (cm(Cl))大于颜色一致性阈值(tj，则将重新标记的单元Cm的所述标签修改为“O”作为背景。
10.根据权利要求1的方法，还包括: 针对每个所述单元生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景； 针对每个所述单元生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景； 响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据前景指示输出组合规则将每个所述单元标记为前景或背景；以及 所述可编程设备使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。
11.根据权利要求10的方法，其中所述前景指示输出组合规则要求所述颜色强度前景指示输出和所述边缘能量前景指示输出均指示前景以便将所述单元标记为前景，并且其中所述可编程设备将每个所述单元标记为前景或背景的步骤包括: 将逻辑“与”运算应用于所述边缘能量前景指示输出和所述颜色强度前景指示输出的输入，如果所述输入均指示一个所述单元是前景，则所述逻辑“与”运算针对该单元生成真输出；以及 将具有所生成的真输出的每个所述单元标记为所述前景单元。
12.根据权利要求11的方法，还包括: 对于响应于具有满足所述边缘能量阈值的累积边缘能量而被指示为前景的每个所述单元，所述可编程设备: 对所确定的不同颜色强度进行求和以生成颜色强度总和； 将所生成的颜色强度总和与针对具有所生成的颜色强度总和的所述单元所邻近的多个单元中的每一个确定的颜色强度总和相比较；以及 如果所生成的颜色强度总和比针对所邻近的多个单元中的每一个确定的所比较的颜色强度总和大颜色一致性阈值，则修改具有所生成的颜色强度总和的所述单元的所述前景指示输出以便指示背景，其中在根据所述前景指示输出组合规则将所述单元标记为前景或背景的步骤之前，执行修改所述前景指示输出。
13.根据权利要求12的方法，还包括所述可编程设备: 将所标记的前景单元的连续组形成的块的大小与模板过滤器相比较；以及 将所述连续块组中不符合所比较的模板过滤器的每个所述单元的所述标签修改为背景标签，其中在所述可编程设备使用来自被标记为前景的所述单元的所述帧图像数据来定义所述前景对象的步骤之前，执行修改所述标签。
14.根据权利要求13的方法，其中所述模板具有高度和宽度，并且如果所述连续块组的高度小于模板高度或者如果所述连续块组的宽度小于模板宽度，则所述可编程设备修改所述连续块组的每个被标记的前景单元的所述标签。
15.根据权利要求10的方法，还包括: 将计算机可读程序代码集成到包括处理单元、计算机可读存储器和计算机可读有形存储介质的计算机系统中，其中所述计算机可读程序代码包含在所述计算机可读有形存储介质上并包括指令，当所述指令经由所述计算机可读存储器由所述处理单元执行时，导致所述处理单元执行以下步骤: 将视频数据图像的所述感兴趣区域分成具有个体单元的网格阵列； 获得每个所述单元的所述帧图像数据； 检测和累积每个所述单元内的所述边缘能量，并且针对每个所述单元生成所述边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景； 针对每个所述单元中的每个所述不同颜色确定所述颜色强度，并且针对每个所述单元生成所述颜色强度前景指示输出，如果该单元的所确定的一个颜色强度比另一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景； 响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据所述前景指示输出组合规则将每个所述单元标记为前景或背景；以及 使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。
16.—种系统,包括: 处理单元，其与计算机可读存储器和有形计算机可读存储介质通信； 其中所述处理单元当经由所述计算机可读存储器执行存储在所述有形计算机可读存储介质上的程序指令时: 将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，使用背景标签初始化每个单元，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元； 获得每个所述单元的设备帧图像数据； 检测和累积每个所述单元内的边缘能量，并将累积的边缘能量满足边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景； 确定每个单元内的多个不同颜色中的每一个的颜色强度，并将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，并且当前被标记为背景；以及 使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象。
17.根据权利要求16的系统，其中所述处理单元当经由所述计算机可读存储器执行存储在所述计算机可读存储介质上的所述程序指令时，对于响应于具有满足所述边缘能量阈值的累积边缘能量而被重新标记为前景的每个所述单元，进一步: 对针对该单元确定的不同颜色强度进行求和以便生成重新标记的单元的颜色强度总和； 将所述重新标记的单元的所生成的颜色强度总和与针对所述重新标记的单元所邻近的多个单元中的每一个确定的颜色强度总和相比较；以及 如果所述重新标记的单元的所生成的颜色强度总和比针对所述重新标记的单元所邻近的多个单元中的每一个确定的所比较的颜色强度总和大颜色一致性阈值，则将所述重新标记的单元的所述标签修改为所述背景标签，其中在使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象之前，修改所述标签。
18.根据权利要求17的系统，其中所述处理单元当经由所述计算机可读存储器执行存储在所述计算机可读存储介质上的所述程序指令时，进一步: 将重新标记的前景单元的连续组形成的块的大小与模板过滤器相比较；以及修改连续块组中不符合所比较的模板过滤器的每个所述重新标记的前景单元的所述标签，其中在使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象之前，修改所述标签。
19.根据权利要求18的系统，其中所述模板具有高度和宽度，并且其中所述处理单元当经由所述计算机可读存储器执行存储在所述计算机可读存储介质上的所述程序指令时，进一步在所述连续块组的高度小于模板高度或者如果所述连续块组的宽度小于模板宽度的情况下，修改所述连续块组的各个块的每个所述重新标记的前景单元的所述标签。
20.根据权利要求19的系统，其中所述模板高度至少是两个所述单元的高度，并且所述模板宽度至少是两个所述单元的宽度。
21.一种用于将感兴趣的前景对象与背景模型区分开的制造品，包括: 计算机可读有形存储介质，其具有随其包含的计算机可读程序代码，所述计算机可读程序代码包括指令，当所述指令由计算机处理单元执行时，导致所述计算机处理单元: 将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，使用背景标签初始化每个单元，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元； 获得每个所述单元的帧图像数据； 检测和累积每个所述单元内的边缘能量，并将累积的边缘能量满足边缘能量阈值并且当前被标记为背景的每个所述单元重新标记为前景； 确定每个单元内的多个不同颜色中的每一个的颜色强度，并将以下每个所述单元重新标记为前景:该单元具有的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，并且当前被标记为背景；以及 使用来自被重新标记为前景的所述单元的所述帧图像数据来定义前景对象。
22.根据权利要求21的制造品，其中当所述计算机可读程序代码指令由所述计算机处理单元执行时，导致所述计算机处理单元: 针对每个所述单元生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景； 针对每个所述单元生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景； 响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据前景指示输出组合规则将每个所述单元标记为前景或背景；以及 使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。
23.根据权利要求22的制造品，其中所述前景指示输出组合规则要求所述颜色强度前景指示输出和所述边缘能量前景指示输出均指示前景以便将所述单元标记为前景，并且其中当所述计算机可读程序代码指令由所述计算机处理单元执行时，进一步导致所述计算机处理单元通过以下操作将每个所述单元标记为前景或背景: 将逻辑“与”运算应用于所述边缘能量前景指示输出和所述颜色强度前景指示输出的输入，如果所述输入均指示一个所述单元是前景，则所述逻辑“与”运算针对该单元生成真输出；以及 将具有所生成的真输出的每个所述单元标记为所述前景单元。
24.根据权利要求23的制造品，其中当所述计算机可读程序代码指令由所述计算机处理单元执行时，进一步导致所述计算机处理单元对于响应于具有满足所述边缘能量阈值的累积边缘能量而被指示为前景的每个所述单元: 对所确定的不同颜色强度进行求和以生成颜色强度总和； 将所生成的颜色强度总和与针对具有所生成的颜色强度总和的所述单元所邻近的多个单元中的每一个确定的颜色强度总和相比较；以及 如果所生成的颜色强度总和比针对所邻近的多个单元中的每一个确定的所比较的颜色强度总和大颜色一致性阈值，则修改具有所生成的颜色强度总和的所述单元的所述前景指示输出以便指示背景，其中在根据所述前景指示输出组合规则将所述单元标记为前景或背景之前，修改所述前景指示输出。
25.根据权利要求24的制造品，其中当所述计算机可读程序代码指令由所述计算机处理单元执行时，进一步导致所述计算机处理单元: 将所标记的前景单元的连续组形成的块的大小与模板过滤器相比较；以及 将所述连续块组中不符合所比较的模板过滤器的每个所述单元的所述标签修改为背景标签，其中在使用来自被标记为前景的所述单元的所述帧图像数据来定义所述前景对象之前，修改所述标签。
26.根据权利要求25的制造品，其中所述模板具有高度和宽度，并且其中当所述计算机可读程序代码指令由所述计算机处理单元执行时，进一步导致所述计算机处理单元在所述连续块组的高度小于模板高度或者如果所述连续块组的宽度小于模板宽度的情况下，修改所述连续块组的每个被标记的前景单元的所述标签。
27.一种包括程序代码装置的计算机程序，当在计算机上运行所述程序时，所述程序代码装置适合于执行根据权利要求1至15或权利要求28中的任一权利要求的方法。
28.一种用于将感兴趣的前景对象与背景模型区分开的方法，所述方法包括: 由可编程设备将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元； 所述可编程设备获得每个所述单元的帧图像数据； 所述可编程设备检测和累积每个所述单元内的边缘能量，针对每个所述单元生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景； 所述可编程设备确定每个所述单元中的多个不同颜色中的每一个的颜色强度，并且针对每个所述单元生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景； 响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据前景指示输出组合规则将每个所述单元标记为前景或背景；以及 所述可编程设备使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。
29.—种制造品，包括: 计算机可读有形存储介质，其具有随其包含的计算机可读程序代码，所述计算机可读程序代码包括指令，当所述指令由计算机处理单元执行时，导致所述计算机处理单元: 将视频数据图像的感兴趣区域分成具有多个个体单元的网格阵列，其中每个所述单元具有的二维区域尺寸小于感兴趣的前景对象的二维区域大小，使得图像数据帧中的所述前景对象的图像数据跨越连续多个所述单元； 获得每个所述单元的帧图像数据； 检测和累积每个所述单元内的边缘能量，针对每个所述单元生成边缘能量前景指示输出，如果累积边缘能量满足边缘能量阈值，则所述边缘能量前景指示输出指示前景，或者如果所述累积边缘能量不满足所述边缘能量阈值，则所述边缘能量前景指示输出指示背景；确定每个所述单元中的多个不同颜色中的每一个的颜色强度，并且针对每个所述单元生成颜色强度前景指示输出，如果该单元的一个所确定的颜色强度比另一个所确定的颜色强度大颜色强度差异阈值，则所述颜色强度前景指示输出指示前景，或者如果该单元的一个所确定的颜色强度不比任何其它一个所确定的颜色强度大所述颜色强度差异阈值，则所述颜色强度前景指示输出指示背景； 响应于每个单元的所述颜色强度前景指示输出和所述颜色强度前景指示输出，根据前景指示输出组合规则将每个所述单元标记为前景或背景；以及 使用来自被标记为前景单元的所述单元的所述帧图像数据来定义前景对象。
【文档编号】G06K9/46GK104350510SQ201380028291
【公开日】2015年2月11日 申请日期:2013年5月31日 优先权日:2012年6月14日
【发明者】A·达塔, R·S·菲利斯, S·U·潘坎蒂, 王孝宇 申请人:国际商业机器公司