专利名称：多模式视频事件索引的制作方法
技术领域：
本发明涉及视频中的活动分析，并且尤其涉及准确地确定并区分对象运动和由其代表的活动。
背景技术：
视频监控使得能够通过远离监视人员的一个或多个区域的视频显示器进行对象监视。示例性应用包括公共和私人区域的安全性监控，例如在停车场监视人和车辆的运动、在诸如火车站和娱乐厅的集结区域监视被抛弃的行李或者物体、在边境或门口监视未授权的进入、在安全区域监视未授权的车辆或对象运动和移除，等等。但是，在人力资源分配方面，对视频反馈的人为审查与分析是耗时的而且有可能是低效的，因而相应地期望实现用于视频分析的自动化系统。用于确定对象运动、活动和行为的自动化视频分析提出了许多挑战。变化数量的活动数据、天气条件、场景中拥挤的人或者物体、地理区域特征及其它因素常常证明要通过视频分析算法作出这种确定的准确结果是有问题的。US20090103888公开了一种包括检测单元和分类单元的装置。检测单元分析视频帧序列并且从视频帧中提取某些特征。然后，分类单元根据所确定的视频活动水平把视频帧分类到不同的语义类中。US20050175091公开了一种视频编码应用中的速率控制系统。给定视频中的图片，可以确定其空间与时间内容的复杂性并且给该图片分配复杂性指示器。利用这种信息，该系统随后公开了具有受控位速率的、用于H. 264/AVC标准的编码方法。US6680748公开了一种具有多种工作模式的图像获取系统。一种模式是捕捉静止图像而另一种模式是捕捉运动图片。捕捉到的这两种类型的数据都可以存储在图像捕捉系统上。
发明内容
用于多模式视频事件索引的方法的一种实施例包括对于来自视频流输入的图像，确定对象独特性的质量。如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个模式中选择高质量分析模式，并经硬件设备将其应用到视频输入图像以确定视频输入图像中的对象活动，否则就选择低质量分析模式，并经硬件设备将其应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。在另一种实施例中，用于多模式视频事件索引的计算机系统包括处理单元、计算机可读存储器与计算机可读存储系统，所述计算机可读存储系统具有用于对于来自视频流输入的图像，确定对象独特性的质量；如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动的程序指令。程序指令还用于如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。在另一种实施例中，用于多模式视频事件索引的计算机程序产品包括计算机可读存储介质和存储在其上的程序指令，所述程序指令对于来自视频流输入的图像，确定对象独特性的质量；如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动；及如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。在另一种实施例中，用于多模式视频事件索引的服务提供计算机基础设施，该计算机基础设施对于来自视频流输入的图像，确定对象独特性的质量；如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动；及如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。从第一方面来看，本发明提供了一种用于多模式视频事件索引的方法，所述方法包括对于来自视频流输入的图像，确定对象独特性的质量；如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并经硬件设备将高质量分析模式应用到来自视频流输入的图像以确定视频输入图像中的对象活动；及如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并经硬件设备将低质量分析模式应用到来自视频流输入的图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。优选地，本发明提供了一种方法，其中对于视频输入图像，确定对象独特性的质量包括确定提供视频输入的摄像机相对于视频输入中的场景是移动的还是静止的，并且场景的质量的阈值水平是固定的。优选地，本发明提供了一种方法，其中对于视频输入图像，确定对象独特性的质量包括确定视频输入图像中场景的照明量，并且质量的阈值水平是场景的照明量；其中高质量分析模式是通过从场景图像中除去强阴影来提供对象活动检测的强阴影分析模式；及其中低质量分析模式是在没有从场景图像中除去阴影的情况下解析视频图像以进行对象活动检测的低亮度分析模式。优选地，本发明提供了一种方法，其中确定场景的照明量包括确定场景的天气条件是晴天、下雨、下雪、有雾、多云或者夜间，并且其中阈值照明量是晴天。优选地，本发明提供了一种方法，还包括经可编程硬件设备对视频输入应用背景消减(background subtraction),以检测前景对象活动作为在当前巾贞图像信息与图像的上下文背景的静态信息之间的差；其中确定对象独特性的质量包括确定检测到的前景对象活动的水平；其中选择并应用高质量分析模式包括选择基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动来跟踪前景对象；其中选择并应用低质量分析模式包括选择非基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动，以根据提取出的前景对象外观(appearance)属性确定对象运动而不跟踪前景对象；及还包括把跟踪前景对象的结果和得自提取出的前景对象外观属性的对象运动确定写入到索引。优选地，本发明提供了一种方法，其中确定检测到的前景对象活动的水平包括确定前景相对于图像整体的密度；及其中阈值活动水平是密度值。优选地，本发明提供了一种方法，其中选择基于对象跟踪的模式还包括确定前景相对于图像整体的第一密度是否大于或等于第一时刻时的阈值密度值；确定前景相对于图像整体的第二密度是否小于最小值，所述最小值小于第一时刻之后的第二时刻时的阈值密度值；确定第一时刻和第二时刻之间所经过的时间；比较经过的时间与稳定时间段；及如果经过的时间小于稳定时间段，就选择基于对象跟踪的模式。优选地，本发明提供了一种方法，其中选择基于对象跟踪的模式还包括确定前景的密度大于或等于阈值活动水平的持续时间；比较所述持续时间与指定时间段；如果所述持续时间小于指定时间段，就选择基于对象跟踪的模式。优选地，本发明提供了一种方法，其中前景的密度是多个单个密度在所述指定时间段内的平均值。优选地，本发明提供了一种方法，还包括通过给较新的密度赋予比较旧的密度更高的权重来确定所述多个单个密度在所述指定时间段内的平均值。从另一方面来看，本发明提供了一种用于多模式视频事件索引的系统，所述系统包括处理单元、计算机可读存储器与计算机可读存储系统；第一程序指令，用于对于来自视频流输入的图像，确定对象独特性的质量；第二程序指令，用于如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动；及第三程序指令，用于如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同；其中，第一、第二和第三程序指令被存储在计算机可读存储系统上以供处理单元经由计算机可读存储器执行。优选地，本发明提供了一种系统，其中第一程序指令还用于通过确定视频输入图像中场景的照明量来对于视频输入图像，确定对象独特性的质量，并且其中场景的质量的阈值水平是照明量；其中高质量分析模式是通过从场景图像中除去强阴影来提供对象活动检测的强阴影分析模式；及其中低质量分析模式是在没有从场景图像中除去阴影的情况下解析视频图像以进行对象活动检测的低亮度分析模式。优选地，本发明提供了一种系统，还包括第四程序指令，用于对视频输入应用背景消减，以检测前景对象活动作为在当前帧图像信息与图像的上下文背景的静态信息之间的差；其中第一程序指令还用于通过确定检测到的前景对象活动的水平来确定对象独特性的质量；其中第二程序指令还用于选择基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动来跟踪前景对象；其中第三程序指令还用于选择和应用非基于对象跟踪的模式并将非基于对象跟踪的模式应用到视频输入的检测到的前景对象活动，以根据提取出的前景对象外观属性确定对象运动而不跟踪前景对象；及第五程序指令，用于把跟踪前景对象的结果和得自提取出的前景对象外观属性的对象运动确定写入到索引；及其中第四和第五程序指令被存储在计算机可读存储系统上以供处理单元经由计算机可读存储器执行。优选地，本发明提供了一种系统，其中第一程序指令还用于将检测到的前景对象活动的水平确定为前景相对于图像整体的密度；及其中阈值活动水平是密度值。优选地，本发明提供了一种系统，其中第二程序指令还用于通过以下来选择和应用基于对象跟踪的模式确定前景的密度大于或等于阈值活动水平的持续时间；比较所述持续时间与指定时间段；和如果所述持续时间小于指定时间段，就选择基于对象跟踪的模式。从另一方面来看，本发明提供了一种用于多模式视频事件索引的计算机程序产品，该计算机程序产品包括计算机可读存储介质；第一程序指令，用于对于来自视频流输入的图像，确定对象独特性的质量；第二程序指令，用于如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动；及第三程序指令，用于如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同；并且其中，第一、第二和第三程序指令被存储在计算机可读存储介质上。优选地，本发明提供了一种计算机程序产品，其中第一程序指令还用于通过确定视频输入图像中场景的照明量来对于视频输入图像，确定对象独特性的质量，并且其中场景的质量的阈值水平是照明量；其中高质量分析模式是通过从场景图像中除去强阴影来提供对象活动检测的强阴影分析模式；及其中低质量分析模式是在没有从场景图像中除去阴影的情况下解析视频图像以进行对象活动检测的低亮度分析模式。优选地，本发明提供了一种计算机程序产品，还包括第四程序指令，用于对视频输入应用背景消减，以检测前景对象活动作为在当前帧图像信息与图像的上下文背景的静态信息之间的差；其中第一程序指令还用于通过确定检测到的前景对象活动的水平来确定对象独特性的质量；其中第二程序指令还用于选择基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动来跟踪前景对象；其中第三程序指令还用于选择和应用非基于对象跟踪的模式并将非基于对象跟踪的模式应用到视频输入的检测到的前景对象活动，以根据提取出的前景对象外观属性确定对象运动而不跟踪前景对象；及第五程序指令，用于把跟踪前景对象的结果和得自提取出的前景对象外观属性的对象运动确定写入到索引；及其中第四和第五程序指令被存储在计算机可读存储介质上。优选地，本发明提供了一种计算机程序产品，其中第一程序指令还用于将检测到的前景对象活动的水平确定为前景相对于图像整体的密度；及其中阈值活动水平是密度值。优选地，本发明提供了一种计算机程序产品，其中第二程序指令还用于通过以下来选择和应用基于对象跟踪的模式确定前景的密度大于或等于阈值活动水平的持续时间；比较所述持续时间与指定时间段；和如果所述持续时间小于指定时间段，就选择基于对象跟踪的模式。从另一方面来看，本发明提供了一种用于多模式视频事件索引的服务，该服务包括提供计算机基础设施，该计算机基础设施可以操作来对于来自视频流输入的图像，确定对象独特性的质量；如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动；及如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。优选地，本发明提供了一种服务，其中计算机基础设施还可以操作来通过确定视频输入图像中场景的照明量来对于视频输入图像，确定对象独特性的质量，并且其中场景的质量的阈值水平是照明量；其中高质量分析模式是通过从场景图像中除去强阴影来提供对象活动检测的强阴影分析模式；及其中低质量分析模式是在没有从场景图像中除去阴影的情况下解析视频图像以进行对象活动检测的低亮度分析模式。优选地，本发明提供了一种服务，其中计算机基础设施还可以操作来对视频输入应用背景消减，以检测前景对象活动作为在当前帧图像信息与图像的上下文背景的静态信息之间的差；其中通过确定检测到的前景对象活动的水平来确定对象独特性的质量；选择基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动来跟踪前景对象；选择非基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动，以根据提取出的前景对象外观属性确定对象运动而不跟踪前景对象；及把跟踪前景对象的结果和得自提取出的前景对象外观属性的对象运动确定写入到索引。优选地，本发明提供了一种服务，其中计算机基础设施还可以操作来将检测到的前景对象活动的水平确定为前景相对于图像整体的密度；及其中阈值活动水平是密度值。优选地，本发明提供了一种服务，其中计算机基础设施还可以操作来通过以下来选择和应用基于对象跟踪的模式确定前景的密度大于或等于阈值活动水平的持续时间；比较所述持续时间与指定时间段；和如果所述持续时间小于指定时间段，就选择基于对象跟踪的模式。有利地，本发明提供了根据检测到的不同环境条件在不同分析模式之间切换的手段。
现在将参考附图仅仅作为例子描述本发明的实施例，附图中图1说明了根据本发明一优选实施例的、用于确定对象运动的方法或系统；图2说明了根据本发明一优选实施例的实施例；图3说明了根据本发明一优选实施例的另一实施例；图4a和4b是根据本发明一优选实施例的边界框距离测量的图形说明；图5是根据本发明一优选实施例的基于规则的对象分类的图形说明；图6是根据本发明的tripwire (绊网)分类器的一优选实施例的说明 '及
图7是本发明一优选实施例的计算机实现。附图不一定是按比例绘制的。附图仅仅是示意性的表示，而不是要描绘本发明的具体参数。附图仅仅是要绘出本发明的典型实施例，而且因此不应当被认为是限定本发明的范围。在附图中，相似的标号表示相似的元件。
具体实施例方式如本领域技术人员将认识到的，本发明的各方面可以体现为系统、方法或者计算机程序产品。相应地，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或者结合软件与硬件方面的实施例，本文一般称为“电路”、“模块”或“系统”。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者上述的任意适当的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意适当的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意适当的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括一但不限于——无线、电线、光缆、RF等等，或者上述的任意适当的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++等等，还包括常规的过程式程序设计语言一诸如” C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。下面将参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置或其它设备以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(manufacture)。也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。在历史上，对象活动与政策、规章等的顺应性一般是通过直接的人为监控来执行的。例如，安全与保安人员可以观看瞄准某些区域的摄像机，以发现与安全政策的偏离、非法侵入、偷窃行为、对禁区的未授权接近，等等。但是，人的视觉注意可能是低效的，尤其是对于大量的视频数据。由于许多因素，说明性地包括感兴趣活动的很少发生、与任务关联的基本乏味及在具有视觉混乱与其它扰乱的环境中对象跟踪的可靠性差，人为的视频监控可能既昂贵又低效。自动化的视频监控系统与方法也被提出或已知，其中计算机或者其它可编程设备直接分析视频数据并且尝试确定所关心活动的发生。但是，在实际的现实世界环境与应用中，现有技术的自动化视频监控系统与方法中确定与区分视频流对象中的人与对象运动常常是不可靠的，这种不可靠有时候是由于混乱、差的或者变化的照明与对象分辨率及扰乱性的竞争性视觉信息而导致的。现在参考图1，说明了根据本发明的、用于确定对象运动的多模式视频事件索弓I方法、基础设施或系统的双模式实施例。在10，对于来自视频流输入的图像，确定对象图特性的质量，并且相应地选择要应用到该视频流输入的合适的视频分析模式。本例作出二元的高或低质量确定，其中为确定对象的运动而选择基于高质量的分析模式12，在其它时候就选择基于低质量的模式16。应当理解，检测与图像中的对象独特性有关的图像质量包括并且根据本发明选择合适的视频分析模式包括多于两种不同的模式或水平；例如，对于对象独特性的低、中和高水平或质量中的每一个，有三种不同的模式可供选择，或者低和高质量模式可以组合应用于中等水平，而且还可以给出更多的选项。本发明的实施例还提供了用于不同模式的不同警报生成在本例中，基于对象跟踪的模式12的实现导致在14作为基于跟踪的分析的函数而生成警报，而非基于跟踪的模式16的实现导致在18作为非基于跟踪的分析的函数而生成警报。12和16的分析结果及14和18的警报生成结果可以在19写入到索引以供报告和进一步分析之用，例如写到数据库以供数据分析之用。本发明提供了响应指示识别、辨别和跟踪对象运动中的结果(包括警报和告警生成)的可靠性的对象独特性的质量而对合适的视频分析过程进行自动选择。对于视频图像确定一个或多个对象独特性质量可以包含多个标准与过程中的一个或多个。例如，图2说明了根据本发明的、用于响应确定并区分出视频图像的不同天气条件一包括但不限于晴天、多云或者变化的云量(例如，完全多云或者部分多云)、下雨、下雪等等一而在20自动切换到合适的视频解析设备的实施例。在20识别指定的天气条件可以通过应用到视频输入的图像的视频分析来实现，例如通过测量视频图像的光强度并且将其与阈值照明值比较来确定晴天或光照良好的场景。在20的识别还可以响应其它的输入或选择过程一例如，单独的天气预报应用可以报告已知包括场景的合适白天时间的某几个小时期间晴朗的天空——进行。当天气是晴天时，室外的运动对象常常会留下具有清晰边界的影子，而且在20对晴朗白天条件的识别导致选择提供对象检测与跟踪的强阴影分析模式或者设备22，这种模式或设备很好地处理强阴影，例如，通过在图像分析中除去或者以别的方式考虑强阴影，并且其中在24的警报确定是响应强阴影分析设备22的输出进行的。否则，如果场景不是晴天，例如是多云、下雨、下雪、有雾、黄昏、黎明等等，其中光线很昏暗而且对象的影子不是很好辨别，就选择低亮度分析模式或设备26，例如该模式或设备26不使用阴影去除技术来解析视频事件，并且其中在28的警报确定是响应低亮度分析设备26的输出进行的。22和26的分析结果及24和28的警报生成结果相应地在30写入到索引以供报告和进一步分析之用。本发明的实施例可以通过背景消减法确定视频图像中对象的活动水平，然后选择合适的对象运动确定模式；对于低活动水平，每个运动对象可以在其跨一个场景移动的时候被跟踪，但是，为了处理高活动场景(例如，在市区场景中每天某几个小时中很典型的那些场景)，所述实施例通过对象外观属性的检索与处理来确定对象运动，对象跟踪。因而，图3说明了一种实施例，该实施例在102对视频流输入应用背景消减(BGS)，以便检测前景对象活动作为在当前帧图像信息与图像的上下文背景的静态信息之间的差。在104，在背景消减之后，确定前景对象的活动水平，并且相应地选择要应用到视频的合适的视频分析模式。因而，对于较低的活动水平，选择基于对象跟踪模式的、适于通过跟踪独特的前景对象来确定对象运动的色域跟踪器124 ;而对于较高的活动水平，选择非基于跟踪模式的、更适于根据提取出的前景对象外观属性来确定较低质量的对象运动而不进行对象跟踪的颜色BGS分类器132。图3中所说明的实施例还可能适于区分天气或照明场景条件，例如关于图2的实施例所描述的，其中，不是在强阴影模式/设备22与低亮度模式/设备26之间选择，而是所述实施例可以在跟踪模式/设备124与非跟踪模式/设备132之间选择。因而，与更适合使用低水平的跟踪模式/设备的晴天或晴朗天气场景图像相反，在104对视频图像是在下雨、下雪或有雾条件下获得的识别可以指示使用高水平的非跟踪模式/设备。在104确定视频输入的图像质量可以包括确定视频输入场景中的照明量并且通过与指定照明水平的比较来选择合适的模式；例如，相对于阳光明媚的或者更好照明的场景，夜间或者更差照明的场景可能导致较高的前景-背景比率，这指示使用高水平的非跟踪模式132。相对于那些取自静止或相对固定的照相机的、更适于使用低水平的跟踪模式/设备124的图像，来自移动的摄像机的视频输入也可以指示使用高水平的非跟踪模式/设备 132。在104,其它的图像质量也可以指示相对对象活动。例如,前景对象或活动的更高密度可能由于混乱或差的图像质量而造成的，甚至在低对象运动水平可能出现的时候，也触发非跟踪分析124的“高水平”选项。
本发明的有些实施例通过使用切换确定模块在104执行活动水平检测，该切换确定模块取得102的BGS结果并且查看图像的密度，以确定作为前景与背景之比的函数的活动水平或质量。因而，有些例子可以利用相对于整个图像的阈值前景密度值(例如，60%的百分比)，高于该阈值的密度在104触发对高水平模式、非跟踪分析的选择。另一个例子使用40%作为阈值密度百分比，而且还有其它的百分比也可以实践。例如，通过使用时间一致性分析，本发明的实施例还可以在104作为比率数据的稳定性的函数执行活动水平检测。因而，有些实施例可能需要在10至少在一个或多个指定的时间段上超过一个或多个阈值密度百分比(60%、40%，等等)，如果没有的话，那么即使已经超过阈值，也仍然可以选择低水平/基于跟踪的分析。在一个例子中，如果在第一个较早的时刻满足的阈值密度(例如，60%)在被选择来代表稳定周期或持续时间(例如，在一或者两秒之内或者是其它时间段内)的经过时间段中的随后的第二时刻降到指定的最小值(例如，不超过30%)，那么尽管超过了阈值密度，也仍然可以在10选择低水平/基于跟踪的分析。稳定性和/或密度也可以被看作为时间上的平均值，而且在有些实施例中是通过相对于其它时间段给一些时间段进一步加权(例如，给较近的时间或时间的平均值赋予比较旧的时间和/或平均值相对更高的权重)。其活动与水平可以包括多种特性与动作，例如，相对于静止的背景或其它运动对象，对象移动的次数、一个或多个对象的速度或加速度，图像的相对质量(例如，不同的相对照明水平，例如由于阳光、云、夜间、雾；由于雨、雪或者其它环境元素和因素的遮蔽等)。偏离的前景-背景比率值的其它例子或者造成原因也可能出现，而且本发明可修改成通过选择合适的高、低或者甚至中间模式来响应所述成因。更特别地，本发明的实施例可以通过背景消减法确定视频图像中对象的活动水平，然后选择合适的对象运动确定模式；对于低活动水平，可以在每个运动对象跨一个场景移动时跟踪它，但是，对于处理高活动场景(`例如，在市区场景中每天某几个小时中很典型的那些场景)，所述实施例通过对象外观属性的检索与处理来确定对象运动通玉进赶对象跟踪。背景减法器102可以对背景消减应用统计方法，例如1999年在ICCV Frame-RateWorkshop 由 T. Horprasert、D. Harwood 和 L. S. Davis 在 “A statistical approach forreal-time robust background subtraction and shadow detection，，中所教导的。通过在每个像素独立地给背景统计性建模，这种实施例使背景消减对照明变化更健壮。因而，一种示例性估计过程计算红-绿-蓝(RGB)颜色空间中的亮度失真和颜色失真，其中每个像素U}由四元组(Ei, Si^pbi)建模，其中{EJ是具有在In}个背景帧上计算的像素的红、绿和蓝分量的中值的向量；IsJ是具有颜色值的标准偏差的向量；{aj是亮度失真的变量；而IbJ是色度失真的变量。通过比较背景图像与当前图像之间的差别，给定的像素{i}可以分成四类中的一类原始背景、有阴影背景或者影子、高亮度背景和前景。分类阈值可以通过统计性学习来自动计算，其中规一化亮度失真、规一化色度失真的直方图是通过在背景学习期间捕捉的长序列由组合数据构建的，并且其中阈值是根据作为直方图的函数的期望检测率而自动选择的。因而，前景像素可以传给在104选择的合适分析模式，剩余的像素集合到一起作为背景，而孤立的像素可以被除去，并且应用形态闭合算子来联结附近的前景像素。
还可以提供积极的背景估计来处理在训练图像中移动的对象，其中第一帧被存储为原型背景图像并且与后续的训练帧有所差别，当构建统计性背景模型时，排除了定义运动对象的显著差别的区域。在训练集合中看不到的照明变化是通过由总体增益控制修改背景消减法和过程算法来处理的，其中全局增益控制在将像素强度与所存储的中值比较之前对像素强度应用全局缩放因子，该缩放因子是假设相邻帧之间的照明变化是很小的而在前一图像的非前景区域上计算的；而且进一步通过由在当前非前景区域的像素值中进行混和而采用的背景适应，一方面，慢慢地学习对运动对象不起作用的局部外观变化。所述过程降低了背景估计算法对数据集之间及期间照明变化的敏感性。对于视频图像场景中的每个像素，背景减法器102的实施例还可以应用高斯混合模型方法。在一个例子中，对于选自3至5的{K}个高斯模型的混合，在时刻{t}像素{X}的概率可以描述如下
权利要求
1.一种用于多模式视频事件索引的方法，所述方法包括 对于来自视频流输入的图像，确定对象独特性的质量； 如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并经硬件设备将高质量分析模式应用到来自视频流输入的图像以确定视频输入图像中的对象活动；及 如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并经硬件设备将低质量分析模式应用到来自视频流输入的图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。
2.如权利要求1所述的方法，其中对于视频输入图像，确定对象独特性的质量包括 确定提供视频输入的摄像机相对于视频输入中的场景是移动的还是静止的，并且场景的质量的阈值水平是固定的。
3.如权利要求1所述的方法，其中对于视频输入图像，确定对象独特性的质量包括 确定视频输入图像中场景的照明量，并且质量的阈值水平是场景的照明量； 其中高质量分析模式是通过从场景图像中除去强阴影来提供对象活动检测的强阴影分析模式 '及 其中低质量分析模式是在没有从场景图像中除去阴影的情况下解析视频图像以进行对象活动检测的低亮度分析模式。
4.如权利要求3所述的方法，其中确定场景的照明量包括 确定场景的天气条件是晴天、下雨、下雪、有雾、多云或者夜间，并且其中阈值照明量是晴天。
5.如权利要求1所述的方法，还包括 经可编程硬件设备对视频输入应用背景消减，以检测前景对象活动作为在当前帧图像信息与图像的上下文背景的静态信息之间的差； 其中确定对象独特性的质量包括确定检测到的前景对象活动的水平； 其中选择并应用高质量分析模式包括选择基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动来跟踪前景对象； 其中选择并应用低质量分析模式包括选择非基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动，以根据提取出的前景对象外观属性确定对象运动而不跟踪前景对象；及 还包括把跟踪前景对象的结果和得自提取出的前景对象外观属性的对象运动确定写入到索引。
6.如权利要求5所述的方法，其中确定检测到的前景对象活动的水平包括 确定前景相对于图像整体的密度；及 其中阈值活动水平是密度值。
7.如权利要求6所述的方法，其中选择基于对象跟踪的模式还包括 确定前景相对于图像整体的第一密度是否大于或等于第一时刻时的阈值密度值； 确定前景相对于图像整体的第二密度是否小于最小值，所述最小值小于第一时刻之后的第二时刻时的阈值密度值；确定第一时刻和第二时刻之间所经过的时间； 比较经过的时间与稳定时间段 '及 如果经过的时间小于稳定时间段，就选择基于对象跟踪的模式。
8.如权利要求6所述的方法，其中选择基于对象跟踪的模式还包括 确定前景的密度大于或等于阈值活动水平的持续时间； 比较所述持续时间与指定时间段； 如果所述持续时间小于指定时间段，就选择基于对象跟踪的模式。
9.如权利要求8所述的方法，其中前景的密度是多个单个密度在所述指定时间段内的平均值。
10.如权利要求9所述的方法，还包括 通过给较新的密度赋予比较旧的密度更高的权重来确定所述多个单个密度在所述指定时间段内的平均值。
11.一种用于多模式视频事件索引的系统，所述系统包括 处理单元、计算机可读存储器与计算机可读存储系统； 第一程序指令，用于对于来自视频流输入的图像，确定对象独特性的质量； 第二程序指令，用于如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动；及 第三程序指令，用于如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同； 其中，第一、第二和第三程序指令被存储在计算机可读存储系统上以供处理单元经由计算机可读存储器执行。
12.如权利要求11所述的系统，其中第一程序指令还用于通过确定视频输入图像中场景的照明量来对于视频输入图像，确定对象独特性的质量，并且其中场景的质量的阈值水平是照明量； 其中高质量分析模式是通过从场景图像中除去强阴影来提供对象活动检测的强阴影分析模式 '及 其中低质量分析模式是在没有从场景图像中除去阴影的情况下解析视频图像以进行对象活动检测的低亮度分析模式。
13.如权利要求11所述的系统，还包括 第四程序指令，用于对视频输入应用背景消减，以检测前景对象活动作为在当前帧图像信息与图像的上下文背景的静态信息之间的差； 其中第一程序指令还用于通过确定检测到的前景对象活动的水平来确定对象独特性的质量； 其中第二程序指令还用于选择基于对象跟踪的模式并将其应用到视频输入的检测到的前景对象活动来跟踪前景对象； 其中第三程序指令还用于选择和应用非基于对象跟踪的模式并将非基于对象跟踪的模式应用到视频输入的检测到的前景对象活动，以根据提取出的前景对象外观属性确定对象运动而不跟踪前景对象；及 第五程序指令，用于把跟踪前景对象的结果和得自提取出的前景对象外观属性的对象运动确定写入到索引 '及 其中第四和第五程序指令被存储在计算机可读存储系统上以供处理单元经由计算机可读存储器执行。
14.如权利要求13所述的系统，其中第一程序指令还用于将检测到的前景对象活动的水平确定为前景相对于图像整体的密度；及 其中阈值活动水平是密度值。
15.如权利要求14所述的系统，其中第二程序指令还用于通过以下来选择和应用基于对象跟踪的模式 确定前景的密度大于或等于阈值活动水平的持续时间； 比较所述持续时间与指定时间段；和 如果所述持续时间小于指定时间段，就选择基于对象跟踪的模式。
16.一种包括计算机程序代码的计算机程序，当被加载到计算机系统中并被执行时，所述计算机程序代码执行如权利要求1至10中任一项所述的方法的全部步骤。
17.一种用于多模式视频事件索引的服务，所述服务包括 提供计算机系统，所述计算机系统 对于来自视频流输入的图像，确定对象独特性的质量； 如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个视频分析模式中选择高质量分析模式，并将高质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动 '及 如果所确定的检测到的对象独特性的质量的水平不满足质量的阈值水平，就从多个视频分析模式中选择低质量分析模式，并将低质量分析模式应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。
全文摘要
本发明公开涉及多模式视频事件索引，所述多模式视频事件索引包括对于来自视频流输入的图像，确定对象独特性的质量。如果所确定的检测到的对象独特性的质量的水平满足质量的阈值水平，就从多个模式中选择高质量分析模式，并经硬件设备将其应用到视频输入图像以确定视频输入图像中的对象活动，否则就选择低质量分析模式，并经硬件设备将其应用到视频输入图像以确定视频输入图像中的对象活动，其中所述低质量分析模式与所述高质量分析模式不同。
文档编号G06K9/00GK103069434SQ201180038736
公开日2013年4月24日 申请日期2011年8月16日 优先权日2010年8月17日
发明者翟昀, R·S·福瑞斯, L·M·布朗, A·汉帕博, R·P·博比特 申请人:国际商业机器公司