在图像中限定区域内的对象”。在规则中低层属性和高层属性的结合将进一步加强提炼元数据的几率，这些元数据可能有时是场景特有的。
[0088]就分配给前景对象的属性而言，这些属性可以存储在不存储视频图像数据而仅仅存储元数据的元数据数据库20中。视频图像数据存储在视频服务器24中。
[0089]在定义视频内容分析模块的检测规则的过程之前，准备元数据数据库，以便其符合预定义的关系数据库模式。元数据数据库是网络部件，因此在视频分析模块的接近度方面将不作限制。
[0090]一旦视频分析模块的规则建立过程完成，元数据总体代理，例如VIRobot，被配置为分别在输入处与视频分析模块相连接并在输出处与元数据数据库相连接。VIRobot的功能是接收视频内容分析模块生成的元数据，并根据高层属性或低层属性将这种元数据转化为元数据数据库特有的格式，并存储它以备将来之用。
[0091]VIRobot可以支持两种元数据报告模式。一种是以逐帧为基础存储来自所有摄像头的元数据，存储在元数据数据库的“观察结果”表中。第二种选择是以每个对象为基础报告元数据，即实时积累对象的跟踪信息，并定期更新跟踪的属性，直到视频内容分析模块结束对象的跟踪的时候为止。这种信息存储在元数据数据库的“跟踪片段”表中。
[0092]通过视频管理服务器模块在标记跟踪系统中的存在来决定使用模式其中之一的情况。如果在系统中确实存在视频服务器管理模块，那么用户界面通过应用程序接口询问摄像头内在特定时间点识别对象的边界框。多摄像头跟踪器模块接收这种询问请求，并以随后在视频窗口视图上层叠的所有边界框答复用户界面，以允许用户标记物体/人。
[0093]视频内容分析器26与元数据数据库28相连接，并向元数据数据库28发送元数据以存储。各个模块处理或使用在元数据数据库28中存储的元数据以进一步识别行为或跟踪由元数据描述的前景对象。
[0094]与元数据数据库28相耦接的各个模块包括单摄像头跟踪器模块30、自动拓扑学习器模块32、多摄像头跟踪器模块34和摄像头间颜色标准化模块36、内部摄像头拓扑学习模块38、离线多摄像头跟踪器模块40和3D拓扑模块42。应用程序接口 44与多摄像头跟踪器34相耦接。随后将在说明书中更详细地描述每个模块的操作。
[0095]图4示出视频管理服务器22中处理的视频图像数据元素50的示意图示。将这种视频图像数据元素50从视频管理服务器22转移至视频内容分析模块26，以进行内容分析。视频图像数据元素50包括摄像头标识52、以逐帧为基础增加的时间戳54以及与时间戳54和摄像头标识52对应的视频帧的视频图像数据56。
[0096]视频内容分析模块26在诸如计算机之类的数据处理设备上实现。本领域众所周知，数据处理设备可以包含多种处理资源，多种处理资源包括处理器模块、存储器模块和其它处理资源并且可以在这样的处理资源的一种或多种上执行数据处理。而且，数据处理设备可以分布在不同的物理位置，一些处理资源甚至可以在地理上远离其它处理资源。现在将参照如图5所示的过程流程控制图90描述视频内容分析模块26在数据处理设备上的实现。
[0097]视频内容分析模块26从视频管理服务器接收输入到对应于摄像头ID 52的视频内容分析通道的视频图像数据元素50。步骤92，视频内容分析模块26从视频图像数据元素中提取视频图像数据56，以获取新的视频帧。视频内容分析模块跟踪摄像头视场内的对象，而且可以使用任何合适的跟踪算法。在步骤94中，在视频帧中前景对象和背景对象分离的地方开始跟踪，以及在步骤96中，分割前景对象以将它们彼此分开。可以在参考文献
[1]中找到分离背景对象和前景对象以及分割前景对象的技术。
[0098]在步骤98中，当前景对象在摄像头视场内可见并保持唯一 ID时，应用卡尔曼滤波器跟踪每个前景物体。对于每个前景对象，视频内容分析模块26对对象应用元数据生成器过程110以生成作为该对象的描述的对象属性。参照附图中的图6所示的过程流程控制图将描述元数据生成器过程。
[0099]步骤112，元数据生成器过程110向进行元数据生成的对象分配对象ID。在步骤114中，从前景对象分割和对象跟踪过程的结合中获得视频帧中对象的位置。在步骤116中，根据跨越对象的宽度和高度的像素数量，获得对象的尺寸。通过建立对象在视频帧的水平方向上的边界与在竖直方向上的边界之间的以像素为单位的最大距离，可以实现对象的宽度和高度的获取。此外，对象的宽度和高度确定对象的“边界框”的尺寸，边界框提供了视频帧中对象的边界的简单的几何表示。
[0100]形成部分元数据的另一对象属性是它的外观，外观可以简单地基于对象的颜色模型。在步骤118中获得外观。在描述的实施例中，通过将对象拆分为四个邻接的水平部分并确定每个部分的原色来获得对象的颜色。在描述的实施例中，四个邻接的水平部分是基于分割对象的边界框。视频内容分析模块26通过简单地对部分内特定色相的像素数目进行计数以及指定原色为像素数目最大的色相来识别原色。四个原色值，其中每部分有一个原色值，形成元数据的外观属性的颜色模型。
[0101]对于描述的实施例，定义了用于分析的两类感兴趣的对象，行人和车辆。通过将对象的形状和速度与定义行人和车辆形状的模板数据比较并确定是否匹配来获得对象的分类。在步骤120中获得对象的分类。在步骤122和步骤124中分别获得对象的方向和速度。此外，在步骤125中确定跟踪置信度值。跟踪置信度值是关于当前分配对象ID的对象是对该对象ID来说正确的对象以及跟踪(即位置)是该对象的正确跟踪的置信度。可以使用任何合适的跟踪技术或算法来跟踪对象。可以在参考文献[2]中找到跟踪对象的技术的例子。
[0102]然后在步骤126中向元数据数据库发送由元数据属性组成的元数据记录。过程流程返回向帧中的下一个对象分配对象ID。在步骤102中，如果不再有对象用于生成，则用于元数据记录的元数据发送至元数据数据库28。可选地，在步骤126中，当每个元数据记录完成时，可以向元数据数据库28发送元数据记录。
[0103]图7示出了元数据记录60的示意表示。就像视频图像数据元素而言，提供了摄像头标识62和时间戳64。此外，元数据记录60包括元数据66。在描述的实施例中，元数据包括以下属性，对象ID 68、外观70、位置72、尺寸74、分类76、速度78和跟踪置信度值79。根据本发明各方面的实施例不需要包括如前述的所有元数据属性，或者可以包括其它属性。
[0104]在描述的实施例中，元数据数据库28是关系数据库，并且图8示出存储在元数据数据库28的数据的实体关系(E-R)表。元数据数据库28包括一些包含相关数据的表。对于完全理解本发明而言，并非表中的所有元素都需要描述，仅详细描述了那些与本发明相关的。如稍后描述的，元数据数据库28中的表和它们的条目将和在元数据数据库28上运行并与其关联的功能有关系。
[0105]与每个摄像头相关的数据保留在表82中，其以摄像头ID为键值，并且包括与摄像头相关的信息，诸如摄像头位置的文本描述、摄像头图像的宽度和高度方面的摄像头图像维数、如3D校准细节之类的元数据和关于摄像头的其他信息。观察结果表84包括与元数据记录60的元数据对应的条目。例如，边界框“bbox”条目基于对象的尺寸74和位置72，同时，“外观”条目基于元数据记录的颜色模型条目70，以及“目标分类(targetjlass) ”条目基于元数据记录中的类条目76。置信度条目和跟踪置信度(track_c0nf)条目响应于60的元数据记录元素的置信度值79。将描述与在元数据数据库28上运行和填充元数据数据库28功能相关的其它表中的条目。
[0106]现在参照图9，示出单摄像头跟踪器模块30的过程流程控制图160。单摄像头跟踪器模块30处理元数据数据库28中的数据，也就是观察结果表84，并以其运行的结果填充该数据库中的表。概括来说，单摄像头跟踪器模块30的作用是根据“跟踪片段”定义视场中的对象的跟踪。跟踪片段具有对应于与跟踪片段相关的对象ID的标识。跟踪片段由视场内对象采用的路径的关键参数进行定义，也就是对象进入和离开该视场的地点和时间。“跟踪片段”定义了视场内的对象的行为。定义跟踪片段的数据存储在“跟踪片段”表90中。这样，视场中对象的行为可以通过单属性来描述，也就是跟踪片段，从而减少描述视场中对象行为的数据量。也就是说，当希望确定视场中对象的行为时，不必要分析对象所有的元数据属性，而且不必要在每次分析对象的行为时分析视频图像数据。
[0107]跟踪片段的创建包括在视频内容分析模块中对所有摄像头内被跟踪对象的编索引过程。这种索引机制可以提供标记跟踪期间对对象的快速搜索，也可以被其它模块使用，所述其他模块也可以与元数据数据库相连接。
[0108]单摄像头跟踪器模块30过程在步骤162开始，其中选择将要分析的下一视场内的摄像头ID。然后在步骤164中选择将要分析的下一个对象ID，对于初始分析将是视场内识别的第一个对象ID。在步骤166中，确定所分析的对象ID的首次出现，并在步骤168中使用与视场中对象的首次出现对应的边界框参数填充表90中的条目“起始bb(start_bb)”。边界框参数为边界框的位置和尺寸。此外，在步骤170中将与视场内对象的首次出现对应的时间存储在表90的“起始帧(start_frame) ”字段。
[0109]步骤172，分析下一帧来看是否下一帧存在相同的对象ID。步骤174，如果是，则分析转到下一帧。步骤176，如果下一帧中不存在该对象ID，那么确定前一帧为包含该对象的最后出现。步骤178和步骤180，分别在表90中将边界框参数和时间存储为“终止bb (end_bb)”条目和“终止帧(encLframe)”条目。此时，步骤182，单摄像头跟踪器通过创建四个片段中的每个片段所观察到的颜色的直方图，创建对象外观的概要信息，并将其存储在“最优描述(best_descript1ns) ”表86中。然后单摄像头跟踪器模块过程110返回步骤164，用于帧中下一对象ID。一旦已经分析了摄像头识别的所有对象，单摄像头跟踪器模块过程返回步骤162，现在在单摄像头跟踪器中选择下一个摄像头标识，对下一摄像头ID的视场进行处理。
[0110]单摄像头跟踪器的这部分功能也可以实现为内联过程，这种内联过程在将元数据存储在元数据数据库之前对由VCA模块生成的元数据进行处理。这减少了与数据库的交互，并仅以提高效率的“跟踪片段”的形式报告摘要