基于地理图的控制的制作方法

基于地理图的控制的制作方法
【专利摘要】本文所公开的是方法、系统、计算机可读介质以及其他的实施，其包括一种方法，包括：从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据，并且在表示被多个摄像机监控的区域的全局图像上呈现关于多个对象所确定的运动数据的图形化指示，其中图形化指示在全局图像上对应于多个移动对象的地理位置的方位处。该方法还包括：响应于基于呈现在全局图像上的图形化指示的全局图像的区域的选择，呈现来自多个摄像机中的一个摄像机的所捕获的图像数据，其中全局图像的区域呈现关于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个图形化指示。
【专利说明】基于地理图的控制
[0001] 背景
[0002] 在传统的地图绘制应用中，可以选择地图上的摄像机标志以引起窗口弹出并且提 供对视频直播、警报、中继等的轻松即时的访问。这使得更容易在监控系统中配置和使用地 图。然而，在此过程期间包括很少的视频分析（例如，基于一些例如视频内容的分析的摄像 机的选择）。
[0003] 概述
[0004] 本公开针对映射应用，包括了包含使能来自摄像机的运动的检测并且在全局图像 (例如，地理图、被监控的区域的俯瞰图，等等）上呈现运动轨迹的视频特征的映射应用。例 如，本文描述的映射应用帮助警卫集中注意力在整个地图上而不必不断地监控所有的摄像 机视图。当全局图像上显示有任何不寻常的信号或者活动时，警卫可以点击地图上感兴趣 的区域，从而使得在所选择的区域中的摄像机呈现在该区域中的视图。
[0005] 在一些实施方式中，提供了一种方法。该方法包括从多个摄像机捕获的图像数据 中确定关于多个移动对象的运动数据，并且在表示被多个摄像机监控的区域的全局图像上 且在全局图像上的对应于多个移动对象的地理位置的方位处上呈现关于多个对象的所确 定的运动数据的图形化指示。该方法还包括：响应于基于呈现在全局图像上的图形化指示 对全局图像的区域的选择，呈现来自多个摄像机中的一个摄像机的所捕获的图像数据，其 中全局图像的区域呈现关于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少 一个移动对象的至少一个图形化指示。
[0006] 该方法的实施方式可以包括本公开中所描述的特征中的至少一些特征，其包括了 如下特征中的一个或者多个。
[0007] 响应于对呈现关于多个移动对象中的至少一个移动对象的至少一个图形化指示 的全局图像的区域的选择呈现所捕获的图像数据的操作可以包括响应于与被多个摄像机 中的一个摄像机捕获的一移动对象对应的图形化指示的选择，来呈现来自多个摄像机中的 一个摄像机的所捕获的图像数据。
[0008] 该方法还包括关于全局图像校准多个摄像机中的至少一个，以使被多个摄像机中 的至少一个捕获的至少一个区域视图的图像与全局图像中对应的至少一个区域相匹配。
[0009] 校准多个摄像机中的至少一个可以包括：选择在被多个摄像机中的至少一个捕获 的一图像中出现的一个或者多个位置，并且识别在全局图像上的与在被多个摄像机中的至 少一个捕获的图像中的所选定的一个或者多个位置对应的方位。该方法还可以包括：基于 所识别的全局图像方位以及在多个摄像机中的至少一个的图像中对应选定的一个或者多 个位置，计算二阶2维线性参数模型的变换系数，以将在被多个摄像机中的至少一个捕获 的图像中的方位的坐标变换为全局图像中的对应方位的坐标。
[0010] 该方法还可以包括在地图的选定区域中呈现与至少一个图形化指示对应的、多个 移动对象中的至少一个移动对象的额外的细节，额外的细节出现在被与选定区域对应的多 个摄像机中的一个摄像机相关联的辅助摄像机捕获的辅助帧中。
[0011] 呈现多个移动对象中的至少一个移动对象的额外的细节可以包括：放大所述辅助 帧中的一区域，该区域对应于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少 一个移动对象的方位。
[0012] 从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据可以包括： 给被多个摄像机中的至少一个捕获的至少一个图像应用高斯混合模型，以将所述至少一个 图像的包含移动对象像素组的前景与所述至少一个图像的包含静止对象像素组的背景分 离。
[0013] 关于多个移动对象的运动数据包括来自多个移动对象的一移动对象的数据，其可 以包括如下中的一个或者多个：例如，摄像机的视场内的所述对象的位置、所述对象的宽 度、所述对象的高度、所述对象正在移动的方向、所述对象的速度、所述对象的颜色、所述对 象正进入所述摄像机的所述视场的指示、所述对象正离开所述摄像机的所述视场的指示、 所述摄像机正被破坏的指示、所述对象停留在所述摄像机的视场中一段大于预定的时间段 的时间的指示、几个移动对象被合并的指示、所述移动对象被分为两个或者多于两个移动 对象的指示、所述对象正进入感兴趣的区域的指示、所述对象正离开预定义的地区的指示、 所述对象正跨越绊网的指示、所述对象正沿与所述地区或所述绊网的预定义的禁止方向匹 配的方向移动的指示、表示所述对象的计数的数据、所述对象的移除的指示、所述对象的丢 弃的指示、和/或表示关于所述对象的驻留定时器的数据。
[0014] 在全局图像上呈现图形化指示可以包括在全局图像上呈现各种颜色的移动几何 形状，所述几何形状包括例如圆形、矩形、和/或三角形中的一种或者多种。
[0015] 在全局图像上呈现图形化指示可以包括在全局图像上呈现追踪关于多个对象中 的至少一个的所确定的运动的轨迹，所述轨迹呈现在全局图像上对应于多个移动对象中的 至少一个所沿路径的地理位置的方位处。
[0016] 在一些实施方式中，提供了一种系统。该系统包括多个捕获图像数据的摄像机、一 个或者多个显示设备、以及一个或者多个被配置为执行如下操作的处理器，所述操作包括： 从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据，并且使用一个或者 多个显示设备中的至少一个，在表示被多个摄像机监控的区域的全局图像上、在所述全局 图像上的对应于多个移动对象的地理位置的方位处呈现关于多个对象的所确定的运动数 据的图形化指示。该一个或者多个处理器还被配置为执行如下操作：响应于基于呈现在全 局图像上的图形化指示对全局图像的一区域的选择，使用一个或者多个显示设备中的至少 一个，呈现来自多个摄像机中的一个摄像机的所捕获的图像数据，其中全局图像的所述区 域呈现关于被多个摄像机中的所述一个摄像机捕获的多个移动对象中的至少一个移动对 象的至少一个所述图形化指示。
[0017] 该系统的实施方式可以包括本公开中所描述的特征中的至少一些，其包括上文关 于方法所描述的特征中的至少一些。
[0018] 在一些实施方式中，提供了非暂时性计算机可读介质。该计算机可读介质使用可 在处理器上执行的计算机指令集进行编程，当执行计算机指令集时，引起如下操作，包括 ： 从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据，并且在表示被多个 摄像机监控的区域的全局图像上、在该全局图像上的对应于多个移动对象的地理位置的方 位处呈现关于多个对象的所确定的运动数据的图形化指示。计算机指令集还包括引起如下 操作的指令：响应于基于呈现在全局图像上的图形化指示对全局图像的一区域的选择，呈 现来自多个摄像机中的一个摄像机的所捕获的图像数据，其中全局图像的区域呈现关于被 多个摄像机中的一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个图形 化指示。
[0019] 该计算机可读介质的实施方式可以包括本公开中所描述的特征中的至少一些，其 包括上文关于方法和系统所描述的特征中的至少一些。
[0020] 如本文所使用的，术语"大约"指的是偏离正常值+/-10%的变化。需要理解的是， 在本文提供的给定值中始终包括这种变化，无论是否专门提到了它。
[0021] 如本文所使用的、权利要求中包括的、如由"至少一个"或者"一个或者多个"为引 语的项的列表中所使用的"和（and)"表明可以使用所列出的项的任意组合。例如，"A、B、 和C中的至少一个"的列表包括组合A或B或C或AB或AC或BC和/或ABC (即，A和B和 C)中的任意一种。此外，在某种程度上，多于一次的出现或者使用项A、B、或C是可能的，A、 B、和/或C的多次使用可能形成预期组合的一部分。例如，"A、B、和C中的至少一个"的列 表也可以包括AA、AAB、AAA、BB等。
[0022] 除非另有定义，否则本文使用的所有技术术语和科学术语具有与由本公开所属领 域中的普通技术人员之一通常所理解的意思相同的意思。
[0023] -种或者多种实施的细节在下面的附图中和描述中进行阐述。从描述、附图和权 利要求，另外的特征、方面和优势将变得明显。
[0024] 附图简述
[0025] 图1A是摄像机网络的结构图。
[0026] 图1B是摄像机的示例实施方式的示意图。
[0027] 图2是使用全局图像控制摄像机的操作的示例过程的流程图。
[0028] 图3是被多个摄像机监控的区域的全局图像的照片。
[0029] 图4是全局图像和全局图像的至少一部分的捕获的图像的示意图。
[0030] 图5是识别移动对象并且确定它们的运动和/或其他特性的示例过程的流程图。
[0031] 图6是摄像机校准过程的示例实施方式的流程图。
[0032] 图7A和图7B是具有便于捕获图7A的图像的摄像机的校准操作的选定校准点的 捕获到图像和全局俯瞰图像。
[0033] 图8是通用计算系统的示意图。
[0034] 在各个附图中，相同的参考符号表示相同的元件。
[0035] 详细描述
[0036] 本文所公开的是包括下述操作的方法、系统、装置、设备、产品以及其他的实施，一 种方法包括：从多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据，并且在 表示被多个摄像机监控的区域的全局图像上呈现图形化运动数据项（也被称为图形化指 示），该图形化运动数据项表示在全局图像上对应于多个移动对象的地理位置（location) 的方位（position)处关于多个移动对象的确定的运动数据。该方法还包括：响应于基于呈 现在全局图像上的图形化运动数据项的全局图像的一区域的选择，呈现从多个摄像机中的 一个捕获的图像数据，其中全局图像的一区域呈现关于被多个摄像机中的一个捕获的（或 之中出现的）多个移动对象的至少一个的至少一个图形化指示（也被称为图形化运动数据 项）。
[0037] 被配置为使关于多个对象的运动数据能够呈现在全局图像（例如，地理图、区域 的俯瞰图像，等等）上的实施包括：将摄像机校准到全局图像的实施和技术（例如，以确定 全局图像中的哪些位置对应被摄像机捕获的图像中的位置），以及识别并且追踪来自被摄 像机网络的摄像机捕获的图像的移动对象的实施和技术。
[0038] 系统配置和摄像机控制橾作
[0039] 通常，摄像机网络中的每个摄像机都具有视图和视场的关联点。视图点指的是通 过摄像机观看物理区域的方位和视角。视场指的是被摄像机以帧的方式成像的物理区域。 含有处理器（例如数字信号处理器）的摄像机可以处理帧以确定移动对象是否被呈现在其 视场内。在某些实施方式中，摄像机可以将元数据与移动对象（被简称为"对象"）的图像 关联。这种元数据定义并表示对象的各种特性。例如，元数据可以表示在摄像机的视场内 (例如，以摄像机的CCD的像素测量的2维坐标系中）的对象的位置、对象的图像的宽度（例 如，以像素测量的）、对象的图像的高度（例如，以像素测量的）、对象的图像正在移动的方 向、对象的图像的速度、对象的颜色、和/或对象的类型。这些是可以被呈现在与对象的图 像相关联的元数据中的一些信息；其他类型的信息包含在元数据中也是可能的。对象的类 型指的是基于对象的不同特性，对象被确定为在其内的类型。例如，类型可以包括：人类、动 物、汽车、小卡车、大卡车和/或SUVs。可以执行对象类型的确定，例如，使用如图像形态学、 神经网络分类、和/或其他类型的图像处理技术/过程这样的技术来识别对象。关于涉及 移动对象的事件的元数据还可以通过摄像机被发送（或者这种事件的确定可以远程执行） 到主机计算机系统。例如，这种事件元数据包括：对象进入摄像机的视场、对象离开摄像机 的视场、摄像机正被破坏、对象停留在摄像机的视场中一段大于阈值的时间段（例如，假设 人在区域中徘徊一段大于某一阈值的时间段）、多个移动对象合并（例如，奔跑的人跳进移 动的车辆中）、移动对象被分成多个移动对象（例如，人从车辆中出来）、对象进入感兴趣 的区域（例如，想要被监控的在其中的对象的运动的预定义区域）、对象离开预定义地区、 对象正跨越泮网（tripwire)、对象在与关于地区或泮网的预定义禁止方向匹配的方向上移 动、对象计数、对象移除（例如，当对象静止/固定一段长于预定义的时间段并且其尺寸比 预定义地区的很大一部分大时）、对象丢弃（例如，当对象静止一段长于预定义的时间段并 且其尺寸比预定义地区的很大一部分小时）、和/或驻留（dwell)定时器（例如，在一段长 于特定的驻留时间内，对象在预定义地区中是静止的或者移动很少）。
[0040] 多个摄像机中的每一个可以向主机计算机系统发送表示各个摄像机的视图中出 现的对象（例如，移动对象）的运动和其他特性的数据，和/或可以向主机计算机系统发送 视频输入（video feed)巾贞（可能经过压缩的）。使用表示从多个摄像机接收的对象的运动 和/或其他特性的数据，主机计算机系统被配置为在单个全局图像（例如，地图、被摄像机 覆盖的整个区域的俯瞰图像，等等）上呈现关于在摄像机捕获的图像中出现的对象的运动 数据，以便使用户能在单个全局图像上看到多个对象的运动（包括对象相对彼此的运动） 的图形化表示。主机计算机可以使用户能从该全局图像选择区域并且从捕获来自该区域的 图像的摄像机接收视频输入。
[0041] 在一些实施中，表示运动（以及其他的对象特性）的数据可以被主机计算机用来 执行其他的功能和操作。例如，在一些实施方式中，主机计算机系统可以被配置为确定在 不同的摄像机的视场中（同时地或者非同时地）出现的移动对象的图像是否代表相同的 对象。如果用户指定将对该对象进行追踪，则主机计算机系统将来自被确定为具有更好的 对象视图的摄像机的视频输入帧显示给用户。当对象移动时，如果另一个摄像机被确定为 具有更好的视图，那么就可以显示来自不同的摄像机的视频输入的帧。因此，一旦用户选 定了将被追踪的对象，那么基于哪个摄像机被确定为具有更好的对象视图，就可以通过主 机计算机系统将显示给用户的视频输入从一个摄像机切换到另一个摄像机。这种跨越多 个摄像机视场的追踪可以被实时执行，即，此时被追踪的对象基本上是在视频输入中显示 的位置中。该追踪也可以使用历史视频输入来执行，该历史视频输入指的是表示在过去的 某一点处的对象的移动的存储的视频输入。例如，在2010年12月30日提交的、序列号为 12/982, 138 的、题名为"Tracking Moving Objects Using a Camera Network，'的专利申请 中提供了关于这些更进一步的功能和操作的额外的细节，在此以引用方式将其内容全部并 入。
[0042] 参考图1A，其示出了安全摄像机网络100的结构图说明。安全摄像机网络100包 括多个其可以为相同或者不同类型的摄像机。例如，在一些实施方式中，摄像机网络100可 以包括一个或者多个位置固定的摄像机（例如，摄像机110和120)、一个或者多个PTZ (摇 摄/倾斜/变焦）摄像机130、一个或者多个从摄像机140 (例如，不在本地执行任何图像/ 视频分析的摄像机，而可代替地，将捕获图像/帧发送到例如远程服务器的远程设备）。在 摄像机网络100中可以布置各种类型（且不仅仅是图1中描述的摄像机类型中的一种）的 另外的或者较少的摄像机，并且摄像机网络100可以具有零个、一个或者多于一个的每种 类型的摄像机。例如，安全摄像机网络可以包括五个固定的摄像机而没有其他类型的摄像 机。如另一个实例，安全摄像机网络可以具有三个位置固定的摄像机、三个PTZ摄像机、以 及一个从摄像机。如下文将更详细地描述的，在一些实施方式中，每个摄像机都可以与陪同 辅助摄像机相关联，该陪同辅助摄像机被配置为调整其属性（例如，空间位置、缩放，等等） 以获得关于被其关联的"主"摄像机检测到的具体特征的额外的细节，以至于主摄像机的属 性不必被改变。
[0043] 安全摄像机网络100还包括路由器150。位置固定的摄像机110和120、PTZ摄像 机130、以及从摄像机140可以使用有线连接（例如，LAN连接）或者无线连接与路由器150 通信。路由器150与例如主机计算机系统160的计算系统通信。路由器150使用例如局域 网连接的有线连接或者无线连接与主机计算机系统160通信。在一些实施中，摄像机110、 120、130、和/或140中的一个或者多个可以使用例如收发器或者某一其他的通信设备直接 将数据（视频和/或其他数据，例如元数据）发送给主机计算机系统160。在一些实施中， 计算系统可以是分布式计算机系统。
[0044] 位置固定的摄像机110和120可以被设置在固定的位置中，例如，被安装到建筑物 的屋檐，以捕获建筑物的紧急出口的视频输入。除非被某些外力移动或者调整，否则这种位 置固定的摄像机的视场将保持不变。如图1A中所示的，位置固定的摄像机110包括例如数 字信号处理器（DSP)的处理器112以及视频压缩器114。由于通过位置固定的摄像机110 捕获位置固定的摄像机110的视场的帧，故这些帧通过数字信号处理器112或者通过通用 处理器进行处理，例如，以确定是否存在一个或者多个移动对象和/或执行其他的功能和 操作。
[0045] 更一般地说，且参考图1B，其示出了摄像机170 (也被称为视频源）的示例性实施 方式的示意图。摄像机170的配置可以与图1A中所描述的摄像机110、120、130、和/或140 中的至少一种的配置相似（虽然摄像机110、120、130、和/或140中的每个都可以具有其 独特的特征，例如，PTZ摄像机也许能够在空间上被移动以控制被其捕获的图像的参数）。 摄像机170通常包括被配置为向摄像机170的处理器174提供原始图像/视频数据的捕获 单元172 (有时被称为视频源设备的"摄像机"）。捕获单元172可以是基于电荷耦合设备 (CCD)、或者可以是基于其他合适的技术的捕获单元。电耦接到捕获单元的处理器174可以 包括任何类型的处理单元和存储器。此外，处理器174可以代替、或者附加到位置固定的摄 像机110的处理器112和视频压缩器114来使用。例如，在一些实施中，处理器174可以被 配置为将捕获单元172提供给其的原始视频数据压缩成例如MPEG的数字视频格式。在一 些实施中，且如下文将变得明显的，处理器174还可以被配置为执行至少一些关于对象识 别和运动确定的过程。处理器174还可以被配置为执行数据修改、数据分组、元数据创建， 等等。例如，由此产生的诸如压缩的视频数据、表示对象和/或它们的运动的数据（例如， 表示所捕获的原始数据中的可识别特征的元数据）的处理后的数据被提供（流动）到可以 是诸如网络设备、调制解调器、无线接口、各种收发器类型等的通信设备176。流动的数据被 发送到路由器150以发送到例如主机计算机系统160。在一些实施方式中，通信设备176可 以直接向系统160发送数据，而不必先将这些数据发送到路由器150。虽然捕获单元172、 处理器174和通信设备176作为分离的单元/设备被示出了，但它们的功能可以在单个设 备中或者在两个设备中而不是如示出的三个分离的单元/设备中来提供。
[0046] 例如，在某些实施方式中，可以在捕获单元172、处理器174、和/或远程工作站中 实施场景分析器过程，以检测摄像机170的视场中的场景的一方面或者事件，例如，以检测 和追踪被监控场景中的对象。在场景分析处理是由摄像机170执行的情况下，根据捕获的 视频数据识别或者确定的关于事件和对象的数据可以作为元数据，或者使用一些其他的包 括表示对象的运动、行为和特性的数据的数据格式被发送（连同发送视频数据或者也可以 不发送视频数据）到主机计算机系统160。例如，这种表示在摄像机的视场中的对象的行 为、运动和特性的数据可以包括对人跨越绊网的检测、对红色车辆的检测，等等。如已经提 到的，可选地和/或另外地，视频数据可以流动到主机计算机系统160,用于处理和分析可 以，且至少部分地，在主机计算机系统160处被执行。
[0047] 更具体地说，为了确定在被例如摄像机170的摄像机捕获的场景的图像/视 频数据中是否存在一个或者多个移动对象，对捕获的数据执行处理。例如，在序列号为 12/982, 601、题名为"Searching Recorded Video"的专利申请中描述了确定一个或者多个 对象的存在和/或运动以及其他的特性的图像/视频处理的实例，在此以引用方式将其内 容全部并入。如下文将更详细地描述的，在一些实施中，高斯混合模型可以被用来将含有移 动对象的图像的前景和含有静止对象（例如，树、建筑物、以及道路）的图像的背景分离。然 后，这些移动对象的图像被处理以识别移动对象的图像的各种特性。
[0048] 如已经提到的，例如，基于被摄像机捕获的图像产生的数据可以包括关于下述特 性的信息：诸如对象的位置、对象的高度、对象的宽度、对象正移动的方向、对象正移动的速 度、对象的颜色、和/或对象的类型分类。
[0049] 例如，可能用元数据表示的对象的位置可以用与摄像机之一相关联的二维坐标系 中的二维坐标表达。因此，这些二维坐标与像素组的方位相关联，像素组构成由特定的摄像 机捕获的帧中的对象。对象的二维坐标可以被确定为由摄像机捕获的帧内的点。在一些配 置中，对象的方位的坐标被认为是对象的最低部分的中部（例如，如果对象是站立的人，那 么方位将在人的脚之间）。该二维坐标可以具有X和y分量。在一些配置中，X和y分量以 像素的数量测量。例如，位置{613,427}将意味着对象的最低部分的中部沿着摄像机的视 场的X轴是613像素，并且其沿着摄像机的视场的 y轴是427像素。随着对象的移动，与对 象的位置相关联的坐标将改变。此外，如果同一个对象在一个或者多个其他摄像机的视场 中也是可见的，那么由其他摄像机确定的目标的位置坐标可能将是不同的。
[0050] 例如，对象的高度也可以使用元数据来表示，并且可以以像素的数量为单位来表 达。对象的高度被定义为从够成对象的像素组的底部到对象的像素组的顶部的像素的数 量。像这样，如果对象接近特定的摄像机时，所测量的高度将比如果对象远离摄像机时大。 类似地，对象的宽度也可以以像素的数量为单位来表达。对象的宽度可以基于在对象的像 素组中横向呈现的对象的平均宽度或者在对象的最宽点处的宽度进行确定。类似地，对象 的速度和方向也可以以像素进行测量。
[0051] 继续参考图1A，在一些实施方式中，主机计算机系统160包括元数据服务器162、 视频服务器164、以及用户终端166。元数据服务器162被配置为接收、存储以及分析从与 主机计算机系统160通信的摄像机接收到的元数据（或者一些其他的数据格式）。视频服 务器164可以接收并存储来自摄像机的压缩视频和/或未压缩视频。用户终端166允许例 如安全警卫的用户与主机系统160连接，例如，以从其上呈现表示多个对象和它们各自的 运动的数据项的全局图像中选择用户希望进行更加详细的研究的区域。响应于从用户终端 的屏幕/监控器上呈现的全局图像中选择感兴趣的区域，网络100中部署的多个摄像机中 的一个对应的视频数据和/或相关联的元数据被呈现给用户（来代替或者附加到所呈现的 全局图像上，该全局图像上呈现了表示多个对象的数据项）。在一些实施方式中，用户终端 166可以同时显示一个或者多个视频输入到用户。在一些实施方式中，元数据服务器162、 视频服务器164、以及用户终端166的功能可以通过分离的计算机系统来执行。在一些实施 方式中，这些功能可以通过一个计算机系统来执行。
[0052] 更具体地，参考图2,其示出了使用全局图像（例如，地理图）控制摄像机的操作的 示例过程200的流程图。过程200的操作还参考图3进行描述，其中图3示出了被多个摄 像机（其可以与图1A和图1B中描述的摄像机中的任意一个类似）监控的区域的全局图像 300。
[0053] 过程200包括从被多个摄像机捕获的图像数据中确定210关于多个移动对象的运 动数据。下文关于图5更详细地描述确定运动数据的过程的实例实施。如已经提到的，可 以在摄像机它们自己那里确定运动数据，例如，其中本地摄像机处理器（例如图1B中所描 述的处理器）处理捕获的视频图像/帧，以识别帧中区别于非移动的背景特征的移动对象。 在一些实施中，可以在例如图1A中所描述的主机计算机系统160的中央计算机系统处执行 至少一些图像/帧的处理操作。被处理的帧/图像产生表示所识别的移动对象的运动和/ 或表示其他的对象特性的数据（例如，对象尺寸、指示某些事件的数据，等等），该被处理的 帧/图像被中央计算机系统用来在例如图3的全局图像300的全局图像上呈现/显现220 关于多个对象所确定的运动数据的图形化指示在全局图像上的对应于多个移动对象的地 理位置的方位处。
[0054] 在图3的实例中，全局图像是包含几个建筑物的校园（"Pelco校园"）的俯瞰图 像。在一些实施方式中，可以在图像300中显现摄像机的位置和它们各自的视场，从而使用 户能通过图形观看所部署的摄像机的位置并且能选择将提供用户希望观看的图像300的 区域的视频流的摄像机。因此，全局图像300包括摄像机310a_g的图像化表示（如黑圈）， 并且还包括关于摄像机310a-b和310d-g各自的大概的视场320a-f的表示的绘图。如所 示的，在图3的实例中，没有关于摄像机310c的视场表示，因此表明当前没有激活摄像机 310c。
[0055] 还如图3中所示的，其呈现了在多个移动对象的地理位置对应的全局图像的方位 处的多个对象的所确定的运动数据的图形化指示。例如，在一些实施方式中，如图3中所示 的轨迹330a_c的轨迹可以在全局图像上显现，这些轨迹表示被摄像机捕获的图像/视频中 呈现的至少一些对象的运动。图3中还示出定义了特定区域（例如，指定为禁止区的区域） 的预定义地区340的表示，当被可移动的对象违反时，其引起事件检测发生。类似地，图3 还可以通过图形表示例如绊网350的绊网，当其被跨越时，引起事件检测发生。
[0056] 在一些实施方式中，所确定的多个对象中的至少一些对象的运动可以被表示为随 时间改变其在全局图300上的方位的图形化表示。例如，参考图4,其示出了包括捕获的图 像410和全局图像420 (俯瞰图像）的照片的示意图400,其中全局图像420包括捕获的图 像410中的区域。捕获的图像410示出了被识别的并且其运动被确定的移动对象412,即汽 车（例如，通过如本文所描述的那些的图像/帧处理操作）。在全局图像420上呈现表示关 于移动对象412的所确定的运动数据的图形化指示（运动数据项）422。在该实例中，图形 化指示422被呈现为在通过图像/帧处理所确定的方向上移动的矩形。矩形422可以具有 表示对象的确定的特性的尺寸和形状的性质（即，矩形可以具有与汽车412的尺寸相称的 尺寸，其可以通过场景分析和帧处理的过程来确定）。例如，图形化指示还可以包括其他表 示移动对象的几何形状和符号（例如，人、汽车的符号或者图标），并且还可以包括专门的 图形化表示（例如，不同的颜色、不同的形状、不同的视觉和/或听觉效应）以表明某些事 件的发生（例如，跨越绊网、和/或如本文所描述的其他类型的事件）。
[0057] 为了在全局图像中实质上表示对应的移动对象的地理方位的方位处呈现图形化 指示，摄像机必须对于全局图像进行校准，以便根据被那些摄像机捕获的帧/图像来识别 的移动对象的摄像机坐标（方位）被变换成全局图像坐标（也被称为"世界坐标"）。下面 关于图6,提供示例的校准过程的细节，其使能图形化指示（也被称为图形化运动项）的绘 制，该图形化指示的绘制在实质上与根据捕获的视频帧/图像确定的、对应的所识别的移 动对象的地理方位匹配的方位处。
[0058] 回到图2,基于在全局图像上呈现的图形化指示，响应于在其上有至少一个图形化 指示的地图的区域的选择呈现（230)来自多个摄像机中的一个摄像机的所捕获的图像/视 频数据，其中至少一个图形化指示表示被摄像机之一捕获的多个移动对象中的至少一个。 例如，用户（例如，警卫）能够具有被所部署的所有摄像机监控的区域的代表性的单个视图 (即，全局图像），并且因此监控所识别的对象的运动。当警卫希望获得关于移动对象（例 如，追踪的轨迹（如，诸如以红色曲线所显示的）对应的移动对象）的更多细节时，警卫可 以点击或以其他方式选择地图上的区域/地区，其中显示了特定的对象正在移动以使来自 与该区域相关联的摄像机的视频流被呈现给用户。例如，全局图像可以被分成区域/地区 的网格，当选择它们中的一个时，其使得来自覆盖所选定的区域的摄像机的视频流进行呈 现。在一些实施方式中，视频流可以在全局图像的旁边被呈送给用户，在全局图像上，根据 摄像机的帧来识别的移动对象的运动被呈现给用户。例如，图4示出了在全局图像的旁边 显示的视频帧，在全局图像中，来自视频帧的移动汽车的运动被呈现为移动的矩形。
[0059] 在一些实施方式中，响应于从全局图像选择移动对象对应的图形化指示，可以执 行呈现来自摄像机之一的捕获到的图像数据。例如，用户（例如，警卫）可以点击实际的图 形化运动数据项（它是诸如矩形或轨迹线的移动形状），以使得来自摄像机的视频帧被呈 现给用户，摄像机捕获从其中识别移动对象（并且确定移动对象的运动）的帧/图像。如 下文将更加详细描述的，在一些实施中，表示移动对象和/或其运动的图形化运动项的选 择可以引起辅助摄像机放大移动对象被确定位于其上的区域，从而提供关于该对象的更多 细节，其中所述辅助摄像机与其中出现所选定的图形化运动项对应的移动对象的摄像机相 关联。
[0060] 对象识别和运动确定过程
[0061] 依据被多个摄像机中的至少一个捕获的至少一些图像/视频要在全局图像（例 如，在图3和图4中分别示出的全局图像300或者420)上呈现对象的识别，以及确定并 且追踪这些对象的运动，可以使用图5中所描绘的过程500来执行。例如，在序列号为 12/982, 601、题名为"Searching Recorded Video"的专利申请中提供了确定一个或者多个 对象的存在以及它们各自的运动的图像/视频处理的额外的细节和实例。
[0062] 简单地说，过程500包括使用在网络中部署的摄像机（例如，在图3的实例中，摄 像机被部署在使用黑圈310a-g标识的位置处）之一捕获505视频帧。捕获视频帧的摄像 机可以与本文关于图1A和图1B所描述的摄像机110、120、130、140和/或170中的任意一 个类似。此外，虽然过程500是关于单个摄像机来描述的，但也可以使用讨论中部署以监控 区域的其他摄像机来实施类似的过程。另外，视频帧可以从视频源实时地被捕获或者从数 据存储器取回（例如，采用实施其中摄像机包括暂时存储捕获的图像/视频帧的缓冲器，或 者从存储大量的之前捕获的数据的储存库）。过程500可以利用高斯模型，以排除静态背景 图像以及具有没有语义（semantic)意义的重复运动的图像（例如，随风移动的树木），从 而从感兴趣的对象有效地扣除场景的背景。在一些实施方式中，关于图像中每个像素的灰 度级强度形成参数模型。这种模型的一个实例是大量高斯分布的加权总和。例如，如果我 们选择3个高斯的混合，那么这样一像素的标准灰度级可以通过6个参数来描述，3个数是 平均数，以及3个数是标准偏差。采用这种方式，可以建模例如风中的树枝的运动的重复变 化。例如，在一些实施、实施方式中，为图像中的每个像素保留三个合适的像素值。一旦任 何一个像素值落入高斯模型之一，则对应的高斯模型的概率增加，并且像素值使用正在运 行的平均值进行更新。如果不能为该像素找到匹配，那么新模型代替混合模型中的最小概 率的高斯模型。也可以使用其他的模型。
[0063] 因此，例如，为了检测场景中的对象，高斯混合模型被应用到视频帧（或者多个 帧）以创建背景，如更加具体地示出的方框510、520、525以及530。使用该方法，即使在背 景拥挤并且场景中存在运动时也能产生背景模型。由于高斯混合模型用于实时的视频处理 可能是耗费时间的，并且由于其计算性能该高斯混合模型很难进行优化，故在一些实施中， 构造（在530处）并且应用（在535处）背景的最可能的模型，以从背景中分割前景对象。 在一些实施中，可以使用各种其他的背景构造和训练过程来创建背景场景。
[0064] 在一些实施中，可以结合上文描述的背景模型使用第二背景模型，或者该第二背 景模型可以用作独立的背景模型。这是可以做到的，例如，为了提高对象检测的准确性并且 去除检测到的错误对象，所述检测到的错误对象是由于对象在一个位置停留一段时间后就 已经离开了该位置。因此，例如，可以在第一"短期的"背景模型之后应用第二"长期的"背 景模型。长期的背景的构造过程可以与短期的背景模型的构造过程类似，除了其以更慢的 速率进行更新。也就是说，可以基于更多的视频帧产生长期的背景模型和/或可以在更长 的一段时间中执行长期的背景模型的产生。如果使用短期的背景检测到了对象，然而根据 长期的背景对象被认为是背景中的一部分，那么可以认为检测到的对象是错误的对象（例 如，在一个地方停留一会并且离开的对象）。在这种情况下，短期的背景模型的对象区域可 以用长期的背景模型的对象区域进行更新。另外，如果对象在长期的背景中出现而其被确 定是当使用短期的背景模型处理帧时的背景的一部分，那么该对象已经被并入到短期的背 景中。如果对象是在两种背景模型中都被检测到的，那么讨论中的项/对象是前景对象的 可能性是1?的。
[0065] 因此，如已经提到的，背景相减操作被应用（在535处）到捕获的图像/帧（使用 短期的背景模型以及长期的背景模型），以提取前景像素。背景模型可以根据分割结果进行 更新540。由于背景通常不会快速变化，故没有必要为整个图像以每个帧为单位更新背景模 型。然而，如果每Ν(Ν>0)帧更新一次背景模型，那么具有背景更新的帧和没有背景更新的 帧的处理速度是显著不同的，并且这有时可能引起运动检测误差。为了克服该问题，在每个 帧中可以更新背景模型的仅仅一部分，这样每个帧的处理速度实质上是相同的并且实现了 速度优化。
[0066] 例如，使用包括适用于图像的非线性滤波过程的形态学滤波，前景像素被分组成 并且被标记545为相似像素的图像斑点、组，等等。在一些实施方式中，形态学滤波可以包 括侵蚀和膨胀处理。侵蚀通常减小对象的尺寸并且通过以小于结构化元件的半径（例如，4 邻或者8邻（4-neightbor or8-neightbor))减去对象来去除小噪声。膨胀通常增加对象 的尺寸，其通过填充洞和被破坏的区域以及连接以小于结构化元件的尺寸的空间分离的区 域。合成的图像斑点可以表示在帧中检测到的可移动的对象。因此，例如，形态学滤波可以 被用来去除由例如散布在图像中的单个像素组成的"对象"或者"斑点"。另一个操作可以 是平滑更大的斑点的边界。采用这种方式，噪声被去除且对象的错误检测的数量减少了。 [0067] 还如图5中所示的，在分割后的图像/帧中呈现的映像可以被检测到并且从视频 帧中去除。为了去除由于分割误差造成的小噪声图像斑点并且根据场景中对象的尺寸找到 合格的对象，可以利用例如场景校准方法来检测斑点尺寸。关于场景校准，假设了一种全景 地平面模型（perspective ground plane model)。例如，合格的对象应该比地平面模型中 的阈值高度（例如，最小高度）高并且比阈值宽度（例如，最大宽度）窄。例如，可以通过 以不同垂直度的两条水平平行线段的设计来计算地平面模型，并且该两条线段应该具有和 地平面的消失点（例如，全景图中平行线似乎汇聚到的那点）的现实世界的长度相同的长 度，以便实际对象的尺寸可以根据其到消失点的位置进行计算。在场景的底部定义了斑点 的最大/最小的宽度/高度。如果检测到的图像斑点的正常的宽度/高度比最小宽度/高 度小或者正常的宽度/高度比最大宽度/高度宽，那么可以丢弃该图像斑点。因此，可以从 分割后的帧检测到映像和阴影并且将它们去除550。
[0068] 可以在阴影去除以前或者之后进行映像检测和去除。例如，在一些实施方式中， 为了去除任何可能的映像，可以首先执行相比于整个场景的像素数量，前景像素的百分比 是否高的判定。如果前景像素的百分比比阈值高，那么以下的可以发生。例如，在编号为 12/982, 601、题名为"Searching Recorded Video"的美国专利申请中提供了映像和阴影去 除操作的更多细节。
[0069] 如果没有可以与检测到的图像斑点匹配的当前对象（即，当前正被追踪的先前识 别的对象），那么将为该图像斑点创建新对象。否则，图像斑点将被映射/匹配555到现有 的对象。通常，新建的对象将不会被进一步处理，直到其在场景中出现一段预定时间段并且 四处移动至少超过最小的距离。采用该方式，可以丢弃许多错误的对象。
[0070] 还可以使用其他识别感兴趣的对象（例如，诸如人、汽车等移动对象）的过程和技 术。
[0071] 追踪被识别的对象（例如，使用上述过程或者另一种类型的对象识别过程进行识 别的）。为了追踪对象，对场景内的对象进行归类（在560处）。例如，根据纵横比、物理尺 寸、垂直剖面、形状和/或其他与对象相关联的特性，对象可以被分类为与其他的车辆或者 人有区别的特定的人或者车辆。例如，对象的垂直剖面可以被定义为对象区域中前景像素 的顶部像素的垂直坐标的一维投影。该垂直轮廓可以首先用低通滤波器进行滤波。根据校 准的对象尺寸，可以改善分类结果，这是因为单个人的尺寸总是比车辆的尺寸小。
[0072] -群人和一车辆可以通过它们的形状差异来分类。例如，以像素为单位的人的宽 度的尺寸可以在对象的位置处被确定。宽度的一部分可以被用来检测沿着垂直剖面的峰值 和谷值。如果对象宽度比人的宽度大并且在对象中检测到了不止一个峰值，那么很可能对 象对应的是一群人，而不是车辆。另外，在一些实施方式中，基于对对象缩略（thumbs)(例 如，缩略图像）的离散余弦变换（DCT)或者其他变换，颜色描述可以被应用于提取关于被检 测对象的颜色特征（量化的变换系数），其中其他变换例如离散正弦变换、沃尔什变换、阿 达玛变换、快速傅里叶变换、小波变换等。
[0073] 还如图5中所示的，过程500还包括事件检测操作（在570处）。可以在方框170 处被检测的事件的样本列表包括如下事件：i)对象进入场景，ii)对象离开场景，iii)摄像 机被破坏，iv)对象仍然在场景中，v)对象合并，vi)对象分开，vii)对象进入预定义的地 区，viii)对象离开预定义的地区（例如，图3中描绘的预定义的地区340), ix)对象跨越 泮网（例如，图3中描绘的泮网350)，X)对象被去除，xi)对象被丢弃，xii)对象正沿与关 于地区或者泮网的预定义的禁止方向匹配的方向移动，xiii)对象计数，xiv)对象去除（例 如，当对象静止的时间比预定义的时间段长并且其尺寸比预定义的地区的大的部分大时）， xv)对象丢弃（例如，当对象静止的时间比预定义的时间段长并且其尺寸比预定义的地区 的大的部分小时），xvi)驻留定时器（例如，对象在预定义的地区中一段长于指定的驻留时 间都是静止的或者移动很少的）；以及xvii)对象徘徊（例如，当对象在预定义的地区中一 段比指定的驻留时间长的时间段时）。还可以定义其他类型的事件并且然后将其用在由图 像/帧确定的活动的分类中。
[0074] 如描述的，在一些实施方式中，表示被识别的对象、对象的运动等的数据可以被生 成为元数据。因此，过程500还可以包括根据被追踪的对象的运动或者根据从追踪导出的 事件来产生580元数据。产生的元数据可以包括将对象信息与所检测的事件结合在统一表 达式的描述。例如，可以通过对象的位置、颜色、尺寸、纵横比、等等来描述它们。对象还可 以以它们对应的对象标识符和时间戳与事件有关系。在一些实施中，可以通过规则处理器 产生事件，所述规则处理器具有的规则被定义以使场景分析过程能确定应该在与视频帧相 关联的元数据中提供哪种对象信息和事件。规则可以采用任意数量的方式来建立，例如通 过配置系统的系统管理员、通过可以重新配置系统中的摄像机中的一个或者多个的授权用 户，等等。
[0075] 应当注意到的是，如图5中描绘的过程500仅为非限制性的实例，并且可以例如通 过使操作被添加、去除、重新排列、结合、和/或同时执行来改变。在一些实施方式中，过程 500可以被实施为与处理器或在处理器内执行，该处理器包含在视频源内或者耦合到视频 源，该视频源是例如图1B中所示的视频源（例如，捕获单元），和/或可以在例如计算机主 机系统160的服务器处被执行（整体地或者部分地）。在一些实施方式中，过程500可以实 时操作视频数据。即，当捕获了视频帧时，过程500可以尽快或者比被视频源捕获到的视频 帧更快地识别对象和/或检测对象事件。
[0076] 摄像机柃准
[0077] 如已经提到的，为了在单个全局图像（或者地图）上呈现从多个摄像机提取的图 形化指示（例如，轨迹或者移动图标/符号），有必要校准每个摄像机与全局图像。摄像机 到全局图像的校准使被识别的移动对象能在全局图像中的合适的方位中被呈现/显现，其 中所述被识别的移动对象出现在在特定于那些摄像机的方位/坐标（所谓的摄像机坐标） 中的各个摄像机捕获的帧中，全局图像的坐标系（所谓的地图坐标）不同于各个摄像机的 坐标系中的任意一个摄像机坐标。摄像机到全局图像的校准实现了在摄像机的坐标系和全 局图像的像素位置之间的坐标变换。
[0078] 因此，参考图6,其示出了校准过程600的示例实施方式的流程图。为了执行关于 摄像机之一到全局图像（例如，诸如图3的全局图像300的俯瞰地图）的校准，选择610在 正被校准的摄像机捕获的帧中出现的一个或者多个位置（也被称为校准地点）。例如，考 虑图7A，其是来自特定的摄像机的捕获的图像700。假设图7B中所示的全局图像的系统 坐标（也被称为世界坐标）是已知的，并且假设在全局图像上的小区域被将被校准的摄像 机覆盖。因此，识别620在全局图像中对应于被将校准的摄像机所捕获的帧中所选定的点 (校准地点）的点。在图7A的实例中，识别了九（9)个点，其被标记为1-9。通常，选定的 点应该是在所捕获的图像中的固定特征对应的点，例如，所述固定特征诸如图像中的长凳、 路缘石、各种其他的地标，等等。另外，全局图像中的关于来自图像的所选定的点的相应的 点应该是可容易识别的。在一些实施方式中，摄像机的所捕获的图像中的点的选择以及全 局图像中对应的点的选择是由用户手动执行的。在一些实施中，可以以像素坐标为单位提 供图像中选择的点以及全局图像中对应的点。然而，校准过程中使用的点还可以以地理坐 标（例如，以诸如英尺米的距离单位）为单位被提供，并且在一些实施中，可以以像素为单 位提供所捕获的图像的坐标系，并且可以以地理坐标提供全局图像的坐标系。因此，在后者 的实施中，将要执行的坐标变化将为像素到地理单位的变换。
[0079] 为了确定摄像机的坐标系和全局图像的坐标系之间的坐标变换，在一些实施中， 可以使用2维线性参数模型，基于摄像机的坐标系中的所选定的位置（校准地点）的坐标、 以及基于全局图像中对应被识别的方位的坐标，可以计算6302维线性参数模型的预测系 数（即，坐标变换系数）。参数模型可以是如下这样的一阶2维线性模型：
[0080] xp = ( a xxxc+ β xx) ( a xyyc+ β xy)(公式 1)
[0081 ] yp = ( a yxxc+ β yx) ( a yyyc+ β yy)(公式 2)
[0082] 其中xjPyp是特定方位的现实世界坐标（其可以由用户根据全局图像中的该选 定方位来确定），并且X。和y。是特定方位的对应的摄像机坐标（如由用户根据正对于全局 图像被校准的摄像机所捕获的图像来确定）。α和β参数是其值有待被解的参数。
[0083] 为了使预测参数的计算更容易，可以通过将公式1和公式2右手边的项求平方来 从一阶模型导出2阶2维模型。通常2阶模型比一阶模型更加鲁棒，并且通常更加不会受 到噪声测量的影响。2阶模型还可以提供对于参数设计和确定更大的自由度。同样，在一些 实施方式中，2阶模型可以补偿摄像机径向畸变。2阶模型可以如下表达 ：
[0084] xp = ( a xxxc+ β xx)2 ( a xyYc+ β xy)2 (公式 3)
[0085] yp = ( a yxxc+ β yx)2 ( a yyyc+ β yy)2 (公式 4)
[0086] 将上述两个式子相乘为多项式，产生了九个系数预测值（即，根据摄像机坐标x和 y的九个系数表示全局图像中的世界坐标的X值，并且类似地根据摄像机坐标X和y的九个 系数表示世界坐标的y值
【权利要求】
1. 一种方法，包括： 从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据； 在表示被所述多个摄像机监控的区域的全局图像上且在所述全局图像上的对应于所 述多个移动对象的地理位置的方位处呈现关于所述多个对象的所确定的运动数据的图形 化指示； 响应于基于呈现在所述全局图像上的所述图形化指示对所述全局图像的一区域的选 择，呈现来自所述多个摄像机中的一个摄像机的所捕获的图像数据且其中所述全局图像的 所述区域呈现关于被所述多个摄像机中的所述一个摄像机捕获的所述多个移动对象中的 至少一个移动对象的至少一个所述图形化指示。
2. 如权利要求1所述的方法，其中，响应于对所述全局图像的所述区域的选择呈现所 捕获的图像数据且其中所述全局图像的所述区域呈现关于所述多个移动对象中的至少一 个移动对象的至少一个所述图形化指示的操作包括： 响应于对与被所述多个摄像机中的所述一个摄像机捕获的一移动对象对应的图形化 指示的选择，呈现来自所述多个摄像机中的所述一个摄像机的所捕获的图像数据。
3. 如权利要求1所述的方法，还包括： 关于所述全局图像校准所述多个摄像机中的至少一个，以使被所述多个摄像机中的所 述至少一个捕获的至少一个区域视图的图像与所述全局图像中对应的至少一个区域相匹 配。
4. 如权利要求3所述的方法，其中，校准所述多个摄像机中的所述至少一个包括： 选择在被所述多个摄像机中的所述至少一个捕获的一图像中出现的一个或者多个位 置； 识别在所述全局图像上的与在被所述多个摄像机中的所述至少一个捕获的所述图像 中所选定的一个或者多个位置对应的方位；以及 基于所识别的全局图像方位以及在所述多个摄像机中的所述至少一个的所述图像中 对应选定的一个或者多个位置，计算二阶2维线性参数模型的变换系数，以将在被所述多 个摄像机中的所述至少一个捕获的图像中的方位的坐标变换为所述全局图像中对应方位 的坐标。
5. 如权利要求1所述的方法，还包括： 在地图的选定区域中呈现与所述至少一个所述图形化指示对应的、所述多个移动对象 中的所述至少一个移动对象的额外的细节，所述额外的细节出现在被辅助摄像机捕获的辅 助帧中，所述辅助摄像机关联于与所述选定区域对应的所述多个摄像机中的所述一个摄像 机。
6. 如权利要求5所述的方法，其中，呈现所述多个移动对象中的至少一个移动对象的 额外的细节包括： 放大所述辅助帧中的对应于被所述多个摄像机中的所述一个摄像机捕获的所述多个 移动对象中的所述至少一个移动对象的方位的区域。
7. 如权利要求1所述的方法，其中，从被所述多个摄像机捕获的所述图像数据中确定 关于所述多个移动对象的运动数据包括： 给被所述多个摄像机中的至少一个捕获的至少一个图像应用高斯混合模型，以将所述 至少一个图像的包含移动对象的像素组的前景与所述至少一个图像的包含静止对象的像 素组的背景分离。
8. 如权利要求1所述的方法，其中，关于所述多个移动对象的所述运动数据包括来自 所述多个移动对象的一移动对象的数据，其包括下述中的一个或者多个：摄像机的视场内 的所述对象的位置、所述对象的宽度、所述对象的高度、所述对象正在移动的方向、所述对 象的速度、所述对象的颜色、所述对象正进入所述摄像机的所述视场的指示、所述对象正离 开所述摄像机的所述视场的指示、所述摄像机正被破坏的指示、所述对象停留在所述摄像 机的视场中一段大于预定的时间段的时间的指示、几个移动对象被合并的指示、所述移动 对象被分为两个或者多于两个移动对象的指示、所述对象正进入感兴趣的区域的指示、所 述对象正离开预定义的地区的指示、所述对象正跨越绊网的指示、所述对象正沿与所述地 区或所述绊网的预定义的禁止方向匹配的方向移动的指示、表示所述对象的计数的数据、 所述对象的移除的指示、所述对象的丢弃的指示、以及表示关于所述对象的驻留定时器的 数据。
9. 如权利要求1所述的方法，其中，在所述全局图像上呈现所述图形化指示包括： 在所述全局图像上呈现各种颜色的移动几何形状，所述几何形状包括下述中的一种或 者多种：圆形、矩形以及三角形。
10. 如权利要求1所述的方法，其中，在所述全局图像上呈现所述图形化指示包括： 在所述全局图像上呈现追踪关于所述多个对象中的至少一个的所确定的运动的轨迹， 其中所述轨迹呈现在所述全局图像上对应于所述多个移动对象中的所述至少一个移动对 象所沿路径的地理位置的方位处。
11. 一种系统，包括： 多个摄像机，其捕获图像数据； 一个或者多个显示设备；以及 一个或者多个处理器，其被配置为执行如下的操作，包括： 从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据； 使用一个或者多个显示设备中的至少一个，在表示被所述多个摄像机监控的区域的全 局图像上且在所述全局图像上的对应于所述多个移动对象的地理位置的方位处呈现关于 所述多个对象的所确定的运动数据的图形化指示； 响应于基于呈现在所述全局图像上的所述图形化指示对所述全局图像的一区域的选 择，使用所述一个或者多个显示设备中的一个，呈现来自所述多个摄像机中的一个摄像机 的所捕获的图像数据，其中所述全局图像的所述区域呈现关于被所述多个摄像机中的所述 一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个所述图形化指示。
12. 如权利要求11所述的系统，其中，被配置为执行响应于对所述全局图像的所述区 域的选择而呈现所捕获的图像数据的操作的所述一个或者多个处理器被配置为执行如下 操作： 响应于对与被所述多个摄像机中的所述一个摄像机捕获的一移动对象对应的图形化 指示的选择，使用所述一个或者多个显示设备中的所述一个，来呈现来自所述多个摄像机 中的所述一个摄像机的所捕获的图像数据。
13. 如权利要求11所述的系统，其中，所述一个或者多个处理器还被配置为执行如下 操作： 关于所述全局图像校准所述多个摄像机中的至少一个，以使被所述多个摄像机中的所 述至少一个捕获的至少一个区域视图的图像与所述全局图像中对应的至少一个区域相匹 配。
14. 如权利要求13所述的系统，其中，被配置为执行校准所述多个摄像机中的至少一 个的操作的所述一个或者多个处理器被配置为执行如下操作： 选择在被所述多个摄像机中的所述至少一个捕获的一图像中出现的一个或者多个位 置； 识别在所述全局图像上的与在被所述多个摄像机中的所述至少一个捕获的所述图像 中所选定的一个或者多个位置对应的方位；以及 基于所识别的全局图像方位以及在所述多个摄像机中的所述至少一个的所述图像中 对应选定的一个或者多个位置，计算二阶2维线性参数模型的变换系数，以将在被所述多 个摄像机中的所述至少一个捕获的图像中的方位的坐标变换为所述全局图像中对应方位 的坐标。
15. 如权利要求11所述的系统，其中，所述一个或者多个处理器还被配置为执行如下 操作： 在地图的选定区域中呈现与所述至少一个所述图形化指示对应的、所述多个移动对象 中的所述至少一个移动对象的额外的细节，所述额外的细节出现在被辅助摄像机捕获的辅 助帧中，所述辅助摄像机关联于与所述选定区域对应的所述多个摄像机中的所述一个摄像 机。
16. 如权利要求11所述的系统，其中，关于所述多个移动对象的所述运动数据包括来 自所述多个移动对象的一移动对象的数据，其包括下述中的一个或者多个：摄像机的视场 内的所述对象的位置、所述对象的宽度、所述对象的高度、所述对象正在移动的方向、所述 对象的速度、所述对象的颜色、所述对象正进入所述摄像机的所述视场的指示、所述对象正 离开所述摄像机的所述视场的指示、所述摄像机正被破坏的指示、所述对象停留在所述摄 像机的视场中一段大于预定的时间段的时间的指示、几个移动对象被合并的指示、所述移 动对象被分为两个或者多于两个移动对象的指示、所述对象正进入感兴趣的区域的指示、 所述对象正离开预定义的地区的指示、所述对象正跨越绊网的指示、所述对象正沿与所述 地区或所述绊网的预定义的禁止方向匹配的方向移动的指示、表示所述对象的计数的数 据、所述对象的移除的指示、所述对象的丢弃的指示、以及表示关于所述对象的驻留定时器 的数据。
17. -种非暂时性计算机可读介质，其使用可在处理器上执行的计算机指令集进行编 程，当执行所述计算机指令集时，引起如下操作，包括 ： 从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据； 在表示被所述多个摄像机监控的区域的全局图像上且在所述全局图像上的对应于所 述多个移动对象的地理位置的方位处呈现关于所述多个对象的所确定的运动数据的图形 化指示； 响应于基于呈现在所述全局图像上的所述图形化指示对所述全局图像的一区域的选 择，呈现来自所述多个摄像机中的一个摄像机的所捕获的图像数据，其中所述全局图像的 所述区域呈现关于被所述多个摄像机中的所述一个摄像机捕获的所述多个移动对象中的 至少一个移动对象的至少一个所述图形化指示。
18. 如权利要求17所述的计算机可读介质，其中，引起响应于对呈现关于所述多个移 动对象中的所述至少一个移动对象的至少一个所述图形化指示的、所述全局图像的所述区 域的选择而呈现所捕获的图像数据的操作的所述指令集包括引起如下操作的指令： 响应于对与被所述多个摄像机中的所述一个摄像机捕获的一移动对象对应的图形化 指示的选择，呈现来自所述多个摄像机中的所述一个摄像机的所捕获的图像数据。
19. 如权利要求17所述的计算机可读介质，其中，所述指令集还包括引起如下操作的 指令： 关于所述全局图像校准所述多个摄像机中的至少一个，以使被所述多个摄像机中的所 述至少一个捕获的至少一个区域视图的图像与所述全局图像中对应的至少一个区域相匹 配。
20. 如权利要求19所述的计算机可读介质，其中，引起校准所述多个摄像机中的所述 至少一个的操作的所述指令集包括引起如下操作的指令： 选择在被所述多个摄像机中的所述至少一个捕获的一图像中出现的一个或者多个位 置； 识别在所述全局图像上的与在被所述多个摄像机中的所述至少一个捕获的所述图像 中所选定的一个或者多个位置对应的方位；以及 基于所识别的全局图像方位以及在所述多个摄像机中的所述至少一个的所述图像中 对应选定的一个或者多个位置，计算二阶2维线性参数模型的变换系数，以将在被所述多 个摄像机中的所述至少一个捕获的图像中的方位的坐标变换为所述全局图像中对应方位 的坐标。
21. 如权利要求17所述的计算机可读介质，其中，所述指令集还包括引起如下操作的 指令： 在地图的选定区域中呈现与所述至少一个所述图形化指示对应的、所述多个移动对象 中的所述至少一个移动对象的额外的细节，所述额外的细节出现在被辅助摄像机捕获的辅 助帧中，所述辅助摄像机关联于与所述选定区域对应的所述多个摄像机中的所述一个摄像 机。
22. 如权利要求17所述的计算机可读介质，其中，关于所述多个移动对象的所述运动 数据包括来自所述多个移动对象的一移动对象的数据，其包括下述中的一个或者多个：摄 像机的视场内的所述对象的位置、所述对象的宽度、所述对象的高度、所述对象正在移动的 方向、所述对象的速度、所述对象的颜色、所述对象正进入所述摄像机的所述视场的指示、 所述对象正离开所述摄像机的所述视场的指示、所述摄像机正被破坏的指示、所述对象停 留在所述摄像机的视场中一段大于预定的时间段的时间的指示、几个移动对象被合并的指 示、所述移动对象被分为两个或者多于两个移动对象的指示、所述对象正进入感兴趣的区 域的指示、所述对象正离开预定义的地区的指示、所述对象正跨越绊网的指示、所述对象正 沿与所述地区或所述绊网的预定义的禁止方向匹配的方向移动的指示、表示所述对象的计 数的数据、所述对象的移除的指示、所述对象的丢弃的指示、以及表示关于所述对象的驻留 定时器的数据。
【文档编号】G06K9/00GK104106260SQ201280067675
【公开日】2014年10月15日 申请日期:2012年11月19日 优先权日:2011年11月22日
【发明者】法曾·艾格达斯, 苏炜, 王雷 申请人:派尔高公司