专利名称：用于基于2d运动估计相对3d速度和加速度投影函数的数据挖掘方法和系统的制作方法
技术领域：
本公开涉及一种用于确定用于将第一图像转换成第二图像的转换矩阵，以及用于将第一图像转换成第二图像的系统和方法。
背景技术：
随着对于视频监测系统的需要的增长，对于更加自动化的系统的需要变得更加明显。这些系统被配置为探测移动物体并且分析其行为。为了优化这些系统，重要的是该系统能够相对于彼此和相对于正被照相机监视的空间而地理空间地定位物体。已经提出的一种方案是使用经校准的照相机，其能够被提供用于物体探测和定位。然而，这些照相机要求大量的时间以人工方式校准照相机。此外，照相机的人工校准是非常复杂的过程并且要求使用物理几何图案，诸如棋盘、照明图案或者陆标基准。因为经常 在停车场、大厅中或者在广阔空间中置放视频监测照相机，所以照相机的视场(FOV)经常是非常大的，并且校准物体例如棋盘太小以至不能在这种大的FOV中校准照相机。因此，存在对于具有更加易于校准并且改进物体定位的照相机的视频监测系统的需要。该部分提供与本公开有关的背景信息，其并不是必要地是现有技术。
发明内容
公开了一种用于确定转换矩阵的方法，该转换矩阵被用于将数据从空间的第一图像转换到该空间的第二图像。该方法包括从监视该空间的视频照相机接收图像数据，其中该视频照相机产生穿过该空间移动的物体的图像数据，并且从图像数据确定该物体关于照相机的视场的空间-时间位置。该方法进一步包括基于物体的空间-时间位置，相对于照相机的视场来确定该物体的运动的观察属性，观察属性包括该物体关于照相机视场的速度和该物体关于照相机视场的加速度中的至少一项。该方法还包括基于该物体的运动的观察属性确定转换矩阵。该部分提供本公开的总体简介，而非将其的全部范围或者其的所有特征进行全面披露。根据在这里提供的说明，进一步的适用领域将变得清楚。在该简介中的说明和具体实例仅仅出于示意的意图，而非旨在限制本公开的范围。
图I是示意示例性视频监测系统的框图；图2是示意监测系统的示例性构件的框图；图3A是示意视频照相机的示例性视场(FOV)的视图；图3B是示意带有在FOV上覆盖的栅格的照相机的示例性FOV的视图；图4是示意具有不同分辨率的栅格和相对于每一个栅格的物体运动的视图5是示意数据挖掘模块的示例性构件的框图；图6是示意被分类成方向卦限的数据单元(data cell)的视图；图7是示意处理模块的示例性构件的框图；图8是示意关于具有不同分辨率的栅格的运动数据的视图；图9是示意具有沿着各种方向的矢量的示例性速度映射的视图；图10是示意具有仅仅沿着优势(dominant)流方向的矢量的示例性速度映射的视图；图11是示意数据单元的融合的视图；图12是示意用于执行数据融合的示例性方法的流程图； 图13是示意被用于转换的示例性栅格的视图；图14是示意用于确定转换矩阵的示例性方法的流程图；图15是示意校准模块的示例性构件的框图；图16是示意正被转换成第二图像的图像的视图；并且图17是示意在正被转换成第二图像的第一图像中的物体的视图。在这里描述的附图仅仅出于示意选定的实施例的目的，而非示意所有可能的实现的目的，并且也无意限制本公开的范围。贯穿附图中的全部的几个视图地，相应的引用数字示意相应的部分。
具体实施例方式在这里描述了一种自动化视频监测系统。视频照相机监视空间，诸如门厅或者停车场。视频照相机产生对应于在照相机的视场(FOV)中观察的空间的图像数据。该系统被配置为探测观察到在照相机的FOV中移动的物体，在下文中被称作“运动物体”。图像数据得到处理并且运动物体关于FOV的位置得到分析。基于运动物体的位置，观察到的运动物体关于FOV的运动数据，诸如，速度和加速度能够得以计算和内插。设想到这是对于多个运动物体执行的。使用观察到的运动数据，转换矩阵能够得以确定，从而该空间的图像能够被转换成第二图像。例如，第二图像可以是该空间的鸟瞰视图，即从在该空间的地面上方并且基本平行于此的角度看到的视图。一旦图像被转换成鸟瞰视图，运动物体关于该空间的实际运动数据，例如，运动物体的速度和/或加速度，和该物体在该空间中的地理空间位置便能够容易地被以更高的精度确定。该系统还能够被配置为是自动校准的。例如，计算机产生的物体，例如，3D体现能够被插入第一图像中，并且被配置为通过所观察的空间“移动”。该图像然后被转换。如果在经转换图像中的3D体现具有与在第二图像中的3D体现大致相同的尺寸，或者在第二图像中观察到的运动对应于第一图像的运动，则转换矩阵的元素被确定为是足够的。然而，如果3D体现大得多或者小得多，或者运动并不对应于在第一图像中观察到的运动，则元素是不正确的并且应该加以调节。转换矩阵或者其它参数被调节并且重复该过程。一旦转换矩阵被适当地调节，照相机便被校准。这允许更加有效的空间监视。例如，一旦空间被转换，便能够更加准确地估计物体的地理空间位置。此外，实际速度和加速度，即，关于空间的速度和加速度能够得以确定。现在参考图1，示出示例性视频监测系统10。该系统可以包括感测装置，例如，视频照相机12a-12n，和监测模块20。应该理解，感测装置可以是其它类型的监测照相机，诸如，红外照相机等。出于解释的目的，感测装置在这里将被称作视频照相机。此外，对于单一照相机12的引用可以延伸至照相机12a-12n。视频照相机12a_12n监视空间，并且产生与照相机的视场(FOV)和在FOV内观察的物体相关的图像数据，并且将图像数据传送到监测模块20。监测模块20能够被配置为处理图像数据以确定运动事件是否已经发生。运动事件是何时在照相机12a的FOV中观察到运动物体。一旦探测到运动物体，对应于运动物体的轨迹的运动的观察轨迹便能够由监测模块20产生。监测模块20分析运动物体的行为或者运动，以确定是否观察到异常行为。如果确定观察轨迹是异常的，则例如能够产生报警通知。监测模块20还能够管理视频保留策略，由此监测模块20决定哪些视频应该被存储和哪些视频应该被从视频数据存储器26清除。视频数据存储器26能够被包括在容纳监测模块20的装置，例如，记录器中，或者可以是经由网络而被连接到该装置的计算机可读介质。图2示意监测模块20的示例性构件。视频照相机12产生对应于在视频照相机12的FOV中观察到的情景的图像数据。示例性视频照相机12a包括产生对应于图像数据的元数据的元数据产生模块28。设想到可以可替代地在监测模块20中包括元数据产生模块28。数据挖掘模块30接收元数据并且确定运动物体的观察轨迹。观察轨迹能够包括但是不限于在照相机的FOV中的各种空间-时间位置处运动物体的速度和加速度。应该理解的·是，运动数据，例如，速度和加速度是关于照相机的FOV的。因此，可以以像素/秒，或者每单位时间关于照相机的FOV的距离的等价测度来表示速度。应该理解的是，能够在照相机的FOV中观察多于一个运动物体，并且因此可以由数据挖掘模块30产生多个观察轨迹。所产生的轨迹最终可以被用于确定异常行为的存在性。然而，在本公开的一个方面，轨迹被传送到处理模块32。处理模块32接收轨迹，并且能够被配置为产生对应于在照相机的FOV中观察到的运动物体的速度映射、加速度映射和/或发生映射。处理模块32能够进一步被配置为对其他的运动数据进行内插，从而所产生的映射是基于更加丰富的数据集合的。处理模块32进一步被配置为确定转换矩阵，其用于将在FOV中观察的空间的图像转换成第二图像，诸如该空间的鸟瞰视图。转换模块32使用关于照相机而观察到的运动数据产生转换矩阵。能够在挖掘元数据数据存储器36中与各种元数据一起地存储转换矩阵。挖掘元数据数据存储器36存储各种类型的数据，包括元数据、运动数据、融合数据、转换矩阵、3d物体和由记录模块20使用的其它类型的数据。校准模块34校准转换矩阵，由此优化从第一图像到第二图像的转换。校准模块34从处理模块32或者从存储器，例如，挖掘数据数据存储器36接收转换矩阵。校准矩阵接收第一图像并且将计算机产生的物体嵌入该图像中。此外，校准模块34能够被配置为跟踪计算机产生的物体的轨迹。校准模块34然后转换带有嵌入的计算机产生的物体的图像。如果计算机产生的物体曾“移动”穿过该空间，则校准模块34然后评价在经转换空间中的嵌入的计算机产生的物体及其轨迹。校准模块34比较经转换的计算机产生的物体与初始计算机产生的物体，并且确定转换矩阵是否准确地将第一图像转换成第二图像。这是通过比较物体自身和/或物体的运动而实现的。如果转换矩阵并不准确地转换图像，则转换矩阵的值被校准模块34调节。设想到能够以在计算机可读介质，诸如，RAM、ROM、⑶-ROM、硬盘驱动器等中嵌入的计算机可读指令来实现监测模块20及其构件。此外，指令能够由与视频监测系统相关联的处理器执行。此外，可以作为专用硬件来实现监测模块的某些构件或者子构件。元数据产生模块28接收图像数据，并且产生对应于图像数据的元数据。元数据的实例能够包括但是不限于运动物体标识符、围绕运动物体的边界框、在边界框上的特定点，例如，左上角或者中心点的(x，y)坐标、边界框的高度和宽度、以及帧数或者时间戳。图3A描绘在照相机的FOV中的边界框310的一个实例。如能够看到地，左上角被用作基准点或者边界框的位置。还在图中示出能够提取的元数据的实例，其包括U，y)坐标、边界框310的高度和宽度。轨迹未必是元数据，并且其被示出以仅仅用于示出运动物体的路径。此外，FOV可以被划分成多个单元。图3B描绘被划分成5X5栅格，即，25个单元的示例性F0V。作为参考，还描绘了边界框和运动物体。当FOV被划分成栅格时，能够通过在运动物体或者边界框上的特定点位于其处的单元，来描述运动物体的位置。此外，用于特定的单元或者照相机的区域的时间-序列的元数据能够被格式化成数据立方体(data cube)。另外地，每一个单元的数据立方体可以包含有关观察到的运动和当运动物体通过这些单元时从运动物体获得的出现样本的统计数据。
如能够理解地，每次已经探测到运动事件时，时间戳或者帧数均能够被用于以时间方式对于运动物体排序。在每一个事件处，均可以为具体的帧或者时间戳产生元数据。此外，用于所有的帧或者时间戳的元数据能够被格式化成有序元组。例如，以下可以代表一系列运动事件，其中对应于运动物体的元数据的元组根据<t，x, y, h，w, obj_id>而被格式化<t1；5,5,4,2,l>, <t2,4,4,4, 2,1>, ... <t5，1，1，4，2，1>如能够看到地，其边界框为四个单位高和两个单位宽的、具有id标签I的运动物体在五个样本中从点(5，5)移动到点(1，I)。如能够看到地，运动物体由一组空间-时间坐标限定。还应该理解的是，现在已知或者在以后发展起来的、从图像数据产生元数据的任何手段均可以由元数据产生模块28使用，以产生元数据。进而，FOV能够具有被划分成多个单元的叠置的栅格。图3B描绘被划分成5X5栅格，S卩，25个单元的示例性F0V。作为参考，还描绘了边界框和运动物体。当FOV被划分成栅格时，能够利用在运动物体或者边界框上的特定点位于其处的单元来描述运动物体的位置。另外地，在本公开的一个方面，元数据产生模块28能够被配置为记录运动物体关于多个栅格的空间-时间位置。如将在下面示出地，跟踪运动物体关于多个栅格的位置允许转换模块32执行更加准确的运动数据内插。图4示意被用于跟踪物体的运动的多个栅格的一个实例。如能够从图看到地，存在所描绘的相同情景的三个F0V，每一个FOV均带有相应的栅格。FOV 402具有4X4栅格，FOV 404具有3X3栅格，并且FOV 406具有8X8栅格。FOV 408是在彼此顶上叠置的所有的三个栅格的视图。如能够在每一个FOV中看到地，物体开始于位置410处并且结束于位置412处。元数据产生模块28通过识别在特定时间处物体位于每一个栅格中的哪一个单元处，从而跟踪物体的运动。如能够在图4的实例中理解地，对于每一个运动事件，元数据产生模块28能够输出对应于物体关于每一个栅格的位置的三个单兀标识符。元数据产生模块28还能够被配置为从元数据移除界外值(outlier)。例如如果对于特定时间样本所接收的元数据与其余的元数据不一致，则元数据产生模块28确定样本是界外值，并且将其从元数据移除。元数据产生模块28向元数据挖掘仓库36并且向数据挖掘模块30输出所产生的元数据。元数据产生模块28还将元数据传送到转换模块38，转换模块38转换空间的图像，并且将经转换图像传送到监测模块40。图5示意数据挖掘模块30的示例性构件。数据挖掘模块30从元数据产生模块28或者从挖掘元数据数据存储器36接收元数据。示例性数据挖掘模块30包括矢量产生模块50、界外值探测模块52、速度计算模块54、和加速度计算模块56。矢量产生模块50接收元数据，并且确定所要产生的矢量的数量。例如，如果两个物体在单一情景中移动，则可以产生两个矢量。矢量产生模块50能够具有存储达预定数量的轨迹矢量的矢量缓冲器。此外，因为在矢量中的条目的数量将等于在其中具有探测到的运动物体的帧或者带有时间戳的帧的数量，所以矢量产生模块50能够为对应于运动物体的每一个矢量分派适当数量的存储器。在矢量产生被实时地执行的情形中，当接收新的元 数据时，矢量产生模块50能够为在轨迹中的新的点分派另外的存储器。矢量产生模块50还将位置数据和时间数据插入轨迹矢量中。从元数据确定了位置数据。能够以实际的(X，y)坐标或者通过识别在其中观察到运动物体的单元而列出位置数据。界外值探测模块66接收轨迹矢量并且读出在各种时间采样处的运动物体的值。界外值是与数据集合的其余部分不一致的数据样本。例如，如果运动物体在样本tl和t3中在FOV的左上角处被探测到，但是在样本t2中位于右下角中，则界外值探测模块52能够确定对于时间t2的时间样本是界外值。设想到可以在界外值探测模块中实施探测界外值的任何手段。此外，如将在下面讨论地，如果探测到界外值，则可以基于其它数据样本内插运动物体的位置。设想到界外值探测模块52能够实施界外值确定的任何手段。速度计算模块54计算运动物体在各种时间样本处的速度。应该理解的是，在每个时间段的速度将具有两个分量，即速度矢量的方向和幅值。幅值涉及运动物体的速率。能够根据
ΛΙ χ( ~)-x(i . ))2 + ((v(lI — y(t~............,.....W
T/ff \(mrcmtrA" 'U、amr ^ J、cmtr-l"^、
V ^hiwr) =TT— , ____11 J
( ~~j j、aU4F Π ΜΓ-Ι I为在的轨迹计算速度矢量的幅值，或者运动物体的速率。可替代地，可以以速度矢量的单独的分量来表示速度矢量的幅值，即办(|謙)=和办U^ J(Wl))(2)
^cmir I γ-! )Vcimr ^cunr-I)进一步理解的是，如果使用数据单元表示，S卩，运动物体的位置由在其中发现运动物体的数据单元限定，则对应于数据单元或者单元标识符的预定(X，y)值能够替代实际位置。此外，如果实现了多个栅格，则能够关于多个栅格表示运动物体的位置和速度，即，对于每一个栅格单独地表示。应该理解的是，计算速度将是相对于照相机的FOV的，例如，像素每秒。因此，尽管两个物体可以以相同或者类似的速率行进的事实，但是更加远离的物体看起来仍将慢于更加靠近照相机的物体。进一步设想到可以实现计算相对速度的其它手段。能够通过将每一个数据单元划分成预定的子单元，例如，8个卦限而相对于它在数据单元中的方向来表示速度矢量的方向。图6示意被分成8个卦限1-8的数据单元70的一个实例。根据在t。·和样本之间的轨迹的方向，可以通过确定轨迹能够落入哪一个卦限中来近似该方向。例如，沿着靠近NNE的任何方向，例如，沿着基本向上的方向并且稍微向右地行进的轨迹能够被给予单个轨迹方向，如由标记62示出地。因此，用于数据单元的任何速度矢量可以由数据单元卦限标识符和幅值来表示。加速度计算模块56以与速度计算模块54基本相同的方式操作。替代位置值，可以使用在各种时间样本处的速度矢量的幅值。因此，可以通过
权利要求
1.一种用于将数据从空间的第一图像转换到所述空间的第二图像的方法，所述方法包括 从监视所述空间的视频照相机接收图像数据，其中所述视频照相机产生移动穿过所述空间的物体的图像数据； 从所述图像数据确定所述物体关于所述照相机的视场的空间-时间位置； 基于所述物体的所述空间-时间位置确定所述物体相对于所述照相机的视场的运动的观察属性，所述观察属性包括所述物体关于所述照相机的视场的速度和所述物体关于所述照相机的视场的加速度中的至少一项；以及 基于所述物体的运动的所述观察属性来确定转换矩阵。
2.根据权利要求I所述的方法，进一步包括将所述空间的第一图像转换成所述空间的第二图像。
3.根据权利要求2所述的方法，进一步包括校准所述转换矩阵，其通过以下步骤进行 将计算机产生的物体插入所述第一图像中； 将所述计算机产生的物体转换成在所述第二图像中的、经转换的物体； 比较所述计算机产生的物体和所述经转换的物体；并且 基于所述比较来调节在所述转换矩阵中的元素。
4.根据权利要求I所述的方法，其中所述确定所述转换矩阵进一步基于关于所述空间的运动的实际属性，其中，所述运动的实际属性包括所述物体和另一个物体中的至少一个关于所述空间的恒定速度。
5.根据权利要求I所述的方法，其中所述照相机的视场被划分成多个单元。
6.根据权利要求5所述的方法，其中所述物体的空间-时间位置是关于所述多个单元而限定的。
7.根据权利要求6所述的方法，进一步包括产生速度映射和单元速度，所述速度映射指示所述多个单元中的每一个单元的优势流方向，并且所述单元速度指示在沿着所述优势流方向移动的单元中多个被观察物体的速度，其中，所述单元速度是关于所述照相机的视场限定的，并且其中所述多个被观察物体包括所述物体。
8.根据权利要求7所述的方法，其中所述转换矩阵的所述确定是基于所述速度映射的。
9.根据权利要求8所述的方法，其中所述转换矩阵的所述确定进一步基于关于所述空间的运动的实际属性的，其中，所述运动的实际属性包括所述物体和另一个物体中的至少一个关于所述空间的恒定速度。
10.根据权利要求6所述的方法，进一步包括产生加速度映射和单元加速度，所述加速度映射指示所述多个单元中的每一个单元的优势流方向，并且所述单元加速度指示在沿着所述优势流方向移动的单元中的多个被观察物体的加速度，其中，所述单元加速度是关于所述照相机的视场而限定的，并且其中所述多个被观察物体包括所述物体。
11.根据权利要求10所述的方法，其中所述转换矩阵的所述确定是基于所述加速度映射 的。
12.根据权利要求8所述的方法，其中所述转换矩阵的所述确定进一步基于关于所述空间的运动的实际属性，其中所述运动的实际属性包括具有零值的加速度，其中，所述加速度是关于所述空间的，并且对应于所述物体和另一个物体中的至少一个。
13.根据权利要求3所述的方法，其中所述校准被以迭代的方式执行。
14.一种用于将数据从空间的第一图像转换到所述空间的第二图像的系统，所述系统包括 元数据处理模块，所述元数据处理模块被配置为从监视所述空间的视频照相机接收图像数据，其中，所述视频照相机产生移动穿过所述空间的物体的图像数据，并且从所述图像数据确定所述物体关于所述照相机的视场的空间-时间位置； 处理模块，所述处理模块被配置为基于所述物体的所述空间-时间位置来确定所述物体相对于所述照相机的视场的运动的观察属性，所述观察属性包括所述物体关于所述照相机的视场的速度和所述物体关于所述照相机的视场的加速度中的至少一项；以及 转换模块，所述转换模块被配置为基于所述物体的运动的所述观察属性来确定转换矩阵。
15.根据权利要求14所述的系统，其中，所述转换模块进一步被配置为将所述空间的第一图像转换成所述空间的第二图像。
16.根据权利要求15所述的系统，进一步包括校准模块，所述校准模块被配置为 将计算机产生的物体插入所述第一图像中； 将所述计算机产生的物体转换成在所述第二图像中的经转换的物体； 比较所述计算机产生的物体和所述经转换的物体；和 基于所述比较来调节在所述转换矩阵中的元素。
17.根据权利要求14所述的系统，其中所述转换矩阵进一步基于关于所述空间的运动的实际属性，其中所述运动的实际属性包括所述物体和另一个物体中的至少一个关于所述空间的恒定速度。
18.根据权利要求14所述的系统，其中所述照相机的视场被划分成多个单元。
19.根据权利要求18所述的系统，其中所述物体的空间-时间位置是关于所述多个单元而限定的。
20.根据权利要求19所述的系统，进一步包括数据融合模块，所述数据融合模块被配置为产生速度映射和单元速度，所述速度映射指示所述多个单元中的每一个单元的优势流方向，并且所述单元速度指示在沿着所述优势流方向移动的单元中多个被观察物体的速度，其中，所述单元速度是关于所述照相机的视场限定的，并且其中所述多个被观察物体包括所述物体。
21.根据权利要求20所述的系统，其中所述转换矩阵是基于所述速度映射的。
22.根据权利要求21所述的系统，其中所述转换矩阵进一步基于关于所述空间的运动的实际属性，其中，所述运动的实际属性包括所述物体和另一个物体中的至少一个关于所述空间的恒定速度。
23.根据权利要求19所述的系统，进一步包括数据融合模块，所述数据融合模块产生加速度映射和单元加速度，所述加速度映射指示所述多个单元中的每一个单元的优势流方向，并且所述单元加速度指示在沿着所述优势流方向移动的单元中多个被观察物体的加速度，其中，所述单元加速度是关于所述照相机的视场而限定的，并且其中所述多个被观察物体包括所述物体。
24.根据权利要求23所述的系统，其中所述转换矩阵是基于所述加速度映射的。
25.根据权利要求24所述的系统，其中所述转换矩阵进一步基于关于所述空间的运动的实际属性，其中所述运动的实际属性包括具有零值的加速度，其中，所述加速度是关于所述空间的，并且对应于所述物体和另一个物体中的至少一个。
全文摘要
公开了一种用于确定用于将数据从空间的第一图像转换到空间的第二图像的转换矩阵的方法。该方法包括从监视该空间的视频照相机接收图像数据，其中，该视频照相机产生移动穿过该空间的物体的图像数据，并且从该图像数据确定该物体关于照相机的视场的空间-时间位置。该方法进一步包括基于该物体的空间-时间位置，确定相对于照相机的视场的该物体的运动的观察属性，观察属性包括该物体关于照相机的视场的速度和该物体关于照相机的视场的加速度中的至少一项。该方法还包括基于该物体的运动的观察属性来确定转换矩阵。
文档编号G06T7/00GK102870137SQ201080064191
公开日2013年1月9日 申请日期2010年12月16日 优先权日2010年2月19日
发明者刘礼斌, 李国柱 申请人:松下电器产业株式会社