专利名称：视频分析器的制作方法
技术领域：
本发明一般涉及视频分析。
背景技术：
通常，模拟摄像机监视系统产生存储到录像带上的时分多路复用输出。这些摄像机被耦合到多路复用器，多路复用器以预定的时间间隔在这些摄像机之间进行切换。这样的系统具有在T0时刻输出图像的第一摄像机，和在T1时刻输出图像的第二摄像机，等等。因此，输出录像带包含来自各个摄像机的顺序图像。时分多路复用允许存储大量的信息。然而，如果发生需要重放视频摄像机的事件，查明特定事件以及多路分解录像带将成为困难且费时的任务。
即使使用数字摄像机并且产生数字输出，为了识别所述事件，多路复用的数字流仍然需要大量的人为干预。因此需要用于多路分解视频流的自动系统。
发明内容
依照本发明的一个方面，使用图像识别技术实时地对多路复用运动图像流(例如，视频)进行多路分解。在某些实施例中，通过提前到仅由一个存储通道给出的图像，能够在同一图像处同时观看不同通道存储的运动图像流的图像。所述运动图像流包含来自多个摄像机源中任一个的一个或多个图像。
本发明的说明性实施例作为计算机程序产品来实施，其中所述计算机程序产品具有在其上带有计算机可读程序代码的计算机可用介质。依照常规方法，可以用计算机系统读取和利用所述计算机可读代码。
该方法包括在处理器中接收至少一部分视频流，所述视频流是由多幅视频图像组成的。从所述视频流中分析(parse)出第一视频图像和第二视频图像。确定第一和第二视频图像间的失配量。失配量的确定能够使用任何一种比较技术来完成。可以做出逐像素的比较。可选地也可以做出逐区域的比较。如果失配低于失配阈值，第一和第二视频图像被分配给第一通道。第一通道可以是与第一摄像机相关联的存储器存储单元(memory storage)。如果失配高于失配阈值，第一视频图像被分配给第一通道，而第二视频图像被分配给第二通道。第二通道是与第二摄像机相关联的第二存储器存储单元。
该过程继续，其中从所述视频流中分析(parse)出当前图像，并且与分配给通道的每一图像进行比较。在处理过大量图像之后，系统内的每个摄像机均具有与之相关联的图像。将与某一通道(摄像机)相关联的最新图像作为参考图像。该参考图像被用于与图像流中当前图像的所有后继的比较。在所有的通道被分配之后，为各个通道确定图像失配级别。如果任一失配值均低于失配阈值，当前图像被分配给具有最低失配的通道。如果所有失配值都高于失配阈值，则将该失配值与丢弃阈值进行比较，如果所有失配值都高于丢弃阈值，则丢弃当前图像。当在此使用术语‘丢弃’时，该术语意指所述被丢弃的图像不与摄像机/通道相关联，然而可以为了以后的重放而存储和保存该图像。一旦所有通道都具有了代表性图像，图像只能被丢弃。如果所有通道/摄像机都不具有相关联的视频图像，则不使用丢弃阈值。系统能够自动确定摄像机的数量，以及当开始使用时的丢弃阈值。系统能够获得用于摄像机的参考图像，并且当分配预定数量的图像给特定摄像机(例如摄像机1)时，系统能够认知到所有摄像机已经被占用，那么可以使用丢弃阈值。
该方法发生在处理器内的计算机系统内，并且处理器能够自动地操作视频流，而无须用户的干预。
在某些实施例中，用户能够与图形用户界面进行交互，以改变各种参数。例如，用户可以决定改变失配阈值或改变丢弃阈值。用户也能够使所有参考图像被丢弃，并能使系统重新开始从视频流获取图像，以及分配这些图像给各个通道。用户也可以分配任一图像给任一通道，即使该图像对于该通道来说是高于失配阈值的。在多路分解过程期间或者多路分解过程之后，用户能够从特定通道取回图像，并且能够正转(forward)和反转(in reverse)整个图像序列。同时所有其他摄像机图像也能够被同时显示，并且能够通过只是移动所有与单个摄像机相关联的图像，对所有其他摄像机图像进行排序。
该方法可以实时地操作从流中分析的图像，所述流来自存储器，或者从多路复用器接收。为了参与实时比较，可以对参考图像和当前图像作二次抽样。在其他实施例中，可以选择视频显示的子部分，然后比较参考图像和当前图像子部分内的数据。以这样的方式，与整幅视频图像相比更少的数据被用于比较。
通过参考以下关于附图的详细描述，本发明的特征将更容易理解。
图1示出了一个实施多路分解视频图像的第一实施例的环境；图1A是说明在视频图像流中多路分解来自多个摄像机的视频图像的流程图；图1B是说明多路分解视频图像的其它方面的流程图，其中图像被二次抽样；图1C是说明多路分解视频图像的其它方面的流程图，其中图像的子部分被比较；图1D是示出了来自多个摄像机的视图的图形显示的屏幕截图；图2A示出了在显示设备上显示的参考图像，粗线框表示用户定义区域；图2B示出了在显示设备上显示的当前图像，并示出了与图2A中用于比较的区域相同的用户定义区域；图3示出了产生多路复用视频图像序列的三个摄像机(摄像机1，摄像机2，摄像机3)，其中来自每个摄像机的图像随着时间的推移被添加到所述序列；图4示出了用户选择的感兴趣的区域，其中所述区域包含所显示的日期和时间；和图5是本发明的一个实施例，其中以硬件形式来构建模块以执行所公开方法的功能。
具体实施例方式
如在下文中所使用的，术语“数字视频”暗含图像序列的数字表示(representation)，它可以在显示设备上临时地显示。典型地，数字视频包含多个帧，其中各个帧代表各自的图像。这些帧可以被进一步细分以致于这些帧是由一系列的像素组成的。如在以下说明中所使用的，术语“像素”可以意指图像的单独一个点。一幅图像中所包含的像素数量越多，视频的分辨率越高。按照惯例通常通过长度和宽度上像素数量的测量来作为分辨率的基准，例如，在800×600的分辨率中，沿着图像的长度有800个像素，而沿着图像的宽度有600个像素。
在此定义的“通道”是物理的或虚拟的信息分离，它允许信息存储在存储器中，并且可以从存储器中再现(retrieval)。例如，一个通道可以是存储器中所指定的存储单元位置(storage location)，它与特定的摄像机相关联。同样地，通道可以简单地作为信息与描述符之间的关联，例如摄像机名称或编号。
在本发明的实施例中，从多个视频源形成的图像流中的视频图像被多路分解，以便于来自给定源的图像能够被采集，分析和观看。
图1示出了一个实施本发明实施例的环境。在图1中示出了多个摄像机(摄像机A，摄像机B和摄像机C)。各个摄像机均产生包含视频信息的视频信号，所述视频信号被多路复用到一起，并且以数字形式存储在与处理器20相关联的存储器中，或者以数字或模拟形式存储在录像带25中。多路复用的信息可以包含识别信源的头信息，但是本发明并不需要多路分解所述信息的头信息。实际上，如果存在头信息，如同所述本发明将移除该头信息或者跳过该头信息，而仅处理形成图像的信息。随后由处理器对多路复用的信息进行多路分解。如果视频信息是模拟形式，首先在模拟数字转换过程中数字化该信息，模拟数字转换过程对于本领域熟练技术人员来说是众所周知的。在数字化该视频信息之后，数字数据序列被传送到处理器。可以以场格式或帧格式压缩或解压缩这些图像。如果该信息被压缩，处理器将在多路分解该视频图像流之前解压缩这些图像。同样地，数字视频可以是包括RGB和YUV的许多颜色空间表示中的任何一种。处理器可以实时地多路分解所述信息，从而由于信息从所述摄像机捕获，并被多路复用到一起，因此所述信息能够流到处理器，并被多路分解。同样地，信息流能够被首先存储在存储器中，然后再提供给处理器。
处理器执行如关于图1A的流程图所描述的操作，多路分解所述视频图像流。视频图像流能够被多路分解，无须用户的干预并且完全处于处理器的控制之下。在某些实施例中，用户可以改变参数，或重新设置系统，或人工地选择图像以与各自的通道相关联。然而，即使在这种类型的实施例中，系统仍然能够自动处理所述图像流。
应当理解在所公开的内容中，术语‘帧’将被用于指示在指定的时期内被显示的视频图像。所述公开的内容同样可适用于视频场，它通常被产生以使显示设备显示交织的图像。
如图1A所示，在视频流中识别第一视频图像110。如先前所陈述的，所述视频流可以在来自摄像机的图像被多路复用后，直接来自多个摄像机，或者所述视频流可以来自被带进处理器之内的存储器。视频流的第一视频图像被分析，并存储在与处理器相关联的存储单元中。处理器关联第一视频图像和第一摄像机，并且该图像被标记为第一摄像机的参考图像120。作为摄像机的参考图像，所述图像被用于与下面所讨论的视频流中的图像相比较。
在视频流中识别下一图像(“当前图像”)130。所述图像数据被分析并存储在与处理器相关联的存储器中。然后处理器取回所有参考图像和当前图像，并比较这些图像数据140。在该比较期间计算失配值。所述失配值可以是参考图像和当前图像的像素之间误差的百分比。能够以任何数量的方式来计算失配值，只要它是参考图像和当前图像之间公用信息量的比较。例如，可以计算当前图像和所识别的源(摄像机)的每个参考图像之间的差别率。计算当前图像的像素和参考图像的像素之间差别的绝对值之和，然后除以当前图像的像素的强度值之和。这个差别率代表当前图像和给定摄像机参考图像之间的差别。
为各个参考图像和当前图像计算各自的失配值。在该流程图中，在所述阶段，只有一幅单独的参考图像，这是因为仅有一个摄像机被识别出，但是当更多图像被识别为来自不同的参考摄像机时，参考帧将与每个摄像机相关联。
然后处理器自动地识别任何一个确定的失配值是否低于失配阈值145。尽管使用了术语‘低于’，但是可以用术语等于或低于来替代而不脱离本发明的范围。此外，所述比较过程假设以这样的标准来提供失配值，其中与较高的失配值相比，较低的失配值表示代表性图像和当前图像共有更多的共同信息。应当理解可以实施相反的标准，其中失配值越大，当前图像和代表性图像之间共有的信息越多。在这样的情况下，所有的比较都将是相反的。
如果失配值低于失配阈值，当前图像与具有最低失配值的摄像机(参考图像)相关联157。则将当前图像被作为该摄像机的参考图像，并代替先前的参考图像160。如果任何一个失配值均不低于失配阈值，则处理器比较该失配值与丢弃阈值147。一旦一幅图像与所有通道/摄像机相关联，丢弃阈值仅用于比较的目的。
如果所有失配值都不高于丢弃阈值，那么处理器将当前视频图像分配给新的摄像机150。例如，当第一参考图像与第一摄像机相关联时，当前图像将与第二摄像机相关联。在分配当前视频图像给新的摄像机的过程中，可以提供头(header)给当前图像，该头表示当前图像来自第二摄像机。处理器也可以将当前图像存储到与第二图像相关联的存储单元。所述存储单元可以是与其他摄像机的共享存储器，或者可以是专门用于第二摄像机的分离的存储器。如果所述存储器是共享存储器，处理器将创建(查找表)LUT，以关联所述图像数据与特定摄像机，以便于能够再现并显示来自该摄像机的图像。如果所有的失配值都高于丢弃阈值，则系统能够自动地丢弃当前视频图像155。为了进一步的播放，所述图像可以被存储并保存到分离的存储单元中。在其他实施例中，图像被丢弃并且不被存储。
如果当前图像被分配给新的摄像机，那么处理器将当前图像识别为新的摄像机的参考图像160。
然后处理器进行检查，以查看是否还有任何其他的图像，还是一幅都没有，过程结束165。如果还有另外的图像，再现新的图像并且过程继续。当过程继续时，更多当前图像被分配给新的摄像机，直到系统中的所有摄像机都具有相关联的参考图像。处理器能够使用摄像机的总数来编程，或者处理器能够自动的确定摄像机的总数。在监视工业中，多路复用的视频被多路复用，以便于来自每个摄像机的图像或多幅图像以连续的方式(摄像机1，摄像机2，等等)被存储在视频流内。例如，如果由三个摄像机，来自每个摄像机的一幅图像可以存储在所述流中，这样第一图像在T0被拍摄，第二图像在T1被拍摄，而第三图像在T2被拍摄。在其他实施例中，某些摄像机可以在其他摄像机添加图像之前添加多于一幅的图像到所述视频流。例如，摄像机1可以提供在T0，T1和T2拍摄的3幅图像给视频流，然后摄像机2提供在T3拍摄的图像，而摄像机3提供在T4拍摄的图像。结果，在处理器使用上述多路分解视频流的方法，首先处理少量图像之后，通常所有摄像机被识别。如果一个摄像机，例如第一摄像机具有与之相关联的预定数量的图像，例如10幅图像，则处理器能够计算具有所分配图像的摄像机的总数。由于多幅图像已经与一个摄像机(第一摄像机)相关联，很可能用于所有摄像机的图像已经被处理，并且所述多路复用的视频流已经循环一周并且回到第一摄像机。
为了提高视频流的处理速度，所述图像可以被二次抽样。在图像被比较之前，在水平方向和垂直方向上都可以对图像进行二次抽样。在一个实施例中，可以是NTSC帧的图像在尺寸上被缩少，例如在存储之前缩小到原始尺寸的1/8。可以通过移除像素来简单地实现图像尺寸的缩小。例如，为了将800×00像素的图像的像素数量缩小4倍，其他每个像素能够被移除，以致于仅剩有400×300个像素。在又一例子中，可以对图像进行变换编码，使用傅立叶或其他变换，然后在频域上被二次抽样。在另一实施例中，可以通过取平均值来减少数据。例如，每八行的八个像素的能够被平均，以致于64像素被减少为一个像素。
图1B中示出了这样的二次抽样。在比较之前参考图像和当前图像两者都被二次抽样125B，135B。为了显示的目的，视频图像可以与它们所有的像素信息一起存储在它们的实体中，但是所述图像被二次抽样以提高比较过程的速度。此外图1C示出了图像数据的一部分可以用于比较过程，而不是使用所有可显示的图像数据125C，135C。系统的用户，能够预先选择或者系统可以预先选择图像的一部分来比较。当在本申请中使用术语‘部分’时，该术语暗含在显示设备上显示图像数据，并且选择一块或者其他形状，从而选择少于所有的数据。如果预先确定了所述部分，不需要在显示设备上显示该图像数据。将基于与用户想要比较的显示设备的部分相关联的寻址单元来选择图像数据。
本领域的熟练技术人员应当理解，二次抽样和图像子部分的选择可以组合起来使用，以进一步提高比较图像和多路分解图像流的速度。
在某些实施例中，在参考图像和当前图像的比较之前，归一化图像的所选区域，以便消除任何来自比较的亮度/强度上的变化。计算参考图像中用户所选区域中以及当前图像的相同区域中的像素的平均强度值。从每个像素强度值中减去平均强度值。该步骤将对说明亮度的任何变化的值进行归一化，例如光的突然闪烁。这样，仅比较有关两幅图像中值的变化的绝对值。例如，当摄像机正在监控自动播音机器，而一辆小汽车驶近该机器时，其中小汽车的前灯突然照亮所述观看区域，这样的照明变化将被说明。也可以使用本领域公知的大量方法中的任何一种来执行此归一化，包括使用与用户所选区域的平均强度相反的RMS值。
在多路分解该图像的过程中，能够在显示设备上显示该多路分解过程800。在分离窗口中显示与摄像机相关联的图像810。如图1D所示，在用于每个摄像机的窗口中显示所述参考图像。通过不断地显示和重新保存用于每个摄像机的参考图像，维持了各个不同摄像机之间的瞬时同步。举例来说，对于贯穿四摄像机时分多路复用监视系统的每个循环，在该监视系统中在摄像机2拍摄一幅图像之前，摄像机1捕获三幅图像，而摄像机3和4均拍摄了一幅图像，与该摄像机相关联的每个通道都具有六幅保存的图像。摄像机1能够具有在T0，T1，和T2显示的图像，继之以额外重复三次的T2图像。摄像机2能够具有三幅空白图像，从而它在T3的图像被额外重复两次。摄像机3能够具有四幅所存储的空白图像，继之以重复两次的在T4的图像，而摄像机4能够具有五幅空白图像，继之以在T5拍摄的图像。这说明了贯穿这些摄像机的第一循环。在后继的循环中，参考帧将被重复，直到新的当前图像与所述摄像机相关联，且参考帧被更新。因此，将在显示设备上为所有摄像机显示图像。
由于用于摄像机的每个通道均存储了相等数量的图像，因此能够以同步方式来观看所述图像。因此，在多路分解过程期间，或者在所有图像已经被多路分解之后，系统用户能够访问一时间点，从而可以观看在所述时期内由所有摄像机捕获的所有图像。例如，系统用户能够选择倒转或前进用于特定摄像机的单独一组图像，然后该系统能够显示与所选摄像机的图像同时出现的，所有摄像机的图像。
上述定义的系统和方法能够操作多路分解视频流，而无须用户的干预。然而，用户可以驾驭该系统并且改变系统内的设置。例如，如图1D所示用户可以改变忽略阈值820或失配阈值830。用户可以将一幅图像分配给一摄像机，即使所述系统表示该图像应当被丢弃或者应当分配给不同的摄像机。照此，本系统和方法提供图像用户界面给用户，所述图像用户界面提供改变所述系统的各个参数和驾驭所述系统的控制。
用当前图像替换参考图像的过程参与了源的识别，这是因为逐步出现的变化的影响被最小化，例如白天和夜晚之间的照明变化，以及摄像机的全景拍摄。
在本发明的一个实施例中，摄像机通过扫描一个区域来摄制该区域的电影(film)。如图3所示，被多路复用到一起的由扫描摄像机捕获的图像随后被多路分解。在本实施例中，当为了关联图像与摄像机而设置失配阈值时，考虑在摄像机扫描时从一幅图像到另一幅图像的瞬时变化。例如，图3示出了产生多路复用视频图像序列320的三个摄像机(摄像机1，摄像机2，和摄像机3)，其中来自每个摄像机的图像随着时间的过去被添加到所述序列。在来自所有三个摄像机的图像都被保存到序列中之后，重复该过程。在图3A中来自摄像机1的图像出现在T0和T3。如图3B所示，如果图像从T0开始移动三个像素且覆盖该图像，所述三个像素说明在T0到T3间照相机的移动，那么从T0开始的大多数像素将与T3的图像重叠。通过在比较期间用当前图像替换参考图形，并使用更新的参考图像，最小化参考图像和当前图像之间的移动量，以致不需要使用更多精心设计的跟踪和比较技术。如果与所保存图像之间的时间相比，摄像机的移动较慢，那么能够调节所述阈值来适应所述移动。
在其他实施例中，在与当前图像进行比较之前，移动参考图像的像素的位置以说明摄像机的扫描。另外，在比较过程中，能够在几个方向上几次移动当前图像，以计算差别率并比较相对于阈值的比率。此外，能够通过趋势分析来预计移动的方向，其中移动的方向基于相同源先前的移动。因此，通过跟踪移动的方向，减少了数据位置移动和比较的数量。
在另一实施例中，在监视系统内所有摄像机都具有系统内的相关图像之后，处理器具有足够信息来识别图像与摄像机相关联的次序。一旦知晓了所述次序，系统或用户能够升高所述失配值，并为每个摄像机分配各自的失配值，以便仅识别图像中的重要变化。举例来说，如果发生了移动或照明上的实质变化，则系统能够识别这些图像，并分配标签给数字数据以便当在以后的时间重放图像时，用户能够在以后的时间找到它们。在另一实施例中，为了节约存储空间，可以仅记录确实发生移动的视频图像并将它们保存到与摄像机相关联的通道。
在某些情况下，可以用时间和/或日期来分离视频图像。在某些多路复用系统中，其中摄像机是例如包括CCD(电荷耦合器件)的数字摄像机，包含数字图像的数字数据流可以包括在数字视频图像之前的日期和时间戳。在这种情况下，能够根据日期和时间来存储并分离出图像。在其他多路复用系统中，其中摄像机产生具有叠加的日期和时间的模拟信号，或者数字摄像机包括数字图像内的日期和时间，可以用时间和日期来细分出视频图像。在这个实施例中，在数字化视频信号之后，选择用户所选择的感兴趣的区域作为所显示的时间或日期。如果用时间来分离出视频图像，能够选择用户所选区域，即如图4所示的小时400A，并且任何时候在视频图像的该区域内发生变化，视频图像的数据能够被保存到与该小时相关联的不同存储器单元。同样在图4B中示出了数字图像数据的视频显示410，其中月份的日期作为所选的用户定义区域400B。然后系统能够持续地寻找在所选用户定义区域内高于阈值的数据变化，以便识别来自月份的不同日期的图像。
图5是本发明的另一实施例，其中本发明是设备形式500。设备500可以是例如编制了程序的FPGA模块或ASIC芯片的电子设备。设备500包括再现或接收数字图像数据550的再现模块501。数字图像数据包括来自多个源的视频数据的图像。再现模块501再现代表第一图像特征的第一组数字视频数据，也再现代表当前图像特征的当前一组数字视频数据。再现模块501将第一组视频数据传递给存储模块502。存储模块502将第一组视频数据存储到存储器560中与第一源561相关联的存储单元。所述数据也可以被识别为第一源的代表性视频数据。再现模块501将第一组数字视频数据，连同当前一组数字视频数据一起传递给计算模块503。
计算模块503使用上述所阐明的第一组数字视频数据和当前一组数字视频数据来计算差别率。如果已经识别了多于一个的源，再现每个源的代表性图像的数字视频数据，并计算每一个的差别率。所述差别率(“失配值”)被转发到查询模块504。查询模块504比较相对于失配阈值的差别比率。如果摄像机源的代表性图像的差别率低于所述阈值，则将当前图像与该摄像机关联。
然后将数字视频数据存储到与所识别摄像机562相关联的存储器中。举例来说，如果第4摄像机的代表性图像的失配值低于所述失配阈值，那么当前数字视频数据将与该摄像机相关联。此外，当前图像将成为第4摄像机的代表性图像。与摄像机相关联的存储器可以是共享存储器，其中将一识别符与图像数据相关联，以识别与摄像机相关联的图像数据，或者所述存储器可以是分立存储器或分段存储器。如果所述存储器是完全独立(分离)的，处理器将发送相关的图像数据到特定的一块物理存储器，例如RAM芯片。如果存储器是分段的，不同的存储器地址将与特定处理器相关联，且处理器将具有LUT，并将把数字图像数据分配给与该摄像机相关联的存储器分段。
如果所有差别率都高于失配值，那么查询模块504比较该失配值和丢弃阈值。然后如果所有失配值都高于该丢弃阈值，系统能够自动丢弃图像数据，而无须用户的干预。如果失配值不高于该丢弃阈值，则查询模块将自动地把图像数据分配给新的摄像机源。在其他实施例中，用户在显示设备510上接收这样的消息，由于失配值高于阈值，当前视频数据的图像不容易与特定的源相关联。然后用户能够通过输入设备511来发送一响应，所述输入设备例如以连接方式耦合到所述设备上的键盘或鼠标，所述响应表示当前图像是来自第一源还是来自先前识别的其他源，应当与新的源相关联还是应当被丢弃。查询模块504接收此信息，并命令存储模块502将用于当前视频图像的当前数字视频数据存储到所识别源的存储单元。提供当前图像的显示给系统用户，以及，用于每个摄像机的各个代表性图像。这允许用户做出在识别过程中提供有帮助的可视比较。
应当理解，如果用户将当前数字视频数据识别为来自新的源，那么将把当前数字视频数据关联到与新的摄像机源相关联的存储单元。在该设备中也可以包括归一化模块505。归一化模块对与代表性的视频数据进行比较的当前视频图像的数字视频数据进行归一化。如上所述，数字视频数据的归一化能够说明照明的变化，例如从白天到夜晚而发生的变化。归一化先于差别率的计算而发生。
应当注意，在此所述流程图被用于示范本发明的各个方面，而不应当解释为将本发明限制于任何特定逻辑流程或逻辑实现。所描述的逻辑可以被分割为几个不同的逻辑块(例如，程序，模块，功能，或子程序)，而不会改变整体结果，另外也不会脱离本发明的实际范围。时常地，可以增加，修改，省略，以不同的顺序执行，或者使用不同的逻辑结构(例如，逻辑门，循环基元，条件逻辑，以及其他逻辑结构)来实施逻辑单元，而不会改变整体结果，另外也不会脱离本发明的实际范围。
本发明可以体现为许多不同的形式，包括但决不限于，由处理器(例如微处理器，数字信号处理器，或通用计算机)使用的计算机程序逻辑，由可编程逻辑设备(例如现场可编程门阵列(FPGA)，或其他PLD)使用的可编程逻辑，分立元件，集成电路(例如，专用集成电路(ASIC))，或包括其任何组合的任何其他装置。
在此实施所有或一部分先前描述功能的计算机程序逻辑可以体现为各种形式，包括但决不限于，源代码形式，计算机可执行形式，和各种中间形式(例如，由汇编程序，编译程序，链接程序，或定位程序生成的形式)。源代码可以包括由各种操作系统或操作环境使用的，以各种编程语言(例如，目标代码，汇编语言，或高级语言，例如Fortran，C，C++，JAVA，或HTML)实施的一系列计算机程序指令。所述源代码可以定义和使用各种数据结构和通信消息。源代码可以是计算机可执行的形式(例如，通过解释程序)，或者源代码可以被转换为(例如，通过翻译程序，汇编程序，或编译程序)计算机可执行的形式。
可以用任何形式(例如，源代码形式，计算机可执行形式，或中间形式)将计算机程序永久或暂时地安装到有形存储介质上，例如半导体存储设备(例如，RAM，ROM，PROM，EEPROM，或闪速-可编程RAM)，磁性存储设备(例如，软盘或固定硬盘)，或其他存储设备。可以用任何形式将计算机程序安装到信号中，所述信号可以使用各种通信技术而发送到计算机，所述各种通信技术包括但决不限于，模拟技术，数字技术，光技术，无线技术，联网技术，或网际互连技术。可以用任何形式来散布(分发)计算机程序，例如带有打印文件或电子文件的可移动存储介质，用计算机系统(例如，在系统ROM或固定硬盘上)预加载所述计算机程序，或者通过通信系统(例如，因特网或万维网)上的服务器或电子公告板来散布所述计算机程序。
在此实施所有或一部分先前描述功能的硬件逻辑(包括由可编程逻辑设备使用的可编程逻辑)可以使用传统人工方法来设计，或者可以使用各种工具，例如计算机辅助设计(CAD)，硬件描述语言(例如，VHDL或AHDL)，或PLD编程语言(例如，PALASM，ABEL，或CPUL)来对所述硬件逻辑进行设计，捕获，仿真，或以电子方式编制文档。本发明可以体现为其他的特殊形式，而不脱离本发明的实际范围。从所有方面来考虑，所述实施例仅是示范性的而不是限制性的。
权利要求
1.一种用于多路分解视频流中的视频图像的方法，所述视频图像是由多个摄像机产生的，该方法包括在处理器中接收由多个视频图像组成的视频流的至少一部分；从所述视频流中分析第一视频图像；从所述视频流中分析第二视频图像；确定第一和第二视频图像之间的失配量；如果所述失配低于失配阈值，将第一和第二视频图像分配给第一通道。
2.根据权利要求1的方法，其中所述第一通道包括用于存储视频图像的存储器存储单元位置。
3.根据权利要求1的方法，其中所述第一通道与第一摄像机相关联。
4.根据权利要求1的方法，其中如果所述失配高于失配阈值，将第一视频图像分配给第一通道，而将第二视频图像分配给第二通道。
5.根据权利要求4的方法，其中所述第二通道与第二摄像机相关联。
6.根据权利要求4的方法，其中在将与摄像机相关联的每个通道分配给视频图像之后，将来自视频流的新的视频图像与来自每个通道的至少一幅视频图像进行比较；确定新的视频图像与来自每个通道的至少一幅视频图像之间的失配量；和将新的视频图像分配给具有最低失配的通道。
7.根据权利要求6的方法，其中如果最低失配高于丢弃阈值，则丢弃所述视频图像，而不是将新的视频图像分配给通道。
8.根据权利要求4的方法，还包括将第三视频图像与第一和第二视频图像进行比较，以确定第一和第二失配；如果第一和第二失配高于失配阈值，将第三视频图像分配给第三通道。
9.根据权利要求4的方法，还包括将第三视频图像与第一和第二视频图像进行比较，以确定第一和第二失配；如果第一失配和第二失配高于失配阈值，将第三视频图像分配给与较低失配相关联的通道。
10.根据权利要求4的方法，还包括将第三视频图像与第一和第二视频图像进行比较，以确定第一和第二失配；如果第一和第二失配都高于丢弃阈值，丢弃第三视频图像。
11.根据权利要求4的方法，其中每个通道均与摄像机相关联。
12.根据权利要求1的方法，还包括将摄像机的数量提供给处理器。
13.一种用于多路分解具有多幅图像的图像流的方法，该方法包括将图像流内每一新的图像和与摄像机相关联的代表性图像进行比较，以确定失配值；如果每个失配值均高于失配阈值，将所述新的图像分配给新的摄像机。
14.根据权利要求13的方法，其中如果任一失配值均低于失配阈值，选择最低的失配值，并将所述新的视频图像关联到与最低失配值相关联的摄像机。
15.根据权利要求14的方法，其中如果失配值都高于丢弃级别，丢弃该新的视频图像。
16.根据权利要求14的方法，其中在将预定数量的视频图像分配给特定摄像机之后，能够确定摄像机的总数量。
17.根据权利要求1的方法，其中实时地执行通道分配。
18.根据权利要求1的方法，其中分析数字图像流，并且将所述视频图像实时地分配给通道。
19.根据权利要求1的方法，其中在比较之前对所述第一视频图像和第二视频图像进行二次抽样。
20.根据权利要求1的方法，其中如果视频图像流包含头信息，丢弃该头信息。
21.根据权利要求1的方法，还包括提供用于设置失配级别的用户界面；接收所述失配级别的用户输入。
22.根据权利要求1的方法，还包括提供用于设置丢弃级别的用户界面；接收所述丢弃级别的用户输入。
23.根据权利要求15的方法，还包括允许用户将视频图像分配给摄像机，即使所述失配高于丢弃错误级别。
24.根据权利要求15的方法，其中用户可以选择视频图像以在比较之前丢弃。
25.根据权利要求15的方法，其中如果视频图像与摄像机相关联，且新的视频图像也与该摄像机相关联，所述新的视频图像成为用于所有进一步比较的参考图像。
26.根据权利要求13的方法，其中用户可以清空所有参考图像，并且开始将视频图像分配给每个摄像机的过程。
27.根据权利要求26的方法，还包括自动调节参考视频图像和新的视频图像内的亮度，以便在比较之前亮度级别基本相似。
28.根据权利要求13的方法，还包括选择参考图像的一部分，以用于与新的视频图像的相同部分进行比较。
29.一种包含计算机可读的计算机代码的计算机程序产品，用于多路分解视频流中的视频图像，所述视频图像是由多个摄像机产生的，该计算机代码包括用于在处理器中顺序地接收由多个视频图像组成的视频流的计算机代码；用于从所述视频流中分析第一视频图像的计算机代码；用于从所述视频流中分析第二视频图像的计算机代码；用于确定第一和第二视频图像之间的失配量的计算机代码；如果所述失配低于失配阈值，将第一和第二视频图像分配给第一通道的计算机代码。
30.根据权利要求29的计算机程序产品，其中在用于分配的计算机代码中，所述计算机代码将第一和第二视频图像分配给存储器存储单元。
31.根据权利要求29的计算机程序产品，其中所述第一通道与第一摄像机相关联。
32.根据权利要求29的计算机程序产品，还包括如果所述失配高于失配阈值，将第一视频图像分配给第一通道，而将第二视频图像分配给第二通道的计算机代码。
33.根据权利要求32的计算机程序产品，其中所述第二通道与第二摄像机相关联。
34.根据权利要求32的计算机程序产品，在将与摄像机相关联的每个通道分配给视频图像之后，将来自视频图像的新的视频图像与来自每个通道的至少一幅视频图像进行比较的计算机代码；用于确定新的视频图像与来自每个通道的至少一幅视频图像之间的失配量的计算机代码；和用于将新的视频图像分配给具有最低失配的通道的计算机代码。
35.根据权利要求34的计算机程序产品，还包括如果最低失配高于丢弃阈值，则丢弃所述视频图像，而不是将新的视频图像分配给通道的计算机代码。
36.根据权利要求32的计算机程序产品，还包括用于将第三视频图像与第一和第二视频图像进行比较，以确定第一和第二失配的计算机代码；如果第一和第二失配高于失配阈值，将第三视频图像分配给第三通道的计算机代码。
37.根据权利要求32的计算机程序产品，还包括用于将第三视频图像与第一和第二视频图像进行比较，以确定第一和第二失配的计算机代码；如果第一和第二失配低于失配阈值，将第三视频图像分配给与较低失配相关联的通道的计算机代码。
38.根据权利要求32的计算机程序产品，还包括用于将第三视频图像与第一和第二视频图像进行比较，以确定第一和第二失配的计算机代码；如果第一和第二失配高于失配阈值，丢弃第三视频图像的计算机代码。
39.根据权利要求32的计算机程序产品，其中每个通道均与摄像机相关联。
40.根据权利要求29的计算机程序产品，还包括提供用于输入摄像机数量的用户界面的计算机代码。
41.一种具有计算机代码的计算机程序产品，用于多路分解具有多幅图像的图像流，该计算机代码由计算机使用，该计算机代码包括用于将图像流内每一新图像和与摄像机相关联的代表性图像进行比较，以确定失配值的计算机代码；如果每个失配值均高于失配阈值，将所述新图像与新摄像机相关联的计算机代码。
42.根据权利要求41的计算机程序产品，其中如果任一失配值均低于失配阈值，选择最低的失配值，并将所述新的视频图像关联到与最低失配值相关联的摄像机的计算机代码。
43.根据权利要求42的计算机程序产品，还包括用于如果失配值都高于丢弃级别，丢弃该新的视频图像的计算机代码。
44.根据权利要求42的计算机程序产品，在将预定数量的视频图像分配给特定摄像机之后，确定摄像机总数量的计算机代码。
45.根据权利要求29的计算机程序产品，其中实时地执行通道分配。
46.根据权利要求29的计算机程序产品，其中所述计算机程序分析数字图像流，并且将所述视频图像实时地分配给通道。
47.根据权利要求29的计算机程序产品，还包括用于在比较之前对所述第一视频图像和第二视频图像进行二次抽样的计算机代码。
48.根据权利要求29的计算机程序产品，还包括用于识别与视频图像相关联的头信息，并且丢弃该头信息的计算机代码。
49.根据权利要求29的计算机程序产品，还包括用于提供用于设置失配级别的用户界面的计算机代码；用于接收所述失配级别的用户输入的计算机代码。
50.根据权利要求29的计算机程序产品，还包括用于提供用于设置丢弃级别的用户界面的计算机代码；用于接收所述丢弃级别的用户输入的计算机代码。
51.根据权利要求43的计算机程序产品，还包括用于允许用户将视频图像分配给摄像机，即使所述失配高于丢弃错误级别的计算机代码。
52.根据权利要求43的计算机程序产品，还包括用于允许用户选择视频图像以在比较之前丢弃的计算机。
53.根据权利要求41的计算机程序产品，其中如果视频图像与摄像机相关联，且新的视频图像也与该摄像机相关联，所述新的视频图像成为用于所有进一步比较的参考图像。
54.根据权利要求41的计算机程序产品，还包括允许用户清空所有参考图像，并且开始将视频图像分配给每个摄像机的过程的计算机代码。
55.根据权利要求54的计算机程序产品，还包括用于自动调节参考视频图像和新的视频图像内的亮度，以便在比较之前亮度级别基本相似的计算机代码。
56.根据权利要求41的计算机程序产品，还包括用于选择参考图像的一部分，以用于与新的视频图像的相同部分进行比较的计算机代码。
全文摘要
公开了一种视频分析器，其中，一多路复用的运动图像流(例如，视频)被多路分解。该运动图像流包含来自多个摄像机源中任一个的一幅或多幅图像。多路分解该流的过程是自动的，而无须用户的干预。通过识别图像流中的图像并将这些图像与来自摄像机源的代表性图像进行比较，多路分解该流。在比较期间，确定失配值并将该失配值与失配阈值进行比较。如果该失配值低于失配阈值，将图像分配给与摄像机相关联的通道。在某些实施例中，通过提前到仅由一个存储通道给出的图像，能够在同一图像处同时观看不同通道存储的运动图像流图像。
文档编号H04N5/14GK1742490SQ200480002758
公开日2006年3月1日 申请日期2004年1月22日 优先权日2003年1月23日
发明者塞梅恩·沃德·麦凯三世, 吉恩·阿瑟·格林斯达夫, 苏珊·希思·卡尔文·弗莱切, 希拉·G·惠特克 申请人:因特格莱弗硬件技术公司