专利名称：图像数据检索的制作方法
技术领域：
本发明涉及数据检索，具体地说，本发明涉及视频图像中的运动补偿和/或估计。
在诸如视频图像之类的图像序列中，运动的对象通常会在连续的图像的不同区域内出现。
在对数字视频信号的编码中，众所周知的是使用诸如MPEG-2编码之类的压缩方案，以便通过下述方法显著地减少包括在信号中的数据量，即利用多种形式的运动估计技术，仅对整个连续图像的一部分图像进行完整的编码，其它图像则是通过根据对已编码的图像进行预测而生成的，其中将出现运动对象的连续图像的部分之间的相关度是通过在编码视频信号包括表示已编码图像的离去片段与后续预测图像的到达片段之间的空间偏移量的所谓运动向量而得以确保的。
例如1997年伦敦出版的Henve Benoit的“Digital TelevisionMPEG-1，MPEG-2 and principles of the DVB system(数字电视MPEG-1、MPEG-2和DVB系统的原理)”中给出了根据MPEG标准对数字视频编码进行运动估计或补偿的应用的一般内容。
运动估计或补偿的另一个应用是视频扫描速率转换，其中，视频信号处理系统的输出图像速率不同于输入图像速率。这种类型的应用得益于使用了如Gerard de Haan等人在《IEEE视频技术电路与系统学报》1993年10月3卷5期发表的“True Motion Estimation with 3-DRecursive Block Matching(用3-D递归块匹配进行精确运动估计)”以及Gerard de Haan在《IEEE消费者电子学学报》1999年8月45卷3期发表的“IC for Motion-compensated De-interlacing，NoiseReduction and Picture-rate conversion(用于运动补偿的去交错、降噪和图像速率转换的IC)”所述的运动向量。
就上述编码或扫描率转换方法以及运动估计或补偿的其它实际应用而言，根据被称为块匹配的技术来确定运动向量，利用这种技术，就已选定的一般可以为方形像素块且通常包含8×8个像素的图像片段来说，限定这样的搜索区域该区域包围了后续图像中的相应像素块，该像素块位于所述区域的中心，并且所述区域一般包含例如88×40个像素。通过块匹配，在上述搜索区域内搜索包含与选定像素块相匹配的像素数据的像素块。
在本系统中，所述搜索区域或窗口中的图像数据一般存储在大小与需要相对大的缓冲存储器的图像宽度相同的本地缓冲器或芯片级存储器中。
在将运动向量赋给诸如图像的像素块之类的新片段时，必须通过从后台存储器所存储的图像中传送包围新像素块的像素块来更新所述搜索区域的内容。用流水线技术与图像处理同步地更新上述搜索区域，以使得系统的整个数据吞吐量达到最佳。
本发明的目的是提供一种更新上述窗口的有显著改进的方式，由此就改进的效率而言，使图像存储器的存取可以被优化。为此，本发明提供了用于数据检索的方法和装置以及如独立权利要求项所限定的设备。
优选实施例由从属权利要求项所限定。
依照本发明的第一个方面，通过在图像上按预定的扫描方向平移包括一个图像片段以及一个或多个相邻图像片段的预定窗口，利用能存储当前窗口中的数据的缓冲存储器并在图像上沿垂直扫描方向平移该窗口的位置，来从图像存储器中检索出属于图像的所述图像片段的数据，所述窗口的宽度比图像的宽度小。所述一个或多个相邻图像片段不必与上述图像片段有相同的大小，不过在某些实际的实施例中它们有着相同的大小。
通过在正被处理的图像上垂直扫描上述搜索窗口——即按连续的垂直列来扫描该窗口，可以将对后台存储器的访问需求减低为只是连续的水平存储器访问，由此就减少硬件限制并缩短处理时间。尽管选定的相应图像片段相对是大的，但对于存储搜索区域的芯片级存储器的带宽需求而言仍然是完全可接受的。
在优选实施例中，对搜索区域的限定与图像宽度无关，并且，缓冲存储器具有与图像宽度无关的大小。图像宽度是在外部确定的，例如为720个像素，但其它的值也可以。按体系结构上的考虑来确定缓冲存储器的宽度。实际的缓冲存储器宽度为8个像素的倍数，例如为256个像素。通过使搜索区域与缓冲存储器大小独立于图像宽度，可以用同样的体系结构来处理若干个图像宽度。
依照所述方法的特定优选实施方式，通过将搜索区域限定成包括多个像素块的水平行，可以进一步减少处理时间，对下一水平行中沿搜索区外部的扫描方向的像素块而言，更新区域隶属于所述搜索区。
以下参照附图更详细地说明本发明的实施例，在附图中
图1是用运动估计值进行图像预测的简化说明性实例；图2说明了用现有技术的块匹配技术来确定运动向量；图3说明了用依照本发明实施例的垂直搜索区域扫描来确定运动向量；图4是本发明的估计装置的简化块图。
在图1中，给出了运动估计的应用的实例，该实例根据一系列连续图像的在前的图像将—图像内插到该图像系列内。这种内插一般用在例如从50Hz转换成100Hz的图像格式的视频扫描率转换中。
每个运动向量均描述了第一图像A中的离去片段BD的位置与第二图像B中的到达区BA的位置之间的差异。因此，该运动向量表示单个对象从第一图像中的离去区向第二图像中的到达区的运动。
图2说明了确定运动向量V并将该向量赋给呈输入视频信号的8×8像素块B形式的图像片段。根据现有技术中周知的所谓块匹配技术来进行运动向量估计，由此，可以选定图像B中的像素块BD-B，将运动向量V赋给像素块BD-B，并且搜索区域或窗口S包围图像B中的实际像素块BD-B。一般地说，搜索区域S可以包括在水平方向和垂直方向上包围像素块BD-B的多个像素块，就8×8像素块而言，搜索区域S的大小例如可以为88×40个像素。
通俗地说，通过在搜索区域或窗口S中搜索与第一图像A中的像素块BD-A相匹配的像素块BA-B，可以确定要被赋给实际像素块BD-B的运动向量V。
利用块匹配技术，可以按在某种程度上与运动补偿或估计的实际应用有关的不同复杂程度来执行搜索过程，但该过程一般涉及从存储在预测存储器中的一组被称为候选向量中选择出最佳向量。上述搜索过程将不在此详述，但如前所述，Gerard de Haan等人在《IEEE视频技术电路与系统学报》1993年10月3卷5期发表的“Ture-motionEstimation with 3-D Recursive Search Block Matching(用3-D递归块匹配进行精确运动估计)”以及Gerard de Haan在《IEEE消费者电子学学报》1999年8月45卷3期发表的“IC for Motion-compensated De-interlacing，Noise Reduction and Picture-rateconversion(用于运动补偿的去交错、降噪和图像率转换的IC)”中给出了对多种选项的综合分析。
通过这种方式，可以为图像的所有像素块确定运动向量。
在图2所示的现有技术方法中，每次将运动向量赋给诸如像素块之类的新图像片段时，都必须更新搜索区域S的内容，这是因为搜索区域必须包括多个在垂直和水平方向上包围选定像素块的像素块。这种对像素块的更新会导致很大的带宽需求，以便将图像数据传至搜索区域缓冲器。为此，现有技术的系统一般使用包含整个图像宽度的本地缓冲器。这虽然能解决带宽问题，但存在明显的缺点——即实现方式会导致对图像大小有限制，而且缓冲器必须相对很大。
如图3所示，依照本发明的方法，将图像的选定图像片段限定成包括位于图像的单个水平行中的多个连续的像素块。而且，将包围图像片段BD-B的搜索区域S限定成在水平方向上延伸的区域，因此搜索区域S在水平方向上包括多个第二像素块，其数量要多于实际图像片段BDP中的单个行中的块的数量，并且，所述第二像素块自身可以位于搜索区域S的中心部分。
与上述通过沿垂直扫描方向SC逐片段地平移搜索区域S在图像上的位置来执行块匹配以及将运动向量赋给在图像中垂直分布的片段这样的特征相结合，可以很明显地便于更新搜索区域，因为，可以将对图像存储器的访问需求减低为仅为水平存储器访问。从而，可以减少硬件限制并缩短处理时间。
尽管本发明需要比当前系统更大的本地搜索带宽，但该带宽可以是在完全可接受的带宽要求范围内，从而使搜索区域能处理例如16个由8×8像素构成的标准像素块，每个像素块均位于水平长度为128字节的单个水平行内，而两侧的64字节的水平延伸区域则允许通过运动向量进行数据存取，从而导致与32个标准像素块相对应的256个字节的宽度。更新这种搜索区域需要由256个连续存储器地址构成的存储器存取，这可以用当前的存储器系统来非常有效率地加以实现。在该特定的实例中，存在有2倍的带宽开销，因为，需要将256个字节装入缓冲器中以便处理12字节的像素数据。在许多系统中，这种带宽损失是完全可接受的，但缓存大小与带宽之间的其它折衷办法也是可行的。在上述特定实例中，缓冲器仅有256个字节的宽度，这个宽度与当前用于处理标准视频信号的系统所使用的720字节的整个图像宽度相比有显著的减少。
如图3所示，搜索区域S可以包括多个由像素块构成的水平行，即包括与40字节的垂直高度相对应的5行。这方面，如果更新区域UP-B隶属于搜索区域，则可以优选地进一步减少处理时间。在通过将实际的片段从一行平移到下一行而在图像上沿垂直扫描方向SC平移搜索区域S时，更新区域UPD的可用性会在用于当前片段的块匹配和运动向量的确定正在进行的同时将用于下一行的像素块转移到更新区域。
在图4的例如在视频扫描率转换时使用的可能的运动估计器结构的简化框图中，对存储在图像存储器1内的一对图像A和B进行运动估计，从图像存储器1将包括要为其确定运动向量的成组图像片段的图像A转移到块匹配器2。在块匹配器2中，利用从本地缓冲器或搜索区域存储器3转移到块匹配器2的搜索窗S并且利用一组从向量存储器4转移到块匹配器2的候选运动向量CV，搜索图像B中与图像A中预定的图像块相匹配的图像片段组或块。
暂存在缓冲存储器3内的搜索区域S包含有图像B数据的一个子集。
向量存储器4存储有为在前的图像的片段组或块所确定的所有的运动向量，就要在图像A中搜索的图像块而言，候选向量组一般包括在前的图像或当前图像内相邻图像块中相同位置处为图像块确定的运动向量。
通过将上述多个被限定成包围实际像素块BD-B的像素块从图像存储器1转移到本地缓冲存储器3来形成搜索区域或窗口S，在搜索和块匹配处理期间内，搜索区域保持存储在本地缓冲存储器3中。由于依照本发明实际图像片段是由位于图像的同一水平行内的像素块构成的，故可通过用选择装置5对存储器1作简单的水平行存取，以传送用于搜索区域S的像素块。
在块匹配器2中进行的块匹配处理过程在本技术中是周知的并且包括用候选向量CV在本地实现的块比较或块匹配。通过这一过程，可以对各个候选向量找出匹配的内容M。在向量选择器6中选择最佳匹配，相应的最佳向量BV存储在向量存储器4内，以供确定将来的运动向量时使用。
在对实际图像片段作块匹配的过程的同时，通过将相应的像素块从图像存储器1转移到包括在更新区域UP-B内的搜索区域存储器3，准备处理下一个片段。
对本领域熟练的技术人员而言，很清楚，整个运动估计装置还包括用于将图像数据载入图像存储器1中的装置以及从向量存储器4读出要在以后处理中使用的向量的装置。
应该注意，上述为实施例说明而不是限制本发明，本领域熟练的技术人员可以在不脱离后附权利要求的范围的情况下设计出多个替代性实施例。在权利要求中，括号中的标号不应看作是限制本发明。“包括”一词不排除存在有权利要求中列出的以外的其它部件或步骤。可用包括若干独立部件的硬件以及用适当编程的计算机来实现本发明。在列举出了若干装置的装置中，可用一个或相同的硬件来实现上述多个装置。在不同的权利要求项中所说的某些装置并不意味不能有效地使用这些装置的组合。
总之，就从图像存储器中检索数据而言，特别是就数字视频图像中的运动补偿和/或估计而言，为实际的图像片段(BD-B)限定窗口(S)，该窗口包括实际的图像片段和一个或多个相邻的图像片段。窗口宽度小于图像宽度。当在图像上进行处理时，窗口(S)按垂直扫描方向(SC)从一个片段平移至下一个片段。
更新区域(UP-B)可以隶属于窗口(S)，以便与处理当前片段的同时为处理下一个图像片段作准备。
权利要求
1.一种用于数据检索的方法，按照该方法，通过在图像上沿预定扫描方向平移包括图像片段和一个或多个相邻图像片段的预定窗口(S)，来从图像存储器(1)中检索出属于图像的图像片段(BD-B)的数据，所述窗口的宽度要小于图像的宽度，所述方法包括下列步骤使用能存储当前窗口(S)的数据的缓冲存储器(3)；以及在图像(B)上沿垂直扫描方向(SC)平移窗口(S)的位置。
2.如权利要求1所述的方法，其中，所述窗口的大小与图像的大小无关，并且，所述缓冲存储器具有与图像的大小无关的大小。
3.如权利要求1所述的方法，其中，在所述垂直扫描方向上，更新区域(UP-B)隶属于当前窗口，该更新区域(UP-B)包括下一个水平行的像素。
4.如权利要求1所述的方法，其中，在所述垂直方向上逐列地扫描整个图像(B)。
5.如权利要求1所述的方法，其中，所述图像片段由16个像素块构成，例如每个像素块为8×8个像素，并且，所述窗口由32个像素块构成，例如每个像素块为8×8个像素。
6.如权利要求1所述的方法，其特征在于，它可用于在数字视频信号的降噪中进行过滤。
7.如权利要求1所述的方法，其特征在于，它可用于在视频格式转换中进行内插。
8.如权利要求1所述的方法，其特征在于，它可用于对交错的视频信号进行去交错。
9.一种用于数据检索的装置，利用该装置，通过在图像上沿预定扫描方向平移包括图像片段和一个或多个相邻图像片段的预定窗口(S)，来从图像存储器(1)中检索出属于图像的图像片段(BD-B)的数据，所述窗口的宽度要小于图像的宽度，所述装置包括能存储当前窗口(S)的数据的缓冲存储器(3)；以及在图像(B)上沿垂直扫描方向(SC)平移窗口(S)的位置的装置。
10.如权利要求9所述的装置，其中，所述缓冲存储器(3)的存储容量被限定成能包括当前窗口以及更新区域(UP-B)，该更新区域包括在垂直方向上的下一水平行的像素。
11.如权利要求10所述的装置，其中，所述装置还包括在处理当前窗口(S)的数据的过程期间将所述图像的像素数据从图像存储器(1)转移到所述更新区域(UP-B)的装置。
12.一种用于对视频进行编码或再现的设备，该设备包括用于获得视频图像的输入单元；以及如权利要求9的、用于检索数据的装置，利用该装置，从图像存储器(1)中检索出属于图像的图像片段(BD-B)的数据。
全文摘要
就从图像存储器中检索数据而言，特别是就数字视频图像中的运动补偿和/或估计而言，为实际的图像片段(BD－B)限定窗口(S)，该窗口包括实际的图像片段和一个或多个相邻的图像片段。窗口宽度小于图像宽度。当在图像上进行处理时，窗口(S)按垂直扫描方向(SC)从一个片段平移至下一个片段。更新区域(UP－B)可以隶属于窗口(S)，以便与处理当前片段的同时地为处理下一个图像片段作准备。
文档编号H04N7/12GK1602503SQ02824186
公开日2005年3月30日 申请日期2002年12月3日 优先权日2001年12月3日
发明者A·K·里门斯, R·J·舒特坦, S·拉思纳姆, A·马卡托, K·A·维塞斯 申请人:皇家飞利浦电子股份有限公司