专利名称：采用自适应搜索策略的快速多帧运动估计的制作方法
采用自适应搜索策略的快速多帧运动估计本申请是申请日为2004年10月14日，题为“采用自适应搜索策略的快速多帧运动估计”，申请号为200910222053. 7的专利申请的分案申请。
背景技术：
运动补偿经常与图像数据压缩编码结合使用。采用运动补偿的图像数据压缩编码技术的ー个实例是已经提出的H. 264标准(更正式地称为高级视频编码(AVC)标准，由国际标准化组织(ISO)的运动图像专家组和国际电信联盟的电信标准化部门(ITU-T)的视频编码专家组(VCEG)联合形成的联合视频小组(JV T)开发)。在H. 264编码中，将矩形块的像素数据从先前帧的參考块中减去，并且对得到的差值信息进行变换以得到系数数据。量化该系数数据，然后对得到的信息重新排序并进行熵编码，以用于传输和/或记录。为了利用视频信号中的时间冗余性，即使是在图像中存在运动和/或相机移动吋，參考块也可以在图像帧中从当前正在编码的块处进行位移。參考块的位移称为“运动补偿”。“运动估计”过程确定在先前帧中(在搜索窗中)哪个像素块与当前正在编码的块最佳匹配。在当前編码的块和先前帧中最佳匹配块之间的位移用“运动矢量”表示，其是运动估计过程得到的結果。运动矢量包含在“边信息”中，“边信息”与当前块的经过变换、量化、重新排序、熵编码的差值信息一起发送。运动补偿使得在当前像素块与參考块之间的差值最小化，从而能够使得需要发送/记录的数据量最小化。运动补偿视频压缩编码的ー个问题是编码所需的处理量。运动估计可以包括处理负荷的相当大的一部分，特别是采用所谓的“全捜索”算法吋。还提出了所谓的“快速捜索”算法，其中采用了縮小的搜索图形(pattern)，轻微降低了图像质量。
图I是根据一些实施例的图像数据处理系统的高级别方框图；图2是图I中系统的图像数据压缩编码部分的方框图；图3采用功能块的形式示出了图2的压缩编码部分的操作；图4A-4C共同形成流程图，示出了图2的压缩编码部分根据ー些实施例所执行的运动估计过程；图5示意性地示出了图4A-4C的运动估计过程中，在一些情况中使用的六角形搜索图形；以及图6示意性地示出图4A-4C的运动估计过程中，在另ー些情况中使用的十字(cross)搜索图形。
具体实施例方式图I是根据一些实施例的图像数据处理系统100的方框图。图像数据处理系统100包括压缩编码部分102，其是根据一些实施例提供的。系统110还包括图像数据帧源104。图像数据帧源耦合到压缩编码部分，用来为压缩编码部分提供图像数据帧序列。图像数据帧源可以是，例如摄像机、电视电影、数字视频磁带再生设备等。系统100还包括传输信道106。压缩编码部分耦合到传输信道，用来提供经过压缩编码的图像数据。传输信道还可以用于将经过压缩编码的图像数据发送到另一位置和/或者将经过压缩编码的图像数据存储到记录介质(未単独示出)上。图2是图像数据压缩编码部分102的实施例的方框图。压缩编码部分102可以包括处理器202。处理器202可以是例如通用处理器，诸如常规微处理器，以及/或者数字信号处理器(DSP)。压缩编码部分102还可以包括存储设备204，其耦合到处理器。存储设备204可以存储程序指令，所述程序指令控制处理器，使得处理器根据如下所述的ー些实施例执行图像数据压缩编码。压缩编码部分还可以包括工作存储器206 ( S卩，RAM-随机存取存储器)，其耦合到处理器202。在另ー实施例中，压缩编码部分102可以实现为特定用途集成电路(ASIC)，其配置为根据如下所述的ー些实施例执行图像数据压缩编码。图3采用功能块的形式示出了压缩编码部分102的操作。在图3中，当前正在压缩编码的输入图像数据帧用302表示。根据H. 264标准，可以分别处理每个“宏块”(16X16的像素块)。此外，如果有利的话，每个宏块可以再分为8X16、16X8或者8X8的块。如果还有利的话，每个8X8的块还可以再分为8X4、4X8或者4X4的块。无论是否进行了再分，每个宏块都可以采用“帧内”模式或者“帧间”模式(即，帧内预测或者帧间预測)进行编码。304表示对特定块选择了帧内模式。用开关306表示在帧间预测的參考块和帧内的预测參考块之间进行选择。开关306的输出是预测的參考块。预测的參考块是从重建的帧中取出的，该重建的帧在帧内预测308的情况中是当前处理的帧(未滤波)，或者是已经在312处进行了滤波并存储在314中的先前帧310，其也可能是与一个或多个其他先前帧一起存储在314中。在一些实施例中，可以从中选择最大到5个的先前帧，来在帧间模式中提供预测的參考块。这5个先前帧可以按照与时间相反的顺序称为“RefO”、“Ren”、“Ref2”、“Ref3”和“Ref4”。RefO可以是在输入的图像数据帧序列中在当前正在压缩编码的帧之前最紧邻的帧；Refl可以是在该图像数据帧序列中在RefO之前最紧邻的帧；Ref2可以是在该图像数据帧序列中在Refl之前最紧邻的帧；Ref3可以是在该图像数据帧序列中在Ref2之前最紧邻的帧；以及Ref4可以是在该图像数据帧序列中在Ref3之前最紧邻的帧。如316所示，可以对參考帧运用运动估计算法，为在当前帧中的当前块或者子块寻找在參考帧中的最佳匹配块或者子块。以下阐述了根据ー些实施例提供的运动估计算法的细节。除了以下所述的运动估计算法之外，图3中所示的全部压缩编码过程整体上可以根据常规原理，例如在H. 264标准中所阐述的原理来执行。采用由运动估计过程316所产生的运动矢量，可以对參考帧进行运动补偿318，来选择參考块。通过开关功能306，可以将參考块施加到差值功能320，差值功能320从当前正在压缩编码的块中减去參考块。(注意，在帧内模式中，是采用来自当前帧的參考块。)采用块变换(如322所示)对通过从当前編码的块中减去參考块而生成的差值数据块进行变换，并量化所得到的变换系数，如324所示。然后对量化的变换系数重新排序(块326)以提高编码效率，然后对其进行熵编码(块328)。在该点处，已经得到了压缩比特流，其包括经过量化、重新排序、熵编码的变换系数，以及标识例如预测模式、量化步长、块大小、运动矢量等等的边信息。然后将该比特流传送到网络提取层(NAL)，用于传输或存储。重建分支过程330得到量化的变换系数，并进行逆量化(块332)，然后对解量化的数据进行逆变换(块334)，生成差值数据。在求和功能336处，将差值数据与參考块相加，生成重建的块。所得到的重建的块可以用于在308处的帧内预测，或者与其他块合并来形成重建的帧，在312对重建的帧进行滤波，并在314将其存储为用于帧间预测的參考帧。图4A-4C共同形成示出图3的运动估计算法316的流程图，如根据ー些实施例所提供的。在图4A中，块402表示对于当前正在压缩编码的图像数据帧的ー个宏块开始运动估计算法。块404表示将运动估计算法运用到每个可能的不同块或子块大小或形状，以允许从使得差值数据量最小化的角度来选择最优块大小/形状。在一些实施例中，块大小选择循环404考虑16X 16、8X 16、16X8、8X8、4X8、8X4和4X4的块大小丨形状中的每ー 个。考虑不同块大小的顺序可以遵循从16X16到4X4的大小下降的顺序，以便可以利用上层的运动矢量信息。在块大小选择循环404中嵌套了參考帧循环406，參考帧循环406使得对于当前块/子块考虑完整的參考帧组或者截短的參考帧组。在一些实施例中，完整的參考帧组包括RefO、RefU Ref2, Ref3和Ref4，截短的參考帧组包括RefO、Refl和Ref2。根据ー些实施例，根据以下描述的准则来在完整的參考帧组和截短的參考帧组之间进行选择。从另ー个角度看，可以考虑RefO、Refl和Ref2形成第一參考帧组，在一些实施例中在所有情况下都要对其进行检查，而可以考虑Ref3和Ref4形成第二(实际中是更早的)參考帧组，在这些实施例中，有时不对其进行检查。RefO可以称为是第一參考帧组中的帧中的“最后ー个”；Refl可以称为是第一參考帧组中的帧中的“中间ー个”;Ref2可以称为是第一參考帧组中的帧中的“最早一个”;Ref3可以称为是第二參考帧组中的“后ー个”;Ref4可以称为是第二參考帧组中的“前一个”。考虑參考帧的顺序可以如在本段中第二句中所述(即，首先考虑最近的)。如在此所用的和附帯的权利要求中所用的，“參考帧组”不是必须要包含ー个以上的帧。因此，对于当前正在压缩编码的宏块而言，对于正在考虑的整个宏块或者子宏块，以及对于当前正在考虑的參考帧，要进行以下过程。首先，在块408，对于在将运动估计算法运用到当前正在考虑的參考帧时所生成的运动矢量，执行统计分析。可以预期运动矢量大致服从对称指数分布。可以假设运动矢量在X方向和Y方向上独立，从而使得组合概率分布可以定义为Pmv (x, y) = Px(x)PY(y)(I)在此，Px(X)和PY(y)分别是运动矢量在X方向和Y方向上的概率分布。Px(X)和Py(y)可以服从如下定义的指数分布P (η) = λ , η = O 时(2a)P (η) = (1/2) λ β |η|,π 不等于 O 时(2b)从概率分布的物理意义的角度看，等式(2)应该满足在搜索窗口中的概率总和为I的限制。换而言之，如果搜索窗ロ大小为W，则对于在范围-W到W中的n，P (η)的总和等于I。运动矢量的均值绝对值MVmean可以定义为对于在范围-W到W中的η的P (η)(In |+1)的总和·从上述中，可以获得以下
权利要求
1.一种用于选择块匹配搜索图形的方法，包括 确定第一图像数据帧的特性，所述特性是在所述第一图像数据帧中的运动补偿所采用的运动矢量的统计特性；以及 根据所确定的特性，在对于第二图像数据帧所使用的第一块匹配搜索图形和对于所述第二图像数据帧所使用的第二块匹配搜索图形之间进行选择，所述第二帧在图像数据帧序列中紧邻着所述第一帧之后。
2.如权利要求I所述的方法，其中，所述确定步骤包括 检查在所述第一图像数据帧中的运动补偿所采用的运动矢量的统计分布，以生成在所述第一帧中所述运动矢量的分布模型，所述分布模型是所述运动矢量的范围以及相关联的概率，其中所述选择步骤进一步至少部分地基于所述分布模型。
3.如权利要求2所述的方法，其中，所述选择步骤包括在六角形搜索图形和十字捜索图形之间进行选择。
4.如权利要求2所述的方法，其中，所述检查步骤包括计算在所述第一帧中的运动补偿所采用的所述运动矢量的平均值。
5.如权利要求2所述的方法，其中，所述检查步骤包括计算菱形区域的大小，该菱形区域包含在所述第一帧中的运动补偿所采用的所述运动矢量的至少99 %。
6.如权利要求I所述的方法，还包括 确定对于所述第二帧的像素数据块所使用的运动矢量，所述确定步骤是采用所选择的块匹配捜索图形执行的。
7.如权利要求6所述的方法，还包括 对所述第二帧的所述像素数据块执行运动补偿压缩编码，所述运动补偿压缩编码利用了对于所述第二帧的所述像素数据块所使用的所述运动矢量。
全文摘要
一种方法，包括检查在第一图像数据帧中的运动补偿所采用的运动矢量的统计分布。所述检查用于生成在所述第一帧中所述运动矢量的分布模型。该方法还包括至少部分地根据所述分布模型，选择对于第二图像数据帧所使用的块匹配搜索图形。所述第二帧是在图像数据帧序列中在所述第一帧之后。
文档编号H04N7/26GK102685495SQ20121010925
公开日2012年9月19日 申请日期2004年10月14日 优先权日2004年10月14日
发明者埃里克·李 申请人:英特尔公司