运动矢量编码和解码的方法和装置的制作方法

专利名称：运动矢量编码和解码的方法和装置的制作方法
技术领域：
本发明一般来说涉及数字视频处理。特别地，本发明涉及包括编码与解码运动矢量编码的方法和装置。
背景技术：
运动估计(Motion estimation，简称 ME)与运动补偿(Motioncompensation，简称 MC)是现代视频编码标准(如 MPEG-1、MPEG-2、MPEG-4、H. 261、H. 263,H. 264 和 AVS)中的重 要工具，以压制时间冗余，从而达到高编码效率。在ME/MC中，当前帧被分为不重叠的区块。 对于当前帧中的每个当前块，在参考帧中限定搜索区。搜索区中的每一点对应于一个候选 块，该候选块潜在地是当前块的良好预测。限定相似性度量并且在搜索区进行搜索以基于 相似性度量查找候选块，该候选块与当前块的相似性即使不是最大，也是很大。该具有最大 相似性的候选块将是最佳匹配块。最佳匹配快与当前块之间的相对位移被称为运动矢量， 其需要被编码。运动矢量(motion vector，简称MV)的编码也被称为运动矢量编码(motion vectorcoding,简称 MVC)。另一方面，为了解码端实现运动补偿，编码端需要耗费大量的比特流用于传递运 动矢量信息。例如在H. 264中，当比特率很低(例如QP = 40)时，运动矢量信息所耗费的 比特数目占总编码数目的百分比很高，甚至达到50 %。所以本领域迫切需要更有效的方法 进行运动矢量编码来提高其编码效率。在最新的运动矢量编码方法中，引入了许多工具以提高运动矢量编码的效率。例 如，为了减小运动矢量的压缩位的数量，H. 264标准利用简单的预测编码技术编码运动矢 量。对于每个当前块，H. 264利用三个相邻的运动矢量(MV)的中间的一个构成运动矢量预 测器(motion vector predictor，简称MVP)。MVP与当前块的真实MV的运动矢量差(motion vector difference，简称MVD)被编码到位流中。该“中间MVP”有效地减少用于MV编码的 位，因为其在大多数情况下类似于当前块的真实MV。但是，中间MVP并不能总是最优地预测 当前MV。需要更有效的MVP以进一步减少用于MV的编码位数。还曾有过其他方法试图获得有效的运动矢量编码。例如，在以下公开文件中有所 jE^is-KampJ-EvertzffIM-WienmuDecoder side motion vectorderivation for inter frame video coding”，出自 IEEE 国际图像处理会议(IEEEInternational Conference on Image Processing)，pp. 1120-1123，2008，(以下称为 “S. Kamp 等人的文章”)以及第 7，023，919号、名禾尔为“Method for coding motionvector using 2-dimentional minimum bitrate predicting technique，，的美国专利。在S. Kamp等人的文章中，说明了一种获取运动矢量的方法。该方法在解码端执行 类似运动估计的方法以取得运动矢量和参考索引。但是，该方法不能自适应地改变MV预测 器候选集，并且该方法放弃使用现有精确的ME方法来获得MV而是直接在解码端用不是非 常准确的模板匹配方式来获得MV，并且该方法中没有使用猜测策略。此外，模板匹配使用固 定大小和形状的模板。该方法中没有使用参考索引或MVD。总的来说，该方法十分复杂，并且使用模板匹配得到MV和参考索引自身并不总是可靠的。在第7023919号美国专利申请中，说明了一种运动矢量编码的方法。该方法没有 使用匹配技术减少MV预测器候选集，也没有提供自适应候选集。即使使用猜测策略，其基 于最小位速率而非最小MVD。该方法中并没有将基于时间的MV预测器用作候选。该方法缺 乏效率，特别是在MVD很小的情况下更是如此。另外不同的MVD可能具有相同的位速率，使 得基于最小位速率的标准缺乏效率。还有别的方法利用边界匹配进行了尝试。例如在以下公开文件中YanChen， Yang Hu, Oscar C. Au,Houqiang Li, Chang Wen Chen 的"Video ErrorConcealment Using Spatio-Temporal Boundary Matching and Partial DifferentialEquation", IEEE ^^ 体学报(IEEE TRANSACTIONS ON MULTIMEDIA), VOL. 10，NO. 1，2008 年 1 月(以下称为 “Yan Chen等人的文章”)，以及第 5，596，370 号、名称为“Boundary matching motion estimation apparatus”的美国专禾丨J。在Yan Chen等人的文章中，提供了一种用于隐藏视频信号中的错误的系统和方 法。边界匹配仅限于用于错误隐藏。该公开的方法没有指出利用边界匹配选择可以提高MV 预测器的准确度从而减小MVD，也没有利用从编码端精确运动估计中获得的现有MV。此外， 本方法中没有使用模板匹配。该方法的缺点是利用边界匹配以获得MV本身并不总是可靠 的。在第5，596，370号美国专利中，提供了一种进行运动估计的装置。边界匹配仅限 于获取运动矢量，本方法的目的是提供一种运动估计的替代方法。该方法没有使用在编码 端运动估计中获得的MV，缺点在于利用边界匹配而非运动估计获得MV本身并不总是可靠 的。边界匹配仅限于用以得到运动矢量，该方法并未给出运动矢量编码的信息。由于并没 有自适应候选设置，所以该方式没有效率，并且该方法不考虑其他匹配技术，例如自适应模 板匹配。因而，需要提供一种运动矢量编码的系统和方法，以解决上述一个或多个问题。有关视频编码的其他背景技术可以参照一下文件Iain Richardson的H. 264and M-PEG-4VideoCompression，Wiley&Sons， 2003 以及Alan Bovik 的 The Essential Guide to Video Processing, Academic Press 2009。这些公开的文件都作为参考被引入其中。

发明内容
鉴于上述，本发明需要一种运动矢量编码和解码的方法和装置，以克服上述技术 中的方法效率低、可靠性差的问题。具体地，本发明提供了一种运动矢量编码方法，包括以下步骤步骤1 限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动 矢量自适应的变化；步骤2 利用匹配方法减少所述候选集中的预测器的数目以减少索引使用的位 数；步骤3 基于最小运动矢量差的标准在所述候选集中的剩余预测器中选定最优的 预测器，并得到当前运动矢量差；步骤4 基于剩余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器以进一步节约用于编码索引的位数；步骤5 判断是否能探测到正确的运动矢量预测器，如果探测到正确的运动矢量 预测器，则编码至少当前运动矢量差，如果无法探测到正确的运动矢量预测器，则对至少当 前运动矢量差和索引进行编码。其中，所述匹配方法为边界匹配方法或自适应模板匹配方法。其中，所述边界匹配方法为，将对应于所述候选集中的预测器的一部分数据粘贴 到当前数据空间，得到边界匹配误差，去除所述候选集中边界匹配误差最大的一个或多个 预测器。其中，所述自适应模板匹配方法为，基于自适应模板与当前数据之间可能的相关 性确定用于当前数据空间的自适应模板的形状；或者基于自适应模板内的一致性确定用于 当前数据空间的自适应模板的尺寸。其中，所述自适应模板匹配方法还包括利用基于候选集中预测器对应的位移，计 算当前数据空间的模板与参考画面中位移后的数据空间的模板之间的差。其中，自适应模板匹配方法中，所述自适应模板的宽度和形状已指定。其中，所述步骤5之后，如果探测到正确的运动矢量预测器，则发送至少已编码的 当前运动矢量差；如果无法探测到正确的运动矢量预测器，则发送至少已编码的当前运动 矢量差和已编码的作为索引的位。其中，所述预测器的候选集包括若干成比例的空间和时间预测器。其中，所述步骤1中，与所述运动矢量相邻的运动矢量为与所述运动矢量时间相 邻、空间相邻、时间与空间相邻或基于分析策略相邻的运动矢量。其中，步骤4中的猜测策略，所述剩余预测器的数目至少为1个，对每个剩余预测 器和当前运动矢量差产生一个中间参数，基于最小运动矢量差的标准为每个中间参数重新 选择待选的预测器，如果重新选择的待选的预测器与产生该中间参数的剩余预测器相同， 则判定该剩余预测器为可选预测器，如果可选预测器的数目为1个，则该可选预测器为正 确的运动矢量预测器。本发明还提供了一种解码已编码的运动矢量的方法，所述已编码的运动矢量被如 权利要求1所述的方法编码，包括以下步骤步骤1 解码运动矢量差；步骤2 限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动 矢量自适应的变化；步骤3 利用匹配方法减少所述候选集中的预测器的数目；步骤4 基于所述候选集中的剩余预测器和解码的运动矢量差，利用猜测策略判 断能否确定运动矢量预测器；步骤5 如果能确定运动矢量预测器，则利用解码的运动矢量差和已确定的运动 矢量预测器得到运动矢量；如果不能确定运动矢量预测器，则解码索引并判定运动矢量预 测器，利用解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。所述匹配方法与编码时采用的匹配方法相同。本发明还提供了一种运动矢量编码装置，包括以下部分第一选择模块，用以选择组成候选集的预测器；
第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减 少所述候选集中的预测器的数目；第二选择模块，与所述第一处理模块连接，接收所述候选集中的剩余预测器，基于 最小运动矢量差的标准在所述剩余预测器中选定最优的预测器；第二处理模块，与所述第二选择模块连接，根据选定的最优的预测器得到当前运
动矢量差；探测模块，与所述第二处理模块和第一处理模块连接，基于接收的所述候选集中 的剩余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器；判断模块，与所述探测模块连接，如果探测模块的探测结果为探测到正确的运动 矢量预测器，则将判断结果发送到编码模块；编码模块，接收所述判断结果，编码至少当前运动矢量差或者编码至少当前运动 矢量差和索引。本发明还提供了一种运动矢量解码装置，包括以下部分接收模块，接收至少已编码的运动矢量差；第一解码模块，连接所述接收模块，根据接收的至少已编码的运动矢量差，解码运
动矢量差；第一选择模块，用以选择组成候选集的预测器；第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减 少所述候选集中的预测器的数目；判断模块，连接所述第一处理模块与所述第一解码模块，基于所述候选集中的剩 余预测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器；第二解码模块，连接所述判断模块，根据所述判断结果解码索引；分析模块，连接所述第一处理模块和第二解码模块，根据解码的索引判定运动矢 量预测器；第二处理模块，连接所述判断模块、所述第一解码模块和所述分析模块，根据判断 结果，利用解码的运动矢量差和已解码确定的运动矢量预测器得到运动矢量；或者利用解 码的运动矢量差和已判定的运动矢量预测器得到运动矢量。本发明提供的运动矢量编码和解码的方法可以迅速、可靠、有效地对运动矢量进 行编解码的处理，提高了系统的效率。并且本发明可用于任何采用运动估计的视频编码系 统，并且需要将运动信息发送到解码器，例如但不限于札264、10^4乂5、10^。此外，本发明 还可用于任何采用混合预测编码的编码器。通过以下说明的实施例，还公开了本发明的其他方面。


下面将参考附图，详细说明本发明的这些以及其他目的、方面和实施方式，其中图1表示根据本发明实施例的当前块及其相邻块的示范性表示。图2表示根据本发明实施例的块的内部边界像素和外部边界像素。图3表示根据本发明实施例的模板匹配的示范性模板。图4表示根据本发明实施例的模板宽度等于4的示范性模板。
图5表示根据本发明实施例的MVCBM的流程图。图6表示根据本发明实施例的MVCATM的流程图。图7表示根据本发明实施例的一个视频编码系统的实施例的方框图。图8表示根据本发明实施例的一个视频解码系统的实施例的方框图。图9表示根据本发明实施例的运动矢量编码装置的示意图。图10表示根据本发明实施例的运动矢量解码装置的示意图。
具体实施例方式本发明涉及视频编码方法。特别地，其涉及运动矢量(MV)编码，其中MV编码基于 边界匹配或自适应模板匹配，也就是基于边界匹配的运动矢量编码(MVCBM)和基于自适应 模板匹配的运动矢量编码(MVCATM)。一般来说，本发明限定预测器候选集，其中预测器基于 相邻MV的当前分布自适应地变化。随后，匹配技术(MVCBM中的边界匹配和MVCATM中的自 适应模板匹配)用于减小预测器候选集的大小以减少索引使用的编码位数。而后，在包含 于减少的集之中的预测器中选择最优的运动矢量预测器。基于最小MVD标准的猜测策略进 一步节约了索引的位数。具体地，可能的MVP候选集包括若干成比例的空间和时间预测器。为了增加预测 器的多样性，空间预测器基于相邻运动矢量的特征自适应地改变。为了从候选集(CS)中选 择良好的预测器，使用的匹配技术例如但不限于边界匹配(BM)和自适应模板匹配(ATM)。 从通过匹配技术选出的预测器中选择当前块的最优MVP以使MVD最小。由于最优MVP是基 于最小MVD的标准选出，所以引入猜测策略，从而在一些情况下可以节省将MVP索引信号传 输到解码器的比特数。本发明相对于H. 264标准可以显著地降低位速率。A.成比例的运动矢量预测器相邻块的运动矢量被用作当前块的运动矢量的预测器。相邻块的运动矢量可以对 应实施例中的不同参考帧，该实施例中允许例如H. 264中的多个参考帧。两个相邻的块的 运动矢量对应不同的参考帧时，其时间距离相对当前帧而言是不同的。因而在使用多个参 考帧的实施例中，在被用作预测当前块的运动矢量之前，相邻块的运动矢量根据其时间距 离被成比例地缩放。图1表示当前块及其相邻块的示范性表示。以mvA(当前块的左侧的块 A的MV)为例，假设块A与其参考块之间的时间距离是dp，当前块与其参考块之间的时间距 离是d。。由以下方式计算成比例的预测器mvSA
dcmvsA=mvA^-f-
dr (1)利用相同的方法可以计算块B的mvSB，块C的mvse等。因此，每个预测器在使用之 前都成比例缩放。B. MVP 候选集本发明的一个方面是为数据压缩中的参数产生和表示提供预测器和编码方法，例 如在视频压缩中编码运动矢量。根据相邻的数据信息自适应地选择两个或多个候选。“相 邻”的数据信息包括但不限于空间相邻、时间相邻、相邻的结合和基于分析策略的相邻的一 些函数。分析策略包括但不限于当前相关、分布，例如选择与其他相邻矢量不类似的相邻的 运动矢量作为候选，用以在视频压缩中编码当前的运动矢量。
可能的MVP候选集包括若干成比例的空间和时间预测器。为了增加预测器的多样 性，空间预测器基于相邻运动矢量的特征自适应地改变。在一个实施例中，为了使MVP达到高准确度，MVP候选集中包括时间和空间的MVP。 MVP候选集包括多个这样的MVP，其数量根据情况而变，例如但不限于5个MVP或8个MVP。在进一步实施例中，对于一个给定的候选集，包括的预测器基于MVP的当前分布 自适应地变化。例如，不失普遍性，候选集的尺寸被选作3，并且尺寸等于3的候选集中包括 mv^^n^i和mvSnei。n^^是根据公式(1)成比例缩放的共址MV(指在前一帧和当前块 具有相同位置的块的运动矢量)。其为时间MVP候选。mvSH.264和mvSnei为空间MVP候选。mvSH.264是3个相邻的运动矢量的中间的一个(这3个相邻的运动矢量根据公式 ⑴成比例缩放)，例如其可以从mVsA、mVsB和mvse的中间的一个获得。mvSnei是三个成比例的相邻运动矢量mvSA、mvSB和mvsc中的一个，其离mvSH.264最远mvsn = ar§max || mvx -mvSH2M \\2,x = SA,SB,SC 卩)设置该预测器mvSMi的原因在于，在相邻的块A、B和C中仅一个属于包含当前块 的对象时，试着得到更有效的MVP。在这种情况下，中间的MVP与当前块的实际MV的相关性 可能很低。所以，MVP候选集(Candidate Set，简称CS)由该具体示范性条件下的三个MVP组 成，其中该条件下候选集的尺寸等于3 (尺寸-3CS)CS = {mvSH.264, mvScol, mvSnei}(3)C. CS减少和优化MVP初始MVP候选集会包含许多MVP，选出的一个的索引需要许多位以说明。为了减少 用于最优MVP的索引的位，减少CS以包含更少数目的预测器。一个实施例中，使用叫做边 界匹配的方法。另一实施例中，使用叫做自适应模板匹配的方法。基于匹配状态使减少的 候选集(Reduced CandidateSet，简称RCS)尺寸固定或可变。例如选出最佳预测器，如果后 面的预测器近乎良好则也选出后面的几个良好的预测器。或者如果最好的预测器远好于其 他预测器，则我们也可以仅选择最好的预测器。在该具有mv^pmvig和mvSMi的尺寸-3CS 的特例中，我们可以使用尺寸为2的固定尺寸的RCS。D.边界匹配本发明的一个方面为确定自适应候选集；通过匹配技术减小候选集以节约索引 的位数；执行基于最小MVD的猜测策略和全部MV编码过程；在MV编码中利用边界匹配作为 匹配技术。本发明的进一步的方面还包括进行边界匹配，例如将对应于每个候选的一部分 数据复制到当前数据空间内，测量当前数据空间的相邻数据与粘贴的数据部分之间的协调 性和连续性。在以下文章中对边界匹配(Boundary matching，简称BM)已有说明Yan Chen, Yang Hu,Oscar C. Au,Houqiang Li, Chang Wen Chen 的"Video ErrorConcealment Using Spatio-Temporal Boundary Matching and Partial DifferentialEquation",出自 IEEE 多媒体学报(IEEE TRANSACTIONS 0NMULTIMEDIA)，VOL. 10，NO. 1,2008 年 1 月，在此引入其 公开内容。
边界匹配广泛应用于误差隐藏以找到指向参考帧中的最可能的块的运动矢量，以 恢复损失块。BM估计基于块及其相邻块之间的空间连续性搜索预测器。如果使用不正确的 预测器，则相应的重建块与其相邻块不具有高空间连续性的可能性很大。但如果使用正确 的预测器，则重建的块与相邻块应当是连续的。匹配标准是边界匹配误差(boundary matching error，简称BME)，其测量候选块 的内部边界像素与当前块的外部边界像素之间的空间不连续性，如图2所示。图2表示块的 内部边界像素和外部边界像素。字母N、W、E、S代表方向北、西、东和南。BME具有两部分 平滑不连续失真(smoothdiscontinuity distortion，简称SDD)和边缘不连续失真(edge discontinuitydistortion,简禾尔 EDD)BME = a XSDD+(l_a ) XEDD(4)其中权重因子a为0至1之间的实数。注意到在本实例化的MV编码方法中BM在编码器和解码器都能执行以找到合适的 预测器。由于当前块的东侧和南侧通常尚未在解码器解码，仅使用容易获得的边界信息，例 如北侧和/或西侧边界的信息。SDD和EDD计算如下 其中如果(x，y)指向外部边界，则pre。(x，y)指的是(x，y)位置处的当 前重建像素值，如果(x，y)指向内部边界内，则！^。“ y)指的是可能的候选块。 ▽-=[例/&,例/办]是梯度算子，=卜⑷/办，⑷/&]是与梯度方向正交的方向的正规算 子，& =+卩”/3丨是拉普拉斯算子。在一个典型实施例中，这些相关的算子可以计
算如下 等式(6)中，(▽ (A ))/(!(▽ (A .))|)代表拉普拉斯估计的归一化梯度， (▽1*)/(| VI I)是沿切线方向的归一化矢量。如果跨边界的结构被合适地匹配，两项 应当彼此正交并且内积为零。但是，如果匹配不当，两项的内积的绝对值往往会变大，引起内积变大。此外，对于等式(6)中的每个像素，内积被乘以梯度幅值| ▽ !，这往往会使得 EDD的数值范围和SDD的数值范围具有可比性。内积还反映了边界处的块的状况。对于CS中的每个预测器，对应的参考块用于计算BME。那些具有较少BME的预测 器包括在RCS中。例如，在具有mv^i、mvSH.264和mvSnei的尺寸-3的CS的特例中，去除具有 最大BME的预测器，RCS中包括其他两个预测器。E.自适应模板匹配本发明的另一方面为确定自适应候选集；通过匹配技术减少候选集以节约索引 的位数；开发自适应模板形状和宽度策略；执行基于最小MVD的猜测策略和全部MV编码过 程；MV编码中利用自适应模板匹配作为匹配技术。此外，本发明提供了基于相关性和相似 性标准确定模板形状和宽度的策略，该策略适用于多种应用，例如但不限于运动矢量编码。本发明的进一步的方面还包括基于模板与当前数据之间可能的相关性确定用于当前数据空间的模板形状，例 如，在如H. 264的基于块的视频压缩系统中，如果宏块由率_失真标准分为不同分区(这意 味着不同分区之间的相关性可以很低)，本分区的模板可能不包括另一分区内的像素；基于模板内的一致性确定用于当前数据空间的模板尺寸，例如，计算可能的模板 内部之差，如果与当前数据空间离得远的像素不类似于与当前数据空间离得近的像素，则 可以从模板中去除离得远的像素；而模板匹配技术可以包括但不限于，利用基于候选的位移，计算当前数据空间的模 板与参考画面中基于位移的模板之间的差。图3表示模板匹配的示范性模板。模板匹配已在以下文章中说明S.Kamp， M. Evertz 禾口M. Wien 的"Decoder side motion vector derivation for inter framevideo coding，，，出自 IEEE 国际图像处理会议(IEEE International Conference onlmage Processing), pp. 1120-1123，2008，在此通过参考引入。为了获得当前块的良好预测，绕目 标块的左边界和上边界限定L形的模板区(TR)。限定模板宽度M_left和M_up为延伸到 模板区的目标左边和上边的像素的宽度。为了测试当前块的模板与对应于MVP的候选块的 模板之间的相似性，仅需要计算两个模板的绝对差和(sum of absolute difference，简称 SAD)。当模板属于与当前块相同的对象时，如果MVP给出的模板SAD很小，可以合理推测对 应于MVP的块也可以提供当前块的良好预测。但是，如果模板区中的一些部分属于具有不同运动的另一对象，即使MVP良好，这 仍会得出一个大模板SAD。一个实施例中，为避免这种情况，不使用固定尺寸的M_left和 M_up，而是基于模板与目标块之间的可能的相关性和模板内部的相似性，使用自适应的模 板形状和宽度。在较佳实施例中，由于能给出更有意义的模板SAD，所以使用大模板。但是 任何属于不同当前块所属对象的像素应不包括在该模板中。L形模板包含两部分上方部分和左侧部分。术语“左侧模板”指的是L形模板的 左侧部分。类似的，术语“上方模板”指的是L形模板的上侧部分。典型地，我们允许模板 为L形模板、左侧模板或上方模板。在具有mv^pmvig和mvSmi的尺寸_3的CS的示范性实施例中，我们根据当前块 与其相邻块之间的相关性将模板形状选择策略限定如下如果(blocktype = P16*16)
则使用左侧模板和上方模板；否则如果(blocktype = P16*8)/*具有上方16x8的分区和下方16x8的分区*/则上方分区使用左侧模板和上方模板，下方分区仅使用左侧模板；否则如果(blocktype = P8*16)/*具有左侧8x16的分区，右侧8x16的分区*/则左侧分区与使用左侧模板和上方模板，右侧分区仅使用上方模板；否则如果(blocktype = P8*8)/*具有四个8x8的分区，其中一些可以再分为更小 的尺寸为4x8、8x4、4x4的分区*/则当前MB的左上角处分区使用左侧模板和上方模板，当前MB的左边界处分区仅使用左侧模板，当前MB的上边界处分区仅使用上方模板，其他分区使用左侧模板和上方模板。该策略的原因也是我们希望将宏块(MB)分为不同分区的原因。不同的分区之间 往往具有相对较低的相关性或者不同的运动情况。所以当使用模板SAD选出良好MVP时， 将另一分区中的像素包括在模板中可能会对所选出的良好MVP的正确性带来风险。但是也 能使用其他的模板形状选择策略。如果当前块平滑，则需要模板中的像素具有类似的亮度和平滑性。如果当前块是 纹理块，则需要模板中的像素具有类似的纹理。如果当前块具有边缘，则需要模板中的像素 具有边缘，该边缘是块内的边缘的延伸，并且模板中边缘两侧上的像素类似于块内的像素。 换句话说，根据模板与块之间的一致性或类似性设置模板宽度。在具有mv^pmvig和mvSmi的尺寸_3的CS的示范性实施例中，将模板宽度的构 造标准限定如下图4表示模板宽度等于4的示范性模板。模板的最大宽度是N = 4 ;/*也就是模板具有N排像素*/计算模板中相邻的排之间的差。以上方模板为例，如图4所示，计算SAD 12 = 1排与2排之间的绝对值差之和(SAD)；SAD23 = 2排与3排之间的SAD ；SAD34 = 3排与4排之间的SAD ；如果(SAD12> SAD23+ 阈值 1)上方模板仅包括1排；否则如果(SAD23> SAD 12+ 阈值 2 || SAD 12 > SAD34+ 阈值 3)上方模板包括1排和2排；否则如果(SAD34> SAD 12+ 阈值 2)上方模板包括1排、2排、3排；否则上方模板包括1排、2排、3排、4排;同样的，使用相同的方法得到左侧模板的宽度。一旦对当前块设定了模板形状和 宽度，具有相同形状和宽度的参考块的模板就用以计算模板SAD。参考画面中的较好匹配模 板区域具有与当前模板之间较小的模板SAD。由于模板与当前块的空间相关性很高，所以有 理由假设对应于较好匹配模板的块能为当前块提供良好预测。
在本发明中，对于CS中的每个预测器均计算对应的模板SAD。那些具有较少模板 SAD的预测器包括在RCS中。例如，在具有Hivsral、mvSH.264和mvSnei的尺寸-3的CS的特例中， 去除具有最大模板SAD的预测器，RCS中包括其他两个预测器。F.最终MVP决定
本发明的另一方面是对减少的候选集中的所有候选执行比较和计数过程，而每个 比较和计数过程中都比较了候选和当前参数的差并编码最小的差。在本发明中，根据设置的策略，经匹配技术减小后的候选集可能包含一个或多个 MVP。例如，在具有IWset^ mvSH.264和Hivsnei的尺寸-3的CS的特例中，RCS包含两个预测器。 所以还需要从两个预测器中选出最终的预测器。现将当前块的最终MVP的pmv。pt限定如下PmvOpl = ar§ ^n D(mv - Pmv')(8)其中Pmvi指的是包括在RCS中的第i个MVP，D( ·)是用以测量距离的函数，mv代 表当前块的运动矢量。当前块的最终MVD是(mv-pmv。pt)。G.索引编码本发明的另一方面是通过猜测策略编码候选的索引，该候选与当前参数相比具有 最小的差。猜测策略是基于已编码的最小的差和减少的候选集一般而言，对N个候选产生 N个可能的参数，随后基于最小的差的标准为每个可能的参数重新选择最佳候选和获得新 的最小差。如果此最佳候选与产生该可能参数的候选相同(新最小差也同时和原来已经编 码的最小差相等)，则该候选可能；否则设定该候选为不可能。如果可能的候选仅有一个， 则不需要编码索引，否则需要编码索引。当RCS中所有MVP都相同时，不需要索引通知选定。否则，需要一个或多个位通 知最终MVP的索引。但是，最优的MVP可以在一些情况下在解码器处获得，不需要传送 索引。以下说明了最优的MVP如何获得HyunDuk Cho，Sung Deuk Kim的“Method for coding motion vector using 2-dimentionalminimum bitrate predicting technique，，， 第7023919B2号美国专利，2006年4月，此处通过参考引入其公开内容。提出了猜测策略。 不同的是本实施例使用最小化MVD作为标准，代替以最小位速率作为标准，后者在不同MVD 具有相同位速率时效率不高。在本实施例中，假设经过匹配技术后，候选集中剩余预测器的数目为N，并且已经 确定了最佳预测器和MVD。对于每个预测器MVP_i，首先假设其是最终预测器，从而可以得 到一个新的运动矢量(MVP_i的值加上MVD)。对此新的运动矢量根据差最小的标准来重 新在N个预测器中选择最优的一个，如果选择的是MVP_i，则说明MVP_i是有可能的，否则 MVP_i是不可能的。以具有Iwsc^ mvSE 264 和 mvSnei (RCS 中具有 2 个 MVPmvBM1 和 mvM2)的尺寸 _3 的 CS 的示范性实施例作为实例，表示如何工作步骤1 获得两个可能的运动矢量MVl = MVD+mvBM1和MV2 = MVD+mvBM2 ；步骤2 假设MVl是真实的运动矢量，根据等式8选择用于MVl的最佳预测器。如 果用于MVl的最佳预测器是mvBM1，则设置flag_BMl = 1，否则flag_BMl = 0 ；步骤3 假设MV2是真实的运动矢量，根据等式8选择用于MV2的最佳预测器。如 果用于MV2的最佳预测器是mvBM2，则设置flag_BM2 = 1，否则flag_BM2 = 0 ；步骤4 如果((flag_BMl = 1 && flag_BM2 = 1) || (flag_BMl = 0&&flag_BM2 =0))，将传送最终MVP的索引。否则不传送索引，根据flag_BMl和flag_BM2可以获得最佳 预测器。图5表示用于MVCBM的流程图。在将边界匹配用作匹配技术以进行运动矢量编码 的示范性实施例中在编码器侧MVCBM (编码器)步骤501 计算成比例缩放的中间预测器( mv_SH. 264)、共址预测器(mv_SCol)和 与邻近预测器中的中间预测器最不相同的预测器(mv_Snei)，但是通过与等式(1)类似的 方法将共址预测器(mv_SC0l)和邻近预测器成比例缩放。步骤503 利用边界匹配选择两个预测器(mv_bml和mv_bm2)进入具有较少的边 界匹配误差的减少的候选集(RCS)。当然也可以选择多于两个探测器。步骤505 基于最小的MVD标准，在mv_bml与mv_bm2之间为当前块选择最终MVP， 得到MVD。步骤507 基于当前MVD，利用猜测策略判断是否能探测到正确的MVP ；如果能探测 到正确的MVP，不需要在随后编码并发送位作为索引；否则需要在随后编码并发送1位作为 索引(在边界匹配后预测器的数目大于2，则作为索引的位可以大于1)；步骤509 编码MVD和其他信息，在不能探测到正确的MVP的情况下还需要编码索 弓丨。其他信息例如包括编码块模式(Coded Block Pattern，简称CBP)、量化的残差等。所述步骤509中，在实际的编码流程中，宏块里所有分区的MVP索引是放在一起编 码输出的，并且是在整个宏块编码输出的最后面。这样做的原因在于在解码端，在重建过程 中才考虑解码MVP索引，而之前宏块其他信息都已经被解码了。在解码器侧MVCBM (解码器)步骤511 解码MVD和其他信息，开始重建当前块。其他信息例如包括例如包括 CBP、量化的残差等。步骤513和步骤515与编码器的步骤501、503相同。步骤517 基于解码的MVD，利用猜测策略判断能否确定MVP ；如果无法确定哪一个 是MVP，则解码1位为索引。步骤519 利用MVP和MVD得到当前块的MV。图6表示MVCATM的流程图。在将自适应模板匹配用作运动矢量编码的匹配技术 的另一示范性实施例中编码器侧MVCATM (编码器)步骤601 计算成比例缩放的中间预测器(mv_SH. 264)、共址预测器(mv_SCol)和 与邻近预测器中的中间预测器最不相同的预测器(mv_Snei)，但是通过与等式(1)类似的 方法将共址预测器(mv_SC0l)和邻近预测器成比例缩放。步骤603 基于模板与目标块之间可能的类似性和相关性，为当前块限定具有自 适应形状和宽度的模板；步骤605 利用自适应模板匹配选择具有较少模板SAD的两个预测器(mv_tml和mv_tm2)ο步骤607 基于最小的MVD标准，在mv_tml与mv_tm2之间为当前块选择最终MVP， 得到MVD。步骤609 基于当前MVD，利用猜测策略判断是否能探测到正确的MVP ；如果能探测 到正确的MVP，不需要在随后编码并发送位作为索引；否则需要在随后编码并发送1个位作 为索引；步骤611 编码MVD和其他信息，在不能探测到正确的MVP的情况下还需要编码索 弓丨。其他信息例如包括CBP、量化的残差等。解码器侧MVCATM (角军码器)步骤621 解码MVD和其他信息，开始重建当前块。其他信息例如包括CBP、量化的
残差等。步骤623、步骤625和步骤627 与在编码器侧的步骤601、603、605相同。步骤629 基于解码的MVD，利用猜测策略判断能否确定MVP ；如果无法确定哪一个 是MVP，则为索引解码1位。步骤631 利用MVP和MVD得到当前块的MV。图7表示视频编码系统的一个实施例的方框图。本发明是在运动估计(ME) 后执行运动矢量编码(MVC)。运动矢量将会提供给宏块，如果该宏块是帧间预测 (inter-prediction，简称Inter-Pred)型。如果宏块是帧内预测(Intra-Pred)型，则一个 运动矢量也不需要。通过变换(T)变换残量并通过量化(Q)量化残量给出量化的残量。通 过熵编码将MVD与量化的残量以及需要传输的索引一起编码，将用于传输的输出送到解码 器。在量化的残量上执行解量化(Q-I)和逆变换(T-I)。重建的残量加入到ME得到的预测 块的结果中以给出参考图像。图8表示视频解码系统的一个实施例的方框图。解码的宏块是帧间预测 (Inter-Pred)型时，进一步解码MVD。通过熵解码来解码位流以获得解码的残差。通过解量 化(Q-I)解量化解码的残量并通过逆变换(T-I)逆变换以给出信号。在重建过程中执行运 动矢量编码方法的解码(DMVC)。如果DMVC中的猜测策略无法确定运动矢量预测器(MVP)， 则可能需要进一步解码额外的索引。DMVC产生的MV用于运动补偿(MC)中。MC的结果加 入信号给出重建的帧。图9表示了根据本发明实施例的一种运动矢量编码装置，包括以下部分901、第一选择模块，用以选择组成候选集的预测器；903、第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方 法减少所述候选集中的预测器的数目；905、第二选择模块，与所述第一处理模块连接，接收所述候选集中的剩余预测器， 基于最小运动矢量差的标准在所述剩余预测器中选定最优的预测器；907、第二处理模块，与所述第二选择模块连接，根据选定的最优的预测器得到当
前运动矢量差；909、探测模块，与所述第二处理模块和第一处理模块连接，基于从第一处理模块中得到的剩余的预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器；
911、判断模块，与所述探测模块连接，如果探测模块的探测结果为探测到正确的 运动矢量预测器，则将判断结果发送到编码模块；913、编码模块，接收所述判断结果，编码至少当前运动矢量差或者编码至少当前 运动矢量差和索引。图10表示了更加本发明实施例的一种运动矢量解码装置，包括以下部分1001、接收模块，接收至少已编码的运动矢量差；1003、第一解码模块，连接所述接收模块，根据接收的至少已编码的运动矢量差， 解码运动矢量差；1005、第一选择模块，用以选择组成候选集的预测器；1007、第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方 法减少所述候选集中的预测器的数目；1009、判断模块，连接所述第一处理模块与所述第一解码模块，基于所述候选集中 剩余预测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器；1011、第二解码模块，连接所述判断模块，根据所述判断结果解码索引；1013、分析模块，连接所述第一处理模块和第二解码模块，根据解码的索引判定运 动矢量预测器；1015、第二处理模块，连接所述判断模块、所述第一解码模块和所述分析模块，根 据判断结果，利用解码的运动矢量差和已解码确定的运动矢量预测器得到运动矢量；或者 利用解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。一般说来，视频编解码以及运动矢量编解码的多种实施方式能在多种终端设备或 用户设备中实施，终端设备或用户设备包括但不限于手机及其他无线通信装置、个人数字 助理(PDA)、便携式和台式计算机、图像/视频装置(如数码照相机)、音频-视频(AV)设 备(如视频播放器)、游戏装置、允许访问及可能的浏览的因特网或局域网(LAN)装置、以及 这些功能相结合的可移动的单元或装置。本发明的实施例可以以软件、硬件、应用逻辑或者软件、硬件与应用逻辑组合的方 式实施。软件、应用逻辑和/或硬件可以存留于集成电路芯片、模块或存储器上。如果需要 的话，一部分软件、硬件和/或应用逻辑可以存留于集成电路芯片上，一部分软件、硬件和/ 或应用逻辑可以存留于模块上，以及一部分软件、硬件和/或应用逻辑可以存留于存储器 上。在一个示例中，应用逻辑、软件或指令集存留在各种常规计算机可读介质中的任何一种 内。本发明的上下文中，“计算机可读介质”可以是任意媒质或装置，其包含、存储、通信、传 播或传送指令以供指令执行系统、装置或设备(如计算机)使用或与指令执行系统、装置或 设备共同使用。计算机可读介质可以包括计算机可读存储媒质，其可以是含有或存储指令 的任意媒质或装置以供指令执行系统、装置或设备(如计算机)使用或与指令执行系统、装 置或设备共同使用。如果需要的话，此处讨论的不同功能可以以彼此不同的次序和/或同时执行。此 夕卜，如果需要的话，上述功能的一个或多个可以是任选的或可以组合。尽管独立权利要求中指出的本发明的多个方面，本发明的其他方面包括上述实施 例中的特征及其组合和/或具有独立权利要求的特征的从属权利要求，而不仅是权利要求 中明确给出的组合。
此处还应注意在以上说明本发明的示范性实施例的同时，这些说明不应当看做是限制的意思。还可以做出多种变换和改进而不背离权利要求限定的本发明的范围。
权利要求
一种运动矢量编码方法，其特征在于，包括以下步骤步骤1限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动矢量自适应的变化；步骤2利用匹配方法减少所述候选集中的预测器的数目以减少索引使用的位数；步骤3基于最小运动矢量差的标准在所述候选集中的剩余预测器中选定最优的预测器，并得到当前运动矢量差；步骤4基于剩余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器以进一步节约用于编码索引的位数；步骤5判断是否能探测到正确的运动矢量预测器，如果探测到正确的运动矢量预测器，则编码至少当前运动矢量差，如果无法探测到正确的运动矢量预测器，则对至少当前运动矢量差和索引进行编码。
2.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述匹配方法为边界 匹配方法或自适应模板匹配方法。
3.根据权利要求2所述的一种运动矢量编码方法，其特征在于，所述边界匹配方法为， 将对应于所述候选集中的预测器的一部分数据粘贴到当前数据空间，得到边界匹配误差， 去除所述候选集中边界匹配误差最大的一个或多个预测器。
4.根据权利要求2所述的一种运动矢量编码方法，其特征在于，所述自适应模板匹配 方法为，基于自适应模板与当前数据之间可能的相关性确定用于当前数据空间的自适应模 板的形状；或者基于自适应模板内的一致性确定用于当前数据空间的自适应模板的尺寸。
5.根据权利要求4所述的一种运动矢量编码方法，其特征在于，所述自适应模板匹配 方法还包括利用基于候选集中预测器对应的位移，计算当前数据空间的模板与参考画面中 位移后的数据空间的模板之间的差。
6.根据权利要求4所述的一种运动矢量编码方法，其特征在于，自适应模板匹配方法 中，所述自适应模板的宽度和形状已指定。
7.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述步骤5之后，如果 探测到正确的运动矢量预测器，则发送至少已编码的当前运动矢量差；如果无法探测到正 确的运动矢量预测器，则发送至少已编码的当前运动矢量差和已编码的作为索引的位。
8.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述预测器的候选集 包括若干成比例的空间和时间预测器。
9.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述步骤1中，与所述 运动矢量相邻的运动矢量为与所述运动矢量时间相邻、空间相邻、时间与空间相邻或基于 分析策略相邻的运动矢量。
10.根据权利要求9所述的一种运动矢量编码方法，其特征在于，步骤4中的猜测策略， 所述剩余预测器的数目至少为1个，对每个剩余预测器和当前运动矢量差产生一个中间参 数，基于最小运动矢量差的标准为每个中间参数重新选择待选的预测器，如果重新选择的 待选的预测器与产生该中间参数的剩余预测器相同，则判定该剩余预测器为可选预测器， 如果可选预测器的数目为1个，则该可选预测器为正确的运动矢量预测器。
11.一种解码已编码的运动矢量的方法，所述已编码的运动矢量被如权利要求1所述 的方法编码，其特征在于，包括以下步骤步骤1 解码运动矢量差；步骤2 限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动矢量 自适应的变化；步骤3 利用匹配方法减少所述候选集中的预测器的数目；步骤4 基于所述候选集中的剩余预测器和解码的运动矢量差，利用猜测策略判断能 否确定运动矢量预测器；步骤5 如果能确定运动矢量预测器，则利用至少解码的运动矢量差和已确定的运动 矢量预测器得到运动矢量；如果不能确定运动矢量预测器，则解码索引并判定运动矢量预 测器，利用至少解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。
12.根据权利要求11所述的一种解码已编码的运动矢量的方法，其特征在于，所述匹 配方法与编码时采用的匹配方法相同。
13.根据权利要求12所述的一种解码已编码的运动矢量的方法，其特征在于，所述匹 配方法为边界匹配方法或自适应模板匹配方法。
14.一种运动矢量编码装置，其特征在于包括以下部分 第一选择模块，用以选择组成候选集的预测器；第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所 述候选集中的预测器的数目；第二选择模块，与所述第一处理模块连接，接收所述候选集中的剩余预测器，基于最小 运动矢量差的标准在所述剩余预测器中选定最优的预测器；第二处理模块，与所述第二选择模块连接，根据选定的最优的预测器得到当前运动矢 量差；探测模块，与所述第二处理模块和第一处理模块连接，基于接收的所述候选集中的剩 余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器；判断模块，与所述探测模块连接，如果探测模块的探测结果为探测到正确的运动矢量 预测器，则将判断结果发送到编码模块；编码模块，接收所述判断结果，编码至少当前运动矢量差或者编码至少当前运动矢量 差和索引。
15.一种运动矢量解码装置，其特征在于包括以下部分 接收模块，接收至少已编码的运动矢量差；第一解码模块，连接所述接收模块，根据接收的至少已编码的运动矢量差，解码运动矢量差；第一选择模块，用以选择组成候选集的预测器；第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所 述候选集中的预测器的数目；判断模块，连接所述第一处理模块与所述第一解码模块，基于所述候选集中的剩余预 测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器； 第二解码模块，连接所述判断模块，根据所述判断结果解码索引； 分析模块，连接所述第一处理模块和第二解码模块，根据解码的索引判定运动矢量预 测器；第二处理模块，连接所述判断模块、所述第一解码模块和所述分析模块，根据判断结 果，利用解码的运动矢量差和已解码确定的运动矢量预测器得到运动矢量；或者利用解码 的运动矢量差和已判定的运动矢量预测器得到运动矢量。
全文摘要
本发明涉及视频编码方法。具体地，其涉及运动矢量(MV)编码，其中MV编码基于边缘匹配或自适应模板匹配，也就是基于边界匹配(MVCBM)的运动矢量编码和基于自适应模板匹配(MVCATM)的运动矢量编码。一般来说，本发明限定预测候选集，其中预测器基于相邻MV的当前分布自适应地变化。随后，匹配技术(MVCBM中的边界匹配和MVCATM中的自适应模板匹配)用于减小预测候选集的大小以减少索引使用的位数。而后，在包含于减少的集中的预测器中选择最优的运动矢量预测器。基于最小MVD标准的猜测策略进一步节约了索引的位数。
文档编号H04N7/50GK101860754SQ20101017428
公开日2010年10月13日 申请日期2010年4月30日 优先权日2009年12月16日
发明者代晶静, 刘雨, 区子廉, 杨雯, 邹峰 申请人:香港应用科技研究院有限公司