视频图像运动信息获取方法、装置及设备、模板构造方法

专利名称：视频图像运动信息获取方法、装置及设备、模板构造方法
技术领域：
本发明涉及视频技术，尤其涉及一种视频图像编解码过程中视频图像运动信息的 获取方法、装置及设备、以及一种应用在视频图像编解码过程中的模板构造方法。
背景技术：
随着视频编码技术的不断发展，帧间的运动搜索和补偿技术能够有效地去除视频 内容的时间冗余，编码效率得到了很大程度的提高；通过运动估计得到运动信息并把它传 递给解码端，由解码端通过运动补偿的方法对视频图像进行预测重建。然而由于运动补偿 后预测残差在码流中所占的比重的大幅度下降，同时运动矢量信息在码流中的比重不断上 升，如何有效地压缩运动信息成为进一步提升视频压缩效率的关键。现有技术中有一种减少视频图像编解码过程中运动信息在码流中比重的获取运 动信息的方法通过模板匹配来获取运动矢量；具体地，以当前块是B帧中的宏块为例，如图1所 示，首先在当前块的周围用重建值构造一个模板TM，然后在该块的前向参考帧(Ref ListO) 和后向参考帧(Ref Listl)中用与模板TM形状相同的模板进行搜索匹配得到运动矢量MVO 和MVl作为当前块的运动矢量，同时得到当前块的预测值，对其进行预测残差编码。在实现本发明的过程中，发明人发现现有技术中至少存在如下问题在获取运动信息时引入的预测误差较大，使得视频图像编码的效率低。

发明内容
本发明的实施例提供一种视频图像运动信息的获取方法、装置及设备，可通过改 进视频图像中运动信息的获取过程来提高视频图像的编解码效率。本发明的实施例采用如下技术方案一种获取视频图像运动信息的方法，包括根据与当前块相关的已知运动信息确定所述当前块在第一参考帧中对应的至少 一个备选第一参考块；在第二参考帧中确定与所述至少一个备选第一参考块分别对应的至少一个备选
第二参考块；计算每个所述备选第一参考块与其相对应的备选第二参考块之间的误差和；选取误差和最小的备选第一参考块和备选第二参考块作为所述当前块的第一参 考块和第二参考块，根据所述第一参考块和第二参考块确定的运动信息得到所述当前块的 运动信息。一种获取视频图像运动信息的装置，包括第一确定单元，用于根据与当前块相关的已知运动信息确定所述当前块在第一参 考帧中对应的至少一个备选第一参考块；第二确定单元，用于在第二参考帧中确定与所述至少一个备选第一参考块分别对应的至少一个备选第二参考块；计算单元，用于计算每个所述备选第一参考块与其相对应的备选第二参考块之间 的误差和；选取单元，用于选取误差和最小的备选第一参考块和备选第二参考块作为所述当 前块的第一参考块和第二参考块，根据所述第一参考块和第二参考块确定的运动信息得到 所述当前块的运动信息。一种电子设备，该电子设备中包括上述获取视频图像运动信息的装置以及收发装 置，所述收发装置用于接收或发送视频信息。一种获取视频图像运动信息的方法，包括在第一参考帧中通过模板匹配获取到当前块相关的第一运动信息，根据所述第一 运动信息确定第一参考块；在第二参考帧中通过模板匹配获取到所述第一参考块相关的第二运动信息，根据 所述第二运动信息确定第二参考块；根据所述第一运动信息和所述第二运动信息确定所述当前块的运动信息。一种获取视频图像运动信息的装置，包括第一匹配单元，用于在第一参考帧中通过模板匹配获取到当前块相关的第一运动 信息，根据所述第一运动信息确定第一参考块；第二匹配单元，用于在第二参考帧中通过模板匹配获取到所述第一参考块相关的 第二运动信息，根据所述第二运动信息确定第二参考块；计算单元，用于根据所述第一运动信息和所述第二运动信息计算能得到所述当前 块的运动信息。一种电子设备，该电子设备中包括上述获取视频图像运动信息的装置以及收发装 置，所述收发装置用于接收或发送视频信息。本发明的实施例还提供一种应用在视频编解码过程中的模板构造方法，包括在当前块的部分周边块的重建值未知的情况下，根据所述重建值未知的周边块对 应的已经解析的运动信息在对应参考帧中获得所述周边块的预测值，然后利用所述预测值 和所述当前块周边已知的重建值构造模板。本发明实施例提供的视频图像运动信息的获取方法及装置，通过改变确定参考块 的方法来改进视频图像中运动信息的获取过程，可以提高视频图像的编解码效率。本发明 实施例提供的模板构造方法，能够在当前块为划分块时利用周边块对应的预测值来代替所 述周边块的未知重建值，进而完成当前块的模板构建。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。图1为现有技术中通过模板匹配获取运动矢量的方法示意图；图2为本发明实施例一中的方法流程图3为本发明实施例一中的装置示意图4为本发明实施例二中的方法流程图5为本发明实施例二中的参考帧结构示意图一；
图6为本发明实施例二中的参考帧结构示意图二；
图7为本发明实施例三中的方法流程图8为本发明实施例三中的参考帧结构示意图一；
图9为本发明实施例三中的参考帧结构示意图二；
图10为本发明实施例四中的装置示意图11为本发明实施例五中的方法流程图12为本发明实施例五中的装置示意图13为本发明实施例六中的方法流程图14为本发明实施例六中的参考帧结构示意图15为本发明实施例七中的方法流程图16为本发明实施例八中的装置示意图17为本发明实施例九中的电子设备的示意图18为本发明实施例十中的B帧示意图19为本发明实施例三中宏块划分下的模板解码示意图20为本发明实施例三中8X8宏块划分下的模板解码示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。实施例一如图2所示，本实施例提供的获取视频图像运动信息的方法，包括以下步骤201、根据与当前块相关的已知运动信息确定所述当前块在第一参考帧中对应的 至少一个备选第一参考块。在本实施例中，所述与当前块相关的已知运动信息可以是与当前块在时间上或者 空间上相关的已编码块或者已解码块的运动矢量；具体地，从与当前块相关的编码块/解码块的运动矢量中选择其全部或者部分组 成一个备选运动矢量集，然后根据每个备选运动矢量在第一参考帧中对应地确定一个备选 第一参考块，从而得到一组备选第一参考块。202、在第二参考帧中确定与每个所述备选第一参考块分别对应的至少一个备选
第二参考块。根据备选第一参考块与当前块的位置关系，确定每个备选第一参考块到当前块的 运动矢量，并结合所述运动矢量在第二参考帧中确定与每个备选第一参考块分别对应的备 选第二参考块；例如，在本实施例中可以通过对称性搜索来确定各个备选第一参考块在所述第二参考帧中对应的备选第二参考块，也就是说，对称性搜索后，所述备选第一参考块与其对应 的搜索到的备选第二参考块以当前块为中心等比例对称。203、计算每个备选第一参考块与其相对应的备选第二参考块之间的误差和。所述误差和，可以是绝对误差和(SAD)、绝对转换误差和(sum of absolutetransformation differences)、或者绝对平方差和，当然还可以是其它一些可以 用于描述两个参考块之间相似性的参数；在本实施例中以及以下各个实施例中，均以绝对 误差和为例对本发明提供的方案进行阐述。204、选取最小SAD所对应的备选第一参考块和备选第二参考块作为当前块的第 一参考块和第二参考块，根据所述第一参考块和第二参考块确定的运动矢量得到所述当前 块的运动信息。为了更好地实现上述获取视频图像运动信息的方法，本实施例还提供了一种获取 视频图像运动信息的装置，如图3所示，包括第一确定单元301、第二确定单元302、计算单 元303以及选取单元304 ；其中，第一确定单元301根据与当前块相关的已知运动信息确定所述当前块在第一参 考帧中对应的至少一个备选第一参考块；然后，由第二确定单元302通过对称性搜索在第 二参考帧中确定与所述至少一个备选第一参考块分别对应的至少一个备选第二参考块；之 后，计算单元303计算出每个所述备选第一参考块与其相对应的备选第二参考块之间的误 差和；最后，选取单元304选取误差和最小的备选第一参考块和备选第二参考块作为所述 当前块的第一参考块和第二参考块，根据所述第一参考块和第二参考块确定的运动矢量得 到所述当前块的运动信息。本发明实施例提供的方法可以根据实际需要对各个步骤顺序进行调整。本实施例提供的获取视频图像运动信息的方法及装置，改变了在确定参考块过程 中确定参考块的策略，可以在保证编码性能基本不变的情况下降低参考块确定过程实现的 复杂度，从而改进了视频图像中运动信息的获取过程，提高了视频图像的编解码效率。实施例二 以按B帧编码为例，如图4所示，本实施例提供的获取视频图像运动信息的方法， 具体包括以下步骤401、利用当前块周围已编码的块的运动矢量组成一个备选运动矢量集，其中包括 与当前块相关的编码块的运动矢量中的部分或者全部。所述当前块可以是完整的宏块，也可以是宏块的划分块，在这里以完整的宏块为 例；所述备选运动矢量集中可以包括与当前块(Curr_blk)在空间上相关的周边块 的运动矢量MVL、MVU、MVR和MEAN(MVL、MVU、MVR)，前向参考帧f^中相同位置块中的运动 矢量(如图5中的col_MVl、col_MV2、col_MV3、col_MV4)以及相同位置块的周边块的运动
矢量(如图5中的MV1、MV2.....MV12)，后向参考帧fn+1中相同位置块中的运动矢量(如
图5中的col_MVl'、col_MV2'、col_MV3'、col_MV4')以及相同位置块的周边块的运动
矢量(如图5中的MVl'、MV2' .....MV12')中的全部或者其中一部分，即包括当前块的
左边块，上边块，左上块，右上块，在参考帧中和当前块相同位置的块的左边块，上边块，左 上块，右上块或其中的一部分，以及在参考帧中和当前块相同位置的块。
402、选择所述备选运动矢量集中的一个运动矢量，根据该运动矢量在第一参考帧 (在本实施例中，以当前帧的前向参考帧fM为第一参考帧)中找到一个备选第一参考块 blkll。403、根据所述备选第一参考块blkll与当前块的位置关系，得到备选第一参考块 blkll到当前块的运动矢量；结合该运动矢量在第二参考帧(在本实施例中，以当前帧的 后向参考帧fn+1为第二参考帧)中确定与备选第一参考块blkll对应的备选第二参考块 blk21。404、计算出备选第一参考块blkll与备选第二参考块blk21之间的绝对误差和 SAD1。在执行完步骤404之后，在所述备选运动矢量集中未选择的运动矢量中重新选择 一个运动矢量，重复执行步骤402至404 ；若所述备选运动矢量集中共有ρ个运动矢量，则 上述步骤需要重复操作P-I次，从而依次确定备选第一参考块blkl2、blkl3、...以及与之 分别对应的备选第二参考块blk22、blk23、...，并且得到每两个对应的备选参考块之间的 绝对误差和SAD2、SAD3、...。405、选取上述绝对误差和SAD1、SAD2、SAD3、...中最小的SAD所对应的备选第一 参考块和备选第二参考块作为当前块的第一参考块和第二参考块，则根据所述第一参考块 和第二参考块确定的运动矢量(u，ν)即为当前块的运动矢量。406、根据所述当前块的运动矢量计算当前块的预测值。如果前向预测帧。和后向预测帧fn+1到当前帧fn的距离相等，则可以利用公式 (1)来计算得到当前块的预测值
11 11⑴如果前向预测帧。和后向预测帧fn+1到当前帧fn的距离不相等，则可以利用公 式(2)来计算得到当前块的预测值
/ (…附氺-二+ 灿二’点柳刷(2)其中，dl为前向预测帧。到当前帧fn的距离，d2为后向预测帧fn+1到当前帧fn 的距离。如果此时处于视频图像的编码阶段，则执行步骤407 ；如果此时处于视频图像的 解码阶段，则执行步骤408。407、计算所述当前块的预测值和真实值之间的差值，进行视频图像的预测残差编码。408、从接收到的码流中解码出图像块的预测值和真实值之间的差值，当前块所对 应的差值与步骤406中得到的预测值相加后得到的和，即为当前块解码后的真实值。在本实施例中，以上各步骤的编号并不用于限定各个步骤之间的执行顺序，本发 明实施例提供的方法可以根据实际需要对各个步骤顺序进行调整。此外，为了使解码端能够得到更为准确的运动信息，在本实施例中编码端还可以根据获取到的运动信息求得其与真实运动信息之间的差值，并将运动信息的差值发送给解 码端；而且，当前块的预测值也是根据所述真实运动信息计算得到的，即求得步骤405获取 到的根据所述第一参考块和第二参考块确定的运动矢量(u，ν)和当前块通过运动搜索得 到的真实运动矢量之间的矢量差，将所述运动矢量误差发送给解码端。这样，解码端在接收 到编码端提供的数据后，首先根据所述运动信息的差值恢复出真实运动信息，并根据该真 实运动信息计算出当前块的预测值并进一步对当前块进行重建。如果本实施例中的当前块是宏块的部分划分块，如图6所示，则在确定备选 运动矢量集时就不能再考虑和当前块的Neighb0rh00d_blk(即和当前块相邻的、且和 当前块属于同一宏块或子块的图像块)相关的运动矢量，这样才能避免当前块因受到 Neighborhood_blk的影响而出现错误预测；从图6中可以看到，此时的备选运动矢量集包 括与当前块在空间上相关的周边块的运动矢量MVLU、MVU、MVR，前向参考帧f^中的运动 矢量(col_MVl、col_MV2、MVl、MV2、. . .、MV7)，后向参考帧 fn+1 中的运动矢量(col_MVl'、 col_MV2' ,MVl'、MV2'、...、MV7')中的全部或者其中一部分。本实施例提供的获取视频图像运动信息的方法，改变了在确定参考块过程中确定 参考块的策略，可以在保证编码/解码性能基本不变的情况下降低参考块确定过程实现的 复杂度，从而改进了视频图像中运动信息的获取过程，提高了视频图像的编解码效率。实施例三为了进一步提高编解码性能，可以将模板比较的方法引入到实施例二所描述的方 法中；以按B帧编码为例，如图7所示，本实施例提供的获取视频图像运动信息的方法，具体 包括以下步骤701、在当前帧fn中当前块(Curr_blk)的周围利用重建值构造一个模板TM1。702、利用当前块周边已编码的块的运动矢量组成一个备选运动矢量集，其中包括 与当前块相关的编码块的运动矢量中的部分或者全部。所述当前块可以是完整的宏块，也可以是宏块的划分块，在本实施例中仍然以完 整的宏块为例。703、选择所述备选运动矢量集中的一个运动矢量，根据该运动矢量在第一参考帧 (在本实施例中，以当前帧的前向参考帧fM为第一参考帧)中找到一个备选第一参考块 blkl 1，并在备选第一参考块blkl 1的周围利用重建值构建模板TM21，如图8所示。704、根据所述备选第一参考块blkll与当前块的位置关系，得到备选第一参考块 blkll到当前块的运动矢量；结合该运动矢量在第二参考帧(在本实施例中，以当前帧的 后向参考帧fn+1为第二参考帧)中确定与备选第一参考块blkll对应的备选第二参考块 blk21。705、计算出备选第一参考块blkll与备选第二参考块blk21之间的绝对误差和 SADl，以及模板TMl和模板TM21之间的绝对误差和SADl ‘。在执行完步骤705之后，在所述备选运动矢量集中未选择的运动矢量中重新选择 一个运动矢量，重复执行步骤703至705 ；若所述备选运动矢量集中共有ρ个运动矢量，则 上述步骤需要重复操作P-I次，从而依次确定备选第一参考块blkl2、blkl3以及与之分别 对应的备选第二参考块blk22、blk23、...和模板TM22、TM23、...,并且得到每两个对应的 备选参考块之间的绝对误差和SAD2、SAD3、...,以及模板TMl和模板TM22、TM23、...之间的绝对误差和SAD2 ‘、SAD3 ‘、...。706、计算 SAD χ 和 SAD χ'的力口权禾口 SUMx = (a*SAD x+b*SAD χ')，其中 χ 为从 1到P的自然数，SAD χ和SAD χ'的权重a和b分别表示参考块相似度和模板相似度对编 码性能的影响程度。例如，权重a和b的具体数值只要满足a和b的比值等于当前块的面积和模板TMl 的面积的比值就可以了。707、选取上述加权和SUMx中最小的加权和所对应的备选第一参考块和备选第二 参考块作为当前块的第一参考块和第二参考块，则由所述第一参考块和第二参考块确定的 运动矢量(u，ν)即为当前块的运动矢量。708、根据所述当前块的运动矢量计算当前块的预测值。如果前向预测帧。和后向预测帧fn+1到当前帧fn的距离相等，则利用公式⑴ 来计算得到当前块的预测值
11 11Λ (X, 7) = {fn-ι ^--u,y--v) + fn^x + -u,y + -v)}/2(1)如果前向预测帧fn_i和后向预测帧fn+1到当前帧fn的距离不相等，则利用公式(2) 来计算得到当前块的预测值
fn(x,y) = {d2*fn X(x — ~—U^—~— v) + ￡/l*f +l(x+ d2 u,y+ dl v)}f(dl + d2) "V ” 1 Jn~x dl + d2 d\ + d2 J J"+1 d\ + d2 7 d\ + d2 S(2)其中，dl为前向预测帧。到当前帧fn的距离，d2为后向预测帧fn+1到当前帧fn 的距离。如果此时处于视频图像的编码阶段，则执行步骤709 ；如果此时处于视频图像的 解码阶段，则执行步骤710。709、计算所述当前块的预测值和真实值之间的差值，进行视频图像的预测残差编码。710、从接收到的码流中解码出图像块的预测值和真实值之间的差值，当前块所对 应的差值与步骤708中得到的预测值相加后得到的和，即为当前块解码后的真实值。在本实施例中，以上各步骤的编号并不用于限定各个步骤之间的执行顺序，本发 明实施例提供的方法可以根据实际需要对各个步骤顺序进行调整。此外，为了使解码端能够得到更为准确的运动信息，在本实施例中编码端还可以 根据获取到的运动信息求得其与真实运动信息之间的差值，并将运动信息的差值发送给解 码端；而且，当前块的预测值也是根据所述真实运动信息计算得到的。这样，解码端在接收 到编码端提供的数据后，首先根据所述运动信息的差值恢复出真实运动信息，并根据该真 实运动信息计算出当前块的预测值并进一步对当前块进行重建。如果本实施例中的当前块是宏块的部分划分块，如图6所示，则在确定备选 运动矢量集时就不能再考虑和当前块的Neighb0rh00d_blk(即和当前块相邻的、且和 当前块属于同一宏块或子块的图像块)相关的运动矢量，这样才能避免当前块因受到 Neighborhood_blk的影响而出现错误预测；
而且，在为当前块构造模板时，如图9所示，在为划分块p2构造模板时，其模板的 上半部分可以直接用当前划分块P2周边的重建值进行构造，而左半部分(阴影部分)由于 无法直接获取到周边的重建值，因此需要利用划分块Pl的运动信息在参考帧中找到对应 的预测块PP1，然后用预测块PPl中对应阴影位置的预测值作为划分块P2对应模板的左半 部分的值。这样，本发明实施例中提供的构造模板的方法能够在当前块为划分块时利用其 周边块对应的预测值来代替所述周边块的未知重建值，进而完成当前块的模板构建，解决 了当前块为划分块时无法获取到完整的周边块重建值的问题。在另一实施情况中，利用已解码得到的当前宏块划分块的相邻宏块划分块的运动 信息，在所述相邻宏块划分块的参考帧中得到预测块构造当前宏块划分块的模板，根据所 述当前宏块划分块的模板在所述当前宏块划分块的参考帧中找到当前宏块划分块的模板 的匹配参考模板，得到当前宏块划分块的运动信息，进一步采用所述匹配参考模板对应的 参考块补偿当前宏块划分块的残差数据，重建当前宏块划分块，或者采用所述匹配参考模 板对应的参考块预测当前宏块划分块得到残差数据用于解码端重建当前宏块划分块。具体的，如图19所示，以当前宏块按照16x8宏块划分编码为例，当解码当前宏块 curr时，先解码出宏块类型信息和当前宏块的宏块划分Pl的运动信息MV1，如果当前宏块 划分P2是利用模板技术编码的，则利用已经得到的Pl的运动信息MVl，在宏块划分Pl的参 考帧中找到对应的参考块，取到构成模板所需要的足够的预测像素，如图19中虚箭头连接 的灰色块所表示的预测像素块作为当前宏块划分P2的模板的左半部，同时利用当前宏块 划分P2上边邻近的重建像素块构成当前模板TM，然后在参考帧中找到和当前模板TM最匹 配的参考模板，该参考模板所对应的运动信息MV2作为当前宏块划分P2的运动矢量，同时 利用该运动矢量所指的参考模板邻近的右下方参考块作为当前宏块划分P2的预测块，补 偿当前宏块划分P2的残差分量，重建当前宏块划分P2。如图20是8X8宏块划分下的模板解码过程，当解码第4个8x8块时，先用周边子块 的运动矢量在参考帧中取到对应的预测块1，2，3，组合成当前模板，在利用当前模板，在参 考帧中和参考模板匹配搜索，找到当前块的预测值，利用得到的当前块的预测值去补偿当 前块残差值，重建当前块。编码过程与之对应，利用组合得到的当前模板和参考模板匹配搜 索，找到当前块的预测值，利用得到的当前块的预测值去预测当前块残差值，编码残差值。另一实施情况中，如图20所示，当前宏块按照8x8宏块划分编码，当解码当前宏块 curr时，先解码出宏块类型信息和当前宏块的宏块划分的运动信息MV1，MV2，MV3，MV4，如 果当前宏块划分是利用模板技术编码的，则利用已经得到的宏块划分的运动信息MV1，MV2， MV3，在对应的宏块划分的参考帧中找到对应的参考块(如图20中的1，2，3)，取到构成模 板所需要的足够的预测像素，如图20中箭头连接的黄色块所表示的预测像素块作为当前 宏块划分的模板的左半边和上半边，构成当前模板TM，然后在参考帧中找到和当前模板TM 匹配的参考模板TMref，利用TM和TMref计算得到当前宏块划分的亮度差IDCO，IDCO = (TM-TMref)/Num，其中Num表示模板包含的象素个数，同时利用该亮度差更新当前块的预 测值pred，使得更新的预测值pred’，pred’(i，j) = pred(i, j)+IDC0, (i，j)表示像素点 位置，利用更新的预测值pred’补偿残值值，得到重建当前宏块划分。上述实现适应目前解 码器硬件设计的模块化要求，降低数据读取的频次，提高数据读取的效率，减少模块切换的 次数，使模板技术能够运用到宏块划分中。
本实施例提供的获取视频图像运动信息的方法，改变了在确定参考块过程中对参 考块进行确定的策略，并且在进行参考块相似度比较的时候进一步引入了模板的相似度比 较，使得参考块的确定过程更为严谨，可以在保证编码/解码性能基本不变的情况下降低 搜索过程实现的复杂度，从而改进了视频图像中运动信息的获取过程，提高了视频图像的 编解码效率。实施例四如图10所示，本实施例提供的获取视频图像运动信息的装置，包括第一确定单 元1001、第二确定单元1002、计算单元1003以及选取单元1004 ；其中，第一确定单元1001根据与当前块相关的已知运动信息确定所述当前块在第一参 考帧中对应的至少一个备选第一参考块；然后，由第二确定单元1002通过对称性搜索在第 二参考帧中确定与所述至少一个备选第一参考块分别对应的至少一个备选第二参考块；之 后，计算单元1003计算出每个所述备选第一参考块与其相对应的备选第二参考块之间的 绝对误差和；最后，选取单元1004选取绝对误差和最小的备选第一参考块和备选第二参考 块作为所述当前块的第一参考块和第二参考块，根据所述第一参考块和第二参考块确定的 运动矢量得到所述当前块的运动信息。进一步地，本实施例提供的获取视频图像运动信息的装置，还可以包括第一构造 单元1005和第二构造单元1006 ；其中，第一构造单元1005，用于在所述当前块的周围利用重建值构造一个模板；第二构 造单元1006，用于在所述第一参考帧中，在所述至少一个备选第一参考块中每个备选第一 参考块的周围分别利用重建值构造一个与其对应的模板；此时的计算单元1003，用于计算 所述备选第一参考块与其相对应的备选第二参考块之间的绝对误差和、以及该备选第一参 考块对应的模板与所述当前块对应的模板之间的绝对误差和，然后计算二者的加权和，而 选取单元1004则用于选取所述加权和最小的备选第一参考块和备选第二参考块作为所述 当前块的第一参考块和第二参考块，且所述第一参考块和第二参考块之间的运动信息即为 所述当前块的运动信息。此外，本实施例提供的获取视频图像运动信息的装置，还可以包括编码单元1007， 用于利用根据所述第一参考块和第二参考块确定的运动信息得到的所述当前块的运动信 息计算所述当前块的预测值，并进行预测残差编码；或者，该装置还可以包括解码单元1008，用于利用根据所述第一参考块和第二参 考块确定的运动信息得到的所述当前块的运动信息计算所述当前块的预测值，并对接收到 的码流进行解码。本发明实施例的装置具体可以表现为电路、集成电路或芯片等。本实施例提供的获取视频图像运动信息的装置，改变了在确定参考块过程中对参 考块确定的策略，可以在保证编码性能基本不变的情况下降低参考块确定过程实现的复杂 度，从而改进了视频图像中运动信息的获取过程，提高了视频图像的编解码效率。实施例五如图11所示，本实施例提供的获取视频图像运动信息的方法，包括以下步骤1101、在第一参考帧中通过模板匹配获取到当前块相关的第一运动信息，根据所 述第一运动信息确定第一参考块；
15
1102、在第二参考帧中通过模板匹配获取到所述第一参考块相关的第二运动信 息，根据所述第二运动信息确定第二参考块；1103、根据所述第一运动信息和所述第二运动信息确定所述当前块的运动信息。为了更好地实现上述获取视频图像运动信息的方法，本实施例还提供了一种获取 视频图像运动信息的装置，如图12所示，包括第一匹配单元1201、第二匹配单元1202和计 算单元1203 ；在获取视频图像运动信息的过程中，首先由第一匹配单元1201在第一参考帧中 通过模板匹配获取到当前块相关的第一运动信息，根据所述第一运动信息确定第一参考 块；然后由第二匹配单元1202在第二参考帧中通过模板匹配获取到所述第一参考块相关 的第二运动信息，根据所述第二运动信息确定第二参考块；之后，计算单元1203根据所述 第一运动信息和所述第二运动信息计算得到所述当前块的运动信息。本发明实施例提供的方法可以根据实际需要对各个步骤顺序进行调整。本实施例提供的获取视频图像运动信息的方法及装置，在通过模板匹配的方法搜 索参考块时，引入了运动估计的因素，从而使获取到的运动信息较现有技术更为准确。实施例六以按B帧编码为例，参考图13和图14所示，本实施例提供的获取视频图像运动信 息的方法，具体包括以下步骤1301、利用当前块的周围已编码块的重建值构造一个模板TM1，然后在第一参考帧 中(以当前帧的前向参考帧为例)以预测运动矢量为中心的规定搜索范围内，以与模板TMl 形状相同的模板TM2进行搜索，获取到当前块相对前向参考帧的第一运动矢量(ul，vl)，并 根据该第一运动矢量在前向参考帧中确定与当前块对应的第一参考块blkl。在本实施例中，所述第一参考帧并不限于是当前帧的前向参考帧fn_i，当然也可以 是以当前帧的后向参考帧fn+1为第一参考帧，而以当前帧的前向参考帧fy为第二参考帧；所述当前块可以是完整的宏块，也可以是宏块的划分块，在这里以完整的宏块为 例；而且，所述与当前块相关的第一运动矢量(ul，vl)的确定过程为在所述以预测 运动矢量为中心的规定搜索范围内，当模板TM2和TMl之间的匹配误差(可以用两者之间 的绝对误差之和SAD来衡量)最小时，模板TMl到TM2的运动矢量(ul，vl)即为当前块相 对前向参考帧的第一运动矢量，且此时在前向参考帧中根据第一运动矢量(ul，vl)找到的 块也就是当前块所对应的第一参考块blkl。1302、在第二参考帧(以后向参考帧为例)中，在以第一参考块blkl在后向参考 帧上的映射点为中心的规定搜索范围内，通过模板匹配的方法获取到第一参考块相对后向 参考帧的第二运动矢量(u，ν)，并根据该第二运动矢量在后向参考帧中确定与所述第一参 考块blkl对应的第二参考块blk2。1303、根据所述第一运动矢量(ul，vl)和所述第二运动矢量(u，ν)计算得到所述 当前块相对后向参考帧的运动信息。在本实施例中，当前块到所述第二参考块blk2的运动矢量即为所述当前块相对 后向参考帧的运动信息；具体地，当前块相对后向参考帧的运动矢量为(u2, v2) = (u, v) + (ul, vl)(3)
1304、根据所述当前块的运动矢量计算当前块的预测值。所述当前块的运动矢量包括当前块相对前向参考帧fn_i的运动矢量(ul，vl)和当 前块相对后向参考帧fn+1的运动矢量(u2，v2)，则在前向预测帧fn_i和后向预测帧fn+1到当 前帧fn的距离相等的情况下，当前块curr_blk的预测值可以直接根据公式(4)计算得到fn(x, y) = {^(x+ul, y+vl)+fn+1(x+u2, y+v2)}/2(4)或者更精确些，考虑到前向预测帧fn_i和后向预测帧fn+1到当前帧fn的距离不相 等的情况，当前cUrr_blk的预测值是可根据公式(5)计算得到 其中，wl= Vwl2+Vl2 ,w2 = Vw22+v22。如果此时处于视频图像的编码阶段，则执行步骤1305 ；如果此时处于视频图像的 解码阶段，则执行步骤1306。1305、计算所述当前块的预测值和真实值之间的差值，进行视频图像的预测残差编码。1306、从接收到的码流中解码出图像块的预测值和真实值之间的差值，当前块所 对应的差值与步骤1304中得到的预测值相加后得到的和，即为当前块解码后的真实值。在本实施例中，以上各步骤的编号并不用于限定各个步骤之间的执行顺序，本发 明实施例方法可以根据实际需要对各个步骤顺序进行调整。此外，为了使解码端能够得到更为准确的运动信息，在本实施例中编码端还可以 根据获取到的运动信息求得其与真实运动信息之间的差值，并将运动信息的差值发送给解 码端。这样，解码端在接收到编码端提供的数据后，首先根据解析出所述运动信息的差值， 并根据当前块的预测值恢复出真实运动信息，并根据该真实运动信息进一步对当前块进行重建。如果本实施例中的当前块是宏块的部分划分块，则在为当前块构造模板时的方法 同实施例三中相同，此处不再赘述。本实施例提供的获取视频图像运动信息的方法，在通过模板匹配的方法搜索参考 块时，引入了运动估计的因素，从而使获取到的运动信息较现有技术更为准确。实施例七以按B帧编码为例，在进行编码时一般以前向参考帧作为第一参考帧，而后向参 考帧为第二参考帧，不过在某些时候以后向参考帧为第一参考帧反倒能够得到更好的编码 效果，因此本实施例在实施例六的基础上进一步改进，在进行编码之前首先确定哪个参考 帧最适合作为当前帧进行预测时的第一参考帧。具体地，如图15所示，本实施例提供的获取视频图像运动信息的方法包括1501、在当前帧4中当前块的周围利用重建值构造一个模板TM1。所述当前块可以是完整的宏块，也可以是宏块的划分块，在本实施例中仍然是以 完整的宏块为例。1502、通过模板匹配的方法在当前帧的前向参考帧中搜索当前块的最佳匹配参考 块blkl，及模板TMl的最佳匹配模板TM2 ；而且，当前块与参考块blkl之间的绝对误差和为
17SAD1，模板TMl和模板TM2之间的绝对误差和为SAD3。1503、通过模板匹配的方法在当前帧的后向参考帧中搜索当前块的最佳匹配参考 块blk2，及模板TMl的最佳匹配模板TM3 ；而且，当前块与参考块blk2之间的绝对误差和为 SAD2，模板TMl和模板TM3之间的绝对误差和为SAD4。1504、根据步骤1502和步骤1503中获得的绝对误差和确定当前帧的第一参考帧。具体地，如果SADl和SAD2满足SAD1_SAD2彡0，或者SAD3和SAD4满足 SAD3-SAD4 ^ 0，则以当前帧的前向参考帧为第一参考帧，并且在码流中添加匹配方向标记 flag = 0，则解码端就会根据该匹配方向标记在前向参考帧中搜索当前块的第一参考块； 否则，以当前帧的后向参考帧为第一参考帧，并且在码流中添加匹配方向标记flag = 1，那 么解码端就会根据该匹配方向标记在后向参考帧中搜索当前块的第一参考块。下面以当前帧的前向参考帧是第一参考帧，即flag = 0为例，此时当前块到参考 块blkl的第一运动矢量为(ul，VI)，本实施例提供的获取视频图像运动信息的方法还包 括1505、在第二参考帧(后向参考帧)中，在以参考块blkl在后向参考帧上的映射 点为中心的规定搜索范围内，通过模板匹配的方法获取到参考块blkl相对后向参考帧的 第二运动矢量(u，ν)，并根据该第二运动矢量在后向参考帧中确定与所述参考块blkl对应 的参考块blk2'。1506、根据所述第一运动矢量(ul，vl)和所述第二运动矢量(u，ν)计算得到所述 当前块相对后向参考帧的运动信息。在本实施例中，当前块到所述参考块blk2'的运动矢量即为所述当前块相对后向 参考帧的运动信息；具体地，当前块相对后向参考帧的运动矢量为(u2, v2) = (u, v) + (ul, vl)(3)1507、根据所述当前块的运动矢量计算当前块的预测值。所述当前块的运动矢量包括当前块相对前向参考帧fn_i的运动矢量(ul，vl)和当 前块相对后向参考帧fn+1的运动矢量(u2，v2)，则在前向预测帧fn_i和后向预测帧fn+1到当 前帧fn的距离相等的情况下，当前块curr_blk的预测值可以直接根据公式(4)计算得到fn(x, y) = {fn_1(x+ul,y+vl)+fn+1(x+u2,y+v2)}/2(4)或者更精确些，考虑到前向预测帧fn_i和后向预测帧fn+1到当前帧fn的距离不相 等的情况，当前cUrr_blk的预测值是可根据公式(5)计算得到 其中，=Vwl2H-Vl2 = ^lul2+Vl2。如果此时处于视频图像的编码阶段，则执行步骤1508 ；如果此时处于视频图像的 解码阶段，则执行步骤1509。1508、计算所述当前块的预测值和真实值之间的差值，进行视频图像的预测残差编码。1509、从接收到的码流中解码出图像块的预测值和真实值之间的差值，当前块所 对应的差值与步骤1507中得到的预测值相加后得到的和，即为当前块解码后的真实值。
在本实施例中，以上各步骤的编号并不用于限定各个步骤之间的执行顺序，本发 明实施例方法可以根据实际需要对各个步骤顺序进行调整。此外，为了使解码端能够得到更为准确的运动信息，在本实施例中编码端还可以 根据获取到的运动信息求得其与真实运动信息之间的差值，并将运动信息的差值发送给解 码端。这样，解码端在接收到编码端提供的数据后，首先解析出所述运动信息的差值，并根 据当前块的预测信息计算出该真实运动信息并进一步对当前块进行重建。如果本实施例中的当前块是宏块的部分划分块，则在为当前块构造模板时的方法 同实施例三中相同，此处不再赘述。本实施例提供的获取视频图像运动信息的方法，在通过模板匹配的方法搜索参考 块时引入了运动估计的因素，而且在编码前根据当前帧与不同参考帧之间的参考块匹配程 度或者模板匹配程度来确定一个第一参考帧，使视频图像的编解码得到进一步优化，从而 使获取到的运动信息较现有技术也更为准确。实施例八如图16所示，本实施例提供的获取视频图像运动信息的装置，包括第一匹配单 元1601、第二匹配单元1602和计算单元1603 ；在获取视频图像运动信息的过程中，首先由第一匹配单元1601在第一参考帧中 通过模板匹配获取到当前块相关的第一运动信息，根据所述第一运动信息确定第一参考 块；然后由第二匹配单元1602在第二参考帧中通过模板匹配获取到所述第一参考块相关 的第二运动信息，根据所述第二运动信息确定第二参考块；之后，计算单元1603根据所述 第一运动信息和所述第二运动信息计算得到所述当前块的运动信息。在本实施例中，所述获取视频图像运动信息的装置还可以包括确定单元1604，该 确定单元1604用于在进行编码前确定当前帧的第一参考帧；具体地，如果本实施例提供的装置位于编码端，当前块与其在前向参考帧中的参 考块blkl之间的绝对误差和为SAD1，当前块与其在后向参考帧中的参考块blk2之间的绝 对误差和为SAD2 ；当前块对应的模板TMl与其在前向参考帧中的匹配模板TM2之间的绝对 误差和为SAD3，模板TMl与其在后向参考帧中的匹配模板TM3之间的绝对误差和为SAD4 ； 如果SADl和SAD2满足SAD1-SAD2彡0，或者SAD3和SAD4满足SAD3_SAD4彡0，则以当前 帧的前向参考帧为第一参考帧，并且在码流中添加匹配方向标记flag = 0 ；否则，以当前帧 的后向参考帧为第一参考帧，并且在码流中添加匹配方向标记flag = 1 ；而如果本实施例提供的装置位于解码端，则确定单元1604可直接根据码流中的 匹配方向标记flag来判断出当前帧的第一参考帧。此外，本实施例提供的获取视频图像运动信息的装置，还可以包括编码单元1605， 用于根据所述当前块的运动信息计算所述当前块的预测值，并进行预测残差编码；或者，该装置还可以包括解码单元1606，用于根据所述当前块的运动信息计算所 述当前块的预测值，并对接收到的码流进行解码。本发明实施例的装置具体可以表现为电路、集成电路或芯片等。本实施例提供的获取视频图像运动信息的装置，在通过模板匹配的方法搜索参考 块时引入了运动估计的因素，而且在编码前根据当前帧与不同参考帧之间的参考块匹配程 度或者模板匹配程度来确定一个第一参考帧，使视频图像的编解码得到进一步优化，从而使获取到的运动信息较现有技术也更为准确。实施例九如图17所示，本发明实施例还提供一种电子设备，其包括收发装置1701以及实施 例四或实施例八中提供的获取视频图像运动信息的装置1702 ；具体地，收发装置1701，用于接收或发送视频信息；本实施例提供的获取视频图像运动信息的装置1702的技术方案可以结合参考实 施例四或实施例八中提供的技术方案，在此不作赘述。本发明实施例的电子设备可以是手机、视频处理设备、计算机、服务器等。本发明实施例提供的电子设备，通过改变确定参考块的方法来改进视频图像中运 动信息的获取过程，从而提高视频图像的编解码效率。本发明的实施例中均以B帧编码为例，不过本发明实施例的适用范围并不限于B 帧编码，比如实施例六中提供的方法同样适用于P帧编码，只不过此时当前帧的第一参考 帧和第二参考帧分别为当前帧的前向参考帧fy和fn-2，而当前块的预测值则需要通过公式 (4')得到 或者更精确些，当前CUrr_blk的预测值是可根据公式(5')计算得到 其中、 实施例十本实施例提供的获取视频图像运动信息的方法，包括以下步骤步骤101 在编码端，采用当前编码块的备选运动矢量集中的每一个备选运动矢 量确定对应的当前编码块的至少两个关联参考块到当前编码块的每一组运动矢量。其中，所述备选运动矢量集根据当前编码块与其周围块的空间相关性以及与参考 帧相近位置的块的时间相关性，采用当前编码块周围已知块的运动信息得到，当前编码块 周围已知块的运动信息可以是与当前编码块在时间上或者空间上相关的已编码块或者已 解码块的运动矢量或者运动矢量的组合。所述当前编码块可以是完整的宏块，也可以是宏块的划分块，在这里以完整的宏 块为例。所述备选运动矢量集中可以包括与当前编码块(Curr_blk)在空间上相关的周 边块的运动矢量MVL、MVU、MVR和MEAN(MVL、MVU、MVR)，前向参考帧f^中相同位置块中的 运动矢量(如图5中的col_MVl、col_MV2、col_MV3、col_MV4)以及相同位置块的周边块的
运动矢量(如图5中的MV1、MV2.....MV12)，后向参考帧fn+1中相同位置块中的运动矢量
(如图5中的col_MVl'、col_MV2'、col_MV3'、col_MV4')以及相同位置块的周边块的
运动矢量(如图5中的MVl'、MV2' .....MV12')中的全部或者其中一部分，即包括当前
编码块的左边块，上边块，左上块，右上块，在参考帧中和当前编码块相同位置的块的左边 块，上边块，左上块，右上块或其中的一部分，以及在参考帧中和当前编码块相同位置的块。
针对步骤101中获得的当前编码块的备选运动矢量集中的一个备选运动矢量，得 到当前编码块的至少两个关联参考块到当前编码块的一组运动矢量，每一个备选运动矢量 对应一组运动矢量，本实施例中，以两个关联参考块为例，如以当前编码块的前后参考块为 例，所述每一组运动矢量为当前块的前后参考块的前后向运动矢量。具体的，针对每一个备 选运动矢量，得到其相应的前后向运动矢量，如图18所示，以B帧为例，中间块为当前编码 块，LO和Ll为前后参考帧，图示LO和Ll中的块为前后参考块，其中Vf是前向运动矢量，Vb 是后向运动矢量。在此实例中，当前B帧距前向参考帧之间的距离为Tf，距前向参考帧之间 的距离为Tb，搜索范围内的每一对前后向运动矢量满足如下关系Vf/Tf = -Vb/Tb，当为多个 关联参考块时，搜索范围内的每一对运动矢量的关系和上述相同。图18只给出了 B帧与两 个参考帧直接相邻的情况，对于多个连续B帧的情况，其前/后向运动矢量的获得方式与上 类似，此处不再累述。具体地实现中，可以从与当前编码块相关的编码块/解码块的运动矢量中选择其 全部或者部分组成一个备选运动矢量集，然后根据每个备选运动矢量在第一参考帧中对应 地确定一个备选第一参考块，从而得到一组备选第一参考块。根据备选第一参考块与当前编码块的位置关系，确定每个备选第一参考块到当前 编码块的运动矢量，并结合所述运动矢量在第二参考帧中确定与每个备选第一参考块分别 对应的备选第二参考块，在本实施例中可以通过对称性搜索来确定各个备选第一参考块在 所述第二参考帧中对应的备选第二参考块，也就是说，对称性搜索后，所述备选第一参考块 与其对应的搜索到的备选第二参考块以当前编码块为中心等比例对称。步骤102 利用相似度判断从所述每一组运动矢量中确定一组运动矢量作为当前 编码块运动矢量的预测矢量；计算确定的每一组运动矢量间的相似度，相似度可以用误差和衡量，具体可以是 绝对误差和(SAD)、绝对转换误差和(sum of absolute transformationdifferences)、或 者绝对平方差和，当然还可以是其它一些可以用于描述两个参考块之间相似性的参数；在 本实施例中以绝对误差和为例对本发明提供的方案进行阐述。选取最好相似度对应的一组 运动矢量作为当前编码块运动矢量的预测矢量。具体实现中，计算每个备选第一参考块与其相对应的备选第二参考块之间的误差 和，选取最小SAD所对应的备选第一参考块和备选第二参考块作为当前块的第一参考块和 第二参考块，将所述第一参考块和第二参考块确定的运动矢量作为当前编码块运动矢量的 预测矢量。在另一实施中，步骤101和步骤102可以通过实施例三的步骤701-707实现，不同
在于，由所述第一参考块和第二参考块确定的运动矢量(u，ν)作为当前块运动矢量的预测矢量。步骤103根据所述预测矢量和当前编码块运动搜索的运动矢量得到运动矢量差， 所述运动矢量差用于解码端恢复当前编码块的运动矢量。为了使解码端能够得到更为准确的运动信息，在本实施例中编码端还可以根据获 取到的运动信息求得其与真实运动信息之间的差值，并将运动信息的差值发送给解码端， 即求得步骤102获取到的预测矢量和当前编码块通过运动搜索得到的运动矢量之间的矢 量差，将所述运动矢量差发送给解码端，解码端在接收到编码端提供的数据后，首先根据所述运动信息的差值恢复出真实运动信息。在解码端，采用当前编码块的备选运动矢量集中的每一个备选运动矢量确定对应 的当前编码块的至少两个关联参考块到当前编码块的每一组运动矢量，所述备选运动矢量 集根据当前编码块与其周围块的空间相关性以及与参考帧相近位置的块的时间相关性，采 用当前编码块周围已知块的运动信息得到，利用相似度判断准则从所述每一组运动矢量中 确定一组运动矢量作为当前块运动矢量的预测矢量，通过码流解析恢复出所述矢量差，采 用所述预测矢量以及所述矢量差得到所述当前编码块的运动矢量。在另一实施例中，步骤102，可以利用相似度判断从所述每一组运动矢量中确定一 组运动矢量作为当前编码块运动矢量。本领域技术人员可以理解，可以使用许多不同的工艺和技术中的任意一种来表示 信息、消息和信号。例如，上述说明中提到过的消息、信息都可以表示为电压、电流、电磁波、 磁场或磁性粒子、光场或以上任意组合。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单 元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件 和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这 些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专 业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不 应认为超出本发明的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的 软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器 (ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域 内所公知的任意其它形式的存储介质中。以上所述，仅为本发明的具体实施方式
，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应 涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
权利要求
一种获取视频图像运动信息的方法，其特征在于，包括根据与当前块相关的已知运动信息确定所述当前块在第一参考帧中对应的至少一个备选第一参考块；在第二参考帧中确定与所述至少一个备选第一参考块分别对应的至少一个备选第二参考块；计算每个所述备选第一参考块与其相对应的备选第二参考块之间的误差和；选取误差和最小的备选第一参考块和备选第二参考块作为所述当前块的第一参考块和第二参考块，根据所述第一参考块和第二参考块确定的运动信息得到所述当前块的运动信息。
2.根据权利要求1所述的获取视频图像运动信息的方法，其特征在于，在所述计算每 个所述备选第一参考块与其相对应的备选第二参考块之间的误差和之前，还包括在所述当前块的周围利用重建值构造一个模板；在所述第一参考帧中，在每个所述备选第一参考块的周围分别利用重建值构造一个与 该备选第一参考块对应的模板；所述计算每个备选第一参考块与其相对应的备选第二参考块之间的误差和包括 计算所述备选第一参考块与其相对应的备选第二参考块之间的误差和、以及该备选第 一参考块对应的模板与所述当前块对应的模板之间的误差和，然后计算二者的加权和；所述选取误差和最小的备选第一参考块和备选第二参考块作为所述当前块的第一参 考块和第二参考块包括选取所述加权和最小的备选第一参考块和备选第二参考块作为所述当前块的第一参 考块和第二参考块。
3.根据权利要求1或2所述的获取视频图像运动信息的方法，其特征在于，所述与当前 块相关的已知运动信息包括与所述当前块在时间上或者空间上相关的已编码块或已解码块的运动信息。
4.根据权利要求1或2所述的获取视频图像运动信息的方法，其特征在于，还包括 利用根据所述第一参考块和第二参考块确定的运动信息得到的所述当前块的运动信息计算所述当前块的预测值，进行预测残差编码，所述残差编码结果用于解码端重建当前 块；或者，利用根据所述第一参考块和第二参考块确定的运动信息得到的所述当前块的运动信 息计算所述当前块的预测值，采用所述预测值得到所述当前块。
5.一种获取视频图像运动信息的装置，其特征在于，包括第一确定单元，用于根据与当前块相关的已知运动信息确定所述当前块在第一参考帧 中对应的至少一个备选第一参考块；第二确定单元，用于在第二参考帧中确定与所述至少一个备选第一参考块分别对应的 至少一个备选第二参考块；计算单元，用于计算每个所述备选第一参考块与其相对应的备选第二参考块之间的误 差和；选取单元，用于选取误差和最小的备选第一参考块和备选第二参考块作为所述当前块 的第一参考块和第二参考块，根据所述第一参考块和第二参考块确定的运动信息得到所述当前块的运动信息。
6.根据权利要求5所述的获取视频图像运动信息的装置，其特征在于，还包括 第一构造单元，用于在所述当前块的周围利用重建值构造一个模板；第二构造单元，用于在所述第一参考帧中，在每个所述备选第一参考块的周围分别利 用重建值构造一个与该备选第一参考块对应的模板；所述计算单元，用于计算所述备选第一参考块与其相对应的备选第二参考块之间的误 差和、以及该备选第一参考块对应的模板与所述当前块对应的模板之间的误差和，然后计 算二者的加权和；所述选取单元，用于选取所述加权和最小的备选第一参考块和备选第二参考块作为所 述当前块的第一参考块和第二参考块，且由所述第一参考块和第二参考块确定的运动信息 即为所述当前块的运动信息。
7.根据权利要求5所述的获取视频图像运动信息的装置，其特征在于，还包括编码单元，用于利用根据所述第一参考块和第二参考块确定的运动信息得到的所述当 前块的运动信息计算所述当前块的预测值，进行预测残差编码，所述残差编码结果用于解 码端重建当前块；或者，所述装置还包括解码单元，用于利用根据所述第一参考块和第二参考块确定的运动信息得到的所述当 前块的运动信息计算所述当前块的预测值，采用所述预测值得到所述当前块。
8.一种获取视频图像运动信息的方法，其特征在于，包括利用当前块模板和所述当前块的第一参考帧的参考模板，在所述第一参考帧中通过模 板匹配获取到当前块相关的第一运动信息，根据所述第一运动信息确定第一参考块；在当前块的第二参考帧中通过模板匹配获取到所述第一参考块相关的第二运动信息， 根据所述第二运动信息确定第二参考块；根据所述第一运动信息和所述第二运动信息确定所述当前块的运动信息。
9.根据权利要求8所述的获取视频图像运动信息的方法，其特征在于，在所述通过模 板匹配在第一参考帧中找到与当前块对应的第一参考块之前，还包括确定第一参考帧。
10.根据权利要求8或9所述的获取视频图像运动信息的方法，其特征在于，还包括 根据所述当前块的运动信息计算所述当前块的预测值，进行预测残差编码，所述残差编码结果用于解码端重建当前块；或者，根据所述当前块的运动信息计算所述当前块的预测值，采用所述预测值得到所述当前块。
11.根据权利要求8所述的获取视频图像运动信息的方法，其特征在于，在进行所述模板匹配的过程中，如果当前块的部分周边块的重建值未知，则根据所述 重建值未知的周边块对应的已经解析的运动信息在对应参考帧中获得所述周边块的预测 值，然后利用所述预测值和所述当前块周边已知的重建值构造模板。
12.一种获取视频图像运动信息的装置，其特征在于，包括第一匹配单元，用于利用当前块模板和所述当前块的第一参考帧的参考模板，在第一 参考帧中通过模板匹配获取到当前块相关的第一运动信息，根据所述第一运动信息确定第一参考块；第二匹配单元，用于在当前块的第二参考帧中通过模板匹配获取到所述第一参考块相 关的第二运动信息，根据所述第二运动信息确定第二参考块；计算单元，用于根据所述第一运动信息和所述第二运动信息计算得到所述当前块的运 动信息。
13.根据权利要求12所述的获取视频图像运动信息的装置，其特征在于，还包括确定单元，用于确定第一参考帧。
14.根据权利要求12所述的获取视频图像运动信息的装置，其特征在于，还包括编码单元，用于根据所述当前块的运动信息计算所述当前块的预测值，进行预测残差 编码，所述残差编码结果用于解码端重建当前块；或者，所述装置还包括解码单元，用于根据所述当前块的运动信息计算所述当前块的预测值，对接收到的码 流进行解码，采用所述预测值得到所述当前块。
15.一种电子设备，其特征在于，其包括如权利要求5至7中任一项所述的获取视频图 像运动信息的装置以及收发装置，所述收发装置用于接收或发送视频信息。
16.一种电子设备，其特征在于，其包括如权利要求12至14中任一所述的获取视频图 像运动信息的装置以及收发装置，所述收发装置用于接收或发送视频信息。
17.一种模板构造方法，其特征在于，应用在视频编解码过程中，包括当前宏块划分块的周边块处在当前宏块中而重建值未知的情况下，根据所述重建值未 知的周边块对应的已知的运动信息在对应参考帧中获得所述周边块的预测值；利用所述预测值和所述当前块周边已知的重建值构造所述当前宏块划分块的模板。
18.根据权利要求17所述的方法，其特征在于，还包括利用所述当前宏块划分块的模板在所述当前宏块划分块的参考帧中找到当前宏块划 分块的模板的匹配参考模板，采用所述匹配参考模板得到当前宏块划分块的运动信息。
19.一种获取视频图像运动信息的方法，其特征在于，利用已解码得到的当前宏块划分块的相邻宏块划分块的运动信息，在参考帧中得到预 测块，根据所述预测块以及所述当前宏块划分块周围的已知重建信息得到当前宏块划分块 的模板；利用所述当前宏块划分块的模板在所述当前宏块划分块的参考帧中找到当前宏块划 分块的模板的匹配参考模板，采用所述匹配参考模板得到当前宏块划分块的运动信息。
20.根据权利要求19所述的获取视频图像运动信息的方法，其特征在于，所述根据所 述预测块得到当前宏块划分块的模板包括采用预测块中与当前宏块划分块的第一部分模板对应位置的预测值作为所述宏块划 分块的第一部分模板的值；根据所述当前宏块划分块周围已知的重建值得到当前宏块划分块的第二部分模板的值；采用所述第一部分模板的值和所述第二部分模板的值得到当前宏块划分块的模板。
21.根据权利要求19所述的获取视频图像运动信息的方法，其特征在于，所述方法还 包括采用所述匹配参考模板对应的参考块补偿当前宏块划分块的残差数据，重建当前宏块 划分块；或者，采用所述匹配参考模板对应的参考块预测当前宏块划分块得到残差数据用于解码端 重建当前宏块划分块。
22.一种获取视频图像运动信息的方法，其特征在于，包括根据与当前块相关的已知运动信息确定所述当前块在第一参考帧中对应的至少一个 备选第一参考块；在第二参考帧中确定与所述至少一个备选第一参考块分别对应的至少一个备选第二 参考块；采用所述当前块以及对应的至少一个备选第一参考块和至少一个备选第二参考块，根 据相似度选择一个备选第一参考块和一个备选第二参考块；根据所述选择的备选第一参考块和备选第二参考块的运动信息确定所述当前块的运 动信息。
23.根据权利要求22所述的获取视频图像运动信息的方法，其特征在于，所述根据相 似度选择一个备选第一参考块和一个备选第二参考块包括获得所述备选第一参考块和备选第二参考块的相似度，或者，获得所述备选第一参考 块和备选第二参考块的相似度以及备选的参考块对应的模板与所述当前块对应的模板间 的相似度；结合上述获得的相似度，从相似度结合的结果中选择值最小时对应的备选第一参考块 和备选第二参考块。
24.根据权利要求22所述的获取视频图像运动信息的方法，其特征在于，所述根据所 述第一参考块和第二参考块的运动信息确定所述当前块的运动信息包括将所述第一参考块和第二参考块的运动信息作为所述当前块的运动信息；或者，得到所述第一参考块和第二参考块的运动信息和当前块的真实运动信息之间的差值， 并将运动信息的所述差值发送给解码端用于得到当前块的运动信息。
25.根据权利要求22所述的获取视频图像运动信息的方法，其特征在于，所述与当前 块相关的已知运动信息包括与所述当前块在时间上或者空间上相关的已知块的运动信息 或已知块的运动信息的组合。
26.根据权利要求22所述的获取视频图像运动信息的方法，其特征在于，所述备选第 一参考块与其相对应的备选第二参考块以当前块为中心等比例对称。
27.根据权利要求22所述的获取视频图像运动信息的方法，其特征在于，已知块是当 前块相邻周边已编码块或已解码块，包括当前块的左边块，上边块，左上块，右上块，在参考 帧中和当前块相同位置的块的左边块，上边块，左上块，右上块或其中的一部分，以及在参 考帧中和当前块相同位置的块。
28.根据权利要求22-27任一所述的获取视频图像运动信息的方法，其特征在于，利用 与所述当前块在时间上或者空间上相关的已知块的运动信息作为第一参考块的备选运动 矢量。
29.一种获取视频图像运动信息的方法，其特征在于，包括采用当前编码块的备选运动矢量集中的每一个备选运动矢量确定对应的当前编码块的至少两个关联参考块到当前编码块的每一组运动矢量，所述备选运动矢量集根据当前编 码块与其周围块的空间相关性以及与参考帧相近位置的块的时间相关性，采用当前编码块 周围已知块的运动信息得到；利用相似度判断从所述每一组运动矢量中确定一组运动矢量作为当前块运动矢量的 运动矢量。
30.一种获取视频图像运动信息的方法，其特征在于，包括采用当前编码块的备选运动矢量集中的每一个备选运动矢量确定对应的当前编码块 的至少两个关联参考块到当前编码块的每一组运动矢量，所述备选运动矢量集根据当前编 码块与其周围块的空间相关性以及与参考帧相近位置的块的时间相关性，采用当前编码块 周围已知块的运动信息得到；利用相似度判断从所述每一组运动矢量中确定一组运动矢量作为当前块运动矢量的 预测矢量；根据所述预测矢量和当前编码块运动搜索的运动矢量得到运动矢量差，所述运动矢量 差用于解码端恢复当前编码块的运动矢量。
31.根据权利要求30所述的获取视频图像运动信息的方法，其特征在于，所述利用相 似度判断从所述每一组运动矢量中确定一组运动矢量作为当前块运动矢量的预测矢量包 括计算每一组运动矢量对应的至少两个关联参考块像素间的相似度，其中，每个关联参 考块编码像素的数量相同。根据所述计算的相似度选择至少两个关联参考块的一组运动矢量作为当前块运动矢 量的预测矢量。
32.一种获取视频图像运动信息的方法，其特征在于，包括采用当前编码块的备选运动矢量集中的每一个备选运动矢量确定对应的当前编码块 的至少两个关联参考块到当前编码块的每一组运动矢量，所述备选运动矢量集根据当前编 码块与其周围块的空间相关性以及与参考帧相近位置的块的时间相关性，采用当前编码块 周围已知块的运动信息得到；利用相似度判断从所述每一组运动矢量中确定一组运动矢量作为当前块运动矢量的 预测矢量；采用所述预测矢量以及解析码流得到的运动矢量差得到所述当前编码块的运动矢量。
全文摘要
本发明实施例公开了一种视频图像运动信息的获取方法、装置及设备。所述方法包括根据与当前块相关的已知运动信息确定当前块在第一参考帧中对应的至少一个备选第一参考块；在第二参考帧中确定与所述至少一个备选第一参考块分别对应的至少一个备选第二参考块；计算每个备选第一参考块与其相对应的备选第二参考块之间的误差和；选取误差和最小的备选第一参考块和备选第二参考块作为当前块的第一参考块和第二参考块，根据所述第一参考块和第二参考块确定的运动信息得到当前块的运动信息。本发明实施例还提供了一种模板构造方法。本发明实施例提供的方法、装置及设备，可以提高视频图像的编解码效率。
文档编号H04N7/26GK101931803SQ20101014760
公开日2010年12月29日 申请日期2010年4月9日 优先权日2009年6月26日
发明者杨名远, 林四新 申请人:华为技术有限公司