可分级视频编码的错误隐藏的制作方法

专利名称：可分级视频编码的错误隐藏的制作方法
可分级视频编码的错误隐藏背景技术压縮视频比特流的传输通常对信道错误非常敏感。例如，编码后的 视频比特流中的一个比特误码就可能导致图像质量的严重下降。当传输 过程中发生无法通过纠错方案完全校正的比特误码时，在接收机处需要 错误检测和隐藏技术来隐藏受到破坏的图像。错误隐藏算法试图修复所接收到的图像的损坏部分。可在IEEE Signal Processing Magazine, 2001年7月，第17巻，第4期，第61-82页， Yao Wang, Stephan Wenger， Jaintao Wen，禾口 Aggelos K. Kassaggelos等的 "Error Resilient Video Coding Techniques"中找到对本领域内当前技术水平的概况。可以将该技术划分为两大类空间隐藏和时间隐藏。在空间 隐藏中，利用相邻空间信息来重建丢失数据，而在时间隐藏中，根据时 间上相邻的帧中的数据来重建丢失数据。一种简单的时间隐藏技术简单地用前一帧内在空间上对应的区块替 换损坏的区块。该方法被称为复制算法。在存在运动的区域内，该方法 会产生不良隐藏。可以通过将损坏的区块替换为运动补偿后的区块来获 得显著改善，但为了实现这点，需要恢复真实的运动矢量。如下的多种运动矢量恢复技术被广泛地用来隐藏损坏的区块 *通过其相邻区块的运动矢量的"平均"得到的运动补偿后区块。 *通过其相邻区块的运动矢量的"中值"得到的运动补偿后区块。*在W. Lam， A. R. Reibman禾卩B. Liu的"Recovery of lost or erroneously received motion vectors"(正EE Proc. of Int. Conf. Acoustics, Speech, Signal Processing, 545-548页，1992年3月)中 描述的边界匹配算法。针对隐藏对一组候选运动矢量(MV)中的每 个MV进行测试，并且所选出的MV是这样的MV，即，该MV 使其边界与在待隐藏区域的周围从顶部宏块、底部宏块和左侧宏
块与它们邻接的边界之间的均方差最小。用于该计算的边界可以 根据相邻重建宏块的可用性进行方便的调整。通常，使用中值法(也被称为矢量中值法)根据一组候选MV对丢 失的MV进行估计。矢量中值给出到所有相邻候选矢量的最小距离。因 此，该方法是一种用于选择一个相邻MV以便对丢失的区块MV进行重 建的良好方法。该方法的缺点是计算成本高，从而导致其无法用于具有 有限处理能力(例如，视频移动环境)的应用中。在通过引用方式并入于此的欧洲专利申请EP1395061中提出的技术 使用了比该矢量中值法更简单的算法来选择一个相邻区块MV。周围区块 运动矢量的平均给出相对于所有周围运动矢量的最小失真。然而，在周 围运动矢量具有明显不同方向的情形中，相反方向的矢量之间的抵消可 引起具有幅值小于相邻候选矢量的平均矢量。相比于与均值差异最大的 矢量，该丢失的矢量更可能接近于该平均矢量。根据这种观点，选择最 接近该均值的矢量。该方法将被称为近平均法(N-t-A法 nearest-to-average)。在可分级视频编码(scalable video coding)中，尤其是在MPEG/ITU-T JVT SVC编解码器以及在某些基于小波的视频编解码器中所采用的方法 中，运动矢量可通过可分级形式传输。比特流的基本层(base layer)具 有运动矢量的粗略表示，该粗略表示可在增强层中被细化。具体地说， 在MPEG曙4 AVC Scalable Video Coding amendment (Joint Draft 4, JVT document number JVT-Q201)的当前草案中，根据宏块编码模式，可以具有三种选择1. 该MV分量保持与基本层中的MV分量相同2. 用-1、 0或1对MV分量进行细化(以l/4像素为单位)3. 不参照基本层MV而发送新的MV。在许多用于可分级视频编码的应用情况中，认为基本层具有比增强 层更强的错误保护，因此更可能丢失特定区块的运动矢量细化，而其粗 略表示可用。在Ghandi禾口 Ghanbari的"Error concealment for SNR scalable video
coding" (Signal Processing: Image Communication, 2005，尚待出版)中，通过 选择以下选项其中之一来执行增强层内的错误隐藏1. 使用了基于相邻MV的当前MV估计的先前增强图像的运动补偿 后区块(向前)2. 对应的基本层区块(向上)3. 使用了对应基本MV的运动补偿后区块(直接) 接着对这三种选项进行检验，并且选出具有最低边界失真(D)的一个而替换丢失的区块。将区块边界失真定义为1 w一1乂Y M)其中q和ni分别为正确接收到的相邻区块的边界像素和替换像素(参考图1)。较少错误的隐藏算法解决了可分级视频编码情形中的运动恢复。现 有的错误隐藏技术要么是非可分级概念的直接延伸，要么使用了基本层MV和/或纹理的简单复制和伸缩，因此不能很好地适于处理在可分级编 码运动矢量中可能出现的错误模式。具体地说，它们没有利用所有时间、 空间和质量层中可用的信息来有效地对丢失运动矢量和区块编码/分割模式进fiM古计。发明内容在所附权利要求中阐述了本发明的各个方面。 本发明的一方面涉及一种在可分级视频编码中导出图像区块的区块 信息的方法，其中在多个层内以不同的细化级别提供编码后的区块数据，该方法包括对关于至少当前层和/或图像中的相邻区块的信息与关于至 少一个其他层和/或图像中的对应区块和/或相邻区块的信息进行组合，从 而导出所述替换区块信息。在此，相邻意味着在空间上相邻或时间上相邻。当前图像可以指任 何层内的当前图像，而另一个图像指的是在时间上不同的图像(例如， 先前的图像或后继的图像)，并且也可以指任何层内在时间上不同的图像。本发明的第二方面涉及一种在可分级视频编码中导出图像区块的区 块信息的方法，其中在多层内以不同的细化级别提供编码后的区块数据， 该方法包括组合来自以下区块中的至少两个的可用区块信息而导出所 述替换区块信息当前层内的空间相邻区块、当前层内的时间相邻区块、 当前帧的第一其它层内的对应区块、当前帧的第二其它层内的对应区块、 在第一其它层内与当前帧的对应区块空间相邻的区块、在第一其它层内 与当前帧的对应区块时间相邻的区块、在第二其它层内与当前帧的对应 区块空间相邻的区块、在第二其它层内与当前帧的对应区块时间相邻的 区块。本发明的某些方面涉及导出图像区块的区块信息。该区块信息通常 但非必须地是用于丢失或损坏区块信息的替换区块信息。该区块信息例 如是运动矢量信息或者预测模式或者区块分割信息。利用来自在时间上、 空间上或者在另一层内与所述图像区块相邻的区块的信息(即，利用另一 层内的对应区块的区块信息，或者在另一层内与对应区块相邻的区块的 区块信息)来导出给定图像区块的区块信息。在本说明书中，除非根据上 下文明确可知，术语"运动矢量"包括运动矢量细化(例如，在可分级编 码中基本层之上的层中的运动矢量细化)。本发明实施方式的潜在特征是在当前层运动矢量估计过程中将来 自所有层的可用信息进行组合。可以期望以下候选中的至少一些将可 用*来自当前层中的空间相邻区块的MV *来自当前层中的时间相邻区块的MV (当前区块及当前层MV不可用的相邻区块的)当前帧中的粗略(基本层/下层)MV *来自过去帧和未来帧的粗略(基本层/下层)MV *来自当前帧中更高层的MV细化 *来自过去帧和未来帧的更高层的MV细化。 使用可用候选MV中的一些或全部并且使用旨在最小化隐藏错误的
标准来对当前MV进行估计。


将参照附图对发明的实施方式进行描述，其中 图1例示了丢失区块(MB)的边界像素； 图2例示了来自基本层帧和增强层帧的候选运动矢量； 图3例示了对最靠近平均MVVo的候选MV的选择； 图4例示了对顶部区块和底部区块(MB)进行插值以实现空间隐藏； 图5为移动视频电话的示意性框图； 图6例示了基本层和增强层中的相邻区块； 图7例示了空间可分级性和区块模式的各个方面；以及 图8A到图8D例示了对于不同区块模式的基本层的区块与增强层的 区块之间的关系。
具体实施方式
将以移动视频电话为背景来描述本发明的多个实施方式，在移动视 频电话中，由第一移动电话中的摄像机捕获到的图像数据被传输到第二 移动电话并被显示。图5示意性地例示了移动视频电话1的相应部件。电话1包括用于 发送和接收数据的收发机2、用于对所接收数据进行解码的解码器4以及 用于显示所接收到的图像的显示器6。该电话还包括用于捕获用户图像的 摄像器8以及用于对所捕获图像进行编码的编码器10。解码器4包括用于根据适当编码技术对所接收到的数据进行解码的 数据解码器12、用于检测解码后的数据错误的错误检测器14、用于估计 损坏的运动矢量的运动矢量估计器16及用于根据运动矢量估计器的输出 而隐藏错误的错误隐藏器18。下面，将对根据本发明的实施方式对接收图像数据进行解码以在显 示器6上显示的方法进行描述。通过利用了帧、宏块和运动补偿的适当已知技术(例如，MPEG-4
技术)对由第一移动电话的摄像器8捕获的图像数据进行编码，以便进 行传输。如在现有技术中所公知的，数据以基本层和增强层的形式被分 级编码。接着发送编码后的数据。第二移动电话接收到该图像数据并且由数据解码器12对该图像数 据进行解码。如在现有技术中那样，由错误检测器14检测在发送数据中发生的错误，并且在可能的情况下利用纠错方案对其进行校正。在无法 对运动矢量中的错误进行校正的情况下，如下所述，在运动矢量估计器16中应用用于导出替换运动矢量的估计方法。第一实施方式的基础是将粗略MV作为附加的候选MV而补充到 现有技术中已知的近平均法(N-t-A)中。图2的顶部示出了当前层中的MV的示例(以Vh到Ve6表示)，其 将用于在上述N-t-A法中对MV进行恢复。在发明思想的当前实施中， 我们将图2底部中用VBQ表示的基本层MV补充到候选MV集中。在图3中，Vo是候选MV (Vn到Ve6及Vb。)的均值。在该示例中， 最接近Vo的MV是Ve5。因此，选择ve5替换该当前层内丢失的MV。在以上示例中，假定在当前层中来自当前区块上方和下方的区块的 MV己经被正确解码。如果当前层内更多的MV(例如，左边相邻和右边 相邻的MV)可用，则这些可用MV也可用于预测。可以将更多来自基本 层的MV、当前层中的其它图像及结合有来自更高增强层的细化的MV 补充到候选集中。这一点在当前层中的可用MV很少或者特别是没有可 用MV的情况下是非常有用的。以下描述上述基本方案可能的另选例和改进例。另选的候选选择方 法可用来替换以上概述的N-t-A法。空间隐藏算法可与该基本方案结合 使用。可将更高级的运动增强用作另选的候选选择方法，或者用作N-t-A 法或该另选算法的细化。在第二实施方式中，候选选择是以基本层中的当前区块的MV的方 向順值为基础的。具有与该基本层中的当前区块的MV的方向/幅值类似 的方向/幅值的空间/时间相邻区块的候选MV被选出。也可以通过将该选 出的当前层中的MV与基本层中的MV结合起来(例如取两种MV的均值)
而进一步对候选MV进行修正。在第三实施方式中，关于当前层内MV细化的信息被用来引导候选 选择处理。例如，如果当前层内所有的MV细化都很小(例如，为0)，则 决定使用基本层运动矢量，因为当前区块的细化极可能也非常小。第四选择方法是观察周围区块。如果这些相邻区块中的大多数区块 根据基本层进行预测，则从基本层中复制用于当前区块的MV。如果这些 相邻区块中的大多数区块根据先前帧进行预测，则参照该先前帧对丢失 的MV进行估计。同时，如果大多数区块根据下一帧进行预测，则参照 下一帧对丢失的MV进行估计。根据该选择方法， 一旦选出参照图像， 则像以前一样对丢失的MV进行估计。利用这种估计得出的MV,利用 所选参照图像(基本(base)、过去当前(previous current)、未来当前(fixture current))中的一个来隐藏丢失区块。在第五实施方式中，将来自不同层(尤其是来自基本层/更粗略层)的 信息用作附加的错误标准。 一个示例是二步选择算法，该算法包括在第 一步骤中使用区块边界匹配并且在第二步骤中将运动补偿与上采样的基 本层区块进行比较。在该方案的变形例中，基于错误边界测量的加权平 均以及上采样的基本层区块与运动补偿区块之差来导出组合错误测量。如第六实施方式，可以使用来自更高质量等级的运动矢量细化(更高 层运动矢量细化)。对细化信息的最简单应用是基于增强运动矢量来限制运动矢量的 可能范围使其不超出由语法或已知编码器构造所规定的范围。这意味着 可以不必考虑将在下一个增强层中导致无效MV的候选MV。可以结合该简单限制使用更复杂的方法对可用MV细化的特性进行 分析。该分析可基于对MV增强的主要方向的简单确定，也可以基于更 复杂的统计分析。然后单独使用或结合其它标准使用所得到的信息，以 引导在候选MV中的选择处理。例如，如果MV细化对当前区块位置可 用，则将具有最接近对应细化的候选运动矢量选择为当前区块MV的估 计。在更复杂的实施方式中，将细化的接近度与其它信息(例如对属于主 要簇(dominant cluster)的候选MV的预先选择、区块边缘差异等)进行组合。作为特殊情形，还可以使用细化运动矢量场的分析来恢复基本层内 丢失的运动矢量。在一种实施方式中，使用与基本层中的接收MV对应的增强层中的MV细化与对应于丢失MV的那些MV细化之间的关联来 指导要用于隐藏的基本层MV的选择。第七实施方式涉及空间隐藏。如果当前层中的相邻区块为帧内编码， 则丢失的区块可以根据错误标准并根据相邻的重建区块进行内部预测/插 值，从而实现隐藏。通常在发生错误时，相同水平线上的多个区块受到 破坏。因此，有利的是，根据发生错误的区块上方和下方的行上区块中 包含的信息来估计损坏的区块。图4中示出了这种插值的一个示例，其 中，采用了当前区块顶部的区块与当前区块底部的区块之间的插值。接着，基于适当的错误度量而决定使用空间预测/插值。 一个示例是 估计的当前区块与其上采样的基本层版本之间的均方差。与以上构思类似的构思可用于恢复宏块模式、宏块及子宏块分割信息。当区块丢失时，其信息(例如，区块模式)也将丢失。如果周围区 块模式使用双向预测，则将该丢失区块当作双向模式，并且利用来自过 去和未来增强图像的双向运动补偿而将丢失MV隐藏起来。在大多数宏块的一侧(例如，右侧)宏块被帧内编码的情况下，丢失的 宏块将被分割为两个部分。在一部分中，利用根据相邻帧内宏块(INTRA macroblock)的空间隐藏来执行隐藏，而丢失宏块的另一部分将通过根据 周围相邻帧间宏块(INTER macroblock)对丢失MV进行估计来进行隐 藏。在MPEG-4 AVC/H.264中，为运动估计和运动补偿之目的，可以借 助许多方法将宏块进行分割。分割模式为16x16、 16x8、 8x16及8x8。根 据其分割模式，每个宏块可具有分配给该宏块的一个以上MV。对于尺寸 为16x16的区块，需要一个MV，对于尺寸为16x8和8x16的区块，需要 两个MV，而对于8x8模式的区块，则需要4个MV。为了估计丢失的 MB模式，对周围宏块的模式进行检验。例如，如果大多数MV具有16x8
模式，则将16x8模式分配给丢失宏块模式。因此，将需要由周围的相邻 MV估计两个MV，以便隐藏丢失的MV。类似地，当使用了8x8分割时， 可以将8x8区块进一步细分为8x4、 4x8和4x4子区块。可以根据与上述 宏块分割模式类似的方式恢复这些子宏块分割模式。以下阐述用于选择候选运动矢量的其他方法。例如，接下来可以利 用适当方法(例如上述方法或现有方法)来处理候选运动矢量，以导出 替换区块信息(例如，替换运动矢量或估计运动矢量)。第八实施方式涉及阈值和权重。紧接在当前层下方的信息可能非常重要。例如，对于具有称为基本 层的低层和称为增强层的高层的两层而言，很可能增强层区块中的信息 与基本层中对应区块的信息相似。要解决的问题是如何预测作为增强层内和基本层内周围区块MV的 函数的区块运动矢量(MV)。本实施方式涉及确定对候选MV对估计MV 的影响进行控制的权重。基于基本层MV与增强层MV之间的相似性而 确定该权重值。根据可用MV之间的相似性选择分配给候选MV的权重。具体地说， 在本实施方式中，考虑到可用MV之间关系的两方面。对于描述为当前 区块并且具有要估计的丢失或损坏运动矢量的给定区块而言，考虑到以 下情况1. 基本层中的当前区块的MV与基本层中的空间相邻MV之间的相似性；2. 基本层中和增强层中的同一空间相邻区块的MV之间的相似性。 在具体实施中，将相似性测量值划分为由两个阈值所限定的三个范围(高、中、低)。如果相似性度量高，则将高权重分配给对应的区块信息， 并将低权重分配给另一个区块信息。如果相似性度量中间范围内，则将 中间权重分配给来自两类区块的信息。最后，如果相似性度量低，则进 一步减小对应区块信息的权重，并进一步增大另一个区块信息的权重。以下参考图6解释所述两个方面。图6例示了基本层和增强层中的 当前区块以及基本层和增强层中的空间相邻区块。具体地说，空间相邻区块为垂直位于当前区块上方并被描述为顶部区块的区块。在下文中， 将基本层和增强层中的当前区块及顶部区块描述为当前基本区块(Current Base)、当前增强区块(Current Enhancement)、顶部基本区块(Top Base)和顶部增强区块(Top Enhancement)。在方面1的具体实施中，对两个区块(即，基本层中的顶部基本区 块和当前基本区块)的运动矢量(MV)进行比较。如在MPEG-4 SVC中， 每个区块可具有多达16个子区块，从而使每个区块的边界可具有多达4 个子区块(例如，图6所示的当前基本区块中的区块a、 b、 c和d)。 然后对顶部基本区块中的每个子区块的MV与当前基本区块中的对应子 区块的MV之间的欧几里德距离(Euclidean distance)的和进行计算，从 而得出两个相邻区块之间的距离度量DistS，其由以下方程定义<formula>formula see original document page 16</formula>(i)其中ViTB和ViCB分别为顶部基本区块和当前基本区块的MV，而各MV均由x分量和y分量构成。如果度量DistS低于第一阈值TH1,即表示顶部基本区块中的MV 与当前基本区块中的MV非常相似，则增强层中的MV与丢失的MV之 间可以具有较高关联度。因此基本层中的MV的权重因子保持最小。然 而，如果度量DistS高于第一阈值THS1，但低于第二阈值THS2 (其中 THS2> THS1)，则增大基本层的权重因子。最后，如果度量DistS高于 THS2，则将较低的权重分配给增强层的MV,或者甚至丢弃增强层的 MV，而仅仅使用基本层MV来恢复丢失的MV。在第二方面中，对两个层的MV进行比较。如方程2所示，利用来 自顶部增强区块中的子区块的MV和顶部基本区块中的MV计算欧几里 德距离DistL。<formula>formula see original document page 16</formula> (2) 其中ViTe和ViTB分别为顶部增强区块和顶部基本区块的MV。如前面一样，将度量DistL与两个阈值比较。然而此时，如果度量 DistL低于第一阈值THL1 ，则仅仅使用基本层MV来计算丢失的MV(更 一般地，以最高的权重使用基本层MV)。如果度量DistL高于第一阈值THL1，但低于第二阈值THL2(其中THL2〉THL1)，则减小分配给基本层 MV的权重，而增大分配给增强层MV的权重。如果DistL高于第二阈值 THL2，则进一步增大增强层的权重，并进一步减小基本层的权重。 可以使用其它距离度量来作为该相似性度量。在第一和第二方面中，在导出估计MV (例如，在对候选MV进行 平均或在其它类似方法中)时使用了加权。或者如上所述，可使用加权 来确定是将MV包含在候选MV集中还是将其从候选MV集中排除，接 着例如利用上述方法或现有方法对该候选MV集进行处理，从而导出估 计MV。在第一方法中(参考方程1)，相似性度量涉及基本层中的空间信息。 然而在第二方法中(参考方程2)，相似性度量涉及不同的层。换句话说， 一般地说，在第一方法中，对于具有丢失或损坏MV(位 于增强层中)的当前区块而言，如果在基本层中与当前区块相邻的一个或 更多个区块的MV与基本层中的当前区块的MV相似，则可以合理地假 定相同的情况适用于当前增强层，因此将更大的权重分配给增强层中的 MV。在第二方法中， 一般地说，如果增强层中的相邻MV并不与基本层 中对应的相邻MV相似，则将更高的优先级或更高的权重赋予增强层中 的MV，而如果增强层中的相邻MV与基本层中的对应MV相似，则将 更高的优先级或更高的权重赋予基本层中的MV。第八实施方式涉及到空间可分级性。在可分级性方面，在两层之间并非总是一对一映射。例如在空间可 分级性方面，基本层中的一个区块对应于增强层中的4个区块，从而给 出了一对多的对应性。因此如图7所示，例如，增强层中的每两行对应 于基本层中的一行。具体地说，例如图7上部所示的增强层中的区块1 到区块4对应于基本层中的一个区块(未示出)，并且4个区块位于两行内 (即，2N行(区块3、 4)和2N+1行(区块l、 2))。在MPEG-4 SVC中，各尺寸为16x16像素的上级区块(称为宏块)可 以具有不同尺寸的子块。一般可以为1个尺寸为16xl6、2个尺寸为16x8、8x16或4个尺寸为8x8的子块。可以将8x8的子块进一步分割为4x4的 子-子块，各子-子块具有不同的MV。在图7的底部例示了这一点。区块和子块在空间可分级性上的一对多对应性可被用于基于对不同 层中区块之间关系的多个观测结论而更好地指导MV候选选择处理。如果基本层区块的尺寸为16x16，则其在增强层中的4个对应区块 将更可能为16x16的模式。在这种情况下，在估计增强层的奇数(2N+1) 行中的区块信息时，认为增强层的偶数(2N)行中的区块信息将与奇数行 的区块相似。这一点参考图8A可知，其中在所示的更粗略层中的区块(A) 为16x16的区块。在这种情况下，在那些行中的增强层区块被赋予更高的优先性。相 似结论适用于8x16的区块，并且因此以相同方式对它们处理(参考图8B; 各区块Al和A2均为8x16)。然而如果基本层区块的尺寸为16x8，则增强层中的偶数列(2M)中的 区块将更可能相似于奇数列(2M+1)中的区块(参考图8C;各区块Al和 A2均为16x8)。结果，对于这种情形而言，当在偶数列(2M)内估计区块 信息时，奇数列(2M+1)内对应的区块被赋予更高的优先性。最后，如果基本层区块为8x8,则不可能期望增强层中的相邻宏块 之间存在较强的关联度(参考图8D;各区块Al 、 A2、 A3和A4均为8x8)。本发明的应用示例包括视频电话、视频会议、数字电视、高分辨率 数字电视、移动多媒体、广播、可视数据库、互动游戏。涉及到可以使 用本发明的图像运动的其它应用包括移动机器人、卫星成像、生物医药 技术(例如，放射线照相术)及监视。在本说明书中，术语"帧"用于描述图像单元，包括处理后的(例如， 滤波、改变分辨率、上采样及下采样)，但该术语也应用于其它相似术语 (例如图像、场、图片或图像子单元或区域、帧等)。在适当场合，术语 "像素"和"像素区块或像素组"可互换使用。在本说明书中，除非文中明显 看出，术语"图像"指的是整个图像或图像的一个区域。相似地，图像区 域可以指整个图像。图像包括帧或场，并且图像涉及静态图像或图像序 列或者相关图像组(例如，电影或视频)中的图像。
图像可以为灰度图像或彩色图像，或者为其他类型的多频谱图像(例 如，红外、紫外或其它电磁图像、或者声学图像等)。本发明优选地通过利用适当设备处理电信号而得到实施。 本发明可在例如具有适当软件和/或硬件改进的基于计算机的系统 中实施。例如，可利用计算机或具有控制或处理装置(例如处理器或控 制装置)、包括图像存储装置的数据存储装置(例如存储器、磁存储介质、CD、 DVD等)、数据输出装置(例如，显示器或监视器或打印机)以及 数据输入装置(例如，接收机)或这些组件与另外组件的任意组合的类 似设备来实施本发明。可通过软件和/或硬件形式或者在专用设备中提供 本发明的各个方面，或者可以提供诸如芯片的专用模块。根据本发明实 施方式的设备中的系统构件可以远离其它构件进行设置。
权利要求
1、一种在可分级视频编码中导出图像区块的区块信息的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，该方法包括将关于至少当前层和/或图像中的相邻区块信息的信息与关于至少一个其他层和/或图像中的对应区块和/或相邻区块的信息进行组合，从而导出所述替换区块信息。
2、 一种在可分级视频编码中导出图像区块的区块信息的方法，其中 在多个层中以不同的细化级别设置编码后的区块数据，该方法包括组 合以下中的至少两种的可用区块信息而导出所述替换区块信息当前层 中的空间相邻区块、当前层中的时间相邻区块、当前帧的第一其它层中 的对应区块、当前帧的第二其它层中的对应区块、在第一其它层中与当 前帧的对应区块空间相邻的区块、在第一其它层中与当前帧的对应区块 时间相邻的区块、在第二其它层中与当前帧的对应区块空间相邻的区块、 在第二其它层中与当前帧的对应区块时间相邻的区块。
3、 根据权利要求1或权利要求2所述的方法，该方法用于导出区块 的运动矢量。
4、 根据权利要求3所述的方法，该方法包括分析在当前层和/或至 少一个其他层中与所述图像区块相邻的区块的运动矢量的特征。
5、 根据权利要求4所述的方法，该方法包括基于与至少一个其他 层中的所述图像区块的运动矢量的相似性来选择相邻区块的运动矢量。
6、 根据权利要求4或权利要求5所述的方法，该方法包括基于多数原则来选择运动矢量特征。
7、 根据权利要求6所述的方法，该方法包括选择占大多数的运动矢量特征。
8、 根据权利要求3到权利要求7中任何一项所述的方法，其中所述特征包括方向和/或幅值。
9、 根据权利要求3到权利要求8中任何一项所述的方法，该方法包 括对从不同层中选出的一个或更多个运动矢量进行组合。
10、 根据权利要求9所述的方法，该方法包括对来自当前层中的 相邻区块的运动矢量与来自至少一个其它层中的对应区块和/或相邻区块 的运动矢量进行组合。
11、 根据权利要求9或权利要求10所述的方法，该方法包括计算 来自当前层中的相邻区块的运动矢量与来自至少一个其它层中的对应区 块和/或相邻区块的运动矢量的均值。
12、 根据权利要求ll所述的方法，该方法包括将所述平均步骤中 使用的最接近所述均值的运动矢量选择作为所述替换运动矢量。
13、 根据权利要求12所述的方法，其中所述均值是平均值。
14、 根据权利要求3到权利要求13中任何一项所述的方法，该方法包括对选出的运动矢量进行加权以进行所述组合。
15、 根据权利要求3到权利要求13中任何一项所述的方法，该方法包括对在同一层中和/或至少一个其它层中与所述图像区块相邻的区块的多个运动矢量进行比较，并且基于所述比较而对运动矢量进行选择和/ 或加权以进行所述组合。
16、 一种在可分级视频编码中导出图像区块的运动矢量的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，利用选出和/或 加权的、在同一层和/或至少一个其它层中与所述图像区块相邻的区块的运动矢量来导出所述图像区块的运动矢量，所述方法包括基于区块尺寸来对运动矢量进行选择和/或加权，和/或对在同一层中和/或至少一个其 它层中与所述图像区块相邻的区块的多个运动矢量进行比较，并且基于 所述比较来对运动矢量进行选择和/或加权。
17、 根据权利要求16所述的方法，该方法包括对选出和/或加权的运动矢量进行组合，以导出所述运动矢量。
18、 根据权利要求3-15、 17中任何一项所述的方法，该方法包括对在同一层中和/或至少一个其它层中与所述图像区块相邻的区块的多个 运动矢量之间的相似性进行评估，并且基于所述相似性来确定是否从所 述当前层和/或至少一个其它层中选择运动矢量进行所述组合。
19、 根据权利要求3-15、 17、 18中任何一项所述的方法，该方法包 括对在同一层中和域至少一个其它层中与所述图像区块相邻的区块的 多个运动矢量之间的相似性进行评估，并且基于所述相似性而对选出的 运动矢量进行加权以进行所述组合。
20、 根据权利要求18或权利要求19所述的方法，其中，所述评估 相似性的步骤包括计算相似度值，并且将所述相似度值与至少一个阈值 进行比较。
21、 根据权利要求3-15、 17-20中任何一项所述的方法，该方法包括 对当前层中的运动矢量与更粗略层中的运动矢量进行比较，并且对来自 当前层和/或更粗略层的运动矢量进行组合，其中在组合中，所述更粗略 层中的运动矢量的影响与所述当前层中的运动矢量与更粗略层中的运动 矢量之间的相似性直接相关。
22、 根据权利要求3-15、 17-20中任何一项所述的方法，该方法包括 对更粗略层中的运动矢量进行比较，并且对来自所述当前层和/或更粗略 层的运动矢量进行组合，其中在组合中，所述更粗略层中的运动矢量的 影响与该更粗略层中的运动矢量之间的相似性反向相关。
23、 根据权利要求3-15、 17-22中任何一项所述的方法，该方法包括 基于区块尺寸对运动矢量进行选择和/或加权以进行所述组合。
24、 根据权利要求3-24中任何一项所述的方法，其中，所述当前层 中的多个区块对应于所述更粗略层中的同一区块，所述方法包括在选 择、加权或组合过程中将更大的影响指派给与所述图像区块同样地对应 于所述更粗略层中的所述同一区块、并与所述图像区块相邻的区块。
25、 根据权利要求4-7中任何一项所述的方法，其中，所述特征包 括这样类型的预测，即，相对于另一层的预测、相对于前一帧的预测或 相对于下一帧的预测。
26、 根据权利要求3-25中任何一项所述的方法，该方法替代运动矢 量信息而应用于诸如预测模式信息或区块划分信息的其它区块信息。
27、 一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量 的替换运动矢量的方法，其中在多个层中以不同的细化级别设置编码后 的区块数据，所述方法包括选择所述图像区块的层中的、具有与低层权利要求书第4/5页中的对应区块的运动矢量相似的方向和/或幅值的相邻区块的运动矢量。
28. 一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量 的替换运动矢量的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，所述方法包括基于对所述图像区块的层中的相邻运动矢 量的评估，例如，确定相邻运动矢量是否接近于0，来确定是否使用下层 中的对应区块的运动矢量。
29. 一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量 的替换运动矢量的方法，其中在多个层中以不同的细化级别设置编码后 的区块数据，该方法包括参照更高层的运动矢量。
30. 一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量 的替换区块信息的方法，该替换区块信息例如是模式信息或分割信息， 其中基于所述图像的层中相邻区块的所述区块信息和至少一个其它层中 的相邻区块和/或对应区块的所述区块信息，在多个层中以不同的细化级 别设置编码后的区块数据。
31. 根据前述任何一项权利要求所述的方法，其中，使用相对于当 前层的更高层。
32. 根据前述任何一项权利要求所述的方法，其中，使用了基本层。
33. 根据前述任何一项权利要求所述的方法，该方法还包括利用 来自至少两个层的信息来对诸如运动矢量信息的区块信息进行评估。
34. 一种隐藏图像区块中的错误的方法，该方法包括使用通过前 述任何一项权利要求所述的方法而导出的区块信息。
35. 一种隐藏图像区块中的错误的方法，该方法包括确定相邻区 块是否为帧内编码，并且利用该信息来指导应用根据一个或更多个相邻 区块进行的空间预测/插值。
36. 根据权利要求35所述的方法，其中，对于当前层增强不可用的、 所述当前区块的空间预测/插值所使用的相邻帧内编码区块，使用它们的 基本层表现的上采样。
37. 根据权利要求35所述的方法，该方法还包括基于插值区块与 对应区块的上采样版本之间的比较来进行评估。
38、 一种在可分级视频编码中评估图像区块的丢失或损坏区块信息 的替换区块信息的方法，其中在多个层中以不同的细化级别设置编码后 的区块数据，该方法包括使用来自至少两个层的信息。
39、 根据权利要求38所述的方法，该方法包括对来自至少两个层 的信息进行组合。
40、 根据权利要求39所述的方法，该方法包括对基于区块边界失 真的错误度量与基于具有替换后区块信息的区块与下层的对应区块的上 采样版本二者之间的比较的错误度量进行组合。
41、 一种用于执行前述权利要求中任何一项所述方法的计算机程序。
42、 一种存储有权利要求41中所述的计算机程序的数据存储介质。
43、 一种适于执行权利要求1-40中任何一项所述方法的控制装置或 设备。
44、 根据权利要求43所述的设备，该设备包括数据解码装置、错误 检测装置、运动矢量估计装置和错误隐藏装置。
45、 一种用于通信系统或用于检索存储数据的系统的接收机，该接 收机包括权利要求43或权利要求44所述的设备。
46、 根据权利要求45所述的接收机，其中，所述接收机为移动视频 电话。
全文摘要
一种在可分级视频编码中导出丢失或损坏的图像区块的替换区块信息(例如，替换运动矢量)的方法，该方法包括将关于至少当前层中的相邻区块信息的信息与至少一个其它层中的对应区块和/或相邻区块的信息组合起来，而导出替换区块信息。
文档编号H04N7/26GK101401432SQ200780002383
公开日2009年4月1日 申请日期2007年1月11日 优先权日2006年1月11日
发明者苏鲁士·甘巴里, 莱塞克·切普林斯基 申请人:三菱电机株式会社