专利名称：用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的 ...的制作方法
技术领域：
本发明原理总体涉及视频编码和视频解码，更具体地说，涉及用于实 现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度 可分级的方法和装置。
背景技术：
人们希望广播视频应用能够在不引起同播编码比特率下降的前提下 为各种用户设备提供支持。视频解码是一项十分复杂的工作，其复杂度取 决于已编码视频的分辨率。低功率便携设备通常受十分严格的复杂度限制 并具有低分辨率的显示器。可以通过对应于不同分辨率的两个或更多个视 频比特流的同播(simulcast)广播来解决较低分辨率设备的复杂度要求， 然而这种方法所需的总比特率高于依照本发明的复杂度可分级系统所需 的总比特率。因此，需要一种能够实现复杂度可分级解码器，并同时维持 高视频编码比特率效率的解决方案。
人们已对大量不同的可分级方法进行了广泛的研究和标准化，包括 MPEG-2和MPEG-4标准的可分级简档中的SNR可分级性、空间可分级 性、时间可分级性以及细粒度可分级性。对可分级编码的大量研究针对于 比特率可分级性，其中低分辨率层具有有限的带宽。如图1所示，用附图 标记100总体表示典型的空间可分级系统。系统100包含用于接收视频序 列的复杂度可分级视频编码器110 。复杂度可分级视频编码器110的第 一输出与低带宽网络120和复用器130的第一输入相连并进行信号通信。复杂度可分级视频编码器110的第二输出同复用器130的第二输入相连并
与之进行信号通信。低带宽网络120的输出同低分辨率解码器140的输入 相连并与之进行信号通信。复用器130的输出同高带宽网络150的输入相 连并与之进行信号通信。高带宽网络150的输出同解复用器 (demultiplexer) 160的输入相连并与之进行信号通信。解复用器160的 第一输出同高分辨率解码器170的第一输入相连并与之进行信号通信，解 复用器160的第二输出同高分辨率解码器170的第二输入相连并与之进行 信号通信。低分辨率解码器140的输出可用作系统100的基层比特流输出， 高分辨率解码器170的输出可用作系统100的可分级比特流输出。
由于编码器和解码器复杂度显著增加，且可分级编码器的编码效率通 常大大低于非可分级编码^l的编码效率，因此在实践中可分级编码尚未得 到广泛采用。
空间可分级编码器和解码器通常需要高分辨率可分级编码器/解码器 提供标准高分辨率编码器/解码器没有的附加功能。在MPEG-2空间可分 级编码器中，需要判断是根据低分辨率参考图像还是高分辨率参考图像进 行预测。MPEG-2空间可分级解码器必须能够根据低分辨率参考图像或高 分辨率参考图像进行预测。MPEG-2空间可分级编码器/解码器需要两套
参考图像存储器， 一套用于低分辨率图像，另一套用于高分辨率图像。图 2示出了依照现有技术的支持两层的低复杂度空间可分级编码器200的方
框图。图3示出了依照现有技术的支持两层的低复杂度空间可分级解码器 300的方框图。
参考图2，用附图标记200总体表示支持两层的空间可分级视频编码 器。视频编码器200包含用于接收高分辨率输入视频序列的下采样器210。 下采样器210同低分辨率非可分级编码器212耦合并与之进行信号通信， 低分辨率非可分级编码器212继而同低分辨率帧存储器214耦合并与之 进行信号通信。低分辨率非可分级编码器212输出低分辨率比特流，还 同低分辨率非可分级解码器220耦合并与之进行信号通信。
低分辨率非可分级解码器220同上采样器230耦合并与之进行信号通 信，上采样器230继而同可分级高分辨率编码器240耦合并与之进行信号 通信。可分级高分辨率编码器240还接收高分辨率输入视频序列，同高分
辨率帧存储器250耦合并与之进行信号通信，并输出高分辨率可分级比特
流。低分辨率非可分级编码器212的输出以及可分级高分辨率编码器240 的输出可用作空间可分级视频编码器200的输出。
因此，低复杂度编码器200接收高分辨率输入视频序列，然后对其进 行下采样从而产生低分辨率视频序列。利用非可分级低分辨率视频压缩编 码器对低分辨率视频序列进行编码，产生低分辨率比特流。利用非可分级 低分辨率视频压縮解码器对低分辨率比特流进行解码。该功能可以实现于 编码器内部。对经解码的低分辨率序列进行上采样，然后将其作为两个输 入之一提供给可分级高分辨率编码器。可分级高分辨率编码器对视频进行 编码，产生高分辨率可分级比特流。
参考图3，甩附图标记300总体表示支持两层的空间可分级视频解码 器。视频解码器300包括用于接收低分辨率比特流的低分辨率解码器 360，后者同低分辨率帧存储器362耦合并与之进行信号通信，并输出低 分辨率视频序列。低分辨率解码器360还同上采样器370耦合并与之进行 信号通信，上采样器370继而同可分级高分辨率解码器380耦合并与之进 行信号通信。
可分级高分辨率解码器380还同高分辨率帧存储器390耦合并与之进 行信号通信。可分级高分辨率解码器380接收高分辨率可分级比特流并输 出高分辨率视频序列。低分辨率解码器360的输出和可分级高分辨率解码 器的输出可用作空间可分级视频解码器300的输出。
因此，低复杂度解码器300接收高分辨率可分级比特流和低分辨率比 特流。应用釆用低分辨率帧存储器的非可分级低分辨率视频压缩解码器对 低分辨率比特流进行解码。对经解码的低分辨率视频进行上采样，然后将 其输入高分辨率可分级解码器。高分辨率可分级解码器使用一套高分辨率 帧存储器，并产生高分辨率输出视频序列。
参考图4，用附图标记400总体表示非可分级视频编码器。视频编码 器400的输入同合并器410的同相输入相连并与之进行信号通信。合并器 410的输出同变换器/量化器420相连并与之进行信号通信。变换器/量化 器420的输出同熵编码器440相连并与之进行信号通信。熵编码器440 的输出可用作编码器400的输出。
变换器/量化器420的输出还同逆变换器/量化器450相连并与之进行 信号通信。逆变换器/量化器450的输出同解块(deblock)滤波器460的 输入相连并与之进行信号通信。解块滤波器460的输出同参考图像存储器 470相连并与之进行信号通信。参考图像存储器470的第一输出同运动估 计器480的第一输入相连并与之进行信号通信。编码器400的输入还同运 动估计器480的第二输入相连并与之进行信号通信。运动估计器480的输 出同运动补偿器490的第一输入相连并与之进行信号通信。参考图像存储 器470的第二输出同运动补偿器490的第二输入相连并与之进行信号通 信。运动补偿器490的输出同合并器410的反相输入连接并与之进行信号 通信。
参考图5，用附图标记500总体表示非可分级视频解码器。视频解码 器500包含用于接收视频序列的熵解码器510。熵解码器510的第一输 出同逆量化器/变换器520的输入相连并与之进行信号通信。逆量化器/变 换器520的输出同合并器540的第一同相输入相连并与之进行信号通信。
合并器540的输出同解块滤波器590的输入相连并与之进行信号通 信。解块滤波器590的输出同参考图像存储器550的输入相连并与之进行 信号通信。参考图像存储器550的输出同运动补偿器560的第一输入相连 并与之进行信号通信。运动补偿器560的输出同合并器540的第二同相输 入相连并与之进行信号通信。熵编码器510的第二输出同运动补偿器560 的第二输入相连并与之进行信号通信。解块滤波器590的输出可用作视频 解码器500的输出。
已提出将H.264/MPEGAVC进行扩展，采用降低分辨率更新(RRU) 模式。RRU模式通过在对全分辨率图像进行运动估计和补偿的同时减少 所要编码的残余宏块(MB)的数量，改善了低比特率上的编码效率。参 考图6，用附图标记600总体表示降低分辨率更新(RRU)视频编码器。 视频编码器600的输入同合并器610的同相输入相连并与之进行信号通 信。合并器610的输出同下采样器612的输入相连并与之进行信号通信。 变换器/量化器620的输入同下采样器612或同合并器610的输出相连并 与之进行信号通信。变换器/量化器620的输出同熵编码器640相连并与 之进行信号通信。熵编码器640的输出可用作视频编码器600的输出。
变换器/量化器620的输出还同逆变换器/量化器650的输入相连并与 之进行信号通信。逆变换器/量化器650的输出同上采样器655的输入相 连并与之进行信号通信。解块滤波器660的输入同逆变换器/量化器650 的输出或上采样器655的输出相连并与之进行信号通信。解块滤波器660 的输出同输入参考图像存储器670的输入相连并与之进行信号通信。参考 图像存储器670的第一输出同运动估计器680的第一输入相连并与之进行 信号通信。编码器600的输入还同运动估计器680的第二输入相连并与之 进行信号通信。运动估计器680的输出同运动补偿器690的第一输入相连 并与之进行信号通信。参考图像存储器670的第二输出同运动补偿器690 的第二输入相连并与之进行信号通信。运动补偿器690的输出同合并器 610的反向输入相连并与之进行信号通信。
参考图7，用附图标记700总体表示降低分辨率更新(RRU)视频解 码器。视频解码器700包括用于接收视频序列的熵解码器710。熵解码器 710的输出同逆量化器/变换器720的输入相连并与之进行信号通信。逆 量化器/变换器720的输出同上采样器722的输入相连并与之进行信号通 信。上采样器722的输出同合并器740的第一输入相连并与之进行信号通 信。
合并器740的的输出同解块滤波器790相连并与之进行信号通信。解 块滤波器790的输出同全分辨率参考图像存储器750的输入相连并与之进 行信号通信。解块滤波器790的输出还可用作视频解码器700的输出。 全分辨率参考图像存储器750的输出同运动补偿器760相连并与之进行信 号通信，运动补偿器760同合并器740的第二输入相连并与之进行信号通 信。
已提出利用RRU概念设计复杂度可分级编解码器。以下给出了支持 两种不同级别的解码器复杂度和分辨率的系统的示例。低分辨率解码器具 有较小的显示器尺寸，且具有十分严格的解码器复杂度限制。全分辨率解 码器具有较大的显示器尺寸以及略微宽松但依然重要的解码器复杂度限
制。广播或多播系统传送两个比特流，比特率为BRbase的基层以及比特率 为BRenhan的增强层。可以将这两个比特流复用在一起，在一条传输流中
予以发送。参考图8，用附图标记800总体表示复杂度可分级广播系统。
复杂度可分级广播系统800包含复杂度可分级视频编码器810、低分辨
率解码器850以及全分辨率解码器870。复杂度可分级视频编码器810 的第一输出同复用器820的第一输入相连并与之进行信号通信。复杂度可 分级视频编码器810的第二输出同复用器820的第二输入相连并与之进行 信号通信。复用器820的输出同网络830相连并与之进行信号通信。网络 830的输出同第一解复用器840的输入和第二解复用器850的输入相连并 与之进行信号通信。第一解复用器840的输出同低分辨率解码器850的输 入相连并与之进行信号通信。第二解复用器860的第一输出同全分辨率解 码器870的第一输入相连并与之进行信号通信。第二解复用器860的第二 输出同全分辨率解码器870的第二输入相连并与之进行信号通信。低分辨 率解码器850的输出可用作系统800的基层比特流输出，全分辨率解码器 870的输出可用作系统800的可分级比特流输出。
低分辨率解码器850只对基层比特流进行处理，全分辨率解码器870 对基层比特流和增强层比特流进行处理。RRU用于基层，后者在解码器 中能够以不同复杂度被解码为低分辨率和高分辨率序列。增强层比特流包 含全分辨率误差信号，该误差信号与基层比特流的解码结果相加，这利用 全分辨率运动补偿来进行。增强层比特率可能最终低于基层比特率，这不 同于基层比特率通常小于增强层比特率的典型的空间可分级情形。不必针 对每个编码的宏块或切片(slice) /图像发送全分辨率误差信号。
发明内容
本发明原理解决了现有技术的上述和其他缺陷以及不足，本发明原理 针对一种用于实现降低分辨率更新模式的限制预测以及视频编码器和解 码器中的复杂度可分级的方法和装置。
依照本发明原理的一方面，提供了一种用于对视频序列进行编码的可 分级复杂度视频编码器。所述可分级复杂度视频编码器包括编码器，所述 编码器用于通过利用限制帧内预测过程(constrained intra prediction
process)为视频序列中特定图像中的块产生帧内模式预测的方式对该块 进行编码，所述限制帧内预测过程用于降低在最终对特定图像进行解码时 降低分辨率更新模式下的低分辨率和高分辨率的噪音。限制帧内预测过程
通过禁止使用与降低分辨率更新模式下的伪像引入相关联的特定预测模 式而降低伪像。
依照本发明原理的另一方面，提供了一种用于对视频序列进行可分级 复杂度视频编码的方法。所述方法包括通过利用限制帧内预测过程为视频 序列中特定图像中的块产生帧内模式预测而对该块进行编码，所述限制帧 内预测过程用于降低在最终对特定图像进行解码时降低分辨率更新模式 下的低分辨率和高分辨率的伪像。限制帧内预测过程通过禁止使用与降低 分辨率更新模式下的伪像引入相关联的特定预测模式而降低伪像。
依照本发明原理的又一方面，提供了一种用于对视频比特流进行解码 的可分级复杂度视频解码器。所述可分级复杂度视频解码器包括解码器， 所述解码器用于利用根据限制帧内预测过程产生的视频序列中特定图像 中的块的帧内模式预测对该块进行解码，所述限制帧内预测过程用于降低 在最终对特定图像进行解码时降低分辨率更新模式下的低分辨率和高分 辨率的伪像。限制帧内预测过程通过禁止使用与降低分辨率更新模式下的 伪像引入相关联的特定预测模式而降低伪像。
依照本发明原理的再一方面，提供了一种用于对视频比特流进行可分 级复杂度视频解码的方法。所述方法包括，利用根据限制帧内预测过程产 生的视频序列中特定图像中的块的帧内模式预测对该块进行解码，所述限 制帧内预测过程用于降低在最终对特定图像进行解码时降低分辨率更新 模式下的低分辨率和高分辨率的伪像。限制帧内预测过程通过禁止使用与 降低分辨率更新模式下的伪像引入相关联的特定预测模式而降低伪像。
依照本发明原理的另一方面，提供了一种用于对视频序列进行编码的 可分级复杂度视频编码器。所述可分级复杂度视频编码器包括编码器，所 述编码器用于通过降低分辨率更新模式下的视频序列中特定高分辨率图 像中的块产生低分辨率帧内模式预测而以高分辨率对该块进行编码。
依照本发明原理的另一方面，提供了一种用于对视频序列进行可分级 复杂度视频编码的方法。所述方法包括通过为降低分辨率更新模式下的视 频序列中特定高分辨率图像中的块产生低分辨率帧内模式预测而以高分 辨率对该块进行编码。
依照本发明原理的另一方面，提供了一种用于对视频比特流进行解码
的可分级复杂度视频解码器。所述可分级复杂度视频解码器包括解码器， 所述解码器用于通过执行改进型帧内预测过程从而以低分辨率重建降低 分辨率更新块，并对重建的降低分辨率更新块进行上采样使其达到高分辨 率，以高分辨率对视频比特流中特定图像中的降低分辨率更新块进行解码。
依照本发明原理的另一方面，提供了一种用于对视频比特流进行可分 级复杂度视频解码的方法。所述方法包括通过执行改进型帧内预测过程从 而以低分辨率重建降低分辨率更新块，并对重建的降低分辨率更新块进行 上采样使其达到高分辨率，以高分辨率对视频比特流中特定图像中的降低 分辨率更新块进行解码。
依照本发明原理的另一方面，提供了一种用于对视频序列进行编码的 可分级复杂度视频编码器。所述可分级复杂度视频编码器包括编码器，所 述编码器用于通过利用改进型帧内预测过程为视频序列中特定图像中的 块产生帧内模式预测而对该块进行编码，所述改进型帧内预测过程用于降 低在最终对特定图像进行解码时的降低分辨率更新模式下的伪像。编码器 根据由视频序列编码得到的低分辨率比特流以及由视频序列编码得到的 下采样源序列各自的质量为改进型帧内预测过程做出编码判决。
依照本发明原理的另一方面，提供了一种用于对视频序列进行可分级 复杂度视频编码的方法。所述方法包括通过利用改进型帧内预测过程为视 频序列中特定图像中的块产生帧内模式预测而对该块进行编码，所述改进 型帧内预测过程用于降低在最终对特定图像进行解码时的降低分辨率更 新模式下的伪像。所述编码步骤根据由视频序列编码得到的低分辨率比特 流以及由视频序列编码得到的下采样源序列各自的质量为改进型帧内预 测过程做出编码判决。
依照本发明原理的另一方面，提供了一种用于对视频序列进行编码的 可分级复杂度视频编码器。所述可分级复杂度视频编码器包括编码器，所 述编码器用于通过利用改迸型帧内预测过程为视频序列中特定图像中的 块产生帧内模式预测而对该块进行编码，所述改进型帧内预测过程用于降 低在最终对特定图像进行解码时的降低分辨率更新模式下的伪像。编码器 根据由视频序列编码得到的高分辨率和低分辨率比特流各自的质量为改
进型帧内预测过程做出编码判决。
依照本发明原理的另一方面，提供了一种用于对视频序列进行可分级 复杂度视频编码的方法。所述方法包括通过利用改进型帧内预测过程为视 频序列中特定图像中的块产生帧内模式预测而对该块进行编码，其中改进 型帧内预测过程用于降低在最终对特定图像进行解码时的降低分辨率更 新模式下的伪像。所述编码步骤根据由视频序列编码得到的高分辨率和低 分辨率比特流各自的质量为改进型帧内预测过程做出编码判决。
根据以下需要结合附图加以阅读的对于典型实施例的详细说明，本发 明原理的上述和其他方案、特征以及优势将更加明显。
依照以下典型附图，本发明原理可以得到更好的理解。附图中 图1示出了依照现有技术的典型的空间可分级系统的方框图2示出了依照现有技术的支持两层的空间可分级编码器的方框图； 图3示出了依照现有技术的支持两层的空间可分级解码器的方框图； 图4示出了依照现有技术的用于H.264/MPEG AVC标准的标准非可
分级视频编码器的方框图。
图5示出了依照现有技术的用于H.264/MPEG AVC标准的标准非可
分级视频解码器的方框图。
图6示出了依照现有技术的降低分辨率更新(RRU)视频编码器的方
框图7示出了依照现有技术的降低分辨率更新(RRU)视频解码器的方 框图8示出了依照现有技术的复杂度可分级广播系统的方框图； 图9示出了依照本发明原理一实施例的、可应用本发明原理的低分辨 率复杂度可分级视频解码器的方框图10示出了依照本发明原理一实施例的、可应用本发明原理的高分
辨率复杂度可分级视频解码器的方框图11示出了依照本发明原理一实施例的、可应用本发明原理的复杂 度可分级视频编码器的方框图12示出了依照本发明原理一实施例的、用于高复杂度解码器的典 型预测像素的示意图13示出了依照本发明原理一实施例的、用于低复杂度解码器的典 型预测像素的示意图14是一幅流程图，示出了依照本发明原理一实施例的、利用降低 分辨率更新(RRU)模式的限制帧内预测对宏块进行编码的典型方法；-
图15是一幅流程图，示出了依照本发明原理一实施例的、利用降低 分辨率更新(RRU)模式的限制帧内预测对宏块进行解码的典型方法；
图16是一幅流程图，示出了依照本发明原理一实施例的、利用降低 分辨率更新(RRU)模式的改进型帧内预测以高分辨率对视频序列中高分 辨率图像的宏块进行编码的典型方法；
图17是一幅流程图，示出了依照本发明原理一实施例的、利用降低 分辨率更新(RRU)模式的改进型帧内预测以高分辨率对视频比特流中高 分辨率图像的宏块进行解码的典型方法；
图18是一幅流程图，示出了依照本发明原理一实施例的、利用降低 分辨率更新(RRU)模式的改进型帧内预测过程对视频序列中特定图像中 的宏块进行编码的典型方法；以及
图19是一幅流程图，示出了依照本发明原理一实施例的、利用降低 分辨率更新(RRU)模式的改进型帧内预测过程对视频序列中特定图像中 的宏块进行编码的典型方法。
具体实施例方式
本发明原理针对一种用于实现降低分辨率更新模式的限制预测以及 视频编码器和解码器中的复杂度可分级的方法和装置。
本说明书阐述了本发明原理。因而，应意识到，所属领域技术人员将 能够设计出此处虽未明确说明或者示出但体现了本发明原理且包含于其 精神和范围内的各种配置。
此处叙述的所有示例以及条件式语言均为达到教学目的，旨在帮助读 者理解由发明者提出的改进了现有技术的发明原理以及发明构思，因而应 将其看成不限于那些具体叙述的示例以及条件。此外，此处叙述的发明原理、方案和实施例的所有说明及其具体示例 均意在涵盖其结构以及功能等同物。此外，这些等同物意在包括现存等同 物以及将于未来开发出来的等同物，g口，不管结构如何，开发出来用于执 行同一功能的任意元件。
因而，举例而言，所属领域技术人员应意识到此处所示的方框图呈现 了体现本发明原理的示意电路的概念视图。同样，应意识到流程图、状态 转移图、伪码等表示各种可以计算机可读介质充分表现的，因而无论是否 明确说明了计算机或处理器，均能够用计算机或处理器予以执行的过程。
可以通过采用专用硬件以及能够执行同适当软件有关的软件的硬件 实现附图所示的各种元件的功能。如果用处理器来提供功能，则可以用单 独的专用处理器、单独的共享处理器或者多个其中若干可以是共享处理器 的独立处理器来提供功能。此外，不应将术语"处理器"或"控制器"的 明确使用看成专指能够执行软件的硬件，而可以非限制性地隐含包括数字
处理器("DSP")硬件、用于存储软件的只读存储器("ROM")、随机存 取存储器("RAM")以及非易失性存储器。
还可以包括常规的和/或定制的其他硬件。同样，附图中的所有开关也 只是概念上的。可以通过程序逻辑操作、专用逻辑、程序控制以及专用逻 辑的相互作用，或者甚至手动实现它们的功能，其中具体技术可以根据环 境进行了更加具体的理解后，由实施者加以选择。
在其权利要求中，任意被表示为用于执行指定功能的装置的元件都意 在包含执行该功能的任意方式，后者包括比如，a)执行该功能的电路
元件的组合或b)任意形式的软件，因而包括同用于执行该软件以实现
所述功能的适当电路相结合的固件、微码或类似软件。由这种权利要求所 限定的本发明的原理在于以权利要求所请求的方式结合在一起的各种所 述装置所提供的功能。因而，应将能够提供这种功能的任意装置看做此处 说明的装置的等同物。
说明书中对本发明原理"一实施例"的引用意味着，至少在依照本发 明原理的一实施例中包含了结合实施例进行说明的特定的特征、结构、特 点等等。因而，在整篇说明书中各处出现的短语"在一实施例中"或"在 实施例中"未必指同一实施例。
参考图9，用附图标记900总体表示可应用本发明原理的典型的低分
辨率复杂度可分级视频解码器。视频解码器900包含用于接收视频序列的 熵解码器910。熵解码器910的第一输出同逆量化器/变换器920的输入 相连并与之进行信号通信。逆量化器/变换器920的输出同合并器940的 第一同相输入相连并与之进行信号通信。
合并器940的输出同解块滤波器990的输入相连并与之进行信号通 信。解块滤波器990的输出同参考图像存储器950的输入相连并与之进行 信号通信。解块滤波器990的输出还可用作视频解码器900的输出。参 考图像存储器950的输出同运动补偿器960的第一输入相连并与之进行 信号通信。运动补偿器960的输出同合并器940的第二同相输入相连并与 之进行信号通信。熵解码器910的第二输出同运动矢量(MV)分辨率缩 减器999的输入相连并与之进行信号通信。MV分辨率缩减器999的输出 同运动补偿器960的第二输入相连并与之进行信号通信。
在解码器900中，对基层比特流进行熵解码。对运动矢量加以舍入 (round),以降低运动矢量的精度使其同低分辨率相一致。由于运动矢量 的縮放具有较低复杂度，因此该低分辨率可分级解码器的复杂度与非可分 级解码器的复杂度十分近似。如果采用因子2作为低分辨率和全分辨率间 各个尺寸上的分辨率比率，那么可以根据在系统中选择上舍入(round up) 还是下舍入(round down),仅仅通过右移或者相加并右移的方式实现舍 入。
参考图10，用附图标记1000总体表示可应用本发明原理的典型的高 分辨率复杂度可分级视频解码器1000。视频解码器1000包含用于接收 基层比特流的第一熵解码器1005。第一熵解码器1005的输出同第一逆量 化器/变换器1010的输入相连并与之进行信号通信。第一逆量化器/变换器 1010的输出同上采样器1015相连并与之进行信号通信。上采样器1015 的输出同第一合并器1020的第一输入相连并与之进行信号通信。
第一合并器1020的输出同第二合并器1025的第一输入相连并与之 进行信号通信。全分辨率参考图像存储器1030的输出同运动补偿器1035 的第一输入相连并与之进行信号通信。熵解码器(用于输出运动向量 (MV)) 1005的第二输出同运动补偿器1035的第二输入相连并与之进行
信号通信。运动补偿器1035的输出同第一合并器1020的第二输入相连
并与之进行信号通信。
第二熵解码器1040的输入用于接收增强层比特流。第二熵解码器 1040的输出同第二逆量化器/变换器1045的输入相连并与之进行信号通 信。第二逆量化器/变换器1045的输出同第二合并器1025的第二输入相 连并与之进行信号通信。
解块滤波器1050的输入同第一合并器1020的输出或第二合并器 1025的输出相连并与之进行信号通信。解块滤波器1050的输出同全分辨 率参考图像存储器1030的输入相连并与之进行信号通信。解块滤波器 1050的输出可用作视频解码器1000的输出。
解码器1000的用于对基层比特流加以处理的部分同RRU解码器相 似。在经过熵解码和逆量化以及逆变换后，对残余进行上采样。对全分辨 率参考图像应用运动补偿，从而形成全分辨率预测，并将上采样后的残余 与全分辨率预测相加。如果增强层比特流中存在全分辨率误差信号，就对 其进行熵解码和逆量化及逆变换，然后将其与RRU重建信号相加。接着， 应用解块滤波。
参考图11，用附图标记1100总体表示可应用本发明原理的典型的复 杂度可分级视频编码器。视频编码器1100的输入同第一合并器"05的同 相输入相连并与之进行信号通信。第一合并器"05的输出同下采样器 1112的输入相连并与之进行信号通信。下采样器1112的输出同第一变换 器/量化器1115的输入相连并与之进行信号通信。第一变换器/量化器1115 的输出同第一熵编码器"20的输入相连并与之进行信号通信。第一熵编 码器1120的输出可用作编码器1100的基层比特流输出。
第一变换器/量化器1"5的输出还同第一逆变换器/量化器"25的输 入相连并与之进行信号通信。第一逆变换器/量化器1125的输出同上采样 器1155的输入相连并与之进行信号通信。上采样器1155的输出同第二合 并器1160的反向输入、第三合并器"65的第一同相输入以及开关1191 的输入相连并与之进行信号通信。
视频编码器1100的输入还同第二合并器1160的同相输入相连并与之 进行信号通信。第二合并器"60的输出同开关1162的输入相连并与之进
行信号通信。开关1162的输出同第二变换器/量化器1170的输入相连并 与之进行信号通信。第二变换器/量化器1170的输出同第二熵编码器1175 的输入相连并与之进行信号通信。第二熵编码器1175的输出可用作编码 器1100的增强层比特流输出。第二变换器/量化器1170的输出还同第二 逆变换器/量化器1180的输入相连并与之进行信号通信。第二逆变换器/ 量化器1180的输出同第三合并器1165的第二同相输入相连并与之进行信 号通信。
视频编码器1100的输入还同运动估计器1185的第一输入相连并与之 进行信号通信。运动估计器1185的输出同运动补偿器1190的第一输入相 连并与之进行信号通信。运动补偿器1190的输出同第一合并器1105的反 向输入相连并与之进行信号通信。全分辨率参考图像存储器1192的第一 输出同运动估计器"85的第二输入相连并与之进行信号通信。全分辨率 参考图像存储器"92的第二输出同运动补偿器1190的第二输入相连并 与之进行信号通信。全分辨率参考图像存储器1192的输入同解块滤波器 1195的输出相连并与之进行信号通信。解块滤波器1195的输入同开关 1191的输出相连并与之进行信号通信。开关1191的另一输入同第三合并 器1165的输出相连并与之进行信号通信。
编码器1100试图对全分辨率视频质量而不是低分辨率视频质量进行 最优化。对全分辨率视频图像进行运动估计。将运动补偿预测从输入图像 中扣除，然后对预测残余进行下采样。和RRU编解码器中有所不同，对 全部图像进行下采样，因此低分辨率解码器总能获得解码图像。对经下采 样的残余进行变换和量化以及熵编码。这形成基层比特流。应用逆量化和 逆变换，然后对经编码的残余进行上采样将其恢复成全分辨率。编码器 1100可以选择是否针对该图像或切片发送增强层全分辨率误差信号。通 常，对于所有I个切片对增强层全分辨率误差信号进行编码，并可以在用 全分辨率输入图像减去解码上采样时，根据误差信号的幅值选择性地针对 P和B切片发送增强层全分辨率误差信号。如果需要对增强层全分辨率误 差信号进行编码，就将经编码的基层上采样编码图像从输入的全分辨率图 像扣除。然后对差进行量化、变换和熵编码，从而形成增强层比特流。增 强层比特流可看作只包含帧内编码切片。
依照本发明的原理，通过进一步引入影响视频编码和视频解码的帧内
预测过程的特定限制来改善复杂度可分级解码器的主观(subjective)质
我们注意到，虽然起初针对RRU模式提出的帧内预测方法尽管就编 码性能而言是有效率的，然而如果在复杂度可分级系统中考虑到RRU切 片，将可能导致严重的伪像(artifact)。这些伪像主要源于，在低复杂度 和高复杂度解码器内，在帧内预测过程中，尤其是在方向性预测模式的情 况下，考虑相邻像素的方式。参考图12，用附图标记1200总体表示用于 高复杂度解码器的预测像素。预测像素1200包括像素C0-C15、 X以及 R0-R8。参考图13，用附图标记1300总体表示用于低复杂度解码器的预 测像素。预测像素1300包括像素c0-c7、 x以及r0-r3。虽然我们观察到， 对于原始RRU实现，对低复杂度解码器而言，用于帧内预测的预测像素 之间的分散远远高于原始分辨率视频。但是考虑到在传统方法的高复杂度 解码器中并未对该分散加以考虑，从根本上说，在所有帧内方向性模式下 该色散均具有直接的影响。举例而言，对于垂直左预测的第一采样(a00) 而言，对该高复杂度采样可以考虑CO和C1,而对于低复杂度采样b00 可以根据采样cO和c1加以预测。然而c1与采样C2和C3的关系更加密 切。如果，比如说，c1对应于边缘，那么这可能会极大地改变该预测的特 征，因而可能在已解码的低复杂度序列中产生伪像。在根据另一方向性预 测模式对任意其他预测采样取平均时，会出现同样的问题。
虽然避免该问题的最简便的方案是禁止用于帧内编码的所有方向性 模式，然而就效率而言这也许并非是最佳方案。作为替代，我们提出对较 高复杂度解码器的RRU切片的帧内预测加以改进，从而对高复杂度和低 复杂度解码序列间的这种关系加以考虑。
更具体地说，我们提出通过首先对原始全分辨率釆样(图12)进行 下采样，然后根据这些新采样(图13)产生低分辨率预测的方式来执行 用于高复杂度解码器的预测。随后，对该低分辨率预测进行上采样使其达 到全分辨率(比如，利用零阶保持(zero order hold))，并用其进行预测。 下采样可以用各种方法来执行。举例而言，可以只保留奇数预测采样(x-X、 c1=C1、 c3=C3、 c5=C5、 c7=C7、 c9=C9、 c"=C11 、 c13=C13、 c15=C15、
r1=R1、 r3=R3、 r5=R5以及r7=R7),偶数采样或执行简单的求平均(x=X、
c1=(C0+C1)>>1、 c3=(C2+C3)>>1、 c5=(C4+C5)>>1、 c7=(C6+C7)>>1 、
c9=(C8+C9)》1 、c"=(C10+C") 1 、c13=(C12+C13)>>1 、
c15=(C14+C15)>>1、 r1=(R0+R1)>>1、 r3=(R2+R3)>>1、 r5=(R4+R5)>>1 和r7=(R6+R7)>>1)。
为了改善性能，在备选实施例中，针对奇数位置考虑奇数采样，针对 偶数位置考虑偶数采样。
虽然某些情况下，该方法能够改善低复杂度解码器的主观质量，然而 该方法还可能损害高复杂度解码器的性能。因此，提出通过引入名为 "rru—complexity—constrained—flag"的新参数，在切片头部或宏块级利 用高级语法发信号表明这一方法。如果该参数启用，就按上述方式执行高 复杂度解码器内的帧内块预测。反之，如果该参数禁用，就按传统方法中 那样进行预测。应理解的是，对该参数加以考虑能够实现低复杂度和高复 杂度解码器之间的性能折衷。
即，计算J-D + A + R，其中D 为失真，R是对当前数据进行编码所需的比特，A是Lagrangian乘子。一 种改善低复杂度解码器的质量的简便方法是，比如说，通过将原始视频序 列的下采样版本看作"源"，仅考虑低复杂度解码器的失真。 一种能够同 时为低复杂度和高复杂度解码器提供改进质量的改进方法是考察两种情 况下对质量的影响。因此，我们提出根据D-a*DH + b*DL来计算失真 D，其中DH是高复杂度解码器的失真，Dl是基于下釆祥的源的、低复杂 度解码器的失真，a和b是用于实现高复杂度和低复杂度解码器之间的质 量折衷的加权参数。
参考图14，用附图标记1400总体表示利用降低分辨率更新(RRU)
模式的限制帧内预测对宏块进行编码的典型方法。为了在最终对图像进行 解码时降低RRU模式下低分辨率和高分辨率的伪像，限制帧内预测禁止 针对RRU模式的特定预测模式。
方法1400包括将控制权交予功能方框1410以及功能方框1415的起 始方框1405。
功能方框1410利用所有模式对RRU模式的当前宏块的帧内预测进 行测试，计算失真度量J1，并将控制权交予判决方框1420。
功能方框1415通过禁止使用特定预测模式而对RRU模式的当前宏 块的帧内预测进行测试，计算失真度量J2，并将控制权交予判决方框 1420。
判决方框1420判断失真度量J1是否小于失真度量J2。倘若如此， 将控制权交予功能方框1425。反之，将控制权交予功能方框1435。
功能方框1425将rm—complexity—constrained—flag设置为1，并将 控制权交予功能方框1430。功能方框1430对当前RRU宏块进行编码， 并将控制权交予终止方框1499。
功能方框1435将rru—complexity—constrained—flag设置为0，并将 控制权交予功能方框1430。
参考图15，用附图标记1500总体表示利用降低分辨率更新(RRU) 模式的限制帧内预测对宏块进行解码的典型方法。为了在最终对图像进行 解码时降低RRU模式下低分辨率和高分辨率的伪像，限制帧内预测禁止 针对RRU模式的特定预测模式。
方法1500包括将控制权交予功能方框1510的起始方框1505。功能 方框1510对当前RRU宏块的比特流进行解析，并将控制权交予判决方 框1515。判决方框1515判断rru—complexity_constrained—flag是否为1 。 倘若如此，就将控制权交予功能方框1520。反之，就将控制权交予功能 方框1525。
功能方框1520通过禁止特定预测模式，利用限制帧内预测对RRU 宏块进行解码，并将控制权交予终止方框1599。
功能方框1525利用帧内预测对RRU宏块进行解码，并将控制权交 予终止方框1599。
参考图16，用附图标记1600总体表示利用降低分辨率更新(RRU) 模式的改进型帧内预测以高分辨率对视频序列中高分辨率图像的宏块进 行编码的典型方法。 方法1600包括将控制权交予功能方框1610和功能方框1615的起始 方框1605。功能方框1610利用所有模式对RRU模式的当前宏块的帧内 预测进行测试，计算失真度量J1，并将控制权交予判决方框1635。
功能方框1615对图像中的RRU宏块进行下采样，并将控制权交予 功能方框1620。功能方框1620执行帧内预测，并将控制权交予功能方框 1625。功能方框1625对重建宏块进行上采样，并将控制权交予功能方框 1630。功能方框1630计算失真度量J2，并将控制权交予判决方框1635。
判决方框1635判断失真度量J2是否小于失真度量J1。倘若如此， 将控制权交予功能方框1640。反之，将控制权交予功能方框1645。
功能方框1640将rru—complexity—constrained—flag设置为1，并将 控制权交予功能方框1650。功能方框1650对当前RRU宏块进行编码， 并将控制权交予终止方框1699。
功能方框1645将rru—complexity—constrained—flag设置为0，并将 控制权交予功能方框1650。
参考图17，用附图标记1700总体表示利用降低分辨率更新(RRU) 模式的改进型帧内预测以高分辨率对视频比特流中高分辨率图像的宏块 进行解码的典型方法。
方法1700包括将控制权交予功能方框1710的起始方框1705。功能 方框1710对当前RRU宏块的比特流进行解析，并将控制权交予判决方 框1715。
判决方框1715判断rru—complexity—constrained一flag是否为1。倘
若如此，就将控制权交予功能方框1720。反之，将控制权交予功能方框 1730。
功能方框1720利用帧内预测对下采样的RRU宏块进行解码，并将 控制权交予功能方框1725。功能方框1725对下采样的RRU宏块进行上 采样，并将控制权交予终止方框1799。
功能方框1730利用帧内预测对RRY宏块进行解码，并将控制权交予 终止方框1799。
参考图18，用附图标记1800总体表示利用降低分辨率更新(RRU) 模式的特定帧内模式判决对视频序列中特定图像中的宏块进行编码的典
型方法。改进型帧内预测过程的判决基于由视频序列编码得到的低分辨率 比特流和由视频序列编码得到的下采样源序列各自的质量。
方法1800包括将控制权交予功能方框1810的起始方框1805。功能 方框1810 (利用基于低分辨率比特流和下采样源序列各自质量的预测判 决)进行帧内预测，并将控制权交予功能方框1815。功能方框1815对当 前RRU宏块进行编码，并将控制权交予终止方框1899。
参考图19，用附图标记1900总体表示利用降低分辨率更新(RRU) 模式的特定帧内模式判决对视频序列中特定图像中的宏块进行编码的典 型方法。改进型帧内预测过程的判决基于由视频序列编码得到的低分辨率 比特流和由视频序列编码得到的高分辨率比特流各自的质量。
方法1900包括将控制权交予功能方框1910的起始方框1905。功能 方框1910 (利用基于低分辨率比特流和高分辨率比特流各自质量的预测 判决)进行帧内预测，并将控制权交予功能方框1915。功能方框1915对 当前RRU宏块进行编码，并将控制权交予终止方框1999。
下面对本发明大量附属优势/特征中的若干优势/特征予以说明，其中 某些优势/特征在前文已有所提及。举例而言， 一优势/特征在于用于对视 频序列进行编码的可分级复杂度视频编码器，所述可分级复杂度视频编码 器包括编码器，所述编码器用于通过利用限制帧内预测过程为视频序列中 特定图像中的块产生帧内模式预测而对该块进行编码，其中限制帧内预测 过程降低了在最终对特定图像进行解码时的降低分辨率更新模式下低分 辨率和高分辨率的伪像。限制帧内预测过程通过禁止使用与降低分辨率更 新模式下的噪音引入相关联的特定预测模式而降低伪像。另 一优势/特征在 于上述可分级复杂度视频编码器，其中与伪像的引入相关联并由限制帧内 预测过程禁止使用的特定预测模式包括方向性帧内预测模式。此外，另一 优势/特征在于上述可分级复杂度视频编码器，其中编码器利用块级语法、 切片级语法和高级语法中至少一种语法，以发信号表明对块应用了限制帧 内预测过程。
此外，另一优势/特征在于用于对视频序列进行编码的可分级复杂度视 频编码器，所述可分级复杂度视频编码器包括编码器，所述编码器用于通 过为降低分辨率更新模式下的视频序列中特定高分辨率图像中的块产生 低分辨率帧内模式预测而以高分辨率对该块进行编码。此外，另一优势/ 特征在于上述可分级复杂度视频编码器，其中编码器对高分辨率块进行下 采样，从而得到下采样块，根据该下采样块产生低分辨率帧内预测，利用 低分辨率帧内预测以及低分辨率帧内预测和下采样块间的残余重建低分 辨率块，并对重建块进行上采样，使其达到高分辨率。此外，另一优势/ 特征在于上述可分级复杂度视频编码器，其中编码器根据块内的预测采样 位置选择至少一个与该下采样块相对应的原始高分辨率采样。此外，另一 优势/特征在于上述可分级复杂度视频编码器，其中编码器通过对至少一个 原始高分辨率采样进行取平均和滤波中至少一种来执行下采样。此外，另 一优势/特征在于上述可分级复杂度视频编码器，其中编码器使用改进型帧 内预测过程来产生块的低分辨率帧内模式预测，并利用块级语法、切片级 语法和高级语法中的至少一种语法，发信号表示应用了改进型帧内预测过 程。
此外，另一优势/特征在于用于对视频序列进行编码的可分级复杂度视 频编码器，所述可分级复杂度视频编码器包括编码器，所述编码器用于通 过利用改进型帧内预测过程为视频序列中特定图像中的块产生帧内模式 预测而对该块进行编码，其中改进型帧内预测过程降低了在最终对特定图 像进行解码时降低分辨率更新模式下的伪像。编码器根据由视频序列编码 得到的低分辨率比特流以及由视频序列编码得到的下采样源序列各自的 质量为改进型帧内预测过程做出编码判决。此外，另一优势/特征在于上述
可分级复杂度视频编码器，其中该编码器采用Lagrangian最优化技术对 各自的质量进行评估。此外，另一优势/特征在于上述可分级复杂度视频编 码器，其中编码器确定低分辨率比特流以及下采样源序列的加权失真值， 用以为改进型帧内预测过程做出编码判决。
此外，另一优势/特征在于用于对视频序列进行编码的可分级复杂度视 频编码器，所述可分级复杂度视频编码器包括编码器，用于通过利用改进 型帧内预测过程为视频序列中特定图像中的块产生帧内模式预测而对该 块进行编码，其中改进型帧内预测过程降低了在最终对特定图像进行解码 时降低分辨率更新模式下的伪像。编码器根据由视频序列编码得到的高分 辨率和低分辨率比特流的各自质量为改进型帧内预测过程做出编码判决。
此外，另一优势/特征在于上述可分级复杂度视频编码器，其中编码器采用
Lagrangian最优化技术对各自的质量进行评估。此外，另一优势/特征在 于上述可分级复杂度视频编码器，其中编码器确定高分辨率比特流以及低 分辨率比特流的加权失真值，用于为改进型帧内预测过程做出编码判决。
根据此处的说明，所属领域技术人员可以十分容易地弄懂本发明原理 的上述和其他特征以及优势。应当理解的是，本发明原理的内容可以各种 硬件、软件、固件、专用处理器或其组合的形式予以实现。
优选情况下，本发明原理的内容可以作为硬件和软件的组合予以实 现。此外，所述软件可作为有形地包含于程序存储单元上的应用程序予以 实现。应用程序可以加载至包含任意适当架构的机器上，并由后者予以执 行。优选情况下，在含有诸如一个以上的中央处理单元("CPU")、随机 存取存储器("RAM")和输入/输出("I/O")接口等硬件的计算机平台上 实现所述机器。计算机平台还可以包括操作系统以及微指令代码。此处所 述的各种过程以及功能可能是可有CPU予以执行的微指令代码的一部 分，或应用程序的一部分，或者其任意组合。此外，可以将诸如附加数据 存储单元以及打印单元等各种其他外围单元连接至计算机平台。
还应当理解的是，由于附图中所描绘的某些构成系统组件以及方法在 优选情况下是用软件来实现的，因而系统组件或处理功能方框间的实际连 接根据本发明的实现方式可能会有所不同。给定此处的说明，所属领域技 术人员将能够构想出本发明的上述以及类似的实现或者配置。
虽然参考附图对说明性实施例进行了描述，然而应当理解的是，本发 明不局限于这些具体的实施例，所属领域技术人员可以在不背离本发明范 围或精神的前提下进行各种改进以及修改。正如所附权利要求所阐释的那 样，意图将所有此类修改以及改进包含于本发明的范围之内。
权利要求
1.一种用于对视频序列进行可分级编码的装置，包括编码器(1100)，用于通过利用限制帧内预测过程为视频序列中特定图像中的块产生帧内模式预测而对该块进行编码，其中限制帧内预测过程降低了在最终对特定图像进行解码时降低分辨率更新模式下的低分辨率和高分辨率的伪像，其中，限制帧内预测过程通过禁止使用与降低分辨率更新模式下伪像的引入相关联的特定预测模式而降低伪像。
2. 根据权利要求1所述的装置，其中与伪像的引入相关联的并由限 制帧内预测过程禁止使用的特定预测模式包括方向性帧内预测模式。
3. 根据权利要求1所述的装置，其中所述编码器(1100)利用块级 语法、切片级语法和高级语法中至少一种语法，发信号表明对块应用了限 制帧内预测过程。
4. 一种用于对视频序列进行可分级复杂度视频编码的方法，包括通过利用限制帧内预测过程为视频序列中特定图像中的块产生帧内模式预测而对该块进行编码(1415)，其中限制帧内预测过程降低了在最 终对特定图像进行解码时降低分辨率更新模式下的低分辨率和高分辨率 的伪像，其中，限制帧内预测过程通过禁止使用与降低分辨率更新模式下伪像 的引入相关联的特定预测模式而降低伪像。
5. 根据权利要求4所述的方法，其中与伪像的引入相关联的并由限 制帧内预测过程禁止使用的特定预测模式包括方向性帧内预测模式。
6. 根据权利要求4所述的方法，还包括利用块级语法、切片级语法 和高级语法中至少一种语法，发信号表明(1425)对块应用了限制帧内预 测过程。
7. —种用于对视频比特流进行可分级解码的装置，包括解码器(900、 1000)，用于利用根据限制帧内预测过程产生的视频序 列中特定图像中的块的帧内模式预测对该块进行解码，所述限制帧内预测 过程降低了在最终对特定图像进行解码时降低分辨率更新模式下的低分 辨率和高分辨率的伪像，其中，限制帧内预测过程通过禁止使用与降低分辨率更新模式下伪像 的引入相关联的特定预测模式而降低伪像。
8. 根据权利要求7所述的装置，其中与伪像引入相关联的并由限制 帧内预测过程禁止使用的特定预测模式包括方向性帧内预测模式。
9. 根据权利要求7所述的装置，其中所述解码器(900、 1000)根据块级语法、切片级语法和高级语法中至少一种语法，判断是否对块应用 了限制帧内预测过程。
10. —种用于对视频比特流进行可分级复杂度视频解码的方法，包括 利用根据限制帧内预测过程产生的视频序列中特定图像中的块的帧内模式预测对该块进行解码(1520)，所述限制帧内预测过程降低了在最 终对特定图像进行解码时降低分辨率更新模式下的低分辨率和高分辨率 的伪像，其中，限制帧内预测过程通过禁止使用与降低分辨率更新模式下伪像 的引入相关联的特定预测模式而降低伪像。
11. 根据权利要求10所述的方法，其中与伪像的引入相关联的并由 限制帧内预测过程禁止使用的特定预测模式包括方向性帧内预测模式。
12. 根据权利要求IO所述的方法，其中所述解码步骤根据块级语法、 切片级语法和高级语法中至少一种语法，判断是否对块应用了限制帧内预 测过程。
13. —种用于视频编码的视频信号结构，包括-视频序列中特定图像中的块，通过利用限制帧内预测过程为该块产生 帧内模式预测而进行编码，所述限制帧内预测过程降低了在最终对特定图 像进行解码时降低分辨率更新模式下的低分辨率和高分辨率的伪像，其中，限制帧内预测过程通过禁止使用与降低分辨率更新模式下伪像 的引入相关联的特定预测模式而降低伪像。
14. 一种其上含有经编码的视频信号数据的存储介质，包含视频序列中特定图像中的块，通过利用限制帧内预测过程为该块产生 帧内模式预测而进行编码，所述限制帧内预测过程降低了在最终对特定图 像进行解码时降低分辨率更新模式下的低分辨率和高分辨率的伪像， 其中，限制帧内预测过程通过禁止使用与降低分辨率更新模式下伪像 的引入相关联的特定预测模式而降低伪像。
15. —种用于对视频序列进行可分级编码的装置，包括编码器(1100)，用于通过为降低分辨率更新模式下的视频序列中特定 高分辨率图像中的块产生低分辨率帧内模式预测而以高分辨率对该块进 行编码。
16. 根据权利要求15所述的装置，其中所述编码器(1100)对高分辨 率块进行下采样，以得到下采样块，根据该下采样块产生低分辨率帧内预 测，利用低分辨率帧内预测以及低分辨率帧内预测和下采样块之间的残余 重建低分辨率块，并对重建块进行上采样，使其达到高分辨率。
17. 根据权利要求16所述的装置，其中所述编码器(1100)根据块内 的预测采样位置选择与用于下采样的块相对应的至少一个原始高分辨率 采样。
18. 根据权利要求17所述的装置，其中所述编码器(1100)通过对至 少一个原始高分辨率采样进行取平均和滤波中至少一种处理来执行下采 样。
19. 根据权利要求15所述的装置，其中所述编码器(1100)使用改进 型帧内预测过程产生块的低分辨率帧内模式预测，并利用块级语法、切片 级语法和高级语法中至少一种语法，发信号表明使用了改进型帧内预测过程。
20. —种用于对视频序列进行可分级复杂度视频编码的方法，包括 通过为降低分辨率更新模式下的视频序列中特定高分辨率图像中的块产生低分辨率帧内模式预测，以高分辨率对该块进行编码(1620)。
21. 根据权利要求20所述的方法，其中所述编码步骤对高分辨率块 进行下采样，以得到下采样块，根据该下采样块产生低分辨率帧内预测， 利用低分辨率帧内预测以及低分辨率帧内预测和下采样块之间的残余重 建低分辨率块，并对重建块进行上采样，使其达到高分辨率(1615、 1620、 1625)。
22. 根据权利要求21所述的方法，其中所述编码步骤根据块内的预 测采样位置选择与用于下采样的块相对应的至少一个原始高分辨率采样。
23. 根据权利要求22所述的方法，其中所述编码步骤通过对至少一个原始高分辨率采样进行取平均和滤波中至少一种处理来执行下采样。
24. 根据权利要求21所述的方法，其中所述编码步骤使用改进型帧 内预测过程产生块的低分辨率帧内模式预测，并利用块级语法、切片级语 法和高级语法中至少一种语法，发信号表明使用了改进型帧内预测过程。
25. —种用于对视频比特流进行可分级解码的装置，包括.-解码器(900),用于通过执行改进型帧内预测过程以低分辨率重建降 低分辨率更新块，并对重建的降低分辨率更新块进行上采样使其达到高分 辨率，以高分辨率对视频比特流中特定图像中的降低分辨率更新块进行解 码。
26. 根据权利要求27所述的装置，其中所述解码器(900)根据块级 语法、切片级语法和高级语法中至少一种语法，判断是否对降低分辨率更 新块应用了改进型帧内预测过程。
27. —种用于对视频比特流进行可分级复杂度视频解码的方法，包括 通过执行改进型帧内预测过程以低分辨率重建降低分辨率更新块，并对重建的降低分辨率更新块进行上采样使其达到高分辨率，以高分辨率对 视频比特流中特定图像中的降低分辨率更新块进行解码(1720、 1725)。
28. 根据权利要求27所述的方法，其中所述解码步骤根据块级语法、 切片级语法和高级语法中至少一种语法，判断(1715)是否对块应用了改
29. —种用于视频编码的视频信号结构，包括视频序列中特定高分辨率图像中的块，通过为降低分辨率更新模式下 的该块产生低分辨率帧内模式预测而以高分辨率进行编码。
30. —种其上含有经编码的视频信号数据的存储介质，包含 视频序列中特定高分辨率图像中的块，通过为降低分辨率更新模式下的该块产生低分辨率帧内模式预测而以高分辨率进行编码。
31. —种用于对视频序列进行可分级编码的装置，包括编码器(1100)，用于通过利用改进型帧内预测过程为视频序列中特定 图像中的块产生帧内模式预测，以对该块进行编码，所述改进型帧内预测 过程降低了在最终对特定图像进行解码时的降低分辨率更新模式下的伪 像，其中，所述编码器根据由视频序列编码得到的低分辨率比特流以及由 视频序列编码得到的下采样源序列各自的质量，为改进型帧内预测过程做 出编码判决。
32. 根据权利要求31所述的装置，其中所述编码器(1100)采用 Lagrangian最优化技术对所述各自的质量进行评估。
33. 根据权利要求31所述的装置，其中所述编码器(1100)确定低分 辨率比特流以及下采样源序列的加权失真值，用以为改进型帧内预测过程 做出编码判决。
34. —种用于对视频序列进行可分级复杂度视频编码的方法，包括 通过利用改进型帧内预测过程为视频序列中特定图像中的块产生帧内模式预测，对该块进行编码(1810)，所述改进型帧内预测过程降低了 在最终对特定图像进行解码时的降低分辨率更新模式下的伪像，其中，所述编码步骤根据由视频序列编码得到的低分辨率比特流以及 由视频序列编码得到的下采样源序列各自的质量，为改进型帧内预测过程 做出编码判决。
35. 根据权利要求34所述的方法，其中所述编码步骤采用Lagrangian 最优化技术对所述各自的质量进行评估。
36. 根据权利要求34所述的方法，其中所述编码步骤确定低分辨率 比特流以及下采样源序列的加权失真值，用以为改进型帧内预测过程做出 编码判决。
37. —种用于对视频序列进行可分级编码的装置，包括编码器(1100)，用于通过利用改进型帧内预测过程为视频序列中特 定图像中的块产生帧内模式预测，对该块进行编码，所述改进型帧内预测 过程降低了在最终对特定图像进行解码时的降低分辨率更新模式下的伪 像，其中，所述编码器根据由视频序列编码得到的高分辨率和低分辨率比 特流各自的质量为改进型帧内预测过程做出编码判决。
38. 根据权利要求37所述的装置，其中所述编码器(1100)釆用 Lagrangian最优化技术对所述各自的质量进行评估。
39. 根据权利要求37所述的装置，其中所述编码器(1100)确定高分辨率和低分辨率比特流的加权失真值，用以为改进型帧内预测过程做出 编码判决。
40. —种用于对视频序列进行可分级复杂度视频编码的方法，包括通过利用改进型帧内预测过程为视频序列中特定图像中的块产生帧内模式预测，对该块进行编码(1910)，所述改进型帧内预测过程降低了在最终对特定图像进行解码时的降低分辨率更新模式下的伪像，其中，所述编码步骤根据由视频序列编码得到的高分辨率和低分辨率 比特流各自的质量为改进型帧内预测过程做出编码判决。
41. 根据权利要求40所述的方法，其中所述编码步骤采用Lagrangian 最优化技术对所述各自的质量进行评估。
42. 根据权利要求40所述的方法，其中所述编码步骤确定高分辨率 和低分辨率比特流的加权失真值，用以为改进型帧内预测过程做出编码判 决。
全文摘要
提供了用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置。可分级复杂度视频编码器包括编码器(1100)，用于通过利用限制帧内预测过程为视频序列中特定图像中的块产生帧内模式预测的方式对该块进行编码，其中限制帧内预测过程降低了在最终对特定图像进行解码时降低分辨率更新模式下的低分辨率和高分辨率的伪像。限制帧内预测过程通过禁止使用与降低分辨率更新模式下的伪像引入相关联的特定预测模式而降低伪像。
文档编号H04N7/26GK101375605SQ200780003793
公开日2009年2月25日 申请日期2007年1月30日 优先权日2006年1月31日
发明者亚历山德罗斯·图拉皮斯, 吉尔·麦克唐纳·布瓦斯, 鹏 尹 申请人:汤姆森许可贸易公司