基于固定滤波器或自适应滤波器的用于视频译码的由速率失真定义的内插的制作方法

专利名称：基于固定滤波器或自适应滤波器的用于视频译码的由速率失真定义的内插的制作方法
技术领域：
本发明涉及数字视频编码及解码，且更明确地说，涉及应用于产生视频编码及解 码中所使用的预测性数据的滤波技术。
背景技术：
数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏 装置、视频游戏控制台、蜂窝式或卫星无线电电话及其类似者。数字视频装置实施视频压缩 技术(例如由高级视频译码(AVC)第10部分的MPEG-2、MPEG-4或ITU-TH. 264/MPEG-4定 义的标准中所描述的视频压缩技术)以较有效地发射及接收数字视频信息。视频压缩技术 可执行空间预测及/或时间预测以减少或移除视频序列中固有的冗余。基于块的帧间译码为非常有用的译码技术，其依赖于时间预测以减少或移除视频 序列的连续经译码单元的视频块之间的时间冗余。所述经译码单元可包含视频帧、视频帧 切片、图片群组或另一经定义单元的经编码视频块。对于帧间译码，视频编码器执行运动估 计及运动补偿以追踪两个或两个以上邻近经译码单元的对应视频块的移动。运动估计产生 运动向量，其指示视频块相对于一个或一个以上参考帧或其它经译码单元中的对应预测视 频块的位移。运动补偿使用所述运动向量以根据所述一个或一个以上参考帧或其它经译码 单元产生预测视频块。在运动补偿之后，通过从正被译码的原始视频块减去预测视频块来 形成残余视频块。视频编码器还可应用变换、量化及熵译码过程来进一步减少与残余块的通信相关 联的位速率。变换技术可包含离散余弦变换(DCT)或概念上类似的过程。或者，可使用小 波变换、整数变换或其它类型的变换。在DCT过程中，作为实例，将像素值集合转换成变换 系数，其可表示所述像素值在频域中的能量。量化被应用于所述变换系数，且通常涉及减少 与任何给定变换系数相关联的位的数目的过程。熵译码包含共同地压缩一序列译码模式、 运动信息、经译码块模式及经量化变换系数的一个或一个以上过程。熵译码的实例包括但 不限于内容自适应可变长度译码(CAVLC)及上下文自适应二进制算术译码(CABAC)。经译码视频块可通过可用以创建或识别预测性块的预测信息及指示正被译码的 块与所述预测性块之间的差的残余数据块来表示。所述预测信息可包含用以识别所述预测 性数据块的一个或一个以上运动向量。给定所述运动向量，解码器能够重构已用以对残余 数据块进行译码的预测性块。因此，给定残余块集合及运动向量集合(且可能给定某种额外语法)，解码器可重构原始编码的视频帧。基于运动估计及运动补偿的帧间译码可实现极 好的压缩，因为连续的视频帧或其它类型的经译码单元通常非常类似。经编码视频序列可 包含残余数据块、运动向量且可能包含其它类型的语法。已开发出内插技术以便改进可在帧间译码中实现的压缩的级别。在此情况下，可 从运动估计中所使用的视频帧或其它经译码单元的视频块的像素来内插在运动补偿期间 产生的预测性数据(其用以对视频块进行译码)。通常执行内插以产生预测性半像素值及 预测性四分之一像素值。半像素及四分之一像素值与子像素位置相关联。分数运动向量可 用于以子像素分辨率来识别视频块以便捕获视频序列中的分数移动，且进而提供比整数视 频块更类似于正被译码的视频块的预测性块。

发明内容
一般来说，本发明描述在视频编码及/或解码过程的预测阶段期间由编码器及解 码器应用的滤波技术。所描述的滤波技术可增强在分数内插期间所使用的预测性数据的准 确性，且在一些情况下，可改进整数像素块的预测性数据。本发明存在若干方面，包括可用 于内插的有用十二像素滤波器支持、使用系数对称性及像素对称性来减少为了配置用于内 插的滤波器支持而需要在编码器与解码器之间发送的数据量的技术及用于以类似于子像 素内插的方式来对整数像素位置处的数据进行滤波的技术。本发明的其它方面关于用于对 位流中的信息进行编码以传达所使用的滤波器的类型且可能传达所使用的滤波器系数的 技术。本发明还描述用于滤波器系数的预测性编码技术。本发明的这些及其它方面将从下 文的描述而变得显而易见。在一个实例中，本发明描述一种方法，其包含基于第一内插滤波器而产生用于编 码视频数据的第一经内插预测性数据；基于第二内插滤波器而产生用于所述视频数据的视 频编码的第二经内插预测性数据；基于速率失真分析而在所述第一经内插预测性数据与所 述第二经内插预测性数据之间进行选择；基于所述选择而对所述视频数据进行编码；及对 用以指示所述选择的语法进行编码。所述第一内插滤波器可包含固定内插滤波器，且所述 第二内插滤波器可包含自适应内插滤波器，但本发明不必限于这些实例。还可应用额外内插滤波器以产生额外经内插预测性数据，在速率失真分析中也可 考虑所述额外经内插预测性数据。换句话说，所述方法不限于仅基于两个内插滤波器而产 生第一及第二经内插预测性数据，而是可应用于基于任何数目的内插滤波器而产生任何多 个经内插预测性数据。重要的是，使用速率失真分析内插预测性数据来识别选择哪一滤波器。因此，在另一实例中，本发明描述一种方法，其包含基于多个不同内插滤波器而 产生用于编码视频数据的多个不同预测性数据版本；基于速率失真分析而在所述多个不同 预测性数据版本当中进行选择；基于所述选择而对所述视频数据进行编码；及对用以指示 所述选择的语法进行编码。在另一实例中，本发明描述一种包含视频译码器的设备，所述视频译码器基于多 个不同内插滤波器而产生用于编码视频数据的多个不同预测性数据版本；基于速率失真分 析而在所述多个不同预测性数据版本当中进行选择；基于所述选择而对所述视频数据进行 编码；及对用以指示所述选择的语法进行编码。
在另一实例中，本发明描述一种装置，其包含用于基于多个不同内插滤波器而产 生用于编码视频数据的多个不同预测性数据版本的装置；用于基于速率失真分析而在所述 多个不同预测性数据版本当中进行选择的装置；用于基于所述选择而对所述视频数据进行 编码的装置；及用于对用以指示所述选择的语法进行编码的装置。可以硬件、软件、固件或其任何组合来实施本发明中所描述的技术。如果以软件来 实施，则可在一个或一个以上处理器(例如微处理器、专用集成电路(ASIC)、现场可编程门 阵列(FPGA)或数字信号处理器(DSP))中执行软件。执行所述技术的软件最初可存储于计 算机可读媒体中且加载于处理器中并在处理器中执行。因此，本发明还涵盖一种计算机可读存储媒体，其包含在由处理器执行时致使所 述处理器进行以下操作的指令基于多个不同内插滤波器而产生用于编码视频数据的多个 不同预测性数据版本；基于速率失真分析而在所述多个不同预测性数据版本当中进行选 择；基于所述选择而对所述视频数据进行编码；且对用以指示所述选择的语法进行编码。本发明的一个或一个以上方面的细节陈述于附图及下文的描述中。本发明中所描 述的技术的其它特征、目标及优点将从所述描述及图式中且从权利要求书中显而易见。


图1为说明可实施本发明的技术的一个示范性视频编码及解码系统的框图。图2为说明与本发明一致的可执行滤波技术的视频编码器的实例的框图。图3为说明与预测数据相关联的整数像素位置及与经内插预测数据相关联的子 像素位置的概念图。图4为说明关于九个子像素位置的12像素滤波器支持的概念图。图5为说明关于三个水平子像素位置的水平6像素滤波器支持及关于三个垂直子 像素位置的垂直6像素滤波器支持的概念图。图6为说明用于对整数像素位置进行滤波的五像素X五像素滤波器支持的概念 图。图7为说明与本发明一致的四个整数像素位置及十五个子像素位置的概念图，其 中阴影用以对可使用滤波器系数的像素对称性的像素位置进行分组。图8为说明相对于子像素的六个水平线性像素支持位置的概念图，其中阴影展示 系数对称性。图9为说明相对于子像素的六个水平线性像素支持位置的概念图，其中阴影展示 任何系数对称性的缺少。图10为说明相对于子像素的六个垂直线性像素支持位置的概念图，其中阴影展 示系数对称性。图11为说明相对于子像素的六个垂直线性像素支持位置的概念图，其中阴影展 示任何系数对称性的缺少。图12为说明相对于子像素的十二个二维像素 支持位置的概念图，其中阴影展示 任何系数对称性的缺少。图13为说明相对于子像素的十二个二维像素支持位置的概念图，其中阴影展示 系数对称性。
图14为说明相对于子像素的十二个二维像素支持位置的概念图，其中阴影展示 系数对称性。图15为说明相对于子像素的十二个二维像素支持位置的概念图，其中阴影展示 系数对称性。图16为说明视频解码器的实例的框图，所述视频解码器可对以本文所描述的方 式编码的视频序列进行解码。图17为说明与本发明一致的利用十二像素滤波器支持的视频编码器的实例操作 的流程图。图18为说明与本发明一致的利用十二像素滤波器支持的视频解码器的实例操作 的流程图。图19为说明与本发明一致的利用系数对称性及像素对称性的视频编码器的实例 操作的流程图。图20为说明与本发明一致的利用系数对称性及像素对称性的视频解码器的实例 操作的流程图。图21为说明与本发明一致的利用对整数像素位置的滤波来产生经调整整数像素 值的视频编码器的实例操作的流程图。图22为说明与本发明一致的利用对整数像素位置的滤波来产生经调整整数像素 值的视频解码器的实例操作的流程图。图23为说明用于基于固定滤波器或自适应滤波器的用于视频译码的由速率失真 定义的内插的技术的流程图。图24为说明用于使用预测性译码来对滤波器系数进行编码的技术的流程图。图25为说明用于使用预测性译码来对滤波器系数进行编码的技术的另一流程 图。图26为说明用于使用预测性译码来对滤波器系数进行解码的技术的流程图。图27及图28为说明可经预测性译码的滤波器系数的概念图。图29为可使用预测技术来编码的整数像素滤波器系数阵列的说明性实例。
具体实施例方式本发明描述在视频编码及/或解码过程的预测阶段期间由编码器及解码器应用 的滤波技术。所描述的滤波技术可增强在分数内插期间所使用的预测性数据的准确性，且 在一些情况下，可改进整数像素块的预测性数据。本发明存在若干方面，包括可用于内插的 有用十二像素滤波器支持、使用系数对称性及像素对称性来减少为了配置用于内插的滤波 器支持而需要在编码器与解码器之间发送的数据量的技术及用于以类似于子像素内插的 方式来对整数像素位置处的数据进行滤波的技术。在下文中详细描述这些及其它技术。图1为说明可用于实施本发明的技术中的一者或一者以上的一个示范性视频编码及解码系统10的框图。如图1所示，系统10包括经由通信信道15而将经编码视频发射 到目的地装置16的源装置12。源装置12及目的地装置16可包含广泛范围的装置中的任 一者。在一些情况下，源装置12及目的地装置16包含无线通信装置，例如无线手持机、所 谓的蜂窝式或卫星无线电电话或可经由通信信道15而传送视频信息的任何无线装置，在此情况下，通信信道15为无线的。然而，本发明的技术(其关于滤波及在预测性译码期间 的预测性数据的产生)不必限于无线应用或设置。所述技术还可在广泛范围的其它设置及 装置中有用，所述其它设置及装置包括经由物理线、光纤或其它物理或无线媒体来通信的 装置。另外，所述编码或解码技术还可应用于未必与任何其它装置通信的独立装置中。 在图1的实例中，源装置12可包括视频源20、视频编码器22、调制器/解调器(调 制解调器)23及发射器24。目的地装置16可包括接收器26、调制解调器27、视频解码器 28及显示装置30。根据本发明，源装置12的视频编码器22可经配置以应用本发明的技术 中的一者或一者以上作为视频编码过程的一部分。类似地，目的地装置16的视频解码器28 可经配置以应用本发明的技术中的一者或一者以上作为视频解码过程的一部分。同样，图1的所说明的系统10仅为示范性的。本发明的各种技术可由支持基于块 的预测性编码的任何编码装置或由支持基于块的预测性解码的任何解码装置来执行。源装 置12及目的地装置16仅为此些译码装置的实例，其中源装置12产生经译码视频数据以供 发射到目的地装置16。在一些情况下，装置12、16可以大体上对称的方式来操作，使得装置 12,16中的每一者包括视频编码及解码组件。因此，系统10可支持视频装置12、16之间的 单向或双向视频发射，例如，用于视频串流、视频重放、视频广播或视频电话。源装置12的视频源20可包括视频捕获装置，例如摄像机、含有先前捕获的视频的 视频档案或来自视频内容提供者的视频馈入。作为另一替代方案，视频源20可产生基于计 算机图形的数据作为源视频，或产生直播视频、存档视频及计算机产生的视频的组合。在一 些情况下，如果视频源20为摄像机，则源装置12及目的地装置16可形成所谓的相机电话 或视频电话。在每一情况下，可由视频编码器22对所捕获、预捕获或计算机产生的视频进 行编码。可接着由调制解调器23根据通信标准(例如，码分多址(CDMA)或另一通信标准) 来对所述经编码视频信息进行调制并经由发射器24及通信信道15将所述经编码视频信息 发射到目的地装置16。调制解调器23可包括各种混频器、滤波器、放大器或经设计以用于 信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路，包括放大器、滤波 器及一个或一个以上天线。目的地装置16的接收器26经由通信信道15来接收信息，且调制解调器27对所 述信息进行解调。如同发射器24，接收器26可包括经设计以用于接收数据的电路，包括放 大器、滤波器及一个或一个以上天线。在一些情况下，发射器24及/或接收器26可并入于 包括接收电路及发射电路两者的单一收发器组件内。调制解调器27可包括各种混频器、滤 波器、放大器或经设计以用于信号解调的其它组件。在一些情况下，调制解调器23及27可 包括用于执行调制及解调两者的组件。同样，由视频编码器22执行的视频编码过程可在运动补偿期间实施本文所描述 的技术中的一者或一者以上。由视频解码器28执行的视频解码过程也可在其解码过程的 运动补偿阶段期间执行此些技术。术语“译码器”在本文中用于指代执行视频编码或视频 解码的专门计算机装置或设备。术语“译码器”大体上指代任何视频编码器、视频解码器或 组合的编码器/解码器(编解码器)。术语“译码”指代编码或解码。显示装置30向用户 显示经解码视频数据，且可包含多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显 示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。在图1的实例中，通信信道15可包含任何无线或有线通信媒体(例如射频(RF)频谱或一个或一个以上物理发射线)或无线及有线媒体的任何组合。通信信道15可形成 基于包的网络(例如局域网、广域网或例如因特网等全球网络)的一部分。通信信道15大 体上表示用于将视频数据从源装置12发射到目的地装置16的任何合适通信媒体或不同通 信媒体的集合。通信信道15可包括路由器、交换器、基站或可用于促进从源装置12到目的 地装置16的通信的任何其它设备。视频编码器22及视频解码器28可根据视频压缩标准(例如ITU-T H. 264标准， 替代地描述为高级视频译码(AVC)第10部分的MPEG-4)来操作。然而，本发明的技术不限 于任何特定视频译码标准。虽然图1中未展示，但在一些方面中，视频编码器22及视频解 码器28可各自与音频编码器及解码器集成，且可包括适当MUX-DEMUX单元或其它硬件及软 件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用，则MUX-DEMUX 单元可遵照ITU H. 223多路复用器协议或例如用户数据报协议(UDP)等其它协议。视频编码器22及视频解码器28各自可实施为一个或一个以上微处理器、数字信 号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、 固件或其任何组合。视频编码器22及视频解码器28中的每一者可包括于一个或一个以上 编码器或解码器中，所述编码器或解码器中的任一者可集成为在相应移动装置、订户装置、 广播装置、服务器或其类似者中提供编码及解码能力的组合式编解码器的一部分。视频序列通常包括一连串视频帧。视频编码器22对个别视频帧内的视频块进行 操作以便对视频数据进行编码。视频块可具有固定或变化大小，且可根据指定译码标准而 在大小方面有所不同。每一视频帧包括一连串切片。每一切片可包括一连串宏块，其可布 置成子块。作为实例，ITU-T H. 264标准支持各种块大小(例如用于亮度分量的16X16、 8X8或4X4及用于色度分量的8X8)的帧内预测以及各种块大小(例如用于亮度分量的 16X16、16X8、8X16、8X8、8X4、4X8及4X4及用于色度分量的对应经按比例缩放的大 小)的帧间预测。(例如)在例如离散余弦变换(DCT)或概念上类似的变换过程等变换过 程之后，视频块可包含像素数据的块或变换系数的块。较小视频块可提供较好分辨率，且可用于包括高细节级别的视频帧的位置。一般 来说，可将宏块及各种子块视为视频块。另外，可将切片视为一连串视频块，例如宏块及/ 或子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或帧的其 它部分可被定义为可解码单元。术语“经译码单元”指代视频帧的任何可独立解码单元，例 如整个帧、帧的切片或根据所使用的译码技术而定义的另一可独立解码单元。为了对视频块进行编码，视频编码器22执行帧内或帧间预测以产生预测块。视频 编码器22从待编码的原始视频块减去所述预测块以产生残余块。因此，残余块指示正被译 码的块与预测块之间的差。视频编码器22可对残余块执行变换以产生变换系数的块。在 基于帧内或帧间的预测性译码及变换技术之后，视频编码器22执行量化。量化大体上指 代对系数进行量化以可能地减少用于表示所述系数的数据量的过程。在量化之后，可根据 熵译码方法(例如上下文自适应可变长度译码(CAVLC)或上下文自适应二进制算术译码 (CABAC))来执行熵译码。下文将在图2中更详细地描述由视频编码器22执行的编码过程 的每一步骤的更多细节。在目的地装置16中，视频解码器28接收经编码视频数据。视频解码器28根据熵 译码方法(例如CAVLC或CABAC)来对所接收视频数据进行熵解码以获得经量化系数。视频解码器28应用逆量化(解量化)及逆变换功能以在像素域中重构残余块。视频解码器28还基于经编码视频数据中所包括的控制信息或语法信息(例如，译码模式、运动向量、定 义滤波器系数的语法及其类似者)来产生预测块。视频解码器28将预测块与经重构残余 块求和以产生经重构视频块以供显示。下文将在图16中更详细地描述由视频编码器22执 行的编码过程的每一步骤的更多细节。根据本发明的技术，视频编码器22及视频解码器28可在运动补偿期间使用所述 一个或一个以上内插滤波技术。明确地说，根据本发明的一个方面，视频编码器22及/或 视频解码器28可获得像素块，其中所述像素块包括对应于所述像素块内的整数像素位置 的整数像素值；基于所述整数像素值来计算用于与所述像素块相关联的子像素位置的子像 素值，其中计算所述子像素值包含应用内插滤波器，所述内插滤波器定义对应于以放射状 形状围绕所述子像素位置的十二个或十二个以上整数像素位置的集合的滤波器支持位置 的二维阵列；及基于所述子像素值中的至少一些来产生预测块。下文更详细地解释对应于 十二个或十二个以上整数像素位置的集合的滤波器支持位置的二维阵列的实例。根据本发明的另一方面，视频编码器22及/或视频解码器28可利用对称性的方 面以便减少为了传送内插中所使用的滤波器系数而需要在源装置12与目的地装置16之间 传送的数据量。视频编码器22可确定用于十五个不同子像素位置的八个滤波器系数集 合，其中所述八个滤波器系数集合是基于十五个子像素位置当中的系数对称性及像素对称 性来产生的；及将所述八个滤波器系数集合作为经编码位流的一部分而输出到另一装置。 以此方式，所述八个集合连同像素对称性及系数对称性的方面可定义用于所有十五个半像 素及四分之一像素像素位置的所有滤波器系数。此外，在所述十五个子像素位置中的不同 者之间在垂直维度上及在水平维度上可存在像素对称性，但针对所述十五个子像素位置集 合中的至少一些在对角维度上可能不存在像素对称性。此针对所述十五个位置中的至少一 些在对角维度上缺少像素对称性可改进视频编码及解码中的内插及视频质量。目的地装置16的视频解码器28可将所述八个滤波器系数集合作为经编码视频 位流的一部分来接收；基于所述八个滤波器系数集合来产生对应于十五个不同子像素位置 的十五个滤波器系数集合；基于所述十五个滤波器系数集合中的一者来产生用于视频解码 的经内插预测性数据，其中所述经内插预测性数据对应于所述十五个不同子像素位置中的 一者；及基于所述经内插预测性数据来对一个或一个以上视频块进行解码。根据本发明的另一方面，视频编码器22及/或视频解码器28可相对于整数像素 位置使用似内插滤波以便产生经调整整数像素值。所述似内插滤波可具体来说在照度改 变、场景淡入或淡出期间改进压缩，可移除噪声且促进图像帧锐化，且可尤其在未对滤波器 系数强加对称性时帮助改进连续视频帧之间的精细对象移动的编码。视频编码器22及/或视频解码器28的似内插滤波技术可包括获得像素块，其中 所述像素块包括对应于所述像素块内的整数像素位置的整数像素值；基于所述像素块内的 其它整数像素值来对所述整数像素值进行滤波以产生经调整整数像素值，其中所述经调整 整数像素值对应于所述整数像素位置；及基于所述经调整整数像素值来产生预测块。根据本发明的另一方面，视频编码器22可基于第一内插滤波器来产生用于编码 视频数据的第一经内插预测性数据；基于第二内插滤波器来产生用于所述视频数据的视频 编码的第二经内插预测性数据；基于速率失真分析来在所述第一经内插预测性数据与所述第二经内插预测性数据之间进行选择；基于所述选择来对所述视频数据进行编码；及对用 以指示所述选择的语法进行编码。所述第一内插滤波器可包含固定内插滤波器，且所述第 二内插滤波器可包含自适应内插滤波器，但本发明不必限于这些实例。此外，还可应用额外内插滤波器以产生额外经内插预测性数据，在速率失真分析 中还可考虑所述额外经内插预测性数据。换句话说，本发明的技术不限于仅基于两个内插 滤波器来产生第一及第二经内插预测性数据，而是可应用于基于任何数目的内插滤波器来 产生任何多个经内插预测性数据。重要的是，使用速率失真分析内插预测性数据来识别选 择哪一滤波器。在一个实例中，一种方法可包含基于多个不同内插滤波器来产生用于编码视频 数据的多个不同预测性数据版本；基于速率失真分析来在所述多个不同预测性数据版本当 中进行选择；基于所述选择来对所述视频数据进行编码；及对用以指示所述选择的语法进 行编码。本发明还预期用于对滤波器系数进行编码的技术。举例来说，视频编码器22可 识别用于在视频编码中内插预测性数据的滤波器系数集合；基于所述滤波器系数集合相对 于与固定内插滤波器相关联的滤波器系数的预测性译码而产生与所述滤波器系数集合相 关联的残余值；将量化应用于所述残余值；及将所述经量化残余值作为经编码位流的一部 分来输出。视频解码器28可接收与滤波器系数集合相关联的残余值；基于所述残余值集合 及与固定内插滤波器相关联的滤波器系数而使用预测性解码产生所述滤波器系数集合；及 应用所述滤波器系数集合来内插用于视频块的预测性解码的预测性数据。图2为说明与本发明一致的可执行滤波技术的视频编码器50的实例的框图。视 频编码器50为在本文中被称为“译码器”的专门视频计算机装置或设备的一个实例。视频 编码器50可对应于装置20的视频编码器22或不同装置的视频编码器。视频编码器50可 执行视频帧内的块的帧内及帧间译码，但为了说明的简易起见而未在图2中展示帧内译码 组件。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频的空间冗余。帧间译码 依赖于时间预测以减少或移除视频序列的邻近帧内的视频的时间冗余。帧内模式(I模式) 可指代基于空间的压缩模式，且例如预测(P模式)或双向(B模式)等帧间模式可指代基 于时间的压缩模式。本发明的技术在帧间译码期间适用，且因此，为了说明的简单及简易起 见，未在图2中说明例如空间预测单元等帧内译码单元。如图2所示，视频编码器50接收待编码的视频帧内的视频块。在图2的实例中， 视频编码器50包括预测单元32、存储器34、加法器48、变换单元38、量化单元40及熵译码 单元46。对于视频块重构，视频编码器50还包括逆量化单元42、逆变换单元44及加法器 51。还可包括去块滤波器(未图示)以对块边界进行滤波以从经重构视频中移除成块性假 影。如果需要，所述去块滤波器将通常对加法器51的输出进行滤波。预测单元32可包括运动估计(ME)单元35及运动补偿(MC)单元37。根据本发 明，滤波器37可包括于预测单元32中且可由ME单元35及MC单元37中的一者或两者调用 以执行内插或似内插滤波作为运动估计及/或运动补偿的一部分。滤波器37实际上可表 示多个不同滤波器以促进如本文所描述的无数不同类型的内插及内插类滤波。因此，预测 单元32可包括多个内插或似内插滤波器。在编码过程期间，视频编码器50接收待译码的视频块(在图2中标记为“视频块”)，且预测单元32执行帧间预测译码以产生预测块(在 图2中标记为“预测块”)。具体来说，ME单元35可执行运动估计以识别存储器34中的预 测块，且MC单元37可执行运动补偿以产生所述预测块。通常将运动估计视为产生运动向量的过程，所述运动 向量估计视频块的运动。举 例来说，运动向量可指示预测或参考帧(或其它经译码单元，例如，切片)内的预测块相对 于当前帧(或其它经译码单元)内的待译码的块的位移。所述参考帧(或所述帧的一部 分)在时间上可位于当前视频块所属的视频帧(或所述视频帧的一部分)之前或之后。通 常将运动补偿视为从存储器34获取或产生预测块或可能基于由运动估计确定的运动向量 来内插或以其它方式产生经滤波预测性数据的过程。ME单元35通过将所述待译码的视频块与一个或一个以上参考帧(例如，先前帧及 /或后续帧)的视频块进行比较来选择用于所述视频块的适当运动向量。ME单元35可以 分数像素精度执行运动估计，其有时被称为分数像素或子像素运动估计。因而，可互换地使 用术语分数像素及子像素运动估计。在分数像素运动估计中，ME单元35可选择指示与不同 于整数像素位置的位置的位移的运动向量。以此方式，分数像素运动估计允许预测单元32 以比整数像素(或全像素)位置高的精度来追踪运动，因此产生较准确的预测块。分数像素 运动估计可具有半像素精度、四分之一像素精度、八分之一像素精度或任何更精细的精度。 ME单元35可调用滤波器39以用于运动估计过程期间的任何必要内插。为了执行分数像素运动补偿，MC单元37可执行内插(有时被称为内插滤波)以 便以子像素分辨率产生数据(本文中被称为子像素或分数像素值)。MC单元37可调用滤 波器39以用于此内插。预测单元32可使用本文所描述的技术来执行所述内插(或整数像 素的似内插滤波)。一旦由ME单元35选择了用于待译码的视频块的运动向量，MC单元37便产生与 所述运动向量相关联的预测视频块。MC单元37可基于由MC单元35确定的运动向量而从 存储器34获取预测块。在具有分数像素精度的运动向量的情况下，MC单元37对来自存储 器34的数据进行滤波以内插所述数据达到子像素分辨率，例如，调用滤波器39以用于此过 程。在一些情况下，已用以产生子像素预测数据的内插滤波技术或模式可被指示为用于熵 译码单元46的一个或一个以上内插语法元素以供包括于经译码位流中。确实，本发明的一 些方面关于使用像素对称性及系数对称性来减少需要传达的语法的量。一旦预测单元32已产生预测块，视频编码器50便通过从正被译码的原始视频块 减去所述预测块来形成残余视频块(在图2中标记为“残余块”)。加法器48表示执行此 减法运算的组件。变换单元38将变换(例如离散余弦变换(DCT)或概念上类似的变换) 应用于所述残余块，进而产生包含残余变换块系数的视频块。举例来说，变换单元38可执 行概念上类似于DCT的其它变换，例如由H. 264标准定义的变换。还可使用小波变换、整数 变换、子频带变换或其它类型的变换。在任何情况下，变换单元38将所述变换应用于所述 残余块，进而产生残余变换系数块。所述变换可将残余信息从像素域转换到频域。量化单元40对所述残余变换系数进行量化以进一步减少位速率。所述量化过程 可减少与所述系数中的一些或所有相关联的位深度。在量化之后，熵译码单元46对经量化 变换系数进行熵译码。举例来说，熵译码单元46可执行CAVLC、CABAC或另一熵译码方法。熵译码单元46还可对从预测单元32或视频编码器50的其它组件获得的一个或一个以上预测语法元素进行译码。所述一个或一个以上预测语法元素可包括译码模式、一 个或一个以上运动向量、已用以产生子像素数据的内插技术、滤波器系数集合或子集，或与 预测块的产生相关联的其它信息。根据本发明的一些方面，系数预测及量化单元41可对预 测语法(例如滤波器系数)进行预测性编码及量化。在由熵译码单元46进行熵译码之后， 可将经编码视频及语法元素发射到另一装置或存档以供稍后发射或检索。逆量化单元42及逆变换单元44分别应用逆量化及逆变换以在像素域中重构残 余块(例如)以供稍后用作参考块。所述经重构残余块(在图2中标记为“经重构的残余 块”)可表示提供到变换单元38的残余块的经重构版本。归因于由量化及逆量化运算造成 的细节的损失，所述经重构残余块可不同于由求和器48产生的残余块。求和器51将所述 经重构残余块相加到由预测单元32产生的经运动补偿的预测块以产生经重构视频块以供 存储于存储器34中。所述经重构视频块可由预测单元32用作可用以随后对后续视频帧或 后续经译码单元中的块进行译码的参考块。如上所述，预测单元32可以分数像素(或子像素)精度执行运动估计。当预测单 元32使用分数像素运动估计时，预测单元32可使用本发明中所描述的内插运算来以子像 素分辨率产生数据(例如，子像素或分数像素值)。换句话说，使用所述内插运算来计算在 整数像素位置之间的位置处的值。位于整数像素位置之间的距离的一半处的子像素位置可 被称为半像素位置，位于整数像素位置与半像素位置之间的距离的一半处的子像素位置可 被称为四分之一像素位置，位于整数像素位置(或半像素位置)与四分之一像素位置之间 的距离的一半处的子像素位置被称为八分之一像素位置，依此类推。图3为说明与预测数据相关联的整数像素(或全像素)位置及与经内插预测数据 相关联的子像素(或分数像素)位置的概念图。在图3的概念说明中，不同方框表示帧或帧 块内的像素及子像素位置。大写字母(在具有实线的方框中)表示整数像素位置，而小写 字母(在具有虚线的方框中)表示子像素位置。明确地说，像素位置A1-A6、B1-B6、C1-C6、 D1-D6、E1-E6及F1-F6表示帧、切片或其它经译码单元内的整数像素位置的6X6阵列。子 像素位置“a”到“0”表示(例如)整数像素位置C3、C4、D3及D4之间的与整数像素C3相 关联的十五个子像素位置。每个整数像素位置可存在类似子像素位置。子像素位置“a”到 “0”表示与整数像素C3相关联的每个半像素及四分之一像素像素位置。在最初产生视频数据时，整数像素位置可与物理传感器元件(例如光电二极管) 相关联。所述光电二极管可测量在所述传感器的位置处的光源的强度且将像素强度值与所 述整数像素位置相关联。同样，每一整数像素位置可具有相关联的十五个子像素位置(或 可能更多)的集合。与整数像素位置相关联的子像素位置的数目可取决于所要精度。在 图3所说明的实例中，所要精度为四分之一像素精度，在此情况下，整数像素位置中的每一 者与十五个不同子像素位置对应。可基于所要精度使更多或更少子像素位置与每一整数像 素位置相关联。对于半像素精度，举例来说，每一整数像素位置可与三个子像素位置对应。 作为另一实例，对于八分之一像素精度，整数像素位置中的每一者可与六十三个子像素位 置对应。每一像素位置可定义一个或一个以上像素值(例如，一个或一个以上亮度及色度 值)。Y可表示亮度，且Cb及Cr可表示三维YCbCr色空间的两个不同色度值。对于三维 色空间来说，每一像素位置实际上可定义三个像素值。然而，出于简单的目的，本发明的技术可指代关于一个维度的预测。就关于一个维度中的像素值来描述技术而论，可将类似技 术扩展到其它维度。在图3的实例中，针对四分之一像素精度说明与整数像素“C3”相关联的子像素位 置。将与像素C3相关联的十五个子像素位置标记为“a”、“b”、“C”、“d”、“e”、“f ”、“g”、“h”、 “i”、“j”、“k”、“l”、“m”、“n”及“0”。为了简单起见，未展示与其它整数像素位置相关联的 大部分其它分数位置(除了用以产生与像素位置C3相关联的15个不同分数位置中的一者 或一者以上的分数位置以外，如下文进一步详细描述)。子像素位置“b”、“h”及“j”可被 称为半像素位置，且子像素位置 ，^”？‘^‘^‘产？^‘广？‘！^“广？‘！！！”及“一可 被称为四分之一像素位置。视频编码器40的预测单元32可使用由MC单元37进行的内插滤波来确定子像素 位置“a”到“0”的像素值。与ITU-T H. 264标准一致，举例来说，预测单元32可使用6分 接头内插滤波器(例如维纳(Wiener)滤波器)来确定半像素位置的像素值。在H. 264标 准的情况下，6分接头内插滤波器的滤波器系数通常为[1，-5,20,20, _5，1]，但可使用其它 系数。预测单元32可首先在水平方向上应用内插滤波器且接着在垂直方向上应用内插滤 波器，或反之亦然。对于半像素位置“b”及“h”，每一分接头可分别在水平方向及垂直方向 上对应于整数像素位置。明确地说，对于半像素位置“b”，6分接头滤波器的分接头对应于 Cl、C2、C3、C4、C5及C6。同样，对于半像素位置“h”，6分接头滤波器的分接头对应于A3、 B3、C3、D3、E3及F3。举例来说，可使用方程式⑴及(2)来计算子像素位置“b”及“h”的 像素值b = ((Cl-5*C2+20*C3+20*C4-5*C5+C6)+16)/32(1)h = ((A3-5*B3+20*C3+20*D3-5*E3+F3)+16)/32(2)对于半像素位置“j”，6分接头滤波器的分接头使其自身对应于在位置C1-C6与 D1-D6之间水平内插或在位置A3-F3与A4-F4之间垂直内插。可(例如)根据方程式(3) 或(4)中的一者通过使用半像素位置的先前内插的像素值的6分接头滤波器来计算半像素 位置“j”j = ((aa-5*bb+20*b+20*hh_5*ii+jj)+16)/32 (3)j = ((cc-5*dd+20*h+20*ee-5*ff+gg)+16)/32 (4)其中(如图3所说明)aa对应于A3与A4之间的内插，bb对应于B3与B4之间的内插，b对应于C3与C4之间的内插，hh对应于D3与D4之间的内插， 对应于Ε3与Ε4之 间的内插，且jj对应于F3与F4之间的内插。在方程式4中，cc对应于Cl与Dl之间的内 插，dd对应于C2与D2之间的内插，h对应于C3与D3之间的内插，ee对应于C4与D4之间 的内插，ff对应于C5与D5之间的内插，且gg对应于C6与D6之间的内插。与H. 264标准一致，预测单元32可使用双线性内插滤波器及周围整数像素位置及 半像素位置的像素值来确定四分之一像素位置“3”、“(3”、“(1”、“6”、“产、“8”、“广、“1^、“1”、 “m”、“n”及“0”处的像素值。举例来说，预测单元32可使用C3及“b”的像素值来确定与 子像素位置“a”相关联的像素值，使用“b”及C4的像素值来确定与子像素位置“C”相关联 的像素值，依此类推。由MC单元37应用以产生子像素位置处的经内插数据的实际滤波器可经受广泛多 种实施方案。作为一个实例，预测单元32可使用如下文所述的自适应内插滤波器(AIF)来定义所述经内插值。ITU-T SG16/Q.6/VCEG(视频译码专家小组)委员会一直在研究提供 比H. 264高的译码效率的译码技术且明确地说为AIF。AIF提供优于H. 264标准中所使用 的内插滤波的大译码增益，尤其是对具有高分辨率(例如，720i/p或1080i/p)的视频序列。 在AIF中，通过最小化预测误差能量来针对每一视频帧分析计算每一子像素位置的内插滤 波器。这帮助解决原始及参考视频帧中含有的混叠、量化及运动估计误差、相机噪声或其它 假影。用于每一帧的经分析导出的自适应滤波器系数接着经预测、量化、译码且在视频位流 中发送。本发明的技术中的一些可在AIF方案以及许多其它内插方案内工作。存在与本发明的方面一致的许多不同类型的AIF方案。举例来说，第一方案为二 维非可分离AIF(NS-AIF)，第二方案为可分离AIF(S-AIF)，且第三方案为具有方向性滤波 器的AIF (D-AIF)。虽然这些AIF方案中的每一者使用不同内插技术及支持，但所有三个AIF 方案可使用类似分析过程来导出滤波器系数，在下文中使用非可分离AIF作为实例来对此 进行解释。假定6X6 二维非可分离滤波器具有系数/^，其中i，j = 0…5且SP表示图3所 示的15个子像素位置(“a”到“ο”)中的一者。应注意，所述15个子像素位置中的6个位 置(即，“a”、“b”、“c”、“d”、“h”及“1”)为一维(ID)子像素位置，且预测单元32可使用6 分接头内插滤波器来内插所述数据。子像素位置“a”、“b”、“c”、“d”、“h”及“1”在其位于 两个整数像素位置之间的水平线或垂直线中的意义上来说为ID的。并且，假定参考帧中的 整数像素位置(图3中的Al到F6)处的预测像素采用像素值Pi,」，其中i，j = 0…5。也就 是说，Al采用值Pthtl,……，A6采用值P5^……，Fl采用值P5^……，且F6采用值P5,5。 接着，可由预测单元32使用以下方程式来计算子像素位置SP(SP e {a,..., ο})处的经内 插值PspΡ5Ρ=ΣΣΡυΚ'-(5)
i=0 j=0令Sx,y为位置(X，y)处的当前视频帧中的像素值。
文=λ+|_wv;c」一尸o，j= J+Lmv)^-尸^^,其中(mvx，mvy)为运动向量，(LmralLmvy」)为运动向量的整数分量，且FO为滤波
器偏移。值(元50为参考帧中的对应像素位置。举例来说，在6分接头滤波器的情况下，FO =6/2-1 = 2。对于每一子像素位置SP，可由预测单元32针对具有对应于子像素位置SP 的运动向量精度的所有像素累积当前帧中的实际像素值与经内插值之间的预测误差能量 (eSP)2。可由预测单元32使用以下方程式来计算预测误差能量(eSP)2:(e-)2 =ΣΣ(^ -^)2 =Zlk, -it d,·糾 T⑷
χ yχ ^ \i=0 j=0j对于子像素位置a到ο中的每一者，MC单元37可通过计算(eSP)2相对于滤波器 系数的导数来设定个别方程式集合。在此情况下，方程式的数目等于用于当前子像素位 置SP的滤波器系数的数目。对于每一二维(2D)子像素位置“e”、“f”、“g”、“i”、“j”、“k”、 “m”、“n”及“0”，预测单元32可使用6X6分接头2D内插滤波器。子像素位置“e”、“f ”、 “g”、“i”、“j”、“k”、“m”、“n”及“0”在其不位于两个整数像素位置之间的垂直线或水平线中的意义上来说为2D的。在此情况下，可由MC单元37来对具有三十六个未知数的三十六 个方程式的方程组求解。剩余的ID子像素位置“a”、“b”、“c”、“d”、“h”及“1”可仅需要ID 内插滤波器(例如，ID 6分接头滤波器)。在ID 6分接头滤波器的情况下，可由MC单元37 来对六个方程式的方程组求解。
权利要求
一种方法，其包含基于多个不同内插滤波器而产生用于编码视频数据的多个不同预测性数据版本；基于速率失真分析而在所述多个不同预测性数据版本当中进行选择；基于所述选择而对所述视频数据进行编码；及对用以指示所述选择的语法进行编码。
2.根据权利要求1所述的方法，其中产生及选择包含基于第一内插滤波器而产生用于编码视频数据的第一经内插预测性数据； 基于第二内插滤波器而产生用于编码所述视频数据的第二经内插预测性数据；及 基于所述速率失真分析而在所述第一经内插预测性数据与所述第二经内插预测性数 据之间进行选择。
3.根据权利要求2所述的方法，其中所述第一内插滤波器对应于固定内插滤波器。
4.根据权利要求3所述的方法，其中所述第一内插滤波器对应于ITU-TH. 264内插滤 波器。
5.根据权利要求3所述的方法，其中所述第一内插滤波器对应于不具有用于产生其它 分数像素值的分数像素值的中间舍入的ITU-T H. 264内插滤波器。
6.根据权利要求2所述的方法，其中所述第一内插滤波器对应于固定内插滤波器，且 所述第二内插滤波器对应于自适应内插滤波器。
7.根据权利要求2所述的方法，其中所述语法包含定义解码器应使用所述第一内插滤 波器还是所述第二内插滤波器的旗标。
8.根据权利要求2所述的方法，其中针对经译码单元的多个子像素位置中的每一者定 义单独语法元素以指示解码器针对所述多个子像素位置中的每一者应使用所述第一内插 滤波器还是所述第二内插滤波器。
9.根据权利要求1所述的方法，其中针对所述视频数据的整数像素位置定义单独语法 元素以指示解码器针对所述整数像素位置应使用第一滤波器还是第二滤波器。
10.根据权利要求8所述的方法，其中所述第一滤波器不应用任何滤波，且所述第二滤 波器与自适应滤波器系数相关联。
11.根据权利要求2所述的方法，其进一步包含发射所述经编码视频数据及所述用以 指示使用了所述第一经内插预测性数据还是所述第二经内插预测性数据来产生所述经编 码视频数据的语法。
12.根据权利要求11所述的方法，其进一步包含在所述第二内插滤波器为自适应内插滤波器且所述语法指示使用了所述第二经内插 预测性数据来产生所述经编码视频数据时发射滤波器系数；及在所述第一内插滤波器为固定内插滤波器且所述语法指示使用了所述第一经内插预 测性数据来产生所述经编码视频数据时不发射滤波器系数。
13.根据权利要求2所述的方法，其中基于速率失真分析而在所述第一经内插预测性 数据与所述第二经内插预测性数据之间进行选择包含计算在经由所述第一经内插预测性数据对所述视频数据进行编码的情况下与所述视 频数据相关联的第一速率失真成本；计算在经由所述第二经内插预测性数据对所述视频数据进行编码的情况下与所述视频数据相关联的第二速率失真成本；及基于所述第一及第二速率失真成本而在所述第一经内插预测性数据与所述第二经内 插预测性数据之间进行选择。
14.一种包含视频译码器的设备，所述视频译码器基于多个不同内插滤波器而产生用于编码视频数据的多个不同预测性数据版本； 基于速率失真分析而在所述多个不同预测性数据版本当中进行选择； 基于所述选择而对所述视频数据进行编码；及 对用以指示所述选择的语法进行编码。
15.根据权利要求14所述的设备，其中所述视频译码器基于第一内插滤波器而产生用于编码视频数据的第一经内插预测性数据； 基于第二内插滤波器而产生用于编码所述视频数据的第二经内插预测性数据；及 基于所述速率失真分析而在所述第一经内插预测性数据与所述第二经内插预测性数 据之间进行选择。
16.根据权利要求15所述的设备，其中所述第一内插滤波器对应于固定内插滤波器。
17.根据权利要求16所述的设备，其中所述固定内插滤波器对应于ITU-TH. 264内插 滤波器。
18.根据权利要求16所述的设备，其中所述固定内插滤波器对应于不具有用于产生其 它分数像素值的分数像素值的中间舍入的ITU-T H. 264内插滤波器。
19.根据权利要求15所述的设备，其中所述第一内插滤波器对应于固定内插滤波器， 且所述第二内插滤波器对应于自适应内插滤波器。
20.根据权利要求15所述的设备，其中所述语法包含定义解码器应使用所述第一内插 滤波器还是所述第二内插滤波器的旗标。
21.根据权利要求15所述的设备，其中针对经译码单元的多个子像素位置中的每一者 定义单独语法元素以指示解码器针对所述多个子像素位置中的每一者应使用所述第一内 插滤波器还是所述第二内插滤波器。
22.根据权利要求14所述的设备，其中针对所述视频数据的整数像素位置定义单独语 法元素以指示解码器针对所述整数像素位置应使用第一滤波器还是第二滤波器。
23.根据权利要求22所述的设备，其中所述第一滤波器不应用任何滤波，且所述第二 滤波器与自适应滤波器系数相关联。
24.根据权利要求15所述的设备，其进一步包含发射器，所述发射器发射所述经编码 视频数据及所述用以指示使用了所述第一经内插预测性数据还是所述第二经内插预测性 数据来产生所述经编码视频数据的语法。
25.根据权利要求24所述的设备，其中所述发射器在所述第二内插滤波器为自适应内插滤波器且所述语法指示使用了所述第二经内插 预测性数据来产生所述经编码视频数据时发射滤波器系数；及在所述第一内插滤波器为固定内插滤波器且所述语法指示使用了所述第一经内插预 测性数据来产生所述经编码视频数据时不发射滤波器系数。
26.根据权利要求15所述的设备，其中在基于速率失真分析而在所述第一经内插预测 性数据与所述第二经内插预测性数据之间进行选择中，所述设备计算在经由所述第一经内插预测性数据对所述视频数据进行编码的情况下与所述视 频数据相关联的第一速率失真成本；计算在经由所述第二经内插预测性数据对所述视频数据进行编码的情况下与所述视 频数据相关联的第二速率失真成本；及基于所述第一及第二速率失真成本而在所述第一经内插预测性数据与所述第二经内 插预测性数据之间进行选择。
27.根据权利要求14所述的设备，其中所述视频译码器包含集成电路。
28.根据权利要求14所述的设备，其中所述视频译码器包含微处理器。
29.根据权利要求14所述的设备，其中所述设备包含包括所述视频译码器的无线通信装置。
30.一种装置，其包含用于基于多个不同内插滤波器而产生用于编码视频数据的多个不同预测性数据版本 的装置；用于基于速率失真分析而在所述多个不同预测性数据版本当中进行选择的装置；用于基于所述选择而对所述视频数据进行编码的装置；及用于对用以指示所述选择的语法进行编码的装置。
31.根据权利要求30所述的装置，其中用于产生的装置及用于选择的装置包含用于基于第一内插滤波器而产生用于编码视频数据的第一经内插预测性数据的装置；用于基于第二内插滤波器而产生用于编码所述视频数据的第二经内插预测性数据的 装置；及用于基于所述速率失真分析而在所述第一经内插预测性数据与所述第二经内插预测 性数据之间进行选择的装置。
32.根据权利要求31所述的装置，其中所述第一内插滤波器对应于固定内插滤波器。
33.根据权利要求32所述的装置，其中所述固定内插滤波器对应于ITU-TH. 264内插 滤波器。
34.根据权利要求32所述的装置，其中所述固定内插滤波器对应于不具有用于产生其 它分数像素值的分数像素值的中间舍入的ITU-T H. 264内插滤波器。
35.根据权利要求31所述的装置，其中所述第一内插滤波器对应于固定内插滤波器， 且所述第二内插滤波器对应于自适应内插滤波器。
36.根据权利要求31所述的装置，其中所述语法包含定义解码器应使用所述第一内插 滤波器还是所述第二内插滤波器的旗标。
37.根据权利要求31所述的装置，其中针对经译码单元的多个子像素位置中的每一者 定义单独语法元素以指示解码器针对所述多个子像素位置中的每一者应使用所述第一内 插滤波器还是所述第二内插滤波器。
38.根据权利要求30所述的装置，其进一步包含用于针对所述视频数据的整数像素位 置产生单独语法元素以指示解码器针对所述整数像素位置应使用第一滤波器还是第二滤 波器的装置。
39.根据权利要求38所述的装置，其中所述第一滤波器不应用任何滤波，且所述第二滤波器与自适应滤波器系数相关联。
40.根据权利要求31所述的装置，其进一步包含用于发射所述经编码视频数据及所述 用以指示使用了所述第一经内插预测性数据还是所述第二经内插预测性数据来产生所述 经编码视频数据的语法的装置。
41.根据权利要求40所述的装置，其进一步包含用于在所述第二内插滤波器为自适应内插滤波器且所述语法指示使用了所述第二经 内插预测性数据来产生所述经编码视频数据时发射滤波器系数的装置；及用于在所述第一内插滤波器为固定内插滤波器且所述语法指示使用了所述第一经内 插预测性数据来产生所述经编码视频数据时不发射滤波器系数的装置。
42.根据权利要求31所述的装置，其中用于基于速率失真分析而在所述第一经内插预 测性数据与所述第二经内插预测性数据之间进行选择的装置包含用于计算在经由所述第一经内插预测性数据对所述视频数据进行编码的情况下与所 述视频数据相关联的第一速率失真成本的装置；用于计算在经由所述第二经内插预测性数据对所述视频数据进行编码的情况下与所 述视频数据相关联的第二速率失真成本的装置；及用于基于所述第一及第二速率失真成本而在所述第一经内插预测性数据与所述第二 经内插预测性数据之间进行选择的装置。
43.一种计算机可读存储媒体，其包含在由处理器执行时致使所述处理器进行以下操 作的指令基于多个不同内插滤波器而产生用于编码视频数据的多个不同预测性数据版本； 基于速率失真分析而在所述多个不同预测性数据版本当中进行选择； 基于所述选择而对所述视频数据进行编码；及 对用以指示所述选择的语法进行编码。
44.根据权利要求43所述的计算机可读存储媒体，其中所述指令致使所述处理器 基于第一内插滤波器而产生用于编码视频数据的第一经内插预测性数据； 基于第二内插滤波器而产生用于编码所述视频数据的第二经内插预测性数据；及 基于所述速率失真分析而在所述第一经内插预测性数据与所述第二经内插预测性数据之间进行选择。
45.根据权利要求44所述的计算机可读存储媒体，其中所述第一内插滤波器对应于固 定内插滤波器，且所述第二内插滤波器对应于自适应内插滤波器。
46.根据权利要求44所述的计算机可读存储媒体，其中所述语法包含定义解码器应使 用所述第一内插滤波器还是所述第二内插滤波器的旗标。
47.根据权利要求44所述的计算机可读存储媒体，其中针对经译码单元的多个子像素 位置中的每一者定义单独语法元素以指示解码器针对所述多个子像素位置中的每一者应 使用所述第一内插滤波器还是所述第二内插滤波器。
48.根据权利要求44所述的计算机可读存储媒体，其中所述指令致使所述处理器引起 所述经编码视频数据及所述用以指示使用了所述第一经内插预测性数据还是所述第二经 内插预测性数据来产生所述经编码视频数据的语法的发射。
49.根据权利要求48所述的计算机可读存储媒体，其进一步包含致使所述处理器引起以下发射的指令在所述第二内插滤波器为自适应内插滤波器且所述语法指示使用了所述第二经内插 预测性数据来产生所述经编码视频数据时发射滤波器系数；及在所述第一内插滤波器为固定内插滤波器且所述语法指示使用了所述第一经内插预 测性数据来产生所述经编码视频数据时不发射滤波器系数。
50.根据权利要求44所述的计算机可读存储媒体，其中在基于速率失真分析而在所述 第一经内插预测性数据与所述第二经内插预测性数据之间进行选择中，所述指令致使所述 处理器计算在经由所述第一经内插预测性数据对所述视频数据进行编码的情况下与所述视 频数据相关联的第一速率失真成本；计算在经由所述第二经内插预测性数据对所述视频数据进行编码的情况下与所述视 频数据相关联的第二速率失真成本；及基于所述第一及第二速率失真成本而在所述第一经内插预测性数据与所述第二经内 插预测性数据之间进行选择。
全文摘要
本发明描述在视频编码及/或解码过程的预测阶段期间由编码器及解码器应用的滤波技术。所述滤波技术可增强在分数内插期间所使用的预测性数据的准确性，且可改进整数像素块的预测性数据。本发明存在若干方面，包括可用于内插的有用十二像素滤波器支持、使用系数对称性及像素对称性来减少为了配置用于内插的滤波器支持而需要在编码器与解码器之间发送的数据量的技术及用于以类似于子像素内插的方式来对整数像素位置处的数据进行滤波的技术。本发明的其它方面关于用于对位流中的信息进行编码以传达所使用的滤波器的类型且可能传达所使用的滤波器系数的技术。本发明还描述滤波器系数的预测性译码。
文档编号H04N7/26GK101990758SQ200980112679
公开日2011年3月23日 申请日期2009年4月10日 优先权日2008年4月10日
发明者叶琰, 马尔塔·卡切维奇 申请人:高通股份有限公司