用于内插视频译码的子像素的值的自适应支持的制作方法
【专利说明】用于内插视频谭码的子像素的值的自适应支持
[0001] 分案申请的相关信息
[0002] 本案是分案申请。该分案的母案是申请日为2011年12月7日、申请号为 201180058813.0、发明名称为"用于内插视频译码的子像素的值的自适应支持"的发明专利 申请案。
[0003] 本申请案主张2010年12月10日申请的第61/422,051号美国临时申请案的权益，所 述申请案的全部内容W引用的方式并入本文中。
技术领域
[0004] 本发明设及视频译码(例如，对视频数据编码和解码)的领域。
【背景技术】
[0005] 数字视频能力可并入到各种各样的装置中，包含数字电视、数字直播系统、例如无 线电电话手持机等无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计 算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施例如 MPEG-2、M阳G-4或H.264/MPEG-4第10部分高级视频译码(AVC)等视频压缩技术W更有效地 发射和接收数字视频。视频压缩技术执行空间和时间预测W减少或移除视频序列中固有的 冗余。
【发明内容】
[0006] 本发明描述可由编码器和解码器在视频编码和/或解码过程的帖间预测阶段期间 应用的滤波技术。所描述的滤波技术可增强在分数像素内插期间使用的预测数据的准确 性，且在一些情况下，可增加译码增益。本发明存在若干方面，包含基于将内插滤波器应用 于全像素位置的各种组合来内插子像素位置的值的技术。内插滤波器所应用于的值通常被 称作"支持"。运些技术还包含基于例如先前经编码的帖或当前编码的帖等因素选择用于子 像素位置的内插滤波器所应用于的支持。
[0007] 在一个方面，一种编码视频数据的方法包括接收参考样本的全整数像素位置的 值。所述方法还包含将内插滤波器应用于所述全整数像素位置的所述值的第一集合，W计 算所述全整数像素位置中的一者的第一子整数像素的值。另外，所述方法还包含将所述内 插滤波器应用于所述全整数像素位置的所述值的第二不同集合，W计算所述全整数像素位 置中的所述一者的第二不同子整数像素的值。所述方法还包括使用指向所述第一子整数像 素和所述第二子整数像素中的一者的运动向量来编码像素块。
[000引在另一方面，一种装置包括视频译码器，所述视频译码器经配置W接收参考样本 的全整数像素位置的值。所述视频译码器还经配置W将内插滤波器应用于所述全整数像素 位置的所述值的第一集合，W计算所述全整数像素位置中的一者的第一子整数像素的值。 类似地，所述视频译码器经配置W将所述内插滤波器应用于所述全整数像素位置的所述值 的第二不同集合，W计算所述全整数像素位置中的所述一者的第二不同子整数像素的值。 所述视频译码器经进一步配置W使用指向所述第一子整数像素和所述第二子整数像素中 的一者的运动向量来编码像素块。
[0009] 在另一方面，一种计算机可读媒体包括指令，所述指令在视频译码装置中执行时 使所述装置译码视频块。明确地说，所述指令使所述装置接收参考样本的全整数像素位置 的值，且将内插滤波器应用于所述全整数像素位置的所述值的第一集合，W计算所述全整 数像素位置中的一者的第一子整数像素的值。所述指令还使所述装置将所述内插滤波器应 用于所述全整数像素位置的所述值的第二不同集合，W计算所述全整数像素位置中的所述 一者的第二不同子整数像素的值。所述指令进一步使所述装置使用指向所述第一子整数像 素和所述第二子整数像素中的一者的运动向量来编码像素块。
[0010] 在另一方面，提供一种装置，所述装置包括用于接收参考样本的全整数像素位置 的值的装置。所述装置进一步包括用于将内插滤波器应用于所述全整数像素位置的所述值 的第一集合W计算所述全整数像素位置中的一者的第一子整数像素的值的装置。而且，所 述装置包括用于将所述内插滤波器应用于所述全整数像素位置的所述值的第二不同集合 W计算所述全整数像素位置中的所述一者的第二不同子整数像素的值的装置及用于使用 指向所述第一子整数像素和所述第二子整数像素中的一者的运动向量来编码像素块的装 置。
[0011] 在又一方面，一种解码视频数据的方法包括接收包括全像素位置的参考样本。所 述方法还包含接收用W内插所述参考样本的子整数像素的值的所述参考样本的所述全整 数像素位置的集合的指示。另外，所述方法还包含将内插滤波器应用于所述全整数像素位 置的所述集合W计算所述参考样本的所述子整数像素的所述值。所述方法进一步包括相对 于所述子整数像素的所述计算出的值解码像素块。
[0012] 在另一方面，一种装置包括视频解码器，所述视频解码器经配置W接收包括全整 数像素位置的参考样本。所述视频解码器还经配置W接收用W内插所述参考样本的子整数 像素的值的所述参考样本的所述全整数像素位置的集合的指示。类似地，所述视频解码器 经配置W将内插滤波器应用于所述全整数像素位置的所述集合W计算所述参考样本的所 述子整数像素的所述值。所述视频解码器经进一步配置W相对于所述子整数像素的所述计 算出的值解码像素块。
[0013] 在另一方面，一种计算机可读媒体包括指令，所述指令在视频译码装置中执行时 使所述装置译码视频块。明确地说，所述指令使所述装置接收包括全整数像素位置的参考 样本，且接收用W内插所述参考样本的子整数像素的值的所述参考样本的所述全整数像素 位置的集合的指示。所述指令还使所述装置将内插滤波器应用于所述全整数像素位置的所 述集合W计算所述参考样本的所述子整数像素的所述值。所述指令进一步使所述装置相对 于所述子整数像素的所述计算出的值解码像素块。
[0014] 在另一方面，一种装置包括用于接收包括全像素位置的参考样本的装置，和用于 接收用W内插所述参考样本的子整数像素的值的所述参考样本的所述全整数像素位置的 集合的指示的装置。所述装置进一步包括用于使用所述全整数像素位置的所述集合计算所 述参考样本的所述子整数像素的所述值的装置。所述装置进一步包含用于相对于所述子整 数像素的所述计算出的值解码像素块的装置。
[0015] 本发明中所描述的技术可W硬件、软件、固件或其任一组合来实施。如果W软件实 施，那么软件可执行于处理器中，处理器可指一个或一个W上处理器，例如微处理器、专用 集成电路(ASIC)、现场可编程口阵列(FPGA)或数字信号处理器(DSP)或其它等效集成或离 散逻辑电路。最初可将包括用W执行所述技术的指令的软件存储于计算机可读媒体中且由 处理器加载及执行。
[0016] 因此，本发明还预期包括指令的计算机可读媒体，所述指令用W使处理器执行如 本发明中所描述的多种技术中的任一者。在一些情况下，计算机可读媒体可形成可销售给 制造商和/或用于装置中的计算机程序产品的部分。所述计算机程序产品可包含计算机可 读媒体，且在一些情况下，还可包含封装材料。
[0017] 本发明还可适用于载运信息的电磁信号。举例来说，电磁信号可包括与用W内插 参考样本的子整数像素的值的全像素支持有关的信息。在一些实例中，信号可从实施本文 中所描述的技术的装置产生或由所述装置发射。在其它实例中，本发明可适用于可在实施 本文中所描述的技术的装置处接收的信号。
[0018] 本发明的一个或一个W上方面的细节在附图及W下描述中陈述。从描述和图式并 从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。
【附图说明】
[0019] 图1为可用W实施本发明的技术中的一者或一者W上的视频编码和解码系统的一 个实例的框图。
[0020] 图2为更详细地说明图1的视频编码器的实例的框图。
[0021] 图3为说明与预测数据相关联的整数像素位置和与内插的预测数据相关联的子像 素位置的实例的概念图。
[0022] 图4为说明关于子整数像素位置的对角线六像素滤波器支持的实例的概念图。
[0023] 图5为说明关于子整数像素位置的X形状十二像素滤波器支持的实例的概念图。
[0024] 图6为说明关于=个水平子像素位置和=个垂直子像素位置的十二像素滤波器支 持的实例的概念图。
[0025] 图7为说明关于子像素位置的十二像素滤波器支持的实例的概念图。
[0026] 图8为说明关于子整数像素位置的正方形四像素滤波器支持的实例的概念图。
[0027] 图9为说明关于子整数像素位置的矩形六像素滤波器支持的实例的概念图。
[00%]图10为更详细地说明图1的视频解码器的实例的框图。
[0029] 图11为说明与本发明一致的利用像素滤波器支持的视频编码器的实例操作的流 程图。
[0030] 图12为说明与本发明一致的利用像素滤波器支持的视频编码器的另一实例操作 的流程图。
[0031] 图13为说明与本发明一致的确定用于子整数像素的滤波器支持的实例方法的流 程图。
[0032] 图14为说明与本发明一致的确定用于子整数像素的滤波器支持的另一实例方法 的流程图。
[0033] 图15为说明与本发明一致的利用滤波器支持的视频解码器的实例操作的流程图。
[0034] 图16为说明与本发明一致的利用滤波器支持的视频解码器的另一实例操作的流 程图。
【具体实施方式】
[0035] 本发明描述可由编码器和解码器在视频编码和/或解码过程的帖间预测阶段期间 应用的滤波技术。所描述的滤波技术可增强在分数像素内插期间使用的预测数据的准确 性，且在一些情况下，可增加译码增益。本发明可互换地使用术语"子像素"、"子整数像素"、 "分数像素"和"子像元"。本发明存在若干方面，包含用W基于任何数目个全像素位置的任 何组合来内插子像素位置的技术，W及用于基于经先前编码的帖或当前编码的帖来选择用 于子像素位置的内插滤波器的支持的技术。下文详细描述运些和其它技术。
[0036] 基于块的帖间译码为依赖于时间预测来减少或移除视频序列的经连续译码单元 的视频块之间的时间冗余的译码技术。经译码单元可包括视频帖、视频帖的切片、图片组、 或经编码视频块的另一定义单元。对于帖间译码，视频编码器执行运动估计和运动补偿来 估计两个或两个W上邻近的经译码单元的视频块之间的运动。使用运动估计的技术，视频 编码器产生运动向量，所述运动向量可指示视频块相对于一个或一个W上参考帖或其它经 译码单元中的对应预测视频块的位移。使用运动补偿的技术，视频编码器可使用运动向量 来从一个或一个W上参考帖或其它经译码单元产生预测视频块。在运动补偿之后，视频编 码器可通过从正被译码的原始视频块减去预测视频块来计算残余视频块。
[0037] 视频编码器还可应用变换、量化和赌译码过程来进一步降低与残余块的通信相关 联的位速率。变换技术可包括离散余弦变换(DCT)或概念上类似的过程。或者，可使用小波 变换、整数变换或其它类型的变换。作为实例，在DCT过程中，可将一组像素值转换为变换系 数，所述变换系数可表示频域中的像素值的能量。视频编码器还可量化变换系数，其通常可 设及减少与对应变换系数相关联的位的数目的过程。赌译码可包含共同地压缩数据W用于 输出到位流的一个或一个W上过程，其中经压缩数据可包含(例如)译码模式的序列、运动 信息、译码块样式，和经量化的变换系数。赌译码的实例包含(但不限于)上下文自适应可变 长度译码(CAWX)和上下文自适应二进制算术译码(CABAC)。
[0038] 经译码视频块可由可用W创建或识别预测块的预测信息，W及可应用于预测块W 重建原始块的残余数据块表示。预测信息可包括用W识别预测数据块的一个或一个W上运 动向量。使用运动向量，解码器可能够重构用W对残余块译码的预测块。因此，在给定一组 残余块和一组运动向量（W及可能一些额外语法)的情况下，解码器可重构最初被编码的视 频帖。基于运动估计和运动补偿的帖间译码可实现相对高的压缩量而无过度数据损耗，运 是因为连续视频帖或其它类型的经译码单元经常为类似的。经编码视频序列可包括残余数 据块、运动向量化被帖间预测编码时）、用于帖内预测的帖内预测模式的指示，W及可能其 它数据(例如，语法的类型）。
[0039] 已开发子整数像素内插技术W便改进可在帖间译码中实现的压缩程度的预测准 确性。在此情况下，在运动补偿期间产生的预测数据(其用W对视频块译码)可对应于子整 数像素，子整数像素的值可从参考视频帖或运动向量所指代的其它经译码单元的视频块的 全像素的值内插。视频编码器可使用内插技术来计算子整数像素位置的值，例如，通过将内 插滤波器应用于支持集合，例如全整数像素的值和/或其它子整数像素位置的先前经译码 的值。子整数像素位置在各种实例中可具有各种分辨度，例如二分之一像素、四分之一像 素、八分之一像素、十六分之一像素或其它分辨率。因此，视频编码器可在运动估计期间计 算具有子像素精度的运动向量。
[0040] 图1为可用W实施本发明的技术中的一者或一者W上的视频编码和解码系统10的 一个实例的框图。如图1中所示，系统10包含源装置12,其经由通信信道15将经编码的视频 发射到目的地装置16。源装置12和目的地装置16可包括各种各样的装置中的任一者。在一 些情况下，源装置12和目的地装置16中的任一者或两者可包括无线通信装置，例如无线手 持机、所谓的蜂窝式或卫星无线电电话，或可经由通信信道15(在此情况下，通信信道15为 无线的)传达视频信息的任何无线装置。然而，设及在预测译码期间预测数据的滤波和产生 的本发明的技术不必限于无线应用或设置。所述技术还可用于各种各样的其它设置和装置 中，包含经由物理线、光纤或其它物理或无线媒体通信的装置。另外，编码或解码技术还可 应用于不必与任何其它装置通信的独立装置中。
[0041] 在图1的实例中，源装置12可包含视频源20、视频编码器22、调制器/解调器（调制 解调器)23和发射器24。目的地装置16可包含接收器26、调制解调器27、视频解码器28和显 示装置30。根据本发明，源装置12的视频编码器22可经配置W应用本发明的技术中的一者 或一者W上W作为视频编码过程的一部分。类似地，目的地装置16的视频解码器28可经配 置W应用本发明的技术中的一者或一者W上W作为视频解码过程的一部分。
[0042] 再次，图1的所说明的系统10仅为一个实例。本发明的各种技术可由支持基于块的 预测编码的任何编码装置或支持基于块的预测解码的任何解码装置执行。源装置12和目的 地装置16仅为运些译码装置的实例，其中源装置12产生用于发射到目的地装置16的经译码 的视频数据。在一些情况下，装置12、16可W大体上对称的方式操作，W使得装置12、16中的 每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、16之间的单向或双向视 频发射，例如用于视频串流传输、视频重放、视频广播或视频电话。
[0043] 源装置12的视频源20可包含视频俘获装置，例如摄像机、含有先前所俘获的视频 的视频存档，或来自视频内容提供者的视频馈入(video feed)。作为另一替代方案，视频源 20可产生基于计算机图形的数据作为源视频，或直播视频、存档视频和/或计算机产生的视 频的组合。在一些情况下，如果视频源20为摄像机，那么源装置12和目的地装置16可形成所 谓的相机电话或视频电话，或经配置W操纵视频数据的其它移动装置(例如，平板计算装 置）。在每一情况下，可由视频编码器22来编码经俘获的、经预先俘获的或计算机产生的视 频。经编码的视频信息接着可由调制解调器23根据通信标准(例如，码分多址(CDMA)或另一 通信标准)来调制，且经由发射器24和通信信道15发射到目的地装置16。调制解调器23可包 含各种混频器、滤波器、放大器或经设计W用于信号调制的其它组件。发射器24可包含经设