视频译码中的预测残余块的再定位的制作方法

文档序号:8947769阅读:284来源:国知局
视频译码中的预测残余块的再定位的制作方法
【专利说明】
[0001] 本申请案是2013年7月10日申请的第13/939, 037号美国申请案的部分接续申 请案,其要求2012年7月11日申请的第61/670, 569号美国临时申请案、2013年4月23日 申请的第61/815, 148号美国临时申请案以及2013年6月11日申请的第61/833, 781号美 国临时申请案的权益,以上申请案中的每一者的整个内容以引用的方式并入本文中。本申 请案还要求2013年10月11日申请的第61/890, 102号美国临时申请案的权益,所述申请 案的整个内容以引用的方式并入本文中。
技术领域
[0002] 本发明涉及视频译码(即,视频编码和视频解码),并且尤其涉及无损视频译码。
【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话、所谓的"智能电话"、视频电话会议装置、视频流装置及其类似者。数字视频装置实 施视频压缩技术,例如,由MPEG-2、MPEG-4、ITU-TH. 263、ITU-TH. 264/MPEG-4 第 10 部分 高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准 的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频压缩技术来更有效率地发 射、接收、编码、解码及/或存储数字视频信息。
[0004] 视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除 视频序列中固有的冗余。对于基于块的视频译码,可以将视频切片(即,视频帧或视频帧的 一部分)分割成视频块,视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的 经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间 预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻 块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称 作帧,且参考图片可被称作参考帧。
[0005] 空间或时间预测导致用于待译码的块的预测性块。残余数据表示待译码原始块与 预测性块之间的像素差。帧间预测块是根据指向先前经解码参考图片内的形成预测性块的 参考样本块的运动向量以及指示经译码块与预测性块的像素之间的差的残余数据来编码。 经帧内译码块是根据帧内预测模式及残余数据而编码。为了进一步压缩,可将残余数据从 像素域变换到变换域,从而产生残余变换系数,接着可将残余变换系数量化。可扫描最初布 置为二维阵列的经量化的变换系数,以便产生变换系数的一维向量,且可应用熵译码以实 现更多压缩。

【发明内容】

[0006] -般来说,本发明描述用于在有损译码模式或无损译码模式中对预测残余块的残 余数据进行译码的技术,其中跳过或绕过变换。当变换未应用于残余块(例如,在无损译码 模式或使用变换跳过模式的有损译码模式中)时,具有高于平均值的能量(即,较大像素差 值)的残余数据不可定位于残余块的左上角处(对于熵译码是预期的)。本发明的技术包 含确定在对残余块的残余数据进行译码之前是否再定位(例如,旋转或翻转)所述残余块 的所述残余数据。
[0007] 根据例如高效率视频译码(HEVC)的范围扩展的实例视频译码标准,在有损译码 模式中,可将变换跳过模式应用于任何大小的残余块,且在无损译码模式中,针对所有残余 块绕过变换和量化程序。根据本发明的技术,当在有损译码模式或无损译码模式中未将变 换应用于残余块时,残余块的残余数据的再定位可限于某些预测模式和某些块大小。举例 来说,视频编码器或视频解码器可基于残余块的预测模式(例如,帧内预测模式、帧间预测 或块内复制预测模式)和残余块的大小而确定是否再定位残余块的残余数据。在一些实例 中,所述技术在帧间预测模式和块内复制预测模式中针对所有残余块停用残余数据的再定 位。在其它实例中,所述技术当残余块具有小于或等于阈值大小的块大小时在帧内预测模 式中确定再定位残余块。
[0008] 在一个实例中,本发明是针对一种对视频数据进行解码的方法,所述方法包括:基 于指示未将变换应用于残余视频块的一或多个语法元素在有损译码模式或无损译码模式 中对视频数据的残余块进行解码;以及基于所述残余块的预测模式和所述残余块的大小确 定在从所述残余块的残余数据重构视频块之前是否再定位所述残余块的所述残余数据,其 中再定位所述残余数据包括旋转或翻转所述残余块的所述残余数据中的一者。
[0009] 在另一个实例中,本发明是针对一种对视频数据进行编码的方法,所述方法包括: 在有损译码模式或无损译码模式中对视频数据的残余块进行编码,其中变换未应用于所述 残余视频块;以及基于所述残余块的预测模式和所述残余块的大小确定在对所述残余块的 残余数据进行编码之前是否再定位所述残余块的所述残余数据,其中再定位所述残余数据 包括旋转或翻转所述残余块的所述残余数据中的一者。
[0010] 在又一个实例中,本发明是针对一种用于对视频数据进行译码的视频译码装置, 所述装置包括:存储器,其经配置以存储视频数据;以及一或多个处理器,其经配置以在有 损译码模式或无损译码模式中对视频数据的残余块进行译码,其中在无损译码模式中变换 未应用于所述残余视频块,且基于所述残余块的预测模式和所述残余块的大小确定在对所 述残余块的残余数据进行译码之前是否再定位所述残余块的所述残余数据,其中再定位所 述残余数据包括旋转或翻转所述残余块的所述残余数据中的一者。
[0011] 在额外实例中,本发明是针对一种计算机可读媒体,其包括用于对视频数据进行 译码的指令,所述指令在执行时致使一或多个可编程处理器:在有损译码模式或无损译码 模式中对视频数据的残余块进行译码,其中在无损译码模式中变换未应用于所述残余视频 块;以及基于所述残余块的预测模式和所述残余块的大小确定在对所述残余块的残余数据 进行译码之前是否再定位所述残余块的所述残余数据,其中再定位所述残余数据包括旋转 或翻转所述残余块的所述残余数据中的一者。
[0012] 随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优势将从所 述描述及所述图式以及从权利要求书显而易见。
【附图说明】
[0013] 图1为说明可利用本发明中描述的技术来译码具有变换跳过的残余数据的实例 视频编码及解码系统的框图。
[0014] 图2为说明可实施本发明中描述的技术以确定在编码残余块的残余数据之前是 否旋转残余块的实例视频编码器的框图。
[0015] 图3为说明可实施本发明中描述的技术以确定在从残余块的残余数据重构视频 块之前是否旋转残余块的实例视频解码器的框图。
[0016] 图4为说明根据运动预测模式分割成一或多个预测单元(PU)及根据四叉树数据 结构分割成多个变换单元(TU)的残余块的译码单元(CU)的框图。
[0017] 图5为说明视频编码器确定在编码残余块的残余数据之前是否旋转残余块的示 例性操作的流程图。
[0018] 图6为说明视频解码器确定在从残余块的残余数据重构视频块之前是否旋转残 余块的示例性操作的流程图。
[0019] 图7为说明基于残余块的边缘处的边界的类型确定是否将残余块旋转达预定旋 转值的一个实例操作的流程图。
[0020] 图8为说明确定是否旋转残余块的另一实例操作的流程图,所述确定包含针对两 个或两个以上可能的旋转值中的每一者基于残余块的边缘处的边界的类型确定用于残余 块的旋转值。
[0021] 图9是说明限制当未将变换应用于残余块时可执行旋转的残余块的块大小的实 例操作的流程图。
[0022] 图10是说明限制当未将变换应用于残余块时可执行残余数据样本值沿着对角线 的翻转的残余块的块大小的实例操作的流程图。
[0023] 图IlA和IlB是说明使用残余差分脉码调制(RDPCM)译码的残余块的概念图。
[0024] 图12是说明包含正使用帧内块复制预测模式基于同一图片中的经先前译码块预 测的当前块的当前图片的概念图。
[0025] 图13是说明基于残余块的预测模式和残余块的大小确定是否再定位未应用变换 的残余块的残余数据的实例操作的流程图。
【具体实施方式】
[0026] 本发明描述用于译码具有变换跳过的预测残余块的残余数据的技术。残余块的残 余数据包括待译码的视频块的像素与针对待译码的块产生的预测块的相对应的像素之间 的像素差值。当使用无损译码模式或变换跳过模式中的有损译码模式译码残余块时,可跳 过用于所述残余块的变换。在未将变换应用于残余块时,具有高于平均值的能量的残余数 据(即,较大像素差值)可能并不定位于所述残余块的左上角处,所述情形为熵译码所期望 的。
[0027] 当跳过用于残余块的变换时,可通过在编码期间旋转残余块以便将具有高于平均 值的能量的残余数据定位于残余块的左上角处来改善熵译码效率。在解码期间,需要将在 编码期间执行的旋转反转以便从残余块及预测块重构原始视频块。
[0028] 在帧内预测模式中,当跳过用于残余块的变换时,具有高于平均值的能量的残余 数据通常定位于残余块的右下角处。在一些情况下,可在译码残余块之前自动地将帧内预 测残余块旋转达180度以便将具有高于平均值的能量的残余数据定位于残余块的左上角 处。然而,在帧间预测模式中,可能不会始终需要自动地将残余块旋转达180度。
[0029] 根据本发明的技术,基于用于残余块的变换被跳过,包含在视频编码器或视频解 码器中的再定位单元确定在译码残余块的残余数据之前是否旋转残余块。在一些实例中, 可明确地在所述视频编码器与所述视频解码器之间用信号表示旋转值。在其它实例中,所 述视频编码器及所述视频解码器可各自独立地基于所述残余块的两个或两个以上边缘处 的边界的类型确定是否旋转所述残余块。
[0030] 在帧间预测模式中,残余块的变换单元(TU)边界(S卩,属于同一预测单元(PU)的 两个TU之间的边界)处的残余数据通常具有低于残余块中的平均残余数据的能量。另外, 残余块的PU边界(S卩,属于不同PU的两个TU之间的边界)处的残余数据通常具有高于残 余块中的平均残余数据的能量。基于此观察,本发明的技术包含基于残余块的两个或两个 以上边缘处的边界的类型旋转具有变换跳过的帧间预测残余块。举例来说,再定位单元可 确定残余块的两个或两个以上边缘处的边界的类型,且接着基于所述边缘处的边界的类型 确定是否旋转所述残余块以便重新定位残余数据。
[0031] 在一些实例中,再定位单元确定是将残余块旋转达预定旋转值(例如,180度)还 是不旋转残余块。在其它实例中,再定位单元从两个或两个以上旋转值确定将残余块旋转 所达的旋转值,例如,0度或不旋转、180度、90度或270度。
[0032] 在编码侧上,所述旋转在编码残余块的残余数据之前将具有高于平均值的能量的 残余数据定位于被旋转的残余块的左上角处以改善熵译码效率。在解码侧上,所述旋转将 在编码期间执行的旋转反转且将具有高于平均值的能量的残余数据传回到其在原始残余 块中的原始位置以便使用预测性块从残余块重构视频块。
[0033] 本发明还描述用于在有损译码模式或无损译码模式中对预测残余块的残余数据 进行译码的技术,其中跳过或绕过变换。本发明的技术包含确定在对残余块的残余数据进 行译码之前是否再定位(例如,旋转或翻转)残余块的残余数据。在一些实例中,可如上文 所描述旋转残余块的残余数据。在其它实例中,可沿着残余块的主对角线或反对角线中的 一者翻转残余块的残余数据,其包含交换残余块的对角线的第一边上的残余数据与残余块 的对角线的第二侧上的对应镜像位置处的残余数据以翻转残余数据。
[0034] 根据一实例视频译码标准、高效率视频译码(HEVC)的范围扩展,在有损译码模式 中,可将变换跳过模式应用于任何大小的残余块,且在无损译码模式中,针对所有残余块绕 过变换和量化程序。因此在有损译码模式和无损译码模式两者中,可针对所有块大小跳过 或绕过变换;因此,可在帧内预测模式和帧间预测模式两者中将旋转应用于所有块大小。 在一些实例中,在有损译码模式中,可将变换跳过模式限于仅应用于具有高达最大块大小 (例如,4X4或8X8)的大小的残余块。在有损译码模式中准许跳过变换的最大块大小可 在与残余块相关联的序列参数集(SPS)和图片参数集(PPS)中的一者中指示。
[0035] 根据本发明的技术,当在有损译码模式或无损译码模式中未将变换应用于残余块 时,残余块的残余数据的再定位可限于某些预测模式和某些块大小。举例来说,视频编码器 或视频解码器可基于残余块的预测模式(例如,帧内预测模式、帧间预测或帧内块复制预 测模式)和残余块的大小而确定是否再定位残余块的残余数据。在一些实例中,所述技术 在帧间预测模式和帧内块复制预测模式中针对所有残余块停用残余数据的再定位。在其它 实例中,所述技术当残余块具有小于或等于阈值大小的块大小时在帧内预测模式中确定再 定位残余块。在一些情况下,所述阈值大小可等于4X4或8X8。在其它情况下所述阈值大 小可小于或等于在有损译码模式中准许变换跳过的最大块大小。以此方式,其中旋转可应 用于帧内预测模式残余块的块大小在无损译码模式和使用变换跳过模式的有损译码模式 两者中是相同的。
[0036]图1为说明可利用本发明中描述的技术来译码具有变换跳过的残余数据的实例 视频编码及解码系统10的框图。如图1中所展示,系统10包含源装置12,其产生例如在稍 后时间待由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广 泛范围的装置中的任一者,包含桌上型计算机、笔记型(即,膝上型)计算机、平板计算机、 机顶盒、电话手持机(例如,所谓的"智能"电话)、所谓的"智能"平板计算机、电视机、摄像 机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在一些情况下, 源装置12及目的地装置14可能经装备以用于无线通信。
[0037]目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能 够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个 实例中,链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装 置14的通信媒体。经编码视频数据可根据通信标准(例如,无线通信协议)来调制,且被 发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一 或多个物理传输线。通信媒体可形成分组网络(例如,局域网、广域网或全球网络,例如因 特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地 装置14的通信的任何其它装备。
[0038] 替代地,可将经编码数据从输出接口 22输出到存储装置34。类似地,可通过输入 接口从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取的数据存 储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失 性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中,存 储装置34可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装 置。目的地装置14可经由流式传输或下载从存储装置34存取所存储的视频数据。文件服 务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型 的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储 (NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连 接)来存取经编码视频数据。此连接可包含适合于存取存储在文件服务器上的经编码视频 数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的 组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
[0039] 本发明的技术未必限于无线应用或设置。所述技术可应用于视频译码以支持多种 多媒体应用中的任一者,例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输 (例如,经由因特网)、编码数字视频以用于存储在数据存储媒体上、解码存储在数据存储 媒体上的数字视频,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频 发射,以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
[0040] 在图1的实例中,源装置12包含视频源18、视频编码器20及输出接口 22。在一 些情况下,输出接口 22可包含调制器/解调器(调制解调器)及/或发射器。在源装置 12中,视频源18可包含例如视频俘获装置(例如,摄像机)、含有先前俘获的视频的视频存 档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为 源视频的计算机图形系统或此类源的组合等源。作为一个实例,如果视频源18是摄像机, 那么源装置12及目的地装置14可以形成所谓的摄像机电话或视频电话。然而,本发明中 描述的技术一般可适用于视频译码,且可应用于无线及/或有线应用。
[0041] 可由视频编码器12来编码所俘获视频、经预先俘获的视频或计算机产生的视频。 可经由源装置20的输出接口 22将经编码视频数据直接发射到目的地装置14。还可(或替 代地)将经编码视频数据存储到存储装置34上以供稍后由目的地装置14或其它装置存取 以用于解码及/或回放。
[0042] 目的地装置14包含输入接口 28、视频解码器30及显示装置32。在一些情况下, 输入接口 28可包含接收器及/或调制解调器。目的地装置14的输入接口 28经由链路16 接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含 由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视 频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器上 的经编码视频数据包含在一起。
[0043] 显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中,目 的地装置14可包含集成式显示装置,且还经配置以与外部显示装置介接。在其它实例中, 目的地装置14可为显示装置。一般来说,显示装置32将经解码视频数据显示给用户,且 可包括多种显示装置中的任一者,例如液晶显示器(LCD)、等离子显示器、有机发光二极管 (OLED)显示器或另一类型的显示装置。
[0044] 数字视频装置实施视频压缩技术更有效率地编码及解码数字视频信息。视频压缩 可应用空间(帧内)预测及/或时间(帧间)预测技术来减少或去除视频序列中固有的冗 余。视频编码器20及视频解码器30可以根据一种视频译码标准(例如,目前正在开发的 高效率视频译码(HEVC)标准)来操作,并且可以符合HEVC测试模型(HM)。替代地,视频编 码器20及视频解码器30可根据其它专有或业界视频译码标准来操作。然而,本发明的技 术不限于任何特定译码标准。
[0045]视频译码标准包含ITU-TH. 261、IS0/IECMPEG-I视觉、ITU-TH. 262 或ISO/ IECMPEG-2 视觉、ITU-TH. 263、IS0/IECMPEG-4 视觉及ITU-TH. 264(也被称为ISO/ IECMPEG-4AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。另外,存在 新的视频译码标准,即,ffiVC,其正由ITU-T视频译码专家组(VCEG)及IS0/IEC动画专家组 (MPEG)的视频译码联合合作小组(JCT-VC)进行开发。
[0046] 即将到来的HEVC标准的"工作草案7"或"WD7"描述于
当前第1页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1