多层视频译码中的基于三维查找表的色域可缩放性的制作方法_2

文档序号:9893914阅读:来源:国知局
议:奥地利维也纳,2013年7月25日到8月2 日,JCTVC-N1008v3)可从http://phenix. int-evry.fr/jct/doc_end_user/do州ments/14_ Vienna/wgl 1/JCTVC-N1008-V3. zip 获得。
[0042] 图1是说明可利用用于基于3D查找表的色域可缩放性的技术的实例视频编码和解 码系统10的框图。如图1中所示,系统10包含源装置12,所述源装置提供将在稍后时间由目 的地装置14解码的经编码视频数据。明确地说,源装置12经由计算机可读媒体16将视频数 据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者,包 含桌上型计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓 的"智能"电话)、所谓的"智能"平板计算机、电视机、相机、显示装置、数字媒体播放器、视频 游戏控制台、视频流式传输装置等。在一些情况下,可装备源装置12和目的地装置14W用于 无线通信。
[0043] 目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可 读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的 媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体W使源装置12能够实时地 将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如,无线通信协议)来 调制经编码的视频数据,并将其发射到目的地装置14。通信媒体可包括任何无线或有线通 信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如, 局域网、广域网或全球网络,例如因特网)的部分。通信媒体可包含路由器、交换器、基站或 任何其它可用于促进从源装置12到目的地装置14的通信的设备。
[0044] 在一些实例中,经编码数据可从输出接口22输出到存储装置。类似地,经编码数据 可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中 的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储 器,或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中,存储装 置可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的 地装置14可从存储装置经由流式传输或下载来存取所存储的视频数据。文件服务器可为能 够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型服务器。实例 文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地 磁盘驱动器。目的地装置14可W通过任何标准数据连接(包含因特网连接)来存取经编码视 频数据。运可包含无线信道(例如,Wi-Fi连接)、有线连接(例如,D化、电缆调制解调器等), 或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存 储装置的发射可为流式传输发射、下载发射或其组合。
[0045] 本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码W支持多种 多媒体应用中的任一者,例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流 式视频发射(例如,经由HTTP的动态自适应流式传输(DASH))、编码到数据存储媒体上的数 字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中,系统10可经 配置W支持单向或双向视频传输,W支持例如视频流式传输、视频重放、视频广播和/或视 频电话等应用。
[0046] 在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口 22。目的地装 置14包含输入接口 28、视频解码器30和显示装置32。根据本发明,源装置12的视频编码器20 可经配置W应用用于并行处理视频数据的技术。在其它实例中,源装置和目的地装置可包 括其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。 同样,目的地装置14可与外部显示装置介接,而非包含集成显示装置。
[0047] 图1的所说明的系统10只是一个实例。用于并行处理视频数据的技术可由任何数 字视频编码和/或解码装置来执行。尽管本发明的技术一般通过视频编码装置来执行,但是 所述技术还可通过视频编码器/解码器(通常被称作"编码解码器")来执行。此外,本发明的 技术还可由视频预处理器执行。源装置12和目的地装置14仅为源装置12产生经译码视频数 据用于发射到目的地装置14的所述译码装置的实例。在一些实例中,装置12、14可W实质上 对称的方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支 持视频装置12、14之间的单向或双向视频传输,W例如用于视频流式传输、视频重放、视频 广播或视频电话。
[0048] 源装置12的视频源18可包含视频捕获装置,例如摄像机、含有先前所捕获视频的 视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频 源18可产生基于计算机图形的数据作为源视频,或实况视频、所存档视频与计算机产生的 视频的组合。在一些情况下,如果视频源18为视频摄像机,那么源装置12和目的地装置14可 形成所谓的摄像机电话或视频电话。然而,如上文所提到,本发明中所描述的技术可大体上 适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,所捕获、预捕获或计算机 产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口 22输出到计算机可 读媒体16上。
[0049] 计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或存储媒体 (也就是说,非暂时性存储媒体),例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光 盘或其它计算机可读媒体。在一些实例中,网络服务器(未图示)可从源装置12接收经编码 视频数据,并且(例如)经由网络传输将经编码视频数据提供到目的地装置14。类似地,媒体 生产设施(例如,光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据,且生产 含有经编码的视频数据的光盘。因此,在各种实例中,计算机可读媒体16可理解为包含各种 形式的一或多个计算机可读媒体。
[0050] 目的地装置14的输入接口 28从计算机可读媒体16接收信息。计算机可读媒体16的 信息可包含由视频编码器20定义的也供视频解码器30使用的语法信息,所述语法信息包含 描述块及其它经译码单元(例如,图片群组(G0P))的特性及/或处理的语法元素。显示装置 32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如阴极射线管 (CRT)、液晶显示器化CD)、等离子显示器、有机发光二极管(0LED)显示器或另一类型的显示 装置。
[0051] 视频编码器20和视频解码器30各自可实施为多种合适的编码器和解码器电路中 的任一者,例如一个或一个W上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现 场可编程口阵列(FPGA)、离散逻辑、软件、硬件固件或其任何组合。当部分地在软件中实施 所述技术时,装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一 或多个处理器在硬件中执行所述指令W执行本发明的技术。视频编码器20和视频解码器30 中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成 为相应装置中的组合编码器/解码器(CODEC)的部分。
[0052] 在一些实例中,视频编码器26和视频解码器30根据视频压缩标准操作,所述视频 压缩标准例如为IS0/IEC MPEG-4视觉和mJ-T H.264(也被称作IS0/IEC MPEG-4),包含其 可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展和基于MVC的Ξ维视频(3DV)扩展。 在一些情况下,符合基于MVC的3DV的任何位流始终含有顺应MVC简档(例如,立体声高简档) 的子位流。此外,存在持续努力W产生H. 264/AVC的3DV译码扩展,即基于AVC的3DV。在其它 实例中,视频编码器20和视频解码器30可根据W下各项来操作:ITU-T H.26UIS0/IEC MPEG-l视觉、ITU-TH.262或IS0/IECMPEG-2视觉、ITU-TH.263、IS0/IECMPEG-4视觉和 mj-T H.264、IS(VIEC视觉。
[0053] 在图1的实例中,视频编码器20和视频解码器30可根据由ITU-T视频译码专家组 (VCEG)和IS0/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案的高效视频译 码化EVC)标准来操作。上文所参考的肥VC草案规范被称作肥VC工作草案lO(WDlO),且肥VC 标准的定案版本被称作肥VC版本1 dMV-皿VC和3D-肥VC正由JCT-3V开发。MV-皿VC的最近草 案规范被称作MV-肥VC WD5,且3D-HEVC的最近草案规范被称作3D-肥VC WD1。甜VC正由JCT- VC开发。甜VC的最近草案规范被称作甜VC WD3。
[0054] 在皿VC和其它视频译码标准中,视频序列通常包含一连串图片。图片也可被称作 "帖"。图片可包含Ξ个样本阵列,表示为SL、ScbW及SctdSl是亮度样本的二维阵列(即,块)。 Scb是化色度样本的二维阵列。Scr是化色度样本的二维阵列。色度样本在本文中还可被称为 "色度"样本。在其它情况下,图片可为单色的且可仅包含亮度样本阵列。
[0055] 视频编码器20可产生一组译码树单元(CTUKCTU中的每一者可包括亮度样本的译 码树块、色度样本的两个对应的译码树块,W及用W对译码树块的样本进行译码的语法结 构。在单色图片或具有Ξ个单独颜色平面的图片中,CTU可包括单个译码树块及用于对所述 译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可被称为"树块" 或"最大译码单元化cur。肥VC的CTU可大体上类似于其它视频译码标准(例如,H.264/AVC) 的宏块。然而,CTU未必限于特定大小,并且可包含一或多个译码单元(CU)。切片可包含光栅 扫描中连续排序的整数数目的CTU。
[0056] 本发明可使用术语"视频单元"或"视频块"来指代样本的一或多个块W及用于对 样本的一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含肥VC中的CTU、 CU、PU、变换单元(TU),或其它视频译码标准中的宏块、宏块分区等等。
[0057] 为了产生经译码CTU,视频编码器20可在CTU的译码树块上W递归方式执行四叉树 分割,W将译码树块划分为译码块,因此命名为"译码树单元"。译码块是化N样本块。CU可包 括具有亮度样本阵列、Cb样本阵列和化样本阵列的图片的亮度样本的译码块W及色度样本 的两个对应译码块,W及用W对译码块的样本进行译码的语法结构。在单色图片或具有Ξ 个单独色彩平面的图片中,CU可包括单个译码块W及用于对所述译码块的样本进行译码的 语法结构。
[0058] 视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为上面应用相同 预测的样本的矩形(即,正方形还是非正方形)块。CU的预测单元(PU)可包括图片的亮度样 本的预测块,图片的色度样本的两个对应的预测块,W及用W对预测块样本进行预测的语 法结构。在单色图片或具有Ξ个单独色彩平面的图片中,PU可包括单个预测块和用于对预 测块样本进行预测的语法结构。视频编码器20可产生用于CU的每一 PU的亮度、Cb和Cr预测 块的预测性亮度、Cb和化块。
[0059] 视频编码器20可使用帖内预测或帖间预测来产生PU的预测性块。如果视频编码器 20使用帖内预测来产生PU的预测性块,那么视频编码器20可基于与PU相关联的图片的经解 码样本来产生PU的预测性块。
[0060] 如果视频编码器20使用帖间预测来产生PU的预测性块,那么视频编码器20可基于 除与PU相关联的图片W外的一或多个图片的经解码样本来产生PU的预测性块。帖间预测可 为单向帖间预测(即,单向预测)或双向帖间预测(即,双向预测)。为了执行单向预测或双向 预测,视频编码器20可产生当前切片的第一参考图片列表(RefPi化istO)和第二参考图片 列表(RefPicListl)。
[0061] 参考图片列表中的每一者可包含一或多个参考图片。当使用单向预测时,视频编 码器20可捜索RefPicListO和RefPicListl中的任一者或两者中的参考图片,W确定在参考 图片内的参考位置。此外,当使用单向预测时,视频编码器20可至少部分地基于对应于参考 位置的样本产生用于PU的预测性样本块。此外,在使用单向预测时,视频编码器20可产生指 示PU的预测块与参考位置之间的空间移位的单个运动向量。为了指示PU的预测块与参考位 置之间的空间移位,运动向量可包含指定PU的预测块与参考位置之间的水平移位的水平分 量且可包含指定PU的预测块与参考位置之间的垂直移位的垂直分量。
[0062] 在使用双向预测来编码PU时,视频编码器20可确定RefPicListO中的参考图片中 的第一参考位置和RefPicListl中的参考图片中的第二参考位置。视频编码器20接着可至 少部分基于对应于第一和第二参考位置的样本产生PU的预测性块。此外,当使用双向预测 对PU进行编码时,视频编码器20可产生指示PU的样本块与第一参考位置之间的空间移位的 第一运动,W及指示PU的预测块与第二参考位置之间的空间移位的第二运动。
[0063] 在视频编码器20产生CU的一或多个PU的预测性亮度、饥和灯块之后,视频编码器 20可产生CU的亮度残差块。CU的亮度残差块中的每一样本可指示CU的预测性亮度块中的一 者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差异。另外,视频编码器20可 产生CU的化残差块。CU的Cb残差块中的每一样本可指示CU的预测性化块中的一者中的化样 本与CU的原始化译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残差块。 CU的Cr残差块中的每个样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译 码块中对应的样本之间的差异。
[0064] 此外,视频编码器20可使用四叉树分区将CU的亮度、饥和Cr残差块分解成一或多 个亮度、Cb和化变换块。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU) 可包括亮度样本的变换块、色度样本的两个对应变换块W及用W对变换块样本进行变换的 语法结构。在单色图片或具有Ξ个单独色彩平面的图片中,TU可包括单个变换块,W及用W 对变换块样本进行变换的语法结构。因此,CU的每个TU可与亮度变换块、Cb变换块W及Cr变 换块相关联。与TU相关联的亮度变换块可为CU的亮度残差块的子块。饥变换块可为CU的化 残差块的子块。化变换块可为CU的化残差块的子块。
[0065] 视频编码器20可将一或多个变换应用于TU的亮度变换块W产生TU的亮度系数块。 系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应 用于TU的化变换块W产生TU的化系数块。视频编码器20可将一或多个变换应用于TU的Cr变 换块W产生TU的化系数块。
[0066] 在产生系数块(例如,亮度系数块、Cb系数块或Cr系数块)之后,视频编码器20可量 化系数块。量化大体上是指对变换系数进行量化W可能减少用W表示变换系数的数据的量 从而提供进一步压缩的过程。此外,视频编码器20可对变换系数进行逆量化,并将逆变换应 用于变换系数,W重构图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重构变换 块W及CU的PU的预测性块来重构CU的译码块。通过重构图片的每一 CU的译码块,视频编码 器20可重构图片。视频编码器20可将重构的图片存储在经解码图片缓冲器(DPB)中。视频编 码器20可使用DTO中的经重构图片来进行帖间预测和帖内预测。
[0067] 在视频编码器20量化系数块之后,视频编码器20可对指示经量化变换系数的语法 元素进行赌编码。举例来说,视频编码器20可对指示经量化变换系数的语法元素执行上下 文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经赌编码的语法元素。
[0068] 视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。 位流可包括一连串网络抽象层(NAL)单元。所述NAL单元中的每一者包含NAL单元标头,且包 封原始字节序列有效负载(RBSP)dNAL单元标头可包含指示NAL单元类型码的语法元素。由 NAL单元的NAL单元标头指定的所述NAL单元类型码指示NAL单元的类型。RBSP可为含有包封 在NAL单元内的整数数目个字节的语法结构。在一些情况下,RBSP包含零个位。
[0069] 不同类型的NAL单元可包封不同类型的RBSP。举例来说,第一类型的ML单元可包 封用于图片参数集(PPS)的RBSP,第二类型的NAL单元可包封用于经译码切片的RBSP,第Ξ 类型的NAL单元可包封用于补充增强信息(SEI)的RBSP,等等。PPS为可含有适用于零或多个 完整经译码图片的语法元素的语法结构。包封视频译码数据的RBSP(与参数集和SEI消息的 RBSP相对)的NAL单元可被称为视频译码层(V化)NAL单元。包封经译码切片的
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1