多层视频译码中的基于三维查找表的色域可缩放性的制作方法
【专利说明】多层视频谭码中的基于Ξ维查找表的色域可缩放性
[0001] 相关申请案
[0002] 本申请案主张2013年10月14日提交的美国临时申请案第61/890,843号的权益，其 内容W全文引用的方式并入本文中。
技术领域
[0003] 本发明设及视频译码。
【背景技术】
[0004] 数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话(所谓的"智能电话"）、视频电话会议装置、视频串流装置等。数字视频装置实施视频 译码技术，例如描述于W下各项中的那些技术：由MPEG-2、MPEG-4、ITU-T Η. 263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效视频译码化EVC)标准，W及此 些标准的扩展。视频装置可通过实施此些视频译码技术可来更高效地发射、接收、编码、解 码和/或存储数字视频信息。
[0005] 视频译码技术包含空间（图片内）预测和/或时间（图片间)预测W减少或去除视频 序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帖或视频帖的一部分） 可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图 片中的相邻块中的参考样本的空间预测来编码图片的经帖内译码（I)切片中的视频块。图 片的经帖间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本 的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帖，且参考图 片可被称作参考帖。
[0006] 空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测性 块之间的像素差。根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测性 块之间的差的残差数据来编码经帖间译码块。根据帖内译码模式和残差数据来编码经帖内 译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数， 可接着量化所述残差变换系数。可扫描一开始按二维阵列排列的经量化变换系数，W便产 生变换系数的一维向量，且可应用赌译码来实现更多压缩。
【发明内容】
[0007] -般来说，本发明描述用于多层视频译码中的基于Ξ维(3D)查找表的色域可缩放 性的技术。举例来说，所述多层视频译码可根据高效视频译码化EVC)标准，包含可缩放视频 译码扩展、多视图视频译码扩展和3D视频译码（即，多视图视频译码加深度)扩展或其它多 层视频译码标准中的任一者。用于色域可缩放性的技术可由视频编码器和/或视频解码器 用W在用于视频数据的较低层的色域不同于用于视频数据的较高层的色域时产生层间参 考图片。
[0008] 举例来说，视频编码器和/或视频解码器可首先使用用于色域可缩放性的3D查找 表执行色彩预测W将用于较低层的参考图片的色彩数据转换到用于较高层的色域，且接着 基于转换的色彩数据产生层间参考图片。根据本发明中描述的技术，视频编码器和/或视频 解码器产生至少一个3D查找表，其具有针对亮度分量与针对第一色度分量和第二色度分量 不同的大小。视频编码器和/或视频解码器可针对3D查找表的亮度维度使用不同数目的片 段来产生此不对称3D查找表。W此方式，可减小表的总大小，同时维持良好的译码性能。
[0009] 在一个实例中，本发明是针对一种处理多层视频数据的方法，所述方法包括:针对 色域可缩放性产生至少一个3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针 对第一色度分量和第二色度分量中的每一者不同的大小;使用所述至少一个3D查找表来执 行色彩预测，W将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于 视频数据的较高层的第二色域；W及基于所述经转换的色彩数据，为所述视频数据的较高 层产生至少一个层间参考图片。
[0010] 在另一实例中，本发明是针对一种用于处理多层视频数据的视频处理装置，所述 装置包括:存储器，其经配置W存储所述多层视频数据；W及一或多个处理器，其与所述存 储器通信。所述一或多个处理器经配置针对色域可缩放性产生至少一个3D查找表，其中 所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大 小;使用所述至少一个3D查找表来执行色彩预测，W将用于所述视频数据的较低层的第一 色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域;且基于所述 经转换的色彩数据，为所述视频数据的较高层产生至少一个层间参考图片。
[0011] 在另一实例中，本发明是针对一种用于处理多层视频数据的视频处理装置，所述 装置包括：用于针对色域可缩放性产生至少一个3D查找表的装置，其中所述至少一个3D查 找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小；用于使用所述至 少一个3D查找表来执行色彩预测W将用于所述视频数据的较低层的第一色域中的参考图 片的色彩数据转换到用于所述视频数据的较高层的第二色域的装置；W及用于基于所述经 转换的色彩数据为所述视频数据的较高层产生至少一个层间参考图片的装置。
[0012] 在另一实例中，本发明是针对一种存储用于处理多层视频数据的指令的计算机可 读存储媒体，所述指令在被执行时，致使一或多个处理器:针对色域可缩放性产生至少一个 3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度 分量不同的大小;使用所述至少一个3D查找表来执行色彩预测，W将用于所述视频数据的 较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色 域；W及基于所述经转换的色彩数据，为所述视频数据的较高层产生至少一个层间参考图 片。
[0013] 附图和W下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描 述和图式且从所附权利要求书而显而易见。
【附图说明】
[0014] 图1是说明可利用用于基于3D查找表的色域可缩放性的技术的实例视频编码和解 码系统的框图。
[0015] 图2是展示在Ξ个不同维度上的可缩放性的实例的概念说明。
[0016] 图3是展示可缩放视频译码位流的实例结构的概念说明。
[0017] 图4是W位流次序展示实例可缩放视频译码存取单元的概念说明。
[0018] 图5是说明实例可缩放视频译码扩展到肥VC(SHVC)编码器的框图。
[0019]图6是说明样本视频序列的实例色域的曲线图。
[0020] 图7是说明从高清化D)色域BT.709到超高清(UHD)色域BT. 2020的转换的框图。
[0021] 图8是说明包含色彩预测处理单元的色域可缩放译码器的框图，当基础层色域和 增强层色域不同时，所述色彩预测处理单元可产生层间参考图片。
[0022] 图9是展示针对色域可缩放性的实例3D查找表的概念说明。
[0023] 图10是展示使用针对色域可缩放性的3D查找表的Ξ线性内插法的概念说明。
[0024] 图11是说明可实施在多层视频译码中使用基于3D查找表的色域可缩放性的技术 的视频编码器的实例的框图。
[0025] 图12是说明可实施在多层视频译码中使用基于3D查找表的色域可缩放性的技术 的视频解码器的实例的框图。
[00%]图13是说明使用基于3D查找表的色域可缩放性产生层间参考图片的实例操作的 流程图。
【具体实施方式】
[0027] 本发明描述用于多层视频译码中的基于Ξ维(3D)查找表的色域可缩放性的技术。 所述多层视频译码可根据高效视频译码化EVC)标准，包含可缩放视频译码扩展、多视图视 频译码扩展、3D视频译码（即，多视图视频译码加深度)扩展或到皿VC的其它多层视频译码 扩展中的任一者。所述技术可由视频编码器和/或视频解码器用来在用于视频数据的较低 层的色域不同于用于所述视频数据的较高层的色域时，产生层间参考图片。
[0028] 色域包括可为图片再现的色彩的完整范围，例如在视频数据的图片、切片、块或层 中。按照惯例，在多层视频译码中，视频数据的较低层(例如基础层)和所述视频数据的较高 层(例如增强层)包含同一色域(例如高清化D)色域BT. 709)中的色彩数据。在此情况下，视 频编码器和/或视频解码器可为所述视频数据的较高层产生层间参考图片，作为用于所述 视频数据的较低层的处于相同位置的参考图片的经上取样版本。
[0029] 然而，在一些实例中，视频数据的较低层可包含第一色域(例如BT.709)中的的色 彩数据，且所述视频数据的较高层可包含不同的第二色域(例如超高清(UHD)色域BT.2020) 中的色彩数据。在此实例中，为了为所述视频数据的较高层产生层间参考图片，视频编码器 和/或视频解码器必须首先执行色彩预测，W将用于所述视频数据的较低层的第一色域中 的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域。
[0030] 视频编码器和/或视频解码器可使用针对色域可缩放性的3D查找表来执行色彩预 巧。。在一些实例中，可针对色彩分量中的每一者（即，亮度(Y)分量、第一色度化)分量和第二 色度(V)分量)产生单独的3D查找表。3D查找表中的每一者包含亮度(Y)维度、第一色度化） 维度和第二色度(V)维度，且使用Ξ个独立色彩分量(Y，U，V)来编索引。
[0031] 按照惯例，3D查找表始终对称，使得3D查找表针对亮度分量、第一色度分量和第二 色度分量具有相同大小。此外，按照惯例，3D查找表始终是平衡的，使得3D查找表的每一维 度的大小始终相同。运导致具有高计算复杂度和高发信成本的较大的表大小。举例来说，表 大小可至多达9X9X9或17X17X17。
[0032] 根据本发明中描述的技术，视频编码器和/或视频解码器产生至少一个3D查找表， 其具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大小。视频编 码器和/或视频解码器可针对3D查找表的亮度尺寸使用不同数目的片段来产生此不对称3D 查找表。举例来说，视频编码器和/或视频解码器可产生3D查找表，W针对亮度分量具有比 针对第一和第二色度分量中的每一者大的大小，即片段较多。在一个实例中，3D查找表可具 有至多达8x2x2的大小。W此方式，可减小所述表的总大小，同时W针对亮度分量具有比针 对第一和第二色度分量高的分辨率维持良好译码性能。
[0033] 在一些实例中，3D查找表中的每一者可具有相同大小Mx化K，其中3D查找表的亮度 维度的大小(^0不同于3D查找表的第一色度尺寸的大小(N)和3D查找表的第二色度维度的 大小化）中的每一者。举例来说，亮度维度的大小可大于色度维度的大小，M〉N且M〉K，且3D查 找表的色度维度的大小可相同，N=K。在一个实例中，3D查找表中的每一者可具有相同大小 8x2x2〇
[0034] 在其它实例中，亮度分量3D查找表(LUTy)可具有第一大小，例如MxMxM或Mx化K，其 不同于第一色度分量3D查找表化UTu)的第二大小，例如化化N，W及第二色度分量3D查找表 化UTv)的第Ξ大小，例如ΚχΚχΚ。举例来说，亮度分量3D查找表的大小可大于色度分量3D查 找表的大小。第一和第二色度分量3D查找表可为相同大小或不同大小。在一个实例中，LUTy 可具有大小8x2x2，且LUTu和LUTv中的每一者可具有大小2x2x2。
[0035] 在另一实例中，亮度分量3D查找表的精度也可不同于第一色度分量3D查找表和第 二色度分量3D查找表中的每一者的精度。举例来说，亮度分量3D查找表的精度可高于色度 分量3D查找表的精度。在一些情况下，为了进一步降低复杂性，视频编码器和/或视频解码 器可仅产生亮度分量3D查找表，使用亮度分量3D查找表来执行亮度分量预测，且使用一维 (1D)线性映射或分段线性映射来执行第一和第二色度分量预测。
[0036] 作为另一实例，根据本发明的技术，视频编码器和/或视频解码器可通过将较多片 段用于3D查找表的与用作3D查找表的表索引的色彩分量相关联的维度，产生不平衡的3D查 找表。举例来说，亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量， 具有比第一色度维度和第二色度维度中的每一者大的亮度维度。在此实例中，LUTy可具有 大小MxNxN，其中M〉N。可类似地确定第一和第二色度分量3D查找表的大小。举例来说，LUTu 可基于所述表索引处正使用的第一色度分量具有大小NxMxN，且LUTv可具有基于所述表索 引处所使用的第二色度分量的大小NxNxM。^此方式，可减小所述表中的每一者的总大小， 同时W用作所述表索引的色彩分量的较高分辨率维持良好译码性能。
[0037] 视频译码标准包含ITU-T H.26UIS0/IEC MPEG-1 视觉、ITU-T H.262或IS0/IEC MPEG-2视觉、ITU-T H.263JS0/IEC MPEG-4视觉和ITU-T H.264(也被称为IS0/IEC MPEG- 4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[003引新视频译码标准（即，肥VC)的设计已由ITU-T视频译码专家组(VCEG)和IS0/IEC运 动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案。布洛斯(Bross)等人的被称 作肥VC工作草案10 (WD10)的肥VC草案说明书/'高效视频译码化EVC)文本说明书草案10 (针 对抑IS和最后调用）（Hi曲 efficiency video coding(肥VC)text specification 化aft 10(for 抑IS化ast Call)r(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11 的视频译码联合 合作小组(1押-￥0，瑞±日内瓦第12次会议，2013年1月14日到23日，JCTVC-L1003v34)可从 http://phenix.int-evry.fr/jet/doc_end_user/documents/12_Geneva/wg1l/JCTVC-L1003-v34.zip获得。定案的肥VC标准被称作肥VC版本1。
[0039] 王（Wang)等人的瑕疵报告"高效视频译码化EVC)缺陷报告化igh efficiency video coding化EVC)Defect R邱OTtr (ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11 的关于 视频译码的联合合作小组(JCT-VC)，第14次会议:奥地利维也纳，2013年7月25日至化月2日， JCTYC-N1003vl)可从 http://phenix int-e vry.fr/jct/doc_end_user/documents/14_ Vienna/wgll/JCTVC-N1003-vl.zip获得。最终标准文献作为ITU-T Η. 26 5系列Η公布:视听 和多媒体系统、视听服务的基础架构-移动视频的译码、高效视频译码，国际电信联盟(ITU) 的电信标准化部口，2013年4月。
[0040] 皿VC (MV-皿VC)的多视图扩展W及针对较高级3D视频译码的另一皿VC扩展（3D- 肥VC)正由JCT-3V开发。被称作MV-HEVC工作草案5 (WD5)且在塔克(Tech)等人的"MV-肥VC草 案文本5(MV-HEVC Draft Text 5Γ(ΙΤυ-Τ SG16WP3和IS0/IEC JTC1/SC29/WG11 的3D视频 译码扩展开发联合合作小组(JCT-3V)，第5次会议:奥地利维也纳，2013年7月27日至化月2 日，JCT3V-E1004v6)中所描述的MV-皿VC的草案规范可从ht1:p : //phenix. int-ev:ry.打/ jct/doc_end_user/do 州 ments/5_Vienna/w 邑 11/JCT3Y-E1004-V6. zip 得到。被称作 3D-HEVC 工作草案l(WDl)且在塔克（Tech)等人的"3D-皿VC草案文本1(3D-皿VC Draft Text 1Γ (ITU-T SG 16WP 3和ISO/IEC JTC1/^SC29/WG 11的3D视频译码扩展开发联合合作小组 (JCT-3V)，第5次会议:奥地利维也纳，2013年7月27日到8月2日，JCT3V-E1001V3)中所描述 的3D-肥VC的草案规范可从http : //phenix . it-sudparis . eu/jct2/doc_end_use;r/ documents/5_Vi enna/wgl 1 /JCT3V-E1001 -v3. z ip 得到。
[0041 ]对皿VC的可缩放扩展（SHVC)由JCT-VC开发。畑en等人的被称作細VC工作草案3 (WD3)的甜VC的草案规范"甜VC Draft 3"ατυ-Τ SG16WP3与IS0/IEC JTC1/SC29/WG11 的关 于视频译码的联合合作小组(JCT-VC)，第14次会