多层视频译码中的基于三维查找表的色域可缩放性的制作方法_5

文档序号:9893914阅读:来源:国知局
单 元56可执行上下文自适应可变长度译码(CA化C)、上下文自适应二进制算术译码(CABAC)、 基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割赌(PIPE)译码或另一赌译 码技术。在基于上下文的赌译码的情况下,上下文可基于相邻块。在由赌编码单元56进行赌 译码之后,可将经编码位流发射到另一装置(例如,视频解码器30),或者将所述经编码位流 存档W用于稍后发射或检索。
[0146] 逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换,来在像素域中重构 残差块,例如W供稍后用作参考块。运动补偿单元44可通过将残差块与经解码图片缓冲器 64的帖中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波 器应用于经重建的残差块W计算子整数像素值用于运动估计。求和器62将经重建的残差块 与运动补偿单元44所产生的运动补偿预测块相加,W产生经重构视频块用于存储在经解码 图片缓冲器64中。经重构视频块可由运动估计单元42和运动补偿单元44用作参考块来对后 续视频帖中的块进行帖间译码。
[0147] 根据本发明中描述的技术,视频编码器20经配置W在编码多层视频数据时执行基 于3D查找表的色域可缩放性。视频编码器20可根据SHVC扩展、MV-HEVC扩展和3D-皿VC扩展 或其它多层视频译码扩展中的任一者来预测和编码多层视频数据。具体来说,当视频数据 的较高层的色域不同于视频数据的较低层的色域时,视频编码器20的色彩预测处理单元66 可产生用W预测视频数据的较高层的图片中的视频块的层间参考图片。
[0148] 视频编码器20的色彩预测处理单元66可使用色域可缩放性的3D查找表来执行色 彩预测,W将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频 数据的较高层的第二色域。在一些实例中,色彩预测处理单元66可产生单独的3D查找表,其 可针对色彩分量中的每一者,即亮度分量、第一色度分量和第二色度分量而产生。3D查找表 中的每一者包含亮度维度、第一色度维度和第二色度维度,且使用Ξ个独立色彩分量来编 索引。
[0149] 根据本发明中描述的技术,视频编码器20的色彩预测处理单元66产生至少一个3D 查找表,其具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大 小。色彩预测处理单元66可针对3D查找表的亮度维度使用不同数目的片段来产生此不对称 3D查找表。在一个实例中,色彩预测处理单元66可产生3D查找表W具有针对亮度分量比针 对第一和第二色度分量中的每一者大的大小,即多的片段。W此方式,可减小所述表的总大 小,同时维持针对亮度分量具有比针对第一和第二色度分量高的分辨率的良好译码性能。
[0150] 在一些实例中,色彩预测处理单元66可产生3D查找表中的每一者,W具有相同大 小,其中3D查找表的亮度维度的大小不同于3D查找表的第一色度维度的大小和3D查找表的 第二色度维度的大小中的每一者。在其它实例中,色彩预测处理单元66可产生亮度分量3D 查找表,W具有不同于第一色度分量3D查找表的第二大小和第二色度分量3D查找表的第Ξ 大小中的每一者的第一大小。在另一实例中,色彩预测处理单元66可产生亮度分量3D查找 表,W具有与第一色度分量3D查找表和第二色度分量3D查找表中的每一者不同的精度值。 在一些情况下,为了进一步降低复杂性,色彩预测处理单元66可仅产生亮度分量3D查找表, 使用亮度分量3D查找表来执行亮度分量预测,且使用1D线性映射或分段线性映射来执行第 一和第二色度分量预测。
[0151] 作为另一实例,根据本发明的技术,色彩预测处理单元66可通过针对3D查找表的 与用作3D查找表的表索引的色彩分量相关联的维度使用较多片段来产生不平衡的3D查找 表。举例来说,亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量,具 有比第一色度维度和第二色度维度中的每一者大的亮度维度。可类似地基于表索引处正使 用的第一或第二色度分量中的相应一个来确定第一和第二色度分量3D查找表的大小。W此 方式,可减小所述表中的每一者的总大小,同时W用作所述表索引的色彩分量的较高分辨 率来维持良好的译码性能。
[0152] 在产生3D查找表后,色彩预测处理单元66即刻使用所述3D查找表,对视频数据的 较低层执行参考图片的色彩预测,并基于所述经色彩预测的参考图片来产生用于视频数据 的较高层的层间参考图片。在产生所述层间参考图片后,视频编码器20的运动补偿单元44 可即刻如上文所述操作,W基于使用3D查找表产生的层间参考图片,来预测视频数据的较 高层的图片中的视频块。视讯编码器20可接着在位流中编码经预测的视频块的残差数据W 用于发射到视频解码器30。在一些实例中,视频编码器20还可编码指示位流中的3D查找表 的大小的一或多个语法元素,其中所述大小针对亮度分量与针对第一和第二色度分量不 同。
[0153] 图12是说明可实施用于确定在多层视频译码中使用基于3D查找表的色域可缩放 性的技术的视频解码器30的实例的框图。在图12的实例中,视频解码器30包含赌解码单元 70、视频数据存储器71、运动补偿单元72、帖内预测处理单元74、色彩预测处理单元86、逆量 化单元76、逆变换处理单元78、经解码图片缓冲器82和求和器80。在一些实例中,视频解码 器30可执行大体上与相对于视频编码器20(图11)而描述的编码遍次互逆的解码遍次。运动 补偿单元72可基于从赌解码单元70接收的运动向量产生预测数据,而帖内预测单元74可基 于从赌解码单元70接收的帖内预测模式指示符产生预测数据。
[0154] 视频数据存储器71可存储待由视频解码器30的组件解码的视频数据,例如经编码 视频位流。存储在视频数据存储器71中的视频数据可例如从计算机可读媒体16获得,例如 经由视频数据的有线或无线网络通信从本地视频源(例如相机)或通过存取物理数据存储 媒体而获得。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译 码图片缓冲器(CPB)。经解码图片缓冲器82可为参考图片存储器,其存储用于由视频解码器 30例如在帖内或帖间译码模式中对视频数据进行解码的参考视频数据。视频数据存储器71 和经解码图片缓冲器82可由多种存储器装置中的任一者形成,例如动态随机存取存储器 (DRAM),包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器 装置。视频数据存储器71和经解码图片缓冲器82可由相同存储器装置或单独的存储器装置 提供。在各种实例中,视频数据存储器71可与视频解码器30的其它组件一起在忍片上,或相 对于那些组件在忍片外。
[01W]在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频 块和相关联的语法元素的经编码视频位流。视频解码器30的赌解码单元70对位流进行赌解 码W产生经量化系数、运动向量或帖内预测模式指示符和其它语法元素。赌解码单元70将 运动向量W及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/ 或视频块层级接收语法元素。
[0156] 当将视频切片译码为经帖内译码(I)切片时,帖内预测处理单元74可基于用信号 通知的帖内预测模式和来自当前帖或图片的先前经解码块的数据而产生用于当前视频切 片的视频块的预测数据。当将视频帖译码为经帖间译码(即,B或P)切片时,运动补偿单元72 基于从赌解码单元70接收到的运动向量和其它语法元素而产生用于当前视频切片的视频 块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解 码器30可基于存储在经解码图片缓冲器82中的参考图片,使用默认构建技术来构建参考图 片列表:列表0和列表1。运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前 视频切片的视频块的预测信息,并且使用所述预测信息产生用于经解码当前视频块的预测 性块。举例来说,运动补偿单元72使用所接收语法元素中的一些语法元素确定用于译码视 频切片的视频块的预测模式(例如,帖内预测或帖间预测)、帖间预测切片类型(例如,B切片 或P切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帖间编码的视频 块的运动向量、切片的每一经帖间译码的视频块的帖间预测状态,及用W解码当前视频切 片中的视频块的其它信息。
[0157] 运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如视频编 码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的经内插值。在 此情况下,运动补偿单元72可根据接收到的语法元素确定由视频编码器20使用的内插滤波 器,并使用所述内插滤波器来产生预测性块。
[0158] 逆量化单元76对在位流中提供且由赌解码单元70解码的经量化变换系数逆量化, 即去量化。逆量化过程可包含使用视频解码器30为视频切片中的每一视频块计算W确定应 应用的量化程度W及同样地逆量化程度的量化参数QPy。逆变换处理单元78对变换系数应 用逆变换(例如,逆DCT、逆整数变换,或概念上类似的逆变换过程),W便产生像素域中的残 差块。
[0159] 在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测性块之 后,视频解码器30通过对来自逆变换单元78的残差块与由运动补偿单元72产生的对应的预 测性块进行求和而形成经解码视频块。求和器80表示执行此求和运算的一或多个组件。视 需要,还可应用去块滤波器W对经解码块进行滤波,W便去除成块假影。还可使用其它环路 滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者W其它方式改善视频质 量。接着将给定帖或图片中的经解码视频块存储在经解码图片缓冲器82中,经解码图片缓 冲器82存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频W用于 稍后呈现在显示器装置(例如,图1的显示器装置32)上。
[0160] 根据本发明中描述的技术,视频解码器30经配置W在解码多层视频数据时执行基 于3D查找表的色域可缩放性。视频解码器30可根据扩SHVC展、MV-HEV讶广展、3D-HEV讶广展或 对皿VC的其它多层视频译码扩展中的任一者解码和重构所预测的多层视频数据。具体来 说,当用于视频数据的较高层的色域不同于用于视频数据的较低层的色域时,视频解码器 30的色彩预测处理单元86可产生用W预测视频数据的较高层的图片中的视频块的层间参 考图片。
[0161] 视频解码器30的色彩预测处理单元86可使用色域可缩放性的3D查找表来执行色 彩预测,W将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频 数据的较高层的第二色域。在一些实例中,色彩预测处理单元86可产生单独的3D查找表,其 可针对色彩分量中的每一者,即亮度分量、第一色度分量和第二色度分量而产生。3D查找表 中的每一者包含亮度维度、第一色度维度和第二色度维度,且使用Ξ个独立色彩分量来编 索引。
[0162] 根据本发明中描述的技术,视频解码器30的色彩预测处理单元86产生至少一个3D 查找表,其具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大 小。在一些实例中,视频解码器30可解码指示位流中的3D查找表的大小的一或多个语法元 素,其中所述大小针对亮度分量与针对第一和第二色度分量不同。色彩预测处理单元86可 根据针对3D查找表的亮度维度使用不同数目的片段指示的大小来产生此不对称3D查找表。 在一个实例中,色彩预测处理单元86可产生3D查找表,W针对亮度分量具有比针对第一和 第二色度分量中的每一者大的大小,即多的片段。W此方式,可减小所述表的总大小,同时 维持针对亮度分量具有比针对第一和第二色度分量高的分辨率的良好译码性能。
[0163] 在一些实例中,色彩预测处理单元86可产生3D查找表中的每一者,W具有相同大 小,其中3D查找表的亮度维度的大小不同于3D查找表的第一色度维度的大小和3D查找表的 第二色度维度的大小中的每一者。在其它实例中,色彩预测处理单元86可产生亮度分量3D 查找表,W具有不同于第一色度分量3D查找表的第二大小和第二色度分量3D查找表的第Ξ 大小中的每一者的第一大小。在另一实例中,色彩预测处理单元86可产生亮度分量3D查找 表,W具有与第一色度分量3D查找表和第二色度分量3D查找表中的每一者不同的精度值。 在一些情况下,为了进一步降低复杂性,色彩预测处理单86可仅产生亮度分量3D查找表,使 用亮度分量3D查找表来执行亮度分量预测,且使用1D线性映射或分段线性映射来执行第一 和第二色度分量预测。
[0164] 作为另一实例,根据本发明的技术,色彩预测处理单元86可通过针对3D查找表的 与用作3D查找表的表索引的色彩分量相关联的维度使用较多片段来产生不平衡的3D查找 表。举例来说,亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量,具 有比第一色度维度和第二色度维度中的每一者大的亮度维度。可类似地基于表索引处正使 用的第一或第二色度分量中的相应一个来确定第一和第二色度分量3D查找表的大小。W此 方式,可减小所述表中的每一者的总大小,同时W用作所述表索引的色彩分量的较高分辨 率来维持良好的译码性能。
[0165] 在产生3D查找表后,色彩预测处理单元86即刻使用所述3D查找表,对视频数据的 较低层执行参考图片的色彩预测,并基于所述经色彩预测的参考图片来产生用于视频数据 的较高层的层间参考图片。在产生层间参考图片后,视频解码器30的运动补偿单元72可即 刻如上文所述操作,W基于经解码的残差数据W及使用3D查找表产生的层间参考图片来重 构视频数据的较高层的图片中的视频块。
[0166] 图13是说明使用基于3D查找表的色域可缩放性产生层间参考图片的实例操作的 流程图。图13的实例操作在本文中描述为由图12的视频解码器30的色彩预测处理单元86执 行。在其它实例中,所述操作可由图11的视频编码器20的色彩预测处理单元66或图8的色彩 预测处理单元144执行。
[0167] 按照惯例,在多层视频译码中,视频数据的较低层(例如基础层)和视频数据的较 高层(例如增强层)包含在同一色域(例如皿色域BT.709)中的色彩数据。在此情况下,视频 解码器可产生用于视频数据的较高层的层间参考图片,作为用于视频数据的较低层的处于 相同位置的参考图片的经上取样版本。在本发明中所描述的实例中,视频数据的较低层可 包含第一色域(例如BT.709)中的的色彩数据,且所述视频数据的较高层可包含不同的第二 色域(例如,U皿色域BT.2020)中的色彩数据。在此实例中,为了产生用于视频数据的较高层 的层间参考图片,视频解码器30使用色彩预测处理单元86来执行色彩预测,W将用于视频 数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二 色域。视频解码器30的色彩预测处理单元86可使用针对色域可缩放性的3D查找表来执行色 彩预测。
[0168] 根据本发明的技术,色彩预测处理单元86产生针对色域可缩放性的至少一个3D查 找表,其针对亮度分量具有与针对第一色度分量和第二色度分量中的每一者不同的大小 (180)。赌解码单元70可解码指示至少一个3D查找表的大小的一或多个语法元素,其中所述 大小针对亮度分量与针对第一和第二色度分量中的每一者不同。色彩预测处理单元86可根 据通过针对3D查找表的亮度维度使用与针对3D查找表的第一和第二色度分量不同数目的 片段指示的大小来产生此不对称3D查找表。
[0169] 举例来说,色彩预测处理单元86可产生3D查找表,W针对亮度分量具有比针对第 一和第二色度分量中的每一者大的大小,即多的片段。在一个实例中,3D查找表可具有至多 达8x2x2的大小。W此方式,可减小所述表的总大小,同时维持针对亮度分量具有比针对第 一和第二色度分量高的分辨率的良好译码性能。
[0170] 色彩预测处理单元86可针对色彩分量中的每一者(即,亮度(Y)分量、第一色度化) 分量和第二色度(V)分量)产生单独的3D查找表。3D查找表中的每一者包含亮度(Y)维度、第 一色度化)维度和第二色度(V)维度,且使用Ξ个独立色彩分量(Y,U,V)来编索引。在一些实 例中,色彩预测处理单元86可产生所述3D查找表中的每一者W具有相同大小Mx化K,其中3D 查找表的亮度维度的大小(M)不同于3D查找表的第一色度维度的大小(N)和3D查找表的第 二色度维度的大小化)中的每一者。举例来说,亮度维度的大小可大于色度维度的大小,M〉N 且M〉K,且色度维度的大小可相同,N = K。在一个实例中,3D查找表中的每一者可具有相同大 小8x2x2。
[0171] 在其它实例中,色彩预测处理单元86可产生亮度分量3D查找表(LUTy)W具有第一 大小,例如MxMxM或Mx化K,其不同于第一色度分量3D查找表化UTu)的第二大小(例如化NxN) 和第二色度分量3D查找表化UTv)的第Ξ大小(例如ΚχΚχΚ)中的每一者。举例来说,亮度分量 3D查找表的大小可大于色度分量3D查找表的大小。第一和第二色度分量3D查找表可为相同 大小或不同大小。在一个实例中,LUTy可具有大小8x2x2,且LUTu和LUTv中的每一者可具有大 小2x2x2。
[0172] 在另一实例中,色彩预测处理单元86可
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1