图像解码装置的制造方法_3

文档序号:8303686阅读:来源:国知局
以及(b)进行了上述说明的例子中,说明了在解 码图像P〇UT#B的解码中参考"C"以及"B",但并不限定于此。也能够按照解码图像POUT#B 能仅利用"B"进行解码的方式来构成分层编码数据。
[0105] 此外,在实现SNR可适性的情况下,也能够按照下述方式来生成分层编码数据: 在作为输入图像PIN#A、PIN#B以及PIN#C而利用同一原图的基础上,使解码图像POUT#A、 POUT#B以及POUT#C成为不同的画质。在该情况下,下级阶层的分层运动图像编码装置与上 级阶层的分层运动图像编码装置相比,利用更大的量化幅度来对预测残差进行量化,由此 生成分层编码数据。
[0106] 在本说明书中,为了便于说明而如下那样对术语进行定义。以下的术语只要没有 特别声明,则用于表征下述技术事项。
[0107] 上级层:将位于比某阶层更上级的位置的阶层称为上级层。例如,在图2中,下级 阶层L3的上级层是中级阶层L2以及上级阶层L1。另外,上级层的解码图像是指更高质量 的(例如,分辨率高、画质高等)解码图像。
[0108] 下级层:将位于比某阶层更下级的位置的阶层称为下级层。例如,在图2中,上级 阶层L1的下级层是中级阶层L2以及下级阶层L3。另外,下级层的解码图像是指更低质量 的解码图像。
[0109] 对象层:是指成为解码或者编码的对象的阶层。
[0110] 参考层(referencelayer):将解码与对象层对应的解码图像所参考的特定的下 级层称为参考层。
[0111] 在图2(a)以及(b)所示的例子中,上级阶层L1的参考层是中级阶层L2以及下级 阶层L3。但是并不限定于此,也能够按照在特定的上述层的解码中可以不参考所有下级层 的方式来构成分层编码数据。例如,可按照上级阶层L1的参考层为中级阶层L2以及下级 阶层L3中的任一者的方式来构成分层编码数据。
[0112] 基本层(baselayer):将位于最下层的阶层称为基本层。基本层的解码图像是可 从编码数据解码出的最低质量的解码图像,也被称为基本解码图像。换言之,基本解码图像 是与最下层的阶层对应的解码图像。基本解码图像的解码所需的分层编码数据的部分编码 数据被称为基本编码数据。例如,上级阶层L1的分层编码数据DATA#A所包含的基本信息 "C"是基本编码数据。
[0113] 扩展层:基本层的上级层被称为扩展层。
[0114] 层标识符:层标识符用于对阶层进行识别,与阶层一一对应。在分层编码数据中, 包含为了对特定的阶层的解码图像的解码所需的部分编码数据进行选择而使用的阶层标 识符。与特定的层对应的层标识符所关联对应的分层编码数据的子集也被称为层表现。
[0115] 一般,在特定的阶层的解码图像的解码中,使用该阶层的层表现、以及/或者与该 阶层的下级层对应的层表现。即,在对象层的解码图像的解码中,使用对象层的层表现、以 及/或者对象层的下级层所包含的一个以上阶层的层表现。
[0116] 层间预测:层间预测是指基于与对象层的层表现不同的阶层(参考层)的层表 现所包含的语法要素值、从语法要素值导出的值、以及解码图像,来预测对象层的语法要素 值、对象层的解码中使用的编码参数等。有时也将根据(同时刻的)参考层的信息来预测 与运动预测相关的信息的层间预测称为运动信息预测。另外,有时也将根据对(同时刻的) 下级层的解码图像进行增采样而得到的图像来进行预测的层间预测称为纹理预测(或者 层间帧内预测)。此外,层间预测中使用的阶层例如是对象层的下级层。另外,有时将不使 用参考层而在对象层内进行预测也称为层内预测。
[0117] 时态标识符:时态标识符是用于识别与时间可适性相关的层(以后称为子层)的 标识符。时态标识符用于对子层进行识别,与子层一一对应。在编码数据中,包含为了对特 定的子层的解码图像的解码所需的部分编码数据进行选择而使用的时态标识符。
[0118] 子层:子层是指根据时态标识符来确定的与时间可适性相关的层。为了与空间可 适性、SNR可适性等其他可适性进行区别,以后称为子层(也称为时态层)。
[0119] 此外,下面,设为时间可适性是通过基本层的编码数据、或者对某层进行解码所需 的分层编码数据所包含的子层来实现的。
[0120] 关于时间可适性,利用图3(a)来进行说明。在SVC、HEVC中,为了实现时间可适 性,导入了以嵌套方式进行利用B图片的图片参考的阶层B图片。图3(a)表征了阶层B图 片中的图片参考关系。在此,符号L撕表示某层N,符号SL#M表示属于某层N的时间可适 性的子层(子阶层)M。在变更帧频来实现时间可适性的情况下,首先废弃未被其他图片参 考的B图片的编码数据。在图3(a)的情况下,通过废弃属于子层SL#4的B图片(B2、B4、 B6、B8)的编码数据,生成帧频变为1/2的子层SL#1?SL#3的编码数据。通过进一步废弃 未被其他图片参考的8图片(在图3(&)中为属于子层51^3的8图片出3、87))的编码数 据,生成帧频变为1/4的子层SL#1?SL#2的编码数据。通过反复进行上述处理,能够分段 地调整帧频。另外,作为对各子层进行识别的标识符,有时态标识符(temporalld;也称为 tld、temporal_id)。在图3(a)中,表不了使各B图片的参考结构的级数与子层 对应 的例子,但并不限定于此。例如,可以将多个B图片的参考结构的级数与子层一一对应或以 多对一的方式建立对应。例如,在图3(b)中,可以按照由图片11、B3、B5、B7、P9构成子层 SL#1、由图片B2、B4、B6、B8构成子层SL#2的方式来建立对应。
[0121] 此外,以上的术语只是为了便于说明而采用的术语,也可将上述的技术事项用其 他术语来表现。
[0122] 〔关于分层编码数据的数据结构〕
[0123] 以下,作为生成各阶层的编码数据的编码方式,例示使用HEVC及其扩展方式的情 况。但是并不限定于此,也可通过MPEG-2、H. 264/AVC等编码方式来生成各阶层的编码数 据。
[0124] 另外,也可通过不同的编码方式对下级层和上级层进行编码。另外,各阶层的编码 数据可以经由彼此不同的传输路径提供给分层运动图像解码装置1,也可经由同一传输路 径提供给分层运动图像解码装置1。
[0125] 例如,在通过基本层以及一个扩展层对超高清影像(运动图像,4K影像数据)进行 可伸缩编码并传输的情况下,可以是:基本层将对4K影像数据进行缩小并进行交织化后的 影像数据通过MPEG-2或者H. 264/AVC来编码,并利用电视广播网进行传输,扩展层将4K影 像(progressive)通过HEVC进行编码,并通过互联网进行传输。
[0126] (基本层)
[0127] 图4是例示能够在基本层中采用的编码数据(在图2的例子中为分层编码数据 DATA#C)的数据结构的图。分层编码数据DATA#C例如包含序列以及构成序列的多个图片。
[0128] 将分层编码数据DATA#C中的数据的分层结构表示在图4中。图4(a)?(e)分别 是:(a)是表示对序列SEQ进行规定的序列层的图,(b)是表示对图片PICT进行规定的图片 层的图,(c)是表示对切片S进行规定的切片层的图,(d)是表示对树块(Treeblock)TBLK 进行规定的树块层的图,(e)是表示对树块TBLK所包含的编码单位(CodingUnit;CU)进 行规定的CU层的图。
[0129] (序列层)
[0130] 在序列层中,规定了为了对处理对象的序列SEQ(以下也称为对象序列)进行解码 而分层运动图像解码装置1所参考的数据的集合。序列SEQ如图4(a)所示,包含:视频参 数集VPS(VideoParameterSet)、序列参数集SPS(SequenceParameterSet)、图片参数 集PPS(PictureParameterSet)、自适应参数集APS(AdaptationParameterSet)、图片 PICTi-PICTNP (NP是序列SEQ所包含的图片的总数)以及附加扩展信息SEI(Supplemental EnhancementInformation)〇
[0131] 在视频参数集VPS中,关于基本层以及扩展层,规定了用于对对象序列进行解码 的分层运动图像解码装置1所参考的公共的编码参数的集合。VPS的详细内容在后面记述。
[0132] 在序列参数集SPS中,规定了为了对对象序列进行解码而分层运动图像解码装置 1所参考的编码参数的集合。SPS的详细内容在后面记述。
[0133] 在图片参数集PPS中,规定了为了对对象序列内的各图片进行解码而分层运动图 像解码装置1所参考的编码参数的集合。此外,PPS可以存在多个。在该情况下,根据对象 序列内的各图片来选择多个PPS的任一个。
[0134] 自适应参数集APS规定了为了对对象序列内的各切片进行解码而分层运动图像 解码装置1所参考的编码参数的集合。APS可以存在多个。在该情况下,根据对象序列内的 各切片来选择多个APS的任一个。
[0135] (图片层)
[0136] 在图片层中,规定了为了对处理对象的图片PICT(以下也称为对象图片)进行解 码而分层运动图像解码装置1所参考的数据的集合。图片PICT如图4(b)所示,包含图片 首部PH以及切片Si?Sns(NS是图片PICT所包含的切片的总数)。
[0137] 此外,以下,在不需要区分切片Si?SNS的各切片的情况下,有时会省略符号的下 标来记述。另外,对于以下说明的分层编码数据DATA#C所包含的数据且标注了下标的其他 数据也是同样的。
[0138] 图片首部PH中包含为了决定对象图片的解码方法而分层运动图像解码装置1所 参考的编码参数群。此外,编码参数群未必需要直接包含在图片首部PH内,例如也可通过 包含向图片参数集PPS的参考而间接地进行包含。
[0139] (切片层)
[0140] 在切片层中,规定了为了对处理对象的切片S(也称为对象切片)进行解码而分层 运动图像解码装置1所参考的数据的集合。切片S如图4(c)所示,包含切片首部SH、以及 树块TBLKi?TBLKN。(NC是切片S所包含的树块的总数)的序列。
[0141] 切片首部SH中包含为了决定对象切片的解码方法而分层运动图像解码装置1所 参考的编码参数群。对切片类型进行指定的切片类型指定信息(slice_type)是切片首部 SH所包含的编码参数的一例。
[0142] 作为可由切片类型指定信息指定的切片类型,可列举(1)编码时仅使用帧内预测 的I切片、(2)编码时使用单向预测或者帧内预测的P切片、(3)编码时使用单向预测、双向 预测或者帧内预测的B切片等。
[0143] 此外,切片首部SH中也可包含:上述序列层所包含的向图片参数集PPS的参考 (pic_parameter_set_id)、向自适应参数集APS的参考(aps_id)。
[0144] 另外,切片首部SH中包含由分层运动图像解码装置1所具备的自适应滤波器参考 的滤波器参数FP。滤波器参数FP包含滤波器系数群。滤波器系数群中包含:(1)对滤波器 的抽头数进行指定的抽头数指定信息,(2)滤波器系数%?aNT_i(NT是滤波器系数群所包 含的滤波器系数的总数),以及(3)偏移。
[0145] (树块层)
[0146] 在树块层中,规定了为了对处理对象的树块TBLK(以下也称为对象树块)进行解 码而分层运动图像解码装置1参考的数据的集合。此外,有时也将树块称为编码树块(CTB: CodingTreeblock)、或者最大编码单位(LCU:LargestCordingUnit)。
[0147] 树块TBLK包含树块首部TBLKH和编码单位信息⑶i?⑶% (NL是树块TBLK所包 含的编码单位信息的总数)。在此,首先,对树块TBLK与编码单位信息CU的关系进行如下 说明。
[0148] 树块TBLK被分割成用于确定帧内预测或者帧间预测以及变换的各处理用的块尺 寸的分区。
[0149] 树块TBLK的上述分区通过递归的四叉树分割而被分割。以下将通过该递归的四 叉树分割而得到的树结构称为编码树(codingtree)。
[0150] 以下,将作为编码树的末端的节点的叶(leaf)所对应的分区作为编码节点 (codingnode)来参考。另外,由于编码节点为编码处理的基本单位,因此以下将编码节点 也称为编码单位(⑶)。此外,编码节点有时也称为编码块(CB:CodingBlock)。
[0151] 即,编码单位信息(以下称为⑶信息)?⑶^是将树块TBLK递归地进行四叉 树分割而得到的各编码节点(编码单位)所对应的信息。
[0152] 另外,编码树的根(root)与树块TBLK建立对应。换言之,树块TBLK与递归地包 含多个编码节点的四叉树分割的树结构的最上级节点建立对应。
[0153] 此外,各编码节点的尺寸是该编码节点直接所属的编码节点(S卩,该编码节点的 上1级阶层的节点的分区)的尺寸的纵横的各一半。
[0154] 另外,树块TBLK的尺寸以及各编码节点可取的尺寸依赖于分层编码数据DATA#C 的序列参数集SPS所包含的最小编码节点的尺寸指定信息、以及最大编码节点与最小编码 节点的阶层深度的差分。例如,在最小编码节点的尺寸为8X8像素、最大编码节点与最小 编码节点的阶层深度的差分为3的情况下,树块TBLK的尺寸为64X64像素,编码节点的尺 寸可取4种尺寸即64X64像素、32X32像素、16X16像素以及8X8像素中的任一种。
[0155] (树块首部)
[0156] 树块首部TBLKH中包含为了决定对象树块的解码方法而分层运动图像解码装置1 所参考的编码参数。具体而言,如图4(d)所示,包含:指定对象树块分割成各CU的分割图 案的树块分割信息SP_TBLK、以及指定量化步长的大小的量化参数差分Aqp(qp_delta)。
[0157] 树块分割信息SP_TBLK是表示用于对树块进行分割的编码树的信息,具体而言, 是指定对象树块所包含的各CU的形状、尺寸以及指定在对象树
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1