合并候选导出装置、图像解码装置以及图像编码装置的制造方法_2

文档序号:9932926阅读:来源:国知局
帧间预测参数由预测列表利用标记口1^(^1381^0、口16(^1381^1、参照图片索引ref IdxLO、refldxLl、和矢量mvL0、mvLl构成。预测列表利用标记predFlagLO、predFlagLl分别为表示是否利用了被称作L O列表、LI列表的参照图片列表的标记,在值为I的情况下,利用对应的参照图片列表。其中,在本说明书中记为“表示是否为XX的标记”的情况下,将I设为是XX的情况,将O设为不是XX的情况,在逻辑非、逻辑与等的情况下,将I处理为真,将O处理为假(以下同样)。但是,在实际的装置、方法中,作为真值、假值,也能够利用其他的值。利用两个参照图片列表的情况即(predFlagLO,predFlagLl) = (I,I)的情况对应于双预测,利用一个参照图片列表的情况即(predFlagLO ,predFlagLl) = (I,0)或(predFlagLO,predFlagLl)=(0,1)的情况对应于单预测。另外,预测列表利用标记的信息也能够以后述的帧间预测标记inter_pred_idc来表现。通常,在后述的预测图像生成部和预测参数存储器中利用的是预测列表利用标记,在从编码数据之中解码是否利用了哪个参照图片列表的信息的情况下利用帧间预测标记inter_pred_idc。
[0097]用于将编码数据中所含的帧间预测参数进行导出的语法要素中,例如有:分割模式 part_mode、合并标记 merge_f lag、合并索引merge_idx、帧间预测标记inter_pred_idc、参照图片索引ref I dxLX、预测矢量标记mvp_LX_f lag、差分矢量mvdLX。
[0098](参照图片列表的一例)
[0099]接下来,说明参照图片列表的一例。所谓参照图片列表,是指由参照图片存储器306(图5)中所存储的参照图片构成的列。图3是表示参照图片列表RefPicListX的一例的概念图。在参照图片列表RefPicListX中,左右排列为一列的5个长方形分别表示参照图片。从左端向右依次示出的符号P1、P2、Q0、P3、P4是表示各自的参照图片的符号。所谓Pl等的P,是指视点P,并且,所谓QO的Q,是指与视点P不同的视点Q13P以及Q的后缀表示图片顺序编号POC^ef IdxLX的正下方的朝下的箭头表示:参照图片索引ref IdxLX是在参照图片存储器306中对参照图片QO进行参照的索引。
[0100](参照图片的例子)
[0101]接下来,说明在导出矢量时所利用的参照图片的例子。图4是表示参照图片的例子的概念图。在图4中,横轴表示显示时刻,纵轴表示视点。图4所示的、纵2行、横3列(共计6个)的长方形分别表示图片。6个长方形之中的从下行的左起第2列的长方形表示解码对象的图片(对象图片),剩余的5个长方形分别表示参照图片。从对象图片朝上的箭头所示的参照图片QO是显示时刻与对象图片相同且视点(视图1D)不同的图片。在以对象图片为基准的位移预测中,可利用参照图片Q0。从对象图片朝左的箭头所示的参照图片Pl是视点与对象图片相同的、过去的图片。从对象图片朝右的箭头所示的参照图片P2是视点与对象图片相同的、未来的图片。在以对象图片为基准的运动预测中,可利用参照图片Pl或者P2。
[0102](帧间预测标记和预测列表利用标记)
[0103]帧间预测标记inter_pred_idc与预测列表利用标记predFlagLO、predFlagLl之间的关系,能利用如下的式子来相互变换。
[0104]inter_pred_idc = (predFlagLl <<l)+predFlagLO
[0105]predFlagLO = inter_pred_idc&l
[0106]predFlagLl = inter_pred_idc> > I
[0107]在此,>>为右移位,<<为左移位。因而,作为帧间预测参数,既可以利用预测列表利用标记predFlagLO、predFlagLl,也可以利用帧间预测标记inter_pred_idc。此外,以下,利用了预测列表利用标记predFlagLO、predFlagLl的判定也能够置换为帧间预测标记inter_pred_idc。反之,利用了帧间预测标记inter_pred_idc的判定也能够置换为预测列表利用标记 predFlagLO、predFlagLl。
[0108](合并模式和AMVP预测)
[0109]预测参数的解码(编码)方法中有合并(merge)模式和AMVP(Adaptive Mot1nVector Predict1n、自适应运动矢量预测)模式。合并标记merge_flag为用于识别这些模式的标记。无论是合并模式还是AMVP模式,均利用已经处理完的块的预测参数来导出对象PU的预测参数。合并模式是不将预测列表利用标记predFlagLX(帧间预测标记inter_pred_idc)、参照图片索引refldxLX、矢量mvLX包含在编码数据中而直接利用已经导出的预测参数的模式,AMVP模式是将帧间预测标记inter_pred_idc、参照图片索引16;1^1(111^(、矢量1]1¥1^(包含在编码数据中的模式。另外,矢量mvLX被编码为表示预测矢量的预测矢量标记mvp_LX_flag和差分矢量(mvdLX)。
[0110]帧间预测标记inter_pred_idc是表示参照图片的种类以及数目的数据,取Pred_L0、Pred_Ll、Pred_BI之中的任意一个值。Pred_L0、Pred_Ll分别表示利用了被称作LO列表、LI列表的参照图片列表中所存储的参照图片,均表示利用I张参照图片(单预测)。将利用了LO列表、LI列表的预测分别称作LO预测、LI预测。PrecLBI表示利用2张参照图片(双预测),表示利用LO列表和LI列表中所存储的两个参照图片。预测矢量标记mvp_LX_f lag是表示预测矢量的索引,参照图片索引refldxLX是表示参照图片列表中所存储的参照图片的索引。另外,LX是不区分LO预测和LI预测的情况下所利用的记述方法,通过将LX置换为L0、L1,由此来区分针对LO列表的参数和针对LI列表的参数。例如,ref IdxLO是用于LO预测的参照图片索引,refIdxLl是用于LI预测的参照图片索引,ref Idx(ref IdxLX)是不区分refIdxLO和refldxLl的情况下所利用的表记。
[0111]合并索引merge_idX是表示将从处理已完成的块中导出的预测参数候选(合并候选)之中的任意一个预测参数用作预测单元(对象块)的预测参数的索引。
[0112](运动矢量和位移矢量)
[0113]矢量mvLX中有运动矢量和位移矢量(disparity vector、视差矢量)。所谓运动矢量,是表示某层的某显示时刻下的图片中的块的位置、与不同的显示时刻(例如相邻的离散时刻)下的同一层的图片中的对应的块的位置之间的位置的偏离的矢量。所谓位移矢量,是表示某层的某显示时刻下的图片中的块的位置、与同一显示时刻下的不同层的图片中的对应的块的位置之间的位置的偏离的矢量。作为不同层的图片,有是不同视点的图片的情况、或是不同分辨率的图片的情况等。特别是,将与不同视点的图片对应的位移矢量称作视差矢量。在以下的说明中,在不区分运动矢量与位移矢量的情况下,简单称作矢量mvLX。将与矢量mvLX有关的预测矢量、差分矢量分别称作预测矢量mvpLX、差分矢量mvdLX。矢量mvLX以及差分矢量mvdLX是运动矢量还是位移矢量,利用矢量所附带的参照图片索引refldxLX来进行判断。
[0114](图像解码装置的构成)
[0115]接下来,说明本实施方式所涉及的图像解码装置31的构成。图5是表示本实施方式所涉及的图像解码装置31的构成的概要图。图像解码装置31构成为包含:熵解码部301、预测参数解码部302、参照图片存储器(参照图像存储部、帧存储器)306、预测参数存储器(预测参数存储部、帧存储器)307、预测图像生成部308、逆量化/逆DCT部311、加法运算部312、以及未图示的纵深DV导出部351。图像解码装置31是对由多个视点图像以及纵深图像构成并由基础层以及增强层构成的编码数据进行解码的图像解码部分。
[0116]此外,预测参数解码部302构成为包含帧间预测参数解码部303以及帧内预测参数解码部304。预测图像生成部308构成为包含帧间预测图像生成部309以及帧内预测图像生成部310。
[0117]熵解码部301针对从外部输入的编码流Te来进行熵解码,将各个码(语法要素)分离并解码。被分离出的码中有用于生成预测图像的预测信息以及用于生成差分图像的残差信息等。
[0118]熵解码部301将分离出的码的一部分输出至预测参数解码部302。分离出的码的一部分,例如为预测模式PredMode、分割模式part_mode、合并标记merge_flag、合并索引merge_idx、帧间预测标记inter_pred_idc、参照图片索引ref IdxLX、预测矢量标记mvp_LX_flag、差分矢量mvdLX、残差预测权重索引iv_res_pred_weight_idx、照度补偿标记ic_flag。是否对哪个码进行解码的控制是基于预测参数解码部302的指示来进行的。熵解码部301将量化系数输出至逆量化/逆DCT部311。该量化系数是在编码处理中针对残差信号进行DCT(Discrete Cosine Transform、离散余弦变换)并进行量化而获得的系数。熵解码部301将纵深DV变换表格DepthToDisparityB输出至纵深DV导出部351。该纵深DV变换表格DepthT0DisparityB是用于将纵深图像的像素值变换为表示视点图像间的位移的视差的表格,纵深DV变换表格DepthToDi spar ityB的要素DepthToDi spar ityB[d]能够利用倾斜cp_scale和偏移cp_off、倾斜的精度cp_precis1n,并通过如下的式子求出。
[0119]log2Div = BitDepthY-l+cp_precis1n
[0120]offset = (cp_off < <BitDepthY) + ( (I <<log2Div) > > I)
[0121]scale = cp_scale
[0122]DepthToDisparityB[d] = (scale*d+offset)> >log2Div
[0123]参数cp_scale、cp_off、cp_precis1n按照所参照的每个视点而从编码数据中的参数集合之中解码。其中,BitDepthY表示与亮度信号对应的像素值的位深度,例如作为值而取8。
[0124]预测参数解码部302从熵解码部301接受码的一部分作为输入。预测参数解码部302对作为码的一部分的预测模式PredMode所表示的预测模式对应的预测参数进行解码。预测参数解码部302将预测模式PredMode和解码后的预测参数输出至预测参数存储器307和预测图像生成部308。
[0125]帧间预测参数解码部303基于从熵解码部301输入的码,参照预测参数存储器307中所存储的预测参数,对帧间预测参数进行解码。帧间预测参数解码部303将解码后的帧间预测参数输出至预测图像生成部308,此外存储至预测参数存储器307。关于帧间预测参数解码部303的详情将后述。
[0126]帧内预测参数解码部304基于从熵解码部301输入的码,参照预测参数存储器307中所存储的预测参数,对帧内预测参数进行解码。所谓帧内预测参数,是指在一个图片内预测图片块的处理中所利用的参数,例如帧内预测模式IntraPredMode。帧内预测参数解码部304将解码出的帧内预测参数输出至预测图像生成部308,此外存储至预测参数存储器307。
[0127]参照图片存储器306将加法运算部312生成的解码图片块recSamples存储至解码图片块的位置。
[0128]预测参数存储器307将预测参数存储至针对解码对象的每个图片以及块而预先规定的位置。具体而言,预测参数存储器307存储帧间预测参数解码部303解码后的帧间预测参数、帧内预测参数解码部304解码后的帧内预测参数以及熵解码部301分离出的预测模式PredMode。被存储的帧间预测参数中例如有预测列表利用标记predFlagLX、参照图片索引ref I dxLX、矢量 mvLX。
[0129]在预测图像生成部308中,被从预测参数解码部302输入预测模式PredMode以及预测参数。此外,预测图像生成部308从参照图片存储器306之中读出参照图片。预测图像生成部308以预测模式PredMode所表示的预测模式,利用被输入的预测参数和读出的参照图片来生成预测图片块predSamples(预测图像)。
[0130]在此,在预测模式PredMode表示帧间预测模式的情况下,帧间预测图像生成部309利用从帧间预测参数解码部303输入的帧间预测参数和读出的参照图片,通过帧间预测来生成预测图片块口1^(15311^|168。预测图片块口代(15311^|168对应于预测单元?1]。?1]如上所述,相当于成为进行预测处理的单位的多个像素所构成的图片的一部分、即一次性进行预测处理的对象块。
[0?31 ]帧间预测图像生成部309针对预测列表利用标记pr edFlagLX为I的参照图片列表(L0列表或LI列表),根据参照图片索引ref IdxLX所表示的参照图片Ref PicLiStLX[ref IdxLX],以预测单元为基准而从参照图片存储器306之中读出位于矢量mvLX所表示的位置的参照图片块。帧间预测图像生成部309针对读出的参照图片块进行运动补偿来生成预测图片块predSamplesLX。帧间预测图像生成部309根据预测图片块predSamp IesLO、口代(15311^|1681^1来生成预测图片块口代(15311^|168,并输出至加法运算部312。
[0132]在预测模式PredMode表示帧内预测模式的情况下,帧内预测图像生成部310利用从帧内预测参数解码部304输入的帧内预测参数和读出的参照图片来进行帧内预测。具体而言,帧内预测图像生成部310从参照图片存储器306中读出作为解码对象的图片的、已被处理的块之中的处于由预测单元预先规定的范围内的参照图片块。预先规定的范围,例如为左、左上、上、右上的相邻块的范围,根据帧内预测模式而不同。
[0133]帧内预测图像生成部310针对读出的参照图片块以帧内预测模式IntraPredMode所表示的预测模式来进行预测,生成预测图片块predSamples,并输出至加法运算部312。
[0134]逆量化/逆DCT部311对从熵解码部301输入的量化系数进行逆量化来求出DCT系数。逆量化/逆DCT部311针对求出的DCT系数来进行逆DCT(Inverse Discrete CosineTransform、逆离散余弦变换),计算解码残差信号。逆量化/逆DCT部311将计算出的解码残差信号输出至加法运算部312。
[0135]加法运算部312按照每个像素来相加从帧间预测图像生成部309以及帧内预测图像生成部310输入的预测图片块predSamples和从逆量化/逆DCT部311输入的解码残差信号的信号值resSamples,生成解码图片块recSamples。加法运算部312将所生成的解码图片块recSamples输出至参照图片存储器306。解码图片块按照每个图片来进行合并。对于被解码后的图片,适用去块滤波器以及自适应偏移滤波器等的环路滤波器。被解码后的图片作为解码层图像Td而输出至外部。
[0136](帧间预测参数解码部的构成)
[0137]接下来,说明帧间预测参数解码部303的构成。图6是表示本实施方式所涉及的帧间预测参数解码部303的构成的概要图。帧间预测参数解码部303构成为包含:帧间预测参数解码控制部3031、AMVP预测参数导出部3032、加法运算部3035以及合并模式参数导出部3036、位移导出部30363。
[0138]帧间预测参数解码控制部3031向熵解码部301指示与帧间预测关联的码(语法要素)的解码,针对编码数据中所含的码(语法要素),例如提取分割模式partjnode、合并标记merge_f lag、合并索引merge_idx、帧间预测标记inter_pred_idc、参照图片索引ref IdxLX、预测矢量标记mvp_LX_flag、差分矢量mvdLX、残差预测权重索引iv_res_pred_weight_idx、照度补偿标记ic_flag。帧间预测参数解码控制部3031在表现为要提取某语法要素的情况下,意味着向熵解码部301指示某语法要素的解码,并从编码数据之中读出相应的语法要素。
[0139]帧间预测参数解码控制部3031在合并标记merge_flag为1、即预测单元为合并模式的情况下,从编码数据之中提取合并索引mergejdx。帧间预测参数解码控制部3031将提取出的残差预测权重索引iv_res_pred_weight_idx、照度补偿标记ic_flag以及合并索引merge_idx输出至合并模式参数导出部3036。
[OMO] 帧间预测参数解码控制部3031在合并标记merge_f lag为O、即预测块为AMVP预测模式的情况下,利用熵解码部301而从编码数据之中提取帧间预测标记inter_pred_idc、参照图片索引ref IdxLX、预测矢量标记mvp_LX_f lag、差分矢量mvdLX。帧间预测参数解码控制部3031将从提取出的帧间预测标记inter_pred_idc导出的预测列表利用标记predFlagLX、和参照图片索引ref IdxLX输出至AMVP预测参数导出部3032以及预测图像生成部308(图5),此外存储至预测参数存储器307(图5)。帧间预测参数解码控制部3031将提取出的预测矢量标记mvp_LX_f lag输出至AMVP预测参数导出部3032,将提取出的差分矢量mvdLX输出至加法运算部3035。
[0141]位移矢量导出部30363从与编码单元在空间上或在时间上相邻的块之中提取对象PU所属的编码单元(对象CU)的位移矢量。具体而言,将与对象CU在时间上相邻的块Col、在时间上相邻的第2块AltCol、相邻的空间上左相邻的块Al、上相邻的块BI设为参照块,依序读出其参照块的预测标记Pr e dF I agLX、参照图片索引r e f I dxLX和矢量mvLX,根据相邻块的参照图片索引refldxLX来判定相邻块是否具备位移矢量。在相邻块具备位移矢量的情况下,输出参照块的位移矢量。在相邻块的预测参数中无位移矢量的情况下,读出下一相邻块的预测参数,同样导出位移矢量。在所有相邻块中无法导出位移矢量的情况下,输出零矢量作为位移矢量。此外,位移矢量导出部30363还输出导出了位移矢量的块的参照图片索引以及视图1D。
[0142]通过上述而获得的位移矢量被称作NBDV(Neighbour Base Disparity Vector;相邻基础视差矢量)。位移矢量导出部30363还将获得的位移矢量NBDV输出至纵深DV导出部351。纵深DV导出部351通过源自纵深的位移矢量来更新被输入的位移矢量。被更新后的位移矢量被称作DoNBDV(Depth Orientated Neighbour Base Disparity Vector;面向纵深的相邻基础视差矢量)。位移矢量导出部30363将位移矢量(DoNBDV)输出至层间合并候选导出部3036121、位移合并候选导出部以及视点合成预测合并候选导出部。还将获得的位移矢量(NBDV)输出至帧间预测图像生成部309。
[0143]此外,帧间预测参数解码控制部3031将帧间预测参数导出时所导出的位移矢量(NBDV)、以及作为表示是否进行视点合成预测的标记的VSP模式标记VspModeFlag,输出至帧间预测图像生成部309。
[0144]图7是表示本实施方式所涉及的合并模式参数导出部3036的构成的概要图。合并模式参数导出部3036具备合并候选导出部30361和合并候选选择部30362。合并候选导出部30361构成为包含:合并候选保存部303611、扩展合并候选导出部303612和基本合并候选导出部303613。
[0145]合并候选保存部303611将从扩展合并候选导出部303612以及基本合并候选导出部303613输入的合并候选保存在合并候选列表mergeCandList中。其中,合并候选构成为包含:预测列表利用标记predFlagLX、矢量mvLX、参照图片索引ref IdxLX、VSP模式标记VspModeFlag、位移矢量MvDisp、层IDRefViewIdx。在合并候选保存部303611中,按照给定的规则而对合并候选列表mergeCandLi st中所保存的合并候选分配索弓I。
[0146]图18表示合并候选保存部303611所导出的合并候选列表mergeCandList的例子。图18(3)表示在基础层(肪1_1111;[1:_]^761 = 0)中合并候选保存部303611导出的合并候选。在两个合并候选为相同的预测参数的情况下,若去除使顺序紧凑的处理(修剪处理),则按照合并索引的顺序成为空间合并候选(Al )、空间合并候选(BI )、空间合并候选(BO)、空间合并候选(A0)、空间合并候选(B2)的顺序。其中,括号内为合并候选的别称,在空间合并候选的情况下,对应于用于导出的参照块的位置。此外,在此之后,虽然有结合合并候选和零合并候选,但在图18中进行了省略。这些合并候选即空间合并候选、时间合并候选、结合合并候选、零合并候选通过基本合并候选导出部303613来导出。图18(b)表示在作为基础层(nal_1111;[1:_13761 = 0)以外的层的增强层(的1_1111;[1:_13761'!=0)中合并候选保存部303611导出的合并候选。按照合并索引的顺序,成为纹理合并候选(T)、帧间视点合并候选(IvMC)、空间合并候选(Al)、空间合并候选(BI )、空间合并候选(BO)、位移合并候选(IvDC)、VSP合并候选(VSP)、空间合并候选(AO)
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1