图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像 ...的制作方法
【技术领域】
[0001]本发明涉及图像编码及解码技术，特别涉及画面内编码及解码技术。
【背景技术】
[0002]作为运动图像的压缩编码方式的代表，有MPEG-4AVC/H.264标准。在MPEG-4AVC/H.264中，按将图片分割成多个矩形块的宏块单位进行编码。不论图像尺寸如何，宏块的尺寸都按亮度信号规定为16X16像素。此外，宏块中也包含色差信号，宏块所包含的色差信号的尺寸因被编码的图像的色差格式而不同，当色差格式为4:2:0时，按色差信号成为8X8像素；当色差格式为4:2:2时，按色差彳目号成为8 X 16像素；当色差格式为4:4:4时，按色差信号成为16X16像素。
[0003]色差格式以X:Υ:Ζ来表示I个亮度信息和2个色差信息这3个信号的被样本化的像素数的比率。在MPEG-4AVC/H.264中，成为编码及解码的对象的图像的色差格式有4:2:0、4:2:2、4:4:4、以及单色。
[0004]图3是说明图像的各色差格式的图。X表示图像的画面平面上的亮度信号的像素的位置，〇表示色差信号的像素的位置。
[0005]图3的(a)所示的4:2:0是色差信号在水平、垂直两方向上都相对于亮度信号以二分之一密度被样本化的色差格式。即，在4:2:0下，亮度信号与色差信号的像素的纵横比相同。需要说明的是，4:2:0也有在图3的(e)所示的位置对色差信号进行样本化的情况。
[0006]图3的(b)所示的4:2:2是相对于亮度信号、色差信号在水平方向以二分之一密度、在垂直方向上以相同密度被样本化的色差格式。即，在4:2:2下，亮度信号与色差信号的像素的纵横比不同。
[0007]图3的(C)所示的4:4:4是亮度信号、色差信号都被以相同密度样本化的色差格式。S卩，在4:4:4下，亮度信号与色差信号的像素的纵横比相同。
[0008]图3的(d)所示的单色是没有色差信号、仅由亮度信号构成的色差格式。
[0009]需要说明的是，亮度信号和色差信号为共用运动补偿等的编码信息而被作为组来进行编码和解码，但在4:4:4下，也准备了将I个亮度信号和2个色差信号独立地作为3个单色来进行编码及解码的方式。
[0010]在AVC/H.264方式中，采用了从编码/解码对象图片内的已经编码、解码的块来进行预测的方法。将该方法称作帧内预测。此外，还采用了将已编码、解码的图片作为参照图片，预测相对于参照图片的运动的运动补偿。将通过该运动补偿来预测运动的方法称作帧间预测。
[0011 ] 首先，说明在AVC/H.264方式的帧内编码的帧内预测中切换帧内预测模式的单位。图4的(a)?(c)是用于说明切换帧内预测模式的单位的图。在AVC/H.264方式的帧内编码中，作为切换帧内预测模式的单位，准备了“4X4帧内预测”、“16X16帧内预测”、“8X8帧内预测”的3种。
[0012]在“4X4帧内预测”下，将宏块(亮度信号16X16像素块、色差信号8X8像素块)的亮度信号16分割成4X4像素块，按分割后的4X4像素单位从9种4X4帧内预测模式中选择模式，依次进行帧内预测(图4的(a))。
[0013]在“16X16像素帧内预测”下，按亮度信号的16X16像素块单位从4种16X16帧内预测模式中选择模式，进行帧内预测(图4的(b))。
[0014]在“8X8像素帧内预测”下，将宏块的亮度信号4分割成8X8像素块，按分割后的8X8像素单位从9种8X8帧内预测模式中选择模式，依次进行帧内预测(图4的(C))。
[0015]另外，关于色差信号的帧内预测，在色差格式为4:2:0或4:2:2时，按宏块单位从4种色差信号的帧内预测模式中选择模式，进行帧内预测。
[0016]接下来说明AVC/H.264方式的帧间编码中的帧间预测的单位。图5的(a)?(h)是用于说明宏块分区(Partit1n)及子宏块分区的图。在此，为简化说明，仅描绘了亮度信号的像素块。在MPEG系列中，宏块是按正方形区域规定的。一般，在包括AVC/H.264方式在内的MPEG系列中，将按16X16像素(水平16像素、垂直16像素)规定的块称作宏块。进而，在AVC/H.264方式中，将按8X8像素规定的块称作子宏块。所谓宏块分区，是指为对宏块进行运动补偿预测而进一步分割后的各个小块。所谓子宏块分区，是指为对子宏块进行运动补偿预测而进一步分割后的各个小块。
[0017]图5的(a)是表示宏块由I个宏块分区构成的情况的图，该I个宏块分区是由16X16像素的亮度信号和与之对应的2个色差信号构成的。在此，将该构成称作16X16模式的宏块类型。
[0018]图5的(b)是表不宏块由2个宏块分区构成的情况的图，该2个宏块分区分别由16X8像素(水平16像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区纵向排列。在此，将该构成称作16X8模式的宏块类型。
[0019]图5的(C)是表不宏块由2个宏块分区构成的情况的图，该2个宏块分区分别由8X 16像素(水平8像素、垂直16像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区横向排列。在此，将该构成称作8 X 16模式的宏块类型。
[0020]图5的(d)是表不宏块由4个宏块分区构成的情况的图，该4个宏块分区分别由8X8像素的亮度信号和与之对应的2个色差信号构成。该4个宏块分区纵横各二地排列。将该构成称作8X8模式的宏块类型。
[0021]图5的(e)是表示子宏块由I个子宏块分区构成的情况的图，该I个子宏块分区由8X8像素的亮度信号和与之对应的2个色差信号构成。在此，将该构成称作8X8模式的子宏块类型。
[0022]图5的(f)是表示子宏块由2个子宏块分区构成的情况的图，该2个子宏块分区分别由8X4像素(水平8像素、垂直4像素)的亮度信号和与之对应的2个色差信号构成。该2个子宏块分区纵向排列。将该构成称作8X4模式的子宏块类型。
[0023]图5的(g)是表不子宏块由2个宏块分区构成的情况的图，该2个子宏块分区分别由4X8像素(水平4像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区横向排列。在此，将该构成称作4X8模式的子宏块类型。
[0024]图5的(h)是表示子宏块由4个子宏块分区构成的情况的图，该4个子宏块分区分别由4X4像素的亮度信号和与之对应的2个色差信号构成。该4个子宏块分区纵横各二地排列。在此，将该构成称作4X4模式的子宏块类型。
[0025]在AVC/H.264编码方式中，采用了能够从以上运动补偿块尺寸中进行选择使用的方案。首先，作为宏块单位的运动补偿块尺寸，能从16 X 16、16 X 8、8 X 16及8 X 8模式的宏块类型中选择任意一者。当选择了 8X8模式的宏块类型时，作为子宏块单位的运动补偿块尺寸，能从8X8、8X4、4X8、4X4模式的子宏块类型中选择任意一者。
[0026][在先技术文献]
[0027][非专利文献]
[0028][非专利文献 1]IS0/IEC 14496-10Informat1n technology—Coding ofaud1-visual objects—Part 10:Advanced Video Coding
【发明内容】
[0029]〔发明所要解决的课题〕
[0030]在对与图像信号的帧内预测模式相关的信息进行编码时，是对与亮度信号的帧内预测模式相关的信息和与色差信号的帧内预测模式相关的信息进行编码后排列在编码流内的，但此时若没有根据色差格式对帧内预测模式进行编码，则有时处理效率会变差。
[0031]本发明是鉴于这样的状况而研发的，其目的在于提供一种能通过与色差格式相应的亮度信号和色差信号的帧内预测，效率良好地对图像信号进行编码或解码的技术。
[0032]〔用于解决课题的手段〕
[0033]为解决上述课题，本发明一个方案的图像编码装置是一种按预测块单位对与帧内预测模式相关的信息进行编码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行编码的图像编码装置，其包括:帧内亮度预测模式编码部(122、126)，设定亮度信号的预测块，基于表示所述亮度信号的预测块的帧内预测方法的亮度信号的帧内预测模式，将与亮度信号的帧内预测模式相关的句法要素编码，将与帧内亮度预测模式相关的信息编码到编码流中；帧内色差预测模式编码部(123、126)，设定色差信号的预测块，基于表示所述色差信号的预测块的帧内预测方法的色差信号的帧内色差预测模式，还参照所述帧内亮度预测模式地将与色差信号的帧内色差预测模式相关的句法要素编码，将与帧内色差预测模式相关的信息编码到编码流中；亮度信号帧内预测部(103)，根据所述帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测部(103)，根据所述帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。
[0034]本发明的另一方案是一种图像编码方法。该方法是按预测块单位对与帧内预测模式相关的信息进行编码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行编码的图像编码方法，其包括:帧内亮度预测模式编码步骤，设定亮度信号的预测块，基于表示所述亮度信号的预测块的帧内预测方法的亮度信号的帧内预测模式，将与亮度信号的帧内预测模式相关的句法要素编码，将与帧内亮度预测模式相关的信息编码到编码流中；帧内色差预测模式编码步骤，设定色差信号的预测块，基于表示所述色差信号的预测块的帧内预测方法的色差信号的帧内色差预测模式，还参照所述帧内亮度预测模式地将与色差信号的帧内色差预测模式相关的句法要素编码，将与帧内色差预测模式相关的信息编码到编码流中；亮度信号帧内预测步骤，根据所述帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测步骤，根据所述帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。
[0035]本发明的再一个方案是一种图像解码装置。该装置是按预测块单位将与帧内预测模式相关的信息解码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行解码的图像解码装置，其包括:帧内亮度预测模式解码部(222、224)，从编码流中解码出与亮度信号的帧内预测模式相关的句法要素，导出亮度信号的帧内预测模式，其中，所述编码流中编码有与表示亮度信号的预测块的帧内预测方法的帧内亮度预测模式相关的信息；帧内色差预测模式解码部(222、225)，从编码流中解码出与色差信号的帧内色差预测模式相关的句法要素，还参照所述帧内亮度预测模式地导出帧内色差预测模式，其中，所述编码流中编码有与表示色差信号的预测块的帧内预测方法的帧内色差预测模式相关的信息；亮度信号帧内预测部(206)，根据针对所述亮度信号的每个预测块分别确定的帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测部(206)，根据针对所述色差信号的每个预测块分别确定的帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。
[0036]本发明的再一个方案是一种图像解码方法。该方法是按预测块单位将与帧内预测模式相关的信息解码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行解码的图像解码方法，其包括:帧内亮度预测模式解码步骤，从编码流中解码出与亮度信号的帧内预测模式相关的句法要素，导出亮度信号的帧内预测模式，其中，所述编码流中编码有与表示亮度信号的预测块的帧内预测方法的帧内亮度预测模式相关的信息；帧内色差预测模式解码步骤，从编码流中解码出与色差信号的帧内色差预测模式相关的句法要素，还参照所述帧内亮度预测模式地导出帧内色差预测模式，其中，所述编码流中编码有与表示色差信号的预测块的帧内预测方法的帧内色差预测模式相关的信息；亮度信号帧内预测步骤，根据针对所述亮度信号的每个预测块分别确定的帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测步骤，根据针对所述色差信号的每个预测块分别确定的帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。
[0037]需要说明的是，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的实施方式，作为本发明的方案也是有效的。
[0038]〔发明效果〕
[0039]通过本发明，能利用与色差格式相应的亮度信号和色差信号的帧内预测，效率良好地编码或解码图像信号。
【附图说明】
[0040]图1是表示实施方式的图像编码装置的构成的功能框图。
[0041]图2是表示实施方式的图像解码装置的构成的功能框图。
[0042]图3是说明图像的色差格式的图。
[0043]图4是说明AVC/H.264方式的切换帧内预测模式的单位的图。
[0044]图5是说明AVC/H.264方式的帧间预测的单位的图。
[0045]图6是说明本实施例规定的树块及编码块的图。
[0046]图7是说明本实施例规定的分割模式的图。
[0047]图8是说明本实施例规定的帧内预测模式的值和预测方向的图。
[0048]图9是用于说明本实施例规定的块的位置的一例的图。
[0049]图10是说明用序列参数集对色差格式信息进行编码时的句法的定义的一例的图，该序列参数集是对本实施例规定的与序列整体的编码相关的信息进行编码的首部。
[0050]图11是说明本实施例规定的帧内预测时的NXN分割的编码块的色差信号的分割方法的图。
[0051]图12是表示实施方式的图像编码装置的第2编码流生成部的构成的功能框图。
[0052]图13是表示实施方式的图像解码装置的第2编码流解码部的构成的功能框图。
[0053]图14是基于本实施例规定的解码侧所使用的句法要素的值和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，导出帧内色差预测模式的值的表。
[0054]图15是本实施例规定的色差格式为4:2:2时，用于从帧内亮度预测模式或第I帧内色差预测模式变换成第2帧内色差预测模式的变换表的例子。
[0055]图16是本实施例规定的色差格式为4:2:2时，用于从帧内亮度预测模式或第I帧内色差预测模式变换成第2帧内色差预测模式的变换表。
[0056]图17是本实施例规定的色差格式为4:2:2时，用于从帧内亮度预测模式或第I帧内色差预测模式变换成第2帧内色差预测模式的变换表的另一例。
[0057]图18是说明本实施例规定的图15的变换表的帧内预测模式的值和预测方向的图。
[0058]图19是说明本实施例规定的图16的变换表的帧内预测模式的值和预测方向的图。
[0059]图20是说明本实施例规定的图17的变换表的帧内预测模式的值和预测方向的图。
[0060]图21是说明色差格式为4:2:2时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。
[0061]图22是说明色差格式为4:2:0时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。
[0062]图23是说明与本实施例规定的图15及图16的变换表对应的、从帧内亮度预测模式或第I帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。
[0063]图24是说明与本实施例规定的图17的变换表对应的、从第I帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。
[0064]图25是基于本实施例规定的编码侧所使用的帧内色差预测模式的值和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，导出与帧内色差预测模式相关的句法要素的值的表。
[0065]图26是说明解码侧的帧内预测模式的解码及帧内预测的处理步骤的图。
[0066]图27是从第I帧内色差预测模式导出色差格式4:2:2用的帧内预测的角度的表的例子。
[0067]图28是从第I帧内色差预测模式导出色差格式4:2:2用的帧内预测的角度的表的另一例。
[0068]图29是说明与本实施例规定的图28的表对应的、从第I帧内色差预测模式导出色差格式4:2:2用的帧内预测的角度的导出处理步骤的图。
[0069]图30是本实施例规定的色差格式为4:2:2时，用于从帧内亮度预测模式或第I帧内色差预测模式变换成第2帧内色差预测模式的变换表。
[0070]图31是说明本实施例规定的图30的变换表的帧内预测模式的值和预测方向的图。
[0071]图32是说明与本实施例规定的图30的变换表对应的、从第I帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。
[0072]图33是本实施例规定的色差格式为4:2:2时，用于从帧内亮度预测模式或第I帧内色差预测模式变换成第2帧内色差预测模式的变换表。
[0073]图34是说明本实施例规定的图33的变换表的帧内预测模式的值和预测方向的图。
[0074]图35是说明与本实施例规定的图33的变换表对应的、从第I帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。
【具体实施方式】
[0075]在本实施方式中，针对运动图像的编码及解码，尤其是按照将图片分割成任意尺寸、形状的矩形后的块单位，利用帧内预测和帧间预测来削减码量，所述帧内预测在编码中是基于已编码及已解码的周围块的像素值进行预测的，在解码中是基于已经解码(以下称作已解码)的周围块的像素值进行预测的，所述帧间预测是基于已解码的图片、利用运动补偿来进行预测的。
[0076]首先，对在本实施例中使用的技术及技术用语进行定义。
[0077](色差格式)
[0078]在实施方式的说明中作为编码及解码对象的图像的色差格式有单色、4:2:0、4:2:2、4:4:4，将亮度信号和色差信号作为组来进行编码及解码。但在与色差信号相关的说明中，省略单色情况时的说明。需要说明的是，色差格式为4:4:4时，也能对RGB的信号进行编码及解码。此时，将G(绿)信号视为亮度信号，将B(蓝)信号、R(红)信号视为色差信号进行编码和解码。需要说明的是，关于在4:4:4时对亮度信号和色差信号独立进行编码及解码的方法，在本实施例中是视作单色来进行的。
[0079](关于树块、编码块)
[0080]在实施方式中，如图6所示，将画面内按任意的相同尺寸的正方形单位均等分割。将该单位定义为树块，作为用于确定图像内的编码/解码对象块(在编码中为编码对象块、在解码中为解码对象块)的地址管理的基本单位。除单色外，树块由I个亮度信号和2个色差信号构成。树块的尺寸可以根据图片尺寸或画面内的纹理按2的幂乘的尺寸自由设定。关于树块，可以根据画面内的纹理，为使编码处理最优化而根据需要将树块内的亮度信号及色差信号层级地4分割(纵横各2分割)，使其成为块尺寸较小的块。将该块分别定义为编码块，作为进行编码及解码时的处理的基本单位。除单色外，编码块也由I个亮度信号和2个色差信号构成。编码块的最大尺寸与树块的尺寸相同。将成为编码块的最小尺寸的编码块称作最小编码块，可以按2的幂乘的尺寸自由设定。
[0081]在图6中，编码块A是不对树块进行分割、直接作为I个编码块的。编码块B是将树块4分割而成的编码块。编码块C是对将树块4分割后的块再进行4分割而成的编码块。编码块D是对将树块4分割后的块再层级地进行两次4分割而成的编码块，是最小尺寸的编码块。
[0082]在实施方式的说明中，色差格式为4:2:0，将树块的尺寸针对亮度信号设定为64X64像素、针对色差信号设定为32X32像素，将最小编码块的尺寸针对亮度信号设定为8X8像素、针对色差信号设定为4X4像素。在图6中，编码块A的尺寸针对亮度信号成为64 X 64像素、针对色差信号成为32 X 32像素，编码块B的尺寸针对亮度信号成为32 X 32像素、针对色差信号成为16X16像素，编码块C的尺寸针对亮度信号成为16X16像素、针对色差信号成为8 X 8像素，编码块D的尺寸针对亮度信号成为8 X 8像素、针对色差信号成为4X4像素。需要说明的是，在色差格式为4:4:4时，各编码块的亮度信号和色差信号的尺寸变得相等。在色差格式为4:2:2时，编码块A的尺寸针对色差彳目号成为32 X 64像素，编码块B的尺寸针对色差信号成为16 X 32像素，编码块C的尺寸针对色差信号成为8 X 16像素，作为最小编码块的编码块D的尺寸针对色差信号成为4X8像素。
[0083](关于预测模式)
[0084]按照编码块单位，切换基于已编码/已解码的周围的图像信号进行预测的帧内预测、和基于已编码/已解码的图像的图像信号进行预测的帧间预测。将识别该帧内预测和帧间预测的模式定义为预测模式(PredMode)。关于预测模式(PredMode)，可以使帧内预测(M0DE_INTRA)或帧间预测(M0DE_INTER)作为数值来进行选择、编码。
[0085](关于分割模式、预测块)
[0086]在将画面内分割成块进行帧内预测和帧间预测的情况下，为使切换帧内预测和帧间预测的方法的单