图像编码方法及图像编码装置的制造方法
【技术领域】
[0001]本发明涉及运动图像/图像编码方法及运动图像/图像编码装置。更详细地讲，本发明涉及通过适应性地决定编码单元(CU)、预测单元(PU)及变换单元(TU)的尺寸来实现高速多媒体编码的复杂度较低的运动图像/图像编码方法及装置。
【背景技术】
[0002]H.265/HEVC(高性能图像编码)等最新的图像编码方式以多个编码单元(CU)尺寸、多个预测单元(PU)尺寸及多个变换单元(TU)尺寸为对象。通过从这些⑶尺寸、尺寸及TU尺寸中选择速率失真成本最小的最优的组合来实现高压缩效率。更详细地讲，如图1所示，HEVC规格书在各编码块中，对应于从128 X 128 (即128像素横宽X 128像素纵宽)至IJ 8X8 (即，8像素横宽X8像素纵宽)的编码块尺寸模式、从32X32 (S卩，32像素横宽X32像素纵宽)到4X4(即，4像素横宽X4像素纵宽)的变换块尺寸模式、以及8个以内的预测块分区(partit1n)模式。
[0003]现有技术文献
[0004]非专利文献
[0005]非专利文献1:Η.265 (IS0/IEC23008 一 2HEVC)
【发明内容】
[0006]本发明的一技术方案涉及一种图像编码方法，包括:将第1单元尺寸定义为最小编码单元尺寸的定义步骤；将第2单元尺寸定义为最小变换单元尺寸的定义步骤；通过将第1参数向编码图像比特流的头写入来表示最小编码单元尺寸的写入步骤；通过将第2参数向编码图像比特流的头写入来表示最小变换单元尺寸的写入步骤；使用最小变换单元尺寸决定图像样本块的1个以上的变换单元尺寸的决定步骤；将图像样本块的预测单元尺寸设定为与所决定的变换单元尺寸相等的设定步骤；使用预测单元尺寸执行预测过程的预测过程执行步骤；使用变换单元尺寸执行变换过程的变换过程执行步骤；将图像样本块的编码单元尺寸设定为与所决定的变换单元尺寸和最小编码单元尺寸中的最大值相等的设定步骤；通过将多个参数向编码图像比特流的头写入来表示编码单元尺寸、预测单元尺寸和变换单元尺寸的写入步骤；使用编码单元尺寸、预测单元尺寸和变换单元尺寸将图像样本块进行编码的编码步骤。
[0007]通过这样的结构，⑶尺寸、PU尺寸及TU尺寸的组合候选的总数得以减少，所以能够减少帧内预测时的处理量。
【附图说明】
[0008]图1是表示现有技术的最大编码单元(LCU)中的编码单元(CU)尺寸、预测单元(PU)尺寸及变换单元(TU)尺寸的例子的图。
[0009]图2是表示本发明的运动图像/图像编码装置的构造的框图。
[0010]图3是表示本发明的编码过程的流程图。
[0011]图4是表示在本发明中决定图像块的1个以上的变换单元尺寸的过程的流程图。
[0012]图5是表示在本发明中基于计算出的方差值将子块分别进行分类的过程的流程图。
[0013]图6是表示在本发明中基于子块分类及最小变换单元决定图像块的变换单元尺寸的过程的流程图。
[0014]图7是表示关于最小编码单元尺寸、最小变换单元尺寸、编码单元尺寸、预测单元尺寸及上述变换单元尺寸的参数的配置例的句法图。
[0015]图8是表示在本发明中基于子块分类及上述最小变换单元尺寸来决定图像块的变换单元尺寸的例子的图。
[0016]图9是表示在本发明中在块中使用决定的变换单元尺寸来设定预测单元尺寸及编码单元尺寸的例子的图。
[0017]图10是实现内容分发服务的内容供给系统的整体结构图。
[0018]图11是数字广播用系统的整体结构图。
[0019]图12是表示电视机的结构例的框图。
[0020]图13是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。
[0021]图14是表示作为光盘的记录介质的构造例的图。
[0022]图15A是表示便携电话的一例的图。
[0023]图15B是表示便携电话的结构例的框图。
[0024]图16是表示复用数据的结构的图。
[0025]图17是示意地表示各流在复用数据中怎样被复用的图。
[0026]图18是更详细地表示在PES包序列中视频流怎样被存放的图。
[0027]图19是表示复用数据中的TS包和源包的构造的图。
[0028]图20是表示PMT的数据结构的图。
[0029]图21是表示复用数据信息的内部结构的图。
[0030]图22是表示流属性信息的内部结构的图。
[0031]图23是表示识别影像数据的步骤的图。
[0032]图24是表示各实施方式的运动图像编码方法以及运动图像解码方法的集成电路的结构例的框图。
[0033]图25是表示切换驱动频率的结构的图。
[0034]图26是表示识别影像数据、切换驱动频率的步骤的图。
[0035]图27是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0036]图28A是表示将信号处理部的模块共用的结构的一例的图。
[0037]图28B是表示将信号处理部的模块共用的结构的其他一例的图。
[0038]图29是表示编码过程的概要的流程图。
【具体实施方式】
[0039](实现本发明的认识)
[0040]在H.265/HEVC(高性能图像编码)等最新的图像编码方式中，能够选择的CU尺寸、PU尺寸及TU尺寸的组合的数量较多。
[0041]如32X32那样的较大的TU尺寸适合于编码效率。但是，在块包含较强的高频率信号的情况下，通过量化(例如振铃效应(ringing artifact))而发生不希望的空间噪声。在此情况下，为了限制噪声的范围，优选的是较小的变换尺寸。因而，为了提高编码效率，决定具有适应性的TU的尺寸变得重要。对此，可以考虑评价各变换尺寸，决定最适合于编码效率的变换尺寸。但是，能够选择的全部的PU和CU的组合中的有关评价的决定路径的数量是庞大的，所以处理量变得非常大。
[0042]像这样，测试考虑TU尺寸、尺寸及⑶尺寸的全部组合对于降低处理量、使处理高速化而言过于复杂。但是，在假如使用限制TU尺寸的最大值或CU尺寸、PU尺寸、TU尺寸的组合的最大值、降低编码装置中的决定的复杂度的方法的情况下，有可能使编码效率大幅降低。
[0043]本发明的目的是解决上述课题。以下，对详细情况进行说明。
[0044](实施方式1)
[0045]图2是表示本发明的运动图像/图像编码装置200的构造的框图。
[0046]运动图像/图像编码装置200是将所输入的运动图像/图像比特流按每个块进行编码而制作编码输出比特流的装置，如图2所示，该运动图像/图像编码装置200具备分区尺寸决定部201、变换部203、量化部205、逆量化部207、逆变换部209、块存储器211、图片存储器213、帧内预测部215、帧间预测部217及熵编码部219。
[0047]从运动图像/图像比特流，以多个图片、1个图片或1个切片等单位，将输入运动图像/图像向分区尺寸决定部201及加法器输入。分区尺寸决定部201决定被输入的运动图像/图像的单位的CU尺寸、PU尺寸及TU尺寸的组。详细情况使用图3后述。然后，分区尺寸决定部201将TU尺寸的数据D204输出至变换部203、将PU尺寸的数据D202输出至帧内预测部215及帧间预测部217、将⑶、PU及TU的尺寸的数据D206输出至内熵编码部219。
[0048]来自加法器的相加值被输出至变换部203。变换部203使用根据来自分区尺寸决定部201的TU尺寸的数据D204确定的TU尺寸，将相加值变换为频率系数，将得到的频率系数向量化部204输出。量化部205将被输入的频率系数进行量化，将得到的量化值向逆量化部207及熵编码部219输出。
[0049]另外，变换部203和量化部205的处理既有在各部中以TU单位依次执行的情况，也有使用具有与TU尺寸对应的系数的1个以上的矩阵的乘法总括起来执行的情况。此外，有时将量化用定标(scaling)、舍入(rounding)等用语表示。
[0050]熵编码部219与来自分区尺寸决定部201的⑶、及TU的尺寸的数据D206同样将来自量化部205的量化值进行编码，输出比特流。
[0051]逆量化部207将从量化部205输出的样本值进行逆量化，将频率系数向逆变换部209输出。逆变换部209对频率系数进行逆频率变换，将频率系数变换为比特流的样本值，将得到的样本值向加法器输出。加法器将从逆变换部206输出的比特流的样本值与从帧内预测部215/帧间预测部217输出的预测运动图像值/预测图像值分别相加，将得到的相加值为了进一步的预测而向块存储器211或图片存储器213输出。
[0052]另外，逆量化部207、逆变换部209的处理既有以TU单位依次执行的情况，也有使用具有与TU尺寸对应的系数的1个以上的矩阵的乘法总括起来进行的情况。这里，为了使说明变明确而使用逆量化、逆变换这样的词语，但逆量化、逆变换与量化、变换相比仅仅是系数的值不同，是使用矩阵的乘法的处理，所以有同样称作量化、变换的情况。
[0053]帧内预测部215按根据来自分区尺寸决定部201的PU尺寸数据D202确定的每个PU，在保存在块存储器211中的重构后的运动图像/图像内进行检索，将检索到的运动图像/图像的一部分复制或实施加权的乘法，从而制作与对象PU对应的预测运动图像/预测图像、即预测为与输入的运动图像/图像的对象PU类似的运动图像/图像。帧间预测部217按根据来自分区尺寸决定部201的PU尺寸数据D202确定的每个PU，在保存在帧存储器213中的重构后的运动图像/图像内进行检索，作为与对象PU对应的预测运动图像/图像而检测1个以上与输入的运动图像/图像的对象PU最类似或类似的可能性较高的运动图像/图像。
[0054]图3是表示本发明的运动图像/图像编码过程的流程图。以下说明的全部的单元尺寸用像素横宽X像素纵宽(例如MXN)表示，像素横宽既可以与像素纵宽相同也可以不同。
[0055]在步骤S301中，将第1单元尺寸定义为最小的编码单元尺寸。例如，第1单元尺寸是8X8(即，M = N = 8的8像素横宽X8像素纵宽)。
[0056]在步骤S302中，将第2单元尺寸定义为最小的变换单元尺寸。例如，第2单元尺寸是4X4( S卩，M = N = 4的4像素横宽Χ4像素纵宽)。
[0057]在步骤S303中，将表示编码单元的最小尺寸的第1参数向编码比特流的头写入。具体而言，将第1参数如图7所示配置在包含被编码的1个以上的图片的序列的序列头中。
[0058]在步骤S304中，将表示变换单元的最小尺寸的第2参数向编码比特流的头写入。具体而言，将第2参数如图7所示配置在序列的序列头