图像处理装置和图像处理方法与流程
技术领域
本公开涉及一种图像处理装置和图像处理方法。
背景技术：
通常，如下压缩技术是普及的：该压缩技术的目的是有效地传送或累积数字图像，并且该压缩技术例如通过使用图像特有的冗余、通过运动补偿和诸如离散余弦变换的正交变换来压缩图像的信息量。例如，在各种场景(诸如，通过广播站进行的图像的累积和分发以及通过一般用户进行的图像的接收和累积)中，广泛使用符合诸如ITU-T开发的H.26x标准或MPEG(运动图像专家组)开发的MPEG-y标准的标准技术的图像编码装置和图像解码装置。
H.26x标准(ITU-T Q6/16 VCEG)是最初以执行适合于诸如视频电话和视频会议的通信的编码的目的开发的标准。已知H.26x标准与MPEG-y标准相比，需要用于编码和解码的较大计算量，但是能够实现更高压缩比。此外，利用作为MPEG4活动的一部分的增强压缩视频编码的联合模型，开发了虽然基于H.26x标准、但是通过采用新功能来允许实现更高压缩比的标准。在2003年3月，该标准以H.264和MPEG-4部分10(高级视频编码：AVC)为名称成为国际标准。
上述图像编码方法中的一个重要技术是画面内预测，即帧内预测。帧内预测是如下技术：使用图像中相邻块之间的相关性，并且根据相邻的其他块的像素值来预测特定块的像素值，由此降低要编码的信息量。对于MPEG4之前的图像编码方法，仅正交变换系数的DC分量和低频分量是帧内预测的对象，而对于H.264/AVC，帧内预测针对所有像素值是可能的。通过使用帧内预测，对于像素值的变化是渐进的图像(例如，诸如蓝天的图像)，可以期望压缩率的显著提高。
在H.264/AVC中，可以使用例如4×4像素、8×8像素、或16×16像素的块作为处理单位(即，预测单位(PU))来进行帧内预测。在作为继H.264/AVC之后的下一代图像编码方案正进行标准化的HEVC(高效视频编码)中，预测单位的尺寸约扩展至32×32像素和64×64像素(参见非专利文献1)。
为了进行帧内预测，通常从多个预测模式中选择对要预测的块的像素值进行预测的最优预测模式。通常，通过从参考像素到要预测的像素的预测方向来区分预测模式。在H.264/AVC中，例如，当预测色差分量时，可以选择平均值预测、水平预测、垂直预测、以及平面预测四种预测模式。此外，在HEVC中，提出了称为线性模型(LM)模式的另外的预测模式，该LM模式使用动态构建的亮度分量的线性函数作为预测函数来预测色差分量的像素值(参见非专利文献2)。
引用列表
非专利文献
非专利文献1：Sung-Chang Lim,Hahyun Lee,Jinho Lee,Jongho Kim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,“Intra coding using extended block size”(VCEG-AL28,2009年7月)
非专利文献2：Jianle Chen等“CE6.a.4:Chroma intra prediction by reconstructed luma samples”(JCTVC-E266,2011年3月)
技术实现要素：
技术问题
然而，根据上述非专利文献2中描述的技术，LM模型中构建预测函数需要的处理代价随着参考像素的数量的增加而增加。因此，在预测单位的尺寸扩展至64×64像素的HEVC中，通过采用LM模式而增加处理代价可能使编码和解码性能降低。
因此，当如同LM模式、进行基于动态构建的预测函数的帧内预测时，期望提供一种如下技术：该技术能够避免或减轻构建预测函数需要的处理代价的增加。
问题的解决方案
根据本公开，提供了一种图像处理装置，包括：预测部，通过使用对应的亮度分量的值的函数，生成要解码的图像的像素的色差分量的预测值；系数计算部，通过参考像素所属的块周围的像素，计算预测部使用的函数的系数；以及控制器，控制系数计算部使用的参考像素的数量与块的块尺寸的比率。
通常，上述图像处理装置可实现为对图像进行解码的图像解码装置。
此外，根据本公开的实施例，提供了一种图像处理方法，包括：通过使用对应的亮度分量的值的函数，生成要解码的图像的像素的色差分量的预测值；通过参考该像素所属的块周围的像素，计算函数的系数；以及控制用于计算系数的参考像素的数量与块的块尺寸的比率。
此外，根据本公开的实施例，提供了一种图像处理装置，包括：预测部，通过使用对应的亮度分量的值的函数，生成要编码的图像的像素的色差分量的预测值；系数计算部，通过参考该像素所属的块周围的像素，计算预测部使用的函数的系数；以及控制器，控制系数计算部使用的参考像素的数量与块的块尺寸的比率。
通常，上述图像处理装置可实现为对图像进行编码的图像编码装置。
此外，根据本公开的实施例，提供了一种图像处理方法，包括：通过使用对应的亮度分量的值的函数，生成要编码的图像的像素的色差分量的预测值；通过参考该像素所属的块周围的像素，计算函数的系数；以及控制用于计算系数的参考像素的数量与块的块尺寸的比率。
此外，根据本公开的实施例，提供了一种图像处理装置，包括：预测部，使用要解码的图像的亮度分量，来进行图像的色差分量的帧内预测；以及控制器，可变地控制预测部进行帧内预测时参考的参考像素。
该图像处理装置可实现为对图像进行编码的图像编码装置或对图像进行解码的图像解码装置。
此外，根据本公开的实施例，提供了一种图像处理方法，包括：使用要解码的图像的亮度分量，来进行图像的色差分量的帧内预测；以及可变地控制进行色差分量的帧内预测时参考的参考像素。
根据本公开的一个方面，提供了一种图像处理装置，包括：指定单元，被配置为向包括N个块的当前编码块指定当前编码块的处理顺序为：按照从第一块至第N块的顺序处理，并且在针对每一块的处理中，依次处理该块中的亮度块和该块中的色度块，其中，N>2。
根据本公开的一个方面，还提供了一种图像处理方法，包括：向包括N个块的当前编码块指定当前编码块的处理顺序为：按照从第一块至第N块的顺序处理，并且在针对每一块的处理中，依次处理该块中的亮度块和该块中的色度块，其中，N>2。
发明的有利效果
根据本公开中的技术，当进行基于动态构建的预测函数的帧内预测时，可以避免或减轻构建预测函数需要的处理代价的增加。
附图说明
图1是示出根据实施例的图像编码装置的配置示例的框图。
图2是示出实施例的图像编码装置的帧内预测部的详细配置的示例的框图。
图3是示出4×4像素的预测单位的亮度分量的预测模式候选的示例的说明图。
图4是示出与图3中的示例有关的预测方向的说明图。
图5是示出与图3中的示例有关的参考像素的说明图。
图6是示出8×8像素的预测单位的亮度分量的预测模式候选的示例的说明图。
图7是示出16×16像素的预测单位的亮度分量的预测模式候选的示例的说明图。
图8是示出色差分量的预测模式候选的示例的说明图。
图9A是示出LM模式中的参考像素的第一说明图。
图9B是示出LM模式中的参考像素的第二说明图。
图10是示出第一场景中的参考比的定义的示例的说明图。
图11A是示出根据第一场景控制的参考像素的数量的第一示例的说明图。
图11B是示出根据第一场景控制的参考像素的数量的第二示例的说明图。
图12是示出第二场景中的参考比的定义的示例的说明图。
图13A是示出根据第二场景控制的参考像素的数量的第一示例的说明图。
图13B是示出根据第二场景控制的参考像素的数量的第二示例的说明图。
图13C是示出根据第二场景控制的参考像素的数量的第三示例的说明图。
图13D是示出根据第二场景控制的参考像素的数量的第四示例的说明图。
图14是示出第三场景中的参考比的定义的示例的说明图。
图15A是示出根据第三场景控制的参考像素的数量的第一示例的说明图。
图15B是示出根据第三场景控制的参考像素的数量的第二示例的说明图。
图16是示出第四场景中的参考比的定义的示例的说明图。
图17A是示出根据第四场景控制的参考像素的数量的第一示例的说明图。
图17B是示出根据第四场景控制的参考像素的数量的第二示例的说明图。
图18A是示出根据第五场景控制的参考像素的数量的第一示例的说明图。
图18B是示出根据第五场景控制的参考像素的数量的第二示例的说明图。
图19是示出根据实施例的编码时的帧内预测处理的示例的流程图。
图20是示出图19中的LM模式预测处理的详细流程的示例的流程图。
图21是示出根据实施例的图像解码装置的详细配置的示例的框图。
图22是示出根据实施例的图像解码装置的帧内预测部的详细配置的示例的框图。
图23是示出根据实施例的解码时的帧内预测处理的流程的示例的流程图。
图24是示出保存亮度分量被重采样之后的像素值的存储器的尺寸的说明图。
图25是示出根据第一变型例的稀疏(thinning)处理的示例的说明图。
图26A是示出与图25中的示例不同的稀疏率的第一说明图。
图26B是示出与图25中的示例不同的稀疏率的第二说明图。
图26C是示出与图25中的示例不同的稀疏率的第三说明图。
图27A是示出参考像素的稀疏位置和亮度分量的稀疏位置之间的对应关系的第一示例的说明图。
图27B是示出参考像素的稀疏位置和亮度分量的稀疏位置之间的对应关系的第二示例的说明图。
图28是示出第二变型例采用的新处理的顺序的说明图。
图29是示出电视机的示意性配置的示例的框图。
图30是示出移动电话的示意性配置的示例的框图。
图31是示出记录/再现装置的示意性配置的示例的框图。
图32是示出图像捕获装置的示意性配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本发明的优选实施例。注意，在该说明书和附图中，用相同附图标记表示具有基本相同的功能和结构的元件，并且省略重复说明。
此外，将按下述顺序描述“具体实施方式”。
1.根据实施例的图像编码装置的示例配置
2.根据实施例的编码时的处理的流程
3.根据实施例的图像解码装置的示例配置
4.根据实施例的解码时的处理的流程
5.变型例
6.示例应用
7.总结
<1.根据实施例的图像编码装置的示例配置>
[1-1.整体配置的示例]
图1是示出根据实施例的图像编码装置10的配置示例的框图。参照图1，图像编码装置10包括A/D(模拟到数字)转换部11、排序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、解块滤波器24、帧存储器25、选择器26和27、运动估计部30、以及帧内预测部40。
A/D转换部11将模拟格式输入的图像信号转换成数字格式的图像数据，并且将一系列数字图像数据输出到排序缓冲器12。
排序缓冲器12对从A/D转换部11输入的一系列图像数据中包括的图像进行排序。在依照根据编码处理的GOP(图片组)结构对图像进行排序之后，排序缓冲器12将已排序的图像数据输出到减法部13、运动估计部30、以及帧内预测部40。
从排序缓冲器12输入的图像数据以及由稍后描述的运动估计部30或帧内预测部40输入的预测图像数据被供给至减法部13。减法部13计算作为从排序缓冲器12输入的图像数据和预测图像数据之间的差的预测误差数据，并且将所计算的预测误差数据输出到正交变换部14。
正交变换部14对从减法部13输入的预测误差数据执行正交变换。例如，要由正交变换部14执行的正交变换可以是离散余弦变换(DCT)或Karhunen-Loeve变换。正交变换部14将通过正交变换处理获取的变换系数数据输出到量化部15。
从正交变换部14输入的变换系数数据和来自稍后描述的速率控制部18的速率控制信号被供给至量化部15。量化部15对变换系数数据进行量化，并且将已量化的变换系数数据(在下文中，被称为量化数据)输出到无损编码部16和逆量化部21。另外，量化部15基于来自速率控制部18的速率控制信号对量化参数(量化尺度)进行切换，由此改变要被输入到无损编码部16的量化数据的比特率。
无损编码部16通过对从量化部15输入的量化数据执行无损编码处理来生成编码流。通过无损编码部16进行的无损编码例如可以是可变长度编码或算术编码。另外，无损编码部16将从选择器27输入的关于帧内预测的信息或关于帧间预测的信息复用到编码流的报头区域。然后，无损编码部16将所生成的编码流输出到累积缓冲器17。
累积缓冲器17使用诸如半导体存储器的存储介质，暂时存储从无损编码部16输入的编码流。然后，累积缓冲器17以根据传输线的频带的速率，将所累积的编码流输出到传输部(未示出)(例如，通信接口或到外围装置的连接接口)。
速率控制部18监视累积缓冲器17的空闲空间。然后，速率控制部18根据累积缓冲器17上的空闲空间来生成速率控制信号，并且将所生成的速率控制信号输出到量化部15。例如，当在累积缓冲器17上不存在太多空闲空间时，速率控制部18生成用于降低量化数据的比特率的速率控制信号。另外，例如，当累积缓冲器17上的空闲空间足够大时，速率控制部18生成用于提高量化数据的比特率的速率控制信号。
逆量化部21对从量化部15输入的量化数据执行逆量化处理。然后，逆量化部21将通过逆量化处理获取的变换系数数据输出至逆正交变换部22。
逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，由此恢复预测误差数据。然后，逆正交变换部22将所恢复的误差数据输出到加法部23。
加法部23对从逆正交变换部22输入的所恢复的预测误差数据和从运动估计部30或帧内预测部40输入的预测图像数据进行相加，由此生成解码图像数据。然后，加法部23将所生成的解码图像数据输出到解块滤波器24和帧存储器25。
解块滤波器24执行滤波处理以用于降低在对图像进行编码时出现的块失真。解块滤波器24对从加法部23输入的解码图像数据进行滤波以去除块失真，并且将滤波之后的解码图像数据输出到帧存储器25。
帧存储器25使用存储介质存储从加法部23输入的解码图像数据和从解码滤波器24输入的滤波之后的解码图像数据。
选择器26从帧存储器25读取要用于帧间预测的、滤波之后的解码图像数据，并且将已读取的解码图像数据供给运动估计部30作为参考图像数据。另外，选择器26从帧存储器25读取要用于帧内预测的、滤波之前的解码图像数据，并且将已读取的解码图像数据供给帧内预测部40作为参考图像数据。
在帧间预测模式中，选择器27将作为从运动估计部30输出的帧间预测结果的预测图像数据输出到减法部13，并且还将关于帧间预测的信息输出到无损编码部16。此外，在帧内预测模式中，选择器27将作为从帧内预测部40输出的帧内预测结果的预测图像数据输出到减法部13，并且还将关于帧内预测的信息输出到无损编码部16。选择器27依赖于从运动估计部30或帧内预测部40输出的代价函数的大小，在帧间预测模式和帧内预测模式之间切换。
运动估计部30基于从排序缓冲器12输入的、要编码的图像数据(原始图像数据)和经由选择器26供给的解码图像数据，执行帧间预测处理(帧间预测处理)。例如，运动估计部30使用预定代价函数，对每个预测模式的预测结果进行评估。接下来，运动估计部30选择产生最小代价函数值的预测模式、即产生最高压缩比的预测模式作为最优预测模式。另外，运动估计部30根据最优预测模式生成预测图像数据。然后，运动估计部30将指示所选择的最优预测模式的预测模式信息、关于包括运动向量信息和参考图像信息的帧间预测的信息、代价函数值、以及预测图像数据输出到选择器27。
帧内预测部40基于从排序缓冲器12输入的原始图像数据和从帧存储器25供给的作为参考图像数据的解码图像数据，来对图像内设置的每个块执行帧内预测处理。然后，帧内预测部40将关于包括指示最优预测模式的预测模式信息和有关尺寸的信息的帧内预测的信息、代价函数值、以及预测图像数据输出到选择器27。可以由帧内预测部40选择的预测模式除了现有帧内预测模式之外还包括关于色差分量的线性模型(LM)模式。与上述非专利文献2中描述的LM模式相比，本实施例中的LM模式特征在于，参考像素的数量与块尺寸的比率可以改变。稍后将详细描述通过帧内预测部40进行的帧内预测处理。
[1.2帧内预测部的配置示例]
图2是示出图1中示出的图像编码装置10的帧内预测部40的详细配置的示例的框图。参照图2，帧内预测部40包括预测控制器42、系数计算部44、预测部46、以及模式确定部48。
预测控制器42控制通过帧内预测部40进行的帧内预测处理。例如，预测控制器42以编码单位(CU)执行亮度分量(Y)的帧内预测处理，并且然后执行色差分量(Cb、Cr)的帧内预测处理。在亮度分量的帧内预测处理中，预测控制器42使得预测部46以多个预测模式生成每个像素的预测像素值，并且使得模式确定部48确定亮度分量的最优预测模式。结果，也决定编码单位中的预测单位的布置。在色差分量的帧内预测处理中，预测控制器42使得预测部46对于每个预测单位以多个预测模式生成每个像素的预测像素值，并且使得模式确定部48确定色差分量的最优预测模式。
亮度分量的预测模式候选可以是由诸如H.264/AVC的现有图像编码方案采用的预测模式或不同预测模式。色差分量的预测模式候选也可以包含由现有图像编码方案采用的预测模式。此外，色差分量的预测模式候选包含上述LM模式。根据上述非专利文献2中描述的技术，参考像素的数量与计算LM模式中的预测函数的系数时的块尺寸的比率是恒定的。因此，参考像素的数量随着增加的块尺寸而相应地增加。在本实施例中，另一方面，预测控制器42可变地控制以上比率。这里，块尺寸原则上是预测单位的尺寸。预测控制器42控制的上述比率、即参考像素的数量与块尺寸的比率在这里将被称为“参考比”。通常根据块尺寸执行通过预测控制器42执行的参考比的控制。此外，预测控制器42可根据影响与预测单位对应的色差分量的块尺寸的色度格式来控制参考比。预测控制部42还可根据定义用于对图像进行编码和解码的装置的能力的参数(例如，简档(profile)或水平)来控制参考比。稍后将更详细地描述通过预测控制器42进行的控制参考比的多个场景。
系数计算部44通过参照要预测的像素所属的预测单位周围的像素、即参考像素，来计算LM模式中预测部46使用的预测函数的系数。通常，预测部46使用的预测函数是亮度分量的值的线性函数。如上所述，通过预测控制器42控制系数计算部44计算预测函数的系数参考的参考像素的数量。
预测部46在预测控制器42的控制下，根据各个预测模式候选来预测要预测的像素的亮度分量的像素值和色差分量的像素值。稍后将详细描述预测部46使用的预测模式候选的示例。对于每个预测模式，作为预测部46的预测结果生成的预测图像数据被输出到模式确定部48。
模式确定部48基于从排序缓冲器12输入的原始图像数据和从预测部46输入的预测图像数据，计算每个预测模式的代价函数值。然后，基于所计算的代价函数值，模式确定部48决定亮度分量的最优预测模式和编码单位内的预测单位的布置。类似地，基于色差分量的代价函数值，模式确定部48决定色差分量的最优预测模式。然后，模式确定部48将关于包括指示所决定的最优预测模式的预测模式信息和尺寸相关信息的帧内预测的信息、代价函数值、以及包括亮度分量和色差分量的预测像素值的预测图像数据输出到选择器27。从模式确定部48输出的尺寸相关信息除标识每个预测单位的尺寸的信息之外还包含指定色度格式的信息。
[1-3.预测模式候选]
接下来，将描述帧内预测部40的预测部46可以使用的预测模式候选。
(1)亮度分量的预测模式候选
亮度分量的预测模式候选可以是诸如H.264/AVC的现有图像编码方案采用的预测模式。图3至5是示出当预测单位的尺寸是4×4像素时这样的预测模式候选的说明图。
参照图3，示出了可以用于4×4像素的预测单位的九个预测模式(模式0到模式8)。在图4中，示意性地示出了对应于每个模式号的预测方向。在图5中，小写的字母字符a到p表示4×4像素的预测单位的每个像素(即，要预测的每个像素)的像素值。预测单位周围的Rz(z＝a,b,…,m)表示编码参考像素的像素值。
例如，模式0中的预测方向是垂直方向，并且如下计算每个预测像素值：
a＝e＝i＝m＝Ra
b＝f＝j＝n＝Rb
c＝g＝k＝o＝Rc
d＝h＝l＝p＝Rd
模式1中的预测方向是水平方向，并且如下计算每个预测像素值：
a＝b＝c＝d＝Ri
e＝f＝g＝h＝Rj
i＝j＝k＝l＝Rk
m＝n＝o＝p＝Rl
模式2表示DC预测(平均值预测)，并且取决于可以使用哪个参考像素，根据以下四个公式之一来计算每个预测像素值。
a＝b＝...＝p＝(Ra+Rb+Rc+Rd+Ri+Rj+Rk+Rl+4)>>3
a＝b＝...＝p＝(Ra+Rb+Rc+Rd+2)>>2
a＝b＝...＝p＝(Ri+Rj+Rk+Rl+2)>>2
a＝b＝...＝p＝128
模式3中的预测方向是斜左下方向，并且如下计算每个预测像素值：
a＝(Ra+2Rb+Rc+2)＞＞2
b＝e＝(Rb+2Rc+Rd+2)＞＞2
c＝f＝i＝(Rc+2Rd+Re+2)＞＞2
d＝g＝j＝m＝(Rd+2Re+Rf+2)＞＞2
h＝k＝n＝(Re+2Rf+Rg+2)＞＞2
l＝o＝(Rf+2Rg+Rh+2)＞＞2
p＝(Rg+3Rh+2)＞＞2
模式4中的预测方向是斜右下，并且如下计算每个预测像素值：
m＝(Rj+2Rk+Rl+2)＞＞2
i＝n＝(Ri+2Rj+Rk+2)＞＞2
e＝j＝o＝(Rm+2Ri+Rj+2)＞＞2
a＝f＝k＝p＝(Ra+2Rm+Ri+2)＞＞2
b＝g＝l＝(Rm+2Ra+Rb+2)＞＞2
c＝h＝(Ra+2Rb+Rc+2)＞＞2
d＝(Rb+2Rc+Rd+2)＞＞2
模式5中的预测方向是垂直右，并且如下计算每个预测像素值：
a＝j＝(Rm+Ra+1)>>1
b＝k＝(Ra+Rb+1)>>1
c＝l＝(Rb+Rc+1)>>1
d＝(Rc+Rd+1)>>1
e＝n＝(Ri+2Rm+Ra+2)>>2
f＝o＝(Rm+2Ra+Rb+2)>>2
g＝p＝(Ra+2Rb+Rc+2)>>2
h＝(Rb+2Rc+Rd+2)>>2
i＝(Rm+2Ri+Rj+2)>>2
m＝(Ri+2Rj+Rk+2)>>2
模式6中的预测方向是水平下，并且如下计算每个预测像素值：
a＝g＝(Rm+Ri+1)>>1
b＝h＝(Ri+2Rm+Ra+2)>>2
c＝(Rm+2Ra+Rb+2)>>2
d＝(Ra+2Rb+Rc+2)>>2
e＝k＝(Ri+Rj+1)>>1
f＝l＝(Rm+2Ri+Rj+2)>>2
i＝o＝(Rj+Rk+1)>>1
j＝p＝(Ri+2Rj+Rk+2)>>2
m＝(Rk+Rl+1)>>1
n＝(Rj+2Rk+Rl+2)>>2
模式7中的预测方向是垂直左，并且如下计算每个预测像素值：
a＝(Ra+Rb+1)>>1
b＝i＝(Rb+Rc+1)>>1
c＝j＝(Rc+Rd+1)>>1
d＝k＝(Rd+Re+1)>>1
l＝(Re+Rf+1)>>1
e＝(Ra+2Rb+Rc+2)>>2
f＝m＝(Rb+2Rc+Rd+2)>>2
g＝n＝(Rc+2Rd+Re+2)>>2
h＝o＝(Rd+2Re+Rf+2)>>2
p＝(Re+2Rf+Rg+2)>>2
模式8中的预测方向是水平上，并且如下计算每个预测像素值：
a＝(Ri+Rj+1)>>1
b＝(Ri+2Rj+Rk+2)>>2
c＝e＝(Rj+Rk+1)>>1
d＝f＝(Rj+2Rk+Rl+2)>>2
g＝i＝(Rk+R1+1)>>1
h＝j＝(Rk+3Rl+2)>>2
k＝l＝m＝n＝o＝p＝R1
参照图6，示出了可以用于8×8像素的预测单位的九个预测模式(模式0到模式8)。模式0中的预测方向是垂直。模式1中的预测方向是水平。模式2表示DC预测(平均值预测)。模式3中的预测方向是斜左下。模式4中的预测方向是斜右下。模式5中的预测方向是垂直右。模式6中的预测方向是水平下。模式7中的预测方向是垂直左。模式8中的预测方向是水平上。
参照图7，示出了可以用于16×16像素的预测单位的四个预测模式(模式0到模式3)。模式0中的预测方向是垂直。模式1中的预测方向是水平。模式2表示DC预测(平均值预测)。模式3表示平面预测。
(2)色差分量的预测模式候选
可以独立于亮度分量的预测模式选择色差分量的预测模式。在图8中，示出了在色差分量的块尺寸是8×8像素时可以使用的预测模式候选中，用于诸如H.264/AVC的现有图像编码方案的四个预测模式(模式0到模式3)。
模式0表示DC预测(平均值预测)。这里，像素位置(x,y)的预测像素值表示为PrC(x,y)，八个左参考像素值表示为ReC(-1,n)，并且八个上参考像素值表示为ReC(n,-1)。作为下标的C表示色差分量。n是大于等于0并且小于等于7的整数。然后，取决于哪个参考像素可用，根据以下三个公式之一计算预测像素值PrC(x,y)：
[数学式1]
模式1中的预测方向是水平，并且如下计算预测像素值PrC(x，y)：
[数学式2]
PrC[x，y]＝ReC[-1，y]
模式2中的预测方向是垂直，并且如下计算预测像素值PrC(x，y)：
[数学式3]
PrC[x，y]＝ReC[x，-1]
模式3表示平面预测。如下计算预测像素值PrC(x，y)：
[数学式4]
PrC[x，y]＝Clip1(a+b·(x-3)+c·(y-3)+16)＞＞5
a＝16·(ReC[-1，7]+ReC[7，-1])
b＝(17·H+16)＞＞5
c＝(17·V+16)＞＞5
此外，在本实施例中，可以选择将在下一部分中描述的LM模式(例如，作为模式4)。
[1-4.LM模式的细节]
在LM模式中，通过使用对应的亮度分量的值的线性函数来计算色差分量的预测像素值。例如，LM模式中使用的预测函数可以是在非专利文献2中描述的如下线性函数：
[数学式5]
PrC[x，y]＝α·ReL′[x，y]+β (1)
在公式(1)中，ReL’(x，y)表示在解码图像(所谓的重构图像)的亮度分量的重采样之后的像素位置(x，y)的值。取代解码图像，原始图像用于图像编码。取决于色度格式，当色差分量的分辨率不同于亮度分量的分辨率时，对亮度分量进行重采样。如果例如色度格式是4：2：0，则以在水平方向和垂直方向两者上像素的数量减少一半这样的方式，根据以下公式对亮度分量进行重采样。ReL(u,v)表示重采样之前像素位置(u,v)中的亮度分量的值。
[数学式6]
ReL′[x,y]＝(ReL[2x，2y]+ReL[2x,2y+1])>>1 (2)
如果色度格式是4:2:2，则以在水平方向上像素的数量减少一半这样的方式对亮度分量进行重采样。如果色度格式是4:4:4，则不对亮度分量进行重采样。
根据以下公式(3)计算公式(1)中的系数α。另外，根据以下公式(4)计算公式(1)中的系数β。
[数学式7]
在公式(3)和(4)中，I表示参考像素的数量。如果例如色差分量的块尺寸是8×8并且八个左参考像素和八个上参考像素均可用，则I被计算为I＝8+8＝16。
上述公式(1)至(4)与非专利文献2中描述的公式相同。图9A和9B是进一步示出线性模型中的参考像素的说明图。
在图9A的示例中，预测单位(PU)的尺寸是16×16像素，并且色度格式是4:2:0。在这种情况下，色差分量的块尺寸是8×8像素。色差分量的参考像素ReC(i)的数量是8+8＝16(如果左参考像素和上参考像素均可用)。作为重采样的结果，亮度分量的参考像素ReL’(i)的数量也是8+8＝16。
在图9B的示例中，预测单位(PU)的尺寸是8×8像素，并且色度格式是4:2:0。在这种情况下，色差分量的块尺寸是4×4像素。色差分量的参考像素ReC(i)的数量是4+4＝8。作为重采样的结果，亮度分量的参考像素ReL’(i)的数量也是4+4＝8。
图9A和9B的两个示例的比较示出，如果色度格式的其他条件等相同，则参考像素的数量与块尺寸的比率保持不变。即，当在图9A的示例中预测单位的一边的尺寸是16像素并且参考像素的数量I是16时，图9B的示例中的预测单位的一边的尺寸是8个像素并且参考像素的数量I是8。因此，如果参考像素的数量I随着增加的块尺寸而增加，则使用公式(3)和公式(4)计算系数α和系数β所需的处理代价也分别增加。如将通过特别关注公式(3)所理解的，像素值的乘法的次数以参考像素的数量I的平方的量级增加。因此，如果在计算系数α和系数β时没有适当地控制参考像素的数量I，则在块尺寸较大时，编码和解码的性能非常有可能降低。
因此，如将在下一部分所描述的，当系数计算部44计算LM模式中的预测函数的系数α和系数β时，预测控制器42可变地控制参考像素的数量。
[1-5.参考像素的数量的控制]
通常，预测控制器42控制作为参考像素的数量与块尺寸的比率的参考比，以便其随着增加的块尺寸而降低。由此，当块尺寸增加时抑制处理代价的增加。当块尺寸小到处理代价不存在问题的程度时，即使块尺寸不同，预测控制器42也可以不改变参考比。以下将参照图10至18B描述控制参考比的五个示例性场景。
(1)第一场景
图10是示出第一场景中的参考比的定义的示例的说明图。
在第一场景中，如果预测单位(PU)的尺寸是4×4像素，则参考比是“1:1”。如图9A和9B所示，参考比“1:1”意味着使用全部参考像素。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是2(垂直方向Iv)+2(水平方向Ih)＝4。如果色度格式是4:2:2，则参考像素的数量I是4+2＝6。如果色度格式是4:4:4，则参考像素的数量I是4+4＝8。
类似地，当预测单位的尺寸是8×8像素时，参考比也是“1:1”。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是4+4＝8。如果色度格式是4:2:2，则参考像素的数量I是8+4＝12。如果色度格式是4:4:4，则参考像素的数量I是8+8＝16。
相反，当预测单位的尺寸是16×16像素时，参考比是“2:1”。如图9A和9B所示，参考比“2:1”意味着仅使用一半参考像素。即，在计算系数α和系数β时，系数计算部44稀疏掉一半参考像素，并且仅使用剩余的参考像素。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是(8/2)+(8/2)＝8。如果色度格式是4:2:2，则参考像素的数量I是(16/2)+(8/2)＝12。如果色度格式是4:4:4，则参考像素的数量I是(16/2)+(16/2)＝16。
图11A示出了当PU尺寸是16×16像素并且色度格式是4:2:0时，参考像素设置的示例。在图11A的示例中，对色差分量的每第二个参考像素和亮度分量的每第二个参考像素进行稀疏。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为8。
此外，当预测单位的尺寸是32×32像素时，参考比是“4:1”。如图9A和9B所示，参考比“4:1”意味着仅使用四分之一的参考像素。即，在计算系数α和系数β时，系数计算部44稀疏掉四分之三的参考像素，并且仅使用剩余的参考像素。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是(16/4)+(16/4)＝8。如果色度格式是4:2:2，则参考像素的数量I是(32/4)+(16/4)＝12。如果色度格式是4:4:4，则参考像素的数量I是(32/4)+(32/4)＝16。
图11B示出了当PU尺寸是32×32像素并且色度格式是4:2:0时参考像素设置的示例。在图11B的示例中，对色差分量的每四个连续像素中的三个参考像素和亮度分量的每四个连续像素中的三个参考像素进行稀疏。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为8。
如同在第一场景中，根据块尺寸和参考比之间的映射，只要色度格式相同，则当块尺寸是8×8像素或以上时，参考像素的数量I恒定。因此，当块尺寸增加时，抑制处理代价的增加。另外，当块尺寸超过预定尺寸时，通过控制参考比以使得参考像素的数量恒定，可以通过使用小规模共通的电路或逻辑来执行系数计算部44的系数计算处理。因此，也可以抑制电路规模或逻辑规模的增加。
当块尺寸达不到预定尺寸时，通过将要稀疏的参考像素的数量设置为零，可以防止由于参考像素的数量不足引起的LM模式中预测准确度的降低。具体地，当由于图像的复杂内容(即，像素值的空间波动强烈)而比较难以进行帧内预测时，可能在图像内设置较小预测单位。在这样的情况下通过确保足够数量的参考像素，可以防止LM模式中预测准确度的降低。
这里，提供了如下描述：在系数计算部44计算系数时要稀疏的参考像素的数量根据参考比而改变。即，系数计算部44还具有如下稀疏部的作用：该稀疏部按参考比根据要预测的块尺寸来对在进行LM模式中的帧内预测时参考的参考像素进行稀疏。这还适用于稍后描述的图像解码装置60的系数计算部94。然而，取代对参考像素进行稀疏，可以通过根据多个参考像素值来推导一个代表值，可变地控制参考像素的数量。如果例如参考比是“4:1”，则四个连续参考像素的像素值的平均值或其中值可用作代表值。这也适用于这里描述的其他场景。在非常容易实现对参考像素进行稀疏的处理的同时，可以通过使用以上代表值来改进预测准确度。
(2)第二场景
图12是示出第二场景中的参考比的定义的示例的说明图。在第二场景中，预测控制器42除了预测单位的尺寸之外，还根据色度格式来控制参考比。另外，预测控制器42单独控制作为左参考像素的数量与垂直方向上的尺寸的比率的第一参考比以及作为上参考像素的数量与水平方向上的尺寸的比率的第二参考比。
在第二场景中，如果预测单位的尺寸是4×4像素并且色度格式是4:2:0，则垂直方向上的参考比和水平方向上的参考比均为“1:1”。在这种情况下，不对参考像素进行稀疏并且参考像素的数量I是2+2＝4。如果预测单位的尺寸是4×4像素并且色度格式是4:2:2，则垂直方向上的参考比是“2:1”并且水平方向上的参考比是“1:1”。在这种情况下，作为对垂直方向上的参考像素的一半参考像素进行稀疏的结果，参考像素的数量I是(4/2)+2＝4。如果预测单位的尺寸是4×4像素并且色度格式是4:4:4，则垂直方向上的参考比和水平方向上的参考比均为“2:1”。在这种情况下，作为对垂直方向和水平方向两者上的参考像素的一半参考像素进行稀疏的结果，参考像素的数量I是(4/2)+(4/2)＝4。
如果预测单位的尺寸是8×8像素并且色度格式是4:2:0，则垂直方向上的参考比和水平方向上的参考比均为“1:1”。在这种情况下，不对参考像素进行稀疏并且参考像素的数量I是4+4＝8。如果预测单位的尺寸是8×8像素并且色度格式是4:2:2，则垂直方向上的参考比是“2:1”并且水平方向上的参考比是“1:1”。在这种情况下，作为对垂直方向上的参考像素的一半参考像素进行稀疏的结果，参考像素的数量I是(8/2)+2＝8。如果预测单位的尺寸是8×8像素并且色度格式是4:4:4，则垂直方向上的参考比和水平方向上的参考比均为“2:1”。在这种情况下，作为对垂直方向和水平方向两者上的参考像素的一半参考像素进行稀疏的结果，参考像素的数量I是(8/2)+(8/2)＝8。
图13A示出了当PU尺寸是8×8像素并且色度格式是4:2:0时参考像素设置的示例。在图13A的示例中，既不对色差分量的参考像素进行稀疏也不对亮度分量的参考像素进行稀疏。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为8。
图13B示出了当PU尺寸是8×8像素并且色度格式是4:2:2时参考像素设置的示例。在图13B的示例中，稀疏掉色差分量和亮度分量的垂直方向上的每第二个参考像素。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为8。
图13C示出了当PU尺寸是8×8像素并且色度格式是4:4:4时参考像素设置的示例。在图13C的示例中，稀疏掉色差分量和亮度分量的垂直方向和水平方向上的每第二个参考像素。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为8。
如果预测单位的尺寸是16×16像素并且色度格式是4:2:0，则垂直方向上的参考比和水平方向上的参考比均为“2:1”。在这种情况下，参考像素的数量I是(8/2)+(8/2)＝8。如果预测单位的尺寸是16×16像素并且色度格式是4:2:2，则垂直方向上的参考比是“4:1”并且水平方向上的参考比是“2:1”。在这种情况下，参考像素的数量I是(16/4)+(8/2)＝8。如果预测单位的尺寸是16×16像素并且色度格式是4:4:4，则垂直方向上的参考比和水平方向上的参考比均为“4:1”。在这种情况下，参考像素的数量I是(16/4)+(16/4)＝8。
图13D示出了当PU尺寸是16×16像素并且色度格式是4:2:0时参考像素设置的示例。在图13D的示例中，稀疏掉色差分量和亮度分量的垂直方向和水平方向上的每第二个参考像素。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为8。
如果预测单位的尺寸是32×32像素并且色度格式是4:2:0，则垂直方向上的参考比和水平方向上的参考比均为“4:1”。在这种情况下，参考像素的数量I是(16/4)+(16/4)＝8。如果预测单位的尺寸是32×32像素并且色度格式是4:2:2，则垂直方向上的参考比是“8:1”并且水平方向上的参考比是“4:1”。在这种情况下，参考像素的数量I是(32/8)+(16/4)＝8。如果预测单位的尺寸是32×32像素并且色度格式是4:4:4，则垂直方向上的参考比和水平方向上的参考比均为“8:1”。在这种情况下，参考像素的数量I是(32/8)+(32/8)＝8。
在第二场景中，如将从以上描述理解的，预测控制器42控制参考比，以使得参考比随着由色度格式表示的色差分量的增加的分辨率而降低。由此抑制处理代价伴随着色差分量的块尺寸的增加而增加。另外，在第二场景中，如果色度格式是4:2:2，则预测控制器42单独控制垂直方向上的参考比和水平方向上的参考比，以使得块左侧上的参考像素的数量和块上侧的参考像素的数量变得相等。因此，可以使得在色度格式相互不同的多种情况下，参考像素的数量相同。结果，可以不管色度格式如何，通过使用共通的电路或逻辑来执行系数计算部44进行的系数计算处理。因此，根据第二场景，促进电路或逻辑的高效实现。
(第三场景)
图14是示出第三场景中的参考比的定义的示例的说明图。另外，在第三场景中，预测控制器42单独控制作为左参考像素的数量与垂直方向上的尺寸的比率的第一参考比、以及作为上参考像素的数量与水平方向上的尺寸的比率的第二参考比。在第三场景中，预测控制器42控制参考比，以使得垂直方向上的参考比等于或小于水平方向上的参考比。
在第三场景中，如果预测单位的尺寸是4×4像素，则垂直方向上和水平方向上的参考比均为“1:1”。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是2+2＝4。如果色度格式是4:2:2，则参考像素的数量I是4+2＝6。如果色度格式是4:4:4，则参考像素的数量I是4+4＝8。
如果预测单位的尺寸是8×8像素，则垂直方向上的参考比是“2:1”并且水平方向上的参考比是“1:1”。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是(4/2)+4＝6。如果色度格式是4:2:2，则参考像素的数量I是(8/2)+4＝8。如果色度格式是4:4:4，则参考像素的数量I是(8/2)+8＝12。
图15A示出了当PU尺寸是8×8像素并且色度格式是4:2:0时参考像素设置的示例。在图15A的示例中，稀疏掉色差分量的参考像素和亮度分量的参考像素的垂直方向上的下半部分参考像素。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为6。
如果预测单位的尺寸是16×16像素，则垂直方向上的参考比是“4:1”并且水平方向上的参考比是“1:1”。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是(8/4)+8＝10。如果色度格式是4:2:2，则参考像素的数量I是(16/4)+8＝12。如果色度格式是4:4:4，则参考像素的数量I是(16/4)+16＝20。
图15B示出了当PU尺寸是16×16像素并且色度格式是4:2:0时参考像素设置的示例。在图15B的示例中，稀疏掉色差分量的参考像素和亮度分量的参考像素的垂直方向上的下部四分之三参考像素。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为10。
如果预测单位的尺寸是32×32像素，则垂直方向上的参考比是“8:1”并且水平方向上的参考比是“2:1”。在这种情况下，如果色度格式是4:2:0，则参考像素的数量I是(16/8)+(16/2)＝10。如果色度格式是4:2:2，则参考像素的数量I是(32/8)+(16/2)＝12。如果色度格式是4:4:4，则参考像素的数量I是(32/8)+(32/2)＝20。
在对图像进行编码或解码的装置中，在多数情况下参考像素值存储在帧存储器或线路存储器中，并且以水平方向上的行为单位进行存取。因此，如果如同在第三场景中，使得垂直方向上的参考比小于水平方向上的参考比，则即使要使用的参考像素的数量相同，也可以减少存取存储器的次数。因此，可以以高速执行通过系数计算部44进行的系数计算处理。另外，通过如同在第三场景中、优选地使用块的上方的行中的参考像素，可以通过连续存取存储器而在短时间内获取参考像素值。
(4)第四场景
图16是示出第四场景中的参考比的定义的示例的说明图。在第四实施例中，预测控制器42控制参考比，以使得参考比随着对图像进行编码和解码的装置的能力的降低而降低。在HEVC中，例如，简档、水平、或这两者可以用作表示装置的能力的参数。通常可以在编码流的序列参数组中指定简档和水平。
参照图16，在第四场景中，装置的能力被分类成“高”和“低”两个类别。关于具有4×4像素尺寸的预测单位，与装置的能力无关，参考比是“1:1”。相反，关于具有8×8像素或以上尺寸的预测单位，能力为“低”时的参考比是能力为“高”时的参考比的一半。
例如，对于8×8像素的预测单位，能力为“高”时的参考比是“1:1”，而能力为“低”时的参考比是“2:1”。关于具有16×16像素的尺寸的预测单位，能力为“高”时的参考比是“2:1”，而能力为“低”时的参考比是“4:1”。关于具有32×32像素的尺寸的预测单位，能力为“高”时的参考比是“4:1”，而能力为“低”时的参考比是“8:1”。
图17A示出了当PU尺寸是16×16像素、色度格式是4:2:0、能力是“高”、以及参考比是“2:1”时的参考像素设置的示例。在图17A的示例中，稀疏掉色差分量的参考像素和亮度分量的参考像素的一半参考像素。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为8。
图17B示出了当PU尺寸是16×16像素、色度格式是4:2:0、能力是“低”、以及参考比是“4:1”时的参考像素设置的示例。在图17B的示例中，稀疏掉色差分量的参考像素和亮度分量的参考像素的下部四分之三参考像素。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为4。
如同在第四场景中，通过根据装置的能力(例如，解码器的处理能力)的水平来控制参考比，当假设使用较低能力的装置时，可以进一步降低参考像素的数量。因此，可以防止在LM模式中的系数计算处理中产生超过装置的处理能力的处理代价。
(5)第五场景
Xiaoran Cao Tsinghua(清华)等在“CE6.b1Report on Short Distance Intra Prediction Method”(JCTVC-E278，2011年3月)中提出了一种短距离帧内预测方法，该方法通过使用小尺寸非正方形预测单位来改进编码效率。例如，在短距离帧内预测方法中，诸如1×4像素、2×8像素、4×16像素、4×1像素、8×2像素、以及16×4像素的各种尺寸的预测单位可以被设置给图像。在这种情况下，预测单位的垂直方向上的尺寸和水平方向上的尺寸哪个更大依赖于预测单位的设置。因此，在第五场景中，当使用短距离帧内预测方法时，预测控制器42动态地选择对应于如下方向的参考比并且控制所选参考比：垂直方向上的参考比和水平方向上的参考比中较大的参考比对应的方向。
图18A示出了当PU尺寸是2×8像素并且色度格式是4:2:0时的参考像素设置的示例。在图18A的示例中，水平方向上的尺寸大于垂直方向上的尺寸，从而，当垂直方向上的参考比是“1:1”时，水平方向上的参考比是“2:1”。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为1+(4/2)＝3个。
图18B示出了当PU尺寸是16×4像素并且色度格式是4:2:0时的参考像素设置的示例。在图18B的示例中，垂直方向上的尺寸大于水平方向上的尺寸，从而，当水平方向上的参考比是“1:1”时，垂直方向上的参考比是“4:1”。结果，色差分量的参考像素的数量IC和亮度分量的参考像素的数量IL均为(8/4)+2＝4个。
如同第五实施例，当使用短距离帧内预测方法时，通过动态选择并且控制对应于尺寸较大的方向的参考比，可以通过避免在参考像素的数量较小的方向上参考像素的数量的降低，防止预测准确度的降低。
至此，详细描述了通过预测控制器42进行的参考比的控制的五个特性场景。例如，可以通过图像编码方案的标准规范中预定义的块尺寸和参考比之间的映射，执行根据这些场景的通过预测控制器42进行的参考比的控制。通过预先统一定义这样的映射，消除了支持许多参考像素的设置模式的需要，使得可以容易地使得用于解码的电路或逻辑成为共通的。
虽然用于许多用途的图像数据的比特深度是8比特，但是诸如10比特或12比特的更大的比特深度可用于针对一些用途的图像数据。因此，如果比特深度超过预定比特数(例如，8比特)，则系数计算部44可以在计算预测函数的系数α和系数β之前将参考像素值减少到预定比特数，使用减少后的参考像素值来计算预测函数的系数α和系数β。因此，可以不管比特深度，使用小规模共通的电路或逻辑来计算系数α和系数β。
这里主要描述如下示例：预测控制器42控制作为参考像素的数量与块尺寸的比率的“参考比”。然而，可以由例如意味着要降低的参考像素的比率的“降低比”的其他术语来表示实质上等效于参考比的概念。取代诸如“1:1”、“2:1”、以及“4:1”的以上格式，可以由如“100％(0％)”、“50％(50％)”、或“25％(75％)”的百分比格式或从0到1的范围中的数值格式表示“参考比”或“降低比”。
以上五个场景仅是用于描述的示例。例如，可以对以上五个场景中的两个场景或更多个场景进行组合。取代预先定义，可以自适应地选择如每个场景中示出的块尺寸和参考比(或降低比)之间的映射。在这种情况下，可以在编码流的参数组或报头区域内将指定所选映射的信息从编码侧传送到解码侧。
<2.根据实施例的编码时的处理的流程>
接下来，将使用图19和20描述编码时的处理的流程。图19是示出通过具有如图2所示的配置的帧内预测部40进行的编码时的帧内预测处理的流程的示例的流程图。
参照图19，首先预测部46针对要处理的编码单位的亮度分量生成各个预测模式的预测图像数据，并且模式确定部48决定最优预测模式和预测单位的布置(步骤S100)。
接下来，系数计算部44和预测部46针对色差分量执行LM模式中的预测处理(步骤S110)。另外，系数计算部44和预测部46针对色差分量执行非LM模式(例如，图8中示出的模式0到模式3)中的帧内预测处理(步骤S120)。可以在预测控制器42的控制下针对每个预测单位执行步骤S110和步骤S120中的处理。
接下来，模式确定部48针对色差分量的每个预测模式，基于原始图像数据和预测图像数据计算代价函数值(步骤S130)。然后，模式确定部48通过比较代价函数值来决定最优预测模式(步骤S140)。
图20是示出图19的步骤S110中的LM模式预测处理的详细流程的示例的流程图。
参照图20，预测控制器42首先根据预测单位的尺寸和其他参数(例如，色度格式、简档、或水平)，获取每个预测单位的参考比(步骤S111)。
接下来，系数计算部44根据预测控制器42指示的参考比，设置计算预测函数的系数的计算公式(例如，以上公式(3)和公式(4))要参考的参考像素(步骤S112)。可以根据参考比来降低这里设置的参考像素的数量。另外，可以依赖于色度格式对参考像素的亮度分量进行重采样。
接下来，系数计算部44根据例如以上公式(3)，使用所设置的参考像素的像素值来计算预测函数的系数α(步骤S113)。此外，系数计算部44根据例如以上公式(4)，使用所设置的参考像素的像素值，计算预测函数的系数β(步骤S114)。
然后，预测部46通过将对应的亮度分量的值代入通过使用系数α和系数β构建的预测函数(例如，以上公式(1))，计算要预测的每个像素的预测像素值(步骤S115)。
<3.根据实施例的图像解码装置的示例配置>
在该部分中，将使用图21和22描述根据实施例的图像解码装置的示例配置。
[3-1.整体配置的示例]
图21是示出根据实施例的图像解码装置60的配置示例的框图。参照图21，图像解码装置60包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、解块滤波器66、排序缓冲器67、D/A(数字到模拟)转换部68、帧存储器69、选择器70和71、运动补偿部80、以及帧内预测部90。
累积缓冲器61使用存储介质暂时存储经由传输线输入的编码流。
无损解码部62根据编码时使用的编码方法，对从累积缓冲器61输入的编码流进行解码。另外，无损解码部62对复用到编码流的报头区域的信息进行解码。例如，复用到编码流的报头区域的信息可包括序列参数组中的简档和水平、以及块报头中关于帧间预测的信息和关于帧内预测的信息。无损解码部62将关于帧间预测的信息输出到运动补偿部80。另外，无损解码部62将关于帧内预测的信息输出到帧内预测部90。
逆量化部63对无损解码部62解码的量化数据进行逆量化。逆正交变换部64根据编码时使用的正交变换方法，通过对从逆量化部63输入的变换系数数据执行逆正交变换，生成预测误差数据。然后，逆正交变换部64将所生成的预测误差数据输出到加法部65。
加法部65对从逆正交变换部64输入的预测误差数据和从选择器71输入的预测图像数据进行相加，由此生成解码图像数据。然后，加法部65将所生成的解码图像数据输出到解块滤波器66和帧存储器69。
解块滤波器66通过对从加法部65输入的解码图像数据进行滤波来去除块失真，并且将滤波之后的解码图像数据输出到排序缓冲器67和帧存储器69。
排序缓冲器67通过对从解块滤波器66输入的图像进行排序，生成按时间序列的一系列图像数据。然后，排序缓冲器67将所生成的图像数据输出到D/A转换部68。
D/A转换部68将从排序缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出到例如连接到图像解码装置60的显示器(未示出)，使得显示图像。
帧存储器69使用存储介质来存储从加法部65输入的、过滤之前的解码图像数据、以及从解块滤波器66输入的过滤之后的解码图像数据。
选择器70根据无损解码部62获取的模式信息，针对图像中的每个块，将来自帧存储器70的图像数据的输出目的地在运动补偿部80和帧内预测部90之间切换。例如，在指定帧间预测模式的情况下，选择器70将从帧存储器70供给的、过滤之后的解码图像数据输出到运动补偿部80作为参考图像数据。另外，在指定帧内预测模式的情况下，选择器70将从帧存储器70供给的、过滤之前的解码图像数据输出到帧内预测部90作为参考图像数据。
选择器71根据无损解码部62获取的模式信息，将要供给至加法部65的预测图像数据的输出源在运动补偿部80和帧内预测部90之间切换。例如，在指定帧间预测模式的情况下，选择器71将从运动补偿部80输出的预测图像数据供给至加法部65。另外，在指定帧内预测模式的情况下，选择器71将从帧内预测部90输出的预测图像数据供给至加法部65。
运动补偿部80基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器69的参考图像数据来执行运动补偿处理，并且生成预测图像数据。然后，运动补偿部80将所生成的预测图像数据输出到选择器71。
帧内预测部90基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器69的参考图像数据来执行帧内预测处理，并且生成预测图像数据。然后，帧内预测部90将所生成的预测图像数据输出到选择器71。稍后将详细描述帧内预测部90的帧内预测处理。
[3-2.帧内预测部的配置示例]
图22是示出图21中示出的图像解码装置60的帧内预测部90的详细配置的示例的框图。参照图22，帧内预测部90包括预测控制器92、系数计算部94、以及预测部96。
预测控制器92控制通过帧内预测部90进行的帧内预测处理。例如，预测控制器92基于关于帧内预测的信息中包含的预测模式信息，向每个编码单位设置一个预测单位或更多个预测单位。预测控制器92执行亮度分量(Y)的帧内预测处理，然后执行色差分量(Cb,Cr)的帧内预测处理。在亮度分量的帧内预测处理中，预测控制器92使得预测部96以预测模式信息指定的预测模式生成每个像素的亮度分量的预测像素值。类似地，在色差分量的帧内预测处理中，预测控制部92使得预测部96以预测模式信息指定的预测模式，生成每个像素的色差分量的预测像素值。
在本实施例中，色差分量的预测模式候选包含上述LM模式。然后，预测控制器92可变地控制在计算LM模式中的预测函数的系数时的参考像素的数量与块尺寸的比率、即参考比。通常，根据块尺寸执行通过预测控制部92进行的参考比的控制。例如，如果块尺寸超过预定尺寸，则预测控制器92可以控制参考比，以使得用于计算预测函数的系数的参考像素的数量变为恒定。块尺寸和参考比之间的映射可预先定义并存储在图像解码装置60的存储介质中、或可在编码流的报头区域内动态地指定。此外，预测控制器92可根据色度格式来控制参考比。另外，预测控制器92可根据定义装置的能力的简档或水平来控制参考比。可以根据以上五个场景之一、或其组合、或其他场景，执行通过预测控制器92进行的参考比的控制。
系数计算部94通过参照要预测的像素所属的预测单位周围的像素、即参考像素，计算在对于色差分量指定LM模式时预测部96使用的预测函数的系数。通常，预测部96使用的预测函数是亮度分量的值的线性函数，并且由例如以上公式(1)表示。如上所述，通过预测控制器92控制计算预测函数的系数的系数计算部94参照的参考像素的数量。如果参考比不是“1:1”，则系数计算部94可通过例如稀疏掉如根据参考比的数量一样多的参考像素、然后仅使用剩余的参考像素，计算预测函数的系数。系数计算部94可使用用于超过预定尺寸的多个块尺寸的共通的电路或逻辑，计算预测函数的系数。另外，如果像素值的比特深度超过预定比特数，则系数计算部94可在计算预测函数的系数之前将参考像素值降低到预定比特数，使用降低后的参考像素值来计算预测函数的系数。
预测部96在预测控制器92的控制下，使用来自帧存储器69的参考图像数据根据指定预测模式，生成要预测的像素的亮度分量的像素值和色差分量的像素值。预测部96用于色差分量的预测模式候选可包含以上LM模式。当指定LM模式时，预测部96通过将对应的亮度分量的值(如需要，重采样的值)代入通过使用系数计算部94计算出的系数α和系数β构建的预测函数，计算色差分量的预测像素值。预测部96将作为预测结果生成的预测图像数据经由选择器71输出到加法部65。
<4.根据实施例的解码时的处理的流程>
接下来，将使用图23描述解码时的处理的流程。图23是示出通过具有图22中示出的配置的帧内预测部90进行的解码时的帧内预测处理的流程示例的流程图。
参照图23，预测控制器92首先向每个编码单位设置一个预测单位或更多个预测单位(步骤S200)。然后，可以在预测控制器42的控制下对每个预测单位执行步骤S210到S260中的处理。
接下来，预测控制器92识别由预测模式信息指定的亮度分量的预测模式(步骤S210)。然后，预测部96使用来自帧存储器69的参考图像数据，根据所指定的预测模式，生成预测单位中每个像素的亮度分量的预测像素值(步骤S220)。
接下来，预测控制器92识别由预测模式信息指定的色差分量的预测模式(步骤S230)。然后，预测控制器92确定是否指定LM模式(步骤S240)。如果指定了LM模式，则预测控制器92使得系数计算部94和预测部96以LM模式执行色差分量的预测处理(步骤S250)。步骤S250中的LM模式预测处理可以类似于使用图20描述的LM模式预测处理。另一方面，如果没有指定LM模式，则预测控制器92使得预测部96以非LM模式执行色差分量的帧内预测处理(步骤S260)。
<变型例>
在以上实施例中，图像编码装置10的帧内预测部40的预测部46根据以上公式(1)，以LM模式计算色差分量的预测像素值。类似地，图像解码装置60的帧内预测部90的预测部96根据以上公式(1)，以LM模式计算色差分量的预测像素值。公式(1)右手侧上的ReL’(x,y)表示重采样之后的解码图像的亮度分量的像素位置(x,y)的值。因此，当按块进行预测像素值的计算时，保持块中的重采样之后的亮度分量的像素值，直到计算出色差分量的预测像素值为止。
例如，图24的左侧上示出的LCU1被划分为10个编码单位CU0到CU9。作为示例，LCU1的尺寸是128×128像素，编码单位CU0和CU5的尺寸是64×64像素，并且编码单位CU1到CU4和CU6到CU9的尺寸是32×32像素。通常对于每个编码单位进行预测像素值的计算，并且因此，如果在这种情况下色度格式是4:2:0，则可提供32×32像素的存储器(特别对于编码单位CU0和CU5)，以保存重采样之后的亮度分量的像素值。另一方面，图24的右侧上示出的LCU2的尺寸是128×128像素，并且仅一个CU10包含在LCU2内。如果在这种情况下色度格式是4:2:0，则可提供64×64像素的存储器，以保存重采样之后的亮度分量的像素值。存储器资源的消耗量随着像素的增加的比特深度而增加。
对于其存储器资源有限的装置，以上存储器资源的消耗量的增加是不期望的。因此，在该部分中，将描述降低与LM模式的引入有关的存储器资源的消耗量的两个变型例。
[5-1.第一变型例]
在第一变型例中，图像编码装置10的预测部46和图像解码装置60的预测部96以某一稀疏率来稀疏对应于每个色差分量的亮度分量。对应于每个色差分量的亮度分量对应于根据例如以上公式(2)重采样之后的每个亮度分量。然后，预测部46和预测部96通过使用没有被稀疏的亮度分量的值，生成对应于所稀疏的亮度分量的每个色差分量的预测值。
图25是示出根据本变型例的稀疏处理的示例的说明图。参照图25，作为示例，示出了8×8像素的预测单位(PU)。假设色度格式是4:2:0并且稀疏率是25％。稀疏率指示稀疏之后的像素的数量与稀疏之前的像素的数量的比率。在图25的示例中，一个PU中包含的色差分量的数量是4×4。由于重采样，对应于每个色差分量的亮度分量的数量也是4×4。作为以25％的稀疏率来稀疏重采样之后的亮度分量的结果，LM模式中用来预测色差分量的亮度分量的数量是2×2。更具体地，在图25的右下部的示例中，在四个亮度分量Lu1到Lu4中，稀疏除了亮度分量Lu1之外的亮度分量Lu2、Lu3、Lu4。类似地，在四个亮度分量Lu5到Lu8中，稀疏除了亮度分量Lu5之外的亮度分量Lu6、Lu7、Lu8。图25的左下部的色差分量Cu1对应于没有被稀疏的亮度分量Lu1。因此，预测部46和预测部96可以通过将亮度分量Lu1的值代入以上公式(1)的右手侧，生成色差分量Cu1的预测值。另一方面，例如，色差分量Cu2对应于被稀疏的亮度分量Lu2。在这种情况下，预测部46和预测部96使用没有被稀疏的任意亮度分量的值，生成色差分量Cu2的预测值。例如，色差分量Cu2的预测值可以是色差分量Cu1的预测值的复制，或可以是通过色差分量Cu1、Cu5的两个预测值的线性插值获得的值。
更一般地，例如，稀疏率是25％时的色差分量的预测像素值PrC(x,y)可以通过由以下公式(5)或公式(6)表示的技术计算。公式(5)表示来自相邻像素的预测值的复制。
[数学式8]
公式(6)表示预测值的线性插值。
[数学式9]
顺便提及，公式(5)和公式(6)仅是示例并且也可使用其他公式。
以上稀疏率影响保存亮度分量的重采样之后的像素值的存储器资源量。存储器资源消耗量随着要稀疏的亮度分量的增加量而降低。然而，如果要稀疏的亮度分量的数量较大，则色差分量的预测准确度会降低。因此，可以在编码流的报头(例如，序列参数组、图片参数组、或切片报头)中对指定稀疏率的参数进行指定。在这种情况下，图像解码装置60的预测部96基于从报头获取的参数来决定稀疏率。因此，稀疏率可根据每个装置的需求(例如，节省存储器资源和编码效率中的哪个应该具有更高优先级)来灵活地改变。
参照图26A至26C，相对于图25中的示例，在每种情况下稀疏率是50％。在这些示例中，稀疏重采样之后的亮度分量中的一半亮度分量。然而，即使稀疏率相同，要稀疏的亮度分量的位置的图案(在下文中，称为稀疏图案)也相互不同。
在图26A的示例中，在四个亮度分量Lu1到Lu4中，稀疏亮度分量Lu2、Lu4。类似地，在四个亮度分量Lu5到Lu8中，稀疏亮度分量Lu6、Lu8。另外，在这种情况下，例如，对应于所稀疏的亮度分量Lu2的色差分量Cu2的预测值可以是色差分量Cu1的预测值的复制、或可以是通过色差分量Cu1、Cu5的两个预测值的线性插值获得的值。在图26A的稀疏图案中，要稀疏的亮度分量在PU中均匀地分布。因此，与相同稀疏率的其他稀疏图案相比，图26A中的稀疏图案实现更高的预测准确度。
在图26B的示例中，每隔一行稀疏亮度分量。这样的稀疏图案的优点在于，例如，在线路存储器中保存像素值的装置中，存储器存取一次可以存取多个亮度分量的值。在图26C的示例中，另一方面，每隔一列稀疏亮度分量。这样的稀疏图案的优点在于，例如，如果色度格式是4:2:2，并且垂直方向上的像素的数量较大，则可以维持列方向上的更多频率分量。
可以在编码流的报头中指定从多个稀疏图案候选中指定稀疏图案的参数。在这种情况下，图像解码装置60的预测部96基于从报头获取的参数，决定要稀疏的亮度分量的位置。因此，稀疏图案可根据每个装置的需求灵活地改变。
另外，预测部46和预测部96可根据以上参考比来决定稀疏率。例如，如果在计算预测函数的系数时参考的参考像素的数量较小，则可稀疏更多亮度分量。此时，预测部46和预测部96可稀疏对应于参考像素的稀疏位置的位置中的亮度分量。
图27A和27B均示出了参考像素的稀疏位置和亮度分量的稀疏位置之间的对应关系的示例。在图27A的示例中，PU尺寸是16×16像素，色度格式是4:2:0，并且参考比是2:1。在这种情况下，例如，有利地决定稀疏率是25％并且可选择类似于图25中的示例的稀疏图案。在图27B的示例中，另一方面，PU尺寸是16×16像素，色度格式是4:2:0，垂直方向上的参考比是2:1，并且水平方向上的参考比是1:1。在这种情况下，例如，有利地决定稀疏率是50％并且可选择类似于图26B中的示例的稀疏图案。
在图27A的示例中，在稀疏参考像素的行中，稀疏要预测的块的全部亮度分量。在稀疏参考像素的列中，稀疏要预测的块的全部亮度分量。通过以该方式决定稀疏位置，简化稀疏位置的确定，并且依然可以使根据本变型例的稀疏处理的实现较简单。另外，在图27B的示例中，在稀疏参考像素的行中，稀疏要预测的块的全部亮度分量。通过以该方式决定稀疏位置，在对应于稀疏位置的行中，与参考像素或要预测的像素无关，可以完全跳过对亮度分量的存取。因此，依然使稀疏处理的实现较简单，并且还可以通过降低存储器存取的次数来提高处理速度。
[5-2.第二变型例]
在第二变型例中，采用通过图像编码装置10的帧内预测部40和图像解码装置60的帧内预测部90进行的新处理的顺序。
图28是示出本变型例采用的新处理的顺序的说明图。参照图28，作为示例，示出了包括编码单位CU0、CU1、CU2以及其他编码单位的LCU。此外，编码单位CU0被划分成四个预测单位PU00、PU01、PU02、以及PU03。编码单位CU1被划分成四个预测单位PU10、PU11、PU12、以及PU13。编码单位CU2被划分成四个预测单位PU20、PU21、PU22、以及PU23。根据现有技术，如同Y00→Y01→Y02→Y03→Cb00→Cb01→Cb02→Cb03→Cr00→Cr01→Cr02→Cr03→Y10→...一样执行对于LCU的帧内预测处理。YNN表示预测单位PUNN的亮度分量的帧内预测，并且CbNN和CrNN均表示预测单位PUNN的色差分量的帧内预测。即，根据现有技术，对于每个编码单位中的每个分量执行帧内预测处理。这样的处理顺序这里被称为“按分量的顺序”。在本变型例中，另一方面，例如，图像编码装置10的帧内预测部40的预测控制器42和图像解码装置60的帧内预测部90的预测控制部92控制每个部的处理，以使得对于每个编码单位中的每个预测单位执行帧内预测处理。这样的新处理顺序被称为“按PU的顺序”。当例如按PU的顺序被施加至图28中的LCU时，首先执行预测单位PU00的亮度分量Y00和两个色差分量Cb00、Cr00的帧内预测处理。接下来，执行预测单位PU01的亮度分量Y01和两个色差分量Cb01、Cr01的帧内预测处理。然后，以预测单位PU02、PU03、PU10、…的顺序重复三个分量的帧内预测处理。
在根据现有技术的按分量的顺序中，保存LM模式中的帧内预测所参考的亮度分量值的存储器资源量受最大编码单位的尺寸的影响。例如，如果最大编码单位的尺寸是128×128像素、色度格式是4:2:0、并且比特深度是10比特，则需要64×64×10比特的存储器资源。在上述按PU的顺序中，另一方面，保存LM模式中的帧内预测所参照的亮度分量值的存储器资源量受最大预测单位的尺寸的影响。例如，如果编码单位被划分成四个预测单位或更多个预测单位，则按PU的顺序的情况所需的存储器资源量是按分量的顺序的情况所需的存储器资源量的四分之一。因此，通过采用以上按PU的顺序，可以降低存储器资源消耗量。
<6.示例应用>
上述根据实施例的图像编码装置10和图像解码装置60可应用到各种电子设备，比如用于卫星广播、诸如有线TV的有线广播、因特网上的分发、经由蜂窝通信到终端的分发等的发射机和接收机、在诸如光盘、磁盘或闪速存储器的介质中记录图像的记录装置、从这样的存储介质再现图像的再现装置等。以下将描述四个示例应用。
[6-1.第一示例应用]
图29是示出采用上述实施例的电视机的示意性配置的示例的框图。电视机900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911、以及总线912。
调谐器902从经由天线901接收的广播信号提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调获得的编码比特流输出到解复用器903。即，调谐器902用作用于接收其中图像被编码的编码流的电视机900的传输装置。
解复用器903从编码比特流分离要观看的节目的视频流和音频流，并且将已分离的每个流输出到解码器904。另外，解复用器903从编码比特流提取诸如EPG(电子节目指南)的辅助数据，并且将所提取的数据供给控制部910。另外，解复用器903可在编码比特流被加扰的情况下执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出到视频信号处理部905。另外，解码器904将通过解码处理生成的音频数据输出到音频信号处理部907。
视频信号处理部905再现从解码器904输入的视频数据，并且使得显示部906显示视频。视频信号处理部905还可使得显示部906显示经由网络供给的应用画面。此外，视频信号处理部905可根据设置例如对视频数据执行诸如噪声消除的附加处理。此外，视频信号处理部905例如可生成诸如菜单、按钮、光标等的GUI(图像用户接口)的图像，并将所生成的图像叠加到输出图像上。
显示部906由视频信号处理部905供给的驱动信号驱动，并且在显示装置(例如，液晶显示器、等离子显示器、OLED等)的视频屏幕上显示视频或图像。
音频信号处理部907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出音频。另外，音频信号处理部907可对音频数据执行诸如噪声消除的附加处理。
外部接口909是用于连接电视机900和外部设备或网络的接口。例如，经由外部接口909接收的视频流或音频流可由解码器904解码。即，外部接口909也用作用于接收其中图像被编码的编码流的电视机900的传输装置。
控制部910包括诸如CPU(中央处理单元)的处理器、诸如RAM(随机存取存储器)、ROM(只读存储器)的存储器等。存储器存储要由CPU执行的程序、节目数据、EPG数据、经由网络获取的数据等。例如，CPU在电视机900启动时读取并执行存储器中存储的程序。CPU例如通过执行程序，根据从用户接口911输入的操作信号，控制电视机900的操作。
用户接口911连接到控制部910。用户接口911例如包括用户操作电视机900所使用的按钮和开关、以及用于远程控制信号的接收部。用户接口911经由这些结构元件来检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部910。
总线912使得调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909、以及控制部910相互连接。
在如上所述配置的电视机900中，解码器904具有根据上述实施例的图像解码装置60的功能。因此，即使当LM模式被采用用于对电视机900的图像进行解码时，也可以抑制伴随着块尺寸的扩展的处理代价的增加。
[6-2.第二示例应用]
图30是示出采用上述实施例的移动电话的示意性配置的示例的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932、以及总线933。
天线921连接到通信部922。扬声器924和麦克风925连接到音频编解码器923。操作部932连接到控制部931。总线933使通信部922、音频编解码器923、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930、以及控制部931相互连接。
移动电话920以包括音频通信模式、数据通信模式、图像捕获模式、以及视频电话模式的各种操作模式，执行诸如音频信号的传输/接收、电子邮件或图像数据的传输/接收、图像捕获、数据的记录等的操作。
在音频通信模式中，麦克风925生成的模拟音频信号被供给到音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对转换后的音频数据进行A/D转换和压缩。然后，音频编解码器923将压缩后的音频数据输出到通信部922。通信部922对音频数据进行编码和调制，并且生成传输信号。然后，通信部922将所生成的传输信号经由天线921传送到基站(未示出)。另外，通信部922对经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换，以及获取所接收的信号。然后，通信部922对所接收的信号进行解调和解码，并且生成音频数据，以及将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行扩展和D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号供给至扬声器924并使得输出音频。
另外，在数据通信模式中，控制部931例如根据用户经由操作部932的操作，生成构成电子邮件的文本数据。另外，控制部931使得文本显示在显示部930上。此外，控制部931根据用户经由操作部932的传输指令生成电子邮件数据，并且将所生成的电子邮件数据输出到通信部922。然后，通信部922对电子邮件数据进行编码和调制，并且生成传输信号。然后，通信部922将所生成的传输信号经由天线921传送到基站(未示出)。另外，通信部922对经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换，以及获取所接收的信号。然后，通信部922对所接收的信号进行解调和解码，恢复电子邮件数据，并且将恢复的电子邮件数据输出到控制部931。控制部931使得显示部930显示电子邮件的内容，并且还使得电子邮件数据存储在记录/再现部929的存储介质中。
记录/再现部929包括任意可读和可写的存储介质。例如，存储介质可以是诸如RAM、闪速存储器等的内置存储介质、或诸如硬盘、磁盘、磁光盘、光盘、USB存储器、存储器卡等的外部安装的存储介质。
此外，例如，在图像捕获模式中，摄像装置部926捕获对象的图像，生成图像数据，并且将所生成的图像数据输出到图像处理部927。图像处理部927对从摄像装置部926输入的图像数据进行编码，并且使得编码流存储在记录/再现部929的存储介质中。
此外，例如，在视频电话模式中，解复用部928对图像处理部927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用后的流输出到通信部922。通信部922对该流进行编码和调制，并且生成传输信号。然后，通信部922经由天线921将所生成的传输信号传送到基站(未示出)。另外，通信部922对经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换，以及获取所接收的信号。这些传输信号和所接收的信号可包括编码比特流。然后，通信部922对所接收的信号进行解调和解码，恢复该流，并且将所恢复的流输出到解复用部928。解复用部928从输入流分离视频流和音频流，并且将视频流输出到图像处理部927以及将音频流输出到音频编解码器923。图像处理部927对视频流进行解码，并且生成视频数据。视频数据被供给显示部930，并且显示部930显示一系列图像。音频编解码器923对音频流进行扩展和D/A转换，并且生成模拟音频信号。然后，视频编解码器923将所生成的音频信号供给至扬声器924并且使得输出音频。
在以该方式配置的移动电话920中，图像处理部927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，即使当LM模式被采用用于对移动电话920的图像进行编码和解码时，也可以抑制伴随着块尺寸的扩展的处理代价的增加。
[6-3.第三示例应用]
图31是示出采用上述实施例的记录/再现装置的示意性配置的示例的框图。例如，记录/再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并且将其记录在记录介质中。例如，记录/再现装置940也可以对从其他装置获取的音频数据和视频数据进行编码，并且将其记录在记录介质中。此外，例如，记录/再现装置940根据用户的指令，使用监视器或扬声器再现记录介质中记录的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、磁盘驱动器945、选择器946、解码器947、OSD(屏上显示)948、控制部949、以及用户接口950。
调谐器941从经由天线(未示出)接收的广播信号提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调获得的编码比特流输出到选择器946。即，调谐器941用作用于记录/再现装置940的传输装置。
外部接口942是用于连接记录/再现装置940和外部设备或网络的接口。例如，外部接口942可以是IEEE 1394接口、网络接口、USB接口、闪速存储器接口等。例如，外部接口942接收的视频数据和音频数据被输入到编码器943。即，外部接口942用作记录/再现装置940的传输装置。
在从外部接口942输入的视频数据和音频数据没有被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。
HDD 944将作为视频或音频的压缩内容数据、各种程序、以及其他数据段的编码比特流记录在内部硬盘中。另外，HDD 944在再现视频或音频时从硬盘读取这些数据段。
磁盘驱动器945将数据记录在安装的记录介质中或读取安装的记录介质中的数据。例如，安装在磁盘驱动器945上的记录介质可以是DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+、DVD+RW等)、蓝光(注册商标)盘等。
选择器946在记录视频或音频时选择从调谐器941或编码器943输入的编码比特流，并且将所选编码比特流输出到HDD 944或磁盘驱动器945。另外，选择器946在再现视频或音频时将从HDD 944或磁盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流进行解码，并且生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到OSD 948。另外，解码器904将所生成的音频数据输出到外部扬声器。
OSD 948再现从解码器947输入的视频数据，并且显示视频。另外，例如，OSD 948可将诸如菜单、按钮、光标等的GUI的图像叠加在所显示的视频上。
控制部949包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、节目数据等。例如，CPU在记录/再现装置940启动时读取并执行存储器中存储的程序。CPU例如通过执行程序，根据从用户接口950输入的操作信号，控制记录/再现装置940的操作。
用户接口950连接到控制部949。例如，用户接口950包括用户操作记录/再现装置940使用的按钮和开关、以及用于远程控制信号的接收部。用户接口950经由这些结构元件来检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部949。
在以该方式配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置10的功能。另外，解码器947具有根据上述实施例的图像解码装置60的功能。因此，即使当LM模式被采用用于对记录/再现装置940的图像进行编码和解码时，也可以抑制伴随着块尺寸的扩展的处理代价的增加。
[6-4.第四示例应用]
图32是示出采用上述实施例的图像捕获装置的示意性配置的示例的框图。图像捕获装置960捕获对象的图像，生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。
图像捕获装置960包括光学块961、图像捕获部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、媒体驱动器968、OSD 969、控制部970、用户接口971、以及总线972。
光学块961连接到图像捕获部962。图像捕获部962连接到信号处理部963。显示部965连接到图像处理部964。用户接口971连接到控制部970。总线972将图像处理部964、外部接口966、存储器967、媒体驱动器968、OSD 969、以及控制部970相互连接。
光学块961包括聚焦透镜、孔径光阑机构等。光学块961在图像捕获部962的图像捕获表面上形成对象的光学图像。图像捕获部962包括诸如CCD、CMOS等的图像传感器，并且通过光电转换将形成在图像捕获表面上的光学图像转换成作为电信号的图像信号。然后，图像捕获部962将图像信号输出到信号处理部963。
信号处理部963对从图像捕获部962输入的图像信号执行各种摄像装置信号处理，诸如拐点校正、伽马校正、颜色校正等。信号处理部963将摄像装置信号处理之后的图像数据输出到图像处理部964。
图像处理部964对从信号处理部963输入的图像数据进行编码，并且生成编码数据。然后，图像处理部964将所生成的编码数据输出到外部接口966或媒体驱动器968。另外，图像处理部964对从外部接口966或媒体驱动器968输入的编码数据进行解码，并且生成图像数据。然后，图像处理部964将所生成的图像数据输出到显示部965。另外，图像处理部964可将从信号处理部963输入的图像数据输出到显示部965，并且使得显示图像。此外，图像处理部964可将从OSD 969获取的用于显示的数据叠加到要输出到显示部965的图像上。
OSD 969例如生成诸如菜单、按钮、光标等的GUI的图像，并且将所生成的图像输出到图像处理部964。
例如，外部接口966被配置为USB输入/输出端子。例如，外部接口966在打印图像时连接图像捕获装置960和打印机。另外，必要时驱动器连接到外部接口966。例如，诸如磁盘、光盘等的可移除介质安装在驱动器上，并且从可移除介质读取的程序可安装在图像捕获装置960中。此外，外部接口966可被配置为要连接到诸如LAN、因特网等的网络的网络接口。即，外部接口966用作图像捕获装置960的传输装置。
例如，要安装在媒体驱动器968上的记录介质可以是任意可读和可写的可移除介质，诸如磁盘、磁光盘、光盘、半导体存储器等。另外，例如，记录介质可固定地安装在媒体驱动器968上，该媒体驱动器968构成诸如内置硬盘驱动器或SSD(固态驱动器)的非可移动存储部。
控制部970包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、节目数据等。例如，CPU在图像捕获装置960启动时读取并执行存储器中存储的程序。CPU例如通过执行程序，根据从用户接口971输入的操作信号，控制图像捕获装置960的操作。
用户接口971连接到控制部970。例如，用户接口971包括用户操作图像捕获装置960使用的按钮和开关等。用户接口971经由这些结构元件来检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部970。
在以该方式配置的图像捕获装置960中，图像处理部964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，即使当LM模式被采用用于对图像捕获装置960的图像进行编码和解码时，也可以抑制伴随着块尺寸的扩展的处理代价的增加。
<7.总结>
至此，使用图1到32描述了根据实施例的图像编码装置10和图像解码装置60。根据本实施例，当使用对应的亮度分量的值的函数的LM模式被采用用于对图像进行编码和解码的色差分量的帧内预测时，可变地控制计算函数的系数参考的参考像素的数量与块尺寸的比率。因此，可以通过抑制参考像素的数量伴随着块尺寸的扩展而增加，来避免或减轻处理代价的增加。
另外，根据本实施例，当块尺寸超过预定尺寸时，控制比率以使得参考像素的数量恒定。根据这样的配置，可以使用针对多个块尺寸的共通的电路或逻辑来计算函数的系数。因此，也可以抑制采用LM模式而引起的电路或逻辑的规模的增加。
另外，根据本实施例，当块尺寸低于预定尺寸时，参考像素未过度减少。因此，可以防止由于参考像素的数量不足而引起的LM模式的预测准确度的降低。当块中的图像单调时通常可以设置相对大的块尺寸，并且可以容易地进行预测。因此，当块尺寸依然较大时，由更多的参考像素的降低引起的预测准确度的极度降低的风险较小。
另外，根据本实施例，可以在块的垂直方向和水平方向上单独控制比率。根据这样的配置，可以不依赖于色度格式，使用共通的电路或逻辑计算函数的系数。另外，可以留下更多沿可以利用更少量的存储器存取来存取的水平方向布置的参考像素，并且更多地减少沿垂直方向布置的参考像素。此外，当使用短距离帧内预测方法时，可以根据块的形状来自适应地改变要减少的参考像素。
根据上述两个变型例，可以有效地降低与LM模式的引入有关的存储器资源的消耗量。
另外，在本说明书中，主要描述了如下示例：其中，关于帧内预测的信息和关于帧间预测的信息复用到编码流的报头，并且编码流从编码侧传送到解码侧。然而，传送该信息的方法不限于这样的示例。例如，该信息可以作为与编码比特流相关联的单独数据被传送或记录，而无需被复用到编码比特流。这里术语“关联”意味着使得在解码时将比特流中包括的图像(或图像的一部分，诸如片段或块)和对应于该图像的信息彼此链接。即，该信息可以在不同于图像(或比特流)的传输线上传送。或者，该信息可以记录在不同于图像(或比特流)的记录介质上(或同一记录介质上的不同记录区域中)。此外，例如，该信息和图像(或比特流)可基于诸如多个帧、一个帧、帧的一部分等的任意单位而彼此相关联。
至此，参照附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这样的示例。明显的是，本公开的技术领域的普通技术人员可在权利要求所描述的技术思想的范围内进行各种修改或变型，这些修改或变型当然应理解为在本公开的技术范围内。
另外，本技术还可如下配置。
(1)一种图像处理装置，包括：
预测部，通过使用对应的亮度分量的值的函数，生成要解码的图像的像素的色差分量的预测值；
系数计算部，通过参考所述像素所属的块周围的像素，计算所述预测部使用的所述函数的系数；以及
控制器，控制所述系数计算部使用的参考像素的数量与所述块的块尺寸的比率。
(2)根据(1)所述的图像处理装置，其中，所述控制器根据所述块尺寸控制所述比率。
(3)根据(2)所述的图像处理装置，其中，所述控制器以如下方式执行控制：所述块尺寸是第一尺寸时的比率变得小于所述块尺寸是第二尺寸时的比率，其中，所述第二尺寸小于所述第一尺寸。
(4)根据(3)所述的图像处理装置，其中，所述控制器以如下方式控制所述比率：当所述块尺寸超过预定尺寸时，所述参考像素的数量变为恒定。
(5)根据(4)所述的图像处理装置，其中，所述系数计算部使用共通的电路或逻辑，计算超过所述预定尺寸的多个块尺寸的所述系数。
(6)根据(1)至(5)中的任意一项所述的图像处理装置，其中，所述控制器根据块尺寸与所述比率之间预先定义的映射，来控制所述比率。
(7)根据(1)至(6)中的任意一项所述的图像处理装置，其中，所述控制器通过改变在计算所述系数时被稀疏的参考像素的数量，来控制所述比率。
(8)根据(7)所述的图像处理装置，其中，所述控制器在所述块尺寸在预定尺寸以下时，将要被稀疏的参考像素的数量设置为零。
(9)根据(1)所述的图像处理装置，其中，所述控制器单独控制第一比率和第二比率，所述第一比率是所述块的左参考像素的数量与所述块的垂直方向上的尺寸的比率，所述第二比率是所述块的上参考像素的数量与所述块的水平方向上的尺寸的比率。
(10)根据(9)所述的图像处理装置，其中，所述控制器以如下方式控制所述第一比率或所述第二比率：针对相同块尺寸，所述第一比率变得等于或小于所述第二比率。
(11)根据(9)所述的图像处理装置，其中，当使用短距离帧内预测方法时，所述控制器仅控制对应于如下方向的比率：所述方向与所述第一比率和所述第二比率中大小较大的一个对应。
(12)根据(9)所述的图像处理装置，其中，当表示所述色差分量的分辨率的色度格式是4:2:2时，所述控制器以如下方式控制所述第一比率：所述块的左参考像素的数量变得等于所述块的上参考像素的数量。
(13)根据(1)所述的图像处理装置，其中，所述控制器根据表示所述色差分量的分辨率的色度格式，来控制所述比率。
(14)根据(13)所述的图像处理装置，其中，所述控制器以如下方式执行控制：所述色度格式表示第一分辨率时的比率变得小于所述色度格式表示第二分辨率时的比率，其中，所述第二分辨率低于所述第一分辨率。
(15)根据(5)所述的图像处理装置，其中，当像素值的比特深度超过预定比特数量时，所述系数计算部使用减少到所述预定比特数量的参考像素的像素值，来计算所述系数。
(16)一种图像处理方法，包括：
通过使用对应的亮度分量的值的函数，生成要解码的图像的像素的色差分量的预测值；
通过参考所述像素所属的块周围的像素，计算所述函数的系数；以及
控制用于计算所述系数的参考像素的数量与所述块的块尺寸的比率。
(17)一种图像处理装置，包括：
预测部，通过使用对应的亮度分量的值的函数，生成要编码的图像的像素的色差分量的预测值；
系数计算部，通过参考所述像素所属的块周围的像素，计算所述预测部使用的函数的系数；以及
控制器，控制所述系数计算部使用的参考像素的数量与所述块的块尺寸的比率。
(18)一种图像处理方法，包括：
通过使用对应的亮度分量的值的函数，生成要编码的图像的像素的色差分量的预测值；
通过参考所述像素所属的块周围的像素，计算所述函数的系数；以及
控制用于计算所述系数的参考像素的数量与所述块的块尺寸的比率。
(19)一种图像处理装置，包括：
预测部，使用要解码的图像的亮度分量，进行所述图像的色差分量的帧内预测；以及
控制器，可变地控制所述预测部进行帧内预测时参考的参考像素。
(20)一种图像处理方法，包括：
使用要解码的图像的亮度分量，进行所述图像的色差分量的帧内预测；以及
可变地控制进行所述色差分量的帧内预测时参考的参考像素。
附图标记列表
10 图像编码装置(图像处理装置)
42 预测控制器
44 系数计算部(稀疏部)
46 预测部
60 图像解码装置(图像处理装置)
92 预测控制器
94 系数计算部(稀疏部)
96 预测部
- 还没有人留言评论。精彩留言会获得点赞！