图像处理装置以及图像处理方法
【专利摘要】提供一种图像处理装置，其设置有解码单元，该解码单元为了减少当基于动态构建的预测函数进行帧内预测时所需的存储器资源的量，按照每个块的亮度和色度的顺序对编码单元内的块的亮度和色度进行解码。该图像处理装置通常可以实现为对图像进行解码的图像解码装置。此外，提供一种图像处理装置，其设置有编码单元，该编码单元按照每个块的亮度和色度的顺序对编码单元内的块的亮度和色度进行编码。该图像处理装置通常可以实现为对图像进行编码的图像编码装置。
【专利说明】图像处理装置以及图像处理方法
【技术领域】
[0001 ] 本公开内容涉及一种图像处理装置以及图像处理方法。
【背景技术】
[0002]传统地，下述压缩技术被广泛应用:该压缩技术的目的在于有效地发送或者累积数字图像，并且该压缩技术通过运动补偿和正交变换如离散余弦变换，例如通过使用对图像唯一的冗余来压缩图像的信息的量。例如，在各种场景如通过广播方对图像进行的累积和分配以及通过普通用户对图像进行的接收和累积中，广泛使用符合标准技术如由ITU-T开发的H.26x标准或者由MPEG (运动图像专家组)开发的MPEG-y标准的图像编码装置和图像解码装置。
[0003]H.26x标准(ITU-T Q6/16VCEG)是最初以进行适合于通信如可视电话和视频会议的编码为目标开发的标准。H.26x标准已知需要用于编和解码的大计算量，但是能够实现与MPEG-y标准相比更高的压缩率。此外，利用作为MPEG4的活动的一部分的增强压缩视频编码的联合模型，开发了下述标准:该标准通过在基于H.26x标准的同时通过采用新功能使得能够实现更高的压缩率。在2003年3月以H.264和MPEG_4PartlO(高级视频编码；AVC)的名称将该标准作为国际标准。
[0004]上述图像编码方法中的一个重要技术是画面内预测，即帧内预测。帧内预测是如下的技术:使用图像中的相邻块之间的相关性并且根据相邻的另一块的像素值来预测某块的像素值，由此减少要被编码的信息的量。使用MPEG4之前的图像编码方法，正交变换系数中仅DC分量和低频分量是帧内预测的对象，但是使用H.264/AVC，帧内预测可以针对所有的像素值。通过使用帧内预测，例如可以预期对于像素值逐渐变化的图像如蓝天的图像，压缩比显著增大。
[0005]在H.264/AVC中，可以通过将例如4X4像素、8X8像素或者16X 16像素的块用作为处理单元(即预测单元(PU))来作出帧内预测。在其标准化正在进行以作为继H.264/AVC之后的下一代图像编码方案的HEVC (高效视频编码)中，预测单元的尺寸即将扩展至32X32像素和64X64像素(见非专利文献I)。
[0006]为了作出帧内预测，通常从多个预测模式中选出对要被预测的块的像素值进行预测的最优预测模式。通常通过从参考像素到要被预测的像素的预测方向来区分预测模式。在H.264/AVC中，例如，当预测色差分量时，可以选择平均值预测、水平预测、竖直预测以及平面预测四种预测模式。此外，在HEVC中，提出一种称为线性模型(LM)模式的另外的预测模式，其通过将动态建立的亮度分量的线性函数用作预测函数来对色差分量的像素值进行预测(见非专利文献2)。
[0007]引文列表
[0008]非专利文献
[0009]非专利文献1:Sung_Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, HaechulChoi,Seyoon Jeong, Jin Soo Choi, uIntra coding using extended blocksize” (VCEG-AL28, 2009 年 7 月)
[0010]非专利文献2:Jianle Chen, et al.“CE6.a.4:Chroma intra prediction byreconstructed luma samples” (JCTVC-E266, 2011 年 3 月)
【发明内容】
[0011]技术问题
[0012]然而，根据上述非专利文献2中描述的技术，在LM模式下建立预测函数所需的存储器资源随着参考像素的数量的增加而增加。尤其在其中预测单元的尺寸扩展直至64X64像素的HEVC中，变得有必要提供大存储器以采用LM模式，这会出现对硬件的小型化或者成本降低的困难。
[0013]因此，希望提供一种能够减少当基于动态建立的预测函数如LM模式作出帧内预测时所需的存储器资源量的技术。
[0014]问题的解决方案
[0015]根据本公开内容，图像处理装置包括:解码部分，其按照每个块中的亮度分量和色差分量的顺序对编码单元内的块的亮度分量和色差分量进行解码。
[0016]通常可以将以上提及的图像处理装置实现为对图像进行解码的图像解码装置。
[0017]此外根据本公开内容，图像处理方法包括按照每个块中的亮度分量和色差分量的顺序对编码单元内的块的亮度分量和色差分量进行解码。
[0018]此外根据本公开内容，图像处理装置包括编码部分，其按照每个块中的亮度分量和色差分量的顺序对编码单元内的块的亮度分量和色差分量进行编码。
[0019]通常可以将以上提及的图像处理装置实现为对图像进行编码的图像编码装置。
[0020]此外根据本公开内容，图像处理方法包括按照每个块中的亮度分量和色差分量的顺序对编码单元内的块的亮度分量和色差分量进行编码。
[0021]发明的有益效果
[0022]根据本公开内容的技术，可以减少当基于动态建立的预测函数作出帧内预测时所需的存储器资源的量。
【专利附图】
【附图说明】
[0023]图1是示出根据实施方式的图像编码装置的配置示例的框图。
[0024]图2是示出该实施方式的图像编码装置的帧内预测部分的详细配置示例的框图。
[0025]图3是示出针对4X4像素的预测单元的亮度分量的预测模式候选的示例的说明图。
[0026]图4是示出关于图3中的示例的预测方向的说明图。
[0027]图5是示出关于图3中的示例的参考像素的说明图。
[0028]图6是示出针对8X8像素的预测单元的亮度分量的预测模式候选的示例的说明图。
[0029]图7是示出针对16X 16像素的预测单元的亮度分量的预测模式候选的示例的说明图。
[0030]图8是示出针对色差分量的预测模式候选的示例的说明图。[0031]图9是示出现有技术中的处理顺序与本实施方式中的处理顺序之间的区别的说明图。
[0032]图1OA是示出新编码处理的顺序的第一示例的说明图。
[0033]图1OB是示出新编码处理的顺序的第二示例的说明图。
[0034]图1lA是示出LM模式下的参考像素的第一说明图。
[0035]图1lB是示出LM模式下的参考像素的第二说明图。
[0036]图12是示出第一场景中的参考比的定义的示例的说明图。
[0037]图13A是示出根据第一场景控制的参考像素的数量的第一示例的说明图。
[0038]图13B是示出根据第一场景控制的参考像素的数量的第二示例的说明图。
[0039]图14是示出第二场景中的参考比的定义的示例的说明图。
[0040]图15A是示出根据第二场景控制的参考像素的数量的第一示例的说明图。
[0041]图15B是示出根据第二场景控制的参考像素的数量的第二示例的说明图。
[0042]图15C是示出根据第二场景控制的参考像素的数量的第三示例的说明图。
[0043]图1?是示出根据第二场景控制的参考像素的数量的第四示例的说明图。
[0044]图16是示出第三场景中的参考比的定义的示例的说明图。
[0045]图17A是示出根据第三场景控制的参考像素的数量的第一示例的说明图。
[0046]图17B是示出根据第三场景控制的参考像素的数量的第二示例的说明图。
[0047]图18是示出第四场景中的参考比的定义的示例的说明图。
[0048]图19A是示出根据第四场景控制的参考像素的数量的第一示例的说明图。
[0049]图19B是示出根据第四场景控制的参考像素的数量的第二示例的说明图。
[0050]图20A是示出根据第五场景控制的参考像素的数量的第一示例的说明图。
[0051]图20B是示出根据第五场景控制的参考像素的数量的第二示例的说明图。
[0052]图21是示出在根据该实施方式编码时帧内预测处理的示例的流程图。
[0053]图22是示出图21中的LM模式预测处理的详细流程的示例的流程图。
[0054]图23是示出根据该实施方式的图像解码装置的详细配置的示例的框图。
[0055]图24是根据该实施方式的图像解码装置的帧内预测部分的详细配置的示例的框图。
[0056]图25是示出在根据实施方式解码时帧内预测处理的流程示例的流程图。
[0057]图26是示出根据变型的减少(thinning)处理的示例的说明图。
[0058]图27A是示出与图26的示例不同的减少处理的示例的第一说明图。
[0059]图27B是示出与图26的示例不同的减少处理的示例的第二说明图。
[0060]图27C是示出与图26的示例不同的减少处理的示例的第三说明图。
[0061]图28A是示出参考像素的减少位置与亮度分量的减少位置之间的对应关系的第一示例的说明图。
[0062]图28B是示出参考像素的减少位置与亮度分量的减少位置之间的对应关系的第二示例的说明图。
[0063]图29是示出电视机的示意性配置的示例的框图。
[0064]图30是示出移动电话的示意性配置的示例的框图。
[0065]图31是示出记录/再现装置的示意性配置的示例的框图。[0066]图32是示出图像拍摄装置的示意性配置的示例的框图。
【具体实施方式】
[0067]在下文中，将参照附图详细描述本发明的优选实施方式。注意的是，在本说明书和图中，用相同的附图标记表示基本具有相同的功能和结构的元件，并且省略重复说明。
[0068]此外，将按以下提及的顺序描述“【具体实施方式】”。
[0069]1.根据实施方式的图像编码装置的示例配置
[0070]2.在根据实施方式编码时的处理流程
[0071]3.根据实施方式的图像解码装置的示例配置
[0072]4.在根据实施方式解码时的处理流程
[0073]5.变型
[0074]6.示例应用
[0075]7.总结
[0076]〈1.根据实施方式的图像编码装置的示例配置〉
[0077][1-1.总体配置的示例]
[0078]图1是示出根据实施方式的图像编码装置10的配置示例的框图。参考图1，图像编码装置10包括A/D (模拟至数字)转换部分11、排序缓冲器12、减法部分13、正交变换部分14、量化部分15、无损编码部分16、累积缓冲器17、速率控制部分18、逆量化部分21、逆正交变换部分22、加法部分23、去块效应滤波器24、帧存储器25、选择器26和选择器27、运动估计部分30以及帧内预测部分40。
[0079]A/D转换部分11将以模拟格式输入的图像信号转换为数字格式的图像数据，并且将一系列数字图像数据输出给排序缓冲器12。
[0080]排序缓冲器12对被包括在从A/D转换部分11输入的一系列图像数据中的图像进行排序。在根据编码处理对根据GOP (画面组)结构的图像进行排序之后，排序缓冲器12将已被排序的图像数据输出给减法部分13、运动估计部分30以及帧内预测部分40。
[0081]从排序缓冲器12输入的图像数据和由后面描述的运动估计部分30或帧内预测部分40输入的预测图像数据被提供给减法部分13。减法部分13计算预测误差数据(该预测误差数据是从排序缓冲器12输入的图像数据与预测图像数据之间的差)，并且将计算出的预测误差数据输出给正交变换部分14。
[0082]正交变换部分14对从减法部分13输入的预测误差数据进行正交变换。要由正交变换部分14进行的正交变换可以是例如离散余弦变换(DCT)或者Karhunen-Loeve变换。正交变换部分14将通过正交变换处理获取到的变换系数数据输出给量化部分15。
[0083]从正交变换部分14输入的变换系数数据和来自后面描述的速率控制部分18的速率控制信号被提供给量化部分15。量化部分15对变换系数数据进行量化，并且将被量化了的变换系数数据(在下文中称为量化数据)输出给无损编码部分16和逆量化部分21。此夕卜，量化部分15基于来自速率控制部分18的速率控制信号来转换量化参数(量化尺度)，由此改变要被输入给无损编码部分16的量化数据的比特率。
[0084]无损编码部分16通过对从量化部分15输入的量化数据进行无损编码处理来生成编码流。由无损编码部分16进行的无损编码可以是例如可变长度编码或者算术编码。此夕卜，无损编码部分16将从选择器27输入的关于帧内预测的信息或者关于帧间预测的信息复用到编码流的标头区。然后，无损编码部分16将所生成的编码流输出给累积缓冲器17。
[0085]通常，一个编码单元(⑶)包含亮度分量(Y)的一个或更多个预测单元以及色差分量(Cb，Cr)中的每个分量的一个或更多个预测单元。根据现有技术，按照分量的顺序对这些预测单元的量化数据进行编码。也就是说，在一个CU内的亮度分量(Y)的数据被编码之后，色差分量(Cb)的数据被编码，然后色差分量(Cr)的数据被编码。相比来说，根据本实施方式，无损编码部分16按照对其进行帧内预测的编码单元中的PU的顺序对量化数据进行编码以生成编码流。后面将进一步描述该编码顺序。
[0086]累积缓冲器17使用存储介质如半导体存储器来临时存储从无损编码部分16输入的编码流。然后，累积缓冲器17以根据发送线路的频带的速率将累积的编码流输出给发送部分(未示出，例如到外围设备的通信接口或连接接口)。
[0087]速率控制部分18监视累积缓冲器17的空闲空间。然后，速率控制部分18根据在累积缓冲器17上的空闲空间生成速率控制信号，并且将所生成的速率控制信号输出给量化部分15。例如，当累积缓冲器17上不存在很多空闲空间时，速率控制部分18生成用于降低量化数据的比特率的速率控制信号。此外，例如，当累积缓冲器17上的空闲空间足够大时，速率控制部分18生成用于提高量化数据的比特率的速率控制信号。
[0088]逆量化部分21对从量化部分15输入的量化数据进行逆量化处理。然后，逆量化部分21将通过逆量化处理获取的变换系数数据输出给逆正交变换部分22。
[0089]逆正交变换部分22对从逆量化部分21输入的变换系数数据进行逆正交变换处理，以由此恢复预测误差数据。然后，逆正交变换部分22将恢复的预测误差数据输出给加法部分23。
[0090]加法部分23将从逆正交变换部分22输入的经恢复的预测误差数据与从运动估计部分30或者帧内预测部分40输入的预测图像数据相加，以由此生成解码的图像数据。然后，加法部分23将所生成的解码图像数据输出给去块效应滤波器24和帧存储器25。
[0091]去块效应滤波器24进行滤波处理以减少在对图像进行编码时发生的块失真。去块效应滤波器24对从加法部分23输入的解码图像数据进行滤波以消除块失真，并且将滤波后的解码图像数据输出给帧存储器25。
[0092]帧存储器25使用存储介质来存储从加法部分23输入的解码图像数据和从去块效应滤波器24输入的滤波后的解码图像数据。
[0093]选择器26从帧存储器25读取要被用于帧间预测的滤波后的解码图像数据，并且向运动估计部分30提供已被读取的解码图像数据作为参考图像数据。此外，选择器26从帧存储器25读取要被用于帧内预测的滤波前的解码图像数据，并且给帧内预测部分40提供已被读取的解码图像数据作为参考图像数据。
[0094]在帧间预测模式下，选择器27将由运动估计部分30输出的作为帧间预测的结果的预测图像数据输出给减法部分13，并且，将关于帧间预测的信息输出给无损编码部分16。此外，在帧内预测模式下，选择器27将由帧内预测部分40输出的作为帧内预测的结果的预测图像数据输出给减法部分13，并且，将关于帧内预测的信息输出给无损编码部分
16。选择器27根据由运动估计部分30或者帧内预测部分40输出的成本函数的大小，在帧间预测模式与帧内预测模式之间切换。[0095]运动估计部分30基于要被编码且从重新排序缓冲器12输入的图像数据(原始图像数据)以及经由选择器26提供的解码图像数据进行帧间预测处理(帧间预测处理)。例如，运动估计部分30通过使用预定的成本函数的各个预测模式来估计预测结果。接下来，运动估计部分30选择产生最小成本函数值的预测模式，即产生最高压缩比的预测模式，作为最优预测模式。此外，运动估计部分30根据最优预测模式生成预测图像数据。然后，运动估计部分30将指示所选择的最优预测模式的预测模式信息、包括运动矢量信息和参考图像信息的关于帧间预测的信息、成本函数值以及预测图像数据输出给选择器27。
[0096]帧内预测部分40基于从帧存储器25提供的作为参考图像数据的解码图像数据和从重新排序缓冲器12输入的原始图像数据，对在图像内设置的各个块进行帧内预测处理。然后，帧内预测部分40将包括指示最优预测模式的预测模式信息以及尺寸相关信息的关于帧内预测的信息、成本函数值以及预测图像数据输出给选择器27。除了现有的帧内预测模式之外，可以被帧内预测部分40选择的预测模式还包括关于色差分量的线性模型(LM)模式。与上述非专利文献2中所描述的LM模式相比，本实施方式中的LM模式的特征在于参考像素的数量与块尺寸之比可以改变。后面将详细描述通过帧内预测部分40进行的帧内预测处理。
[0097][1-2.帧内预测部分的配置示例]
[0098]图2是示出图1中示出的图像编码装置10的帧内预测部分40的详细配置示例的框图。参考图2，帧内预测部分40包括预测控制器42、系数计算部分44、预测部分46以及模式确定部分48。
[0099]预测控制器42控制由帧内预测部分40进行的帧内预测处理。例如，预测控制器42进行亮度分量(Y)的帧内预测处理，然后在接下来的处理单元中进行色差分量(Cb，Cr)的帧内预测处理。在亮度分量的帧内预测处理中，预测控制器42使预测部分46以多个预测模式生成各个像素的预测像素值并且使模式确定部分48确定亮度分量的最优预测模式。结果，还确定预测单元在编码单元中的布置。在色差分量的帧内预测处理中，预测控制器42使预测部分46针对各个预测单元在多个预测模式下生成各个像素的预测像素值并且使模式确定部分48确定色差分量的最优预测模式。
[0100]针对亮度分量的预测模式候选可以是由现有的图像编码方案如H.264/AVC采用的预测模式或者不同的预测模式。针对色差分量的预测模式候选还可以包含由现有的图像编码方案采用的预测模式。此外，针对色差分量的预测模式候选包含以上提及的LM模式。然而，在本实施方式中，只有在色差分量的预测单元的尺寸和对应的亮度分量的预测单元的尺寸满足预定条件的情况下，LM模式才被添加作为针对色差分量的预测单元的预测模式候选(即最优预测模式的搜索范围)。预定条件可以是“色差分量的预测单元的尺寸等于或者小于按照色度格式根据对应的亮度分量的预测单元的尺寸而确定的尺寸”的条件。“对应的预测单元”是至少部分共享像素的预测单元。可以在不依赖于亮度分量的预测单元的尺寸的情况下确定色差分量的预测单元的尺寸。因此，关于某个色差分量的预测单元，可以出现亮度分量的一个或者多个对应的预测单元。以上条件中的“按照色度格式根据对应的亮度分量的预测单元的尺寸而确定的尺寸”是，当亮度分量的预测单元的尺寸为MXN像素时，如果色度格式为4:2:0则所确定的尺寸为(M/2) X (N/2)像素，如果色度格式为4:2:2则所确定的尺寸为(M/2) XN像素，如果色度格式为4:4:4则所确定的尺寸为MXN像素。后面将详细描述对用于LM模式的搜索进行限制的含义。
[0101]根据上述非专利文献2中描述的技术，当计算LM模式下的预测函数的系数时参考像素的数量与块尺寸之比为常数。因此，参考像素的数量对应地随着块尺寸的增大而增大。另一方面，在本实施方案中，预测控制器42可变地控制以上述比。这里块尺寸原则上是预测单元的尺寸。以上提及的由预测控制器42控制的比，即参考像素的数量与块尺寸之比，在此将被称为“参考比”。通常根据块尺寸通过预测控制器42进行对参考比的控制。此外，预测控制器42可以根据影响色差分量的块尺寸的色度格式来控制参考比。预测控制器42也可以根据定义用于对图像编码和解码的装置的能力的参数(例如属性(profile)或等级)来控制参考比。后面将更详细地描述通过预测控制器42控制参考比的多个场景。
[0102]系数计算部分44通过参考要被预测的像素所属于的预测单元周围的像素即参考像素来计算预测部分46在LM模式下使用的预测函数的系数。被预测部分46使用的预测函数通常为亮度分量的值的线性函数。如上所述，通过预测控制器42控制被系数计算部分44参考以计算预测函数的系数的参考像素的数量。
[0103]预测部分46在预测控制器42的控制下根据各种预测模式候选来预测要被预测的像素的亮度分量的像素值和色差分量的像素值。后面将更详细描述被预测部分46使用的预测模式候选的示例。由预测部分46作为预测结果生成的预测图像数据被输出给用于各个预测模式的模式确定部分48。
[0104]模式确定部分48基于从重新排序缓冲器12输入的原始图像数据和从预测部分46输入的预测图像数据来计算各个预测模式的成本函数值。然后，基于计算出的成本函数值，模式确定部分48确定用于亮度分量的最优预测模式和预测单元在编码单元内的布置。类似地，基于色差分量的成本函数值，模式确定部分48确定用于色差分量的最优预测模式和预测单元的布置。然后，模式确定部分48将包括指示所确定的最优预测模式的预测模式信息和尺寸相关信息的关于帧内预测的信息、成本函数值以及包括亮度分量和色差分量的预测像素值的预测图像数据输出给选择器27。除了识别各个预测单元的尺寸的信息之外，由模式确定部分48输出的尺寸相关信息还可以包含指定色度格式的信息。
[0105][1-3.预测模式候选]
[0106]接下来，将描述帧内预测部分40的预测部分46使用的预测模式候选。
[0107](I)针对亮度分量的预测模式候选
[0108]针对亮度分量的预测模式候选可以是被现有信息编码方案如H.264/AVC采用的预测模式。图3至图5是示出当预测单元的尺寸为4X4像素时这种预测模式候选的说明图。
[0109]参考图3，示出了可以被用于4X4像素的预测单元的九种预测模式(模式O至模式8)。在图4中，示意性地示出了对应于各个模式号的预测方向。在图5中，小写字母字符a至P代表4X4像素的预测单元中的各个像素(即，要被预测的各个像素)的像素值。预测单元周围的Rz (z=a,b, -,m)代表编码的参考像素的像素值。
[0110]例如，模式O下的预测方向为竖直方向，并且如下计算各个预测像素值:
[0111]a = e = i = m = Ra
[0112]b = f = j = η = Rb
[0113]c = g = k = ο = Re[0114]d = h = I = p = Rd
[0115]模式I下的预测方向为水平，并且如下计算各个预测像素值:
[0116]a = b = c = d = Ri
[0117]e = f = g = h = R j
[0118]i = j = k = I = Rk
[0119]m = η = ο = p = Rl
[0120]模式2代表DC预测(平均值预测)并且根据下列四个公式之一(取决于可以使用哪个参考像素)计算各个预测像素值。
[0121]a = b =…=P = (Ra+Rb+Rc+Rd+Ri+Rj+Rk+Rl+4) >>3
[0122]a=b=…=p=(Ra+Rb+Rc+Rd+2) >>2
[0123]a = b =…=p = (Ri+Rj+Rk+Rl+2) >>2
[0124]a = b=...=p=128
[0125]模式3下的预测 方向为斜向左下，并且如下计算各个预测像素值:
[0126]a = (Ra+2Rb+Rc+2) >>2
[0127]b = e = (Rb+2Rc+Rd+2) >>2
[0128]c = f = i = (Rc+2Rd+Re+2) >>2
[0129]d=g=j = m = (Rd+2Re+Rf+2) >>2
[0130]h = k = n = (Re+2Rf+Rg+2) >>2
[0131]1 = 0= (Rf+2Rg+Rh+2) >>2
[0132]p = (Rg+3Rh+2) >>2
[0133]模式4下的预测方向为斜向右下，并且如下计算各个预测像素值:
[0134]m = (Rj+2Rk+Rl+2) >>2
[0135]i = n = (Ri+2Rj+Rk+2) >>2
[0136]e = j = ο = (Rm+2Ri+Rj+2) >>2
[0137]a = f = k = p = (Ra+2Rm+Ri+2) >> 2
[0138]b = g = I = (Rm+2Ra+Rb+2) >>2
[0139]c = h = (Ra+2Rb+Rc+2) >>2
[0140]d = (Rb+2Rc+Rd+2) >>2
[0141]模式5下的预测方向为竖直向右，并且如下计算各个预测像素值:
[0142]a = j = (Rm+Ra+1) >> I
[0143]b = k = (Ra+Rb+1) >> I
[0144]c = l= (Rb+Rc+1) >> I
[0145]d = (Rc+Rd+1) >> I
[0146]e=n=(Ri+2Rm+Ra+2) >>2
[0147]f = o = (Rm+2Ra+Rb+2) >>2
[0148]g = p = (Ra+2Rb+Rc+2) >>2
[0149]h= (Rb+2Rc+Rd+2) >>2
[0150]i=(Rm+2Ri+Rj+2) >>2
[0151]m = (Ri+2Rj+Rk+2) >>2[0152]模式6下的预测方向为水平向下，并且如下计算各个预测像素值:
[0153]a=g= (Rm+Ri+1) >> I
[0154]b = h = (Ri+2Rm+Ra+2) >>2
[0155]c = (Rm+2Ra+Rb+2) >>2
[0156]d = (Ra+2Rb+Rc+2) >>2
[0157]e=k= (Ri+Rj+1) >> I
[0158]f = I = (Rm+2Ri+Rj+2) >>2
[0159]i = o= (Rj+Rk+1) >> I
[0160]j = p = (Ri+2Rj+Rk+2) >>2
[0161]m = (Rk+Rl+1) >> I
[0162]n = (Rj+2Rk+Rl+2) >>2
[0163]模式7下的预测方向为竖直向左，并且如下计算各个预测像素值:
[0164]a = (Ra+Rb+1) >> I
[0165]b=i = (Rb+Rc+1) >> I
[0166]c = j = (Rc+Rd+1) >> I
[0167]d = k = (Rd+Re+1) >> I
[0168]I = (Re+Rf+1) >> I
[0169]e = (Ra+2Rb+Rc+2) >>2
[0170]f = m = (Rb+2Rc+Rd+2) >> 2
[0171]g = n = (Rc+2Rd+Re+2) >>2
[0172]h = o = (Rd+2Re+Rf+2) >>2
[0173]p= (Re+2Rf+Rg+2) >> 2
[0174]模式8下的预测方向为水平向上，并且如下计算各个预测像素值:
[0175]a= (Ri+Rj+1) >> I
[0176]b=(Ri+2Rj+Rk+2) >>2
[0177]c = e = (Rj+Rk+1) >> I
[0178]d = f = (Rj+2Rk+Rl+2) >>2
[0179]g = i = (Rk+Rl+1) >> I
[0180]h = j = (Rk+3Rl+2) >>2
[0181]k=l=m = n = o = p = Rl
[0182]参考图6，示出了可以被用于8X8像素的预测单元的九个预测模式(模式0至模式8)。模式O下的预测方向为竖直。模式I下的预测方向为水平。模式2代表DC预测(平均值预测)。模式3下的预测方向为斜左下。模式4下的预测方向为斜右下。模式5下的预测方向为竖直右。模式6下的预测方向为水平下。模式7下的预测方向为竖直左。模式8下的预测方向为水平上。
[0183]参考图7，示出了可以被用于16X16像素的预测单元的四个预测模式(模式O至模式3)。模式O下的预测方向为竖直。模式I下的预测方向为水平。模式2代表DC预测(平均值预测)。模式3代表平面预测。
[0184](2)针对色差分量的预测模式候选[0185]可以独立于针对亮度分量的预测模式来选择针对色差分量的预测模式。在图8中，在色差分量的块尺寸为8 X 8像素的情况下可以使用的预测模式候选中，示出了适用于现有图像编码方案如H.264/AVC的四个预测模式(模式O至模式3)。
[0186]模式O代表DC预测(平均值预测)。在此，像素位置(X，y)的预测像素值表示为Pr。(X，y),八个左参考像素值表示为Rec (-1，η),并且八个上参考像素值表示为Rec (η, -1)。C作为下标意味着色差分量。η是大于等于O并且小于等于7的整数。然后，根据下列三个公式之一(取决于可以得到哪个参考像素)计算预测像素值Pr。(x,y):
[0187][数学式I]
[0188]
【权利要求】
1.一种图像处理装置，包括: 解码部分，其按照每个块中的亮度分量和色差分量的顺序对编码单元内的块的亮度分量和色差分量进行解码。
2.根据权利要求1所述的图像处理装置，其中，所述解码部分按照所述编码单元中的第一块的亮度分量、所述第一块的色差分量以及根据解码顺序接在所述第一块之后的第二块的亮度分量的顺序，对所述第一块的所述亮度分量、所述第一块的所述色差分量以及所述第二块的所述亮度分量进行解码。
3.根据权利要求2所述的图像处理装置，其中，所述解码部分按照所述第一块的所述亮度分量、所述第一块的所述色差分量、所述第二块的所述亮度分量以及所述第二块的色差分量的顺序对所述第一块的所述亮度分量、所述第一块的所述色差分量、所述第二块的所述亮度分量以及所述第二块的所述色差分量进行解码。
4.根据权利要求3所述的图像处理装置， 其中，解码处理的单元是按层次分块的，并且 其中，所述块为预测单元。
5.根据权利要求4所述的图像处理装置，还包括: 预测部分， 当代表基于所述亮度分量对所述色差分量的预测的线性模型(LM)模式被指定时，所述预测部分使用基于所述第一块的所述亮度分量的值的函数来生成由所述解码部分解码的所述第一块的所述色差分量的预测值。
6.根据权利要求5所述的图像处理装置，其中，与一个色差预测单元相对应的亮度预测单元的数量在所述LM模式下被限制为一。
7.根据权利要求6所述的图像处理装置，其中，当所述亮度预测单元的尺寸为4X4像素时，与所述一个色差预测单元相对应的所述亮度预测单元的数量在所述LM模式下例外地被许可为大于一。
8.根据权利要求7所述的图像处理装置，其中，当所述第一块的尺寸为4X4像素时，所述解码部分对包括所述第一块的至少一个4X4像素的所述亮度预测单元的亮度分量进行解码，然后对所述第一块的所述色差分量进行解码。
9.根据权利要求6所述的图像处理装置，其中，所述预测部分包括尺寸等于或者小于所述色差预测单元的最大尺寸的缓冲器，以作为用于所述LM模式的所述亮度分量的缓冲器。
10.一种图像处理方法，包括: 按照每个块中的亮度分量和色差分量的顺序，对编码单元内的块的亮度分量和色差分量进行解码。
11.一种图像处理装置，包括: 编码部分，所述编码部分按照每个块中的亮度分量和色差分量的顺序对编码单元内的块的亮度分量和色差分量进行编码。
12.根据权利要求11所述的图像处理装置，其中，所述编码部分按照所述编码单元中的第一块的亮度分量、所述第一块的色差分量以及根据解码顺序接在所述第一块之后的第二块的亮度分量的顺序，对所述第一块的所述亮度分量、所述第一块的所述色差分量以及所述第二块的所述亮度分量进行编码。
13.根据权利要求12所述的图像处理装置，其中，所述编码部分按照所述第一块的所述亮度分量、所述第一块的所述色差分量、所述第二块的所述亮度分量以及所述第二块的色差分量的顺序，对所述第一块的所述亮度分量、所述第一块的所述色差分量、所述第二块的所述亮度分量以及所述第二块的所述色差分量进行编码。
14.根据权利要求13所述的图像处理装置， 其中，编码处理的单元是按照层次分块的，并且 其中，所述块为预测单元。
15.根据权利要求14所述的图像处理装置，还包括: 预测部分，在代表基于所述亮度分量对所述色差分量的预测的线性模型(LM)模式下，所述预测部分使用基于所述第一块的所述亮度分量的值的函数来生成由所述编码部分编码的所述第一块的所述色差分量的预测值。
16.根据权利要求15所述的图像处理装置，其中，与一个色差预测单元相对应的亮度预测单元的数量在所述LM模式下被限制为一。
17.根据权利要求16所述的图像处理装置，其中，当所述亮度预测单元的尺寸为4X4像素时，与所述一个色差预测单元相对应的所述亮度预测单元的数量在所述LM模式下例外地被许可为大于一。
18.根据权利要求17所述的图像处理装置，其中，当所述第一块的尺寸为4X4像素时，所述编码部分对包括所述第一块的至少一个4X4像素的所述亮度预测单元的亮度分量进行编码，然后对所述第一块的所述色差分量进行编码。
19.根据权利要求16所述的图像处理装置，其中，所述预测部分包括尺寸等于或者小于所述色差预测单元的最大尺寸的缓冲器，以作为用于所述LM模式的所述亮度分量的缓冲器。
20.—种图像处理方法，包括: 按照每个块中的亮度分量和色差分量的顺序，对编码单元内的块的亮度分量和色差分量进行编码。
【文档编号】H04N19/11GK103583045SQ201280025681
【公开日】2014年2月12日 申请日期:2012年4月4日 优先权日:2011年6月3日
【发明者】佐藤数史 申请人:索尼公司