专利名称：图像处理装置和图像处理方法
技术领域：
本公开涉及一种图像处理装置和图像处理方法。
背景技术：
用于压缩数字图像的数据大小的图像编码方案的重要技术中的一种技术是画面内预测，即帧内预测。帧内预测是一种通过利用图像中相邻块之间的相关性并且根据其它相邻块的像素值预测给定块中的像素值来减少编码信息量的技术。在MPEG4之前的图像编码方案中，仅正交变换系数的DC直流分量和低频分量经受帧内预测。同时，在H.264/AVC(高级视频编码)中，所有分量均可以经受帧内预测。当使用帧内预测时，对于具有像素值平缓改变的图像(例如，如蓝天的图像)，可以期待压缩率的显著改进。在帧内预测中，通常从多个预测模式当中选择用于预测预测目标块的像素值的最优预测模式。通常可以根据从参考像素到预测目标像素的预测方向来区别预测模式。例如，根据在H.264/AVC之后、作为下一代图像编码方案而标准化的HEVC，在亮度分量的预测中，可以选择多种预测模式诸如角度预测模式、平均值(DC)预测模式以及平面预测模式(参见 Benjamin Bross 等 “WD4:Working Draft 4 of High-Effciency VideoCoding”(JCTVC-F803_d6, July，2011))。另外，在HEVC中，在色差分量的预测中，期望采用被称为线性模型(LM)模式的额外的预测模式，在LM模式中使用动态构建的亮度分量的线性函数作为预测函数来预测色差分量的像素值(参见 Jianle Chen 等“CE6.a.4:Chroma intra prediction byreconstructed luma samples”(JCTVC-E266, March, 2011))。尽管未确定 HEVC 的规范，但是存在如下可能性:在LM模式中，可使用相邻块的两条或更多条参考线中的参考像素作为在预测函数的构建中所参考的亮度分量的参考像素。Mei Guo等的“Intra Chroma LM Modewith Reduced Line Buffer”( JCTVC-F121, July，2011)建议，对于位于 LCU 边界正下方的预测目标块，将相邻块的参考线减少至仅为单个参考线。
发明内容
通常，参考线的增加将具有将增加必要的线存储器的规模的缺点。特别地，在帧内预测中参考不同颜色分量的预测模式仅为LM模式的情况下，就成本效益而言仅为LM模式而增加线存储器的规模是不合理的。然而，已经证实LM模式自身有助于编码效率的改进。因此，期望使用一种方式，该方式通过有效地利用由于LM模式的引入而增加的、用于改进其它预测模式的预测精确度的亮度分量的参考线来进一步提高编码效率，从而凭借线存储器的规模的增加而改进成本效益。根据本公开的实施例，提供了一种图像处理装置，该图像处理装置包括:控制单元，其被配置成在帧内预测的执行中确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和预测单元，其被配置成当控制单元确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。
根据本公开的另一实施例，提供了一种图像处理方法，该图像处理方法包括:在帧内预测的执行中，确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和当确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。根据以上描述的本公开的实施例，可以通过有效地利用增加的亮度分量的参考线，改进各种预测模式的预测精确度。
图1是示出根据实施例的图像编码装置的示例性配置的框图；图2是示出根据实施例的图像编码装置的帧内预测单元的示例性详细配置的框图；图3是说明除LM模式之外的现有预测模式中所使用的参考像素的说明图；图4是说明JCTVC-E266所建议的LM模式的方法中所使用的参考像素的说明图；图5A是说明JCTVC-F121所建议的LM模式的方法中所使用的参考像素的第一说明图；图5B是说明JCTVC-F121所建议的LM模式的方法中所使用的参考像素的第二说明图；图6是示出JCTVC_F803_d6中所描述的帧内预测中预测模式号的说明图；图7是示出用于JCTVC_F803_d6中所描述的帧内预测中的每个预测模式的角度参数值的说明图；图8是说明参考像素的索引的说明图；图9是说明在现有角度预测模式中预测像素值的计算的说明图；图10是说明实施例中扩展的角度预测模式中的预测像素值的计算的说明图；图11是说明实施例中扩展的DC预测模式中的预测像素值的计算的说明图；图12是说明平面预测模式中参考像素的可用性的确定的说明图；图13是说明实施例中扩展的平面预测模式中的预测像素值的计算的说明图；图14是说明根据变型例的扩展的DC预测模式中的预测像素值的计算的说明图；图15是说明根据变型例的扩展的平面预测模式中的预测像素值的计算的说明图；图16是示出在根据实施例的编码中所执行的帧内预测处理的示例性流程的流程图；图17是示出扩展的角度预测处理的示例性详细流程的流程图；图18是示出扩展的DC预测处理的示例性详细流程的流程图；图19是示出扩展的平面预测处理的示例性详细流程的流程图；图20是示出根据实施例的可用性确定处理的示例性详细流程的流程图；图21是示出根据实施例的图像解码装置的示例性配置的框图；图22是示出根据实施例的图像解码装置的帧内预测单元的示例性详细配置的框图；图23是示出在根据实施例的解码中所执行的帧内预测处理的示例性流程的流程图；图24是示出电视装置的示例性概略配置的框图；图25是示出便携式电话装置的示例性概略配置的框图；图26是示出记录/再现装置的示例性概略配置的框图；以及图27是示出成像装置的示例性概略配置的框图。
具体实施例方式在下文中，将参照附图详细地描述本公开的优选实施例。应当注意，在此说明书和附图中，用相同附图标记表示实质上具有相同功能和结构的结构元件，并且省略这些结构元件的重复说明。将以下面的顺序进行描述:1.根据实施例的图像编码装置的示例性配置2.在根据实施例的编码中所执行的处理的流程3.根据实施例的图像解码装置的示例性配置4.在根据实施例的解码中所执行的处理的流程5.应用的示例6.结论〈1.根据实施例的图像编码装置的示例性配置〉[1-1.整体示例性配置]图1是示出根据实施例的图像编码装置10的示例性配置的框图。参照图1，图像编码装置10包括A/D (模拟到数字)转换单元11、排序缓冲12、减法器13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲17、码率控制单元18、逆量化单元21、逆正交变换单元22、加法器23、去块效应滤波器24、帧存储器25、选择器27、运动搜索单元30以及帧内预测单元40。A/D转换单元11将以模拟格式输入的图像信号转换为数字格式的图像数据，并且将一系列数字图像数据输出至排序缓冲12。排序缓冲12对从A/D转换单元11所输入的一系列图像数据中所包含的图像排序。排序缓冲12在根据依照编码处理的GPP (图片组)结构而排序图像之后，将排序的图像数据输出至减法器13、运动搜索单元30以及帧内预测单元40。减法器13提供有从排序缓冲12所输入的图像数据和从下述运动搜索单元30或帧内预测单元40所输入的预测图像数据。减法器13计算预测误差数据并且将计算的预测误差数据输出至正交变换单元14，该预测误差数据是从排序缓冲12所输入的图像数据与预测图像数据之间的差分。正交变换单元14对于从减法器13所输入的预测误差数据执行正交变换。在HEVC中，正交变换单元14所执行的正交变换是每变换单位(TU)的二维离散余弦变换(DCT)。正交变换单元14将在正交变换处理中所获取的变换系数数据输出至量化单元15。量化单元15提供有从正交变换单元14所输入的变换系数数据和来自下述码率控制单元18的码率控制信号。量化单元15对于变换系数数据执行量化，并且将量化之后的变换系数数据(在下文中称为量化数据)输出至无损编码单元16和逆量化单元21。另外，量化单元15通过基于来自码率控制单元18的码率控制信号切换量化参数(量化标度)，来改变将输入至无损编码单元16的量化数据的比特率。无损编码单元16对于从量化单元15所输入的量化数据执行无损编码处理以生成编码流。无损编码单元16所执行的无损编码可以是例如可变长度编码、算术编码等。另外，无损编码单元16在编码流的报头区域内，复用从选择器27所输入的关于帧内预测的信息或关于帧间预测的信息。然后，无损编码单元16将生成的编码流输出至存储缓冲17。在存储缓冲17中，使用存储介质(诸如半导体存储器)暂时存储从无损编码单元16所输入的编码流。然后，存储缓冲17将存储的编码流以对应于传输信道的带宽的码率输出至传输单元(未示出；例如，通信接口或用于连接至外围装置的接口)。码率控制单元18监视存储缓冲17的可用容量。然后，码率控制单元18根据存储缓冲17的可用容量来生成码率控制信号，并且将生成的码率控制信号输出至量化单元15。例如，当存储缓冲17的可用容量小时，码率控制单元18生成用于降低量化数据的比特率的码率控制信号。同时，例如，当存储缓冲17的可用容量足够大时，码率控制单元18生成用于增加量化数据的比特率的码率控制信号。逆量化单元21对于从量化单元15所输入的量化数据执行逆量化处理。然后，逆量化单元21将通过逆量化处理所获取的变换系数数据输出至逆正交变换单元22。逆正交变换单元22对于从逆量化单元21所输入的变换系数数据执行逆正交变换处理，以还原预测的误差数据。逆正交变换单元22所执行的逆正交变换是每TU的二维逆离散余弦变换(IDCT)。然后，逆正交变换单元22将还原的预测的误差数据输出至加法器23。加法器23将从逆正交变换单元22所输入的还原的预测误差数据和从运动搜索单元30或帧内预测单元40所输入的预测图像数据相加在一起，以重构解码图像数据。然后，加法器23将重构的解码图像数据输出至去块效应滤波器24和帧内预测单元40。去块效应滤波器24执行用于减少在图像的编码期间发生的块失真的滤波处理。去块效应滤波器24通过滤波从加法器23所输入的解码图像数据来移除块失真，并且将滤波之后的解码图像数据输出至帧存储器25。帧存储器25使用存储介质来存储从去块效应滤波器24所输入的滤波之后的解码图像数据。当运动搜索单元30执行帧间预测时，参考在帧存储器25中所存储的解码图像数据。 在帧间预测模式中，选择器27将从运动搜索单元30所输出的、作为帧间预测结果的预测图像数据输出至减法器13，并且将关于帧间预测的信息输出至无损编码单元16。另夕卜，在帧内预测模式中，选择器27将从帧内预测单元40所输出的、作为帧内预测的结果的预测图像数据输出至减法器13，并且将关于帧内预测的信息输出至无损编码单元16。选择器27根据从运动搜索单元30和帧内预测单元40所输出的成本函数值的幅值来在帧间预测模式与帧内预测模式之间切换。运动搜索单元30基于从排序缓冲12所输入的将编码的图像数据(原始图像数据)和从帧存储器25所读取的解码图像数据，来执行帧间预测处理(帧间预测处理)。例如，运动搜索单元30使用预定成本函数来评估每个预测模式中的预测结果。接下来，运动搜索单元30选择成本函数值最小的预测模式(S卩，压缩率最高的预测模式)作为最优预测模式。然后，运动搜索单元30将表示所选最优预测模式的预测模式信息、关于帧间预测的信息(包括运动向量信息和参考图像信息)、成本函数值以及预测图像数据输出至选择器27。帧内预测单元40基于从排序缓冲12所输入的原始图像数据和从加法器23所输入的作为参考图像数据的重构图像数据，对图像中所设置的每个预测目标块(也被称为预测单位:PU)执行帧内预测处理。然后，帧内预测单元40将关于帧内预测的信息(包括表示最优预测模式的预测模式信息)、成本函数值以及预测图像数据输出至选择器27。对于亮度分量，帧内预测单元40可选择的预测模式可以包括角度预测模式、DC预测模式以及平面预测模式。注意在本说明书中，垂直预测和水平预测也是角度预测的类型。对于色差分量，可以进一步选择前述的线性模型(LM)模式。在下面详细地描述帧内预测单元40所执行的这样的帧内预测处理。[1-2.帧内预测单元的示例性配置]图2是示出在图1中所示的图像编码装置10的帧内预测单元40的示例性详细配置的框图。参照图2，帧内预测单元40包括预测控制单元41、参考线存储器42、系数计算单元43、滤波器44、预测单元45以及模式确定单元46。其中，为了 LM模式的引入而设置系数计算单元43和滤波器44。预测控制单元41控制帧内预测单元40的帧内预测处理。在本实施例中，对图像中所设置的每个IXU (最大编码单位)顺序地执行图像编码装置10的编码处理。预测控制单元41对每个LCU中的一个或多个预测单元中的每个执行用于亮度分量(Y)的帧内预测处理和用于色差分量(Cb，Cr)的帧内预测处理。在用于亮度分量的帧内预测处理中，预测控制单元41使预测单元45以多个预测模式生成用于预测目标块的预测图像，并且使模式确定单元46确定用于色差分量的最优预测模式。在用于色差分量的帧内预测处理中，预测控制单元41使预测单元45以多个预测模式(包括LM模式)生成用于预测目标块的预测图像，并且使模式确定单元46确定用于色差分量的最优预测模式。凭借现有方法，在除LM模式之外的预测模式的任一个中，在预测像素值计算中所使用的参考像素通常仅是在位于预测目标块上方的相邻块的下端的一条线(一行)中的像素和在位于预测目标块左侧的相邻块的右端的一条线(一列)中的像素。图3示出了这样的参考像素的示例。例如，当使用线存储器存储参考像素值时，用于存储位于预测目标块上方的相邻块的参考像素值的线存储器可以是仅用于一条线的存储器。相反地，在JCTVC-E266所建议的LM模式中，可以在预测函数的计算中使用位于预测目标块上方的相邻块的两条或更多条线(例如，两行)和位于预测目标块左侧的相邻块的两条或更多条线(例如，八列)。图4示出了这样的参考像素的示例。当使用线存储器存储参考像素值时，与图3中的示例相比，用于存储位于预测目标块上方的相邻块的参考像素值的线存储器的规模增加一条线。当帧的大小是4096X2048像素并且位深是8比特时，存储器规模的增加达到4096像素X8比特=4千字节。同时，根据JCTVC-F121中的建议，在LM模式中的预测函数的系数的计算中，当位于预测目标块上方的相邻块与预测目标块属于相同LCU时，可以使用两条参考线，否则可以使用一条参考线。图5A示出了在前一种情况下的参考像素的示例。图5B示出了在后一种情况下的参考像素的示例。如上所述，当引入LM模式时，可以扩展用于存储用于色差分量的帧内预测处理中的亮度分量的参考像素值的线存储器的规模。然而，就成本效益而言，仅为LM模式而增加存储器规模是不合理的。因此，当在除LM模式之外的预测模式中两条或更多条参考线可用时，根据本实施例的帧内预测单元40还通过使用变为额外可用的参考线来生成预测图像使得改进预测精确度。在下文中，将具体地描述每个均被扩展的角度预测模式、DC预测模式以及平面预测模式。注意，在JCTVC-F803d6中详细地描述了现有方法中用于这样的预测模式的具体的计算式。在本说明书中，主要描述扩展这样的预测模式的情况与使用现有方法的情况之间的差别以简化说明。(I)角度预测模式在HEVC中，基于预测模式号来区别每个各个预测模式。图6示出了在JCTVC-F803d6中所描述的预测模式号。预测模式号“O”表示平面预测，预测模式号“ I”表示垂直预测，预测模式号“2”表示水平预测，预测模式号“3”表示DC预测，以及预测号“4”至“34”表示除前述预测之外的角度预测。对于色差分量，预测模式号“35”还表示LM模式。图6使用箭头示出了在角度预测模式中从预测目标像素到参考像素的方向。角度预测模式中的预测方向的角度经由在以下表I中所示的顺序参数(intraPredOrder)和在以下表2中所示的角度参数(intraPredAngle)映射到预测模式号(intraPredMode)。注意，表I和表2的内容类似于JCTVC_F803_d6中所示的内容。图7示出了角度参数intraPredAngle·的值以替代图6中的预测模式号。
权利要求
1.一种图像处理装置，其包括: 控制单元，其被配置成在帧内预测的执行中，确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和 预测单元，其被配置成当所述控制单元确定两条或更多条参考线可用时，使用所述两条或更多条参考线中的参考像素来生成用于所述预测目标块的预测图像。
2.根据权利要求1所述的图像处理装置，其中所述控制单元确定对于与所述预测目标块属于相同最大编码单位的相邻块，所述相邻块的两条或更多条参考线可用。
3.根据权利要求1所述的图像处理装置，其中当在角度预测模式中所述控制单元确定两条或更多条参考线可用时，所述预测单元使用在对应于指定角度的位置的所述两条或更多条参考线中的参考像素来生成用于所述预测目标块的预测图像。
4.根据权利要求3所述的图像处理装置，其中所述预测单元通过对在对应于所述角度的位置的第一参考线中的第一参考像素和在对应于所述角度的位置的第二参考线中的第二参考像素加权和相加在一起，来生成用于所述预测目标块的所述预测图像。
5.根据权利要求3所述的图像处理装置，其中当所述角度更接近于垂直或水平时，所述预测单元使用在对应于所述角度的位置的所述两条或更多条参考线中的参考像素来生成用于所述预测目标块的预测图像。
6.根据权利要求1所述的图像处理装置，其中当在平均值预测模式中所述控制单元确定两条或更多条参考线可用时，所述预测单元通过将所述两条或更多条参考线中的参考像素包括到平均值的计算中来生成用于所述预测目标块的预测图像。
7.根据权利要求1所述的图像处理装置，其中当在平面预测模式中所述控制单元确定两条或更多条参考 线可用并且第一参考线中预定位置的参考像素不可用时，所述预测单元使用第二参考线中的参考像素代替所述预定位置的所述参考像素来生成用于所述预测目标块的预测图像。
8.根据权利要求1所述的图像处理装置，其中所述控制单元确定对于与所述预测目标块属于不同帧或不同切片的相邻块，所述相邻块的参考线不可用。
9.根据权利要求8所述的图像处理装置，其中当位于所述预测目标块左侧的相邻块与所述预测目标块属于相同切片时，所述控制单元确定位于所述预测目标块左侧的所述相邻块的两条或更多条参考线可用。
10.根据权利要求1所述的图像处理装置，还包括: 参数获取单元，其被配置成获取有效化参数，所述有效化参数指示参考两条或更多条参考线的模式是否有效， 其中，当所述有效化参数指示参考两条或更多条参考线的所述模式有效时，所述控制单元确定两条或更多条参考线是否可用。
11.根据权利要求1所述的图像处理装置，还包括: 参数获取单元，其被配置成获取指示参数，所述指示参数对于具有两条或更多条可用参考线的每个预测目标块，指示是否要使用所述两条或更多条参考线中的第一和第二参考线中的参考像素， 其中，所述预测单元对于所述指示参数指示要使用所述第一和第二参考线中的参考像素的预测目标块，使用所述第一和第二参考线中的所述参考像素来生成所述预测图像。
12.—种图像处理方法，其包括: 在帧内预测的执行中确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和 当确定两条或更多条参考线可用时，使用所述两条或更多条参考线中的参考像素来生成用于所述预测目 标块的预测图像。
全文摘要
本发明提供了一种图像处理装置和图像处理方法，该图像处理装置包括控制单元，其被配置成在帧内预测的执行中，确定位于预测目标块上方或左侧的相邻块的两条或更多条参考线是否可用；和预测单元，其被配置成当控制单元确定两条或更多条参考线可用时，使用该两条或更多条参考线中的参考像素来生成用于预测目标块的预测图像。
文档编号H04N7/26GK103200401SQ201210586160
公开日2013年7月10日 申请日期2012年12月28日 优先权日2012年1月6日
发明者金钟大, 佐藤数史 申请人:索尼公司