专利名称：图像处理设备和方法
技术领域：
本发明涉及一种图像处理设备和方法，具体地，涉及一种甚至在块尺寸大时也能够提高帧内预测的编码效率的图像处理设备和方法。
背景技术：
近年来，图像压缩和编码设备已变得日益普遍，该图像压缩和编码设备对图像信息进行数字处理并且为了实现信息的高效传输和存储，通过采用如下编码方案对图像进行压缩和编码该编码方案利用与图像信息唯一相关联的冗余，通过使用诸如离散余弦变换的正交变换以及运动补偿，来对图像信息进行压缩。该编码方案的示例是MPEG (运动图像专家组)。
特别地，MPEG2 (IS0/IEC 13818-2)被定义为通用图像编码方案，并且描述了无遗漏地涵盖隔行扫描图像和顺次扫描图像、以及标准分辨率图像和高分辨率图像两者的标准。例如，MPEG2当前用于广泛的多种应用，包括专业应用以及消费者应用。通过使用MPEG2压缩方案，将4至8 Mbps的编码量(位率)分配给例如具有720X480个像素的标准分辨率的隔行扫描图像。此外，通过使用MPEG2压缩方案，将18至22 Mbps的编码量(位率)分配给例如具有1920X 1088个像素的闻分辨率的隔行扫描图像。因此，可以实现闻压缩比和闻图像质量。尽管MPEG2主要旨在用于适用于广播的高图像质量编码，但是其未针对编码量(位率AkMPEGl的编码量低的编码方案(即具有较高压缩比的编码方案)进行调整。考虑到便携式终端的日益广泛的使用，预期对这样的编码方案的需要将增加，因此MPEG4编码方案已被标准化。对于图像编码方案，在1998年12月采用了被称为IS0/IEC 14496-2的标准作为国际标准。此外，近年来，正在讨论被称为H.26L (ITU-T Q6/16 VCEG)的标准的采用，其最初用于远程电信会议用途的图像编码。尽管较之诸如MPEG2和MPEG4的传统的编码方案，
H.26L需要较大的计算量用于编码和解码，但是已知能够实现较高的编码效率。当前，作为MPEG4活动的一部分，具有基于H. 26L并且并入H. 26L不支持的功能以实现更高的编码效率的增强压缩视频编码的联合模型的形式的标准化正在进行。对于标准化进程，在2003年3月采用了札264和MPEG-4PartlO (高级视频编码，以下称为“H. 264/AVC”)作为国际标准。此外，作为扩展，在2005年2月完成了 FRExt (保真度范围扩展)的标准化，其包括诸如RGB、4:2:2或4:4:4的商用所需的编码工具以及由MPEG-2规定的8X8DCT和量化矩阵。这导致了能够通过使用H. 264/AVC甚至来适当地表达电影中包括的影片噪声的编码方案，并且该方案已用于广泛的应用，包括蓝光盘(注册商标)。然而，感受到对更高压缩比编码的增长的需要，其牵涉例如4000X2000个像素的图像的压缩，这比高画质图像的像素数目高四倍。还存在对更高压缩比编码的增加的需要，诸如对在诸如互联网的具有有限的传输容量的环境中分送高画质图像的需求。因此，由在ITU-T下的VCEG (=视频编码专家组)继续进行用于提高编码效率的讨论。
使H. 264/AVC方案能够实现较之传统的MPEG2方案等更高的编码效率的因素之一是采用帧内预测方案。在帧内预测方案中，对于亮度信号，定义了包括九种类型的4X4个像素和8 X 8个像素的块单位以及四种类型的16X16个像素的宏块单位的帧内预测模式。对于色差信号，定义了包括8X8个像素的块单位的四种类型的帧内预测模式。色差信号的帧内预测模式的设定可以与亮度信号的帧内预测模式无关。在H. 264/AVC方案中，宏块尺寸具有16X16个像素。然而，16 X 16个像素的宏块尺寸对于下一代编码方案预期的诸如UHD (超高清；4000X2000个像素)的大图片帧不是最优的。因此，在非专利文献I中提出了将宏块尺寸扩展到例如32X32个像素。
非专利文献I提出了将扩展宏块应用于帧间切片。非专利文献2提出了将扩展宏块应用于帧内切片。引用列表非专利文献非专利文献I: "Video Coding Using Extended Block Sizes", VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution123，January 2009非专利文献2: "Intra Coding Using Extended Block Sizes"，VCEG-AL28，July，2009
发明内容
本发明要解决的问题参照图1，将考虑作为具有4X4个像素和8X8个像素的块的帧内预测模式中的一个的竖直预测。图IA示出了具有4X4个像素的块。图IB图示了具有8X8个像素的块。图IA和IB中的圆形表示像素，其中白色圆形指示块中的像素并且阴影圆形指示用于预测的像素。圆形中的字母表的字母指示像素的像素值。如图IA中所示，在4X4像素块的情况下，像素值A用作具有像素值a至d的像素的预测值。如图IB中所示，在8X8像素块的情况下，像素值A用作具有像素值a至h的像素的预测值。因此，作为帧内预测的单位的块尺寸越大，则需要被预测并且可能具有较低的相关性的像素所在的位置就越远。就是说，通常随着块尺寸的增加，帧内预测的效率会下降。特别是在针对如非专利文献2中提出的扩展宏块执行帧内预测时，情况亦是如此。考虑到前述情形进行了本发明，并且目的在于提高帧内预测的编码效率。对问题的解决方案对问题的解决方案根据本发明的第一方面的图像处理设备包括接收装置，用于接收关于当前块的多条线的相邻像素；帧内预测装置，用于使用由接收装置接收到的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于当前块的帧内预测像素值；以及编码装置，用于基于所生成的关于当前块的帧内预测像素值来对当前块的图像进行编码。帧内预测装置可以包括参数计算装置，用于使用多条线的相邻像素通过多项式近似来计算内插参数；和预测图像生成装置，用于通过使用由参数计算装置计算的内插参数来生成关于当前块的帧内预测像素值。帧内预测装置当使用由接收装置接收到的N (N〈l)条线的相邻像素时，可以通过N-I次多项式近似来执行外推处理。参数计算装置可以通过使用N条线的相邻像素对N次联立方程求解来计算N-I次多项式的N个常数。预测图像生成装置可以使用由参数计算装置计算的N个常数，通过N-I次多项式生成关于当前块的帧内预测像素值。当输入信号包括N位图像信号时，预测图像生成装置可以在值0至2n_1的范围中裁剪所生成的帧内预测像素值。帧内预测装置可以通过多项式近似来执行外推处理，其中该多项式的次数与物体边界是否包括在接收装置接收到的N条线的相邻像素中的检测结果对应。帧内预测装置可以基于相邻像素的像素之间的差信息来进行物体边界的确定。帧内预测装置可以通过使用根据量化参数确定的阈值，基于相邻像素的像素之间的差信息来进行物体边界的确定。阈值可以被设定成对于越大的量化参数越大。帧内预测装置可以使用数目是多条线的数目的相邻像素，线的数目与当前块的块大小的量值对应。根据本发明的第一方面的图像处理方法包括图像处理设备的接收装置接收关于当前块的多条线的相邻像素；图像处理设备的帧内预测装置使用接收到的关于当前块的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于当前块的帧内预测像素值；以及图像处理设备的编码装置基于所生成的关于当前块的帧内预测像素值来对当前块的图像进行编码。在本发明的第一方面中，接收关于当前块的多条线的相邻像素，并且使用接收到的关于当前块的多条线的相邻像素，通过多项式近似来执行外推处理，从而生成关于当前块的帧内预测像素值。基于所生成的关于当前块的帧内预测像素值来对当前块的图像进行编码。根据本发明的第二方面的图像处理设备包括解码装置，用于通过对编码当前块的图像的编码信息进行解码来获取帧内预测模式；接收装置，用于根据帧内预测模式接收关于当前块的多条线的相邻像素；以及帧内预测装置，用于使用由接收装置接收到的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于当前块的帧内预测像素值。根据本发明的第二方面的图像处理方法包括图像处理设备的解码装置通过对编码当前块的图像的编码信息进行解码来获取帧内预测模式；图像处理设备的接收装置根据帧内预测模式接收关于当前块的多条线的相邻像素；以及图像处理设备的帧内预测装置使 用接收到的关于当前块的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于当前块的帧内预测像素值。在本发明的第二方面中，对编码当前块的图像的编码信息进行解码以获取帧内预测模式，根据帧内预测模式接收关于当前块的多条线的相邻像素，并且使用接收到的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于当前块的帧内预测像素值。图像处理设备可以包括独立的设备或者图像编码设备或图像解码设备的内部块。本发明的效果根据本发明，可以提高帧内预测的编码效率。特别地，根据本发明，可以在大的块尺寸的情况下提高帧内预测的编码效率。
图I图示了传统的帧内预测。
图2是被应用本发明的图像编码设备的实施例的配置的框图。图3图示了在16X 16像素帧内预测模式的情况下的处理序列。图4图示了关于亮度信号的4X4像素帧内预测模式的类型。图5图示了关于亮度信号的4X4像素帧内预测模式的类型。图6图示了 4X4像素帧内预测的方向。图7图示了 4X4像素帧内预测。图8图示了 4X4像素帧内预测模式中的亮度信号的编码。图9图示了关于亮度信号的8X8像素帧内预测模式的类型。图10图示了关于亮度信号的8X8像素帧内预测模式的类型。图11图示了关于亮度信号的16X16像素帧内预测模式的类型。图12图示了关于亮度信号的16X16像素帧内预测模式的类型。图13图示了 16X16像素帧内预测。图14图示了关于色差信号的帧内预测模式的类型。图15图示了图2中所示的图像编码设备51中的帧内预测。图16图示了确定多项式次数的方法。图17图示了宏块的示例。图18是图2中所示的帧内预测单元和样条内插单元的配置的框图。图19是图2的图像编码设备中的编码处理的流程图。图20是图19的步骤S21中的帧内预测处理的流程图。图21是图19的步骤S22中的帧间运动预测处理的流程图。图22是确定图2的图像编码设备中的多项式近似的次数的处理的流程图。图23是被应用本发明的图像解码设备的实施例的配置的框图。图24是图23中所示的帧内预测单元和样条内插单元的配置的框图。图25是图23的图像解码设备中的解码处理的流程图。图26是图25的步骤S138中的预测处理的流程图。图27是计算机的硬件配置的框图。图28是被应用本发明的电视接收器的主要配置的框图。图29是被应用本发明的便携式电话的主要配置的框图。图30是被应用本发明的硬盘记录器的主要配置的框图。
图31是被应用本发明的摄像设备的主要配置的框图。图32图示了根据HEVC编码方案的编码单 元。
具体实施例方式在下文中，将参照附图描述本发明的实施例。[图像编码设备的配置示例]图2图示了作为被应用本发明的图像处理设备的图像编码设备的实施例的配置。图像编码设备51通过使用例如基于H. 264和MPEG_4Part 10 (高级视频编码)的编码方案(以下称为“a 264/AVC”)来对图像进行压缩和编码。在图2的示例中，图像编码设备51包括A/D转换单元61、屏幕重排缓冲器62、算术单元63、正交变换单元64、量化单元65、无损编码单元66、积累缓冲器67、逆量化单元68、逆正交变换单元69、算术单元70、解块滤波器71、帧存储器72、帧内预测单元73、线缓冲器74、样条内插单元75、运动预测/补偿单元76、预测图像选择单元77、和速率控制单元78。A/D转换单元61执行输入图像的A/D转换，将经转换的图像输出到屏幕重排缓冲器62，并且将经转换的图像存储在其中。屏幕重排缓冲器62根据GOP (图片组)将以显示的顺序存储的帧的图像重新排列成用于编码的帧顺序。算术单元63在从屏幕重排缓冲器62读取的图像中减去由预测图像选择单元77选择的、来自帧内预测单元73的预测图像或者来自运动预测/补偿单元76的预测图像，并且将得到的差信息输出到正交变换单元64。正交变换单元64对来自算术单元63的差信息执行诸如离散余弦变换或Karhunen-Lo6Ve (卡洛南-洛伊)变换的正交变换，并且输出得到的变换系数。量化单元65对从正交变换单元64输出的变换系数进行量化。从量化单元65输出的量化的变换系数被输入到无损编码单元66，无损编码单元66通过例如诸如可变长度编码或算术编码的无损编码对量化的变换系数进行压缩。无损编码单元66从帧内预测单元73获取例如指示帧内预测的信息，并且从运动预测/补偿单元76获取例如指示帧间预测模式的信息。指示帧内预测的信息在下文中可被称为“帧内预测模式信息”。指示帧间预测的信息模式的信息在下文中可被称为“帧间预测模式信息”。无损编码单元66对例如指示帧内预测的信息、指示帧间预测模式的信息和量化参数编码，以及对量化的变换系数编码，并且使这些信息成为压缩图像的报头信息的一部分。无损编码单元66将编码数据提供给积累缓冲器67用于存储在其中。例如，无损编码单元66执行诸如可变长度编码或算术编码的无损编码处理。可变长度编码可以包括a 264/AVC方案规定的CAVLC (上下文自适应可变长度编码)。算术编码可以包括CABAC (上下文自适应二进制算术编码)。积累缓冲器67将从无损编码单元66提供的数据作为通过H. 264/AVC方案编码的压缩图像输出到未示出的后续级中的记录设备或传输路径。从量化单元65输出的量化的变换系数还被输入到逆量化单元68，其中对系数进行逆量化，并且系数进一步在逆正交变换单元69中经历逆正交变换。在算术单元70中使经逆正交变换的输出与从预测图像选择单元77提供的预测图像相加，从而获得局部解码图像。解块滤波器71去除解码图像中的块失真，并且随后将解码图像提供给帧存储器72用于存储。在解块滤波器71的解块滤波器处理之前的图像也被提供给帧存储器72，并且将图像存储在其中。在图像编码设备51中，来自屏幕重排缓冲器62的I图片、B图片和P图片作为用于帧内预测(还可被称为“帧内处理”)的图像被提供给帧内预测单元73。从屏幕重排缓冲器62读取的B图片和P图片作为用于帧间预测(还可被称为“帧间处理”)的图像被提供给运动预测/补偿单元76。帧内预测单元73在所有候选帧内预测模式中，对从屏幕重排缓冲器62读取的用于帧内预测的图像执行帧内预测处理，从而生成预测图像。此时，帧内预测单元73通过使用线缓冲器74中存储的多条线的相邻像素连同样条内插单元75 —起执行基于多项式近似的外推处理，来生成当前块的帧内预测像素值。具体地，帧内预测单元73向样条内插单元75提供候选帧内预测模式的信息。样 条内插单元75根据帧内预测模式提供用于使用相邻像素值的帧内预测的、对相邻像素和当前块的像素近似的多项式的参数(内插参数)。帧内预测单元73根据使用来自样条内插单元75的参数的多项式来生成候选帧内预测模式的帧内预测图像。帧内预测单元73针对其中已生成预测图像的帧内预测模式计算成本函数值，并且选择提供计算的成本函数值中的最小值的帧内预测模式作为最优帧内预测模式。帧内预测单元73将在最优帧内预测模式中生成的预测图像以及针对相应的最优帧内预测模式计算的成本函数值提供给预测图像选择单元77。当预测图像选择单元77选择在最优帧内预测模式中生成的预测图像时，帧内预测单元73将指示最优帧内预测模式的信息提供给无损编码单元66。无损编码单元66在接收到来自帧内预测单元73的信息之后，对该信息编码并且使其成为压缩图像的报头信息的一部分。线缓冲器74存储来自帧存储器72的参考图像的像素值。根据帧内预测模式从样条内插单元75向线缓冲器74提供相邻像素的地址。线缓冲器74向样条内插单元75提供与这些地址对应的相邻像素的像素值。样条内插单元75通过根据与来自帧内预测单元73的帧内预测模式对应的相邻像素的地址，使用从线缓冲器74提供的相邻像素值，计算用于基于多项式近似的帧内预测的多项式的内插参数，并且将计算的内插参数提供给帧内预测单元73。运动预测/补偿单元76对所有候选帧间预测模式执行运动预测/补偿处理。具体地，向运动预测/补偿单元76提供从屏幕重排缓冲器62读取的用于帧间处理的图像以及来自帧存储器72的参考图像。运动预测/补偿单元76基于用于帧间处理的图像和参考图像，在所有候选帧间预测模式中检测运动向量，并且基于运动向量对参考图像执行补偿处理，从而生成预测图像。此外，运动预测/补偿单元76针对所有候选帧间预测模式计算成本函数值。运动预测/补偿单元76将提供计算的成本函数值中的最小值的预测模式确定为最优帧间预测模式。运动预测/补偿单元76将在最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。当在最优帧间预测模式中生成的预测图像被预测图像选择单元77选择时，运动预测/补偿单元76将指示最优帧间预测模式的信息(帧间预测模式信息)输出到无损编码单元66。如果必要，运动向量信息、标志信息和参考帧信息等也可以被输出到无损编码单元66。无损编码单元66还使来自运动预测/补偿单元76的信息经历诸如可变长度编码或算术编码的无损编码处理，并且将经处理的信息插入到压缩图像的报头部分中。预测图像选择单元77基于从帧内预测单元73或运动预测/补偿单元76输出的各个成本函数值来从最优帧内预测模式和最优帧间预测模式中确定最优预测模式。预测图像选择单元77随后选择所确定的最优预测模式的预测图像并且将其提供给算术单元63和70。此时，预测图像选择单元77将预测图像的选择信息提供给帧内预测单元73或运动预测/补偿单元76。速率控制单元78基于积累缓冲器67中积累的压缩图像，经由量化参数来控制量 化单元65的量化操作的速率以便防止上溢或下溢。[H. 264/AVC方案中的帧内预测处理的描述]将描述由H. 264/AVC方案定义的每个帧内预测模式。首先，将描述亮度信号的帧内预测模式。对于亮度信号的帧内预测模式，确定了三个方案；即帧内4X4预测模式；帧内8X8预测模式；和帧内16X16预测模式。这些是用于确定块单位的模式并且基于宏块而被设定。对于色差信号，可以基于宏块来设定帧内预测模式而与亮度信号无关。在帧内4X4预测模式的情况下，可以从基于4X4像素当前块的九种类型的预测模式中设定一个预测模式。在帧内8X8预测模式的情况下，可以从基于8X8像素当前块的九种类型的预测模式中设定一个预测模式。在帧内16X16预测模式的情况下，可以从基于16X 16像素当前宏块的四种类型的预测模式中设定一个预测模式。在下文中，帧内4X4预测模式、帧内8X8预测模式和帧内16X16预测模式可以被分别称为“4X4像素帧内预测模式”、“8X8像素帧内预测模式”和“ 16 X 16像素帧内预测模式”。在图3的示例中，被分配给块的数字-I至25表示每个块的位流顺序(解码侧的处理顺序)。对于亮度信号，宏块被分成4X4个像素，并且执行4X4像素DCT。仅在帧内16X 16预测模式的情况下，收集来自每个块的直流分量以生成如“-I”块所示的4X4矩阵，其进一步经历正交变换。另一方面，对于色差信号，宏块被分成4X4个像素，并且在执行4X4像素DCT之后，收集来自每个块的直流分量以生成如块16和17所示的2X2矩阵，其进一步经历正交变换。应当注意，对于帧内8X8预测模式，上文仅适用于其中当前宏块经历高层次(profile)或更高层次中的8X8正交变换的情况。图4和5图示了关于亮度信号的九种类型的4X4像素帧内预测模式(Intra_4X4_pred_mode)。除了指示平均值(DC)预测的模式2之外的八种类型的模式与图6中的由编号0、1和3至8指示的方向对应。将参照图7描述九种类型的Intra_4X4_pred_mode。在图7的示例中，像素a至P表示经历帧内处理的当前块的像素，而像素值A至M表示属于相邻块的像素的像素值。具体地，像素a至p是从屏幕重排缓冲器62读取的处理目标图像的像素，并且像素值A至M是从帧存储器72读取并被参考的解码图像的像素值。在图4和5的帧内预测模式的情况下，通过如下使用相邻块的像素的像素值A至M来生成像素a至p的预测像素值。当像素值“可用”时，因为不存在诸如像素值处于图片帧的边界或者仍未被编码的原因，因此像素值可用。当像素值“不可用”时，出于诸如像素值处于图片帧的边界或者仍未被编码的原因，像素值不可用。模式0是竖直预测模式并且仅在像素值A至D “可用”时适用。在该情况下，根据下式(I)生成像素a至p的预测像素值。像素a、e、i和m的预测像素值=A像素b、f、j和n的预测像素值=B像素c、g、k和O的预测像素值=C 像素d、h、l和p的预测像素值=D (I)模式I是水平预测模式并且仅在像素值I至L “可用”时适用。在该情况下，根据下式(2)生成像素a至p的预测像素值。像素a、b、c和d的预测像素值=I像素e、f、g和h的预测像素值=J
像素i、j、k和I的预测像素值=K像素m、n、o和p的预测像素值=L (2)模式2是DC预测模式，其中当所有像素值A、B、C、D、I、J、K和L “可用”时，根据下式(3)生成预测像素值。(A+B+C+D+I+J+K+L+4) 3(3)当所有像素值A、B、C和D “不可用”时，根据下式(4)生成预测像素值。(I+J+K+L+2) 2(4)当所有像素值I、J、K和L “不可用”时，根据下式(5)生成预测像素值。(A+B+C+D) 2(5)当所有像素值々、8、(、0、1、1、1(和1“不可用”时，使用128作为预测像素值。模式3是左下对角线(Diagonal_Down_Left)预测模式并且仅在像素值A、B、C、D、I、J、K、L和M “可用”时适用。在该情况下，根据下式(6)生成像素a至p的预测像素值。
像素a的预测像素值=(A+2B+C+2) 2像素b和e的预测像素值=(B+2C+D+2) 2像素c、f和i的预测像素值=(C+2D+E+2) 2像素d、g、j和m的预测像素值=(D+2E+F+2) 2像素h、k和n的预测像素值=(E+2F+G+2) 2像素I和O的预测像素值=(F+2G+H+2) 2像素p的预测像素值=(G+3H+2)>>2 (6)模式4是右下对角线(Diagonal_Down_Right)预测模式并且仅在像素值A、B、C、D、
I、J、K、L和M “可用”时适用。在该情况下，根据下式(7)生成像素a至p的预测像素值。像素m的预测像素值=(J+2K+L+2) 2像素i和n的预测像素值=(I+2J+K+2) 2像素e、j和O的预测像素值=(M+2I+J+2)>>2
像素a、f、k和p的预测像素值=(A+2M+I+2) 2像素b、g和I的预测像素值=(M+2A+B+2) 2像素c和h的预测像素值=(A+2B+C+2) 2像素d的预测像素值=(B+2C+D+2)>>2 (7)模式5是右竖直对角线(Diagonal_Vertical_Right)预测模式并且仅在像素值A、B、C、D、I、J、K、L和M “可用”时适用。在该情况下，根据下式(8)生成像素a至p的预测像素值。
像素a和j的预测像素值=(M+A+1) 1像素b和k的预测像素值=(A+B+1) 1像素c和I的预测像素值=(B+C+1) 1像素d的预测像素值=(C+D+1) 1像素e和n的预测像素值=(I+2M+A+2) 2像素f和O的预测像素值=(M+2A+B+2) 2像素g和p的预测像素值=(A+2B+C+2) 2像素h的预测像素值=(B+2C+D+2) 2像素i的预测像素值=(M+2I+J+2) 2像素m的预测像素值=(I+2J+K+2)>>2 (8)模式6是下水平(Horizontal_Down)预测模式并且仅在像素值A、B、C、D、I、J、K、L和M“可用”时适用。在该情况下，根据下式(9)生成像素a至p的预测像素值。像素a和g的预测像素值=(M+I+1)>>1
像素b和h的预测像素值=(I+2M+A+2) 2像素c的预测像素值=(M+2A+B+2) 2
像素d的预测像素值=(A+2B+C+2) 2像素e和k的预测像素值=(I+J+1)>>1像素f和I的预测像素值=(M+2I+J+2) 2
像素i和O的预测像素值=(J+K+1)>>1像素j和p的预测像素值=(I+2J+K+2) 2像素m的预测像素值=(K+L+1)>>1像素n的预测像素值=(J+2K+L+2)>>2 (9)模式7是左竖直(Vertical_Left)预测模式并且仅在像素值A、B、C、D、I、J、K、L和M “可用”时适用。在该情况下，根据下式(10)生成像素a至p的预测像素值。像素a的预测像素值=(A+B+1)>>1像素b和i的预测像素值=(B+C+1) 1像素c和j的预测像素值=(C+D+1)>>1像素d和k的预测像素值=(D+E+1)>>1像素I的预测像素值=(E+F+1)>>1像素e的预测像素值=(A+2B+C+2) 2像素f和m的预测像素值=(B+2C+D+2) 2像素g和n的预测像素值=(C+2D+E+2) 2
像素h和o的预测像素值=(D+2E+F+2) 2像素p的预测像素值=(E+2F+G+2) 2 (10)模式8是上水平(Horizontal_Up)预测模式并且仅在像素值A、B、C、D、I、J、K、L和M “可用”时适用。在该情况下，根据下式(11)生成像素a至p的预测像素值。像素a的预测像素值=(I+J+1)>>1 像素b的预测像素值=(I+2J+K+2) 2
像素c和e的预测像素值=(J+K+1)>>1像素d和f的预测像素值=(J+2K+L+2) 2像素g和i的预测像素值=(K+L+1) 1像素h和j的预测像素值=(K+3L+2) 2像素k、l、m、n、o和p的预测像素值=L (11)接下来，参照图8，将描述关于亮度信号的4X4像素帧内预测模式(Intra_4X4_pred_mode)的编码方案。图8图示了作为编码目标的具有4X4个像素的当前块C以及与当前块C相邻并且均具有4X4个像素的块A和B的示例。在该情况下，可以认为当前块C中的Intra_4X4_pred_mode以及块A和块B中的Intra_4 X 4_pred_mode具有高相关性。通过利用该相关性，通过执行如下编码处理可以实现提闻的编码效率。在图8的示例中，块A和块B中的Intra_4X4_pred_mode被分别指定为 “Intra_4X4_pred_modeA” 和 “Intra_4X4_pred_modeB”，并且如下定义。MostProbabIeModeMostProbableMode=Min (Intra—4X 4—pred—modeA，Intra—4X 4—pred—modeB)(12)就是说,块A和块B中被分配较小的mode_number (模式编号)的的一个被指定为MostProbabIeMode。在位流中，作为关于当前块C的参数，定义两个值“prev—intra4X4—pred—mode—f lag[luma4X 4BlkIdx] ”和“rem—intra4X4—pred—mode [luma4X4BlkIdx] ”。经由基于由下式(13)指示的伪代码的处理来执行解码处理，由此可以获得关于当前块C的Intra—4X4—pred—mode 的值，即 Intra4X4PredMode[luma4X4BlkIdx]。如果(prev—intra4X 4—pred—mode—flag[luma4X 4BlkIdx])Intra4 X 4PredMode [luma4 X 4BlkIdx] =MostProbab I eMode 否贝 Ij如果(rem—intra4X 4—pred—mode [luma4X 4BlkIdx] <MostProbab I eMode)Intra4X4PredMode[luma4X4BlkIdx]=rem_intra4X 4_pred_mode [luma4X 4BlkIdx]否贝IjIntra4X4PredMode[luma4X4BlkIdx]=rem_intra4X4—pred—mode[luma4X4BlkIdx] +1 (13)接下来，将描述8X8像素帧内预测模式。图9和10图示了关于亮度信号的九种类型的8X8像素巾贞内预测模式(Intra—8 X 8—pred—mode )。当前8 X 8块中的像素值被表示为p [x，y] (0 < X < 7; 0 < y < 7)，并且相邻块的像素值被表不为 P [_1，_1]， ，p [-1，15], p [-1，0],…，[p-1, 7]。对于8X8像素帧内预测模式，在生成预测值之前对相邻像素执行低通滤波处理。低通滤波处理之如的像素值被表不为P [_1，_1]， , P [_1，15], p [-1, 0], ... p [-1，7]，并且该处理之后的像素值被表不为P，[_1，_1]，…，P，[-1，15], p，[-1，0], ...p，[-1，7]。首先，当p [-1，-I] “可用”时，根据下式(14)计算p’
。当“不可用”时，根据下式(15)计算p’
。p，
= (p [-1，-I] +2*p
+p [1，-I]+2) 2 (14)p’
= (3*p
+p[l，-l]+2)>>2(15)根据下式(16)计算P，[X，-I] (x=0,
p' [x, -I] = (p [x-1, -I] +2*p [x, -I] +p [x+1, -I] +2) 2 (16)当p[x, -I] (x=8,. . . , 15) “可用”时,根据下式(17)计算 p’ [x, -I] (x=8,.，15)。p’ [x, -I] = (p [x-1, -I] +2*p [x, -I] +p [x+1, -I] +2) 2p’ [15，-l] = (p[14，-l]+3*p[15，-l]+2)>>2(17)当p [-1,-1] “可用”时，如下计算P’ [_1，_1]。就是说，当P
和p [_1，0]两者均可用时，根据式(18)计算p’ [-1，-I]，并且当p [-1，0] “不可用”时，根据式(19)计算P' [-1,-1] o ^ P
“不可用”时，根据式(20)计算 p’ [-1，-I]。p’ [-l，-l] = (p
+2*p[-l，-l]+p[_l，0]+2)》2 (18)p' [-1, -I] = (3*p [-1, -I] +p
+2) 2(19)p' [-1, -I] = (3*p [-1, -I] +p [-1, 0] +2) 2(20)当p[_l, y] (y=0, ，7) “可用”时,如下计算 p’ [-1，y] (y=0, . ，7)。就是说，当P[-l，_l] “可用”时，根据下式(21)计算p’ [_1，0]，并且当p[-l，-l] “不可用”时，根据下式(22)计算 p，[-1，0]。p’ [-l，0] = (p[-l，-l]+2*p[-l，0]+p[_l，1]+2)》2 (21)p' [-1, 0] = (3*p [-1, 0] +p [-1, I] +2) 2(22)根据下式(23)计算p，[-1，y] (y=l,…，6)，并且根据下式(24)计算p’ [_1，7]。P [-1, y] = (p [-1, y-1] +2*p [-1, y] +p [-1, y+1] +2) 2 (23)p' [-1, 7] = (p [-1, 6] +3*p [-1, 7] +2) 2(24)通过使用这样计算的p’，如下生成图9和10中所示的帧内预测模式中的预测值。模式0是竖直预测模式并且仅在p [X，-I] (x=0，...，7) “可用”时适用。根据下式(25 )生成预测值 pred8 X 8L [x, y]。pred8X8L[x, y] =p’ [x,-I]x, y=0, ，7 (25)模式1是水平预测模式并且仅在？[-1，7](7=0，...，7) “可用”时适用。根据下式(26 )生成预测值 pred8 X 8L [x, y]。pred8X8L[x, y]=p' [~1, y]x, y=0,. . . , 7 (26)模式2是DC预测模式，其中如下生成预测值pred8X8L[X，y]。就是说，当p[x，-I](x=0, . . . , 7)和p[_l，y] (y=0, . . .，7)两者均“可用”时，根据下式(27)生成预测值pred8X8L[x, y]。[式I]
权利要求
1.一种图像处理设备，包括 接收装置，用于接收关于当前块的多条线的相邻像素； 帧内预测装置，用于使用由所述接收装置接收到的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于所述当前块的帧内预测像素值；以及 编码装置，用于基于所生成的关于所述当前块的帧内预测像素值来对所述当前块的图像进行编码。
2.根据权利要求I所述的图像处理设备，其中所述帧内预测装置包括 参数计算装置，用于使用所述多条线的相邻像素通过多项式近似来计算内插参数； 预测图像生成装置，用于通过使用由所述参数计算装置计算的内插参数来生成关于所述当前块的帧内预测像素值。
3.根据权利要求2所述的图像处理设备，其中所述帧内预测装置当使用由所述接收装置接收到的N (N<1)条线的相邻像素时，通过N-I次多项式近似来执行所述外推处理。
4.根据权利要求3所述的图像处理设备，其中 所述参数计算装置通过使用所述N条线的相邻像素对N次联立方程求解来计算N-I次多项式的N个常数；以及 所述预测图像生成装置使用由所述参数计算装置计算的N个常数，通过所述N-I次多项式生成关于所述当前块的帧内预测像素值。
5.根据权利要求4所述的图像处理设备，其中当输入信号包括N位图像信号时，所述预测图像生成装置在值O至2n-1的范围中裁剪所生成的帧内预测像素值。
6.根据权利要求2所述的图像处理设备，其中所述帧内预测装置通过多项式近似来执行所述外推处理，其中该多项式的次数与物体边界是否包括在所述接收装置接收到的N条线的相邻像素中的检测结果对应。
7.根据权利要求6所述的图像处理设备，其中所述帧内预测装置基于所述相邻像素的像素之间的差信息来进行所述物体边界的确定。
8.根据权利要求7所述的图像处理设备，其中所述帧内预测装置通过使用根据量化参数确定的阈值，基于所述相邻像素的像素之间的差信息来进行所述物体边界的确定。
9.根据权利要求8所述的图像处理设备，其中所述阈值被设定成对于越大的量化参数越大。
10.根据权利要求2所述的图像处理设备，其中所述帧内预测装置使用数目是所述多条线的数目的相邻像素， 线的数目与所述当前块的块大小的量值对应。
11.一种图像处理方法,包括 图像处理设备的接收装置接收关于当前块的多条线的相邻像素； 所述图像处理设备的帧内预测装置使用接收到的关于所述当前块的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于所述当前块的帧内预测像素值；以及 所述图像处理设备的编码装置基于所生成的关于所述当前块的帧内预测像素值来对所述当前块的图像进行编码。
12.—种图像处理设备，包括 解码装置，用于通过对编码当前块的图像的编码信息进行解码来获取帧内预测模式；接收装置，用于根据所述帧内预测模式接收关于所述当前块的多条线的相邻像素；以及 帧内预测装置，用于使用由所述接收装置接收到的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于所述当前块的帧内预测像素值。
13.一种图像处理方法，包括 图像处理设备的解码装置通过对编码当前块的图像的编码信息进行解码来获取帧内预测模式； 所述图像处理设备的接收装置根据所述帧内预测模式接收关于所述当前块的多条线的相邻像素；以及 所述图像处理设备的帧内预测装置使用接收到的关于所述当前块的多条线的相邻像素，通过执行基于多项式近似的外推处理，来生成关于所述当前块的帧内预测像素值。
全文摘要
公开了一种图像处理设备和方法，其能够提高帧内预测中的编码效率。样条参数生成单元(92)通过使用来自线缓冲器(74)的N条线的相邻像素值对N次联立方程求解来计算用于帧内预测的(N-1)次多项式的N个样条参数。预测图像生成单元(82)通过在(N-1)次多项式中使用由样条参数生成单元(92)发现的N个样条参数来生成预测图像。本发明适用于例如基于H.264/AVC系统执行编码的图像编码设备。
文档编号H04N7/32GK102714734SQ201180006099
公开日2012年10月3日 申请日期2011年1月14日 优先权日2010年1月22日
发明者佐藤数史 申请人:索尼公司