专利名称：图像处理装置和方法
技术领域：
本发明涉及一种图像处理装置和方法，具体地涉及一种能够提高预测效率的图像处理装置和方法。
背景技术：
近年来，广泛地使用通过下述方式对图像进行压缩编码的装置利用用于将图像信息作为数字信号处理的编码格式，并且，利用图像信息特有的冗余性(redundancy)，其中，此时以发送和存储高效信息作为目标，通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像。该编码方法的例子包括MPEG (运动图片专家组)等。特别地，MPEG2(IS0/IEC 13818-2)被定义为通用图像编码格式，并且，是包括隔行扫描图像和顺序扫描图像二者、以及标准分辨率图像和高清晰图像的标准。例如，MPEG2现在已经被用于专业用途和消费者用途的广范围的应用广泛地利用。例如，通过利用MPEG2 压缩格式，在具有720X480个像素的标准分辨率的隔行扫描图像的情况中，分配4至8Mbps 的代码量(比特率)。此外，例如，通过利用MPEG2压缩格式，在具有1920X 1088个像素的高分辨率的隔行扫描图像的情况中，分配18至22Mbps的代码量(比特率)。因此，可以实现高压缩率和优异的图像质量。对于MPEG2，主要以适合广播用途的高图像质量作为目标，但是，不处理比MPEGl 的代码量低的代码量(比特率)，即，具有较高的压缩率的编码格式。随着个人数字助理的普及，已经期望从现在开始将要增加对这种编码格式的需求，并且，响应于此，已经执行了 MPEG4编码格式的标准化。关于图像编码格式，其规范在1998年12月被确认为国际标准 IS0/IEC 14496-2。此外，近年来，已经通过原本预计用于电视会议用途的图像编码进行了用作 H. 26L (ITU-T Q6/16 VCEG)的标准的标准化。对于H. 26L，已经知道，与诸如MPEG2或MPEG4 的传统编码格式相比，尽管对于其编码和解码要求更大的计算量，但是实现了更高的编码效率。此外，当前，作为MPEG4的活动的一部分，为了实现更高的编码效率，已经执行了也利用不被H. 26L支持但以该H. 26L作为基础的功能的标准化，作为增强压缩视频编码的联合模型。作为标准化的时间表(schedule)，H. 264和MPEG-4 PartlO (高级视频编码，下文中被称为H. 264/AVC)在2003年3月成为了国际标准。此外，作为其扩展，在2005年2月已经完成了包括诸如RGB、4:2:2或4:4:4的业务使用所需的编码工具、由MPEG-2规定的SxSDCT和量化矩阵的FRExt (保真度范围扩展， Fidelity Range Extension)的标准化。因此，H. 264/AVC已经成为甚至能够合适地表达电影中包含的影片噪声的编码格式，并且，已经被用于诸如蓝光盘(Blu-RayDisc，注册商标) 等的广泛的应用。但是，现今，已经增加了对于进一步的高压缩编码的需求，例如，预计压缩具有约 4000X2000个像素的图像，S卩，高视觉图像的四倍。或者，已经增加了对于进一步的高压缩编码的需求，例如，预计在如互联网一样的具有受限的传输容量的环境内发布高视觉图像。因此，对于在ITU-T的控制下的上述VCEG(=视觉编码专家组)，已经连续地执行了与提高编码效率有关的研究。现在，可以给出的为什么H. 264/AVC格式与传统的MPEG2格式等相比实现了高的编码效率的一种因素是利用了帧内预测方法(intra prediction method)。对于帧内预测方法，关于亮度信号，确定了四种16X16像素宏块单位以及九种 4X4像素和8X8像素块单位的帧内预测模式。关于颜色差信号，确定了四种8X8像素块单位的帧内预测模式。用于颜色差信号的帧内预测模式可以与用于亮度信号的帧内预测模式独立地被设置。关于如何表现在这种帧内预测之后的残差(residual)，针对每一种帧内预测模式存在特定的图案(pattern)。作为消除这种冗余性并进一步提高编码效率的方法，非专利文献1提出了下面的方法。也就是说，预先使用离线处理的训练信号通过正常的H. 264/AVC格式来执行帧内图像编码处理(intra image encoding processing)，关于每一块，针对每一种帧内预测模式执行诸如Karhimen-Lc^ve变换等的正交变换，并且，计算最佳的变换系数。然后，在实际的编码处理中，使用下述处理使用通过前述的Karhimen-Lc^ve变换针对每一种模式优化的正交变换系数，而不是由H. 264/AVC格式规定的正交变换。此外，非专利文献2提出了将前述的帧内预测和帧间预测(inter prediction)组合的方法。也就是说，对于非专利文献2，关于在帧间预测中获得的运动向量信息，不仅对于当前块，而且对于当前块周围的邻近像素值，产生了差分信息。在以这样方式产生的关于当前块的差分信息和关于邻近像素的差分信息之间执行帧内预测，产生二次差分信息。然后， 对产生的二次差分信息进行正交变换和量化，并且将其在下游与压缩图像一起输出。因此，进一步提高了编码效率。此外，如上所述，宏块尺寸为具有H. 264/AVC格式的16X16个像素。但是，对于将通过下一代编码方法处理的诸如UHD(超高清晰度4000X2000个像素)的大图像帧， 16X16个像素的宏块尺寸不是最佳的。因此，例如，非专利文献3等提出了将宏块尺寸放大为32X32个像素的尺寸。引文列表非专利文献非专禾0文献 1 “ Improved Intra Coding “ ，VCEG—AF15， ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group (VCEG),20-21 April 2007非专禾U文献 2 “ Second Order Prediction (SOP) in P Slice “，Sijia Chen, Jinpeng Wang, Shangwen Li and, Lu Yu, VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUPQuestion 6 Video coding Experts Group (VCEG), 16-18 July 2008非专利文献3: “ Video Coding Using Extended Block Sizes"，VCEG-AD09， ITU-Telecommunications Standardization Sector STUDY GROUP Question16-Contribution 123，Jan 2009
发明内容
技术问题现在，对于H. 264/AVC格式，在以上述的8X8个像素的块为增量执行帧内预测之前，对邻近像素的像素值执行低通滤波处理。因此，去除了邻近像素中包含的噪声，并且，提高了相关性，从而可以实现更高的编码效率。但是，不管所包含的噪声的程度随着输入图像、量化参数值、帧内预测模式等如何不同，都已经用H. 264/AVC格式固定了用于去除噪声的低通滤波器。也就是说，根据输入图像、量化参数值、帧内预测模式等，该低通滤波器仍然不是最佳的。此外，对于H. 264/AVC格式，仅仅以8X8个像素的块为增量用帧内预测模式对上述的邻近像素的像素值执行了噪声去除，并且，对于其它模式，这仍然不适用。鉴于该情形而作出了本发明，并且，本发明实现了与图像和比特率相应的噪声去除，从而提高了预测效率。解决问题的方案根据本发明的第一方面的图像处理装置包括解码部件，被配置为对要作为解码处理的对象的当前块的图像进行解码；滤波设置部件，被配置为根据编码参数设置与所述当前块相应的、用于所述当前块的帧内预测的、且用于要使所述当前块的邻近像素经过的滤波处理的系数；以及帧内预测部件，被配置为使用由所述滤波设置部件设置的所述系数，使所述邻近像素经过所述滤波处理，并且对所述当前块执行帧内预测。编码参数可以包括当前块的帧内预测的模式或者当前块的量化参数；解码部件可以对所述当前块的帧内预测的模式或者所述当前块的量化参数进行解码；并且所述滤波设置部件可以根据由所述解码部件解码的帧内预测的模式或者由所述解码部件解码的量化参数设置所述系数。图像处理装置还可以包括滤波系数存储部件，被配置为存储所述系数；其中，所述系数被计算以用学习图像获得作为编码处理的对象的学习块与预测图像之间的最小残差，并且，所述系数被存储在所述滤波系数存储部件中，所述预测图像是通过对所述学习块执行与所述学习块的帧内预测的模式或者所述学习块的量化参数相对应的帧内预测而获得的；并且所述滤波设置部件将存储于所述滤波系数存储部件中的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。所述滤波系数存储部件可以根据处理器的寄存器长度将所述系数保持为η(其中，η是整数)比特值。所述解码部件可以对所述系数进行解码，在编码侧处使用在经过所述滤波处理之前的所述邻近像素计算了该系数，使得关于通过对于所述当前块执行的帧内预测而获得的预测图像的残差是最小的，并且，与所述当前块和所述当前块的帧内预测的模式或者所述当前块的量化参数相对应地设置了该系数；并且所述滤波设置部件可以将由所述解码部件解码的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。所述系数可以由滤波系数和偏移值构成。
所述滤波系数可以由三个抽头构成。所述滤波系数可以具有以对应于0相位的系数为中心的对称性。所述解码部件可以对所述当前块的帧内预测的模式进行解码；并且所述滤波设置部件可以将帧内预测的模式中的垂直模式或水平模式取为第一类另IJ，并且可以将其它模式取为第二类别，在所述当前块的帧内预测的模式属于所述第一类别的情况中，所述滤波设置部件可以设置与所述第一类别相对应的所述系数，在已经被解码的所述当前块的帧内预测的模式属于所述第二类别的情况中，所述滤波设置部件可以设置与所述第二类别相对应的所述系数。图像处理装置还可以包括接收部件，被配置为接收指示对于所述邻近像素是否执行所述滤波处理的标志信息；其中，基于由所述接收部件接收到的标志信息，所述滤波设置部件设置对于所述邻近像素是否执行所述滤波处理。所述接收部件可以以宏块为增量接收所述标志信息；并且基于由所述接收部件接收到的标志信息，所述滤波设置部件可以设置对于所述邻近像素是否执行所述滤波处理。所述接收部件可以以块为增量接收所述标志信息；并且基于由所述接收部件接收到的标志信息，所述滤波设置部件可以设置是否以块为增量对所述邻近像素执行所述滤波处理。根据本发明的第一方面的图像处理方法包括下述步骤图像处理装置执行对要作为解码处理的对象的当前块的图像进行解码；根据编码参数设置与所述当前块相应的用于要对所述当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；以及使用已经设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测。根据本发明的第二方面的图像处理装置包括滤波设置部件，被配置为根据编码参数设置用于要对要作为解码处理的对象的当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；帧内预测部件，被配置为使用由所述滤波设置部件设置的所述系数，使所述邻近像素经过所述滤波处理，并且对所述当前块执行帧内预测；以及编码部件，被配置为对所述当前块的图像进行编码。编码参数可以包括当前块的帧内预测的模式或者当前块的量化参数；并且所述滤波设置部件可以根据所述当前块的帧内预测的模式或者所述当前块的量化参数设置所述系数；并且编码部件可以对所述当前块的帧内预测的相应模式或者所述当前块的量化参数进行编码。图像处理装置还可以包括滤波系数存储部件，被配置为存储所述系数；其中，所述系数被计算以用学习图像获得作为编码处理的对象的学习块与预测图像之间的最小残差，并且，所述系数被存储在所述滤波系数存储部件中，所述预测图像是通过对所述学习块执行与所述学习块的帧内预测的模式或者所述学习块的量化参数相对应的帧内预测而获得的；并且所述滤波设置部件将存储于所述滤波系数存储部件中的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。图像处理装置还可以包括滤波系数计算部件，被配置为计算所述系数，使得所述当前块和预测图像之间的残差最小，所述预测图像是通过根据所述当前块的帧内预测的模式或者所述当前块的量化参数，使用在进行所述滤波处理之前的所述邻近像素对所述学习块执行帧内预测而获得的；所述滤波设置部件将由所述滤波系数计算部件计算出的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。所述系数可以由滤波系数和偏移值构成。所述滤波设置部件可以设置是否对邻近像素执行所述滤波处理；并且所述编码部件可以对指示是否执行由所述滤波设置部件设置的所述滤波处理的标志信息进行编码。根据本发明的第二方面的图像处理方法包括下述步骤图像处理装置执行根据编码参数设置用于要对要作为解码处理的对象的当前块的邻近像素进行的滤波处理的系数， 所述邻近像素用于所述当前块的帧内预测；使用已经设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测；以及对所述当前块的图像进行编码。根据本发明的第一方面，对要作为解码处理的对象的当前块的图像进行解码，根据编码参数设置系数，该系数用于要对当前块的邻近像素进行的滤波处理，其中，所述邻近像素用于当前块的帧内预测。然后，使用已经设置的系数对邻近像素进行滤波处理，并且， 对当前块执行帧内预测。根据本发明的第二方面，根据编码参数设置用于要对要作为解码处理的对象的当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于当前块的帧内预测，使用已经设置的系数对邻近像素进行滤波处理，对当前块执行帧内预测，并且，对当前块的图像进行编码。请注意，上述的图像处理装置可以是独立的装置，或者，可以是构成一个图像编码装置或图像解码装置的内部块。本发明的有益效果根据第一发明，可以对图像进行解码。此外，根据第二发明，可以根据图像和比特率执行噪声去除。根据第二发明，可以对图像进行编码。此外，根据第一发明，可以根据图像和比特率执行噪声去除。
图1是图示应用了本发明的图像编码装置的实施例的配置的框图。图2是用于描述在16X 16像素帧内预测模式的情况中的处理序列的示图。图3是图示亮度信号的4X4像素帧内预测模式的种类的示图。图4是图示亮度信号的4X4像素帧内预测模式的种类的示图。图5是用于描述4X4像素帧内预测的方向的示图。图6是用于描述4 X 4像素帧内预测的示图。图7是用于描述亮度信号的4X4像素帧内预测模式的编码的示图。图8是图示亮度信号的8X8像素帧内预测模式的种类的示图。图9是图示亮度信号的8X8像素帧内预测模式的种类的示图。图10是图示亮度信号的16X16像素帧内预测模式的种类的示图。图11是图示亮度信号的16X16像素帧内预测模式的种类的示图。图12是用于描述16X16像素帧内预测的示图。
图13是图示颜色差信号的帧内预测模式的种类的示图。图14是图示图1中的邻近像素内插滤波切换单元和帧内预测单元的配置例子的框图。图15是用于描述滤波系数的计算的示图。图16是用于描述图1中的图像编码装置的编码处理的流程图。图17是用于描述图16中的步骤S21中的预测处理的流程图。图18是用于描述图17中的步骤S31中的帧内预测处理的流程图。图19是用于描述图17中的步骤S32中的帧内运动预测处理的流程图。图20是图示图1中的邻近像素内插滤波切换单元和帧内预测单元的另一配置例子的框图。图21是用于描述图17中的步骤S31中的帧内预测处理的另一例子的流程图。图22是图示应用了本发明的图像解码装置的实施例的配置的框图。图23是图示图22中的邻近像素内插滤波切换单元和帧内预测单元的配置例子的框图。图24是用于描述图22中的图像解码装置的解码处理的流程图。图25是用于描述图24中的步骤S138中的预测处理的流程图。图26是图示图22中的邻近像素内插滤波切换单元和帧内预测单元的另一配置例子的框图。图27是用于描述图24中的步骤S138中的预测处理的另一例子的流程图。图28是图示应用了本发明的学习装置的实施例的配置的框图。图29是图示图28中的邻近像素内插滤波计算单元和帧内预测单元的配置例子的框图。图30是用于描述图28中的采用学习装置的帧内预测处理的流程图。图31是图示应用了本发明的图像编码装置的另一实施例的配置的框图。图32是用于描述二次预测处理的示图。图33是图示应用了本发明的图像解码装置的另一实施例的配置的框图。图34是图示应用了本发明的图像编码装置的又一实施例的配置的框图。图35是图示图34中的帧内预测单元的配置例子的框图。图36是用于描述图17中的步骤S31中的帧内预测处理的另一例子的流程图。图37是用于描述图17中的步骤S31中的帧内预测处理的又一例子的流程图。图38是用于描述图17中的步骤S31中的帧内预测处理的另一例子的流程图。图39是图示应用了本发明的图像解码装置的又一实施例的配置的框图。图40是图示图39中的邻近像素内插滤波控制单元和帧内预测单元的配置例子的框图。图41是用于描述图24中的步骤S138中的预测处理的又一例子的流程图。图42是图示应用了本发明的图像编码装置的另一实施例的配置的框图。图43是图示应用了本发明的图像解码装置的另一实施例的配置的框图。图44是图示扩展块尺寸的例子的示图。图45是图示计算机的硬件的配置例子的框图。
图46是图示应用了本发明的电视接收器的主要配置例子的框图。图47是图示应用了本发明的蜂窝电话的主要配置例子的框图。图48是图示应用了本发明的硬盘记录器的主要配置例子的框图。图49是图示应用了本发明的照相机的主要配置例子的框图。
具体实施例方式下文中将参照附图描述本发明的实施例。请注意，将按照以下顺序进行描述。1.第一实施例(邻近像素内插滤波切换帧内预测的例子)2.第二实施例(邻近像素内插滤波切换二次预测的例子)3.第三实施例(邻近像素内插滤波on/off (开/关)控制帧内预测的例子)4.第四实施例(邻近像素内插滤波打开/关闭控制二次预测的例子)<1.第一实施例〉[图像编码装置的配置例子]图1表示用作应用了本发明的图像处理装置的图像编码装置的实施例的配置。该图像编码装置51使用例如H. 264和MPEG-4 PartlO (高级视频编码)(下文中被描述为H. 264/AVC)格式来对图像进行压缩编码。对于图1中的例子，图像编码装置51由A/D转换单元61、画面重新排列缓冲器62、 计算单元63、正交变换单元64、量化单元65、无损耗编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、邻近像素内插滤波切换单元75、运动预测/补偿单元76、预测图像选择单元77和速率控制单元78构成。A/D转换单元61对输入图像进行模拟数字转换，并且将该输入图像输出到画面重新排列缓冲器62以便存储。画面重新排列缓冲器62根据G0P(图片组)将用于显示的按照存储的顺序的帧的图像重新排列为用于编码的帧的顺序。计算单元63从由画面重新排列缓冲器62读出的图像当中减去由预测图像选择单元77选择的来自帧内预测单元74的预测图像或者来自运动预测/补偿单元76的预测图像，并且将其差分信息输出到正交变换单元64。正交变换单元64对来自计算单元63的差分信息进行诸如离散余弦变换、Karhunen-Loeve变换等之类的正交变换，并且输出其变换系数。量化单元65对正交变换单元64输出的变换系数进行量化。作为量化单元65的输出的量化变换系数被输入到无损耗编码单元66，在无损耗编码单元66中对它进行诸如可变长度编码、算术编码等之类的无损耗编码和压缩。无损耗编码单元66从帧内预测单元74获得指示帧内预测等的信息，并且从运动预测/补偿单元76获取指示帧间预测模式等的信息。请注意，在下文中，指示帧内预测的信息将被称为帧内预测模式信息。同样地，在下文中，指示帧间预测的信息将被称为帧间预测模式信息。无损耗编码单元66对量化的变换系数进行编码，还对指示帧内预测的信息、指示帧间预测模式的信息、量化参数等进行编码，并且取这些信息作为压缩图像中的头信息的一部分。无损耗编码单元66将编码数据供应给存储缓冲器67以便存储。例如，对于无损耗编码单元66，执行诸如可变长度编码、算术编码等之类的无损耗编码处理。可变长度编码的例子包括由H. 264/AVC格式确定的CAVLC(上下文自适应可变长度编码)。算术编码的例子包括CABAC (上下文自适应二进制算术编码)。存储缓冲器67将从无损耗编码单元66供应的数据作为由H. 264/AVC格式编码的压缩图像输出到在该图中未示出的下游的存储装置或传送路径等。此外，从量化单元65输出的量化变换系数还被输入到逆量化单元68，进行了逆量化，然后，在逆正交变换单元69处进一步进行了逆正交变换。由计算单元70将进行了逆正交变换的输出与从预测图像选择单元77供应的预测图像相加，并且将其改变为局部解码的图像。去块滤波器71从解码图像当中去除块失真(block distortion)，然后将其供应到帧存储器72，以便存储。在去块滤波器71执行去块滤波处理之前的图像也被供应给帧存储器72，以便存储。开关73将存储于帧存储器72中的参考图像输出到运动预测/补偿单元76或帧内预测单元74。例如，对于该图像编码装置51，来自画面重新排列缓冲器62的I图片、B图片和P 图片作为要进行帧内预测(也被称为帧内处理)的图像被供应给帧内预测单元74。此外， 从画面重新排列缓冲器62读出的B图片和P图片作为要进行帧间预测(也被称为帧间处理)的图像被供应给运动预测/补偿单元76。帧内预测单元74基于从画面重新排列缓冲器62读出的要进行帧内预测的图像和从帧存储器72供应的参考图像执行所有的候选帧内预测模式的帧内预测处理，以产生预测图像。在帧内预测处理之前，帧内预测单元74对邻近像素执行滤波处理，所述邻近像素是用于每一个当前块的帧内预测且以预定的位置关系与当前块邻近的像素。根据从帧内预测单元74供应的帧内预测模式等，该滤波处理使用由邻近像素内插滤波切换单元75设置的滤波系数。也就是说，对于所有的候选帧内预测模式的帧内预测处理，帧内预测单元 74使用进行了采用由邻近像素内插滤波切换单元75设置的滤波系数的滤波处理的邻近像
ο帧内预测单元74计算关于产生了预测图像的帧内预测模式的成本函数值(cost function value)，并且，选择其中计算出的成本函数值给出了最小值的帧内预测模式作为最佳帧内预测模式。帧内预测单元74将在最佳帧内预测模式中产生的预测图像和针对相应的最佳帧内预测模式计算出的成本函数值供应给预测图像选择单元77。在预测图像选择单元77选择了在最佳帧内预测模式中产生的预测图像的情况中，帧内预测单元74将指示最佳帧内预测模式的信息供应给无损耗编码单元66。在从帧内预测单元74传送了信息的情况中，无损耗编码单元66对该信息进行编码，并且取该信息作为压缩图像中的头信息的一部分。邻近像素内插滤波切换单元75存储通过使用训练图像在稍后描述的图28中的学习装置251处执行学习而获得的、与量化参数和帧内预测模式相对应的滤波系数。 向邻近像素内插滤波切换单元75供应来自速率控制单元78的量化参数和来自帧内预测单元74的帧内预测模式信息。邻近像素内插滤波切换单元75设置与来自速率控制单元78的量化参数和来自帧内预测单元74的帧内预测模式相对应的滤波系数。邻近像素内插滤波切换单元75将设置的滤波系数供应给帧内预测单元74。
请注意，邻近像素内插滤波切换单元75可以执行与量化系数和帧内预测模式中的仅仅一个而不是两个相对应的滤波系数的学习和存储。此外，虽然邻近像素内插滤波切换单元75存储预先离线学习的滤波系数，但是可以代替地在线计算滤波系数。在这种情况下，由邻近像素内插滤波切换单元75设置的滤波系数被输出到无损耗编码单元66以发送给解码侧，如点线箭头所示。运动预测/补偿单元76针对所有的候选帧间预测模式执行运动预测和补偿处理。 具体地，经由开关73向运动预测/补偿单元76供应从画面重新排列缓冲器62读出的要进行帧间处理的图像和来自帧存储器72的参考图像。运动预测/补偿单元76基于要进行帧间处理的图像和参考图像检测所有的候选帧间预测模式的运动向量，基于运动向量对参考图像进行补偿处理，并且产生预测图像。此外，运动预测/补偿单元76针对所有的候选帧间预测模式计算成本函数值。运动预测/补偿单元76确定计算出的成本函数值当中的提供最小值的预测模式作为最佳帧间预测模式。运动预测/补偿单元76将在最佳帧间预测模式中产生的预测图像及其成本函数值供应给预测图像选择单元77。在预测图像选择单元77选择了在最佳帧间预测模式中产生的预测图像的情况中，运动预测/补偿单元76将指示最佳帧间预测模式的信息(帧间预测模式信息)输出给无损耗编码单元66。请注意，运动向量信息、标志信息、参考帧信息等根据需要被输出到无损耗编码单元66。无损耗编码单元66也对来自运动预测/补偿单元76的信息进行诸如可变长度编码、算术编码等的无损耗编码处理，并且将其插入压缩图像的头部中。预测图像选择单元77基于从帧内预测单元74或运动预测/补偿单元76输出的成本函数值从最佳帧内预测模式和最佳帧间预测模式中确定最佳预测模式。预测图像选择单元77然后选择确定的最佳预测模式中的预测图像，并且将其供应给计算单元63和70。此时，预测图像选择单元77将预测图像的选择信息供应给帧内预测单元74或运动预测/补偿单元76。速率控制单元78基于存储于存储缓冲器67中的压缩图像用量化参数控制量化单元65的量化操作的速率，以不会导致上溢或下溢。将用于在量化单元65处的速率控制的量化参数供应给无损耗编码单元66，对该量化参数进行无损耗编码处理，并且将其插入到压缩图像的头部。该量化参数被供应给邻近像素内插滤波切换单元75，并且被用于设置用于要对邻近像素施加的滤波处理的滤波系数。[根据H.264/AVC格式的帧内预测处理的描述]首先，将描述由H. 264/AVC格式确定的帧内预测模式。首先，将描述亮度信号的帧内预测模式。对于亮度信号的帧内预测模式，确定帧内 4X4预测模式、帧内8X8预测模式和帧内16X16预测模式的三个系统。存在用于确定块单位的模式，针对每一个宏块设置模式。此外，针对每一个宏块，可以与亮度信号独立地给颜色差信号设置帧内预测模式。此外，在帧内4X4预测模式的情况中，对于每一个4X4像素当前块，可以设置九种预测模式当中的一种预测模式。此外，在帧内8X8预测模式的情况中，对于每一个8X8像素当前块，可以设置九种预测模式当中的一种预测模式。此外，在帧内16X16预测模式的情况中，可以给16X16像素当前宏块设置四种预测模式当中的一种预测模式。请注意，在下文中，帧内4X4预测模式、帧内8X8预测模式和帧内16X16预测模式在适当的时候也将分别被称为4X4像素帧内预测模式、8X8像素帧内预测模式和 16X16像素帧内预测模式。对于图2中的例子，附于各块的数字1至25表示其块的比特流序列(解码侧的处理序列)。请注意，关于亮度信号，宏块被分割为4X4像素，并且，执行4X4像素的DCT。 仅仅在帧内16X16预测模式的情况中，如在1的块中所示，聚集块的DC成分，产生4X4矩阵，并且，对该矩阵还进行正交变换。另一方面，关于颜色差信号，在宏块被分割为4X4像素并且执行4X4像素的DCT 之后，如块16和17中所示，聚集块的DC成分，产生2 X 2矩阵，并且对该矩阵还进行正交变换。请注意，关于帧内8X8预测模式，这可以仅仅适用于下述情况其中，以高画质或更高的画质(high profile or a profile beyond this)对当前宏块进行8 X 8正交变换。图3和图4是示出亮度信号的九种4X4像素帧内预测模式(Intra_4X4_pred_ mode)的示图。除了示出平均值(DC)预测的模式2以外的八种模式分别对应于图5中的用数字0、1、3至8指示的方向。将参照图6描述九种intra_4X4_pred_mode。对于图6中的例子，像素a至ρ表示要进行帧内处理的当前块的像素，像素值A至M表示属于邻近块的像素的像素值。具体地说，像素a至P是从画面重新排列缓冲器62读出的要处理的图像，并且，像素值A至M是要从帧存储器72读出且被参考的解码图像的像素值。在图3和图4中示出的帧内预测模式的情况中，使用属于邻近块的像素的像素值 A至M，如下产生像素a至ρ的预测像素值。这里，像素值是“可用的”表示该像素值是可用的而没有这样的原因该像素位于图像帧的边缘中或者尚未被编码。另一方面，像素值是 “不可用的”表示由于这样的原因而导致该像素值是不可用的该像素位于图像帧的边缘中或者尚未被编码。模式0是垂直预测模式，并且仅仅适用于像素值A至D是“可用的”的情况。在这种情况下，如下述表达式(1) 一样产生像素a至ρ的预测像素值像素a、e、i和m的预测像素值=A像素b、f、j和η的预测像素值=B像素c、g、k和ο的预测像素值=C像素d、h、1和ρ的预测像素值=D0 · · (1)模式1是水平预测模式，并且仅仅适用于像素值I至L是“可用的”的情况。在这种情况下，如下述表达式(2) —样产生像素a至ρ的预测像素值像素a、b、c和d的预测像素值=I像素e、f、g和h的预测像素值=J像素i、j、k和1的预测像素值=K像素m、η、ο和ρ的预测像素值=L。· ·(2)模式2是DC预测模式，并且，当像素值A、B、C、D、I、J、K和L全部是“可用的”时，如表达式(3) —样产生预测像素值。(A+B+C+D+I+J+K+L+4) >> 3. . . (3)此外，当像素值A、B、C和D全部是“不可用的”时，如表达式(4) 一样产生预测像素值。(I+J+K+L+2) >> 2. . . (4)此外，当像素值I、J、K和L全部是“不可用的”时，如表达式(5) —样产生预测像素值。(A+B+C+D+2) >> 2. . . (5)请注意，当像素值A、B、C、D、I、J、K和L全部是“不可用的”时，128用作预测像素值。模式3是Diag0nal_D0Wn_Left (左下对角)预测模式，并且仅仅适用于像素值A、 B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(6) —样产生像素a至P的预测像素值像素a的预测像素值=(A+2B+C+2) >> 2像素b和e的预测像素值=(B+2C+D+2) >>2像素c、f和i的预测像素值=(C+2D+E+2) > > 2像素d、g、j和m的预测像素值=(D+2E+F+2) > > 2像素h、k和η的预测像素值=(E+2F+G+2) >> 2像素1和ο的预测像素值=(F+2G+H+2) >> 2像素ρ 的预测像素值=(G+3H+2) >>2。· · (6)模式4是Diag0nal_D0Wn_Right (右下对角)预测模式，并且仅仅适用于像素值A、 B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(7) —样产生像素a至P的预测像素值像素m的预测像素值=(J+2K+L+2) >> 2像素i和η的预测像素值=(I+2J+K+2) >> 2像素e、j和ο的预测像素值=(M+2I+J+2) >> 2像素a、f、k和ρ的预测像素值=(A+2M+I+2) >>2像素b、g和1的预测像素值=(M+2A+B+2) >>2像素c和h的预测像素值a = (A+2B+C+2) >> 2像素d 的预测像素值=(B+2C+D+2) >>2。· ·(7)模式5是DiagonalJerticalRight (右垂直对角)预测模式，并且仅仅适用于像素值A、B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(8) —样产生像素a至P的预测像素值像素a和j的预测像素值=(M+A+1) >> 1像素b和k的预测像素值=(A+B+1) >> 1像素c和1的预测像素值=(B+C+1) >> 1像素d的预测像素值=(C+D+1) >> 1像素e和η的预测像素值=(Ι+2Μ+Α+2) >>2像素f和ο的预测像素值=(M+2A+B+2) >>2
像素g和ρ的预测像素值=(A+2B+C+2) >> 2像素h的预测像素值=(B+2C+D+2) >> 2像素i的预测像素值=(M+2I+J+2) >> 2像素m 的预测像素值=(I+2J+K+2) >> 2. . (8)模式6是H0riZ0ntal_D0Wn(下水平)预测模式，并且仅仅适用于像素值A、B、C、 D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(9) 一样产生像素a至 P的预测像素值像素a和g的预测像素值=(M+I+1) >> 1像素b和h的预测像素值=(I+2M+A+2) >>2像素c的预测像素值=(M+2A+B+2) >>2像素d的预测像素值=(A+2B+C+2) >> 2像素e和k的预测像素值=(I+J+1) >> 1像素f和1的预测像素值=(M+2I+J+2) >> 2像素i和ο的预测像素值=(J+K+1) >> 1像素j和ρ的预测像素值=(I+2J+K+2) >> 2像素m的预测像素值=(K+L+1) >> 1像素η 的预测像素值=(J+2K+L+2) >>2。· ·(9)模式7是VerticalLeft (下垂直)预测模式，并且仅仅适用于像素值Α、B、C、D、 I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(10) —样产生像素a至 P的预测像素值像素a的预测像素值=(A+B+1) >> 1像素b和i的预测像素值=(B+C+1) >> 1像素c和j的预测像素值=(C+D+1) >> 1像素d和k的预测像素值=(D+E+1) >> 1像素1的预测像素值=(E+F+1) >> 1像素e的预测像素值=(A+2B+C+2) >> 2像素f和m的预测像素值=(B+2C+D+2) >> 2像素g和η的预测像素值=(C+2D+E+2) >> 2像素h和ο的预测像素值=(D+2E+F+2) >>2像素ρ 的预测像素值=(E+2F+G+2) >>2。· · (10)模式8是HorizontalUp (上水平)预测模式，并且仅仅适用于像素值A、B、C、D、 I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(11) 一样产生像素a至 P的预测像素值像素a的预测像素值=(I+J+1) >> 1像素b的预测像素值=(I+2J+K+2) >> 2像素c和e的预测像素值=(J+K+1) >> 1像素d和f的预测像素值=(J+2K+L+2) >> 2像素g和i的预测像素值=(K+L+1) >> 1像素h和j的预测像素值=(K+3L+2) >> 2
像素k、l、m、n、o和ρ的预测像素值=L。..(11)接下来，将参照图7描述亮度信号的4X4像素帧内预测模式(Intra_4X4_pred_ mode)的编码格式。对于图7的例子，示出构成4X4像素的用作编码目标的当前块C，并且， 示出构成4X4像素的与当前块邻近的块A和块B。在这种情况下，可以想到，当前块C中的Intra_4X4_pred_mode与块A和块B中的Intra_4X4_pred_m0de具有高相关性。使用该相关性按照如下执行编码处理，从而可以实现更高的编码效率。具体地说，对于图7中的例子，块A和块B中的Intra_4X 4_pred_mode分别被取为 Intra_4X4_pred_modeA 禾口 Intra_4X4_pred_modeB,并且,MostProbableMode 被定义为以下表达式(12)MostProbableMode = Min(Intra_4 X 4_pred_modeA, Intra_4 X 4_pred_ modeB)..· (12)。也就是说，块A和块B中的被分配较小的modejumber的块被取为 MostProbableMode ο称为 prev_intra4X 4_pred_mode_flag[luma4X 4Blkldx]禾口 rem_intra4x4_ pred_mode[luma4x4Blkldx]的两个值在比特流内被定义为关于当前块C的参数，并且，通过基于下述表达式(13)中示出的伪码的处理来执行解码处理，从而可以获得关于块C的 Intra_4X4_pred_mode 禾口 Intra4X4PredMode[luma4X4Blkldx]的值。
If(prev_intra4x4_pred_mode_flag[luma4x4Blkldx]) Intra4x4PredMode[luma4x4Blkldx] = MostProbableMode else
if(rem_intra4x4_pred_mode[luma4x4Blkldx] < MostProbableMode) Intra4x4PredMode[luma4x4Blkldx] = rem_intra4x4_pred_mode[luma4x4Blkldx] else
Intra4x4PredMode[luma4x4Blkldx] = rem_intra4x4_pred_mode[luma4x4Blkldx] + 1 ... (13)接下来，将描述8 X 8像素帧内预测模式。图8和图9是示出亮度信号的九种8 X 8 像素帧内预测模式(intra_8X8_pred_mode)的示图。假设说，当前8X8块中的像素值被取为ρ[x，y] (O ^ χ ^ 7 ；0 ^ y ^ 7),并且，如 P [-1，-ι]........ρ [-1，15]、P [-1，0]........[p-1，7] 一样表示邻近块的像素值。
关于8X8像素帧内预测模式，在产生预测值之前对邻近像素进行低通滤波。
现在，假设说，在低通滤波处理之前的像素值用P[-l，-1]........p[-l，15]、P[-1，
0]........P[-l，7]表示，并且，在该处理之后的像素值用ρ' [-1,-1]........P' [-1，
15],ρ' [-1,0],......、p' [_1，7]表示。首先，在p[_l，-1]是“可用的”的情况中，如下述表达式(14) 一样计算 P'
，在“不可用的”的情况中，如下述表达式(15) —样计算P'
。ρ'
= (p[-l,-l]+2*p
+p[l,-l]+2) >>2 · · · (14)ρ'
= (3*p
+p[l,-l]+2) >>2 · · · (15)如下述表达式(16) —样计算ρ' [X，-1] (χ = 0........7)。ρ' [χ,-1] = (ρ[χ-1,-1]+2*ρ[χ,-1]+ρ[χ+1,-1]+2) >>2 · · · (16)在ρ[χ，-1] (χ = 8........15)是“可用的”的情况中，如下述表达式(17) 一样计
算 P' [χ，-1](χ = 8、......、15)。ρ' [χ,-1] = (ρ[χ-1,-1]+2*ρ[χ,-1]+ρ[χ+1,-1]+2) >>2ρ' [15,-1] = (ρ[14,-1]+3*ρ[15,-1]+2) >>2 ...(17)在ρ[_1，-1]是“可用的”的情况中，按照如下计算ρ' [_1，-1]。具体地说，在 Ρ[ο，-1]和ρ[-1，0] 二者都是“可用的”的情况中，如表达式(18) 一样计算P' [-1，-1]， 并且，在ρ[-1，0]是“不可用的”的情况中，如表达式(19) 一样计算P' [-1,-1].此外，在 Ρ
是“不可用的”的情况中，如表达式(20) 一样计算ρ' [-1,-1].ρ' [-1,-1] = (ρ
+2*ρ[-1,-1]+ρ[-1,0]+2) >>2 · · · (18)ρ' [-1,-1] = (3*ρ[-1,-1]+ρ
+2) >>2 · · · (19)ρ' [-1,-1] = (3*ρ[-1,-1]+ρ[-1,0]+2) >>2 · · · (20)当ρ[-1，y](y = 0........7)是“可用的”时，按照如下计算ρ ‘ [_1，y] (y =
0........7)。具体地说，首先，在p[_l，-1]是“可用的”的情况中，如表达式(21) —样计
算P' [-1，0]，并且在P[-1，-1]是“不可用的”的情况中，如表达式(22) —样计算P' [-1， 0]ρ' [-1,0] = (p[-l，-l]+2*p[-l，0]+p[_l，l]+2) >>2 · · · (21)ρ' [-1,0] = (3* ρ [-1,0]+ρ [-1,1]+2) >>2 · · · (22)此外，如下述表达式(23) —样计算p' [-l,y] (y = 1........6)，并且，如表达式
(24) —样计算 ρ' [_1，7]。ρ [-1，y] = (ρ [_1，y_l] +2 * ρ [_1，y] +ρ [_1，y+1] +2) > > 2 ... (23)ρ' [-1,7] = (ρ [-1,6]+3* ρ [-1,7]+2) >>2 ... (24)使用这样计算出的ρ'，按照如下产生在图8和图9中示出的帧内预测模式中的预测值。模式0是垂直预测模式，并且，仅仅在P [X，-1] (x = 0........7)是“可用的”时
适用。如下述表达式(25) —样产生预测值pred8X8jX，y]。pred8X8L[x, y] = ρ' [χ, _l]x,y = 0、......、7 . · · (25)模式1是水平预测模式，并且，仅仅在ρ[_1，y] (y = 0........7)是“可用的”时
适用。如下述表达式(26) —样产生预测值pred8X8jX，y]。pred8X8L[x, y] = ρ' [_l，y]x，y = 0、......、7 . · · (26)
模式2是DC预测模式，并且，按照如下产生预测值predS X 8L[χ, y]。具体地说，在
p[x，-l] (x = 0........7)和p[_l，y] (y = 0........7) 二者都是“可用的”的情况中，如
表达式(27) —样产生预测值pred8X8L[x，y]。[数学式1]
权利要求
1.一种图像处理装置，包括解码部件，被配置为对要作为解码处理的对象的当前块的图像进行解码；滤波设置部件，被配置为根据编码参数与所述当前块相应地设置用于要对所述当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；以及帧内预测部件，被配置为使用由所述滤波设置部件设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测。
2.根据权利要求1所述的图像处理装置，其中，所述编码参数包括所述当前块的帧内预测的模式或者所述当前块的量化参数；并且其中所述解码部件对所述当前块的帧内预测的模式或者所述当前块的量化参数进行解码；并且其中所述滤波设置部件根据由所述解码部件解码的帧内预测的模式或者由所述解码部件解码的量化参数设置所述系数。
3.根据权利要求2所述的图像处理装置，还包括滤波系数存储部件，被配置为存储所述系数；其中，所述系数被计算以用学习图像获得作为编码处理的对象的学习块与预测图像之间的最小残差，并且，所述系数被存储在所述滤波系数存储部件中，所述预测图像是通过与所述学习块的帧内预测的模式或者所述学习块的量化参数相对应地对所述学习块执行帧内预测而获得的；并且其中所述滤波设置部件将存储于所述滤波系数存储部件中的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置为所述系数。
4.根据权利要求3所述的图像处理装置，其中，所述滤波系数存储部件根据处理器的寄存器长度将所述系数保持为η比特的值，其中，η是整数。
5.根据权利要求2所述的图像处理装置，其中，所述解码部件对如下的系数进行解码， 在编码侧处使用在进行所述滤波处理之前的所述邻近像素计算了所述系数，使得关于通过对于所述当前块执行帧内预测而获得的预测图像的残差是最小的，并且，与所述当前块和所述当前块的帧内预测的模式或者所述当前块的量化参数相对应地设置了所述系数；并且其中所述滤波设置部件将由所述解码部件解码的系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置为所述系数。
6.根据权利要求2所述的图像处理装置，其中，所述系数由滤波系数和偏移值构成。
7.根据权利要求6所述的图像处理装置，其中，所述滤波系数由三个抽头构成。
8.根据权利要求6所述的图像处理装置，其中，所述滤波系数具有以对应于0相位的系数为中心的对称性。
9.根据权利要求1所述的图像处理装置，其中，所述解码部件对所述当前块的帧内预测的模式进行解码；并且所述滤波设置部件将帧内预测的模式中的垂直模式或水平模式取为第一类别，并且将其它模式取为第二类别，在所述当前块的帧内预测的模式属于所述第一类别的情况下，所述滤波设置部件设置与所述第一类别相对应的所述系数，在已经被解码的所述当前块的帧内预测的模式属于所述第二类别的情况下，所述滤波设置部件设置与所述第二类别相对应的所述系数。
10.根据权利要求1所述的图像处理装置，还包括接收部件，被配置为接收指示对于所述邻近像素是否执行所述滤波处理的标志信息； 其中，基于由所述接收部件接收到的标志信息，所述滤波设置部件设置是否对所述邻近像素执行所述滤波处理。
11.根据权利要求10所述的图像处理装置，其中，所述接收部件以宏块为增量接收所述标志信息；并且其中，基于由所述接收部件接收到的标志信息，所述滤波设置部件设置是否以宏块为增量对所述邻近像素执行所述滤波处理。
12.根据权利要求10所述的图像处理装置，其中，所述接收部件以块为增量接收所述标志信息；其中，基于由所述接收部件接收到的标志信息，所述滤波设置部件设置是否以块为增量对所述邻近像素执行所述滤波处理。
13.一种图像处理方法，包括下述步骤 图像处理装置执行对要作为解码处理的对象的当前块的图像进行解码；根据编码参数与所述当前块相应地设置用于要对所述当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；以及使用已经设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测。
14.一种图像处理装置，包括滤波设置部件，被配置为根据编码参数设置用于要对要作为编码处理的对象的当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；帧内预测部件，被配置为使用由所述滤波设置部件设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测；以及编码部件，被配置为对所述当前块的图像进行编码。
15.根据权利要求14所述的图像处理装置，其中，所述编码参数包括所述当前块的帧内预测的模式或者所述当前块的量化参数；所述滤波设置部件根据所述当前块的帧内预测的模式或者所述当前块的量化参数设置所述系数；并且所述编码部件对所述当前块的帧内预测的相应模式或者所述当前块的量化参数进行编码。
16.根据权利要求15所述的图像处理装置，还包括 滤波系数存储部件，被配置为存储所述系数；其中，所述系数被计算以用学习图像获得作为编码处理的对象的学习块与预测图像之间的最小残差，并且，所述系数被存储在所述滤波系数存储部件中，所述预测图像是通过与所述学习块的帧内预测的模式或者所述学习块的量化参数相对应地对所述学习块执行帧内预测而获得的；并且所述滤波设置部件将存储于所述滤波系数存储部件中的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置为所述系数。
17.根据权利要求15所述的图像处理装置，还包括滤波系数计算部件，被配置为计算所述系数，使得所述当前块和预测图像之间的残差最小，所述预测图像是通过根据所述当前块的帧内预测的模式或者所述当前块的量化参数，使用在进行所述滤波处理之前的所述邻近像素对所述当前块执行帧内预测而获得的；所述滤波设置部件将由所述滤波系数计算部件计算出的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置为所述系数；并且所述编码部件还对所述系数进行编码。
18.根据权利要求15所述的图像处理装置，其中，所述系数由滤波系数和偏移值构成。
19.根据权利要求14所述的图像处理装置，其中，所述滤波设置部件设置是否对所述邻近像素执行所述滤波处理；并且所述编码部件对指示是否执行由所述滤波设置部件设置的所述滤波处理的标志信息进行编码。
20.一种图像处理方法，包括下述步骤图像处理装置执行根据编码参数设置用于要对要作为编码处理的对象的当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；使用已经设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测；以及对所述当前块的图像进行编码。
全文摘要
本发明涉及能够根据图像和比特率执行噪声去除的图像处理装置和方法。低通滤波设置单元93从存储于内置的滤波系数存储器94中的滤波系数设置对应于帧内预测模式信息和量化参数的滤波系数。邻近图像设置单元81使用由低通滤波设置单元93设置的滤波系数来对来自帧存储器72的当前块的邻近像素值进行滤波处理。预测图像产生单元82使用来自邻近图像设置单元81的经过滤波处理的邻近像素值执行帧内预测，并且产生预测图像。本发明可以适用于用例如H.264/AVC格式编码的图像编码装置。
文档编号H04N7/32GK102474617SQ201080028028
公开日2012年5月23日 申请日期2010年6月23日 优先权日2009年7月1日
发明者佐藤数史 申请人:索尼公司