专利名称：析像度变换方法及装置的制作方法
技术领域：
本发明涉及编码数字图像的析像度(分辨率)变换方法及装置。
背景技术：
通常，由于图像数据的信息量庞大，在传输图像数据之际及在存储媒体记录之际必须对图像数据进行某种高效率压缩处理。作为高效率压缩处理，利用正交变换编码(DCT(离散余弦变换)等)的技法是现在的主流，采用JPEG(静止图像编码专家组)及MPEG(运动图像编码专家组)等编码方式。下面对这些编码方式予以简单说明。
首先，将输入的图像数据分割为8×8像素的块。基本上压缩处理是以此块为单位执行的。对经过分割的块实施正交变换编码处理和量子化处理之后，进行熵编码而得到编码数据。在解码时，顺序对编码数据实施与编码流程相反的处理。由于正交变换编码是不可逆处理，完全解码成为原来的图像数据是不可能的，但可以得到非常高的压缩率。
另一方面，根据情况有时需要对图像数据进行析像度变换处理。在将利用数字相机拍摄的图像数据显示于显示媒体上时，当图像数据的析像度比显示媒体的析像度高时，必须将图像数据缩小进行显示。另外，在将数字TV广播的运动图像在显示媒体上显示时，必须相应于显示媒体的析像度进行图像数据析像度变换。可以认为在图像数据析像度变换中有各种技法，大致分有空域析像度变换和频域析像度变换。
作为空域析像度变换技法的代表可以举出的有最近邻方式、双线性方式、双三次方式。各个方式的特征示于图4。图4为示出将以×表示的原像素扩大三倍时的插值像素○的示图。图4的纵轴表示像素值的大小。
最近邻方式，是将最接近变换后的像素位置的原图像的值作为新像素值的方式。由于不对原像素进行运算，处理速度高，可以将图像的邻接像素的差(边缘)保持原图像原样，但图像的画质一般不佳。
双线性方式是一次插值的一种，是利用求得的像素值的近旁4点进行线性插值的方式。与最近邻方式比较，画质提高，但处理速度低。另外，通过线性插值处理，由于存在使边缘等具有急剧变化之处平滑化，结果使整个图像变得模糊。
双三次方式是三次插值的一种，是利用求得的像素值的近旁16个像素进行插值。由于运算量大，处理速度非常缓慢，但由于具有强调并保持原图像的边缘的效果的处理，与双线性方式相比图像模糊程度小。可以认为双三次方式的画质比上述两种技法的画质好。
频域的析像度变换技法，是在实施DCT处理的状态下进行像素值的增加/删除的析像度变换技法。在将这一方式应用于以位图形式保存的图像时，由于对像素值必须实施DCT→析像度变换→ITCT的处理，处理成本变大。然而，由于MPEG及JPEG等在借助DCT编码进行编码的图像中利用简单，是有效的方式，也是画质好的技法。
图像数据的析像度变换，可从这些方式中选择一种适合目的的方式执行。一般认为，在可以忽略析像度变换处理所需要的资源时，优选是采用可保持图像的边缘的双三次方式。不过，由于存在处理成本的问题以及边缘附近的图像模糊的问题，所以如在U.S.Patent No.5008752(特表平4-500421号公报)以及U.S.Patent No.6263120(特开平11-144053号公报)中所示，提出了在图像数据的边缘附近和其他区域中切换析像度变换方式的技法。
然而，关于利用上述正交变换编码进行编码的JPEG和MPEG等图像数据，不能说在利用双三次方式的析像度变换处理中就是万无一失了。在利用正交变换编码的编码方式中，如上所述，由于是以块为单位进行编码处理，在解码后的图像数据中，有时在8×8分割块的边界上产生并非所期望的不连续之处。这种东西称为块噪声，是一种编码特性的压缩率越高越容易产生的结果。
在对存在这种块噪声的解码后的图像数据执行双三次方式的析像度变换处理时，块边界的不连续之处受到强调，块噪声更加恶化，画质劣化可能加剧。
发明内容
本发明的目的在于提供一种在图像的析像度变换时，进行高画质的析像度变换的方法及装置。
本发明的第1种方式，是一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换方法，其构成包括从上述图像数据中选择应供插值像素的运算的多个参照像素的参照像素选择步骤；判定在上述多个参照像素间是否包含上述块的边界的判定步骤；在上述多个参照像素间不包含上述块的边界时，就利用多个上述参照像素的像素数据实施第1类的插值处理，计算出插值像素的像素数据，而在上述多个参照像素间包含上述块的边界时，就利用多个上述参照像素的像素数据实施第2类的插值处理，计算出插值像素的像素数据的插值像素数据计算步骤；上述第2类的插值处理与上述第1类的插值处理相比，图像的边缘强调效果小。
本发明的第2种方式，是一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换方法，其构成包括从上述图像数据中选择应供插值像素的运算的多个参照像素的参照像素选择步骤；判定在上述多个参照像素间是否包含上述块的边界的判定步骤；
在上述多个参照像素间不包含上述块的边界时，就利用多个上述参照像素的像素数据实施第1类的插值处理，计算出插值像素的像素数据，而在上述多个参照像素间包含上述块的边界时，就利用多个上述参照像素的像素数据实施第2类的插值处理，计算出插值像素的像素数据的插值像素数据计算步骤；上述第1类的插值处理与上述第2类的插值处理相比，上述块的边界的不连续之处的平滑化效果小。
本发明的第3种方式，是一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换装置，其构成包括从上述图像数据中选择应供插值像素的运算的多个参照像素的参照像素选择单元；判定在上述选择的多个参照像素间是否包含上述块的边界的块边界判定单元；相应于上述块边界判定单元的判定结果，决定从上述选择的参照像素的像素数据中计算插值像素的像素数据的方式的像素计算方式切换单元；提取上述选择的参照像素的像素数据的像素提取单元；按照在上述像素计算方式切换单元中决定的方式，从上述提取的参照像素的像素数据计算插值像素的像素数据的插值像素计算单元；上述像素计算方式切换单元，当在上述块边界判定单元中判定在上述多个参照像素间不包含上述块的边界时，就决定为第1方式，而在判定上述多个参照像素间包含上述块的边界时，就决定为与上述第1计算方式相比图像的边缘强调效果小的第2方式。
本发明的第4种方式，是一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换装置，其构成包括从上述图像数据中选择应供插值像素的运算的多个参照像素的参照像素选择单元；判定在上述选择的多个参照像素间是否包含上述块的边界的块边界判定单元；相应于上述块边界判定单元的判定结果，决定从上述选择的参照像素的像素数据中计算插值像素的像素数据的方式的像素计算方式切换单元；提取上述选择的参照像素的像素数据的像素提取单元；按照在上述像素计算方式切换单元中决定的方式，从上述提取的参照像素的像素数据计算插值像素的像素数据的插值像素计算单元；上述像素计算方式切换单元，当在上述块边界判定单元中判定在上述多个参照像素间不包含上述块的边界时，就决定为第1方式，而在判定上述多个参照像素间包含上述块的边界时，就决定为与上述第1计算方式相比上述块的边界的不连续之处的平滑化效果大的第2方式。
图1为示出本发明的实施方式的流程图。
图2为表示本发明的实施方式的数字图像的析像度变换系统的框图。
图3为示出针对在本发明的实施方式中利用的析像度变换方式的插值像素和参照像素及块边界的关系的示图。
图4为说明一般的析像度变换方式的示图。
具体实施例方式
下面参照附图对本发明的实施方式予以说明。图1为示出本发明的实施方式的析像度变换方法的流程图，图2示出实现该方法用的析像度变换装置的系统构成例。
首先，对图2的系统构成予以说明。
另外，在本实施方式中，是对利用DCT的正交变换编码进行高效率压缩处理后的图像数据予以说明。因为对正交变换编码处理，在背景技术中进行了说明，此处就予以省略。
图2的块边界判断单元201，根据输入的插值像素位置信息，判定在用来计算插值像素的参照像素间是否包含块边界。将表示包含块边界或不包含块边界的块，作为判定结果(边界信息)输出。下面利用图3对判定方法予以说明。
图3为对实施析像度变换的一个图像之中的一部分进行图示的示图。以×表示的是原像素，以○表示的是插值像素。在计算插值像素之际，将原像素的一部分用作参照像素。在本实施方式中，在通常的析像度变换中利用双三次方式。在双三次方式中的参照像素，如图3所示，是插值像素位置的周围的16个像素(纵4像素×横4像素)。
为计算图3的插值像素301而使用的参照像素，是插值像素位置的周围的16个像素(以细线包围的)。在此场合，由于在参照像素间不存在跨越块边界之处，判定为“不包含块边界”。
用来计算插值像素302的参照像素，是插值像素302的周围的16个像素。在此参照像素间，存在跨越块边界之处。所以，判定为“包含块边界”。
上述判定结果，输入到图2的像素计算方式切换单元202。像素计算方式切换单元202，是决定生成插值像素的析像度变换方式的处所。像素计算方式切换单元202的输出，是插值像素的计算方式(析像度变换方式)及选择的计算方式所必需的参照像素信息。
对于图3的参照像素，像素计算方式的切换如下。由于对于插值像素301，在参照像素间不包含块边界，计算方式为双三次方式(第1类的插值处理、第1方式)，参照像素数为16。另一方面，对于插值像素302，由于在双三次方式的参照像素间包含块边界，计算方式为双线性方式(第2类的插值处理、第1方式)，参照像素数为4。
通过将此双三次方式与双线性方式进行切换，可以获得下面的效果。在参照像素间不存在块边界的场合，可利用与双线性方式(第2类的插值处理)相比图像的边缘强调效果大(即块边界的不连续之处的平滑化效果小)的双三次方式(第1类的插值处理)来计算插值像素。因此，在决边界以外的区域中，图像的边缘的模糊可减轻。
在参照像素间包含块边界之际，在利用该参照像素进行借助双三次方式的插值时，有可能保持或强调块边界的不连续之处(块噪声)而计算出插值像素。于是，在此场合，利用与双三次方式(第1类的插值处理)相比图像的边缘强调效果小(即块边界的不连续之处的平滑化效果大)的双线性方式(第2类的插值处理)。在利用双线性方式计算插值像素时，可以使块边界的不连续之处平滑化而减轻。所以，可以提供在析像度变换后的图像中减轻块边界的不连续之处(块噪声)并在其他区域中使图像的边缘不变模糊的析像度变换。
在本发明的实施例中，作为减轻块边界的不连续之处的插值像素的计算方式举出的是双线性方式，但在可以得到同样的效果时，也可以采用其他方式。
图2的参照像素选择单元203，在像素计算方式切换单元202输入的插值像素信息及插值像素位置信息之中，对插值像素选择参照像素，结果输出到像素提取单元204。
像素提取单元204，根据输入的参照像素信息(数及位置)，从原图像(被析像度变换图像)提取参照像素，转送到插值像素计算单元205。插值像素计算单元205，对从像素提取单元204输入的参照像素应用在像素计算方式切换单元202中选择的析像度变换方式的计算方法，取得插值像素。
下面利用图1的流程图对本发明的实施方法予以说明。在本实施方式中，如上所述，通常的析像度变换(第1类的插值处理)为双三次方式，块边界附近的析像度变换(第2类的插值处理)为双线性方式。
首先，在图2的块边界判断单元201中，实施图1的块边界判定步骤S101。利用在块边界判定步骤S101中得到的结果，在S102中判定有无执行双三次方式之际所必需的参照像素间的块边界。当在S102中判定不包含块边界的场合，就进入到S103，而在判定包含块边界的场合，就进入到S104。
在S103中，由于判定双三次方式所必需的在参照像素间不包含块边界，选择析像度变换方式A(在本实施方式中为双三次方式)。在S104中，由于判定双三次方式所必需的在参照像素间包含块边界，选择析像度变换方式B(在本实施方式中为双线性方式)。
根据由S103或S104所选择的析像度变换方式，在参照像素选择步骤S105中，选择参照像素。于是，在插值像素数据计算步骤S106中，利用由参照像素选择步骤S105选择的参照像素，借助由S103或S104指定的析像度变换方式的计算式，计算出插值像素。
通过针对要计算的全部插值像素反复执行以上的操作，可以由原像素生成析像度变换后的图像。
图1的S103及S104中记述的析像度变换方式A及析像度变换方式B示出一般的析像度变换方式。示出的析像度变换方式A是比析像度变换方式B边缘强调效果大的析像度变换方式，而析像度变换方式B是比析像度变换方式A平滑化效果大的析像度变换方式。
权利要求
1.一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换方法，其构成包括从上述图像数据中选择应供给插值像素的运算的多个参照像素的参照像素选择步骤；判定在上述多个参照像素间是否包含上述块的边界的判定步骤；以及在上述多个参照像素间不包含上述块的边界时，就利用多个上述参照像素的像素数据实施第1类的插值处理，由此计算出插值像素的像素数据，而在上述多个参照像素间包含上述块的边界时，就利用多个上述参照像素的像素数据实施第2类的插值处理，由此计算出插值像素的像素数据的插值像素数据计算步骤；其中，上述第2类的插值处理与上述第1类的插值处理相比，图像的边缘强调效果小。
2.一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换方法，其构成包括从上述图像数据中选择应供给插值像素的运算的多个参照像素的参照像素选择步骤；判定在上述多个参照像素间是否包含上述块的边界的判定步骤；以及在上述多个参照像素间不包含上述块的边界时，就利用该多个上述参照像素的像素数据实施第1类的插值处理，由此计算出插值像素的像素数据，而在上述多个参照像素间包含上述块的边界时，就利用该多个上述参照像素的像素数据实施第2类的插值处理，由此计算出插值像素的像素数据的插值像素数据计算步骤；其中，上述第1类的插值处理与上述第2类的插值处理相比，上述块的边界的不连续之处的平滑化效果小。
3.如权利要求1所述的析像度变换方法，其中上述规定的图像处理是正交变换编码处理。
4.如权利要求1所述的析像度变换方法，其中上述第1类的插值处理是利用双三次方式的插值处理。
5.如权利要求1、3或4所述的析像度变换方法，其中上述第2类的插值处理是利用双线性方式的插值处理。
6.如权利要求2所述的析像度变换方法，其中上述规定的图像处理是正交变换编码处理。
7.如权利要求2所述的析像度变换方法，其中上述第1类的插值处理是利用双三次方式的插值处理。
8.如权利要求2、6或7所述的析像度变换方法，其中上述第2类的插值处理是利用双线性方式的插值处理。
9.一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换装置，其构成包括从上述图像数据中选择应供给插值像素的运算的多个参照像素的参照像素选择单元；判定在上述选择的多个参照像素间是否包含上述块的边界的块边界判定单元；依照上述块边界判定单元的判定结果，决定从上述选择出的参照像素的像素数据计算插值像素的像素数据的方式的像素计算方式切换单元；提取上述选择出的参照像素的像素数据的像素提取单元；以及按照在上述像素计算方式切换单元中决定的方式，从上述提取出的参照像素的像素数据计算插值像素的像素数据的插值像素计算单元；其中，当在上述块边界判定单元中判定为在上述多个参照像素间不包含上述块的边界时，上述像素计算方式切换单元就决定为第1方式，而在上述块边界判定单元中判定为上述多个参照像素间包含上述块的边界时，上述像素计算方式切换单元就决定为与上述第1计算方式相比图像的边缘强调效果小的第2方式。
10.一种用来对伴随块分割进行了规定的图像处理的图像数据的析像度进行变换的析像度变换装置，其构成包括从上述图像数据中选择应供给插值像素的运算的多个参照像素的参照像素选择单元；判定在上述选择的多个参照像素间是否包含上述块的边界的块边界判定单元；依照上述块边界判定单元的判定结果，决定从上述选择的参照像素的像素数据计算插值像素的像素数据的方式的像素计算方式切换单元；提取上述选择出的参照像素的像素数据的像素提取单元；以及按照在上述像素计算方式切换单元中决定的方式，从上述提取出的参照像素的像素数据计算插值像素的像素数据的插值像素计算单元；其中，当在上述块边界判定单元中判定为在上述多个参照像素间不包含上述块的边界时，上述像素计算方式切换单元就决定为第1方式，而在上述块边界判定单元中判定为上述多个参照像素间包含上述块的边界时，上述像素计算方式切换单元就决定为与上述第1计算方式相比上述块的边界的不连续之处的平滑化效果大的第2方式。
11.如权利要求9所述的析像度变换方法，其中上述规定的图像处理是正交变换编码处理。
12.如权利要求10所述的析像度变换方法，其中上述规定的图像处理是正交变换编码处理。
全文摘要
在多个参照像素间不包含上述块的边界时，利用多个参照像素的像素数据实施第1类的插值处理，计算出插值像素的像素数据。在多个参照像素间包含块的边界时，利用多个参照像素的像素数据实施第2类的插值处理，计算出插值像素的像素数据。第2类的插值处理与第1类的插值处理相比，是图像的边缘强调效果小的处理。
文档编号H04N1/41GK1668108SQ20051005448
公开日2005年9月14日 申请日期2005年3月8日 优先权日2004年3月9日
发明者榊间英人 申请人:佳能株式会社