专利名称：图像处理装置、图像处理方法、记录介质和程序的制作方法
技术领域：
本发明涉及图像处理装置，图像处理方法，记录媒体，和程序，以及，更特别地，涉及能够容易地和精确地检测图像的脊强度的图像处理装置和图像处理方法，记录介质，和程序。
背景技术：
目前除了已知的NTSC(美国全国电视标准委员会)和PAL(逐行倒相)标准以外，如用于高清晰度传播的HDTV(高清晰度电视)标准的新的电视传播标准已经越来越普及了。此外，电子家庭产品如使用数字图像数据的数字静态相机，也变得越来越普及了。因此，用户使用的图像数据分辨率也变得多样化。
另一方面，在平板显示器(FPDs)中使用的像素的数目是固定的，而不管其中的显示系统是等离子体显示系统或者是液晶显示系统，其中，平板显示器是目前普遍使用的图像显示设备。因此，如果显示设备的显示分辨率与图像数据的分辨率不匹配，需要将图像数据的分辨率转换成显示设备的可显示分辨率。通过使用在图像数据中包括的像素，在原始图像数据上横向和纵向地执行一维的内插处理，可以实现这种分辨率转换。
图像内插方法，比如，存在最邻近的内插方法(比如，参见日本未审查的专利申请公开号09-50516)，在该内插方法中，在内插位置使用与包括原始图像数据的内插位置最邻近的像素值来内插像素；双线性内插方法(比如，参见日本未审查的专利申请公开号09-50516)，在该内插方法中，在内插位置使用与内插位置相邻近的两个像素的像素值的权重平均，来内插像素；双三次内插方法(比如，参见日本未审查的专利申请公开号2001-216124)，在该内插方法中，在内插位置使用与内插位置邻近的四个像素的像素值的加权平均值，来内插像素；对角线内插方法(比如，参见日本未审查的专利申请公开号2004-153668)，在该内插方法中，检测包括在图像中的边的方向，以及在内插位置使用在边缘方向上的内插位置两边上的像素，来内插像素；以及内插方法(在下文中，也指代为高阶过滤器内插方法)，在该方法中，增加了接口的数目，和内插过滤器的阶，以及通过使用内插过滤器来执行图像内插，其中的内插过滤器具有与理想的过滤器特性(sinc function)相近似的特性。
发明内容
图1是显示上述的内插方法的特性的表。
在执行CG(计算机图形)处理时，最邻近的内插方法是非常有效的，因为该方法非常简单，并且当基于整数比例因数(integral scaling)放大图像时，不会出现模糊现象。然而，当图像是以非整数比例因数改变比例时，该方法是不可行的，因为行的厚度发生改变，锯齿(锯齿边缘)出现了，并且产生了图形失真。
在双线性内插方法中，需要处理的数据量是非常小的。此外，与使用最邻近的内插方法内插的像素相比，使用双线性内插方法来内插的像素可以与邻近的像素更加协调一致(也就是，提高了内插的准确度)。然而，在该方法中出现了图像失真和锯齿。此外，图像有时候是模糊的，并且因此，很难获得高质量的图像。
在双三次内插方法中，可以避免图像中包括的边缘附近出现振铃(ringing)。此外，该方法的内插精确度高于最邻近的内插方法和双线性内插方法的内插精确度。更特别地，当该方法被用于通过图像获取装置获得的自然图像的时候，可以获得高-质量的图像。然而，在该方法中，也很难避免图像失真和锯齿的发生。更特别地，当缩小(reduce)图像时，会出现由于图像失真而导致的图像质量下降。
图3是显示通过使用双三次内插方法、放大图2中所示的原始图像而获取的图像的图。在图3中所示图像的右边，存在一个区域，在该区域中，排列有垂直的细线。在这个区域中，存在多个高频分量，并且出现了图像失真。此外，在图3中所示图像的左边，由于锯齿的出现而存在倾斜的台阶边缘。
在高-阶过滤器内插方法中，可以避免图像失真的发生。然而，在包括在图像中的边缘附近的区域中，有时候会出现振铃，其中在图像中，像素值的变化是非常小的(在下文中，引用其作为平面区域)。此外，在该方法中，避免锯齿的出现也是非常困难的。
图4是显示通过使用高-阶过滤器内插方法、放大图2中所示的原始图像而获取的图像的图。在图4中所示的图像的右侧的区域中，与图3中所示的图像相比，避免了图像失真的发生，其中在该区域中，排列有垂直的细线，并且存在多个高频分量。然而，在该区域两边的平面区域上，会出现振铃。此外，如在图3中所示的图像，由于图4中所示的图像的左边上的锯齿的出现而存在倾斜的台阶边缘。
图5是显示在一个区域中改变像素值的图，其中该区域从图3或者图4中所示的图像的左边延伸到图3或者图4中所示的图像的右边上的区域的右端附近，其中在该区域中，排列有垂直的细线，并且包括多个高频分量。在图3或者图4所示的箭头A1和A2之间的夹杂部分中包括有一区域，该区域与图2中所示的原始图像中的箭头A1和A2之间的夹杂部分相对应。在图5中，水平方向表示像素的位置，以及垂直方向表示像素的值(亮度级)。类型1的线代表图像中(图3)的像素值的改变，其中的图像是使用双三次内插方法来放大的。类型2的线代表图像中(图4)的像素值的改变，其中的图像是使用高-阶过滤器内插方法来放大的。
如图5中所示，在图3中所示的图像的情况下，可以得出由于在区域中存在图像失真的现象，像素值的变化不是恒定的，其中在该区域中，包括多个高频分量，并且在一个短的周期中，像素值发生急剧变化。在图4中所示的图像的情况下，可以看出避免了图像失真的发生，并且在一个区域中的像素值的改变基本上是恒定的，其中在该区域中，包括多个高频分量，另一方面，由于在区域左边的平面区域中的振铃的出现，像素值轻微地和重复地进行改变。
再次参考图1，在对角线内插方法中，可以避免锯齿的发生，因为根据包括在图像中的边缘的方向，来内插像素。然而，另一方面，有时候会出现一些误差。此外，因为在斜线的可控制角度上存在一些限制，避免图像失真的出现是非常困难的。
图6是显示通过使用对角线内插方法、放大图2中所示的原始图像而获取的图像的图。在图6所示的图像中，与图3和图4中所示的图像相比，避免了在倾斜边缘附近的锯齿的发生。然而，另一方面，误差出现在区域的左边，其中的区域与图像的右端相邻近，在该区域中，显示部分的附图。此外，如在图3中所示的图像，在区域中出现图像失真，其中在该区域中，包括多个高频分量。
因此，上面所述的每个内插方法都有优点和缺点。如果执行了边缘或对比度的增强以提高图像质量，在平面区域上有时会出现锯齿、振铃、图像失真、和噪音。其将导致图像质量的下降。
所希望的是精确地检测图像的特征和执行各种图像处理模块，比如根据图像特征的图像内插处理和图像增强处理，以便避免图像质量的降低和提高图像质量。
根据本发明的实施例，提供了能够容易地和精确地检测图像的脊强度的图像处理装置和图像处理方法，以及根据图像的特征执行图像处理。
根据本发明的一个实施例的图像处理装置，其包括用于检测脊强度的脊强度检测设备，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
脊强度检测单元可以包括第一差值计算设备，用于计算梯度值，每个梯度值是包括在所述区域中的像素的像素值之间的差值；第一绝对值计算设备，用于计算所述梯度值的绝对值；第一加法设备，用于计算所述梯度值的绝对值之和；第二加法设备，用于计算所述梯度值之和；第二绝对值计算设备，用于计算所述梯度值之和的绝对值的；以及第二差值计算设备，用于计算所述梯度值的绝对值之和与所述梯度值之和的绝对值之间差值作为所述脊强度。
图像处理装置还包括边缘强度检测设备，用于检测边缘强度，该边缘强度是关于所述区域中的位置改变的像素值的变化的幅值。
边缘强度检测单元可以包括差值计算设备，用于计算梯度值，每个梯度值是包括在所述区域中的像素的像素值之间的差值；绝对值计算设备，用于计算所述梯度值之绝对值；以及加法设备，用于计算所述梯度值的绝对值之和作为所述边缘强度。
图像处理装置可以进一步包括第一图像处理设备，用于对包括脊的区域执行图像处理；第二图像处理设备，用于对包括台阶边缘的区域执行图像处理；第三图像处理设备，用于对其中像素值变化的幅值小的平面区域执行图像处理；以及混合设备，用于通过基于所述脊强度和边缘强度对在第一图像处理设备通过对第一图像执行图像处理产生的第二图像、第二图像处理设备通过对第一图像执行图像处理产生的第三图像、以及第三图像处理设备通过对第一图像执行图像处理产生的第四图像中的相应位置处的像素的像素值执行加权相加来混合图像。
第一图像处理设备，第二图像处理设备，以及第三图像处理设备可以分别执行图像内插处理。
第一图像处理设备可以使用能够防止出现由于包括在图像中的高频分量导致的混叠失真的内插方法来执行图像内插处理。
第二图像处理设备可以使用能够防止在斜面边缘处出现锯齿的内插方法来执行图像内插处理。
第三图像处理设备可以使用能够防止在平面区域中出现振铃的内插方法来执行图像内插处理。
第一图像处理设备，第二图像处理设备，以及第三图像处理设备可以分别执行图像增强处理。
第一图像处理单元可以使用第一增益增强包括在图像中的、其振幅等于或者大于第一振幅的高频分量，以及其中，第三图像处理设备可以使用第二增益增强包括在图像中的、其振幅等于或者大于的第二振幅的高频分量，第二振幅等于或者大于第一振幅，第二增益等于或者小于第一增益。
第二图像处理单元可以使用能够防止在台阶边缘出现前冲和过冲的图像增强方法来执行图像增强处理。
混合单元可以包括第一混合设备，用于通过基于所述脊强度对在第二图像和第三图像的相应位置处的像素的像素值执行加权相加来混合图像；以及第二混合设备，用于通过基于所述边缘强度对在由第一混合设备产生的第四图像和第五图像的相应位置处的像素的像素值执行加权相加来混合图像。
根据本发明实施例的图像处理方法，程序，或者记录在记录介质上的程序，包括检测脊强度的步骤，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
根据本发明的实施例，检测脊强度，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
因此，根据本发明的实施例，可以检测图像的脊强度。此外，根据本发明的实施例，可以容易地和精确地检测图像的脊强度。藉此根据图像的特征可以执行图像处理。
图1是显示图像内插方法特征的表；图2是显示要进行放大的原始图像的图；图3是显示通过使用双三次内插方法、放大图2中所示的原始图像所获取的图像的图；图4是显示通过使用高-阶过滤器内插方法、放大图2中所示的原始图像所获取的图像的图；图5是显示图3和图4中所示的图像的像素值的变化的图；图6是显示通过使用对角线内插方法、放大图2中所示的原始图像所获取的图像的图；图7是显示根据本发明一个实施例的分辨率转换器的结构图；图8是显示图7中所示的图像内插单元的典型功能结构的结构图；
图9是显示台阶边缘的例子的图；图10是显示图9中所示的图像的像素值改变的图；图11是显示斜面边缘例子的图；图12是显示图11中所示的图像的像素值改变的图；图13是显示脊的例子的图；图14是显示图13中所示的图像的像素值改变的图；图15是显示屋顶状边缘例子的图；图16是显示图15中所示的图像的像素值改变的图；图17是显示条纹模式例子的图；图18是显示图17中所示的图像的像素值改变的图；图19是显示图8中所示的边缘区域检测单元典型功能结构的结构图；图20是显示将典型像素值输入到图8中所示的边缘区域检测单元中的图；图21是显示将数据的详细信息输入到图19中所示的归一化计算单元中的图；图22是显示图8中所示的脊区域检测单元典型功能结构的结构图；图23是显示图8中所示的脊区域内插计算单元典型功能结构的结构图；图24是显示图8中所示的边缘区域内插计算单元典型功能结构的结构图；图25是显示图8中所示的平面区域内插计算单元典型功能结构的结构图；图26是描述由图7中所示的分辨率转换器所执行的分辨率转换处理的流程图；图27是描述在图26的步骤S2和S10中执行的边缘区域检测处理的详细情形的流程图；图28是显示将典型像素值输入到图8中所示的边缘区域检测单元中的图；图29是显示图19中所示的归一化计算单元的输入和输出之间的关联的图；图30是描述图26中所示的步骤S3和S11中执行的脊区域检测处理的详细情形的流程图；图31是显示图22中所示的归一化计算单元的输入和输出之间的关联的图；图32是描述对角线内插的图；图33是描述对角线内插的另外一幅图；图34是显示从图2中所示的原始图像中所获取的图像的图，其中使用由图8中所示的边缘区域检测单元所创建的边缘区域权重信号；图35是显示从图2中所示的原始图像中所获取的图像的图，其中使用由图8中所示的脊区域检测单元所创建的脊区域权重信号；
图36是显示图2、34和35中所示的图像中像素值改变的图；图37是显示使用图7中所示的分辨率转换器、通过放大图2中所示的原始图像所获取的典型图像的图；图38是显示根据本发明一个实施例的图像增强装置的结构图；图39是显示图38中所示的图像增强单元典型功能结构的结构图；图40是显示图39中所示的第一增强计算单元典型功能结构的结构图；图41是显示图40中所示的信号校正单元典型功能结构的结构图；图42是显示图39中所示的第二增强计算单元典型功能结构的结构图；图43是描述通过图38中所示的图像增强装置来执行的图像增强处理的流程图；图44是显示图41中所示的核心单元的输入和输出之间的关联的图；以及图45是显示个人计算机典型结构的结构图。
具体实施例方式
在描述本发明的实施例之前，下面将讨论在本发明的特征与说明书或者附图中公开的实施例之间的对应关系。该描述试图确保在本说明书中说明了支持本发明的实施例。因此，即使在本说明书中的实施例没有以与本发明的特定特征相关联的形式进行描述，也并不意味着该实施例不与本发明的此特征相关。相反地，即使此处描述的实施例与本发明的某一特定特征相关联，其并不意味着本实施例不与本发明的其它特征相关联。
根据本发明一个实施例的图像处理装置(比如，图7中所示的图像处理部分112，或者图38中所示的图像处理部分411)包括用于检测脊强度的脊强度检测单元(比如，图22中所示的脊强度检测单元201)，其中的脊强度是包括在图像中的脊的强度。当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
在根据本发明实施例的图像处理装置中，脊强度检测单元可以包括用于计算梯度值的第一差值计算单元(比如，图22中所示的梯度计算单元211-1，211-2和211-3)，用于计算梯度值，每个梯度值是包括在所述区域中的像素的像素值之间的差值；第一绝对值计算单元(比如，图22中所示的绝对值计算单元212-1，212-2和212-3)，用于计算梯度值之绝对值；第一加法单元(比如，图22中所示的加法单元213)，用于计算梯度值的绝对值之和；第二加法单元(比如，图22中所示的加法单元214)，用于计算梯度值之和；第二绝对值计算单元(比如，图22中所示的绝对值计算单元215)，用于计算梯度值之和的绝对值；以及第二差值计算单元(比如，图22中所示的差值计算单元216)，用于计算所述梯度值的绝对值之和与所述梯度值之和的绝对值之间差值作为所述脊强度。
根据本发明一个实施例的图像处理装置可以进一步包括边缘强度检测单元(比如，图19中所示的边缘强度检测单元171)，用于检测边缘强度，该边缘强度是关于所述区域中的位置改变的像素值的变化的幅值。
在根据本发明实施例的图像处理装置中，脊强度检测单元可以包括差值计算单元(比如，图19中所示的梯度计算单元181-1、181-2和181-3)，用于计算梯度值，每个梯度值是包括在所述区域中的像素的像素值之间的差值；绝对值计算单元(比如，图19中所示的绝对值计算单元182-1，182-2和182-3)，用于计算梯度值的绝对值；以及单元(比如，图19中所示的加法单元183)，用于计算所述梯度值的绝对值之和作为所述边缘强度。
根据本发明一个实施例的图像处理装置可以进一步包括第一图像处理单元(比如，图8中所示的脊区域内插计算单元151或者图39中所示的第一增强计算单元451-1)，用于对包括脊的区域执行图像处理；第二图像处理单元(比如，图8中所示的脊区域内插计算单元152或者图39中所示的第二增强计算单元452)，用于对包括台阶边缘的区域执行图像处理；第三图像处理单元(比如，图8中所示的平面区域内插计算单元153或者图39中所示的第一增强计算单元451-2)，用于对其中像素值变化的幅值小的平面区域执行图像处理；以及混合单元(比如，图8或者图39中所示的图像混合单元144)，用于通过基于所述脊强度和边缘强度对在第一图像处理单元通过对第一图像执行图像处理产生的第二图像、第二图像处理单元通过对第一图像执行图像处理产生的第三图像、以及第三图像处理单元通过对第一图像执行图像处理产生的第四图像中的相应位置处的像素的像素值执行加权相加来混合图像。
在根据本发明实施例的图像处理装置中，混合单元可以包括第一混合单元(比如，图8或者图39中所示的第一混合单元161)，用于通过基于所述脊强度对在第二图像和第三图像的相应位置处的像素的像素值执行加权相加来混合图像；以及第二混合单元(比如，图8或者图39中所示的第二混合单元162)，用于通过基于所述边缘强度对在由第一混合单元产生的第四图像和第五图像的相应位置处的像素的像素值执行加权相加来混合图像。
根据本发明实施例的图像处理方法，程序，或者记录在记录介质上的程序，包括检测脊强度的步骤，该脊强度是包括在图像中的脊的强度(比如，图30中所示的步骤S71到S76)。当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。。
下面参考相应的附图，描述本发明的实施例。
图7是显示根据本发明一个实施例的分辨率转换器的结构图。根据本发明一个实施例的分辨率转换器101提供有图像输入部分111，图像处理部分112，图像显示部分113，以及控制器114。图像处理部分112提供有图像内插单元121-1和121-2以及参数获取单元122。包括在图像处理部分112中的参数获取单元122和控制器114通过总线115进行互连。
图像输入部分111将数字图像数据传送给图像处理部分112，该数字图像数据是通过对在时间和空间方向上的模拟图像信号、量化强度方向上的模拟图像信号进行离散化来获取的。可以通过网络将来自记录介质或者外部装置的图像数据提供给图像输入部分111。
如后面参考图26所描述的，图像处理部分112对从图像输入部分111传送来的图像数据执行内插处理。
图像内插单元121-1对从图像输入部分111传送来的图像数据执行垂直内插处理，并且将内插的图像数据传送给图像内插单元121-2。图像内插单元121-2从图像内插单元121-1传送来的图像数据执行水平内插处理，并且将内插的图像数据传送给图像显示部分113。下面，当不需要在图像内插单元121-1和121-2之间进行区别的时候，仅仅使用图像内插单元121。
参数获取单元122通过总线115从控制器114中接收各种类型的控制信息，并且将接收的控制信息传送给图像内插单元121-1和121-2。
图像显示部分113，比如是，FPD(平板显示器)，其应用了液晶显示系统或者等离子体显示系统中应用FPD，并且其基于从图像内插单元121-2传送来的图像数据来显示图像。
控制器114接收由用户输入的各种类型的结构的信息，或者从其它的装置(没有示出)接收各种类型的结构信息。随后，控制器114准备各种类型的控制信息，使用这些控制信息可以导致图像处理部分112基于接收到的各种类型的结构信息，执行图像处理，并且控制器114将这些控制信息通过总线115传送给参数获取单元122。
图8是显示图像内插单元121典型功能结构的结构图。图像内插单元121提供有边缘区域检测单元141，脊区域检测单元142，内插计算单元143，以及图像混和单元144。
下面将参考图27进行描述，边缘区域检测单元141检测外部插入图像数据的边缘强度。此处，参考图9至16来描述边缘的类型。此处主要存在四种类型的边缘，台阶边缘，斜面边缘，脊(或者峰值边缘)，以及屋顶状边缘。
图9是显示台阶边缘例子的图。图10是显示在图9中示出的图像中侧边方向中的像素值改变的图。在图10中，水平轴方向表示像素位置，同时垂直轴方向表示像素值。在图10中由点线表示的位置实质上与图9中所示的图像的侧边方向中的中央位置相对应。台阶边缘是当在标记有不同像素值的两个区域之间的边缘是清晰的时候，所获取的边缘。如图10中所示，像素值以分级的形式、在台阶边缘处突然发生变化。
图11是显示斜面边缘的例子的图。图12是与图10中示出的图相类似的图，并且其显示了在图11中示出的图像中侧边方向中的像素值改变。斜面边缘是当在标记有不同像素值的两个区域之间的边缘与台阶边缘相比是模糊的时候，所获取的边缘。如图12所示，像素值以斜面的形式、逐渐发生变化。
图13是显示脊的例子的图。图14是与图10中所示的图相类似的图，并且该图显示了在图13中示出的图像中侧边方向中的像素值改变。脊是与包括在图像中的细线或者类似物相对应的部分。如图14所示，像素值以脉冲的形式、在主要是与边缘(脊)方向垂直的方向上，突然发生变化。在这个时候，当像素值以向下凸面脉冲的形式、突然发生变化时，有时候称该边缘为波谷。
图15是显示屋顶状边缘的例子的图。图16是与图10中所示的图相类似的图，以及其显示了在图15中示出的图像中侧边方向中的像素值改变。屋顶状边缘是与包括在图像中的细线或者类似物相对应的部分，但是与脊相比，细线的边缘是模糊的。如图16中所示，与图14中所示的脉冲波形相比，图16中的像素值是以波峰(或者波谷)的形式，逐渐发生变化的。
在一个图像的例子中，在该图像中包括多个边缘，此处的图像具有条纹模式。图17是显示典型条纹模式的图。图18是与图10中所示的图相类似的图，以及该图18显示了在图17中示出的图像中侧边方向中的像素值改变。通过排列在短间隔(短周期)中相同方向上的多个脊，可以获取条纹模式。如图18中所示，像素值以脉冲的形式、在主要是与脊方向垂直的方向上，在短周期中突然发生变化。
边缘的强度(在下文中，也称为边缘强度)与像素值中改变的绝对值相对应，其中的像素值与位置的变化相对应。当像素值的变化更加锐利和显著时，边缘强度变得更高。另一方面，当像素值的变化更加缓慢和轻微时，边缘强度变得更低。
下面将参考图29进行描述，边缘区域检测单元141基于检测到的边缘强度创建边缘区域权重信号，并且将创建的边缘区域权重信号传送给第二混和单元162。此外，边缘区域检测单元141从参数获取单元122获取包括创建边缘区域权重信号所需的各种类型的参数的控制信息。
下面将参考图30进行描述，脊区域检测单元142检测表示包括在外部输入图像数据中的脊的强度的脊强度。如图13所示，当像素值根据位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。脉冲的梯度和高度越高，脊强度也越高。另一方面，脉冲的梯度和高度越低，脊强度也越低。在高频模式的情况下，也就是，该模式为条纹模式，在条纹模式中，线的宽度和线之间的空白是很小的，脊强度是不断变高的。在另一方面，在低频模式的情况下，也就是，该模式为条纹模式，在条纹模式中，线的宽度是很小的，而线之间的空白是很大的，脊强度在短周期中重复变高和变低。条纹模式与台阶边缘中持续存在的模式相对应，在该条纹模式中，线的宽度和线之间的空白是很大的。在这种情况下，脊强度变低了。
下面将参考图31进行描述，脊区域检测单元142基于检测到的脊强度创建脊区域权重信号，以及将创建的脊区域权重信号传送给第一混和单元161。此外，脊区域检测单元142从参数获取单元122获取包括创建脊区域权重信号所需的各种类型的参数的控制信息。
内插计算单元143提供有脊区域内插计算单元151，边缘区域内插计算单元152，以及平面区域内插计算单元153，以及对外部输入图像数据执行内插处理。
与包括台阶边缘和平面区域的区域相比，脊区域内插计算单元151为包括脊的区域的确定一个更为有效的方法(其主要意图是对包括脊的区域执行处理的方法)，并且使用该方法对外部输入图像数据执行内插处理。包括很多脊(比如，线的绘制)的图像通常具有多个高频分量。因此，能够防止发生由于高频分量导致的混淆失真的内插方法(比如，高阶滤波器内插方法)适于为脊区域内插计算单元151所使用。下面，将通过例子描述如下的情形脊区域内插计算单元151使用高阶滤波器内插方法执行内插处理。脊区域内插计算单元151从参数获取单元122获取包括执行图像内插所需的各种类型的参数的控制信息。脊区域内插计算单元151将内插的图像数据传送给第一混和单元161。
与包括脊和平面区域的区域相比，边缘区域内插计算单元152为包括台阶边缘的区域确定更为有效的方法(主要用于对包括台阶边缘的区域执行处理的方法)，并使用该方法对外部输入图像数据执行内插处理。能够防止在斜面边缘中出现锯齿的内插方法(比如，对角线内插方法)适于为边缘区域内插计算单元152使用。下面，将通过例子描述如下的情形边缘区域内插计算单元152使用对角线内插方法执行内插处理。边缘区域内插计算单元152从参数获取单元122获取包括执行图像内插所需的各种类型的参数的控制信息。边缘区域内插计算单元152将内插后的图像数据传送给第一混和单元161。
与包括脊的区域和包括台阶边缘的区域相比，平面区域内插计算单元153能够为平面区域确定一个更加有效的方法(其主要意图用于对平面区域执行处理的方法)，并且使用该方法对外部输入图像数据执行内插处理。能够防止在平面区域中出现振铃以及具有简单特性的内插方法(比如，双三次内插方法)适于为平面区域内插计算单元153使用。下面，将通过例子描述如下的情形平面区域内插计算单元153使用双三次内插方法执行内插处理。平面区域内插计算单元153从参数获取单元122获取包括执行图像内插所需的各种类型的参数的控制信息。平面区域内插计算单元153将内插后的图像数据传送给第二混和单元162。
图像混合单元144提供有第一混合单元161和第二混合单元162。图像混合单元144以如下方式混合多份图像数据。
第一混合单元161对包括在由脊区域内插计算单元151和边缘区域内插计算单元152基于脊区域权重信号内插的两份图像数据中的相应位置处的像素的像素值执行加权相加，由此将两份图像数据混合起来。第一混合单元161将混合的图像数据传送给第二混合单元162。
第二混合单元162对由第一混合单元161所混合的图像数据以及包括在由平面区域内插计算单元153基于边缘区域权重信号内插的图像数据中的相应位置处的像素的像素值执行加权相加，由此将两份图像数据混合起来。第二混合单元162向外输出混合的图像数据。
图19是显示图8中所示的边缘区域检测单元141典型功能结构的结构图。边缘区域检测单元141提供有边缘强度检测单元171和归一化计算单元172。
边缘强度检测单元171提供有梯度计算单元181-1，181-2和181-3，绝对值计算单元182-1，182-2和182-3，以及加法单元183。边缘强度检测单元171检测从外部输入的图像数据的边缘强度，并且将表示边缘强度的数据传送给归一化计算单元172。
比如，如果边缘强度检测单元171在图20中所示的位置q处内插像素，则边缘强度检测单元171从包括在图像内插单元121中的缓存器(没有示出)中获取表示位置q左边的像素x-1的像素值f(x-1)的数据、表示位置q左边的像素x的像素值f(x)的数据、表示位置q右边的像素x+1的像素值f(x+1)的数据、以及表示位置q右边的像素x+2的像素值f(x+2)的数据。将表示像素值f(x-1)的数据和表示像素值f(x)的数据输入给梯度计算单元181-1。将表示像素值f(x)的数据和表示像素值f(x+1)的数据输入给梯度计算单元181-2。将表示像素值f(x+1)的数据和表示像素值f(x+2)的数据输入给梯度计算单元181-3。
此处，将在相邻像素(在样本间隔S)之间的位置的数目，称为相位的数目，其中的位置为像素可以内插的位置，相邻像素包括在原始图像数据中。将基于相邻像素测得的内插位置称为相位。在图20所示的例子中，相位的数目是8，并且从像素x开始位于其距离p处位置为q的相位是3/8。
图20是显示在水平位置内插像素的情况，也就是，图像内插单元121-2内插像素。如果在垂直方向内插像素，也就是，图像内插单元121-1内插像素，边缘强度检测单元171在位置q的上面和下面，获取来自包括在图像内插单元121中的缓存器(没有示出)的、表示上述四个像素的像素值的数据。
梯度计算单元181-1，181-2和181-3计算梯度值，该梯度值在包括多个像素的区域中的像素的像素值之间是不同的。更特别地，每个梯度计算单元181-1，181-2和181-3通过计算在所接收到的两个相邻像素的像素值之间的差值，来计算区域中的像素之间的梯度值，其中在该区域中，包括有像素x-1，x，x+1和x+2。梯度计算单元181-1，181-2和181-3将表示计算过的梯度值的数据分别传送给绝对值计算单元182-1，182-2和182-3。
每个绝对值计算单元182-1，182-2和182-3计算所接收数据的绝对值，并且将表示计算的绝对值的数据传送给加法单元183。
加法单元183将多个接收到的数据片相加，以及传送表示和的数据给归一化计算单元172。
图21是显示将数据传送给图19中所示的归一化计算单元172的详细情形的图。归一化计算单元172接收来自加法单元183的数据，并且从参数获取单元122接收表示给定强度设置值和给定阈值的数据。下面将参考图29进行描述，归一化计算单元172使用强度设置值和阈值，将从加法单元183中接收的数据归一化，并且将表示归一化值的边缘区域权重信号传送给第二混合单元162。
图22是显示图8中所示的脊区域检测单元142的典型功能结构的结构图。脊区域检测单元142提供有脊强度检测单元201，和归一化计算单元202。
脊强度检测单元201提供有梯度计算单元211-1、211-2和211-3，绝对值计算单元212-1，212-2和212-3，加法单元213和214，绝对值计算单元215，以及差值计算单元216。脊强度检测单元201检测从外部输入的图像数据的脊强度，以及将表示检测过的脊强度数据传送给归一化计算单元202。
与图19中所示的边缘强度检测单元171相类似，例如，如果脊强度检测单元201在图20中所示的位置q处内插像素，脊强度检测单元201从包括在图像内插单元121中的缓存器(没有示出)中获取表示位置q左边的像素x-1的像素值f(x-1)的数据、表示位置q左边的像素x的像素值f(x)的数据、表示位置q右边的像素x+1的像素值f(x+1)的数据、以及表示位置q右边的像素x+2的像素值f(x+2)的数据。将表示像素值f(x-1)的数据和表示像素值f(x)的数据输入给梯度计算单元211-1。将表示像素值f(x)的数据和表示像素值f(x+1)的数据输入给梯度计算单元211-2。将表示像素值f(x+1)的数据和表示像素值f(x+2)的数据输入给梯度计算单元211-3。
如前所述，图20显示了在水平方向上内插像素的情况，也就是，图像内插单元121-2内插像素。如果在垂直方向内插像素，也就是，图像内插单元121-1内插像素，脊强度检测单元201在位置q的上面和下面，获取来自包括在图像内插单元121中的缓存器(没有示出)的、表示上述四个像素的像素值的数据。
梯度计算单元211-1、211-2和211-3计算梯度值，该梯度值在包括多个像素的区域中的像素的像素值之间是不同的。更特别地，每个梯度计算单元211-1、211-2和211-3通过计算在所接收到的两个相邻像素的像素值之间的差值，来计算其中包括有像素x-1，x，x+1和x+2的区域中的像素之间的梯度值。梯度计算单元211-1、211-2和211-3将表示已计算的梯度值的数据分别传送给绝对值计算单元212-1、212-2和212-3。此外，每个梯度计算单元211-1、211-2和211-3将表示已计算的梯度值的数据传送给加法单元214。
绝对值计算单元212-1、212-2和212-3中的每一个都计算所接收的数据的绝对值，并且将表示计算的绝对值的数据传送给加法单元213。
加法单元213将多份接收到的数据相加，并且将表示和的数据传送给差值计算单元216。
加法单元214将多份接收到的数据相加，并且将表示和的数据传送给绝对值计算单元215。
绝对值计算单元215计算所接收的数据的绝对值，并且将表示已计算的绝对值数据传送给差值计算单元216。
差值计算单元216可以计算多个接收到的数据之间的差值，并且将表示已计算的差值数据传送给归一化计算单元202。
与包括在边缘区域检测单元141中的归一化计算单元172相类似，归一化计算单元202接收来自差值计算单元216的数据，并且接收来自参数获取单元122的表示给定强度设置值和阈值的数据。下面将参考图31进行描述，归一化计算单元202使用强度设置值和阈值，将从差值计算单元216中接收的数据归一化，以及将表示归一化值的边缘区域权重信号传送给第一混合单元161。
图23是显示图8中所示的脊区域内插计算单元151典型功能结构的结构图。脊区域内插计算单元151提供有内插计算控制单元231、数据供给单元232、过滤器参数供给单元233以及过滤器计算单元234。
内插计算控制单元231创建了用于请求获取像素的像素值的数据请求信号，这些像素的像素值用于计算要基于从参数获取单元122传送来的、包括图像的比例因数和图像转换位置的控制信息被内插的像素的像素值，并且将已创建的数据请求信号传送给数据供给单元232。此外，内插计算控制单元231将表示内插位置相位的内插相位信号传送给过滤器因数供给单元233。
数据供给单元232包括用于使得从外部接收的图像数据能得以存储的缓存器。数据供给单元232将表示所述数据请求信号所请求的像素的像素值的数据传送给过滤器计算单元234。
一旦接收到内插相位信号，过滤器因数供给单元233将用于内插处理的一组过滤器因数传送给过滤器计算单元234。
如下面参考图26所描述的那样，过滤器计算单元234使用从数据供给单元232传送来的像素值和从过滤器因数供给单元233传送来的一组过滤器因数来计算要在内插位置内插的像素的像素值，并且将表示所计算的像素值的数据传送给第一混合单元161。
图24是显示图8中所示的边缘区域内插计算单元152典型功能结构的结构图。边缘区域内插计算单元152提供有内插计算控制单元251、数据供给单元252、方向检测单元253、过滤器因数供给单元254以及对角线内插计算单元255。
内插计算控制单元251创建了用于请求获取像素的像素值的数据请求信号，这些像素的像素值用于计算要基于从参数获取单元122传送来的、包括图像的比例因数和图像转换位置的控制信息被内插的像素的像素值，并且将已创建的数据请求信号传送给数据供给单元252。此外，内插计算控制单元251将表示内插位置相位的内插相位信号传送给过滤器因数供给单元254。
数据供给单元252包括用于使得从外部接收的图像数据能得以存储的缓存器。数据供给单元252将表示所述数据请求信号所请求的像素的像素值的数据传送给方向检测单元253和对角线内插计算单元255下面将参考图32进行描述，方向检测单元253基于来自数据供给单元252的数据、确定内插位置附加像素之间的关联，并且将表示方向的方向信息传送给对角线内插计算单元255，其中的方向是通过像素之间具有最高关联的像素组合来指示的。
一旦接收到内插相位信号或者来自对角线内插计算单元255请求，过滤器因数供给单元254将用于内插处理的一组过滤器因数传送给对角线内插计算单元255。
对角线内插计算单元255适当地从过滤器因数供给单元254获取用于像素内插的一组过滤器因数。下面将参考图32进行描述，对角线内插计算单元255使用来自数据供给单元252的像素值、来自方向检测单元253的方向信息和来自过滤器因数供给单元254的一组过滤器因数，计算在内插位置将要内插的像素的像素值，并且将表示已计算的像素值的数据传送给第一混合单元161。
图25是显示图8中所示的平面区域内插计算单元153典型功能结构的结构图。平面区域内插计算单元153提供有内插计算控制单元271、数据供给单元272、过滤器因数供给单元273以及过滤器计算单元274。
内插计算控制单元271创建了用于请求获取像素的像素值的数据请求信号，这些像素的像素值用于计算要基于从参数获取单元122传送来的、包括图像的比例因数和图像转换位置的控制信息被内插的像素的像素值，并且将已创建的数据请求信号传送给数据供给单元272。此外，内插计算控制单元271将表示内插位置相位的内插相位信号传送给过滤器因数供给单元273。
数据供给单元272包括用于使得从外部接收的图像数据能得以存储的缓存器。数据供给单元232将表示所述数据请求信号所请求的像素的像素值的数据传送给过滤器计算单元274。
一旦接收到内插相位信号，过滤器因数供给单元273将用于内插处理的一组过滤器因数传送给过滤器计算单元274。
如下面参考图26所描述的那样，过滤器计算单元274使用从数据供给单元272传送来的像素值和从过滤器因数供给单元273传送来的一组过滤器因数来计算要在内插位置内插的像素的像素值，并且将表示所计算的像素值的数据传送给第二混合单元162。
接着，将参考图26中所示的流程图，描述由分辨率转换器101执行的分辨率转换处理。当用户操作包括在分辨率转换器101中的操作单元(没有示出)、以便指示分辨率转换器101转换图像数据的分辨率的时候，处理开始。
在步骤S1中，图像内插单元121-1从图像输入部分111接收将要被执行分辨率转换的图像数据并且将接收的图像数据存储在缓存器中(没有示出)。包括在脊区域内插计算单元151中的数据供给单元232、包括在边缘区域内插计算单元152中的数据供给单元252、以及包括在平面区域内插计算单元153中的数据供给单元272，将接收到的图像数据(没有示出)存储在它们的缓存器中。
在步骤S2中，包括在图像内插单元121-1中的边缘区域检测单元141执行边缘区域检测处理。此处，将参考图27中所示的流程图，详细描述边缘区域检测处理。
在步骤S51中，梯度计算单元181-1、181-2和181-3中的每一个都计算在像素值之间的梯度。更特别地，如果在图28中所示的内插位置q处内插像素，那么边缘区域检测单元141则从包括在图像内插单元121-1中的缓存器中获取表示在内插位置q之上的像素y-1的像素值f(y-1)的数据、表示在内插位置q之上的像素y的像素值f(y)的数据、表示在内插位置q之下的像素y+1的像素值f(x+1)的数据、以及表示在内插位置q之下的像素y+2的像素值f(y+2)的数据。将表示像素值f(y-1)的数据和表示像素值f(y)的数据输入到梯度计算单元181-1。将表示像素值f(y)的数据和表示像素值f(y+1)的数据输入到梯度计算单元181-2。将表示像素值f(y+1)的数据和表示像素值f(y+2)的数据输入到梯度计算单元181-3。
梯度计算单元181-1、181-2和181-3计算梯度值，每个梯度值都是相邻像素的像素值之间的差值，分别使用下面的公式1，2和3进行计算。
Da＝f(y)-f(y-1)...1Db＝f(y+1)-f(y)...2Dc＝f(y+2)-f(y+1) ...3梯度计算单元181-1将表示梯度值Da的数据传送给绝对值计算单元182-1。梯度计算单元181-2将表示梯度值Db的数据传送给绝对值计算单元182-2。梯度计算单元181-3将表示梯度值Dc的数据传送给绝对值计算单元182-3。
在步骤S52中，绝对值计算单元182-1，182-2和182-3计算梯度值的绝对值。更特别地，绝对值计算单元182-1，182-2和182-3分别使用下面的公式4，5和6计算接收的梯度值Da，Db和Dc的绝对值。
Aa＝|Da|...4
Ab＝|Db|...5Ac＝|Dc|...6绝对值计算单元182-1，182-2和182-3将表示已计算的绝对值为Aa的数据、表示已计算的绝对值为Ab的数据、和已表示计算的绝对值为Ac的数据分别传送给加法单元183。
在步骤S53中，加法单元183计算边缘强度。更特别地，加法单元183使用下面的公式7将接收到的绝对值Aa，Ab和Ac相加。
S＝Aa+Ab+Ac...7加法单元183将表示和为S的数据传送给归一化计算单元172，将其作为表示在区域中(在下文中，将其称为抽头区域)像素值变化的数量的值，也就是，作为边缘强度，其中在该区域中，包括有图28中所示的像素y-1、y、y+1和y+2。
在步骤S54中，归一化计算单元172计算边缘权重值，接着这个边缘区域检测处理结束。更特别地，归一化计算单元172基于下面的公式8，使用来自加法单元183的和S，来计算边缘权重值Ew，强度设置值Ge和阈值Te来自于参数获取单元122。
EW=0.0(s<Te)(S-Te)×Ge(Te≤S≤Te+1Ge)1.0(S>Te+1Ge)....8]]>图29是显示和S与边缘权重值Ew之间关联的图。当和S＜阈值Te的时候，边缘权重值Ew是0.0。当阈值Te≤和S≤Te+1/Ge的时候，边缘权重值Ew是以变化速率大于附加线L1、通过转换和S获取的值，其中该变化速率表示一种情形和S是与边缘权重值Ew成比例的。当和S＞Te+1/Ge的时候，边缘权重值Ew是1.0。因此，包括内插位置q的抽头区域中的边缘强度变得越高(和S变得越大)，边缘权重值Ew变得越大。边缘强度变得越小(和S变得越小)，边缘权重值Ew变得越小。也就是，当在内插位置q附加的边缘强度变得越大时，边缘权重值Ew变得接近1.0。
归一化计算单元172将表示边缘权重值Ew的边缘区域权重信号传送给第二混和单元162。
再次参考图26，在步骤S3中，脊区域检测单元142执行脊区域检测处理。此处，将参考图30中所示的流程图，详细描述脊区域检测处理。
在步骤S71中，梯度计算单元211-1、121-2和211-3中的每一个都计算像素值之间的梯度。更特别地，如果在图28中所示的内插位置q内插像素，将表示像素值f(y-1)的数据和表示像素值f(y)的数据输入到梯度计算单元211-1，将表示像素值f(y)的数据和表示像素值f(y+1)的数据输入到梯度计算单元211-2，以及将表示像素值f(y+1)的数据和表示像素值f(y+2)的数据输入到梯度计算单元211-3。
梯度计算单元211-1，211-2和211-3计算梯度值，每个梯度值是相邻像素的像素值之间的差值，分别使用下面的公式9，10和11进行计算。
Da＝f(y)-f(y-1)...9Db＝f(y+1)-f(y)...10Dc＝f(y+2)-f(y+1) ...11梯度计算单元211-1将表示梯度值Da的数据传送给绝对值计算单元212-1和加法单元214。梯度计算单元211-2将表示梯度值Db的数据传送给绝对值计算单元212-2和加法单元214。梯度计算单元211-3将表示梯度值Dc的数据传送给绝对值计算单元212-3和加法单元214。
在步骤S72中，绝对值计算单元212-1、212-2和212-3计算梯度值的绝对值。更特别地，绝对值计算单元212-1、212-2和212-3分别使用下面的公式12，13和14计算接收的梯度值Da，Db和Dc的绝对值。
Aa＝|Da|...12Ab＝|Db|...13Ac＝|Dc|...14绝对值计算单元212-1、212-2和212-3将表示已计算的绝对值为Aa的数据、表示已计算的绝对值为Ab的数据、和表示已计算的绝对值为Ac的数据分别传送给加法单元213。
在步骤S73中，加法单元213计算边缘强度。更特别地，加法单元213使用下面的公式15将接收到的绝对值Aa，Ab和Ac相加。
SA＝Aa+Ab+Ac...15和SA与通过上述公式7计算的和S是相同的。也就是，和SA表示区域中(抽头区域)的边缘强度，在该区域中，包括有像素y-1、y、y+1和y+2。加法单元213将表示和为SA的数据传送给差值计算单元216。
在步骤S74中，加法单元214计算接收的梯度值的和。更特别地，加法单元214使用下面的公式16，来计算梯度值Da，Db和Dc的和。
SD＝Da+Db+Dc...16加法单元214将表示和为SD的数据传送给绝对值计算单元215。
在步骤S75中，绝对值计算单元215计算梯度值之和的绝对值。更特别地，绝对值计算单元215使用下面的公式17计算和SD的绝对值。
SAD＝|SD|...17假定在抽头区域中通过图来表示像素值的变化，在该区域中包括有像素y-1、y、y+1和y+2。如果像素y或者y+1的像素值不是最大值或者最小值，也就是，如果将像素值的改变很明显地定义为单调递增或者递减(包括相邻像素中的像素值是相同的情况)，绝对值SAD以及和SA是相同的。另一方面，如果像素y或者y+1的像素值是最大值或者最小值，也就是，如果像素值变化的方向是在抽头区域中发生变化的，那么绝对值SAD小于和SA。如果抽头区域中像素值的变化与对称脉冲形状相近似，那么绝对值SAD变得接近于零。
绝对值计算单元215将表示绝对值SAD的数据传送给差值计算单元216。
在步骤S76中，差值计算单元216计算脊强度。更特别地，差值计算单元216使用下面的公式18计算和SA与绝对值SAD之间的差。
S＝SA-SAD...18差值计算单元216将表示差值S的数据传送给归一化计算单元202，将其作为抽头区域中的脊强度。当和SA与绝对值SAD之间的差值变得越大时，差值S也变得越大。也就是，当像素值以脉冲的形式，根据抽头区域中的位置改变发生变化时，脉冲的梯度发生急剧变化，并且脉冲的高度变得越高时，差值S变得越大。
在步骤S77中，归一化计算单元202计算脊权重值，接着脊区域检测处理结束。更特别地，归一化计算单元202基于下面的公式19，使用来自差值计算单元216的差值S，来计算脊权重值Pw，其中强度设置值Gp和阈值Tp来自于参数获取单元122。
PW=0.0(s<Tp)(S-Tp)×Gp(Tp≤S≤Tp+1Gp)1.0(S>Tp+1Gp)...19]]>
图31是显示差值S和脊权重值Pw之间关联的图。当差值S＜阈值Tp的时候，脊权重值Pw是0.0。当阈值Tp≤差值S≤Tp+1/Gp的时候，脊权重值Pw是以变化速率大于附加线L2、通过转换差值S获取的值，其中该变化速率表示一种情形差值S是与脊权重值Pw成比例的。当差值S＞Tp+1/Gp的时候，脊权重值是1.0。因此，包括内插位置q的抽头区域中的脊强度变得越高(差值S变得越大)，边缘权重值Pw变得越大。边缘强度变得越小(差值S变得越小)，边缘权重值Pw变得越小。也就是，当在内插位置q附加的脊强度变得越大时，脊权重值Pw变得接近1.0。
归一化计算单元202将表示脊权重值为Pw的脊区域权重信号传送给第一混和单元161。
再次参考图26，在步骤S4中，包括在图像内插单元121-1中的脊区域内插计算单元151执行适用于包括脊的区域的内插处理。更特别地，包括在脊区域内插计算单元151中的内插计算控制单元231创建了请求获取像素的像素值的数据请求信号，这些像素的像素值用于计算要基于从参数获取单元122传送来的、包括图像的比例因数和图像转换位置的控制信息被内插的像素的像素值，并且将已创建的数据请求信号传送给数据供给单元232。此外，内插计算控制单元231将表示内插位置相位的内插相位信号传送给过滤器因数供给单元233。
数据供给单元232将表示像素的像素值的数据传送给过滤器计算单元234，其中像素是通过数据请求信号来请求的。比如，如果脊区域内插计算单元151使用16阶的内插过滤器来执行内插处理，数据供给单元232传送表示在同样的垂直线上的共16个像素的像素值f(y-7)至f(y+8)的数据，其中同样的垂直线位于内插位置，共16个像素中的8个像素位于内插位置的上面，共16个像素中的8个像素位于内插位置的下面。
一旦接收到内插相位信号，过滤器因数供给单元233将用于内插处理的c
至c[15]的一组过滤器因数传送给过滤器计算单元234。
过滤器计算单元234使用来自数据供给单元232的像素值和来自过滤器因数供给单元233的一组过滤器因数、来计算内插的像素的像素值Pd。比如，过滤器计算单元234使用下面的公式20来计算像素值Pd。
Pd＝c[15]×f(y-7)+c[14]×f(y-6)+...+c[8]×f(y)+c[7]×f(y+1)...c[1]×f(y+7)+c
×f(y+8)....20过滤器计算单元234将表示计算值Pd的数据传送给第一混和单元161。包括像素值Pd的图像数据是通过使用高阶过滤器内插方法对输入图像数据执行内插处理获取的数据。因此，在包括像素值Pd的图像数据中，可以避免由于内插处理而导致的混淆失真的发生。
在步骤S5中，包括在图像内插单元121-1中的边缘区域内插计算单元152执行适用于包括台阶边缘的区域的内插处理。更特别地，包括在边缘区域内插计算单元152中的内插计算控制单元251创建了请求获取像素的像素值的数据请求信号，这些像素的像素值用于计算要基于从参数获取单元122传送来的、包括图像的比例因数和图像转换位置的控制信息被内插的像素的像素值，并且将已创建的数据请求信号传送给数据供给单元252。此外，内插计算控制单元251将表示内插位置相位的内插相位信号传送给过滤器因数供给单元254。
数据供给单元252将表示像素的像素值的数据传送给方向检测单元253和对角线内插计算单元255。比如，如果像素是在图32所示的内插位置q处被内插的，那么数据供给单元252传送表示在一条直线上的像素的像素值为Pu1至Pu5的数据，其中的直线直接位于内插位置q所处的直线之上，并且传送表示在一条直线上的像素的像素值为Pd1至Pd5的数据，其中的直线直接位于内插位置q所处的直线之下。
方向检测单元253确定内插位置q附近的像素之间的关联。比如，方向检测单元253计算像素的像素值之间的差别其可以是在方向A上像素的像素值Pu1和Pd5之间的差别，在方向B上像素的像素值Pu2和Pd4之间的差别，在方向C上像素的像素值Pu3和Pd3之间的差别，在方向D上像素的像素值Pu4和Pd2之间的差别，以及在方向E上像素的像素值Pu5和Pd1之间的差别。在每个方向上，内插位置q是连接两个像素的直线的中心。其后，方向检测单元253设置像素的组合，其中该组合具有像素之间的差值的最小绝对值，以及方向检测单元253传送一个方向上的方向信息给对角线内插计算单元255，其中的方向是由具有最高关联的像素的组合指示的(后面将其称为高关联方向)。如果检测到像素的多个组合，其中每个像素的组合具有像素之间的差值的最小绝对值，则根据预先确定的规则选择高关联方向。比如，从由像素的组合指示的方向中选择距离一个方向最远的方向，其中每个像素的组合具有像素之间的差值的最小绝对值，而其中的一个方向是由像素的组合指示的，其中每个像素的组合具有像素之间的差值的最大绝对值。
对角线内插计算单元255基于接收的方向信息计算在内插位置q处内插的像素的像素值Ed。比如，设置在由方向信息指示的方向上、两个像素的像素值的平均值，将其作为像素值Ed。可选择地，比如，使用来自过滤器因数供给单元254的过滤器因数，设置通过执行共四个像素的像素值的加权相加来获取的值，将其作为像素值Ed，其中在共四个像素中，两个像素位于由方向信息指示的方向上，两个像素分别位于内插位置q的上部和下部，如图33所示，如果内插位置qr的相位不同于位置qm的相位，对角线内插计算单元255计算在位置qm内插的像素的像素，其中的位置qm是样本间隔S的中点。随后，对角线内插计算单元255获取来自过滤器因数供给单元254的一组过滤器因数，并且使用获取的过滤器因数计算在内插位置qr内插的像素的像素值Ed，其中的一组过滤器因数与位于新样本间隔S’的内插位置qr的相位和位置qm相对应，其中新样本间隔S’是由像素Pu3定义的。
对角线内插计算单元255将表示计算的像素值Ed的数据传送给第一混和单元161。包括像素值Ed的图像数据是通过使用对角线内插方法对输入图像数据执行内插处理获取的图像数据。因此，在包括像素值为Ed的图像数据中，可以避免由于内插处理而导致的锯齿的发生。
对角线内插方法并不局限于上述方法。比如，除了上述的对角线内插处理，可以执行用于避免虚假方向检测的处理、提高检测精确度的处理、或者用于避免内插错误发生的处理。比如，在日本未审查的公开号为2004-153668的专利申请中，详细公开了对角线内插方法，其中该专利申请是通过代理人申请的。
在步骤S6中，包括在图像内插单元121-1中的平面区域内插计算单元153，执行适用于平面区域的内插处理。更特别地，包括在平面区域内插计算单元153中的内插计算控制单元271创建了请求获取像素的像素值的数据请求信号，这些像素的像素值用于计算要基于包括图像的比例因数和图像转换位置的控制信息被内插的像素的像素值，并且将已创建的数据请求信号传送给数据供给单元272。此外，内插计算控制单元271将表示内插位置相位的内插相位信号传送给过滤器因数供给单元273。
数据供给单元272将表示像素的像素值的数据传送给过滤器计算单元274。比如，数据供给单元272传送表示像素y-1和y的像素值f(y-1)和f(y)的数据，以及表示像素y+1和y+2的像素值f(y+1)和f(y+2)的数据，其中的像素y-1和y是位于图28所示的内插位置之上，像素y+1和y+2是位于内插位置q之下。
一旦接收到内插相位信号，过滤器因数供给单元273基于双三次内插方法将用于内插处理的c
至c[3]的一组过滤器因数传送给过滤器计算单元274。
过滤器计算单元274使用来自数据供给单元272的像素值和来自过滤器因数供给单元273的一组过滤器因数、来计算内插的像素的像素值Fd。比如，过滤器计算单元274使用下面的公式21来计算像素值Fd。
Fd＝c[3]×f(y-1)+c[2]×f(y)+c[1]×f(y+1)+c
×f(y+2)....21过滤器计算单元274将表示计算值Fd的数据传送给第二混和单元162。包括像素值Fd的图像数据是通过使用双三次内插方法对输入图像数据执行内插处理获取的数据。因此，包括像素值Fd的图像数据，可以实现精确的内插的自然图像。
将在内插位置q和y-1至y+2的像素之间的距离分别定义为di(i＝-1，0，1，和2)，可以使用下面的公式22计算过滤器因数c[i](i＝-1，0，1，和2)。
C[i]=|di|3-2|di|2+1(|di|≤1)-|di|3-5|di|2-8|di|+4(1<|di|≤2)0(2<|di|)...22]]>在步骤S7中，第一混和单元161使用脊区域权重信号混和像素。更特别地，第一混和单元161使用脊权重值Pw、基于下面的公式23、对来自脊区域内插计算单元151的像素值为Pd，和来自边缘区域内插计算单元152的像素值Ed执行加权相加，其中的脊权重值Pw是由来自脊区域检测单元142的脊区域权重信号表示的。
M1＝(1-Pw)×Ed+Pw×Pd...23当脊权重值Pw为1.0时，像素值M1与像素值Pd是相同的。当脊权重值Pw为0.0时，像素值M1与像素值Ed是相同的。当脊权重值Pw变得接近1.0时，像素值M1具有更多的像素值Pd的分量。当脊权重值Pw变得接近0.0时，像素值M1具有更多的像素值Ed的分量。
第一混和单元161将表示已经被执行过权重值加法的像素值M1的数据传送给第二混和单元162。
在步骤S8中，第二混和单元162使用边缘区域权重信号来混和像素。更特别地，第二混和单元162使用边缘权重值Ew、基于下面的公式24、对来自第一混和单元161的像素值M1，和来自平面区域内插计算单元153的像素值Fd执行加权相加，其中的边缘权重值Ew是由来自边缘区域检测单元141的边缘区域权重信号表示的。
M2＝(1-Ew)×Fd+Ew×M1...24当边缘权重值Ew为1.0时，像素值M2与像素值M1是相同的。当边缘权重值Ew为0.0时，像素值M2与像素值Fd是相同的。当边缘权重值Ew变得接近1.0时，像素值M2具有更多的像素值M1的分量。当边缘权重值Ew变得接近0.0时，像素值M2具有更多的像素值Fd的分量。
第二混和单元162传送表示像素值为M2的数据给后面的阶段，在该种情况下，传送给图像内插单元121-1。图像内插单元121-2将接收到的数据存储在缓存器(没有示出)中。包括在脊区域内插计算单元151中的数据供给单元232、包括在边缘区域内插计算单元152中的数据供给单元252、以及包括在平面区域内插计算单元153中的数据供给单元272，将接收到的数据存储在它的缓存器中(没有示出)，其中在图像内插单元121-2中包括有平面区域内插计算单元153。
在步骤S9中，图像内插单元121-1确定垂直的内插处理是否已经完成。如果需要内插的像素仍然存在，图像内插单元121-1则确定垂直的内插处理还没有完成。然后，处理转到步骤S2。直到在步骤S9中，才确定垂直的内插处理已经完成，重复执行从步骤S2到步骤S9的处理。也就是，计算与每个内插位置相对应的像素值M2，其中的内插位置包括在来自图像输入部分111的图像数据中，并且将表示像素值为M2的数据传送给图像内插单元121-2。
如果在步骤S9确定垂直的内插处理已经完成，处理进行到步骤S10。直到在步骤S17中，才确定水平的内插处理已经完成，重复执行从步骤S10到步骤S17的处理。从步骤S10到步骤S17的处理与从步骤S2到步骤S9的处理是相同的，因此在此省略了对其的描述。尽管在从步骤S2到步骤S9的处理中对来自图像输入部分111的图像数据执行垂直内插处理，但是在从步骤S10到步骤S17的处理中对包括经受过垂直的内插处理并随后从图像内插单元121-1传送来的像素值M2的图像数据执行水平内插处理。
如果在步骤S17确定水平的内插处理已经完成，处理进行到步骤S18。
在步骤S18，图像显示部分113显示转换过分辨率的图像，接着分辨率转换处理结束。更特别地，图像显示部分113基于包括从图像内插单元121-2传送来的像素值M2的图像数据，也就是基于通过对从图像输入部分111接收到的图像数据执行垂直内插处理和水平内插处理以便转换原始图像的分辨率所获取的图像数据，来显示图像。
由此，在通过图像内插单元121-1或者121-2接收的图像数据中，在脊的附近内插具有像素值为Pd的多个分量的像素，其中的像素值Pd是在包括脊的区域上、使用内插方法计算得到的，而该脊的脊权重值Pw为1.0或者接近于1.0。在台阶边缘的附近内插具有像素值为Ed的多个分量的像素，其中的像素值Ed是在包括台阶边缘的区域上、使用内插方法计算得到的，而该台阶边缘的边缘权重值Ew为1.0或者接近于1.0，并且其脊权重值Pw为1.0或者接近于1.0。在远离脊和台阶边缘的区域上内插具有像素值Fd的多个分量的像素，其中的像素值Fd是在包括平面区域的区域上、使用内插方法计算得到的，而该台阶边缘的边缘权重值Ew为0.0或者接近于0.0。也就是，在包括输入图像数据的脊的附近、在包括输入图像数据的台阶边缘的附近、以及在远离脊和台阶边缘的区域上，执行适当的内插处理。
图34是显示从图2中所示的原始图像中获取的图像的图，其中使用由边缘区域检测单元141所创建的边缘区域权重信号。图35是显示从图2中所示的原始图像的图像数据中获取的图像的图，其中使用由脊区域检测单元142所创建的脊区域权重信号。图36是显示像素值(边缘权重值和脊权重值)改变的图，其中的像素值分别位于图34和35中所示的图像中的箭头A1和箭头A2之间的部分区域中，该部分区域与位于图2中所示的原始图像中的箭头A1和箭头A2之间夹杂的部分区域相对应。在图36中，实线表示在原始图像(图2)中的像素值的变化，点线表示在图像中(图34)的像素值的变化，其中该图像是使用边缘区域权重信号来获取的，并且双点链线表示使用脊区域权重信号获取的图像(图35)中的像素值的变化。
如图36所示，在如图34所示的图像中，包括脊的边缘区域中的像素值(边缘权重值)是非常大的。边缘区域与图2中所示的原始图像的区域相对应，其中在图2中，像素值以脉冲的形式突然发生变化。也就是，可以精确获取在图2中所示的原始图像中的边缘附近的区域。此外，可以看出在图35所示的图像中的脊区域中，像素值(脊权重值)是非常大的。脊区域与图2中所示的原始图像的脊附近的区域相对应，其中在图2中，像素值以脉冲的形式突然发生变化。也就是，可以精确获取在图2中所示的原始图像中的脊附近的区域。
因此，根据本发明的实施例，通过使用分辨率转换器101可以精确地检测脊强度和边缘强度。如上所述，使用简单的算术表达式，可以简单的计算脊强度和边缘强度。此外，可以很容易地从图像中获取脊和台阶边缘，以及使用脊强度和边缘强度来区分脊和台阶边缘。
图37是显示了通过使用分辨率转换器101来放大图2中所示的原始图像来获取图像的图。在图37所示的图像中，在图像的右边区域上避免混淆失真的发生，其中在图像的右边区域中，排列有脊和与图3和图6中所示的图像相比、包括多个高频分量。此外，与图3和图4中所示的图像相比，在图像的左边的倾斜边缘上避免了锯齿的发生。更进一步地，在区域的左边和右边上的平面区域中避免了振铃的发生，其中在区域的左边和右边上的平面区域中，排列有脊和与图4中所示的图像相比、包括多个高频分量。仍然更进一步地，在图像的右端附近的区域的左边上的区域中，避免误差的发生，其中在该区域中，与图6中所示的图像相比，对图像的部分进行了显示。也就是，根据分辨率转换器101，使用双三次内插方法、高阶过滤器内插方法、以及对角线内插方法，可以实现获取高质量图像的分辨率转换。
接着，将要描述本发明的另外一个实施例。图38是根据本发明的一个实施例，显示图像增强装置的结构图。根据本发明实施例的图像增强装置401提供有图像输入部分111，图像处理部分411，图像显示部分113，以及控制器114。图像处理部分411提供有图像增强单元421-1和421-2，以及参数获取单元422。包括在图像处理部分411中的参数获取单元422通过总线412与控制器114进行互连。此处，对于与图7中的功能相同的分量，使用相同的附图标记，以避免重复的描述。
下面将参考图43进行描述，图像处理部分411对从图像输入部分111接收到的图像数据执行图像增强处理，以便提高图像的质量。图像处理部分411将已经被执行了图像增强处理的图像数据传送给图像显示部分113。
下面将参考图43进行描述，图像增强单元421-1对从图像输入部分11 1传送来的图像数据执行垂直的图像增强处理，并且将处理的图像数据传送给图像增强单元421-2。下面将参考图43进行描述，图像增强单元421-2对从图像增强单元421-1传送来的图像数据执行水平的图像增强处理，并且将处理的图像数据传送给图像显示部分113。下面，当不需要区分图像增强单元421-1和421-2的时候，仅仅使用图像增强单元421。
参数获取单元422通过总线412接收来自控制器114的各种类型的控制信息，并且将接收的控制信息传送给图像增强单元421-1和421-1。
图39是显示图像增强单元421典型功能结构的结构图。图像增强单元421提供有边缘区域检测单元141，脊区域检测单元142，增强计算单元441，以及图像混和单元144。此处，对于与图8中的功能相同的分量，使用相同的附图标记，以避免重复的描述。
增强计算单元441提供有第一增强计算单元451-1和451-2，以及第二增强计算单元452。下面将参考图43进行描述，第一增强计算单元451-1和451-2，以及第二增强计算单元452使用不同的因数(设置值)，对所接收的图像数据执行图像增强处理。第一增强计算单元451-1主要执行用于包括脊的区域的图像增强处理。第一增强计算单元451-2主要执行用于平面区域的图像增强处理。第二增强计算单元452主要执行用于包括台阶边缘的区域的图像增强处理。第一增强计算单元451-1和第二增强计算单元452将已经被执行图象增强处理的图像数据传送给第一混和单元161。第一增强计算单元451-2传送处理的图像数据给第二混和单元162。下面，当不需要区分第一增强计算单元451-1和451-2的时候，仅仅使用第一增强计算单元451。
第一混和单元161对包括在已经被第一增强计算单元451-1和第二增强计算单元452基于脊区域权重信号执行过图像增强处理的两份图像数据之中的相应位置处的像素的像素值执行加权相加，由此可以混和这两份图像数据。第一混和单元161将混和的图像数据传送给第二混和单元162。
第二混和单元162对由第一混和单元161所混合的图像数据以及包括在已经被第一增强计算单元451-2基于脊区域权重信号执行过图像增强处理的图像数据之中的相应位置处的像素的像素值执行加权相加，由此可以混和这两份图像数据。第二混和单元162向外输出混和的图像数据。
图40是显示第一增强计算单元451的典型功能结构的结构图。第一增强计算单元451提供有高通滤波器471、信号校正单元472、以及加法单元473。
高通滤波器471是允许高频分量通过的过滤器，其中的高频分量包括在外部接收的图像数据中。
如图41所示，信号校正单元472提供有核心单元491和乘法单元492。
核心(coring)单元491获取包括提取的高频分量的图像数据，其中的高频分量来自高通滤波器471，表示因数为α的数据来自因数获取单元422。下面将参考图44进行描述，核心单元491使用因数α、转换包括在获取的图像数据中的像素的像素值，并且将包括在转换的像素的像素值中的图像数据传送给乘法单元492。
乘法单元492获取表示因数为β的数据，其中的因数β来自因数获取单元422，该乘法单元将包括在图像数据的像素的像素值与因数β相乘，其中的图像数据来自核心单元491，并且将包括像素的相乘的像素值的图像数据传送给加法单元473。
加法单元473将在相应位置的像素的像素值与来自信号校正单元472的图像数据相加，其中的像素的像素值包括在从外部接收的图像数据中，由此混和这些图像数据片。加法单元473向外部地传送混和的图像数据(给第一混和单元161或者第二混和单元162)。
图42是显示第二增强计算单元452典型功能结构的结构图。第二增强计算单元452提供有第一增强计算单元451-3，其与第一增强计算单元451-1和451-2具有相同的功能，最小值检测单元501、最大值检测单元502、以及削波单元503。
最小值检测单元501检测来自所接收的像素值中的最小值，并且将表示最小值的数据传送给削波单元503。
最大值检测单元502检测来自所接收的像素值中的最大值，并且将表示最大值的数据传送给削波单元503。
削波单元503将包括在来自第一增强计算单元451-3的图像数据中每个像素的像素值与最小值和最大值进行比较，其中的最小值是由最小值检测单元501检测得到的，同时最大值是由最大值检测单元502检测得到的。如果包括在来自第一增强计算单元451-3的图像数据中每个像素的像素值比最小值小，那么削波单元503选择适用于像素的最小值。另一方面，如果像素值大于最大值，那么削波单元503选择适用于像素的最大值。在其它情况下，削波单元503选择包括在图像数据中的像素的原始像素值。削波单元503将表示选择的像素值的数据传送给第一混和单元161。
用户通过操作一个操作单元(没有示出)，可以分别为每个第一增强计算单元451-1，451-2和451-3设置因数α和β，其中的操作单元包括在图像增强装置401中。
接着，参考图43中所示的流程图，来描述由图像增强装置401执行的图像增强处理。当用户操作包括在图像增强装置401中的操作单元(没有示出)的时候，处理开始了，其中用户操作该操作单元以命令图像增强装置401执行图像增强处理。
在步骤S101中，图像增强单元421-1从图像输入部分111接收将要被的执行图像增强处理的图像数据，并且将接收的图像数据存储在缓存器中(没有示出)。
在步骤S102中，执行参考图27描述的边缘区域检测处理，并且将边缘区域权重信号从边缘区域检测单元141传送给第二混和单元162。比如，如果图像增强处理是对图28中所示的像素y执行的，那么对包括像素y-1、y、y+1和y+2的区域执行边缘检测处理。
在步骤S103中，执行参考图30描述的脊区域检测处理，以及将脊区域权重信号从脊区域检测单元142传送给第一混和单元161。比如，如果图像增强处理是对图28中所示的像素y执行的，那么对包括像素y-1、y、y+1和y+2的区域，执行脊检测处理。
在步骤S104中，包括在图像增强单元421-1中的第一增强计算单元451-1执行第一图像增强处理。更特别地，包括在第一增强计算单元451-1中的高通滤波器471从包括在图像增强单元421-1中的缓存器(没有示出)获取表示将要被执行图像增强处理的目标像素的像素值的数据和表示该目标像素的正上方(right above)和正下方(right below)的像素的像素值的数据。高通滤波器47 1使用下面的公式25计算像素值Hd。
Hd＝c
×f(y-1)+c[1]×f(y)+c[2]×f(y+1)...25像素值f(y)表示目标像素的像素值，像素值f(y-1)表示正好位于目标像素之上的像素的像素值，以及像素值f(y+1)表示正好位于目标像素之下的像素的像素值。设置过滤器因数c
，c[1]和c[2]的值，比如，分别设置c
＝-0.25，c[1]＝0.5，以及c[2]＝-0.25。
接着，核心单元491使用下面的公式26将像素值Hd转换成像素值Cd。
Cd=Hd-α(Hd<-α)0(-α≤Hd≤α)Hd+α(Hd>+α)...26]]>图44是显示像素值Hd和Cd之间的关联的图。如图44中所示，如果包括在图像数据中的特定像素的像素值的绝对值小于核心数量的因数α，其中的图像数据来自高通滤波器471，将特定像素的像素值设置为零(删除与像素值相对应的高频分量，其中的像素值的绝对值等于或者小于因数α)。
乘法单元492使用下面的公式27，将像素值Cd与因数β相乘，以计算像素值Md。
Md＝Cd×β...27加法单元473使用下面的公式28来计算像素值Pd。
Pd＝f(y)+Md...28因此，包括像素值为Pd的图像数据是通过获取高频分量、以及放大获取的高频分量来获取的图像数据，其中高频分量的振幅等于或者大于来自包括在输入图像数据中的高频分量之间的预定的振幅。加法单元473将表示像素值Pd的数据传送给第一混和单元161。
在步骤S105中，第二增强计算单元452执行第二图像增强处理。更特别地，第一增强计算单元451-3执行第一增强计算单元451-1在步骤S104中的相同的处理，也就是，使用上述的公式25至28将包括在输入图像数据中的每个的像素的像素值进行转换。将使用上述的公式28，由第一增强计算单元451-3计算得到的像素值定义为像素值Em，以便将其与由第一增强计算单元451-1计算得到的像素值Pd相区分。
最小值检测单元501使用下面的公式29、检测来自目标像素和在目标像素附近的像素的像素值之中的最小值M0。最大值检测单元502使用下面的公式30、检测来自目标像素和在目标像素附近的像素的像素值之中的最大值M1。
M0＝MIN(f(y-1)，f(y)，f(y+1))....29M1＝MAX(f(y-1)，f(y)，f(y+1))....30此处，MIN()表示用于计算包括在圆括号()中的数据值的最小值的函数，并且MAX()表示用于计算包括在圆括号()中的数据值的最大值的函数。
最小值检测单元501将检测的最小值M0传送给削波单元503。最大值检测单元502将检测到的最大值M1传送给削波单元503。削波单元503使用下面的公式31，校正像素值Em以便此处输出的像素值Ed可以落入最小值M0和最大值M1的范围。也就是，执行削波处理以便像素值Em可以落入最小值M0和最大值M1的范围。
Ed=M0(Em<M0)Em(M0≤Em≤M1)M1(Em>M1)...31]]>在步骤S106中，第一增强计算单元451-2执行第三图像增强处理。更特别地，第一增强计算单元451-2执行第一增强计算单元451-1在步骤S104中的相同的处理，也就是，使用上述的公式25至28将包括在输入图像数据中的每个的像素的像素值进行转换。将使用上述的公式28，由第一增强计算单元451-2计算得到的像素值定义为像素值Fd，以便将其与由第一增强计算单元451-1计算得到的像素值Pd相区分。包括在第一增强计算单元451-2中的加法单元473将表示像素值Fd的数据传送给第二混和单元162。
由第一增强计算单元451-1，451-2和451-3执行的图像增强处理是使用常用的图像增强方法执行的处理。通过执行这样的图像增强处理，可以提高边缘周边对比度的清晰度。然而，另一方面，在台阶边缘的情况下，倾向于放大称为前冲和过冲的振铃分量。
另一方面，由第二增强计算单元452执行的图像增强处理是使用称为LTI(亮度转变增强)的图像增强方法来执行的处理。在这个图像增强处理中，可以避免前冲和过冲的的发生，并且使用最小值M0和最大值M1，通过执行削波处理来提高边缘的上升。图像增强处理对于台阶边缘来说是特别有效的，但是并不适合脊，因为其减少了脊放大的程度，并且容易产生锯齿。
此处，将输入到第一增强计算单元451-1，451-2和451-3中的因数α和因数β分别定义为因数α1，α2和α3，以及因数β1，β2和β3。设置因数α2和因数β2以便将包括在由第二增强计算单元452计算得到的像素值Ed中的图像数据，设置为如下的图像数据在该图像数据中，可以避免振铃的发生，并且与包括在由第一增强计算单元451-1计算得到的像素值Pd中包括的图像数据、包括在由第一增强计算单元451-2计算得到的像素值Fd中包括的图像数据相比，边缘变得更加锐利了。
设置因数α3和因数β3以便将包括在由第一增强计算单元451-2计算得到的像素值Fd中的图像数据，变成如下的图像数据在该图像数据中，可以避免噪音的放大，并且与包括在由第一增强计算单元451-1计算得到的像素值Pd中包括的图像数据、包括在由第二增强计算单元452计算得到的像素值Ed中包括的图像数据相比，此处的平面区域中的图像质量变得更高了。
设置因数α1和因数β1以便将包括在由第一增强计算单元451-1计算得到的像素值Pd中的图像数据，变成如下的图像数据在该图像数据中，与包括在由第二增强计算单元452计算得到的像素值Ed中包括的图像数据相比，可以避免在包括多个高频组件的区域中的锯齿的发生，并且在该图像数据中，与包括在由第一增强计算单元451-2计算得到的像素值Fd中包括的图像数据相比，更加放大了边缘。
比如，当α3≥α1并且β1≥β3时，上述的条件得到满足。没有特别定义在α2和α1，α2和α3，β2和β1，β2和β3之间的关联。
在步骤S107中，第一混和单元161使用上述公式23，执行与图7中的步骤S7中相同的处理，也就是，使用脊权重值Pw、执行来自第一增强计算单元451-1的像素值为Pd和来自第二增强计算单元452的像素值Ed的加权相加，其中的脊权重值Pw是由来自脊区域检测单元142的脊区域权重信号表示的。第一混和单元161将表示像素值为M1的数据传送给第二混和单元162，其中的像素值M1是通过加权相加获取的。
在步骤S108中，第二混和单元162使用上述的公式24、执行与图26中的步骤S8相同的处理，也就是，使用边缘权重值Ew、执行来自第一混和单元161的像素值为M1，和来自第一增强计算单元451-2的像素值Fd的加权相加，其中的边缘权重值Ew是由来自边缘区域检测单元141的边缘区域权重信号表示的。
在步骤S109中，图像增强单元421-1确定垂直的图像增强处理是否已经完成。如果还没有执行垂直图像增强处理的像素仍然存在，图像增强单元421-1确定垂直的图像增强处理还没有完成。然后，处理转到步骤S102。直到在步骤S109中，才确定垂直的图像增强处理已经完成，重复执行从步骤S102到步骤S109的处理。也就是，计算每个像素的像素值M2，其中的像素包括在来自图像输入部分111的图像数据中，并且将表示像素值为M2的数据传送给图像增强单元421-2。
如果在步骤S109确定垂直的图像增强处理已经完成，处理进行到步骤S110。直到在步骤S117中，才确定水平的图像增强处理已经完成，重复执行从步骤S110到步骤S117的处理。从步骤S110到步骤S117的处理与从步骤S102到步骤S109的处理是相同的，因此在此省略了对其的描述。尽管在从步骤S102到步骤S109的处理中对来自图像输入部分111的图像数据执行垂直内插处理，，在从步骤S110到步骤S117的处理中对包括经受过垂直的内插处理并随后从图像内插单元421-1传送来的像素值M2的图像数据执行水平内插处理。
如果在步骤S117确定水平的图像增强处理已经完成，处理进行到步骤S118。
在步骤S118，图像显示部分113显示执行过图像增强处理的图像，接着图像增强处理结束。更特别地，图像显示部分113基于包括从图像内插单元421-2传送来的像素值M2的图像数据，也就是基于通过对从图像输入部分111接收到的图像数据执行垂直内插处理和水平内插处理以便转换原始图像的分辨率所获取的图像数据，来显示图像。
由此，在通过图像增强单元421-1或者421-2接收的图像数据中，将在脊的附近的像素转换成具有像素值为Pd的多个分量的像素，该脊的脊权重值Pw为1.0或者接近于1.0。将在台阶边缘附近的像素转换成具有像素值为Ed的多个分量的像素，该台阶边缘的边缘权重值Ew为1.0或者接近于1.0，并且其脊权重值Pw为1.0或者接近于1.0。在远离脊和台阶边缘的区域上的像素转换成具有像素值Fd的多个分量的像素，该台阶边缘的边缘权重值Ew为0.0或者接近于0.0。也就是，包括像素值为M2的图像数据是这样的图像数据在该图像数据中，放大了台阶边缘和脊，在平面区域中的图像质量是很高的，并且可以避免平面区域中的噪音放大、避免在台阶边缘中的前冲和过冲的发生，并且避免脊附近的锯齿的发生，其中的像素值M2是从图像增强单元421-1或者421-2输出的。
如上所述，脊强度是包括在图像中的脊的强度。当像素值根据在区域中的位置变化，以脉冲的形式发生改变的时候，由脉冲的梯度和高度来表示脊强度，其中该区域包括多个像素。在这种情况下，可以很容易和精确地检测图像的脊强度，其中可以根据图像的特征来执行图像处理。
在上面的描述中，用于检测边缘强度和脊强度的梯度值，可以通过计算相邻像素之间的像素值的差值来获取，并且也可以使用其它的方法来获取。
比如，可以使用像素的像素值之间的差值，将其作为梯度值，但是其中的像素并不是相邻的，其位于一个区域中非常相近的位置，在该区域中将检测到边缘强度和脊强度。比如，如图20所示的区域中，在该区域中，包括像素x-1到像素x+2，使用由下面的公式f(x+1)-f(x-1)获取的差值，将其作为梯度值。当确定粗线是否是比如模糊图像或者放大图像中的空白的时候，该方法是非常有效的，在这些图像中，不包括多个高频分量。
比如，可以使用分化过滤器来计算梯度值。比如，如图20所示的区域中，在该区域中，包括像素x-1到像素x+2，可以使用分化过滤器来计算梯度值，其中的分化过滤器使用下面的公式1×f(x+2)+2×f(x+1)-2×f(x)-1×f(x-1)。在这种情况下，边缘强度和脊强度的检测精确可以通过增加包括在过滤器中的抽头(tap)的数据，也就是通过放大将要被检测边缘强度和脊强度的区域，在窄带图像中得以提高。
通过基于将要利用边缘强度和脊强度而被执行图像处理的图像的特征，例如基于该图像是否包括多个高频分量的判断，来改变获取梯度值的方法，可以改变从图像处理中所获得的效果。
在图8所示的图像内插单元121中，主要目的是用于防止出现混叠失真的内插处理可以通过使得第二混和单元162利用边缘区域权重信号混和由脊区域内插计算单元151内插的图像数据和由平面区域内插计算单元153内插的图像数据来执行。
通过使用本实施例的特征，本发明的实施例可以应用到目标仅仅是脊(比如，用于脊提取的图像处理)或者边缘(比如，用于边缘提取的图像处理)的图像处理中，本实施例能够使得图像的脊强度和边缘强度的检测具有高精确度。
可以检测到高频条纹模式(很近空白间隔的细线的集合)的强度，将其作为脊强度。
在如上所述的实施例中，通过相同的单元可以执行绝对值的加法处理和计算。
在如上所述的实施例中，通过例子的方式，描述了执行水平一维图像的内插处理和垂直一维图像的内插处理的情况，以及执行水平一维图像增强处理和垂直一维图像增强处理的情况。然而，也可以执行二维图像内插处理和二维图像增强处理。
为了防止脊区域权重信号和边缘区域权重信号由于噪音的影响而变得不稳定，可以修匀(smooth)每个权重信号，并且可以使用预定区域中的中间值作为由每个权重信号表示的权重值。
在如上所述的流程图中，可以按照时间顺序执行步骤的处理的各个片段(piece)。比如，图26中所示的步骤S2至步骤S6中的处理的各个片段，可以与步骤S10至步骤S14中的处理的各个片段并行执行，并且图43中所示的步骤S102至步骤S106中的处理的各个片段，可以与步骤S110至步骤S114中的处理的各个片段并行执行。
包括在分辨率转换器101或者图像增强装置401中的图像显示部分113，可以是，比如，用于存储图像数据的记录装置，或者用于将图像数据传送给另外一个可以处理已经被执行过内插处理或者图像增强处理的图像数据的装置的传送装置。
如上所述，如果在相同的像素之间内插像素，可以不管内插位置，使用相同的边缘权重值Ew和相同的脊权重值Pw。然而，比如，边缘权重值Ew和脊权重值Pw可以根据内插位置使用线性内插方法来校正。
可以通过软件或者硬件来执行上述的处理流程。如果处理流程是通过软件执行的，从计算机上的程序记录介质上安装配置软件的程序，其中的计算机内置于特定的硬件中，或者，比如，该计算机是通用的个人计算机，通过安装各种程序，允许该计算机执行各种功能。
图45是显示个人计算机900的典型结构的结构图，其中的个人计算机使用程序来执行如上所述的处理流程。CPU901根据存储在ROM902或者记录单元908中的程序，执行各种处理片段。RAM903存储由CPU901执行的程序，以及相应的数据。将CPU90 1、ROM902和RAM903通过总线904进行互连。
CPU901也可以通过总线904连接到输入和输出接口905上。将输入和输出接口905连接到配置有键盘、鼠标和麦克风的输入单元906，以及配置有显示器和扬声器的输出单元907。CPU901根据来自输入单元906的输入指令，执行各种处理，并且将处理的结果输出给输出单元907。
比如，连接到输入和输出接口905的记录单元908配置有硬盘，该记录单元908存储由CPU901执行的程序和各种数据片。通信单元909通过网络与外部装置进行通信，该网络比如是Internet或者局域网。
通过通信单元909可以获取程序，并且将程序存储在记录单元908中。
将可移动介质911连接到与输入和输出接口905相连的驱动器910上的时候，驱动器910驱使可移动介质911获取记录在其之上的程序或者数据，其中的可移动介质911比如是磁盘、光盘、磁性光盘，或者半导体存储器。适当的将获取的程序或者数据传送给记录单元908，接着将这些获取的程序或者数据记录在记录单元908中。
如图45所示，存储程序的程序记录介质包括可移动介质911，该可移动介质911为一密封的存储介质比如是磁盘(包括软盘)，光盘(包括CD-ROM(光盘只读存储器)和DVD(数字化多功能光盘))，磁光盘，或者半导体存储器；临时或者永久存储程序的ROM902；以及配置有记录单元908的硬盘，其中的程序安装在计算机中，并且通过计算机来执行的。通信单元909使用有线或者无线通信介质、来执行存储在程序记录介质上的程序，其中的通信单元909是例如路由器或者调制解调器的接口，有线或者无线通信介质比如是局域网，Internet，或者相应的数字卫星广播。
在本说明书中，描述程序的步骤并不需要用前面所描述的次序来顺序地执行，其中的程序存储在程序记录介质中。这些步骤可以并发或者单个地执行。
本领域普通技术人员可以理解，在后面的权利要求或者其等同物的范围内，可以根据设计的需要或者其它的因数，对本发明进行各种修改、组合、子组合和改变。
本发明包括了于2006年3月6日在日本专利局提交的日本专利申请JP2006-058957的技术主题，在此通过引用，包括其全部内容
权利要求
1.一种图像处理装置，其包括用于检测脊强度的脊强度检测设备，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
2.如权利要求1所述的图像处理装置，其中，所述脊强度检测设备包括第一差值计算设备，用于计算梯度值，每个梯度值是包括在所述区域中的像素的像素值之间的差值；第一绝对值计算设备，用于计算所述梯度值的绝对值；第一加法设备，用于计算所述梯度值的绝对值之和；第二加法设备，用于计算所述梯度值之和；第二绝对值计算设备，用于计算所述梯度值之和的绝对值；以及第二差值计算设备，用于计算所述梯度值的绝对值之和与所述梯度值之和的绝对值之间的差值作为所述脊强度。
3.如权利要求1所述的图像处理装置，其还包括边缘强度检测设备，用于检测边缘强度，该边缘强度是关于所述区域中的位置改变的像素值的变化的幅值。
4.如权利要求3所述的图像处理装置，其中，所述边缘强度检测设备包括差值计算设备，用于计算梯度值，每个梯度值是包括在所述区域中的像素的像素值之间的差值；绝对值计算设备，用于计算所述梯度值之绝对值；以及加法设备，用于计算所述梯度值的绝对值之和作为所述边缘强度。
5.如权利要求3所述的图像处理装置，进一步包括第一图像处理设备，用于对包括脊的区域执行图像处理；第二图像处理设备，用于对包括台阶边缘的区域执行图像处理；第三图像处理设备，用于对其中像素值变化的幅值小的平面区域执行图像处理；以及混合设备，用于通过基于所述脊强度和边缘强度对在第一图像处理设备通过对第一图像执行图像处理产生的第二图像、第二图像处理设备通过对第一图像执行图像处理产生的第三图像、以及第三图像处理设备通过对第一图像执行图像处理产生的第四图像中的相应位置处的像素的像素值执行加权相加，来混合图像。
6.如权利要求5所述的图像处理装置，其中，第一图像处理设备，第二图像处理设备，以及第三图像处理设备分别执行图像内插处理。
7.如权利要求6所述的图像处理装置，其中，第一图像处理设备使用能够防止出现由于包括在图像中的高频分量导致的混叠失真的内插方法来执行图像内插处理。
8.如权利要求6所述的图像处理装置，其中，第二图像处理设备使用能够防止在斜面边缘处出现锯齿的内插方法来执行图像内插处理。
9.如权利要求6所述的图像处理装置，其中，第三图像处理设备可以使用能够防止在平面区域中出现振铃的内插方法来执行图像内插处理。
10.如权利要求5所述的图像处理装置，其中，第一图像处理设备，第二图像处理设备，以及第三图像处理设备分别执行图像增强处理。
11.如权利要求10所述的图像处理装置，其中，第一图像处理设备使用第一增益来增强包括在图像中的、其振幅等于或者大于第一振幅的高频分量，以及其中，第三图像处理设备使用第二增益来增强包括在图像中的、其振幅等于或者大于的第二振幅的高频分量，第二振幅等于或者大于第一振幅，第二增益等于或者小于第一增益。
12.如权利要求10所述的图像处理装置，其中，第二图像处理设备使用能够防止在台阶边缘出现前冲和过冲的图像增强方法来执行图像增强处理。
13.如权利要求5所述的图像处理装置，其中，所述混合备包括第一混合设备，用于通过基于所述脊强度对在第二图像和第三图像的相应位置处的像素的像素值执行加权相加来混合图像；以及第二混合设备，用于通过基于所述边缘强度对在由第一混合设备产生的第四图像和第五图像的相应位置处的像素的像素值执行加权相加来混合图像。
14.一种图像处理方法，其包括检测脊强度的步骤，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
15.一种使计算机执行包括有检测脊强度步骤的处理的程序，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
16.一种记录如权利要求15所述的程序的记录介质。
17.一种图像处理装置，其包括用于检测脊强度的脊强度检测单元，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
全文摘要
本发明涉及一种图像处理装置，其包括用于检测脊强度的脊强度检测设备，该脊强度是包括在图像中的脊的强度，当像素值根据在包括多个像素的区域中的位置变化而以脉冲的形式发生变化时，该脊强度由脉冲的梯度和高度来表示。
文档编号G06T3/40GK101087386SQ20071012881
公开日2007年12月12日 申请日期2007年3月6日 优先权日2006年3月6日
发明者青山幸治, 泽维尔·米歇尔 申请人:索尼株式会社