专利名称：图像处理装置及方法、记录介质、以及程序的制作方法
技术领域：
本发明涉及一种图像处理装置及方法、记录介质、以及程序，特别是涉及能够应用于静止图像及动态图像等各种图像、由符合人的视觉特性的方法重新描绘鲜明而自然的边缘和纹理，从而可得到高画质的高分辨率图像的图像处理装置及方法、记录介质、以及程序。
背景技术：
随着基于数字图像的机器(数字照相机或照相机一体型磁带录像机等)的使用机会的增多，所谓的数字缩放处理的必要性也越来越高。与其相伴，开发了用于提高数字图像分辨率的各种方法。作为现有的主要方法，存在以下三个方法。第一方法是直接使用最邻近像素的插值方法(0次插值(zero-order-holdinterpolation))，尤其从硬件的角度来看是简单的插值法。第二方法是计算最邻近两像素的平均值，并在垂直方向和水平方向上插入新像素的双线性插值方法(bilinear interpolation)，在相邻像素的插值中被认为是相当好的方法。第三方法是抗噪声、不出现马赛克图案的B-样条(B-spline)插值法。
另外，还有能够强调边缘、将单行扫描画面变换为逐行画面的技术(例如，参照专利文献1)。
专利文献1日本特开2002-215121号公报发明内容但是，第一方法，特别是在高倍率下效果减小，在被放大的图像上将出现有名的所谓“马赛克图案”的噪声。还有，边缘被大幅破坏，将出现非常难看的锯齿。第二方法，有整个图像变得模糊的缺点，图像分辨率没被改善。除此而外，在高倍率时，将出现很多马赛克现象。第三方法，图像变得相当模糊，不仅如此，相对而言硬件也将变得复杂。
另外，为了解决上述问题，在特愿2001-201729中提出根据在与关注像素相邻的上下的行上、或者左右列上存在的像素中、从通过关注像素的对角线上的某一方向上横跨的像素，插值关注像素从而能够强调图像中的边缘，由此放大图像。但是，当插值像素时，求出插值像素和与其上下或者左右相邻的像素之间的相关，当该相关性没有被确认时，由于在上下或者左右像素间进行线性插值，因此，将未必总是能够正确插值像素，例如，有无法使用相对于关注像素在斜方向上相邻的像素间应插值的像素的情况，作为结果，存在无法生成鲜明的放大图像的问题。
在此，提出了如下方法检测应与斜方向上存在边缘时相对应的、关注像素附近的多个像素中的边缘方向，并且，求出它们的可靠度，根据该可靠度的度数决定边缘方向并插值。但是，由于根据度数决定边缘方向，当可靠度的度数在空间上存在偏差时，也将根据该度数决定边缘方向，因此，不一定能检测出正确的边缘方向，无法正确插值生成像素。
本发明是鉴于这样的状况提出的，能够以少的计算处理量、有效且简单地，抑制在从计算机图形到照片的范围的各种类型静止图像及动态图像的分辨率变更时发生的图像错误。
本发明的图像处理装置，其特征在于，具备斜权重附加设定单元，设定根据关注像素位置的统计上可靠度最高的倾斜度而被插值生成的统计斜插值像素的权重；合成插值单元，根据由斜权重附加设定单元设定的统计斜插值像素的权重，将由其他插值所生成的其他插值像素和统计斜插值像素合成，并生成合成插值像素作为关注像素位置的像素；边缘强度信息生成单元，生成定量评价关注像素位置的边缘强度的信息；纹理强度信息生成单元，生成定量评价关注像素位置的纹理强度的信息；纹理适应混合单元，根据由纹理强度信息生成单元生成的纹理强度信息，将关注像素位置的合成插值像素、和对关注像素进行纹理滤波而生成的纹理像素合成，生成纹理混合像素；边缘适应混合单元，根据由边缘强度信息生成单元生成的边缘强度信息，将对关注像素进行纹理滤波而生成的纹理混合像素、和对关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为前述关注像素位置的像素。
还可以设置倾斜度选择单元，根据对应于前述关注像素位置的多个像素的倾斜度方向性分布、和可靠度，选择可靠度最高的关注像素位置的倾斜度；统计斜插值单元，根据由倾斜度选择单元选择的倾斜度，插值生成关注像素位置的统计斜插值像素，使斜权重附加设定单元，可以设定由统计斜插值单元插值生成的、根据关注像素位置的统计上可靠度最高的倾斜度插值生成的统计斜插值像素的权重。
前述其他插值可以通过利用了关注像素位置的上下、或者左右像素的插值，插值生成关注像素位置的插值像素。
还可以设置方向辨别单元，根据前述边缘的有无，辨别包含关注像素位置的、对应于关注像素位置的多个像素位置的边缘方向；边缘方向插值单元，根据与由方向辨别单元辨别的关注像素对应的多个像素位置的边缘方向，插值生成对应于关注像素位置的多个像素位置的边缘方向插值像素。
还可以设置可靠度分级单元，该可靠度分级单元将由前述边缘方向插值单元插值生成的边缘方向插值像素的可靠度分级，边缘强度信息生成单元，根据由可靠度分级单元分级的可靠度，生成定量评价关注像素位置的边缘强度的信息，纹理强度信息生成单元，根据由可靠度分级单元分级的可靠度，生成定量评价关注像素位置的纹理强度的信息。
还可以使可靠度分级单元，判定由边缘方向插值单元插值的边缘方向插值像素的局部结构一致性，根据一致性的判定结果，将由边缘方向插值单元插值的边缘方向插值像素的可靠度分级。
可以使前述合成插值单元，使用由斜权重附加设定单元设定的权重所对应的系数，通过求取由其他插值生成的插值像素和由统计斜插值单元生成的统计斜插值像素的线性和来合成，生成合成插值像素作为关注像素。
本发明的图像处理方法，其特征在于，包含斜权重附加设定步骤，设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；合成插值步骤，根据由斜权重附加设定步骤的处理设定的统计斜插值像素的权重，将由其他插值生成的其他插值像素和统计斜插值像素合成，生成合成插值像素作为关注像素位置的像素；边缘强度信息生成步骤，生成定量评价关注像素位置的边缘强度的信息；纹理强度信息生成步骤，生成定量评价关注像素位置的纹理强度的信息；纹理适应混合步骤，根据由纹理强度信息生成步骤的处理生成的纹理强度信息，将关注像素位置的合成插值像素、和对关注像素进行纹理滤波而生成的纹理像素合成，生成纹理混合像素；边缘适应混合步骤，根据由边缘强度信息生成步骤的处理生成的边缘强度信息，将对关注像素进行纹理滤波而生成的纹理混合像素、和对关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为关注像素位置的像素。
本发明的记录介质的程序，其特征在于，包含斜权重附加设定控制步骤，控制如下处理设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；合成插值控制步骤，控制如下处理根据由斜权重附加设定控制步骤的处理设定的统计斜插值像素的权重，将由其他插值所生成的其他插值像素和统计斜插值像素合成，生成合成插值像素作为关注像素位置的像素；边缘强度信息生成控制步骤，控制如下处理生成定量评价关注像素位置的边缘强度的信息；纹理强度信息生成控制步骤，控制如下处理生成定量评价关注像素位置的纹理强度的信息；纹理适应混合控制步骤，控制如下处理根据由纹理强度信息生成控制步骤的处理生成的纹理强度信息，将关注像素位置的合成插值像素、和对关注像素进行纹理滤波而生成的纹理像素合成，生成纹理混合像素；边缘适应混合控制步骤，控制如下处理根据由边缘强度信息生成控制步骤的处理生成的边缘强度信息，将对关注像素进行纹理滤波而生成的纹理混合像素、和对关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为关注像素位置的像素。
本发明的程序，其特征在于，在计算机中执行的处理，包含斜权重附加设定控制步骤，控制如下处理设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；合成插值控制步骤，控制如下处理根据由斜权重附加设定控制步骤的处理设定的统计斜插值像素的权重，将由其他插值所生成的其他插值像素和统计斜插值像素合成，生成合成插值像素作为关注像素位置的像素；边缘强度信息生成控制步骤，控制如下处理生成定量评价关注像素位置的边缘强度的信息；纹理强度信息生成控制步骤，控制如下处理生成定量评价关注像素位置的纹理强度的信息；纹理适应混合控制步骤，控制如下处理根据由纹理强度信息生成控制步骤的处理生成的纹理强度信息，将关注像素位置的合成插值像素、和对关注像素进行纹理滤波而生成的纹理像素合成，生成纹理混合像素；边缘适应混合控制步骤，控制如下处理根据由边缘强度信息生成控制步骤的处理生成的边缘强度信息，将对关注像素进行纹理滤波而生成的纹理混合像素、和对关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为关注像素位置的像素。
在本发明的图像处理装置及方法、以及程序中，设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；根据由设定的统计斜插值像素的权重，将由其他插值所生成的其他插值像素和统计斜插值像素合成，生成合成插值像素作为关注像素位置的像素；生成定量评价关注像素位置的边缘强度的信息；生成定量评价关注像素位置的纹理强度的信息；根据由生成的纹理强度信息，将关注像素位置的合成插值像素、和对关注像素进行纹理滤波而生成的纹理像素合成，生成纹理混合像素；根据由生成的边缘强度信息，将对关注像素进行纹理滤波而生成的纹理混合像素、和对关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为关注像素位置的像素。
本发明的图像处理装置，可以是独立装置，也可以是进行图像处理的模块。
根据本发明，能够正确把握进行插值的像素的边缘方向，能够更正确地生成插值像素，并且，还能够进行边缘和纹理的精密分离，从而能够实施更适当的适应强调处理。
图1是表示应用了本发明的图像处理装置的结构例的框图。
图2是表示图1的垂直向上(up-sampling)采样处理部的结构例的框图。
图3是表示图1的一维垂直图像更新处理部的结构例的框图。
图4是说明图1的图像处理装置的缩放处理的流程图。
图5是说明图4的步骤S6中的放大处理的流程图。
图6是说明图5的步骤S21处理中的垂直向上采样处理的流程图。
图7是说明图6的步骤S51处理中的原图像的关注区域抽出处理的图。
图8是说明图6的步骤S52、S53处理中的局部能量计算的图。
图9是说明图6的步骤S55中的方向辨别处理的流程图。
图10是说明图6的步骤S55中的方向辨别处理的流程图。
图11是说明图9的步骤S81中的max_dir方向选择处理的流程图。
图12是说明图9的步骤S82中的left_dir方向选择处理的图。
图13是说明图9的步骤S83中的right_dir方向选择处理的图。
图14是说明图6的步骤S55中的边缘方向辨别处理的图。
图15是说明图6的步骤S62中的倾斜度选择处理的关注区域的图。
图16是说明图6的步骤S62中的倾斜度选择处理的流程图。
图17是说明图6的步骤S62中的倾斜度选择处理时的方向和可靠度的例子的图。
图18是说明图6的步骤S62中的倾斜度选择处理时所定义的边缘的方向的图。
图19是说明图6的步骤S62中的倾斜度选择处理时的分布和方向性分布的图。
图20是说明边缘方向的计算方法的其他方法的图。
图21是说明边缘方向的计算方法的其他方法的图。
图22是说明边缘方向的计算方法的其他方法的图。
图23是说明边缘方向的计算方法的其他方法的图。
图24是说明边缘方向的计算方法的其他方法的图。
图25是说明边缘方向的计算方法的其他方法的图。
图26是说明边缘方向的计算方法的其他方法的图。
图27是说明图5的步骤S22中的一维垂直图像更新处理的流程图。
图28是说明图5的步骤S22中的一维垂直图像更新处理的关注区域的图。
图29是说明图5的步骤S22中的一维垂直图像更新处理的图。
图30是说明图5的步骤S22中的一维垂直图像更新处理的图。
图31是说明图5的步骤S22中的一维垂直图像更新处理的图。
图32是表示由现有方法进行缩放的图像例的图。
图33是表示由应用了本发明的方法进行缩放的图像例的图。
图34是说明记录介质的图。
符号说明11垂直向上采样处理部12水平向上采样处理部17一维垂直图像更新处理部17a缓冲器18一维水平图像更新处理部18a缓冲器123方向辨别部124可靠度分级部126倾斜度选择部127线性插值部128统计斜插值部129斜权重附加部130合成部
132边缘强度信息生成部133纹理强度信息生成部具体实施方式
下面，说明本发明的实施方式，下面，举例说明本说明书所记载的发明与发明的实施方式的对应关系。该记载是为了确认支持本说明书所记载的发明的实施方式被记载在本说明书中。因此，虽然记载在发明的实施方式中，但是对应于发明，即使有在此没有记载的实施方式，也不意味该实施方式不与该发明对应。相反，即使实施方式与发明对应而记载于此，也不意味该实施方式不与该发明以外的发明对应。
并且，该记载不意味记载于本说明书中的发明全部。换句话说，该记载是记载于本说明书中发明，并不否定在本申请中没有请求的发明的存在，即不否定将来分案申请、或根据补正出现、追加的发明的存在。
即，本发明的图像处理装置的特征在于，具备斜权重附加设定单元(例如，图2的斜权重附加部129)，设定根据关注像素位置的统计上可靠度最高的倾斜度，插值生成的统计斜插值像素的权重；合成插值单元(例如，图2的合成部130)，根据由斜权重附加设定单元设定的统计斜插值像素的权重，将由其他插值生成的其他插值像素和统计斜插值像素进行合成，并将合成插值像素作为关注像素位置的像素而生成；边缘强度信息生成单元(例如，图2的边缘强度信息生成部132)，生成对关注像素位置的边缘的强度进行定量评价的信息；纹理强度信息生成单元(例如，图2的纹理强度信息生成部133)，生成对关注像素位置的纹理的强度进行定量评价的信息；纹理适应混合单元(例如，图3的纹理适应混合处理部196)，根据由纹理强度信息生成单元生成的纹理的强度信息，将关注像素位置的合成插值像素、和对关注像素进行纹理滤波而生成的纹理像素进行合成，生成纹理混合像素；边缘适应混合单元(例如，图3的边缘适应混合处理部197)，根据由边缘强度信息生成单元生成的边缘的强度信息，将对关注像素进行纹理滤波而生成的纹理混合像素、和边缘像素进行合成，并将边缘混合像素作为关注像素位置的像素而生成。
本发明的图像处理方法的特征在于，包含斜权重附加设定步骤(例如，图6的流程图中的步骤S67的处理)，设定根据关注像素位置的统计上可靠度最高的倾斜度，插值生成的斜插值像素的权重；合成插值步骤(例如，图6的流程图中的步骤S68的处理)，根据由斜权重附加设定步骤的处理设定的统计斜插值像素的权重，将由其他插值生成的其他插值像素和统计斜插值像素进行合成，并将合成插值像素作为关注像素位置的像素而生成；边缘强度信息生成步骤(例如，图6的流程图中的步骤S63的处理)，生成对关注像素位置的边缘的强度进行定量评价的信息；纹理强度信息生成步骤(例如，图6的流程图中的步骤S64的处理)，生成对关注像素位置的纹理的强度进行定量评价的信息；纹理适应混合步骤(例如，图27的流程图中的步骤S247的处理)，根据由纹理强度信息生成步骤的处理生成的纹理的强度信息，将关注像素位置的合成插值像素、和对关注像素进行纹理滤波而生成的纹理像素进行合成，生成纹理混合像素；边缘适应混合步骤(例如，图27的流程图中的步骤S248的处理)，根据由边缘强度信息生成步骤的处理生成的边缘的强度信息，将对关注像素进行纹理滤波而生成的纹理混合像素、和边缘像素进行合成，并将边缘混合像素作为关注像素位置的像素而生成。
另外，对于记录介质及程序，与图像处理方法相同，因此，省略其说明。
图1表示应用了本发明的图像处理装置的一个实施方式的结构。在该图像处理装置中，图像输入部1将被作为处理对象的图像数据从记录介质读取，或者对通过网络传送来的图像数据进行接收并输入，输出到图像处理部2。图像处理部2，变更(放大或者缩小)由图像输入部1输入的图像的分辨率，并输出到图像输出部3。图像输出部3，将由图像处理部2供给的图像数据显示在显示部、或记录到记录介质中，或者通过传送介质传送到其他装置。
图像处理部2的垂直向上采样处理部11和垂直缩小处理部13，分别利用现有方法(例如，线性放大或者线性缩小等)进行使原图像的分辨率在垂直方向上成为Z倍(Z为实数)的处理。垂直缩小处理部13，进行Z值大于0小于1时(0＜Z＜1)的处理；垂直向上采样处理部11，进行Z值为2时(Z＝2)的处理。
水平向上采样处理部12和水平缩小处理部14，分别对原图像的分辨率进行在水平方向上成为Z倍的处理。水平缩小处理部14，进行Z值大于0小于1时(0＜Z＜1)的处理；水平向上采样处理部12，进行Z值为2时的处理(Z＝2)。
一维垂直图像更新处理部17和一维水平图像更新处理部18，适当利用缓冲器17a、18a，分别在垂直方向或者水平方向上，由一维滤波处理图像数据，视觉上没有不调感地强调边缘和纹理。即，当在记录介质上记录有图像数据时，通过记录介质的物理影响高频分量被抑制，从而会产生图像中的边缘部分和纹理部分变得模糊的现象，因此，一维垂直图像更新处理部17和一维水平图像更新处理部18求出各像素的中心像素能量，进行对应的滤波处理，并且，从中心像素能量值辨别该像素属于边缘或者纹理中的哪个，对于是边缘时，为了抑制由滤波处理生成的失真，还执行削波处理。
另外，在一维垂直图像更新处理部17和一维水平图像更新处理部18中使用的滤波器，各准备有两种滤波器，用户可以根据需要任意地设定。该两种滤波器中的一个滤波器，有能够周密地控制频率区域特性的特性，另一个滤波器与前面的滤波器相比，虽然不能周密地控制频率区域的特性，但是能够减轻处理量。这些滤波器，除了构成滤波器的要素不同之外都相同，其处理也相同。在下面的说明中，前面的滤波器称为A类型，后面滤波器称为B类型。
下面，参照图2的框图，对垂直向上采样处理部11的结构进行说明。
频带限制部121，例如由LPF(Low Pass Filter)等构成，将输入图像的各像素的像素值进行平滑化，限制频带并输出到方向辨别部123及有效区域检测部122。
有效区域检测部122，从被限制频带的图像信号算出局部能量，由其值检测出边缘的有无，并将检测结果输出到方向辨别部123。
方向辨别部123，根据有效区域检测部122的有效区域检测结果，辨别边缘的方向，并将辨别的边缘方向的信息输出到可靠度分级部124及方向性分布生成部125，并且，将像素信息输出到方向插值部131。可靠度分级部124，根据输入的图像信息、和从方向辨别部123输入的边缘的方向信息，求出边缘的方向信息的可靠度，并输出到方向性分布生成部125。方向插值部131根据来自方向辨别部123的信息，使用存在于该方向的像素值对像素进行插值。
方向性分布生成部125，根据来自与从方向辨别部123输入的边缘的方向信息对应的可靠度分级部124的可靠度信息，生成方向性分布提供给倾斜度选择部126、边缘强度信息生成部132、纹理强度生成部133及斜权重附加部129。倾斜度选择部126根据来自方向性分布生成部125的方向性分布，选择关注像素中的可靠度最高的边缘的倾斜度，并将选择的倾斜度信息输出到统计斜插值部128。另外，斜权重附加部129计算附加在斜方向边缘的权重，输出到合成部130。
边缘强度信息生成部132根据方向性分布，对边缘的强度进行定量评价，并将其结果输出到一维垂直图像更新部17。
纹理强度信息生成部133根据方向性分布，对纹理的强度进行定量评价，并将其结果输出到一维垂直图像更新部17。
线性插值部127，通过对输入的图像中要插值的像素进行线性插值等现有插值，从而生成像素并输出到合成部130。统计斜插值部128，生成根据在包含由倾斜度选择部126进行选择的倾斜度的各方向上存在的像素间的平均像素值的倾斜度分布的加权平均像素值，并输出到合成部130。合成部130，根据由斜权重附加部129输入进来的斜方向的权重附加信息，将由线性插值生成的插值像素的像素值、和由统计斜插值部128利用统计斜插值生成的插值像素的像素值，分别进行加权相加(将权重作为系数求出线性和)，从而进行合成作为插值像素输出。
斜权重附加部129，进行由方向性分布生成部125供给的方向性分布斜线的权重附加，并将斜线的权重信息提供给合成部130。
另外，对于水平向上采样处理部12，基本上以与参照图2说明的垂直向上采样处理部11相同的方法，对水平方向的像素进行处理。即，水平向上采样处理部12中的处理，对应于图2的垂直向上采样处理部11中的处理，对水平方向的像素执行相同的处理，基本的处理方法与垂直向上采样处理部11相同，因此，省略其说明。
下面，参照图3的框图，对一维垂直图像更新处理部17的结构进行说明。
纹理滤波处理部191，对与输入的图像的关注像素对应的多个像素，在垂直方向上进行滤波处理，输出到纹理适应混合处理部196。
纹理适应混合处理部196，使用纹理强度信息生成部133所供给的控制信号，将由纹理滤波处理部191在垂直方向上进行滤波处理的像素的值和输入的图像的关注像素的值，进行加权合成，并输出到边缘适应混合处理部197。
垂直最大值最小值检测部192，抽出与输入的图像的关注像素对应的垂直方向的多个像素中成为其最大值的像素值和成为最小值的像素值，输出到辨别比较部194。
边缘滤波处理部193，将与输入的图像的关注像素对应的多个像素，在垂直方向上进行滤波处理，输出到辨别比较部194。
辨别比较部194，将由边缘滤波处理部193在垂直方向上进行了滤波处理的值与由垂直最大值最小值检测部192输入进来的最大值或者最小值进行比较，对值进行削波，输出到边缘适应混合处理部197。
边缘适应混合处理部197，使用边缘强度信息生成部132所供给的控制信号，将由辨别比较部194输出的像素值、和由纹理适应混合处理部196输出的像素的值，进行加权合成，并输出到缓冲器17a。输出部195，适当读出并输出存储在缓冲器17a中的图像信号。
另外，对于一维水平图像更新处理部18，基本上以与参照图3说明的图1的一维垂直图像更新处理部17相同的方法，对水平方向的像素进行处理。即，一维水平图像更新处理部18中的的处理，对应于图3的一维垂直图像更新处理部17中的处理，对水平方向的像素执行处理，基本的处理方法与一维垂直图像更新处理部17相同，因此，省略其说明。
下面，参照图4的流程图，对图像处理部2的缩放处理进行说明。最初，在步骤S1中，图像处理部2在变量z上设定倍率Z的值。
其次，在步骤S2中，图像处理部2判定变量z的值是否大于等于1，当不到1时进入步骤S3，并判定变量z的值是否是大于0小于1的值。
在步骤S3中，当变量z的值被判定为大于0小于1时，进入步骤S4，并根据垂直缩小处理部13及水平缩小处理部14执行标准的缩小处理。之后，在步骤S5中，输出显示处理被执行。即，生成的图像通过图像输出部3显示在显示部。
与此相对，在步骤S3中，当变量z的值被判定为不在0和1之间时，即变量z的值大于1时，在步骤S2中，变量z被判定为大于1，处理进入步骤S6，步骤S6中的缩放处理被执行规定次数，结果，成为放大处理已完成的状态，因此，进入步骤S5，执行输出显示处理。
在步骤S2中，当变量z的值被判定为大于等于1时，进入步骤S6，图像处理部2执行放大处理。该缩放处理的详细说明，将参照图5的流程图在后面叙述。
在步骤S6中，在完成放大处理后，在步骤S7中，图像处理部2将变量z的值除以2。之后，处理返回到步骤S2，并重复执行其后的处理。
即，当变量z的值大于1时，步骤S6的处理重复执行规定次数直到变量z的值小于1为止。并且，在变量z的值小于1的情况下，变量z的值为0和1之间的值时，在步骤S4中进行标准的缩小处理。该标准的缩小处理，能够使用例如线性插值处理或双立方体滤波器实现。另外，在下面作为现有标准的插值处理，以线性插值处理为例进行说明，但是，标准插值处理当然也可以是这之外的方法。
下面，参照图5的流程图，对步骤S6的放大处理进行说明。
在步骤S21中，垂直向上采样处理被执行。
在此，参照图6的流程图，对垂直向上采样处理进行说明。
在步骤S51中，垂直向上采样处理部11，如图7所示，抽出原图像I_image中的规定范围(N个像素)的上行和下行的实际像素和虚拟像素(由实际的像素假想生成的像素)，并存储到宽度为2N的两个缓冲器up_line和down_line。设N的值为可变。从而，I_image中的上行中心坐标成为(X+N/2，Y)，I_image中的下行中心坐标成为(X+N/2，Y+1)。即，上行和下行中的实际像素和虚拟像素的各像素值，由以下的式(1)至(4)表示。
up_line(2*I)＝I_image(X+I，Y) (I＝0，1…，N-1)(实际像素)…(1)up_line(2*I+1)＝0.5*(I_image(X+I，Y)+I_image(X+I+1，Y))(I＝0，1…，N-2)(虚拟像素)…(2)down_line(2*I)＝I_image(X+I，Y+1)(I＝0，1…，N-1)(实际像素)…(3)down_line(2*I+1)＝0.5*(I_image(X+I，Y+1)+I_image(X+I+1，Y+1))(I＝0，1…，N-2)(虚拟像素)…(4)下面，在步骤S52中，垂直向上采样处理部11的有效区域检测部122，根据由频带限制部121进行频带限制的信号，由以下的式(5)算出局部能量E(N)。
E(N)＝∑(I＝0，…N-1)Coef(I)*ABS(up_line(2*I)-down_line(2*I))
…(5)上述的式(5)的计算，I在从0到N-1为止的范围中，求出up_line的各实际像素和位于垂直下方的down_line的实际像素间的差绝对值，从而分别求出将它们乘以权重(Coef(I))的和。
图8示出了局部能量E(N)计算的例子。如该图所示，求出上行up_line的实际像素和下行down_line的实际像素中位于垂直方向上下的上部的实际像素和下部的实际像素的像素值的差绝对值，在各差绝对值上乘以权重的和被作为局部能量E(N)。在图8的例子中，从像素Y0，0的值(0)减去像素Y1，0的值(0)。另外，从像素Y0，1的像素值(0)减去像素Y1，1的像素值(0)。以下，同样地，从像素Y0，2的像素值(0)减去像素Y1，2的像素值(200)，从像素Y0，3的像素值(0)减去像素Y1，3的像素值(200)，从像素Y0，4的像素值(200)减去像素Y1，4的像素值(200)。并且，在各差绝对值上乘以权重的值的和被作为局部能量。
在步骤S53中，有效区域检测部122，判定局部能量E(N)是否大于预先设定的规定的阈值T。当局部能量E(N)与阈值T相等或小于它时，该区域被认为是不包含边缘的平坦的低能量区域。此时，不需要计算潜在的边缘方向。因此，处理进入步骤S54。
在步骤S54中，方向辨别部123，根据有效区域检测部122的判定结果，将表示垂直方向mid_dir(后述的图18中的L4的方向)的方向信息输出到方向插值部131、可靠度分级部124以及方向性分布生成部125。另外，可靠度分级部124，将表示对于该插值像素未确定可靠度的2，输出到方向性分布生成部125。
另一方面，在步骤S53中，当判定为局部能量E(N)大于预先设定的规定的阈值T时，在步骤S55中，垂直向上采样处理部11的方向辨别部123，根据由频带限制部121进行频带限制的图像信号和原图像信号，执行对边缘方向进行试验性计算的处理，并将检测出的方向的信息输出到可靠度分级部124、方向性分布生成部125，并且，将检测出的像素的信息输出到方向插值部131。具体地说，方向辨别部123，执行由以下所示的式(6)、式(7)表示的运算，并输出运算结果。
另外，dir是分配给各方向上的变量，如后述的图18中所示，是对通过以关注像素(图中的黑色圆记号)为中心存在于对角方向上的像素间的方向所赋的值。从而，在后述的图18中，方向L0的dir是0，方向L1的dir是1。另外，N是定义方向时使用的实际像素的组数，例如，后述的图18的情况下，实际像素(图中的白色圆)是5组。从而，dir在实际像素的组数为N的情况下，实际像素和由实际像素计算出的虚拟像素存在于各实际像素间，同样定义方向时，成为0≤dir≤(2N-2)。作为结果，以下的运算在从dir＝0使dir递增1，在dir小于等于为2N-2的范围中重复执行。
E(dir)＝ABS(频带限制[up_line(dir)]-频带限制[down_line(2N-2-dir)])…(6)diff(dir)＝ABS(up_line(dir)-down_line(2N-2-dir))…(7)在步骤S55中，边缘方向辨别处理被执行。
在此，参照图9、图10，说明方向辨别处理。
在步骤S81中，(max_dir)方向选择处理被执行。(max_dir)方向是指与以关注像素为中心的局部边缘的方向正交的方向。即，以关注像素为中心，对于垂直方向在右侧和左侧，由上述式(6)计算的能量E(dir)(dir＝mid_di-N/2…mid_dir+N/2)的值中最高的两个像素所对应的对角线方向，就是(max_dir)方向。
在此，参照图11，说明作为与局部边缘的方向正交的方向的(max_dir)方向选择处理。
在步骤S121中，当作为与以关注像素为中心的局部边缘方向正交的方向的(max_dir)方向选择处理开始时，方向辨别部123，将与以关注像素为中心的局部边缘方向正交的方向(max_dir)，初始化为垂直方向(mid_dir)，其处理进入步骤S122。即，方向辨别部123，将与以关注像素为中心的局部边缘方向正交的方向(max_dir)，初始化为作为与后述的图18的方向L4对应的方向的垂直方向(mid_dir)。
在步骤S122中，当作为与以关注像素为中心的局部边缘方向正交的方向的(max_dir)方向选择处理开始时，方向辨别部123，将比较对象候选方向(dir)初始化为位于相对于垂直方向(mid_dir)在左上方向(mid_dir-N/2)的方向，其处理进入步骤S123。即，方向辨别部123，将比较对象候选方向(dir)初始化为与后述的图18的方向L0对应的方向。
在步骤S123中，当作为与以关注像素为中心的局部边缘方向正交的方向的(max_dir)方向选择处理开始时，方向辨别部123，将由上述式(6)计算的能量E(dir)(dir＝mid_dir-N/2…mid_dir+N/2)值中最高的能量E_max初始化为0(零)，其处理进入步骤S124。
在步骤S124中，方向辨别部123，判定由上述式(6)计算的比较对象候选方向(dir)的能量E(dir)是否大于等于最高的能量E_max。在步骤S124中，当判定能量E(dir)大于等于最大能量E_max时，其处理进入步骤S125。另一方面，当判定能量E(dir)为小于最大能量E_max时，其处理进入步骤S128，使从比较对象候选方向(dir)变换到下一个右侧相邻的比较对象候选方向(dir+1)(若当前的比较对象候选方向(dir)是左上方向时，使该方向变换为与更接近垂直方向的方向相邻的比较对象候选方向；若当前的比较对象候选方向(dir)是右上方向时，该方向变换为与更接近水平方向的方向相邻的比较对象候选方向)。即，例如，当比较对象候选方向(dir)是后述的图18的方向L0时，方向辨别部123使比较对象候选方向(dir)变换为方向L1。
在步骤S125中，方向辨别部123，判定由上述式(6)计算的比较对象候选方向(dir)的能量E(dir)是否等于最高能量E_max，并判定与以关注像素为中心的局部边缘方向正交的方向(max_dir)。在步骤S125中，当判定为能量E(dir)等于最高能量E_max时，其处理进入步骤S131。另一方面，在步骤S125中，当判定为能量E(dir)不等于E_max时，其两个像素所对应的对角线方向被当做与以关注像素为中心的局部边缘方向正交的方向(max_dir)，比较对象候选方向(dir)作为与以关注像素为中心的局部边缘方向正交的方向被选择，其处理进入步骤S126。
在步骤S126中，方向辨别部123，将当前变量dir作为max_dir方向进行存储。
在步骤S127中，方向辨别部123，将最高能量E_max的值替换为由上述式(6)计算的比较对象候选方向的能量E(dir)值。
在步骤S128中，方向辨别部123，使从比较对象候选方向(dir)变换为下一个右侧相邻的比较对象候选方向(dir+1)。即，例如，当比较对象候选方向(dir)是后述的图18的方向L0时，方向辨别部123使比较对象候选方向(dir)变换为方向L1。
此外，在以下的说明中，例如，表示规定方向(dir)的变量dir被递增1的方向(dir+1)，称为相对于规定方向(dir)的右侧方向。另外，相对于规定方向，变量dir被递减1的方向(dir-1)，称为相对于规定方向(dir)的左侧方向。即，例如，对于后述的图18中的方向L0，变量dir递增1的右侧方向是方向L1，相反，对于方向L1，变量dir递减1的左侧方向成为方向L0。也就是说，如图18所示，当以关注像素为中心时，称呼与在该上下行的像素间连结的直线的第一象限及第二象限中的位置关系的称呼相同。
在步骤S129中，方向辨别部123，判定比较对象候选方向(dir)是否为位于垂直方向(mid_dir)的右侧的方向中的方向(mid_dir+N/2)。即，当比较对象候选方向(dir)大于方向(mid_dir+N/2)时，对全部方向结束处理，因此，作为与以关注像素为中心的局部边缘方向正交的方向的(max_dir)方向选择处理被结束。另一方面，当dir小于等于mid_dir+N/2时，还存在未处理的方向，因此，其处理进入步骤S130。
在步骤S130中，方向辨别部123，判定比较对象候选方向(dir)是否是垂直方向(mid_dir)。例如，当判定比较对象候选方向(dir)是垂直方向(mid_dir)时，返回到步骤S128，方向辨别部123，使变量dir递增1，从比较对象候选方向(dir)变换为下一个右侧相邻的比较对象候选方向(dir+1)。即，垂直方向不作为比较对象候选方向进行处理。
另一方面，在步骤S130中，当判定比较对象候选方向(dir)是垂直方向(mid_dir)时，其处理返回到步骤S124。
在步骤S131中，方向辨别部123，判定垂直方向(mid_dir)是否大于与以关注像素为中心的局部边缘方向正交的方向(max_dir)、且小于比较对象候选方向(dir)。例如，在步骤S131中，当判定垂直方向(max_dir)大于与以关注像素为中心的局部边缘方向正交的方向(max_dir)、且小于比较对象候选方向(dir)时，进入步骤S132，方向辨别部123，选择垂直方向(mid_dir)，认为该两个像素所对应的对角线的方向，是与以关注像素为中心的局部边缘方向正交的方向(max_dir)。
在步骤S133中，方向辨别部123，将最高的能量E_max的值替换为由上述式(6)计算的垂直方向(mid_dir)的能量E(mid_dir)。并且，结束与以关注像素为中心的局部边缘方向正交的方向(max_dir)的选择处理。
当判定垂直方向(mid_dir)小于等于与以关注像素为中心的局部边缘的方向正交的方向(max_dir)、或者大于等于比较对象候选方向(dir)时，在步骤S126中，方向辨别部123，将比较对象候选方向(dir)作为与以关注像素为中心的局部边缘方向正交的方向(max_dir)进行选择，认为其两个像素对应的对角线的方向是与以关注像素为中心的局部边缘方向正交的方向(max_dir)。
在步骤S127中，方向辨别部123，将最高能量E_max的值替换成由上述式(6)计算的比较对象候选方向的能量E(dir)，并且，在步骤S128中，使比较对象候选方向(dir)变换为下一个右侧相邻的比较对象候选方向(dir+1)。
根据以上的处理，最终残留在方向(max_dir)上的方向，将作为与以关注像素为中心的局部边缘方向正交的方向(max_dir)被选择。
在此，返回到图9的流程图说明。
在步骤S82中，(left_dir)方向选择处理被执行。(left_dir)方向是指将以关注像素为中心、存在于对角线上的两个像素连结的直线的倾斜度中左上或者垂直的方向。即，将以关注像素为中心、存在于对角线方向上的两个像素连结的直线的方向为左上或者垂直的方向中，具有由上述的式(6)计算的最低的能量E(dir)(dir＝mid_dir-1…0)的值的方向是(left_dir)方向。
在此，参照图12的流程图，对作为以关注像素为中心的左上的局部边缘方向的(left_dir)方向选择处理进行说明。
在步骤S151中，当以关注像素为中心的左上的局部边缘的方向选择处理开始时，方向辨别部123，对于以关注像素为中心的垂直方向，将左上的局部边缘的方向(left_dir)初始化为垂直方向(mid_dir)，其处理进入步骤S152。
在步骤S152中，当以关注像素为中心的左上的局部边缘的方向选择处理开始时，方向辨别部123，将比较对象候选方向(dir)初始化为垂直方向(mid_dir)，其处理进入步骤S153。
在步骤S153中，当以关注像素为中心的左上的局部边缘的方向选择处理开始时，方向辨别部123，将由上述的式(6)计算的能量E(dir)的值中，最低能量E_min初始化为由上述的式(6)计算的垂直方向(mid_dir)的能量E(mid_dir)，其处理进入步骤S154。
在步骤S154中，方向辨别部123，判定由上述的式(6)计算的比较对象候选方向(dir)的能量E(dir)，是否小于等于最低能量E_min。即，由上述的式(6)计算的比较对象候选方向(dir)的能量E(dir)小于等于最低的能量E_min，是指比较对照候选方向(dir)成为最低能量E_min，因此，根据该判定结果，判定比较对象候选方向(dir)是否是以关注像素为中心的左上的局部边缘的方向(left_dir)。
在步骤S154中，当能量E(dir)小于等于最低能量E_min时，在步骤S155中，方向辨别部123，将比较对象候选方向(dir)的两个像素所对应的对角线的方向，作为以关注像素为中心的左侧的局部边缘的方向(left_dir)进行选择。
在步骤S156中，方向辨别部123，将最低能量E_min的值替换为由上述的式(6)计算的比较对象候选方向的能量E(dir)。
在步骤S157中，方向辨别部123，从已比较的比较对象候选方向(dir)变换为下一个左侧相邻的比较对象候选方向(dir-1)，其处理进入步骤S158。
另一方面，在步骤S154中，当能量E(dir)大于最低能量E_min时，在步骤S157中，方向辨别部123，使从已比较的比较对象候选方向(dir)变换为下一个左侧相邻的比较对象候选方向(dir-1)(使变量dir递减1)，其处理进入步骤S158。
在步骤S158中，方向辨别部123，判定变量dir是否小于等于0，即判定比较对象候选方向(dir)是否在位于垂直方向(mid_dir)的左侧(0)方向的左侧。当dir小于0(零)时、即比较对象候选方向(dir)在后述的图18中的方向L0的左侧时，方向辨别部123，结束以关注像素为中心的左侧的局部边缘的方向(left_dir)的选择处理。另一方面，在步骤S158中，当比较对象候选方向(dir)大于等于0(零)时、即是图18中的方向L0至L4时，其处理进入步骤S154。即，比较对象候选方向(dir)在从方向L0到L4的范围中，重复步骤S154至S158的处理，当全部处理结束时，被设定为能量E_min的能量成为最低能量，此时的方向将作为left_dir方向被选择。
在此，返回到图9的流程图说明。
在步骤S82中，当left_dir方向选择处理结束时，在步骤S83中，(right_dir)方向选择处理被执行。(right_dir)方向是指将以关注像素为中心、存在于对角线上的两个像素连结的直线的倾斜度中右上或者垂直的方向。即，将以关注像素为中心、存在于对角线方向的两个像素连结的直线的方向是右上或者垂直的方向中，具有由上述的式(6)计算的最低能量E(dir)(dir＝mid_dir+1…2N-2)的值的方向是(right_dir)方向。
在此，参照图13，对作为以关注像素为中心的右侧的局部边缘的方向的(right_dir)方向选择处理进行说明。
在步骤S181中，当以关注像素为中心的右侧的局部边缘的方向选择处理开始时，方向辨别部123，将以关注像素为中心的右侧的局部边缘的方向(right_dir)初始化为垂直方向(mid_dir)，其处理进入步骤S182。
在步骤S182中，当以关注像素为中心的右侧局部边缘方向选择处理开始时，方向辨别部123，将比较对象候选方向(dir)初始化为垂直方向(mid_dir)，其处理进入步骤S183。
在步骤S183中，当以关注像素为中心的右侧的局部边缘的方向的选择处理开始时，方向辨别部123，将由上述的式(6)计算的能量E(dir)的值中最低的能量E_min初始化为由上述的式(6)计算的垂直方向(mid_dir)的能量E(mid_dir)，其处理进入步骤S184。
在步骤S184中，方向辨别部123，判定由上述的式(6)计算的比较对象候选方向(dir)的能量E(dir)是否小于等于最低能量E_min。即，由上述的式(6)计算的比较对象候选方向(dir)的能量E(dir)小于等于最小能量E_min是指，由于比较对照候选方向(dir)成为最低能量E_min，因此，根据该判定结果，判定比较对象候选方向(dir)是否是以关注像素为中心的右侧的局部边缘的方向(right_dir)。
在步骤S184中，当能量E(dir)小于等于最低能量E_min时，在步骤S185中，方向辨别部123，将比较对象候选方向(dir)的两个像素所对应的对角线方向，作为以关注像素为中心的右侧的局部边缘的方向(right_dir)进行选择。
在步骤S186中，方向辨别部123，将最低能量E_min的值替换为由上述的式(6)计算的比较对象候选方向的能量E(dir)。
在步骤S187中，方向辨别部123，使从已比较的比较对象候选方向(dir)变换为下一个右侧相邻的比较对象候选方向(dir+1)，其处理进入步骤S188。
另一方面，在步骤S184中，当能量E(dir)大于最低能量E_min时，在步骤S187中，方向辨别部123，使从已比较的比较对象候选方向(dir)变换为下一个右侧相邻的比较对象候选方向(dir+1)，其处理进入步骤S188。
在步骤S188中，方向辨别部123，判定变量dir是否小于等于0、即判断比较对象候选方向(dir)在位于垂直方向(mid_dir)的右侧的方向(2N-2)的右侧。当dir大于2N-2时、即比较对象候选方向(dir)在后述的图18中的方向L8的右侧时，方向辨别部123，结束以关注像素为中心的右侧的局部边缘的方向(right_dir)的选择处理。当(dir)小于等于2N-2时、即为图18中的方向L4至L8时，其处理进入步骤S184。即，比较对象候选方向(dir)在从方向L4到L8的范围中，重复步骤S184至S188的处理，当结束全部处理时，被设定为能量E_min的能量成为最低能量，此时的方向将作为right_dir方向被选择。
在此，返回到图9的流程图说明。
在步骤S84中，方向辨别部123，判定以关注像素为中心、在右侧的局部边缘的方向(right_dir)和与局部边缘的方向正交的方向(max_dir)的角度的绝对值|角度(max_dir，right_dir)|，是否大于左侧的局部边缘的方向(left_dir)和与局部边缘的方向正交的方向(max_dir)的角度的绝对值|角度(max_dir，left_dir)|。
例如，在步骤S84中，当判定|角度(max_dir，left_dir)|大于|角度(max_dir，right_dir)|(该角度是绝对值，因此，是0°至90°的范围)时，在步骤S85中，方向辨别部123，将以关注像素为中心的左侧的局部边缘的方向(left_dir)的两个像素所对应的对角线的方向，视作局部边缘的方向，并将选择方向(sel_dir)作为方向(left_dir)，其处理进入步骤S97(图10)。
另一方面，在步骤S84中，当|角度(max_dir，left_dir)|小于等于|角度(max_dir，right_dir)|时，其处理进入步骤S86。
在步骤S86中，方向辨别部123，判定以关注像素为中心、在右侧的局部边缘的方向(right_dir)和与局部边缘的方向正交的方向(max_dir)的角度的绝对值|角度(max_dir，right_dir)|，是否大于左侧的局部边缘的方向(left_dir)和与局部边缘的方向正交的方向(max_dir)的角度绝对值|角度(max_dir，left_dir)|。
例如，在步骤S86中，例如，当|角度(max_dir，right_dir)|大于|角度(max_dir，left_dir)|时，在步骤S87中，方向辨别部123，将以关注像素为中心的右侧的局部边缘的方向(right_dir)的两个像素所对应的对角线的方向，视作局部边缘的方向，并将选择方向(sel_dir)作为方向(right_dir)，其处理进入步骤S97(图10)。
即，方向(max_dir)是相对于两像素间的能量最大的方向垂直的方向，因此，与方向(left_dir)或方向(right_dir)所成的角度大、即接近垂直方向的值的一方是边缘的可能性高。
因此，方向辨别部123，将|角度(max_dir，left_dir)|和|角度(max_dir，right_dir)|进行比较，将与max_dir所成的角度大的方向作为边缘方向进行选择。
另一方面，在步骤S86中，当判定|角度(max_dir，right_dir)|不大于|角度(max_dir，left_dir)|时、即被判定为都相等时，其处理进入步骤S88。
在步骤S88中，方向辨别部123，判定与局部边缘的方向正交的方向(max_dir)和垂直方向所成的角度(max_dir，max_dir)是否大于等于0、即判定方向(max_dir)是否向相对于图18中的垂直方向mid_dir向左侧倾斜。
在步骤S88中，例如，当判定角度(max_dir，max_dir)大于0时、即方向(max_dir)向左侧倾斜时，在步骤S89中，方向辨别部123，认为以关注像素为中心的左侧的局部边缘的方向(left_dir)的两个像素所对应的对角线方向是局部边缘的方向，并将选择方向(sel_dir)作为方向(left_dir)，其处理进入步骤S97(图10)。
另一方面，在步骤S88中，当判定角度(max_dir，max_dir)不大于0时，在步骤S90中，方向辨别部123，判定与局部边缘的方向正交的方向(max_dir)和垂直方向(mid_dir)所成的角度(max_dir，max_dir)是否小于0。
在步骤S90中，例如，当判定角度(max_dir，max_dir)小于0时，在步骤S91中，方向辨别部123，将以关注像素为中心的右侧的局部边缘的方向(right_dir)的两个像素所对应的对角线的方向，视作局部边缘的方向，并将选择方向(sel_dir)作为方向(right_dir)，其处理进入步骤S97(图10)。
另一方面，在步骤S90中，当判定角度(max_dir，max_dir)不小于0、即判定是0时，其处理进入步骤S92。
在步骤S92中，方向辨别部123，判定由上述的式(6)计算的右侧的局部边缘的方向(right_dir)的能量E(right_dir)，是否大于由上述的式(6)计算的左侧的局部边缘的方向(left_dir)的能量E(left_dir)。
在步骤S92中，例如，当判定能量E(right_dir)大于能量E(left_dir)时，在步骤S93中，方向辨别部123，认为以关注像素为中心的左侧的局部边缘的方向(left_dir)的两个像素所对应的对角线方向是局部的边缘方向，并将选择方向(sel_dir)作为方向(left_dir)，其处理进入步骤S97(图10)。
另一方面，在步骤S92中，当能量E(right_dir)小于等于能量E(left_dir)时，其处理进入步骤S94。
在步骤S94中，方向辨别部123，判定由上述的式(6)计算的左侧的局部边缘的方向(left_dir)的能量E(left_dir)，是否小于由上述的式(6)计算的右侧的局部边缘的方向(right_dir)的能量E(right_dir)。
在步骤S94中，例如，当判定能量E(left_dir)大于能量E(right_dir)时，在步骤S95中，方向辨别部123，认为以关注像素为中心的右侧的局部边缘的方向(right_dir)的两个像素所对应的对角线的方向是局部边缘的方向，并将选择方向(sel_dir)作为方向(right_dir)，其处理进入步骤S97(图10)。
在步骤S94中，当判定能量E(left_dir)不大于能量E(right_dir)时、即判定都相等时，在步骤S96中，方向辨别部123，将选择方向(sel_dir)作为垂直方向(mid_dir)，认为该两个像素所对应的垂直线的方向是局部边缘的方向。
在步骤S97(图10)中，方向辨别部123，判定由前级选择的局部边缘的方向(sel_dir)，是否为从根据实际像素而插值生成的像素值计算的方向、即判定是否为虚拟方向(例如，后述的图18的方向L1、L3、L5、L7)。
在步骤S97中，例如，当选择方向sel_dir的变量dir是偶数时、即sel_dir＝2n时(例如，后述的图18的方向L0、L2、L4、L6、L8时)，方向辨别部123，判定sel_dir是实际方向，并结束方向辨别处理，将表示局部边缘的方向sel_dir(后述的图18中的Lsel_dir方向)的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125，其处理进入图6的步骤S56的处理。
另一方面，在步骤S97中，例如，当选择的方向sel_dir的变量dir是奇数时、即sel_dir＝2n+1时(例如，后述的图18的方向L1、L3、L5、L7时)，方向辨别部123，判定sel_dir是虚拟方向，其处理进入步骤S98。
在步骤S98中，方向辨别部123，判定由上述的式(6)计算的被选择的局部边缘的方向(sel_dir)的右侧相邻的实际方向(sel_dir+1)的能量E(sel_dir+1)，是否小于由上述的式(6)计算的被选择的局部边缘的虚拟方向(sel_dir)的左侧相邻的实际方向(sel_dir-1)的能量E(sel_dir-1)。
在步骤S98中，例如，当判定能量E(sel_dir+1)小于能量E(sel_dir-1)时，其处理进入步骤S99。另一方面，在步骤S98中，当判定能量E(sel_dir+1)大于等于E(sel_dir-1)时，其处理进入步骤S102。
在步骤S99中，方向辨别部123，判定由上述的式(7)计算的被选择的局部边缘的方向(sel_dir)的右侧相邻的实际方向(sel_dir+1)的能量diff(sel_dir+1)，是否小于由上述的式(7)计算的被选择的局部边缘的虚拟方向(sel_dir)的左侧相邻的实际方向(sel_dir-1)的能量diff(sel_dir-1)。
在步骤S99中，例如，当判定能量diff(sel_dir+1)小于能量diff(sel_dir-1)时，其处理进入步骤S100。
另一方面，在步骤S99中，当能量diff(sel_dir+1)大于等于能量diff(sel_dir-1)时，方向辨别部123，认为不能够用实际方向代替虚拟方向(将虚拟方向替换设定为实际方向)，将虚拟方向作为选择方向，结束方向辨别处理，进入图6的流程图中的步骤S56。此时，方向辨别部123，将表示局部边缘的方向sel_dir(后述的图18中的Lsel_dir的方向)的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125。
在步骤S100中，方向辨别部123，判定被选择的局部边缘的虚拟方向(sel_dir)，是否与垂直方向的左侧相邻的虚拟方向(mid_dir-1)一致。
在步骤S100中，例如，当判定sel_dir与mid_dir-1一致时，方向辨别部123，认为能够用实际方向代替虚拟方向(将虚拟方向替换设定为实际方向)，将虚拟方向作为选择方向，结束方向辨别处理，进入图6的流程图中的步骤S56。此时，方向辨别部123，将表示局部边缘的方向sel_dir(后述的图18中的Lsel_dir的方向)的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125。
在步骤S100中，例如，当判定sel_dir与mid_dir-1不一致时，在步骤S101中，方向辨别部123，认为能够用实际方向代替虚拟方向(将虚拟方向替换设定为实际方向)，将选择方向(sel_dir)，替换为作为虚拟方向所选择的局部边缘的方向(sel_dir)的右侧相邻的实际方向(sel_dir+1)。
另一方面，在步骤S102中，方向辨别部123，判定由上述的式(6)计算的被选择的局部边缘的虚拟方向(sel_dir)的左侧相邻的实际方向(sel_dir-1)的能量E(sel_dir-1)，是否小于由上述的式(6)计算的被选择的局部边缘的方向(sel_dir)的右侧相邻的实际方向(sel_dir+1)的能量E(sel_dir+1)。
在步骤S102中，例如，当判定能量E(sel_dir-1)小于能量E(sel_dir+1)时，其处理进入步骤S103。
另一方面，在步骤S102中，例如，当能量E(sel_dir-1)大于等于能量E(sel_dir+1)时，方向辨别部123，认为不能够用实际方向代替虚拟方向(将虚拟方向替换设定为实际方向)，将虚拟方向作为选择方向，结束方向辨别处理，进入图6的流程图中的步骤S56。此时，方向辨别部123，将表示局部边缘的方向sel_dir(后述的图18中的Lsel_dir的方向)的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125。
在步骤S103中，方向辨别部123，判定由上述的式(7)计算的被选择的局部边缘的虚拟方向(sel_dir)的左侧相邻的实际方向(sel_dir-1)的能量diff(sel_dir-1)，是否小于由上述的式(7)计算的被选择的局部边缘的方向(sel_dir)的右侧相邻的实际方向(sel_dir+1)的能量diff(sel_dir+1)。
在步骤S103中，例如，当判定diff(sel_dir-1)小于diff(sel_dir+1)时，其处理进入步骤S104。
另一方面，在步骤S103中，例如，当diff(sel_dir-1)小于等于diff(sel_dir+1)时、即相等时，认为不能够用实际方向代替虚拟方向(将虚拟方向替换设定为实际方向)，将虚拟方向作为选择方向，结束方向辨别处理，进入图6的流程图中的步骤S56。此时，方向辨别部123，将表示局部边缘的方向sel_dir(后述的图18中的Lsel_dir的方向)的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125。
在步骤S104中，方向辨别部123，判定被选择的局部边缘的虚拟方向的选择方向(sel_dir)，是否与垂直方向的左侧相邻的虚拟方向(mid_dir+1)一致。
在步骤S104中，例如，当判定选择方向sel_dir与mid_dir+1一致时，方向辨别部123，认为不能够用实际方向代替虚拟方向(将虚拟方向替换设定为实际方向)，将虚拟方向作为选择方向，结束方向辨别处理，进入图6的流程图中的步骤S56。此时，方向辨别部123，将表示局部边缘的方向sel_dir(后述的图18中的Lsel_dir的方向)的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125。
另一方面，在步骤S104中，当判定sel_dir与mid_dir+1不一致时，在步骤S105中，方向辨别部123，认为能够用实际方向代替虚拟方向(将虚拟方向替换设定为实际方向)，将被选择的局部边缘的虚拟方向的选择方向(sel_dir)，替换为被选择的局部边缘的方向(sel_dir)的左侧相邻的实际方向(sel_dir-1)，结束方向辨别处理，进入图6的流程图中的步骤S56。此时，方向辨别部123，将表示局部边缘的方向sel_dir(后述的图18中的Lsel_dir的方向)的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125。
图14表示方向辨别处理的具体例子。在图14的例子中，分别运算实际像素Y0，0的像素值(0)和实际像素Y1，4的像素值(200)的差、虚拟像素Y0，1/2的像素值(0)和虚拟像素Y1，7/2的像素值(200)的差、实际像素Y0，1的像素值(0)和实际像素Y1，3的像素值(200)的差、虚拟像素Y0，3/2的像素值(0)和虚拟像素Y1，5/2的像素值(100)的差、实际像素Y0，2的像素值(0)和实际像素Y1，2的像素值(200)的差、虚拟像素Y0，5/2的像素值(0)和虚拟像素Y1，3/2的像素值(100)的差、实际像素Y0，3的像素值(0)和实际像素Y1，1的像素值(0)的差、虚拟像素Y0，7/2的像素值(100)和虚拟像素Y1，1/2的像素值(0)的差及实际像素Y0，4的像素值(200)和实际像素Y1，0的像素值(0)的差。
另外，连结实际像素Y0，0和实际像素Y1，4的方向设为方向L0，连结虚拟像素Y0，1/2和虚拟像素Y1，7/2的方向设为L1，连结实际像素Y0，1和实际像素Y1，3的方向设为L2，连结虚拟像素Y0，3/2和虚拟像素Y1，5/2的方向设为方向L3，连结实际像素Y0，2和实际像素Y1，2的方向设为方向L4，连结虚拟像素Y0，5/2和虚拟像素Y1，3/2的方向设为方向L5，连结实际像素Y0，3和实际像素Y1，1的方向设为方向L6，连结虚拟像素Y0，7/2和虚拟像素Y1，1/2的方向设为方向L7，连结实际像素Y0，4和实际像素Y1，0的方向设为L8，以下也同样地称呼。
此外，在图14中，由实线圆表示的是实际像素，虚线圆表示的是作为由实际像素插值生成的像素的虚拟像素。并且，连结实际像素间的箭头以实线表示，连结虚拟像素间的箭头以虚线表示。
通过步骤S81中的max_dir方向选择处理，以关注像素为中心，在右侧和左侧，由上述的式(6)计算的能量E(dir)(dir＝2，3，5，6)的值中最高值(该例的情况下，是连结像素Y0，1和像素Y1，3的L2方向)被选择，选择该两个像素所对应的对角线方向，作为与以关注像素为中心的局部边缘的方向正交的方向(max_dir)。
另外，通过步骤S82中的left_dir方向选择处理，选择以关注像素为中心在左侧，且具有由上述的式(6)计算的能量E(dir)(dir＝0，1，2，3，4)的值中最小的值(该例的情况下，是连接像素Y0，2和像素Y1，2的L4方向)的方向作为选择方向。
并且，通过步骤S83中的right_dir方向选择处理，选择以关注像素为中心在右侧，并且具有由上述的式(6)计算的能量E(dir)(dir＝4，5，6，7，8)的值中的最小的值(该例的情况下，是连结像素Y0，3和像素Y1，1的L6方向)的方向，作为以关注像素为中心的右侧的局部边缘的方向(right_dir)。
在步骤S84中，判定以关注像素为中心、右侧的局部边缘方向L6(right_dir＝6)和与局部边缘的方向正交的方向L2(max_dir＝2)的角度的绝对值|角度(max_dir，right_dir)|，是否小于左侧的局部边缘的方向L4(left_dir＝4)和与局部边缘的方向正交的方向L2(max_dir＝2)的角度的绝对值|角度(max_dir，left_dir)|。
图14的情况下，当|角度(max_dir，right_dir)|＝|max_dir-right_dir|＝|2-6|＝4、且|角度(max_dir，left_dir)|＝|max_dir-left_dir|＝|2-4|＝2时，|角度(max_dir，left_dir)|＝2小于|角度(max_dir，right_dir)|＝4，因此，其处理进入步骤S86。
并且，在步骤S86中，判定以关注像素为中心、右侧的局部边缘的方向L6(right_dir＝6)和与局部边缘的方向正交的方向L2(max_dir＝2)的角度的绝对值|角度(max_dir，right_dir)|，是否大于左侧的局部边缘的方向L4(left_dir＝4)和与局部边缘的方向正交的方向L4(max_dir＝4)的角度绝对值|角度(max_dir，left_dir)|。
图14的情况下，|角度(max_dir，right_dir)|＝4大于|角度(max_dir，left_dir)|＝2，因此，其处理进入步骤S87，以关注像素为中心的右侧的局部边缘的方向L6(right_dir＝6)被选择，可认为该两个像素所对应的对角线的方向L6是局部边缘的方向，其处理进入步骤S97。
在步骤S97中，判定由前级选择的局部边缘的方向L6(sel_dir)是否是虚拟方向。
图14的情况下，被选择的sel_dir＝6是偶数、即是sel_dir＝2n，因此，可认为sel_dir是实际方向，将结束方向选择处理。
作为结果，其处理进入图6的步骤S56，方向辨别部123将表示局部边缘的方向L6的方向信息，输出到方向插值部131、可靠度分级部124及方向性分布生成部125。
另外，图14表示了从原图的I_Image的上行的5像素(实际像素)和下行的5像素(实际像素)的差而推测局部边缘方向的例子。在图14的例子中，N值被认为是5，但是作为该N值使用更大的值，从而能够进行更正确且更多方向的边缘的检测。
在此，返回到图6的流程图说明。
当由步骤S55的边缘方向辨别处理辨别边缘方向时，在步骤S56中，方向插值部131，使用该被辨别的边缘方向的像素，进行插值处理(进行方向插值处理)。该方向插值处理意味根据与边缘方向对应的两个像素的像素值，对位于其间的像素的像素值进行插值。例如，在图14的例子中，像素Y0，3和像素Y1，1的像素值的平均值(0)，是两者间的像素的像素值。
在步骤S57中，可靠度分级部124执行结构集合处理。该结构集合处理是如下处理通过分析对插值在坐标(X+N/2，Y+0.5)的像素I_Image(X+N/2，Y+0.5)、其垂直的附近像素和斜方向附近像素、即坐标up_line(N/2)、up_line(N/2-1)、up_line(N/2+1)、坐标down_line(N/2)、down_line(N/2-1)、down_line(N/2+1)的关系，对被更新的局部构造(由步骤S56的方向插值处理生成的像素和其上下/斜向的像素)的一致性进行检查。
即，在该结构集合处理中，进行从上行的中心像素中减去被更新的像素的处理，并且，进行从被更新的像素减去下行的中心像素的处理。并且，通过将由以上得到的两个相减结果进行相乘，计算表示垂直方向的变化的值V(N/2)。即，在步骤S57中，下式(8)被运算。
V(N/2)＝(up_line(N/2)-I_Image(X+N/2，Y+0.5))×(I_Image(X+N/2，Y+0.5)-down_line(N/2))…(8)在此，I_Image(X+N/2，Y+0.5)是插值生成的被更新的像素的像素值。
并且，在该结构集合处理中，进行减去上行的中心像素的右侧相邻像素的处理，并且，进行从上行的中心像素的左侧相邻的像素减去上行的中心像素的处理。另外，通过将由以上得到的两个相减结果，计算表示上行的水平方向的变化的值H_up(N/2)相乘。即，在步骤S57中，下式(9)被运算。
H_up(N/2)＝(up_line(N/2)-up_line(N/2+1))×(up_line(N/2-1)-up_line(N/2))…(9)并且，在该结构集合处理中，进行从下行的中心像素减去右侧相邻的像素的处理，并且，进行从下行的中心像素的左侧相邻的像素减去下行的中心像素的处理。并且，通过将由以上得到的两个相减结果进行相乘，计算表示下行的水平方向的变化的值H_down(N/2)。即，在步骤S57中，下式(10)被运算。
H_down(N/2)＝(down_line(N/2)-down_line(N/2+1))×(down_line(N/2-1)-down_line(N/2))…(10)在步骤S58中，可靠度分级部124根据在步骤S57中的运算结果，判定是否有被更新的局部构造的一致性。该判定根据由上述式(8)至式(10)运算的值V(N/2)、H_up(N/2)及H_down(N/2)是否为正而进行。
当值V(N/2)为负、且值H_up(N/2)为负、且值H_down(N/2)为负、且减法up_line(N/2)-I_Image(X+N/2，Y+0.5)的结果的绝对值超过规定阈值、且减法I_Image(X+N/2，Y+0.5)-down_line(N/2)的结果的绝对值超过规定阈值、且减法up_line(N/2)-up_line(N/2+1)的结果的绝对值超过规定阈值、且减法up_line(N/2-1)-up_line(N/2)的结果的绝对值超过规定阈值、且减法down_line(N/2)-down_line(N/2+1)的结果的绝对值超过规定阈值、且减法down_line(N/2-1)-down_line(N/2)的结果的绝对值超过规定阈值时，认为没有一致性。
即，判定为局部方向的识别有误，由步骤S56生成的像素值不恰当。此时，可靠度分级部124，在步骤S59中，使其插值像素的可靠度为0，输出到方向性分布生成部125。
在步骤S59中，可靠度分级部124，使该插值像素的可靠度为0，输出到方向性分布生成部125。
与此相对，在步骤S58中，可靠度分级部124，当存在上述条件中一个都不满足的条件时，认为有一致性，在步骤S60中，使该插值像素的可靠度为1，输出到方向性分布生成部125。
在步骤S61中，判定相对于关注像素的关注区域的所有的插值像素是否被插值，当被判定为关注区域的所有插值像素没有被插值时，其处理返回到步骤S51，重复步骤S51至S61的处理直到所有的插值像素被插值为止，在步骤S61中，当被判定为所有的插值像素被插值时，其处理进入步骤S62。在此，对于关注像素的关注区域，是指例如由图15所示的P(像素数)×M(行)的范围的插值像素。此外，在图15中，白色圆表示关注像素(插值像素)，黑色圆表示插值像素，涂斜线的圆表示原图像的像素(原来存在的像素)。在步骤S51中，所有的插值像素被插值是表示图中黑色圆表示的像素全部被插值，其处理进入步骤S62。
在步骤S62中，倾斜度选择处理被执行。
在此，参照图16的流程图，对倾斜度选择处理进行说明。
在步骤S211中，方向性分布生成部125生成方向性分布。即，方向性分布生成部125，从到此为止输入的边缘方向、和其可靠度的信息，生成方向性分布。即，在方向性分布生成部125中，如图17所示，对应于插值像素的配置，输入与各插值像素的插值方向对应的可靠度信息。
此外，在图15中，由于示出了图中5像素×3行的插值像素，因此，在图17的左部，示出了与此对应的15个插值像素的配置。另外，在图17的中央部，示出了各插值像素的插值方向。该插值像素的方向，如图18所示，是与设定为关于关注像素点对称的方向对应的号码，实际方向L0是连结上段左端的实际像素和下段右端的实际像素的方向，虚拟方向L1是连结从上段左端第二个虚拟像素和从下段右端第二个虚拟像素的垂直的直线上的方向，实际方向L2是连结从上段左第三个实际像素和从下段右第三个实际像素的直线上的方向，虚拟方向L3是连结从上段左第四个虚拟像素和从下段右第四个虚拟像素的直线上的方向，实际方向L4是连结正上方的实际像素和正下方的实际像素的直线上的方向，虚拟方向L5是连结从上段右第四个虚拟像素和从下段左第四个虚拟像素的直线上的方向，实际方向L6是连结从上段右第三个实际像素和从下段左第三个实际像素的直线上的方向，虚拟方向L7是连结从上段右端第二个虚拟像素和从下段左端第二个虚拟像素的直线上的方向，实际方向L8是连结从上段右端的实际像素和从下段左端的实际像素的直线上的方向。
另外，在图17的右部，示出了可靠度分布，作为可靠度报告2的像素上表示有△、作为可靠度报告1的像素上表示有○、作为可靠被报告0的像素上表示有×。
即，根据图17，插值像素的插值方向被表示为从上段左是4，4，8，8，8；中段左起是8，7，8，7，8；下段左起是8，8，8，4，4。另外，可靠度，上段左起是△，△，○，○，○；中段左起是○，○，×，○，○；从下段左是○，○，○，△，△。
结果，方向性分布生成部125，如图19中所示，可通过表示按各方向所赋的○数的直方图构成的方向性分布，表示按方向LI(I＝0，1，…2N-2)的分布Population_LI。即，在图17中，实际方向L0，成为0个○(Population_L0)、0个×；虚拟方向L1，成为0个○(Population_L1)、0个×；实际方向L2，成为0个○(Population_L2)、0个×；虚拟方向L3，成为0个○(Population_L3)、2个×；实际方向L4，成为0个○(Population_L4)、4个△、0个×；虚拟方向L5，成为0个○(Population_L5)、0个×；实际方向L6，成为0个○(Population_L6)、0个×；虚拟方向L7，成为2个○(Population_L7)、0个×；实际方向L8，成为8个○(Population_L8)、1个×。
在步骤S211中，生成方向性分布，生成的方向性分布信息被提供给倾斜度选择部126。
在此，返回到图16的流程图说明。
在步骤S212中，倾斜度选择部126，从这些方向性分布(与插值方向对应的可靠度分布)设定以下的Balance函数。
即，首先，倾斜度选择部126，设定与由以下的式(11)所示的与关注像素(X，Y)对应的Balance函数。
Balance(X，Y)＝∑I＝N，…2N-2Population_LI-∑I＝0，…N-2Population_LI…(11)Population_LI是对于某方向LI，表示作为可靠度报告1的像素数的值。Total_population是对于各方向LI(I＝0，…2N-2)，表示将作为可靠度报告1的像素数相加的总数的值。
上述Balance函数式，是表示以关注像素为中心分析方向性的分布信息的一个倾斜度的函数安装的例子，也可以是其他函数。
在步骤S213中，倾斜度选择部126，判定Balance(X，Y)是否为0(零)，例如当判定为0(零)时，在步骤S217中，作为由图18定义的方向LI中可靠度最高的方向，I将I＝N-1(垂直方向)作为可靠度最高的方向进行选择。
另一方面，在步骤S213中，当判定为Balance(X，Y)不是0(零)时，在步骤S214中，倾斜度选择部126，判定Balance(X，Y)是否是正值。
在步骤S214中，例如，当判定为Balance(X，Y)是正值时，在步骤S215中，倾斜度选择部126，从在步骤S211中生成的方向性分布，由图18定义的方向LI中作为可靠度最高的倾斜度，I选择从I＝(N+1)到2N-2的范围，提供给统计斜插值部128。
另一方面，在步骤S214中，当判定为不是正值时，在步骤S216中，倾斜度选择部126，由图18定义的方向LI中，选择I从I＝0到N-2的范围，作为可靠度最高的倾斜度，提供给统计斜插值部128。
即，由式(11)定义的函数，当以垂直方向为中心，将表示方向的箭头上端位置由方向L4左右分开时，表示左右的哪一侧有可靠性的倾向，例如，根据步骤S215的处理求出取得由图18定义的方向L0、L1、L2和L3的组全体的可靠性、与方向L5、L6、L7和L8的组全体的可靠性的各自的和的值的差，通过比较其大小，求出相对于垂直方向倾斜于左右哪一侧，将从表示可靠性的倾向的组中，计算出倾斜度的分布。
图19的情况下，方向性分布如下，Population_L0为0、Population_L1为0、Population_L2为0、Population_L3为0、Population_L4为0、Population_L5为0、Population_L6为0、Population_L7为2、Population_L8为8。
在此，Balance＝(Population_L8+Population_L7+Population_L6+Population_L5-Population_L0-Population_L1-Population_L2-Population_L3)＝10，因此，Balance函数成为正(步骤S214的处理)，因此，方向L5、L6、L7、L8的组将作为可靠性最高的倾斜度被选择。
在步骤S218中，倾斜度选择部126，将所计算的倾斜度的分布信息输出到统计斜插值部128。
当判定Balance(X，Y)是0(零)时，在步骤S217中，由图18定义的方向LI中，选择I为I＝N-1(垂直方向)作为可靠度最高的方向。
在此，返回到图6的流程图说明。
在步骤S63及步骤S64中，根据由倾斜度选择部126生成的方向性分布的信息，执行信号中存在的边缘和纹理的分离处理，生成边缘强度信息及纹理强度信息。
即，在步骤S63中，边缘强度信息生成部132，如以下的式(12)所示，对组合了关注像素(X，Y)的斜方向和垂直方向的权重weight_edge(X，Y)进行设定，并输出到一维垂直图像更新处理部17。
Weight_edge(X，Y)＝(ABS(Balance(X，Y))+Vertical_population(X，Y)/Total_population(X，Y)…(12)Balance(X，Y)＝∑I＝N，…2N-2Population_LI-∑I＝0，N-2Population_LIVertical_population(X，Y)＝∑I＝N-1Population_LITotal_population(X，Y)＝∑I＝0，2N-2Population_LIPopulation_LI是对于某方向LI，表示作为可靠度报告1的像素数的值。Vertical_population是对于垂直方向LI(I＝N-1)，表示作为可靠度报告1的像素数的值。Total_population是对于各方向LI(I＝0，…2N-2)，表示将作为可靠度报告1的像素数相加的总数的值。
即，组合了斜方向和垂直方向的权重，被设定为与Balance函数的绝对值相加的Vertical_population与总可靠度的的比例。
上述weight_edge函数的式，是表示以关注像素为中心分析了方向性的分布信息的一个边缘强度信息的函数的例子，也可以设定其他函数。例如，可以是如下函数例如，在相对于关注像素的关注区域是由图15所示的P(像素数)×M(行)的范围中，对于各像素的方向，进行与相邻像素方向的比较，当方向相同时，由于方向性一致，评价为边缘强度高，相反，当方向不相同时，由于方向性不一致，也可以是评价为边缘强度低。
在步骤S64中，纹理强度信息生成部133，如以下的式(13)所示，设定将关注像素(X，Y)的所有方向进行组合的权重weight_texture(X，Y)，并输出到一维垂直图像更新处理部17。
weight_texture(X，Y)＝Total_population(X，Y)/(P(像素数)×M(行))…(13)Total_population(X，Y)＝∑I＝0，…2N-2Population_LIPopulation_LI是对于某方向LI，表示作为可靠度报告1的像素数的值。Total_population是对于各方向LI(I＝0，…2N-2)，表示将作为可靠度报告1的像素数相加的总数的值。
即，组合了关注像素(X，Y)所有的方向的权重weight_texture(X，Y)，被设定为各方向LI(I＝0，…2N-2)的作为可靠度报告1的像素数与为以关注像素为中心用于分析方向性的分布信息而使用的总像素的比例。
上述weight_texture函数式，是表示以关注像素为中心分析了方向性的分布信息的一个纹理强度信息的函数的例子，也可以设定其他函数。例如，也可以考虑如下的函数当相对于关注像素的关注区域是图15所示的P(像素数)×M(行)的范围时，对于其中的各像素的方向，进行与相邻像素的方向的比较，当方向相同时，由于方向性一致，评价为纹理强度低，相反，当方向不同时，由于方向性不一致，评价为纹理强度高。
在步骤S66中，统计斜插值部128计算倾斜度分布。
例如，在步骤S214中，当判定为Balance(X，Y)是正值时，统计斜插值部128，从I＝(N+1)到2N-2范围中计算倾斜度的分布。
即，统计斜插值部128，从在步骤S211中被生成的方向性分布，由图18定义的方向LI中，选择I从I＝(N+1)到2N-2的范围，作为可靠度最高的倾斜度，通过运算以下的式(14)求出统计斜插值像素。
统计斜插值像素(X，Y)＝{1÷∑I＝N+1，…2N-2Population_LI}×{∑I＝N+1，…2N-2Population_LI×倾斜平均像素(LI)}…(14)此时，统计斜插值部128，在从I＝0到N-2的范围中计算倾斜度的分布。
另一方面，在步骤S214中，当判定为不是正值时，统计斜插值部128，由图18定义的方向LI中，选择I从I＝0到N-2范围，作为可靠度最高的倾斜度，通过运算以下的式(15)求出统计斜插值像素。
统计斜插值像素(X，Y)＝{1÷∑I＝0，…N-2Population_LI}×{∑I＝0，…N-2Population_LI×倾斜平均像素(LI)}…(15)即，图18的情况下，倾斜度L5、L6、L7、L8被选择，因此，当如图18存在关注像素时，统计斜插值部128，虚拟方向L5是连结从上段的行上的右起第四个虚拟像素和从下段左起第四个虚拟像素的直线上的方向，实际方向L6是连结从上段右起第三个实际像素和从下段左起第三个实际像素的直线上的方向，虚拟方向L7是连结从上段右端起第二个虚拟像素和从下段左端起第二个虚拟像素的直线上的方向，实际方向L8是连结上段右端的实际像素和下段左端的实际像素的直线上的方向，由以下的式(16)至式(20)计算根据存在于各方向LI上的像素间的平均像素值、倾斜平均像素(LI)的倾斜度分布的加权平均像素值(统计斜插值像素)。
统计斜插值像素(X，Y)＝{1÷(Population_L5+Population_L6+Population_L7+Population_L8)}×{Population_L5×倾斜平均像素(L5)+Population_L6×倾斜平均像素(L6)+Population_L7×倾斜平均像素(L7)+Population_L8×倾斜平均像素(L8)}…(16)平均像素(L5)＝0.5×(虚拟像素Y0，5/2+虚拟像素Y1，3/2)…(17)平均像素(L6)＝0.5×(实际像素Y0，3+实际像素Y1，1)…(18)平均像素(L7)＝0.5×(虚拟像素Y0，7/2+虚拟像素Y1，1/2)…(19)
平均像素(L8)＝0.5×(实际像素Y0，4+实际像素Y1，0)…(20)在步骤S65中，线性插值部127，将根据相对于关注像素在垂直方向的上下存在的多个像素间的滤波处理的像素值，作为现有的插值像素的线性插值像素而求出，输出到合成部130。
在步骤S66中，统计斜插值部128，将根据倾斜度分布的加权平均像素值，作为统计斜插值像素值输出到合成部130，其中，该倾斜度分布是在包含由倾斜度选择部126选择的倾斜度的各方向存在的像素间的平均像素值的倾斜度分布。
在步骤S67中，斜权重附加部129，如以下的式(21)所示，设定关注像素(X，Y)的斜方向的权重weight_slant(X，Y)，并输出到合成部130。
weight_slant(X，Y)＝ABS(ABS(Balance(X，Y)-Offset)/Total_population(X，Y)…(21)Balance(X，Y)＝∑I＝N+1，…2N-2Population_LI-∑I＝0，…N-2Population_LITotal_population(X，Y)＝∑I＝0，…2N-2Population_LIOffset＝阈值即，斜方向权重，被设定为Balance函数的绝对值对全可靠度的比例。
在步骤S68中，合成部130，根据以下的式(22)的运算，将由线性插值部127输入的线性插值像素和统计斜插值像素加权合成，并作为合成插值像素输出。
合成插值像素(X，Y)＝(1-weight_slant(X，Y)×(线性插值像素(X，Y))+weight_slant(X，Y)×(统计斜插值像素(X，Y))…(22)
即，与线性插值像素有关的权重，可由(1-weight_slant(X，Y))表现，因此，在由线性插值求出的像素值中，作为与线性插值有关的权重乘以(1-weight_slant(X，Y))，作为与斜插值像素有关的权重乘以weight_slant(X，Y)，将取得线性和的合成插值像素设为最终的合成插值像素。由此，垂直方向和斜方向的插值，由于通过该权重被平衡良好地合成，能够生成正确的合成插值像素。
为了求出位于I_Image的各垂直坐标(Y+0.5)的位于未知行的各坐标(X+N/2，Y+0.5)上的未知像素I_Image(X+N/2，Y+0.5)，重复执行同样的处理。
此外，在以上的例子中，虽然说明了关注区域是5像素×3行的情况，但是例如，关注区域也可以为由这以外的像素数构成的区域。
另外，作为边缘方向的求出方法，如图14中所示，根据式(6)，将关注像素作为中心、在对角方向存在的一组的成为一对的像素间的像素值的差值中最小的一对方向作为边缘方向，但是，也可以在每个方向使用多个像素间的差而求出边缘方向，例如，如图20至图26所示，也可以求出多个像素间的差值，从而使用它们的合计。即，在图20中，求出像素Y0，0和像素Y1，3、像素Y0，1和像素Y1，4、像素Y0，0和像素Y0，1及像素Y1，3和像素Y1，4的各像素间差的加权平均；在图21中，求出像素Y0，0和像素Y1，2的像素间差、像素Y0，1和像素Y1，3的像素间差、像素Y0，2和像素Y1，4的像素间差的平均；在图22中，求出像素Y0，0和像素Y1，1、像素Y0，1和像素Y1，2、像素Y0，2和像素Y1，3、像素Y0，3和像素Y1，4的像素间差的平均；在图23中，求出像素Y0，0和像素Y1，0、像素Y0，1和像素Y1，1、像素Y0，2和像素Y1，2、像素Y0，3和像素Y1，3、像素Y0，4和像素Y1，4及像素Y0，1和像素Y0，2、像素Y0，3和像素Y0，2、像素Y0，1和像素Y0，3、像素Y1，1和像素Y1，2、像素Y1，3和像素Y1，2、像素Y1，1和像素Y1，3的各像素间差的加权平均；在图24中，求出像素Y0，1和像素Y1，0、像素Y0，2和像素Y1，1、像素Y0，3和像素Y1，2和像素Y0，4和像素Y1，3的像素间差的平均；在图25中，求出像素Y0，2和像素Y1，0的像素间差、像素Y0，3和像素Y1，1和像素Y0，4和像素Y1，2的像素间差的平均；并且，在图26中，求出像素Y0，3和像素Y1，0的像素间差与像素Y0，4和像素Y1，1的像素间差的平均，各平均也可以将使用上述方向辨别处理而选择的一对组合所存在的方向，判定为边缘方向。
返回到图5的流程图，如以上那样进行了步骤S21的向上采样处理后，进入步骤S22，执行一维垂直图像更新处理。该一维垂直图像更新处理由一维垂直图像更新处理部17执行。
在此，参照图27的流程图，说明由一维垂直图像更新处理部17进行的一维垂直图像更新处理。
在步骤S241中，判定由图像输入部1输入的图像数据中是否存在没有处理的像素，当判定为存在没有处理的像素时，其处理进入步骤S242。
在步骤S242中，垂直最大值最小值检测部192，比较包含未处理像素的上下5个像素的像素值，求出最大值和最小值。即，例如，如图28所示，当未处理像素是像素m时，读出将其包含的上下像素c、h、m、r、w(由图28中的虚线包围的5像素区域)的各像素值，如图29所示，求出其内的最大值(c，h，m，r，w)和最小值(c，h，m，r，w)。
在步骤S243中，纹理滤波处理部191，对图29所示的5像素区域的像素c、h、m、r、w，执行如图29所示的一维纹理滤波处理。即，一维纹理滤波器为(1/4-αT/2，0，αT+1/2，0，1/4-αT/2)(0.5＜αT)，例如，当纹理滤波器是上述类型A时，通过以下的式(23)所示的运算，求出被纹理滤波处理后的像素值纹理像素。
纹理像素(X，Y)＝c×(1/4-αT/2)+m×(αT+1/2)+w×(1/4-αT/2)…(23)在此，系数αT是调节纹理滤波器的纹理强调程度的系数。
在步骤S244中，边缘滤波处理部193，对图29所示的5像素区域的像素c、h、m、r、w，执行如图29所示的一维边缘滤波处理。即，一维边缘滤波器为(1/4-αE/2，1/4，αE，1/4，1/4-αE/2)(0.5＜αE)，例如，当边缘滤波器是上述类型A时，通过以下的式(24)所示的运算，求出被边缘滤波处理的像素值边缘像素。
边缘像素(X，Y)＝c×(1/4-αE/2)+h×1/4+m×αE+r×1/4+w×(1/4-αE/2)…(24)在此，系数αE能够调节根据滤波器的边缘的强调程度。
在步骤S245中，如图29所示，辨别比较部194，比较进行了边缘滤波处理的像素值边缘像素和最大值(c，h，m，r，w)，判定进行了边缘滤波处理的像素值边缘像素是否大于等于最大值(c，h，m，r，w)。例如，在步骤S245中，当判定为进行了边缘滤波处理的像素值边缘像素大于等于最大值(c，h，m，r，w)时，在步骤S246中，辨别比较部194，将像素值边缘像素替换为最大值(c，h，m，r，w)，进入步骤S247。
在步骤S245中，当判定为进行了边缘滤波处理的像素值边缘像素不大于等于最大值(c，h，m，r，w)时，在步骤S250中，辨别比较部194，比较进行了边缘滤波处理的像素值边缘像素和最小值(c，h，m，r，w)，判定进行了边缘滤波处理的像素值边缘像素是否小于等于最小值(c，h，m，r，w)，当判定为进行了滤波处理的像素值边缘像素小于等于最小值(c，h，m，r，w)时，其处理进入步骤S251。
在步骤S251中，辨别比较部194，将像素值边缘像素替换为最小值(c，h，m，r，w)，进入步骤S247。
在步骤S250中，当判定为进行了边缘滤波处理的像素值边缘像素不小于等于最小值(c，h，m，r，w)时，其处理进入步骤S247。
即，在步骤S244的处理中，如图29所示，由步骤S244的处理求出的最大值(c，h，m，r，w)及最小值(c，h，m，r，w)，可当作像素c、h、m、r、w的局部范围的最大值和最小值；当由步骤S244的处理进行边缘滤波处理而求出的像素值，被包含在其最小值和最大值的范围中时，直接被保存，当小于等于最小值(c，h，m，r，w)时，像素值被替换为最小值，当大于等于最大值(c，h，m，r，w)时，像素值被替换为最大值(被削波)。
例如，根据图30的实例，比较进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)和最大值(c，h，m，r，w)“A”，当被判定为进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)大于等于最大值(c，h，m，r，w)“A”时，将进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)替换为最大值(c，h，m，r，w)“A”(图30的实例1)。
另一方面，判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)不大于等于最大值(c，h，m，r，w)“A”，比较进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)和最小值(c，h，m，r，w)“B”，当判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)小于等于最小值(c，h，m，r，w)“B”时，将进行了边缘滤波处理的像素值边缘像素“B替换为最小值(c，h，m，r，w)“B”(图30的实例1)。
通过如上的处理，由于进行了局部范围的最大值(c，h，m，r，w)和最小值(c，h，m，r，w)的比较，如图30的实例1所示，抑制明处的多余过亮(图30的实例2)的同时，也能够回避暗处的过暗(图30的实例2)。
在步骤S245中，辨别比较部194，为了在边缘附近进一步强调对比度，判定进行了边缘滤波处理的像素值边缘像素是否大于等于最大值(c，h，m，r，w)，当判定为大于等于最大值(c，h，m，r，w)时，在步骤S246中，辨别比较部194，将像素值边缘像素替换为最大值(c，h，m，r，w)，但是当判定为进行了边缘滤波处理的像素值边缘像素不大于等于最大值(c，h，m，r，w)时，在步骤S250中，辨别比较部194，比较进行了边缘滤波处理的像素值边缘像素和最小值(c，h，m，r，w)，判定进行了边缘滤波处理的像素值边缘像素是否小于等于最小值(c，h，m，r，w)。
在步骤S250中，当判定为进行了边缘滤波处理的像素值边缘像素小于等于最小值(c，h，m，r，w)时，在步骤S251中，辨别比较部194，不将像素值边缘像素替换为最小值(c，h，m，r，w)，进入步骤S247。通过这样的处理，由于只进行与一方的最大值(c，h，m，r，w)的比较，如图30的实例3所示，抑制明处的多余过亮的同时，也能够确保暗处的适度强调。
即，如图29所示，由步骤S244的处理求出的最大值(c，h，m，r，w)，被当作像素c、h、m、r、w的局部范围的最大值，通过步骤244的处理进行边缘滤波处理而求出的像素值，在小于等于该最大值时被直接保存，当大于最大值(c，h，m，r，w)时，像素值替换为最大值(单方被削波)。
例如，根据图30的实例，比较进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)和最大值(c，h，m，r，w)“A”，判定为进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)大于等于最大值(c，h，m，r，w)“A”时，将进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)替换为最大值(c，h，m，r，w)“A”(图30的实例3)。
另一方面，当判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)不大于等于最大值(c，h，m，r，w)“A”时，比较进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)和最小值(c，h，m，r，w)“B”，当判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)小于等于最小值(c，h，m，r，w)“B”时，不将进行了边缘滤波处理的像素值边缘像素“B替换为最小值(c，h，m，r，w)“B”(图30的实例3)。
通过如以上的处理，由于只进行与局部范围的最大值(c，h，m，r，w)的比较，如图30的实例3所示，抑制明处的多余过亮(图30的实例2)的同时，能够确保暗处的适度的强调(图30的实例3)。
此外，一维纹理滤波器和边缘滤波器，如上述存在两类，存在图29所示的A类型和如图31所示的B类型。即，在A类型中通过由式(23)、式(24)表示的运算，进行纹理滤波和边缘滤波处理，在B类型中进行如以下的式(25)、(26)所示的运算。
纹理像素(X，Y)(B类型)＝h×(1/4-αT/2)+m×(1/2+αT)+r×(1/4-αT/2)…(25)边缘像素(X，Y)(B类型)＝h×(1/4-αE/2)+m×(1/2+αE)+r×(1/4-αE/2)…(26)在步骤S247中，纹理适应混合处理部196，根据以下的式(27)的运算，将由垂直向上采样处理部11输入的插值像素和由纹理滤波处理部191输入的像素值纹理像素附加权重进行合成，作为纹理混合像素输出。
纹理混合像素(X，Y)＝(1-weight_exture)×(插值像素(X，Y))+weight_texture×(纹理像素(X，Y))
…(27)即，与插值像素有关的权重可由(1-weight_texture)表现，因此，在由插值求出的像素值中，作为与插值有关的权重乘以(1-weight_texture)，作为与纹理像素有关的权重乘以weight_texture，将取得线性和的合成插值像素设为最终的纹理像素。由此，插值和纹理滤波器的处理，由于根据该权重平衡良好地被合成，能够生成正确的纹理混合像素。
在步骤S248中，边缘适应混合处理部197，通过以下的式(28)的运算，将由纹理适应混合处理部196输入的纹理混合像素和由边缘滤波处理部194输入的像素值边缘像素附加权重进行合成，并作为边缘混合像素输出。
边缘混合像素(X，Y)＝(1-weight_edge)×(纹理混合像素(X，Y))+weight_edge×(边缘像素(X，Y))…(28)即，与纹理混合像素有关的权重，可由(1-weight_edge)表现，因此，在由纹理适应混合处理求出的像素值中，作为与纹理混合像素有关的权重乘以(1-weight_edge)，作为与边缘像素有关的权重被乘以weight_edge，将取得线性和的合成插值像素设为最终的边缘混合像素。由此，纹理适应混合和边缘滤波的处理，由于根据该权重平衡良好地被合成，能够生成正确的边缘混合像素。
在步骤S249中，辨别比较部194，将被替换为最大值(c，h，m，r，w)的像素值，作为像素h的像素值存储到缓冲器17a，其处理返回到步骤S241，重复同样的处理直到被判定为对所有的像素执行了一维垂直边缘强调处理为止。
下面，参照图27的流程图，说明一维纹理滤波器和边缘滤波器是B类型时的一维更新处理。此外，对于与上述的A类型相同的处理，将适当省略说明。
在步骤S242中，垂直最大值最小值检测部192，比较包含未处理像素的上下三个像素的像素值，求出最大值和最小值。即，例如，如图28所示，当未处理像素是像素m时，读出包含其的上下像素h、m、r(由图28中的实线包围的三像素区域)的各像素值，如图31所示，求出其中的最大值(h，m，r)和最小值(h，m，r)。
在步骤S243中，纹理滤波处理部191，对图31所示的3像素区域的像素h、m、r，执行如图31所示的一维纹理滤波处理。即，一维纹理滤波器为(1/4-αT/2，αT+1/2，1/4-αT/2)(0.5＜αT)，例如，当纹理滤波器是上述类型B时，通过以下的式(29)所示的运算，求出被纹理滤波处理的像素值纹理像素。
纹理像素(X，Y)＝h×(1/4-αT/2)+m×(αT+1/2)+r×(1/4-αT/2)…(29)在此，系数αT是调节纹理滤波器的纹理强调程度的系数。
在步骤S244中，边缘滤波处理部193，对图31所示的三像素区域的像素h、m、r，执行如图31所示的一维边缘滤波处理。即，一维边缘滤波器，为(1/4-αE/2，αE+1/2，1/4-αE/2)(0.5＜αE)，例如，当边缘滤波器是上述的类型B时，通过以下的式(30)所示的运算，求出进行了边缘滤波处理的像素值边缘像素。
边缘像素(X，Y)＝h×(1/4-αE/2)+m×(αE+1/2)+r×(1/4-αE/2)…(30)在此，系数αE是调节边缘滤波器的边缘强调程度的系数。
在步骤S245中，辨别比较部194，如图31所示，比较进行了边缘滤波处理的像素值边缘像素和最大值(h，m，r)，判定进行了边缘滤波处理的像素值边缘像素是否大于等于最大值(h，m，r)，当判定为大于等于最大值(h，m，r)时，在步骤S246中，辨别比较部194，将像素值边缘像素替换为最大值(h，m，r)，进入步骤S247。
在步骤S245中，当判定为进行了边缘滤波处理的像素值边缘像素不大于等于最大值(h，m，r)时，在步骤S250中，辨别比较部194，比较进行了边缘滤波处理的像素值边缘像素和最小值(h，m，r)，判定进行了边缘滤波处理的像素值边缘像素是否小于等于最小值(h，m，r)，当判定为进行了边缘滤波处理的像素值边缘像素小于等于最小值(h，m，r)时，在步骤S251中，辨别比较部194，将像素值边缘像素替换为最小值(h，m，r)，进入步骤S247。
在步骤S250中，当判定为进行了边缘滤波处理的像素值边缘像素不小于等于最小值(h，m，r)时，其处理进入步骤S247。
即，在步骤S244的处理中，如图31所示，由步骤S244的处理求出的最大值(h，m，r)及最小值(h，m，r)，被当做像素h、m、r的局部范围的最大值和最小值；当由步骤S244的处理进行了边缘滤波处理求出的像素值，被包含在其最小值和最大值的范围时，直接被保存，当小于等于最小值(h，m，r)时，像素值被替换为(被削波为)最小值，当大于等于最大值(h，m，r)时，像素值被替换为(被削波为)最大值。
例如，根据图30的实例，比较进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)和最大值(h，m，r)“A”，当判定为进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)大于等于最大值(h，m，r)“A”时，将进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)替换为最大值(h，m，r)“A”(图30的实例1)。
另一方面，判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)不大于等于最大值(h，m，r)“A”，比较进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)和最小值(h，m，r)“B”，判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)小于等于最小值(h，m，r)“B”，将进行了边缘滤波处理的像素值边缘像素“B替换为最小值(h，m，r)“B”(图30的实例1)。
通过如上的处理，进行局部范围的最大值(h，m，r)和最小值(h，m，r)的比较，因此，如图30的实例1所示，抑制明处的多余过亮(图30的实例2)的同时，也能够回避暗处的过暗(图30的实例2)。
在步骤S245中，为了在边缘附近进一步强调对比度，判定进行了边缘滤波处理的像素值边缘像素是否大于等于最大值(h，m，r)，当判定为大于等于最大值(h，m，r)时，在步骤S246中，辨别比较部194，将像素值边缘像素替换为最大值(h，m，r)，但是当判定为进行了边缘滤波处理的像素值边缘像素不大于等于最大值(h，m，r)时，在步骤S250中，辨别比较部194，比较进行了边缘滤波处理的像素值边缘像素和最小值(h，m，r)，判定进行了边缘滤波处理的像素值边缘像素是否小于等于最小值(h，m，r)，即使判定为进行了边缘滤波处理的像素值边缘像素小于等于最小值(h，m，r)时，其处理在步骤S251中，辨别比较部194，不将像素值边缘像素替换为最小值(h，m，r)，进入步骤S247。
通过如上的处理，由于只进行与一方的最大值(h，m，r)的比较，如图30的实例3所示，抑制明处的多余过亮的同时，也能够确保暗处的适度的强调。
即，在步骤S244的处理中，如图31所示，由步骤S244的处理求出的最大值(h，m，r)，被当做像素h、m、r的局部范围的最大值，在步骤S244的处理中进行了边缘滤波处理求出的像素值，当小于等于其最大值时直接被保存，当大于等于最大值(h，m，r)时，将像素值替换为最大值(被单方削波)。
例如，根据图30的实例，比较进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)和最大值(h，m，r)“A”，判定为进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)大于等于最大值(h，m，r)“A”，将进行了边缘滤波处理的像素值边缘像素“A(图30的实例2)替换为最大值(h，m，r)“A”(图30的实例3)。
另一方面，判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)不大于等于最大值(h，m，r)“A”，比较进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)和最小值(h，m，r)“B”，判定为进行了边缘滤波处理的像素值边缘像素“B(图30的实例2)小于等于最小值(h，m，r)“B”，不将进行了边缘滤波处理的像素值边缘像素“B替换为最小值(h，m，r)“B”(图30的实例3)。
通过如上的处理，由于只进行与局部范围的最大值(h，m，r)的比较，如图30的实例3所示，抑制明处的多余过亮(图30的实例2)的同时，也能够确保暗处的适度的强调(图30的实例3)。
在此，返回到图5的处理的说明。
当步骤S22的处理中的一维垂直图像更新处理被执行时，接着在步骤S23中水平向上采样处理被执行，并且，在步骤S24中一维水平图像更新处理被执行。此外，对于步骤S23中的水平向上采样处理及步骤S24中的一维水平图像更新处理，上述的步骤S21中的垂直向上采样处理、及步骤S22中的一维垂直图像更新处理中的处理方向，只从垂直方向变换到水平方向，将执行同样的处理，因此，省略其说明。
这样，能够以任意倍率变更图像的分辨率。此时，例如，可在将图像扩大为六倍时，重复两次向上采样处理，得到四倍图像后，进行3/2倍的现有放大处理，也可以重复三次向上采样处理，得到8倍的图像后，进行3/4倍的现有缩小处理。
另外，如参照图27的流程图进行说明的那样，一维图像更新处理，根据方向的分布信息的分析结果，识别边缘和纹理，对于边缘，执行滤波处理和削波或者单方削波处理；对于纹理，如只执行滤波处理那样分开处理内容，能够执行分别对应的适当处理。并且，为单方削波处理时，如图30的实例中所示，抑制明处的多余过亮的同时，能够确保暗处的适度的强调，因此，能够在边缘附近适当改善对比度。
并且，如参照图6的流程图说明的那样，通过使用方向性分布和方向插值中的分布，能够正确判断方向插值中的方向。另外，将方向性分布、通过基于该方向性分布形成的斜插值而求出的像素值、进行线性插值得到的像素值，根据方向性分布附加权重，作为线性和对插值像素进行合成并生成，从而能够正确插值像素值。
图32是由现有处理生成的图像，图33是应用本发明而生成的图像。在图中的中央，在水平方向上配置有三个同心圆状的图案的中心部。当注意通过各中心位置、且以与图中的水平方向或者垂直方向成45°的角度引直线时的直线交点附近的图像时，在应用了本发明的图像中，可知在图案中不发生破坏，同心圆状图案被忠实地表现出。即，表示可通过应用本发明生成图像，表现鲜明的图像。
作为结果，能够抑制通过变换图像的分辨率而产生的图像上的错误，能够生成鲜明的变换图像。
并且，在以上的例子中，虽然对只向垂直方向放大的情况进行了说明，但是也可以放大水平方向和垂直方向两者、或者只放大水平方向及垂直方向中某一方向。此时，只在垂直方向放大的处理，成为与从单行扫描图像变换到逐行图像的所谓IP变换相同的处理，因此，本发明也能够应用于IP变换。此外，对于实际的处理，也可以作为上述说明的处理中的水平方向、或者垂直方向的任一个放大率设为1时的处理，或者通过跳过水平方向、或垂直方向的任一个处理来实现，因此，省略其说明。
并且，提出了在垂直方向向上采样后进行水平向上采样的流程，但是也可以以在水平向上采样后进行垂直方向向上采样的相反顺序进行放大。
并且，如上所述，如图4或者图5中所示，在缩放处理或者放大处理中，进行向上采样处理后，一维垂直图像更新处理被执行，但是在进行垂直向上采样处理前，一维垂直图像更新处理被执行，从而一维垂直图像更新处理，仅执行像素数被放大前的原图像的像素数中的处理就行，因此，能够使其计算处理量相应降低，能够减轻处理。
并且，在以上的例子中，说明了向上采样和图像更新处理的组合，但是也可以只利用向上采样、或者图像更新处理的任一个。例如，当不需要使HDTV(High Definition Television高清晰度电视)信号的像素数适合面板大小时，也可以不进行向上采样处理，只执行使用了计算的方向分布信息的分析结果的边缘/纹理适应型精细感改善处理、图像更新。
此外，在以上的例子中，虽然说明了作为现有的插值方法使用了线性插值的例子，但是对于现有的插值方法，并不限于线性插值，也可以是例如使用大于等于四像素的多个像素的Spline插值方法、Lanczos插值方法、或者立方插值方法等。
上述的一系列处理，可由硬件执行，但是也可由软件执行。当一系列的处理由软件执行时，构成该软件的程序安装到专用的硬件中的计算机、或者安装各种程序，从而能够执行各种功能，例如在普通的个人计算机等，从网络或记录介质进行安装。
图34是表示具有图1所示的功能模块的图像处理装置2的硬件结构例。CPU(Central Processing Unit)311，根据存储在ROM(Read Only Memory)312中的程序、或者从存储部318加载到RAM(Random Access Memory)313的程序，执行各种处理。在RAM 313中还适当存储有CPU311执行各种处理所需的数据等。
CPU313、ROM312及RAM313，通过总线314相互连接。在该总线314还连接有输入输出接口315。
输入输出接口315连接着由键盘、鼠标等构成的输入部316；由CRT、LCD等构成的显示器；以及由扬声器等构成的输出部317；由硬盘等构成的存储部318；由调制解调器、终端适配器等构成的通信部319。通信部319，进行通过以因特网等为代表的网络的通信处理。
另外，在输入输出接口315，根据需要连接有驱动器320，并适当安装有磁盘331、光盘332、磁光盘333、或者半导体存储器334等，从它们读出的计算机程序，根据需要安装在存储部318中。
该记录介质，在图34所示的装置中，与计算机分开，不仅由用于向用户提供程序而分配的、存储有程序的磁盘331(包含软盘)、光盘332(包含CD-ROM(Compact Disc-Read OnlyMemory)、DVD(Digital Versatile Disc))、磁光盘333(包含MD(Mini-Disc))、或者半导体存储器334等组成的软包装介质构成，还由以预先组装进装置的状态提供给用户的、存储有程序的ROM312、或被包含在存储部318的硬盘等构成。
此外，在本说明书中，对记录在记录介质中的程序进行记述的步骤，不仅包含沿着记述的顺序按时间序列进行的处理，而且也包含不是必须按时间序列进行处理，而是并行或者独立执行的处理。
权利要求
1.一种图像处理装置，在垂直方向和水平方向中某一方向、或者该两方向上分别将原图像的空间分辨率变换成Z倍，其中Z是实数，其特征在于，该图像处理装置具备斜权重附加设定单元，设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；合成插值单元，根据由前述斜权重附加设定单元设定的前述统计斜插值像素的权重，将由其他插值所生成的其他插值像素和前述统计斜插值像素合成，生成合成插值像素作为前述关注像素位置的像素；边缘强度信息生成单元，生成定量评价前述关注像素位置的边缘强度的信息；纹理强度信息生成单元，生成定量评价前述关注像素位置的纹理强度的信息；纹理适应混合单元，根据由前述纹理强度信息生成单元生成的纹理强度信息，将前述关注像素位置的合成插值像素、和对前述关注像素进行纹理滤波而生成的前述纹理像素合成，生成纹理混合像素；边缘适应混合单元，根据由前述边缘强度信息生成单元生成的边缘强度信息，将对前述关注像素进行纹理滤波而生成的纹理混合像素、和对前述关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为前述关注像素位置的像素。
2.根据权利要求1所述的图像处理装置，其特征在于，还具备倾斜度选择单元，根据对应于前述关注像素位置的多个像素的倾斜度方向性分布、和前述可靠度，选择可靠度最高的前述关注像素位置的倾斜度；统计斜插值单元，根据由前述倾斜度选择单元选择的倾斜度，插值生成前述关注像素位置的统计斜插值像素，前述斜权重附加设定单元，设定由前述统计斜插值单元插值生成的、根据关注像素位置的统计上可靠度最高的倾斜度插值生成的统计斜插值像素的权重。
3.根据权利要求1所述的图像处理装置，其特征在于，前述其他插值，通过利用了前述关注像素位置的上下、或者左右的像素的插值，插值生成前述关注像素位置的插值像素。
4.根据权利要求1所述的图像处理装置，其特征在于，还具备方向辨别单元，根据前述边缘的有无，辨别包含关注像素位置的、对应于前述关注像素位置的多个像素位置的边缘方向；边缘方向插值单元，根据与由前述方向辨别单元辨别的前述关注像素对应的多个像素位置的前述边缘方向，插值生成对应于前述关注像素位置的多个像素位置的边缘方向插值像素。
5.根据权利要求4所述的图像处理装置，其特征在于，还具备可靠度分级单元，该可靠度分级单元将由前述边缘方向插值单元插值生成的边缘方向插值像素的可靠度分级，前述边缘强度信息生成单元，根据由前述可靠度分级单元分级的可靠度，生成定量评价前述关注像素位置的边缘强度的信息，前述纹理强度信息生成单元，根据由前述可靠度分级单元分级的可靠度，生成定量评价前述关注像素位置的纹理强度的信息。
6.根据权利要求4所述的图像处理装置，其特征在于，前述可靠度分级单元，判定由前述边缘方向插值单元插值的边缘方向插值像素的局部结构的一致性，根据前述一致性的判定结果，将由前述边缘方向插值单元插值的边缘方向插值像素的可靠度分级。
7.根据权利要求2所述的图像处理装置，其特征在于，前述合成插值单元，使用由前述斜权重附加设定单元设定的前述权重所对应的系数，通过求取由前述其他插值生成的前述插值像素和由前述统计斜插值单元生成的前述统计斜插值像素的线性和来合成，生成合成插值像素作为前述关注像素。
8.一种图像处理装置的图像处理方法，该图像处理装置在垂直方向和水平方向中某一方向、或者该两方向上分别将原图像的空间分辨率变换成Z倍，其中Z是实数，其特征在于，该图像处理方法包含斜权重附加设定步骤，设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；合成插值步骤，根据由前述斜权重附加设定步骤的处理设定的前述统计斜插值像素的权重，将由其他插值生成的其他插值像素和前述统计斜插值像素合成，生成合成插值像素作为前述关注像素位置的像素；边缘强度信息生成步骤，生成定量评价前述关注像素位置的边缘强度的信息；纹理强度信息生成步骤，生成定量评价前述关注像素位置的纹理强度的信息；纹理适应混合步骤，根据由前述纹理强度信息生成步骤的处理生成的纹理强度信息，将前述关注像素位置的合成插值像素、和对前述关注像素进行纹理滤波而生成的前述纹理像素合成，生成纹理混合像素；边缘适应混合步骤，根据由前述边缘强度信息生成步骤的处理生成的边缘强度信息，将对前述关注像素进行纹理滤波而生成的纹理混合像素、和对前述关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为前述关注像素位置的像素。
9.一种记录介质，存储有计算机能够读取的程序，该程序控制在垂直方向和水平方向中某一方向、或者该两方向上分别将原图像的空间分辨率变换成Z倍的图像处理装置，其中Z是实数，其特征在于，包含斜权重附加设定控制步骤，控制如下处理设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；合成插值控制步骤，控制如下处理根据由前述斜权重附加设定控制步骤的处理设定的前述统计斜插值像素的权重，将由其他插值所生成的其他插值像素和前述统计斜插值像素合成，生成合成插值像素作为前述关注像素位置的像素；边缘强度信息生成控制步骤，控制如下处理生成定量评价前述关注像素位置的边缘强度的信息；纹理强度信息生成控制步骤，控制如下处理生成定量评价前述关注像素位置的纹理强度的信息；纹理适应混合控制步骤，控制如下处理根据由前述纹理强度信息生成控制步骤的处理生成的纹理强度信息，将前述关注像素位置的合成插值像素、和对前述关注像素进行纹理滤波而生成的前述纹理像素合成，生成纹理混合像素；边缘适应混合控制步骤，控制如下处理根据由前述边缘强度信息生成控制步骤的处理生成的边缘强度信息，将对前述关注像素进行纹理滤波而生成的纹理混合像素、和对前述关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素。
10.一种计算机中执行的程序，控制在垂直方向和水平方向中某一方向、或者该两方向上分别将原图像的空间分辨率变换成Z倍的图像处理装置，其中Z是实数，其特征在于，包含如下处理斜权重附加设定控制步骤，控制如下处理设定根据关注像素位置的统计上可靠度最高的倾斜度而插值生成的统计斜插值像素的权重；合成插值控制步骤，控制如下处理根据由前述斜权重附加设定控制步骤的处理设定的前述统计斜插值像素的权重，将由其他插值所生成的其他插值像素和前述统计斜插值像素合成，生成合成插值像素作为前述关注像素位置的像素；边缘强度信息生成控制步骤，控制如下处理生成定量评价前述关注像素位置的边缘强度的信息；纹理强度信息生成控制步骤，控制如下处理生成定量评价前述关注像素位置的纹理强度的信息；纹理适应混合控制步骤，控制如下处理根据由前述纹理强度信息生成控制步骤的处理生成的纹理强度信息，将前述关注像素位置的合成插值像素、和对前述关注像素进行纹理滤波而生成的前述纹理像素合成，生成纹理混合像素；边缘适应混合控制步骤，控制如下处理根据由前述边缘强度信息生成控制步骤的处理生成的边缘强度信息，将对前述关注像素进行纹理滤波而生成的纹理混合像素、和对前述关注像素进行滤波而生成的边缘像素合成，生成边缘混合像素作为前述关注像素位置的像素。
全文摘要
本发明提供一种图像处理装置及方法、记录介质、以及程序。正确地识别边缘方向，并正确地对图像进行插值。方向辨别部(123)识别关注像素的边缘方向，与关注像素的位置一起输出到可靠度分级部(124)及方向性分布生成部(125)。方向插值部(131)对关注像素进行方向插值。可靠度分级部(124)判定由方向插值部(131)插值的插值像素是否适当，将可靠度分级并输出到方向性分布生成部(125)。方向性分布生成部(125)根据方向信息和可靠度信息，生成方向性分布。倾斜度选择部(126)根据来自方向性分布生成部(125)的方向性分布，识别边缘方向。本发明可应用于图像分辨率变换装置。
文档编号G09G5/00GK1805531SQ2005101242
公开日2006年7月19日 申请日期2005年11月29日 优先权日2004年11月29日
发明者泽维尔·米歇尔 申请人:索尼株式会社