图像处理装置、方法和程序的制作方法

专利名称：图像处理装置、方法和程序的制作方法
技术领域：
本发明涉及进行输入图像的分辨率变换的图像处理装置、方法以及程序
背景技术：
历来，在使用双三次法进行图像的内插处理时，已知进行在图像的边缘附近的内 插系数的调整或采样间隔的变更，依次进行在水平方向和垂直方向的内插的方法(例如， 参照专利文献1)。 专利文献1 日本专利申请特开2006-54899号公报(第8_19页，图1_15)本发明要解决的课题可是，在上述专利文献1中记述的现有技术中，虽然在边缘附近进行内插系数的 调整，但是由于基本不是进行沿着边缘方向的内插，所以产生锯齿状图形等，在变换图像的 分辨率时存在画质劣化等问题。特别是在使用双三次法的情况下，由于在使用1变量内插 函数沿着水平方向进行内插处理后沿着垂直方向进行内插处理，所以相对于内插位置位于 上下左右的倾斜方向的像素的值不被直接反映，不得不允许某种程度的锯齿状图形的产 生。此外，在这样的情况下，如果能够部分地对锯齿状图形等产生的处所进行修整的 话是便利的，但在现有技术中，图像的修整或修复需要工作者描画修整部分来变更像素值， 由于手颤等也被加入，所以存在精度差、并且修整花费时间等问题。

发明内容
本发明正是鉴于这样的方面而创造的，其目的在于提供一种能够防止在变更图像 的倍率时产生的画质的劣化的图像处理装置、方法以及程序。此外，本发明的其它目的在于 提供一种能够缩短图像的修整所需要的时间、并且使修整的精度提高的图像处理装置、方 法以及程序。用于解决课题的方法为了解决上述课题，本发明的图像处理装置具备图像输入单元，进行图像的输入；边缘方向检测单元，对通过图像输入单元输入的 图像中包含的浓淡的边缘的方向进行检测；以及第一内插处理单元，对于通过图像输入单 元输入的输入图像，将通过边缘方向检测单元检测出的边缘的方向作为第一内插轴，进行 内插处理，该内插处理用于沿着第一内插轴进行上述输入图像的扩大/缩小。此外，本发明的图像处理方法具有图像输入步骤，进行图像的输入；边缘方向检 测步骤，对在图像输入步骤中输入的图像中包含的浓淡的边缘的方向进行检测；以及第一 内插处理步骤，对于在图像输入步骤中输入的输入图像，将在边缘方向检测步骤中检测出 的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着第一内插轴进行上述 输入图像的扩大/缩小。此外，本发明的图像处理程序用于使计算机作为以下单元发挥功能图像输入单元，进行图像的输入；边缘方向检测单元，对通过图像输入单元输入的图像中包含的浓淡的 边缘的方向进行检测；以及第一内插处理单元，对于通过图像输入单元输入的输入图像，将 通过边缘方向检测单元检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理 用于沿着第一内插轴进行输入图像的扩大/缩小。通过对图像中包含的边缘的朝向进行检测并配合该方向进行内插处理，能够进行 对于内插位置使在边缘的朝向中存在的像素的影响直接反映的内插处理，能够防止在变更 图像的倍率时产生的画质的劣化。此外，上述边缘方向检测单元检测以指示设备对输入图像指示的方向，作为边缘 的方向。或者，在上述边缘方向检测步骤中，检测以指示设备对输入图像指示的方向，作为 边缘的方向。由此，仅以指示设备进行指示就能进行图像的修整，能够缩短图像的修整所需 要的时间，并且由于利用者能够确认边缘的朝向进行指示，所以能够使修整的精度提高。此外，优选还具备倍率指定单元，对通过上述图像输入单元输入的图像指定扩大 /缩小的倍率，并且第一内插处理单元具有第一内插位置决定单元，对与通过倍率指定单 元指定的倍率对应的内插位置进行决定；以及第一内插对象像素决定单元，将内插位置的 周围的、沿着通过边缘方向检测单元检测出的边缘的朝向配置的nXn个(η是4以上的偶 数)的像素作为内插对象像素进行提取。或者，优选还具有倍率指定步骤，对在上述图像输入步骤中输入的图像指定扩大 /缩小的倍率，并且在第一内插处理步骤中具有第一内插位置决定步骤，对与在倍率指定 步骤中指定的倍率对应的内插位置进行决定；以及第一内插对象像素决定步骤，将内插位 置的周围的、沿着通过边缘方向检测步骤检测出的边缘的朝向配置的nXn个(η是4以上 的偶数)的像素作为内插对象像素进行提取。由此，能够对应于指定的倍率，决定必要的内 插位置。此外，优选通过上述图像输入单元输入的图像，是由沿着相互正交的水平轴和垂 直轴配置的多个像素构成，边缘方向检测单元基于包围内插位置的4个像素的像素值来检 测边缘的方向。或者，优选在上述图像输入步骤中输入的图像，是由沿着相互正交的水平轴 和垂直轴配置的多个像素构成，在边缘方向检测步骤中，基于包围内插位置的4个像素的 像素值来检测边缘的方向。由此，能够减少边缘方向检测中需要的像素数从而削减运算量。此外，优选上述边缘方向检测单元基于包围内插位置的4个像素的像素值，对与 该4个像素对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向 进行推定。或者，优选在上述边缘方向检测步骤中，基于包围内插位置的4个像素的像素 值，对与该4个像素对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为 边缘方向进行推定。由于在边缘存在的情况下夹着边缘产生浓淡梯度，所以通过使用浓淡 梯度，能够可靠地获知边缘的朝向。此外，优选上述第一内插对象像素决定单元对具有通过边缘方向检测单元检测出 的边缘的朝向的第一内插轴进行设定，将夹着该第一内插轴并位于预定范围内的η个像素 作为内插对象像素进行提取。或者，优选在上述第一内插对象像素决定步骤中，对具有在边 缘方向检测步骤中检测出的边缘的朝向的第一内插轴进行设定，将夹着该第一内插轴位于 预定范围内的η个像素作为内插对象像素进行提取。此外，优选上述第一内插轴具有与边 缘的朝向一致的直线形状或非直线形状。
由此，能够使沿着边缘的朝向排列的像素的像素值在计算内插位置的像素值的内 插处理中反映，能够获得沿着边缘方向平滑的、没有锯齿状图形产生的图像。此外，优选作为第二内插轴使用水平轴和垂直轴的任何的一方，第一内插处理单 元通过沿着第一和第二内插轴的任何的一方的内插轴进行内插处理，计算假想的多个内插 位置中的像素值，使用与通过该内插处理获得的η个内插位置对应的像素值，沿着第一和 第二内插轴的任何的另一方的内插轴，计算与通过第一内插位置决定单元决定的内插位置 对应的内插值。或者，优选作为第二内插轴使用水平轴和垂直轴的任何的一方，在第一内插 处理步骤中，通过沿着第一和第二内插轴的任何的一方的内插轴进行内插处理，计算假想 的多个内插位置中的像素值，使用与通过该内插处理获得的η个内插位置对应的像素值， 沿着第一和第二内插轴的任何的另一方的内插轴，计算与通过第一内插位置决定单元决定 的内插位置对应的内插值。能够针对第一和第二内插轴的每一个分别进行内插处理来求取 最终的内插值，能够谋求处理的简略化。此外，优选上述第一内插对象像素决定单元基于通过边缘检测单元检测出的边缘 的朝向，决定作为第二内插轴使用水平轴和垂直轴的哪一个。具体地，优选上述第一内插对 象像素决定单元将与第一内插轴的角度成 为45度以上的水平轴或垂直轴作为第二内插轴 进行设定。或者，优选在上述第一内插对象像素决定中，基于在边缘检测步骤中检测出的边 缘的朝向，决定作为第二内插轴使用水平轴和垂直轴的哪一个。具体地，优选在上述第一内 插对象像素决定步骤中，将与第一内插轴的角度成为45度以上的水平轴或垂直轴作为第 二内插轴进行设定。通过沿着接近于垂直的2轴的每一个进行内插处理，能够使内插精度 提尚。此外，优选上述第一内插处理单元以沿着第一和第二内插轴格子状地配置的方式 沿着第二内插轴调整ηΧη个像素的像素位置，然后进行内插处理。或者，优选在上述第一 内插处理步骤中，以沿着第一和第二内插轴格子状地配置的方式沿着第二内插轴调整ηΧη 个像素的像素位置，然后进行内插处理。在针对第一和第二内插轴的每一个分别进行内插 处理来求取最终的内插值时，能够使用与现有技术同等的算法来谋求处理的简略化。此外，优选在利用上述第一内插处理单元的内插处理或在第一内插处理步骤中的 内插处理中，在将邻接的像素的间隔作为t时，使用以Φ (t) = -1. 75|t|2+l. 0(|t| ^ 0. 5)1. 25|t|2-3. 0|t|+l. 75 (0. 5 < |t| ^ 1. 0)0. 75|t|2-2. 0|t|+l. 25 (1. 0 < |t| ^ 1. 5)-0. 25|t|2+|t|-l. 0(1. 5 < |t| ^ 2. 0)0(2. 0 < 111)表示的抽样函数Φ (t)来进行。此外，优选具备显示单元，将通过利用上述第一内插处理单元的内插处理而获得 的图像作为成为修整对象的图像进行显示；修整指示单元，对在通过显示单元显示的图像 中包含的修整处所与修整方向一起进行指示；以及第二内插处理单元，对与通过修整指示 单元指示的修整处所对应的部分图像，进行沿着通过修整指示单元指示的修整方向的内插处理。此外，优选具有显示步骤，将通过上述第一内插处理步骤中的内插处理而获得的图像作为成为修整对象的图像进行显示；修整指示步骤，对在显示步骤中显示的图像中包含的修整处所与修整方向一起进行指示；以及第二内插处理步骤，对与在修整指示步骤 中指示的修整处所对应的部分图像，进行沿着在修整指示步骤中指示的修整方向的内插处理。此外，优选使计算机作为以下单元发挥功能显示单元，将通过利用上述第一内插 处理单元的内插处理而获得的图像作为成为修整对象的图像进行显示；修整指示单元，对 在通过显示单元显示的图像中包含的修整处所与修整方向一起进行指示；以及第二内插处 理单元，对与通过修整指示单元指示的修整处所对应的部分图像，进行沿着通过修整指示 单元指示的修整方向的内插处理。仅指示显示的图像中包含的修整处所和修整方向，就能够针对修整处所配合修整 方向进行内插处理，来进行图像的修整，因此能够缩短图像的修整所需要的时间。此外，通 过进行沿着修整方向的内插处理，能够对内插位置直接反映沿着修整方向存在的像素的影 响，能够进行高精度的内插处理，能够使修整的精度提高。此外，优选上述第二内插处理单元使用构成通过图像输入单元输入的图像的像素 的像素值，进行与部分图像对应的内插处理。或者，优选在上述第二内插处理步骤中，使用 构成在图像输入步骤中输入的图像的像素的像素值，进行与部分图像对应的内插处理。由 此，能够去除为了图像显示而进行的内插处理导致的画质的劣化的影响。此外，优选上述第二内插处理单元具有第二内插对象像素决定单元，将内插位置 的周围的、沿着通过修整指示单元指示的修整方向配置的预定个数的像素作为内插对象像 素进行提取。优选上述第二内插对象像素决定单元对具有通过修整指示单元指示的修整方 向的第三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个的像素作为内 插对象像素进行提取。此外，优选上述第二内插处理步骤具有第二内插对象像素决定步 骤，将内插位置的周围的、沿着在修整指示步骤中指示的修整方向配置的预定个数的像素 作为内插对象像素进行提取。优选在上述第二内插对象像素决定步骤中，对具有在修整指 示步骤中指示的修整方向的第三内插轴进行设定，将夹着该第三内插轴并位于预定范围内 的预定个的像素作为内插对象像素进行提取。由此，能够使沿着修整方向的朝向排列的像 素的像素值在计算内插位置的像素值的内插处理中反映，能够获得沿着修整方向平滑的、 没有锯齿状图形产生的图像。此外，优选上述修整指示单元具有指示设备(或使用指示设备进行)，修整方向的 指示是在由显示单元在画面中显示的图像的修整处所中，通过沿着该修整处所中包含的边 缘使指示设备移动来进行的。或者，优选上述修整指示步骤使用指示设备来进行，修整方向 的指示是在显示步骤中在画面中显示的图像的修整处所中，通过沿着该修整处所中包含的 边缘使指示设备移动来进行的。由此，能够以简单的操作来指示修整处所和修整方向。此外，优选上述第三内插轴具有对指示设备的移动轨迹进行近似而得到的直线形 状。通过使表示修整方向的形状单纯化，能够实现内插处理的简略化。此外，优选上述第三内插轴具有对指示设备的移动轨迹进行近似而得到的圆弧形 状或自由曲线形状。由此，能够正确地特别指定指示设备的移动轨迹，能够实现正确地沿着 修整处所中包含的图像的边缘的修整，能够使修整的精度提高。此外，优选作为第四内插轴使用水平轴和垂直轴的任何的一方，第二内插处理单元具有第二内插位置决定单元，决定与通过倍率指定单元指定的倍率对应的内插位置，通过沿着第三和第四内插轴的任何的一方的内插轴进行内插处理，计算假想的多个内插位置 中的像素值，使用与通过该内插处理获得的多个内插位置对应的像素值，沿着第三和第四 内插轴的任何的另一方的内插轴，计算与通过第二内插位置决定单元决定的内插位置对应 的内插值。或者，优选作为第四内插轴使用水平轴和垂直轴的任何的一方，第二内插处理步 骤具有第二内插位置决定步骤，决定与在倍率指定步骤中指定的倍率对应的内插位置，通 过沿着第三和第四内插轴的任何的一方的内插轴进行内插处理，计算假想的多个内插位置 中的像素值，使用与通过该内插处理获得的多个内插位置对应的像素值，沿着第三和第四 内插轴的任何的另一方的内插轴，计算与在第二内插位置决定步骤中决定的内插位置对应 的内插值。能够针对第三和第四内插轴的每一个分别进行内插处理来求取最终的内插值， 能够谋求处理的简略化。此外，优选上述第二内插对象像素决定单元基于通过修整指示单元指示的修整方 向，决定作为第四内插轴使用水平轴和垂直轴的哪一个。具体地，优选上述第二内插对象像 素决定单元将与第三内插轴的角度成为45度以上的水平轴或垂直轴作为第四内插轴进行 设定。或者，优选在上述第二内插对象像素决定步骤中，基于在修整指示步骤中指示的修整 方向，决定作为第四内插轴使用水平轴和垂直轴的哪一个。具体地，优选在上述第二内插对 象像素决定步骤中，将与第三内插轴的角度成为45度以上的水平轴或垂直轴作为第四内 插轴进行设定。通过沿着接近于垂直的2轴的每一个进行内插处理，能够使内插精度提高。此外，优选上述第二内插处理单元以沿着第三和第四内插轴格子状地配置的方 式，沿着第四内插轴调整预定个的像素的像素位置之后，进行内插处理。或者，优选在上述 第二内插处理步骤中，以沿着第三和第四内插轴格子状地配置的方式，沿着第四内插轴调 整预定个的像素的像素位置，然后进行内插处理。在针对第三和第四内插轴的每一个分别 进行内插处理来求取最终的内插值时，能够使用与现有技术同等的算法来谋求处理的简略 化。此外，优选在利用上述第二内插处理单元的内插处理或在第二内插处理步骤中的 内插处理中，在将邻接的像素的间隔作为t时，使用以<formula>formula see original document page 15</formula><formula>formula see original document page 15</formula><formula>formula see original document page 15</formula><formula>formula see original document page 15</formula><formula>formula see original document page 15</formula>表示的抽样函数Φ (t)来进行。


图1是表示第一实施方式的图像处理装置的结构的图。图2是表示本实施方式的图像处理装置的内插处理的工作过程的流程图。图3是表示浓度梯度计算和边缘方向推定的概要的图。图4是表示内插位置决定的概要的图。图5是表示内插对象像素提取的概要的图。
图6是表示在沿着第一方向的内插处理之前进行的像素位置调整的概要的图。图7是表示进行像素位置调整时的内插像素ρ的计算方法的概要的图。图8是表示进行像素位置调整时的内插像素ρ的计算方法的概要的图。图9是表示在像素位置调整后进行的沿着第一方向的内插 处理的概要的图。图10是表示内插像素的像素值计算中使用的抽样函数的图。图11是表示在沿着第一方向的内插处理之后进行的沿着第二方向的内插处理的 概要的图。图12是表示通过本实施方式的图像处理装置的内插处理而得到的图像的图。图13是表示通过使用了双三次法的内插处理而得到的图像的例子。图14是表示变形例的沿着第一方向的内插处理的概要的图。图15是表示变形例的在沿着第一方向的内插处理之后进行的沿着第二方向的内 插处理的概要的图。图16是表示对应于边缘方向可变设定内插轴的变形例的图像处理装置的内插处 理的工作过程的流程图。图17是表示在设定了非直线的P轴的情况下的内插对象像素提取的概要的图。图18是表示第二实施方式的内插处理的概要的图。图19是表示第三实施方式的图像处理装置的结构的图。图20是表示第三实施方式的图像处理装置的内插处理的工作过程的流程图。图21是表示第三实施方式的图像处理装置的内插处理的工作过程的流程图。图22是表示修整处所指示的概要的图。图23是表示修整处所指示的概要的图。图24是表示成为图像修整的对象的内插对象像素提取的概要的图。图25是表示第四实施方式的工作过程的流程图。图26是现有方法的内插处理的说明图。图27是现有方法的内插处理的说明图。附图标记说明10图像输入部12图像数据储存部20、2OA内插处理部22内插区域决定部24边缘方向计算部26内插位置决定部28内插对象像素决定部30第一方向内插部32第二方向内插部34修整处理部40倍率指定部50输出处理部52显示装置
δ4打印机
具体实施例方式下面，针对应用了本发明的一个实施方式的图像处理装置，基于附图详细地进行 说明。[第一实施方式]图1是表示第一实施方式的图像处理装置的结构的图。如图1所示，本实施方式 的图像处理装置构成为包含图像输入部10、图像数据储存部12、内插处理部20、倍率指定 部40、输出处理部50、显示装置52、打印机54。图像输入部10用于调入预定的分辨率的图像数据。例如，能够将以预定的分辨率 光学地读取在纸原稿上描绘的图像的扫描仪作为图像输入部10而使用。或者，在将记录 在CD或DVD等的可插拔的记录介质中的图像数据调入的情况下，能够将这些记录介质的驱 动装置(读取装置)作为图像输入部10进行使用。在对记录在半导体存储器或硬盘装置 中的图像数据进行调入的情况下，能够将对其进行连接的输入输出接口作为图像输入部10 进行使用。此外，在利用经由因特网或其它的网络、或电话线路等的通信来调入图像数据的 情况下，能够将对应于线路的种类等的通信装置作为图像输入部10进行使用。像这样与通 过图像输入部10调入的图像数据对应的图像，是通过沿着相互正交的水平轴(χ轴)和垂 直轴(y轴)而配置的多个像素构成的。图像数据储存部12储存通过图像输入部10调入的图像数据、或通过内插处理部 20最终得到的内插后的图像数据、或为了获得该内插后的图像数据所需要的中间数据。内插处理部20基于通过图像输入部10调入的、储存在图像数据储存部12中的图 像数据或中间数据，进行图像的扩大或缩小所需要的内插处理。再有，在本说明书中，将通 过图像输入部10调入的、储存在图像数据储存部12中的图像数据称为“输入图像数据”， 将对应于输入图像数据的图像称为“输入图像”。此外，将构成图像的多个像素的各自的值 (浓淡值、或亮度值、或在彩色的情况下的RGB的各值等)称为“像素值”，将构成图像的多 个像素的像素值的集合称为“图像数据”。通过利用内插处理部20的内插处理而变更了倍 率之后的图像数据被储存在图像数据储存部12中。内插处理部20具备内插区域决定部 22、边缘方向计算部24、内插位置决定部26、内插对象像素决定部28、第一方向内插部30、 第二方向内插部32。倍率指定部40对图像的扩大/缩小倍率进行指定。例如将键盘作为倍率指定部 40进行使用，能够操作键盘的数字键(ten key)等而直接输入倍率的值。或者，作为倍率指 定部40使用鼠标，通过对在显示装置52中显示的倍率指定画面的预定处所进行指示，能够 输入任意的倍率，或从预先准备的多个倍率中选择所希望的值。输出处理部50为了从图像数据储存部12读出由内插处理部20进行了扩大/缩 小处理之后的图像数据，使扩大/缩小后的图像在显示装置52的画面上显示，或通过打印 机54进行印刷而进行必要的处理。具体地，输出处理部50具备如下功能将从图像数据储 存部12读出的图像数据变换为利用显示装置52的显示中所需要的形式的信号(例如NTSC 信号或GBR信号)并输入显示装置52的功能，或变换为利用打印机54的印刷中所需要的 形式的信号的功能。
上述图像输入部10对应于图像输入单元，边缘方向计算部24对应于边缘方向检 测单元，内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部 32对应于第一内插处理单元，倍率指定部40对应于倍率指定单元，内插位置决定部26对 应于第一内插位置决定单元，内插对象像素决定部28对应于第一内插对象像素决定单元。 此外，通过图像输入部10进行的工作对应于图像输入步骤，通过边缘方向计算部24进行的 工作对应于边缘方向检测步骤，通过内插位置决定部26、内插对象像素决定部28、第一方 向内插部30、第二方向内插部32进行的工作对应于第一内插处理步骤，通过倍率指定部40 进行的工作对应于倍率指定步骤，通过内插位置决定部26进行的工作对应于第一内插位 置决定步骤，通过内插对象像素决定部28进行的工作对应于第一内插对象像素决定步骤。此外，上述图像处理装置能够通过具备CPU、ROM、RAM等的计算机的结构来实现。 在该情况下，图像数据储存部12能够通过硬盘装置或半导体存储器来构成。内插处理部20 通过在CPU中执行在ROM或RAM或硬盘装置等中储存的预定的图像处理程序来实现。本实施方式的图像处理装置具有这样的结构，接着针对利用图像处理装置的内插 处理的具体内容进行说明。图2是表示利用本实施方式的图像处理装置的内插处理的工作 过程的流程图。在使用图像输入部10进行图像数据的输入之后(步骤200)，使用倍率指定部40 进行倍率的指定(步骤201)。接着，内插区域决定部22从构成输入图像的多个像素中提取 2X2像素(4像素)，将以这些4像素区划的区域(四角形)作为“内插区域”而决定(步 骤 202)。接着，边缘方向计算部24基于在决定内插区域时使用的4像素的像素值，计算与 这些4像素对应的图像的浓度梯度(步骤203)。如后述那样，由于在决定内插区域时使用 的4像素的内部设定内插位置，所以基于包围内插位置的4个像素的像素值，计算图像的浓 度梯度。此外，边缘方向计算部24将相对于浓度梯度垂直的朝向作为图像的边缘方向(轮 廓线的朝向)而进行推定(步骤204)。图3是表示浓度梯度计算和边缘方向推定的概要的图。在图3中，PU P2、P3、P4 表示对在步骤202中决定的内插区域进行区划的4个像素。此外，箭头A表示浓度梯度，箭 头B表示与浓度梯度正交的边缘方向。当将平面近似式作为ax+by+c = P，将像素位置(Ui)中的浓度作为Pk时，以下 的数式成立。[数式1]
x0 yQ l] 「尸Γ
「 π V xI 只 1 η Ρ2 「YX=,P =
X0 y0 1 P3 M= b
χ丨 χ 1」 [P4J [c_XM = PM= (XTX 广 1XtP边缘方向计算部24根据该数式计算浓度梯度r = -a/b，并且将与浓度梯度垂直的 朝向R = b/a作为边缘方向进行推定。
接着，内插位置决定部26决定内插区域内的内插位置、即在内插区域内使内插像 素产生的位置(步骤205)。图4是表示内插位置决定的概要的图。例如，表示在步骤201 中指定倍率“5”的情况，即将输入图像扩大到5倍的情况。在该情况下，如在图4中以虚线 的四角形表示那样，在邻接的2个像素之间等间隔地产生4个内插像素即可。例如，在步骤 205中决定以ρ表示的内插像素的位置(内插位置)。接着，内插对象像素决定部28基于由边缘方向计算部24推定的边缘方向，将为了 计算内插像素的像素值所需要的nXn像素作为“内插对象像素”进行提取(步骤206)。η 是2以上的偶数，但具体地当决定了使用的抽样函数的话，也决定了 η的值。其中，为了进 行平滑的内插处理，优选η的值是4以上，在本实施方式中设定为η = 4。针对抽样函数的 具体例在后面叙述。图5是表示内插对象像素提取的概要的图。在图5中，al a6、bl b6、cl c6、dl d6、el e6分别表示构成输入图像的各像素。此外，E表示在步骤204中推定的 边缘方向。在现有技术中进行的内插处理中，在η = 4的情况下，夹着内插像素ρ在水平 (χ轴方向)和垂直(y轴方向)各自的上下左右(将水平方向作为χ轴，将垂直方向作为y 轴)各2像素的合计16像素(b2 b5、 c2 c5、d2 d5、e2 e5)作为内插对象像素而 被提取。相对于此，在本实施方式中，将通过内插像素P的边缘方向E作为P轴，代替y轴 使用该P轴。而且，将χ轴和P轴分别设定为内插轴(P轴对应于第一内插轴，χ轴对应 于第二内插轴)，将分别沿着该非正交的2个内插轴的、夹着内插像素ρ的左右和倾斜方向 的各2个像素作为内插对象像素进行提取。具体地，内插对象像素决定部28将b3 b6、 c2 c5、dl d4、el e4的16像素作为内插对象像素进行提取。接着，第一方向内插部30将P轴作为第一方向，进行沿着第一方向的内插处理 (步骤207)。图6是表示在沿着第一方向的内插处理之前进行的像素位置调整的概要的 图。如图5所示，在内插像素ρ周围配置的16个内插对象像素当在P方向上观察时，没有 与P轴平行地配置。例如，当观察在图5所示的内插对象像素中配置在最右侧的4个像素 b6、c5、d4、e4时，该4个像素没有与P轴平行。在本实施方式中，第一方向内插部30在进 行沿着第一方向(P轴)的内插处理之前，如图6所示那样进行坐标变换，以使16个内插 对象像素沿着P轴(在图6中是垂直方向)规则地配置的方式进行像素位置调整。图7和图8是表示进行像素位置调整时的内插像素ρ的计算方法的概要的图。如 图7所示，将内插像素ρ和左上的像素c3之间的χ轴方向的距离作为Li，将y轴方向的距 离作为L3，将内插像素ρ和左下的像素d3之间的χ轴方向的距离作为L2。如图8所示，像 素位置调整之后的内插像素P和左上的像素c3之间的P轴方向的距离使用L3。此外，由 于在像素位置调整前配置在内插像素P的左下的像素d3的位置向右下偏移，所以对应于该 偏移，内插像素P的位置也偏移。图9是表示在像素位置调整后进行的沿着第一方向的内插处理的概要的图。如图 9所示，通过使用沿着P轴配置的4像素的像素值，利用内插处理计算对应于与内插像素ρ 相同的沿着P轴的位置的假想的内插像素hi h4的各像素值进行计算。图10是表示内 插像素的像素值计算中使用的取样函数的图。该抽样函数Φ (t)是以下式表示的分段多项 式，使用以内插位置为中心的左右2像素(在沿着P轴进行内插的情况下是图9所示的沿 着P轴上下2像素)的像素值来计算内插像素的像素值。
Φ (t) = -ι. 75|t|2+l. 0(|t| ≤ 0. 5)1. 25|t|2-3. 0|t|+l. 75 (0. 5 < |t| ≤ 1. 0)0. 75|t|2-2. 0|t|+l. 25 (1. 0 < |t| ≤ 1. 5)-0. 25|t|2+|t|-l. 0(1. 5 < |t| ≤ 2. 0)0 (2. 0 < |t|)接着，第二方向内插部32将χ轴作为第二方向，进行沿着第二方向的内插处理 (步骤208)。图11是表示在沿着第一方向的内插处理之后进行的沿着第二方向的内插处理 的概要的图。如图11所示，通过使用沿着水平方向(χ轴方向)配置的假想内插像素hi h4的像素值，利用内插处理计算最终的内插像素ρ的像素值。接着，内插位置决定部26判定在内插区域中是否有其它的内插像素(内插值的计 算没有结束的内插像素)(步骤209)。在有其它的内插像素的情况下进行肯定判断，返回步 骤205，反复进行内插位置的决定工作以后的步骤。此外，在针对内插区域内的全部内插像 素完成了内插值的计算的情况下，在步骤209的判定中进行否定判断，接着，内插区域决定 部22判定是否有内插处理没有结束的其它的内插区域(步骤210)。在有其它的内插区域 的情况下进行肯定判断，返回步骤202，反复进行内插区域的决定工作以后的步骤。此外，在 针对全部的内插区域结束了内插处理的情况下，在步骤210的判定中进行否定判断。再有， 在扩大了图像的情况下，并不一定全部输入对象是显示对象或印刷对象。在这样的情况下， 针对成为显示对象或印刷对象的一部分的图像，进行步骤210的判定也可。像这样在针对全部的内插区域完成了内插处理的图像数据储存在图像数据储存 部12中之后，输出处理部50读出该图像数据，将以预定倍率(例如5倍)扩大之后的图像 在显示装置52的画面上显示，或者以打印机印刷该图像(步骤211)。像这样，在本实施方式的图像处理装置中，通过对图像中包含的边缘的朝向进行 检测并配合该方向进行内插处理，能够对于内插位置进行使在边缘的朝向中存在的像素的 影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。此外，通过基 于包围内插位置的4个像素的像素值对边缘的方向进行检测，能够减少在边缘方向检测中 需要的像素数来削减运算量。特别是由于在边缘存在的情况下夹着边缘产生浓淡梯度，所 以通过使用浓淡梯度，能够可靠地获知边缘的朝向。此外，通过设定作为具有边缘的朝向的第一内插轴的P轴，将夹着该P轴位于 预定范围内的预定个的像素作为内插对象像素进行提取，从而能够使沿着边缘的朝向排列 的像素的像素值在计算内插位置的像素值的内插处理中反映，能够得到沿着边缘方向平滑 的、没有锯齿状图形(jaggies)的产生的图像。此外，通过针对第一和第二内插轴(P轴和 X轴)的每一个分别进行内插处理来求取最终的内插值，从而能够谋求处理的简略化。此外，以沿着ρ轴和χ轴格子状地配置的方式沿着χ轴调整预定个的像素的像素 位置，之后进行内插处理，由此在针对P轴和X轴的每一个分别进行内插处理来求取最终 的内插值时，使用与现有技术同等的算法，能够谋求处理的简略化。图12是表示通过利用本实施方式的图像处理装置的内插处理而得到的图像的 图。图13是为了比较而表示通过使用了双三次法(bi-cubic)的内插处理而得到的图像的 例子。根据图12很明显，在本实施方式中通过进行沿着边缘方向的内插处理，能够得到没 有锯齿状图形的产生的扩大图像。
可是，在上述的本实施方式的说明中，沿着P轴进行步骤207的第一方向的内插处理(图9)，沿着χ轴进行步骤208的第二方向的内插处理(图11)，但相反地，也可以沿 着χ轴进行第一方向的内插处理，沿着P轴进行第二方向的内插处理。该变形例也能够在 后述的其它实施方式中应用。图14是表示变形例的沿着第一方向的内插处理的概要的图。如图14所示，通过 使用沿着X轴配置的4像素的像素值，利用内插处理计算对应于与内插像素ρ相同的沿着 X轴的位置(像素位置调整后的位置)的假想的内插像素Vl V4的各像素值。图15是表示变形例的在沿着第一方向的内插处理之后进行的沿着第二方向的内 插处理的概要的图。如图15所示，通过使用沿着P轴方向配置的假想的内插像素vl v4 的像素值，利用内插处理计算最终的内插像素P的像素值。此外，在上述的本实施方式的说明中，固定χ轴，将与边缘方向一致的P轴置换为 y轴，但在χ轴与边缘方向的角度不足45度的情况下，固定y轴，将与边缘方向一致的P轴 置换为χ轴，这能够提高内插精度。图16是表示对应于边缘方向可变设定内插轴的变形例的图像处理装置的内插处 理的工作过程的流程图。相对于图2所示的流程图，在步骤204之后接着追加有步骤220 的内插轴决定的工作过程。在该步骤220中，内插对象像素决定部28计算χ轴与边缘方向 E的角度，决定与P组合使用的内插轴。具体地，在χ轴与边缘方向E的角度是45度以上 的情况下，将χ轴与P轴设定为内插轴，执行使用图2说明的一连串的内插处理。另一方 面，在χ轴与边缘方向E的角度不足45度的情况下，将y轴和P轴设定为内插轴。在该情 况下，在步骤206中，选择在图5中夹着P轴在y轴方向的上下各2像素，提取内插对象的 16像素。此外，在步骤207中，第一方向的内插处理沿着P轴进行，步骤208的第二方向的 内插处理沿着y轴进行。或者相反地，沿着y轴进行第一方向的内插处理，沿着P轴进行 第二方向的内插处理也可。再有，代替计算χ轴与P轴的角度，计算y轴与P轴的角度， 决定与P轴组合使用的内插轴也可。像这样，将与P轴的角度为45度以上的χ轴或y轴作为第二内插轴进行设定，分 别沿着接近于垂直的2轴进行内插处理，由此能够使内插精度提高。此外，在上述本实施方式的说明中，在步骤206中提取内插对象的16像素时，将沿 着边缘方向E的直线设定为P轴，但设定非直线的P轴也可。该变形例也能够在后述的 第二实施方式中应用。例如，也可以将通过下面所示的函数Hl (x，y) H3(x，y)的任一个 表示的曲线作为P轴进行设定。Hl (x, y) = (ax2+bx+c) (dy2+ey+f)H2 (χ, y) = ax2+by2+cx+dy+exy+fΗ3 (χ, y) = ax4+by4+cx2y2+dx2y+exy2+fxy+gx+hy+f图17是表示设定了非直线的P轴的情况下的内插对象像素提取的概要的图。如 图17所示，以在内插位置中与边缘方向的直线相接的方式设定非直线的P轴，将夹着该P 轴的左右各2像素、合计16像素(b2 b5、c2 c5、d2 d5、el e4)作为内插对象像 素进行提取。[第二实施方式]
在上述的第一实施方式中，在沿着P轴提取nXn个内插对象像素之后(图5)，进 行在X轴方向上使像素位置偏移的像素位置调整(图6)，但也可以不进行像素位置调整而 直接进行沿着第一方向和第二方向的内插处理。图18是表示第二实施方式的内插处理的概要的图。内插处理整体的工作过程与 图2所示的相同。到步骤206的内插对象的16像素的提取工作为止，以与上述第一实施方 式相同的要领来进行。接着，如图18所示，第一方向内插部30通过使用沿着χ轴配置的4像素的像素值， 利用内插处理来计算通过该4像素的χ轴方向的直线、与通过内插像素ρ的边缘方向E的 直线的交点所对应的假想内插像素《1 《4的像素值(步骤207)。此外，第二方向内插部 32，通过使用沿着P轴方向配置的假想的内插像素wl w4的像素值，利用内插处理计算 最终的内插像素P的像素值(步骤208)。该第二实施方式的工作关于在后述的第三实施方 式的步骤217中进行的第一方向的内插处理和在步骤218中进行的第二内插处理也是相同 的。像这样，在本实施方式的图像处理装置中，通过对图像中包含的边缘的朝向进行 检测并配合该方向进行内插处理，能够进行对于内插位置使在边缘的朝向中存在的像素的 影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。特别是，通过 直接使用沿着X轴的像素位置，能够更正确地使沿着边缘方向配置的各像素的影响在内插 处理中反映。
[第三实施方式]图19是表示第三实施方式的图像处理装置的结构的图。如图19所示，本实施方 式的图像处理装置构成为包含图像输入部10、图像数据储存部12、内插处理部20A、倍率 指定部40、修整指示部42、输出处理部50、显示装置52、打印机54。本实施方式的图像处理 装置相对于图1所示的图像处理装置，其差异在于将内插处理部20置换为内插处理部20A， 并且追加了修整指示部42。以下，以其相异点为中心进行说明。内插处理部20A基于通过图像输入部10而调入的、储存在图像数据储存部12中 的图像数据或中间数据，进行图像的扩大或缩小所需要的内插处理。此外，内插处理部20A 在显示扩大或缩小后的图像时，按照利用者的指示进行图像的部分修整处理。内插处理部 20A具备内插区域决定部22、边缘方向计算部24、内插位置决定部26、内插对象像素决定 部28、第一方向内插部30、第二方向内插部32、修整处理部34。该内插处理部20A相对于 图1所示的内插处理部20，不同之处在于追加了修整处理部34。修整指示部42在对显示的图像进行修整时，由利用者对该主旨进行指示，并且 指定显示的图像中的修整处所和修整方向。例如，将鼠标或记录笔等的指示设备(point device)作为修整指示部42进行使用，通过指示在显示装置52中显示的图像显示画面的预 定处所，指示进行图像的修整的主旨，并且通过部分地描画显示图像来指定修整处所。 上述输出处理部50、显示装置52对应于显示单元，修整指示部42对应于修整指示 单元，内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部32 对应于第一和第二内插处理单元，图像输入部10对应于图像输入单元，边缘方向计算部24 对应于边缘方向检测单元，倍率指定部40对应于倍率指定单元，内插位置决定部26对应于 第一和第二内插位置决定单元，内插对象像素决定部28对应于第一和第二内插对象像素决定单元。此外，通过输出处理部50、显示装置52进行的工作对应于显示步骤，通过修整 指示部42进行的工作对应于修整指示步骤，通过内插位置决定部26、内插对象像素决定部 28、第一方向内插部30、第二方向内插部32进行的工作对应于第一和第二内插处理步骤， 通过图像输入部10进行的工作对应于图像输入步骤，通过边缘方向计算部24进行的工作 对应于边缘方向检测步骤，通过倍率指定部40进行的工作对应于倍率指定步骤，通过内插 位置决定部26进行的工作对应于第一和第二内插位置决定步骤，通过内插对象像素决定 部28进行的工作对应于第一和第二内插对象像素决定步骤。本实施方式的图像处理装置具有这样的结构，接着针对图像处理装置进行的内插 处理的具体内容进行说明。图20和图21是表示本实施方式的图像处理装置的内插处理的 工作过程的流程图。在这些图中表示的工作过程相对于与第一实施方式对应地在图2中表 示的工作过程，关于步骤200 210的工作过程是共同的，在步骤211A之后的工作过程不 同。以下，省略针对共同的工作过程的说明，针对不同的工作过程进行说明。按照到步骤210为止的工作过程针对全部的内插区域完成了内插处理的图像数 据储存在图像数据储存部12中，之后，输出处理部50读出该图像数据，将以预定倍率(例 如5倍)扩大之后的图像在显示装置52的画面上显示(步骤211A)。可是，在本实施方式的图像处理装置中，如图12所示，即使不进行图像的修整，原 理上也应该能得到压着边缘方向不产生锯齿状图形的图像，但是根据在图像的边缘附近的 像素值的状态(浓淡的状态)等并不一定能正确地进行边缘检测，因此有不能可靠地排除 锯齿状图形的产生的问题。在本实施方式中，在这样的情况下，利用者对扩大/缩小后的显 示图像进行目视确认，对应于需要进行修整指示。接着，修整处理部34对是否指示了显示图像的修整进行判定(步骤212)。在没有 利用者使用修整指示部42的修整指示的情况下进行否定判断，一连串的图像处理工作结束。此外，在有利用者的修整指示的情况下在步骤212的判定中进行肯定判断，通过 修整处理部34实施以下所示的一连串的图像修整处理。首先，通过利用者进行使用了修整指示部42的图像的修整处所的指示(步骤 213)。在该修整处所的指示中，包含修整处所的位置、修整处所中包含的边缘的朝向。图22和图23是表示修整处所指示的概要的图。如图22所示，考虑在步骤211中 显示的图像中，在区域W中确认了显著的锯齿状图形的产生的情况。如图23所示，利用者 通过操作修整指示部42，在区域W内产生有锯齿状图形的边缘上进行描画，由此能够指示 修整处所的位置、和修整处所中包含的边缘的朝向(修整方向)。例如，在作为修整指示部 42使用鼠标的情况下，在箭头R的起始点中按下鼠标的按钮，一边维持该状态一边使鼠标 在箭头R的朝向上移动，在箭头的终点中解除鼠标按钮的按下，由此能够指示修整处所的 位置、和修整处所中包含的边缘的朝向。再有，针对区域W的宽度的设定，可以考虑例如以 包含将箭头R作为中心的两侧的预定像素数量的方式进行设定，或预先输入指定宽度的值 并以成为该指定的宽度的方式进行设定等的方法。接着，内插区域决定部22从构成作为修整处所指定的区域W中包含的图像(部分 图像)的多个像素中提取2X2像素(4像素)，将以这些4像素区划的区域(四角形)作为 修整用的“内插区域”而决定(步骤214)。该工作本身与步骤202的工作相同，但不同之处在于，相对于在步骤202中提取在输入图像的整个区域中包含的4像素，在步骤214中提取 与在区域W中包含的图像对应的4像素。再有，在步骤214中，不是提取在步骤211中显示 的扩大/缩小后的图像中包含的4像素，而是提取在对应于区域W的扩大/缩小前的输入 图像中包含的4像素。同样地，针对修整处理，也使用对应于区域W的扩大/缩小前的输入 图像中包含的像素的像素值。接着，内插位置决定部26决定内插区域内的内插位置、即在内插区域内使内插像素产生的位置(步骤215)。此外，内插对象像素决定部28基于在步骤213中指示的边缘 的朝向，将为了计算内插像素的像素值所需要的nXn像素作为“内插对象像素”进行抽取 (步骤216)。例如，与步骤206同样地，提取4X4像素。图24是表示成为图像修整的对象的内插对象像素提取的概要的图。在图24中， R是图23中表示的箭头R本身，表示在步骤213中指定的边缘的朝向。将通过内插像素ρ 的边缘的朝向R作为P’轴，代替y轴使用该P’轴。而且，将χ轴和P’轴分别设定为内 插轴(P ’轴对应于第三内插轴，χ轴对应于第一内插轴)，将分别沿着该非正交的2个内插 轴、夹着内插像素P的左右和倾斜方向的各2个像素作为内插对象像素进行提取。具体地， 内插对象像素决定部28将b3 b6、c2 c5、dl d4、el e4的16像素作为内插对象 像素进行提取。再有，图5和图24分别图示有相同的提取16像素的例子，但由于通常在这 些图中的边缘的朝向E和R并不一定一致，所以以一部分不同的方式进行16像素的提取。接着，第一方向内插部30将P ’轴作为第一方向，进行沿着第一方向的内插处理 (步骤217)。此外，第二方向内插部32将χ轴作为第二方向，进行沿着第二方向的内插处 理(步骤218)。由此，通过内插处理计算修整后的内插像素ρ的像素值。接着，内插位置决定部26判定在内插区域中是否有其它的内插像素(内插值的计 算没有结束的内插像素)(步骤219)。在有其它的内插像素的情况下进行肯定判断，返回步 骤215，反复进行内插位置的决定工作以后的处理。此外，在针对内插区域内的全部内插像 素完成了内插值的计算的情况下，在步骤219的判定中进行否定判断，接着，内插区域决定 部22判定是否有内插处理没有结束的其它的内插区域(步骤220)。在有其它的内插区域 的情况下进行肯定判断，返回步骤214，反复进行内插区域的决定工作以后的处理。此外，在 针对区域W中包含的全部内插区域结束了内插处理的情况下，在步骤220的判定中进行否 定判断。针对与像这样进行了修整指示的区域W对应的内插区域结束了内插处理的图像 数据被储存在图像数据储存部12中之后，例如将修整处理后的像素的像素值盖写在位置 相同的修整处理前的像素的像素值之后，输出处理部50读出该图像数据，将以预定倍率 (例如5倍)扩大之后的图像在显示装置52的画面上显示(步骤221)。像这样，在本实施方式的图像处理装置中，仅指定显示的图像中包含的修整处所 和修整方向，就能够针对修整处所进行配合修整方向的内插处理，来进行图像的修整，因此 能够缩短图像的修整所需要的时间。此外，通过进行沿着修整方向的内插处理，能够对内插 位置直接反映沿着修整方向存在的像素的影响，能够进行高精度的内插处理，能够使修整 的精度提高。此外，通过对输入图像中包含的边缘的朝向进行检测并配合该方向进行内插处理 来进行图像显示，能够进行对于内插位置使在边缘的朝向中存在的像素的影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。此外，通过将这样的图像作为 修整对象，能够减少修整处所的数量，能够进一步降低图像的修整所需要的时间和工夫。特别是通过基于包围内插位置的4个像素的像素值对边缘的方向进行检测，能够 减少在边缘方向检测中需要的像素数，削减运算量。此外，由于在边缘存在的情况下夹着边 缘产生浓淡梯度，所以通过使用浓淡梯度，能够可靠地获知边缘的朝向。此外，通过使用构 成输入图像的像素的像素值进行图像的修整，能够去除为了图像显示而进行的内插处理导 致的画质的劣化的影响。此外，能够使沿着修整方向的朝向排列的像素的像素值在计算内插位置的像素值 的内插处理中反映，由此能够获得沿着修整方向平滑的、没有锯齿状图形产生的图像。可是，在第一实施方式中也说明过，沿着P轴进行步骤207的第一方向的内插处 理(图9)，沿着χ轴进行步骤208的第二方向的内插处理(图11)，相反地，也可以沿着χ轴 进行第一方向的内插处理，沿着P轴进行第二方向的内插处理。该变形例针对在步骤217 中进行的第一方向的内插处理和在步骤218中进行的第二内插处理也是同样的。
[第四实施方式] 在上述的第三实施方式中，创建进行沿着边缘方向的内插处理而扩大/缩小了的 图像并进行显示(步骤202 211A)，在该显示的图像中针对以目视确认了锯齿状图形的产 生的区域W的进行修整处理，但也可以不通过沿着边缘方向的内插处理，而通过在现有技 术中进行的各种内插处理来创建用于确认修整处所而显示的图像。图25是表示第四实施方式的工作过程的流程图。该流程图相对于图20中表示的 流程图，省略了步骤203的浓度梯度计算和步骤204的边缘方向推定的各工作。S卩，如图26 所示，内插对象像素决定部28将包围内插位置的上下左右各2像素的、合计16个像素作为 内插对象像素进行提取(步骤206)。此外，第一方向内插部30通过使用沿着y轴配置的4 像素的像素值，利用内插处理计算对应于与内插像素P相同的沿着y轴的位置的假想的内 插像素hi h4的各像素值(步骤207)。接着，如图27所示，第二方向内插部32，通过使 用沿着χ轴方向配置的假想的内插像素hi h4的像素值，利用内插处理计算修整处理前 的最终的内插像素P的像素值(步骤208)。在显示像这样扩大了的图像之后(步骤211)， 实施图21所示的一连串的图像修整处理。再有，本发明并不限定于上述实施方式，在本发明的技术方案所请求的范围中能 够有各种变更。例如，在上述实施方式中，针对扩大输入图像进行显示等的情况进行了说 明，但工作原理本身不仅是图像的扩大，针对缩小也是同样，所以针对图像的缩小也能够应 用本发明，防止画质的劣化。此外，在上述实施方式中，基于包围内插位置的4个像素的像素值计算出图像的 浓度梯度和边缘方向，但也可以使用更多数量的像素(例如16像素)的像素值来计算浓度 梯度和边缘方向。此外，在上述的第三实施方式中，如使用图24说明的那样，内插对象像素决定部 28为了基于修整方向(边缘的朝向)计算内插像素的像素值而提取nXn个像素，但为了进 行该提取处理需要以某种函数表示修整方向。特别是，考虑简单地对图24所示的箭头R的 形状进行直线近似的情况。像这样，通过使表示修整方向的形状单纯化，能够实现内插处理 的简略化。或者，考虑以圆弧形状或自由曲线形状对箭头R的形状进行近似的情况。在该情况下，能够正确地特别指定鼠标等的指示设备的移动轨迹，将修整处所中包含的图像的 边缘的朝向作为修整方向进行指定，能够实现正确地沿着边缘方向的修整，能够使修整的 精度提高。产业上的利用可能性根据本发明，通过对图像中包含的边缘的朝向进行检测并配合该方向进行内插处 理，能够进行对于内插位置使在边缘的朝向中存在的像素的影响直接反映的内插处理，能 够防止在变更图像的倍率时产生的画质的劣化。
权利要求
一种图像处理装置，具备图像输入单元，进行图像的输入；边缘方向检测单元，对通过所述图像输入单元输入的图像中包含的浓淡的边缘的方向进行检测；以及第一内插处理单元，对于通过所述图像输入单元输入的输入图像，将通过所述边缘方向检测单元检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着所述第一内插轴进行所述输入图像的扩大/缩小。
2.根据权利要求1所述的图像处理装置，其中，所述边缘方向检测单元检测以指示设备对所述输入图像指示的方向，作为所述边缘的 方向。
3.根据权利要求1所述的图像处理装置，其中，还具备倍率指定单元，对通过所述图像输入单元输入的图像指定扩大/缩小的倍率，所述第一内插处理单元具有第一内插位置决定单元，对与通过所述倍率指定单元指定的倍率对应的内插位置进行 决定；以及第一内插对象像素决定单元，将内插位置的周围的、沿着通过所述边缘方向检测单元 检测出的边缘的朝向配置的nXn个(η是4以上的偶数)的像素作为内插对象像素进行提 取。
4.根据权利要求3所述的图像处理装置，其中，通过所述图像输入单元输入的图像，是由沿着相互正交的水平轴和垂直轴配置的多个 像素构成，所述边缘方向检测单元基于包围内插位置的4个像素的像素值来检测边缘的方向。
5.根据权利要求4所述的图像处理装置，其中，所述边缘方向检测单元基于包围所述内插位置的4个像素的像素值，对与该4个像素 对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向进行推定。
6.根据权利要求3所述的图像处理装置，其中，所述第一内插对象像素决定单元对具有通过所述边缘方向检测单元检测出的边缘的 方向的所述第一内插轴进行设定，将夹着该第一内插轴并位于预定范围内的η个像素作为 所述内插对象像素进行提取。
7.根据权利要求6所述的图像处理装置，其中，所述第一内插轴具有与边缘的朝向一致的直线形状。
8.根据权利要求6所述的图像处理装置，其中，所述第一内插轴具有在内插位置中相接于与边缘的朝向一致的直线的非直线形状。
9.根据权利要求6所述的图像处理装置，其中，作为第二内插轴使用水平轴和垂直轴的任何的一方，所述第一内插处理单元通过沿着所述第一和第二内插轴的任何的一方的内插轴进行 内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的η个内插 位置对应的像素值，沿着所述第一和第二内插轴的任何的另一方的内插轴，计算与通过所 述第一内插位置决定单元决定的内插位置对应的内插值。
10.根据权利要求9所述的图像处理装置，其中，所述第一内插对象像素决定单元基于通过所述边缘检测单元检测出的边缘的朝向，决 定作为所述第二内插轴使用所述水平轴和所述垂直轴的哪一个。
11.根据权利要求10所述的图像处理装置，其中，所述第一内插对象像素决定单元将与所述第一内插轴的角度成为45度以上的所述水 平轴或所述垂直轴作为所述第二内插轴进行设定。
12.根据权利要求9所述的图像处理装置，其中，所述第一内插处理单元以沿着所述第一和第二内插轴格子状地配置的方式，沿着所述 第二内插轴调整nXn个像素的像素位置，然后进行内插处理。
13.根据权利要求1所述的图像处理装置，其中，利用所述第一内插处理单元的内插处理，是在将邻接的像素的间隔作为t时，使用以Φ (t) = -1. 75|t|2+l. 0 (|t| ≤ 0. 5)1. 25 1112-3. 0 111 +1. 75 (0. 5 < t ≤ 1. 0)0. 75 1112-2. 0 111 +1. 25 (1. 0 < t ≤ 1. 5)-0. 25 1112+111-1. 0 (1. 5 < 111 ≤ 2. 0)0 (2. 0 < |t|)表示的抽样函数Φ (t)来进行。
14.根据权利要求3所述的图像处理装置，其中，具备显示单元，将通过所述第一内插处理单元的内插处理而获得的图像作为成为修整对象 的图像进行显示；修整指示单元，对在通过所述显示单元显示的图像中包含的修整处所与修整方向一起 进行指示；以及第二内插处理单元，对与通过所述修整指示单元指示的修整处所对应的部分图像，进 行沿着通过所述修整指示单元指示的修整方向的内插处理。
15.根据权利要求14所述的图像处理装置，其中，所述第二内插处理单元使用构成由所述图像输入单元输入的图像的像素的像素值，进 行与所述部分图像对应的内插处理。
16.根据权利要求14所述的图像处理装置，其中，所述第二内插处理单元具有第二内插对象像素决定单元，将内插位置的周围的、沿着 通过所述修整指示单元指示的修整方向配置的预定个数的像素作为内插对象像素进行提 取。
17.根据权利要求16所述的图像处理装置，其中，所述第二内插对象像素决定单元对具有通过所述修整指示单元指示的修整方向的第 三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个的像素作为所述内插 对象像素进行提取。
18.根据权利要求17所述的图像处理装置，其中， 所述修整指示单元具有指示设备，所述修整方向的指示以如下方式进行，即，在由所述显示单元在画面中显示的图像的 修整处所中，沿着该修整处所中包含的边缘使所述指示设备移动。
19.根据权利要求18所述的图像处理装置，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的直线形状。
20.根据权利要求18所述的图像处理装置，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的圆弧形状。
21.根据权利要求18所述的图像处理装置，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的自由曲线形状。
22.根据权利要求17所述的图像处理装置，其中， 作为第四内插轴使用水平轴和垂直轴的任何的一方，所述第二内插处理单元具有第二内插位置决定单元，对与通过所述倍率指定单元指 定的倍率对应的内插位置进行决定，通过沿着所述第三和第四内插轴的任何的一方的内插 轴进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的多 个内插位置对应的像素值，沿着所述第三和第四内插轴的任何的另一方的内插轴，计算与 通过所述第二内插位置决定单元决定的内插位置对应的内插值。
23.根据权利要求22所述的图像处理装置，其中，所述第二内插对象像素决定单元基于通过所述修整指示单元指示的修整方向，决定作 为所述第四内插轴使用所述水平轴和所述垂直轴的哪一个。
24.根据权利要求23所述的图像处理装置，其中，所述第二内插对象像素决定单元将与所述第三内插轴的角度成为45度以上的所述水 平轴或所述垂直轴作为所述第四内插轴进行设定。
25.根据权利要求22所述的图像处理装置，其中，所述第二内插处理单元以沿着所述第三和第四内插轴格子状地配置的方式，沿着所述 第四内插轴调整所述预定个的像素的像素位置，然后进行内插处理。
26.根据权利要求14所述的图像处理装置，其中，利用所述第二内插处理单元的内插处理，是在将邻接的像素的间隔作为t时，使用以<formula>formula see original document page 4</formula>表示的抽样函数 (t)来进行。
27.一种图像处理方法，具有 图像输入步骤，进行图像的输入；边缘方向检测步骤，对在所述图像输入步骤中输入的图像中包含的浓淡的边缘的方向 进行检测；以及第一内插处理步骤，对于在所述图像输入步骤中输入的输入图像，将在所述边缘方向 检测步骤中检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着所 述第一内插轴进行所述输入图像的扩大/缩小。
28.根据权利要求27所述的图像处理方法，其中，在所述边缘方向检测步骤中，检测以指示设备对所述输入图像指示的方向，作为所述边缘的方向。
29.根据权利要求27所述的图像处理方法，其中，还具有倍率指定步骤，对在所述图像输入步骤中输入的图像指定扩大/缩小的倍率， 所述第一内插处理步骤具有第一内插位置决定步骤，对与在所述倍率指定步骤中指定的倍率对应的内插位置进行 决定；以及第一内插对象像素决定步骤，将内插位置的周围的、沿着通过所述边缘方向检测步骤 检测出的边缘的朝向配置的nXn个(n是4以上的偶数)的像素作为内插对象像素进行提 取。
30.根据权利要求29所述的图像处理方法，其中，在所述图像输入步骤中输入的图像，是由沿着相互正交的水平轴和垂直轴配置的多个 像素构成，在所述边缘方向检测步骤中，基于包围内插位置的4个像素的像素值来检测边缘的方向。
31.根据权利要求30所述的图像处理方法，其中，在所述边缘方向检测步骤中，基于包围所述内插位置的4个像素的像素值，对与该4个 像素对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向进行推定。
32.根据权利要求29所述的图像处理方法，其中，在所述第一内插对象像素决定步骤中，对具有在所述边缘方向检测步骤中检测出的边 缘的方向的所述第一内插轴进行设定，将夹着该第一内插轴并位于预定范围内的预定个的 像素作为所述内插对象像素进行提取。
33.根据权利要求32所述的图像处理方法，其中， 所述第一内插轴具有与边缘的朝向一致的直线形状。
34.根据权利要求32所述的图像处理方法，其中，所述第一内插轴具有在内插位置中相接于与边缘的朝向一致的直线的非直线形状。
35.根据权利要求32所述的图像处理方法，其中， 作为第二内插轴使用水平轴和垂直轴的任何的一方，在所述第一内插处理步骤中，通过沿着所述第一和第二内插轴的任何的一方的内插轴 进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的n个 内插位置对应的像素值，沿着所述第一和第二内插轴的任何的另一方的内插轴，计算与通 过所述第一内插位置决定步骤决定的内插位置对应的内插值。
36.根据权利要求35所述的图像处理方法，其中，在所述第一内插对象像素决定步骤中，基于在所述边缘检测步骤中检测出的边缘的朝 向，决定作为所述第二内插轴使用所述水平轴和所述垂直轴的哪一个。
37.根据权利要求36所述的图像处理方法，其中，在所述第一内插对象像素决定步骤中，将与所述第一内插轴的角度成为45度以上的 所述水平轴或所述垂直轴作为所述第二内插轴进行设定。
38.根据权利要求35所述的图像处理方法，其中，在所述第一内插处理步骤中，以沿着所述第一和第二内插轴格子状地配置的方式，沿 着所述第二内插轴调整nXn个像素的像素位置，然后进行内插处理。
39.根据权利要求27所述的图像处理方法，其中，所述第一内插处理步骤的内插处理在将邻接的像素的间隔作为t时，使用以小(t) = -1. 75|t|2+l. 0 (|t| ^ 0. 5)1. 25 1112-3. 0 111 +1. 75 (0. 5 < t 彡 1. 0)0. 75 1112-2. 0 111 +1. 25 (1. 0 < 111 彡 1. 5)-0. 25 1112+111-1. 0 (1. 5 < 111 彡 2. 0)0 (2. 0 < |t|)表示的抽样函数 (t)来进行。
40.根据权利要求29所述的图像处理方法，其中，具备显示步骤，将通过所述第一内插处理步骤的内插处理而获得的图像作为成为修整对象 的图像进行显示；修整指示步骤，对在所述显示步骤中显示的图像中包含的修整处所与修整方向一起进 行指示；以及第二内插处理步骤，对与在所述修整指示步骤中指示的修整处所对应的部分图像，进 行沿着在所述修整指示步骤中指示的修整方向的内插处理。
41.根据权利要求40所述的图像处理方法，其中，在所述第二内插处理步骤中，使用构成在所述图像输入步骤中输入的图像的像素的像 素值，进行与所述部分图像对应的内插处理。
42.根据权利要求40所述的图像处理方法，其中，所述第二内插处理步骤具有第二内插对象像素决定步骤，将内插位置的周围的、沿着 在所述修整指示步骤中指示的修整方向配置的预定个数的像素作为内插对象像素进行提 取。
43.根据权利要求42所述的图像处理方法，其中，在所述第二内插对象像素决定步骤中，对具有在所述修整指示步骤中指示的修整方向 的第三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个的像素作为所述 内插对象像素进行提取。
44.根据权利要求43所述的图像处理方法，其中， 所述修整指示步骤使用指示设备来进行，所述修整方向的指示以如下方式进行，即，在所述显示步骤中在画面中显示的图像的 修整处所中，沿着该修整处所中包含的边缘使所述指示设备移动。
45.根据权利要求44所述的图像处理方法，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的直线形状。
46.根据权利要求44所述的图像处理方法，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的圆弧形状。
47.根据权利要求44所述的图像处理方法，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的自由曲线形状。
48.根据权利要求43所述的图像处理方法，其中，作为第四内插轴使用水平轴和垂直轴的任何的一方，所述第二内插处理步骤具有第二内插位置决定步骤，对与在所述倍率指定步骤中指 定的倍率对应的内插位置进行决定，通过沿着所述第三和第四内插轴的任何的一方的内插 轴进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的多 个内插位置对应的像素值，沿着所述第三和第四内插轴的任何的另一方的内插轴，计算与 在所述第二内插位置决定步骤中决定的内插位置对应的内插值。
49.根据权利要求48所述的图像处理方法，其中，在所述第二内插对象像素决定步骤中，基于在所述修整指示步骤中指示的修整方向， 决定作为所述第四内插轴使用所述水平轴和所述垂直轴的哪一个。
50.根据权利要求49所述的图像处理方法，其中，在所述第二内插对象像素决定步骤中，将与所述第三内插轴的角度成为45度以上的 所述水平轴或所述垂直轴作为所述第四内插轴进行设定。
51.根据权利要求48所述的图像处理方法，其中，在所述第二内插处理步骤中，以沿着所述第三和第四内插轴格子状地配置的方式，沿 着所述第四内插轴调整所述预定个的像素的像素位置，然后进行内插处理。
52.根据权利要求40所述的图像处理方法，其中，所述第二内插处理步骤中的内插处理在将邻接的像素的间隔作为t时，使用以Φ (t) = -1. 75|t|2+l. 0 (|t| ≤ 0. 5)1. 25 1112-3. 0 111 +1. 75 (0. 5 < t ≤ 1. 0)0. 75 1112-2. 0 111 +1. 25 (1. 0 < t ≤ 1. 5)-0. 25 1112+111-1. 0 (1. 5 < 111 ≤ 2. 0)0 (2. 0 < |t|)表示的抽样函数Φ (t)来进行。
53.一种图像处理程序，用于使计算机作为如下单元而发挥功能 图像输入单元，进行图像的输入；边缘方向检测单元，对在通过所述图像输入单元输入的图像中包含的浓淡的边缘的方 向进行检测；以及第一内插处理单元，对于通过所述图像输入单元输入的输入图像，将通过所述边缘方 向检测单元检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着所 述第一内插轴进行所述输入图像的扩大/缩小。
54.根据权利要求53所述的图像处理程序，其中，所述边缘方向检测单元检测以指示设备对所述输入图像指示的方向，作为所述边缘的 方向。
55.根据权利要求53所述的图像处理程序，其中，进一步使计算机作为如下单元而发挥功能倍率指定单元，对通过所述图像输入单元 输入的图像指定扩大/缩小的倍率， 所述第一内插处理单元具有第一内插位置决定单元，对与通过所述倍率指定单元指定的倍率对应的内插位置进行 决定；以及第一内插对象像素决定单元，将内插位置的周围的、沿着通过所述边缘方向检测单元 检测出的边缘的朝向配置的nXn个(η是4以上的偶数)的像素作为内插对象像素进行提 取。
56.根据权利要求55所述的图像处理程序，其中，通过所述图像输入单元输入的图像，是由沿着相互正交的水平轴和垂直轴配置的多个 像素构成，所述边缘方向检测单元基于包围内插位置的4个像素的像素值来检测边缘的方向。
57.根据权利要求56所述的图像处理程序，其中，所述边缘方向检测单元基于包围所述内插位置的4个像素的像素值，对与该4个像素 对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向进行推定。
58.根据权利要求55所述的图像处理程序，其中，所述第一内插对象像素决定单元对具有通过所述边缘方向检测单元检测出的边缘的 方向的第一内插轴进行设定，将夹着该第一内插轴并位于预定范围内的η个像素作为所述 内插对象像素进行提取。
59.根据权利要求58所述的图像处理程序，其中，所述第一内插轴具有与边缘的朝向一致的直线形状。
60.根据权利要求58所述的图像处理程序，其中，所述第一内插轴具有在内插位置中相接于与边缘的朝向一致的直线的非直线形状。
61.根据权利要求58所述的图像处理程序，其中，作为第二内插轴使用水平轴和垂直轴的任何的一方，所述第一内插处理单元通过沿着所述第一和第二内插轴的任何的一方的内插轴进行 内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的η个内插 位置对应的像素值，沿着所述第一和第二内插轴的任何的另一方的内插轴，计算与通过所 述第一内插位置决定单元决定的内插位置对应的内插值。
62.根据权利要求61所述的图像处理程序，其中，所述第一内插对象像素决定单元基于通过所述边缘检测单元检测出的边缘的朝向，决 定作为所述第二内插轴使用所述水平轴和所述垂直轴的哪一个。
63.根据权利要求62所述的图像处理程序，其中，所述第一内插对象像素决定单元将与所述第一内插轴的角度成为45度以上的所述水 平轴或所述垂直轴作为所述第二内插轴进行设定。
64.根据权利要求61所述的图像处理程序，其中，所述第一内插处理单元以沿着所述第一和第二内插轴格子状地配置的方式，沿着所述 第二内插轴调整nXn个像素的像素位置，然后进行内插处理。
65.根据权利要求53所述的图像处理程序，其中，利用所述第一内插处理单元的内插处理，是在将邻接的像素的间隔作为t时，使用以·Φ (t) = -1. 75|t|2+l. 0 (|t|≤ 0. 5)·1. 25 1112-3. 0 111 +1. 75 (0. 5 < t ≤ 1. 0)·0. 75 1112-2. 0 111 +1. 25 (1. 0 < t≤ 1. 5)·-0. 25 1112+111-1. 0 (1. 5 < 111≤ 2. 0)<formula>formula see original document page 9</formula>表示的抽样函数φ (t)来进行。
66.根据权利要求55所述的图像处理程序，其中，进一步使计算机作为如下单元而发挥功能显示单元，将通过所述第一内插处理单元的内插处理而获得的图像作为成为修整对象 的图像进行显示；修整指示单元，对在通过所述显示单元显示的图像中包含的修整处所与修整方向一起 进行指示；以及第二内插处理单元，对与通过所述修整指示单元指示的修整处所对应的部分图像，进 行沿着通过所述修整指示单元指示的修整方向的内插处理。
67.根据权利要求66所述的图像处理程序，其中，所述第二内插处理单元使用构成由所述图像输入单元输入的图像的像素的像素值，进 行与所述部分图像对应的内插处理。
68.根据权利要求66所述的图像处理程序，其中，所述第二内插处理单元具有第二内插对象像素决定单元，将内插位置的周围的、沿着 通过所述修整指示单元指示的修整方向配置的预定个数的像素作为内插对象像素进行提 取。
69.根据权利要求68所述的图像处理程序，其中，所述第二内插对象像素决定单元对具有通过所述修整指示单元指示的修整方向的第 三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个的像素作为所述内插 对象像素进行提取。
70.根据权利要求69所述的图像处理程序，其中，所述修整指示单元使用指示设备来进行，所述修整方向的指示以如下方式进行，即，在由所述显示单元在画面中显示的图像的 修整处所中，沿着该修整处所中包含的边缘使所述指示设备移动。
71.根据权利要求70所述的图像处理程序，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的直线形状。
72.根据权利要求70所述的图像处理程序，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的圆弧形状。
73.根据权利要求70所述的图像处理程序，其中，所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的自由曲线形状。
74.根据权利要求69所述的图像处理程序，其中，作为第四内插轴使用水平轴和垂直轴的任何的一方，所述第二内插处理单元具有第二内插位置决定单元，对与通过所述倍率指定单元指 定的倍率对应的内插位置进行决定，通过沿着所述第三和第四内插轴的任何的一方的内插 轴进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的多 个内插位置对应的像素值，沿着所述第三和第四内插轴的任何的另一方的内插轴，计算与 通过所述第二内插位置决定单元决定的内插位置对应的内插值。
75.根据权利要求74所述的图像处理程序，其中，所述第二内插对象像素决定单元基于通过所述修整指示单元指示的修整方向，决定作 为所述第四内插轴使用所述水平轴和所述垂直轴的哪一个。
76.根据权利要求75所述的图像处理程序，其中，所述内插对象像素决定单元将与所述第三内插轴的角度成为45度以上的所述水平轴 或所述垂直轴作为所述第四内插轴进行设定。
77.根据权利要求74所述的图像处理程序，其中，所述第二内插处理单元以沿着所述第三和第四内插轴格子状地配置的方式，沿着所述 第四内插轴调整所述预定个的像素的像素位置，然后进行内插处理。
78.根据权利要求66所述的图像处理程序，其中，利用所述第二内插处理单元的内插处理，是在将邻接的像素的间隔作为t时，使用以；Φ (t) = -1. 75|t|2+l. O (|t| ^ 0. 5)；1. 25 1112-3. 0 111 +1. 75 (0. 5 < t 彡 1. 0)；0. 75 1112-2. 0 111 +1. 25 (1. 0 < t 彡 1. 5)；-0. 25 1112+111-1. 0 (1. 5 < 111 彡 2. 0)；0 (2. 0 < |t|)表示的抽样函数Φ (t)来进行。
全文摘要
本发明的目的在于提供一种能够防止在变更图像的倍率时产生的画质的劣化的图像处理装置、方法和程序。图像处理装置具备进行图像的输入的图像输入部(10)；对通过图像输入部(10)输入的图像中包含的边缘的方向进行检测的边缘方向计算部(24)；对通过图像输入部(10)输入的图像在通过边缘方向计算部(24)检测出的边缘的方向上进行内插处理的内插位置决定部(26)；内插对象像素决定部(28)；第一方向内插部(30)；以及第二方向内插部(32)。
文档编号H04N1/387GK101822037SQ20088011153
公开日2010年9月1日 申请日期2008年8月11日 优先权日2007年8月15日
发明者大宫康宏, 寅市和男, 李佳 申请人:独立行政法人科学技术振兴机构