图像处理设备和其控制方法以及图像处理方法

专利名称：图像处理设备和其控制方法以及图像处理方法
技术领域：
本发明涉及一 种在使用图像传感器的图像拍摄设备中抑制 由于附着在光学低通滤波器等的表面上的异物引起的图像质量
降低的技术，其中，图像传感器是例如CCD或CMOS传感器等。
背景技术：
最近，使用例如CCD等图像传感器产生图像信号，并将它 们作为数据记录的多种图像拍摄设备，例如，数字照相机和数 字摄像机已经投放市场。数字照相机不需要使用用作记录介质 的感光胶片，而将图像作为数据记录在代替这种胶片使用的例 如半导体存储卡和硬盘驱动器等的数据记录介质上。这些数据
记录介质允许多次执行写入和擦除操作，因此可以节省消耗品 的费用。也就是说，这种介质非常方便。
通常，数字照相机装备了可以根据需要显示拍摄的图像的 LCD(液晶显示器，Liquid Crystal Display)监视装置，以及可 拆卸的大容量存储装置。
使用包括这两种装置的数字照相机就无需使用用作消耗品 的胶片作为记录介质，并且通过将拍摄的图像显示在LCD监视 装置上，可以立即检查拍摄的图像。这使得可以在现场擦除不 满意的图像数据或按照需要重新拍摄相同的图像。即，与使用 胶片的卣化银照相机相比，该照相机显著提高了照片拍摄效率。
这种方便以及例如增加图像传感器的像素数的技术创新扩 展了数字照相机的应用范围。最近，可以买到很多例如单镜头 反光照相机的镜头可互换数字照相机。
例如灰尘和异物颗粒等异物(下文中简称为异物)有时附着
在固定在图像传感器的图像传感器保护玻璃和布置在图像传感 器附近的光学滤波器等(下文中统称为图像传感器光学系统组 件)的表面上。当异物以这种方式附着在图像传感器光学系统组 件上时，该异物阻挡光。在这种情况下，例如，不能获得对应 于该部分的被摄体图像，导致拍摄图像的图像质量降低。
不仅数字照相机，而且使用卣化银胶片的照相机也存在帧 上映出胶片上的异物的问题。然而，因为在使用胶片的照相机 上，胶片一帧一帧地移动，所以相同的异物很少映在全部巾贞上。
与此相反，数字照相机的图像传感器不移动。即，照相机 通过使用相同的图像传感器进行图像拍摄。因此，如果异物附 着在图像传感器光学系统组件上，则相同的异物映在很多帧(所
拍摄图像)上。尤其是，镜头可互换数字照相机存在这样的问题 当用户更换镜头时，会使异物进入照相机。
因此，用户一定总是注意异物附着在图像传感器光学系统 组件上，并花费大量努力检查和清洁异物。尤其是，因为图像 传感器位于照相机内相对深的位置，所以很难检查和清洁异物。
在镜头的安装/拆卸操作期间，异物容易进入镜头可互换数 字照相机。另外，大多数镜头可互换数字照相机在图像传感器 前面具有焦面快门，从而异物容易附着在图像传感器光学系统 组件上。
位于这种图像传感器上的异物通常附着在保护玻璃或光学 过滤器上，而非附着在图像传感器的表面上，因此，异物的成 像状态根据照相镜头的光圈值或光瞳位置变化。即，随着光圈 值越来越接近完全开放的光圈值，异物越模糊。即使小异物附 着在这种组件上，也几乎不影响所拍摄图像。相反，随着光圏 值增大，异物清楚地聚焦，从而影响所拍摄图像。
已知这样一种方法使用正常拍摄的图像和通过在缩小镜
头光圏的同时拍摄白墙等预先准备的仅包括图像传感器上的异
物的图像的组合，使异物不明显(见日本特开第2004 - 222231 号公报)。更具体地说，用周围的像素插值(interpolate)与映出 异物的图像相对应的区域。
在极少数情况下，从指定区域确定出异物区域时进行插值 的方法可能产生不正确的插值结果。

发明内容
考虑到上述问题做出本发明，其目的是即使当异物附着在
固定在图像传感器上的保护玻璃上或附着在布置在图像传感器 附近的滤波器上时，仍可以正确校正所拍摄图像并抑制异物对 所拍摄图像的影响。
为了解决上述问题并实现上述目的，根据本发明的第一方 面，提供了一种图像处理设备，包括修改处理单元，用于修 改输入的图像数据；存储单元，用于存储修改处理单元对相同 图像数据进行修改的修改记录；选择单元，用于在修改记录中 选择任意修改处理；删除单元，用于从修改记录中删除由选择 单元选择的修改处理；以及判断单元，用于判断是否允许从修 改记录中删除由选择单元选#^的修改处理。
根据本发明的第二方面，提供了一种图像处理设备，其基 于输入的图像数据以及异物信息来校正图像数据，异物信息包 括与附着在拍摄了图像数据的图像拍摄设备中的图像传感器附 近的异物的位置和大小相关的信息，所述图像处理设备包括 校正单元，用于基于图像数据和异物信息来校正图像数据，从 而减小异物投射在图像数据中的阴影的影响；存储单元，用于 存储校正单元对相同图像数据进行校正的校正记录；选择单元， 用于在校正记录中选择任意校正处理；删除单元，用于从校正
记录中删除由选择单元选择的校正处理；以及判断单元，用于 判断是否允许从校正记录中删除由选择单元选择的校正处理。
根据本发明的第三方面，提供了一种图像处理方法，包括 以下步骤修改步骤，修改输入的图像数据；存储在修改步骤 中对相同图像数据进行修改的修改记录；选择步骤，在修改记 录中选择任意修改处理；从修改记录中删除在选择步骤中选择 的修改处理；以及判断是否允许从修改记录中删除在选择步骤 中选择的修改处理。
根据本发明的第四方面，提供了 一种控制图像处理设备的 方法，图像处理设备基于输入的图像数据以及异物信息来校正 图像数据，异物信息包括与附着在拍摄了图像数据的图像拍摄 设备中的图像传感器附近的异物的位置和大小相关的信息，所 述方法包括以下步骤校正步骤，基于图像数据和异物信息来 校正图像数据，从而减小投射在图像数据中的异物的阴影的影 响；存储在校正步骤中对相同图像数据进行校正的校正记录； 选择步骤，在校正记录中选择任意校正处理；从校正记录中删
除在选择步骤中选择的校正处理；以及判断是否允许从校正记 录中删除在选择步骤中选择的校正处理。
根据下面参考附图对典型实施例的说明，本发明的其它特 征将变得明显。


图l是示出作为根据本发明第 一 实施例的图像拍摄设备的 镜头可互换单镜头反光数字照相机的电路布置的框图2是示出根据第 一 实施例的数字照相机的外观的立体
图3是示出根据第 一 实施例的数字照相机的内部结构的垂
直剖视图4是用于说明根据第一实施例的数字照相机中的异物检 测处理的流程图5是示出异物校正数据的数据格式的例子的视图6是用于说明在图4的步骤S 2 7中执行的异物区域获取例 程的细节的流程图7是示出在图6的步骤S62中执行的异物区域确定处理中 的处理单元的视图8是示出在图6的步骤S63中执行的异物区域大小计算的 概要的视图9是用于说明在图4的步骤S24中执行的图像拍摄处理例 程的细节的流程图IO是示意性示出图像处理设备的系统结构的视图ll是示出图像处理设备中的GUI的例子的视图12是示出图像编辑程序的内部结构的视图13是示出图像编辑程序中的编辑记录的数据结构的视
图14是用于说明自动修补处理的基本过程的流程图； 图15是示出第 一 实施例中的自动修补处理过程的流程图； 图16是用于说明插值例程的细节的流程图； 图17是示出第二实施例中的自动修补处理过程的流程图； 图18是示出第三实施例中的自动修补处理过程的流程图； 图19是示出第三实施例中的均一性判断值计算处理过程 的流程图20A和图20B是分别示出平滑滤波器的例子的视图； 图21是示出第四实施例中的均一性判断值计算处理过程 的流程9
图22是示出第五实施例中的均一性判断值计算处理过程 的流程图23是示出第五实施例中的均一性判断值计算处理过程
的变形例的流程图24是用于说明编辑处理的取消处理的细节的视图25是用于说明取消编辑处理之后执行的图像处理过程
的流程图2 6是示出取消指定对话框的例子的视图27A-图27D是用于说明在取消对被指定为复制源区域
的区域应用编辑处理的情况下的现象的 一见图2 8是用于说明取消禁止判断处理的细节的流程图29是示出增加了取消标志的异物校正数据的数据格式
的例子的视图30是示出在增加了取消标志的情况下的自动修补处理 过程的流程图；以及
图31是用于说明取消标志的更新处理的细节的视图。
具体实施例方式
下面参考附图详细说明本发明的优选实施例。 第 一 实施例
本实施例将举例说明这样的情况照相才几体#r测异物以对 图像数据附加异物校正数据，且位于照相机外部的图像处理设 备使用附加到图像数据的异物校正数据来从图像数据上去除异 物。
图l是示出作为根据本发明第 一 实施例的图像拍摄设备的 镜头可互换单镜头反光数字照相机的电路布置的框图。
参考图l,微型计算机402控制整个照相机的操作，例如，
对图像传感器(在本实施例中为CCD)418输出的图像数据进行 处理以及对LCD监视装置417进行显示控制。
当用户半按下释放按钮114(见图2)时，开关(SW1)405被接 通。当开关(SW1)405接通时，本实施例的数字照相机被设置为 准备好拍摄图像。当将释放按钮114按到第二行程位置(完全按 下状态)时，开关(SW2)406被接通。当开关(SW2)406接通时， 本实施例的数字照相机开始拍摄图像。
镜头控制电路407与照相镜头200通信(见图3),并对照相 镜头200和光圈叶片进行驱动控制。
参考图1 ，外部显示控制电路408控制外部显示装置 (OLC)409和取景器中的显示装置(未示出)。开关感测电路410 将来自为照相机设置的、包括电子拨盘411的很多开关等的信 号传送到微型计算机402。
电子闪光灯发光控制电路412通过X触点412a接地，且其 对外部电子闪光灯单元进行控制。测距电-各413^r测相对于3皮 摄体的AF的离焦量(defocus amount)。测光电路414测量被才聂 体的亮度。
快门控制电路415控制快门，以正确曝光图像传感器。LCD 监视装置417和背光照明装置416包括图像显示装置。外部存储 装置419例如是可拆卸地安装在照相机体上的硬盘驱动器、半 导体存储卡等。
下面的组件连接到微型计算机402: A/D转换器423、图像 緩冲存储器424、包括DSP等的图像处理电路425以及用于存储 表示图像传感器中的预定像素本身有缺陷的信息的像素缺陷位 置存储器426。存储图像传感器中因为异物而导致图像不良的 像素位置的异物位置存储器427也连接到微型计算机402。注 意该设备优选使用非易失性存储器作为像素缺陷位置存储器
426和异物位置存储器427。像素缺陷位置存储器426和异物位 置存储器427可以在相同存储空间内使用不同地址存储信息。
附图标记428表示存储微型计算机402执行的程序等的非 易失性存储器。
图2是示出根据本实施例的数字照相机的外观的立体图。 图3是图2的垂直剖视图。
参考图2，在照相机体100的上部设置了 用于观看取景器 的目镜窗口lll、 AE(自动曝光，Automatic Exposure)锁定i安 钮112、 AF的测距点选择按钮113以及用于拍摄图像的释放按 钮114。在该上部还设置了电子拨盘411、拍摄模式选择拨盘 117以及外部显示装置409。电子拨盘411是多功能信号输入装 置，用户操作它来与其它操作按钮一起对照相机输入数字值， 或切换图像拍摄模式。外部显示装置409包括液晶显示装置， 且其显示例如快门速度、光圈值以及图像拍摄模式的拍摄条件 以及其它信息。
在照相机体100的后表面设置了 显示拍摄的图像、各种 设置窗口等的LCD监视装置417，用于打开/关闭LCD监视装置 417的监视器开关121，四向选择器开关116以及菜单按钮124。
四向选择器开关116具有四个在垂直方向和水平方向排列 的按钮以及位于中心的SET按钮。用户使用该开关将指令送到 照相机，以选择或执行显示在LCD监视装置417等上的菜单项。
菜单按钮124是用于使LCD监视装置417显示用于在照相 机上进行各种设置的菜单窗口的按钮。例如，当选择并设置图 像拍摄模式时，用户按下菜单按钮124，然后通过操作四向选 择器开关116的上、下、左、右按钮来选择想要的模式，最后， 在选择了想要的模式时，设置SET按钮，从而完成设置。
因为本实施例的LCD监视装置417是穿透型的，所以用户
不能仅通过驱动LCD监视装置来用肉眼检查任何图像。就是 说，总是需要将背光照明装置416设置在该监视装置的后表面 上，如图3中所示。如上所述，LCD监视装置417和背光照明装 置416构成图像显示装置。
如图3所示，作为图像拍摄光学系统的照相镜头200通过镜 头筒202可拆卸地安装在照相机体100上。参考图3，附图标记 20l表示拍才聂光轴，而附图标记203表示快速复原反射镜。
快速复原反射镜203位于拍摄光路上，且其可以在将来自 照相镜头2 0 0的被摄体光引导到取景器光学系统的位置(图3中 所示的位置，该位置将被称为倾斜安装位置)与退避到拍摄光路 之外的位置(将被称为退避位置)之间移动。
参考图3,从快速复原反射镜2 0 3引导到取景器光学系统的 被摄体光在聚焦屏幕204上形成图像。附图标记205表示用于提 高取景器的可见度的聚光透镜；而附图标记206表示使被摄体 光通过聚焦屏幕204和聚光透镜205到达用于观看取景器的目 镜208和测光传感器207的五棱镜。
附图标记209和210表示构成快门的后帘和前帘。打开后帘 209和前帘210将使位于它们后面的作为固态图像传感器的图 像传感器418曝光所需的时间段。A/D转换器423、图像处理电 路425等对由图像传感器针对每个像素转换为电信号的所拍摄 图像进行处理。外部存储装置419存储结果数据作为图像数据。
图像传感器418位于印刷电路板211上。作为另 一个印刷电 路板的显示板215位于印刷电路板211后面。LCD监视装置417 和背光照明装置416设置在显示板215的对面表面。
附图标记419表示存储图像数据的外部存储装置，附图标 记217表示电池(可携电源)。外部存储装置419和电池217可以 /人照才目才几^Ji卸下。
异物检测处理
图4是用于说明根据本实施例的数字照相机中的异物检测 处理(对由异物引起图像缺陷的像素位置进行检测的处理)的流
处理程序来执行该处理。
通过拍摄异物检须'J图像进行异物检测处理。当要进行异物 检测处理时，布置照相机，以使照相镜头200的拍摄光轴201 对准具有均匀颜色的表面，例如，表面光源单元的出射面或白 墙，并准备拍摄用于异物检测的图像。可选择地，用户将用于 进行异物检测的照明单元(安装小型光源装置代替镜头)安装在 镜头筒202上，并准备拍摄用于异物检测的图像。例如，可以 采用白色LED作为照明单元的光源，并优选调节发光面的大小 来设置预定光圈值(例如，在本实施例中是F64)。
尽管本实施例举例说明了使用常规照相镜头的情况，但是 通过将上述照明单元安装在镜头筒2 0 2上足以检测异物。如上 所述，在本实施例中用于进行异物检测的图像是具有均匀颜色 的图像。
当用户在完成准备后，通过操作例如四向选择器开关116 发出指令以开始进行异物检测处理时，微型计算机402首先执 行光圏设置。图像传感器附近异物的成像状态根据镜头的光圏 值变化，且异物的位置根据镜头的光瞳位置而变化。因此，除 了异物的位置和大小之外，还需要在异物校正数据中保持拍摄 异物检测用图像时镜头的光圏值和光瞳位置。
然而，如果在产生异物校正数据的步骤中预先确定出即使 在使用不同镜头时，也始终使用相同的光圏值，则在异物校正 数据中，不需要始终保持光圈值。同样，关于光瞳位置，使用 照明单元或仅允许使用特定镜头则无需在异物校正数据中保持
光瞳位置。就是说，当在产生异物校正数据的步骤中允许使用 多个镜头，或根据需要改变要减小的光圈值时，需要在异物校
正数据中保持检测时镜头的光圈值和光瞳位置。注意这种情 况下的光瞳位置是离开出射光瞳的图像拍摄面(焦面)的距离。 在这种情况下，例如，指定F16(步骤S21)。 然后，微型计算机402使镜头控制电路407对照相镜头200 执行光圏叶片控制，以将光阑设置为在步骤S21中指定的光圏 值(步骤S22)。微型计算机402还将聚焦位置设置为无穷远(步骤 S23)。
设置了照相镜头的光圈值和聚焦位置后，微型计算机402 在异物检测模式下进行图像拍摄(步骤S24)。稍后将参考图9详 细说明在步骤S24中进行的拍摄处理例程。图像緩冲存储器424 存储拍摄的图像数据。
当完成图像拍摄时，微型计算机402获取图像拍摄时的光 圈值和镜头光瞳位置(步骤S 2 5)。微型计算机4 0 2将与存储在图 像緩冲存储器424中的所拍摄图像的每个像素相对应的数据读 出到图像处理电路425(步骤S26)。图像处理电路425执行图6中 所示的处理，并获取存在异物的像素的位置和大小(步骤S27)。 微型计算机402将在步骤S27中获取的、存在异物的像素的位置 和大小，以及在步骤S 2 5中获取的光圏值和镜头光瞳位置信息 登记在异物位置存储器427中(步骤S28)。在这种情况下，当使 用上述照明单元时，微型计算机402不能获取镜头信息。因此， 如果微型计算机402不能获取任何镜头信息，则微型计算机402 确定使用了照明单元，并登记预定的镜头光瞳位置信息和根据 照明单元的光源的直径计算的转换的光圈值。
在步骤S28中，微型计算机402通过将预先记录在像素缺陷 位置存储器426上的、加工时的错误像素(像素缺陷)的位置与读
出像素数据的位置进行比较来检查存在/不存在像素缺陷。只允 许将被确定为与像素缺陷无关的异物区域的位置登记在异物位
置存储器427中。
图5示出存储在异物位置存储器427中的异物校正数据的 数据格式的例子。如图5中所示，要存储的异物校正数据包括 拍摄检测图像时的镜头信息以及异物的位置信息和大小信息。 将该异物校正数据与正常图像拍摄时的图像数据的拍摄信息一 起增加到该图像数据，并将由此得到的数据用于稍后说明的异 物去除处理。
更具体地说，微型计算机402存储拍摄检测图像时的实际 光圈值(f值)和此时的镜头光瞳位置，作为拍摄检测图像时的镜 头信息。随后，微型计算机402将每个具体异物区域的参数重 复存储对应于异物区域数量的次数。每个异物区域的参数是一 组三个数值，包括异物的半径(例如，两个字节)、有效图像区 域中心的x坐标(例如，两个字节)以及该中心的y坐标(例如，两 个字节)。
如果异物位置存储器427的大小等限制了异物校正数据的
的头开始的数据。这是因为，在步骤S27的异物区域获取例程 中，以越来越不明显的异物的顺序来对异物区域进行排序。 异物区域获取例程
接下来，将参考图6~图8详细说明在步骤S27中执行的异 物区域获取例程。
如图7所示，微型计算机402将存储器中的读出图像数据光 栅化，并以块为单位处理该数据。微型计算机402进行该处理 以克服因为镜头或传感器的特性产生的四周发虚。四周发虚是 镜头的外围部分的亮度比中心部分的亮度低的现象。已知减小
镜头的光圈值将在某种程度上抑制这种现象。即使在镜头减小 光圏的情况下，通过使用预定阈值确定相对于拍摄图像的异物 位置，不能根据所使用的镜头精确检测外围部分的异物。出于 该原因，通过将图像分割成块，减小四周发虛的影响。
然而，如果将图像简单地分割成块，并对相邻块设置不同 阈值，则各块上的检测结果互相不同。出于该原因，使相邻块 重叠，且将被确定为构成重叠区域的两块之一上的异物的像素 作为异物区域处理。
根据图6中所示的处理过程，微型计算机4 0 2在每块内4丸行 异物区域确定。首先，微型计算机402计算块内的最大亮度 Lmax和平均亮度Lave,并使用下面的等式来计算块内的阈值 Tl:
Tl = Lave x 0.6+Lmax x 0.4
微型计算机402将没有超过该阈值的像素看作异物像素(步 骤S61),并将包括异物像素的孤立区域看作异物区域 di(i二0,l，…，n)(步骤S62)。如图8中所示，对于每个异物区域， 微型计算机4 0 2求得沿水平方向上形成该异物区域的像素的各 坐标的最大值Xmax和最小值Xmin以及沿垂直方向上各坐标 的最大值Ymax和最小值Ymin,从而根据下面的等式来计算代 表异物区域di的大小的半径ri(步骤S63): = V[ ((x max— Z min) / 2}2 + {(F max- 7 min) / 2}2 ] 图8示出Xmax、 Xmin、 Ymax、 Ymin以及ri之间的关系。 随后，在步骤S64中，微型计算机402计算每个异物区域的 平均亮度值。
在某些情况下，因为异物位置存储器427的大小受到限制， 所以异物校正数据的数据大小也受到一些限制。为了克服这种 情况，根据异物区域的大小和平均亮度值来存储各条异物位置
信息(步骤S65)。在该实施例中，微型计算机402以ri的降序进 行排序。如果各条信息的ri相同，则微型计算机402按平均亮度 值的降序进行排序。这样可以优先将显著异物登记在异物校正 数据中。设Di是被排序的异物区域，而Ri是异物区域Di的半径。 如果存在大于预定大小的异物区域，则可以从排序目标中 排除它，并将它放置在排序的异物区域列表的末尾。这是因为， 对大异物区域进行的后续插值处理有时导致图像质量劣化，因 此，优选将这种区域作为编辑目标优先顺序中的最低者进行处 理。
拍摄处理例程
接下来，将参考图9的流程图详细说明在图4的步骤S24中 执行的拍摄处理例程。微型计算机4 0 2通过执行存储在存储器 428中的拍摄处理程序来执行该处理。
当执行该拍摄处理例程时，在步骤S201，微型计算机402 移动图3中所示快速复原反射镜203,以执行所谓反射镜上升 (mirror up)操作，从而使快速复原反射镜203退避到拍摄光路 之外。
在步骤S202中，微型计算机402开始通过使用图像传感器 来积累电荷。在步骤S203中，微型计算机402通过使图3中所示 快门的前帘210和后帘209位移来执行曝光。在步骤S204中， 聚焦屏幕204使用图像传感器完成电荷积累。在步骤S205中， 微型计算机402从图像传感器读出图像信号，并将使用A/D转换 器4 2 3和图像处理电路4 2 5处理的图像数据临时存储在图像緩 冲存储器424中。
在步骤S206中完成从图像传感器读出全部图像信号后，微 型计算机402在步骤S207执行快速复原反射镜203的反射镜下 降操作，以使快速复原反射镜恢复到倾斜位置，并终止一系列 拍摄操作。
在步骤S208中，微型计算机402判断是执行正常图像拍摄 还是执行异物检测图像拍摄。当微型计算机402判断为执行正 常图像拍摄时，处理前进到步骤S209,以与图像数据相关地将 图像拍摄时的照相机设置值等和图5中所示的异物校正数据记 录在外部存储装置419上。
更具体地说，微型计算机4 0 2可以通过例如将异物才吏正数 据加到Exif区域使上述数据相关，其中，Exif区域为记录了图 像拍摄时的照相机设置值等的图像文件的头区域。可选择地， 微型计算机402可以通过单独将异物校正数据记录为文件，并 只在图像数据上记录该异物校正数据文件的链接信息来使该数 据相关。然而，如果微型计算机402分别记录图像文件和异物 校正数据文件，则移动图像文件时，该链接关系可能丟失。因 此，优选集中保持异物校正数据和图像数据。
异物去除处理
接下来，将说明异物去除处理过程。不是在数字照相机体 上，而是在分开配备的图像处理设备上进行异物去除处理。
图IO是示意性示出图像处理设备的系统结构的视图。
CPU IOOI控制整个系统的操作，并执行存储在主存储单 元1002中的程序。主存储单元1002主要是读取并存储存储在辅 助存储单元1003中的程序等的存储器。辅助存储单元1003对应 于例如硬盘。总之，主存储单元的容量小于辅助存储单元的容 量。辅助存储单元存储主存储单元存不下的程序、数据等。辅 助存储单元还存储需要长期存储的数据。在本实施例中，辅助 存储单元1003存储程序，且在执行程序时，CPU IOOI将程序 装载到主存储单元1002中并执行处理。
例如，输入装置10 0 4对应于输入图像数据所需的卡读取
器、扫描仪、胶片扫描仪等以及用于控制系统的鼠标和键盘。
输出装置1005的例子是监视器、打印机等。布置该设备的方法 可以有各种形式。然而，它们不涉及本发明的要点，因此省略 说明它们。假定该实施例使用通常使用的具有左按钮和右4要钮 的鼠标作为输入装置。
图像处理设备装备了可以并行执行多个程序的操作系统。 操作者可以通过使用GUI(图形用户界面，Graphical User Interface)来操作在图像处理设备上运行的程序。
本实施例的图像处理设备可以执行两种处理作为图像编辑 处理。即， 一种是复制戳记处理，另一种是修补处理。复制戳 记处理是将指定图像上的部分区域复制到单独指定的另 一个区 域上的功能。修补处理是对指定区域内匹配预定条件的孤立区 域进行检测以及使用周围像素插值该孤立区域的处理。
另外，图像处理设备具有自动修补功能，该功能通过使用 在数字照相机体中附加在图像数据上的异物校正数据来对指定 坐标自动执行修补处理。稍后将详细说明这些处理过程。
图ll是示出图像处理设备中用于图像编辑程序的GUI(图 形用户界面)的视图。该窗口包括关闭按钮1100和标题栏1101。 当用户按下关闭按钮时，他/她可以终止程序。当用户通过将编 辑目标图像拖放到图像显示区域1102上来指定和确定编辑目 标图像时，CPU IOOI将文件名显示在标题栏1101上，然后在 图像显示区域1102上适配显示(Fit-display)目标图像。
编辑目标图像的显示状态具有两种模式，即，可以使用显 示模式按钮1108进行切换的适配显示模式和逐像素显示模式。 根据该G UI,用户通过点击图像上的相应部分来指定修改位置。 在适配显示模式下，CPU IOOI根据显示放大率来计算对应于 点击位置的修改图像上的坐标，并对该坐标进行处理。使用该
GUI，用户使用作为编辑目标图像上的半径的半径指定处理范 围。根据显示放大率，该半径有时与适配显示模式下显示的图 像上的半径不同。
当用户按下自动修补处理执行按钮1103时，CPU IOOI执 行稍后说明的自动异物去除处理，并在图像显示区域1102上显 示处理过的图像。仅当图像没有被编辑时，自动修补处理执行 按钮1103有效，而当通过执行复制戳记处理、修补处理或自动 修补处理编辑了图像时，自动修补处理执4于按钮1103无效。
半径滑块1106是用户原来对复制戳记处理和修补处理指 定应用范围的滑块。
当用户按下修补处理模式按钮1104时，设置修补处理模 式。当用户在修补处理模式下在图像上左点击时，CPU 1001 对以左点击坐标为中心、具有与使用半径滑块1106指定的像素 数相对应的半径的区域进行修补处理(稍后说明)。对该区域进 行了修补处理后，取消修补处理模式。当用户在修补模式下在 图像显示区域1102上右点击或按下GUI上的按钮中任意 一 个 时，取消修补模式。
当用户按下复制戳记处理模式按钮1105时，设置复制戳记 模式。当在复制戳记模式下，用户在图像上左点击时，CPU IOOI将左点击坐标设置为复制源区域的中心坐标。当在设置复 制源区域的中心坐标的同时，用户在该图像上左点击时，CPU IOOI在将左点击坐标设置为复制目的地区域的中心坐标，并将 该时刻由半径滑块110 6指定的半径设置为复制半径后，执行复 制戳记处理。然后，在设置没有设置复制源区域的中心坐标的 状态后，CPU IOOI取消复制戳记模式。当用户在复制戳记模 式下在图像显示区域1102上右点击，或按下GUI上的按钮中任 意一个时，CPU IOOI在设置没有设置复制源区域的中心坐标
的状态后取消复制戳记模式。
在用户按下保存按钮1107时，CPU IOOI保存处理过的图像。
根据本实施例中的图像编辑程序，如图12中所示，CPU IOOI保持原始图像和处理后的图像。将由GUI指定的、用来编 辑图像的编辑处理登记在编辑记录中。将登记在编辑记录中的 一个编辑处理称为编辑项目。
图13示出编辑项目的例子。
本实施例中的编辑项目保持用于区别复制戳记处理或修 补处理的处理ID、指出处理应用区域的中心和半径、从复制源 坐标到复制目的地坐标的复制戳记处理所需的相对坐标以及差 分图像数据(稍后说明)。当执行自动修补处理时，CPU 1001 根据异物校正数据执行修补处理，并在每次执行修补处理时将 编辑项目力口到编辑记录上。
以这种方式执行这些处理，可以在完全丟弃编辑记录后重 构原始图像，而且可以取消紧接在前的编辑处理。
例如，通过使用原始图像覆盖临时处理的图像，或通过重 新执行直到紧接在作为取消目标的编辑项目之前的编辑项目的 编辑处理，可以执行取消紧接在前的编辑处理的处理。然而， 如果项目数量非常大，则重新执行编辑处理要花费大量时间。 出于这个原因，对于每次执行编辑操作，CPU IOOI都计算执 行编辑处理之前和之后的图像数据之间的差分，并将其保持在 编辑项目中。保持差分图像使得可以只通过将对应于取消目标 编辑项目的差分图像反映在处理过的图像中，而不从开头重新 执行写入编辑项目的编辑处理来返回紧接在前的处理图像。
接下来，将分别详细说明修补处理和自动^f多补处理。因为 复制戳记处理是众所周知的技术，所以省略该技术的详细说明。
修补处理是检测指定区域内的孤立区域并插值该孤立区域
的处理。CPU 1001通过对使用GUI指定的中心坐标和半径表 示的区域应用插值例程(稍后说明)来执行修补处理。
在自动修补处理中，CPU 1001从正常拍摄的图像数据中
提取异物校正数据，并根据异物校正数据自动执行修补处理。
图14示出自动修补处理的基本处理过程。
首先，CPU 1001将从数字照相机中的外部存储装置419附 加或分离了异物校正数据的正常拍摄图像数据装载到图像处理 设备，并将该数据存储在主存储单元1002或辅助存储单元1003 中(步骤S90)。
然后，CPU 1001从步骤S209中正常拍摄图像数据(进行了 异物去除处理的图像)中提取附加到所拍摄图像的异物校正数 据(步骤S91)。
标序列Di(i二l，2，…，n)、半径序列Ri(i二l，2，…，n)、光圈值fl以及 镜头光瞳位置L1(步骤S92)。在这种情况下，Ri表示位于在图6 的步骤S65中计算的坐标Di的异物的大小。
在步骤S93中，CPU IOOI获取在正常拍摄图像时的光圈值 f2和镜头光瞳位置L2，并在步骤S94中根据下面的等式变换Di。 设d是从图像的中心到坐标D i的距离，H是从图像传感器418的 表面到异物的距离。如下给出变换之后的坐标Di'和变换之后的 半径Ri，:
Di，(x，y)=(L2 x (Ll - H) x d/((L2 - H)xLl)) x Di(x，y) Ri，=(Ri x fl/f2+3) x 2 …(l)
在这种情况下，单位是像素，且Ri，中的"+ 3"表示余量。 (Ri x fl/f2+3)乘2的原因是为了通过使用平均亮度检测异物区 域，获取了位于异物区域之外的区域。
在步骤S95中，CPU 1001将插值处理计数器i初始化为0。 在步骤S96中，CPU 1001计算i的总数。
在步骤S97中，CPU IOOI对使用第i个坐标Di，和半径Ri， 表示的区域执行插值例程(稍后说明)，以去除该区域中的异物。 在步骤S98中，CPU IOOI判断是否对全部坐标执行了异物去除 处理。如果对全部坐标完成了该处理，则CPU IOOI终止该处 理。否则，处理返回步骤S96。
已知随着图像拍摄时的f值减小(接近完全打开光圈值)，异 物图像变得模糊且比较不明显。因此，可以设想，在自动修补 处理之前参考图像拍摄时的f值，且如杲该值小于阈值，则禁止 执行全部^修补处理。这样可以省略分析处理等，因此，即使编 辑目标图像数量很大，也可以有效进行处理。另外，即使在对 不明显的异物执行自动修补处理时，这样也可以防止图像质量 劣化。例如，在f值小于使异物不明显的f8时，该实施例跳过上 述处理。
图15示出以这种方式变形的自动修补处理过程。 除了在将通过在执行全部处理之前获取图像拍摄时的参数 获得的图像拍摄时的光圈值与阔值进行比较，而该光圈值小于 该阁值时，CPU 1001跳过插值例程(步骤S138)外，该处理与 图14中所示的处理相同。 插值例程
下面将说明要在修补处理和自动修补处理中执行的插值例程。
图16是示出插值例程过程的流程图。首先，在步骤S1201 中，CPU IOOI进行异物区域判断。设P是作为修补处理目标的 区域的中心坐标，而设R是半径。假定异物区域是满足如下全 部条件的区域
(1) 比通过使用包含在修补处理目标区域中的各像素的平均亮
度Yave和最大亮度Ymax获得的阈值T2暗的区域 T2二Yave x 0.6+Ymax x 0.4
(2) 不接触由上述中心坐标P和半径R表示的圓的区域；以及
(3) 相对于包括亮度小于在(l)选择的亮度的像素的孤立区 域，通过使用与图6的步骤S63中的方法相同的方法计算的半径 值等于或大于11个像素且小12个像素的区域。
在自动修补处理中，除了上述条件，还满足条件(4)的区域 是异物区域
(4) 包括圆的中心坐标P的区域。
在本实施例中，11代表3个像素，而12代表30个像素。这样 可以仅将小孤立区域作为异物进行处理。
如果在步骤S1202中，CPU IOOI判断存在这种区域，则处 理前进到步骤S1203,以执行异物区域插值。否则，CPU 1001 终止处理。在步骤S1203中，CPU IOOI通过使用公知的缺陷区 域插值方法执行异物区域插值处理。例如，作为公知的缺陷区 域插值方法，可以釆用日本特开第2001 - 223894号公报中公开 的图形替换方法。在日本特开第2001 - 223894号公报中公开的 技术通过使用红外光来确定缺陷区域。相反，本实施例将在步 骤S1201中检测到的异物区域作为缺陷区域进行处理，并通过 图形替换来使用周围正常像素插值该异物。关于不能通过图形 替换进行插值的像素，通过使用从插值目标像素中按距离降序 选择的p个正常像素的平均颜色和按距离的升序选择的q个正 常像素的平均颜色，插值图形替换之后的相应图像数据。
如上所述，对图像附加异物校正数据产生的优点是'.无需 注意异物校正图像数据与拍摄的图像数据之间的对应关系。另 外，因为异物校正数据是包括位置、大小和变换数据(镜头的光
圈值和关于光瞳位置的距离信息)的压缩数据，所以拍摄的图像 数据大小不会太大。此外，仅对含有由异物校正数据指定的像 素的区域进行插值处理可以显著降低错误检测的概率。此外， 根据图像拍摄时的f值控制执行/不执行自动修补处理可以进行 更合适的处理。 第二实施例
在第一实施例的自动修补处理中，仅根据图像拍摄时的f 值判断是否应用异物去除处理。然而，实际上，随着异物越来 越大，该异物越来越明显，因此通过根据f值和异物的大小的组 合来判断是否应用异物去除处理，尽管不能显著缩短执行时间， 但是可以更适当地执行自动修补处理。
图17示出本实施例中的自动修补处理过程。除了在执行插 值例程之前设置判断是否执行插值例程的处理，图17中的大致 处理过程与图14所示的大致处理过程相同。在步骤S1707的执 行判断处理中，例如，CPU根据是否满足下面的不等式来判断 是否执行插值例程
^V[7^/(涵x刚 …(2) 其中fl是图像拍摄时的f值，f2是拍摄异物校正图像时的f值， Ri是第i个异物的半径，(3是预定值。
假定在本实施例中，(3是10。在步骤S1707中，CPU判断 是否满足不等式(2)。如果在步骤S1707中为"是"，则处理前 进到步骤S1708来执行插值处理。否则，处理跳过插值处理。
注意步骤S1707中的判断具有下面的意义。随着图像拍 摄时f值的增大，不等式(2)的右手侧减小(光阑减小)，而异物的 半径Ri增大。即，当在图像拍摄时光阑减小且异物的尺寸很大 且明显时，不等式(2)的右手侧变得小于j3的预定值。因此，执 行步骤S1708中的插值处理。即，步骤S1707的判断指出仅当
异物明显时，才执行对异物区域的插值处理。
以这种方式根据各条件执行插值处理可以获得更适当的插 值结果。除光圈值之外，本实施例仅着重说明异物区域的半径 值。然而，在检测异物后，足以计算异物区域与其相邻区域之 间的亮度差，将其存储在异物校正数据中，并用其执行插值例 程中判断处理。在某些情况下，当使用接近完全打开的光圏值 的光圈值拍摄细小异物时，该异物可能不明显。在这种情况下，
例如，可以i殳想跳过该处理。 第三实施例
根据在第一实施例中说明的自动修补处理，当执行自动修 补处理时，试图对指定的全部坐标进行修补。然而，如果对具 有复杂图形的指定区域进行插值，则插值结果看上去可能不自 然。具有复杂图形的指定区域可能是具有草坪的区域。因此， 在执行自动修补处理时，本实施例判断指定区域内部是否包括 均勻到某种程度的像素，并仅对均匀到某种程度的区域执行修 补处理。例如，在风景图像中，均匀区域包括蓝天或无花紋的 白i啬面。
因此，如图18所示，在执行步骤S1809中的插值例程之前， C P U在步骤S18 0 7中计算异物区域之外的区域的均 一 性判断 值。在步骤S1808中，CPU判断该值是否等于或小于阈值oc。 仅当该值等于或小于该阈值a时，CPU才在步骤S1809中根据 插值例程执行修补处理。
在这种情况下，阈值a是关于由于过滤处理(稍后说明)引起 的亮度变化量的平均值的阈值。对某个区域应用过滤处理(稍后 说明)将使孤立点模糊，或增强由于噪声等产生的边缘部分。相 反，即使对平坦部分应用过滤处理，亮度的变化也不大。因此， 可以使用所计算的区域在应用过滤处理之前和之后的亮度差判
断感兴趣区域是否平坦。如果该区域在应用过滤处理之前和之
后的亮度差小于阈值a,则CPU判断为该区域平坦。在本实施 例中，如果像素值在8位精度内，则阈值a例如是6。
图19是示出本实施例中的均 一 性判断值计算处理过程的 流程图。
在步骤S1901中，通过对指定区域内的各像素的亮度分量 应用图20A中所示滤波器，CPU获得包括进行过滤后的亮度分 量的位图(bitmap)数据。CPU根据下面的等式计算亮度分量
Y=0.299 x R+0.587 x G+0.114 x B …(3)
假定图2 0 A所示滤波器是平滑滤波器，且C P U通过均匀加 权9个像素，即左上部像素、上部像素、右上部像素、左侧像 素、感兴趣像素、右侧像素、左下像素、下部像素以及右下像 素，并平均像素值的总和来获得感兴趣像素的新像素值。
在步骤S1902中，在应用滤波器之后，CPU计算不包含在 异物区域中的在步骤S1901中产生的位图数据的各像素亮度值 的方差，并将该方差用作区域的均一性判断值。
显然，只要使用亮度分量的平滑滤波器，使用图20A中所 示系数之外的系数，足以执行过滤处理。
执行这种处理使得可以在某种程度上消除了将IS O感光度
设置为高时产生的拍摄图像的噪声分量的影响的同时，通过提 取均匀区域来执行正确插值处理。 第四实施例
通过使用过滤处理，第三实施例消除了高ISO感光度情况 下噪声的影响。为了进一步抑制噪声的影响，如在该实施例中 所述，通过求得使用滤波器获得的亮度位图数据之间的差值， 足以制备多个用于亮度分量的平滑滤波器并计算均一性判断 值。
断值计算处理。图2 1示出均 一 性判断值计算处理的流程图。
在步骤S2101中，CPU对指定区域中的各像素的亮度分量 应用图20A中所示的滤波器，并获得包括应用了该滤波器之后 的亮度分量的第 一位图数据。
在步骤S2102中，CPU对指定区域中的各像素的亮度分量 应用图20B中所示的滤波器，并获得包括应用了该滤波器之后 的亮度分量的第二位图数据。注意使用图20B的滤波器均匀 加权包括感兴趣像素和相邻像素的25个像素，并通过平均该像 素值的总和来求得感兴趣像素的新像素值。
在步骤S2103中，CPU计算第 一位图数据与第二位图数据 的相应像素之间的差的平均值，并将其设置为均 一性判断值。
执行这种处理可以使在消除了噪声分量对拍摄图像的影响 的同时，通过提取均匀区域来正确执行插值处理。
第五实施例
第三实施例和第四实施例举例说明了在判断出目标区域的 均一性时，对整个目标区域应用过滤处理的情况。
根据第三实施例和第四实施例的方法使用平滑滤波器，因 此，有时不能准确判断出亮度噪声大的图像的均一性。因此， 本实施例将指定区域分割为块，并获得每块的均 一 性判断值， 从而才是高均匀区域的^^测精度。
图2 2是示出本实施例中的均 一 性判断值计算处理的流程图。
首先，在步骤S2201中，CPU将指定区域分割为分别具有 预定大小的块。例如，在本实施例中，将块大小设置为垂直方 向上8个像素和水平方向上8个像素。
在步骤S2202中，CPU求得每个包含等于或大于p个像素的
有效像素的块的有效像素亮度值的方差。在这种情况下，有效 像素是不包括在异物区域内，而包括在被指定为修补处理目标
的区域内的像素。在本实施例中，假定]u是32。
最后，在步骤S2203中，CPU计算各块的均一性判断值的 方差，并将该方差设置为被指定为修补处理目标的区域的均一 性判断值。
执行这种处理可以获得高均一性的区域，而与噪声量无关。 如图23所示，还可以求得各块的均一性判断值，并计算它 们的方差。根据第三实施例和第四实施例的方法甚至可能将包 括局部不均匀部分的区域确定为均匀区域。然而，^f吏用第五实 施例的方法可以解决这种问题。图2 2中所示的解决方案甚至将 噪声量大的区域确定为均匀区域，只要它总体上均匀。相反， 图23中所示的解决方案可以仅识别噪声量低至某种程度的部 分。
第六实施例
当根据第一实施例中的图像编辑程序执行自动修补处理 时， 一部分应用结果可能是不合适的插值结果。第六实施例将 举例说明当部分插值不合适时取消编辑处理的方法。
如在第 一 实施例中所述，本实施例的图像编辑程序保持原 始图像和整个编辑记录。因此，如图24中所述，从编辑记录中 删除对应于要取消的编辑内容的编辑项目，且根据该原始图像 和从删除了要取消的编辑项目的编辑记录产生了处理之后的图 像。图25示出编辑内容取消处理的流程图。
在步骤S2501中，CPU将原始图像复制在处理后的图像上， 并初始化处理后的图像。在步骤S2502中，CPU从编辑记录中 删除目标编辑项目。最后，在步骤S2503中，CPU对初始化了 的图像执行记录在新编辑记录中的编辑处理。
执行该处理使得可以获得在仅取消对应于删除的项目的编 辑内容的状态下的图像数据。因此，通过删除特定编辑项目来 取消编辑内容将被简称为"取消编辑处理，，。
图26示出用于指定取消编辑处理的取消指定对话框的例子。
当用户执行图像编辑程序中的特定键操作(例如，Ctrl+D) 时，CPU显示取消指定对话框作为模式对话框。编辑记录显示 单元310 0以列表的形式按登记在编辑记录中的顺序显示编辑 项目。该列表显示序列号和编辑内容(修补处理或复制戳记处 理)。注意编辑记录显示单元3100显示在图11中所示的图像 显示区域1102的一部分上。当用户选4爭显示在该列表上的编辑 项目时，在圈定它以向用户表示选择了哪个部分后，CPU将相 应编辑部分显示在图像显示区域1102上。当用户按下取消指定 按钮3101时，CPU取消对应于选择的编辑项目的编辑处理。当 用户按下窗口4察除按钮3102时，CPU关闭该对话框。
然而，在无条件取消整个编辑处理时，出现问题。
本实施例的图像编辑程序包括执行复制戳记处理的功能。 如果在将编辑处理被取消的区域指定为复制戳记处理的复制源 区域的同时取消编辑处理，则将去除异物之前的图像数据复制 到复制目的地区域。另外，还可以将复制目的地区域指定为另 一个复制戳记处理的复制源。
图27A 图27D是用于说明该问题的视图。
假定在初始状态下存在两个异物。假定这些异物是图27A 中的黑色区域。如图27B中所示，对这些区域中的一个进行修 补处理。从图27B和图27C可以看出，使用斜线表示被修补处 理过的区域。随后，如图27C中所示，通过使用该插值结果删 除另 一个区域。当删除图27B执行的修补处理的编辑项目时，
不执行修补处理。如图27D所示，复制曾是修补处理目标的异 物区域。
因此，本实施例提供判断是否取消编辑处理的处理。更具 体地说，如果像在复制戳记处理中一样，编辑记录包括对位于 预先指定的坐标的像素进行参考的处理，则禁止取消编辑处理。
修补处理是在算法上的半径的二倍的区域内完成的处理， 且通过根据外围区域的状态自适应选择像素来执行插值处理。 因此，如果编辑记录仅包括修补处理，则耳又消任意编辑处理不 产生问题。
图28是示出本实施例的编辑处理中的取消禁止判断处理 过程的流程图。
在步骤S2701中，CPU将取消标志初始化为TRUE。在步 骤S2702中，CPU初始化计数器i。在步骤S2703中，CPU计算 计数器i的总数。在步骤S2704中，CPU检查第i编辑项目是否 是复制戳记处理。如果在步骤S2704中为"否"，则处理前进到 步骤S2705。如果在步骤S2704中为"是"，则处理前进到步骤 S2706。在步骤S2705中，CPU检查是否检查了全部编辑项目。 如果在步骤S2705中为"否"，则处理返回步骤S2703。否则， CPU终止该处理。在步骤S2706中，因为编辑记录包括复制戳 记处理，所以CPU将取消标志设置为FALSE，并终止该处理。 该处理的结果是CPU仅在取消标志是TRUE时允许取消编辑 处理。
假定当CPU检查了包括在编辑记录中的复制戳记处理的 全部编辑项目，不是复制戳记处理的全部编辑项目均包括由复 制戳记处理将作为复制源区域修改的部分。在这种情况下，可 以对编辑内容执行取消处理。然而，从图像处理程序用户的观
点出发，判断是否禁止编辑项目的取消捧作非常复杂，因此，
非常难以釆用这种判断处理。例如，如果编辑项目包括修补处 理和复制戳记处理，则即使在以列表的形式显示编辑记录时， 也难以判断是否可以取消编辑状态。如果至少执行了 一次复制 戳记处理，则本实施例的判断方法禁止取消编辑项目，因此， 可以使用户简单地理解编辑项目的禁止取消条件。 第七实施例
本实施例将举例说明在第六实施例中取消编辑处理之后更 新异物校正数据的处理。
在某种情况下，当用户在摄影室将照相机固定在三脚架上 以拍摄静止被摄体时，存在具有几乎相同构图的多个镜头剪切 (CUt)。假定对这种图像之一进行自动修补处理，而且某个部分 展现不正确的插值结果。在这种情况下，其余图像可能具有相 同的结果。
因此，可以将表示是否已经取消编辑处理的取消标志(例
上，且如果已经取消编辑处理，则为相应异物区域设置取消标 志。在自动修补处理中，对设置了取消标志的异物区域跳过该 处理。引入这种机制使得可以通过预先从处理目标中排除可能 具有不正确结果的部分来缩短取消编辑处理所需的操作时间。
图29示出本实施例中的异物校正数据的例子。然而，应当 注意的是要记录在照相机体上的异物校正数据可以保持在图 5所示的状态。在这种情况下，当获取由图像编辑程序执行的 异物校正数据时(例如，在图14中的步骤S91),可以将数据变 换为图29所示的形式。假定取消标志的初始状态为FALSE。
图30是本实施例中的自动修补处理的流程图。该处理与图 14所示处理的不同之处在于在执行插值例程之前，在步骤 S2907中检验取消标志。如果取消标志是TRUE，则跳过插值
处理(步骤S2908)。
图31是用于说明在本实施例中取消编辑处理后的处理的 视图。
当指定取消编辑内容时，从编辑记录中删除相应项目。另 外，如果在异物校正数据中存在对应于删除的编辑记录信息的 异物，则将相应异物区域中的取消标志设置为TRUE。除了基 于自动修补处理的编辑项目之外，还将基于GUI操作的编辑项 目加到了编辑记录上。通过使用在异物校正数据中分别准备的 编辑项目和异物区域信息的对应关系表(未示出)来进行它们之 间的区别。可选择地，将异物区域的序列号保持在编辑项目中 可以规定对应于每个编辑项目的异物区域信息。在这种情况下， 指定"-l，，，而非使用GUI指定编辑项目的序列号，使得可以 识别不存在相应的异物信息。
其它实施例
使用下面的方法也可以实现各实施例的目的。将存储用于 实现上述实施例的功能的软件程序代码的存储介质(或记录介 质)提供到系统或设备。然后，该系统或设备的计算机(或CPU 或MPU)读出并执行存储在存储介质中的程序代码。在这种情 况下，从存储介质读出的程序代码本身实现上述实施例的功能， 且存储该程序代码的存储介质构成本发明。不仅在计算机执行 读出的程序代码时，而且在运行在该计算机上的操作系统(OS) 基于程序代码的指令执行部分或全部实际处理时，都可以实现 上述实施例的功能。
另外，当将从存储介质读出的程序代码写入插入计算机的 功能扩充卡或连接到计算机的功能扩充单元的存储器，且该功 能扩充卡或功能扩充单元的CPU基于该程序代码的指令执行 部分或全部实际处理时，也可以实现上述实施例的功能。
当将本发明应用于上述存储介质时，该存储介质存储对应 于上述过程的程序代码。
虽然参考典型实施例说明了本发明，但是应当理解本发明 不局限于公开的典型实施例。所附权利要求书的范围符合最宽 的解释，以包括全部这种修改以及等同结构和功能。
权利要求
1.一种图像处理设备，包括修改处理单元，用于修改输入的图像数据；存储单元，用于存储所述修改处理单元对相同图像数据进行修改的修改记录；选择单元，用于在所述修改记录中选择任意修改处理；删除单元，用于从所述修改记录中删除由所述选择单元选择的所述修改处理；以及判断单元，用于判断是否允许从所述修改记录中删除由所述选择单元选择的所述修改处理。
2. 根据权利要求l所述的图像处理设备，其特征在于，当 所述修改记录包括将图像数据中的某个区域复制到另 一个区域 的处理时，所述判断单元判断为防止将所选择的修改处理从所 述^f奮改记录中删除。
3. —种图像处理设备，其基于输入的图像数据以及异物信 息来校正所述图像数据，所述异物信息包括与附着在拍摄了所 述图像数据的图像拍摄设备中的图像传感器附近的异物的位置 和大小相关的信息，所述图像处理设备包括校正单元，用于基于所述图像数据和所述异物信息来校正 所述图像数据，从而减小所述异物投射在所述图像数据中的阴 影的影响；存储单元，用于存储所述校正单元对相同图像数据进行校 正的4交正记录；选择单元，用于在所述校正记录中选择任意校正处理；择的所述4交正处理；以及判断单元，用于判断是否允许从所述校正记录中删除由所 述选择单元选择的所述校正处理。
4. 根据权利要求3所述的图像处理设备，其特征在于，当 所述校正记录包括将所述图像数据中的某个区域复制到另 一个 区域的处理时，所述判断单元判断为防止将所选择的校正处理 从所述校正记录中删除。
5. —种图像处理方法，包括以下步骤 修改步骤，修改输入的图像数据；存储在所述修改步骤中对相同图像数据进行修改的修改记录；选择步骤，在所述修改记录中选择任意修改处理； 从所述修改记录中删除在所述选择步骤中选择的所述修改 处理；以及择的所述修改处理。
6. —种控制图像处理设备的方法，所述图像处理设备基于 输入的图像数据以及异物信息来校正所述图像数据，所述异物 信息包括与附着在拍摄了所述图像数据的图像拍摄设备中的图 像传感器附近的异物的位置和大小相关的信息，所述方法包括 以下步骤校正步骤，基于所述图像数据和所述异物信息来校正所述 图像数据，从而减小投射在所述图像数据中的所述异物的阴影 的影响；存储在所述校正步骤中对相同图像数据进行校正的校正记录；选择步骤，在所述校正记录中选择任意校正处理； 从所述校正记录中删除在所述选择步骤中选择的所述校正 处理；以及判断是否允许从所述校正记录中删除在所述选择步骤中选择的所述校正处理。
全文摘要
本发明涉及一种图像处理设备和其控制方法以及图像处理方法。该图像处理设备包括修改处理单元，用于修改输入的图像数据；存储单元，用于存储修改处理单元对相同图像数据进行修改的修改记录；选择单元，用于在修改记录中选择任意修改处理；删除单元，用于从修改记录中删除由选择单元选择的修改处理；以及判断单元，用于判断是否允许从修改记录中删除由选择单元选择的修改处理。
文档编号G06T1/00GK101115136SQ20071013637
公开日2008年1月30日 申请日期2007年7月26日 优先权日2006年7月26日
发明者小谷拓矢 申请人:佳能株式会社