专利名称：图像处理设备和使用图像处理设备的图像捕获装置的制作方法
技术领域：
本发明 涉及一种对所捕获的图像进行图像处理的方法，更特别地，涉及使用图像恢复处理对劣化图像的校正。
背景技术：
随着信息数字化的进展，提出了通过对输入图像进行数字信号处理来获得期望图像的技术。在使用图像拾取装置捕获对象图像时，在图像拾取光学系统中发生的像差使所获得的图像遭受相当大的劣化。用于校正图像劣化的一种已知技术是使用关于图像拾取光学系统的光学传递函数(以下称为0TF)的信息的校正。专利文献I公开了一种图像恢复过滤器(filter)，通过描述由图像拾取光学系统引起的图像劣化的点扩散函数的傅里叶变换而获得的光学传递函数(OTF)用作该图像恢复过滤器。该图像恢复过滤器通过允许其参数被调节而能够连续地调整捕获图像的图像恢复程度。引文列表专利文献PTL I :日本专利特开 No. 2007-18384
发明内容
技术问题然而，即使当使用专利文献I中的图像恢复过滤器执行图像恢复时，如果由图像拾取光学系统引起的每种颜色成分的像差不同于预期像差特性，则意外的色彩模糊发生在捕获图像中，并且其图像质量劣化。这样的色彩模糊可由制造误差、图像捕获环境下的光谱改变、三维对象的图像捕获或亮度饱和引起的图像拾取光学系统中的变化所造成。下面描述三维对象的图像拾取作为发生色彩模糊的情形的一个例子。图像拾取装置通过自动对焦功能或手动对焦而对焦在对象空间中的一个平面上以捕获图像。当对象是三维对象时，其对象距离随视角而变化。在这种情况下，如果对象对焦，则其图像被相对清晰地捕获，而如果对象未对焦，则在其图像中发生根据其距离的模糊。当对具有这样的模糊的捕获图像执行传统的图像恢复处理时，如果对象对焦，则因为图像恢复过滤器是最佳的，所以对于其边缘可以获得所需的清晰度。然而，如果对象未对焦，则色彩模糊可在边缘中发生，或者色彩模糊可以不自然地大。在用于改善输出图像的图像质量的图像恢复处理中发生这样的色彩模糊显著地降低了图像质量。因此，本发明的一个目的是提供一种图像处理装置，其能够减少可发生在传统的图像恢复处理中的不自然的色彩模糊的发生，并且能够获得良好的图像质量。问题的解决方案为了解决以上问题，本发明提供一种图像处理装置，包括
一次恢复图像产生部件，用于通过对具有多种颜色成分的输入图像执行图像恢复处理来产生一次恢复图像；恢复成分信息产生部件，用于通过计算所述输入图像与所述一次恢复图像之间的差异来产生所述多种颜色成分中的每种的差异信息；以及二次恢复图像产生部件，用于使用所述差异信息来产生二次恢复图像，所述二次恢复图像产生部件将基于所述多种颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一种颜色成分组合。
本发明的有益效果本发明基于颜色成分的模糊量之间的差异进行图像处理。因此，可减少可发生在图像恢复处理中的不自然的色彩模糊，并且可获得良好的图像质量。
图I是根据第一实施例的图像拾取装置的框图。图2示出根据第一实施例的图像处理的算法。图3是用于描述根据第一实施例的图像恢复过滤器的例子和图像恢复过滤器的选择的示图。图4示出根据第一实施例的图像拾取装置的操作流程。图5示出与传统例子进行比较的色彩模糊。图6示出与传统例子进行比较的处理流程。图7示出根据第二实施例的图像处理的算法。图8示出颜色组合比调整因子《与恢复强度调整因子U之间的关系。图9示出展现颜色组合比调整因子《和恢复强度调整因子U的线性的实验结果。图10示出根据第三实施例的处理流程。图11示出当使用颜色组合比调整因子《时发生的处理流程。图12示出当使用颜色组合比调整因子《和恢复强度调整因子U时发生的处理流程。图13是根据第四实施例的图像处理系统的框图。图14示出可在根据第四实施例的系统之间交换的数据。图15示出执行颜色插值处理的情况下的处理流程。图16示出执行白平衡校正处理的情况下处理流程。图17是执行畸变校正处理的情况下的处理流程。图18是执行横向色差校正处理的情况下的处理流程。图19是用于描述横向色差校正(w =1/2，ii =1)的图。图20是用于描述横向色差校正(w =1/2，U =1/2)的图。
具体实施例方式下面使用附图来描述用于实施本发明的实施例。在说明书中，使用了术语“图像模糊”。图像模糊表示本应聚焦(会聚)在单个点上的光束在像平面上的扩散(分布)，通常，它也被称为点扩散函数(PSF)。该模糊由光学系统中的球面像差、彗形像差、像场弯曲、像散或其它像差造成。关于图像模糊，例如，未对焦的图像也可以说具有模糊。这里，特别地，它表示其中即使图像对焦，模糊由于光学系统中的像差影响而发生的图像模糊。第一实施例关于第一实施例，描述下述例子，在该例子中，作为当由意外的像差引起的色彩模糊存在于通过图像拾取装置捕获的图像中时发生的图像处理，使用作为颜色组合比调整因子的参数来相对于某一种颜色改变颜色成分的颜色组合比使得图像能够具有良好的质量。图I是根据第一实施例的图像拾取装置的框图。图中的箭头表示信息传输的主要路径。附图标记IOla指示光阑，附图标记IOlb 指示聚焦透镜。图像拾取光学系统101包括光阑IOla和聚焦透镜101b。附图标记102指示图像拾取元件，其将光学图像转换为电信号，并且包括电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)传感器。附图标记103指示模数(A/D)转换器，其将从图像拾取元件102输出的模拟信号图像数据转换为数字信号图像数据。附图标记104指示图像处理部分，其执行图像处理(信号处理)，诸如校正图像中的色彩模糊的处理和减少模糊的处理。附图标记105指示显示部分，例如，液晶显示器或有机电致发光显示器。显示部分105显示在图像处理部分104中经过处理的图像数据或者存储在存储部分108或图像存储介质109中的图像数据。附图标记106指示图像拾取光学系统控制部分，其控制图像拾取光学系统的光阑IOla和聚焦透镜101b。图像拾取光学系统控制部分106的例子包括用于根据对象距离调整对焦的自动对焦机构或手动对焦机构。附图标记107指示状态检测部分，其检测拍摄状态(例如，光阑直径、变焦位置、对象距离)。附图标记110指示系统控制器，其对图像拾取装置的系统实施控制。系统控制器HO控制图像处理部分104的图像处理，并且除此之外，还将写入在存储部分108中的图像数据作为文件形式写入到图像存储介质109中。附图标记111指示操作部分，其将各种操作的指令输入到系统控制器110中。操作部分的例子包括用于提供拾取图像的指令的释放按钮、用于操作光标或菜单的方向按钮和触摸面板。图像拾取光学系统101被构造为图像拾取装置的一部分。然而，它可以是可更换的，并且可以是在例如单镜头反光照相机中的图像拾取光学系统。这里，为了简单起见，仅示出了作为图像拾取光学系统101的主要组成部分的光阑IOla和聚焦透镜101b。然而，除了透镜之外，图像拾取光学系统101还可使用具有曲率的反射镜(反射表面)。图像处理部分104至少包括运算部分和临时存储部分(缓冲器)，并且对于下述每个处理基于需要将图像写入到临时存储部分中和从临时存储部分读取图像。例如，在下述产生二次恢复图像的处理的情况下，为了组合输入图像与一次恢复图像之间每种颜色成分的差异信息，可将一开始获得的输入图像临时存储在临时存储部分(缓冲器)中。用于在临时存储中使用的存储部分不限于临时存储部分(缓冲器)，它可以是例如存储部分108。可根据具有存储功能的存储部分的数据容量和传输速度来选择任何合适的元件。具有临时存储部分的图像处理部分104或存储部分108存储执行图像处理所需的数据。这样的所需数据的例子包括图像的像素的亮度值、关于图像拾取光学系统101的像差的信息、下述图像恢复过滤器、差异信息、颜色组合比调整因子和恢复强度调整因子。图2示出由图像处理部分104执行的处理的算法。使用图2来详细描述图像处理的算法。在以下描述中，A指示与图2所示的g、f、fd、S、Sd等对应的图像信息，并且关于更多的细节，指示了像素的信号值(亮度值)。附标m指示当图像的颜色成分为红色(R)、绿色(G)和蓝色(B)时的颜色成分R、G或B。也就是说，Am是指示(A的R成分、A的G成分或A的B成分)的(AK、Ae或Ab)。(输入图像gm)首先，描述输入图像gm。输入图像gm对于每个像素可具有多种颜色成分(例如，R、G、B)，并且可指示用LCH表示的明度、色调和色度。可使用对于每个像素具有单个颜色成分的信号值的马赛克图像。可使用去马赛克图像，在去马赛克图像中，马赛克图像经历颜色插值处理(去马赛克处理)，并且每个像素具有多个颜色成分的信号值。马赛克图像也可称为作为执行各种类型的图像处理之前的图像的 原始(RAW)图像，所述图像处理诸如颜色插值处理(去马赛克处理)、称为伽马转换的信号值转换和称为JPEG的图片压缩。例如，为了通过使用单面板图像拾取元件获得具有多个颜色成分的输入图像gm，可对像素布置具有不同光谱透射率的滤色器，并且获得对于每个像素具有单个颜色成分的信号值的马赛克图像。在这种情况下，如果执行以上颜色插值处理，则可产生对于每个像素具有多个颜色成分的信号值的图像。当使用多面板(例如，三面板)图像拾取元件时，对图像拾取元件布置具有不同光谱透射率的滤色器，并且可获得具有在图像拾取元件之间变化的不同颜色成分的信号值的图像。在这种情况下，因为图像具有与图像拾取元件的各个像素对应的颜色成分的信号值，所以可在不进行颜色插值处理的情况下产生对于每个像素具有多个颜色成分的信号值的图像。上述对于每个像素具有多个颜色成分的图像作为输入图像gm经受下述一次图像恢复处理。(一次图像恢复处理)接下来，描述直到通过对输入图像gm执行一次图像恢复处理而获得一次恢复图像fdm的处理。下述处理由图像处理部分104执行。输入图像gm是通过图像拾取元件102感测穿过图像拾取光学系统101的光而获得的数字图像。该数字图像gm的图像质量由于光学传递函数(OTF)而降低，OTF由包括透镜和各种光学过滤器的图像拾取光学系统101的像差造成。通过将基于OTF的图像恢复过滤器用于每个颜色成分，图像质量劣化的、具有多个颜色成分(R，G，B)的输入图像gm经受恢复处理，从而获得一次恢复图像fdm。这里，图3(A)中示出了用于描述图像恢复过滤器的示意图。对于图像恢复过滤器，小片(tap)的数量可根据图像拾取光学系统的像差特性或者所需的恢复精度来确定。在图3(A)中，作为例子，使用具有11X11小片的二维过滤器。过滤器的小片对应于图像的各个像素，并且，在图像恢复处理(一次图像恢复处理)中，执行卷积处理(卷积积分，乘积之和)。在卷积处理中，为了改善图像的某个像素的信号值，使该像素与图像恢复过滤器的中心匹配。然后，对图像恢复过滤器和图像的每个对应像素计算信号值和过滤器的因子值的乘积，总和代替为中心像素的信号值。在图3(A)中，省略了每个小片内的值；该图像恢复过滤器的一个横截面在图3(B)中示出。理想地，图像恢复过滤器的小片的值(因子值)的分布用于将由于像差而空间扩散的信号值返回到原始的单个点。该图像恢复过滤器可通过图像拾取光学系统的OTF的计算或测量以及对基于其反函数的函数执行逆傅里叶变换来获得。通常，因为需要考虑噪声影响，所以选择并使用产生维纳过滤器或相关的各种图像恢复过滤器的方法。另外，不仅图像拾取光学系统，而且在图像捕获过程中使图像质量劣化的因素也可包括在该产生中。该因素的例子包括双折射光学低通过滤器或图像拾取元件的像素的开口形状和开口率。当在图像拾取光学系统中使用双折射光学低通过滤器时，因为OTF的频率特性的高频成分被抑制，所以图像质量降低。图像拾取元件的像素的开口形状和开口率也对OTF的频率特性具有影响。另外，光源的光谱特性和各种波长过滤器的光谱特性可以是降低图像质量的因素。图像恢复过滤器可优选地基于包括以上因素的广泛定义的OTF来产生。当图像为RGB彩色图像时，可产生与RGB颜色成分对应的三个图像恢复过滤器。对于第一实施例，基于产生维纳过滤器的方法来产生图像恢复过滤器。根据第一实施例的图像拾取装置将通过以上方法产生的多个过滤器存储在存储部分108中，并且根据拍摄状态选择适当的图像恢复过滤器或者校正图像恢复过滤器。图3(C)是用于描述图像恢复过滤器的选择和校 正的图以及存储在存储部分108中的一组图像恢复过滤器的示意图。存储在存储部分108中的图像恢复过滤器离散地布置在拍摄状态空间中，拍摄状态空间具有变焦位置、光阑直径和对象距离这三个状态作为它的轴。图3(C)所示的坐标所表示的空间被称为拍摄状态空间。拍摄状态空间中的点(黑色圆圈)的坐标指示与先前存储的图像恢复过滤器对应的拍摄状态的位置。在图3(C)中，为了描述方便，将每个过滤器的位置布置在与状态交叉的网格点处。然而，每个过滤器的位置可偏离网格点。为了便于示出拍摄状态，使用了具有三种状态(变焦位置、光阑直径、对象距离)作为其轴的三维图。然而，可使用具有以四种或更多种状态作为目标的四个或更多个维度的拍摄状态空间。例如，可使用快门速度、ISO速度额定值、白平衡和摄影模式作为轴。接下来，描述选择图3 (C)所示的图像恢复过滤器的特定方法。假设图3 (C)所示的大白圆圈所指示的状态是所检测到的实际拍摄状态。如果过滤器位于实际拍摄状态的位置处或者在其极点附近，则选择该过滤器，并且在图像恢复处理(一次图像恢复处理)中使用该过滤器。如果没有过滤器位于实际拍摄状态的位置处或者在其极点附近，则计算在拍摄状态空间中实际拍摄状态与每个所存储的拍摄状态之间的距离，并且选择存在于最短距离处的过滤器。对于图3(C)所示的拍摄状态，因为没有与大白圆圈对应的过滤器，所以选择小白圆圈的位置处的过滤器。另一种选择方法可以是通过下述步骤选择过滤器的方法，即，在过滤器选择时在拍摄状态空间中分配方向权重，并且使用拍摄状态空间中的距离和方向权重的乘积作为评估函数。接下来，描述在选择图像恢复过滤器之后校正所选的过滤器以使该过滤器更合适的处理。首先，在选择过滤器的处理中，计算拍摄状态空间中实际拍摄状态与每个存储的拍摄状态之间的距离，并且选择最短距离处的过滤器。这使得状态差异能够最小化，从而使得校正量能减小。在图3(C)中，位于小白圆圈位置处的过滤器被选择。计算实际拍摄状态与所选的图像恢复过滤器的位置处的每个拍摄状态之间的状态差异AA、AB和AC。基于所计算的状态差异校正所选的图像恢复过滤器可产生支持实际拍摄状态的图像恢复过滤器(图像恢复过滤器产生部件)。另一种校正处理可以是，选择在实际拍摄状态附近的多个图像恢复过滤器，并且根据状态差异对所述多个过滤器执行插值处理，以产生适合于拍摄状态的图像恢复过滤器。这里的插值处理可通过使用线性插值、多项式插值或样条插值对二维过滤器的对应小片的因子值进行插值来实现。即使是在一定的拍摄状态下，光学传递函数(OTF)也随图像的高度(图像的位置)而变化。因此，在以上卷积处理中，对于图像根据图像高度而被划分的区域中的每个区域，图像恢复过滤器可以优选地被改变。图像被划分成的每个区域可优选地为一个像素。然而，如果需要的话，该区域可改变。也就是说，在执行卷积处理时，图像恢复过滤器可以在图像上扫描移动，过滤器可以对于每个特定区域接连改变。如果图像恢复过滤器是被划分为100个部分的二维过滤器，则可满意 地校正图像拾取光学系统的、从图像形成位置大幅扩散的像差，诸如球面像差、彗形像差、纵向色差或离轴颜色耀斑。还可精确地校正非对称像差，诸如彗形像差、离轴颜色耀斑、径向耀斑、像场弯曲和像散。通过上述方法选择或校正(产生)的图像恢复过滤器和输入图像gm的卷积产生一次恢复图像fdm。在实际空间中对输入图像gm执行图像恢复过滤器的卷积处理使得图像能被恢复而在图像恢复处理过程中不需要图像的傅里叶变换或逆傅里叶变换。因此，处理可以闻速进行。(产生恢复成分信息的处理)再次使用图2来描述从一次恢复图像fdm和输入图像gm产生恢复成分信息Sm的处理。如表达式I所表示的，对于每个对应像素，从通过上述一次图像恢复处理所获得的一次恢复图像fdm的信号值减去原始输入图像gm的信号值。采用该处理，产生恢复成分信息Sm (差异信息)，其为每个颜色成分的信号值之间的差异。表达式I(表达式I)Sm=fdm-gm然后，将颜色组合比调整因子《应用到恢复成分信息Sm，从而获得颜色组合恢复成分信息Sdm。颜色组合恢复成分信息Sdm的产生可表不为表达式2。在表达式2中，用于n的E指示用于R、G和B的求和计算。表达式2(表达式2)
RGB ^Sdm = ^omnS11
11颜色组合比调整因子《是用于产生颜色组合恢复成分信息Sdm的因子。通过根据颜色组合比调整因子《对用于所有颜色成分(R，G，B)的恢复成分信息Sm的颜色组合，获得用于特定颜色成分的颜色组合恢复成分信息Sdm。也就是说，颜色组合比调整因子《是颜色成分的混合比。对于《AB，图2中的《的附标指示用以产生用于颜色成分A的颜色组合恢复成分信息SdA的、用于颜色成分B的颜色组合比调整因子。因此，从恢复成分信息Sm产生颜色组合恢复成分信息Sdm的处理可被表不为表达式2和表达式3,其中，表达式2是针对颜色成分m和n而制定的。表达式3(表达式3)
SdR) r%R %g ^%b 丫 Sr、Sd0 = COgr COgg G)m Sg
Vfi7BR fi7BG BB 人
当形成图像的颜色成分是R、G和B时，颜色组合比调整因子Co可被表示为具有3X3个因子元素的矢量。通过根据该颜色组合比调整因子《组合恢复成分信息Sm，产生颜色组合恢复成分信息Sdm。描述用于R成分的颜色组合恢复成分信息SdK的产生作为例子。用于R的颜色组合恢复成分信息SdK通过下述步骤产生，即，分别将用于R、G和B的恢复成分信息SK、Se和Sb的像素的信号值乘以颜色组合比调整因子《KK、COffi和《KB，并且组合颜色成分的它们。所述组合是通过计算用于多个图像的每个对应像素的信号值来产生单个图像。同样的处理应用到其它颜色成分。颜色组合恢复成分信息Sdm通过上述处理产生。以这样的方式，在获得某个颜色 成分的像素的信号值时使用包括该某个颜色成分的多个颜色成分的信号值使得能够产生从传统的图像恢复处理不可获得的颜色组合恢复成分信息Sdm。(产生二次恢复图像的处理)接下来，描述从在上述产生恢复成分信息的处理中产生的颜色组合恢复成分信息Sdm产生二次恢复图像fm的处理。对于每个颜色成分将颜色组合恢复成分信息Sdm和输入图像gm相加使得能够获得二次恢复图像fm。二次恢复图像fm的产生可表示为表达式4。该二次恢复图像fm是输出图像。表达式4(表达式4)fm = gm+Sdm
RGB=gm - 2>mil(fdn-g )
n以下描述上述处理的概要。具有多个颜色成分的输入图像(gm)经历图像恢复处理，从而产生一次恢复图像(fdm)。计算一次恢复图像(fdm)与输入图像(gm)之间的差异，从而产生所述多个颜色成分中的每个的差异信息(Sm)。然后，使用差异信息(S111)来产生二次恢复图像(fm)。在二次图像恢复处理中，参照R颜色成分，将基于所述多个颜色成分的差异信息的颜色组合恢复成分信息(《kkSk+toJkSi^coebSk)与输入图像的单个颜色成分(gK)组合。也就是说，与仅使用R颜色的差异信息时相比，在对于R颜色的图像恢复时除了 R颜色的差异信息之外还使用G颜色和B颜色中的每个的差异信息使得R颜色的色彩模糊能够是小的。换句话讲，执行基于颜色成分的模糊量之间的差异的图像处理。这使得一次图像恢复处理中的清晰度和可由一次图像恢复处理引起的色彩模糊的程度能被平衡。因此，可产生不自然的色彩模糊减少的图像fm。这里，详细描述表达式3中所表示的颜色组合比调整因子Co。首先，描述颜色组合比调整因子《的两个具体例子。一个是用于获得与一次恢复图像同的图像作为二次恢复图像f；的颜色组合比调整因子《。当在表达式3中的颜色组合比调整因子《中对角线上的元素为I并且所有其它的元素为零时(单位矩阵)，颜色组合恢复成分信息Sdm与用于其自身颜色成分的恢复成分信息Sm相同。这是当二次恢复图像fm输出为与一次恢复图像同的图像时的因子的设置。在这种情况下，对于二次恢复图像fm，像差成分被尽可能多地校正。因此，如果意外的像差发生，则色彩模糊在执行恢复处理之后将变得更明显，所以图像质量将降低。然而，只要这样的意外像差不发生，就可获得满意的图像。
第二个是用于避免色彩模糊的颜色组合比调整因子《。当表达式3中的颜色组合比调整因子《中的所有元为1/3时，颜色组合恢复成分信息Sdm是其中对用于所有颜色成分的恢复成分信息Sm取平均值的颜色组合恢复成分信息。也就是说，颜色组合恢复成分信息是其中相对于输入图像的单个颜色成分对多个颜色成分的差异信息取平均值的颜色组合恢复成分信息。因此，颜色组合恢复成分信息SdK、Sdt^P SdB全都相同。颜色组合恢复成分信息Sdm对于所有颜色成分都相同 意味着在后面的处理中将颜色组合恢复成分信息Sdffl与输入图像gm组合时用于颜色成分的附加信息之间没有差异。因此，没有色彩模糊发生。然而，因为用于颜色成分的像差信息被平均，所以与上面作为第一例子描述的那样一次恢复图像fdm是输出图像时相比，恢复的程度(即，清晰度)降低。即使当恢复成分信息Sm被平均时，也因为相当大的正相关性(相似性)存在于恢复成分信息SioScj和Sb之间，所以二次恢复图像fm的清晰度与输入图像比得到改善。因此，将颜色组合比调整因子《的所有元设置为1/3防止了色彩模糊的发生。设置上述颜色组合比调整因子《使得能够获得具有所期望的图像质量的图像。这是因为，使用包括某一颜色成分的多个颜色成分来获得针对该某一颜色成分的恢复图像使得能够在颜色成分之间调整恢复程度。可使用仅用于一个颜色成分的颜色组合恢复成分信息。备选地，基于多个颜色成分的差异信息的颜色组合恢复成分信息可与输入图像的颜色成分组合。具体而言，与R成分和B成分相比，G成分引起较小的色差。该性质可用于执行图像恢复处理，在该图像恢复处理中，对于R颜色和B颜色，采用基于差异信息的颜色组合恢复成分信息，对于G颜色,米用关于G光的差异信息。接下来，使用图4(A)来描述执行上述图像处理的整个图像拾取装置的操作。在步骤S41中，来自对象的光通过图像拾取光学系统101到达图像拾取元件102。被图像拾取元件102检测的光被转换为模拟电信号。模拟信号被A/D转换器103转换为数字信号。系统控制器110执行由图像拾取元件102产生的图像数据的直达图像显示。直达图像显示表示由图像拾取元件102连续产生的对象状态的图像数据在显示部分105上的实时视频显示。接着，在步骤S42中，系统控制器110确定快门开关信号(以下称为SW信号)是否开启。当SW信号开启时，系统控制器110执行自动聚焦(AF)处理来实现图像拾取光学系统101的对焦，执行自动曝光(AE)处理来确定光阑值和快门时间(快门速度)，并且将它们存储在存储部分108中，并且流程进入步骤S43。当SW信号关闭时，处理步骤返回到S41。在步骤S43中，响应于检测到SW信号的时间，系统控制器110根据从直到该时间获得的图像数据计算的光剂量来启动图像拾取元件102的曝光处理。执行对通过曝光处理产生的图像数据执行显影处理的图像捕获处理，其结果存储在存储部分108中，并且流程进入步骤S44。在步骤S44中，作为输入图像存储在存储部分108中的图像通过图像处理部分104经历上述图像处理，并且在获得处理结果的阶段，流程进入步骤S45。稍后描述在步骤S44中图像处理部分104的处理流程。然后，在步骤S45中，系统控制器110执行将通过图像处理或图像捕获处理获得的图像数据作为图像文件写入到图像存储介质109中的记录处理。对于图4(A)的处理，在步骤S42中，示出了在一个阶段中的SW的检测。然而，可使用在两个阶段中的SW的检测。在这种情况下，响应于第一SW信号的开启状态的检测，可执行AF处理和AE处理，并且仅当第二阶段中的SW信号在第一 SW信号的开启状态下被检测到时，流程才可进入图像捕获处理。接下来，使用图4(B)来描述图4(A)所示的步骤S44中的图像处理的流程。前面说明了该图像处理的算法。图中的黑色圆圈指示在处理过程中获得或产生的像素数据。首先，图像处理部分104获得输入图 像。输入图像是对于每个像素具有一条颜色成分信息的马赛克图像。在步骤S441中，从状态检测部分107或存储部分108获得拍摄状态信息，诸如关于透镜位置和光阑值的拍摄状态信息。接着，在步骤S442中，响应于在步骤S441中获得的拍摄状态，选择或校正图像恢复过滤器。前面描述了图像恢复过滤器的选择或校正。在步骤S443中，输入图像使用在步骤S442中选择或校正的图像恢复过滤器经历恢复处理(一次图像恢复处理)，以产生一次恢复图像。接着，在步骤S444中，从输入图像的每个像素的信号值与一次恢复图像的每个像素的信号值之间的差值产生恢复成分信息。因为输入图像是对于每个像素具有一条颜色成分信息的马赛克图像，所以这里执行输入图像与恢复成分信息之间的颜色插值处理(去马赛克处理)，以便后来执行颜色成分之间的图像组合。然后，在步骤S445中，获得颜色组合比调整因子《和恢复强度调整因子y中的每个的调整参数的设置值。稍后描述恢复强度调整因子U。然后，在步骤S446中，使用调整参数针对每个颜色成分对恢复成分信息执行表达式3所描述的计算，以产生颜色组合恢复成分信息。在一些情况下，仅可使用作为调整参数的颜色组合比调整因子《和恢复强度调整因子U中的一个。对于本实施例，根据图像拾取状态或图像高度，自动地从预先准备的设置值选择调整参数。可基于来自图像的像素的特征值的确定来自动地改变调整参数。像素的特征值的例子包括像素的像素值和该像素的像素值与其相邻像素的像素值之间的差
巳接着，在步骤S447中，将在步骤S446中获得的颜色组合恢复成分信息与输入图像组合，以产生二次恢复图像(表达式4)。可对经历过颜色插值处理的图像执行该处理。备选地，可使用针对每种颜色成分放置在颜色组合恢复成分信息上的掩模来返回与马赛克图像对应的颜色成分信息布置，并且可将它与马赛克状态的输入图像组合。接着，在步骤S448的附加处理中，执行其它所需处理，然后输出图像。这里的其它所需处理的例子包括当二次恢复图像处于马赛克图像状态时的颜色插值处理(去马赛克处理)。其它例子包括遮光校正、畸变像差校正和横向色差校正。如果需要，还可将包括这里描述的其它处理的各种类型的图像处理插入在上述流程之前、之后或之中。稍后描述这样的示例性情况。使用图5(A)至图5(F)来描述当执行上述处理时产生的优点。图5 (A)至图5(F)示出了对象及其拾取图像的边缘，水平轴指示图像上的位置(像素)，垂直轴指示像素值。图5A示出对象的边缘。图5(B)示出当图5(A)所示的边缘在对焦距离处时恢复之前的捕获图像。图5(C)示出当对图5(B)的图像执行传统的图像恢复处理时的恢复图像。图5(D)示出当图5(A)所示的边缘在未对焦距离处时恢复之前的拾取图像。图5 (E)示出当对图5(D)的图像执行传统的恢复处理时的恢复图像。图5(F)示出对图5(D)的图像执行根据本发明的图像恢复处理时的恢复图像。
对于图5(B)所示的边缘，因为深度方向上的色差，颜色成分I和颜色成分2具有不同扩散的像差。例如，当实线所指示的颜色成分I是G通道并且虚线所指示的颜色成分2是R通道时，边缘可具有红色色彩模糊。如果边缘在对焦距离处，则如图5(C)所示，可通过传统的图像恢复处理来恢复图像，而不引起色彩模糊。然而，如果对象位于不在对焦距离的位置处，则如图5(D)所示，边缘具有绿色色彩模糊。如果它们利用适合于对焦距离的恢复过滤器(也就是说，预期图5(B)所示的状态的恢复过滤器)来经历恢复处理，则颜色成分2被更大地校正，因此，颜色成分I与2之间的差异增大。也就是说，如图5(E)所示，色彩模糊发生，并且边缘中的绿色色彩模糊被放大。然而，如果执行根据本发明的图像处理，则即使对于在如图5(D)所示的未对焦距离处，也可减小放大色差状态的色彩模糊，并且可获得如图5(F)所示的色彩模糊减小的恢复图像。 使用图6(A)和图6(B)来描述其它优点。图6(A)示出传统的图像恢复处理的流程。图6(B)示出第一实施例中所述的图像处理的流程。对于传统的图像处理，在步骤S61a中获得输入图像，并且每次在步骤S62a中改变恢复程度时，就计算并产生图像恢复过滤器。接着，在步骤S63a中，使用在步骤S62a中产生的恢复过滤器进行图像恢复处理，以输出恢复图像。接着，在步骤S64a中，对恢复图像进行评估，以确定是要没有任何处理地输出该图像还是要改变恢复程度。这里，当要没有任何处理地输出图像时，流程进入步骤S65a，在步骤S65a中，输出在S63a中产生的恢复图像。相反，当确定要改变恢复程度时，流程返回到步骤S62a，并且必须重新计算图像恢复过滤器。图6(B)示出根据第一实施例的图像恢复处理的流程。在步骤S61b中，获得捕获图像作为输入图像。接着，在步骤S62b中，使用作为初始值的参数(例如，变焦位置、光阑直径、对象距离)来计算并产生图像恢复过滤器。在不通过该步骤的情况下，可使用预先作为初始值而准备的图像恢复过滤器。然后，在步骤S63b中，使用该过滤器对输入图像进行图像恢复处理(一次图像恢复处理)，以输出一次恢复图像。在步骤S64b中，使用预先准备的调整参数对一次恢复图像进行图像校正处理(二次图像恢复处理)，以产生二次恢复图像。在步骤S65b中，对二次恢复图像进行评估，以确定是要没有任何处理地输出该图像还是要改变恢复程度。当要改变恢复程度时，改变调整参数，并且执行图像校正处理。该调整参数是颜色组合比调整因子《或下述恢复强度调整因子U。这里，除了参照图2所述的一次图像恢复处理之外，产生恢复成分信息的处理和产生二次恢复图像的处理被共同称为图像校正处理。S64b中的图像校正处理中所使用的调整参数可以是预先准备的参数。备选地，可使用用户指定的调整参数或者从图像信息自动确定的调整参数来执行图像校正处理。如图6所示，对于传统方法，为了改变恢复程度，图像恢复过滤器的重新计算是需要的，而相反，对于本发明，重新计算不是必需的。因此，可减小图像处理的负担，并且处理可以更快。第二实施例如第一实施例中的表达式3中所示，颜色组合比调整因子Co在设置上具有九个自由度。因此，设置每个元素值可能变得复杂。一种示例性情况是，由普通用户使用操作部分111的按钮在图像拾取装置或图像处理系统上逐个地设置颜色组合比调整因子《的值和改变该颜色组合比调整因子对于第二实施例，描述下述例子，其中颜色组合比调整因子《的元素的相关性使得九个元素能够通过仅一个参数来设置。第二实施例与第一实施例相同，除了设置颜色组合比调整因子的值的方式之外，这里不重复相同的描述。要求颜色组合比调整因子《的元素的相关性是其中恢复程度与色彩模糊的发生程度之间的平衡是可调整的一种关系。因此，以下描述确定颜色组合比调整因子《的一种示例性方法。首先，添加两个约束。如表达式5所示，第一约束是将表达式3中的矩阵《的每行的总和设置为一。表达式5(表达式5)
权利要求
1.一种图像处理装置，包括 一次恢复图像产生部件，用于通过对具有多个颜色成分的输入图像执行图像恢复处理来产生一次恢复图像； 恢复成分信息产生部件，用于通过计算所述输入图像与所述一次恢复图像之间的差异来产生所述多个颜色成分中的每个的差异信息；以及 二次恢复图像产生部件，用于使用所述差异信息来产生二次恢复图像， 其中，所述二次恢复图像产生部件将基于所述多个颜色成分的所述差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合。
2.根据权利要求I所述的图像处理装置，其中，所述二次恢复图像产生部件通过根据多个颜色组合比调整因子组合所述差异信息来产生所述二次恢复图像，所述多个颜色组合比调整因子指定用于每个颜色成分的组合比。
3.根据权利要求2所述的图像处理装置，还包括设置部件，用于设置所述颜色组合比调整因子， 其中，由所述设置部件设置的设置值是可变的。
4.根据权利要求2和3中的任一项所述的图像处理装置，其中，所述颜色组合比调整因子的多个值通过单个设置值来设置。
5.根据权利要求I或2所述的图像处理装置，其中，所述二次恢复图像产生部件通过根据恢复强度调整因子组合所述差异信息和所述输入图像来产生所述二次恢复图像，所述恢复强度调整因子指定恢复的强度。
6.根据权利要求5所述的图像处理装置，还包括设置部件，用于设置所述恢复强度调整因子， 其中，由所述设置部件设置的设置值是可变的。
7.根据权利要求I至6中的任一项所述的图像处理装置，其中，由所述二次恢复图像产生部件产生的二次恢复图像是所述输入图像。
8.根据权利要求I至7中的任一项所述的图像处理装置，其中，所述一次恢复图像产生部件通过将二维图像恢复过滤器卷积到所述输入图像中来获得所述一次恢复图像，所述二维图像恢复过滤器通过针对所述输入图像的每个像素，对使用图像拾取光学系统的光学传递函数的逆函数产生的函数执行的逆傅里叶变换而获得。
9.根据权利要求I至8中的任一项所述的图像处理装置，其中，用于使每个像素具有关于所述多个颜色成分的信息的颜色插值处理被执行。
10.一种图像拾取装置，包括 图像拾取元件，其拾取对象的图像； 图像拾取光学系统，其将来自所述对象的光引导向所述图像拾取元件； 图像处理部件，其用于对由所述图像拾取元件拾取的作为输入图像的图像执行图像处理；以及 存储部件，其用于存储所述图像处理中所使用的图像恢复过滤器， 所述图像处理部件包括 一次恢复图像产生部件，其用于通过对具有多个颜色成分的 输入图像执行图像恢复处理来产生一次恢复图像；恢复成分信息产生部件，其用于通过计算所述输入图像与所述一次恢复图像之间的差异来产生用于所述多个颜色成分中的每个的差异信息；以及 二次恢复图像产生部件，其用于使用所述差异信息来产生二次恢复图像， 其中，所述二次恢复图像产生部件将基于所述多个颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合。
11.根据权利要求10所述的图像拾取装置，还包括选择部件，其用于选择所述图像恢复过滤器。
12.根据权利要求10或11所述的图像拾取装置，还包括图像恢复过滤器产生部件，其用于产生所述图像恢复过滤器。
13.一种图像处理方法，包括 一次恢复图像产生步骤，其通过对具有多个颜色成分的输入图像执行用于每个颜色成分的恢复处理来产生一次恢复图像； 恢复成分信息产生步骤，其获得指示对于每个颜色成分，所述输入图像与所述一次恢复图像之间的差异的差异信息；以及 二次恢复图像产生步骤，其通过将基于在所述恢复成分信息产生步骤中产生的所述多个颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合来产生二次恢复图像。
14.一种用于对输入图像执行图像处理的程序，所述程序包括 一次图像恢复处理步骤，其通过使用传递函数对所述输入图像执行恢复处理来获得一次恢复图像； 恢复成分信息产生步骤，其产生指示所述输入图像与所述一次恢复图像之间的差异的差异 目息；以及 二次恢复图像产生步骤，其通过将基于在所述恢复成分信息产生步骤中产生的所述多个颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合来产生二次恢复图像。
15.—种图像处理系统,包括 根据权利要求I至9中的任一项所述的图像处理装置；以及 能连接到所述图像处理装置的图像拾取设备、输出设备、显示设备和存储介质中的至少一个。
全文摘要
公开的是一种图像处理设备和使用图像处理设备的图像捕获装置，其中即使在有意外像差时也能获得品质图像。图像处理设备包括一次恢复图像产生部件，用于对包括多个颜色成分的输入图像执行图像恢复处理并产生一次恢复图像；恢复成分信息产生部件，用于计算输入图像与一次恢复图像之间的差异并产生多个颜色成分中的每个的差异信息；以及二次恢复图像产生部件，使用差异信息来产生二次恢复图像。对于输入图像的一种颜色成分，二次恢复图像产生部件基于多个颜色成分的差异信息产生颜色复合恢复成分信息。
文档编号G06T5/20GK102714737SQ20098016286
公开日2012年10月3日 申请日期2009年12月17日 优先权日2009年12月17日
发明者田中常文, 田村信彦, 畠山弘至 申请人:佳能株式会社