专利名称：图像处理设备、成像设备和图像处理方法
技术领域：
本发明涉及存储执行图像恢复处理的程序的记录介质、图像处理设备和图像处理方法。
背景技术：
用于受成像设备的成像光学系统的像差影响的图像(劣化的图像)的传统的图像处理方法之一是使用光学传递函数(OTF)恢复(复原)这种图像的处理。该方法被称为图像恢复或者图像复原。在下文中，术语“图像恢复处理”将被用来指使用成像光学系统或其任何等同系统的光学传递函数(OTF)校正或减少图像的劣化的该处理。
美国专利申请公开No. 2010/0182485讨论了其中单个设备负责用于由多个光学系统捕获的图像的图像恢复处理的成像系统。美国专利申请公开No. 2004/0252906讨论了使用包含成像设备的索引的信息校正图像的图像处理系统。
发明内容
根据本发明的一个方面，一种图像处理方法包括获取用于识别光学传递特性的识别信息，所述光学传递特性用于恢复图像；从存储单元获取基于所述识别信息识别的光学传递特性，所述存储单元存储可共用于在不同的成像条件下捕获的第一捕获图像和第二捕获图像的第一光学传递特性以及可用于第三捕获图像的第二光学传递特性；以及使用获取的光学传递特性来产生恢复的图像。根据本发明的该方面，可以减少图像恢复处理所需的数据存储容量。根据以下参考附图的示例性实施例的详细描述，本发明更多的特征和方面将变得清晰。
被加入说明书且构成说明书一部分的附图示出了本发明的示例性实施例、特征和方面，并且与描述一起用来解释本发明的原理。图I示意性地示出图像处理系统的配置。图2示意性地示出成像设备的配置。图3示意性地示出信息处理设备的配置。图4示出根据本发明的第一示例性实施例和第六示例性实施例的图像处理系统。图5A和图5B各示出光学传递特性。图6是示出图像处理过程的流程图。图7示意性地示出图像处理设备。图8A和图SB示出光学传递特性滤波器(恢复滤波器)。图9示出根据本发明的第一示例性实施例的第一变型示例的图像处理系统。图10示出根据本发明的第二示例性实施例和第七示例性实施例的图像处理系统。图11示出根据本发明的第三示例性实施例和第八示例性实施例的图像处理系统。图12A和图12B示出光学传递特性表现空间。图13示出点扩展函数(PSF)的对称性和方位方向(azimuth direction)。图14A和图14B示出根据本发明第四示例性实施例的图像处理系统。图15示出根据本发明的第四示例性实施例的变型的图像处理系统。图16示出边缘增强滤波器。图17示出根据本发明的第五示例性实施例的图像处理系统。
具体实施例方式下面将参考附图来详细描述本发明的各个示例性实施例、特征以及方面。首先，在描述本发明的示例性实施例之前，将描述光学传递特性。光学传递特性是与光学系统的成像有关的特性(成像特性)。光学传递特性的示例包括点扩展函数(在下文中称为“PSF”)、光学传递函数(在下文中称为“0TF”)、像差(例如，波前像差)和光瞳函数。在本发明的示例性实施例中，用于图像恢复处理中的光学传递特性滤波器(恢复滤波器)也被定义为反映成像特性的光学传递特性之一。现在，将参考附图详细描述用于实现本发明的示例性实施例。图I示意性地示出包括信息处理设备和与信息处理设备可连接(可通信)的成像设备的图像处理系统的配置。成像光学系统10、12和14在成像设备11、13和15的图像传感器(光接收元件)(诸如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器)上形成对象的图像。每个图像传感器可以由能够根据光学系统或与其等同的任何系统的传递特性将光学图像转换成图像的任何元件来具体实现。成像光学系统10、12和14中的每一个可以由与照相机的主体(成像设备的主体)一体化地构成的成像透镜或可拆卸地附接于照相机的主体的可互换的透镜来具体实现，但是第一示例性实施例(图I)使用可互换的透镜作为成像光学系统10、12和14。在第一示例性实施例中，成像光学系统10、12和14以及成像设备主体11、13和15的组合分别构成成像设备100、101和102。信息处理设备200可以向成像设备100、101和102发送诸如图像之类的数据以及从成像设备100、101和102接收诸如图像之类的数据。信息处理设备200对接收(获得)的图像执行图像恢复处理，以便产生恢复的图像。接下来，将参考图2简要地描述成像设备100、101和102的配置。图2中示出的箭头表示大部分信息被传递通过其的路径。成像光学系统10包括光阑IOa和聚焦透镜10b，并且用于在图像传感器上形成对象的图像(光学图像)。图像传感器202 (光电转换元件或光接收元件)是例如将对象的图像转换成电信号的CCD传感器或CMOS传感器。从图像传感器202输出的具有模拟信号形式的图像由模拟/数字(A/D)转换器203转换为具有数字 信号形式的图像。图像处理单元204执行图像处理，诸如在由A/D转换器203转换的图像中的染色(coloring)的校正以及在其中的模糊(blur)的减少。显示单元205是例如液晶显示器或有机发光(EL)显示器，并且可以显示由图像处理单元204处理的图像或记录在存储单元208或图像记录介质209中的图像。成像光学系统控制单元206是例如用于根据到对象的距离(物距)调节聚焦的自动聚焦机构或手动操作的手动聚焦机构，并且控制成像光学系统10的聚焦透镜IOb和光阑IOa0状态检测单 元207检测成像条件(成像状态)，诸如F数(光阑直径)、焦距(变焦位置)和物距。系统控制器210控制该成像设备100、101或102的整个系统，并且还控制写入存储单元208中的图像到文件的转换以及所产生的文件到图像记录介质209中的记录。接下来，将参考图3描述图I中示出的信息处理设备200的配置。信息处理设备200的中央处理单元(CPU) 310控制整个信息处理设备200并且根据存储在例如只读存储器(ROM)中的程序的指令来执行图像处理。存储单元320存储各种数据，诸如图像和光学传递特性。CPU310根据需要从存储单元320读取数据或者将数据写入存储单元320中。输入单元340是例如键盘和/或鼠标，并且是允许用户给例如准备好接受来自外部的输入的程序提供信息和指令的单元。输出单元350是例如监视器或显示器，并且根据需要显示在图像处理之后的图像。CPU310、存储单元320、输入单元340和输出单元350通过总线360彼此连接。信息处理设备200可以以如下这种方式构成通过诸如可记录的数字多功能盘(DVD-R)或可记录的压缩光盘(CD-R)之类的记录介质提供的用于实现本示例性实施例的程序被存储在存储单元320中，并且响应于操作者的指令CPU310使得信息处理设备200根据存储的程序的指令来执行图像处理。可替代地，信息处理设备200可以以如下这种方式操作在与总线360连接的网络接口(I/F) 370通过与例如远程安置的信息处理设备通信来提供和接收例如程序和数据的同时，CPU310执行图像处理。迄今为止已经分别描述了成像设备100、101和102以及信息处理设备200。接下来，将参考图4描述图I中示出的图像处理系统的总处理。可与信息处理设备200通信的成像设备100和101是各包括正引导(positive-lead)型成像光学系统(透镜)的成像设备，而成像设备102是包括负引导(negative-lead)型成像光学系统的成像设备。首先，信息处理设备200获取由成像设备100捕获的图像110 (第一图像)以及在稍后的图像恢复处理期间将使用的允许识别光学传递特性滤波器(恢复光学传递特性)的识别信息120。识别信息是例如可交换的图像文件格式(EXIF)信息，即，表示包括例如成像光学系统的F数和焦距以及成像设备的识别码的成像条件(包括关于成像设备是否不同的指示)的信息。然后，信息处理设备200的CPU310获取基于识别信息120识别的光学传递特性滤波器No. I，并且通过执行光学传递特性滤波器No. I和图像110的二维卷积运算处理来产生图像110的恢复的图像110R(未示出)。稍后将描述该图像恢复处理的细节。通过上述处理产生恢复的图像110R，并且CPU310可以对恢复的图像IlOR应用信号处理并且将信号处理后的图像作为输出图像输出到输出单元350。该信号处理的类型的示例包括去马赛克、白平衡调节、边缘增强处理、噪声减少处理、用于执行几何像差校正的畸变校正、倍率色差的校正和阴影校正(shading correction)。
接下来，将描述信息处理设备200和成像设备101。CPU310以与成像设备100相同的处理方式获取由成像设备101捕获的图像111 (第二图像)和识别信息121。然后，信息处理设备200的CPU310获取基于识别信息121识别的光学传递特性滤波器No. 1，并且通过执行光学传递特性滤波器No. I和图像111的二维卷积运算处理来产生图像111的恢复的图像111R(未示出)。根据传统的已知的技术，存储单元存储分别对应于成像设备A和B的光学传递特性滤波器FA和FB，以便恢复由成像设备A和B捕获的图像。另一方面，根据第一示例性实施例，存储单元320存储可共用于由成像设备100和101捕获的图像110和111的光学传递特性滤波器No. I (第一光学传递特性)。因此，可以减少图像恢复所需的数据存储容量。本发明的发明人通过光学设计已经发现了，类似地构造的成像设备(如类似的焦点类型的设备或类似的透镜类型的设备)在相同的成像条件下表现出类似的光学传递特性。例如，图5A和图5B示出两个都是正引导型设备的成像设备100和101的点扩展函数，其表现出类似的特性。即使成像条件不相同，相同的变焦类型的成像设备也表现类似的光学传递特性。这种配对的一个示例是在它们的广角端处具有相同的焦距但是具有不同的变焦比的相同变焦类型的成像光学系统。即使在这种成像设备的摄远端处的成像条件彼此不同，它们也表现出类似的光学传递特性。换句话说，已经通过聚焦在光学传递特性上的该相似性上而发明了根据第一示例性实施例的技术，并且根据第一示例性实施例的技术获取允许识别用于恢复图像的光学传递特性的识别信息。其后，第一示例性实施例从存储单元获取基于识别信息识别的光学传递特性，所述存储单元存储可共用于在不同的成像条件下捕获的第一捕获图像和第二捕获图像的第一光学传递特性以及可用于第三捕获图像的第二光学传递特性。然后，第一示例性实施例使得信息处理设备200使用在上述特性获取处理中获取的光学传递特性来执行产生恢复的图像的恢复处理。与存储与相应的各个成像设备对应的分别的光学传递特性滤波器的配置相比，第一示例性实施例使得能够在保持恢复的图像的质量的同时减少数据存储容量。此外，存储单元320可以存储针对每个类型(诸如变焦类型、焦点类型和图像稳定类型)模式化(pattern)(分类和分配)的光学传递滤波器。由于该布置，即使在将作为负引导型设备的成像设备102与信息处理设备200连接(在成像设备102和信息处理设备200之间建立通信)时，也不需要额外提供新的光学传递滤波器。焦点类型是例如设备是具有后焦点(rear focus)类型还是前焦点(front focus)类型的指示。针对每个焦点类型模式化光学传递滤波器意指在存储单元中存储与多个不同的成像设备对应的单个滤波器组，因为即使不同的成像设备也通常表现类似的光学传递特性，只要它们具有相同的焦点类型。
上述也适用于成像光学系统。如何模式化光学传递滤波器不限于上述方法，并且光学传递滤波器可以基于引导类型(如成像光学系统是具有负引导类型还是具有正引导类型)来模式化。接下来，将描述信息处理设备200对由负引导类型成像设备102捕获的图像112 (第三图像)执行的处理。
CPU310获取由成像设备102捕获的图像112和识别信息122。然后，信息处理设备200的CPU310获取基于识别信息122识别的光学传递特性滤波器No. 2 (第二光学传递特性)。其后，CPU310通过执行光学传递特性滤波器No. 2和图像112的二维卷积运算处理来产生图像112的恢复的图像112R(未示出)。光学传递特性滤波器No. 2(第二光学传递特性)是与光学传递特性滤波器No. I (第一光学传递特性)不同的滤波器(光学传递特性)。此外，可以通过以成像设备100、101和102的光学传递特性接近预先存储的光学传递特性的这种方式设计成像设备100、101和102来实现更有效的图像恢复。虽然为了简化描述，本示例性实施例和下面将描述的其它示例性实施例是基于针对单个图像获取单个光学传递特性滤波器的配置来描述的，但是由多个光学传递特性滤波器构成的组(集合)可以被用于单个图像。如果由多个光学传递特性滤波器构成的组被用于单个图像，则本示例性实施例可以通过CPU310获取例如可共用于成像设备100和101的一组光学传递特性滤波器来实现。此外，如果多个光学传递特性滤波器被用于单个图像，则CPU310可以针对图像中的每个像素来获取光学传递特性滤波器。如果CPU310针对每个像素获取光学传递特性滤波器，则CPU310可以提取一个或更多个预定的像素(多个像素)并且获取与所提取的像素(多个像素)对应的光学传递特性滤波器(多个光学传递特性滤波器)。在该情况下，与针对所有像素分别获取光学传递特性滤波器相比可以增大处理速度。此外，相同类型的透镜表现出关于在相同的成像条件下在每个像素位置处像差如何发生的类似的趋势。例如，像场弯曲发生在负引导变焦透镜的广角端处，并且大的轴向色差发生在被用作高焦度(power)变焦透镜的正引导变焦透镜的望远端处。以这种方式，相同类型的透镜大都在图像中的每个像素位置处具有类似的劣化特性，其允许针对相应的像素位置准备共用于相同类型的透镜的光学传递特性滤波器(恢复滤波器)的集合(组)。在该情况下，由于不必要针对每个像素位置获取滤波器，因此可以加速处理。此外，在执行程序之前，存储单元320可以存储或者可以不存储光学传递特性滤波器。在后一种情况中，本示例性实施例可以例如以如下这种方式被实现可共用于多个成像设备的光学传递特性滤波器被存储在包含程序的记录介质中，并且随后，该光学传递特性滤波器被存储在信息处理设备的外部存储设备或者程序安装于其的图像处理设备中。此外，上面已经基于其中光学传递特性照原样被存储在存储单元320中的配置描述了第一示例性实施例。然而，例如，点扩展函数或者光学传递函数可以被存储在存储单元320中。在这种情况下，可以通过CPU310对点扩展函数或光学传递函数应用傅里叶变换或逆傅里叶变换以便产生光学传递特性滤波器来实现第一示例性实施例。在本发明的示例性实施例中，术语“恢复滤波器”被用于与术语“光学传递特性滤波器”相同的意思，并且如所理解的，光学传递特性包括恢复滤波器。接下来，将参考图6描述CPU310使信息处理设备200执行的程序的处理流程。首先，在步骤SlO (识别信息获取处理)中，CPU310获取图像以及用于识别光学传递特性滤波器的识别信息。随后，在步骤S20(光学传递特性获取处理)中，CPU310获取基于识别信息识别的光学传递特性滤波器(光学传递特性)。随后，在步骤S30(恢复处理)中，CPU310使光学传递特性滤波器与在步骤SlO中获取的图像在实空间中进行卷积。CPU310不一定必须在步骤SlO中获取要被恢复的图像，并且可以在步骤S30或步 骤S30之前的任何步骤中获取要被恢复的图像。只有在必需时才不得不执行用于执行上述信号处理的步骤，使得在上述描述中没有特别地描述信号处理步骤。此外，上面已经基于其中信息处理设备200的CPU310根据程序的指令执行相应的步骤的配置描述了第一示例性实施例。然而，也可以通过利用硬件实现各个步骤或其部分来获取本示例性实施例的效果。图7通过示例的方式示意性地示出其中通过作为图像处理设备的硬件实现各个步骤的配置。可与图像处理设备700通信的成像设备与图4中示出的成像设备类似，并且因此这里将省略其描述以避免冗余。图像处理设备700包括光学传递特性获取单元710、图像恢复单元720、信号处理单元730和存储单元750。首先，图像处理设备700获取要被恢复的图像以及允许识别光学传递特性滤波器的识别信息。光学传递特性获取单元710从存储单元750获取基于识别信息识别的光学传递特性滤波器。图像恢复单元720通过使所获取的光学传递特性滤波器和图像进行卷积来产生恢复的图像。信号处理单元730对恢复的图像执行图像处理(诸如去马赛克)。作为上述各个单元的操作的结果，可以获取期望的恢复的图像。作为上述图像处理系统的使用的另一示例，作为信息处理设备200的CPU310的替代，安装在打印机上的算术处理单元可以被用来在打印操作期间实现图像恢复处理。如上所述，本发明的发明人已经注意到如下的事实，S卩如果成像设备具有相同的类型，则它们也在它们的光学传递特性方面具有相似性(表现出类似的成像特性)。根据基于这种想法发明的本发明的示例性实施例，可以通过在存储单元中预先存储表示类似的光学传递特性的光学传递特性(代表性的光学传递特性)并且使用该光学传递特性恢复图像来在减少数据存储容量的同时获取高质量的恢复的图像。识别信息可以是允许识别用于恢复处理中的光学传递特性的任何信息，并且因此识别信息可以是成像条件本身或其一部分。成像条件的内容的示例包括焦距、F数、物距、图像高度、允许识别成像设备的信息、允许识别光学系统的信息、变焦位置、对物距的焦点状态、光阑状态、图像稳定透镜的透镜位置、透镜组中的透镜的数量以及关于透镜结构的信息。
此外，由于孔径特性也根据成像设备的图像传感器的像素而改变，因此关于图像传感器的该信息可以被用作识别信息。可替代地，如果不同的低通滤波器被用于每个成像设备，则该信息也可以被用作允许识别光学传递特性的识别信息。此外，在第一示例性实施例中，成像设备100、101和102直接输出用于识别其光学传递特性的识别信息。然而，CPU310可以根据成像设备100、101和102的信息或者成像条件本身的信息产生可用于识别光学传递特性的信息，并且使用它作为识别信息。在该情况下，识别信息可以由成像设备侧产生或者可以由图像处理设备侧产生。此外，识别信息可以被添加到图像的一部分或者可以通过其它装置或网络来获取。此外，已经基于其中CPU310从存储在存储单元320中的光学传递特性滤波器中获取基于识别信息识别的光学传递特性滤波器的方法描述了第一示例性实施例。然而，它不限于此。例如，包含在识别信息与存储在存储单元320中的光学传递特性滤波器的地址之间的对应关系的查找表(LUT)可以被存储在存储单元320中。然后，CPU310可以参考查找表，并且获取与识别信息对应的光学传递特性滤波器。换句话说，在本发明的示例性实施例中的识别信息可以是直接地表示光学传递特性的信息或者间接地表示光学传递特性的信
肩、O此外，已经基于包括被制备作为分离机体的成像设备的主体和成像光学系统的示例描述了第一示例性实施例。然而，成像设备可以是包括一体化地构成的图像传感器和透镜的设备，诸如紧凑型照相机。此外，已经基于其中信息处理设备200的CPU310执行所有步骤的示例描述了第一示例性实施例。然而，即使成像设备100、101和102的CPU以及信息处理设备200的CPU310分别执行一部分步骤也可以获得第一示例性实施例的效果。换句话说，可以由基于从多个成像设备输出的图像和识别信息执行图像恢复处理的任何图像处理系统来获得本示例性实施例的效果。现在，将简要地描述由本发明的示例性实施例处理的图像(图像数据)。由本发明的示例性实施例处理的图像包括例如红/绿/蓝(RGB)颜色成分或者由颜色空间表现的多个成分。由颜色空间表现的成分的示例包括由亮度色度色调(LCH)表现的亮度、色调和色度以及由亮度/蓝色色度/红色色度(YCbCr)表现的亮度和颜色差信号。图像可以是具有针对每个像素的一个颜色成分的信号值的马赛克(mosaic)图像或者在颜色插值处理(去马赛克处理)被应用于马赛克图像之后的具有针对每个像素的多个颜色成分的信号值的去马赛克的图像。这种马赛克图像也被称为RAW图像，其作为在应用各种图像处理(诸如颜色插值处理(去马赛克处理)、被称为伽马(gamma)转换的 信号值转换以及被称为联合照相专家组(JPEG)的图像压缩)之前的图像。特别地，如果成像设备使用由单个传感器构成的图像传感器来获取多个颜色成分的信息，则具有不同程度的光谱透射率的滤色器被布置在每个像素处以便获取如上所述的具有针对每个像素的一个颜色成分的信号值的马赛克图像。在该情况下，上述的颜色插值处理的执行可以产生具有针对每个像素的多个颜色成分的信号值的图像。另一方面，如果成像设备使用多个传感器(例如，三个传感器)的图像传感器，则具有不同程度的光谱透射率的滤色器被布置在每个图像传感器上以便获取在各个图像传感器处的不同颜色成分的图像信号值。在该情况下，在图像传感器之间彼此对应的像素分别具有各个颜色成分的信号值，从而能够在没有特别地要求执行颜色插值处理的情况下产生具有针对每个像素的多个颜色成分的信号值的图像。此外，图像可以添加有成像条件(诸如透镜的焦距、光阑以及物距)。如果在单个封闭的成像设备内执行从成像到输出的一系列处理，则可以在不要求图像具有附接于其的成像条件的情况下在设备内获取成像条件。在该情况下，可以从例如状态检测单元207(图2)获取识别信息。然而，如果分离的图像处理设备或者信息处理设备从成像设备获取RAW图像并且随后执行期望的图像处理和信号处理，则成像条件信息附接于图像可以是有效的。接下来，将描述上述的图像恢复处理的概要。图像恢复是减少在图像中出现的像差的处理，并且像差是，例如，成像光学系统的球面像差、彗形像差、像场弯曲和像散。这些像差的出现使得图像(点像)形成为图像传感器(光接收元件)上的扩展的模糊点，虽然实际上点像必须被形成为一个点。由像差引起的该模糊在光学上由点扩展函数(PSF)表示。假定f(x，y)是原始图像，g(x, y)是捕获的图像(劣化的图像)，并且h (x，y)是点扩展函数(PSF)，建立下面的表达式。在该公式中，*表示卷积运算，并且(x，y)表示图像上的坐标。g(x, y) = h(x, y)*f (x, y) …(公式 I)在第一示例性实施例中，原始图像f(x，y)和捕获的图像g(x，y)分别与恢复的图像和从成像设备输出的图像对应。当傅里叶变换被应用于公式I以便将公式I转换成频率空间中的表达式时，公式I的右边变为各个频率的乘积，如下面的公式(2)所表示的。G(u, v) = H(u, v) · F(u, v) …(公式 2)在该公式2中，H(u，v)是对点扩展函数h(x，y)应用傅里叶变换的结果。换句话说，H(u, V)是光学传递函数(OTF) ο此外，G(u, V)和F(u, v)分别是对g(x, y)和f (x, y)应用傅里叶变换的结果。此外，(U，V)是二维频率空间中的坐标，即，频率。此外，标记“·”表示乘法运算。可以通过将公式2的两边除以H来从捕获的图像G(u，v)获取恢复的图像F(u，v)。G(u, v)/H(u, v) = F(u, v) · · ·(公式 3)可以通过对该F(u，v)(即，6(11^)/!1(11^))应用逆傅里叶变换来获取恢复的图像f(x，y)，以便使其回到实空间(实表面)中的表达式。然后，假定R(x，y)是对1/H(u，v)应用逆傅里叶变换的结果，公式3可以被转换为下面的公式4。g(x, y)*R(x, y) = f (x, y) · · ·(公式 4) 换句话说，可以通过使R(x，y)与实空间中的捕获图像进行卷积来获取恢复的图像,如公式4表示的。该R(x，y)是恢复滤波器(光学传递特性滤波器)。一般，对于二维图像，该恢复滤波器是具有与图像中的各个像素对应的抽头(单元)的二维滤波器，如图8A中所示出的。
此外，一般，增加恢复滤波器中的抽头的数量可以提高恢复精度，使得可以根据例如要求的图像质量、图像处理容量和像差特性将任何可行的数量设为抽头的数量。应该反映像差特性的该恢复滤波器具有与例如具有布置成3列和3行的约9个抽头的传统的边缘增强滤波器(高通滤波器)不同的性质。
图SB是图8A中示出的恢复滤波器的截面图。在该曲线图中，横轴表示抽头，并且纵轴表示抽头的值。各个抽头的值(系数值)的分布用来使由于像差而空间扩展的信号值回到原始的一个点。用于产生该恢复滤波器的方法的示例包括如下的方法计算或测量成像光学系统的光学传递函数(OTF)，并且随后通过对基于计算的或测量的光学传递函数的反函数的函数应用逆傅里叶变换来获取其恢复滤波器。光学传递特性可以不仅包括与成像光学系统相关的因素而且包括在成像操作期间可以影响光学传递特性的其它因素。这种因素的示例包括具有双折射的光学低通滤波器的特性、光源的图像传感器的孔径形状以及各种波长滤波器的光谱特性。具有双折射的光学低通滤波器在光学传递特性的频率特性方面抑制高频成分，并且图像传感器也是影响传递特性的因素之一，因为其倾斜改变在图像传感器上形成的模糊图像。更期望的是，基于包括这些因素的全面的光学传递特性来执行图像恢复处理。此外，在实空间中将恢复滤波器与图像进行卷积的优点在于，这可以进一步加速处理，因为在图像恢复处理期间不需要对图像执行傅里叶变换或逆傅里叶变换。图8A中示出的滤波器是方形布置的滤波器(垂直布置的抽头的数量与水平布置的抽头的数量相同)，但是它不限于此，并且在恢复滤波器上的垂直布置的抽头的数量和水平布置的抽头的数量可以任意地改变。已经使用公式描述了理想的恢复滤波器，但是实际图像包括噪声成分，使得如上所述的基于光学传递函数(OTF)的反函数的恢复滤波器的使用导致随着恢复一起放大噪声成分。更复杂的恢复滤波器(诸如Wiener滤波器)可以被用来抑制噪声成分的放大。在图像恢复处理期间要被恢复的像差包括但不特别限于，在赛德尔(Seidel)像差(球面像差、彗形像差、像散、像场弯曲和畸变)之中的球面像差、彗形像差、像散和像场弯曲。图像恢复可以从图像恢复处理的目标中排除要求几何学上大的校正量的像差，诸如畸变。这是因为几何学上大的校正量通常导致恢复滤波器的系数值的波动变化，由此容易产生不受欢迎的伪影(诸如恢复的图像中的振铃(ringing))。从要由图像恢复处理恢复的目标变窄到球面像差、彗形像差、像散和像场弯曲的其它有利的效果在于，与添加用于校正畸变的成分到作为二维数据的恢复滤波器相比，这可以减少数据量。由于校正几何畸变所需的数据仅是表示图像的扩展/收缩程度的一维的数据，因此与浪费地添加用于校正畸变的成分到作为二维数据的恢复滤波器相比，可以减少数据存储空间。这对于其中特定的图像处理设备对具有各种像差的图像执行图像恢复处理的系统(像第一示例性实施例一样)是特别地有效的。此外，甚至可以对不包括成像光学系统的设备(例如，在其图像传感器接近地接触对象的表面的同时对该对象成像的扫描仪(读取设备)以及X射线成像设备)应用上述图像恢复处理。这种设备不具有诸如透镜之类的成像光学系统，但是由于例如图像传感器的图像采样而或多或少地经受图像劣化。该劣化特性是设备的传递特性(传递函数)，并且因此与上述光学传递特性对应，虽然该劣化特性不源自于成像光学系统。因此，即使设备不具有成像光学系统，也可以基于传递特性来产生恢复的图像。将参考图9描述第一示例性实施例的变型示例。在第一变型中，光学传递特性校正单元950通过对由光学传递特性获取单元930获取的光学传递特性滤波器应用计算来产生更接近于与实际成像条件对应的理想的恢复滤波器的校正的恢复滤波器(校正的光学传递特性)。 与第一示例性实施例不同，将在假定不同的单元负责每个处理的情况下描述第一变型示例。然而，图像处理设备990中的计算单元可以负责各个处理。光学传递特性获取单元930从图像中的像素中选择特定的像素，以便针对由成像设备捕获的图像中的每个像素执行插值计算。在这时候，光学传递特性获取单元930可以选择多个像素或单个像素。此外，可以通过确定在各个成像条件之间共同的像素位置以及选择该像素位置作为特定的像素来获取特定的像素。可替代地，可以通过基于诸如EXIF信息之类的识别信息选择不同的像素位置来获取特定的像素。然后，光学传递特性获取单元930获取与所选的特定的像素对应的光学传递特性滤波器(在下文中称为“恢复滤波器”)。以这种方式，与对所有像素重复地应用获取每个像素的恢复滤波器的步骤相比，获取与特定的像素对应的恢复滤波器可以提高处理速度。然后，光学传递特性校正单元950通过使用针对每个特定的像素获取的恢复滤波器执行双线性插值来产生任意像素位置的恢复滤波器。使用根据插值产生的校正的恢复滤波器可以提高图像恢复的精度。这是因为，一般，通过插值产生的校正的恢复滤波器是比在插值之前针对每个特定的像素获取的恢复滤波器更接近于实际光学传递特性的恢复滤波器。然后，图像恢复单元960通过执行由光学传递特性校正单元950校正的校正的恢复滤波器和图像的二维卷积(计算)来产生恢复的图像。信号处理单元970对恢复的图像执行各种信号处理，并且随后输出输出图像980。上述处理的执行可以在减少应当预先存储的数据量的同时提高图像恢复精度。第一变型已经被描述为作为插值计算的、针对图像中的特定像素获取恢复滤波器以及针对在第一特定像素和第二特定像素之间的像素产生校正的恢复滤波器的处理。一般，通过光学系统获取的图像具有从图像的中心朝向图像的周边程度增大的图像劣化(像差)。特别地，大的彗形像差、大的像散和大的像场弯曲发生在图像的周边处。因此，作为准备在图像中均匀分布的特定像素的恢复滤波器的替代，第一变型准备在图像的周边处比图像的中心更密集地分布的特定像素的恢复滤波器，作为用于插值计算中的恢复滤波器。结果，可以实现更精确的图像恢复。可以针对一个屏幕的四分之一区域准备大约5到60个恢复滤波器。准备少于该下限值的恢复滤波器不能保持优秀的图像恢复精度，因为这增大了在计算光学传递特性校正单元950之后的校正的恢复滤波器与理想的恢复滤波器之间的差别。
此外，准备多于上限值的恢复滤波器减慢了处理速度，因为这增大了计算单元应该处理的计算量(增大了获取恢复滤波器的次数)。换句话说，具有大的像差的区域(具有像差量的大的变化的区域)要求较大量的恢复滤波器。因此，本变型准备特别地优先考虑与表示大的扩展的点扩展函数对应的滤波器的恢复滤波器，作为预先存储在存储区中的恢复滤波器。该布置可以提高恢复精度和图像恢复的处理速度。在上述描述中，考虑到成像光学系统的旋转对称(线对称)而准备用于图像的四分之一区域的恢复滤波器，但是它不限于此。除上述插值计算之外，上述插值计算可以是根据处理速度和插值精度的任何插值计算，诸如线性插值、双线性插值和双三次插值。甚至可以设置插值计算确定单元来确定插值计算的类型。考虑到插值处理的精度与计算所需的时间之间的平衡来确定插值计算的类型。例 如，如果优先考虑插值计算的精度，则选择双三次插值。另一方面，如果优先考虑处理速度，则选择双线性插值。此外，已经基于通过插值处理获取用于第一特定像素与第二特定像素之间的像素的恢复滤波器的值的插值计算来描述了第一变型。然而，第一变型可以与像素位置无关地执行插值计算。例如，第一变型可以在焦距、F数、物距和图像稳定状态(图像稳定透镜组的偏移和倾斜状态)方面执行插值计算。例如，如果插值计算被应用于焦距，则图像处理设备从光学系统的广角端到望远端的离散的焦距中选择特定的焦距。然后，图像处理设备获取所选的焦距的光学传递特性。如果成像条件中的焦距被包括在那些特定的焦距内，则图像处理设备使用获取的光学传递特性来恢复图像。如果成像条件中的焦距未被包括在特定的焦距中，则图像处理设备使用位于其广角端或望远端的特定的焦距的光学传递特性通过插值来产生成像焦距的光学传递函数。然后，图像处理设备使用产生的光学传递函数来恢复图像。这是相对于焦距的一个轴的插值。然而，可以通过在其中各个轴代表离散的焦距、F数、物距和图像稳定状态的空间中使用特定坐标的光学传递特性来产生任意坐标的光学传递特性。例如，在三维空间(焦距、F数和物距)中，可以通过使用围绕任意坐标的特定坐标的光学传递特性执行平面插值来产生任意坐标的光学传递特性。此外，除插值计算以外，存在校正由光学传递特性获取单元930获取的每个恢复滤波器的计算作为光学传递特性校正单元950应用于恢复滤波器的计算的其它示例。该校正计算的类型的示例包括按比例地乘以恢复滤波器的值的计算。该计算可以改变由恢复滤波器恢复的图像的亮度级，使得例如在期望调节白平衡时是有用的。此外，作为计算的其它示例，光学传递特性校正单元950可以通过使另一恢复滤波器与由光学传递特性获取单元930获取的恢复滤波器进行卷积来产生具有两个恢复滤波器的效果的结合的恢复滤波器。此外，计算的又一个示例是用于通过使用与特定像素对应的恢复滤波器来获取校正的恢复滤波器的函数化计算。函数化计算使用离散的像素位置的恢复滤波器，并且通过拟合法计算其中像素位置被设为变量的函数的系数。可以通过在该函数中代入任意像素位置来产生用于任意像素位置的恢复滤波器。根据该计算，一旦产生该函数，此后就可以仅通过将目标位置代入变量来产生恢复滤波器，使得该计算对减少处理时间是有用的。
将更具体地描述该函数化计算。光学传递特性校正单元950基于由光学传递特性获取单元930获取的恢复滤波器来执行函数化计算，其中每个像素位置设为变量。首先，光学传递特性获取单元930获取与多个像素位置对应的恢复滤波器。为了选择该多个像素位置，可以确定在各个成像条件之间共同的像素位置，或者可以基于识别信息来改变像素位置。针对每个确定的像素位置来获取恢复滤波器，并且这些获取的恢复滤波器被拟合为其中像素位置被设为变量的模型函数。在下文中，该模型函数被称为“拟合函数”。可以通过在该函数中代入任意像素位置来产生用于该任意像素位置的恢复滤波器。在任意像素位置处的拟合的恢复滤波器比在预先存储在存储区中的离散的恢复滤波器之中最接近于像素位置的恢复滤波器更接近于实际恢复滤波器。结果，可以提高图像恢复处理的精度。拟合函数的使用允许通过仅仅在函数中代入像素位置来确定用于每个像素的恢复滤波器，因此变为即使在例如CPU不具有高处理能力时也可以加速图像恢复处理。此外，该处理可以被应用于焦距、物距、F数和图像稳定透镜的位置。上述计算仅仅是示例，并且根据本变型的计算可以由任何计算具体实现，只要该计算可以调节由光学传递特性获取单元930获取的恢复滤波器以使得恢复滤波器更接近于理想的恢复滤波器或者该计算可以提高处理速度即可。接下来，将参考图10描述第二示例性实施例。第二示例性实施例是在成像设备内执行一系列处理的这种实施例。与第一示例性实施例的差别在于，在第二示例性实施例中，识别信息是用于允许识别焦点类型的信息，并且在存储单元中针对每个焦点类型存储合适的光学传递特性滤波器。第二示例性实施例中的安装在成像设备上的成像光学系统是负引导类型和后焦点类型透镜(第一成像光学系统)(未示出)。成像设备的存储单元208存储光学传递特性滤波器组No. I (第三光学传递特性)，使得即使在不同的负引导类型和后焦点类型透镜(第二成像光学系统)安装到成像设备上时也可以有效地产生恢复的图像。另外，存储单元208存储与多个负引导类型和前焦点类型透镜(第三成像光学系统)对应的光学传递特性滤波器组No. 2。这些光学传递特性滤波器组No. I和No. 2中的每一个是包含多个滤波器作为一个集合的滤波器组。难以保持大量的滤波器，因为滤波器是二维数据。虽然显然保持大量滤波器可以提高恢复精度，但是需要一些措施来在例如成像设备的有限存储器容量中有效地存储滤波器。在这些情况下，本发明的发明人已经通过各种光学设计发现了，相同的焦点类型的透镜具有类似的光学传递特性，并且如第一示例性实施例的情况一样，发明人已经利用该知识来发明来即使针对具有不同的识别码或其它因素的透镜也使用相同的滤波器的成像设备，只要它们的焦点类型相同即可。该技术可以在减少恢复的图像的图像质量的劣化的同时减少为图像恢复所需的存储器空间。特别地，该效果对于成像设备是有用的，因为与信息处理设备相比，大部分成像设备具有有限的存储器容量。
可以针对成像条件(诸如焦距、F数和物距)和在该成像条件下的图像高度的每个组合优选地存储多个滤波器。现在，将描述图10中示出的成像设备的操作。首先，图像处理单元204获取由成像设备100的负引导类型和后焦点类型透镜捕获的图像a2以及作为识别信息al的存储在可互换的透镜的存储器中的用于允许识别可互换的透镜的焦点类型的信息。在第二示例性实施例中，如果成像设备100是一体化地装备有光学系统的设备(诸如紧凑型照相机)，则预先存储在紧凑型照相机的存储器中的表示焦点类型的信息可以被用作识别信息。如果成像设备100是与第一示例性实施例类似的系统，则成像设备100可以将表示透镜的焦点类型的信息写到添加到图像的EXIF信息中。然后，在成像设备100中，图像处理单元204参考识别信息al并且从存储单元208获取光学传递特性滤波器组No. I。随后，成像设备100将光学传递特性滤波器组No. I与图像a2进行卷积，并且由此产生恢复的图像。最后，成像设备100对恢复的图像应用诸如去马赛克之类的照相机信号处理，由此输出输出图像a3。成像设备100可以以不同的顺序来执行恢复处理和照相机信号处理。存储单元208可以期望地存储作为多个负引导类型和后焦点类型透镜的光学传递特性滤波器的平均的滤波器，以作为光学传递特性滤波器组No. I中的滤波器。当成像设备100恢复由各种负引导类型和后焦点类型透镜捕获的图像时，该布置可以减少与理想的光学传递特性滤波器的差别，由此提高精度。即使在负引导类型和前(前透镜)焦点类型透镜被安装到成像设备100上以作为上述后焦点类型可互换的透镜的替代时，成像设备100也执行相同的处理。此外，成像设备100可以对在成像设备100内获取的光学传递特性滤波器执行校正处理。存储在成像设备100的存储单元208中的光学传递特性中的每一个不限于具有二维像素数据的滤波器，而是可以为例如，光学传递函数、点扩展函数、波前像差和光瞳函数。然而，如果成像设备100的主存储器仅具有小容量(随机访问存储器(RAM)的容量)，则选择光学传递特性滤波器作为存储在存储单元208中的数据是有效的，因为与具有大的存储器容量的信息处理设备不同，在该情况下的成像设备100对高速处理来说不适当。如果存储的光学传递特性是滤波器，则成像设备100可以加速处理，因为在执行图像恢复处理时不需要要求大的计算量的计算(诸如傅里叶变换)。如在这里使用的，术语“滤波器组”指的是应用于单个图像的滤波器的一个集合，使得多个滤波器组意指多个这种集合被存储在存储单元中。将参考图11描述作为第三不例性实施例的图像处理系统。与第一不例性实施例的差别在于，根据第三示例性实施例的图像处理系统包括在外部设备880中的存储单元860，并且存储在存储单元860中的光学传递特性不是按照原样的恢复滤波器。成像设备I和2中的每一个是具有负引导类型成像光学系统的成像设备。成像设备3是具有正引导类型成像光学系统的成像设备。
基于光学传递函数之间的相似性将可共用于成像设备I和2的光学传递函数No. I (光学传递特性)和与成像设备3对应的光学传递函数No. 2 (光学传递特性)预先存储在存储单元860中现在，将描述存储单元860如何保持光学传递函数。存储单元860存储离散地布置在具有多个光学传递特性表现矢量的光学传递特性表现空间中的光学传递特性。光学传递特性表现矢量是能够表现光学传递特性的性质的矢量。光学传递特性表现矢量的示例包括下面的成分。考虑在像差方面的成像特性，在一定的成像条件下的成像特性可以由例如球面像差成分、像散成分和彗形像差成分的组合表现。其数学表达式是Zernike多项式并且被称为在笛卡儿空间(Cartesian space)中表现的波前像差。另一方面，考虑在点扩展函数(PSF)方面的像差，球面像差可以由点扩展函数的旋转对称的扩展成分表现，并且像散可以由点扩展函数的垂直的两个方向(例如，子午线方向和弧矢方向)上的纵横比(aspect ratio)成分表现。此外，彗形像差可以由关于线对称的点扩展函数的对称轴不对称的成分表现。不对称的成分的参考点是，例如，在经过光束的中心的光线与成像表面之间的交点、在经过光阑的中心的光线与成像表面之间的交点或点扩展函数的重心。图13示出在彗形像差发生时的点扩展函数的示例。彗形像差关于Xl轴不对称，但是关于x2轴对称。在图13中，Xl和x2代表经过成像表面上的点扩展函数的中心的垂直的坐标轴，并且0代表在xl轴被设为基准时的方位角。点扩展函数的中心是在参考波长的主射线与成像表面之间的交点或参考波长的点像的重心。此外，倍率的色差可以由在不同的颜色成分的点像之间的重心偏差成分表现。该成分是例如颜色成分(诸如R、G和B)。基于像差或点扩展函数的这些表现被定义为光学传递特性表现矢量。此外，具有双倍大小的光学系统产生具有双倍大小的点像，使得基于成比例的倍数(proportionalmultiplication)限定点像的大小的成分也可以被定义为光学传递特性表现矢量之一。图12A和图12B示意性地示出光学传递特性表现空间。图12A示意性地示出利用代表球面像差成分、像散成分和彗形像差成分的各个坐标轴表现光学传递特性的空间。图12B示出沿着与像散成分的轴和彗形像差成分的轴平行的平面截取的其中像散几乎接近于零的截面的一部分。图12B示出了具有分别代表彗形像差成分和像散成分的横轴和纵轴的离散地布置的点扩展函数(PSF)。存储单元860存储与光学传递特性表现空间中的各个点(黑点)对应的点扩展函数(光学传递特性)。存储单元860也可以存储与从格子点偏离的位置的状态对应的光学传递特性。这种光学传递特性表现矢量的使用可以消除在存储单元860中存储与每个成像设备可以具有的所有光学传递特性对应的恢复滤波器的必要性。换句话说，可以通过选择与代表点(特定的光学传递特性)接近的点和使用该接近的点的光学传递特性来产生恢复滤波器。例如，如果成像设备的光学传递特性是由图12A中的大的白色圆圈表示的点，则可以基于在存储在存储区中的光学传递特性之中的位于相距实际光学传递特性的点最短距离的光学传递特性(图12A中示出的小的白色圆圈)来产生用于其的恢复滤波器。可替代地，可以对在代表点之间的点应用插值。结果，可以产生与实际光学传递特性对应的光学传递特性，由此与存储与各个成像条件对应的所有恢复滤波器的系统相比，可以减少数据存储容量。期望地，划分的格子的数量可以是如下这种数量，即使得对于特定的坐标轴，从最小值(零)到最大值的范围被分成大约3个格子到20个格子。划分少于3个(作为离散值的数量)使得产生在预存的光学传递特性与实际成像条件或成像设备的光学传递特性之间的大的差别，由此减少图像恢复效果。另一方面，划分多于20个使得应当预先存储大量的光学传递特性，由此破坏了数据存储空间减少效果。图12A中示出的示例是由三个参数(球面像差、彗形像差和像散)表现的三维的光学传递特性表现空间。然而，例如，光学传递特性表现空间可以是四维或更多维的光学传递特性表现空间，其通过添加例如倍率色差成分来表示四个或更多个状态。在该情况下，在 四个或更多个像差成分被设为轴的情况下表现光学传递特性的空间的使用可以进一步提闻图像恢复的精度。以上述方式限定光学传递特性表现空间可以在构建可以覆盖所有可能的光学传递特性的光学传递特性表现空间的同时防止相同的光学传递特性被冗余地存储，由此使得能够有效地减少图像处理系统中占用的数据存储空间。结果，可以在减少存储在图像处理系统中的数据量的同时有效地获得图像恢复效果O已经基于使用点扩展函数作为光学传递特性的示例描述了第三示例性实施例。然而，存储在存储单元860中的光学传递特性可以是恢复滤波器自身，像第一示例性实施例一样。可替代地，存储在存储单元860中的光学传递特性可以是与成像设备的成像条件对应的任何赛德尔像差、或者点扩展函数、光学传递函数、恢复滤波器、波前像差和光瞳函数中的任何一个。现在再次描述图11中示出的系统。来自成像设备I的识别信息802a被提供作为存储在存储单元860中的光学传递特性表现空间中的坐标。光学传递特性获取单元810将该识别信息传递到外部设备880，并且从存储区中的光学传递函数获取与指定坐标对应的光学传递函数。在这时候，如果外部设备880具有计算单元，则光学传递特性获取单元810可以在插值处理被应用于识别的光学传递函数之后获取光学传递函数。例如，假设由图12A中的大的白色圆圈表示的状态是基于识别信息识别的坐标。如果存在与位于基于识别信息识别的坐标处或附近的格子点对应的任何光学传递特性，则在该格子点处的光学传递特性可以被获取以用在图像恢复处理中。另一方面，如果不存在具有在基于识别信息识别的坐标处或附近(或最接近于其)的光学传递特性的格子点，则插值处理被应用于位于最接近基于识别信息识别的坐标的位置处的光学传递特性，以便获取与那些坐标对应的光学传递特性。插值处理的执行可以进一步减少在成像设备的实际光学传递特性与基于识别信息识别的光学传递特性之间的差别，由此实现具有高精度的图像恢复处理。
作为另一种方法，可以通过计算在基于识别信息识别的坐标与光学传递特性表现空间中的预存的光学传递特性之间的距离并且选择具有最短距离的那个来获取光学传递特性。 又一种方法是根据光学传递特性表现空间中的方向来添加权重，使用光学传递特性表现空间函数中的距离与方向的权重的乘积作为评价函数，并且基于该评价函数获取用于插值处理的光学传递特性。其它方法的示例包括为存储在存储区中的光学传递特性分配识别编号并且获取具有与作为识别信息输入的识别编号匹配的识别编号的光学传递特性的方法。还一种可能的方法是，通过使添加(附接)到图像的识别信息与存储区中的地址相关来获取光学传递特性的方法。可替代地，还存在通过分析多个图像获取光学传递特性的方法。以这种方式，光学传递特性获取单元810的目的在于，获取基于识别信息识别的光学传递特性，并且除了上述方法之外还可以使用各种方法来实现该目的。然后，如果由光学传递特性获取单元810获取的光学传递特性是光学传递函数，则恢复滤波器产生单元820通过对其执行逆傅里叶变换来产生恢复滤波器。如果提供作为点扩展函数、光学传递函数或波前像差的光学传递特性，则恢复滤波器产生单元820可以通过执行傅里叶变换或逆傅里叶变换来产生恢复滤波器。另一方面，对从成像设备I获取的图像执行照相机信号处理840a，并且使用由恢复滤波器产生单元820产生的恢复滤波器来对该图像执行图像恢复处理830。然后，图像处理设备870对从图像恢复处理830获取的恢复的图像再次执行照相机信号处理840b,并且随后输出输出图像850。也针对成像设备2和3执行上述处理。主要处理流程与图7中示出的流程相同，并且因此这里省略了其描述。已经基于如下的发现发明了本发明的示例性实施例在成像设备具有相同的透镜类型或具有相同的焦点类型时，这些成像设备具有类似的光学传递特性(表现出类似的成像特性)。然后，本发明的示例性实施例可以通过预先在存储单元中存储代表类似的光学传递特性的恢复滤波器来减少数据存储空间。然后，光学传递特性获取单元获取基于识别信息识别的光学传递特性，并且基于获取的光学传递特性来恢复图像，由此使得能够在减少数据存储容量的同时产生高质量的恢复的图像。如第三示例性实施例的描述中所述的，如果存储的光学传递特性不是恢复滤波器自身，则恢复滤波器产生单元820基于光学传递特性来产生恢复滤波器。可以利用诸如傅里叶变换或逆傅里叶变换之类的计算来产生恢复滤波器。可替代地，可以以使得一个恢复滤波器与一个光学传递函数对应的方式将恢复滤波器存储在存储单元860或其它存储区中，并且随后可以使用存储的恢复滤波器。如果通过对预存的光学传递特性执行插值来获取用于图像恢复处理中的光学传递特性，则可以通过使用点扩展函数或光学传递函数来提高插值精度。将再次参考图8A和图8B来描述其理由。图8A示意性地示出具有11乘11的抽头的恢复滤波器。如图8B中所示出的，恢复滤波器在各抽头之间具有剧烈的变化，但是其点扩展函数具有如图5A和图5B中所示出的平滑的强度变化。光学传递函数也具有平滑的强度变化。为此，利用点扩展函数或光学传递函数执行插值处理可以提高插值精度。
然而，在利用点扩展函数或光学传递函数执行插值处理时，为了转换成恢复滤波器应当执行傅里叶变换或逆傅里叶变换。虽然这增加了处理时间，但是傅里叶变换或逆傅里叶变换的执行使得能够根据恢复程度来产生恢复滤波器。另一方面，如果恢复滤波器本身被用作光学传递特性，则由于不需要执行傅里叶变换或逆傅里叶变换而可以使处理加速，但是如上所述，在该情况下降低了图像恢复处理的精度。因此，重要的是分别发现精度和处理时间可以被折中多少或者应当被优先考虑。此外，作为以矢量的形式存储光学传递特性的替代，光学传递特性可以以作为F(x, y，z)的能够表现光学传递特性的函数的形式被存储。然而，与该方法相比，可以更有效的是，如第三示例性实施例所指出地作为矢量(表现)地存储光学传递特性，因为该方法在大多数情况下可以进一步减少数据量。这是因为，当光学传递特性以函数的形式被存储时，某些函数可能根据精度而被复杂化，由此导致数据量的增加。外部存储单元可以由外部设备的存储区或网络中的区域来具体实现。在第一示例性实施例中，甚至利用共同的光学传递特性来恢复在不同的成像条件下捕获的图像，只要图像包括类似的光学传递特性即可。在第一示例性实施例中，假定R’(x，y)代表存储在存储单元320中的共同的光学传递特性滤波器(在下文中称为“恢复滤波器”)，从图像恢复处理获得的图像f’(x，y)可以由下面的公式表现，像公式4 一样。g(x，y)*R' (x, y) = (x, y) · · ·(公式 4，)在该公式中，标记“ * ”表示卷积运算。由于f’ (x,y)不同于利用从实际光学传递特性计算的恢复滤波器R(x，y)计算的f(x, y)，因此在图像中可能出现下面的现象。如果恢复滤波器R’ (x,y)的恢复程度强于恢复滤波器R(x，y)，则在图像中的边缘部分处或其附近产生具有低信号值的部分(挖下(digging-down)成分)。这是因为在该情况下的恢复滤波器R’(X，y)较强地发挥了使由于像差而空间扩展的信号值回到原始的单个点的效果，使得在其附近的信号值变得不足。该现象是与由于过度应用边缘增强处理而出现的过冲(overshoot)状态类似的现象。另一方面，如果恢复滤波器R’(X，y)的恢复程度弱于恢复滤波器R(x，y)，则难以足够地消除由于光学系统的像差而在图像中出现的模糊。这是因为在该情况下的恢复滤波器R’(x，y)较弱地发挥使由于像差而空间扩展的信号值回到原始的单个点的效果。此外，如果该现象根据RGB通道(颜色成分)而变化地发生，则由于边缘部分的清晰度的差别而在边缘部分处出现染色。因此，在第四示例性实施例中，如图14A中所示出的，存储单元920A存储根据光学传递特性的一部分而模式化的恢复滤波器。光学传递特性的一部分意指，例如，光学传递函数的相位成分或光学传递特性的幅度成分。如在这里使用的，术语“模式化”被定义为指的是将在它们的成像由于光学系统的插入而如何从理想的相位分布或幅度分布偏离(劣化)的方面具有相似性的成像设备分类到相同的组中、或者将能够提供合适的相位恢复的恢复滤波器分配到每一个由此分类的组。 换句话说，存储单元920A存储每个都具有可共同使用的相位校正成分的恢复滤波器。结果，可以在防止图像质量的劣化的同时减少数据存储容量。现在，将参考图14A和图14B描述程序使信息处理设备900A执行的处理。成像设备900a和900b是在彗形像差如何出现方面具有相似性的成像设备。在由成像设备900c捕获的图像中，彗形像差以与由成像设备900a和900b捕获的图像不同的方式出现。在步骤S91中，信息处理设备900A的CPU (在下文中，被仅仅称为“CPU”)从成像设备900a,900b和900c获取图像数据901a,901b和901c以及识别信息902a,902b和902c。第四示例性实施例中的识别信息是成像光学系统的识别码。在步骤S92中，CPU基于识别信息从存储单元920A获取用于恢复图像数据900a、900b和900c的恢复滤波器。由于在由成像设备900a和900b捕获的图像中彗形像差以相同的方式出现，因此CPU基于识别信息902a和902b获取可共同使用的相位成分校正滤波器No. I。CPU针对由成像设备900c捕获的图像901c获取相位成分校正滤波器No. 2。在步骤S93中，CPU通过利用与各条图像数据对应的相位成分校正滤波器恢复相位成分来产生恢复的图像。相位成分校正滤波器不仅可以校正彗形像差而且可以校正诸如倍率色差之类的不对称的像差。在步骤s94中，CPU输出输出图像950A。如上所述，甚至可以根据不对称的像差如何出现来利用共同的恢复滤波器作为相位成分校正滤波器，从而恢复在彼此不同的成像条件下捕获的图像，使得可以减少数据存储容量。上述实施例的功能也能够由图14A中的光学传递特性获取单元910A、图像恢复单元930A、信号处理单元940A代替CPU来实现。此外，虽然通过使用相同的光学传递特性来恢复具有以不同方式出现的彗形像差的图像数据可能导致染色的增加，但是上述处理可以使由于像差而扩展的信号值在使得点像线对称的方向上偏移。因此，光学传递特性的幅度成分可以不受影响，由此防止边缘部分被挖下。可以利用图16中示出的边缘增强滤波器来校正图像的幅度成分。边缘增强处理的应用可以提高图像的清晰度。可以容易地调节边缘增强的程度，使得可以通过根据需要将值调节到最合适的值来获取期望的效果。然后，在步骤S93中，CPU对各个恢复的图像执行其它信号处理(诸如白平衡调节处理和噪声减少处理)，并且随后输出输出图像。在上述描述中，边缘增强处理和信号处理已经被描述为分离的过程，但是它们可以同时被执行。此外，图16中示出的边缘增强滤波器的系数可以根据一次微分、二次微分和其增益(恢复的程度)而根据需要地改变以便被使用。此外，本示例性实施例的其它有利的效果在于，图像恢复处理仅被应用于相位成分，并且通过边缘增强处理调节清晰度，由此消除根据恢复的程度产生恢复滤波器的必要性，并且实现高速处理。
对于用于相位成分的校正中的恢复滤波器(相位成分校正滤波器)，增加滤波器的抽头的数量(尺寸)可以实现相位劣化的进一步精确的校正。因此，可以有效的是，将在边缘增强滤波器一侧的抽头的数量的三倍或更多的数量设定作为在图像中具有最大数量的抽头的恢复滤波器一侧的抽头的数量。可以进一步有效的是，设定三倍或更多并且十倍或更少的数量。如果恢复滤波器具有在下限以下的数量的抽头，则该滤波器不能以高精度校正相位劣化，使得不能足够地校正像差的不对称。另一方面，如果恢复滤波器具有在上限之上的数量的抽头，则虽然该滤波器可以提高校正精度，但是数据 存储容量增大，并且由于滤波器具有大量抽头而减慢了处理速度。作为第四示例性实施例的变型，如图15中所示出的，光学传递特性的幅度成分可以被模式化，并且存储单元920可以存储与其对应的恢复滤波器(幅度成分共同的滤波器)，并且CPU可以使用它们。信息处理设备900A的CPU获取由成像设备960a、960b和960c捕获的图像961a、961b和961c以及识别信息962a、962b和962c。CPU基于分别附接于图像961a、961b和961c的识别信息962a、962b和962c在预先存储在存储单元920A中的幅度成分滤波器之中获取基于识别信息识别的幅度成分共同的滤波器。该幅度成分共同的滤波器可以是具有图像的RGB通道的幅度成分的平均的幅度成分的光学传递特性，或者可以是通过给RGB通道的光学传递特性添加权重并且求它们的平均而获得的光学传递特性。然后，利用获取的幅度成分共同的滤波器产生恢复的输出图像 950A。这种幅度成分共同的滤波器的使用可以单独增大图像的清晰度而不改变倍率色差的成分。已经基于其中CPU使得信息处理设备900A执行各个步骤的示例描述了第四示例性实施例。然而，各个步骤可以由硬件执行。第五示例性实施例将被描述为针对每个RGB通道几何学上地延伸或缩小图像、即、利用不包括用于校正倍率色差的成分的恢复滤波器校正倍率色差(延伸/收缩处理)的实施例，由此提供进一步减少由图像恢复处理所引起的边缘部分处的染色的效果。现在，将参考图17描述根据第五示例性实施例的图像处理系统。任意数量的成像设备可以连接到图17中示出的图像处理设备119，并且在本示例性实施例中，成像设备I和2连接到图像处理设备119。成像设备I和2具有类似的倍率色差特性。由这些成像设备I和2捕获的图像包含称为EXIF信息的信息，其表示诸如成像设备的识别码、在捕获图像时透镜的焦距和F数之类的成像条件。在本示例性实施例中，该信息被用来产生用于使得能够识别光学传递特性的识别码，其然后被用作识别信息。从成像设备I输出的图像数据11 Ia被传送到图像处理设备119。程序使得图像处理设备119或信息处理设备执行下面的处理。首先，在步骤S114中，图像处理设备119参考包含在图像数据Illa中的识别信息112a，并且随后从存储在存储区118中的光学传递特性中获取基于识别信息识别的光学传递特性。这里使用的光学传递特性是光学传递特性滤波器No. 1，其通过使对于照相机的RGB通道的光学传递特性平均来被获取。通过使用这种滤波器仅恢复幅度成分可以引起在倍率色差成分不变化的同时仅清晰度的提高。因此，在步骤S113中，图像处理设备119对从成像设备I输出的图像执行倍率色差校正处理，即，几何学上延伸图像的处理。该处理可以在减少由于倍率色差的染色的同时制作具有从图像数据Illa校正的其倍率色差的图像。随后，在步骤S115中，图像处理设备119利用具有校正的其倍率色差的图像和在步骤S114中获取的光学传递特性来产生恢复的图像。在步骤S113中，图像处理设备119对具有几何学上校正的其倍率色差的图像执行图像恢复处理，并且由此与通过对其倍率色差没有被几何学上校正的图像执行图像恢复处理而产生的恢复的图像相比，可以减少染色的出现。然后，在步骤S116中，图像处理设备119对恢复的图像执行信号处理(诸如白平衡调节处理、噪声减少处理和边缘增强处理)，并且在步骤SI 17中，图像处理设备119可以获得输出图像。程序还使得图像处理设备119以与用于成像设备I的处理相同的方式执行对由成像设备2捕获的图像数据Illb的处理。由于成像设备2具有与成像设备I类似的倍率色差特性，因此在步骤SI 14中，图像处理设备119可以使用与成像设备I相同的光学传递特性(幅度成分共同的滤波器No. I)。以这种方式，可以通过使用其一部分适于可共同使用的光学传递特性(在本示例性实施例中为幅度成分)来减少数据存储容量。此外，可以通过与图像恢复处理分开地执行几何学的倍率色差校正来进一步减少染色，像本示例性实施例一样。此外，可以不仅根据在倍率色差如何出现方面的相似性而且根据例如变焦类型、焦点类型和图像稳定类型来期望地预先准备光学传递特性。在该情况下，即使在建立图像处理系统之后(可通信地)连接新的成像设备3并且图像处理设备119恢复由成像设备3捕获的图像数据Illc时，也可以执行合适的图像恢复。第六示例性实施例将被描述为利用关于透镜配置的信息作为识别信息根据在图像中的像素位置而获取光学传递特性滤波器的示例。将再次参考示出第一示例性实施例的图4来描述本示例性实施例，因为在本示例性实施例与第一示例性实施例之间存在许多交迭。根据传统的技术，如果成像设备制作包含一千万或更多像素的图像，则针对各个像素获取光学传递特性将费较长时间。减少处理时间的一个方法是针对图像中的一个区域和另一个区域两者使用相同的光学传递特性的方法。然而，该方法导致在使用相同的光学传递特性的区域之间的边界处产生不连续的线。这可以通过针对在图像评价环境下不能检测图像质量差异的区域(平移不变的区域)使用相同的光学传递特性来使得这不引人注目。使用该方法可以将要求的光学传递特性的数量减少到图像中的像素的数量的大 约1/104。然而，即使在该情况下，信息处理系统也应该获取大约IO3个光学传递特性。因此，第六示例性实施例使用透镜配置和成像条件作为识别信息以便根据各个像素获取光学传递特性。第六示例性实施例利用如下的事实类似地构成的两个透镜在像差如何出现和点扩展函数具有哪种趋势方面在相同的成像条件下具有相似性，以及这种透镜在遍及整个图像的任何像素位置处维持趋势方面的类似性。例如，负引导类型变焦透镜在其广角端处出现了像场弯曲，而被用作高焦度变焦透镜的正引导类型变焦透镜在其望远端处出现了大的轴向色差以及在其周边处出现了彗
形像差。以这种方式，相同类型的透镜表现出类似的趋势，因为这些透镜在其每个表面处以类似的方式出现像差，并且在各个透镜处出现的像差的量在它们满足一定的性能的情况下也在相同的水平。不仅根据成像设备的光学系统中的变焦透镜组的配置而存在像差出现的趋势的相似性，而且单透镜的相同透镜类型(例如，高斯(Gauss)类型、望远类型和焦点后移(retro focus)类型)在遍及整个图像的任何像素位置处表现出类似的趋势。此外，关于像 差如何出现的趋势也可以根据焦点类型、图像稳定类型和光阑形状而被分类。根据第六示例性实施例的图像处理系统包括三个成像设备100、101和102。成像设备100、101和102中的每一个由根据已知的可互换的透镜照相机系统的照相机主体和可互换的透镜构成，或者是一体化地包括透镜和图像传感器的紧凑型照相机。在本示例性实施例中，成像设备100、101和102中的每一个由可互换的透镜和照相机主体构成。由这些成像设备100、101和102捕获的图像包含称为EXIF信息的信息，其是关于诸如成像设备的识别码、已经捕获图像的透镜的焦距和F数之类的成像条件的信肩、O在第六示例性实施例中，信息处理设备200在成像设备的识别码之中检测基于可互换的透镜的识别码的可互换的透镜的组配置。成像设备100的成像光学系统是具有负-正-负-正的组配置的负引导类型变焦透镜。该透镜类型的特征在于，在其广角端处增大回归(retro)比(总的透镜长度/焦距)，并且大的像场弯曲和大的畸变倾向于出现，而轴向球面像差很少出现。针对负引导类型变焦透镜，存储单元320存储与各个像素位置对应的光学传递特性滤波器。此外，存储单元320可以期望地存储基于作为多个负引导类型透镜的光学传递特性的平均而计算的光学传递特性的光学传递特性滤波器。在该情况下，即使在信息处理设备200恢复由各种负引导类型变焦透镜捕获的图像时，信息处理设备200也可以使用与实际光学传递特性更少不同的光学传递特性，使得该布置对于提高图像恢复处理的精度是有利的。CPU310基于获取的可互换的透镜的识别码和获取的成像条件来获取与成像设备100的透镜配置中的各个像素位置对应的一组光学传递特性滤波器。然后，CPU310通过使用该组光学传递特性滤波器来对图像101执行恢复处理，并且产生恢复的图像。CPU310还对产生的图像执行诸如白平衡调节、边缘增强、倍率色差校正、畸变校正和阴影校正之类的照相机信号处理，由此获得输出图像。换句话说，一旦信息处理设备200被设置有成像条件和成像光学系统的配置，信息处理设备200就可以识别光学传递特性，由此信息处理设备200可以通过仅执行光学传递特性获取处理一次来获取与要求的像素位置对应的光学传递特性滤波器，使得可以增大处理速度。
本示例性实施例可以与插值处理结合。在该情况下，可以减少要求的光学传递特性滤波器的数量，使得可以进一步增大处理速度。插值处理是获取与图像中的多个特定像素位置对应的光学传递特性并且通过插值计算来计算与任意像素位置对应的光学传递特性的方法。
例如，信息处理设备200利用用于恢复图像中的第一区域的光学传递特性A和用于恢复图像中的第二区域的光学传递特性B进行计算，并且随后产生用于恢复在第一区域和第二区域之间的第三区域的光学传递特性C。此外，识别信息可以期望地是用于允许识别关于像素位置的校正系数的信息。在可以预先得到关于在图像中的每个像素位置处如何出现像差的知识的情况下，校正系数是针对为像素A获取的光学传递特性A的值或系数而计算的系数。结果，可以通过使用光学传递特性A来产生用于恢复像素A’的光学传递特性A’。这是因为恢复精度可以被提高，因为即使在相同配置中也可以通过使用校正信息对图像恢复处理进行轻微的校正。例如，可以通过按比例地倍增整个恢复滤波器来改变滤波器的归一化的常数来调节恢复之后的亮度级，或者可以通过调节恢复滤波器的广度(extent)来控制恢复的程度。如果成像设备101具有与成像设备100相同的透镜配置，则可以通过获取透镜配置和成像条件作为识别信息并且执行上述处理来减少处理时间。根据第六示例性实施例的获取用于各个像素位置的光学传递特性的方法在没有物距信息时是特别地有效的。在图像恢复处理中，在成像设备或者成像条件的一部分不能被识别时，这使得难以识别光学传递特性。因此，可以期望地识别成像条件。然而，一般，大多数成像设备输出具有添加于其的曝光信息和焦距信息的捕获图像，但是可以省略添加物距信息，因为关于物距的要点仅仅是图像是否对焦。因此，成像设备确定物距是否被附接于图像的附加信息(第一确定过程)。如果物距信息不被附接，则成像设备可以以下面方式确定物距。成像设备在物距被设为变量的情况下执行图像恢复处理若干次，并且根据与在作为重复的图像恢复处理结果产生的多个恢复的图像之中具有最高程度的恢复的图像对应的变量的值来确定物距。例如，该方法可以被应用于计算恢复的图像的对比度(contrast)值并且利用对比度值作为评价值来计算最佳的物距的处理(评价过程，第二确定过程)，诸如对比度自动聚焦(AF)。更具体地说，成像设备确定哪个评价值更大，并且设定与确定为最小的值的评价值对应的变量的值作为物距信息(设定过程)。以这种方式，在图像恢复处理被执行若干次时，使用本示例性实施例是有效的，因为这可以缩短光学传递特性获取处理的一个操作。另外，缺少的信息不限于物距，并且即使在缺少的信息是例如焦距、F数或者图像稳定状态时，本示例性实施例也可以被应用。本示例性实施例即使针对不同的成像设备也使用共同的光学传递特性，只要成像设备具有类似的光学传递特性即可，这是与第一示例性实施例相同的特征，使得本示例性实施例也能够提供减少数据存储容量的效果。已经基于其中物距信息不被附接于图像的示例描述了本示例性实施例。然而，它不限于此，并且即使在未附接的信息是其它成像条件信息时，上述处理可以被应用于确定该信息。
现在，将再次参考图10来描述图像处理系统的第七示例性实施例。在根据第七示例性实施例的图像处理系统与第一示例性实施例之间的差别在于，在第七示例性实施例中，成像设备的主体(照相机主体)或者成像光学系统(可互换的透镜)中的存储区(存储单元)存储光学传递特性。如果成像设备具有小的有限的存储容量，则成像设备不能像信息处理设备那样快地执行处理，使得在这种情况下存储区可以期望地存储光学传递特性滤波器。这是因为，如果存储的光学传递特性是滤波器自身，则在执行图像恢复处理时成像设备可以省略通过对光学传递特性应用傅里叶变换或者逆傅里叶变换而产生光学传递特性滤波器的处理。根据第七示例性实施例的成像设备I的成像光学系统是未示出的负引导类型和后焦点类型透镜。其存储区存储用于负引导类型和后焦点类型透镜的一组光学传递特性。存储区可以存储通过求与多个后焦点透镜对应的滤波器的平均而计算的滤波器以作为该光学传递特性滤波器。在该情况下，即使在成像设备恢复由各种负引导类型和后焦点类型透镜捕获的图像时，成像设备也可以使用与理想的光学传递特性滤波器更少不同的光学传递特性滤波器。因此，该布置对于提高图像恢复处理的精度是有利的。成像设备1获取添加到图像的识别信息。在第七示例性实施例中，识别信息是关于诸如后焦点类型透镜之类的透镜的焦点类型的信息。光学传递特性获取单元获取与由获取的透镜配置捕获的图像中的多个像素位置对应的一组光学传递特性滤波器。成像设备可以根据透镜的焦点类型预先准备为恢复整个图像所需的一组光学传递特性滤波器，并且获取它。在该情况下，与重复地获取适合于逐一恢复每个像素的光学传递特性滤波器相比，成像设备可以更迅速地执行处理。此外，存储区存储用于表现出类似的光学传递特性的每一个焦点类型的一组光学传递特性滤波器，使得可以减少为图像恢复处理所需的数据存储容量。图像处理设备获取在成像设备内获取的该组光学传递特性滤波器，并且对该组光学传递特性滤波器执行校正处理。在该示例中，图像处理设备利用添加到图像的透镜的识别信息从图像处理设备中的未示出的存储区获取与每个像素位置对应的校正系数。可替代地，成像设备I可以获取校正系数，但是与照相机主体相比，图像处理设备可以更迅速地执行处理并且更容易地确保存储区，使得这种布置可以对于满足处理速度和图像恢复的精度两者是更有效的。然后，图像处理设备利用校正的光学传递特性滤波器和图像来执行图像恢复处理，并且产生恢复的图像。图像处理设备还对恢复的图像执行诸如白平衡调节、边缘增强、倍率色差校正、畸变校正和阴影校正之类的照相机信号处理，使得能够获取输出图像。成像设备2的成像光学系统是未示出的负引导类型和前(前透镜)焦点类型透镜。成像设备2的存储区存储用于负引导类型和前焦点类型透镜的一组光学传递特性滤波器。如成像设备I的情况一样，成像设备2的存储区可以期望地存储通过求与负引导类型和前焦点类型透镜对应的光学传递特性滤波器的平均而计算的光学传递特性滤波器。成像设备2获取用于识别透镜配置和成像条件的信息，并且获取与该配置对应的一组光学传递特性滤波器。图像处理设备获取在成像设备2内获取的该组光学传递特性滤波器，并且对该组光学传递特性滤波器执行校正处理。然后，图像处理设备利用校正的光学传递特性滤波器和图像来执行图像恢复处理以便产生恢复的图像，并且对恢复的图像执行信号处理以便输出输出图像。程 序被安装在成像设备I和2以及图像处理设备中。成像设备I的CPU执行获取光学传递特性的过程，并且图像处理设备的CPU执行校正光学传递特性的过程。此外，图像处理设备的CPU执行图像恢复过程。以这种方式，在其中在成像设备内获取光学传递特性滤波器的情况中，本示例性实施例可以通过根据透镜配置和成像条件获取多个滤波器组来提高处理速度，使得本示例性实施例在恢复处理应该使用有限的存储容量时是特别地有用的。现在，回到图11，将描述图像处理系统的第八示例性实施例。根据第八示例性实施例的图像处理系统是其中用户将图像数据引入到具有多个成像设备的信息处理设备(个人计算机(PC))中并且随后用户利用可通过因特网使用的图像处理设备来执行图像恢复处理的系统。该系统的特征在于，与信息处理设备分开地准备图像处理设备，允许利用具有高图像处理能力的图像处理设备。此外，即使不具有关于图像恢复处理的特殊信息，用户也可以执行图像恢复处理。信息处理设备获取由成像设备I和成像设备2捕获的图像数据I和图像数据2。图像数据I具有添加于其的EXIF信息，但是不具有物距信息。图像数据2具有添加于其的EXIF信息和物距信息。信息处理设备将图像数据I和图像数据2上载到因特网上。位于例如因特网上的服务器中的图像处理设备参考EXIF信息作为识别信息，并且从预先存储在图像处理设备的存储区中的光学传递函数(OTF)获取与识别信息对应的光学传递函数。本示例性实施例使用光学传递函数，并且因此在获取光学传递特性的过程之后，执行对获取的光学传递函数应用傅里叶变换或逆傅里叶变换以便由此产生光学传递特性滤波器(恢复滤波器)的过程。由于图像数据2具有添加于其的物距信息，因此图像处理设备可以根据识别信息识别光学传递函数。另一方面，图像数据I不具有添加于其的物距信息。因此，图像处理设备利用在物距被设为变量(参数)的情况下在改变该变量的值时产生的恢复滤波器(试验性的光学传递特性)来对输入图像执行图像恢复处理，并且产生恢复的图像(试验性的恢复的图像)。然后，在每一个恢复的图像的对比度值被设为评价值的情况下，信息处理设备以登山(hill-climbing)方式执行恢复处理直到信息处理设备发现最大的评价值。根据在评价结果表现出最大的评价值时的变量来确定物距。因此，图像处理设备使用由此确定的物距作为识别信息，并且随后获取光学传递函数。然后，图像处理设备基于该光学传递函数产生恢复滤波器。以这种方式，在物距信息不可用时，每当物距变量的值改变时，光学传递函数就应当被再次获取。然而，由于存储单元存储针对每一个透镜配置模式化的光学传递函数，因此可以通过一个处理操作获取与整个图像中的像素位置对应的光学传递函数，并且因此可以加速处理。此外，在存储单元中存储针对每一个透镜配置模式化的光学传递函数可以提供减少存储单元中的数据存储容量的效果。以这种方式，如果应当执行恢复处理若干次，则可以由具有高图像处理能力的图像处理设备执行恢复处理。在该情况下，可以进一步增大处理速度，并且可以增强本发明的示例性实施例的效果。图像处理设备利用产生的恢复滤波器来对图像数据I和图像数据2执行图像恢复处理，并且产生恢复的图像。图像处理设备对这些恢复的图像应用照相机信号处理，由此输出输出图像。然后，这些图像被下载到信息处理设备中，并且被显示在例如显示单元上。将描述其它可能的示例性实施例。即使在相同的成像设备中，也存在不同的成像条件。然而，一些不同的成像条件可以在与成像条件对应的光学传递特性之间具有相似性。在该情况下，该示例性实施例使用相同的光学传递特性滤波器来执行图像恢复。在该情况下，成像设备中的存储单元可以存储允许从不同的成像条件(识别信息)识别相同的光学传递特性的关系表。此外，程序可以被配置为使得允许即使针对多个彼此不同的成像条件也获得相同的光学传递特性，只要在不同的成像条件之间的差别(在多条识别信息之间的差别)在一定的范围之内即可。本发明的方面还可以通过读出并且执行记录在存储装置上的用于执行上述实施例的功能的程序的设备或系统的计算机(或诸如CPU或MPU之类的装置)以及通过其步骤由设备或系统的计算机通过例如读出并且执行记录在存储装置上的用于执行上述实施例的功能的程序而执行的方法来实现。出于此目的，例如经由网络或者从用作存储装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供程序。在这种情况下，系统或设备以及其中存储有程序的记录介质被包括在本发明的范围内。传统的技术要求预先存储与各个成像条件对应的大量数据，以便基于根据成像光学系统的成像条件改变的光学传递特性来实现图像恢复。例如，存储单元必须保持(存储)针对每个成像条件(诸如，成像光学系统的变焦位置(焦距)、物距、光阑、图像中的每个像素位置(图像高度)以及图像稳定透镜的位置)的大量的恢复滤波器。另一方面，本发明的示例性实施例甚至使用相同的光学传递特性滤波器来恢复在不同的成像条件下捕获的图像，只要可以在与成像条件对应的光学传递特性中发现类似性即可。结果，可以减少为存储光学传递特性滤波器所需的数据存储容量。 虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围将被给予最宽的解释从而包括所有的修改、等同结构与功能。
权利要求
1.一种用于处理图像的方法，所述方法包括 获取用于识别光学传递特性的识别信息，所述光学传递特性用于恢复图像； 从存储单元获取基于所述识别信息识别的光学传递特性，所述存储单元存储能够共用于在不同的成像条件下捕获的第一捕获图像和第二捕获图像的第一光学传递特性以及能够用于第三捕获图像的第二光学传递特性；以及 使用获取的光学传递特性来产生恢复的图像。
2.一种用于处理图像的方法，所述方法包括 获取在成像条件下捕获的捕获图像以及与所述成像条件对应的识别信息； 从存储多个光学传递特性的存储单元基于所述识别信息来获取特定的光学传递特性；以及 使用获取的特定的光学传递特性来恢复所述捕获图像， 其中存储在所述存储单元中的所述多个光学传递特性中的一个光学传递特性与多条不同的识别信息对应。
3.根据权利要求I所述的方法，其中第一捕获图像和第二捕获图像是由彼此不同的成像设备捕获的图像。
4.根据权利要求3所述的方法，其中第一光学传递特性是基于通过求不同的成像设备的光学传递特性的平均而计算出的光学传递特性来产生的。
5.根据权利要求I所述的方法，其中所述光学传递特性是与所述成像条件对应的任何赛德尔像差，或者是点扩展函数、光学传递函数、恢复滤波器、波前像差和光瞳函数中的任何一个。
6.根据权利要求I所述的方法，其中所述光学传递特性是与光学传递特性表现空间中的坐标对应的光学传递特性，在所述光学传递特性表现空间中，一个轴代表下面的成分中的任何一个 实空间中的点扩展函数中的纵横比成分， 实空间中的关于特定的方向对称的点扩展函数中的不对称的成分， 实空间中的点扩展函数中的旋转对称的扩展成分， 实空间中的点扩展函数中的不同的颜色成分之间的重心偏差成分，以及 实空间中的利用成比例的倍数限定点扩展函数的大小的成分。
7.根据权利要求I所述的方法，其中所述识别信息是所述光学传递特性表现空间中的坐标。
8.根据权利要求I所述的方法，其中所述识别信息包含焦距、F数、物距和图像高度中的任何一个。
9.根据权利要求I所述的方法，其中所述识别信息包含用于识别成像设备或者成像光学系统的信息。
10.根据权利要求I所述的方法，其中所述识别信息是光学系统的组配置、光学系统的透镜类型、光学系统的焦点类型、光学系统的图像稳定类型和光学系统的孔径光阑类型中的任何一个。
11.根据权利要求I所述的方法，还包括，基于获取的光学传递特性来产生能够用于恢复所述捕获图像的恢复滤波器。
12.—种成像设备，包括 识别信息获取单元，所述识别信息获取单元被配置为获取用于识别光学传递特性的识另1Ji目息; 存储单元，所述存储单元被配置为存储能够共用于在不同的成像条件下捕获的第一捕获图像和第二捕获图像的第一光学传递特性以及能够用于第三捕获图像的第二光学传递特性； 特性获取单元，所述特性获取单元被配置为从所述存储单元获取基于所述识别信息识别的光学传递特性；以及 恢复单元，所述恢复单元被配置为使用由所述特性获取单元获取的所述光学传递特性来恢复图像，以便产生恢复的图像。
—种图像处理系统,包括 多个成像设备；以及 图像处理设备，所述图像处理设备被配置为使用光学传递特性来执行图像恢复处理， 其中所述多个成像设备中的每一个成像设备包括输出单元，所述输出单元被配置为向所述图像处理设备输出用于根据成像条件识别光学传递特性的识别信息和图像数据，以及 其中所述图像处理设备包括光学传递特性获取单元和恢复处理单元，所述光学传递特性获取单元被配置为从预先存储在所述图像处理设备的存储区中的多个光学传递特性中获取基于所述识别信息识别的恢复光学传递特性，所述恢复处理单元被配置为使用所述恢复光学传递特性来恢复所述图像数据以便产生恢复的图像。
全文摘要
本发明涉及图像处理设备、成像设备和图像处理方法。为了防止为图像恢复处理所需的数据存储空间的增加，根据本发明的方法包括获取用于识别光学传递特性的识别信息，所述光学传递特性用于恢复图像；从存储单元获取基于识别信息识别的光学传递特性，所述存储单元存储可共用于在不同的成像条件下捕获的第一和第二捕获图像的第一光学传递特性以及可用于第三捕获图像的第二光学传递特性；以及使用获取的光学传递特性来产生恢复的图像。
文档编号H04N5/232GK102625043SQ201210015530
公开日2012年8月1日 申请日期2012年1月18日 优先权日2011年1月25日
发明者冈田隆志 申请人:佳能株式会社