图像处理设备和摄像设备的制造方法

图像处理设备和摄像设备的制造方法
【专利摘要】本发明涉及一种图像处理设备和摄像设备。该图像处理设备包括：图像获取器，用于获取由摄像设备生成的输入图像，所述摄像设备用于使用快门来控制利用来自摄像光学系统的光束对图像传感器的曝光；以及处理器，用于使用基于曝光中的从所述摄像光学系统到所述图像传感器的光学传递函数所生成的图像恢复滤波器，来针对所述输入图像进行图像恢复处理。在所述快门的前帘和后帘中的一个是电子帘且另一个是机械帘的情况下，所述处理器针对所述图像恢复滤波器，使用基于在所述机械帘对从所述摄像光学系统到所述图像传感器的光束进行部分遮挡的状态中的所述光学传递函数所生成的第一图像恢复滤波器。
【专利说明】
图像处理设备和摄像设备
技术领域
[0001] 本发明涉及用于将图像恢复处理应用于由摄像设备生成的劣化图像的图像处理 技术。
【背景技术】
[0002] 卷帘快门是在具有图像传感器(诸如CMOS传感器等）的摄像设备(诸如数字照相机 等）中使用的电子快门系统。卷帘快门从图像传感器上的一端的像素行(开头的像素行)到 另一端的像素行(最后的像素行），顺次地控制针对各像素行的曝光的开始和结束。在针对 一帧完成了信号读取的像素行中，立即开始针对下一帧进行充电（曝光）。因此，在连续地重 复针对各像素行的信号读取和接下来的充电的情况下，开头的像素行和最后的像素行之间 的曝光开始时间和曝光结束时间发生偏移。换言之，曝光定时发生偏移。这种偏移在拍摄运 动被摄体时的拍摄图像中引起失真(卷帘快门失真）。
[0003] 日本特开2012-175621公开了用于针对提供卷帘快门操作的图像传感器抑制拍摄 图像中由卷帘快门的操作引起的卷帘快门失真的图像处理方法。
[0004] 焦平面快门是机械快门。焦平面快门通过与图像传感器的摄像面平行地移动前一 遮光件(前帘）和后一遮光件(后帘)来控制图像传感器的曝光。另外，代替焦平面快门的机 械前帘，可以使用电子前帘针对各像素行来顺次地复位图像传感器中所存储的电荷。在使 用了电子前帘的情况下，实际上仅驱动机械后帘，并且通过根据机械后帘的驱动特性来控 制针对图像传感器的各像素行的电荷的复位定时，可以使得针对所有像素行的曝光时间段 保持恒定。不过，图像传感器上的电子前帘与机械后帘在光轴方向上彼此远离，因此，由于 摄像光学系统的焦距和出射光瞳距离等的影响，机械后帘的在图像传感器上的遮光位置发 生改变。因此，通过简单地将电子前帘的电荷的复位定时与机械后帘的驱动特性进行同步， 不能避免拍摄图像的亮度不均匀或者图像传感器的曝光量不均匀。
[0005] 日本特开2011-217368公开了用于减少可能由电子前帘引起的拍摄图像中的亮度 不均匀的摄像方法。除了亮度不均匀以外，上述的电子前帘和机械后帘之间在光轴方向上 的位置差还引起其它问题。在正在驱动电子前帘和机械后帘时，发生F值光束未被电子前帘 遮挡但被机械后帘遮挡的部分(不均匀)遮光。由此，利用F值光束中的电子前帘侧的光线的 图像传感器的曝光时间段变得比机械后帘侧的光线的曝光时间长。这意味着从摄像光学系 统到图像传感器的光学传递函数(OTF)(或者光学像差)在一个拍摄图像所需的摄像(曝光） 中发生改变。然后，由于摄像时的OTF的变化使得图像劣化状态也发生改变。
[0006] 日本特开2012-175621和日本特开2011-217368中公开的这些方法可以限制卷帘 快门失真或者减少由电子前帘引起的拍摄图像中的亮度不均匀。然而，在使用电子前帘和 机械后帘的情况下，这些方法不能合适地校正由机械后帘的部分遮光引起的图像劣化。

【发明内容】

[0007] 本发明提供一种图像处理设备，其在使用电子前帘和机械后帘的情况下，能够通 过良好地校正由机械后帘的部分遮光引起的图像劣化来提供输出图像。
[0008] 根据本发明一个方面的一种图像处理设备，包括：图像获取器，用于获取摄像设备 所生成的输入图像，其中所述摄像设备用于使用快门来控制利用来自摄像光学系统的光束 对图像传感器的曝光；以及处理器，用于使用基于曝光时的从所述摄像光学系统至所述图 像传感器的光学传递函数所生成的图像恢复滤波器，来对所述输入图像进行图像恢复处 理，其特征在于，在所述快门的前帘和后帘中的一个是电子帘且另一个是机械帘的情况下， 所述处理器针对所述图像恢复滤波器，使用基于所述机械帘对从所述摄像光学系统至所述 图像传感器的光束进行部分遮挡的状态中的所述光学传递函数所生成的第一图像恢复滤 波器。
[0009] 根据本发明另一方面的一种图像处理设备，包括：图像获取器，用于获取摄像设备 所生成的输入图像，其中所述摄像设备用于使用快门来控制利用来自摄像光学系统的光束 对图像传感器的曝光；以及处理器，用于使用基于曝光时的从所述摄像光学系统至所述图 像传感器的光学传递函数所生成的图像恢复滤波器，来对所述输入图像进行图像恢复处 理，其特征在于，在所述快门的前帘和后帘中的一个是电子帘且另一个是机械帘的情况下， 所述处理器根据曝光时的所述摄像光学系统的F值和所述快门的快门速度中的至少一个来 改变所述图像恢复处理中的图像恢复强度。
[0010] 根据本发明又一方面的一种摄像设备，包括：图像传感器;快门，用于控制利用来 自摄像光学系统的光束对所述图像传感器的曝光；以及根据所述的图像处理设备。
[0011] 通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0012] 图1是示出根据本发明第一实施例的摄像设备的结构的图。
[0013] 图2是用于说明在根据第一实施例的摄像设备中使用电子前帘和机械后帘的情况 下的快门操作的图。
[0014] 图3是示出根据第一实施例的电子前帘和机械后帘的曝光量和速度之间的关系的 图。
[0015] 图4A至4C是用于说明在快门操作中的遮光变化的图。
[0016] 图5是示出根据第一实施例的图像恢复处理的流程图。
[0017] 图6是示出根据本发明第二实施例的图像恢复处理的流程图。
[0018] 图7A和7B是正常的点扩散函数（"PSF"）和部分遮挡PSF。
【具体实施方式】
[0019]现在参考附图，将给出对本发明的实施例的说明。
[0020] 第一实施例
[0021] 图1是作为根据本发明第一实施例的摄像光学系统的数字单镜头反光照相机（以 下称作"照相机"）1以及可拆卸地安装在照相机1上的可更换镜头单元15。
[0022] 设置在照相机1中的照相机微计算机9向照相机1中的各电子部件指示各种操作和 处理，以控制照相机1中的所有操作。照相机微计算机9具有内置存储器9a。存储器9a存储与 从将在后面说明的摄像透镜(摄像光学系统）15a到图像传感器26的光学传递函数（"0TF"） 有关的信息或者基于与OTF有关的信息所生成的图像校正信息。存储器9a还存储与摄像有 关的各种设置值、以及照相机1的操作所需的参数。
[0023]照相机微计算机9连接至镜驱动器10、快门控制器11、图像校正电路12和切换检测 电路13,各部件与照相机微计算机9进行通信，并且接收和发送操作所用的信息。
[0024] 照相机微计算机9经由安装触点14与可更换镜头单元15中的镜头微计算机16进行 通信。镜头微计算机16根据来自照相机微计算机9的调焦驱动命令和光圈驱动命令，经由AF 驱动器18和光圈驱动器19来控制摄像透镜15a的调焦驱动和光圈17的驱动。除了摄像透镜 15a，图1还示出了光圈17,但是，光圈17是摄像透镜15a的一部分。
[0025] 照相机1具有能够相对于摄像透镜15a的光学路径（以下将被称作"摄像光学路 径"）插入或者退出的主镜20和副镜21。根据来自照相机微计算机9的镜控制信号而由包括 致动器的镜驱动器10来驱动主镜20和副镜21。
[0026]在主镜20位于摄像光学路径（以下被称作"光学取景器状态"）的情况下，主镜20反 射来自摄像透镜15a的光束或来自被摄体的光束的一部分，并在聚焦板22上形成被摄体图 像。观看目镜24的拍摄者经由五棱镜23和目镜24来观察聚焦板22上的被摄体图像。副镜21 将光学取景器中透过主镜20的光束进行反射，并将光束引导至焦点检测单元25。在摄像中， 主镜20和副镜21从摄像光学路径退出，并且使得来自摄像透镜15a的光束到达焦平面快门 27和图像传感器26。
[0027]焦平面快门27具有诸如相对于摄像光学路径向图像传感器26来回移动的机械前 帘和机械后帘等的遮光件。机械前帘在光学取景器状态中关闭，并遮挡来自摄像光学路径 的入射光束。在摄像中根据来自照相机微计算机9的释放控制信号来使机械前帘移动以从 摄像光学路径退出，并开始曝光图像传感器26。随后使机械后帘移动以与机械前帘形成狭 缝。由此，控制了图像传感器26的曝光。图像传感器26可以用作为电子前帘，在这种情况下， 电子前帘和机械后帘形成用于控制图像传感器26的曝光的快门（以下称作"电子前帘/机械 后帘快门"）。
[0028]图像传感器26可以使用诸如CMOS传感器等的二维摄像装置。
[0029] 图像校正电路12将作为从图像传感器26读取的模拟信号的拍摄信号经由未示出 的A/D转换器转换成数字拍摄信号。通过进行伽马/拐点处理、滤波处理、监视器显示信息合 成处理和将在后面说明的图像恢复处理，来生成输出图像(监视器显示图像和记录图像）。 图像校正电路12与图像处理设备相对应。图像校正电路12可以与照相机微计算机9设置在 同一基板上。照相机微计算机9可以读取存储在存储器9a中的程序代码、根据程序代码来进 行计算处理、以及执行图像校正电路12的全部或部分功能。
[0030] 切换检测电路13根据设置在照相机1上的各开关的操作状态来输出操作信号。开 关SW l(30a)根据快门按钮30的第一行程(半按下）来输出SWl信号。开关SW 2(30b)根据快 门按钮30的第二行程(全按下）来输出SW2信号。照相机微计算机9根据SWl信号开始诸如AF 和测光等的摄像准备处理，并且根据SW2信号开始摄像处理(或者记录图像的生成）。
[0031] 现在将给出对通过图像校正电路12进行的图像恢复处理的基本结构的说明。通过 利用诸如数字照相机等的摄像设备来拍摄被摄体而获得的图像包含作为由摄像光学系统 的诸如球面像差、彗星像差、像场弯曲和像散等的光学像差引起的图像劣化成分的模糊成 分。在不存在像差以及没有衍射影响的情况下，尽管从被摄体上一个点发出的光束再次会 聚在摄像面上的一个点处，但是该光束形成具有一定扩散的图像，从而产生该模糊成分。
[0032]这里使用的模糊成分由点扩散函数（"PSF"）来光学地表示，并且该模糊成分与由 散焦引起的模糊不同。在由光学系统的轴上色像差、颜色球面像差和颜色彗星像差引起彩 色图像中的彩色边纹(color fringing)的情况下，可以将该彩色边纹认为是针对光的各波 长的模糊差。在由光学系统的倍率色像差引起经向（横向）上的颜色偏移的情况下，可以将 该颜色偏移认为是针对光的各波长的摄像倍率差所引起的位置偏移或者相位偏移。
[0033]通过对PSF进行傅里叶变换而获得的光学传递函数（"0TF"）表示像差的频率成分 信息，并且由复数来表示该光学传递函数。将OTF的绝对值或者振幅成分称作为调制传递函 数（"MTF"），并且将相位成分称作为相位传递函数（"PTF"）ITF和PTF是由像差引起的图像 劣化的振幅成分和相位成分的频率特性。这里，通过以下表达式来表达相位成分的相位角， 其中，Re(OTF)和Im(OTF)是OTF的实部和虚部。
[0034] PTF = tan-1 (Im (OTF) /Re (OTF)) (11)
[0035] 光学系统的OTF使得图像的振幅成分和相位成分劣化，并且劣化图像中的被摄体 的各个点如彗星像差那样不对称模糊。
[0036] 在由针对光的各波长的成像倍率差引起成像位置偏移的情况下产生倍率色像差， 并且根据摄像设备的光谱特性针对诸如RGB等的各颜色成分来获得该倍率色像差。因此，成 像位置在RGB中发生偏移，并且相同颜色成分的成像位置在波长或者相位中发生偏移。结 果，图像发生扩散。严格地说，倍率色像差不是简单的平行颜色偏移，但是这里将倍率色像 差分类为颜色偏移。
[0037]作为用于校正劣化图像(输入图像）中的振幅成分(MTF)和相位成分(PTF)的劣化 的方法，已知使用光学系统的OTF的信息的方法。将该方法称作图像恢复或者图像复原，并 且本实施例是指用于使用光学系统的OTF的信息来校正劣化图像（用于使得劣化图像接近 原始图像)的处理作为图像恢复处理。图像恢复处理的一个公知方法是用于将具有OTF的反 向特性的实空间中的图像恢复滤波器与输入图像进行卷积的方法。
[0038] 建立以下表达式，其中，g(x，y)是通过摄像而生成的输入图像(劣化图像），f(x，y) 是原始图像(未劣化图像），h(x，y)是作为OTF的傅里叶对的PSF，*表示卷积，（x，y)是输入图 像上的坐标(位置）。
[0039] g(x,y)=h(x,y)*f(x,y) (12)
[0040] 在将这个表达式转换成频率面上的显示形式的情况下，如下表达式那样建立针对 各频率的积的形式。H是(PSF)h的傅里叶变换，并且与OTF相对应。G和F分别是g和f的傅里叶 变换。(u，V)表示二维频率面上的坐标或者频率。
[0041] G(u,v)=H(u,v) · F(u,v) (13)
[0042] 为了根据由摄像设备生成的劣化图像来获得原始图像，可以如下将上述表达式中 的两侧都除以H。
[0043] G(u, v)/H(u, v) =F(u, v) (14)
[0044] 通过F(u，v)或者G(u，v)/H(u，v)的逆傅里叶变换以返回到实平面，可以获得作为 原始图像f(x，y)的恢复图像。
[0045] 在假设!T1表示R的逆傅里叶变换的情况下，通过对在实平面中的图像的卷积处理 可以获得作为原始图像f(x，y)的恢复图像。
[0046] g(x,y)*R(x,y)=f(x,y) (15)
[0047] R(x，y)是图像恢复滤波器。在输入图像是二维的情况下，图像恢复滤波器通常变 成具有与二维图像中的各像素相对应的抽头(单元)的二维滤波器。
[0048]实际图像具有噪声成分。在使用由OTF的完全倒数产生的图像恢复滤波器的情况 下，噪声成分与劣化图像一起被放大，通常不能获得良好的图像。这里，例如，已知存在用于 根据如Weiner滤波器那样的图像信号和噪声信号之间的强度比来抑制图像的高频带上的 恢复比的方法。例如，在模糊量在图像的颜色成分中变得均匀的情况下，上述模糊成分的校 正可以用作用于校正图像中的彩色边纹成分的劣化的方法。
[0049]由于OTF根据诸如光学系统(镜头)的变焦状态、光圈值(F值)和摄像距离等的摄像 光学系统的条件（以下也称作"镜头条件"）而改变，因此需要相应地改变图像恢复处理所用 的图像恢复滤波器。
[0050] 在电子前帘/机械后帘快门用在根据本实施例的照相机1中的情况下，如后面所 述，通过不规则遮挡向图像传感器的光束或者改变PSF使得图像劣化。然而，日本特开2012-175621和日本特开2011-217368中公开的用于校正卷帘式快门失真和不均匀亮度的图像处 理不能校正这种图像劣化。
[0051] 图2示出根据本实施例的电子前帘/机械后帘快门的结构和F值光束。更具体地，图 2示出包括电子前帘1113和机械后帘1114的快门、图像传感器1115(与图1中的附图标记26 相对应）、以及F值光束的上光线1111和下光线1112。在下述说明中，将图1中示出的摄像透 镜15a的光轴称作摄像光轴，并且将摄像光轴延伸的方向称作摄像光轴方向。
[0052] 这里，S表示电子前帘1113和机械后帘1114的帘速度，Tv表示快门速度，H是图像传 感器1115在帘移动方向上的长度。然后，如下表示电子前帘1113和机械后帘1114之间形成 的狭缝宽度L:
[0053] 表达式1
[0054]
( 1 )
[0055] 假设R是图像传感器1115和机械后帘1114之间在摄像光轴方向上的距离，F是摄像 透镜15a的F值。然后，可以如下表示在摄像光轴方向上的机械后帘1114的位置处F值光束的 轴上光线(摄像光轴上的光线)与F值光束的下光线1112之间的高度Δ L:
[0056] 表达式2
[0057]
(2)：
[0058] 如下表示利用F值光束的上光线1111的图像传感器1115的曝光时间段Tu:
[0059] 表达式3
[0060]
(3)
[0061] 如下表示利用F值光束的下光线1112的图像传感器1115的曝光时间段Td:
[0062] 表达式4
[0063]
(4)
[0064] 将给出对上光线1111和下光线1112之间的曝光时间段的Td/Tu比的说明。基于表 达式(3)和(4)来计算上光线1111和下光线1112的曝光时间段。图3示出在快门速度Tv是1/ 4000秒、F值F是1.2的情况下Tu和Td之间的比Td/Tu。该图中的纵轴是Td/Tu，横轴表示帘速 度S。根据该图可以理解，随着帘速度S变得较低，Td/Tu比减小。换言之，随着帘速度S变得较 低，上光线111的曝光时间段Tu与下光线1112的曝光时间段Td之间的差增大，并且机械后帘 1114部分地遮挡F值光束而对拍摄图像产生的影响增大。
[0065] 现在将给出对通过上光线1111和下光线1112来改变曝光时间段Tu和Td的说明。图 4A至4C示出电子前帘/机械后帘快门的操作与F值光束之间的关系。图4A示出在电子前帘 1113停止遮挡F值光束并开始曝光图像传感器1115的时刻的上述关系。在该时刻，在电子前 帘1113和机械后帘1114之间形成使用于曝光图像传感器1115的光穿过的狭缝。不遮挡F值 光束的上光线1111和下光线1112中的任何一个。图7A示出摄像透镜15a的示例性的PSF。 [0066]图4B示出在从图4A起经过了一定时间段、并且机械后帘1114开始遮挡F值光束的 时刻的上述关系。与图4A的时刻同样地，在电子前帘1113和机械后帘1114之间形成使用于 曝光图像传感器1115的光穿过的狭缝。狭缝的宽度（高度）与图4A的狭缝的宽度（高度）相 同。由于在图4B的时刻机械后帘1114开始遮挡F值光束的下光线1112，因而F值光束中的PSF 形状与在图4A中的时刻的PSF形状不同。
[0067]图4C示出从图4B起经过了一定时间段之后、正好在机械后帘1114完全遮挡F值光 束之前的时刻的上述关系。与图4A和4B同样地，在电子前帘1113和机械后帘1114之间形成 使用于曝光图像传感器1115的光穿过的狭缝。狭缝的宽度(高度)与图4A和4B的狭缝的宽度 (高度)相同。由于在图4C示出的状态中机械后帘1114几乎遮挡了F值光束的下光线1112,因 此F值光束中的PSF形状与图4A的PSF形状或者图4B的状态中的PSF形状显著不同。图7B示出 以一定快门速度和F值的、图4C的状态中的示例性的PSF。图7B中示出的PSF相对于图7A中示 出的PSF显著变形。
[0068]结果，即使在将根据F值光束没有被遮挡的图4A的状态中的PSF所准备的图像恢复 滤波器应用到F值光束几乎都被遮挡的图4C的状态中所获得的劣化图像的情况下，也不能 获得图像恢复处理的良好结果。
[0069] 现在参考图5,将给出对根据本实施例的通过图像校正电路12进行的图像恢复处 理的说明，在使用了电子前帘/机械后帘快门的情况下该图像恢复处理可以应对PSF的变 化。作为计算机的图像校正电路12根据作为计算机程序的图像恢复程序来执行该处理。图 像校正电路12用作图像获取单元、滤波器获取单元和处理单元。
[0070] 在步骤Sll中，图像校正电路12基于释放控制信号来检测摄像(曝光）。在步骤S12 中，图像校正电路12获得作为输入图像的拍摄图像。另外，图像校正电路12从照相机微计算 机9获得摄像所用的快门的信息（以下称作"实际快门信息"）。实际快门信息表示使用机械 前帘和机械后帘的焦平面快门或者表示电子前帘/机械后帘快门。另外，图像校正电路12从 照相机微计算机9获得诸如摄像所用的摄像透镜15a的变焦状态、F值和摄像距离等的镜头 条件的信息。
[0071] 接着，在步骤S13中，图像校正电路12判断实际快门信息是否表示电子前帘/机械 后帘快门。在"是"的情况下，流程移动至步骤S14,在"否"的情况下，流程移动至步骤S22。
[0072] 在步骤S14中，图像校正电路12从照相机微计算机9获得在摄像中设置的快门速度 和F值。
[0073]在步骤S15中，图像校正电路12判断步骤S14中获得的快门速度是否高于诸如1/ 2000秒等的预定快门速度。在快门速度高于预定快门速度的情况下，流程移动至步骤S17， 在快门速度等于或低于预定快门速度的情况下，流程移动至步骤S16。
[0074] 在步骤S17中，图像校正电路12判断步骤S14中获得的F值是否比诸如F2.8等的预 定F值更亮。在F值比预定F值亮的情况下，流程移动至步骤S19,在F值等于或暗于预定F值的 情况下，流程移动至步骤S18。
[0075] 图1示出的照相机微计算机9中的存储器9a存储两种类型的PSF的信息，作为与上 述OTF相关的信息。第一种类型的PSF是可以与是否使用了电子前帘/机械后帘快门无关地 选择的PSF，其包括根据诸如变焦状态、F值和摄像距离等的多个镜头条件而改变的多个 PSF。第一类型的PSF是在图4A的状态中的PSF，以下将称作"正常PSF"。
[0076] 第二类型的PSF包括使用了电子前帘/机械后帘快门的情况下与多个快门速度和 多个F值的组合相对应的多个PSF。换言之，第二类型的PSF包括与从摄像透镜15a经由电子 前帘/机械后帘快门到图像传感器26的OTF相对应的、并且根据快门速度和F值而改变的 PSF。第二类型的PSF还包括根据除F值之外的上述多个镜头条件而改变的多个PSF。第二类 型的PSF是与如图4C示出的由机械后帘将部分F值光束遮挡的状态相对应的PSF，以下将称 作"部分遮挡PSF"。
[0077] 在步骤S19中，图像校正电路12在存储在存储器9a中的多个部分遮挡PSF中选择出 与步骤S14中获得的快门速度和F值相对应的PSF，并基于所选择的PSF产生将被称作部分遮 挡图像恢复滤波器的(第一)图像恢复滤波器。
[0078]在步骤S20中，获得(生成）了部分遮挡图像恢复滤波器的图像校正电路12使用所 获得的部分遮挡图像恢复滤波器来向拍摄图像(劣化图像)提供图像恢复处理，并生成恢复 图像。
[0079]在步骤S21中，图像校正电路12将所生成的恢复图像显示在彩色液晶显示单元29 上，或者将该恢复图像记录在未示出的记录介质中。
[0080]在步骤S22、S16和S18的各个步骤中，图像校正电路12在存储器9a中存储的多个正 常PSF中选择出与摄像时的镜头条件相对应的正常PSF，并基于所选择的正常PSF产生将被 称作正常图像恢复滤波器的（第二）图像恢复滤波器。另外，图像校正电路12通过使用该正 常图像恢复滤波器而向拍摄图像(劣化图像)进行正常图像恢复处理来生成恢复图像，并将 恢复图像显示在彩色液晶显示单元29上或者将该恢复图像记录在记录介质中。
[0081 ]存储器9a可以存储基于多个正常PSF而预先准备的多个正常图像恢复滤波器以及 基于多个部分遮挡PSF而预先准备的多个部分遮挡图像恢复滤波器，作为上述图像校正信 息。在该情况下，在步骤S19中，图像校正电路12选择存储器9a中的与步骤S14中获得的快门 速度和F值相对应的部分遮挡图像恢复滤波器。另外，在步骤S16和S18中，图像校正电路12 从存储器9a中选择与摄像中的镜头条件相对应的正常图像恢复滤波器。
[0082] 如所说明的，在使用了电子前帘和机械后帘的情况下，通过针对由于光束被机械 后帘部分遮挡而劣化的图像应用使用了合适的图像恢复滤波器的图像恢复处理，本实施例 可以获得良好的恢复图像。
[0083] 将1/2000秒作为预定快门速度以及将F2.8作为预定F值仅是示例性的，预定快门 速度可以等于或高于1/4000秒，并且预定F值可以等于或低于FI. 4。在满足该条件的情况 下，通过机械后帘进行的部分遮挡而对拍摄图像产生的影响增大，因此，图像恢复处理所需 的图像恢复滤波器与应用于没有进行部分遮挡的拍摄图像的正常图像恢复滤波器显著不 同。因此，本实施例中说明的图像恢复处理变得较有效。另外，在满足上述的预定条件的情 况下，根据是否使用了电子前帘和机械后帘或者前帘和后帘两者是否都是电子的或者机械 的来选择图像恢复滤波器。
[0084]尽管本实施例说明了基于快门速度和F值来判断是使用正常图像恢复滤波器还是 使用部分遮挡图像恢复滤波器来进行图像恢复处理，然而还可以根据快门速度和F值中的 一个来选择是使用正常图像恢复滤波器还是使用部分遮挡图像恢复滤波器。
[0085] 第二实施例
[0086] 图6中的流程图示出根据本发明第二实施例的图像恢复处理。第一实施例说明了 在摄像(曝光）中快门速度高并且F值亮的情况下使用与正常图像恢复滤波器不同的部分遮 挡图像恢复滤波器的图像恢复处理。另一方面，本实施例根据摄像中的快门速度(和F值)来 改变用于正常恢复滤波器的图像恢复处理的图像恢复强度。
[0087] 本实施例在图1示出的存储器9a中存储与第一实施例说明的多个镜头条件相对应 的正常PSF的信息作为与OTF有关的信息。
[0088] 从SI 11至Sl 18和S122的处理与第一实施例（图5)中从Sll至S18和S22的处理相对 应，将省略对其的说明。
[0089] 在判断为摄像中的快门速度高于预定快门速度（SI 15)并且F值亮于预定F值 (S117)的情况下，在步骤S119中，图像校正电路12从存储器9a选择出与摄像中的镜头条件 相对应的正常PSF。然后，图像校正电路12根据所选择的正常PSF来准备正常图像恢复滤波 器。
[0090] 接着，在步骤Sl20中，图像校正电路12通过使用步骤SI 19中所产生的正常图像恢 复滤波器而向拍摄图像（劣化图像）应用图像恢复处理，来生成恢复图像。与步骤S116和 S118中进行的正常图像恢复处理相比，图像校正电路12使得图像恢复处理中的图像恢复强 度减弱。更具体地，计算将PSF进行傅里叶变换后得到的OTF的倒数的最大值，并将OTF的倒 数与增益相乘以减小该OTF的倒数的最大值。然后，将通过与增益相乘后的OTF的倒数进行 逆傅里叶变换到实平面，可以得到使得图像恢复强度减弱的图像恢复滤波器。
[0091] 在步骤S121中，图像校正电路12将生成的恢复图像显示在彩色液晶显示单元29 上，或者将该恢复图像记录在记录介质中。
[0092]存储器9a可以存储基于多个正常PSF而预先准备的多个正常图像恢复滤波器，作 为图像校正信息。在这种情况下，在步骤S119中，图像校正电路12从存储器9a中选择与步骤 S114中获得的快门速度和F值相对应的正常图像恢复滤波器。
[0093]如上所述，本实施例通过与正常图像恢复处理相比使得图像恢复强度减弱，来向 在使用了电子前帘和机械后帘的情况下光束被机械后帘部分遮挡而影响的劣化图像提供 图像恢复处理。因此，本实施例可以避免通过使用正常图像恢复处理的强图像恢复来生成 不好的恢复图像，并且可以获得一定程度的图像恢复效果。
[0094]尽管本实施例说明了根据快门速度和F值这两者来改变图像恢复强度，但是还可 以根据快门速度和F值中的一个来改变图像恢复强度。
[0095]尽管第一实施例和第二实施例说明了在使用了电子前帘和机械后帘的情况下的 图像恢复处理，但是还可以使用机械前帘和电子后帘的组合。即使在这种情况下，也发生与 使用电子前帘和机械后帘的情况同样的问题，并且通过应用同样的图像恢复处理可以获得 良好的恢复图像。换言之，前帘或者后帘中的一个可以是电子帘，另一个可以是机械帘。 [0096]尽管第一实施例和第二实施例说明了照相机1中的图像校正电路12用作图像处理 设备，但是除照相机1之外的个人计算机也可以被配置为图像处理设备。在这种情况下，个 人计算机可以根据图像处理程序来针对从照相机1获得的拍摄图像(输入图像)进行图5和 图6示出的图像恢复处理。
[0097] 其它实施例
[0098] 本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质 将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中 央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0099]尽管已经参考典型实施例描述了本发明，但是应该理解，本发明不局限于所公开 的典型实施例。所附权利要求书的范围符合最宽泛的解释，以包含所有这类修改、等同结构 和功能。
【主权项】
1. 一种图像处理设备，包括： 图像获取器，用于获取摄像设备所生成的输入图像，其中所述摄像设备用于使用快门 来控制利用来自摄像光学系统的光束对图像传感器的曝光；以及 处理器，用于使用基于曝光时的从所述摄像光学系统至所述图像传感器的光学传递函 数所生成的图像恢复滤波器，来对所述输入图像进行图像恢复处理， 其特征在于，在所述快门的前帘和后帘中的一个是电子帘且另一个是机械帘的情况 下，所述处理器针对所述图像恢复滤波器，使用基于所述机械帘对从所述摄像光学系统至 所述图像传感器的光束进行部分遮挡的状态中的所述光学传递函数所生成的第一图像恢 复滤波器。2. 根据权利要求1所述的图像处理设备，其特征在于，根据曝光时的所述快门的快门速 度，所述处理器针对所述图像恢复滤波器来选择所述第一图像恢复滤波器或者基于所述机 械帘未遮挡所述光束的状态中的所述光学传递函数所生成的第二图像恢复滤波器。3. 根据权利要求2所述的图像处理设备，其特征在于，在所述快门速度高于预定快门速 度的情况下，所述处理器使用所述第一图像恢复滤波器，以及 在所述快门速度等于或低于所述预定快门速度的情况下，所述处理器使用所述第二图 像恢复滤波器。4. 根据权利要求1所述的图像处理设备，其特征在于，根据曝光时的所述摄像光学系统 的F值，所述处理器针对所述图像恢复滤波器来选择所述第一图像恢复滤波器或者基于所 述机械帘未遮挡所述光束的状态中的所述光学传递函数所生成的第二图像恢复滤波器。5. 根据权利要求4所述的图像处理设备，其特征在于，在所述F值小于预定F值的情况 下，所述处理器使用所述第一图像恢复滤波器，以及 在所述F值等于或大于所述预定F值的情况下，所述处理器使用所述第二图像恢复滤波 器。6. 根据权利要求1所述的图像处理设备，其特征在于，根据曝光时的所述快门的快门速 度以及所述摄像光学系统的F值，所述处理器针对所述图像恢复滤波器来选择所述第一图 像恢复滤波器或者基于所述机械帘未遮挡所述光束的状态中的所述光学传递函数所生成 的第二图像恢复滤波器。7. 根据权利要求6所述的图像处理设备，其特征在于，在所述快门速度高于预定快门速 度并且所述F值小于预定F值的情况下，所述处理器使用所述第一图像恢复滤波器，以及 在所述快门速度等于或低于所述预定快门速度的情况下或者在所述F值等于或大于所 述预定F值的情况下，所述处理器使用所述第二图像恢复滤波器。8. 根据权利要求1所述的图像处理设备，其特征在于，除非所述快门的前帘和后帘中的 一个是电子帘且另一个是机械帘，否则所述处理器使用基于所述机械帘未遮挡所述光束的 状态中的所述光学传递函数所生成的第二图像恢复滤波器。9. 一种图像处理设备，包括： 图像获取器，用于获取摄像设备所生成的输入图像，其中所述摄像设备用于使用快门 来控制利用来自摄像光学系统的光束对图像传感器的曝光；以及 处理器，用于使用基于曝光时的从所述摄像光学系统至所述图像传感器的光学传递函 数所生成的图像恢复滤波器，来对所述输入图像进行图像恢复处理， 其特征在于，在所述快门的前帘和后帘中的一个是电子帘且另一个是机械帘的情况 下，所述处理器根据曝光时的所述摄像光学系统的F值和所述快门的快门速度中的至少一 个来改变所述图像恢复处理中的图像恢复强度。10. 根据权利要求9所述的图像处理设备，其特征在于，所述处理器将在所述快门速度 高于预定快门速度的情况下的图像恢复强度设置得低于在所述快门速度等于或低于所述 预定快门速度的情况下的图像恢复强度。11. 根据权利要求9所述的图像处理设备，其特征在于， 所述处理器将在所述F值小于预定F值的情况下的图像恢复强度设置得低于在所述F值 等于或大于所述预定F值的情况下的图像恢复强度。12. 根据权利要求9所述的图像处理设备，其特征在于， 所述处理器将在所述快门速度高于预定快门速度并且所述F值小于预定F值的情况下 的图像恢复强度设置得低于在所述快门速度等于或低于所述预定快门速度的情况下或者 在所述F值等于或大于所述预定F值的情况下的图像恢复强度。13. -种摄像设备，包括： 图像传感器； 快门，用于控制利用来自摄像光学系统的光束对所述图像传感器的曝光；以及 根据权利要求1至12中任一项所述的图像处理设备。
【文档编号】H04N5/235GK106067945SQ201610258488
【公开日】2016年11月2日
【申请日】2016年4月22日 公开号201610258488.7, CN 106067945 A, CN 106067945A, CN 201610258488, CN-A-106067945, CN106067945 A, CN106067945A, CN201610258488, CN201610258488.7
【发明人】和智史仁
【申请人】佳能株式会社