专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及用于对图像进行复原的图像处理装置、图像处理方法及具备图像处理装置的摄像装置。
背景技术：
若用数码相机对图像进行摄像，则有时会因CCD (Charge-Coupled Device 电荷耦合元件)或CMOS (互补金属氧化物半导体)的读出电路的特性、或者传输线路的特性而对图像引入噪声。另外，在摄像时会产生因未对准焦点(失焦0Ut-0f-f0CUS)而引起的图像的模糊(blur)、因相机抖动(camera shake)等而引起的图像的模糊。像这样除了对摄像图像引入基于摄像图像固有的特性的噪声之外，还引入因拍摄时的人为操作而引起的模糊， 因此图像会劣化。在这些“模糊”之中，将在拍摄(曝光)中因相机的运动而引起的图像的模糊称为“动态模糊(motion blur)”，来与因失焦而引起的模糊相区别。近年，特别由于高灵敏度拍摄的需求增多，需要把因模糊而劣化的图像(以下，称为“劣化图像”)尽可能复原成接近原始图像(以下，称为“理想图像”)的图像。为了实现高灵敏度拍摄所要求的、明亮且无噪声和模糊的图像，大致上有提高灵敏度的观点和延长曝光时间的观点。然而，在提高灵敏度后，噪声也会被放大。因此，在较多情况下，信号被掩埋在噪声之中，从而成为噪声占据大部分的图像。另一方面，通过延长曝光时间来多蓄积在曝光中产生的光，从而得到噪声少的图像。在这种情况下，虽然信号不会被噪声掩埋，但是存在因相机抖动而在图像中产生动态模糊的问题。因此，在现有技术中，采用在以两种途径来延长曝光时间的情况下的对应法。一种途径是称为镜头位移或传感器位移的光学式相机抖动校正。另一种途径是从得到的图像中求取动态模糊的方向/大小，然后通过信号处理来对图像进行复原的方法(基于信号处理的复原方法)。基于信号处理的复原方法例如在专利文献1、专利文献2、非专利文献1 5 等中公开。能按如下所示，将图像因相机抖动而从理想图像向劣化图像劣化的现象模型化。 认为表示劣化图像中的各像素的亮度的函数能通过表示理想图像中的各像素的亮度的函数、和表示因在图像拍摄时相机抖动而引起的图像的动态模糊的点扩散函数(PSF ；Point Spread Function)之间的卷积(convolution)而得到。因此为了使得到的劣化图像复原至理想图像，进行劣化图像和PSF之间的去卷积(deconvolution)即可。由于卷积运算在频率空间中是乘法运算，因此通过在频率空间中用劣化图像除以PSF，能够得到复原图像。如此在PSF为已知的情况下，若忽视噪声的影响，则通过上述去卷积运算能够比较容易地得到复原图像。另一方面，在PSF为未知的情况下，为了得到复原图像，需要根据劣化图像来估计PSF。关于PSF的估计，例如在非专利文献1中公开的基于稀疏编码(sparse coding)的方法等是公知的。在该方法中，首先根据手动给出的初始PSF和劣化图像来得到第1复原结果。接着通过使用第1复原结果和劣化图像来估计认为更接近真实PSF的PSF，并用估计出的PSF 来修正初始PSF。使用修正的PSF来根据劣化图像得到第2复原结果。以后，根据第(N-I) PSF和劣化图像得到第N复原图像，根据第N复原图像和劣化图像来估计第N PSF，通过如此反复操作，同时进行PSF的估计和劣化图像的复原。专利文献专利文献1日本特开2006-U9236号公报专利文献2日本特表2009-522825号公报专利文献3日本特开2008-092515号公报非专利文献1 "High-quality Motion Deblurring from a Single Image", Qi Shan, Jiaya Jia, and Aseem Agarwala, SIGGRAPH 2008非专利文献2 :米司·田中·奥富合作编撰，“用于线性相机抖动图像复原的psf 参数估计方法”，信息处理学会研究报告，第2005卷，第38号，p. 47-52,2005年(米司 田中·奥富共著，[直線的手名扎画像復元Opsf “ 7 乂一夕推定手法」，情報処理学会研究報告，第2005卷，第38号，p. 47-52,2005年)非专利文献 3 :J. Bioucas-Dias,"Bayesian wavelet-based imagedeconvolution :a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc.， vol. 4, pp. 937-951, April 20064 :Levin, "Blind Motion Deblurring Using Image Statistics", Advances in Neural Information Processing Systems(NIPS), Dec 2006非专利文献 5 :Bob Fergus et al. , "Removing camera shake from a single image，，，Barun Singh Aaron Hertzmann, SIGGRAPH 200
发明内容
若为了在暗的环境下聚集充足的光量而延长曝光时间，则容易发生相机抖动。而为了在此暗的环境下通过光学式相机抖动校正来应对动态模糊，需要增大镜头和传感器的操作范围。但是，若操作范围变大，则存在当镜头等移动时会产生时间延迟的问题。另外， 增大操作范围有物理性界限。因此，光学式相机抖动校正有其局限性。另一方面，现有信号处理的复原方法是基于图像整体的信息来进行PSF的估计和图像的复原，因此存在处理所需的计算量和存储量增多的问题。一般而言，若将构成图像的像素的数量设为n，则需要的计算量和存储量表示为0(ιΓ2)。因此，为了复原像素数量多的图像，需要大量的计算资源。另外，在图像中包含噪声和被摄体动态模糊等情况下，若使用图像整体来进行复原处理，则PSF的估计会产生误差，从而难以估计出与真实的PSF接近的 PSF。在专利文献3中，公开了削减用于提取在图像中所包含的主要的被摄体的运算量的技术。根据该技术，将图像分割成多个部分领域，并根据在部分领域中是否包含主要被摄体来切换处理。但是，不能将专利文献3所公开的技术应用于图像的复原。为了复原包含动态模糊的图像，无论对图像的哪一个领域，都需要进行同样的复原处理。即，即使在将图像分割成多个部分领域的情况下，也需要基于同样PSF的复原处理。
本发明鉴于上述问题而提出。着眼于劣化图像及复原图像的尺寸在绝大多数情况下比PSF的尺寸大的事实，通过使用对估计而言最低限度所需的数据，能在保持精度的前提下实现计算量的削减。本发明的目的在于，提供在保持复原的精度的同时削减用于PSF 估计的计算量的图像处理装置、方法、以及具备该图像处理装置的摄像装置。本发明的图像处理装置，从输入的劣化图像生成动态模糊较所述劣化图像少的复原图像，具备初始图像设定部，其设定临时的复原图像；图像块选定部，其从所述劣化图像以及所述临时的复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述临时的复原图像中位于同一坐标的两个图像块构成；PSF估计部，其得到与所述多个图像块对分别对应的多个点扩散函数；PSF选择部，其从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和图像复原部，其使用所述候选的点扩散函数从所述劣化图像生成复原图像。在某实施方式中，本发明的图像处理装置具备初始PSF设定部，该初始PSF设定部设定临时的点扩散函数，所述初始图像设定部使用所述临时的点扩散函数从所述劣化图像生成所述临时的复原图像。在某实施方式中，当将所述劣化图像以及所述临时的复原图像的横方向设为X方向，纵方向设为Y方向时，包含在所述多个图像块对中的各图像块的X方向尺寸以及Y方向尺寸分别与由所述临时的点扩散函数取有限值的像素构成的区域的X方向尺寸以及Y方向尺寸之中大的一方相等。在某实施方式中，所述图像块选定部从所述劣化图像以及所述临时的复原图像随机选定所述多个图像块对。在某实施方式中，当设η = 1，2，"·Ν(Ν为2以上的整数)，所述临时的复原图像为第η临时的复原图像，所述复原图像为第η复原图像时，在生成所述第η复原图像后，所述初始图像设定部通过所述第η复原图像来更新所述第η临时的复原图像作为第(η+1)临时的复原图像，所述图像块选定部从所述劣化图像以及所述第(η+1)临时的复原图像选定与所述多个图像块对相比至少一部分不同的多个图像块对，由此反复所述候选的点扩散函数以及所述复原图像的更新。在某实施方式中，所述图像块选定部相对所述多个图像块对的选定独立地从所述劣化图像选定多个图像块作为第1图像块群，当将由所述PSF估计部得到的所述多个点扩散函数中的、第k个点扩散函数表示为fk(k为1以上的整数)，将表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数表示为ib(b为1以上的整数)，将通过ib和fk 之间的去卷积运算而得到的函数表示为^tb时，所述PSF选择部基于通过^和fk之间的卷积运算而得到的函数(skb*fk)与ib之间的差，来选定所述候选的点扩散函数。在某实施方式中，所述PSF选择部针对所述多个点扩散函数的每一个，算出 (skb*fk)和ib之间的平方误差成为给定的阈值以下的值的图像块的数量，并选定所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。在某实施方式中，所述图像块选定部相对所述多个图像块对的选定独立地从所述劣化图像选定多个图像块作为第1图像块群，并从所述临时的复原图像选定各自与包含在所述第1图像块群中的各图像块位于同一坐标的多个图像块作为第2图像块群，当将由所述PSF估计部得到的所述多个点扩散函数中的、第k个点扩散函数表示为fk(k为1以上的
7整数)，将表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数表示为ib(b 为1以上的整数)，将表示包含在所述第2图像块群中的与所述ib对应的图像块中的亮度分布的函数表示为为1以上的整数)时，所述PSF选择部基于通过％和fk之间的卷积运算而得到的函数(sb*fk)与ib之间的差，来选定所述候选的点扩散函数。在某实施方式中，所述PSF选择部针对所述多个点扩散函数的每一个，算出 (sb*fk)和ib之间的平方误差成为给定的阈值以下的值的图像块的数量，并选定所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。在某实施方式中，所述图像块选定部从所述劣化图像随机选定所述第1图像块群。在某实施方式中，所述PSF选择部将由所述PSF估计部得到的所述多个点扩散函数划分成由彼此类似的多个点扩散函数构成的多个簇，并按每个簇来决定所述多个簇的每一个中的平均的点扩散函数作为代表PSF，从决定的多个代表PSF中选定候选的代表PSF， 且从与所述候选的代表PSF对应的簇中选定所述候选的点扩散函数。本发明的摄像装置具备本发明的图像处理装置，该摄像装置具备固体摄像元件， 并将由所述固体摄像元件取得的信号作为所述劣化图像输入到所述图像处理装置。本发明的图像处理方法是从输入的劣化图像生成动态模糊较所述劣化图像少的复原图像的方法，当η= 1，2，···Ν(Ν为2以上的整数)时，包括步骤(Α)，设定第η复原图像；步骤(B)，从所述劣化图像以及所述第η复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述第η复原图像中位于同一坐标的两个图像块构成；步骤(C)，得到与所述多个图像块对分别对应的多个点扩散函数；步骤(D)，从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和步骤(E)，使用所述候选的点扩散函数从所述劣化图像生成第η+1复原图像，在该方法中， 从η = 1起开始从所述步骤(A)至所述步骤(E)的各步骤，且直到生成第Ν+1复原图像为止都反复从所述步骤(A)至所述步骤(E)的各步骤，由此复原所述劣化图像。本发明的程序控制图像处理装置的动作，该图像处理装置通过从输入的劣化图像反复复原处理，来生成动态模糊较所述劣化图像少的复原图像，所述程序使图像处理装置执行处理，当η= 1，2，···Ν(Ν为2以上的整数)时，所述处理包括步骤(A)，设定第η复原图像；步骤(B)，从所述劣化图像以及所述第η复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述第η复原图像中位于同一坐标的两个图像块构成；步骤(C)， 得到与所述多个图像块对分别对应的多个点扩散函数；步骤(D)，从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数; 和步骤(E)，使用所述候选的点扩散函数从所述劣化图像生成第η+1复原图像，在所述处理中，从η = 1起开始从所述步骤㈧至所述步骤(E)的各步骤，且直到生成第Ν+1复原图像为止都反复从所述步骤(A)至所述步骤(E)的各步骤。另外，可以将本发明的程序容纳于计算机可读取的记录介质。根据本发明，在通过PSF估计来对劣化图像进行复原的系统中，能够实现计算量及存储量的削减。
图1是表示图像的像素构成的图。图2是表示理想图像中的点像和劣化图像中的像的不同的图。图3是表示本发明第1实施方式中的图像处理装置的概略构成的图。图4是表示本发明第1实施方式中的图像处理装置的功能构成的框图。图5是表示本发明第1实施方式中的图像处理装置的流程的流程图。图6是表示本发明第1实施方式中的PSF的估计方法的概念图。图7是表示本发明第1实施方式中的PSF的评价方法的概念图。图8是表示本发明第2实施方式中的PSF的评价方法的概念图。图9是表示本发明第3实施方式中的PSF选择部的处理流程的流程图。图10是表示本发明第3实施方式中的PSF的簇的概念图。图11是表示本发明第4实施方式中的摄像装置的概略构成的图。
具体实施例方式在说明本发明的实施方式前，先说明本发明的基本原理。图1是示意地表示本说明书中的图像的构成的图。在本说明书中，将表示劣化图像的函数表示为i(x，y)。坐标(x，y)是表示图像中的像素的位置的二维坐标。在图像130 例如由排列成行列状的MXN个像素135构成的情况下，若使χ和y为各自满足0彡χ彡M-1、 0彡y彡N-I关系的整数，则通过坐标(x，y)能够确定构成图像的各个像素的位置。在此， 将坐标的原点(0，0)置于图像的左上角，X轴在垂直方向，Y轴在水平方向上延伸。但是， 坐标的取法是任意的。令i(x，y)表示在劣化图像上的坐标(x，y)处的亮度。在本说明书中，有时将图像上的坐标(x，y)处的亮度称为“像素值”。在以下的说明中，设劣化图像i(x，y)因相机抖动而产生，“动态模糊”意为因相机抖动而引起的模糊。将没有动态模糊的图像(理想图像)的亮度分布设为s(x，y)，并将对动态模糊进行规定的点扩散函数(PSF)设为f (X，y)。f (X，y)基于曝光中的相机的轨迹而决定。由于在曝光中相机移动，因此包含在理想图像中的一个像素的像(点像)在劣化图像中成为扩展到多个周边像素的像。图2举例说明了理想图像中的点像在劣化图像中成为模糊像的样子。若设这样的动态模糊在全部的点像中均等地产生(shift-invaliant 平移不变)，则可以说f(x，y)是表示如下的函数从某点像起，该点像以怎样的权重扩展到位于以该点像为原点的相对坐标(χ，y)的周边像素。在本说明书中，将f(x，y)设为具有仅在-m彡χ彡m、η为1以上的整数)范围内的有限的值的函数。换言之，将因相机抖动而在理想图像中的一个点像上产生动态模糊的范围设为包含在具有 (2m+l) X (2n+l)尺寸的矩形领域内。关于i (x, y)、s (x，y)、f (χ, y)，若忽视噪声的影响，则以下的式子1成立。[数1]i(x, y) = s (χ, y)*f(x, y)(式子 1)此处记号“*”表示卷积运算(卷积)。式子1的右边一般用以下的式子2来表现。[数2]
OO OOs(x,少)=J" J^O- j, y - k)f{j, k)djdk (式子 2)
在动态模糊的点扩散函数f(x，y)为已知的情况下，通过针对所得到的劣化图像 i(x,y)的去卷积运算(反卷积)，能够复原没有动态模糊的图像s(x，y)。另外，在f(x，y) 不是已知的情况下，需要在根据图像来估计f(x，y)的基础上求取s(x，y)。两个函数的卷积的傅立叶变换一般通过各个函数的傅立叶变换的乘积来表现。因此，若i (X，y)、s (X，y)、f (X，y)的傅立叶变换各自表示为I (u, v)、S (u，ν)、F (u, ν)，则根据式子1推导出以下的式子4。另外，(u, ν)是频率空间中的坐标，各自与实际图像中的χ方向以及y方向的空间频率对应。[数4]
此处记号“ · ”表示频率空间中的函数的“乘积”。若对式子⑷变形，则得到以下的式子5。[数 5] 该式子5示出了 用劣化图像i(x，y)的傅立叶变换I (U，ν)除以作为点扩散函数 PSF的f(x，y)的傅立叶变换F(u，ν)而得到的函数相当于理想图像s(x，y)的傅立叶变换 S (α, V)。即，若求得10^，7)和€0^，7)，则能够决定3(11，力。由于I (u，ν)是对劣化图像 i (x,y)进行傅立叶变换而得到的产物，因此若求得作为相机抖动的点扩散函数PSF的f (χ， y)，则能通过信号处理来从劣化图像对图像进行复原(接近真实的图像)。在本发明中，使用劣化图像和复原过程的图像(临时的复原图像)来决定作为点扩散函数PSF的f(x，y)。在f(x，y)的决定的过程中，从劣化图像和临时的复原图像中提取多个图像块对，并按每个图像块对来估计PSF。这些PSF能够通过公知的盲去卷积手法来求取。由于图像块对包含噪声和被摄体动态模糊等原因，能估计出与真实的PSF相差很大的PSF。因此，所估计的各PSF能成为按每个图像块对而不同的函数。从这些PSF中选定认为接近真实的PSF的PSF来作为候选PSF。对于候选PSF的选定，例如使用基于RANSAC (随机抽样一致性)的方法。根据此方法，能按每个PSF来判定通过PSF和临时的复原图像的卷积而得到的图像究竟有多接近劣化图像。判定的结果是，排除误差大的PSF，并选定误差小的PSF作为候选PSF。因此，排除根据包含噪声和被摄体动态模糊等的图像块对而估计出的PSF，并选定接近真实的PSF的PSF作为候选PSF。从所选定的候选PSF和劣化图像通过去卷积来生成复原图像。如此，由于不是针对图像整体，而是针对作为图像一部分的每个图像块对来进行 PSF的估计，因此能够削减复原所需的处理量以及存储量。另外，能够不受局部的噪声和被摄体动态模糊等的影响来选定接近真实的PSF的PSF。以下，参照附图来说明本发明的实施方式。在以下的说明中，对同样的要素标注同样的符号。(第1实施方式)图3是表示本发明的第1实施方式中图像处理装置200的概略构成图。本实施方式的图像装置200通过从输入的劣化图像100反复复原处理来生成接近理想图像的复原图像120。图像处理装置200具备图像处理部220，其基于输入的劣化图像100来进行信号处理；以及存储器对0，其容纳在处理的过程中生成的各种数据。劣化图像100是由数码相机等摄像装置拍摄的图像的数据，包含因相机抖动而引起的动态模糊。图像处理部220不仅执行劣化图像100的复原处理，还进行色调校正、分辨率变更、数据压缩等各种信号处理。图像处理部220通过公知的数字信号处理器(DSP)等硬件、和用于执行图像处理的软件的组合而合理实现。存储器MO由DRAM等构成。存储器 240不仅记录劣化图像100，还暂时记录由图像处理部220受理各种图像处理后的图像数据、经压缩的图像数据等。由图像处理部220最终生成的复原图像120能经由未图示的通信装置通过无线或者有线发送到其他装置(未图示)。以下，参照图4来说明图像处理部220的构成。图像处理部220具备图像输入部250 ；PSF决定部沈0 ；以及复原部270。图像输入部250具有初始PSF设定部222，其设定临时的PSF ；初始图像设定部224，其使用临时的PSF来从劣化图像100生成临时的复原图像。PSF决定部260具有图像块选定部226， 其从劣化图像和临时的复原图像提取多个图像块对；PSF估计部228，其根据各个图像块对来估计PSF ；PSF选择部230，其从估计出的多个PSF中选定候选PSF。复原部270具有图像复原部232，其使用所选定的候选PSF来从劣化图像100生成复原图像；以及结束判定部 234，其判定复原处理是否结束，在判定为结束的情况下输出复原结果。以下，更详细地说明各构成要素。初始PSF设定部222设定图像复原处理所需的临时的PSF。临时的PSF例如基于表示由搭载于拍摄了劣化图像100的摄像装置的陀螺仪或加速度传感器等检测器检测出的、拍摄时的相机的轨迹的数据而设定。那样的数据例如容纳于存储器240或未图示的记录介质等，并由初始PSF设定部222读入。临时的PSF也可以不依赖于由这些检测器检测出的数据而由使用者手动输入。尽管从缩短图像处理所需时间的观点出发，优选使临时的 PSF接近真实的PSF，但即使较大偏离真实的PSF，也能通过后述的处理来复原。初始图像设定部2 不仅取得容纳于存储器240或未图示的记录介质等的劣化图像100，还设定后述的PSF估计处理所需的临时的复原图像。在第1循环处理中，临时的复原图像根据临时的PSF和劣化图像100生成。在第2循环以后的处理中，将通过一循环前的处理而复原的图像设定为临时的复原图像。作为使用临时的PSF来复原劣化图像100的方法，能够使用公知的维纳滤波器法和理查德森·露西(RL)法等非盲去卷积手法。另外，还能使用在非专利文献1等中公开的盲去卷积手法。临时的复原图像在第1循环的处理中， 可以由初始图像设定部2M生成，也可以由其他设备生成并预先容纳于存储器240或未图示的记录介质。图像块选定部2 分别从劣化图像100以及临时的复原图像将彼此位于同一坐标的两个图像块的对随机提取多个。将图像块的尺寸设定为比临时的PSF和所估计的PSF的尺寸大的尺寸。在本实施方式中，将图像块的X方向尺寸及Y方向尺寸设定为与临时的PSF或者在上次的步骤估计出的PSF的X方向尺寸及Y方向尺寸之中大的一方一致。例如，在将劣化图像的尺寸设为1000 X 1000像素，且临时的PSF或者估计出的PSF的像素值取有限的值(大于0的值)的像素全部包含在50 X 100像素中的情况下，提取具有100X 100像素的矩形领域的图像块。另外，若图像块过小，则不包含易判别动态模糊的边缘(edge)部分 (亮度在空间上变化大的部分)的图像块的比例大。在那样的图像块中，由于不能判断亮度的变化是基于动态模糊还是纹理(样子)，因此估计与真实的PSF接近的PSF变得困难。 因此，在PSF的尺寸太小的情况下(例如30 X 30像素以下的情况)，优选例如将图像块的尺寸设定为PSF的尺寸的3 5倍以上。另外，虽然在本实施方式中各个图像块具有同样的尺寸，但是即使每个图像块的尺寸不同也能够进行处理。虽然图像块的数量越多，能够估计出接近真实PSF的PSF的概率越高，但是其需要的计算量及存储量也会增大。所提取的图像块对的数量能够对应计算资源而任意设定。在本实施方式中，作为一例，提取(劣化图像的全部像素数)/( 一个图像块的像素数)个图像块对。另外，虽然图像块对被设定为随机选定，但是也可以基于给定的基准来选定。例如， 后述的PSF估计部2 知道对与真实的PSF不接近的PSF进行估计的图像块，因此可以在第2循环以后的处理中，进行控制使得随机选定该块附近之外的块。为了选定接近真实的 PSF的PSF，特别优选从包含边缘的场所选定图像块对。具体而言，可以使用公知的索贝尔滤波器和普鲁维特滤波器等来算出各图像块的边缘，并基于算出的边缘强度来选定图像块对。例如，可以从随机选出的多个图像块中，只选定将边缘强度为一定值以上的像素包含 50%以上的图像块。图像块选定部2 还从劣化图像100提取多个图像块用于PSF的评价。这些图像块(劣化图像块)是为了后述的PSF选择部230从多个PSF中选定候选PSF而使用。能与上述PSF估计用的图像块对独立地提取这些劣化图像块。另外，从减少计算量和存储量的观点出发，能反复使用上述PSF估计用而选定的图像块。为了有效进行后述PSF选择部230 中的评价，优选这些评价用的图像块的尺寸及选定场所与在上述图像块对的选定时不同。 但是，即使相同，也能进行处理。另外，劣化图像块能够随机选定，也可以与上述图像块对同样，基于给定的基准来选定。另外，特别优选从包含边缘的场所选定。与上述图像块对的数量同样，劣化图像块的数量能够对应计算资源而任意设定。PSF估计部2 基于由图像块选定部2 选定的多个图像块对的每一个来估计 PSF0作为估计方法，能够使用公知的盲去卷积法。例如能通过在非专利文献1中公开的稀疏编码来估计PSF。PSF选择部230从由PSF估计部2 估计出的多个PSF中选定认为接近真实的PSF 的PSF作为候选PSF。关于候选PSF选定的细节将后述。图像复原部232使用所选定的候选PSF来复原劣化图像100。此处的复原处理与初始图像设定部224中的复原处理同样，通过公知的复原方法来实现。另外，在本实施方式中，虽然将图像复原部232和初始图像设定部2 作为不同的功能块，但也可以是一个功能部来实现这些功能的构成。结束判定部234对图像复原部232复原的图像和临时的复原图像进行比较，在变化小于给定阈值的情况下，判断为复原处理已经结束，输出此图像作为复原图像120。在变化为阈值以上的情况下，将此图像输入到初始图像设定部224，并设定为新的临时的复原图像。图4所示的构成是图像处理部220的功能块的一例，图像处理部220能分割为其他的功能块。另外，各功能块可以通过专门的硬件实现，还能通过嵌入使公知的硬件执行上述处理的软件来合理实现。接着，参照图5来说明复原处理的流程。首先，初始图像设定部2 从存储器240等取得复原对象的劣化图像100(S502)。 其次，初始PSF设定部222从存储器240等取得初始PSF (S504)。初始图像设定部2 使用所取得的劣化图像100和初始PSF来生成临时的复原图像(S506)。另外，初始PSF的设定和劣化图像的取得的顺序可以交替，也可以同时。接着，图像块选定部2 从劣化图像100和临时的复原图像选定多个图像块对 (S508)。PSF估计部从估计出的多个图像块对的每一个来估计PSF(S510)。然后，PSF设定部230从估计出的PSF中选定认为与真实的PSF接近的PSF，并将其设定为候选PSF (S512)。以下，参照图6和图7来说明图像块的选定(S508)、各个图像块中的PSF的估计 (S510)、以及候选PSF的选定(S512)的细节。图6是示意地表示图像块的选定和各图像块中的PSF的估计的情况的图。图像块选定部2 从劣化图像和临时的复原图像选定多个图像块对。如图所示，将选定数设为K(K 是2以上的整数)，将表示从劣化图像选定的第k个图像块的函数设为ik(k = 1，2，…K)， 并将表示从临时的复原图像选定的第k个图像块的函数设为、(k= 1，2，…K)。使用公知的PSF估计方法根据ik和％来估计作为PSF的fk。其结果是，从K个图像块对得到K个 PSF (f1 f2, ...，fk)。在此，作为一例，说明基于非专利文献1所公开的手法的PSF估计手法。作为PSF 的fk通过求取使以下的式子6的右边最小的fk而决定(fk的优化)。[数 6]
(2 Λ
_] E(fk) = \ JjW^ d\*fk-d\ 2 +!/；[(式子6)
V9 G J式子6的右边的第1项给出了复原图像块％和作为PSF的fk之间的卷积表示是否接近劣化图像块ik的评价基准。变量Wk是手动设定的“权重”。Θ是规定对图像实施怎样的微分的运算符的集合。具体而言，具有0次微分、1次微分(分别在x、y方向)、2次微分(在χ方向2次、在y方向2次、在χ和y方向各1次)的共计6个微分参数。d*是微分运算符。若使用d*来表现θ，则θ = {d°、dx、dy、dxx、dxy、dyy}。通过d*能进行使用亮度信息和边缘信息两者的处理，还能得到仅凭亮度而不能得到的信息。式子6的右边的第 2项是fk的一个模(norm)。此项是基于稀疏编码的项。根据表示fk的矩阵中的大部分元素为0(没有运动)的情况，采用此优化项。在本实施方式中，与非专利文献1同样，进行基于“内点法(interior point method) ”的优化，从而能够实现整体优化。fk的优化的具体的计算方法在非专利文献1中公开。接着，参照图7来说明候选PSF的选定(S512)的细节。若由PSF估计部2 按每个图像块对求取fk，则图像块选定部2 从劣化图像100 选定评价用的多个图像块(劣化图像块)。如图7所示，将劣化图像块的选定数设为B(B为2以上的整数)，将表示第b个劣化图像块的函数表示为ib(b = 1，2，…B)。PSF选择部 230通过在fk和劣化图像块ib之间进行去卷积运算，来得到表示被复原的图像块(复原图像块)的函数^。其结果是，对于有K个的PSF的每一个，生成B个复原图像块。PSF选择部230在复原图像块 和fk之间进一步进行卷积，并基于所得到的结果(skb*fk)和劣化图像块ib之间的误差来评价各PSF。以下，说明基于误差的PSF的评价方法。首先，设在一个劣化图像块中包含J个像素，并将劣化图像块ib中的第i个像素值表示为、(」=1，2，…J)。另外，将通过复原图像块^和fk之间的卷积而得到的图像中的第j个像素值表示为(skb*fk)j(j = 1,2,-J)0 在本实施方式中，将(skb*fk)和ib之间的平方误差定义为Akb，并基于该Akb成为给定的阈值t以下的图像块的数量来选定候选PSF。例如，选定满足以下的式子7的图像块的数量最大的fk作为候选PSF。[数7]
权利要求
1.一种图像处理装置，从输入的劣化图像生成动态模糊较所述劣化图像少的复原图像，所述图像处理装置具备初始图像设定部，其设定临时的复原图像；图像块选定部，其从所述劣化图像以及所述临时的复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述临时的复原图像中位于同一坐标的两个图像块构成；PSF估计部，其得到与所述多个图像块对分别对应的多个点扩散函数； PSF选择部，其从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和图像复原部，其使用所述候选的点扩散函数从所述劣化图像生成复原图像。
2.如权利要求1所述的图像处理装置，其中，所述图像处理装置具备初始PSF设定部，该初始PSF设定部设定临时的点扩散函数， 所述初始图像设定部使用所述临时的点扩散函数从所述劣化图像生成所述临时的复原图像。
3.如权利要求2所述的图像处理装置，其中，当将所述劣化图像以及所述临时的复原图像的横方向设为X方向，纵方向设为Y方向时，包含在所述多个图像块对中的各图像块的X方向尺寸以及Y方向尺寸分别与由所述临时的点扩散函数取有限值的像素构成的区域的X方向尺寸以及Y方向尺寸之中大的一方相寸。
4.如权利要求1 3中任意一项所述的图像处理装置，其中，所述图像块选定部从所述劣化图像以及所述临时的复原图像随机选定所述多个图像块对。
5.如权利要求1 4中任意一项所述的图像处理装置，其中，当设η = 1，2，…N，N为2以上的整数，所述临时的复原图像为第η临时的复原图像， 所述复原图像为第η复原图像时，在生成所述第η复原图像后，所述初始图像设定部通过所述第η复原图像来更新所述第η临时的复原图像作为第 η+1临时的复原图像，所述图像块选定部从所述劣化图像以及所述第η+1临时的复原图像选定与所述多个图像块对相比至少一部分不同的多个图像块对，由此反复所述候选的点扩散函数以及所述复原图像的更新。
6.如权利要求1 5中任意一项所述的图像处理装置，其中，所述图像块选定部相对所述多个图像块对的选定独立地从所述劣化图像选定多个图像块作为第1图像块群，当将由所述PSF估计部得到的所述多个点扩散函数中的、第k个点扩散函数表示为fk， k为1以上的整数，将表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数表示为ib，b 为1以上的整数，将通过ib和fk之间的去卷积运算而得到的函数表示为^时，所述PSF选择部基于通过和fk之间的卷积运算而得到的函数(skb*fk)与ib之间的差，来选定所述候选的点扩散函数。
7.如权利要求6所述的图像处理装置，其中，所述PSF选择部针对所述多个点扩散函数的每一个，算出kkb*fk)和ib之间的平方误差成为给定的阈值以下的值的图像块的数量，并选定所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。
8.如权利要求1 5中任意一项所述的图像处理装置，其中，所述图像块选定部相对所述多个图像块对的选定独立地从所述劣化图像选定多个图像块作为第1图像块群，并从所述临时的复原图像选定各自与包含在所述第1图像块群中的各图像块位于同一坐标的多个图像块作为第2图像块群，当将由所述PSF估计部得到的所述多个点扩散函数中的、第k个点扩散函数表示为fk， k为1以上的整数，将表示包含在所述第1图像块群中的第b个图像块中的亮度分布的函数表示为ib，b 为1以上的整数，将表示包含在所述第2图像块群中的与所述ib对应的图像块中的亮度分布的函数表示为sb，b为1以上的整数时，所述PSF选择部基于通过％和fk之间的卷积运算而得到的函数(sb*fk)与ib之间的差，来选定所述候选的点扩散函数。
9.如权利要求8所述的图像处理装置，其中，所述PSF选择部针对所述多个点扩散函数的每一个，算出(sb*fk)和ib之间的平方误差成为给定的阈值以下的值的图像块的数量，并选定所述图像块的数量最大的点扩散函数作为所述候选的点扩散函数。
10.如权利要求6 9中任意一项所述的图像处理装置，其中，所述图像块选定部从所述劣化图像随机选定所述第1图像块群。
11.如权利要求1 10中任意一项所述的图像处理装置，其中，所述PSF选择部将由所述PSF估计部得到的所述多个点扩散函数划分成由彼此类似的多个点扩散函数构成的多个簇，并按每个簇来决定所述多个簇的每一个中的平均的点扩散函数作为代表PSF，从决定的多个代表PSF中选定候选的代表PSF，且从与所述候选的代表 PSF对应的簇中选定所述候选的点扩散函数。
12.—种摄像装置，具备权利要求1 11中任意一项所述的图像处理装置，所述摄像装置具备固体摄像元件，并将由所述固体摄像元件取得的信号作为所述劣化图像输入到所述图像处理装置。
13.一种复原劣化图像的方法，从输入的劣化图像生成动态模糊较所述劣化图像少的复原图像，当n = l，2，…N，N为2以上的整数时，所述方法包括步骤A，设定第η复原图像；步骤B，从所述劣化图像以及所述第η复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述第η复原图像中位于同一坐标的两个图像块构成；步骤C，得到与所述多个图像块对分别对应的多个点扩散函数； 步骤D，从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和步骤E，使用所述候选的点扩散函数从所述劣化图像生成第n+1复原图像， 从η = 1起开始从所述步骤A至所述步骤E的各步骤，且直到生成第Ν+1复原图像为止都反复从所述步骤A至所述步骤E的各步骤，由此复原所述劣化图像。
14.一种使图像处理装置执行处理的程序，控制图像处理装置的动作，该图像处理装置通过从输入的劣化图像反复复原处理，来生成动态模糊较所述劣化图像少的复原图像，当η = 1，2，…N，N为2以上的整数时，所述处理包括 步骤Α，设定第η复原图像；步骤B，从所述劣化图像以及所述第η复原图像选定多个图像块对，该图像块对由各自在所述劣化图像以及所述第η复原图像中位于同一坐标的两个图像块构成； 步骤C，得到与所述多个图像块对分别对应的多个点扩散函数； 步骤D，从由所述PSF估计部得到的所述多个点扩散函数中选定对所述劣化图像的动态模糊进行规定的候选的点扩散函数；和步骤Ε，使用所述候选的点扩散函数从所述劣化图像生成第n+1复原图像， 在所述处理中，从η = 1起开始从所述步骤A至所述步骤E的各步骤，且直到生成第 Ν+1复原图像为止都反复从所述步骤A至所述步骤E的各步骤。
15.一种计算机可读取的记录介质，记录有权利要求14所述的程序。
全文摘要
图像处理装置在图像块选定部(226)中分别从劣化图像以及临时的复原图像将彼此位于同一坐标的两个图像块的对提取多个，并按每个图像块对来估计点扩散函数(PSF)。且从估计出的PSF选定认为接近真实的PSF的PSF作为候选PSF。通过以块单位来进行PSF的估计，能够削减PSF的估计所需的计算量。另外，通过使用不受包含噪声的图像块的影响的估计方法，能够估计接近真实的PSF的PSF。
文档编号H04N1/409GK102388402SQ201180001729
公开日2012年3月21日 申请日期2011年1月28日 优先权日2010年2月10日
发明者物部祐亮, 石井育规 申请人:松下电器产业株式会社