专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理设备、信息处理方法和程序。更具体而言，本发 明涉及信息处理设备、信息处理方法和程序，由此可以校正由于成像时的 抖动而导致的模糊、由于焦距移位而导致的所谓的散焦等。
背景技术：
迄今，已经有校正成像图像中发生的抖动模糊或者散焦(以下也简称 为模糊)的校正技术。
例如，对于由L. B. Lucy和William Hardley Richardson提出的 Richardson-Lucy方法，当使用落入点扩展函数(PSF)的频率轴上的零 点的光镨来解决逆问题时,在所述零点出现噪声的放大或者振荡(ringing) 的发生等。
而且，在还没有精确地获得点扩展函数的情况下，在所^J:点频繁地 出现噪声的放大或者振荡的发生等。
因此，根据增益图的引入，已经有残余去巻积技术，由此在可以精确 地获得点扩展函数的情况下，可以抑制振荡(例如参见Image Deblurring with Blurred/Noisy Image Pairs (Lu Yuan))。
发明内容
然而，对于根据相关技术的残余去巻积技术，在点扩展函数包括误差 的情况下，未良好地执行图像的结构分量(结构)和残余(残余部分)的 恢复，因此，振荡频繁出现。
考虑到这样的情况而进行了本发明，本发明的目的是使得能够通过抑 制振荡等来校正由于抖动或者焦距移位而导致的模糊。
根据本发明的实施例，提供了 一种信息处理i殳备或者4吏得计算机用作 信息处理设备的程序，所述信息处理设备包括第一产生单元，其被配置为基于在来自输入图像的倒镨(cepstmm)上检测到的特征点来产生点扩 展函数，所述点扩展函数表示在所述输入图像中产生的模糊的程度；第二 产生单元，其被配置为基于所述点扩展函数来产生结构，所述结构表示通 过以基于所述点扩展函数的尺寸来缩小所述输入图像并且以所述尺寸来 放大所述输入图像而获得的图像；以及更新单元，其被配置为执行更新处 理，以至少更新所述点扩展函数或者所述结构，使得所述点扩展函数和所 述结构近似于真值；其中，所述更新单元反复地执行所述更新处理，以将 构成通过所述更新处理更新后的所述结构的结构分量和紋理分量中的所 述结构分量设置为要通过所述更新处理来更新的新结构，并且将通过所述 更新处理更新后的所述点扩展函数设置为要通过所述更新处理来更新的 新目标。
所述更新单元可以反复地执行所述更新处理，以将所述点扩展函数和 所述结构i殳置为要更新的目标。
所述更新单元可以反复地执行所述更新处理，以将所述点扩展函数和 所述结构设置为要交替地更新的目标。
所述更新单元可以通过landweber方法或者Richardson画Lucy方法来 更新所述点扩展函数和所述结构中的至少一个。
所述更新单元可以基于过滤阈值将通过所述更新处理更新后的结构 分离为结构分量和故理分量，并且将分离后的结构分量i更置为要通过所述 更新处理来更新的新结构，其中所述过滤阈值用于将通过所述更新处理更 新后的所述结构分离为所述结构分量和所述紋理分量。
所述更新单元可以将所述过滤阈值设置为使得所述结构得以更新，以 分离所述结构分量和所述紋理分量。
在总的变化已经从增大改变为减小的情况下，或者在通it^所述输入
图像中减去所述点扩展函数与所述故理之间的巻积计算的计算结果而获 得的差的绝对值等于或者小于预定阈值的情况下，所述更新部件结束所述 更新处理。
所述笫一产生单元可以将所述输入图像划分为多个块，以产生用于每
个被划分的块的点扩展函数，并且所述第二产生单元可以从通it^块进行 缩小然后放大而获得的块中产生结构。
所述第一产生单元可以产生与构成所述输入图^t的多个块中的预定 块对应的点扩展函数，并且所述更新单元可以反复地更新由所述第 一产生单元产生的所述点扩展函数。
所述更新单元可以将通过反复地更新所述点扩展函数而最终获得的 点扩展函数设置为对应于多个块中的与预定块不同的块的点扩展函数，并 且可以对于与所述预定块不同的每个块，反复地使用对应于与所述预定块 不同的块的点扩展函数来更新所述结构。
所述信息处理设"^还可以包括巻积计算部件，其被配置为执行才艮据
积计算；相减部件，其被配置为从所述输入图像中减去由所述巻积计算获 得的巻积计算结果；恢复部件，其被配置为基于所述相减部件的相减结果 来恢复所述输入图^象的紋理；以及恢复图像产生部件，其被配置为基于由 所述更新处理最终获得的结构和恢复出的紋理来产生恢复出的图像，在所 述恢复出的图像中去除了在所述输入图像中产生的模糊。
才PJ&本发明的实施例，提供了一种信息处理方法，用于被配置为校正 输入图像的信息处理设备，所述信息处理设备包括第一产生单元、第二 产生单元和更新单元，所述方法包括以下步骤使用所述第一产生单元， 基于在来自输入图像的倒镨上检测的特征点来产生点扩展函数，所述 点扩展函数表示在所述输入图像中产生的模糊的程度；使用所述第二产 生单元，基于所述点扩展函数来产生结构，所述结构表示通过以基于所 述点扩展函数的尺寸缩小所述输入图像并且以所述尺寸放大所述输入 图像而获得的图像；并且，使用所述更新单元来执行更新处理，以至少 更新所述点扩展函数或者所述结构，使得所述点扩展函数和所述结构近似 于真值，并且所述更新单元反复地执行所述更新处理，以将构成通过所述 更新处理更新后的所述结构的结构分量和紋理分量中的所述结构分量设 置为要通过所述更新处理来更新的新结构，并且将在通过所述更新处理更 新后的所述点扩展函数设置为要通过所述更新处理来更新的新目标。
利用上述配置，基于在来自输入图像的倒镨上检测到的特征点来产生 点扩展函数，所述点扩展函I8^示在输入图像中产生的模糊的程度；基于 所述点扩展函数来产生结构，所述结构表示通过以基于所述点扩展函数的 尺寸来缩小所述输入图像并且以所述尺寸来放大所述输入图像而获得的 图像；执行更新处理，以至少更新所述点扩展函数或者所述结构，使得所 述点扩展函数和所述结构近似于真值；并且通过下述方式来反复地执行所 述更新处理将构成通过所述更新处理更新后的所述结构的结构分量和紋 理分量中的所述结构分量设置为要通过所述更新处理来更新的新结构，并新处理来更新的新目标。
根据本发明的实施例，提供了 一种信息处理设备或者使得计算机用作
信息处理设备的程序，所述信息处理设备包括产生单元，其被配置为基 于输入图像的频谱而产生多个倒谱；检测单元，其被配置为检测在所产生 的多个倒详中的具有最大值的倒谱和在具有所述最大值的倒谱周围的倒 镨，以作为光点；估计单元，其被配置为基于所检测到的光点来估计所述 输入图像的点扩展函数；以及确定单元，其被配置为确定在与所检测到的 光点相邻的范围内是否存在具有等于或者大于预定阈值的值的倒谦。
在由所述确定单元确定为在与所检测到的光点相邻的范围内存在具 有等于或者大于预定阈值的值的倒谱的情况下，所述估计单元可以将所估 计的点扩展函数近似为按照高斯分布的点扩展函数。
所述产生单元可以基于对应于构成所述输入图像的像素中的R分量、 G分量和B分量之一的光谦、对应于Y分量的光诿以及对应于R+G+B 分量的光谱之一来产生多个倒镨，其中所述Y分量表示根据所述R分量、 所述G分量和所述B分量的加权和，所述R+G+B分量通过将所述R分 量、所述G分量和所述B分量相加而获得。
所述信息处理设备可以还包括更新单元，其被配置为使用所述输入 图像的结构来更新由所述估计单元估计的点扩展函数。
所述信息处理设备可以还包括限制信息产生单元，其被配置为基于由 所述估计单元估计的点扩展函数来产生支持限制信息，所述支持限制信息 限制要由所述更新单元更新的点扩展函数的范围，并且所述更新单元可以 基于所述支持限制信息来更新由所述估计单元估计的点扩展函数。
所述更新单元可以使用构成所述结构的像素中的R分量、G分量和B 分量、表示根据所述R分量、所述G分量和所迷B分量的加权和的Y分 量以及通过将所述R分量、所述G分量和所述B分量相加而获得的 R+G+B分量之一来更新由所述估计部件估计出的点扩展函数。
根据本发明的一个实施例，提供了一种信息处理方法，用于被配置为 估计点扩展函数的信息处理设备，所述点扩展函数用于表示在输入图像中 产生的模糊，所述信息处理设备包括检测单元、估计单元和确定单元， 所迷方法包括以下步骤使用所述检测单元，基于输入图像的光谱来产生 多个倒谱；使用所述估计单元;^测所产生的多个倒镨中的具有最大值的倒镨和在具有所述最大值的倒谱周围的倒谱，以作为光点；使用所述估计 单元，基于所检测到的光点来估计所述输入图像的点扩展函数；以及使用 所述确定单元来确定在与所检测到的光点相邻的范围内是否存在具有等 于或者大于预定阈值的值的倒镨.
利用上述配置，基于输入图像的光镨来产生多个倒镨；并且所产生的 多个倒谙中的具有最大值的倒谱和在具有最大值的倒谱周围的倒镨被检 测为光点；基于所检测到的光点来估计表示在所述输入图像中产生的模糊 的点扩展函数；并且确定在与所检测到的光点相邻的范围内是否存在具有 等于或者大于预定阈值的值的倒谗。
根据上述配置，可以校正由于抖动和焦距移位而导致的模糊。
图1是图示应用了本发明的实施例的信息处理设备的第一配置示例 的框图2《_描述默认估计PSF的估计方法的概要的图3是描述用于产生关于^糊图像的倒语的产生方法的图4A-4C是描述用于关于倒镨计算发光点的最大值的计算方法的图5是描述用于确定对默iM古计PSF的估计是否成功的确定方法的
图6是描述用于产生默认估计PSF的产生方法的图7是描述结构U的默iMi U一init的产生方法的图8是图示通过双线性插值的插值方法的图9A和9B是描述由支持限制单元执行的支持限制处理的图IO是描述反复更新处理的流程图11是图示应用了本发明的实施例的信息处理设备的第二配置示例 的框图12是描述关于YUV空间的反复更新处理的图.
图13是图示应用了本发明的实施例的信息处理设备的第三配置示例 的框图；图14是描述容限(margin)处理的第一图; 图15;1描述容限处理的第二图；以及 图16是图示计算机的配置示例的才匡图。
具体实施例方式
下面参照附图来说明当前实施例。图1图示了作为本发明的笫一实施 例的信息处理设备l的配置示例。
由于成像时的抖动而发生模糊的模糊图像被输入到信息处理设备1， 所述模糊图像是通过JPEG (联合图像专家组)压缩而^L^缩的图像。信 息处理设备1将输入的模糊图像划分为多个块g，并且针对每个块执行关 于点扩展函数h和结构f的默认估计，所述点扩展函数h表示在块g上产
生的模糊(的方向和长度)，所述结构f表示块g的大幅度分量，比如块g 的平坦部分或者边缘等。
随后，信息处理设备1反复地更新针对每个块进行了默认估计的点扩 展函数h和结构f，使得点扩展函数h和结构f分别近似于真点扩展函数 和真结构。
注意，在以下，当执行更新k次时的点扩展函数h将被称为点扩展 函数hk,并且当执行更新k次时的结构f将被称为结构f。而且，在不必 区分每个块的点扩展函数hk的情况下，其将被简称为点扩展函数Hk。而 且，在不必区分每个块的结构产的情况下，其将被简称为模糊图像G。
信息处理设备1被配置为具有Hjnit产生单元21、支持限制单元22、 相乘单元23、相加单元24、重心校正(重心修正)单元25、 H产生单元 26、巻积单元27、处理单元28、余量产生单元29、相关单元30、相关单 元31、平均单元32、相减单元33、 U—init产生单元34、 U产生单元35、 相乘单元36以及总体变化滤波器37。
模糊图像G被输入到H一init产生单元21。 H_init产生单元21根据 构成输入模糊图像的像素的^度值(Y分量)检测&镨上的特征点，以执 行PSF的线性估计，并且向支持限制单元22和H产生单元26提供根据 PSF的线性估计而获得的默认估计PSF来作为点扩展函数H的默认值 H一init ( = H"。
注意，除了构成输入模糊图像G的像素的Y分量之外，H—init产生单元21还根据R分量、G分量、B分量和通过将R分量、G分量、B分量相加而获得的R+G+B分量来检测倒镨上的特征点，由此可以执行PSF的直线估计。
支持限制单元22产生用于仅仅更新作为待更新区域的来自HJnit产生单元21的默认值Hjnit (=默认的估计PSF)附近的支持限制i息，并且将该支持限制信i"提供给相乘单元23。现在，支持限制信息将被称为掩蔽信息(mask information),其中，仅仅默认估计PSF的附近作为待更新区域，除了待更新区域之外的区域固定地作为零。
相乘单元23提取来自相减单元33的相减结果Uko(G - HkOUk)-mean(Hk)中的对应于默认估计PSF周围的相减结果的那个相减结果，并且将该相减结果提供给相加单元24。也就是说，例如，相乘单元23将来自支持限制单元22的支持限制信息和来自相减单元33的对应的相减结果Uko(G - HkOUk) - mean(Hk)相乘，仅仅提取对应于PSF周围的相减结果的那个相减结果，并且将其提供给相加单元24。注意，o表示相关计算，并且O表示巻积计算。另外，mean(Hk)表示点扩展函数Hk的平均值。
相加单元24将来自相乘单元23的值Uko(G - HkOUk) - mean(H"的值Uko(G-HkOUk)乘以预定的乘数3u随后，相加单元24将来自H产生单元26的点扩展函数Hk加到作为结果而获得的值UJko(G - HkOUk) - mean(Hk)上，并且向作为结果而获得的值Hk+ UJko(G- HkOUk) - mean(Hk)应用用于未确定的乘数的4M^朗日方法，由此计算值a作为未确定的乘数X的解，
相加单元24将通过用于未确定的乘数的扭格朗日方法计算的值4V^值Hk+ UJko(G - HkOUk)國mean(Hk)，并且向重心^jE单元25提Wt为结果而获得的Hk+aUko(G-HkOUk)-mean(H"。由此，向重心校正单元25提糾对多个块中的每个块获得的Hk+ aUko(G國H力Uk) - mean(Hk) = Hk +AHk。
重心校正单元25通过双线性插值将点扩展函数Hk+AHk (其中，AHk是更新量)的重心移动到屏幕的中心(点扩展函数的默认值H—init的重心)，并且向H产生单元26提供重心已经被移动的点扩展函数Hk+AHk。注意，随后将参照附图8来说明其细节。
H产生单元26向相加单元24、巻积单元27和相关单元30提供来自Hjnit产生单元21的默认值Hjnit，作为点扩展函数H、另外，H产生单元26向相加单元24、巻积单元27和相关单元30提供来自重心校正单元25的点扩展函数Hk+AHk，作为更新后的点扩展函数Hk"。
在已经由重心校正单元25提供了通过更新点扩展函数Hk-1而获得的点扩展函数H^+AHk-1的情况下，H产生单元26类似地向相加单元24、巻积单元27和相关单元30提供来自重心校正单元25的点扩展函数jjk-i+Ajjk-1,作为更新后的点扩展函数H14.
巻积单元27在来自H产生单元26的点扩展函数Hk和来自U产生单元35的结构Uk之间执行巻积计算，并且向处理单元28提供其计算结果HkOUk。
处理单元28从输入的模糊图像G中减去来自巻积单元27的计算结果HkOUk，并且向余量产生单元29提供其相减结果G~HkOUk。
余量产生单元29向相关单元30和相关单元31提供来自处理单元28的相减结果G-HkOUk,作为余量E、
相关单元30在来自余量产生单元29的余量Ek和来自H产生单元26的结构Hk之间执行相关计算，并且向相乘单元36提供其计算结果Hko(G-HkOUk)。
相关单元31在来自余量产生单元29的余量Ek和来自U产生单元35的结构Uk之间执行相关计算，并且向相减单元33提供其计算结果Uko(G-HkOUk)
从H产生单元26经由处理单元28、余量产生单元29和相关单元31向平均单元32提供点扩展函数Hk。平均单元32计算来自相关单元31的点扩展函数Hk的平均值mean(Hk)，并且将其提供给相减单元33。相减单元33 ^目关单元31提供的Uko(G - HkOUk)中减去来自平均单元32的mean(Hk)，并且向相乘单元23提Wt为结果而获得的相减结果Uko(G隱HkOUV mean(Hk)。
U—init产生单元34使用由H—init产生单元21产生的默认值H—init(=Jl^人估计PSF)来以默认估if PSF减小输入模糊图像G (块g )，以将巻积的PSF转变为一个点，由此产生缩小的图像，所述缩小的图像是已经去除(减小)了模糊图像G的模糊的图像。另外，U一init产生单元34以默认估计PSF的尺寸放大所述缩小的图像，以产生图像，所述图像是通过放大而被模糊、并且其模糊已经被去除的图像；并且将其设置为结构U的默认值U一init并且将其提供给U产生单元35。注意，将参照l^描述的图7来说明由U一init产生单元34设置默认值U一init的方法的细节。U产生单元35向巻积单元27、相关单元31和相乘单元36提供来自总体变化滤波器37的结构Uk+1。另外，从总体变化滤波器37向U产生单元35提供结构Uk。 U产生单元35向巻积单元27、相关单元31和相乘单元36提供来自总体变化滤波器37的结构Uk.
相乘单元36将来自相关单元30的计算结果HkO(G- HkOUk)乘以来自U产生单元35的结构Uk，并且向总体变化滤波器37提供其相乘结果Uk{HkO(G國HkOUk)}，作为更新后的结构。
总体变化滤波器37将来自相乘单元36的相乘结果Uk{HkO(G -HkOU 分离为结构分量和紋理分量，并且向U产生单元35提供通过分离而获得的结构分量，作为结构Uk+1，所述结构1^+1用作要更新的下一个目标。
如上所述，巻积单元27到相关单元31、 U产生单元35、总体变化滤波器37等使用由H_init产生单元21产生的点扩展函数H的默认值H_init(=H°)，以通过Richardson-Lucy方法来执行结构ljG的更新。
另外，在已经更新了点扩展函数Hk"的情况下，巻积单元27到相关单元31、 U产生单元35、总体变化滤波器37等〗吏用通过更新而获得的最新点扩展函数Hk，通过Richardson-Lucy方法来执行结构1Jk的更新。
利用Richardson-Lucy方法，通过由总体变化滤波器37对结构分量和紋理分量的分离，对通过更新结构Uk而获得的结构Uk+"肖除了放大的噪声和所产生的振荡，由此可以大大地抑制噪声和振荡。
在此，结构分量表示图像的大幅度分量，比如平坦部分、边缘等，即，用作框架的分量。另外，紋理分量表示小幅度分量，比如精细图案等。此夕卜，在"Structure-Texture Image Decomposition Modeling, Algorithms,and Parameter Selection (Jean-Fra叫ois Aujol)"中详细i兌明了总体变^ffc滤波器37。
注意，对总体变化滤波器37设置指示结构分量和紋理分量之间的边界的过滤阈值，作为M之一，并且调整总体变化滤波器37的该M,由此可以在要输出的结构分量(结构)中包括更多的细节。然而，对于其中反复地交替更新结构Uk和后述的点扩展函数Hk的反复更新处理的初始阶段(!^在图10中)，还没有充分地更新点扩展函数Hk，因此，在一些情况下，点扩展函数Hk可能包含许多误差。
因此，在使用包^i午多误差的点扩展函数H^来执行结构IJk的更新时，对于要通过更新而获得的结构Uk+1，发生与在点扩展函数Hk中包含
的误差相对应的振荡等。
类似地，同样对于结构Uk，发生与在点扩展函数Hk中包含的误差相对应的振荡等。这也引起对于JH吏用已经发生振荡等的结构1^进行更新的点扩展函数Hk的副作用。
因此，在还没有充分地更新点扩展函数Hk时，将要对总体变化滤波
器37设置的过滤阈值设置得高，由此大幅度地消除振荡和噪声，并且防止要更新的结构u由于出现振荡等而变差。
在点扩展函数Hk被更新到一定程度，并且近似于较真的点扩展函数
时，将要对总体变化滤波器37设置的过滤阈值设置得低，因此，由真点
扩展函数Hk执行细节的恢复。也就是说，在还没有充分地更新点扩展函
数I^时，过滤阈值被设置得高，使得在构成从总体变化滤波器37输出的结构U"的像素中，表示相邻像素之间的亮度差绝对值的总体变化变小。
另外，在点扩展函数I^被更新到一定程度，并且近似于较真的点扩展函数时，所述过滤阈值被设置得低，使得从总体变化滤波器37输出的结构If的总体变化不再变得更小。
因此，利用总体变化滤波器37，对结构TJk进行平滑，同时保持在结构Tjk中包括的边缘，由此可以消除在结构U中包括的振荡和噪声。
注意，对于第一实施例，我们说总体变化滤波器37被配置为通过下述方式对结构11"肖除放大的噪声和所产生的振荡在不论点扩展函数炉的更新程度如何、过滤阈值都被设置得足够低的状态下，通过总体变化滤波器37来分离结构分量和紋理分量。
H产生单元26到余量产生单元29、相关单元31、 U产生单元35等使用结构Uk的默认值U_init，通过landweber方法来更新点扩展函数Hk。另外，在已经更新了结马U^的情况下，H产生单元26到余量产生单元29、相关单元31、 U产生单元35等使用通过更新而获得的最新结构lA以通过landweber方法来执行点扩展函数Hk的更新。
下面将对下述处理进^i兌明，在所述处理中，构成^^糊图像的多个块中的预定块g的结构f41 (通过更新获得的最新结构)被用作结构Uk，并且随着通过landweber方法对点扩展函数Hk的更新，更新了预定块g的点扩展函数hk。
现在，如果当前的结构产是f，并且当前点扩展函数I^是h，则通过下面的表达式(1 )来提供代价函数。
<formula>formula see original document page 19</formula>注意，在表达式(l)中，IHl表示范数，并且*表示相乘.
在当前的结构f固定的情况下，为了最小化表达式(1)的e2，如下 面的表达式(2)中所示，利用变量h (点扩展函数h)来部分地求导表达 式(1),由此获得下降方向.
<formula>formula see original document page 19</formula>
在沿着通过表达式(2)获得的下降方向搜索当前的点扩展函数h时， 存在表达式(2)的最小值。在通过表达式(2)获得的下降方向上使当前 的点扩展函数h前进步长X时，如下面的表达式(3)中所示，可以获得 更新的点扩展函数h。<formula>formula see original document page 19</formula>
注意，在表达式(2)和表达式(3)中，圃團表示相关算子，而由圆 團中的x标ie^J成的符号表示巻积计算，
另外，在表达式(3)中，点扩展函数1^+1表示更新后的点扩展函数， 并且点扩展函数hk表示当前的点扩展函数h (更新之前的点扩展函数)。 此外，结构f表示当前的结构f,
然而，结构hk"被强制为对于构成模糊图像的多个块中的每个块的点 扩展函数h^(i)，满足i:Uh(i)-l，因此，通过由H产生单元26到余量 产生单元29、相关单元31、 U产生单元35等形成的循环来归一化点扩展 函数h"1。因此，当作为归一化的结果，点扩展函数hk的更新量A^变得 与点扩展函数^具有相同符号时，点扩展函数h^无意中返回到在更新 之前的值。在向表达式(3 )加上= h(i)-l的限制以应用用于不确定的乘数的 M朗日方法时，得出下面的表达式(4)。
hk+1 =hk+入f ko(g-hk f k)-mean(h) …(4)
注意，在表达式(4)中，mean(h)表示hk的平均值。mean(h)被相减 单元33减去，
另外，根据舍入误差，在更新点扩展函数hk时，重心有时偏离屏幕 的重心，因此获得不精确的余量e，并且这引起对结构f的更新(恢复) 的副作用。因此，重心校正单元25通过在一个像素上或者在一个像素(pix) 之下的双线性插值来执行平行移动，以使得点扩展函数h、Ahk ( -hk+1) 和重心达到屏幕的重心。
信息处理设备1如上所述地计算更新后的结构Uk，以作为表示构成 模糊图像的、从中去除了模糊的块的结构.随后，信息处理设备l通it^J 成每个所计算的结构Uk、以便变为一个图像，来获得从其已经去除了模 糊的原始图像。
接着，将对H一init产生单元21执行的默认估计PSF的估计方法的概 要进行说明。
通过无模糊原始图像(对应于模糊图像的原始图像)和PSF之间的 巻积来建模模糊图像。直线PSF的光镨具有下述特征，其中，模糊长度 周期性地落入零点，并且根据原始图像和PSF之间的巻积，同样对于模 糊图像的光谙，模糊长度周期性地落入零点。
获得模糊长度落入零点的间隔和方向，由此可以近似PSF的直线模 糊的长度和方向。因此，对模糊图^U4行FFT (快速傅立叶变换)，以计 算模糊图像的光谱，并且获得所计算的光镨的对数，由此变换为原始图像 的光谱与PSF (MTF)的光镨的和。
在此必须使用的信息是单独的MTF，因此，对;^糊图^象的光谱增加 和平均许多补丁 (patch),由此丟失原始图像的光镨的特征，并且仅仅可以表示MTF的特征。
接着，将参照图3至图6来说明用于估计默认估计PSF的具体估计 方法。图3图示了用于产生关于;^糊图4象的倒镨的产生方法。
H」nit产生单元21将待输入的模糊图像划分为多个块，对每个划分 出的块执行FFT (快速傅立叶变换)，以计算对应于每个块的倒谙。
也就是说，例如，Hjnit产生单元21对作为构成通过划分模糊图像 而获得的块的像素的Y分量、R分量、G分量和B分量之一以及R+G+B 分量进4亍FFT，以计算对应的光镨'
另外，H一init产生单元21获得关于对应于每个块的光谱的平方和的 对数，并且通过用于去除在JPEG压缩时产生的失真的JPEG去除滤波器 来去除失真。这防止了在JPEG压缩时产生的失真影响光"^lt度。
另夕卜，H_init产生单元21通过HPF(高通滤波器)^Mt与通过JPEG 去除滤波器去除失真后的每个块g相对应的光谱gs的平方和的对数 1ogLlgsf执行过滤处理，以强调由于模糊导致的周期性下降，由此减小由 于^糊导致的平滑改变。
H一init产生单元21对减去了移动平均的残余分量、即通过HPF过滤 处理后的光镨的平方和的对数log:C|gs|2进行IFFT (逆快速傅立叶变换)， 以产生一种倒镨。
更具体而言，H一init产生单元21将通过HPF过滤处理后的光谦的平 方和的对数logSlgs卩的正/负符号反转。随后，Hjnit产生单元21丢弃包 括正/负符号已经M转的1ogi:igsf的负号的部分，并且仅仪基于包括正 号的部分来产生一种倒谦。
随后，Hjnit产生单元21对所产生的倒镨计算发光点的最大值。也 就是说，BLinit产生单元21计算包括所产生的倒谱的最大值的倒谱，作 为发光点的最大值.
接着，图4A-4C图示了用于对所产生的倒旙计算发光点的最大值的 计算方法。如图4A中所示，H_init产生单元21通过光点滤波器对所产生的倒镨进行过滤处理，所述光点滤波器将相邻的像素相比较，并且对由 具有大亮度的多个像素组成的^强烈的反应。
另夕卜，如图4B中所示，H一init产生单元21从通过图4A中示出的点 滤波器的过滤处理后的倒镨中去除包括最大值的一个峰值.
此外，Hjnit产生单元21确定光点位置，如图4C中所示。注意， 所述光点位置表示由形成包括最大值的一个峰值的多个倒谱构成的光点 的重心位置。
接着，图5描述了用于确定默认估计PSF的估计是否已经成功的确 定方法。注意，将参照随后描述的图6来描述默认估计PSF的估计方法。
发光点具有原点对称性，因此，在原点对称位置有另一个特征点。也 就是说，作为特征点，存在相对于原点对称的两个光点。
在与这两个点相邻的最小正方形范围内存在超过阈值的部分的情况 下，即，当在最小正方形范围内存在具有超过阈值的值的倒镨的情况下， H一init产生单元21确定默认估计PSF的默认估计已经失败。
在这种情况下，H一init产生单元21将进行了默iM古计的默i人估计PSF 近似为其中模糊的分布按照高斯分布(正态分布)的PSF，并且将作为其 结果所获得的PSF设置为默认的H」nit.
另外，当在与所述两个点相邻的最小正方形范围内没有超过阈值的部 分的情况下，即，当在最小正方形范围内没有具有超过阈值的值的倒镨的 情况下，Hjnit产生单元21确定默认估计PSF的默认估计已经成功，并 且将默认估计PSF i殳置为默iMi H一init,
接着，图6图示了用于基于所述两个光点来估计(产生)默认估计 PSF的估计方法。当在与所述两个光点相邻的最小正方形范围内没有超过 阈值的部分的情况下，如图6中所示，H一init产生单元21产生连接具有 原点对称性的光点位置的直线以作为默认估计PSF，并且将其设置为默认 值H一init。
接着，将参照图7来对U—init产生单元34所执行的用于产生结构Uk的默认值U_init的产生方法进疗说明。U—init产生单元34以默认估计 PSF的尺寸来缩小待输入的模糊图像，以产生缩小的图像，并且以默认估 计PSF的尺寸iMt大所产生的缩小图像，以产生放大的图像。!^，U一init 产生单元34将所产生的放大图像分离为结构分量和紋理分量，并且向U 产生单元35提供通过分离获得的结构分量以作为结构U的默认值U一init.
也就是说，例如，U」nit产生单元34以与从Hjnit产生单元21提 供的、构成输入模糊困像的块的默认估计PSF被缩小为一个点的缩小尺 寸相同的缩小尺寸来缩小所述块，由此产生缩小的块，在所述块中已经去 除(减少)了所产生的模糊。
随后，U—init产生单元34以与被缩小为一个点的默认估计PSF 大为原始的默认估计PSF的放大尺寸相同的放大尺寸来放大所产生的缩 小块，由此产生放大块，在所述放大块中发生了由于放大而导致的散焦， 但是还没有发生模糊。U_init产生单元34向U产生单元35提供所产生 的放大块来作为默i人值U—init (结构)。
接着，将参照图8来对重心校正单元25所执行的用于校正重心的校 正方法ii行，沈明。图8图示了通过双线性插值进行的插值方法。
如上所述，有可能在H产生单元26到余量产生单元29、相关单元 31和U产生单元35等更新Hk时，重心由于^^入误差而偏离屏幕的重心， 因此，如图8中所示，重心校正单元25通过双线性插值来执行平行移动， 以使得点扩展函数Hk + AHk的重心达到屏幕的中心。
接着，将参照图9A和9B来对支持限制单元22所执行的支持限制处 理进行说明。当H产生单元26到余量产生单元29、相关单元31、 U产 生单元35等更新点扩展函数Hk时，更新量AH的灵活性很高，并且如图 9A中所示，在除真PSF (点扩展函数)之外的部分出现假像素，在假像 素中^Mt确地反映更新后的点扩展函数Hk十AHk所表示的模糊。因此， 如图9B中所示，支持限制单元22仅仅允许更新默认估计PSF的附近， 并且掩蔽除了默认估计PSF附近之外的区域，即使在更新量AH^上有像 素，由此应用支持限制，以便仅仅更新默认估计PSF的附近。顺便提及，利用点扩展函数Hk的更新循环，结构Uk的更新量Mjk
逐渐减小，并且在减小到一定程度时，余量E^G-Hk傘(!Jk + AUk)饱和 (余量E已经M改变)，并且停止点扩展函数Hk的更新。因此，调整 向总体变化滤波器37设置的过滤阈值，由此有目的地降低(减小)余量 Ek，所述余量Ek变为用于恢复点扩展函数Hk的更新的触发器。
另外，对于总体变化滤波器37，在ii行了最终输出的情况下，过滤 阈值减小(依序降低)，由此可以克服由于结构输出而导致的细节的缺少。
作为在更新点扩展函数Hk时使用的结构Uk的信息，除了亮度Y (Y 分量，其表示通过对R分量、G分量和B分量中的每个分量加权而获得 的相乘结果的和)之外，还可以^fM R、 G和B这3个通道的和(R分 量、G分量和B分量的和)。与>(^仅利用亮度Y进行更新的情况的差别是， 甚至对于包括模糊单独反映在通道R和B上的边缘的模糊图像，也可以 获得与通道G类似的大反馈。另夕卜，作为在更新点扩展函数Hk时使用的 结构Uk的信息，可以使用R分量、G分量和B分量，
接着，将参照图10的流程图来描述信息处理设备l所执行的反复更 新处理。注意，对于反复更新处理，使用下述算法，其中，基于相互默认 值来交替地更新点扩展函数Hk和结构Uk,而不单独地更新点扩展函数 Hk和结构Uk。
在步骤S31和S32中，执行对于默认值H—init和默认值U一init的默
认估计以;M"每个^:、全局变量的初始化等。
具体而言，例如，在步骤S31中，H一init产生单元21检测在来自输 入的模糊图像G的倒谱上的特征点，执行PSF的直线估计，将从其直线 估计获得的默认估计PSF设置为点扩展函数H的默认值H一init，并且将 该默认值H一init提供给支持P艮制单元22和H产生单元26。
在步骤S32中，U_init产生单元34使用由H一init产生单元21设置 的默认值H—init (=默认估计PSF)来以默认估计PSF的尺寸缩小输入 模糊图像，并且将巻积的PSF转变为一个点，由此产生缩小的原始图像，所述缩小的原始图像是其中模糊图像的模糊被去除的图像。
另外，Ujnit产生单元34以默认估计PSF的尺寸束故大所述缩小的
原始图像，以产生已经由于插值而导i模糊、并且已经校正了其模糊的图
像，将该图像设置为结构lJk的默认值U一init，并且将其提供给U产生单 元35。
具体上，例如，U—init产生单元34以与从Hjiiit产生单元21提供 的、构成输入模糊图像的块的默认估计PSF被缩小到一个点的缩小尺寸 相同的缩小尺寸来缩小块，由此产生去除(减小)了在块中产生的模糊的 缩小块。
随后，U—init产生单元34使以与被缩小到 一个点的默认估计PSF被 放大到原始的默认估计PSF的放大尺寸相同的放大尺寸来故大所产生的 缩小块，由此产生已经发生了由于放大导致的散焦、但是还没有发生模糊 的放大块。
U一init产生单元34向U产生单元35提供所产生的放大块来作为默 认值U_init (结构Ue )。
在还没有精确地识别出结构Uk和点扩展函数Hk两者的情况下，在步 骤S33中，使用最新的点扩展函数Hk的信息来更新结构Uk，并且在步骤 S34中，使用最新的结构Tjk的信息来更新点扩展函数Hk。
根据该循环，当交替地更新结构Uk和点扩展函数E^时，结构l^逐 渐地会聚在真结构U上，并且点扩展函数Hk逐渐地会聚在真点扩展函数 H上。
具体而言，在步骤S33中，巻积单元27到相关单元31、 U产生单元 35、总体变化滤波器37等使用点扩展函数Hk的默认值H—init (=默认的 估计PSF)，通过根据现有技术的Richardson-Lucy方法来执行结构U0 的更新。
在步骤S33中，巻积单元27执行在作为来自H产生单元26的点扩 展函数Hk的默认值H一init的点扩展函数H°和来自U产生单元25的结构11°之间的巻积计算，并且将其计算结果11°011°提供给处理单元28。
处理单元28从输入的模糊图像G中减去来自巻积单元27的计算结 果ifOlA并且向余量产生单元29提供其相减结果G - HGOU°。
余量产生单元29向相关单元30和相关单元31提供来自处理单元28 的相减结果G-HQOlA
相关单元30在来自余量产生单元29的相减结果G- H°OU°和来自H 产生单元26的点扩展函数H。之间执行相关计算，并且向相乘单元36提 供其计算结果hV(G - h°OU°)。
相乘单元36将来自相关单元30的计算结果H°o(G - H^OU0)乘以来自 U产生单元35的结构U°，并且向总体变化滤波器37提供相乘结果 U°{H°o(G- H"OU""来作为在更新后的结构。
才艮据来自相乘单元36的相乘结果U^HV(G - HGOUe)}，总体变化滤 波器37执行用于抑制放大噪声和所产生的振荡的处理。
随后，总体变化滤波器37向U产生单元35提供通过其处理而获得 的相乘结果U°{HV(G - H。OU、的结构分量和紋理分量中的结构分量。
U产生单元35获得从总体变化滤波器37提供的结构分量以作为结构 U1，结构l^是下一个结构的要更新的目标。
随后，为了进一步更新所获得的结构U1， U产生单元35向巻积单元 27、相关单元31和相乘单元36提供结构U1。
在步骤S34中，H产生单元26到余量产生单元29、相关单元31和 U产生单元35等使用结构Uk的默认值U一init，通过landweber方法执行 点扩展函数lf的更新。
注意，在上述的步骤S33中，余量产生单元29向相关单元30和相关 单元31提供来自处理单元28的相减结果G画HGOU°。
在步骤S34中，相关单元31在来自余量产生单元29的相减结果0-11°011°和来自U产生单元35的结构U。之间执行相关计算，并且向相减单元33提供其计算结果HVG-H。OU。)。另夕卜，相关单元31经由巻积单 元27、处理单元28和余量产生单元29向平均单元32提供来自H产生单 元26的点扩展函数H。。
平均单元32计算来自相关单元31的点扩展函数H°的平均值 mean(HQ)，并且将该平均值提供给相减单元33。相减单元33从相关单元 31提供的计算结果HV(G- H。OU。)中减去来自平均单元32的mean(HG)， 并且向相乘单元23提供作为其结果而获得的相减结果HDo(G -H0OU°)-mean(H0)。
相乘单元23基于来自支持限制单元22的支持限制信息，仅M来自 相减单元33的相减结果HGo(G - H"OUVmean(H"中提取与在默认估计 PSF周围的相减结^目对应的结果。
相加单元24将来自相乘单元23的值Uko(G - HkOUk) - mean(Hk)中的 值Uk()(G-B^OU"乘以预定的乘数X。随后，相加单元24向作为其结果 而获得的值UJko(G - HkOUk) - mean(H"加上来自H产生单元26的点扩 展函数Hk，向作为其结果而获得的Hk+ 3Xfko(G- HkOUk)誦mean(H"应用 用于未确定的乘数的扭格朗日方法，由此计算作为未确定的乘数X的解的 值a。
相加单元24将通过用于未确定的乘数的扭格朗日方法计算出的值代 入值Hk+ UJko(G - HkOUk) - mean(Hk)中，并且向重心校正单元25提## 为其结果而获得的值Hk+ aUko(G - HkOUk) - mean(Hk)。
由此，向重心校正单元25提，对构成模糊图像的多个块而获得的 Hk+ aUko(G- HkOUk)國mean(Hk) = H0+AH0。
重心校正单元25通过双线性插值来将点扩展函数H°+AHe的重心移 动到屏幕的中心(点扩展函数的默认值H一init的重心)，并且向H产生单 元26提供重心已经被移动的点扩展函数If+AH、 H产生单元26获得来 自重心校正单元25的点扩展函数Hn+AH。以作为更新的默认扩展函数H1。
随后，为了进一步更新所获得的点扩展函数H1， H产生单元26向相加单元24、巻积单元27和相关单元30提供点扩展函数H1。
在步骤S35中，确定是否结束反复更新处理。具体而言，例如，确定 是否(至少结构Hk或者)更新的结构Uk已经会聚。在确定更新的结构 Uk还没有会聚的情况下，处理返回到步骤S33。
注意，例如，处理单元28基于对应于构成模糊图像的每个块的值G國
HkOUk (= E"的平方和i:iE"f是否小于预定值来确定关于更新的结构Uk
是否已经会聚。
或者，总体变化滤波器37可以基于像素是否构成来自相乘单元36 的结构Uk,确定表示相邻像素之间的亮度差绝对值和的总体变化从增大 改变到减小。
在步骤S33中，在步骤S34中的前一个处理中的更新的点扩展函数 Hk (例如H1)被用于通过传统的Richardson-Lucy方法执行在步骤S33 中的前一个处理中的更新结构U15 (例如U1)的更新。
具体而言，在步猓S33中，巻积单元27到相关单元31、 U产生单元 35、总体变化滤波器37等使用步骤S34中的前一个处理中的更新点扩展 函数Hk(例如H1 )，以通过传统的Richardson-Lucy方法执行结构Uk(例 如U1)的更新。
在步骤S33中的处理结束后，在步骤S34中，在步骤S33中的前一 个处理中的更新结构Uk (例如U1)被用于通过landweber方法执行在步 猓S34中的前一个处理中的更新点扩展函数Hk (例如H1)的更新。
也就是说，在步骤S34中，H产生单元26到余量产生单元29、相关 单元31、 U产生单元35等使用步骒S33中的前一个处理中的更新结构 Uk (例如U1)来通过landweber方法执行更新点扩展函数Hk (例如H1) 的更新。
所述处理从步骤S34进行到步骤S35，其后，将重复同样的处理。注 意，在步骤S35中确定为更新结构1/已经会聚的情况下，结束反复更新 处理。如上所述，对于所述反复更新处理，已经进行了下述布置，其中，反 复地执行结构1^和点扩展函数！^的更新，由此结构Uk会聚到真结构U (并且，点扩展函数I^会聚到真点扩展函数H)，并且因此可以抑制在最 终获得的结构Uk上产生的振荡和噪声。
另外，甚至从所获得的作为默认H一init的PSF卜点扩展函数H" 不精确的状态中也可以获得精确的PSF,即真PSF或者接近于真PSF的 PSF。
另夕卜，根据PSF的支持限制，在默认的估计方向上更新默认值Hjnit (-默认估计PSF)，由此可以没有发^U^获得真PSF或者接近于真PSF 的PSF。
注意，对于所述反复更新处理，例如，可以进行下述布置其中，在 步骤S31中默认值Hjnit ( -点扩展函数11°)的估计(产生)成功的情 况下，在步骤S33中，对默认值H」nit执行结构U"的更新，并且在步骤 S31中默i人值H一init的估计(产生)失败的情况下，在步骤S33中，通过 高斯来近似PSF，近似得到的PSF被设置为默认值Hjnit，由此执行结 构U"的更新。在这种情况下，可以防止由于默i人值H一init (=默认估计 PSF)的移位而导致的结构l^的变差。
另外，已经说明，在步骤S33中，巻积单元27到相关单元31、 U产 生单元35、总体变化滤波器37等通过传统的Richardson-Lucy方法来执 行结构IJk的更新，但是如果使用提高了 Richardson-Lucy方法的处理速 度的R-L高速算法，则可以更快速地将结构Uk更新为真结构U。
另外，已经说明，对于图10中的反复更新处理，在步骤S35中，根 据更新结构Uk是否已经会聚来确定是否结束反复更新处理，但是本发明 不限于此。
具体而言，例如，可以进行下述布置，其中，在步骤S35中确定是否 已经将结构1^和点扩展函数Hk更新了预定次数，并且在确定已经进行了 预定次数的更新的情况下，结束反复更新处理。注意，作为预定次数，例如，期望即使对于低精度PSF也不发生振荡的次数、或者可以消除由总 体变化滤波器37轻微产生的振荡的次数。
顺便提及，对于本发明的第一实施例，将过滤阈值充分地减小的结构 Uk作为最终输出，但是可以使用模糊图像和更新结构Uk来执行根据传统 的残余去巻积的方法。
图11图示了被配置为使用模糊图像和更新结构Uk来执行根据传统的
残余去巻积的方法的信息处理设备61的配置示例。这个信息处理设备61 被配置为由巻积单元91、相减单元92、相加单元93、 R-L去巻积单元94、 相减单元95、相加单元96、偏置单元97和增益图(Gain Map ) 98组成。
更新的Hk和更新的IJk被提供到巻积单元91。巻积单元91在更新的 Hk和更新的Uk之间执行巻积计算，并且向相减单元92提供作为其结果 而获得的值HkOUk。
模糊图像G被提供给相减单元92。相减单元92从所提供的模糊图像 G中减去来自巻积单元91的值HkOUk，并且向相加单元93提供其相减 结果G誦HkOUk以作为残余分量。
为了将来自相减单元92的残余分量G - HkOUk改变为正值，相加单 元93向残余分量G- HkOl^加上来自偏置单元97的偏置值，并且向R-L 去巻积单元94提供其相加结果。注意，向残余分量G-I^OUk加上所述 偏置值以将残余分量G - HkOUk改变为正值的原因是，由R-L去巻积单 元94在所述处理中处理正值。
R-L去巻积单元94基于在增益图单元98中保存的增益图和更新的 Hk来对于来自相加单元93的相加结果执行在Image Deblurring with Blurred/Noisy Image Pairs (Lu Yuan)中描述的残余去巻积。因此，抑制 了已经被加上偏置值的振荡的残余分量。
相减单元95从来自R-L去巻积单元94的处理结果中减去与在相加 单元93处加上的偏置值相同的偏置值，并且获得从中已经抑制了振荡的 残余分量，即，已经恢复了模糊图像的紋理的恢复结果。随后，相减单元95向相加单元96提供所获得的紋理的恢复结果。
更新的结构IJk被提供给相加单元96。相加单元96将来自相减单元 95的恢复结果和所^1供的更新结构Uk相加，并且输出作为其结果的恢复 图像，在所述恢复图像中已经M糊图像中去除了模糊.
也就是说，例如，相加单元96将与构成模糊图《象的块相对应的紋理 恢复结果和更新结构IJk相加，并且从构成模糊图像的块中获得已经去除 了模糊的恢复块，以作为其相加结果.随后，相加单元96获得与构成模 糊图像的每个块相对应的恢复块，并且连接所恢复的每个块，由此输出恢 复图像。
偏置单元97预先M要增加以将残余分量G曙HkOUk改变为正值的 偏置值。偏置单元97向相加单元93和相减单元95 !1供预先^M^的偏置 值。增益图98预先M要用于调节残余分量G- HkOl^的增益的增益图。
如图11中所示，通过更新的点扩展函数PSF (点扩展函数Hk)对于 更新的结构Uk产生模糊。对来自模糊图像G的残余分量G - HkOUk执行 去巻积(通过R-L去巻积单元94的处理)，并且向更新的结构Uk加上所 获得的结果(恢复结果，其中已经恢复了模糊图4象的紋理)，由此恢复余 量的详细信息，并且获得精细的恢复结果。
注意，对于本发明的第一实施例，已经对RGB空间(由以R分量、 G分量、B分量表示的像素构成的模糊图像)执行了反复的更新处理，但 是也可以对其他颜色空间比如YUV空间等执行类似的反复更新处理。
图12是描^tYUV空间执行反复更新处理的图，如图12所示，可 以进行下述布置，其中对于YUV空间，在向Y单独应用反复更新处理 (GSDM，逐渐结构去巻积方法)以计算精确的PSF后，使用所计算的 使得振荡不发生的精确PSF对U/V分量进行通过Richardson-Lucy方法 等的处理，并且将其加到Y上。
注意，对于上述第一实施例，已经进行了下述布置使用landweber 方法来更新点扩展函数Hk，并且还使用Richardson-Lucy方法来更新结 构Uk。但是，可替选地，例如，可以进行下述布置4吏用Richardson-Lucy方法来更新点扩展函数Hk，并且还使用landweber方法来更新结构Uk。
接着，将参照图13来对信息处理设备121进行i兌明，所述信息处理 设备121使用Richardson-Lucy方法来更新点扩展函数Hk，并且还使用 landweber方法来更新结构Uk。
图13图示了作为本发明的笫二实施例的信息处理i殳备121。注意， 对于该信息处理设备121，使用相同的附图标号M示图1中所示的用作 第一实施例的信息处理设备l的部件中的共同部件，并且将适当地省略其 说明。
具体而言，除了对于信息处理设备121分别提供取代相加单元24的 相乘单元151、取代相乘单元36的相加单元152和取代相乘单元23、平 均单元32和相减单元33的相乘单元153之外，以与信息处理i殳备1相同 的方式来配置信息处理i殳备121。
分别v^目乘单元153向相乘单元151提供对应于默认估计PSF周围 区域的计算结果Uko(G- HkOUk)，从H产生单元26向相乘单元151提供 点扩展函数Hk。
相乘单元151将来自相乘单元153的计算结果Uko(G - 1^011"与来自 H产生单元26的点扩展函数Hk相乘，并且向重心单元25提供作为其结 果而获得的点扩展函数Hk+1 = Hk Uko(G■ HkOUk)。分别M目关单元30向 相加单元152提供计算结果Hko(G- HkOUk),从U产生单元35向相加单 元152提供结构Uk。
相加单元152将来自U产生单元35的结构Uk加到通过将来自相关 单元30的计算结果Hko(G - B^OU"与未确定的乘数X相乘而获得的值 lHko(G - !^OU"上.随后，相加单元152通过用于未确定的乘数的4i^ 朗日方法来对作为其结果而获得的相加结果Uk+ XHko(G - HkOU"计算未 确定的乘数l。
相加单元152将所计算的作为未确定的乘数X的解的常数^A4目加结 果Uk+ mko(G- HkOUk)，并且向总体变化滤波器37提供作为其结果而获 得的结构Uk+1 = Uk+ XHko(G誦HkOUk).
分别M目关单元31向相乘单元153提供计算结果Uko(G - HkOUk)， 从支持限制单元22向相乘单元153提供支持限制信息。
相乘单元153基于来自支持限制单元22的支持限制信息，仅仅从来 自相关单元31的计算结果Uko(G- HkOlJk)中提取与默认估计PSF周围的区域对应的计算结果，并且将其提供给相乘单元151。
同样，对于该信息处理设备121，可以提供与对于用作第一实施例的 信息处理i更备1相同的操作。
对于笫二实施例，已经进行了下述布置使用Richardson-Lucy方法 来更新点扩展函数Hk，并且还使用landweber方法来更新结构Uk。但是， 也可以使用Richardson-Lucy方法来更新点扩展函数Hk和结构lJk，或者 使用landweber方法来更新点扩展函数Hk和结构Uk.
注意，对于笫一和第二实施例，已经进行了下述布置对构成模糊图 像的多个块执行反复构成处理。但是也可以对作为一个块的模糊图傳本身 执行反复更新处理。
注意，对于笫一和第二实施例，已经进行了下述布置对模糊图像进 行反复更新处理.但是本发明不限于此。具体而言，例如，可以执行容限 处理，其中，将模糊图像划分为多个块，使用用作第一实施例的信息处理 设备1或者用作第二实施例的信息处理设备121对每个块执行反复更新处 理，并且如图14和图15中所示，连接反复更新处理后的多个块，由此在 恢复后产生恢复图像。
具体而言，对于第一和第二实施例，已经进行了下述布置将模糊图 像划分为多个块，并JL5it每个块执行反复更新处理。但是对于容限处理， 放大(扩展)所划分的块，然后执行反复更新处理，并且连接通过将反复 更新处理后的块缩小为原始块尺寸而获得的多个缩小的块，由此在恢复后 产生恢复图像，
图14和图15图示了容限处理的情况，其中连接反复更新处理后的多 个块，由此在恢复后产生恢复图像。
接着，将参照图14树用于产生与构成模糊图像的多个块中的每个 块相对应的结构IJk的处理进行说明。如图14中所示，放大(扩展)构成 模糊图像的多个块中的每个块(例如在图14中所示的G),以保持相邻块 之间的连续性，使得相邻的块具有使得两者部分重叠的尺寸。因此，产生 放大的块(例如在图14中附加有"伪"的G，)。
另夕卜，也以相同的尺寸来放大与构成模糊图像的每个块相对应的结构 UG (例如在图14中所示的U)。因此，产生扩大的结构(例如在图14中 附加有"伪"的U，)。
随后，基于放大的块、放大的结构和基于放大块而产生的点扩展函数H0 (例如在图14中所示的PSF),通过Richardson-Lucy方法执行放大结 构的更新。通过以Richardson-Lucy方法更新放大的结构而获得的更新后 的放大结构(例如在图14中所示的附加有"伪"的更新的U)被缩小到 原始结构l^的尺寸.
因此，作为与构成模糊图像的多个块中的每个块相对应的结构，获得 保持了相邻块之间的连续性的结构(例如在图14中所示的更新的U)，并 且如图15中所示，连接所获得的结构，由此可以获得模糊已经减小(去 除)的恢复图像。
另外，可以进行下述布置对于一个放大的块，执行点扩展函数Hk 的更新，并且将最终获得的点扩展函数用作另一个放大的块的点扩展函 数，以更新与所述另一个放大的块相对应的结构Uk。在这种情况下，对 于所述另一个放大的块，也应当执行对结构IJk的单独更新，并且不必执 行点扩展函数Hk的更新。
因此，与对每个放大的块执行对应的点扩展函数Hk的更新的情^U目 比较，可以减小用于计算每个放大的块的点扩展函数H的存储器(的存 储容量)，并且也可以减小用于更新(计算)点扩展函数的计算量。
另夕卜，对于笫一实施例，已经进行了下述布置将模糊图像划分为多 个块，对每个M复地更新点扩展函数Hk和结构lJk。但是也可以进行下 述布置对多个块中的预定块单独地执行点扩展函数Hk的更新，并且将 最终获得的点扩展函数用作另一个块的点扩展函数。由此，可以减小用于 计算每个块的点扩展函数I^的存储器，并且也可以减小用于更新(计算) 点扩展函数的计算量。
顺便提及，对于反复更新处理，已经进行了下述布置对模糊图像执 行处理.但是除此之外，也可以对已经出现由于焦距移位、平面内均匀模 糊或者平面内不均匀环境^糊等导致的;^糊图傳—执行该处理。
另夕卜，对于反复更新处理，可以对预先记录的已经发生模糊的移动图 像执行所述处理，并且也可以执行所述处理以检测在对运动图像成像时产 生的模糊，以实时地去除该模糊。
对于在图1中的第一实施例，已经进行了下述布置为了分离结构部 件和紋理部件，使用了总体变化滤波器37。但是除此之外，还可以例如 使用双边滤波器、s滤波器等。
对于第一和第二实施例，已经进行了下述布置处理单元28^^糊图像G中减去来自巻积单元27的计算结果HkOUk,并且向余量产生单元 29提供其相减结果G-HkOUk。但是，可替选地，甚至对于将模糊图4象G 除以来自巻积单元27的模糊结果HkOUk也获得相同的结果，并且向余 量产生单元29提供其相减结果(HkOU"/G。
对于上述的反复更新处理，已经进行了下述布置在步骤S33中，使 用点扩展函数Hk来执行结构lJk的更新，与此同时，在步骤S34中，使用 结构lJk来执行点扩展函数Hk的更新。但是本发明不限于此。也就是说， 例如，对于反复更新处理，可以交替地执行结构的更新和点扩展函数的更 新。
具体而言，例如，可以进行下述布置在步骤S33中，4吏用点扩展函 数Hk来执行结构Uk的更新，并且在步骤S34，使用通过其更新而获得的 结构Uk"执行点扩展函数Hk的更新。此外，在下一个步骤S33中，使用 通过所述更新而获得的点扩展函数Hk"来执行结构Uk"的更新。并且在 下一个步骤S34中，使用通过所述更新而获得的结构U^来执行点扩展 函数H^的更新。由此，可以交替地执行结构和点扩展函数的更新。
在这种情况下，例如，与使用结构Uk来执行点扩展函数Hk的情;;U目
比较，近似于较真结构的结构UkW用于执行点扩展函数Hk，由此，可以
获得近似于扩展函数的较真点的点扩展函数Hk+1以作为点扩展函数Hk的 更新结果。
另夕卜，作为第一实施例的信息处理设备1和作为笫二实施例的信息处 理设备121可以应用于例如记录/再现i更备，由此可以再现或者记录图1象等.
顺便提及，上述系列的处理可以通过硬件执行，并且也可以通过^t件 执行。在通过软件来执行所述系列处理的情况下，构成其软件的程序^t从 程序存储介质安装到所谓的内置计算机上或者能够通过各种类型的被安 装程序来执行各种类型的功能的通用个人计算机上等。
图16图示了通过程序来执行上述系列处理的计算机的配置示例。 CPU (中央处理单元)201根据存储在ROM (只读存储器)202或者存 储单元208中的程序来执行各种类型的处理。CPU 201执行的程序和数据 等被适当地存储在RAM (随;^取存储器)203中。CPU 201、 ROM 202 和RAM 203通过总线204相互连接。输V输出接口 205也经由总线204连接到CPU 201。由键盘、鼠标 以及麦克风等构成的输入单元206和由显示器、扬声器等构成的输出单元 207连接到输V输出接口 205。 CPU 201根据从输入单元206输入的命令 而执行各种类型的处理。1^， CPU201向输出单元207输出处理结果。
连接到输yV输出接口 205的存储单元208例如由^lit构成，并且存 储CPU 201所执行的程序和各种类型的数据。通信单元209经由网络比 如因特网或者局域网等来与外部i殳"^通信。
另夕卜，可以经由通信单元209来获得程序，以将程序存储在存储单元 208中。
当安装了诸如磁盘、光盘、磁光盘或者半导^储器等的可拆卸^h质 211时，连接到输/^/输出接口 205的驱动器210驱动可拆卸介质211以获 得其中记录的程序或者数据等。所获得的程序和翁:据被适当地传送到存储 单元208，并且被存储在其中。
如图16中所示，存M安装到计算机中并且通过计算;Mt调整到可 执行状态的程序的程序存储介质被配置为由可拆卸介质211或者ROM 202以及构成存储单元208的硬盘等组成，可拆卸介质211是由磁盘(包 括城)、光盘(包括CD-ROM (压缩盘-只读存储器))、DVD (数字通 用盘)、磁光盘(包括MD (微型盘))或者半导体存储器等构成的封装介 质，在ROM202中暂时或者永久##^序。在适当时，使用有线或者 无线通信介质比如局域网、因特网或者数字卫星广播，经由作为路由器或 者调制解调器等的接口的通信单元209来执行将程序存储在程序存储介 质中。
注意，对于本说明书，描述要存储在程序存储介质中的程序的步骤不 仅包括根据所描述的序列以时间次序执行的处理，而且包括不必以时间次 序执行而是并行或者单独地执行的处理。 而且，本发明的实施例不限于上述实施例，并且在不背离本发明的实 质的情况下，可以进行各种修改。本发明包含与于2008年8月27日在日本专利局提交的日本优先权专利申请JP 2008-218011和于2009年6月10日在日本专利局提交的日本优先权专利申请JP2009-139206中公开的主题相关的主题,这些日本专利申请的整体内^it过引用而被合并在此。
本领域技术人员应当明白，可以根据设计要求和其他因素而进行各种变型、组合、子组合和改变，只要它们在所附的权利要求或者其等同内容的范围内。
权利要求
1.一种信息处理设备，包括第一产生部件，其被配置为基于在来自输入图像的倒谱上检测到的特征点来产生点扩展函数，所述点扩展函数表示在所述输入图像中产生的模糊的程度；第二产生部件，其被配置为基于所述点扩展函数来产生结构，所述结构表示通过以基于所述点扩展函数的尺寸来缩小所述输入图像并且以所述尺寸来放大所述输入图像而获得的图像；以及更新部件，其被配置为执行更新处理，以至少更新所述点扩展函数或者所述结构，使得所述点扩展函数和所述结构近似于真值；其中，所述更新部件反复地执行所述更新处理，以将构成通过所述更新处理更新后的所述结构的结构分量和纹理分量中的所述结构分量设置为要通过所述更新处理来更新的新结构，并且将通过所述更新处理更新后的所述点扩展函数设置为要通过所述更新处理来更新的新目标。
2. 根据权利要求1的信息处理设备，其中，所述更新部件反复地 执行所述更新处理，以将所述点扩展函数和所述结构设置为要更新的 目标。
3. 根据权利要求1的信息处理设备，其中，所述更新部件反复地 执行所述更新处理，以将所述点扩展函数和所述结构设置为要交替地 更新的目标。
4. 根据权利要求1的信息处理设备，其中，所述更新部件通过 landweber方法或者Richardson-Lucy方法来更新所述点扩展函数和所 述结构中的至少一个。
5. 根据权利要求1的信息处理设备，其中，所述更新部件基于过 滤阈值将通过所述更新处理更新后的所述结构分离为所述结构分量和 所述紋理分量，并且将分离后的所述结构分量设置为要通过所述更新 处理来更新的新结构，其中所述过滤阈值用于将通过所述更新处理更 新后的所述结构分离为所述结构分量和所述紋理分量。
6. 根据权利要求1的信息处理设备，其中，所述更新部件将所述 过滤阈值设置为使得所述结构得以更新，并分离所述结构分量和所述紋理分量。
7. 根据权利要求1的信息处理设备，其中，在总的变化已经从增 大改变为减小的情况下，或者在通过从所述输入图像中减去所述点扩 展函数与所述紋理之间的巻积计算的计算结果而获得的差的绝对值等 于或者小于预定阈值的情况下，所述更新部件结束所述更新处理.
8. 根据权利要求1的信息处理设备，其中，所述第一产生部件将 所述输入图像划分为多个块，以产生用于每个划分出的块的点扩展函数；并且所述笫二产生部件从通过对块进行缩小然后放大而获得的块 中产生结构。
9. 根据权利要求8的信息处理设备，其中，所述第一产生部件产生与构成所述输入图像的多个块中的预定块相对应的点扩展函数；并且所述更新部件反复地更新由所述第 一产生部件产生的所述点 扩展函数。
10. 根据权利要求9的信息处理设备，其中，所述更新部件将通过反复地更新所述点扩展函数而最终获得的点扩展函数设置为对应于多个块中的与所述预定块不同的块的点扩展函数；并且，对于与所述预定块不同的每个块，所述更新部件反复地使 用对应于与所述预定块不同的块的点扩展函数来更新所述结构。
11. 根据权利要求1的信息处理设备，还包括 巻积计算部件，其被配置为执行在根据所迷更新部件的所述更新处理而最终获得的点扩展函数和结构之间的巻积计算；相减部件，其被配置为从所述输入图像中减去由所述巻积计算获得的巻积计算结果；恢复部件，其被配置为基于所述相减部件的相减结果来恢复所述输入图4象的紋理；以及恢复图像产生部件，其被配置为基于由所述更新处理最终获得的 结构和恢复出的紋理来产生恢复出的图像，在所述恢复出的图像中去 除了在所述输入图像中产生的模糊。
12. —种信息处理方法，用于被配置为校正输入图像的信息处理 设备，所述信息处理设备包括第一产生部件，第二产生部件，以及更 新部件，所述方法包括以下步骤使用所述第一产生部件，基于在来自输入图像的倒镨上检测的特 征点来产生点扩展函数，所述点扩展函数表示在所述输入图像中产生 的模糊的程度；使用所述第二产生部件，基于所述点扩展函数来产生结构，所述 结构表示通过以基于所述点扩展函数的尺寸缩小所述输入图像并且以 所述尺寸放大所述输入图像而获得的图像；以及使用所述更新部件来执行更新处理，以至少更新所述点扩展函数 或者所述结构，使得所述点扩展函数和所述结构近似于真值；其中，所述更新部件反复地执行所述更新处理，以将构成通过所 述更新处理更新后的所述结构的结构分量和紋理分量中的所述结构分 量设置为要通过所述更新处理来更新的新结构，并且将在通过所述更 新处理更新后的所述点扩展函数设置为要通过所述更新处理来更新的 新目标。
13. —种程序，使得计算机用作笫一产生部件，其被配置为基于在来自输入图像的倒镨上检测到 的特征点来产生点扩展函数，所述点扩展函数表示在所述输入图像中产生的模糊的程度；笫二产生部件，其被配置为基于所述点扩展函数来产生结构，所述结构表示通过以基于所述点扩展函数的尺寸来缩小所述输入图像并 且以所述尺寸来放大所述输入图像而获得的图像；以及更新部件，其被配置为执行更新处理，以至少更新所述点扩展函 数或者所述结构，使得所述点扩展函数和所述结构近似于真值；其中，所述更新部件反复地执行所述更新处理，以将构成通过所 述更新处理更新后的所述结构的结构分量和紋理分量中的所述结构分 量设置为要通过所述更新处理来更新的新结构，并且将通过所述更新 处理更新后的所述点扩展函数设置为要通过所述更新处理来更新的新 目标。
14. 一种信息处理设备，包括产生部件，其被配置为基于输入图像的频镨而产生多个倒镨； 检测部件，其被配置为检测所产生的多个倒谱中的具有最大值的倒镨和在所述具有最大值的倒镨周围的倒谱，以作为光点；估计部件，其被配置为基于所检测到的光点来估计所述输入图像的点扩展函数；以及确定部件，其被配置为确定在与所检测到的光点相邻的范围内是否存在具有等于或者大于预定阈值的值的倒谱。
15. 根据权利要求14的信息处理设备，其中，在由所述确定部件 确定为在与所检测到的光点相邻的范围内存在具有等于或者大于预定 阈值的值的倒镨的情况下，所述估计部件将所估计的点扩展函数近似 为按照高斯分布的点扩展函数。
16. 根据权利要求14的信息处理设备，其中，所述产生部件基于 对应于构成所述输入图像的像素中的R分量、G分量和B分量之一的 光镨、对应于Y分量的光谱以及对应于R+G+B分量的光谦之一来产 生多个倒谱，其中所述Y分量表示根据所述R分量、所述G分量和所 述B分量的加权和，所述R+G+B分量通过将所述R分量、所述G分 量和所述B分量相加而获得。
17. 根据权利要求14的信息处理设备，还包括更新部件，其被配置为使用所述输入图像的结构来更新由所述估计部件估计出的点扩展函数。
18. 根据权利要求17的信息处理设备，还包括 限制信息产生部件，其被配置为基于由所述估计部件估计出的点扩展函数来产生支持限制信息，所述支持限制信息限制要由所述更新 部件更新的点扩展函数的范围；其中，所述更新部件基于所述支持限制信息来更新由所述估计部 件估计出的点扩展函数。
19. 根据权利要求17的信息处理设备，所述更新部件使用构成所 述输入图像的像素中的R分量、G分量和B分量、表示根据所述R分 量、所述G分量和所述B分量的加权和的Y分量以及通过将所述R分 量、所述G分量和所述B分量相加而获得的R+G+B分量之一来更新 由所述估计部件估计出的点扩展函数。
20. —种信息处理方法，用于被配置为估计点扩展函数的信息处 理设备，所述点扩展函数表示在输入图像中产生的模糊，所述信息处理设备包括检测部件，估计部件，以及确定部件， 所述方法包括以下步骤使用所述检测部件，基于输入图像的光谱来产生多个倒镨；使用所述估计部件来检测所产生的多个倒镨中的具有最大值的倒 镨和在所述具有最大值的倒镨周围的倒镨，以作为光点；使用所述估计部件，基于所检测到的光点来估计表示在所述输入 图像产生的模糊的点扩展函数；以及使用所述确定部件来确定在与所检测到的光点相邻的范围内是否 存在具有等于或者大于预定阈值的值的倒谱。
21. —种程序，使得计算机用作产生部件，其被配置为基于输入图像的频谱而产生多个倒谦；检测部件，其被配置为检测所产生的多个倒谱中的具有最大值的 倒谱和在所述具有最大值的倒谱周围的倒谱，以作为光点；估计部件，其被配置为基于所检测到的光点来估计所述输入图像 的点扩展函数；以及确定部件，其被配置为确定在与所检测到的光点相邻的范围内是 否存在具有等于或者大于预定阈值的值的倒诿。
22. —种信息处理设备，包括第一产生单元，其被配置为基于在来自输入图像的倒语上检测到 的特征点来产生点扩展函数，所述点扩展函数表示在所述输入图像中产生的模糊的程度；第二产生单元，其被配置为基于所述点扩展函数来产生结构，所 述结构表示通过以基于所述点扩展函数的尺寸来缩小所述输入图像并 且以所述尺寸来放大所述输入图像而获得的图像；以及更新单元，其被配置为执行更新处理，以至少更新所述点扩展函 数或者所述结构，使得所述点扩展函数和所述结构近似于真值；其中，所述更新单元反复地执行所述更新处理，以将构成通过所 述更新处理更新后的所述结构的结构分量和紋理分量中的所述结构分 量设置为要通过所述更新处理来更新的新结构，并且将通过所述更新 处理更新后的所述点扩展函数设置为要通过所述更新处理来更新的新 目标。
23. —种信息处理方法，用于被配置为校正输入图像的信息处理设备，所述信息处理设备包括第一产生单元，第二产生单元，以及更 新单元，所述方法包括以下步骤使用所述第一产生单元，基于在来自输入图像的倒诰上检测到的 特征点来产生点扩展函数，所述点扩展函数表示在所述输入图像中产 生的模糊的程度；使用所述第二产生单元，基于所述点扩展函数来产生结构，所述 结构表示通过以基于所述点扩展函数的尺寸缩小所述输入图像并且以 所述尺寸放大所述输入图像而获得的图像；以及使用所述更新单元来执行更新处理，以至少更新所述点扩展函数 或者所述结构，以便所述点扩展函数和所述结构近似于真值；其中，所述更新单元反复地执行所述更新处理，以将构成通过所 述更新处理更新后的所述结构的结构分量和紋理分量中的所述结构分 量设置为要通过所述更新处理更新的新结构，并且将通过所述更新处 理的更新后的所述点扩展函数设置为要通过所述更新处理更新的新目 标。
24. —种程序，使得计算机用作笫一产生单元，其被配置为基于在来自输入图像的倒谱上检测到 的特征点来产生点扩展函数，所述点扩展函数表示在所述输入图像中产生的模糊的程度；笫二产生单元，其被配置为基于所述点扩展函数来产生结构，所述结构表示通过以基于所述点扩展函数的尺寸来缩小所述输入图像并 且以所述尺寸来放大所述输入图像而获得的图像；以及更新单元，其被配置为执行更新处理，以至少更新所述点扩展函 数或者所述结构，使得所述点扩展函数和所述结构近似于真值；其中，所述更新单元反复地执行所述更新处理，以将构成通过所 述更新处理更新后的所述结构的结构分量和紋理分量中的所述结构分 量设置为要通过所述更新处理来更新的新结构，并且将通过所述更新 处理更新后的所述点扩展函数设置为要通过所述更新处理来更新的新 目标。
25. —种信息处理设备，包括产生单元，其被配置为根据输入图像的频谱而产生多个倒谱；检测单元，其被配置为检测所产生的多个倒谱中的具有最大值的倒镨和在所述具有最大值的倒镨周围的倒谦，以作为光点；估计单元，其被配置为基于所检测到的光点来估计所述输入图像的点扩展函数；以及确定单元，其被配置为确定在与所检测到的光点相邻的范围内是否存在具有等于或者大于预定阈值的值的倒谱。
26. —种信息处理方法，用于被配置为估计点扩展函数的信息处 理设备，所述点扩展函数表示在所述输入图像中产生的模糊，所述信息处理设备包括检测单元，估计单元，以及确定单元， 所述方法包括以下步骤使用所述检测单元，基于输入图像的光谱来产生多个倒谙；使用所述估计单元来检测所产生的多个倒镨中的具有最大值的倒 镨和在所述具有最大值的倒镨周围的倒镨，以作为光点；使用所述估计单元，基于所检测到的光点来估计表示在所述输入 图像中产生的模糊的点扩展函数；以及使用所述确定单元来确定在与所检测到的光点相邻的范围内是否 存在具有等于或者大于预定阈值的值的倒谱。
27. —种程序，使得计算机用作产生单元，其被配置为基于输入图像的频镨而产生多个倒镨；检测单元，其被配置为检测所产生的多个倒谱中的具有最大值的 倒语和在所述具有最大值的倒镨周围的倒谱，以作为光点；估计单元，其被配置为基于所检测到的光点来估计所述输入图像 的点扩展函数；以及确定单元，其被配置为确定在与所检测到的光点相邻的范围内是 否存在具有等于或者大于预定阈值的值的倒谱.
全文摘要
本发明公开了一种信息处理设备、信息处理方法和程序。所述信息处理设备包括第一产生部件，其基于在来自输入图像的倒谱上检测到的特征点来产生点扩展函数，所述点扩展函数表示在所述输入图像中产生的模糊的程度；第二产生部件，其基于所述点扩展函数来产生结构，所述结构表示通过以基于所述点扩展函数的尺寸来缩小所述输入图像并且以所述尺寸来放大所述输入图像而获得的图像；以及更新部件，其执行更新处理，以至少更新所述点扩展函数或者所述结构，使得所述点扩展函数和所述结构近似于真值，所述更新部件反复地执行所述更新处理，以将构成更新结构的结构分量和纹理分量中的结构分量设置为新结构，并且将更新点扩展函数设置为新的更新目标。
文档编号H04N1/409GK101662566SQ200910171348
公开日2010年3月3日 申请日期2009年8月27日 优先权日2008年8月27日
发明者山 姜, 玉山研 申请人:索尼株式会社