图像处理装置、摄像装置、计算机及程序的制作方法
【技术领域】
[0001] 本发明涉及图像处理装置、摄像装置、计算机及程序，特别是关于在点像复原处理 中使用的复原滤波器。
【背景技术】
[0002] 经由摄像光学系统而摄影的被摄体像中，有时发现由于由摄像光学系统引起的衍 射、像差等的影响而使点被摄体具有微小的扩散的所谓点扩散现象。表示光学系统相对于 点光源的响应的函数被称作点扩散函数（PSF !Point Spread Function)，作为支配摄影图 像的分辨率劣化（模糊）的参数而周知。
[0003] 因为该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处 理而对画质劣化进行复原。点像复原处理是如下处理：预先求算由透镜（光学系统）的像 差等引起的劣化特性（点像特性），通过使用与该点像特性对应的复原滤波器（恢复滤波 器）的图像处理来消除摄影图像的点扩散。
[0004] 对于点像复原处理，提出了各种各样的方法。例如，专利文献1公开了如下的校正 数据生成方法：考虑PSF的扩散的对称性，替代旋转非对称的锐度恢复滤波器而使用旋转 对称的锐度恢复滤波器，能够对光轴外的光学性能的劣化进行补偿。另外，专利文献2公开 了如下的图像处理方法：使用基于光学传递函数的图像恢复滤波器而生成恢复图像，对于 恢复图像使色差降低，从而对由倍率色差引起的色差进行校正。
[0005] 该点扩散现象因光圈、变焦位置、被摄体距离等摄影条件、像高位置等而各种各样 地变化，因此即使是单一的摄像系统，点像复原处理所需要的PSF等的数据量也变得庞大。 因此，专利文献3公开了用于减少摄像光学系统的光学传递函数的重构所需要的数据的存 储量的图像处理装置，实现PSF的存储数据量的减少。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1 :日本特开2003-172873号公报
[0009] 专利文献2 :日本特开2012-129932号公报
[0010] 专利文献3 :日本特开2012-073691号公报
【发明内容】
[0011] 发明要解决的课题
[0012] 如上所述，为了适当地进行利用复原滤波器的点像复原处理，需要庞大的存储数 据量，但是减少存储数据量也成为较大的课题之一。在其一方面，为了点像复原处理而将复 原滤波器存储于预定的存储单元的期望非常强，存储所生成的复原滤波器，在利用时读出 该存储的复原滤波器，从而能够实现计算负荷的轻减、处理速度的提高。然而，复原滤波器 由多个抽头（tap)构成，对各抽头分配滤波系数，因此存储负荷非常大。
[0013] 在专利文献1、专利文献2所公开的装置中，并不特别地进行用于维持点像复原精 度并有效地减少点像复原处理的复原滤波器的数据量的方法。即，在专利文献1中，提出了 利用具有旋转对称的系数的锐化滤波来改善从光轴远离的区域中的画质劣化的方法，但是 在光学系统的模糊特性是旋转非对称的情况下近似采用具有旋转对称的系数的锐化滤波 器，因此点像复原的精度降低。另外，在专利文献2中，关于点像复原滤波器的存储数据量 的减少没有启示任何方法。
[0014] 另外，专利文献3公开了用于使摄像光学系统的光学传递函数的重构所需要的数 据的存储量减少的技术，但是对于使用于点像复原处理的复原滤波器的存储数据量直接减 少的方法既没有公开也没有启示。即，专利文献3所公开的技术是用于使生成图像恢复滤 波器用的光学传递函数的信息量减少的技术，而并非用于减少所生成的图像恢复滤波器自 身的存储量的技术。
[0015] 本发明鉴于上述的情况而作出，其目的在于提供能够抑制点像复原精度的劣化并 减少用于点像复原处理的复原滤波器的数据存储量的技术。
[0016] 用于解决课题的手段
[0017] 本发明的一方式关于图像处理装置，具备：统计信息获取部，取得与图像的点像复 原相关的统计信息；光学信息获取部，获取在取得图像时使用的表示光学系统的点像强度 分布的光学信息；滤波信息计算部，基于统计信息和光学信息中的至少任一个，求算用于图 像的点像复原处理的复原滤波器的滤波信息；滤波系数计算部，将滤波信息作为约束条件， 基于统计信息和光学信息，算出复原滤波器的滤波系数；及点像复原处理部，使用由滤波系 数计算部算出的滤波系数来进行点像复原处理。
[0018] 根据本方式，基于与图像的点像复原相关的统计信息和表示光学系统的点像强度 分布的光学信息中的至少任一个，求算复原滤波器的滤波信息，并将该滤波信息作为约束 条件，算出复原滤波器的滤波系数。因此，能够不降低点像复原处理的精度而减少用于点像 复原处理的复原滤波器的数据存储量。根据点像强度分布（光学传递函数）的特性来确定 复原滤波器的信息量（格式），并将其（抽头数、对称性等）作为约束条件而生成复原滤波 器，从而削减滤波系数的存储所需要的信息量，并且也能够在该范围内设计最佳特性的复 原滤波器。
[0019] 在此所说的"与图像的点像复原相关的统计信息"是能够对图像的点像复原产生 影响的统计性的信息，例如能够包含SN比。另外，"表示光学系统的点像强度分布的光学 信息"是直接或间接地表示由光学系统引起的点像强度分布的光学性的信息。例如光学信 息中能够包含 PSF、OTF(Optical Transfer Function :光学传递函数）（MTF :Moduration Transfer Function :调制传递函数；PTF :Phase Transfer Function :相位传递函数）。另 外，"复原滤波器的滤波信息"是在点像复原处理时使用的表示复原滤波器的滤波特性的信 息，例如能够包含复原滤波器的抽头结构（整体抽头数、抽头对称性、增加了对称性的情况 下的最小需要抽头数等）。另外，"滤波系数"是指在滤波处理中适用于处理对象的图像数 据（像素数据）的系数，在复原滤波器由多个抽头构成的情况下向各抽头分配滤波系数。另 外，"点像复原"是指消除点扩散而对原始的点像进行复原，"点像复原处理"是指进行这样 的点像复原的处理。点像复原处理能够使用任意的方法，例如能够采用将由多个抽头构成 的复原滤波器适用于处理对象图像并对处理对象图像的各像素数据和滤波系数进行加权 平均的处理。
[0020] 优选为，滤波信息包含与复原滤波器的抽头数相关的信息和表示复原滤波器的对 称性的种类的信息，滤波系数计算部将滤波信息计算部所求算的与复原滤波器的抽头数相 关的信息和表示复原滤波器的对称性的种类的信息作为约束条件，算出滤波系数。
[0021] 在该情况下，由于将"与复原滤波器的抽头数相关的信息"和"表示复原滤波器的 对称性的种类的信息"作为约束条件而算出滤波系数，因此能够根据复原滤波器的对称性 的种类而减少复原滤波器所需要的滤波系数的信息量。另外，复原滤波器所需要的滤波系 数的信息量是能够根据"与复原滤波器的抽头数相关的信息"和"表示复原滤波器的对称性 的种类的信息"而再现完整的复原滤波器的信息量。
[0022] 优选为，光学信息包含：表示点像强度分布的对称性的种类的信息和能够基于点 像强度分布的对称性的种类而再现点像强度分布的被压缩的信息即与表示点像强度分布 的对称性的种类的信息建立了对应的被压缩的信息，滤波信息计算部根据表示点像强度分 布的对称性的种类的信息来求算表示复原滤波器的对称性的种类的信息，基于与表示点像 强度分布的对称性的种类的信息建立了对应的被压缩的信息和统计信息来求算与复原滤 波器的抽头数相关的信息。
[0023] 在该情况下，能够根据与表示点像强度分布的对称性的种类的信息建立了对应的 被压缩的信息，求算与复原滤波器的抽头数相关的信息，因此能够根据点像强度分布的对 称性来减少表示点像强度分布的光学信息所需要的信息量。另外，通过使用能够基于点像 强度分布的对称性的种类而再现点像强度分布的被压缩的信息（光学传递函数信息），滤 波信息量（格式）的判定变得容易，也能够削减滤波设计中的运算量。
[0024] 在此所说的"能够基于点像强度分布的对称性的种类而再现点像强度分布的被压 缩的信息"