摄像装置、摄像方法、摄像程序及记录介质与流程

本发明涉及一种摄像装置、摄像方法、摄像程序及记录了所述摄像程序的记录介质，特别是涉及一种可以通过模糊图像的复原而扩大景深的摄像装置、摄像方法、摄像程序及记录了所述摄像程序的记录介质。

背景技术：

目前，在利用波前编码(wavefrontcoding，wfc)等特殊的光学装置的景深扩大摄影装置中，需要在一定设计范围内进行图像复原。

但是，如果摄影距离与聚焦位置相离，则实际施加至原始图像的点扩散函数(psf：pointspreadfunction，每隔一定距离一点点地变化)与图像复原用psf(使用固定、聚焦位置的psf)产生偏差，所以无法实现保持与聚焦位置相同的复原精度。即，由于摄影距离而实际施加至原始图像的psf并不固定，由此会产生复原图像的画质劣化。

在专利文献1或专利文献2中，利用距离检测传感器或多个摄像部来计算距离，并基于与各粗算出的距离相对应的psf数据进行复原处理。

在专利文献3中，考虑到所有的与多个散焦位置相对应的psf而设计出使频域的均方误差最小的复原滤波器。

而且，在非专利文献1中，记载有松下(panasonic)股份有限公司从2014年4月开始销售的数码相机中所搭载的被称为“空间识别自动对焦(autofocus，af)”的技术。在所述技术中，基于根据模糊量的分析而求出距离的散焦深度法(depthfromdefocus，dfd)，算出从两张图像到被摄体为止的距离之后，推断出模糊模型而制作对焦图像。

在非专利文献2中，有关于图像的锐度的计算的记载。

[现有技术文献]

[专利文献]

[专利文献1]日本专利特开2011-120309号公报

[专利文献2]日本专利特开2013-162369号公报

[专利文献3]日本专利特开2015-005933号公报

[非专利文献]

[非专利文献1]“松下(panasonic)数码相机综合目录2015/秋冬”，松下股份有限公司，2015年9月，第21页

[非专利文献2]图像清晰度评价方法研究，王鸿南等，中国图象图形学报(researchofmeasurementfordigitalimagedefinition，wanghongnan，...，etc，journalofimageandgraphics)，第9卷第7期，2004年

技术实现要素：

发明所要解决的问题

但是，在专利文献1或专利文献2所揭示的现有技术中，针对所拍摄的各图像数据中所含的各被摄体，如果不正确地推断距离信息，则无法使用准确的psf数据，所以不能进行最佳的复原处理。因此，存在为了计算摄影距离所需要的距离检测传感器或多个摄像部所引起的成本上升的问题。

另外，在专利文献3所揭示的现有技术中，由于成为平均处理，所以不需要距离信息，但是存在如下问题，即，由于多个位置上的psf数据的差异，即使进行在均方误差的意义上的最佳的复原处理，与利用与摄影距离相对应的psf而得出的复原结果相比，精度也差。

鉴于现有技术的这样的问题，本发明的目的在于提供一种能够不推测被摄体的摄影距离，而利用最佳的psf来获得高精度的复原图像的摄像装置、摄像方法、摄像程序以及记录了所述程序的记录介质。

解决问题的手段

为了实现所述目的，本发明的摄像装置包括：光学系统，包含一块以上的透镜或者所述透镜及光学元件；摄像元件，配置于比所述光学系统更后方的位置；图像复原处理部，对由所述摄像元件获取的图像数据进行图像处理及复原处理；以及复原图像输出部，输出经所述图像复原处理部复原的图像；并且所述图像复原处理部包括：复原滤波器贮藏部，贮藏利用与多个不同的距离相对应的多个点扩散函数(psf)而预先制作的多个复原滤波器；复原滤波器处理部，获得根据所述图像数据，使用所述多个复原滤波器而分别复原的多个中间候补图像；以及图像评价部，对所述多个中间候补图像的画质分别进行评价而输出最好的中间候补图像作为复原处理结果。

在这里，所述光学系统的目的在于扩大景深，只要是利用psf来进行复原即可。所述透镜可以是球面透镜及非球面透镜中的任一个，在多块的情况下也可以适当组合。作为所述光学元件，例如可举出光扩散板、相位板或绕射光栅等，但是并不限定于这些。

所述图像复原处理部也可以还包括：图像区域指定部，指定所述复原滤波器处理部中作为对象的图像区域；以及排除区域指定部，指定所述图像评价部应从对象中排除的区域。而且，所述图像复原处理部也可以针对每个颜色信号合成经复原的按颜色信号分类的复原图像。而且，所述图像复原处理部也可以包括由经扩散而入射至所述摄像元件的点图像函数的图案制作的如维纳(wiener)滤波器或者有限脉冲响应(finiteimpulseresponse，fir)滤波器等的频率空间、图像空间、时空的滤波器。

而且，本发明的摄像装置包括：光学系统，包含一块以上的透镜或者所述透镜及光学元件；摄像元件，配置于比所述光学系统更后方的位置；图像复原处理部，对由所述摄像元件获取的图像数据进行图像处理及复原处理；以及复原图像输出部，输出经所述图像复原处理部复原的图像；并且所述图像复原处理部包括：复原滤波器贮藏部，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器及标准登记图像以及与它们相对应的图像锐度；图像评价部，基于对所述图像数据的画质进行评价而获得的图像锐度，从所述复原滤波器贮藏部中选择与最接近的图像锐度相对应的复原滤波器；以及复原滤波器处理部，利用所选择的复原滤波器获得复原图像。

而且，本发明的摄像方法包括：摄像工序，拍摄被摄体；以及图像复原处理工序，对在所述摄像工序中获取的图像数据进行图像处理及复原处理；并且所述图像复原处理工序包括：复原滤波器贮藏工序，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器；复原滤波器处理工序，获得根据所述图像数据，使用所述多个复原滤波器而分别复原的多个中间候补图像；以及图像评价工序，对所述多个中间候补图像的画质分别进行评价而输出最好的中间候补图像作为复原处理结果。

而且，本发明的摄像方法包括：摄像工序，拍摄被摄体；以及图像复原处理工序，对在所述摄像工序中获取的图像数据进行图像处理及复原处理；并且，所述图像复原处理工序包括：复原滤波器贮藏工序，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器及标准登记图像以及与它们相对应的图像锐度；图像评价工序，基于对所述图像数据的画质进行评价而获得的图像锐度，选择与最接近的图像锐度相对应的复原滤波器；以及复原滤波器处理工序，利用所选择的复原滤波器获得复原图像。

或者，本发明的摄像程序使计算机执行所述摄像方法。

根据这种构成的摄像程序，可以通过可执行程序的计算机来实现本发明的摄像方法。

或者，记录了本发明的摄像程序的记录介质是计算机可读取的记录介质，记录了所述摄像程序。

根据记录了这种构成的摄像程序的记录介质，容易在各种场所或环境中实现本发明的摄像方法，并且可以廉价地予以提供，能够提高本发明的摄像方法的有用性。

发明的效果

根据本发明的摄像装置，可以不伴随着为了推测被摄体的摄影距离而需要的零件的成本上升，而利用最佳的点扩散函数来获得高精度的复原图像。

根据本发明的图像复原方法，能够不推测被摄体的摄影距离，而利用最佳的点扩散函数来获得高精度的复原图像。

根据本发明的摄像程序，可以通过可执行程序的计算机来实现本发明的摄像方法。

根据记录了本发明的摄像程序的记录介质，容易在各种场所或环境中实现本发明的摄像方法，并且可以廉价地予以提供，能够提高本发明的摄像方法的有用性。

附图说明

图1是表示本发明的实施方式1的摄像装置100的概略构成的框图；

图2是说明摄像装置100的图像生成过程及图像复原过程的概略图；

图3a、图3b、图3c是关于复原用psf与复原图像的精度的关系的说明图，图3a是高精度复原图像，图3b是有人工痕迹(artifact)的复原图像，图3c是存在模糊的复原图像；

图4是表示图像复原处理部150的概略构成的框图；

图5是图像复原处理部150a中的复原滤波器的制作相关原理的说明图；

图6a、图6b、图6c是中间候补图像的说明图；

图7是表示图4所示的图像复原处理部150a中所含的图像评价部155的概略构成的框图；

图8是表示图像评价部155内的处理的流程图；

图9是作为图像评价部155内的处理的变形例，表示例如将三张中间候补图像作为输入图像加以具体化的并列处理的流程图；

图10a、图10b是图像人工痕迹评价的原理的说明图，图10a是通常无人工痕迹的复原图像中的图像亮度值的直方图，图10b是有人工痕迹的复原图像中的图像亮度值的直方图；

图11是表示整个图像锐度运算的流程图；

图12是表示强边缘提取方法的流程图；

图13a、图13b、图13c、图13d、图13e、图13f是比较例显示在精确聚焦位置及与之相离的位置上分别拍摄的模糊图像、现有方法的复原图像、本发明的复原图像的图；

图14是表示本发明的实施方式2的摄像装置的图像复原处理部150b的概略构成的框图；

图15是表示本发明的实施方式3的摄像装置之中与实施方式1不同的主要部分的框图；

图16a、图16b是例示通常的rgb图像复原方法的框图；

图17是表示实施方式3的rgb图像复原方法的框图；

图18是表示本发明的实施方式4的摄像装置的图像复原处理部150c的概略构成的框图；

图19是图像复原处理部150c中的复原滤波器等的制作相关原理的说明图；

图20a是表示图18所示的图像复原处理部150c中所含的图像评价部155c的概略构成的框图，图20b是表示图20a的图像评价部155c中所含的综合判断155cc的概略构成的框图。

[符号的说明]

100：摄像装置

110：光学系统

112a：第1透镜

112b：第2透镜

112c：第3透镜

113：光阑

115：光扩散板

115b：扩散面

120：摄像元件

130：a/d转换器

140：图像处理部

141：raw图像存储器

142：卷积运算部

150、150a、150b、150c：图像复原处理部

151：反卷积运算部

152：图像缓冲存储器

153、153b、153c：复原滤波器处理部

154、154c：复原滤波器贮藏存储器

155、155b、155c：图像评价部

155a：图像锐度运算

155b：图像人工痕迹评价

155c、155cc：综合判断

155ca：图像锐度运算

155cc1：锐度值比较

155cc2：复原滤波器

156：中间候补图像缓冲存储器

157：图像区域指定

158：被摄体边缘指定

159：复原图像缓冲存储器

159c：复原滤波器缓冲器

160：复原图像输出部

171：rgb图像分解部

172：rgb图像合成部

s80、s81、s82、s83、s84、s85、s86、s87、s88、s89、s111、s112、s113、s121、s122、s123、s124：步骤

具体实施方式

以下，参照附图，对本发明的若干实施方式进行说明。

实施方式1

图1是表示本发明的实施方式1的摄像装置100的概略构成的框图。再者，在以下的说明中，将光线向光学系统110入射之侧称为“前面”(图中为左边)，将光线从光学系统110射出之侧称为“后面”(图中为右边)。

如图1所示，摄像装置100包括：光学系统110；摄像元件120，配置于比所述光学系统110更后方的位置；模拟到数字(analogtodigital，a/d)转换器130，将从所述摄像元件120输出的模拟信号转换成数字信号；图像处理部140，包含原始(raw)图像存储器141及卷积运算部142，并且对从a/d转换器130输出的数字信号的图像数据进行图像处理；图像复原处理部150，包含反卷积运算部151，并且对经图像处理部140进行图像处理后的图像数据进行复原处理；以及复原图像输出部160，输出经所述图像复原处理部150复原的图像。

光学系统110包括透镜112a、透镜112b、透镜112c、配置于第2透镜112b的正前方的光阑113、以及配置于比第1透镜112a更前方的位置的光扩散板115。

在这里，将第1透镜112a及第3透镜112c设为凸透镜，将第2透镜112b设为凹透镜，但是并不限于这种组合，只要整体的透镜块数也是两块以上即可，不一定限于三块。而且，也可以是球面透镜及非球面透镜中的任一个，在多块的情况下也可以适当组合。光扩散板115是一种光学元件，也可以是相位板或绕射元件等其它光学元件。其配置也不限于比第1透镜112a更前方的位置，例如也可以是第3透镜112c的后方。

光阑113是孔径光阑，但是其配置不一定限于图示的位置。

光扩散板115的前面为平面，其后面成为扩散面115b。其配置不一定限于图示的位置，也可以配置于第3透镜112c的后方。

作为摄像元件120，可举出电荷耦合器件(chargecoupleddevice，ccd)传感器、互补金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)传感器、金属氧化物半导体(metaloxidesemiconductor，mos)传感器等，但是并不限定于这些。当摄像元件120能够直接输出数字信号而非模拟信号时，可以省略a/d转换器130。

图像处理部140及图像复原处理部150也不一定需要独立，也可以合并为一个。

在图像复原处理部150的反卷积运算部151中，例如，也可以利用维纳滤波器或fir滤波器等进行运算，但是并不限于这些滤波器。

图2是说明摄像装置100的图像生成过程及图像复原过程的概略图。图3a、图3b、图3c是关于复原用psf与复原图像的精度的关系的说明图，图3a是高精度复原图像，图3b是有人工痕迹的复原图像，图3c是存在模糊的复原图像。再者，所谓人工痕迹，是指在观测或分析的阶段中产生的数据的错误(error)或信号的变形。

如图2所示，在空间区域内，根据原始图像f(x，y)及psf而获得观测图像g(x，y)。在频域中，利用经傅立叶变换(fouriertransformation)的观测图像的功率谱(powerspectrum)g(u，v)及维纳滤波器的功率谱w(u，v)的乘法而获得复原图像的功率谱fr(u，v)，然后通过对其进行逆傅立叶变换而获得复原图像fr(x，y)。

维纳滤波器作为多个图像复原方法的一例被广泛利用(例如，参照专利文献2)。简而言之，维纳滤波器是使复原图像与原始图像的误差最小的逆滤波器(inversefilter)，可利用底下的式子表示：

在这里，h表示psf的傅立叶变换。sf及sn是原始图像f及图像上噪声n的功率谱分布。

图像的复原结果取决于h的精度，即，取决于复原用psf与实际施加至原始图像的psf接近于何种程度。

图3a所示的高精度复原图像是在利用由适当的psf生成的复原滤波器时，更具体而言，是在复原用psf与实际施加至原始图像的psf大致一致时所获得的复原图像。

图3b所示的有人工痕迹的复原图像是在利用由不适当的psf生成的复原滤波器时，更具体而言，是在复原用psf具有比实际施加至原始图像的psf更高的功率谱时所获得的复原图像，产生了因为过度修正而导致的码周边的曝光过度状态。

图3c所示的存在模糊的复原图像是在利用由不适当的psf生成的复原滤波器时，更具体而言，是在复原用psf具有比实际施加至原始图像的psf更低的功率谱时所获得的复原图像。

图4是表示图像复原处理部150a的概略构成的框图。图5是图像复原处理部150a中的复原滤波器的制作相关原理的说明图。图6a、图6b、图6c是中间候补图像的说明图。

如图4所示，图像复原处理部150a包括：图像缓冲存储器152，从摄像元件120接收图像数据；复原滤波器贮藏存储器154，贮藏预先求出的复原滤波器；复原滤波器处理部153，利用从图像缓冲存储器152接收到的图像数据及贮藏于复原滤波器贮藏存储器154中的复原滤波器进行复原滤波器的处理；以及图像评价部155，进行经所述复原滤波器处理部153处理的复原图像的评价，并且发送至复原图像缓冲存储器159。

图像复原处理部150a中的整体处理的概略如下(也参照图5)。

1.预先利用与多个不同的距离相对应的多个psf分别制作复原滤波器，并预先贮藏这些复原滤波器。

2.拍摄图像，获取输入图像。

3.对输入图像，利用所贮藏的与多个psf相对应的复原滤波器分别进行复原处理。由此，获得多个中间候补图像。

4.利用图像锐度及图像人工痕迹这两个指标，对多个中间候补图像的画质分别进行评价。

5.输出评价最高的中间候补图像作为复原处理结果。

如图5所示，当改变了摄影距离时，与之相对应的psf的傅立叶变换，即，调制传递函数(modulationtransferfuntion，mtf)的绝对值也发生变化。

通过离线处理使用与所述撮影距离相对应的psf，利用所述维纳滤波器方法分别制作复原滤波器，并预先保存于复原滤波器贮藏存储器154中。

再者，这些处理也可以设为通过执行写入至计算机的程序用存储器中的摄像程序来进行。所述摄像程序也可以使用记录了所述摄像程序的只读光盘驱动器(compactdiscread-onlymemory，cd-rom)或通用串行总线(universalserialbus，usb)存储器等记录介质，或者经由网络等来提供。

如图6a、图6b、图6c所示，通过利用根据距离而预先准备的不同的复原滤波器对所拍摄的原始的模糊图像进行复原而获得中间候补图像。图6a是因为修正不充分而留下模糊的中间候补图像的例子。图6b是能够恰当地进行模糊的修正，不出现人工痕迹的级别(level)的中间候补图像的例子。图6c是虽然过度但是能够进行模糊的修正，而产生了曝光过度的人工痕迹的中间候补图像的例子。

图7是表示图4所示的图像复原处理部150a中所含的图像评价部155的概略构成的框图。

如图7所示，图像评价部155对从中间候补图像缓冲存储器156接收到的中间候补图像进行图像锐度运算155a及图像人工痕迹评价155b之后进行综合判断155c，将评价最高的中间候补图像作为复原处理结果发送至复原图像缓冲存储器159。

图8是表示图像评价部155内的处理的流程图。

如图8所示，将锐度最大值(max)及图像编号重置为0作为初始化(步骤s80)。

输入第n张中间候补图像(步骤s81)，执行人工痕迹评价值的计算(步骤s82)。

进行是否大于阈值的判定(步骤s83)，如果为否(no)则进入至步骤s87。

如果步骤s83的判定为是(yes)，则接下来进行锐度计算之后(步骤s84)，进行是否大于当前的锐度max的值的判定(步骤s85)，如果为否(no)，则进行是否留下了未处理的中间候补图像的判断(步骤s87)。

如果步骤s85的判定为是(yes)，则将锐度max更新为当前的锐度，并且将图像编号加上这时的计数器n的值。

进行计数器n是否与中间候补图像数相等的判定(步骤s87)，如果判定为是(yes)则所有的中间候补图像的处理完毕，所以输入这时的图像编号之后(步骤s88)，结束处理。

如果步骤s87的判定为否(no)，则留下了未处理的中间候补图像，所以在计数器n中加上1之后(步骤s89)，返回到步骤s81而重复进行处理。

图9是作为图像评价部155内的处理的变形例，表示例如将三张中间候补图像作为输入图像加以具体化的并列处理的流程图。这些中间候补图像分别对应于图6a、图6b、图6c。再者，处理的各步骤的详细说明予以省略。

以下表示中间候补图像的锐度计算结果的一例。

距离a点锐度值为0.973596(ptssharpnessvalueis0.973596)

距离b点锐度值为1.161603(ptssharpnessvalueis1.161603)

距离c点锐度值为1.183418(ptssharpnessvalueis1.183418)

而且，以下表示人工痕迹的判明结果的一例。如果未达阈值t则为1(无人工痕迹)，如果为阈值t以上则为0(产生人工痕迹)。

距离a1

距离b1

距离c0

这些的结果为，排除产生了人工痕迹的图像，选择锐度最高的图像。即，评价最高的图像如下。

距离b点锐度值为1.161603(ptssharpnessvalueis1.161603)

图10a、图10b是图像人工痕迹评价的原理的说明图，图10a是通常无人工痕迹的复原图像中的图像亮度值的直方图，图10b是有人工痕迹的复原图像中的图像亮度值的直方图。

如这些直方图所示，横轴为像素亮度值，八比特数据的亮度值的范围为0至255，纵轴为具有各亮度值的像素数(像元数(pixelnumber))。与通常无人工痕迹的复原图像相比，在有人工痕迹的复原图像中，在直方标绘图的最大值(max)(亮度值＝255)及最小值(min)(亮度值＝0)两处可以清楚看到峰值。如果亮度值的范围为250至255的像元数的总和高于固定阈值t，则判断为有人工痕迹。

图11是表示整个图像锐度运算的流程图。

如所述图11所示，当输入复原图像时，首先，将亮度值标准化至0至1的范围(步骤s111)。在图像亮度值的标准化中，使用下式。

变换后的亮度值＝(变换前的亮度值-变换前的亮度最小值)/(变换前的亮度最大值-变换前的亮度最小值)

其次，执行“强边缘提取”(在后文参照图12来描述)(步骤s112)。

最后计算锐度(步骤s113)，输出锐度值。

所述非专利文献2提出了测量点锐度(pointsharpness)这一图像锐度的画质(影像清晰度(imageclarity))评价指标，但是由于对要评价的输入图像所有像素直接进行计算，所以在以下三种情况(case)中失去了鲁棒性(robustness)。

1)图像内容

当被摄体不同时，例如，无法进行风景与人物图像的比较。

2)图像亮度值

即使存在相同的图像内容，在亮度不同的情况下也无法进行比较。

3)噪声级(noiselevel)

即使图像内容相同，在噪声级不同的情况下也无法进行比较。

在图11所示的图像锐度运算中，通过对图像亮度值进行标准化，自动提取强边缘来改善所述问题。

图12是表示强边缘提取方法的流程图。

如图12所示，首先，计算通过索贝尔(sobel)滤波而产生的亮度边缘(步骤s121)。

其次，根据倾斜度的强度对像素进行排序(步骤s122)。

然后，为了提取确切的强边缘，提取特定方向上的倾斜度强的像素(步骤s123)。例如，当被摄体在图像上水平或垂直地进入时，倾斜度的方向相当受限。关于倾斜度因为噪声而升高的像素，可以通过这种判断而排除。

而且，为了减少图像亮度值的非均匀性等的影响，想要尽可能均匀地提取在整个被摄体中无光斑的边缘像素，所以删除具有强边缘的像素的邻接像素(步骤s124)。如果某个像素判断为强边缘，则判断为附近八点(3×3区域)的像素不是强边缘来进行处理。

图13a、图13b、图13c、图13d、图13e、图13f是比较例示在精确聚焦位置及与精确聚焦相离的位置上分别拍摄到的模糊图像、现有方法的复原图像、本发明的复原图像的图。左列的图像对应于精确聚焦位置，右列的图像对应于与精确聚焦相离的位置。

图13a及图13b是所拍摄到的模糊图像。

在基于精确聚焦位置的psf进行复原的现有方法中，与图13c所示的精确聚焦位置的复原图像相比，图13d所示的与精确聚焦相离的位置上的复原图像的画质明显下降。

与此相对，根据基于通过图像锐度而获得的最佳的psf进行复原的本发明，与图13e所示的精确聚焦位置的复原图像相比，图13f所示的与精确聚焦相离的位置上的复原图像的画质也没有那么下降。

根据本发明，也不需要进行距离推断，来选择画质最好的图像，所以即使与精确聚焦位置相离，也获得与精确聚焦位置上的复原精度相近的结果。

再者，在存在运动模糊(motionblur)，即，存在被摄体抖动，或者在摄影范围内或视场范围内例如psf因为像高而发生变化的光学系统等虽然psf发生变化但是这些psf为已知的情况下，也可以应用与以上所述同样的处理，从而可以获得同样的效果。

实施方式2

在所述实施方式1中，是对整个图像自动提取强边缘点而进行锐度的计算。在实施方式2中，是设为对如码图像或瞳孔检测图像等事先已知对象物的图像的部分图像进行评价。

图14是表示本发明的实施方式2的摄像装置的图像复原处理部150b的概略构成的框图。再者，所述图像复原处理部150b对应于实施方式1的图像复原处理部150a(参照图4)。

如图14所示，在图像复原处理部150b中，与实施方式1的图像复原处理部150a(参照图4)相比，在图像缓冲存储器152与复原滤波器处理部153b之间追加了图像区域指定157，并且追加了对图像评价部155b的被摄体边缘指定158。再者，伴随着图像区域指定157及被摄体边缘指定158的追加，对图像复原处理部150a的复原滤波器处理部153及图像评价部155的处理内容分别变更一部分，而形成为复原滤波器处理部153b及图像评价部155b。

通过加上图像的区域限定、倾斜度的方向的阈值调整、或者通过手动而进行的边缘点指定等方法，可以进一步加快处理速度。由于排除不需要的区域，所以也可以减少误检等。

而且，根据使用目的，只要按照实施方式1的构成及处理流程，也可以只对图像的一部分进行高精度的复原。例如，在只将摄影图像之中的中央部分或周边部分作为摄影对象的情况等有效。

实施方式3

在所述实施方式1或实施方式2中，是对黑白图像进行处理，而实施方式3是将彩色图像作为处理对象。例如，如果是红绿蓝(redgreenblue，rgb)图像，则合成按rgb通道进行了处理的高精度复原图像，由此对rgb图像也可以获得同样的效果。

图15是表示本发明的实施方式3的摄像装置之中与实施方式1不同的主要部分的框图。图16a、图16b是例示通常的rgb图像复原方法的框图。图17是表示实施方式3的rgb图像复原方法的框图。

如图15所示，在实施方式3中，在摄像元件120与图像复原处理部150a之间追加了rgb图像分解部171，在复原图像缓冲存储器159的前面追加了rgb图像合成部172。

在图16a或图16b所示的通常的rgb图像复原方法的情况下，变换成亮度图像/rgb通道而基于一个psf进行复原。但是，本来r通道、g通道、b通道各通道的psf就存在微妙的差异，所以如果只利用一个psf进行复原，会产生r通道、g通道、b通道各通道间的psf的差异的影响。

与此相对，在实施方式3中，如图17所示，在r通道、g通道、b通道各通道中，通过图像锐度而分别获得最佳的psf，从而获得高精度复原图像，所以可以获得更高精度的合成rgb复原图像。

再者，不仅限于r通道、g通道、b通道，例如，也可以追加红外线(infraredradiation，ir)通道。

实施方式4

在上述各实施方式中，是进行利用多个复原滤波器而分别复原的多个中间候补图像的图像评价。在实施方式4中，是设为先基于复原前的模糊图像进行评价再选择复原滤波器。

图18是表示本发明的实施方式4的摄像装置的图像复原处理部150c的概略构成的框图。图19是图像复原处理部150c中的复原滤波器等的制作相关原理的说明图。图20a是表示图18所示的图像复原处理部150c中所含的图像评价部155c的概略构成的框图。图20b是表示图20a的图像评价部155c中所含的综合判断155cc的概略构成的框图。

如图18所示，在图像复原处理部150c中，与实施方式1的图像复原处理部150a(参照图4)相比，复原滤波器处理部153c与图像评价部155c的顺序调换。再者，伴随于此，将图像复原处理部150a的复原滤波器处理部153、复原滤波器贮藏存储器154、及图像评价部155的处理内容分别变更一部分，而形成为复原滤波器处理部153c、复原滤波器贮藏存储器154c及图像评价部155c。

图像复原处理部150c中的整体处理的概略如下(也参照图19)。

1.预先利用与多个不同的距离相对应的多个psf，成对地制作复原滤波器及标准登记图像以及与它们相对应的图像锐度。再者，所谓标准登记图像，是指在各距离上拍摄到的代表性的模糊图像。

2.拍摄图像而获取输入图像。

3.针对输入图像，利用图像锐度这一指标评价模糊图像的画质。

4.选择与和标准登记图像所对应的图像锐度相比数值最接近的图像锐度成对的复原滤波器作为用于输入图像复原的复原滤波器。

5.利用所述复原滤波器进行复原处理，并作为复原处理结果而输出。

如图20a所示，在图像评价部155c中，进行从图像缓冲存储器152接收到的图像数据的图像锐度运算155ca之后进行综合判断155cc，并将复原处理结果发送至复原滤波器缓冲器159c。

综合判断155cc如图20b所示，是基于图像锐度运算155ca的结果及贮藏于复原滤波器贮藏存储器154c中的复原滤波器及标准登记图像以及与它们相对应的图像锐度而进行锐度值比较155cc1，选择复原滤波器155cc2。

标准登记图像(多个)是与摄影距离相对应的复原前的模糊图像。分别具有不同的模糊程度，所以算出的图像锐度也不同。

与实施方式1不同，事先应以离线方式准备的不仅仅是复原滤波器。与其相对应的图像锐度也预先成对地准备。

综合判断的方法是以在线方式计算摄影图像的锐度之后，与复原滤波器贮藏存储器中所保存的标准登记图像的锐度进行比较。由于成对地准备了图像锐度及复原滤波器，所以后来利用与最接近的图像锐度相对应的复原滤波器来进行复原。

再者，本发明在不脱离其主旨或者主要特征的条件下，可以通过其它各种形式来实施。因此，所述各实施方式或各实施例在所有方面只是示例，不可限定性地进行解释。本发明的范围是通过权利要求书来揭示，不受说明书正文的约束。此外，属于权利要求书的同等范围内的变形或变更全部是本发明的范围内的内容。