>[0103]对连续摄影的多个图像(连续图像)，也能够进行上述的复原处理。对连续图像进行复原处理时，分别对构成连续图像的多个图像(各帧)进行复原处理。
[0104]另外，作为进行复原处理的原图像数据，能够适用RGB各颜色的图像数据、由RGB各颜色的图像数据通过RGB/YCrCb转换获得的亮度信号(Y数据)等。
[0105]而且，进行复原处理的时刻并无特别限定，作为原图像数据，可对从去马赛克处理之后的图像数据(RGB数据)获得的亮度信号(Y数据)进行复原处理，也可对“去马赛克处理之前的图像数据(马赛克图像数据)”或“去马赛克处理之后且亮度信号转换处理之前的图像数据(去马赛克图像数据)”进行复原处理。
[0106]<第1实施方式〉
[0107]本实施方式中，对根据光学系统12的光轴方向上的“被摄体的移动量”来控制复原处理，从而避免通过对散焦状态的图像进行的复原处理而有可能带来的过校正等画质劣化的例子进行说明。
[0108]图5是有关第1实施方式的复原处理的功能框图，表示由图像处理部35(参考图2)构成的各种功能块。另外，图中的功能块并非一定要分开设置，可通过构成为一体的硬件和/或软件实现多个功能块。
[0109]图像处理部35具备图像调整部100、被摄体距离获取部115、移动量获取部120、复原处理判断部125、滤波器获取部130，图像调整部100包含复原强度调节部110及复原处理执行部105。
[0110]被摄体距离获取部115获取由摄像部11的成像元件26生成的图像的被摄体(主要被摄体)的被摄体距离，将被摄体距离信息发送至移动量获取部120。被摄体距离的获取方法并无特别限定，能够采用各种方法。例如，被摄体距离获取部115可获取通过未图示的测距传感器直接测定的被摄体距离，也可从聚焦透镜的位置(聚焦透镜的驱动脉冲等)等间接计算获取被摄体距离。
[0111]移动量获取部120根据从被摄体距离获取部115发送来的被摄体距离，获取连续的图像之间的被摄体(主要被摄体)的移动量，尤其是光学系统的光轴方向上的被摄体的移动量。即，移动量获取部120根据通过被摄体距离获取部115获取的被摄体距离及从摄像部11(成像元件26)获取的连续的多个图像(连续图像)的信息，获取被摄体在连续的图像之间沿光轴方向的移动程度的信息。
[0112]图6及图7是用于说明移动量获取部120中的被摄体移动量的获取例的图。图6中，示出连续获取的两张图像S(t)及图像S(t+1)且对焦状态的连续图像。另一方面，图7中，示出连续获取的两张图像S(t)及图像S(t+1)且对焦状态的图像S(t)及非对焦状态的图像S(t+ 1)0
[0113]图6所示的例子中，在时间(t)摄影的图像(单帧)S(t)在距被摄体Q(主要被摄体)的被摄体距离为lm的条件下获取，在时间(t+Ι)摄影的图像S(t+1)在距被摄体Q的被摄体距离为2m的条件下获取。因此，本例中，在连续的图像(帧)之间被摄体Q沿光学系统的光轴方向移动1111，移动量获取部120获取连续的图像5(0、5(1+1)之间的被摄体0的移动量为1111的
?目息。
[0114]另一方面，图7所示的例子中，在时间(t)摄影的图像S(t)在距被摄体Q的被摄体距离为lm的条件下获取，在时间(t+Ι)摄影的图像S (t+Ι)在距被摄体Q的被摄体距离为3m的条件下获取。因此，本例中，在连续的图像(帧)之间被摄体Q沿光学系统的光轴方向移动2m，移动量获取部120获取连续的图像S(t)、S(t+Ι)之间的被摄体Q的移动量为2m的信息。
[0115]图8是表示被摄体Q的移动量的变化例的曲线图，横轴表示时间T，纵轴表示被摄体距离R。本例中，在时间“0”至“S(tl)”为止期间，被摄体距离恒定(参考图8的“R(tl)”)，被摄体Q与数码相机10之间的相对距离无变化而相同。并且，在时间“S(tl)”至“S(t2)”为止期间，被摄体距离成比例地增加(参考图8的“R(tl)”及“R(t2)”)，被摄体以恒定速度向光轴方向(纵深方向)移动。并且，在时间“S(t2)”至“S(t3)”为止期间，被摄体距离恒定(参考图8的“R(t2)” )，被摄体Q与数码相机10之间的相对距离无变化而相同。
[0116]图9是表示连续摄影的图像(帧)例的图，示意地表示对以图8所示的“时间-被摄体距离”的关系沿光轴方向移动的被摄体进行摄影的图像。另外，图9中，为了便于说明，通过比实际帧数少的帧数显示了连续的多个图像。并且，图9的各帧中，以实线表示的被摄体Q表示在对焦状态下拍摄(参考图9的“A”及“C”)，以虚线表示的被摄体Q表示在未对焦状态下(散焦状态)拍摄(参考图9的“B” )。
[0117]图9的“A”表示在时间“0”至“S(tl)”为止期间摄影的帧组。如上述，在该时间“0”至“S(tl)”为止期间，被摄体距离R(tl)为恒定，被摄体Q与数码相机10之间的相对距离不发生变动，被摄体Q的移动量为“0”。
[0118]图9的“B”表示在时间“S(tl)”至“S(t2)”为止期间摄影的帧组。如上述，在该时间“S(tl)”至“S(t2)”为止期间，被摄体Q以恒定速度沿光轴方向(纵深方向)从被摄体距离“R(七1)”移动至“1?&2)”，被摄体Q的移动量通过“S(t2)-S(tl)”表示。因此，若将该时间“S(tl)”至“S(t2)”为止期间的帧数设为“E”，则以下述式表示该时间内的连续帧之间的被摄体向光轴方向的移动量L。
[0119]L={R(t2)-R(tl)}/E
[0120]另外，图9的“B”所示的帧组中，被摄体Q向光轴方向的移动量(移动量)较大，因此被摄体Q由成为散焦状态的图像(帧)构成。
[0121]图9的“C”表示在时间“S(t2)”至“S(t3)”为止期间摄影的帧组。如上述，在该时间“S(t2)”至“S(t3)”为止期间，被摄体距离R(t2)恒定，被摄体Q与数码相机10之间的相对距离不发生变动，被摄体Q的移动量为“0”。
[0122]另外，图9的例子中，根据被摄体距离求出被摄体的移动量，但并不限定于此。例如，也可根据图像中的被摄体Q的图像的面积变化求出移动量。具体而言，可进行脸部检测，并根据该脸部面积的变化来求出移动量。
[0123]复原处理判断部125(参考图5)根据通过移动量获取部120获取的被摄体Q向光轴方向的移动量，判断是“对图像(构成连续图像的各图像)进行通常的复原强度的复原处理”，还是“对图像进行调节了复原强度的复原处理”，或是“不对图像进行复原处理”。通过进行这种判断，能够抑制由于进行复原处理而产生的图像的画质劣化。
[0124]作为具体的判断方法，复原处理判断部125例如具有与被摄体Q的移动量有关的阈值，将该与移动量有关的阈值与从移动量获取部120获取的被摄体Q的移动量进行比较，由此能够进上述的与复原处理有关的判断。另外，与移动量有关的阈值能够设为与被摄体Q、被摄体距离、摄影条件、相机的功能等相应的值。作为与移动量有关的阈值，例如能够设定为被摄体距离的50 %左右。并且，阈值可根据被摄体距离设定，设定为被摄体距离越近则阈值越小即可。例如可如下，即，在被摄体距离小于lm的范围内，将阈值设定为被摄体距离的30%，在lm以上的范围，将阈值设定为40%，在5m以上的范围，将阈值设定为50%。并且，与移动量有关的阈值可根据光圈值而设定为不同值，设定为光圈值越小则阈值越小即可。例如可如下，即，光圈值小于F4时，作为阈值设定为被摄体距离的30%，光圈值为F4以上时，作为阈值设定为被摄体距离的40 %，光圈值为F11以上时，设定为被摄体距离的50 %。而且，与移动量有关的阈值可设定为对根据被摄体距离设定的阈值乘以与光圈值相应的校正系数的值。例如可如下，即，光圈值小于F4时，设定为所设定的阈值的0.5倍，光圈值为F4以上时，设定为所设定的阈值的0.7倍，光圈值为F11以上时，设定为所设定的阈值的1倍。
[0125]当通过移动量获取部120获取的被摄体Q的移动量大于阈值时，复原处理判断部125判断为不进行复原处理。这是因为，若通过移动量获取部120获取的被摄体Q的移动量大于阈值，则摄影图像处于散焦状态的可能性较高(参考图7及图9)，若对散焦状态的摄影图像进行复原处理，则有可能导致过校正等画质劣化。
[0126]另一方面，当通过移动量获取部120获取的被摄体Q的移动量为阈值以下时，复原处理判断部125判断为进行复原处理。这是因为，若通过移动量获取部120获取的被摄体Q的移动量为阈值以下，则摄影图像处于聚焦状态的可能性较高，通过对聚焦状态的摄影图像进行复原处理，能够期待画质的提高。
[0127]另外，复原处理判断部125根据被摄体Q的移动量，调节复原处理的复原强度，当被摄体Q的移动量大于阈值时，可使复原强度比通常情况(被摄体Q的移动量为阈值以下的情况)弱。这是因为，若复原处理的复原强度过强，则有可能导致过校正等引起的画质劣化。
[0128]并且，复原处理判断部125可根据被摄体Q的移动量及被摄体距离这两者，判断是通过通常的复原滤波器以通常的复原强度对图像进行复原处理，还是在调节复原处理的复原强度之后对图像进行复原处理。根据被摄体Q的移动量及被摄体距离这两者，判断有无执行复原处理及有无调节复原处理的复原强度，因此能够更可靠地防止伴随被摄体距离变动的“复原处理引起的画质劣化”。
[0129]即，即使被摄体Q的移动量相同，被摄体距离较大(S卩，被摄体Q位于远离数码相机10的场所)的情况与被摄体距离较小(S卩，被摄体Q位于靠近数码相机10的场所)的情况下，复原处理引起的画质劣化程度不同。因此，复原处理判断部125除了被摄体Q的移动量之外，还考虑被摄体距离来调节复原处理的方法，由此能够实施更周密的复原处理。
[0130]滤波器获取部130根据摄影条件等而获取复原处理中使用的复原滤波器。即，滤波器获取部130根据摄影条件获取与有关光学系统12的点像分布的传递函数(点扩散函数)对应地生成的复原滤波器。滤波器获取部130能够通过各种方法获取复原滤波器。例如，滤波器获取部130可从摄影条件计算复原滤波器。并且，滤波器获取部130也可预先将多个复原滤波器保持于未图示的存储器，并从该保持的多个复原滤波器中选择适于摄影条件的复原滤波器。
[0131]图像调整部100包含复原强度调节部110及复原处理执行部105。另外，可使图像调整部100具有复原强度调节部110及复原处理执行部105以外的功能。
[0132]复原强度调节部110调节复原处理的复原强度。例如复原处理判断部125判断为根据已调节的复原强度进行复原处理时，复原强度调节部110调节复原处理的复原强度。复原强度调节部110能够通过各种方法进行复原强度调节，例如，能够通过改变复原滤波器的滤波器系数来调节复原强度。还能够根据通过移动量获取部120获取的被摄体Q的移动量变更通过滤波器获取部130获取的复原滤波器的滤波器系数。
[0133]复原处理执行部105对被输入的连续图像(动态图像等)适用来自滤波器获取部130的复原滤波器，由此进行复原处理。另外，复原处理在广义上可包含对图像数据适用复原滤波器的处理(滤波器适用处理)及调整适用复原滤波器之后的图像数据(复原图像数据)与原图像数据之差的增幅率(复原增益)的处理。
[0134]图10是表示图像调整部100(复原强度调节部110、复原处理执行部105)中的复原处理例的控制框图。
[0135]首先，复原滤波器F适用于原图像数据Do(滤波器适用处理Pf)，从而计算复原图像数据Drl。适用于原图像数据Do的复原滤波器F只要是基于光学系统(透镜16、光圈17等)的点扩散函数(PSF、0TF、MTF、PTF等)的滤波器，则并无特别限定，可以是实际空间滤波器也可以是频率空间滤波器(参考图4)。
[0136]之后，导出复原处理前后的图像数据的差分(差分导出处理Pd)，进行对该差分的增幅率(复原增益)的调整(增益调整处理?8)。即，差分导出处理匕中，计算出经滤波器适用处理Pf的复原图像数据Drl与原图像数据Do之间的差分数据AD(AD = Drl-Do)。并且，增益调整处理?8中，通过调整该差分数据AD的增幅率(复原增益)G来计算增幅率调整后差值(GX AD)，并对该增幅率调整后差值(GX AD)与原图像数据Do进行加法运算处理Pa来计算恢复图像数据Dr2(Dr2 = Do+GX Δ D)。另外，作为复原处理，可采用与上述方法相同的其他方法，例如可设为如下处理。复原滤波器F被适用于原图像数据Do(滤波器适用处理Pf)，从而计算出复原图像数据Drl。之后，可作为增益调整处理?8对该复原图像数据Drl进行增幅率(复原增益)G的调整(DrlXG)，对该值与原图像数据Do乘以(1-G)的值进行加法运算处理Pa来计算出恢复图像数据Dr2。
[0137]如此，基于复原处理的复原强度根据滤波器适用处理Pf中的复原滤波器(滤波器系数)与增益调整处理?8中的增幅率(复原增益)G发生变动。因此，复原处理的复原强度的调整可通过“在滤波器适用处理Pf中使用的复原滤波器(滤波器系数)的切换”和/或“增益调整处理?8中的增幅率(复原增益)G的变更”来执行。
[0138]因此，复原强度调节部110(参考图5)能够通过调节复原滤波器F的滤波器系数或调节复原增益G来调节复原处理的复原强度。
[0139]接着，对通过具有上述功能块的图像处理部35(复原处理部36)进行的复原处理流程进行说明。
[0140]图11是表示第1实施方式所涉及的复原处理的流程的流程图。
[0141]首先，在数码相机10的摄像部11中，通过光学系统12捕捉被摄体而生成被摄体的连续的多个图像(图11的步骤S10:生成步骤)，在被摄体距离获取部115中获取被摄体距离(步骤S12:被摄体距离获取步骤)。并且，通过移动量获取部120获取被摄体Q的移动量(步骤S14:移动量获取步骤)，之后，在复原处理判断部125中，判断是否对处理对象帧(处理对象图像)进行复原处理(步骤S16:复原处理判断步骤)。
[0142]判断为不进行复原处理时(步骤S16的否)，跳过复原处理，根据需要进行其他图像处理。另一方面，判断为进行复原处理时(步骤S16的是)，通过滤波器获取部130获取复原滤波器，所获取的复原滤波器被发送至图像调整部100(步骤S18:滤波器获取步骤)。并且，复原处理判断部125判断是否进行复原强度的调整(步骤S20:复原处理判断步骤)。
[0143]判断为不进行复原强度的调整时(步骤S20的否)，复原处理执行部105使用在复原滤波器获取步骤(S18)中获取的复原滤波器进行针对处理对象帧的复原处理(步骤S24:复原处理执行步骤)。另一方面，判断为进行复原滤波器的调整时(步骤S20的是)，复原强度调节部110调整复原处理的复原强度(步骤S22:复原强度调节步骤)。之后