用于拍摄设备的控制方法、控制设备和控制程序的制作方法

专利名称：用于拍摄设备的控制方法、控制设备和控制程序的制作方法
技术领域：
本发明涉及为拍摄设备提供的控制方法、控制设备和控制程序。更具体地说，本发明涉及分别用作为诸如摄像机的拍摄设备提供的控制方法、控制设备和控制程序、每一种设计成具有为获取更清晰图像确定拍摄方式的能力的控制方法、控制设备和控制程序。
背景技术：
近年来，数字摄像机已经变成摄像机的主流。在包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像拾取器件的数字摄像机中，将图像拾取器件产生的图像(下文称为摄取图像)显示在诸如LCD(液晶显示器)器件之类应用在数字摄像机中的监视器上，以便使用户可以确认图像。然后，在通常通过诸如闪速存储器的记录媒体将其传送到应用在个人计算机(PC)中的图像处理部分之前，数字化摄取图像的图像信号。作为一种可替代手段，可以通过利用电缆的有线通信或利用红外线等的无线电通信将摄取图像发送到PC。在用作摄取图像发送目的地的个人计算机中，在个人计算机诸如CRT(阴极射线管)或LCD(液晶显示器)显示部分的监视器上显示数字摄像机摄取的图像，以便使用户可以核实或编辑摄取图像。
如果数字摄像机用于摄取不是足够清楚的拍摄对象的画面，例如，在阴影区中，在阳光不足的地方，在稍暗的房间里或在类似的地点，有必要降低应用在数字摄像机中的快门的速度，或延长拍摄对象的曝光时间，以便向数字摄像机提供拍摄对象的足够曝光。
在曝光时间这么长的图像拾取操作中，通常将数字摄像机固定在三脚架等上，以防止数字摄像机晃动或抖动。因此，可以根据拍摄对象的亮度，获得不模糊的和曝光适当的摄取图像。但是，当数字摄像机用于，例如，用手握着摄像机摄取拍摄对象的图像时，摄像机会因手的抖动而晃动。于是，如果数字摄像机在摄像机的快门处在打开状态的时候，或在拍摄对象正暴露在摄像机面前的时候发生抖动，最后摄取图像非有意地变成由数字摄像机的抖动引起的模糊图像。这样的模糊图像被称为手晃图像或被认为是由摄像机抖动造成的图像。
除了降低快门速度或增加曝光时间的技术之外，作为获得足够曝光的方法，人们推荐了仅仅通过累积性地叠加数个摄取图像，给出与增加曝光时间的技术提供的曝光相当的曝光的方法。有关这种推荐方法的更多信息，请参考诸如专利文件1的文件。
但是，对于公开在专利文件1的方法，仅仅累积性地叠加了数个摄取图像。因此，如果握住数字摄像机的手像上述那样发生抖动，与使用增加曝光时间的技术的情况一样，摄像机也将产生模糊图像。
作为即使握住数字摄像机的手发生抖动，也可以防止摄取图像模糊或产生手晃图像的方法，人们引入了，例如，日本佳能公司制造的数字摄像机采用的方法。这种方法被称为IS(图像稳定器)。
对于图像稳定器，在光学系统透镜中配备了前置传感器，作为检测数字摄像机的抖动或振动的传感器。然后，按照代表数字摄像机的检测抖动或振动的数字信号，沿着与光轴垂直的方向移动用作校正光学系统的一部分透镜组，以便沿着消除摄取图像的抖动的方向折射光线。
按照图像稳定器，可以抑制由于握住数字摄像机的手的晃动或由于像拍摄设备的基座的晃动那样由风吹引起的微振晃动造成的图像抖动。其结果是，可以将清晰的摄取图像提供给用户。
但是，对于图像稳定器，必须提供检测抖动的专用传感器和高速移动用作校正光学系统的一部分透镜组的机构。因此，图像稳定器引起了使数字摄像机的结构复杂化的问题和使制造摄像机的成本提高的问题。
作为避免手晃图像的另一种方法，分别检测数个摄取图像当中第2和所有随后摄取图像的移动量，作为相对应于第1摄取图像的移动量，然后，通过它们各自的移动量校正第2和所有随后摄取图像的位置，最后，将移动第2和所有随后摄取图像依次加入第1摄取图像中的方法是已知的。有关这种方法的更多信息，建议读者参考诸如专利文件2、3、4、5、6、7和8的文件。按照公开在专利文件2、3、4、5、6、7和8中的方法，根据完成了校正图像位置的处理的第2和所有随后摄取图像的每一个，通过内插创建数据阵列与第1摄取图像相同的内插图像，然后，以像素为单位简单地将内插图像加入第1摄取图像中。
按照公开在专利文件2、3、4、5、6、7和8中的方法，由于高速，因此，短曝光时间地连续拍取图像，尽管导致画面变暗，但模糊量很小。为了解决画面变暗的问题，将根据第2和所有随后摄取图像，通过内插创建的图像加入第1摄取图像中，以得出亮度与用适当曝光时间摄取的图像相似的最后获得图像。
在创建按照描述在专利文件2到8中的方法，根据第2和所有随后摄取图像，通过内插创建的图像的处理中，让色度信号(或颜色数据)经受采用诸如线性内插和双三次内插之类利用各种各样内插函数的内插方法的内插处理。色度信号包括与一个像素有关的R(红)信号(代表红色数据)、G(绿)信号(代表绿色数据)、和B(蓝)信号(代表蓝色数据)。
已
公开日本专利第平成05-236442号；[专利文件2]已
公开日本专利第2000-217032号；[专利文件3]已
公开日本专利第2000-224460号；[专利文件4]已
公开日本专利第2000-244803号；[专利文件5]已
公开日本专利第2000-244797号；[专利文件6]已
公开日本专利第2000-069352号；[专利文件7]已
公开日本专利第平成10-341367号；[专利文件8]已
公开日本专利第平成09-261526号。

发明内容
顺便提一下，作为实现拍摄操作的方式在数字摄像机中采用的拍摄方式可以包括普通拍摄方式和手抖校正方式。普通拍摄方式是摄取普通图像和像拍摄操作的结果那样按原样输出摄取图像的方式。另一方面，手抖校正方式是利用高速快门高速连续地摄取数个图像，然后，叠加摄取图像，以产生具有适当曝光或拍摄者所希望的曝光和手抖得到校正的图像。不过，确定在拍摄操作采用普通拍摄方式还是手抖校正方式的方法未曾公开。
因此，对于现有场景(或现有状况)选择普通拍摄方式还是手抖校正方式的决定完全留给拍摄者作出判断。其结果是，除非拍摄者是一个很有经验的人士，拍摄者很有可能会作出错误的决定。由于这个原因，要求数字摄像机包括确定选择哪种拍摄方式作为更适合现有场景(或现有状况)的方式的内置自动处理机构。
为了解决上述问题，本发明提供了自动确定能够产生更清晰图像的拍摄方式的能力。
本发明为拍摄设备提供的控制方法的特征在于，按照该控制方法，将作为在以第一方式进行拍摄操作的假设下，拍摄操作摄取输入图像的计算曝光时间的第一曝光时间、和作为在以第二方式进行拍摄操作的假设下，拍摄操作摄取数个输入图像的计算曝光时间的第二曝光时间的至少一个与预定阈值相比较，以便产生以选为拍摄方式的第一方式进行拍摄操作还是以选为拍摄方式的第二方式进行拍摄操作的确定结果。
该控制方法可以包括第一确定步骤，产生第一曝光时间是否等于或短于第一阈值的确定结果；第一决定步骤，如果在第一确定步骤中产生的确定结果表示第一曝光时间等于或短于第一阈值，作出以第一方式摄取图像的决定；和第二决定步骤，如果在第一确定步骤中产生的确定结果表示第一曝光时间既不等于也不短于第一阈值，作出以第二方式摄取图像的决定。
该控制方法可以进一步包括第二确定步骤，如果在第一确定步骤中产生的确定结果表示第一曝光时间既不等于也不短于第一阈值，产生第二曝光时间是否等于或短于第二阈值的确定结果；和在第二决定步骤中，如果在第二确定步骤中产生的确定结果表示第二曝光时间等于或短于第二阈值，作出以第二方式摄取图像的决定。
第二确定步骤可以进一步包括产生第二曝光时间是否等于或长于基于从拍摄对象的亮度中求出的适当曝光时间的阈值和基于拍摄设备以最高速度进行的相继图像拾取操作的图像拾取间隔的阈值的较大者的确定结果的步骤，和第二决定步骤可以是如果在第二确定步骤中产生的确定结果表示第二曝光时间等于或短于第二阈值，和第二曝光时间等于或长于基于从拍摄对象的亮度中求出的适当曝光时间的阈值和基于拍摄设备以最高速度进行的相继图像拾取操作的图像拾取间隔的阈值的较大者，作出以第二方式摄取图像的决定的步骤。
该控制方法可以包括产生第二曝光时间是否等于或长于基于从拍摄对象的亮度中求出的适当曝光时间的阈值的确定结果的确定步骤；如果在确定步骤中产生的确定结果表示第二曝光时间等于或长于阈值，作出以第二方式摄取图像的决定的第一决定步骤；和如果在确定步骤中产生的确定结果表示第二曝光时间既不等于也不长于阈值，作出以第一方式摄取图像的决定的第二决定步骤。
该控制方法可以包括产生第二曝光时间是否等于或长于基于拍摄设备以最高速度进行的相继图像拾取操作的图像拾取间隔的阈值的确定结果的确定步骤；如果在确定步骤中产生的确定结果表示第二曝光时间等于或长于阈值，作出以第二方式摄取图像的决定的第一决定步骤；和如果在确定步骤中产生的确定结果表示第二曝光时间既不等于也不长于阈值，作出以第一方式摄取图像的决定的第二决定步骤。
本发明提供的控制设备的特征在于，在该控制设备中，将作为在以第一方式进行拍摄操作的假设下，拍摄操作摄取输入图像的计算曝光时间的第一曝光时间、和作为在以第二方式进行拍摄操作的假设下，拍摄操作摄取数个输入图像的计算曝光时间的第二曝光时间的至少一个与预定阈值相比较，以便产生以选为拍摄方式的第一方式进行拍摄操作还是以选为拍摄方式的第二方式进行拍摄操作的确定结果。
作为由计算机执行的程序的由本发明提供的控制程序的特征在于，按照该控制程序，将作为在以第一方式进行拍摄操作的假设下，拍摄操作摄取输入图像的计算曝光时间的第一曝光时间、和作为在以第二方式进行拍摄操作的假设下，拍摄操作摄取数个输入图像的计算曝光时间的第二曝光时间的至少一个与预定阈值相比较，以便产生以选为拍摄方式的第一方式进行拍摄操作还是以选为拍摄方式的第二方式进行拍摄操作的确定结果。
控制本发明提供的控制方法、控制设备和控制程序，将第一曝光时间和第二曝光时间的至少一个与预定阈值相比较，以便产生以选为拍摄方式的第一方式进行拍摄操作还是以选为拍摄方式的第二方式进行拍摄操作的确定结果，其中第一曝光时间是在以第一方式进行拍摄操作的假设下，拍摄操作摄取输入图像的计算曝光时间；和第二曝光时间是在以第二方式进行拍摄操作的假设下，拍摄操作摄取数个输入图像的计算曝光时间的第二曝光时间。
按照本发明，可以动态确定能够获取更清晰图像的拍摄方式。


图1是示出实现本发明所应用的数字摄像机1的实施例的典型配置的方块图；图2示出了涉及说明如图1所示的数字摄像机1进行的拍摄处理的流程图；图3是示出应用在如图1所示的数字摄像机1中的图像拾取器件4的像素的二维布局的图形；图4是示出应用在如图1所示的数字摄像机1中的信号处理电路7的详细典型配置的方块图；图5是示出第1摄取图像的图形；图6是示出第2摄取图像的图形；图7是示出第3摄取图像的图形；图8是示出在坐标系中与第1摄取图像有关的像素值的说明图；图9是示出输出图像的图形；图10是示出包括像素的画出位置的参考坐标系的图形；图11是涉及说明推测位置(I′，J′)上绿色的光量Lg(I′，J′)的处理的说明图；图12示出了涉及说明生成图像的处理的流程图；图13是示出三次函数的波形的图形；图14是示出参考坐标系中各个位置上的像素值的说明图；图15是示出异常状态的说明图；图16是涉及说明G信号的异常处理的图形；图17是涉及说明G信号的异常处理的图形；图18是涉及说明R信号的异常处理的图形；
图19是涉及说明R信号的异常处理的图形；图20示出了涉及说明生成图像的处理的流程图；图21示出了涉及说明生成图像的处理的流程图；图22示出了涉及说明求出绿色的光量Lg(I′，J′)的处理的流程图；图23示出了涉及说明求出红色的光量Lr(I′，J′)的处理的流程图；图24示出了涉及说明求出蓝色的光量Lb(I′，J′)的处理的流程图；图25是示出摄取图像4011到4018的图形；图26是对于第1摄取图像用作参考图像的情况示出输出图像的说明图；图27是对于中间摄取图像用作参考图像的情况示出输出图像的说明图；图28示出了涉及说明如图1所示的数字摄像机1进行的处理的流程图；图29是示出参照画面的平面图的图形；图30示出了涉及说明生成图像的处理的流程图；图31示出了涉及说明生成图像的处理的流程图；图32示出了涉及说明生成图像的处理的流程图；图33示出了涉及说明生成图像的处理的流程图；图34示出了涉及说明生成图像的处理的流程图；图35示出了涉及说明生成图像的处理的流程图；图36示出了涉及说明生成图像的处理的流程图；图37示出了涉及说明生成图像的处理的流程图；图38示出了涉及说明生成图像的处理的流程图；图39示出了涉及说明生成图像的处理的流程图；图40示出了涉及说明生成图像的处理的流程图；图41示出了涉及说明推测G信号的像素值(或绿色的光量)的处理的流程图；图42示出了涉及说明推测R信号的像素值(或红色的光量)的处理的流程图；图43示出了涉及说明推测B信号的像素值(或蓝色的光量)的处理的流程图；图44示出了涉及说明如图1所示的数字摄像机1进行的拍摄处理的流程图；图45示出了涉及说明确定拍摄方式的处理的流程图；
图46示出了涉及说明第一确定处理的流程图；图47示出了涉及说明第二确定处理的流程图；图48示出了涉及说明第三确定处理的流程图；图49示出了涉及说明第四确定处理的流程图；和图50是涉及说明消隐间隔对输出图像的影响的图形。
1数字摄像机；2透镜；3光圈；4图像拾取器件；5相关二次取样电路；6A/D转换器；7信号处理电路；8同步发生器；9D/A转换器；10视频编码器；11监视器；12编解码器；13存储器；14总线；15CPU；16输入设备；17图像处理电路；18控制电路；19曝光计；21移位电路；221-22N帧存储器；231-23N运动矢量检测电路；24处理电路；25控制器。
实施本发明的最佳方式下面参照

本发明的实施例。
图1是示出实现本发明所应用的数字(静止)摄像机1的实施例的典型配置的方块图。
如图所示的数字摄像机1包括透镜2、光圈3、图像拾取器件4、相关二次取样电路5、A/D(模拟/数字)转换器6、信号处理电路7、同步发生器8、D/A(数字/模拟)转换器9、视频编码器10、监视器11、编解码器12、存储器13、总线14、CPU(中央处理单元)15、存储部分15A、接口(I/F)15B、输入设备16和曝光计19。
相关二次取样电路5、A/D转换器6、信号处理电路7、D/A转换器9、视频编码器10和编解码器12形成图像处理电路17，而同步发生器8、CPU 15、存储部分15A和接口15B形成控制电路18。A/D转换器6包括移位电路21，而信号处理电路7包括帧存储器22。
来自在图中未示出的拍摄对象的光束经过包括透镜2和光圈3的光学系统之后击中图像拾取器件4。透镜2是具有固定焦距的近焦透镜，或具有可变焦距的变焦透镜。如果变焦透镜用作透镜2，透镜2通常被设计成包括数个透镜的透镜组。通过改变作为组成透镜组的透镜之间的关系的指向光轴方向的位置关系，可以改变透镜2的焦距。以这种方式改变焦距的控制通过控制电路18输出到驱动透镜2的驱动电路的控制信号进行。应该注意到，驱动电路本身未显示在图中。还值得注意的是，为了简化图形，透镜2在图1中被显示成单个透镜。
光圈3是通过遮挡穿过透镜2的一些光线，调整击中图像拾取器件4的光量的部件。光圈3调整光量的控制通过控制电路18输出的控制信号进行。
图像拾取器件4通常是由诸如CCD或CMOS之类的材料制成的单板传感器。图像拾取器件4含有每一个用作光接收元件的预定个像素。按照同步发生器8输出的曝光定时信号，图像拾取器件4只在预定曝光时间内和以预定间隔接收来自拍摄对象的入射光。然后，图像拾取器件4进行光电转换处理，将到达配备在图像拾取器件4的图像拾取面上的光接收元件的光量转换成电信号。随后，图像拾取器件4将作为光电转换处理的结果获得的电信号提供给相关二次取样电路5。由于图像拾取器件4是单板传感器，供给相关二次取样电路5的电信号是从每个像素的R、G和B信号当中选择的色度信号(或颜色数据)。
作为一种可替代物，图像拾取器件4也可以是称为合并(binning)图像拾取器件的图像拾取器件，它具有叫做合并功能的功能。合并功能是累加作为接收光线的传感器的图像拾取器件4内彼此相邻的数个像素的像素值，和将作为累加操作的结果获得的和值用作一个像素的像素值的功能。当执行合并功能时，图像拾取器件4累加彼此相邻的数个像素的像素值，和将作为累加操作的结果获得的和值用作一个像素的像素值。因此，每一个用这样的输出像素值表示的像素的个数少于实际组成图像拾取器件4的像素的个数。更具体地说，每一个用这样的输出像素值表示的像素的个数是实际组成图像拾取器件4的像素的个数的几分之一。
具体地说，让我们假设，例如，图像拾取器件4通过执行下文称为2×2合并功能的功能，累加彼此相邻的数个(或2×2个)像素(也就是说，排列在垂直方向的两个像素和排列在水平方向的两个像素)的像素值和输出该和值。在这种情况下，每一个用这样的和值表示的像素的个数是实际组成图像拾取器件4的像素的个数的四分之一。这是因为排列在垂直方向的像素的个数减少为一半和排列在水平方向的像素的个数也减少为一半。举另一个例子来说，图像拾取器件4通过执行下文称为3×3合并功能的功能，累加彼此相邻的数个(或3×3个)像素(也就是说，排列在垂直方向的三个像素和排列在水平方向的三个像素)的像素值和输出该和值。在这种情况下，每一个用这样的和值表示的像素的个数是实际组成图像拾取器件4的像素的个数的九分之一。这是因为排列在垂直方向的像素的个数减少为三分之一和排列在水平方向的像素的个数也减少为三分之一。
当像上述那样执行合并功能时，每一个用图像拾取器件4输出的和值表示的像素的个数减少了，从而减少了数字摄像机1要处理的数据量。与不执行合并功能的情况，即，图像拾取器件4处理的像素的个数等于实际组成图像拾取器件4的像素的个数的情况相比，可以提高连接图像拾取速度。与不执行合并功能的情况的连续图像拾取速度相比，例如，2×2合并功能的连续图像拾取速度快三倍。这是因为图像拾取器件4输出的像素值的个数减少为四分之一。同样，3×3合并功能的连续图像拾取速度快八倍，因为图像拾取器件4输出的像素值的个数减少为九分之一。
也就是说，让我们假设进行高速图像拾取处理的图像拾取器件4的连续图像拾取间隔的下限是t0或连续图像拾取速度是1/t0。在这种情况下，图像拾取器件4能够以t0秒的间隔或比没有执行合并功能的t0秒长的间隔进行图像拾取处理。但是，通过执行2×2合并功能，图像拾取器件4能够以t0/4秒的间隔或比t0/4秒长的间隔进行图像拾取处理。通过执行3×3合并功能，图像拾取器件4能够以t0/9秒的间隔或比t0/9秒长的间隔进行图像拾取处理。
应该注意到，控制电路18输出到图像拾取器件4的合并控制信号控制确定是否执行合并功能的处理，和如果执行合并功能，控制信号指示执行2×2合并功能还是3×3合并功能。
在一次拍摄操作中或在在释放按钮上进行的一次操作中，图像拾取器件4以适当曝光或拍摄者所希望的曝光的快门速度，即，在曝光时间内产生一个摄取图像，或图像拾取器件4以比适当曝光或拍摄者所希望的曝光的快门速度高的速度，即，在较短的曝光时间内产生数个摄取图像。在如下的描述中，以较高速度产生的摄取图像的个数是N。
在如下的描述中，为从图像拾取器件4产生的摄取图像(或输入图像)中生成输出图像而执行的拍摄操作的拍摄方式或为按原样输出图像拾取器件4产生的摄取图像(或输入图像)而执行的拍摄操作的拍摄方式被称为普通拍摄方式或第一拍摄方式。另一方面，为从图像拾取器件4以上面引述的较高速度产生的N个摄取图像(或N个输入图像)中生成输出图像而执行的拍摄操作的拍摄方式被称为手抖校正拍摄方式或第二拍摄方式。
在普通拍摄方式中，以适当曝光或拍摄者所希望的曝光摄取图像拾取器件4产生的摄取图像。另一方面，在手抖校正方式中，以比适当曝光或拍摄者所希望的曝光的曝光时间短的曝光时间摄取N个摄取图像的每一个。因此，图像拾取器件4产生的N个摄取图像的每一个比以适当曝光摄取的图像暗，或具有等于以适当曝光摄取的图像的亮度的Mk分之一的亮度，即，具有等于以适当曝光摄取的图像的亮度的1/Mk的亮度，其中，k是在范围1到N内的整数。
对于太大的Mk值，摄取图像非常暗，使得N个摄取图像的每一个不可避免地埋没在噪声中。另外，从这样埋没在噪声之中的N个摄取图像中生成的输出图像也必然是包含大量噪声的图像。为了解决这个问题，将上限Mmax确定为Mk值的最大值。也就是说，上限Mmax是仍然能得到不使图像埋没在噪声之中的亮度的Mk最大值。因此，可以从每一个具有至少等于以适当曝光摄取的图像的亮度的1/Mmax的亮度的N个摄取图像中生成含有少量噪声的适当输出图像。因此，至少等于以适当曝光摄取的图像的亮度的1/Mmax的亮度是N个摄取图像的暗度的上限。
让我们假设，例如，Mmax是8。在这种情况下，不可能从每一个具有比以适当曝光摄取的图像的暗度的1/8大的暗度的N个相继摄取图像中生成适当输出图像，也就是说，不可能从每一个在比适当曝光的曝光时间短的曝光时间内摄取的N个连接摄取图像中生成适当输出图像。这是因为N个摄取图像的每一个都非常暗。相反，可以从每一个具有比以适当曝光摄取的图像的亮度的1/8大的亮度的N个相继摄取图像中生成清晰输出图像，也就是说，可以从每一个在比适当曝光的曝光时间长的曝光时间内摄取的N个连接摄取图像中生成适当输出图像。应该注意到，Mk和Mmax的值每一个都是通过数字摄像机1的性能确定的值。
在图像处理电路17中，相关二次取样电路5是通过采用相关二次取样技术，从图像拾取器件4作为电信号生成的图像信号中消除噪声成分的电路。然后，相关二次取样电路5将从中消除了噪声的图像信号提供给A/D转换器6。A/D转换器6是进行A/D转换处理，将从相关二次取样电路5接收的图像信号作为从中消除了噪声的图像信号转换成数字信号的部件。也就是说，A/D转换器6是采用取样技术量化图像信号的部件。
在普通拍摄方式中，A/D转换器6通过信号处理电路7，按原样将通常作为A/D转换处理的结果获得的数字信号所代表的摄取图像提供给D/A转换器9或编解码器12。另一方面，在手抖校正拍摄方法中，内置在A/D转换器6中的移位电路21通常将作为A/D转换处理的结果获得的数字信号所代表的摄取图像作为暗图像移动n′个位，使图像乘以Mk，以便将图像转换成图像信号所代表的摄取图像，作为具有与正常曝光的摄取图像相似的亮度(或值)的图像。将数字信号所代表的摄取图像转换成具有与正常曝光的摄取图像相似的亮度(或值)的图像的处理被称为放大处理。然后，A/D转换器6将作为放大处理的结果获得的图像提供给信号处理电路7。
在相关二次取样电路5中，消除图像信号的噪声成分，但并没有完全消除所有噪声成分。因此，图像信号仍然包括不能被相关二次取样电路5除去的噪声成分。如果图像信号仍然包括不能被相关二次取样电路5除去的噪声成分，该噪声成分变成信号的误差。在这种情况下，在移位电路21中，与图像信号一样，误差被乘以Mk。因此，包括在提供给信号处理电路7的图像信号中的误差依赖于用在移位电路21中的放大量。让我们假设未被相关二次取样电路5消除的噪声成分的量值是E。在这种情况下，从应用在A/D转换器6中的移位电路21提供到信号处理电路7的图像信号包括具有大约E×Mk的量值的噪声成分。可以将依赖于图像拾取器件4的特性的假设最大值设置成噪声量E的最大值。例如，对于Mk＝8，移位电路21移动图像信号的位数n′是3。通过将图像信号移动n′个位，可以生成亮度等于适当曝光的亮度的输出信号。
通过在应用在A/D转换器6中的移位电路21中将图像信号乘以Mk，将每一个完成了放大处理给出与适当曝光相同的亮度的N个摄取图像的图像信号临时存储(或记录)在应用在信号处理电路7中的帧存储器22中。
在普通拍摄方式中，信号处理电路7对从A/D转换器6接收的摄取画面进行与普通数字摄像机相同的图像处理，和将完成图像处理的摄取画面作为输出图像提供给D/A转换器9或编解码器12。
另一方面，在手抖校正拍摄方式中，信号处理电路7将从A/D转换器6接收的N个摄取图像存储在帧存储器22中，和对代表N个摄取图像的图像信号进行预定处理。
更详细地说，信号处理电路7将，例如，N个摄取图像的第1个取作参考图像和将第2到第N个的每一个取作目标图像。然后，信号处理电路7确定每个目标图像相对于参考图像移动了多少。也就是说，信号处理电路7检测参考图像和每个目标图像之间的移动量，以便确定参考图像和每个目标图像之间的位置关系。随后，根据移动量，信号处理电路7求出对于每个像素具有所有G、R和B信号的输出图像，作为完成了校正手抖的处理的清晰输出图像。最后，信号处理电路7将代表清晰输出图像的图像信号提供给D/A转换器9或编解码器12。信号处理电路7通常可以用DSP(数字信号处理器)实现。
当采用普通拍摄方式作为拍摄方式时，同步发生器8将曝光定时信号提供给图像拾取器件4、相关二次取样电路5、A/D转换器6和信号处理电路7，以便驱动图像拾取器件4、相关二次取样电路5、A/D转换器6和信号处理电路7在一次拍摄操作中产生摄取图像。另一方面，当采用手抖校正拍摄方式作为拍摄方式时，同步发生器8将曝光定时信号提供给图像拾取器件4、相关二次取样电路5、A/D转换器6和信号处理电路7，以便驱动图像拾取器件4、相关二次取样电路5、A/D转换器6和信号处理电路7在一次拍摄操作中高速产生N个摄取图像。
D/A转换器9是进行D/A转换处理，将从图像处理电路7接收的图像信号作为代表输出画面的图像信号转换成模拟信号，和将模拟信号提供给视频编码器10的部件。视频编码器10是将从D/A转换器9接收的模拟信号作为经过D/A转换处理转换成图像信号得到的模拟信号转换成可以显示在监视器11上的视频信号，和将视频信号提供给监视器11的部件。监视器11是通常扮演数字摄像机1的取景器角色的部件。监视器11通常是显示从视频编码器11接收的视频信号的LCD器件。因此，监视器11显示输出图像。
编解码器11是按照预定编码方法，譬如，JPEG(联合图像专家组)方法、MPEG(运动图像专家组)方法，或DV(数字视频)方法，将来自信号处理电路7的图像信号编码成输出画面的图像信号，和将作为编码处理的结果获得的信号提供给存储器13的部件。
存储器13是用于临时或永久存储(或记录)作为编码处理的结果从编解码器12接收的图像信号的存储器件。应该注意到，作为存储器13的替代物，可以使用诸如磁盘或光盘之类的记录媒体。可以将存储器13和存储器13的替代物安装在数字摄像机1上和从数字摄像机1上移去。还值得注意的是，数字摄像机1可以配有内置在数字摄像机1中的记录媒体和可以安装在数字摄像机1上和从数字摄像机1上移去的记录媒体两者。
例如，通常按照输入设备16通过总线14提供的控制信号，应用在控制电路18中的CPU 15通过总线14将信号输出到数字摄像机1的各种各样部件，以便请求这些部件进行各种类型的处理。提供给CPU 15的控制信号的例子包括拍摄方式控制信号、合并控制信号和曝光定时信号。拍摄方式控制信号是指示采用普通拍摄方式还是手抖校正拍摄方式作为进行拍摄操作的拍摄方式的信号。合并控制信号是控制合并功能的信号，即，指定不执行合并功能地进行图像拾取处理，或通过执行，例如，2×2合并功能或3×3合并功能进行图像拾取处理的信号。曝光定时信号是控制在拍摄时控制图像拾取器件4接收光的定时，即，光接收开始时间和结束时间的定时，进一步，在手抖校正方式中，N个摄取图像每一个的光接收开始时间和结束时间的定时的信号。
存储部分15A通常是诸如闪速存储器或EEPROM(电可擦除可编程只读存储器)的非易失性存储器。作为一种替代物，存储部分15A是非易失性存储器和易失性存储器的组合。存储部分15A用于存储要由CPU 15执行的程序，和临时存储CPU 15在进行处理过程中所需的数据。接口15B通常是USB(通用串行总线)或IEEE 1394接口。通过将接口15B与外部计算机连接，数字摄像机1能够用从外部计算机接收的程序更新存储在存储部分15A中的程序，和与外部计算机交换包括输出像素在内的各种类型数据。
输入设备16含有诸如前面引述的释放按钮、曝光校正盘和变焦按钮(或变焦杆)之类的操作按钮。释放按钮是提供拍摄触发的按钮。曝光校正盘是校正拍摄操作的曝光的转盘。变焦按钮是进行操作设置变焦透镜的焦距，以便调整变焦的按钮。用户操作操作按钮时生成的各种各样信号由输入设备16通过总线14提供给CPU 15。CPU 15根据输入设备16通过总线14提供给CPU15的信号控制其它部件进行处理。应该注意到，应用在输入设备16中的一个或多个操作按钮可以显示在监视器11上。操作按钮通常作为透明图形输入板显示在监视器11上和可以通过检测该图形输入板来操作。
曝光计19是测量拍摄对象(或图像拾取对象)的亮度和将作为测量结果获得的值提供给控制电路18的部件。根据亮度的测量值，应用在控制电路18中的CPU 15确定用在自动曝光控制和其它应用中的光圈值(或光阑值)和曝光时间。
顺便提一下，当拍摄者希望利用数字摄像机1进行欠或过拍摄操作时，拍摄者操作输入设备16的曝光校正盘，以便设置曝光校正值。这样，可以将实际拍摄操作的曝光校正成适当曝光。也就是说，通过操作曝光校正盘，拍摄者能够为适当曝光的拍摄操作设置曝光，故意将曝光设置欠一点的值上，以便得出有意变暗的输出图像，或故意将曝光设置在过一点的值上，以便得出有意变亮的输出图像。在设置操作中作为曝光校正值生成的信息由输入设备16提供给应用在控制电路18中的CPU 15，用作CPU 15进行的处理的基础。
随着透镜2被用作变焦透镜，拍摄者能够通过操作应用在数字摄像机1的输入设备16中的变焦按钮设置焦距。也就是说，作为在变焦按钮上进行的操作的结果生成的信息由输入设备16提供给控制电路18。按照输入设备16提供的信息，控制电路18然后控制组成透镜2的透镜设置由拍摄者设置的焦距。另外，控制电路18在如后所述的确定拍摄操作的拍摄方式的处理中，也使用输入设备16提供的信息，即，有关拍摄时的焦距的信息。
控制电路18是从曝光计19以与普通数字摄像机相同的方式作为拍摄对象的亮度值测量的值中确定适当光圈值F和适当曝光时间Tp的电路。控制电路18还从进行操作设置校正曝光值的曝光校正盘输出的校正曝光值中确定也称为快门速度的实际曝光时间Ta。
也就是说，随着曝光校正盘被设置在0上，控制电路18将适当曝光时间Tp按原样取作曝光时间Ta。在这种情况下，当图像拾取器件4在光圈值F和曝光时间Ta上产生摄取图像时，通过图像拾取处理产生的摄取图像是具有适当亮度的图像。
随着曝光校正盘被设置在代表1级欠亮度的值上，控制电路18将曝光时间Ta设置在Tp/2上。在这种情况下，当图像拾取器件4在光圈值F和曝光时间Ta上产生摄取图像时，通过图像拾取处理产生的摄取图像是具有1级欠亮度的图像。应该注意到，如果在这种情况下实际曝光时间被设置在2×Ta上，在图像拾取器件4为产生摄取图像进行的图像拾取处理中产生的摄取图像将是具有适当亮度的图像。
随着曝光校正盘被设置在代表2级欠亮度的值上，控制电路18将曝光时间Ta设置在Tp/4上。在这种情况下，当图像拾取器件4在光圈值F和曝光时间Ta上产生摄取图像时，通过图像拾取处理产生的摄取图像是具有2级欠亮度的图像。应该注意到，如果在这种情况下实际曝光时间被设置在4×Ta上，在图像拾取器件4为产生摄取图像进行的图像拾取处理中产生的摄取图像将是具有适当亮度的图像。
随着曝光校正盘被设置在代表3级欠亮度的值上，控制电路18将曝光时间Ta设置在Tp/8上。在这种情况下，当图像拾取器件4在光圈值F和曝光时间Ta上产生摄取图像时，通过图像拾取处理产生的摄取图像是具有3级欠亮度的图像。应该注意到，如果在这种情况下实际曝光时间被设置在8×Ta上，在图像拾取器件4为产生摄取图像进行的图像拾取处理中产生的摄取图像将是具有适当亮度的图像。
随着曝光校正盘被设置在代表1级过亮度的值上，控制电路18将曝光时间Ta设置在Tp×2上。在这种情况下，当图像拾取器件4在光圈值F和曝光时间Ta上产生摄取图像时，通过图像拾取处理产生的摄取图像是具有1级过亮度的图像。应该注意到，如果在这种情况下实际曝光时间被设置在Ta/2上，在图像拾取器件4为产生摄取图像进行的图像拾取处理中产生的摄取图像将是具有适当亮度的图像。
随着曝光校正盘被设置在代表2级过亮度的值上，控制电路18将曝光时间Ta设置在Tp×4上。在这种情况下，当图像拾取器件4在光圈值F和曝光时间Ta上产生摄取图像时，通过图像拾取处理产生的摄取图像是具有2级过亮度的图像。应该注意到，如果在这种情况下实际曝光时间被设置在Ta/4上，在图像拾取器件4为产生摄取图像进行的图像拾取处理中产生的摄取图像将是具有适当亮度的图像。
随着曝光校正盘被设置在代表3级过亮度的值上，控制电路18将曝光时间Ta设置在Tp×8上。在这种情况下，当图像拾取器件4在光圈值F和曝光时间Ta上产生摄取图像时，通过图像拾取处理产生的摄取图像是具有3级过亮度的图像。应该注意到，如果在这种情况下实际曝光时间被设置在Ta/8上，在图像拾取器件4为产生摄取图像进行的图像拾取处理中产生的摄取图像将是具有适当亮度的图像。
接着，参照如图2所示的流程图，如下的描述将说明当数字摄像机1采用手抖校正拍摄方式作为拍摄方式时数字摄像机1进行的拍摄处理。这个拍摄处理对应于如后所述的在如图44所示的流程图的步骤S507上进行的处理。
如图2所示的流程图从步骤S1开始，在步骤S1中，图像拾取器件4摄取拍摄对象的图像。更详细地说，在用户一次性按下释放按钮(或快门按钮)进行的操作触发的拍摄操作中，图像拾取器件4通过按照同步发生器8提供的曝光定时信号，以预定间隔连续N次地接收拍摄对象的入射光，和在光电转换处理中将光转换成电信号，进行N次高速图像拾取处理。因此，通过进行一次性按下释放按钮的操作，获得每一个作为曝光等于或少于(不满足适当曝光的条件)适当曝光的暗图像的N个摄取图像，将每一个作为图像拾取器件4进行的光电转换处理所得的电信号产生的图像信号提供给从信号中除去噪声成分的相关二次取样电路5。然后，相关二次取样电路5将从信号中除去了噪声成分的图像信号提供给A/D转换器6。随后，拍摄处理的流程转到下一个步骤S2。
在步骤S2中，A/D转换器6将作为每一个代表摄取图像之一的图像信号从相关二次取样电路5接收的图像信号的每一个转换成数字信号。然后，移位电路21将曝光等于或少于适当曝光的暗摄取图像移动n′个位，以便在放大处理中将摄取图像转换成具有等于适当曝光所得的亮度的亮度(或值)的图像信号，和将作为放大处理的结果获得的图像信号提供给信号处理电路7。然后，拍摄处理的流程转到下一个步骤S3。
在步骤S3中，信号处理电路7将，例如，从应用在A/D转换器6中的移位电路21接收的N个摄取图像的第1个取作参考图像，和将第2到第N个的每一个取作目标图像。然后，信号处理电路7确定每个目标图像(即，第2和所有随后摄取图像)相对于参考图像移动了多少。也就是说，信号处理电路7检测参考图像和作为第2到第N摄取图像的每个目标图像之间的移动量，以便确定参考图像和每个目标图像之间的位置关系。有关移动量的信息被当作如后所述的变换参数来对待。然后，拍摄处理的流程转到下一个步骤S4。
在步骤S4中，根据N个摄取图像，以及作为参考图像的位置和目标图像的位置之间的移动量在步骤S3中检测的移动量，信号处理电路7进行生成图像的处理。然后，拍摄处理的流程转到下一个步骤S5。从以后作为生成图像的处理的细节描述的细节中可明显看出，通过进行生成图像的处理，图像处理电路7能够生成对于每个像素具有所有G、R和B信号的输出图像，作为适当曝光的清晰输出图像和没有(几乎没有)手抖的清晰输出图像。最后，信号处理电路7将代表通过生成图像的处理产生的清晰输出图像的图像信号提供给D/A转换器9或编解码器12。
在步骤S5中，监视器11显示也存储在通常作为闪速存储器实现的存储器13中的输出图像。最后，结束拍摄处理。更详细地说，在步骤S5中，D/A转换器9进行D/A转换处理，将在步骤S4中从信号处理电路7接收的数字图像信号作为代表输出画面的图像信号转换成模拟信号，和将模拟信号提供给视频编码器10。然后，在同一步骤S5中，视频编码器10将从D/A转换器9接收的模拟信号作为经过转换数字图像信号的D/A转换处理所得的模拟信号转换成可以显示在监视器11上的视频信号，和将视频信号提供给监视器11。随后，也在同一步骤S5中，监视器11根据从视频编码器10接收的视频信号显示输出图像。最后，结束拍摄处理。同时，也在同一步骤S5中，编解码器12按照诸如JPEG方法或MPEG方法的预定编码方法，编码作为输出画面的图像信号在步骤S4中从信号处理电路7接收的图像信号，和将作为编码处理的结果获得的信号提供给通常是闪速存储器的存储器13。最后，结束拍摄处理。
图3是示出应用在如图1所示的数字摄像机1中的图像拾取器件4上的像素的二维布局的图形。应该注意到，图3只示出了处在图像拾取器件4的左上部分上的像素的二维布局。更具体地说，图3只示出了图像拾取器件4中最上面4个水平行和最左边6个垂直列上的24个像素的二维布局。其它部分上的像素的二维布局每一个都假设为与如图所示的二维布局相同。
在如图3所示的像素二维布局中，XY坐标系被设置成原点位于图像拾取器件4的左上角的像素的中心(或重心)、水平(向右)方向取作X方向和垂直(向下)方向取作Y方向的坐标系。假设每个像素的垂直方向长度(或高度)和水平方向长度(或宽度)为1。在这种情况下，记号(i-1，j-1)表示位于从像素二维布局的左端算起第i列和从该布局的上端算起第j行的交点上的像素的位置。更具体地说，位置(i-1，j-1)是这样像素的中心位置。
作为图像拾取器件4上的像素的二维布局的如图3所示的像素二维布局是所谓的拜耳(Bayer)二维阵列。但是，应该注意到，如图3所示的像素二维布局不必是所谓的拜耳二维阵列。也可以采用其它矩阵。
从具有拜耳二维阵列的图像拾取器件4输出将基于像素位置的像素值作为颜色的像素值的图像。
在拜耳二维阵列的情况下，每一个允许取出G信号的像素是像素G00、G02、G04、G11、G13、G15、G20、G22、G24、G31、G33和G35。像素G00是位于从原点算起沿着X方向排列的第1列和从原点算起沿着Y方向排列的第1行的交点上的像素。像素G02是位于从原点算起沿着X方向排列的第3列和从原点算起沿着Y方向排列的第1行的交点上的像素。像素G04是位于从原点算起沿着X方向排列的第5列和从原点算起沿着Y方向排列的第1行的交点上的像素。像素G11是位于从原点算起沿着X方向排列的第2列和从原点算起沿着Y方向排列的第2行的交点上的像素。同样，像素G13、G15、G20、G22、G24、G31、G33和G35的位置可以以与像素G00、G02、G04和G11相同的方式从它们的后缀中识别出来。
每一个允许取出R信号的像素是像素R01、R03、R05、R21、R23、和R25。像素R01是位于从原点算起沿着X方向排列的第2列和从原点算起沿着Y方向排列的第1行的交点上的像素。像素R03是位于从原点算起沿着X方向排列的第4列和从原点算起沿着Y方向排列的第1行的交点上的像素。像素R05是位于从原点算起沿着X方向排列的第6列和从原点算起沿着Y方向排列的第1行的交点上的像素。像素R21是位于从原点算起沿着X方向排列的第2列和从原点算起沿着Y方向排列的第3行的交点上的像素。同样，像素R23和R25的位置可以以与像素R01、R03、R05和R21相同的方式从它们的后缀中识别出来。
每一个允许取出B信号的像素是像素B10、B12、B14、B30、B32、和B34。像素B10是位于从原点算起沿着X方向排列的第1列和从原点算起沿着Y方向排列的第2行的交点上的像素。像素B12是位于从原点算起沿着X方向排列的第3列和从原点算起沿着Y方向排列的第2行的交点上的像素。像素B14是位于从原点算起沿着X方向排列的第5列和从原点算起沿着Y方向排列的第2行的交点上的像素。像素B30是位于从原点算起沿着X方向排列的第1列和从原点算起沿着Y方向排列的第4行的交点上的像素。同样，像素B32和B34的位置可以以与像素B10、B12、B14和B30相同的方式从它们的后缀中识别出来。
让记号Lg(x，y)表示投影在作为将图像拾取器件4取作基准的XY坐标系下的位置(x，y)，包含在图像拾取器件4的表面中的位置(x，y)上的拍摄对象(或图像)的G信号(或G的光量)，其中，x和y每一个都是实数。同样，让记号Lr(x，y)表示投影在相同位置(x，y)上的相同图像的R信号(或R的光量)。同样，让记号Lb(x，y)表示投影在相同位置(x，y)上的相同图像的B信号(或B的光量)。在这种情况下，记号Lg(i，j)可以用于表示从作为没有手抖影响的清晰图像生成的输出图像的左端算起第i列和从同一图像的上端算起第j行的交点上的像素的G信号。同样，记号Lr(i，j)可以用于表示同一像素的R信号。同样，记号Lb(i，j)可以用于表示同一像素的B信号。在这种情况下，x，y，i和j满足如下方程x＝i-1和y＝j-1。
应该注意到，由于Lg(x，y)和Lg(i-1，j-1)每一个都表示位置(x，y)或位于从左端算起第i列和从上端算起第j行的交点上的像素上拍摄对象产生的绿色的光量(或像素值)，在如下的描述中，Lg(x，y)也被称为绿色光量Lg(x，y)。同样，由于Lr(x，y)和Lr(i-1，j-1)每一个都表示位置(x，y)或位于从左端算起第i列和从上端算起第j行的交点上的像素上拍摄对象产生的红色的光量(或像素值)，Lr(x，y)也被称为红色光量Lr(x，y)。同样，由于Lb(x，y)和Lb(i-1，j-1)每一个都表示位置(x，y)或位于从左端算起第i列和从上端算起第j行的交点上的像素上拍摄对象产生的蓝色的光量(或像素值)，Lb(x，y)也被称为蓝色光量Lb(x，y)。
如下的描述定义用于G信号的变量ig和jg，用于R信号的变量ir和jr，以及用于B信号的变量ib和jb。
变量ig和jg分别代表允许取出G信号的像素的列号和行号。也就是说，变量ig和jg的组合等效于变量i和j的组合。在拜耳二维阵列中，根据拜耳二维阵列的特性，变量ig和jg分别对应于满足要求它们的差值(i-j)是偶数的条件的变量i和j。值得注意的是，差值(ig-ig)当然也是偶数。因此，位于第ig列和第jg行的交点上的像素是允许取出G信号的像素。应该注意到，在除了拜耳二维阵列之外的其它二维阵列中，有关代表变量ig和jg的变量i和j的条件不同于有关拜耳二维阵列的条件。
同样，变量ir和jr分别代表允许取出R信号的像素的列号和行号。也就是说，变量ir和jr的组合等效于变量i和j的组合。在拜耳二维阵列中，根据拜耳二维阵列的特性，变量ir和jr分别对应于满足要求变量i是偶数和它们的差值(i-j)是奇数的条件的变量i和j。值得注意的是，差值(ir-ir)当然也是奇数。因此，位于第ir列和第jr行的交点上的像素是允许取出R信号的像素。应该注意到，在除了拜耳二维阵列之外的其它二维阵列中，有关代表变量ir和jr的变量i和j的条件不同于有关拜耳二维阵列的条件。
同样，变量ib和jb分别代表允许取出B信号的像素的列号和行号。也就是说，变量ib和jb的组合等效于变量i和j的组合。在拜耳二维阵列中，根据拜耳二维阵列的特性，变量ib和jb分别对应于满足要求变量i是奇数和它们的差值(i，j)是奇数的条件的变量i和j。值得注意的是，差值(ib-ib)当然也是奇数。因此，位于第ib列和第jb行的交点上的像素是允许取出B信号的像素。应该注意到，在除了拜耳二维阵列之外的其它二维阵列中，有关代表变量ib和jb的变量i和j的条件不同于有关拜耳二维阵列的条件。
接着，如下的描述定义作为如图4所示的图像拾取器件4上的像素接收光的结果获得的色度信号(更具体地说，G、R和B信号)的值(严格地说，像素值)。
如上所述，在图像拾取器件4中，产生N个摄取图像。因此，在图像拾取器件4的每个像素中，获得N个像素值。让记号Gobs(k，ig，jg)表示在获取第k摄取图像的图像拾取处理中在位于第ig列和第jg行的交点上的像素上获得的像素值，其中，记号k表示在范围1到N内的整数。同样，让记号Robs(k，ir，jr)表示在获取第k摄取图像的图像拾取处理中在位于第ir列和第jr行的交点上的像素上获得的像素值。同样，让记号Bobs(k，ib，jb)表示在获取第k摄取图像的图像拾取处理中在位于第ib列和第jb行的交点上的像素上获得的像素值。因此，例如，记号Gobs(1，1，1)表示在获取第1摄取图像的图像拾取处理中在位于第1列和第1行的交点上的像素G00上获得的像素值。另一方面，记号Gobs(2，5，1)表示在获取第2摄取图像的图像拾取处理中在位于第5列和第1行的交点上的像素G04上获得的像素值。应该注意到，在如下的描述中，除非另有说明，记录k表示在范围1到N内的整数。
按照作为像素值的定义的如上所述的定义，产生像素值Gobs(k，ig，jg)、Robs(k，ir，jr)和Bobs(k，ib，jb)的像素分别是像素G(jg-1)(ig-1)、G(jr-1)(ir-1)和G(jb-1)(ib-1)。
像素值Gobs(k，ig，jg)也是第k摄取图像上位于第ig列和第jg行的交点上的像素的像素值。同样，像素值Robs(k，ir，jr)也是第k摄取图像上位于第ir列和第jr行的交点上的像素的像素值。同样，像素值Bobs(k，ib，jb)也是第k摄取图像上位于第ib列和第jb行的交点上的像素的像素值。
图4是示出应用在如图1所示的数字摄像机1中的信号处理电路7的一部分的详细典型配置的方块图。
如图4所示，信号处理电路7包括帧存储器22、运动矢量检测电路23、处理电路24和控制器25。信号处理电路7应用N个帧存储器22，即，帧存储器221-22N、和(N-1)个运动矢量检测电路23，即，运动矢量检测电路231-23N-1。
将如上所述由A/D转换器6产生的N个摄取图像分别提供给N个帧存储器22。更具体地说，帧存储器221用于存储(或记录)从A/D转换器6接收的第1摄取图像。同样，帧存储器222用于存储(或记录)从A/D转换器6接收的第2摄取图像。同样，帧存储器22k用于存储(或记录)从A/D转换器6接收的第k摄取图像，其中，k＝3到N。
在预定定时，帧存储器221将存储在其中的第1摄取图像提供给处理电路24和运动矢量检测电路231-23N-1。在预定定时，帧存储器222将存储在其中的第2摄取图像提供给处理电路24和运动矢量检测电路231。同样，在预定定时，帧存储器22k将存储在其中的第k摄取图像提供给处理电路24和运动矢量检测电路23k-1。
每个运动矢量检测电路23识别两个摄取图像之间的关系。更详细地说，运动矢量检测电路23将第1摄取图像取作识别这样位置关系的参考图像，和将第2和所有随后摄取图像之一取作目标图像。被运动矢量检测电路23采用作为目标图像的摄取图像是提供给运动矢量检测电路23的摄取图像。运动矢量检测电路23检测提供给运动矢量检测电路23的目标图像相对于参考图像所作的位置移动的移动量(或运动量)，以便识别目标图像相对于参考图像移动了多远。如上所述，目标图像是作为提供给运动矢量检测电路23的摄取图像从第2到第N摄取图像中选择的摄取图像。应该注意到，这个移动通常是由手抖引起的。
更具体地说，运动矢量检测电路231从帧存储器221接收用作参考图像的第1摄取图像和从帧存储器222接收用作目标图像的第2摄取图像。
然后，对于第2摄取图像的每个所选像素，运动矢量检测电路231检测第1摄取图像中的哪个部分对应于第2摄取图像的所选部分。作为一种可替代手段，将整个图像划分成数个块，和对于第2摄取图像的每个所选块，运动矢量检测电路231检测第1摄取图像中的哪个位置对应于第2摄取图像的所选块。在每一种情况中，一个像素或一个块是拍摄对象的一个部分，和该部分投影在第1和第2摄取图像中的投影位置上。对于拍摄对象的每个所选部分，运动矢量检测电路231检测第1摄取图像中的哪个投影位置对应于作为所选部分的投影位置包括在第2摄取图像中的投影位置。然后，根据检测结果，运动矢量检测电路231求出定义方程(1)的变换参数(a2，b2，c2，d2，s2和t2)，和将这些参数提供给处理电路24，其中，方程(1)表达了第1摄取图像和第2摄取图像之间的位置关系(或移动量)。
X1(2)Y1(2)=a2b2c2d2X2Y2+s2t2---(1)]]>方程(1)是所谓的仿射变换方程。以与如图3所示的用于图像拾取器件4的坐标系相同的方式，将XY坐标系定义成将图像的左上角上的像素的中心点取作原点、将水平方向(向右方向)取作X方向和将垂直方向(向下方向)取作Y方向的坐标系。在这种情况下，在方程(1)中，坐标(X2，Y2)代表作为第2摄取图像上的特定像素的位置包括在第2摄取图像上的第2坐标系中的位置。另一方面，作为与对应于特定像素的部分相同的拍摄对象的部分的位置包括在第1摄取图像上的第1坐标系中的位置的坐标(X1(2)，Y1(2))是作为当将特定像素的位置映射到第1摄取图像上的第1坐标系中的位置时，变换特定像素的位置的坐标(X2，Y2)的处理的结果获得的坐标。附在第1摄取图像上的第1坐标系中位置(X1(2)，Y1(2))的坐标(X1(2)，Y1(2))上的下标数字(2)指示坐标(X1(2)，Y1(2))是作为在将位置(X2，Y2)映射到位置(X1(2)，Y1(2))的处理中，变换第2摄取图像上的第2坐标系中位置(X2，Y2)的坐标(X2，Y2)的结果获得的坐标。在映射处理中，(在理想情况下)，投影在第1摄取图像上的第1坐标系中的位置(X1(2)，Y1(2))上的拍摄对象部分是与投影在第2摄取图像上的第2坐标系中的位置(X2，Y2)上的拍摄对象部分相同的部分。
将变换参数(a2，b2，c2，d2，s2和t2)的参数a2、b2、c2和d2定义如下a2＝d2＝L2cosθ2，和-b2＝c2＝L2sinθ2。
在这种情况下，可以认为方程(1)所表达的仿射变换处理是通过旋转角θ2、比例L2和平行移动量(s2，t2)定义的处理。另外，方程(1)表达了这样的事实，投影在第1摄取图像上的第1坐标系中的位置(X1(2)，Y1(2))上的拍摄对象部分是作为将投影在第2摄取图像上的第2坐标系中的位置(X2，Y2)上的拍摄对象部分旋转旋转角θ2的处理，通过放大率L2改变投影在位置(X2，Y2)上的拍摄对象部分的尺寸的处理，和将投影在位置(X2，Y2)上的拍摄对象部分平行移动距离(s2，t2)的处理的结果获得的拍摄对象部分。因此，投影在第1摄取图像上的第1坐标系中的位置(X1(2)，Y1(2))上的拍摄对象部分实际上与投影在第2摄取图像上的第2坐标系中的位置(X2，Y2)上的拍摄对象部分相同。对于L2＞1，通过放大率L2改变投影在位置(X2，Y2)上的拍摄对象部分的尺寸的处理被称为放大处理。另一方面，对于L2＜1，通过放大率L2改变投影在位置(X2，Y2)上的拍摄对象部分的尺寸的处理被称为缩小处理。
应该注意到，在多数手抖情况下，手沿着与图像拾取器件4的光接收面平行的方向抖动(或晃动)，只有在少数手抖情况下，手沿着与图像拾取器件4的光接收面垂直的方向抖动(或晃动)。因此，可以假设在与图像拾取器件4的光接收面垂直的方向没有手抖。在这种情况下，L2＝1。
同样，运动矢量检测电路232从帧存储器221接收用作参考图像的第1摄取图像和从帧存储器223接收用作目标图像的第3摄取图像。
然后，对于第3摄取图像的每个所选像素，运动矢量检测电路232检测第1摄取图像中的哪个位置对应于第3摄取图像的所选像素。然后，根据检测结果，运动矢量检测电路232求出定义方程(2)的仿射变换的变换参数(a3，b3，c3，d3，s3和t3)，和将这些参数提供给处理电路24，其中，方程(2)表达了第1摄取图像和第3摄取图像之间的位置关系。
X1(3)Y1(3)=a3b3c3d3X3Y3+s3t3---(2)]]>在方程(2)中，坐标(X3，Y3)代表作为第3摄取图像的特定像素的位置包括在第3摄取图像上的第3坐标系中的位置。另一方面，作为与对应于特定像素的部分相同的拍摄对象的部分的位置包括在第1摄取图像上的第1坐标系中的位置的坐标(X1(3)，Y1(3))是作为当将特定像素的位置映射到第1摄取图像上的第1坐标系中的位置时，变换特定像素的位置的坐标(X3，Y3)的处理的结果获得的坐标。附在第1摄取图像上的第1坐标系中位置(X1(3)，Y1(3))的坐标(X1(3)，Y1(3))上的下标数字(3)指示坐标(X1(3)，Y1(3))是作为在将位置(X3，Y3)映射到位置(X1(3)，Y1(3))的处理中，变换第3摄取图像上的第3坐标系中位置(X3，Y3)的坐标(X3，Y3)的结果获得的坐标。将变换参数(a3，b3，c3，d3，s3和t3)的参数a3、b3、c3和d3定义如下a3＝d3＝L3cosθ3，和-b3＝c3＝L3sinθ3。
在这种情况下，可以认为方程(2)所表达的仿射变换处理是以与像上述那样定义方程(1)相同的方式，通过旋转角θ3、比例L3和平行移动量(s3，t3)定义的处理。
此后，同样地，运动矢量检测电路23k-1从帧存储器221接收用作参考图像的第1摄取图像和从帧存储器22k接收用作目标图像的第3摄取图像。
对于第k摄取图像的每个所选像素，运动矢量检测电路23k-1检测第1摄取图像上的哪个位置对应于像素，和根据检测结果，求出定义方程(2)的仿射变换的变换参数(ak，bk，ck，dk，sk和tk)，和将这些参数提供给处理电路24，其中，方程(3)表达了第1摄取图像和第k摄取图像之间的位置关系。
X1(k)Y1(k)=akbkckdkXkYk+sktk---(3)]]>在方程(3)中，坐标(Xk，Yk)代表作为第k摄取图像的特定像素的位置包括在第k摄取图像上的第k坐标系中的位置。另一方面，作为与对应于特定像素的部分相同的拍摄对象的部分的位置包括在第1摄取图像上的第1坐标系中的位置的坐标(X1(k)，Y1(k))是作为当将特定像素的位置映射到第1摄取图像上的第1坐标系中的位置时，变换特定像素的位置的坐标(Xk，Yk)的处理的结果获得的坐标。附在第1摄取图像上的第1坐标系中位置(X1(k)，Y1(k))的坐标(X1(k)，Y1(k))上的下标数字(k)指示坐标(X1(k)，Y1(k))是作为在将位置(Xk，Yk)映射到位置(X1(k)，Y1(k))的处理中，变换第k摄取图像上的第k坐标系中位置(Xk，Yk)的坐标(Xk，Yk)的结果获得的坐标。让我们将变换参数(ak，bk，ck，dk，sk和tk)的参数ak、bk、ck和dk定义如下ak＝dk＝Lkcosθk，和-bk＝ck＝Lksinθk。
在这种情况下，可以认为方程(3)所表达的仿射变换处理是以与像上述那样定义方程(3)相同的方式，通过旋转角θk、比例Lk和平行移动量(sk，tk)定义的处理。
如上所述，变换参数(ak，bk，ck，dk，sk和tk)是从对于第k摄取图像上的每个位置，检测作为与投影在第k摄取图像上的第k坐标系中的像素位置上的拍摄对象部分相同的拍摄对象部分的位置，包括在第1摄取图像上的第1坐标系中的位置的结果中求出的。作为一种可替代手段，变换参数(ak，bk，ck，dk，sk和tk)也可以用所谓的机械方式从配备在数字摄像机1上的传感器输出的信号中求出。传感器的例子有加速度传感器和角速度传感器。
处理电路24是从帧存储器221-22N接收N个摄取图像的电路。处理电路24还从运动矢量检测电路231-23N-1接收代表第1摄取图像的位置和第k摄取图像的位置之间的关系的变换参数(ak，bk，ck，dk，sk和tk)。
根据作为代表第1摄取图像的位置和第2到第N摄取图像每一个的位置之间的关系的参数从运动矢量检测电路231-23N-1接收的变换参数(ak，bk，ck，dk，sk和tk)，处理电路24识别作为在如后所述生成输出图像的处理中用于推测输出图像上的像素的像素值的像素的第1到第N摄取图像的像素。然后，根据识别像素的像素值，处理电路24在生成输出信号的处理中推测其手抖得到校正的清晰输出图像的像素值(即，R、G和B信号)。随后，处理电路24将作为图像生成处理的结果获得的输出图像提供给D/A转换器9或编解码器12。
A/D转换器6提供给信号处理电路7的N个摄取图像的每一个是每个像素具有R、G和B信号之一的像素值的图像。另一方面，处理电路24生成的输出图像是每个像素具有三个像素值，即，每一个都是色度信号的R、G和B信号的图像。
按照CPU 15进行的控制，控制器25控制诸如帧存储器221-22N、运动矢量检测电路231-23N-1和处理电路24之类应用在信号处理电路7中的部件。应该注意到，作为控制器25的替代物，应用在如图1所示的数字摄像机1中的CPU 15也可以控制诸如帧存储器221-22N、运动矢量检测电路231-23N-1和处理电路24之类应用在信号处理电路7中的部件。在这种情况下，可以省略控制器25。
应该注意到，在采用拜耳二维阵列的单板传感器的情况下，每一个生成R信号的像素的个数和每一个生成B信号的像素的个数与每一个生成G信号的像素的个数相比较小。因此，在一些情况下，在信号处理电路7生成的输出信号中有关R信号的错误(或噪声)的数量和在同一输出信号中有关B信号的错误(或噪声)的数量比有关G信号的错误(或噪声)的数量大。在这样的情况下，通过在接在处理电路24之后的级上配备低通滤波器，作为只限制色度信号的高频成分的带宽，让亮度信号按原样通过的滤波器，可以消除噪声或可以减少噪声的数量。
如下的描述将说明应用在信号处理电路7中的处理电路24，它在图4中被显示成如图1所示的数字摄像机1的一个部件。
应该注意到，图像拾取器件4上的每个像素的像素值(即，摄取图像的像素值)是代表从拍摄的对象照射到像素点上的光束的光量的信号。像素点的例子有像素的重心(或几何中心)。也就是说，每个像素的像素值用作作为在像素的重心位置上进行的点取样处理的结果获得的数据。
在如下的描述中，第k摄取图像也简称为第k图像。另外，将第k图像取作参考的XY坐标系被称为第k图像的坐标系。严格地说，将第k图像取作参考的XY坐标系是将第k图像的左上角上的像素的中心取作原点、将水平(向右)方向取作X方向和将垂直(向下)方向取作Y方向的XY坐标系。
当如上所述，在图像拾取器件4的每个像素上获得的像素值用作作为在像素的重心位置上进行的点取样处理的结果获得的数据时，从作为像图像拾取器件4的布局那样如图3所示的二维布局的像素之一，位于从左端算起第i列和从上端开始第j行的交点上的像素中获得的像素值对应于投影在通常作为位于第i列和第j行的交点上的像素的重心的位置，由坐标(i-1，j-1)表达的位置上的拍摄对象部分照射的光束的光量。
让我们假设，例如，从作为像图像拾取器件4的布局那样如图3所示的二维布局的像素之一，位于从左端算起第i列和从上端开始第j行的交点上的像素中获得的像素值等于投影在作为位于第i列和第j行的交点上的像素的重心的位置，由坐标(i-1，j-1)表达的位置上的拍摄对象部分照射的光束的光量。在这种情况下，例如，第1摄取图像位于从左端算起第i列和从上端开始第j行的交点上的像素的像素值Gobs(1，ig，jg)是第1摄取图像的坐标系，即，将第1摄取图像取作参考的坐标系中的位置(ig-1，jg-1)上绿色的光量Lg(ig-1，jg-1)。同样，第1摄取图像位于从左端算起第i列和从上端开始第j行的交点上的像素的像素值Robs(1，ir，jr)是第1摄取图像的坐标系中的位置(ir-1，jr-1)上红色的光量Lr(ir-1，jr-1)。同样，第1摄取图像位于从左端算起第i列和从上端开始第j行的交点上的像素的像素值Bobs(1，ib，jb)是第1摄取图像的坐标系中的位置(ib-1，jb-1)上蓝色的光量Lb(ib-1，jb-1)。
图5是示出第1摄取图像的图形。
作为摄取图像的像素的如图5所示的像素用与用在示出图像拾取器件4上的像素的二维阵列的图3中的那些相同的记号表示。对于第1摄取图像上的像素G(jg-1)(ig-1)，在在图中被显示成黑色圆圈的像素G(jg-1)(ig-1)的重心上观测G信号的像素值Gobs(1，ig，jg)。同样，对于第1摄取图像上的像素R(jr-1)(ir-1)，在在图中被显示成黑色方块的像素R(jr-1)(ir-1)的重心上观测R信号的像素值Robs(1，ir，jr)。同样，对于第1摄取图像上的像素B(jb-1)(ib-1)，在在图中被显示成黑色三角的像素B(b-1)(ib-1)的重心上观测B信号的像素值Bobs(1，ib，jb)。
如上所述，在第1摄取图像的坐标系中的像素的重心位置上观测第1摄取图像上的每个像素的像素值。更具体地说，在位置(i-1，j-1)上观测位于第i列和第j行的交点上的像素的像素值。
图6是示出第2摄取图像的图形。
对于如图6所示的第2摄取图像上的像素G(jg-1)(ig-1)，在在图中被显示成黑色圆圈的像素G(jg-1)(ig-1)的重心上观测G信号的像素值Gobs(2，ig，jg)。同样，对于第2摄取图像上的像素R(jr-1)(ir-1)，在在图中被显示成黑色方块的像素R(jr-1)(ir-1)的重心上观测R信号的像素值Robs(2，ir，jr)。同样，对于第2摄取图像上的像素B(jb-1)(ib-1)，在在图中被显示成黑色三角的像素B(b-1)(ib-1)的重心上观测B信号的像素值Bobs(2，ib，jb)。
如上所述，与第1摄取图像的情况一样，在第2摄取图像的坐标系中的像素的重心位置上观测第2摄取图像上的每个像素的像素值。更具体地说，在位置(i-1，j-1)上观测位于第i列和第j行的交点上的像素的像素值。
作为输出图像，应用在如图4所示的信号处理电路7中的处理电路24在图像生成处理中从N个摄取图像中生成输出图像。更具体地说，处理电路24在作为拍摄对象的范围投影在参考图像上的范围内生成输出图像。参考图像是用于检测N个摄取图像的位置之间的关系的处理中的参考图像。在本实施例中，第1摄取图像被取作参考图像。也就是说，为了生成输出图像，对于输出图像上的每个像素的位置，处理电路24根据N个摄取图像的位置之间的关系，识别要用于推测输出图像上的像素的位置上的像素值的N个摄取图像的像素。然后，图像拾取器件4求出N个摄取图像上的识别像素的像素值。最后，根据N个摄取图像上的识别像素的像素值，图像拾取器件4推测输出图像上的每个像素的位置上的像素值。
为了如上所述为输出图像上的每个像素(或每个像素的位置)识别要用于推测输出图像上的像素的位置上的像素值的N个摄取图像的像素，处理电路24通过将源位置的坐标变换成目标位置的坐标，以便使投影在N个摄取图像每一个上的拍摄对象部分与投影在参考图像上的它们相应拍摄对象部分一致，将N个摄取图像每一个上的每个像素的源位置映射到用作参考图像的第1摄取图像上的目标位置。
利用应用在如图4所示的信号处理电路7中的运动矢量检测电路23k-1求出的变换参数(a，b，c，d，s和d)，根据仿射变换方程进行仿射变换处理使坐标得到变换。仿射变换方程的例子有每一个代表N个摄取图像的两个之间的关系的方程(1)到(3)。在如下的描述中，可以将每个变换参数适当地表达成没有将后缀附在上面的变量。
例如，在方程(1)所表达的仿射变换处理中，利用运动矢量检测电路231求出的变换参数(a2，b2，c2，d2，s2和d2)可以将第2摄取图像上的像素(或点)的坐标变换成第1摄取图像上的像素(或点)的坐标。
图6还示出了作为变换作为具有像素值Gobs(2，ig，jg)、Robs(2，ir，jr)和Bobs(2，ib，jb)的像素的重心位置，如上所述包含在第2摄取图像中的重心位置的坐标的处理结果的第1摄取图像上的重心位置。
更详细地说，对于第2摄取图像的坐标系中的像素G(jg-1)(ig-1)，G信号的像素值Gobs(2，ig，jg)也是作为绿色的光量，(应该)在变换到第1摄取图像的坐标系中的位置((ig-1)(2)，(jg-1)(2))的位置(jg-1)(ig-1)上观测的光量Lg(x，y)。也就是说，坐标((ig-1)(2)，(jg-1)(2)))是作为利用运动矢量检测电路231求出的变换参数(a2，b2，c2，d2，s2和d2)变换第2摄取图像的坐标系中的位置(ig-1，jg-1)的坐标的仿射变换处理的结果获得的坐标。在如图6所示的二维布局中，作为其坐标从变换产生G信号的像素值Gobs(2，ig，jg)的位置的坐标的仿射变换处理中得出的位置，包括在第1摄取图像的坐标系中的位置((ig-1)(2)，(jg-1)(2))被显示成白色圆圈。
同样，对于第2摄取图像的坐标系中的像素R(jr-1)(ir-1)，R信号的像素值Robs(2，ir，jr)也是作为红色的光量，(应该)在变换到第1摄取图像的坐标系中的位置((ir-1)(2)，(jr-1)(2))的位置(jr-1)(ir-1)上观测的光量Lr(x，y)。也就是说，坐标((ir-1)(2)，(jr-1)(2)))是作为利用运动矢量检测电路231求出的变换参数(a2，b2，c2，d2，s2和t2)变换第2摄取图像的坐标系中的位置(ir-1，jr-1)的坐标的仿射变换处理的结果获得的坐标。在如图6所示的二维布局中，作为其坐标从变换产生R信号的像素值Robs(2，ir，jr)的位置的坐标的仿射变换处理中得出的位置，包括在第1摄取图像的坐标系中的位置((ir-1)(2)，(jr-1)(2))被显示成白色方块。
同样，对于第2摄取图像的坐标系中的像素B(jb-1)(ib-1)，B信号的像素值Bobs(2，ib，jb)也是作为蓝色的光量，(应该)在变换到第1摄取图像的坐标系中的位置((ib-1)(2)，(jb-1)(2))的位置(jb-1)(ib-1)上观测的光量Lb(x，y)。也就是说，坐标((ib-1)(2)，(jb-1)(2)))是作为利用运动矢量检测电路231求出的变换参数(a2，b2，c2，d2，s2和t2)变换第2摄取图像的坐标系中的位置(ib-1，jb-1)的坐标的仿射变换处理的结果获得的坐标。在如图6所示的二维布局中，作为其坐标从变换产生B信号的像素值Bobs(2，ib，jb)的位置的坐标的仿射变换处理中得出的位置，包括在第1摄取图像的坐标系中的位置((ib-1)(2)，(jb-1)(2))被显示成白色三角。
图7是示出第3摄取图像的图形。
对于如图7所示的第3摄取图像上的像素G(jg-1)(ig-1)，在在图中被显示成黑色圆圈的像素G(jg-1)(ig-1)的重心上观测G信号的像素值Gobs(3，ig，jg)。同样，对于第3摄取图像上的像素R(jr-1)(ir-1)，在在图中被显示成黑色方块的像素R(jr-1)(ir-1)的重心上观测R信号的像素值Robs(3，ir，jr)。同样，对于第3摄取图像上的像素B(jb-1)(ib-1)，在在图中被显示成黑色三角的像素B(b-1)(ib-1)的重心上观测B信号的像素值Bobs(3，ib，jb)。
如上所述，与第1摄取图像的情况一样，在第3摄取图像的坐标系中的像素的重心位置上观测第3摄取图像上的每个像素的像素值。更具体地说，在位置(i-1，j-1)上观测位于第i列和第j行的交点上的像素的像素值。
以与第2摄取图像相同的方式，在方程(2)所表达的仿射变换处理中，利用运动矢量检测电路232求出的变换参数(a3，b3，c3，d3，s3和t3)也可以将第3摄取图像上的像素(或点)的坐标变换成第1摄取图像上的像素(或点)的坐标。
图7还示出了作为变换作为具有像素值Gobs(3，ig，jg)、Robs(3，ir，jr)和Bobs(3，ib，jb)的像素的重心位置，如上所述包含在第3摄取图像中的重心位置的坐标的处理结果的第1摄取图像上的重心位置。
更详细地说，对于第3摄取图像的坐标系中的像素G(jg-1)(ig-1)，G信号的像素值Gobs(3，ig，jg)也是作为绿色的光量，(应该)在变换到第1摄取图像的坐标系中的位置((ig-1)(3)，(jg-1)(3))的位置(ig-1)(jg-1)上观测的光量Lg(x，y)。也就是说，坐标((ig-1)(3)，(jg-1)(3)))是作为利用运动矢量检测电路233求出的变换参数(a3，b3，c3，d3，s3和t3)变换第3摄取图像的坐标系中的位置(ig-1，jg-1)的坐标的仿射变换处理的结果获得的坐标。在如图7所示的二维布局中，作为其坐标从变换产生G信号的像素值Gobs(3，ig，jg)的位置的坐标的仿射变换处理中得出的位置，包括在第1摄取图像的坐标系中的位置((ig-1)(3)，(jg-1)(3))被显示成白色圆圈。
同样，对于第3摄取图像的坐标系中的像素R(jr-1)(ir-1)，R信号的像素值Robs(3，ir，jr)也是作为红色的光量，(应该)在变换到第1摄取图像的坐标系中的位置((ir-1)(3)，(jr-1)(3))的位置(jr-1)(ir-1)上观测的光量Lr(x，y)。也就是说，坐标((ir-1)(3)，(jr-1)(3)))是作为利用运动矢量检测电路232求出的变换参数(a3，b3，c3，d3，s3和t3)变换第3摄取图像的坐标系中的位置(ir-1，jr-1)的坐标的仿射变换处理的结果获得的坐标。在如图7所示的二维布局中，作为其坐标从变换产生R信号的像素值Robs(3，ir，jr)的位置的坐标的仿射变换处理中得出的位置，包括在第1摄取图像的坐标系中的位置((ir-1)(3)，(jr-1)(3))被显示成白色方块。
同样，对于第3摄取图像的坐标系中的像素B(jb-1)(ib-1)，B信号的像素值Bobs(3，ib，jb)也是作为蓝色的光量，(应该)在变换到第1摄取图像的坐标系中的位置((ib-1)(3)，(jb-1)(3))的位置(ib-1)(jb-1)上观测的光量Lb(x，y)。也就是说，坐标((ib-1)(3)，(jb-1)(3)))是作为利用运动矢量检测电路232求出的变换参数(a3，b3，c3，d3，s3和t3)变换第3摄取图像的坐标系中的位置(ib-1，jb-1)的坐标的仿射变换处理的结果获得的坐标。在如图7所示的二维布局中，作为其坐标从变换产生B信号的像素值Bobs(3，ib，jb)的位置的坐标的仿射变换处理中得出的位置，包括在第1摄取图像的坐标系中的位置((ib-1)(3)，(jb-1)(3))被显示成白色三角。
图8是示出作为其坐标从变换源位置的坐标的仿射变换处理中得出的目标位置包括在第1摄取图像的坐标系中的位置的说明图，其中，在通过将源位置的坐标变换成目标位置的坐标，以便使投影在N个摄取图像每一个上的拍摄对象部分与投影在参考图像上的拍摄对象部分一致的仿射变换处理，将N个摄取图像每一个上的每个像素的源位置映射到用作参考图像的第1摄取图像上的目标位置的处理中，观测作为绿色的像素(或每一个接收绿色的光束的像素)分别位于第1到第N摄取图像上的像素G(jg-1)(ig-1)的像素值Gobs(1，ig，jg)到Gobs(N，ig，jg)。
让我们注意如图8所示的第1摄取图像的坐标系中的坐标(I′，J′)。作为绿色的像素(或每一个接收绿色的光束的像素)，第1到第N摄取图像上的典型像素位于它们的坐标被变换成坐标(I′，J′)所代表的位置的坐标和坐标(I′，J′)所代表的位置周围的位置的坐标的位置上。第1摄取图像的像素值Gobs(1，ig，jg)是在第1摄取图像中位于第i列和第j行的交点上的典型像素G(jg-1)(ig-1)的重心位置(或中心)上观测的像素值。在这种情况下，坐标(I′，J′)满足如下方程I′＝ig-1，J′＝jg-1。在像素G(jg-1)(ig-1)的中心的左上侧的位置上，观测第2摄取图像上的像素的像素值Gobs(2，ig，jg)，作为其位置的坐标在仿射变换处理中被变换成与第1摄取图像的坐标系中的坐标(I′，J′)所代表的位置接近的位置的坐标的典型像素的像素值。另外，在像素G(jg-1)(ig-1)的中心的左下侧的位置上，观测第3摄取图像上的像素的像素值Gobs(3，ig，jg)，作为其位置的坐标在仿射变换处理中被变换成与第1摄取图像的坐标系中的坐标(I′，J′)所代表的位置接近的位置的坐标的典型像素的像素值。此外，在像素G(jg-1)(ig-1)的中心的右上侧的位置上，观测第4摄取图像上的像素的像素值Gobs(4，ig，jg)，作为其位置的坐标在仿射变换处理中被变换成与第1摄取图像的坐标系中的坐标(I′，J′)所代表的位置接近的位置的坐标的典型像素的像素值。应该注意到，在该图中未示出k＝5到N的第k摄取图像上的像素的像素值Gobs(k，ig，jg)。
处理电路24进行将第1到第N摄取图像上的像素的位置的坐标变换成第1摄取图像上的像素的位置的坐标的仿射变换处理。然后，根据其位置的坐标每一个都已经过仿射变换处理的像素的像素值Gobs(k，ig，jg)，处理电路24推测第1摄取图像的坐标系中的坐标上的像素的绿色光量Lg(i-1，j-1)，作为输出图像上的位置(i-1，j-1)上的G信号的像素值，其中，k＝1到N。
在这种情况下，让用作参考图像的第1摄取图像的坐标系中的记号(I′，J′)表示位于第i列和第j行的交点上的像素的中心位置(i-1，j-1)的坐标。也就是说，坐标(I′，J′)满足如下方程I′＝i-1，J′＝j-1。应该注意到，记号I′和J′每一个都是至少等于0的整数。
图9是示出作为处理电路24应该推测出纯绿色(true green)光量Lg(I′，J′)、纯红色(true red)光量Lr(I′，J′)和纯蓝色(true blue)光量Lb(I′，J′)作为输出图像上的像素的像素值的位置、第1摄取图像的坐标系中的位置的图形。
在如图9所示的二维阵列中，输出图像上的每个像素的中心位置(I′，J′)(即，作为图像拾取器件4上的每个像素的中心位置(I′，J′)包括在第1摄取图像的坐标系中的中心位置(I′，J′))被显示成黑色圆圈，该黑色圆圈代表应该推测出绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)或蓝色的光量Lb(I′，J′)的位置。也就是说，在每一个用黑色圆圈示出作为每个像素的中心位置(I′，J′)的中心位置(I′，J′)上，可以推测出绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)和蓝色的光量Lb(I′，J′)。
在如下的描述中，将参考图像的坐标系称为参考坐标系。由于采用第1摄取图像作为参考图像，第1摄取图像的坐标系被称为参考坐标系。
如上所述，处理电路24进行将第1到第N摄取图像上的像素的位置的坐标变换成第1摄取图像上的像素的位置的坐标的仿射变换处理。然后，根据其位置的坐标每一个都已经过仿射变换处理的像素的像素值Gobs(k，ig，jg)，处理电路24推测参考坐标系中的位置(I′，J′)上的像素的绿色光量Lg(I′，J′)，作为输出图像上的位置(I′，J′)上的G信号的像素值，其中，k＝1到N。
但是，如果处理电路24根据作为其位置的坐标每一个都已经过仿射变换处理的像素、位于第1到第N摄取图像上的像素的所有像素值Gobs(k，ig，jg)，推测出参考坐标系中的位置(I′，J′)上的像素的绿色光量Lg(I′，J′)，作为输出图像上的位置(I′，J′)上的G信号的像素值，推测精确将变差。
为了解决这个问题，处理电路24只识别作为其坐标被变换成与位置(I′，J′)非常接近的像素的坐标的像素、位于第1到第N摄取图像上的像素。然后，处理电路24将识别像素取作要用于推测输出图像的像素值，即，用于推测绿色的光量Lg(I′，J′)的像素。位于第1到第N摄取图像上的识别像素是其位置对应于如将第1到第N摄取图像的坐标系中的坐标变换成参考坐标系中的坐标的仿射变换处理的结果所指的与位置(I′，J′)非常接近的地方的像素。位置(I′，J′)是试图利用位于第1到第N摄取图像上的识别像素的G信号的像素值Gobs(k，ig，jg)推测绿色的光量Lg(I′，J′)的位置。
图10是示出包括作为要被处理电路24用于推测绿色的光量Lg(I′，J′)的像素、位于第1到第N摄取图像上的像素的画出位置的参考坐标系的图形。
处理电路24将参考坐标系中位置(I′，J′)周围的范围设置成x和y值的范围，x和y值满足关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。这个范围被称为与位置(I′，J′)接近的范围或位置(I′，J′)的附近范围。然后，处理电路24识别作为其位置映射到位置(I′，J′)的附近范围内的位置的像素、位于第1到第N摄取图像上的像素。处理电路24将识别像素取作要用于推测绿色的光量Lg(I′，J′)的像素。作为其位置映射到位置(I′，J′)的附近范围内的位置的像素、位于第1到第N摄取图像上的像素是其位置对应于如将第1到第N摄取图像的坐标系中的坐标变换成参考坐标系中的坐标的仿射变换处理的结果所指的在位置(I′，J′)的附近范围内的地方的像素。也就是说，对于位置(I′，J′)，处理电路24求出所有整数组(k，ig，jg)，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ig-1，jg-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。
在如图10所示的坐标系中，作为其坐标经过从坐标变换到参考坐标系中的上述坐标(x，y)的仿射变换处理的位置，在第1到第N摄取图像上存在5个点A、B、C、D和E。因此，处理电路24识别位于第1到第N摄取图像上的点A、B、C、D和E上的像素，作为其位置坐标经过仿射变换处理，变换成满足上述关系的坐标(x，y)的像素。然后，处理电路24在推测绿色的光量Lg(I′，J′)的处理中使用这些像素。
更具体地说，处理电路24使用在第1到第N摄取图像上的点A、B、C、D和E上观测的像素值Gobs(k，ig，jg)来推测点(I′，J′)上绿色的光量Lg(I′，J′)。更详细地说，处理电路24使用位于第1到第N摄取图像上的点A、B、C、D和E上的像素的G信号像素值Gobs(k，ig，jg)，作为其位置坐标经过仿射变换处理，变换成坐标(x，y)的像素，以便推测点(I′，J′)上绿色的光量Lg(I′，J′)。
图11是示出利用在点A到E观测的像素值Gobs(k，ig，jg)推测位置(I′，J′)上绿色的光量Lg(I′，J′)的处理的模型的说明图。
通常，处理电路24利用如下方程推测光量Lg(I′，J′)[方程(4)]Lg(I′,J′)=Σ{w((x,y),(I′,J′))×Gobs(k,ig,jg)}Σw((x,y),(I′,J′))---(4)]]>有关绿色的方程(4)中的记号∑表示针对所有整数组(k，ig，jg)为位置(I′，J′)计算的和值，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ig-1，jg-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。例如，在如图10和11所示的典型情况中，针对与5个点A到E相对应的5组整数(k，ig，jg)计算和值。
另外，方程(4)中的项w((x，y)，(I′，J′))是将位置(x，y)和像素位置(I′，J′)当作变量的权重。位置(x，y)是作为其坐标从利用变换参数(ak，bk，ck，dk，sk和tk)变换位置(ig-1，jg-1)的坐标的仿射变换处理中得出的位置、包括在参考坐标系中的位置。另一方面，像素位置(I′，J′)是要推测绿色的光量Lg(I′，J′)的位置。
因此，按照方程(4)，推测绿色的光量Lg(I′，J′)，作为加权像素值之和除以权重之和获得的商，其中，每个加权像素值是将实际观测的像素值Gobs(k，ig，jg)乘以权重之一获得的乘积。在如下的描述中，将方程(4)称为绿色光量的加权相加方程。
权重w((x，y)，(I′，J′))通常可以是随位置(x，y)和位置(I′，J′)之间的距离单调下降的值。位置(x，y)和位置(I′，J′)之间的距离可以像如下那样表达成位置(x，y)和位置(I′，J′)的函数F((x,y),(I′,J′))={(x-I′)2+(y-J′)2}]]>在这种情况下，作为随位置(x，y)和位置(I′，J′)之间的距离单调下降的值，例如，可以使用如下表达式的值√2-F((x，y)，(I′，J′))表达式√2-F((x，y)，(I′，J′))的项√2是位置(x，y)和位置(I′，J′)之间的最大距离，位置(I′，J′)是作为包括位置(x，y)的范围由边界(I′±1)和(J′±1)定义的范围的中心，位置(x，y)的坐标是作为变换其像素值Gobs(k，ig，jg)用于推测如图10和11所示的中心(I′，J′)上的绿色光量Lg(I′，J′)的像素的坐标(ig-1，jg-1)的结果获得的。因此，表达式√2-F((x，y)，(I′，J′))是随位置(x，y)和位置(I′，J′)之间的距离单调下降的非负函数。
如果表达式√2-F((x，y)，(I′，J′))用作权重w((x，y)，(I′，J′))，与位置(I′，J′)非常接近的像素的像素值Gobs(k，ig，jg)以这样的方式对位置(I′，J′)上的推测绿色光量Lg(I′，J′)产生巨大影响，该像素与位置(I′，J′)越接近，该像素的像素值Gobs(k，ig，jg)对位置(I′，J′)上的推测绿色光量Lg(I′，J′)的影响就越大。
应该注意到，正如前面参照图1所述的那样，移位电路21通过将图像信号移动n′个位，对相关二次取样电路5输出的图像信号进行放大率为Mk的放大处理。因此，包括在图像信号中的噪声成分也被乘以Mk。其结果是，所得像素值Gobs(k，ig，jg)包括幅度为E×Mk的噪声成分，其中，记号E表示包括在相关二次取样电路5输出的图像信号中的噪声成分的幅度。
在推测绿色的光量Lg(I′，J′)的处理中，应该消除包括在像素值Gobs(k，ig，jg)中的噪声成分的影响。因此，从这个消除噪声的角度来看，最好使用降低包括在像素值Gobs(k，ig，jg)中的噪声成分的幅度E×Mk的权重w((x，y)，(I′，J′))。于是，最好使用随位置(x，y)和位置(I′，J′)之间的距离下降和随包括在像素值Gobs(k，ig，jg)中的噪声成分的幅度E×Mk下降的权重w((x，y)，(I′，J′))。这样权重w((x，y)，(I′，J′))的例子有表达式{√2-F((x，y)，(I′，J′))}/(E×Mk)所代表的权重。
另外，作为权重w((x，y)，(I′，J′))的另一个例子，可以使用如后所述对于位置(x，y)和位置(I′，J′)之间的距离具有低通滤波器的特性的函数。
处理电路24以与推测点(I′，J′)上绿色的光量Lg(I′，J′)的处理相同的方式，推测点(I′，J′)上红色的光量Lr(I′，J′)和点(I′，J′)上蓝色的光量Lb(I′，J′)。也就是说，处理电路24以与方程(4)相同的方式，按照下面给出的方程(5)和(6)推测点(I′，J′)上红色的光量Lr(I′，J′)和点(I′，J′)上蓝色的光量Lb(I′，J′)。
Lr(I′,J′)=Σ{w((x,y),(I′,J′))×Robs(k,ir,jr)}Σw((x,y),(I′,J′))---(5)]]>[方程(6)]Lb(I′,J′)=Σ{w((x,y),(I′,J′))×Bobs(k,ib,jb)}Σw((x,y),(I′,J′))---(6)]]>方程(5)中的记号∑表示针对所有整数组(k，ir，jr)为位置(I′，J′)计算的和值，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ir-1，jr-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。同样，方程(6)中的记号∑表示针对所有整数组(k，ib，jb)为位置(I′，J′)计算的和值，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ib-1，jb-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J＇-1≤y＜J′+1。
在如下的描述中，方程(5)被适当地称为红色光量的加权相加方程，而方程(6)被适当地称为蓝色光量的加权相加方程。
如上所述，对于位置(I′，J′)，处理电路24识别每一个由一组整数(k，i和j)表达的像素，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(i-1，j-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。在如下的描述，识别的像素被适当地称为识别像素。然后，处理电路24根据识别像素，求出(或推测)绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)和蓝色的光量Lb(I′，J′)。
参照如图12所示的流程图，如下的描述将说明在图2的流程图的步骤S4中执行，通过像上述那样推测像素值(即，绿色的光量、红色的光量和蓝色的光量)生成输出图像的图像生成处理。
该流程图从步骤S71开始，处理电路24关注参考坐标系中的位置(I′，J′)。在如下的描述中，受到关注的位置(I′，J′)被称为被观测的位置(I′，J′)。被观测的位置(I′，J′)代表作为参考图像的第1摄取图像的第i列和第j行的交点上的像素(i-1，j-1)的中心。
然后，图像生成处理的流程从步骤S71转到步骤S72。在这个步骤中，对于位置(I′，J′)，处理电路24为第1到第N摄取图像的每一个求出一组整数(k，ig和jg)，作为整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号的一组整数(k，ig和jg)，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ig-1，jg-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。然后，处理电路24识别位于第k摄取图像上的位置(ig-1，jg-1)上的像素，作为与该组整数(k，ig和jg)相联系的像素。随后，图像生成处理的流程转到下一个步骤S73。
应该注意到，是运动矢量检测电路23k-1将变换参数(ak，bk，ck，dk，sk和tk)提供给处理电路24，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的识别像素的位置(ig-1，jg-1)变换成参考坐标系中的位置(x，y)的仿射变换处理中。对于k＝1，该组整数(k，ig和jg)与第1摄取图像相联系，第1摄取图像与具有值(1，0，0，1，0，0)的变换参数(a1，b1，c1，d1，s1和t1)相联系。因此，参考坐标系中的位置实际上未经受仿射变换处理。
在如下的描述中，作为变换第k摄取图像上的像素的位置的仿射变换处理的结果获得的位置(x，y)被适当地称为变换后位置(x，y)。
在步骤S73中，处理电路24创建方程(4)所表达的加权相加方程，作为利用在步骤S72中求出的所有整数组(k，ig和jg)求出绿色光量的加权相加方程。然后，图像生成处理的流程转到下一个步骤S74。更详细地说，利用在步骤S72中求出的所有整数组(k，ig和jg)所代表的识别像素的像素值Gobs(k，ig，jg)，处理电路24求出代表求出绿色光量的加权相加方程的方程(4)右边的表达式的分母∑w((x，y)，(I′，J′))的值、和该表达式的分子∑{w((x，y)，(I′，J′))×Gobs(k，ig，jg)}的值。
在步骤S74中，对于位置(I′，J′)，处理电路24为第1到第N摄取图像的每一个求出一组整数(k，ir和jr)，作为整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号的一组整数(k，ir和jr)，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ir-1，jr-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。然后，处理电路24识别位于第k摄取图像上的位置(ir-1，jr-1)上的像素，作为与该组整数(k，ir和jr)相联系的像素。随后，图像生成处理的流程转到下一个步骤S75。
在步骤S75中，处理电路24创建方程(5)所表达的加权相加方程，作为利用在步骤S74中求出的所有整数组(k，ir和jr)求出绿色光量的加权相加方程。然后，图像生成处理的流程转到下一个步骤S76。更详细地说，利用在步骤S74中求出的所有整数组(k，ir和jr)所代表的识别像素的像素值Robs(k，ir，jr)和变换后位置(x，y)，处理电路24求出代表求出红色光量的加权相加方程的方程(5)右边的表达式的分母∑w((x，y)，(I′，J′))的值、和该表达式的分子∑{w((x，y)，(I′，J′))×Robs(k，ir，jr)}的值。
在步骤S76中，对于位置(I′，J′)，处理电路24为第1到第N摄取图像的每一个求出一组整数(k，ib和jb)，作为整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号的一组整数(k，ib和jb)，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ib-1，jb-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-1≤x＜I′+1和J′-1≤y＜J′+1。然后，处理电路24识别位于第k摄取图像上的位置(ib-1，jb-1)上的像素，作为与该组整数(k，ib和jb)相联系的像素。随后，图像生成处理的流程转到下一个步骤S77。
在步骤S77中，处理电路24创建方程(6)所表达的加权相加方程，作为利用在步骤S76中求出的所有整数组(k，ib和jb)求出绿色光量的加权相加方程。然后，图像生成处理的流程转到下一个步骤S78。更详细地说，利用在步骤S76中求出的所有整数组(k，ib和jb)所代表的识别像素的像素值Bobs(k，ib，jb)和变换后位置(x，y)，处理电路24求出代表求出蓝色光量的加权相加方程的方程(6)右边的表达式的分母∑w((x，y)，(I′，J′))的值、和该表达式的分子∑{w((x，y)，(I′，J′))×Bobs(k，ib，jb)}的值。
在步骤S78中，处理电路24通过将方程(4)右边的表达式的分子∑{w((x，y)，(I′，J′))×Gobs(k，ig，jg)}的值除以该表达式的分母∑w((x，y)，(I′，J′))的值，求出(或推测)被观测的位置(I′，J′)上的绿色光量Lg(I′，J′)。分子和分母的值是在步骤S73中求出的。另外，处理电路24通过将方程(5)右边的表达式的分子∑{w((x，y)，(I′，J′))×Robs(k，ir，jr)}的值除以该表达式的分母∑w((x，y)，(I′，J′))的值，求出(或推测)被观测的位置(I′，J′)上的红色光量Lr(I′，J′)。分子和分母的值是在步骤S75中求出的。还有，处理电路24通过将方程(6)右边的表达式的分子∑{w((x，y)，(I′，J′))×Bobs(k，ib，jb)}的值除以该表达式的分母∑w((x，y)，(I′，J′))的值，求出(或推测)被观测的位置(I′，J′)上的蓝色光量Lb(I′，J′)。分子和分母的值是在步骤S77中求出的。随后，图像形成处理的流程转到下一个步骤S79。
因此，在步骤S78中，求出了输出图像上的位置(I′，J′)上分别是G、R和B信号的三个像素值。
在步骤S79中，处理电路24产生是否已经观测了所有位置(I′，J′)，即，是否为输出图像上的所有像素或用作参考图像的第1摄取图像的所有像素的中心点求出了绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)和蓝色的光量Lb(I′，J′)的确定结果。
如果在步骤S79中产生的确定结果指示还没有将所有位置(I′，J′)取作观测位置，图像形成处理的流程返回到步骤S71，重复执行步骤S71到S79的处理。也就是说，处理电路24将还没有观测的位置(I′，J′)取作新被观测的位置(I′，J′)，和求出新被观测的位置(I′，J′)上的绿色光量Lg(I′，J′)、红色光量Lr(I′，J′)和蓝色光量Lb(I′，J′)。
另一方面，如果在步骤S79中产生的确定结果指示已经将所有位置(I′，J′)取作观测位置，图像形成处理的流程转到步骤S80。在步骤S80中，处理电路24生成(或获取)具有分别作为G、R和B信号的像素值，在步骤S78中在每个被观测的位置(I′，J′)上分别为绿色、红色和蓝色求出的光量Lg(I′，J′)、光量Lr(I′，J′)和光量Lb(I′，J′)的输出图像。然后，在返回执行控制之前，处理电路24将输出图像提供给D/A转换器9或编解码器12。
如上所述，检测出作为高速图像拾取处理的结果获得的数个摄取图像的位置之间的关系，和根据位置关系，为输出图像上的每个像素的位置识别数个摄取图像每一个上的像素，作为要用于推测输出图像上的像素的像素值的识别像素。然后，根据每个识别像素的像素值，推测输出图像上的像素的像素值。为输出图像上的每个像素进行识别像素和根据识别像素的像素值推测输出图像上的像素的像素值的处理，以生成输出图像。因此，可以获得不受手抖影响的清晰输出图像。
在上面的描述中，随位置(x，y)和位置(I′，J′)之间的距离下降的权重w((x，y)，(I′，J′))被取作分别用于推测绿色光量Lg(I′，J′)、红色光量Lr(I′，J′)和蓝色光量Lb(I′，J′)的方程(4)到(6)中的权重。这样权重w((x，y)，(I′，J′))的例子有用表达式{√2-F((x，y)，(I′，J′))}表示的权重。但是，作为权重w((x，y)，(I′，J′))，也可以使用具备低通滤波器的特性作为与位置(x，y)和位置(I′，J′)之间的距离有关的特性的函数。
具备低通滤波器的特性作为与位置(x，y)和位置(I′，J′)之间的距离有关的特性的函数的例子有用三次函数表达的表达式Cubic(I′-x)×Cubic(J′-y)。
下面方程(7)表达的Cubic(z)就是三次函数。

Cubic(z)=(a+2)|z|3-(a+3)|z|2+1(|z|<1)a|z|3-5a|z|2+8a|z|-4a(1-≤|z|<2)0(2≤|z|)---(7)]]>应该注意到，用在方程(7)中的记号′a′是事先确定的常数。这样常数的例子有-1。
图13是示出称为Cubic(z)的三次函数的波形的图形。
称为Cubic(z)的三次函数的值，对于满足方程2≤|z|和|z|＝1的变量z，是0。称为Cubic(z)的三次函数的值，对于1＜|z|＜2，是负数，但称为Cubic(z)的三次函数的值，对于|z|＜1，是正数。另外，随着|z|的值增大，称为Cubic(z)的三次函数的值减小。换句话说，如果代表变量z的轴用作付里叶变换处理的频率轴，称为Cubic(z)的三次函数是具有低通滤波器的特性的函数。
如果称为Cubic(z)的三次函数的值用作权重w((x，y)，(I′，J′))，应用在如图4所示的信号处理电路7中的处理电路24按如下推测绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)和蓝色的光量Lb(I′，J′)，作为输出图像上的像素的像素值。
图14是示出作为变换后位置(x，y)位于参考坐标系(或第1摄取图像的坐标系)上的点G11到G19的图形，其中，变换后位置(x，y)的坐标(x，y)是作为变换N个摄取图像上与位置(I′，J′)有关的位置的坐标(ig-1，jg-1)的仿射变换处理的结果获得的。
点G11到G19与作为其坐标(x，y)满足条件I′-2≤x＜I′+2和J′-2≤y＜J′+2的位置的如图14所示的变换后位置(x，y)一致。处理电路24识别第1到第N摄取图像上的像素，作为处在变换成范围I′-2≤x＜I′+2和J′-2≤y＜J′+2内的变换后位置(x，y)的位置上的识别像素，范围I′-2≤x＜I′+2和J′-2≤y＜J′+2是位置(I′，J′)的附近范围。
也就是说，如果随位置(x，y)和位置(I′，J′)之间的距离下降的表达式√2-F((x，y)，(I′，J′))被取作权重w((x，y)，(I′，J′))，如图10和11所示，范围I′-1≤x＜I′+1和J＇-1≤y＜J′+1用作位置(I′，J′)的附近范围。另一方面，如果用三次函数表达的表达式Cubic(I′-x)×Cubic(J′-y)被取作权重w((x，y)，(I′，J′))，如图14所示，范围I′-2≤x＜I′+2和J′-2≤y＜J′+2用作位置(I′，J′)的附近范围。
如前所述，在图13中显示成三次函数的Cubic(z)对于-2≤z≤+2，具有随变量z变化的值(但在图13中显示成三次函数的Cubic(z)对于|z|＞2，具有与变量z无关的0值)。因此，处在变换成与范围-2≤z≤+2对应的范围I′-2≤x＜I′+2和J′-2≤y＜J′+2内的变换后位置(x，y)的位置上的像素的像素值用于推测输出图像上的位置(I′，J′)的像素值。
还有，作为权重w((x，y)，(I′，J′))，也可以采用对于位置(x，y)和位置(I′，J′)之间的距离具有低通滤波器的特性和随如前面在方程(4)的描述中所说明的噪声成分的幅度E×Mk下降的函数。在这种情况下，权重w((x，y)，(I′，J′))用表达式Cubic(I′-x)×Cubic(J′-y)/(E×Mk)表示。
应该注意到，在应用在如图1所示的数字摄像机1中的移位电路21中，如果所有N个摄取图像都经受放大率为M的一致放大处理，权重w((x，y)，(I′，J′))用表达式Cubic(I′-x)×Cubic(J′-y)/(E×M)表示。在这种情况下，方程(4)到(6)每一个的分子和分母中权重w((x，y)，(I′，J′))的项1/(E×M)相消。因此，在方程(4)到(6)每一个的右边的表达式的计算中将表达式Cubic(I′-x)×Cubic(J′-y)/(E×M)用作权重w((x，y)，(I′，J′))等效于将表达式Cubic(I′-x)×Cubic(J′-y)用作权重w((x，y)，(I′，J′))。
用项Cubic(I′-x)×Cubic(J′-y)代替方程(4)中的权重w((x，y)，(I′，J′))得出如下方程(8)[方程(8)]Lg(I′,J′)=ΣCubic(I′-x)×Cubic(J′-y)×Gobs(k,ig,jg)ΣCubic(I′-x)×Cubic(J′-y)---(8)]]>方程(8)中的记号∑表示针对所有整数组(k，ig，jg)为位置(I′，J′)计算的和值，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ig-1，jg-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2。例如，在如图14所示的典型情况中，针对与9个点G11到G19相对应的整数组(k，ig，jg)计算和值。
应该注意到，与方程(4)非常相似，方程(8)也被称为绿色光量的加权相加方程。将表达绿色光量的方程(8)的分子和分母分别重写成如下的表达式(9)和(10)。
∑Cubic(I′-x)×Cubic(J′-y)×Gobs(k，ig，jg) (9)[方程(10)]∑Cubic(I′-x)×Cubic(J′-y) (10)同样，用项Cubic(I′-x)×Cubic(J′-y)代替方程(5)和(6)中的权重w((x，y)，(I′，J′))分别得出如下方程(11)和(12)[方程(11)]Lr(I′,J′)=ΣCubic(I′-x)×Cubic(J′-y)×Robs(k,ir,jr)ΣCubic(I′-x)×Cubic(J′-y)---(11)]]>[方程(12)]Lb(I′,J′)=ΣCubic(I′-x)×Cubic(J′-y)×Bobs(k,ib,jb)ΣCubic(I′-x)×Cubic(J′-y)---(12)]]>应该注意到，与方程(5)中的记号∑非常相似，方程(11)中的记号∑表示针对所有整数组(k，ir和jr)为位置(I′，J′)计算的和值，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(afk，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ir-1，jr-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2。同样，与方程(6)中的记号∑非常相似，方程(12)中的记号∑表示针对所有整数组(k，ib，jb)为位置(I′，J′)计算的和值，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ib-1，jb-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2。
应该注意到，与方程(5)非常相似，方程(11)也被称为红色光量的加权相加方程。同样，与方程(6)非常相似，方程(12)也被称为蓝色光量的加权相加方程。
将表达红色光量的方程(11)的分子和分母分别重写成如下的表达式(13)和(14)。
∑Cubic(I′-x)×Cubic(J＇-y)×Robs(k，ir，jr) (13)[表达式(14)]∑Cubic(I′-x)×Cubic(J′-y)(14)同样，将表达蓝色光量的方程(12)的分子和分母分别重写成如下的表达式(15)和(16)。
∑Cubic(I′-x)×Cubic(J′-y)×Bobs(k，ib，jb) (15)[表达式(16)]
∑Cubic(I′-x)×Cubic(J′-y) (16)通过将上述方程(8)用作绿色光量的加权相加方程，将上述方程(11)用作红色光量的加权相加方程，和上述方程(12)用作蓝色光量的加权相加方程，处理电路24能够分别求出绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)、和蓝色的光量Lb(I′，J′)，作为输出图像上的位置(I′，J′)上的像素值。
顺便提一下，当处理电路24利用方程(8)、(11)和(12)分别求出绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)、和蓝色的光量Lb(I′，J′)，作为输出图像上的位置(I′，J′)上的像素值时，在一些情况下像素值的可靠性可能降低了。
也就是说，按照作为绿色光量的加权相加方程的上述方程(8)，输出图像上的位置(I′，J′)上的绿色光量Lg(I′，J′)是通过将表达式(9)所表达的分子除以表达式(10)所表达的分母求出的。从表达式(9)中可明显看出，分子是每一个通过将变换到变换后位置(x，y)的位置(ig-1，jg-1)上的像素值Gobs(k，ig，jg)乘以权重Cubic(I′-x)×Cubic(J′-y)获得的乘积的和值。另一方面，从表达式(10)中可明显看出，分母是权重Cubic(I′-x)×Cubic(J′-y)的和值。
因此，如果表达方程(8)的分母的表达式(10)的值是0(或接近0)，利用方程(8)求出作为位置(I′，J′)上的绿色光量的光量Lg(I′，J′)具有呈现不稳定(或不确定)和不可靠特性的值。换句话说，在表达方程(8)的分母的表达式(10)的值是0的位置(I′，J′)上，包含在包括在方程(8)的分子中的像素值Gobs(k，ig，jg)中的少量噪声(或错误)被除以0的分母，放大成很大的值。其结果是，利用方程(8)求出作为位置(I′，J′)上的绿色光量的光量Lg(I′，J′)具有包括大量噪声的不可靠值。
例如，由于称为Cubic(I′-x)或Cubic(J′-y)的三次函数的至少一个在方程(10)的整个求和范围上是0，表达方程(8)的分母的表达式(10)的值将是0。从作为三次函数的特性的如图13所示的特性中可明显看出，称为Cubic(I′-x)或Cubic(J′-y)的三次函数在范围I′-x＝±1或J′-y＝±1内，即，在范围x＝I′±1或y＝J′±1内是0。
因此，由于参考坐标系中的观测位置的坐标(I′，J′)和也在参考坐标系中的变换后位置的坐标(x，y)满足如上所述的关系x＝I′±1或y＝J′±1的事实，方程(8)的分母是0(或几乎是0)，所以在通过求和所有整数组(k，ig和jg)的像素值Gobs(k，ig，jg)，按照方程(8)计算位置(I′，J′)上的光量Lg(I′，J′)的处理中，发现绿色光量Lg(I′，J′)的值变成呈现不稳定(或不确定)和不可靠特性的值，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ig-1，jg-1)变换成位置(x，y)的仿射变换处理中，位置(x，y)的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2。但是，只有在非常特殊或例外的情况下，作为像素值Gobs(k，ig，jg)的位置位于范围I′-2≤x＜I′+2和J′-2≤y＜J′+2内的所有位置(x，y)的坐标(x，y)满足关系x＝I′±1或y＝J′±1。在如下的描述中，将非常特殊或例外的情况简称为异常状态。
图15是示出处在异常状态下的位置(I′，J′)的说明图。
在如图15所示的异常状态下，每一个作为利用变换参数(ak，bk，ck，dk，sk和tk)变换位置(ig-1，jg-1)的仿射变换处理的结果获得的变换后位置G11和G15的坐标x满足关系x＝I′-1。另一方面，每一个作为利用变换参数(ak，bk，ck，dk，sk和tk)变换位置(ig-1，jg-1)的仿射变换处理的结果获得的变换后位置G12和G16的坐标x满足关系x＝I′+1。
同样，每一个作为利用变换参数(ak，bk，ck，dk，sk和tk)变换位置(ig-1，jg-1)的仿射变换处理的结果获得的变换后位置G13和G14的坐标y满足关系y＝J′-1。另一方面，每一个作为利用变换参数(ak，bk，ck，dk，sk和tk)变换位置(ig-1，jg-1)的仿射变换处理的结果获得的变换后位置G17、G18和G19的坐标y满足关系y＝J′+1。
如上所述，在如图15所示的异常状态下，在利用所有整数组(k，ig和jg)的像素值Gobs(k，ig，jg)推测观测像素的被观测的位置(I′，J′)的光量Lg(I′，J′)的处理中，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ig-1，jg-1)变换成位置(x，y)的仿射变换处理中，位置(x，y)的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2，被观测的位置(I′，J′)的坐标和变换后位置(x，y)的坐标之间的关系x＝I′±1或y＝J′±1在一些情况下可能成立。在这种异常状态下，对于G信号，在作为几乎在边界I′±1和J′±1内的坐标(x，y)的范围中心在被观测的位置(I′，J′)上的范围内，甚至没有一个G数据(即，甚至没有一个像素值Gobs(k，ig，jg))与非零权重w((x，y)，(I′，J′))相联系。作为几乎在边界I′±1和J′±1内的坐标(x，y)的范围中心在被观测的位置(I′，J′)上的范围是尺度为2×2的正方形区域。
按照方程(8)求出处在这样异常状态下的位置(I′，J′)上的绿色光量Lg(I′，J′)的处理将导致如上所述呈现不稳定(或不确定)和不可靠特性的光量值。
如果处在位置(I′，J′)上的像素处在这样的异常状态下，处理电路不进行按照方程(8)求出位置(I′，J′)上的绿色光量Lg(I′，J′)的处理。取而代之，处理电路24进行如下所述的异常处理，作为求出位置(I′，J′)上的绿色光量Lg(I′，J′)的处理。与异常处理不同，分别按照方程(8)、(11)和(12)求出绿色光量Lg(I′，J′)、红色光量Lr(I′，J′)、和蓝色光量Lb(I′，J′)的处理每一种都被称为正常处理。
也就是说，让我们假设，例如，位置(I′，J′)是观测位置，和推测输出图像上的被观测的位置(I′，J′)上的像素的绿色光量Lg(I′，J′)。在下文中，将输出图象上的被观测的位置(I′，J′)上的像素称为观测像素。如果被观测的位置(I′，J′)上的观测像素处在异常状态下，处理电路24不仅利用作为其坐标(ik-1，jk-1)变换成与被观测的位置(I′，J′)非常接近的变换后位置(x，y)的坐标(x，y)的位置上的像素，位于每个第k摄取图像上的像素的像素值Gobs(k，ig，jg)，而且利用作为其坐标(ik-1，jk-1)变换成与作为被观测的位置(I′，J′)附近的像素位于输出图像上的像素的位置非常接近的变换后位置(x，y)的坐标(x，y)的位置上的像素，位于每个第k摄取图像上的像素的像素值Gobs(k，ig，jg)，推测处在异常状态下的被观测的位置(I′，J′)上的观测像素的绿色光量Lg(I′，J′)。
推测输出图像上的被观测的位置(I′，J′)上的像素的绿色光量Lg(I′，J′)的异常处理中被观测的位置(I′，J′)附近的像素被适当地称为观测像素的附近像素。在如图16所示的例子中，位置(I＇-1，J′)、(I′+1，J′)、(I′，J′-1)和(I′，J′+1)上的像素每一个都可以取作附近像素。
也就是说，应用在数字摄像机1中的图像拾取器件4具有如前面参照图3所述的拜耳二维阵列的形式。在拜耳二维阵列中，接收光的绿色成分的像素沿着X和Y方向每隔一个像素地排列着。
如果在将N个摄取图像的任何一个上的位置的坐标转换成参考坐标系中的位置的坐标的仿射变换处理中，具有拜耳二维阵列的图像拾取器件4获取的N个摄取图像上每一个具有G信号的像素值Gobs(k，ig，jg)的像素没有一个其坐标被变换成与被观测的位置(I′，J′)非常接近的位置的坐标，可以将位于参考图像上的被观测的位置(I′，J′)上的像素当作除了绿色之外的其它颜色的像素。
图17是示出具有拜耳二维阵列的图像拾取器件4获取的参考图像的图形。如图17所示的拜耳二维阵列是沿着水平方向(或X方向)排列了W个列和沿着垂直方向(或Y方向)排列了H个行的阵列。也就是说，参考图像由W×H个像素组成。因此，图像拾取器件4也由W×H个像素组成。
让我们假设，例如，如图17所示，用圆圈围起来的像素B12是作为蓝色的像素位于参考图像上的被观测的位置(I′，J′)上的非绿色像素。位于参考图像上的被观测的位置(I′，J′)上的蓝色像素B12是作为接收蓝色成分的像素包括在图像拾取器件4中的像素。在这种情况下，在像素B12的上侧、下侧、左侧和右侧的每一侧都存在一个绿色的像素。事实上，在除了像素B12之外的任何蓝色像素的上侧、下侧、左侧和右侧的每一侧都存在一个绿色的像素。同样，在任何红色像素的上侧、下侧、左侧和右侧的每一侧都存在一个绿色的像素。
因此，如果每一个具有G信号的像素值Gobs(k，ig，jg)的像素没有一个其坐标被变换成与被观测的位置(I′，J′)非常接近的位置的坐标，可以将位于参考图像上的被观测的位置(I′，J′)上的像素当作除了绿色之外的其它颜色的像素，但是，必须将具有G信号的像素值Gobs(k，ig，jg)的某些像素的坐标变换成与被观测的位置(I′，J′)上的非绿色像素的附近像素非常接近的位置的坐标，被观测的位置(I′，J′)上的非绿色像素的附近像素的位置是处在被观测的位置(I′，J′)的上侧、下侧、左侧和右侧的位置(I′-1，J′)、(I′+1，J′)、(I′，J′-1)和(I′，J′+1)的任何一个。由于具有G信号的像素值Gobs(k，ig，jg)的某些像素的坐标被变换成与位置(I′-1，J′)、(I′+1，J′)、(I′，J′-1)和(I′，J′+1)的任何一个非常接近的位置的坐标，不会导致异常状态。也就是说，通过将方程(8)应用于位置(I′-1，J′)、(I′+1，J′)、(I′，J′-1)和(I′，J′+1)的任何一个上的附近像素，可以求出可靠的绿色光量Lg(I′，J′)。
如上所述，在观测像素处在异常状态下的情况下，处理电路24进行不仅利用其坐标被变换成与被观测的位置(I′，J′)非常接近的位置(x，y)的坐标的位置上的像素的像素值Gobs(k，ig，jg)，而且利用其坐标被变换成与被观测的位置(I′，J′)附近的位置(I′-1，J′)、(I′+1，J′)、(I′，J′-1)或(I′，J′+1)非常接近的位置(x，y)的坐标的位置上的像素的像素值Gobs(k，ig，jg)，推测被观测的位置(I′，J′)上的观测像素的绿色光量Lg(I′，J′)的异常处理。
更具体地说，处理电路24进行按照如下给出的方程(17)推测被观测的位置(I′，J′)上的观测像素的绿色光量Lg(I′，J′)的异常处理[方程(17)] 方程(17)的分子是与与观测像素的被观测的位置(I′，J′)，以及与被观测的位置(I′，J′)非常接近的附近像素的位置(I′-1，J′)、(I′+1，J′)、(I′，J′-1)和(I′，J′+1)一致的5个点相联系的分子之和。在这种情况下，与与被观测的位置(I′，J′)或位置(I′-1，J′)、(I′+1，J′)、(I′，J′-1)或(I′，J′+1)一致的点相联系的分子是应用于在该点上进行的正常处理的方程(8)的分子。如上所述，方程(8)的分子用表达式(9)表达。另一方面，方程(17)的分母是与上述5个点相联系的分母之和。与一个点相联系的分母是应用于在该点上进行的正常处理的方程(8)的分母。如上所述，方程(8)的分母用表达式(10)表达。按照方程(17)，通过将分子之和除以分母之和，可以求出绿色的光量Lg(I′，J′)。在附近像素的位置(I′-1，J′)、(I′+1，J′)、(I′，J′-1)和(I′，J′+1)的至少一个上，不会导致异常状态。因此，方程(17)的分母在某种程度上具有较大的值或分母的值不是接近0的值。其结果是，可以求出可靠的绿色光量Lg(I′，J′)。
与按照作为求出绿色光量的方程的方程(8)所表达的加权相加方程为绿色求出的光量Lg(I′，J′)非常相似，由于在一些情况下被观测的位置(I′，J′)处在异常状态下的事实，按照作为求出红色光量的方程的方程(11)所表达的加权相加方程为红色求出的光量Lr(I′，J′)可能具有不稳定值。
更具体地说，在利用所有整数组(k，ir和jr)的像素值Robs(k，ir，jr)推测观测像素的被观测的位置(I′，J′)的光量Lr(I′，J′)的处理中，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(a4k，b4k，c4k，d4k，s4k和t4k)用在将第k摄取图像的坐标系中的位置(ir-1，jr-1)变换成位置(x，y)的仿射变换处理中，位置(x，y)的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2，与前面参照图15所述的情况非常相似，被观测的位置(I′，J′)的坐标和变换后位置(x，y)的坐标之间的关系x＝I′±1或y＝J′±1在一些情况下可能成立。在这种异常状态下，对于R信号，在作为几乎在边界I′±1和J′±1内的坐标(x，y)的范围中心在被观测的位置(I′，J′)上的范围内，甚至没有一个R数据(即，甚至没有一个像素值Robs(k，ir，jr))与非零权重w((x，y)，(I′，J′))相联系。作为几乎在边界I′±1和J′±1内的坐标(x，y)的范围中心在被观测的位置(I′，J′)上的范围是尺度为2×2的正方形区域。
在这种情况下，处理电路24进行如下异常处理。
也就是说，处理电路24不仅利用作为其坐标(ir-1，jr-1)变换成与被观测的位置(I′，J′)非常接近的变换后位置的坐标(x，y)的位置上的像素，位于每个第k摄取图像上的像素的像素值Robs(k，ir，jr)，而且利用作为其坐标(ir-1，jr-1)变换成与作为被观测的位置(I′，J′)附近的像素位于输出图像上的像素的位置非常接近的变换后位置(x，y)的坐标(x，y)的位置上的像素，位于每个第k摄取图像上的像素的像素值Robs(k，ir，jr)，推测处在异常状态下的被观测的位置(I′，J′)上的观测像素的红色光量Lr(I′，J′)。
如上所述，推测输出图像上的被观测的位置(I′，J′)上的像素的红色光量Lr(I′，J′)的异常处理中被观测的位置(I′，J′)附近的像素被适当地称为观测像素的附近像素。在如图18所示的例子中，位置(I′-1，J＇-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)上的像素每一个都可以取作附近像素。
如果具有拜耳二维阵列的每一个具有R信号的像素值Robs(k，ir，jr)的像素没有一个其坐标被变换成与被观测的位置(I′，J′)非常接近的位置的坐标，可以将位于参考图像上的被观测的位置(I′，J′)上的像素当作除了红色之外的其它颜色的像素。
让我们假设，例如，如图19所示，用圆圈围起来的像素G11是作为绿色的像素位于参考图像上的被观测的位置(I′，J′)上的非红色像素。位于参考图像上的被观测的位置(I′，J′)上的绿色像素G11是接收绿色成分的像素。在这种情况下，在像素G11的上侧和下侧的每一侧都存在一个红色的像素。
让我们假设，作为另一个例子，如图19所示，用圆圈围起来的像素G22也是作为绿色的像素位于参考图像上的被观测的位置(I′，J′)上的非红色像素。位于参考图像上的被观测的位置(I′，J′)上的绿色像素G22是接收绿色成分的像素。在这种情况下，在像素G22的左侧和右侧的每一侧都存在一个红色的像素。
让我们假设，作为另一个例子，如图19所示，用圆圈围起来的像素B14也是作为蓝色的像素进一步位于参考图像上的被观测的位置(I′，J′)上的非红色像素。位于参考图像上的被观测的位置(I′，J′)上的蓝色像素B14是接收蓝色成分的像素。在这种情况下，在像素B14的左上侧、右上侧、左下侧和右下侧的每一侧都存在一个红色的像素。
一般说来，在作为除了红色之外的其它颜色的像素包括在参考图像中的像素的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧和右下侧的每一侧上，都存在一个红色像素。
如果每一个具有R信号的像素值Robs(k，ir，jr)的像素没有一个其坐标被变换成与被观测的位置(I′，J′)非常接近的位置的坐标，可以将位于参考图像上的被观测的位置(I′，J′)上的像素当作除了红色之外的其它颜色的像素，但是，必须将具有R信号的像素值Robs(k，ir，jr)的某些像素的坐标变换成与位于被观测的位置(I′，J′)上的非红色像素的附近像素非常接近的位置的坐标，被观测的位置(I′，J′)上的非红色像素的附近像素的位置是处在被观测的位置(I′，J′)的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧和右下侧的位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I＇-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)的任何一个。由于具有R信号的像素值Robs(k，ir，jr)的某些像素的坐标被变换成与位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)的任何一个非常接近的位置的坐标，不会导致异常状态。也就是说，通过将方程(11)应用于位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)的任何一个上的附近像素，可以求出可靠的红色光量Lr(I′，J′)。
如上所述，在观测像素处在异常状态下的情况下，处理电路24进行不仅利用其坐标被变换成与被观测的位置(I′，J′)非常接近的位置(x，y)的坐标的位置上的像素的像素值Robs(k，ir，jr)，而且利用其坐标被变换成与被观测的位置(I′，J′)附近的位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)或(I′+1，J′+1)非常接近的位置(x，y)的坐标的位置上的像素的像素值Robs(k，ir，jr)，推测被观测的位置(I′，J′)上的观测像素的红色光量Lr(I′，J′)的异常处理。
更具体地说，处理电路24进行按照如下给出的方程(18)推测被观测的位置(I′，J′)上的观测像素的红色光量Lr(I′，J′)的异常处理[方程(18)]
方程(18)的分子是与与观测像素的被观测的位置(I′，J′)，以及与被观测的位置(I′，J′)非常接近的附近像素的位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)一致的9个点相联系的分子之和。在这种情况下，与与被观测的位置(I′，J′)或位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)或(I′+1，J′+1)一致的点相联系的分子是应用于在该点上进行的正常处理的方程(11)的分子。如前所述，方程(11)的分子用表达式(13)表达。另一方面，方程(18)的分母是与上述9个点相联系的分母之和。与一个点相联系的分母是应用于在该点上进行的正常处理的方程(11)的分母。如前所述，方程(11)的分母用表达式(14)表达。按照方程(18)，通过将分子之和除以分母之和，可以求出红色的光量Lr(I′，J′)。在附近像素的位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)的至少一个上，不会导致异常状态。因此，方程(18)的分母在某种程度上具有很大的值或分母的值不是接近0的值。其结果是，可以求出可靠的红色光量Lr(I′，J′)。
与按照作为求出绿色光量的方程的方程(8)所表达的加权相加方程为绿色求出的光量Lg(I′，J′)非常相似，和与按照作为求出红色光量的方程的方程(11)所表达的加权相加方程为红色求出的光量Lr(I′，J′)非常相似，由于在一些情况下被观测的位置(I′，J′)处在异常状态下的事实，按照作为求出蓝色光量的方程的方程(12)所表达的加权相加方程为蓝色求出的光量Lb(I′，J′)可能具有不稳定值。
在这种情况下，处理电路24进行如下异常处理。
也就是说，在拜耳二维阵列中，蓝色的像素按与作为红色像素之间的关系的上述关系相同的位置关系摆放着。因此，与处理电路24进行按照方程(18)推测被观测的位置(I′，J′)上的观测像素的红色光量Lr(I′，J′)的异常处理一样，处理电路24进行按照如下给出的方程(19)推测被观测的位置(I′，J′)上的观测像素的蓝色光量Lb(I′，J′)的异常处理。

方程(19)的分子是与与观测像素的被观测的位置(I′，J′)，以及被观测的位置(I′，J′)附近的附近像素的位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)一致的9个点相联系的分子之和。在这种情况下，与与被观测的位置(I′，J′)或上面9个位置一致的点相联系的分子是应用于在该点上进行的正常处理的方程(12)的分子。如前所述，方程(12)的分子用表达式(15)表达。另一方面，方程(19)的分母是与上述9个点相联系的分母之和。与一个点相联系的分母是应用于在该点上进行的正常处理的方程(12)的分母。如前所述，方程(12)的分母用表达式(16)表达。按照方程(19)，通过将分子之和除以分母之和，可以求出蓝色的光量Lb(I′，J′)。在附近像素的位置(I′-1，J′-1)、(I′，J′-1)、(I′+1，J′-1)、(I′-1，J′)、(I′+1，J′)、(I′-1，J′+1)、(I′，J′+1)和(I′+1，J′+1)的至少一个上，不会导致异常状态。因此，与方程(18)和(18)非常相似，方程(19)的分母在某种程度上具有很大的值或分母的值不是接近0的值。其结果是，可以求出可靠的蓝色光量Lb(I′，J′)。
参照如图20和21所示的流程图，如下的描述将说明对于用Cubic(I′-x)×Cubic(J′-y)表达的三次函数用作权重w((x，y)，(I′，J′))的情况，在如图2所示的流程图的步骤S4中执行的处理。
应该注意到，在如下的描述中，假设摄取图像含有如前面参照图17所述的W×H个像素。还假设图像拾取器件4含有W×H个像素。
该流程图从步骤S201开始，在步骤201中，处理电路24将代表参考坐标系中像素的位置(I′，J′)的Y方向坐标的变量J′设置成0。然后，图像生成处理的流程转到下一个步骤S202。
在步骤202中，处理电路24将代表参考坐标系中像素的位置(I′，J′)的X方向坐标的变量I′设置成0。然后，图像生成处理的流程转到下一个步骤S203。变量I′也是代表输出图像上的像素的位置的X方向坐标的变量。同样，变量J′也是代表输出图像上的像素的位置的Y方向坐标的变量。
在步骤203中，处理电路24将位置(I′，J′)取作观测位置，和对于第1到第N摄取图像，处理电路24求出所有整数组(k，ig和jg)，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ig-1，jg-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2。也就是说，对于1到N，处理电路24识别位于第k摄取图像上的像素，作为要用于推测绿色光量Lg(I′，J′)、其坐标(ig-1，jg-1)可变换成满足上述关系的坐标(x，y)的位置上的像素。然后，图像生成处理的流程转到下一个步骤S204。
在步骤S204中，利用在步骤S203中求出的所有整数组(k，ig和jg)，处理电路24求出代表绿色光量的加权相加方程的分母的表达式(10)的值、和代表同一加权相加方程的分子的表达式(9)的值。然后，处理电路24将分子和分母的值存储在未显示在任何图中的存储器中。随后，图像生成处理的流程转到下一个步骤S205。
在步骤205中，处理电路24将位置(I′，J′)取作观测位置，和对于第1到第N摄取图像，处理电路24求出所有整数组(k，ir和jr)，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ir-1，jr-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I＇-2≤x＜I′+2和J′-2≤y＜J′+2。也就是说，对于1到N，处理电路24识别位于第k摄取图像上的像素，作为要用于推测红色光量Lr(I′，J′)、其坐标(ir-1，jr-1)可变换成满足上述关系的坐标(x，y)的位置上的像素。然后，图像生成处理的流程转到下一个步骤S206。
在步骤S206中，利用在步骤S205中求出的所有整数组(k，ir和jr)，处理电路24求出代表红色光量的加权相加方程的分母的表达式(14)的值、和代表同一加权相加方程的分子的表达式(13)的值。然后，处理电路24将分子和分母的值存储在存储器中。随后，图像生成处理的流程转到下一个步骤S207。
在步骤207中，处理电路24将位置(I′，J′)取作观测位置，和对于第1到第N摄取图像，处理电路24求出所有整数组(k，ib和jb)，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的位置(ib-1，jb-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2。也就是说，对于1到N，处理电路24识别位于第k摄取图像上的像素，作为要用于推测蓝色光量Lb(I′，J′)、其坐标(ib-1，jb-1)可变换成满足上述关系的坐标(x，y)的位置上的像素。然后，图像生成处理的流程转到下一个步骤S208。
在步骤S208中，利用在步骤S207中求出的所有整数组(k，ib和jb)，处理电路24求出代表蓝色光量的加权相加方程的分母的表达式(16)的值、和代表同一加权相加方程的分子的表达式(15)的值。然后，处理电路24将分子和分母的值存储在存储器中。随后，图像生成处理的流程转到下一个步骤S209。
在步骤S209中，处理电路24产生变量I′的值是否等于像素计数(W-1)的确定结果，其中，记号W表示作为图像拾取器件4上的摄取图像的行指向X方向的每一行上的像素的个数。如果在步骤S209中产生的确定结果指示变量I′的值不等于像素计数(W-1)，即，如果位于用作Y方向坐标的变量J′(Y＝J′)的值所代表的当前行和用作X方向坐标的变量I′的值所代表的列的交点上的像素还未经过步骤S203到S208的处理，图像生成处理的流程转到下一个步骤S210，在步骤S210中，将变量I′的值加1。然后，图像生成处理的流程返回到步骤S203。
另一方面，如果在步骤S209中产生的确定结果指示变量I′值等于像素计数(W-1)，即，如果位于用作Y方向坐标的变量J′(Y＝J′)的值所代表的当前行和用作X方向坐标的变量I′的值所代表的列的交点上的每个像素都已经过步骤S203到S208的处理，图像生成处理的流程转到下一个步骤S211。
在步骤S211中，处理电路24产生变量J′的值是否等于像素计数(H-1)的确定结果，其中，记号H表示作为图像拾取器件4上的摄取图像的列指向Y方向的每一列上的像素的个数。如果在步骤S211中产生的确定结果指示变量J′的值不等于像素计数(H-1)，即，如果作为图像拾取器件4的行排列在Y方向的所有行还未全部经过步骤S203到S208的处理，图像生成处理的流程转到下一个步骤S212，在步骤S212中，将变量J′的值加1。然后，图像生成处理的流程返回到步骤S202。
另一方面，如果在步骤S211中产生的确定结果指示变量J′值等于像素计数(H-1)，即，如果作为图像拾取器件4的行排列在Y方向的所有行都已经过步骤S203到S208的处理，图像生成处理的流程转到如图21所示的流程图部分的步骤S213。
与步骤S201非常相似，在步骤S213中，处理电路24将变量J′设置成0。然后，图像生成处理的流程转到下一个步骤S214。
与步骤S202非常相似，在步骤S214中，处理电路24将变量I′设置成0。然后，图像生成处理的流程转到下一个步骤S215。
在步骤S215中，处理电路24将位置(I′，J′)取作被观测的位置(I′，J′)，和进行求出被观测的位置(I′，J′)的绿色光量Lg(I′，J′)的处理。更具体地说，在步骤S215中，处理电路24像后面所述的那样，进行根据方程(8)所表达的加权相加方程求出被观测的位置(I′，J′)的绿色光量Lg(I′，J′)的正常处理，或根据方程(17)所表达的加权相加方程求出被观测的位置(I′，J′)的绿色光量Lg(I′，J′)的异常处理。然后，图像生成处理的流程转到步骤S216。
在步骤S216中，处理电路24将位置(I′，J′)取作被观测的位置(I′，J′)，和进行求出被观测的位置(I′，J′)的红色光量Lr(I′，J′)的处理。更具体地说，在步骤S216中，处理电路24像后面所述的那样，进行根据方程(11)所表达的加权相加方程求出被观测的位置(I′，J′)的红色光量Lr(I′，J′)的正常处理，或根据方程(18)所表达的加权相加方程求出被观测的位置(I′，J′)的红色光量Lr(I′，J′)的异常处理。然后，图像生成处理的流程转到步骤S217。
在步骤S217中，处理电路24将位置(I′，J′)取作被观测的位置(I′，J′)，和进行求出被观测的位置(I′，J′)的蓝色光量Lb(I′，J′)的处理。更具体地说，在步骤S217中，处理电路24像后面所述的那样，进行根据方程(12)所表达的加权相加方程求出被观测的位置(I′，J′)的蓝色光量Lb(I′，J′)的正常处理，或根据方程(19)所表达的加权相加方程求出被观测的位置(I′，J′)的蓝色光量Lb(I′，J′)的异常处理。然后，图像生成处理的流程转到步骤S218。
在步骤S218中，处理电路24产生变量I′的值是否等于像素计数(W-1)的确定结果。如果在步骤S218中产生的确定结果指示变量I′的值不等于像素计数(W-1)，即，如果位于用作Y方向坐标的变量J′(Y＝J′)的值所代表的当前行和用作X方向坐标的变量I′的值所代表的列的交点上的像素还未经过步骤S215到S217的处理，图像生成处理的流程转到步骤S219，在步骤S219中，将变量I′的值加1。然后，图像生成处理的流程返回到步骤S215。
另一方面，如果在步骤S218中产生的确定结果指示变量I′值等于像素计数(W-1)，即，如果位于用作Y方向坐标的变量J′(Y＝J′)的值所代表的当前行和用作X方向坐标的变量I′的值所代表的列的交点上的每个像素都已经过步骤S215到S217的处理，图像生成处理的流程转到步骤S220。
在步骤S220中，处理电路24产生变量J′的值是否等于像素计数(H-1)的确定结果。如果在步骤S220中产生的确定结果指示变量J′的值不等于像素计数(H-1)，即，如果作为图像拾取器件4的行排列在Y方向的所有行还未全部经过步骤S215到S217的处理，图像生成处理的流程转到步骤S221，在步骤S221中，将变量J′的值加1。然后，图像生成处理的流程返回到步骤S214。
另一方面，如果在步骤S220中产生的确定结果指示变量I′值等于像素计数(H-1)，即，如果作为图像拾取器件4的行排列在Y方向的所有行都已经过步骤S215到S217的处理，图像生成处理的流程转到步骤S222。
在步骤S222中，处理电路24生成输出图像，和将输出图像提供给D/A转换器9或编解码器12。输出图像具有作为被观测的位置(I′，J′)上的像素值在步骤S215中求出的绿色光量Lg(I′，J′)、作为被观测的位置(I′，J′)上的像素值在步骤S216中求出的红色光量Lr(I′，J′)、和作为被观测的位置(I′，J′)上的像素值在步骤S217中求出的蓝色光量Lb(I′，J′)，其中，I′＝0到(W-1)和J′＝0到(H-1)。最后，使执行处理的控制返回到调用程序。
接着，参照如图22所示的流程图，如下的描述将说明在如图21所示的流程图的步骤S215中执行，求出被观测的位置(I′，J′)上的绿色光量Lg(I′，J′)的处理。
如图22所示的流程图从步骤S251开始，在步骤S251中，处理电路24产生作为作为被观测的位置(I′，J′)上的绿色的加权相加方程的方程(8)所表达的加权相加方程的分母的绝对值，在如图20所示的流程图的步骤S204中求出的值是否等于或大于预定阈值，即，作为表达式(10)的绝对值在步骤S204中求出的值是否至少等于预定阈值的确定结果。该预定阈值是是否由于表达式(10)的绝对值被当作等于0的值的事实而进行异常处理的判据值。通常，预定阈值是事先设置在处理电路24中的值。但是，也可以由用户通过操作来设置预定阈值。
如果在步骤S251中产生的确定结果指示有关被观测的位置(I′，J′)的表达式(10)的绝对值等于或大于预定阈值，或有关被观测的位置(I′，J′)的表达式(10)的绝对值不是小到可以将该值当作等于0的值，图像生成处理的流程转到步骤S252，在步骤S252中，处理电路24进行按照方程(8)所表达的加权相加方程计算绿色光量Lg(I′，J′)的正常处理。在正常处理中，对于被观测的位置(I′，J′)，处理电路24将作为用于绿色的方程(8)所表达的加权相加方程的分子在步骤S204中求出的值除以作为该加权相加方程的分母在步骤S204中求出的值。如前所述，用于绿色的方程(8)所表达的加权相加方程的分子是表达式(9)的值，和该加权相加方程的分母是表达式(10)的值。因此，在步骤S252中，处理电路24计算出被观测的位置(I′，J′)上的绿色光量Lg(I′，J′)。
另一方面，如果在步骤S251中产生的确定结果指示有关被观测的位置(I′，J′)的表达式(10)的绝对值小于预定阈值，或有关被观测的位置(I′，J′)的表达式(10)的绝对值是0或接近0，图像生成处理的流程转到步骤S253，在步骤S253中，处理电路24进行按照方程(17)所表达的加权相加方程计算绿色光量Lg(I′，J′)的异常处理。在异常处理中，处理电路24通过将作为方程(8)的分子，为被观测的位置(I′，J′)和被观测的位置(I′，J′)附近的位置求出的值之和除以作为方程(8)的分母，为被观测的位置(I′，J′)和附近位置求出的值之和，计算被观测的位置(I′，J′)上的绿色光量Lg(I′，J′)。
接着，参照如图23所示的流程图，如下的描述将说明在如图21所示的流程图的步骤S216中执行，求出被观测的位置(I′，J′)上的红色光量Lr(I′，J′)的处理。
如图23所示的流程图从步骤S271开始，在步骤S271中，处理电路24产生作为作为被观测的位置(I′，J′)上的红色的加权相加方程的方程(11)所表达的加权相加方程的分母的绝对值，在如图20所示的流程图的步骤S206中求出的值是否等于或大于预定阈值，即，作为表达式(14)的绝对值在步骤S206中求出的值是否至少等于预定阈值的确定结果。该预定阈值是是否由于表达式(14)的绝对值被当作等于0的值的事实而进行异常处理的判据值。通常，预定阈值是事先设置在处理电路24中的值。但是，也可以由用户通过操作来设置预定阈值。这个阈值可以与用在如图22所示的流程图的步骤S251中的阈值相同，也可以与用在步骤S251中的阈值不同。
如果在步骤S271中产生的确定结果指示有关被观测的位置(I′，J′)的表达式(14)的绝对值等于或大于预定阈值，或有关被观测的位置(I′，J′)的表达式(14)的绝对值不是小到可以将该值当作等于0的值，图像生成处理的流程转到步骤S272，在步骤S272中，处理电路24进行按照方程(11)所表达的加权相加方程计算红色光量Lr(I′，J′)的正常处理。在正常处理中，对于被观测的位置(I′，J′)，处理电路24将作为用于红色的方程(11)所表达的加权相加方程的分子在步骤S206中求出的值除以作为该加权相加方程的分母在步骤S206中求出的值。如前所述，用于红色的方程(11)所表达的加权相加方程的分子是表达式(13)的值，和该加权相加方程的分母是表达式(14)的值。因此，在步骤S272中，处理电路24计算出被观测的位置(I′，J′)上的红色光量Lr(I′，J′)。
另一方面，如果在步骤S271中产生的确定结果指示有关被观测的位置(I′，J′)的表达式(14)的绝对值小于预定阈值，或有关被观测的位置(I′，J′)的表达式(14)的绝对值是0或接近0，图像生成处理的流程转到步骤S273，在步骤S273中，处理电路24进行按照方程(18)所表达的加权相加方程计算红色光量Lr(I′，J′)的异常处理。在异常处理中，处理电路24通过将作为方程(11)的分子的为被观测的位置(I′，J′)和被观测的位置(I′，J′)附近的位置求出的值之和除以作为方程(11)的分母的为被观测的位置(I′，J′)和附近位置求出的值之和，计算被观测的位置(I′，J′)上的红色光量Lr(I′，J′)。
接着，参照如图24所示的流程图，如下的描述将说明在如图21所示的流程图的步骤S217中执行，求出被观测的位置(I′，J′)上的蓝色光量Lb(I′，J′)的处理。
如图24所示的流程图从步骤S291开始，在步骤S291中，处理电路24产生作为作为被观测的位置(I′，J′)上的蓝色的加权相加方程的方程(12)所表达的加权相加方程的分母的绝对值，在如图20所示的流程图的步骤S208中求出的值是否等于或大于预定阈值，即，作为表达式(16)的绝对值在步骤S208中求出的值是否至少等于预定阈值的确定结果。该预定阈值是是否由于表达式(16)的绝对值被当作等于0的值的事实而进行异常处理的判据值。通常，预定阈值是事先设置在处理电路24中的值。但是，也可以由用户通过操作来设置预定阈值。这个阈值可以与用在如图22所示的流程图的步骤S251或如图23所示的流程图的步骤S271中的阈值相同，也可以与用在步骤S251或步骤S271中的阈值不同。
如果在步骤S291中产生的确定结果指示有关被观测的位置(I′，J′)的表达式(16)的绝对值等于或大于预定阈值，或有关被观测的位置(I′，J′)的表达式(16)的绝对值不是小到可以将该值当作等于0的值，图像生成处理的流程转到步骤S292，在步骤S292中，处理电路24进行按照方程(12)所表达的加权相加方程计算蓝色光量Lb(I′，J′)的正常处理。在正常处理中，对于被观测的位置(I′，J′)，处理电路24将作为用于蓝色的方程(12)所表达的加权相加方程的分子在步骤S208中求出的值除以作为该加权相加方程的分母在步骤S208中求出的值。如前所述，用于蓝色的方程(12)所表达的加权相加方程的分子是表达式(15)的值，和该加权相加方程的分母是表达式(16)的值。因此，在步骤S292中，处理电路24计算出被观测的位置(I′，J′)上的蓝色光量Lb(I′，J′)。
另一方面，如果在步骤S291中产生的确定结果指示有关被观测的位置(I′，J′)的表达式(16)的绝对值小于预定阈值，或有关被观测的位置(I′，J′)的表达式(16)的绝对值是0或接近0，图像生成处理的流程转到步骤S293，在步骤S293中，处理电路24进行按照方程(19)所表达的加权相加方程计算蓝色光量Lb(I′，J′)的异常处理。在异常处理中，处理电路24通过将作为方程(12)的分子的为被观测的位置(I′，J′)和被观测的位置(I′，J′)附近的位置求出的值之和除以作为方程(12)的分母的为被观测的位置(I′，J′)和附近位置求出的值之和，计算被观测的位置(I′，J′)上的蓝色光量Lb(I′，J′)。
如上所述，通过进行如图20和21所示的流程图所代表的图像生成处理，可以求出绿色的光量Lg(I′，J′)、红色的光量Lr(I′，J′)、和蓝色的光量Lb(I′，J′)。在图像生成处理中，通过对被观测的位置(I′，J′)上的像素值和作为变换成变换后位置(x，y)的位置每一个都包括在目标图像中的位置上的像素进行加权相加运算，计算出每个光量。加权相加运算的权重是依赖于被观测的位置(I′，J′)和被观测的位置(I′，J′)附近的变换后位置(x，y)之间的距离的值。作为加权相加运算的权重，使用了具有低通滤波器特性的三次函数。
更具体地说，在正常处理中，按照方程(8)求出绿色的光量Lg(I′，J′)，方程(8)代表应用于被观测的位置(I′，J′)和变换前位置(ig-1，jg-1)上的像素值Gobs(k，ig，jg)的加权相加处理。更详细地说，通过对与所有整数组(k，ig和jg)相对应的像素值Gobs(k，ig，jg)进行加权相加运算，求出绿色的光量Lg(I′，J′)，其中，整数k是指定给与变换参数(ak，bk，ck，dk，sk和tk)相联系的摄取图像的序号，变换参数(ak，bk，ck，dk，sk和tk)用在将第k摄取图像的坐标系中的变换前位置(ig-1，jg-1)变换成作为变换后位置位于参考坐标系中的位置(x，y)的仿射变换处理中，变换后位置的坐标(x，y)满足表达与坐标(I′，J′)的关系的关系式I′-2≤x＜I′+q和J′-2≤y＜J′+2。
但是，如果表达代表被观测的位置(I′，J′)上的绿色光量的加权相加的方程(8)的分母的表达式(10)的绝对值小于预定阈值，使得可以将表达式(10)的绝对值当作0，即，如果按照代表被观测的位置(I′，J′)上的绿色光量的加权相加的方程(8)求出的值不稳定，处理电路24进行按照方程(17)求出绿色光量Lg(I′，J′)的异常处理，方程(17)代表每一个具有变换到与被观测的位置(I′，J′)非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素值Gobs(k，ig，jg)、和每一个具有变换到与被观测的位置(I′，J′)附近的附近像素非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素值Gobs(k，ig，jg)的加权相加。
红色的光量Lr(I′，J′)和蓝色的光量Lb(I′，J′)以与绿色的光量Lg(I′，J′)相同的方式求出。
因此，可以获得没有显著噪声成分的清晰输出图像。
正常处理和异常处理可以从如下不同角度来看。
让我们关注取作例子的绿色。在上述的情况中，处理电路24进行通过对作为每一个具有变换到与观测像素的被观测的位置(I′，J′)非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置，包括在第k摄取图像中的位置上的像素的像素值Gobs(k，ig，jg)进行加权相加运算，求出绿色光量Lg(I′，J′)的正常处理。另一方面，在异常处理中，处理电路24通过对每一个具有变换到与被观测的位置(I′，J′)非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素值Gobs(k，ig，jg)、和每一个具有变换到与观测像素的被观测的位置(I′，J′)附近的附近像素非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素值Gobs(k，ig，jg)进行加权相加运算，求出绿色的光量Lg(I′，J′)。
因此，在异常处理中，处理电路24通过对每一个具有变换到与观测像素的被观测的位置(I′，J′)附近的附近像素非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素值Gobs(k，ig，jg)，以及每一个具有变换到与被观测的位置(I′，J′)非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素值Gobs(k，ig，jg)进行加权相加运算，求出绿色的光量Lg(I′，J′)。
如上所述，在正常处理中，处理电路24通过对每一个具有变换到与观测像素的被观测的位置(I′，J′)非常接近的正常处理区中的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素的像素值Gobs(k，ig，jg)进行加权相加运算，求出绿色的光量Lg(I′，J′)。确切地说，坐标(x，y)满足关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2，其中，记号I′和J′表示观测位置的坐标。另一方面，在异常处理中，处理电路24通过对每一个具有变换到作为比上述正常处理区更宽的区域，与观测像素的被观测的位置(I′，J′)附近的附近像素非常接近的异常处理区中的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素的像素值Gobs(k，ig，jg)进行加权相加运算，求出绿色的光量Lg(I′，J′)。确切地说，坐标(x，y)满足关系式I′-3≤x＜I′+3和J′-3≤y＜J′+3，其中，记号I′和J′表示观测位置的坐标。
换句话说，在求出绿色光量Lg(I′，J′)的处理中，事先将关系式I′-3≤x＜I′+3和J′-3≤y＜J′+3所代表的异常处理区设为与被观测的位置(I′，J′)非常接近的区域。在正常处理中，可以认为处理电路24通过进行方程(8)所代表的加权相加运算求出绿色的光量Lg(I′，J′)，方程(8)假设作为在作为关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2所代表的正常处理区之外的区域，包括在异常处理区中的区域中的像素的像素值观测的像素值Gobs(k，ig，jg)的权重是0。另一方面，在异常处理的情况中，作为在作为关系式I′-2≤x＜I′+2和J′-2≤y＜J′+2所代表的正常处理区之外的区域，包括在异常处理区中的区域中的像素的像素值观测的像素值Gobs(k，ig，jg)的权重不是0。也就是说，每一个具有变换到与观测像素的被观测的位置(I′，J′)附近的附近像素非常接近的变换后位置的坐标(x，y)的坐标(ig-1，jg-1)的位置上的像素值Gobs(k，ig，jg)的权重不是0。在这种情况下，可以认为处理电路24通过进行方程(17)所代表的加权相加运算求出绿色的光量Lg(I′，J′)。在方程(17)的情况中，每个权重用将附近像素的位置取作原点的称为Cubic(z)的三次函数的值表达。
也就是说，在异常处理中，通过使用与用在正常处理中的权重不同的权重进行加权相加运算，可以求出绿色的光量Lg(I′，J′)。
应该注意到，作为对于被观测的位置(I′，J′)和作为变换具有像素值Gobs(k，ig，jg)的像素的位置(ig-1，jg-1)所得的变换后位置(x，y)与被观测的位置(I′，J′)非常接近的变换后位置(x，y)之间的距离z，具有低通滤波器的特性的函数，除了作为三次函数的方程(17)所代表的Cubic(z)之外，也可以采用，例如，函数sin(z)/z。
顺便提一下，在上述的实施例中，第1摄取图像用作参考图像，而第2到第N摄取图像每一个都用作目标图像。但是，作为除了第1摄取图像之外的摄取图像从第2到第N摄取图像选择的摄取图像也可以用作参考图像。
图25是示出高速连续进行的N次相继图像拾取操作产生的N个摄取图像的图形。应该注意到，图25是示出N＝8的情况的图形。
在该图中，标号401k表示第k摄取图像。第1摄取图像4011到第8摄取图像4018是高速连续进行的8次相继图像拾取操作产生的8个摄取图像，作为由于手抖随着时间流逝沿着图的右上角方向移动的图像。
更详细地说，图25通过以使投影在第1摄取图像4011到第8摄取图像4018上的共同部分相互重叠的方式调整第1摄取图像4011到第8摄取图像4018的位置示出了第1摄取图像4011到第8摄取图像4018。摄取图像也以与图25相同的方式显示在如后所述的图26和27中。
应该注意到，为了使手抖的发生易于理解，图25通过夸大手抖引起的移动量示出了第1摄取图像4011到第8摄取图像4018。图26和27每一个都是以与图25相同的方式示出的图形。
图26是示出如图25所示的8个摄取图像，即第1摄取图像4011到第8摄取图像4018的图形。
在信号处理电路7为了利用从第1摄取图像4011到第8摄取图像4018当中选择的第1个作为参考图像和利用第2到第8摄取图像的每一个作为目标图像生成输出图像而进行的处理中，像用作参考图像的第1摄取图像的坐标系中的图像那样产生输出图像。在图26中，第1摄取图像4011，即，输出图像用黑线围起来。
作为输出图像的区域在图26中用黑线围起来的区域包括右上角用虚线围起来的区域411。区域411是利用所有第1摄取图像4011到第8摄取图像4018的像素值的数据推测每一个代表光量的像素值的区域。由于区域411的像素值是利用所有第1摄取图像4011到第8摄取图像4018的像素值的数据推测的，所得输出图像具有更好清晰度的画面质量。
但是，在生成输出图像的处理中，只利用第1摄取图像4011到第8摄取图像4018的一些摄取图像的像素值的数据推测作为区域411以外的部分包括在图26中用黑线围起来的区域中的部分的像素值。也就是说，区域411以外的部分的像素值不是利用所有第1摄取图像4011到第8摄取图像4018的像素值的数据推测的。因此，区域411以外的部分上的图像部分具有与区域411中的图像部分相比清晰度变差了与第1摄取图像4011到第8摄取图像4018的一些摄取图像的像素值被排除在外相对应的数量的画面质量。在如上所述沿着右上角方向发生手抖的情况下，输出图像的一部分沿着相反的左下角方向离区域411越远，可用在生成输出图像的处理中的数据量就越少，使得区域411以外的部分上的图像部分具有与区域411中的图像部分相比清晰度变差的画面质量。
在图26中用黑线围起来的区域以外的部分412的数据就是所谓的舍弃数据，它不能用在生成输出图像的处理中。部分412涵盖了作为其像素值不可用的部分包括在每一个用作目标图像的第2到第8摄取图像4011-4018中的部分。
如果像上述那样将第1摄取图像取作参考图像生成输出图像和沿着某个方向发生手抖，那么，沿着相同方向远离输出图像的中心点的区域具有良好清晰度的画面质量，但沿着相反方向远离输出图像的中心点的区域具有较差清晰度的画面质量。沿着与手抖的方向相同的方向远离输出图像的中心点的区域的例子是如图26所示的区域411。
顺便提一下，一般说来，当用户观看图像时，在多数情况下他们会关注图像的中心部分。另外，当利用数字摄像机1进行拍摄操作时，数字摄像机1指向这样的方向，吸引人们注意的拍摄对象被定位在图像的中心部分或图像帧的中心部分上。因此，最好产生作为在其中心特别具有良好清晰度的画面质量的画面的数字摄像机1的输出画面。
为了满足所需输出图像的上述要求，信号处理电路7能够将在连续生成N个相继摄取图像的一段间隔的中间时刻产生的摄取图像或在与中间时刻接近的时刻产生的摄取图像用作参考图像，和将其余摄取图像的每一个用作目标图像，生成输出图像。在如下的描述中，在一段间隔的中间时刻产生的摄取图像或在与中间时刻接近的时刻产生的摄取图像被称为中间图像。
例如，信号处理电路7能够从8个摄取图像4011到4018当中选择如图27所示的用黑线围起来的第4摄取图像和将所选的第4摄取图像用作参考图像，生成输出图像。在这种情况下，在生成输出图像的处理中，使用了所有8个摄取图像4011到4018(即，第1到第8摄取图像)每一个的中心上的区域421中的像素值的数据。
也就是说，在生成输出图像的处理中，从沿着时间轴产生的数个摄取图像当中选择中间图像，用作参考图像，和其余摄取图像的每一个都用作目标图像。因此，可以生成其中心部分呈现良好清晰度的画面质量的输出图像。
如上所述，在利用数字摄像机1进行的拍摄操作中，用户使数字摄像机1指向这样的方向，吸引人们注意的拍摄对象被定位在图像的中心部分或图像帧的中心部分上。这是因为，一般说来，当用户观看图像时，在多数情况下他们会关注图像的中心部分。由于这个原因，人们更愿意认为中心部分比图像的其余部分具有更好清晰度画面质量的图像是好图像。
因此，通过如图27所示，将中间图像用作参考图像和将其余图像的每一个用作目标图像，在推测输出图像的中心的像素处理的处理中，使用了所有8个摄取图像4011到4018(即，第1到第8摄取图像)每一个的中心上的区域中的像素值的数据。因此，可以生成比将第1摄取图像用作参考图像生成的输出图像好的输出图像。
应该注意到，手抖的频率具有在范围10到15Hz内的典型值。因此，例如，在能够在1/50秒的典型间隔内产生8个摄取图像4011到4018的快门速度上，代表手抖引起的晃动量的手抖量可以当作线性运动来估计。也就是说，可以将手抖当作以恒定速度沿着不变方向所作的运动。因此，在沿着时间轴产生8个摄取图像4011到4018的处理中，在图像拾取间隔内的手抖可以当作线性运动来估计，和像第4摄取图像4014或第5摄取图像4015那样的中间图像可以用作参考图像，以生成如前面参照图27所述的其某个部分呈现良好清晰度的画面质量的输出图像。
让我们假设，例如，在如图4所示的信号处理电路7中将从8个摄取图像4011到4018当中选择的第4摄取图像4014用作参考图像。在这种情况下，将用作参考图像的第4摄取图像4014提供给存储器221，以便存储在帧存储器221中。另一方面，将第1到第3摄取图像4011到4013分别提供给第2到第4帧存储器222到224，而将第5到第8摄取图像4015到4018分别提供给第5到第8帧存储器225到228。
通过如上所述将中间图像用作参考图像，可以生成其某个部分呈现良好清晰度的画面质量的输出图像，另外，可以轻而易举地设计出信号处理电路7。
也就是说，当在如上所述手抖可以当作线性运动来估计的假设下沿着时间轴产生8个摄取图像4011到4018时，让我们假设，例如，两个相邻摄取图像之间的手抖量是等于10个像素的距离。在这种情况下，如果将第1摄取图像用作参考图像，即使可以在非常短的时间间隔内摄取图像，也导致多达70个像素的手抖量。因此，必须将信号处理电路7设计成能够跟得上多达70个像素的手抖量的配置。
另一方面，借助于用作参考图像的中间图像，最大手抖量是40个像素。中间图像的例子是从第1摄取图像4011到第8摄取图像4018当中选择的第4摄取图像4014。在这种情况下，必须将信号处理电路7设计成能够跟得上只多达40个像素的手抖量的配置。其结果是，可以轻而易举地设计出信号处理电路7的硬件。
应该注意到，当如上所述，从第1摄取图像4011到第8摄取图像4018当中选择像第4摄取图像4014那样的中间图像和将其用作参考图像，以便生成输出图像时，作为拍摄对象范围内的图像投影在用作参考图像的第4摄取图像4014上的图像变成输出图像。
顺便提一下，通过如上所述，为了生成输出图像，将从第1摄取图像4011到第8摄取图像4018当中选择的像第4摄取图像4014那样的中间图像用作参考图像，在生成输出图像的中心部分的处理中，使用了从第1摄取图像4011到第8摄取图像4018的所有8个摄取图像的数据。但是，在生成输出图像的周围部分的处理中，只能使用从第1摄取图像4011到第8摄取图像4018的8个摄取图像的一些摄取图像的数据。因此，尽管输出图像的中心部分具有良好清晰度的画面质量，但周围部分与中心部分相比具有较差清晰度的画面质量。所谓输出图像的周围部分指的是与图像的边框接近的部分。
在输出图像中生成这样的变差画面质量是因为生成投影在用作参考图像的第4摄取图像4014上的拍摄对象的整个范围内的图像作为输出图像。即使从第1摄取图像4011到第8摄取图像4018的8个摄取图像当中选择除了第4摄取图像4014之外的其它图像用作参考图像，只要生成作为拍摄对象的整个范围投影在参考图像上的范围内的图像作为输出图像，手抖也会使输出图像包括画面质量变差的特定部分。这是因为，在生成输出图像的特定部分的处理中，只能使用从第1摄取图像4011到第8摄取图像4018的8个摄取图像的一些摄取图像的数据。
为了解决这个问题，将处理电路24设计成能够根据位于N个摄取图像的中心上的图像部分生成其所有部分具有良好清晰度的画面质量和像素间隔小于N个摄取图像每一个的像素之间的间隔的输出图像的电路。N个摄取图像的中心不包括作为拍摄对象的范围投影在N个摄取图像的每一个上的范围的周围部分。
也就是说，在通过用户按下应用在数字摄像机1中的释放按钮一次性进行的操作触发的拍摄操作中，进行N次图像拾取处理来产生N个摄取图像。由于可以认为在N次图像拾取处理期间发生的手抖是线性运动，拍摄对象的范围的中心部分几乎与从N个摄取图像当中选择的中间图像的中心部分一致。如上所述，中心部分不包括作为拍摄对象的范围投影在N个摄取图像上的范围的周围部分。
更具体地说，例如，如图27所示，作为拍摄对象的范围投影在从第1摄取图像4011到第8摄取图像4018的N个摄取图像上的范围的中心部分几乎与在这种情况下是第4摄取图像4014的中间图像的中心上的区域421一致。作为拍摄对象的范围投影在从第1摄取图像4011到第8摄取图像4018的N个摄取图像上的范围是如图27所示的阴影区。
因此，通过只生成拍摄对象的范围的中心部分的图像作为输出图像和将作为拍摄对象的范围投影在N个摄取图像上的范围的周围部分的图像排除在输出图像之外，可以获得在其整个区域具有良好清晰度的画面质量的输出图像。拍摄对象的范围的中心部分(几乎)与区域421一致。
顺便提一下，如前所述，如图1所示的数字摄像机1能够将普通拍摄方式或手抖校正拍摄方式用作它的拍摄方式。手抖校正拍摄方式是适合于，例如，拍摄昏暗场景的状况的拍摄方式。在手抖校正拍摄方式中，产生N个摄取图像和从产生的N个摄取图像中生成输出图像。另一方面，普通拍摄方式是适合于，例如，拍摄明亮场景的状况的拍摄方式。在普通拍摄方式中，产生一个摄取图像和按原样生成输出图像。通过适当地选择普通拍摄方式或手抖校正拍摄方式，可以与拍摄场景是昏暗场景还是明亮场景无关地获得不受，例如，手抖影响的足够明亮输出图像。
借助于如上所述，可选为拍摄方式的普通拍摄方式或手抖校正拍摄方式，在手抖校正拍摄方式中，只能生成拍摄对象的范围的中心部分的图像，作为不包括作为拍摄对象的范围投影在N个摄取图像上的范围的周围部分的图像的输出图像。在这种情况下，输出图像只是不包括作为拍摄对象的范围投影在N个摄取图像上的范围的周围部分的中心部分的图像或只是中间图像的中心部分的图像。因此，包括在输出图像中的像素的个数少于包括在作为摄取图像之一的中间图像中的像素的个数。于是，包括在输出图像中的像素的个数少于应用在如图1所示的数字摄像机1中的图像拾取器件4上的像素的个数。
因此，包括在以手抖校正拍摄方式生成的输出图像中的像素的个数少于包括在以普通拍摄方式生成的输出图像中的像素的个数。以手抖校正拍摄方式生成的输出图像和以普通拍摄方式生成的输出图像之间的像素计数的差异(或像素个数的差异)使用户感到不相容。也就是说，数字摄像机1生成的输出图像之间的像素计数的差异给用户带来某种不便。
另外，应用在数字摄像机中的图像拾取器件中的像素的个数有时用作代表摄像机性能的指示符。因此，在一些情况下，用户可能通过考虑图像拾取器件中的像素的个数作出购买摄像机的决定。此外，从像素计数的角度来看，作为像素计数比图像拾取器件上的像素的个数少的图像以手抖校正拍摄方式生成的输出图像不是人们所需要的。如上所述，图像拾取器件上的像素的个数也是每个摄取图像上的像素的个数。
为了解决上述问题，数字摄像机1在手抖校正拍摄方式中生成像像素间隔比每个摄取图像上的像素之间的间隔小的图像那样的输出图像。
也就是说，在上述的实施例中，像像素间隔等于N个摄取图像每一个上的像素之间的间隔的图像那样生成输出图像。让我们假设N个摄取图像每一个上的像素之间的间隔是1。如果生成作为拍摄对象的整个范围投影在参考图像上的范围中的图像作为输出图像，输出图像上的像素的个数将等于参考图像上的像素的个数。另一方面，如果只生成投影在用作参考图像的中间图像上的拍摄对象的范围的中心部分的图像作为输出图像，输出图像上的像素的个数将等于作为拍摄对象的范围投影在参考图像上的范围的中心部分上的像素的个数。其结果是，输出图像上的像素的个数将少于参考图像上的像素的个数。上述中心部分是投影在N个摄取图像上的拍摄对象的中心部分。
如果像像素间隔小于N个摄取图像每一个上的像素之间的间隔的图像那样生成输出图像，即，如果像像素间隔小于1的图像那样生成输出图像，可以使输出图像上的像素的个数等于参考图像上的像素的个数。
将如上所述的内容总结如下。在手抖校正拍摄方式中，中间图像被用作参考图像，和生成作为拍摄对象的整个范围投影在参考图像上的范围中的图像作为输出图像。在这种情况下，尽管输出图像的中心部分具有良好清晰度的画面质量，但周围部分与中心部分相比具有较差清晰度的画面质量。
也就是说，让我们假设，例如，如前所述，应用在如图1所示的数字摄像机1中的图像拾取器件4上的像素(有效像素)的个数是W×H。在这种情况下，在作为参考图像的坐标系的参考坐标系中，作为输出图像的画面质量呈现在点(或像素)(x，y)(其中，x≈0，x≈W-1，y≈0，和y≈H-1)上的画面质量与中心部分的画面质量相比较差。换句话说，周围部分画面质量与除了周围部分之外的中心部分的画面质量相比较差。
为了解决这样问题，将作为拍摄对象的范围投影在参考图像上的范围的中心部分的图像用作输出图像，以获得在其整个范围内都具有良好清晰度的画面质量的输出图像。也就是说，将作为拍摄对象的范围投影在N个摄取图像上的范围的中心部分的图像用作输出图像，以便在输出图像的整个范围内都提供良好清晰度的画面质量。中心部分的例子是如图27所示的区域421。
但是，如果作为拍摄对象的范围投影在参考图像上的范围的中心部分的图像用作输出图像，作为拍摄对象的范围投影在参考图像上的范围(或可视区域)变窄了。因此，如果像像素间隔等于参考图像或每个摄取图像上的像素之间的间隔的图像那样生成输出图像，输出图像上的像素的个数变成少于参考图像上的像素的个数或每个摄取图像上的像素的个数。也就是说，输出图像上的像素的个数变成少于图像拾取器件4上的像素的个数。
因此，如果像像素间隔小于每个摄取图像上的像素之间的间隔的图像那样生成输出图像，可以获得在其整个范围内具有良好清晰度的画面质量和具有等于每个摄取图像上的像素的个数的像素计数的输出图像。
接着，参照如图28所示的流程图，如下的描述将说明数字摄像机1在后面参照图44描述的流程图的步骤S507中执行，以便在手抖校正拍摄方式中获得在其整个范围内具有良好清晰度的画面质量和具有等于每个摄取图像上的像素的个数的像素计数的输出图像的拍摄处理。
在如图28所示的流程图的步骤S301到S305中，数字摄像机1基本上进行分别与如图2所示的流程图的步骤S1到S5相同的处理。
但是，在步骤S303中，取代将第1摄取图像用作参考图像，数字摄像机1将从第1到第N摄取图像当中选择的中间图像用作参考图像，和将其它摄取图像的每一个用作目标图像。然后，数字摄像机1检测作为相对于参考图像的移动每个目标图像经历的移动的数量。
随后，在下一个步骤S304中，数字摄像机1进行图像生成处理，生成投影在参考图像上的拍摄对象的范围的中心部分的图像，作为输出图像，而不是生成拍摄对象的整个范围的图像。如前所述，中心部分不包括作为拍摄对象的整个范围投影在N个摄取图像上的范围的周围部分。作为输出图像生成的图像具有小于每个摄取图像上的像素的间隔的像素间隔。
如图28所示的流程图从步骤S301开始，在步骤S1中，图像拾取器件4摄取拍摄对象的图像。更详细地说，在用户一次性按下释放按钮(或快门按钮)进行的操作触发的拍摄操作中，图像拾取器件4通过按照同步发生器8提供的曝光定时信号，以预定间隔连续N次地接收拍摄对象的入射光，和在光电转换处理中将光转换成电信号，进行N次图像拾取处理。
因此，通过进行一次性按下释放按钮的操作，获得每一个作为曝光等于或少于(不满足适当曝光的条件)适当曝光的暗图像的N个摄取图像，这里假设，例如，在每次进行的拍摄操作中，高速进行8次图像拾取处理。在这种情况下，在一次高速图像拾取处理中产生的8个摄取图像的每一个都是亮度为以适当曝光摄取的图像的亮度的1/8的暗图像。在这种情况下，N＝8和Mk＝8。
将每一个作为图像拾取器件4进行的光电转换处理所得的电信号产生的图像信号提供给从信号中除去噪声成分的相关二次取样电路5。然后，相关二次取样电路5将从信号中除去了噪声成分的图像信号提供给A/D转换器6。随后，拍摄处理的流程从步骤S301转到下一个步骤S302。
在步骤S302中，A/D转换器6将作为每一个代表摄取图像之一的图像信号从相关二次取样电路5接收的图像信号的每一个转换成数字信号。然后，应用在A/D转换器6中的移位电路21将曝光等于或少于适当曝光的暗摄取图像移动n′个位，以便在放大处理中将摄取图像转换成具有等于适当曝光所得的亮度的亮度(或值)的图像信号，和将作为放大处理的结果获得的图像信号提供给信号处理电路7。然后，拍摄处理的流程转到下一个步骤S303。
如果像上述那样，在每次进行的拍摄操作中高速进行8次图像拾取处理，移位电路21通常将曝光等于或少于适当曝光的暗摄取图像移动3个位，以便在8(＝23)倍放大处理中将摄取图像转换成具有等于适当曝光所得的亮度的亮度(或值)的图像信号。
在步骤S303中，应用在如图4所示的信号处理电路7中的运动矢量检测电路231到23N-1将，例如，从应用在A/D转换器6中的移位电路21接收的N个摄取图像的中间图像取作参考图像，和将其余摄取图像的每一个取作目标图像。然后，信号处理电路7确定每个目标图像相对于参考图像移动了多少。也就是说，信号处理电路7检测参考图像和每个目标图像之间的移动量。然后，拍摄处理的流程转到下一个步骤S304。
也就是说，在像上述那样，在一次拍摄操作中高速进行，以便获得8个摄取图像的8次图像拾取处理中，将第4摄取图像用作参考图像，和将除了第4摄取图像之外的其余摄取图像的每一个取作目标图像。换句话说，第1到第3摄取图像和第5到第8摄取图像的每一个用作目标图像。然后，信号处理电路7确定目标图像(即，第1到第3摄取图像和第5到第8摄取图像)的每一个相对于用作参考图像的第4摄取图像移动了多少。也就是说，信号处理电路7检测参考图像和每个目标图像之间的移动量。
在步骤S304中，根据N个摄取图像，以及作为参考图像的位置和每个目标图像的位置之间的移动量在步骤S303中检测的移动量，应用在如图4所示的信号处理电路7中的处理电路24在转到下一个步骤S305之前进行生成图像的处理。通过进行步骤S304的图像生成处理，信号处理电路7能够生成手抖得到校正、在整个范围内温度均匀、像素计数等于每个摄取图像上的像素的个数和对于每个像素具有所有G、R和B信号的输出图像。随后，信号处理电路7将代表通过生成图像的处理产生的输出图像的图像信号提供给D/A转换器9或编解码器12。
然后，拍摄处理的流程从步骤S304转到下一个步骤S305，在步骤S305中，监视器11显示也存储在通常作为闪速存储器实现的存储器13中的输出图像。最后，结束拍摄处理。更详细地说，在步骤S305中，D/A转换器9进行D/A转换处理，将在步骤S304中从信号处理电路7接收的图像信号作为代表输出画面的图像信号转换成模拟信号，和将模拟信号提供给视频编码器10。然后，在同一步骤S305中，视频编码器10将从D/A转换器9接收的模拟信号作为经过转换图像信号的D/A转换处理所得的模拟信号转换成可以显示在监视器11上的视频信号，和将视频信号提供给监视器11。随后，也在同一步骤S305中，监视器11根据从视频编码器10接收的视频信号显示输出图像。最后，结束拍摄处理。同时，也在同一步骤S305中，编解码器12按照诸如JPEG方法或MPEG方法的预定编码方法，编码作为输出画面的图像信号从信号处理电路7接收的图像信号，和将作为编码处理的结果获得的信号提供给通常是闪速存储器的存储器13。最后，结束拍摄处理。
如果像上述那样，在一次拍摄操作中高速进行8次图像拾取处理，以便获得8个摄取图像，在步骤S303中，为第1到第8摄取图像的每一个求出变换参数，作为用在仿射变换处理中的参数，以便用在本例中是第4摄取图像、用作参考图像的中间图像的坐标系中的坐标表达与这些参数相联系的摄取图像的位置。
让记号(Xk，Yk)表示位于第k摄取图像的坐标系中的点的坐标，其中，k＝1，2，...，或8。也就是说，记号(Xk，Yk)表示位于第1到第8摄取图像的任何一个的坐标系中的点的坐标。让记号(X4k，Y4k)表示作为与投影在点(Xk，Yk)上的部分相同的拍摄对象部分的投影点位于参考图像的坐标系中的变换后点的坐标。也就是说，记号(X4k，Y4k)表示作为与投影在点(Xk，Yk)上的部分相同的拍摄对象部分的投影点位于第4摄取图像的坐标系中的变换后点的坐标。在如下的描述中，参考图像的坐标系也被称为参考坐标系。让记号(a4k，b4k，c4k，d4k，s4k，t4k)表示用在将坐标(Xk，Yk)变换成坐标(X4k，Y4k)的仿射变换处理中的变换参数。
在步骤S303中，为第1到第8摄取图像的每一个，即，对于k＝1，2，...，8，求出变换参数(a4k，b4k，c4k，d4k，s4k，t4k)。
仿射变换处理是将第1到第8摄取图像的任何一个上的位置的坐标(Xk，Yk)变换成作为第4摄取图像的坐标系的参考坐标系中的坐标(X4k，Y4k)的处理。仿射变换处理用第1到第8摄取图像的任何一个上的点的坐标(Xk，Yk)和参考坐标系中的变换后点的坐标(X4k，Y4k)之间的关系表示。对于k＝1，2，...，8，第k摄取图像上的点的坐标(Xk，Yk)和参考坐标系中的变换后点的坐标(X4k，Y4k)之间的关系分别用如下的方程(20)到(27)表达[方程(20)]X41Y41=a41b41c41d41X1Y1+s41t41---(20)]]>[方程(21)]
X42Y42=a42b42c42d42X2Y2+s42t42---(21)]]>[方程(22)]X43Y43=a43b43c43d43X3Y3+s43t43---(22)]]>[方程(23)]X44Y44=a44b44c44d44X4Y4+s44t44---(23)]]>[方程(24)]X45Y45=a45b45c45d45X5Y5+s45t45---(24)]]>[方程(25)]X46Y46=a46b46c46d46X6Y6+s46t46---(25)]]>[方程(26)]X47Y47=a47b47c47d47X7Y7+s47t47---(26)]]>[方程(27)]
X48Y48=a48b48c48d48X8Y8+s48t48---(27)]]>应该注意到，方程(23)表达了将第4摄取图像的点的坐标(X4，Y4)变换成同一第4摄取图像的参考坐标系中的变换后点的坐标(X44，Y44)的仿射变换处理。在这种情况下，变换参数(a44，b44，c44，d44，s44，t44)的值是(1，0，0，1，0，0)。
接着，将在如图28所示的流程图的步骤S304中进行的图像生成处理更详细地说明如下。
应该注意到，在如下的描述中，记号W′表示作为图像拾取器件4输出的摄取图像的列排列在水平方向的像素列的列数，和记号H′表示作为摄取图像的行排列在垂直方向的像素行的行数。另一方面，记号W表示作为图像拾取器件4的列排列在水平方向的像素列的列数，和记号H表示作为图像拾取器件4的行排列在垂直方向的像素行的行数。W′的值等于W的值，和H′的值等于H的值。
但是，如前所述，图像拾取器件4具有输出数个像素的像素值作为单个像素值的合并功能。例如，图像拾取器件4具有输出2×2个像素的像素值作为单个像素值的2×2合并功能。在这种情况下，关系H′＝H/2和W′＝W/2成立。后面将描述应用合并功能的图像拾取器件4进行的图像生成处理。
图像拾取器件4的水平排列列计数W和垂直排列行计数H每一个通常是在范围几百到几千内的值。例如，H＝2,000和W＝3,000。
此外，在如下的描述中，与到目前为止所述的坐标系非常相似，摄取图像的坐标系是设置成原点位于摄取图像左上角的像素的中心(或重心)、水平(或向右)方向取作X方向和垂直(或向下)方向取作Y方向的坐标系的XY坐标系。另外，在作为参考图像的坐标系的参考坐标系中，假设沿着参考图像的水平和垂直方向任何两个彼此相邻像素之间的距离为1。
在这种情况下，位于从参考图像的左端算起第i列和从参考图像的上端算起第j行的交点上的像素的中心位置的坐标(x，y)被称为坐标(i-1，j-1)。因此，例如，位于从参考图像的左端算起第1列和从参考图像的上端算起第1行的交点上的像素的中心位置的坐标(x，y)被称为坐标(0，0)。位于从参考图像的左端算起第2列和从参考图像的上端算起第1行的交点上的像素的中心位置的坐标(x，y)被称为坐标(1，0)。位于从参考图像的左端算起第1列和从参考图像的上端算起第2行的交点上的像素的中心位置的坐标(x，y)被称为坐标(0，1)。位于参考图像左下角的像素的中心位置的坐标(x，y)被称为坐标(W-1，H-1)或(W＇-1，H＇-1)。
应该注意到，在每个摄取图像和输出图像上，位于从图像的左端算起第i列和从图像的上端算起第j行的交点上的像素在如下的描述中被称为像素(i，j)，它是具有坐标(i-1，j-1)的位置上的像素。
在如图12所示的流程图或如图20和21所示的流程图所代表的图像形成处理中，计算(或推测)输出图像上像素(i，j)的像素值，作为x＝i-1和y＝j-1的参考坐标系中位置(或点)(x，y)上的像素值。也就是说，在计算输出图像的像素值的处理中，与每个摄取图像的像素间距的情况一样，假设输出图像的像素间距具有1的值。像素间距被定义成任何两个彼此相邻像素的距离。
因此，正如前面参照图25到27所述的那样，借助于用作参考图像的中间图像，可用在推测输出图像的中心部分的像素值的处理中的数据量(或摄取图像的个数)足够了。其结果是，可以获得具有良好温度的画面质量和少量噪声成分的输出图像。但是，可用在推测输出图像的周围部分的像素值的处理中的数据量很少。周围部分是满足关系式x≈0，x≈W-1，y≈0，和y≈H-1的坐标(x，y)所代表的部分。因此，与中心部分相比，在满足关系式i≈1，i≈W，j≈1，和j≈H的输出图像(或在像素(i，j)上)的周围部分中，出现了每一个不可避免地含有大量噪声成分的图像部分。
为了解决上述问题，在在如图28所示的流程图的步骤S304中进行的图像生成处理中，将中间图像用作参考图像生成作为特殊图像的输出图像。特殊图像在作为拍摄对象的范围投影在参考图像上的范围的中心部分上具有小的视角。作为拍摄对象的范围投影在参考图像上的范围就是作为拍摄对象的范围投影在N个摄取图像上的范围。特殊图像具有小于包括参考图像在内的每个摄取图像的像素间隔的像素间隔。
也就是说，在在如图28所示的流程图的步骤S304中进行的图像生成处理中，计算输出图像的像素(i，j)的像素值，作为位置(x，y)上的像素值，其中
(x，y)＝(α×(i-1)+β，α×(j-1)+γ)图29是涉及参照用作参考图像的第4摄取图像4014描述α、β和γ的说明图。
输出图像上的标记像素(i，j)中的符号i是范围1到W内的整数，和输出图像上的标记像素(i，j)中的符号j是范围1到H内的整数。因此，位置(α×(i-1)+β，α×(j-1)+γ)处在左上角点为(β，γ)、右上角点为(α×(W-1)+β，γ)、右下角点为(α×(W-1)+β，α×(H-1)+γ)、和左下角点为(β，α×(H-1)+γ)的高画面质量方形区422中。高画面质量方形区422具有分别为α×W和α×H的水平尺度和垂直尺度。
应该注意到，高画面质量方形区422是以相似比α与用作W×H参考图像的第4摄取图像4014相似的长方形。确切地说，高画面质量方形区422是以相似比α与其顶点与第4摄取图像4014的角上的像素的中心一致的长方形相似的长方形。
让我们假设α是大于0但小于1的实数，和输出图像上的像素(i，j)的像素值就是位置(x，y)上的像素值，其中(x，y)＝(α×(i-1)+β，α×(j-1)+γ)在这种情况下，参考图像的像素间距是1，而输出图像的像素间距是α。但是，输出图像上的像素的个数是W×H，它等于参考图像上的像素的个数。
另外，通过计算输出图像上的像素(i，j)的像素值，作为位置(x，y)上的像素值，其中x＝α×(i-1)+β和y＝α×(j-1)+γ，高画面质量方形区422的图像变成输出图像。如前所述，如图29所示的高画面质量方形区422的图像是作为具有窄视域角的图像，出现在投影在参考图像上的拍摄对象的的范围的中心部分上的图像。更具体地说，作为拍摄对象的范围投影在参考图像上的范围就是作为拍摄对象的范围投影在N个摄取图像4011到4018上的范围。确切地说，在上侧、下侧、左侧和右侧比高画面质量方形区422宽0.5α的区域的图像变成输出图像。
因此，这样设置α、β和γ的值，使高画面质量方形区422包括在作为利用从第1摄取图像4011到第8摄取图像4018的所有8个摄取图像的数据推测其输出图像像素值的区域的如图27所示的区域421中，和在理想情况上使高画面质量方形区422的尺寸最大。通过以这种方式设置α、β和γ的值，可以生成在其整个区域都具有良好清晰度的画面质量和具有图像拾取器件4的像素计数W×H的输出图像。在这种情况下，图像拾取器件4的像素计数W×H也是每个摄取图像的像素计数W′×H′。
接着，将实际α、β和γ的值描述如下。
让我们假设，例如，作为引起在一次拍摄操作中产生的从第1摄取图像4011到第8摄取图像4018的8个摄取图像当中任何特定摄取图像和紧接其后的摄取图像(即，正好在特定摄取图像之后获得的摄取图像)之间的移动的手抖，发生在垂直和水平方向的手抖的移动量的最大值是图像拾取器件4的像素计数的2％。应该注意到，每一个作为手抖的移动量的最大值，用图像拾取器件4的像素计数的百分比(％)表示的最大值通常可以通过基于任何特定摄取图像和紧接其后的摄取图像之间的间隙的模拟求出和事先设置在数字摄像机1。作为一种可替代手段，手抖的移动量的最大值也可以从，例如，应用在如图4所示的信号处理电路7中的运动矢量检测电路231到23N-1检测的运动矢量中求出。作为另一种可替代手段，手抖的移动量的最大值也可以从，例如，用在仿射变换处理中的变换参数中求出。
如上所述，假设作为引起任何特定摄取图像和紧接其后的摄取图像之间的移动的手抖，发生在垂直和水平方向的手抖的移动量的最大值是图像拾取器件4的像素计数的2％。因此，在这种情况下，作为引起任何特定摄取图像401k和紧接其后的摄取图像401k+1之间的移动的手抖，发生在水平方向的手抖的移动量的最大值是0.02×W个像素，其中，W表示摄取图像401k的水平尺度。同样，作为引起任何特定摄取图像401k和紧接其后的摄取图像401k+1之间的移动的手抖，发生在垂直方向的手抖的移动量的最大值是0.02×H个像素，其中，H表示摄取图像401k中的行数。反过来说，移动量决不会超过最大值。
因此，如果第4摄取图像4014用作参考图像，相对于参考图像移动最长距离的摄取图像是第8摄取图像4018。作为引起第8摄取图像4018相对于参考图像移动的手抖，发生在水平方向的手抖的移动量的最大值最多是0.02×W×4个像素＝0.08×W个像素，其中，W表示参考图像的水平尺度。同样，作为引起第8摄取图像4018相对于参考图像移动的手抖，发生在垂直方向的手抖的移动量的最大值最多是0.02×H×4个像素＝0.08×H个像素，其中，H表示参考图像的垂直尺度。
因此，如果将作为参考图像的如图29所示的第4摄取图像4014的左侧和右侧向内移动等于0.08×W的距离，和将第4摄取图像4014的上侧和下侧向内移动等于0.08×H的距离获得的内区用作高画面质量方形区422，高画面质量方形区422总是包括在作为利用从第1摄取图像4011到第8摄取图像4018的所有8个摄取图像的数据推测其输出图像像素值的区域的如图27所示的区域421中。
在这种情况下，像上述那样获得的高画面质量方形区422是左上顶点位于点(0.08×W，0.08×H)、水平尺度比参考图像的水平尺度W短等于0.08×W×2的长度、和垂直尺度比参考图像的垂直尺度H短等于0.08×H×2的长度的长方形。也就是说，高画面质量方形区422是左上顶点位于点(0.08×W，0.08×H)、水平尺度为(1-0.16)×W和垂直尺度为(1-0.16)×H的长方形(或椭圆形)。
由于如上所述，高画面质量方形区422是左上顶点位于点(β，γ)、水平尺度为α×W和垂直尺度为α×H的长方形，所以α、β和γ满足如下方程α＝(1-0.16)，β＝0.08×W，和γ＝0.08×H。
在在如图28所示的流程图的步骤S304中进行的图像生成处理中，应用在如图4所示的信号处理电路7中的处理电路24按照如上所述代表手抖量的最大值与图像拾取器件4上的像素的个数之比的百分比计数，设置α、β和γ的值。然后，对于在范围1≤i≤W和1≤j≤H内的所有整数i和j，处理电路24计算(或推测)输出图像上的像素(i，j)的像素值，作为位置(x，y)上的像素值，其中，x＝α×(i-1)+β和y＝α×(j-1)+γ。
也就是说，按照手抖量的最大值设置α、β和γ的值，然后，生成投影在作为拍摄对象的范围投影在参考图像上的范围内的区域高画面质量方形区422上的图像，作为输出图像。投影在区域高画面质量方形区422上的图像是作为拍摄对象的范围投影在参考图像上的范围的区域中的图像。投影在参考图像上的范围是按缩小比α缩小拍摄对象的范围获得的范围。因此，投影在参考图像上的范围是尺度为αW×αH的范围。投影在区域高画面质量方形区422上的图像是具有等于α的每个摄取图像的像素间距的图像。
在上述的情况中，按照手抖量的最大值设置α、β和γ的值。但是，应该注意到，在实际使用中，在不会引起任何问题的情况下，也可以按照比手抖量的最大值略小的值设置α、β和γ的值。
接着，参照如图30到40所示的流程图，进一步说明在如图28所示的流程图的步骤S304中进行的图像生成处理。
作为方程(4)到(6)的权重((x，y)，(I′，J′))，以与前面参照如图20和21所示的流程图所述的图像生成处理相同的方式使用用三次函数表达的Cubic(I′-1)×Cubic(J′-1)。
另外，在图像生成处理中，在一次拍摄操作中获取第1摄取图像4011到第8摄取图像4018。还有，从第1到第8中选择的第4摄取图像4014用作参考图像。
如图30到40所示的流程图从步骤S311开始，在步骤S311中，处理电路24将计数输出图像上沿着垂直方向排列的像素行的行数的变量j设置在1的初始值上。然后，图像生成处理的流程转到下一个步骤S312。在步骤S312中，处理电路24将计数输出图像上沿着水平方向排列的像素列的列数的变量i设置在1的初始值上。然后，图像生成处理的流程转到下一个步骤S313。
在步骤S313中，处理电路24识别第1摄取图像4011上的所有G信号像素(或绿色的像素)作为特定像素。第1摄取图像4011上每个所选G信号像素的位置具有坐标(X1，Y1)，坐标(X1，Y1)可通过基于方程(20)的仿射变换处理变换成作为必须满足如下关系的坐标(X41，Y41)包括在参考坐标系中的变换后坐标(X41，Y41)α×(i-1)+β-2≤X41≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y41≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X41，Y41)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的4×4区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。该区域对应于如前面参照图14所述的中心在位置(I′，J′)上的范围(I′-2)≤x＜(I′+2)和(J′-2)≤y＜(J′+2)。然后，图像生成处理的流程转到下一个步骤S314。
让记号N1表示在步骤S313中从第1摄取图像4011中识别的上述特定像素的个数，让记号G1(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N1内的整数，让记号(X1(p)，Y1(p))表示作为特定像素的坐标包括在第1摄取图像4011的坐标系中的坐标，和让记号(X41(p)，Y41(p))表示作为按照方程(20)对特定像素的坐标(X1(p)，Y1(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X1(p)，Y1(p))和(X41(p)，Y41(p))分别对应于用在方程(20)中的坐标(X1，Y1)和(X41，Y41)。
因此，对于任何像素号p，记号G1(p)表示作为像素号为p的像素位于第1摄取图像4011的坐标系中的坐标(X1(p)，Y1(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X41(p)，Y41(p))满足表达与坐标(α×(i-1)+β，α×(j-1)+γ)的关系的关系式α×(i-1)+β-2≤X41(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y41(p)≤α×(j-1)+γ+2。
在步骤S314中，处理电路24识别第2摄取图像4012上的所有G信号像素(或绿色的像素)作为特定像素。第2摄取图像4012上每个所选G信号像素的位置具有坐标(X2，Y2)，坐标(X2，Y2)可通过基于方程(21)的仿射变换处理变换成作为必须满足如下关系的坐标(X42，Y42)包括在参考坐标系中的变换后坐标(X42，Y42)α×(i-1)+β-2≤X42≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y42≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X42，Y42)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图31所示的下一个步骤S315。
让记号N2表示在步骤S314中从第2摄取图像4012中识别的上述特定像素的个数，让记号G2(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N2内的整数，让记号(X2(p)，Y2(p))表示作为特定像素的坐标包括在第2摄取图像4012的坐标系中的坐标，和让记号(X42(p)，Y42(p))表示作为按照方程(21)对特定像素的坐标(X2(p)，Y2(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X2(p)，Y2(p))和(X42(p)，Y42(p))分别对应于用在方程(21)中的坐标(X2，Y2)和(X42，Y42)。
因此，对于任何像素号p，记号G2(p)表示作为像素号为p的像素位于第2摄取图像4012的坐标系中的坐标(X2(p)，Y2(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X42(p)，Y42(p))满足关系式α×(i-1)+β-2≤X42(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y42(p)≤α×(j-1)+γ+2。
在步骤S315中，处理电路24识别第3摄取图像4013上的所有G信号像素(或绿色的像素)作为特定像素。第3摄取图像4013上每个所选G信号像素的位置具有坐标(X3，Y3)，坐标(X3，Y3)可通过基于方程(22)的仿射变换处理变换成作为必须满足如下关系的坐标(X43，Y43)包括在参考坐标系中的变换后坐标(X43，Y43)α×(i-1)+β-2≤X43≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y43≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X43，Y43)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S316。
让记号N3表示在步骤S315中从第3摄取图像4013中识别的上述特定像素的个数，让记号G3(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N3内的整数，让记号(X3(p)，Y3(p))表示作为特定像素的坐标包括在第3摄取图像4013的坐标系中的坐标，和让记号(X43(p)，Y43(p))表示作为按照方程(22)对特定像素的坐标(X3(p)，Y3(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X3(p)，Y3(p))和(X43(p)，Y43(p))分别对应于用在方程(22)中的坐标(X3，Y3)和(X43，Y43)。
因此，对于任何像素号p，记号G3(p)表示作为像素号为p的像素位于第3摄取图像4013的坐标系中的坐标(X3(p)，Y3(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X43(p)，Y43(p))满足关系式α×(i-1)+β-2≤X43(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y43(p)≤α×(j-1)+γ+2。
在步骤S316中，处理电路24识别第4摄取图像4014上的所有G信号像素(或绿色的像素)作为特定像素。第4摄取图像4014上每个所选G信号像素的位置具有坐标(X4，Y4)，坐标(X4，Y4)可通过基于方程(23)的仿射变换处理变换成作为必须满足如下关系的坐标(X44，Y44)包括在参考坐标系中的变换后坐标(X44，Y44)α×(i-1)+β-2≤X44≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y44≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X44，Y44)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S317。
让记号N4表示在步骤S316中从第4摄取图像4014中识别的上述特定像素的个数，让记号G4(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N4内的整数，让记号(X4(p)，Y4(p))表示作为特定像素的坐标包括在第4摄取图像4014的坐标系中的坐标，和让记号(X44(p)，Y44(p))表示作为按照方程(23)对特定像素的坐标(X4(p)，Y4(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X4(p)，Y4(p))和(X44(p)，Y44(p))分别对应于用在方程(23)中的坐标(X4，Y4)和(X44，Y44)。
因此，对于任何像素号p，记号G4(p)表示作为像素号为p的像素位于第4摄取图像4014的坐标系中的坐标(X4(p)，Y4(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X44(p)，Y44(p))满足关系式α×(i-1)+β-2≤X44(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y44(p)≤α×(j-1)+γ+2，其用坐标(α×(i-1)+β，α×(j-1)+γ)表示关系。
在步骤S317中，处理电路24识别第5摄取图像4015上的所有G信号像素(或绿色的像素)作为特定像素。第5摄取图像4015上每个所选G信号像素的位置具有坐标(X5，Y5)，坐标(X5，Y5)可通过基于方程(24)的仿射变换处理变换成作为必须满足如下关系的坐标(X45，Y45)包括在参考坐标系中的变换后坐标(X45，Y45)α×(i-1)+β-2≤X45≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y45≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X45，Y45)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图32所示的下一个步骤S318。
让记号N5表示在步骤S317中从第5摄取图像4015中识别的上述特定像素的个数，让记号G5(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N5内的整数，让记号(X5(p)，Y5(p))表示作为特定像素的坐标包括在第5摄取图像4015的坐标系中的坐标，和让记号(X45(p)，Y45(p))表示作为按照方程(24)对特定像素的坐标(X5(p)，Y5(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X5(p)，Y5(p))和(X45(p)，Y45(p))分别对应于用在方程(24)中的坐标(X5，Y5)和(X45，Y45)。
因此，对于任何像素号p，记号G5(p)表示作为像素号为p的像素位于第5摄取图像4015的坐标系中的坐标(X5(p)，Y5(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X45(p)，Y45(p))满足关系式α×(i-1)+β-2≤X45(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y45(p)≤α×(j-1)+γ+2。
在步骤S318中，处理电路24识别第6摄取图像4016上的所有G信号像素(或绿色的像素)作为特定像素。第6摄取图像4016上每个所选G信号像素的位置具有坐标(X6，Y6)，坐标(X6，Y6)可通过基于方程(25)的仿射变换处理变换成作为必须满足如下关系的坐标(X46，Y46)包括在参考坐标系中的变换后坐标(X46，Y46)α×(i-1)+β-2≤X46≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y46≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X46，Y46)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S319。
让记号N6表示在步骤S318中从第6摄取图像4016中识别的上述特定像素的个数，让记号G6(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N6内的整数，让记号(X6(p)，Y6(p))表示作为特定像素的坐标包括在第6摄取图像4016的坐标系中的坐标，和让记号(X46(p)，Y46(p))表示作为按照方程(25)对特定像素的坐标(X6(p)，Y6(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X6(p)，Y6(p))和(X46(p)，Y46(p))分别对应于用在方程(25)中的坐标(X6，Y6)和(X46，Y46)。
因此，对于任何像素号p，记号G6(p)表示作为像素号为p的像素位于第6摄取图像4016的坐标系中的坐标(X6(p)，Y6(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X46(p)，Y46(p))满足关系式α×(i-1)+β-2≤X46(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y46(p)≤α×(j-1)+γ+2。
在步骤S319中，处理电路24识别第7摄取图像4017上的所有G信号像素(或绿色的像素)作为特定像素。第7摄取图像4017上每个所选G信号像素的位置具有坐标(X7，Y7)，坐标(X7，Y7)可通过基于方程(26)的仿射变换处理变换成作为必须满足如下关系的坐标(X47，Y47)包括在参考坐标系中的变换后坐标(X47，Y47)α×(i-1)+β-2≤X47≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y47≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X47，Y47)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S320。
让记号N7表示在步骤S319中从第7摄取图像4017中识别的上述特定像素的个数，让记号G7(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N7内的整数，让记号(X7(p)，Y7(p))表示作为特定像素的坐标包括在第7摄取图像4017的坐标系中的坐标，和让记号(X47(p)，Y47(p))表示作为按照方程(26)对特定像素的坐标(X7(p)，Y7(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X7(p)，Y7(p))和(X47(p)，Y47(p))分别对应于用在方程(26)中的坐标(X7，Y7)和(X47，Y47)。
因此，对于任何像素号p，记号G7(p)表示作为像素号为p的像素位于第7摄取图像4017的坐标系中的坐标(X7(p)，Y7(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X47(p)，Y47(p))满足关系式α×(i-1)+β-2≤X47(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y47(p)≤α×(j-1)+γ+2。
在步骤S320中，处理电路24识别第8摄取图像4018上的所有G信号像素(或绿色的像素)作为特定像素。第8摄取图像4018上每个所选G信号像素的位置具有坐标(X8，Y8)，坐标(X8，Y8)可通过基于方程(27)的仿射变换处理变换成作为必须满足如下关系的坐标(X48，Y48)包括在参考坐标系中的变换后坐标(X48，Y48)α×(i-1)+β-2≤X48≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y48≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X48，Y48)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图33所示的下一个步骤S321。
让记号N8表示在步骤S320中从第8摄取图像4018中识别的上述特定像素的个数，让记号G8(p)表示像素号为p的特定像素的G信号(或像素值)，其中，p是在范围1，2，...，N8内的整数，让记号(X8(p)，Y8(p))表示作为特定像素的坐标包括在第8摄取图像4018的坐标系中的坐标，和让记号(X48(p)，Y48(p))表示作为按照方程(27)对特定像素的坐标(X8(p)，Y8(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X8(p)，Y8(p))和(X48(p)，Y48(p))分别对应于用在方程(27)中的坐标(X8，Y8)和(X48，Y48)。
因此，对于任何像素号p，记号G8(p)表示作为像素号为p的像素位于第8摄取图像4018的坐标系中的坐标(X8(p)，Y8(p))上的特定像素的像素值(或G信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X48(p)，Y48(p))满足关系式α×(i-1)+β-2≤X48(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y48(p)≤α×(j-1)+γ+2。
在步骤S321中，处理电路24根据在步骤S313到S320中识别的所有特定像素，求出方程(8)的分子，方程(8)代表用于求出位于输出图像上的像素(i，j)的绿色光量的加权相加方程。在同一步骤中，处理电路24还求出方程(8)的分母。如上所述，方程(8)的分子用表达式(9)表达，和方程(9)的分母用表达式(10)表达。
更具体地说，通过计算表达式(28)的值，求出表达方程(8)的分母的表达式(10)的值，方程(8)表达用于求出绿色光量的加权相加方程，和通过计算表达式(29)的值，求出表达方程(8)的分子的表达式(9)的值。表达式(28)和(29)按如下给出。
Σp=1N1{Cubic(X0-X41(p))×Cubic(Y0-Y41(p))}+]]>Σp=1N2{Cubic(X0-X42(p))×Cubic(Y0-Y42(p))}+]]>Σp=1N3{Cubic(X0-X43(p))×Cubic(Y0-Y43(p))}+]]>Σp=1N4{Cubic(X0-X44(p))×Cubic(Y0-Y44(p))}+]]>Σp=1N5{Cubic(X0-X45(p))×Cubic(Y0-Y45(p))}+]]>Σp=1N6{Cubic(X0-X46(p))×Cubic(Y0-Y46(p))}+]]>Σp=1N7{Cubic(X0-X47(p))×Cubic(Y0-Y47(p))}+]]>Σp=1N8{Cubic(X0-X48(p))×Cubic(Y0-Y48(p))}]]>(28) Σp=1N1{Cubic(X0-X41(p))×Cubic(Y0-Y41(p))×G1(p)}+]]>Σp=1N2{Cubic(X0-X42(p))×Cubic(Y0-Y42(p))×G2(p)}+]]>Σp=1N3{Cubic(X0-X43(p))×Cubic(Y0-Y43(p))×G3(p)}+]]>Σp=1N4{Cubic(X0-X44(p))×Cubic(Y0-Y44(p))×G4(p)}+]]>Σp=1N5{Cubic(X0-X45(p))×Cubic(Y0-Y45(p))×G5(p)}+]]>Σp=1N6{Cubic(X0-X46(p))×Cubic(Y0-Y46(p))×G6(p)}+]]>Σp=1N7{Cubic(X0-X47(p))×Cubic(Y0-Y47(p))×G7(p)}+]]>Σp=1N8{Cubic(X0-X48(p))×Cubic(Y0-Y48(p))×G8(p)}]]>(29)应该注意到，表达式(28)和(29)中的记号(X0，Y0)表示要求出其像素值的上述像素(i，j)的坐标。坐标(X0，Y0)是输出图像上的像素(i，j)的坐标，其中，X0＝α×(i-1)+β和Y0＝α×(j-1)+γ。
表达式(29)是用于求出分别与k＝1到8相对应的8个和值的总和的加权相加表达式。记号k是指定给从第1摄取图像4011到第8摄取图像4018的8个摄取图像的每一个的整数，8个摄取图像的每一个都要经过从摄取图像上的特定像素的位置的坐标变换到参考图像上的位置的坐标的处理。8个和值的每一个是用于针对p＝1到Nk求出加权像素值之和的表达式。每个加权像素值是将像素值Gk(p)乘以权重Cubic(X0-X4k(p))×Cubic(Y0-Y4k(p))所得的乘积。像素值Gk(p)是为其坐标可变换成与正在推测像素值的像素(i，j)的位置的坐标(α×(i-1)+β，α×(j-1)+γ)非常接近的坐标(X4k(p)，Y4k(p))的位置上的上述特定像素观测的G信号。如上所述，像素(i，j)是输出图像上的像素。另一方面，表达式(28)是用于求出分别与k＝1到8相对应的8个其它和值的总和的表达式。在这种情况下，8个其它表达式的每一个是用于针对p＝1到Nk求出每一个由Cubic(X0-X4k(p))×Cubic(Y0-Y4k(p))表达的权重之和的表达式。将表达式(29)的值除以表达式(28)的值的处理等效于计算方程(8)右边的表达式的处理。处理结果是每一个被乘以权重的所有像素值Gk(p)的加权平均值，如上所述，该权重基于正在求出像素值的像素(i，j)的位置(X0，Y0)与其坐标被变换成作为对特定像素的坐标进行仿射变换处理的结果获得的坐标(X4k(p)，Y4k(p))的位置之间距离。像素(i，j)是输出图像上的像素。每个像素值Gk(p)是作为任何一个摄取图像上的像素在步骤S313到S320的任何一步中识别的特定像素的像素值。
在处理电路24为像素(i，j)计算出表达式(28)和(29)的值和将作为计算结果获得的值存储在未显示在任何一个图中的存储器中之后，图像生成处理的流程转到下一个步骤S322。
步骤S322到S330对R信号的处理分别相当于步骤S313到S321对G信号的处理。同样，步骤S331到S339对B信号的处理分别相当于步骤S313到S321对G信号的处理。
更具体地说，在步骤S322中，处理电路24识别第1摄取图像4011上的所有R信号像素(或红色的像素)作为特定像素。第1摄取图像4011上每个所选R信号像素的位置具有坐标(X1，Y1)，坐标(X1，Y1)可通过基于方程(20)的仿射变换处理变换成作为必须满足如下关系的坐标(X41，Y41)包括在参考坐标系中的变换后坐标(X41，Y41)α×(i-1)+β-2≤X41≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y41≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X41，Y41)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S323。
让记号N1表示在步骤S322中从第1摄取图像4011中识别的上述特定像素的个数，让记号R1(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N1内的整数，让记号(X1(p)，Y1(p))表示作为特定像素的坐标包括在第1摄取图像4011的坐标系中的坐标，和让记号(X41(p)，Y41(p))表示作为按照方程(20)对特定像素的坐标(X1(p)，Y1(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X1(p)，Y1(p))和(X41(p)，Y41(p))分别对应于用在方程(20)中的坐标(X1，Y1)和(X41，Y41)。
因此，对于任何像素号p，记号R1(p)表示作为像素号为p的像素位于第1摄取图像4011的坐标系中的坐标(X1(p)，Y1(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X41(p)，Y41(p))满足关系式α×(i-1)+β-2≤X41(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y41(p)≤α×(j-1)+γ+2。
在步骤S323中，处理电路24识别第2摄取图像4012上的所有R信号像素(或红色的像素)作为特定像素。第2摄取图像4012上每个所选R信号像素的位置具有坐标(X2，Y2)，坐标(X2，Y2)可通过基于方程(21)的仿射变换处理变换成作为必须满足如下关系的坐标(X42，Y42)包括在参考坐标系中的变换后坐标(X42，Y42)α×(i-1)+β-2≤X42≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y42≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X42，Y42)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图34所示的下一个步骤S324。
让记号N2表示在步骤S323中从第2摄取图像4012中识别的上述特定像素的个数，让记号R2(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N2内的整数，让记号(X2(p)，Y2(p))表示作为特定像素的坐标包括在第2摄取图像4012的坐标系中的坐标，和让记号(X42(p)，Y42(p))表示作为按照方程(21)对特定像素的坐标(X2(p)，Y2(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X2(p)，Y2(p))和(X42(p)，Y42(p))分别对应于用在方程(21)中的坐标(X2，Y2)和(X42，Y42)。
因此，对于任何像素号p，记号R2(p)表示作为像素号为p的像素位于第2摄取图像4012的坐标系中的坐标(X2(p)，Y2(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X42(p)，Y42(p))满足关系式α×(i-1)+β-2≤X42(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y42(p)≤α×(j-1)+γ+2。
在步骤S324中，处理电路24识别第3摄取图像4013上的所有R信号像素(或红色的像素)作为特定像素。第3摄取图像4013上每个所选R信号像素的位置具有坐标(X3，Y3)，坐标(X3，Y3)可通过基于方程(22)的仿射变换处理变换成作为必须满足如下关系的坐标(X43，Y43)包括在参考坐标系中的变换后坐标(X43，Y43)α×(i-1)+β-2≤X43≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y43≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X43，Y43)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S325。
让记号N3表示在步骤S324中从第3摄取图像4013中识别的上述特定像素的个数，让记号R3(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N3内的整数，让记号(X3(p)，Y3(p))表示作为特定像素的坐标包括在第3摄取图像4013的坐标系中的坐标，和让记号(X43(p)，Y43(p))表示作为按照方程(22)对特定像素的坐标(X3(p)，Y3(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X3(p)，Y3(p))和(X43(p)，Y43(p))分别对应于用在方程(22)中的坐标(X3，Y3)和(X43，Y43)。
因此，对于任何像素号p，记号R3(p)表示作为像素号为p的像素位于第3摄取图像4013的坐标系中的坐标(X3(p)，Y3(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X43(p)，Y43(p))满足关系式α×(i-1)+β-2≤X43(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y43(p)≤α×(j-1)+γ+2。
在步骤S325中，处理电路24识别第4摄取图像4014上的所有R信号像素(或红色的像素)作为特定像素。第4摄取图像4014上每个所选R信号像素的位置具有坐标(X4，Y4)，坐标(X4，Y4)可通过基于方程(23)的仿射变换处理变换成作为必须满足如下关系的坐标(X44，Y44)包括在参考坐标系中的变换后坐标(X44，Y44)α×(i-1)+β-2≤X44≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y44≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X44，Y44)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S326。
让记号N4表示在步骤S325中从第4摄取图像4014中识别的上述特定像素的个数，让记号R4(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N4内的整数，让记号(X4(p)，Y4(p))表示作为特定像素的坐标包括在第4摄取图像4014的坐标系中的坐标，和让记号(X44(p)，Y44(p))表示作为按照方程(23)对特定像素的坐标(X4(p)，Y4(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X4(p)，Y4(p))和(X44(p)，Y44(p))分别对应于用在方程(23)中的坐标(X4，Y4)和(X44，Y44)。
因此，对于任何像素号p，记号R4(p)表示作为像素号为p的像素位于第4摄取图像4014的坐标系中的坐标(X4(p)，Y4(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X44(p)，Y44(p))满足关系式α×(i-1)+β-2≤X44(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y44(p)≤α×(j-1)+γ+2，其用坐标(α×(i-1)+β，α×(j-1)+γ)表示关系。
在步骤S326中，处理电路24识别第5摄取图像4015上的所有R信号像素(或红色的像素)作为特定像素。第5摄取图像4015上每个所选R信号像素的位置具有坐标(X5，Y5)，坐标(X5，Y5)可通过基于方程(24)的仿射变换处理变换成作为必须满足如下关系的坐标(X45，Y45)包括在参考坐标系中的变换后坐标(X45，Y45)α×(i-1)+β-2≤X45≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y45≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X45，Y45)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图35所示的下一个步骤S327。
让记号N5表示在步骤S326中从第5摄取图像4015中识别的上述特定像素的个数，让记号R5(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N5内的整数，让记号(X5(p)，Y5(p))表示作为特定像素的坐标包括在第5摄取图像4015的坐标系中的坐标，和让记号(X45(p)，Y45(p))表示作为按照方程(24)对特定像素的坐标(X5(p)，Y5(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X5(p)，Y5(p))和(X45(p)，Y45(p))分别对应于用在方程(24)中的坐标(X5，Y5)和(X45，Y45)。
因此，对于任何像素号p，记号R5(p)表示作为像素号为p的像素位于第5摄取图像4015的坐标系中的坐标(X5(p)，Y5(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X45(p)，Y45(p))满足关系式α×(i-1)+β-2≤X45(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y45(p)≤α×(j-1)+γ+2。
在步骤S 327中，处理电路24识别第6摄取图像4016上的所有R信号像素(或红色的像素)作为特定像素。第6摄取图像4016上每个所选R信号像素的位置具有坐标(X6，Y6)，坐标(X6，Y6)可通过基于方程(25)的仿射变换处理变换成作为必须满足如下关系的坐标(X46，Y46)包括在参考坐标系中的变换后坐标(X46，Y46)α×(i-1)+β-2≤X46≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y46≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X46，Y46)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S328。
让记号N6表示在步骤S327中从第6摄取图像4016中识别的上述特定像素的个数，让记号R6(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N6内的整数，让记号(X6(p)，Y6(p))表示作为特定像素的坐标包括在第6摄取图像4016的坐标系中的坐标，和让记号(X46(p)，Y46(p))表示作为按照方程(25)对特定像素的坐标(X6(p)，Y6(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X6(p)，Y6(p))和(X46(p)，Y46(p))分别对应于用在方程(25)中的坐标(X6，Y6)和(X46，Y46)。
因此，对于任何像素号p，记号R6(p)表示作为像素号为p的像素位于第6摄取图像4016的坐标系中的坐标(X6(p)，Y6(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X46(p)，Y46(p))满足关系式α×(i-1)+β-2≤X46(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y46(p)≤α×(j-1)+γ+2。
在步骤S328中，处理电路24识别第7摄取图像4017上的所有R信号像素(或红色的像素)作为特定像素。第7摄取图像4017上每个所选R信号像素的位置具有坐标(X7，Y7)，坐标(X7，Y7)可通过基于方程(26)的仿射变换处理变换成作为必须满足如下关系的坐标(X47，Y47)包括在参考坐标系中的变换后坐标(X47，Y47)α×(i-1)+β-2≤X47≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y47≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X47，Y47)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S329。
让记号N7表示在步骤S328中从第7摄取图像4017中识别的上述特定像素的个数，让记号R7(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N7内的整数，让记号(X7(p)，Y7(p))表示作为特定像素的坐标包括在第7摄取图像4017的坐标系中的坐标，和让记号(X47(p)，Y47(p))表示作为按照方程(26)对特定像素的坐标(X7(p)，Y7(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X7(p)，Y7(p))和(X47(p)，Y47(p))分别对应于用在方程(26)中的坐标(X7，Y7)和(X47，Y47)。
因此，对于任何像素号p，记号R7(p)表示作为像素号为p的像素位于第7摄取图像4017的坐标系中的坐标(X7(p)，Y7(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X47(p)，Y47(p))满足关系式α×(i-1)+β-2≤X47(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y47(p)≤α×(j-1)+γ+2。
在步骤S329中，处理电路24识别第8摄取图像4018上的所有R信号像素(或红色的像素)作为特定像素。第8摄取图像4018上每个所选R信号像素的位置具有坐标(X8，Y8)，坐标(X8，Y8)可通过基于方程(27)的仿射变换处理变换成作为必须满足如下关系的坐标(X48，Y48)包括在参考坐标系中的变换后坐标(X48，Y48)α×(i-1)+β-2≤X48≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y48≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X48，Y48)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图36所示的下一个步骤S330。
让记号N8表示在步骤S329中从第8摄取图像4018中识别的上述特定像素的个数，让记号R8(p)表示像素号为p的特定像素的R信号(或像素值)，其中，p是在范围1，2，...，N8内的整数，让记号(X8(p)，Y8(p))表示作为特定像素的坐标包括在第8摄取图像4018的坐标系中的坐标，和让记号(X48(p)，Y48(p))表示作为按照方程(27)对特定像素的坐标(X8(p)，Y8(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X8(p)，Y8(p))和(X48(p)，Y48(p))分别对应于用在方程(27)中的坐标(X8，Y8)和(X48，Y48)。
因此，对于任何像素号p，记号R8(p)表示作为像素号为p的像素位于第8摄取图像4018的坐标系中的坐标(X8(p)，Y8(p))上的特定像素的像素值(或R信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X48(p)，Y48(p))满足关系式α×(i-1)+β-2≤X48(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y48(p)≤α×(j-1)+γ+2。
在步骤S330中，处理电路24根据在步骤S322到S329中识别的所有特定像素，求出方程(11)的分子，方程(11)代表用于求出位于输出图像上的像素(i，j)的红色光量的加权相加方程。在同一步骤中，处理电路24还求出方程(11)的分母。如上所述，方程(11)的分子用表达式(13)表达，和方程(11)的分母用表达式(14)表达。
更具体地说，通过计算表达式(30)的值，求出表达方程(11)的分母的表达式(14)的值，方程(11)表达用于求出红色光量的加权相加方程，和通过计算表达式(31)的值，求出表达方程(11)的分子的表达式(13)的值。表达式(30)和(31)按如下给出。
Σp=1N1{Cubic(X0-X41(p))×Cubic(Y0-Y41(p))}+]]>Σp=1N2{Cubic(X0-X42(p))×Cubic(Y0-Y42(p))}+]]>Σp=1N3{Cubic(X0-X43(p))×Cubic(Y0-Y43(p))}+]]>Σp=1N4{Cubic(X0-X44(p))×Cubic(Y0-Y44(p))}+]]>Σp=1N5{Cubic(X0-X45(p))×Cubic(Y0-Y45(p))}+]]>Σp=1N6{Cubic(X0-X46(p))×Cubic(Y0-Y46(p))}+]]>Σp=1N7{Cubic(X0-X47(p))×Cubic(Y0-Y47(p))}+]]>Σp=1N8{Cubic(X0-X48(p))×Cubic(Y0-Y48(p))}]]>(30)[表达式(31)]
Σp=1N1{Cubic(X0-X41(p))×Cubic(Y0-Y41(p))×R1(p)}+]]>Σp=1N2{Cubic(X0-X42(p))×Cubic(Y0-Y42(p))×R2(p)}+]]>Σp=1N3{Cubic(X0-X43(p))×Cubic(Y0-Y43(p))×R3(p)}+]]>Σp=1N4{Cubic(X0-X44(p))×Cubic(Y0-Y44(p))×R4(p)}+]]>Σp=1N5{Cubic(X0-X45(p))×Cubic(Y0-Y45(p))×R5(p)}+]]>Σp=1N6{Cubic(X0-X46(p))×Cubic(Y0-Y46(p))×R6(p)}+]]>Σp=1N7{Cubic(X0-X47(p))×Cubic(Y0-Y47(p))×R7(p)}+]]>Σp=1N8{Cubic(X0-X48(p))×Cubic(Y0-Y48(p))×R8(p)}]]>(31)应该注意到，表达式(30)和(31)中的记号(K0，Y0)表示要求出其像素值的上述像素(i，j)的坐标。坐标(X0，Y0)是输出图像上的像素(i，j)的坐标，其中，X0＝α×(i-1)+β和Y0＝α×(j-1)+γ。
表达式(31)是用于求出分别与k＝1到8相对应的8个和值的总和的加权相加表达式。记号k是指定给从第1摄取图像4011到第8摄取图像4018的8个摄取图像的每一个的整数，8个摄取图像的每一个都要经过从摄取图像上的特定像素的位置的坐标变换到参考图像上的位置的坐标的处理。8个和值的每一个是用于针对p＝1到Nk求出加权像素值之和的表达式。每个加权像素值是将像素值Rk(p)乘以权重Cubic(X0-X4k(p))×Cubic(Y0-Y4k(p))所得的乘积。像素值Rk(p)是为其坐标可变换成与正在推测像素值的像素(i，j)的位置的坐标(α×(i-1)+β，α×(j-1)+γ)非常接近的坐标(X4k(p)，Y4k(p))的位置上的上述特定像素观测的R信号。如上所述，像素(i，j)是输出图像上的像素。另一方面，表达式(30)是用于求出分别与k＝1到8相对应的8个其它和值的总和的表达式。在这种情况下，8个其它和值的每一个是用于针对p＝1到Nk求出每一个由Cubic(X0-X4k(p))×Cubic(Y0-Y4k(p))表达的权重之和的表达式。将表达式(31)的值除以表达式(30)的值的处理等效于计算方程(11)右边的表达式的处理。处理结果是每一个被乘以权重的所有像素值Rk(p)的加权平均值，如上所述，该权重基于正在求出像素值的像素(i，j)的位置(X0，Y0)与其坐标被变换成作为对特定像素的坐标进行仿射变换处理的结果获得的坐标(X4k(p)，Y4k(p))的位置之间距离。像素(i，j)是输出图像上的像素。每个像素值Rk(p)是作为任何一个摄取图像上的像素在步骤S322到S329的任何一步中识别的特定像素的像素值。
在处理电路24为像素(i，j)计算出表达式(30)和(31)的值和将作为计算结果获得的值存储在未显示在任何一个图中的存储器中之后，图像生成处理的流程转到下一个步骤S331。
在步骤S331中，处理电路24识别第1摄取图像4011上的所有B信号像素(或蓝色的像素)作为特定像素。第1摄取图像4011上每个所选B信号像素的位置具有坐标(X1，Y1)，坐标(X1，Y1)可通过基于方程(20)的仿射变换处理变换成作为必须满足如下关系的坐标(X41，Y41)包括在参考坐标系中的变换后坐标(X41，Y41)α×(i-1)+β-2≤X41≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y41≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X41，Y41)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S332。
让记号N1表示在步骤S331中从第1摄取图像4011中识别的上述特定像素的个数，让记号B1(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N1内的整数，让记号(X1(p)，Y1(p))表示作为特定像素的坐标包括在第1摄取图像4011的坐标系中的坐标，和让记号(X41(p)，Y41(p))表示作为按照方程(20)对特定像素的坐标(X1(p)，Y1(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X1(p)，Y1(p))和(X41(p)，Y41(p))分别对应于用在方程(20)中的坐标(X1，Y1)和(X41，Y41)。
因此，对于任何像素号p，记号B1(p)表示作为像素号为p的像素位于第1摄取图像4011的坐标系中的坐标(X1(p)，Y1(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X41(p)，Y41(p))满足关系式α×(i-1)+β-2≤X41(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y41(p)≤α×(j-1)+γ+2。
在步骤S332中，处理电路24识别第2摄取图像4012上的所有B信号像素(或蓝色的像素)作为特定像素。第2摄取图像4012上每个所选B信号像素的位置具有坐标(X2，Y2)，坐标(X2，Y2)可通过基于方程(21)的仿射变换处理变换成作为必须满足如下关系的坐标(X42，Y42)包括在参考坐标系中的变换后坐标(X42，Y42)α×(i-1)+β-2≤X42≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y42≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X42，Y42)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图37所示的下一个步骤S333。
让记号N2表示在步骤S332中从第2摄取图像4012中识别的上述特定像素的个数，让记号B2(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N2内的整数，让记号(X2(p)，Y2(p))表示作为特定像素的坐标包括在第2摄取图像4012的坐标系中的坐标，和让记号(X42(p)，Y42(p))表示作为按照方程(21)对特定像素的坐标(X2(p)，Y2(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X2(p)，Y2(p))和(X42(p)，Y42(p))分别对应于用在方程(21)中的坐标(X2，Y2)和(X42，Y42)。
因此，对于任何像素号p，记号B2(p)表示作为像素号为p的像素位于第2摄取图像4012的坐标系中的坐标(X2(p)，Y2(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X42(p)，Y42(p))满足关系式α×(i-1)+β-2≤X42(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y42(p)≤α×(j-1)+γ+2。
在步骤S333中，处理电路24识别第3摄取图像4013上的所有B信号像素(或蓝色的像素)作为特定像素。第3摄取图像4013上每个所选B信号像素的位置具有坐标(X3，Y3)，坐标(X3，Y3)可通过基于方程(22)的仿射变换处理变换成作为必须满足如下关系的坐标(X43，Y43)包括在参考坐标系中的变换后坐标(X43，Y43)α×(i-1)+β-2≤X43≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y43≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X43，Y43)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S334。
让记号N3表示在步骤S333中从第3摄取图像4013中识别的上述特定像素的个数，让记号B3(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N3内的整数，让记号(X3(p)，Y3(p))表示作为特定像素的坐标包括在第3摄取图像4013的坐标系中的坐标，和让记号(X43(p)，Y43(p))表示作为按照方程(22)对特定像素的坐标(X3(p)，Y3(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X3(p)，Y3(p))和(X43(p)，Y43(p))分别对应于用在方程(22)中的坐标(X3，Y3)和(X43，Y43)。
因此，对于任何像素号p，记号B3(p)表示作为像素号为p的像素位于第3摄取图像4013的坐标系中的坐标(X3(p)，Y3(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X43(p)，Y43(p))满足关系式α×(i-1)+β-2≤X43(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y43(p)≤α×(j-1)+γ+2。
在步骤S334中，处理电路24识别第4摄取图像4014上的所有B信号像素(或蓝色的像素)作为特定像素。第4摄取图像4014上每个所选B信号像素的位置具有坐标(X4，Y4)，坐标(X4，Y4)可通过基于方程(23)的仿射变换处理变换成作为必须满足如下关系的坐标(X44，Y44)包括在参考坐标系中的变换后坐标(X44，Y44)α×(i-1)+β-2≤X44≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y44≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X44，Y44)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S335。
让记号N4表示在步骤S334中从第4摄取图像4014中识别的上述特定像素的个数，让记号B4(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N4内的整数，让记号(X4(p)，Y4(p))表示作为特定像素的坐标包括在第4摄取图像4014的坐标系中的坐标，和让记号(X44(p)，Y44(p))表示作为按照方程(23)对特定像素的坐标(X4(p)，Y4(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X4(p)，Y4(p))和(X44(p)，Y44(p))分别对应于用在方程(23)中的坐标(X4，Y4)和(X44，Y44)。
因此，对于任何像素号p，记号B4(p)表示作为像素号为p的像素位于第4摄取图像4014的坐标系中的坐标(X4(p)，Y4(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X44(p)，Y44(p))满足关系式α×(i-1)+β-2≤X44(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y44(p)≤α×(j-1)+γ+2。
在步骤S335中，处理电路24识别第5摄取图像4015上的所有B信号像素(或蓝色的像素)作为特定像素。第5摄取图像4015上每个所选B信号像素的位置具有坐标(X5，Y5)，坐标(X5，Y5)可通过基于方程(24)的仿射变换处理变换成作为必须满足如下关系的坐标(X45，Y45)包括在参考坐标系中的变换后坐标(X45，Y45)α×(i-1)+β-2≤X45≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y45≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X45，Y45)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图38所示的下一个步骤S336。
让记号N5表示在步骤S335中从第5摄取图像4015中识别的上述特定像素的个数，让记号B5(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N5内的整数，让记号(X5(p)，Y5(p))表示作为特定像素的坐标包括在第5摄取图像4015的坐标系中的坐标，和让记号(X45(p)，Y45(p))表示作为按照方程(24)对特定像素的坐标(X5(p)，Y5(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X5(p)，Y5(p))和(X45(p)，Y45(p))分别对应于用在方程(24)中的坐标(X5，Y5)和(X45，Y45)。
因此，对于任何像素号p，记号B5(p)表示作为像素号为p的像素位于第5摄取图像4015的坐标系中的坐标(X5(p)，Y5(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X45(p)，Y45(p))满足关系式α×(i-1)+β-2≤X45(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y45(p)≤α×(j-1)+γ+2。
在步骤S336中，处理电路24识别第6摄取图像4016上的所有B信号像素(或蓝色的像素)作为特定像素。第6摄取图像4016上每个所选B信号像素的位置具有坐标(X6，Y6)，坐标(X6，Y6)可通过基于方程(25)的仿射变换处理变换成作为必须满足如下关系的坐标(X46，Y46)包括在参考坐标系中的变换后坐标(X46，Y46)α×(i-1)+β-2≤X46≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y46≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X46，Y46)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S337。
让记号N6表示在步骤S336中从第6摄取图像4016中识别的上述特定像素的个数，让记号B6(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N6内的整数，让记号(X6(p)，Y6(p))表示作为特定像素的坐标包括在第6摄取图像4016的坐标系中的坐标，和让记号(X46(p)，Y46(p))表示作为按照方程(25)对特定像素的坐标(X6(p)，Y6(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X6(p)，Y6(p))和(X46(p)，Y46(p))分别对应于用在方程(25)中的坐标(X6，Y6)和(X46，Y46)。
因此，对于任何像素号p，记号B6(p)表示作为像素号为p的像素位于第6摄取图像4016的坐标系中的坐标(X6(p)，Y6(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X46(p)，Y46(p))满足关系式α×(i-1)+β-2≤X46(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y46(p)≤α×(j-1)+γ+2。
在步骤S337中，处理电路24识别第7摄取图像4017上的所有B信号像素(或蓝色的像素)作为特定像素。第7摄取图像4017上每个所选B信号像素的位置具有坐标(X7，Y7)，坐标(X7，Y7)可通过基于方程(26)的仿射变换处理变换成作为必须满足如下关系的坐标(X47，Y47)包括在参考坐标系中的变换后坐标(X47，Y47)α×(i-1)+β-2≤X47≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y47≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X47，Y47)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到下一个步骤S338。
让记号N7表示在步骤S337中从第7摄取图像4017中识别的上述特定像素的个数，让记号B7(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N7内的整数，让记号(X7(p)，Y7(p))表示作为特定像素的坐标包括在第7摄取图像4017的坐标系中的坐标，和让记号(X47(p)，Y47(p))表示作为按照方程(26)对特定像素的坐标(X7(p)，Y7(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X7(p)，Y7(p))和(X47(p)，Y47(p))分别对应于用在方程(26)中的坐标(X7，Y7)和(X47，Y47)。
因此，对于任何像素号p，记号B7(p)表示作为像素号为p的像素位于第7摄取图像4017的坐标系中的坐标(X7(p)，Y7(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X47(p)，Y47(p))满足关系式α×(i-1)+β-2≤X47(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y47(p)≤α×(j-1)+γ+2。
在步骤S338中，处理电路24识别第8摄取图像4018上的所有B信号像素(或蓝色的像素)作为特定像素。第8摄取图像4018上每个所选B信号像素的位置具有坐标(X8，Y8)，坐标(X8，Y8)可通过基于方程(27)的仿射变换处理变换成作为必须满足如下关系的坐标(X48，Y48)包括在参考坐标系中的变换后坐标(X48，Y48)α×(i-1)+β-2≤X48≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y48≤α×(j-1)+γ+2，其中，(α×(i-1)+β，α×(j-1)+γ)是输出图像上的像素的位置的坐标。也就是说，变换后位置(X48，Y48)必须在输出图像上中心在坐标为(α×(i-1)+β，α×(j-1)+γ)的位置上的2×2区域(即，垂直和水平尺度为2×2的区域)内。区域中心上的像素是要推测其像素值的像素。然后，图像生成处理的流程转到如图39所示的下一个步骤S339。
让记号N8表示在步骤S338中从第8摄取图像4018中识别的上述特定像素的个数，让记号B8(p)表示像素号为p的特定像素的B信号(或像素值)，其中，p是在范围1，2，...，N8内的整数，让记号(X8(p)，Y8(p))表示作为特定像素的坐标包括在第8摄取图像4018的坐标系中的坐标，和让记号(X48(p)，Y48(p))表示作为按照方程(27)对特定像素的坐标(X8(p)，Y8(p))进行仿射变换处理的结果获得的变换后位置坐标。也就是说，坐标(X8(p)，Y8(p))和(X48(p)，Y48(p))分别对应于用在方程(27)中的坐标(X8，Y8)和(X48，Y48)。
因此，对于任何像素号p，记号B8(p)表示作为像素号为p的像素位于第8摄取图像4018的坐标系中的坐标(X8(p)，Y8(p))上的特定像素的像素值(或B信号)。另外，作为参考坐标系中的变换后位置的坐标在仿射变换处理中产生的坐标(X48(p)，Y48(p))满足关系式α×(i-1)+β-2≤X48(p)≤α×(i-1)+β+2和α×(j-1)+γ-2≤Y48(p)≤α×(j-1)+γ+2。
在步骤S339中，处理电路24根据在步骤S331到S338中识别的所有特定像素，求出方程(12)的分子，方程(12)代表用于求出位于输出图像上的像素(i，j)的蓝色光量的加权相加方程。在同一步骤中，处理电路24还求出方程(12)的分母。如上所述，方程(12)的分子用表达式(15)表达，和方程(12)的分母用表达式(16)表达。
更具体地说，通过计算表达式(32)的值，求出表达方程(12)的分母的表达式(16)的值，方程(12)表达用于求出蓝色光量的加权相加方程，和通过计算表达式(33)的值，求出表达方程(12)的分子的表达式(15)的值。表达式(32)和(33)按如下给出。
Σp=1N1{Cubic(X0-X41(p))×Cubic(Y0-Y41(p))}+]]>Σp=1N2{Cubic(X0-X42(p))×Cubic(Y0-Y42(p))}+]]>Σp=1N3{Cubic(X0-X43(p))×Cubic(Y0-Y43(p))}+]]>Σp=1N4{Cubic(X0-X44(p))×Cubic(Y0-Y44(p))}+]]>Σp=1N5{Cubic(X0-X45(p))×Cubic(Y0-Y45(p))}+]]>Σp=1N6{Cubic(X0-X46(p))×Cubic(Y0-Y46(p))}+]]>Σp=1N7{Cubic(X0-X47(p))×Cubic(Y0-Y47(p))}+]]>Σp=1N8{Cubic(X0-X48(p))×Cubic(Y0-Y48(p))}]]>(32)[表达式(33)]Σp=1N1{Cubic(X0-X41(p))×Cubic(Y0-Y41(p))×B1(p)}+]]>Σp=1N2{Cubic(X0-X42(p))×Cubic(Y0-Y42(p))×B2(p)}+]]>Σp=1N3{Cubic(X0-X43(p))×Cubic(Y0-Y43(p))×B3(p)}+]]>Σp=1N4{Cubic(X0-X44(p))×Cubic(Y0-Y44(p))×B4(p)}+]]>Σp=1N5{Cubic(X0-X45(p))×Cubic(Y0-Y45(p))×B5(p)}+]]>Σp=1N6{Cubic(X0-X46(p))×Cubic(Y0-Y46(p))×B6(p)}+]]>Σp=1N7{Cubic(X0-X47(p))×Cubic(Y0-Y47(p))×B7(p)}+]]>Σp=1N8{Cubic(X0-X48(p))×Cubic(Y0-Y48(p))×B8(p)}]]>(33)应该注意到，表达式(32)和(33)中的记号(X0，Y0)表示要求出其像素值的上述像素(i，j)的坐标。坐标(X0，Y0)是输出图像上的像素(i，j)的坐标，其中，X0＝α×(i-1)+β和Y0＝α×(j-1)+γ。
表达式(33)是用于求出分别与k＝1到8相对应的8个和值的总和的加权相加表达式。记号k是指定给从第1摄取图像4011到第8摄取图像4018的8个摄取图像的每一个的整数，8个摄取图像的每一个都要经过从摄取图像上的特定像素的位置的坐标变换到参考图像上的位置的坐标的处理。8个和值的每一个是用于针对p＝1到Nk求出加权像素值之和的表达式。每个加权像素值是将像素值Bk(p)乘以权重Cubic(X0-X4k(p))×Cubic(Y0-Y4k(p))所得的乘积。像素值Bk(p)是为其坐标可变换成与正在推测像素值的像素(i，j)的位置的坐标(α×(i-1)+β，α×(j-1)+γ)非常接近的坐标(X4k(p)，Y4k(p))的位置上的上述特定像素观测的B信号。如上所述，像素(i，j)是输出图像上的像素。另一方面，表达式(32)是用于求出分别与k＝1到8相对应的8个其它和值的总和的表达式。在这种情况下，8个其它和值的每一个是用于针对p＝1到Nk求出每一个由Cubic(X0-X4k(p))×Cubic(Y0-Y4k(p))表达的权重之和的表达式。将表达式(33)的值除以表达式(32)的值的处理等效于计算方程(12)右边的表达式的处理。处理结果是每一个被乘以权重的所有像素值Bk(p)的加权平均值，如上所述，该权重基于正在求出像素值的像素(i，j)的位置(X0，Y0)与其坐标被变换成作为对特定像素的坐标进行仿射变换处理的结果获得的坐标(X4k(p)，Y4k(p))的位置之间距离。像素(i，j)是输出图像上的像素。每个像素值Bk(p)是作为任何一个摄取图像上的像素在步骤S331到S338的任何一步中识别的特定像素的像素值。
在处理电路24为像素(i，j)计算出表达式(32)和(33)的值和将作为计算结果获得的值存储在未显示在任何一个图中的存储器中之后，图像生成处理的流程转到下一个步骤S340。
在步骤S340中，处理电路24产生变量i的值是否已经变成等于代表排列在水平方向的列数的像素列计数W的确定结果。如果在步骤S340中产生的确定结果指示变量i的值还没有变成等于像素列计数W，即，如果该确定结果指示，作为还没有经过在步骤S313到S339中进行的处理的像素，在位于变量j的当前值所指的水平行上的所有像素当中存在这样的像素，图像生成处理的流程转到步骤S341，在步骤S341中，处理电路24将变量i加1。然后，图像生成处理的流程返回到如图30所示的步骤S313，重复该步骤和随后步骤的相同处理。
另一方面，如果在步骤S340中产生的确定结果指示变量i的值已经变成等于像素列计数W，即，如果该确定结果指示，作为还没有经过在步骤S313到S339中进行的处理的像素，在位于变量j的当前值所指的水平行上的所有像素当中不存在这样的像素，图像生成处理的流程转到步骤S342，在步骤S342中，处理电路24产生变量j的值是否已经变成等于代表排列在垂直方向的行数的像素行计数H的确定结果。如果在步骤S342中产生的确定结果指示变量j的值还没有变成等于像素行计数H，即，如果该确定结果指示，作为还没有经过步骤S313到S339的重复处理的像素行，在所有像素行当中存在这样的像素行，图像生成处理的流程转到步骤S343，在步骤S343中，处理电路24将变量j加1。然后，图像生成处理的流程返回到如图30所示的步骤S312，重复该步骤和随后步骤的相同处理。
另一方面，如果在步骤S342中产生的确定结果指示变量j的值已经变成等于像素行计数H，即，如果该确定结果指示，作为还没有经过步骤S313到S339的重复处理的像素行，在所有像素行当中不存在这样的像素行，图像生成处理的流程转到步骤S344，在步骤S344中，处理电路24以与在如图30所示的步骤S311中进行的处理相同的方式将变量j设置在1上。然后，图像生成处理的流程转到步骤S345，在步骤S345中，处理电路24以与在如图30所示的步骤S312中进行的处理相同的方式将变量i设置在1上。此后，图像生成处理的流程转到如图40所示的下一个步骤S346。
在步骤S346中，处理电路24进行求出输出图像上的像素(i，j)的G信号的像素值，作为绿色光量的处理。然后，图像生成处理的流程转到下一个步骤S347。更详细地说，在步骤S346中，处理电路24像下面更详细描述的那样，进行计算下面给出的表达式(34)的值的正常处理，或计算也在下面给出的表达式(35)的值的异常处理，以便求出(或推测)输出图像上的像素(i，j)的G信号的像素值。表达式(34)对应于表达用于正常处理的绿色光量的加权相加方程的方程(8)的表达式。另一方面，表达式(35)对应于表达用于异常处理的绿色光量的加权相加方程的方程(17)的表达式。表达式(34)是用于求出将表达式(29)的值除以表达式(28)的值获得的商的表达式。另一方面，表达式(35)是用于求出将每一个按照表达式(29)求出的值之和除以每一个按照表达式(28)求出的值之和获得的商的表达式。作为在如图33所示的步骤S321中进行的处理的结果求出，表达式(28)的值是绿色光量的加权相加方程的分母，和表达式(29)的值是同一加权相加方程的分子。
[方程(35)] 在步骤S347中，处理电路24进行求出输出图像上的像素(i，j)的R信号的像素值，作为红色光量的处理。然后，图像生成处理的流程转到下一个步骤S348。更详细地说，在步骤S347中，处理电路24像下面更详细描述的那样，进行计算下面给出的表达式(36)的值的正常处理，或计算也在下面给出的表达式(37)的值的异常处理，以便求出(或推测)输出图像上的像素(i，j)的R信号的像素值。表达式(36)对应于表达用于正常处理的红色光量的加权相加方程的方程(11)的表达式。另一方面，表达式(37)对应于表达用于异常处理的红色光量的加权相加方程的方程(18)的表达式。表达式(36)是用于求出将表达式(31)的值除以表达式(30)的值获得的商的表达式。另一方面，表达式(37)是用于求出将每一个按照表达式(31)求出的值之和除以每一个按照表达式(30)求出的值之和获得的商的表达式。作为在如图36所示的步骤S330中进行的处理的结果求出，表达式(30)的值是红色光量的加权相加方程的分母，和表达式(31)的值是同一加权相加方程的分子。
[方程(37)] 在步骤S348中，处理电路24进行求出输出图像上的像素(i，j)的B信号的像素值，作为蓝色光量的处理。然后，图像生成处理的流程转到下一个步骤S349。更详细地说，在步骤S348中，处理电路24像下面更详细描述的那样，进行计算下面给出的表达式(38)的值的正常处理，或计算也在下面给出的表达式(39)的值的异常处理，以便求出(或推测)输出图像上的像素(i，j)的B信号的像素值。表达式(38)对应于表达用于正常处理的蓝色光量的加权相加方程的方程(12)的表达式。另一方面，表达式(39)对应于表达用于异常处理的蓝色光量的加权相加方程的方程(19)的表达式。表达式(38)是用于求出将表达式(33)的值除以表达式(32)的值获得的商的表达式。另一方面，表达式(39)是用于求出将每一个按照表达式(33)求出的值之和除以每一个按照表达式(32)求出的值之和获得的商的表达式。作为在如图39所示的步骤S339中进行的处理的结果求出，表达式(32)的值是蓝色光量的加权相加方程的分母，和表达式(33)的值是同一加权相加方程的分子。
[方程(39)]
在步骤S349中，处理电路24产生变量i的值是否已经变成等于代表排列在水平方向的列数的像素列计数W的确定结果。如果在步骤S349中产生的确定结果指示变量i的值还没有变成等于像素列计数W，即，如果该确定结果指示，作为还没有经过在步骤S346到S348中进行的处理的像素，在位于变量j的当前值所指的水平行上的所有像素当中存在这样的像素，图像生成处理的流程转到步骤S350，在步骤S350中，处理电路24将变量i加1。然后，图像生成处理的流程返回到步骤S346，重复该步骤和随后步骤的相同处理。
另一方面，如果在步骤S349中产生的确定结果指示变量i的值已经变成等于像素列计数W，即，如果该确定结果指示，作为还没有经过在步骤S346到S348中进行的处理的像素，在位于变量j的当前值所指的水平行上的所有像素当中不存在这样的像素，图像生成处理的流程转到步骤S351，在步骤S351中，处理电路24产生变量j的值是否已经变成等于代表排列在垂直方向的行数的像素行计数H的确定结果。如果在步骤S351中产生的确定结果指示变量j的值还没有变成等于像素行计数H，即，如果该确定结果指示，作为还没有经过步骤S346到S348的重复处理的像素行，在所有像素行当中存在这样的像素行，图像生成处理的流程转到步骤S352，在步骤S352中，处理电路24将变量j加1。然后，图像生成处理的流程返回到如图39所示的步骤S345，重复该步骤和随后步骤的相同处理。
另一方面，如果在步骤S351中产生的确定结果指示变量j的值已经变成等于像素行计数H，即，如果S346到S348的步骤已经对所有行进行了处理，即，如果已经为尺度为W×H个像素的输出图像上的所有像素求出了B、R和B信号的像素值，图像生成处理的流程转到步骤S353，在步骤S353中，如图1所示，处理电路24将输出图像的图像信号提供给D/A转换器9或编解码器12。然后，使处理的控制返回到调用程序。
接着，参照如图41所示的流程图，如下的描述将说明在如图40所示的流程图的步骤S346中进行，求出(或推测)输出图像上的像素(i，j)的G信号的像素值(即，绿色的光量)的处理。
如图41所示的流程图从步骤S401开始，在步骤S401中，处理电路24产生作为表达像素(i，j)的绿色光量的加权相加表达式的分母的表达式(28)的绝对值，在如图33所示的流程图的步骤S321中求出的值是否等于或大于预定阈值的确定结果。该预定阈值是是否由于表达式(28)的绝对值被当作等于0的值的事实而进行异常处理的判据值。通常，将0.25的预定阈值事先设置在处理电路24中。但是，也可以由用户通过操作来设置预定阈值。
如果在步骤S401中产生的确定结果指示有关像素(i，j)的表达式(28)的绝对值等于或大于预定阈值，或有关像素(i，j)的表达式(28)的绝对值不是小到可以将该值当作等于0的值，图像生成处理的流程转到下一个步骤S402，在步骤S402中，处理电路24进行按照加权相加表达式(34)计算像素(i，j)的G信号的像素值的正常处理。表达式(34)是用于求出将表达式(29)的值除以表达式(28)的值获得的商的表达式。作为在如图33所示的流程图的步骤S321中进行的处理的结果求出，表达式(28)的值是绿色光量的加权相加方程的分母，和表达式(29)的值是同一加权相加方程的分子。
另一方面，如果在步骤S401中产生的确定结果指示有关像素(i，j)的表达式(28)的绝对值小于预定阈值，或有关像素(i，j)的表达式(28)的绝对值等于0或接近0，图像生成处理的流程转到下一个步骤S403，在步骤S403中，处理电路24进行按照与方程(17)相对应的加权相加表达式(35)计算像素(i，j)的G信号的像素值的异常处理。这是因为，如果将表达式(29)的值除以具有0或接近0的值的表达式(28)的值进行正常处理，作为相除结果获得的商将具有不稳定值。也就是说，即使表达式(29)的值只包括少量噪声，该噪声也将被除以具有0或接近0的值的表达式(28)的值，导致很大的放大噪声。
更详细地说，在步骤S403中，处理电路24按照加权相加表达式(35)计算像素(i，j)的G信号的像素值，加权相加表达式(35)是用于求出将每一个按照表达式(29)求出的5个值之和除以每一个按照表达式(28)求出的5个其它值之和获得的商的表达式。5个值是在正常处理下，按照表达绿色光量的加权相加表达式的分子的表达式(29)，分别为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的4个附近像素(i-1，j)、(i+1，j)、(i，j-1)和(i，j+1)求出的值。另一方面，5个其它值是在正常处理下，按照表达绿色光量的加权相加表达式的分母的表达式(28)，分别为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的4个附近像素(i-1，j)、(i+1，j)、(i，j-1)和(i，j+1)求出的值。
由于正如前面参照图16和17所述的那样，按照表达式(28)为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的4个附近像素(i-1，j)、(i+1，j)、(i，j-1)和(i，j+1)求出的值之和在某种程度上具有较大的值，在相除运算中将具有这样较大值的和值用作分母不会引起噪声放大。因此，可以计算出噪声没有增大的像素(i，j)的G信号的像素值。
接着，参照如图42所示的流程图，如下的描述将说明在如图40所示的流程图的步骤S347中进行，求出(或推测)输出图像上的像素(i，j)的R信号的像素值(即，红色的光量)的处理。
如图42所示的流程图从步骤S411开始，在步骤S411中，处理电路24产生作为表达像素(i，j)的红色光量的加权相加表达式的分母的表达式(30)的绝对值，在如图36所示的流程图的步骤S330中求出的值是否等于或大于预定阈值的确定结果。该预定阈值是是否由于表达式(30)的绝对值被当作等于0的值的事实而进行异常处理的判据值。通常，将0.25的预定阈值事先设置在处理电路24中。但是，也可以由用户通过操作来设置预定阈值。
如果在步骤S411中产生的确定结果指示有关像素(i，j)的表达式(30)的绝对值等于或大于预定阈值，或有关像素(i，j)的表达式(30)的绝对值不是小到可以将该值当作等于0的值，图像生成处理的流程转到下一个步骤S412，在步骤S412中，处理电路24进行按照加权相加表达式(36)计算像素(i，j)的R信号的像素值的正常处理。表达式(36)是用于求出将表达式(31)的值除以表达式(30)的值获得的商的表达式。作为在如图36所示的流程图的步骤S330中进行的处理的结果求出，表达式(30)的值是红色光量的加权相加方程的分母，和表达式(31)的值是同一加权相加方程的分子。
另一方面，如果在步骤S411中产生的确定结果指示有关像素(i，j)的表达式(30)的绝对值小于预定阈值，或有关像素(i，j)的表达式(30)的绝对值等于0或接近0，图像生成处理的流程转到下一个步骤S413，在步骤S413中，处理电路24进行按照与方程(18)相对应的加权相加表达式(37)计算像素(i，j)的R信号的像素值的异常处理。这是因为，如果将表达式(31)的值除以具有0或接近0的值的表达式(30)的值进行正常处理，作为相除结果获得的商将具有不稳定值。也就是说，即使表达式(31)的值只包括少量噪声，该噪声也将被除以具有0或接近0的值的表达式(30)的值，导致很大的放大噪声。
更详细地说，在步骤S413中，处理电路24按照加权相加表达式(37)计算像素(i，j)的R信号的像素值，加权相加表达式(37)是用于求出将每一个按照表达式(31)求出的9个值之和除以每一个按照表达式(30)求出的9个其它值之和获得的商的表达式。9个值是在正常处理下，按照表达红色光量的加权相加表达式的分子的表达式(31)，分别为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的8个附近像素(i-1，j-1)、(i，j-1)、(i+1，j-1)、(i-1，j)、(i+1，j)、(i-1，j+1)、(i，j+1)和(i+1，j+1)求出的值。另一方面，9个其它值是在正常处理下，按照表达红色光量的加权相加表达式的分母的表达式(30)，分别为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的8个附近像素(i-1，j-1)、(i，j-1)、(i+1，j-1)、(i-1，j)、(i+1，j)、(i-1，j+1)、(i，j+1)和(i+1，j+1)求出的值。
由于正如前面参照图18和19所述的那样，按照表达式(30)为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的8个附近像素(i-1，j-1)、(i，j-1)、(i+1，j-1)、(i-1，j)、(i+1，j)、(i-1，j+1)、(i，j+1)和(i+1，j+1)求出的值之和在某种程度上具有较大的值，在相除运算中将具有这样较大值的和值用作分母不会引起噪声放大。因此，可以计算出噪声没有增大的像素(i，j)的R信号的像素值。
接着，参照如图43所示的流程图，如下的描述将说明在如图40所示的流程图的步骤S348中进行，求出(或推测)输出图像上的像素(i，j)的B信号的像素值(即，蓝色的光量)的处理。
如图43所示的流程图从步骤S421开始，在步骤S421中，处理电路24产生作为表达像素(i，j)的蓝色光量的加权相加表达式的分母的表达式(32)的绝对值，在如图39所示的流程图的步骤S339中求出的值是否等于或大于预定阈值的确定结果。该预定阈值是是否由于表达式(32)的绝对值被当作等于0的值的事实而进行异常处理的判据值。通常，将0.25的预定阈值事先设置在处理电路24中。但是，也可以由用户通过操作来设置预定阈值。
如果在步骤S421中产生的确定结果指示有关像素(i，j)的表达式(32)的绝对值等于或大于预定阈值，或有关像素(i，j)的表达式(32)的绝对值不是小到可以将该值当作等于0的值，图像生成处理的流程转到下一个步骤S422，在步骤S422中，处理电路24进行按照加权相加表达式(38)计算像素(i，j)的B信号的像素值的正常处理。表达式(38)是用于求出将表达式(33)的值除以表达式(32)的值获得的商的表达式。作为在如图39所示的流程图的步骤S339中进行的处理的结果求出，表达式(32)的值是蓝色光量的加权相加方程的分母，和表达式(33)的值是同一加权相加方程的分子。
另一方面，如果在步骤S421中产生的确定结果指示有关像素(i，j)的表达式(32)的绝对值小于预定阈值，或有关像素(i，j)的表达式(32)的绝对值等于0或接近0，图像生成处理的流程转到下一个步骤S423，在步骤S423中，处理电路24进行按照与方程(19)相对应的加权相加表达式(39)计算像素(i，j)的B信号的像素值的异常处理。这是因为，如果将表达式(33)的值除以具有0或接近0的值的表达式(32)的值进行正常处理，作为相除结果获得的商将具有不稳定值。也就是说，即使表达式(33)的值只包括少量噪声，该噪声也将被除以具有0或接近0的值的表达式(32)的值，导致很大的放大噪声。
更详细地说，在步骤S423中，处理电路24按照加权相加表达式(39)计算像素(i，j)的B信号的像素值，加权相加表达式(39)是用于求出将每一个按照表达式(33)求出的9个值之和除以每一个按照表达式(32)求出的9个其它值之和获得的商的表达式。9个值是在正常处理下，按照表达蓝色光量的加权相加表达式的分子的表达式(33)，分别为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的8个附近像素(i-1，j-1)、(i，j-1)、(i+1，j-1)、(i-1，j)、(i+1，j)、(i-1，j+1)、(i，j+1)和(i+1，j+1)求出的值。另一方面，9个其它值是在正常处理下，按照表达蓝色光量的加权相加表达式的分母的表达式(32)，分别为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的8个附近像素(i-1，j-1)、(i，j-1)、(i+1，j-1)、(i-1，j)、(i+1，j)、(i-1，j+1)、(i，j+1)和(i+1，j+1)求出的值。
由于正如前面参照图18和19所述的那样，按照表达式(32)为输出图像上的像素(i，j)，以及与像素(i，j)非常接近的8个附近像素(i-1，j-1)、(i，j-1)、(i+1，j-1)、(i-1，j)、(i+1，j)、(i-1，j+1)、(i，j+1)和(i+1，j+1)求出的值之和在某种程度上具有较大的值，在相除运算中将具有这样较大值的和值用作分母不会引起噪声放大。因此，可以计算出噪声没有增大的像素(i，j)的B信号的像素值。
如上所述，在在如图28所示的流程图的步骤S304中进行的图像生成处理中，通过将同一拍摄对象部分的N个摄取图像映射到参考图像上，即，通过只考虑参考图像的中心部分的图像和排除作为拍摄对象的范围投影在N个摄取图像上的范围的附近部分，生成作为存在所有N个摄取图像的像素的区域的如图29所示的高画面质量方形区422中的图像作为输出图像。
另外，用在计算表达式(34)到(39)的值中的摄取图像数据的个数(或像素的个数)足够多。也就是说，用在表达式(28)到(33)每一个的求和中的N1、N2、N3、N4、N5、N6、N7和N8的值足够大。因此，正如前面参照图25到27所述的那样，可以防止由于可用在生成输出图像中的数据的个数太少而包括具有较差清晰度的画面质量的部分。另外，还可以获得在图像的所有像素中不存在噪声的输出图像，或噪声的数量显著减少的输出图像。
还有，在上述的情况中，输出图像的像素间距减小成比每个摄取图像的像素间距小或比应用在如图1所示的数字摄像机1中的图像拾取器件4的像素间距小的值。更具体地说，使输出图像的像素间距与每个摄取图像的像素间距之比等于相似比α。相似比α是如图29所示的高画面质量方形区422的尺寸与参考图像的尺寸之比。因此，可以获得具有与图像拾取器件4相同的W×H个像素的尺度的图像作为输出图像。
在上述的情况中，努力展示了不使用图像拾取器件4的合并功能，输出像素计数W′×H′与图像拾取器件4的像素计数W×H相同的摄取图像的图像拾取器件的作用。但是，请注意，也可以进行利用图像拾取器件4的合并功能获得像素计数W′×H′比图像拾取器件4的像素计数W×H少的摄取图像的图像生成处理。
作为合并方法，可以采用累加作为接收光的传感器应用在图像拾取器件4中的传感器中的像素值的方法。另外，作为另一种合并方法，可以采用将数字加法器用于累加代表从传感器输出的像素值的数个数字数据的技术。
随着图像拾取器件4的合并功能被执行，数个像素的像素值被累加在一起，产生然后作为一个像素的像素值输出的和值。因此，由输出像素值组成的摄取图像上的像素的个数少于构成图像拾取器件4的像素的个数。更明确地说，由输出像素值组成的摄取图像上的像素的个数是构成图像拾取器件4的像素的个数的几分之一。更具体地说，让我们假设，例如，图像拾取器件4执行按2×2个像素累加像素值产生一个输出像素值的2×2合并功能。在这种情况下，构成摄取图像的像素的个数是(W/2)×(H/2)。作为另一个例子，让我们假设，例如，图像拾取器件4执行按3×3个像素累加像素值产生一个输出像素值的3×3合并功能。在这种情况下，构成摄取图像的像素的个数是(W/3)×(H/3)。
应该注意到，图像拾取器件4的合并功能也可以是按另一个像素个数累加像素值的功能。另外，由于图像拾取器件4的像素被摆放成拜耳二维阵列，在没有执行合并功能的情况下，产生的摄取图像是其像素当然被摆放成拜耳二维阵列的摄取图像。事实上，即使执行了合并功能，产生的摄取图像也是其像素也被摆放成拜耳二维阵列的摄取图像。
在执行了图像拾取器件4的合并功能的情况下，图像拾取器件4累加像素值，从而提高像素的灵敏度。因此，例如，由于从图像拾取器件4输出的像素值(累加像素值)是含有少量噪声的数据，可有效地应用于昏暗视线下的拍摄。
顺便提一下，让我们假设，例如，在手抖校正拍摄方式中执行图像拾取部分4的2×2合并功能，以便累加图像拾取器件4中彼此相邻的2×2个像素的像素值。在这种情况下，构成提供给应用在如图4所示的信号处理电路7中的处理电路24的摄取图像的像素的个数是等于(W/2)×(H/2)的W′×H′。
随着2×2合并功能被执行，为了获得具有W×H(＝2W′×2H′)的相同像素计数的输出图像，按如下设置前面参照图29所述的α、β和γ的值。
让我们假设，例如，如上所述，作为引起在一次拍摄操作中产生的从第1摄取图像4011到第8摄取图像4018的8个摄取图像当中任何特定摄取图像和紧接其后的摄取图像(即，正好在特定摄取图像之后获得的摄取图像)之间的移动的手抖，发生在垂直和水平方向的手抖的移动量的最大值是图像拾取器件4的像素计数的2％。
在这种情况下，如果像图29所示那样第4摄取图像4014用作参考图像，相对于参考图像移动最长距离的摄取图像是第8摄取图像4018。作为引起第8摄取图像4018相对于参考图像移动的手抖，发生在水平方向的手抖的移动量的最大值最多是0.08×W/2个像素，其中，记号W/2表示参考图像的水平尺度。同样，作为引起第8摄取图像4018相对于参考图像移动的手抖，发生在垂直方向的手抖的移动量的最大值最多是0.08×H/2个像素，其中，记号H/2表示参考图像的垂直尺度。
因此，如果将作为参考图像的如图29所示的第4摄取图像4014的左侧向内移动等于0.08×W/2的距离，将第4摄取图像4014的右侧向内移动等于0.08×W/2的距离，将第4摄取图像4014的上侧向内移动等于0.08×H/2的距离，和将第4摄取图像4014的下侧向内移动等于0.08×H/2的距离获得的内区用作高画面质量方形区422，高画面质量方形区422总是包括在作为利用从第1摄取图像4011到第8摄取图像4018的所有8个摄取图像的数据推测其输出图像像素值的区域的如图27所示的区域421中。
在这种情况下，像上述那样获得的高画面质量方形区422是左上顶点位于点(0.08×W/2，0.08×H/2)、水平尺度比参考图像的水平尺度W/2短等于0.08×W/2×2的长度、和垂直尺度比参考图像的垂直尺度H/2短等于0.08×H/2×2的长度的长方形。也就是说，高画面质量方形区422是左上顶点位于点(0.08×W/2，0.08×H/2)、水平尺度为(1-0.16)×W/2和垂直尺度为(1-0.16)×H/2的长方形。在这种情况下，假设具有(W/2)×(H/2)的像素计数的每个摄取图像的像素间距是1。
另一方面，如果具有W×H的像素计数的输出图像用作参考图像，正如上面参照图29所述的那样，高画面质量方形区422是左上顶点位于点(β，γ)、水平尺度为α×W和垂直尺度为α×H的长方形。
因此，α、β和γ满足如下方程α＝(1-0.16)/2，β＝0.08×W/2，和γ＝0.08×H/2。
在在如图28所示的流程图的步骤S304中进行的图像生成处理中，应用在如图4所示的信号处理电路7中的处理电路24像上述那样分别将α、β和γ的值设置在(1-0.16)/2、0.08×W/2，和γ＝0.08×H/2上。然后，对于在范围1≤i≤W和1≤j≤H内的所有整数i和j，处理电路24计算(或推测)输出图像上的像素(i，j)的像素值，作为位置(x，y)上的像素值，其中，(x，y)＝(α×(i-1)+β，α×(j-1)+γ)。这样，即使图像拾取器件4执行了合并功能，也可以获得W×H的像素计数与图像拾取器件4的像素计数相同和在整个区域内都清晰的输出图像。
如上所述，即使图像拾取器件4执行了合并功能，也可以获得W×H的像素计数与图像拾取器件4的像素计数相同的输出图像。还有，在如图28所示的流程图的步骤S301到S303中处理的每个摄取图像的像素计数是(W/2)×(H/2)。因此，与不执行合并功能的情况相比，可以使处理量减少。
如上所述，作为拍摄方式，如图1所示的数字摄像机1具有普通拍摄方式和手抖校正拍摄方式。在手抖校正拍摄方式中，进行如图2或28所示的流程图所代表的拍摄处理。在这种拍摄方式中，连续地摄取数个像素，比如说，N个图像，和从N个摄取图像中产生输出图像。另一方面，在普通拍摄方式中，进行只摄取一个图像和输出(或生成)该摄取图像作为输出图像的拍摄处理。
如图1所示的数字摄像机1在进行拍摄处理的过程中确定将采用哪种拍摄方式。如下的描述将说明作为包括作出将采用哪种拍摄方式的决定的拍摄方式确定处理的处理的数字摄像机1进行的处理。
应该注意到，在如下的描述中，假设数字摄像机1能够进行4种拍摄处理，即，第一拍摄处理、第二拍摄处理、第三拍摄处理、和第四拍摄处理。第一拍摄处理是普通拍摄方式用作拍摄方式的处理。另一方面，第二拍摄处理、第三拍摄处理、和第四拍摄处理每一种都是手抖校正拍摄方式用作拍摄方式的拍摄处理。更具体地说，第二拍摄处理、第三拍摄处理、和第四拍摄处理每一种都是如图2或28所示的流程图所代表的拍摄处理。但是，在这种情况下，第二拍摄处理、第三拍摄处理、和第四拍摄处理的彼此不同之处在于，第二拍摄处理是不执行图像拾取器件4的合并功能进行的拍摄处理，第三拍摄处理是执行图像拾取器件4的2×2合并功能进行的拍摄处理，和第四拍摄处理是执行图像拾取器件4的3×3合并功能进行的拍摄处理。
进行第一拍摄处理只摄取一个图像。另一方面，进行第二拍摄处理、第三拍摄处理、和第四拍摄处理的每一种都摄取数个图像。让记号Na表示在第二拍摄处理中高速连续摄取的图像的个数，让记号Nb表示在第三拍摄处理中高速连续摄取的图像的个数，和让记号Nc表示在第四拍摄处理中高速连续摄取的图像的个数。
进行如下所述的拍摄方式确定处理以确定将进行第一拍摄处理，第二拍摄处理，第三拍摄处理，还是第四拍摄处理作为拍摄处理。另外，如果在拍摄方式确定处理中确定第二拍摄处理，还将Na的值确定为在第二拍摄处理中高速连续摄取的图像的个数。同样，如果在拍摄方式确定处理中确定第三拍摄处理，还将Nb的值确定为在第三拍摄处理中高速连续摄取的图像的个数。同样，如果在拍摄方式确定处理中确定第四拍摄处理，还将Nc的值确定为在第四拍摄处理中高速连续摄取的图像的个数。
应该注意到，拍摄方式确定处理由应用在如图1所示的数字摄像机1中的控制电路18执行。
另外，假设控制电路18在进行拍摄方式确定处理之前，接收有关作为进行拍摄操作的条件的焦距和曝光校正值的信息。曝光校正值是代表没有校正、1级欠亮度、2级欠亮度、1级过亮度、或2级过亮度等的值。
接着，参照如图44所示的流程图，如下的描述将说明作为包括拍摄方式确定处理的处理的如图1所示的数字摄像机1进行的处理。
该流程图从步骤S501开始，在步骤S501中，控制电路18进行产生应用在输入设备16中的释放按钮(也称为快门按钮)的状态是否是半按下状态的确定结果的处理。如果在步骤S501中产生的确定结果指示释放按钮的状态不是半按下状态，处理流程返回到步骤S501。重复执行步骤S501的处理，直到在步骤S501中产生的确定结果指示释放按钮的状态是半按下状态为止。当在步骤S501中产生的确定结果指示释放按钮的状态是半按下状态时，处理流程转到步骤S502。
在步骤S502中，控制电路18进行确定光圈值F、适当曝光时间Tp、和作为实际产生摄取图像所花费的实际曝光时间的曝光时间Ta的处理。更详细地说，控制电路18从曝光计19接收曝光计19测量的值，作为拍摄对象的亮度的测量值，和接收通过应用在输入设备16中的曝光校正盘设置的曝光校正值。在步骤S502中，首先，控制电路18按照与普通自动曝光控制相同的值-值确定技术，利用作为拍摄对象的亮度的测量值从曝光计19接收的测量值确定光圈值F。然后，控制电路18还利用光圈值F和拍摄对象的亮度的测量值确定适当曝光时间Tp。适当曝光时间Tp定义为在没有执行曝光校正功能的情况下以适当曝光进行拍摄操作所花费的曝光时间。然后，控制电路18利用适当曝光时间Tp和通过曝光校正盘设置的曝光校正值确定实际曝光时间Ta。
从曝光校正盘中确定实际曝光时间Ta的具体方法描述如下。让我们假设，例如，应用在输入设备16中的曝光校正值代表1级欠亮度。在这种情况下，控制电路18将实际曝光时间Ta确定在Tp/2上(或Ta＝Tp/2)。作为另一个例子，让我们假设，通过应用在输入设备16中的曝光校正盘设置的曝光校正值代表2级欠亮度。在这种情况下，控制电路18将实际曝光时间Ta确定在Tp/4上(或Ta＝Tp/4)。作为进一步的例子，让我们假设，应用在输入设备16中的曝光校正值代表1级过亮度。在这种情况下，控制电路18将实际曝光时间Ta确定在Tp×2上(或Ta＝Tp×2)。作为更进一步的例子，让我们假设，通过应用在输入设备16中的曝光校正盘设置的曝光校正值代表2级过亮度。在这种情况下，控制电路18将实际曝光时间Ta确定在Tp×4上(或Ta＝Tp×4)。实际曝光时间Ta的倒数1/Ta代表快门速度。应该注意到，如上所述确定光圈值F、适当曝光时间Tp、和实际曝光时间Ta的方法是与作为光圈值F优先的方法由普通数字摄像机采用的方法相同的技术。因此，如上所述确定光圈值F、适当曝光时间Tp、和实际曝光时间Ta的方法是已知技术提供的方法。由于这个原因，这里省略该方法的详细描述。在步骤S502的处理完成之后，处理流程转到下一个步骤S503。
在步骤S503中，控制电路18进行产生应用在输入设备16中的释放按钮的状态是否仍然按原样是半按下状态的确定结果的处理。如果在步骤S503中产生的确定结果指示释放按钮的状态像在步骤S501中产生的确定结果所指的那样，仍然按原样是半按下状态，处理流程返回到步骤S503，以便维持当前状态。重复执行步骤S503的处理，直到在步骤S503中产生的确定结果指示释放按钮的状态不再是半按下状态为止。当在步骤S503中产生的确定结果指示释放按钮的状态已不再是半按下状态时，处理流程转到步骤S504，在步骤S504中，控制电路18进行产生释放按钮的状态是否是完全按下状态的确定结果的处理。如果在步骤S504中产生的确定结果指示释放按钮的状态不是完全按下状态，即，如果在步骤S504中产生的确定结果指示释放按钮的状态已经释放，处理流程返回到步骤S501。也就是说，如果拍摄者从释放按钮上释放他的手指，以便作为结果，释放按钮的状态既不同半按下状态也不是完全按下状态，处理流程返回到步骤S501，重复相同的处理。
另一方面，如果在步骤S504中产生的确定结果指示释放按钮的状态是完全按下状态，处理流程转到步骤S505，在步骤S505中，控制电路18进行再次确定适当曝光时间Tp的处理。也就是说，控制电路18利用作为拍摄对象的亮度的测量值从曝光计19接收的测量值和在步骤S502中确定的光圈值F，以与步骤S502相同的方式再次确定适当曝光时间Tp。控制电路18再次确定适当曝光时间Tp是因为，利用借助于与实际进行拍摄操作的定时更接近的定时获得的适当曝光时间Tp可以生成更合适的图像。应该注意到，倒数1/Tp是在适当曝光下的快门速度。
在步骤S505的处理完成之后，处理流程转到下一个步骤S506，在步骤S506中，控制电路18进行拍摄方式确定处理，以便根据在步骤S502中确定的实际曝光时间Ta和在步骤S505中确定的适当曝光时间Tp，作出将进行第一拍摄处理、第二拍摄处理、第三拍摄处理和第四拍摄处理的哪一种作为拍摄处理的决定。也就是说，控制电路18选择第一拍摄处理，第二拍摄处理，第三拍摄处理，还是第四拍摄处理作为拍摄处理。正如后面详细描述的那样，执行的拍摄方式确定处理是确定进行拍摄处理的拍摄方式以生成(几乎)不受手抖影响的清晰输出图像的处理。
另外，如果控制电路18在步骤S506中作出执行第二拍摄处理作为拍摄处理的决定，控制电路18还确定用于第二拍摄处理的摄取图像计数Na。同样，如果控制电路18在步骤S506中作出执行第三拍摄处理作为拍摄处理的决定，控制电路18还确定用于第三拍摄处理的摄取图像计数Nb。同样，如果控制电路18在步骤S506中作出执行第四拍摄处理作为拍摄处理的决定，控制电路18还确定用于第四拍摄处理的摄取图像计数Nc。在步骤S506的处理完成之后，处理流程转到下一个步骤S507。
在步骤S507中，数字摄像机1进行在步骤S506中选择的拍摄处理。
也就是说，如果控制电路18在步骤S506中作出执行第一拍摄处理作为拍摄处理的决定，数字摄像机1执行第一拍摄处理，以已经在步骤S502中确定的光圈值F和实际曝光时间Ta摄取一个图像，和输出该摄取图像作为输出图像。
如果控制电路18在步骤S506中作出执行第二拍摄处理作为拍摄处理的决定，数字摄像机1执行第二拍摄处理，不执行图像拾取器件1的合并功能地进行图像拾取处理，以与每个摄取图像的曝光时间Ta/Na相对应的高速，以在步骤S502中确定的光圈值F以及实际曝光时间Ta产生Na个摄取图像。然后，数字摄像机1利用Na个摄取图像执行图像生成处理以生成输出图像。
如果控制电路18在步骤S506中作出执行第三拍摄处理作为拍摄处理的决定，数字摄像机1执行第三拍摄处理，通过执行图像拾取器件1的2×2合并功能进行图像拾取处理，以与每个摄取图像的曝光时间Ta/Nb相对应的高速，以在步骤S502中确定的光圈值F以及实际曝光时间Ta产生Nb个摄取图像。然后，数字摄像机1利用Nb个摄取图像执行图像生成处理以生成输出图像。
如果控制电路18在步骤S506中作出执行第四拍摄处理作为拍摄处理的决定，数字摄像机1执行第四拍摄处理，通过执行图像拾取器件4的3×3合并功能进行图像拾取处理，以与每个摄取图像的曝光时间Ta/Nc相对应的高速，以在步骤S502中确定的光圈值F以及实际曝光时间Ta产生Nc个摄取图像。然后，数字摄像机1利用Nc个摄取图像执行图像生成处理以生成输出图像。
应该注意到，在第一拍摄处理中生成的输出图像当然具有与图像拾取器件4的像素计数W×H相同的像素个数。事实上，在第二、第三、或第四拍摄处理中生成的输出图像也具有与图像拾取器件4的像素计数W×H相同的像素个数。
在步骤S507的处理完成之后，处理流程转到下一个步骤S508，在步骤S508中，控制电路18进行产生应用在输入设备16中的释放按钮的状态是否是半按下状态或完全按下状态的确定结果的处理。如果在步骤S508中产生的确定结果指示释放按钮的状态是半按下状态或完全按下状态，重复进行步骤S508的处理，直到释放按钮的状态既不是半按下状态也不是完全按下状态为止。当在步骤S508中产生的确定结果指示释放按钮的状态既不是半按下状态也不是完全按下状态时，即，当拍摄者从释放按钮上释放他的手指以释放释放按钮时，处理流程返回到步骤S501，以准备下一次拍摄操作。
上述步骤S501到S508的处理是在数字摄像机1的电源已经打开的假设下进行的。如果电源被关闭，处理就中止。另外，拍摄者在曝光校正盘上的操作只有在释放按钮正处在释放状态的时候有效。因此，在步骤S502中执行以确定实际曝光时间Ta的处理使用在正好在步骤S502之前的步骤S501中产生的确定结果指示释放按钮处在半按下状态之后通过曝光校正盘设置的曝光校正值。
接着，如下的描述将说明在如图44所示的流程图的步骤S506中执行的拍摄方式确定处理。但是，在说明拍摄方式确定处理之前，将第一到第四拍摄处理更详细地描述如下。
在第一拍摄处理中，图像拾取器件4以光圈值F和Ta秒的实际曝光时间获取一个摄取图像，将该摄取图像提供给图像处理电路17。图像处理电路17从摄取图像中生成输出图像。也就是说，图像处理电路17输出摄取图像作为输出图像。换句话说，在第一拍摄处理中，图像拾取器件4在没有执行累加像素值的合并功能的情况下获取摄取图像，和将像素计数等于构成图像拾取器件4的像素的个数的摄取图像提供给图像处理电路17。然后，图像处理电路17生成像素计数等于构成图像拾取器件4的像素的个数的输出图像。应该注意到，控制电路18控制第一拍摄处理。另外，从摄取图像中生成输出图像的第一拍摄处理实际上与普通数字摄像机进行的拍摄处理相同。
在第二拍摄处理中，图像拾取器件4以与每个摄取图像的曝光时间Ta/Na相对应的高速和以光圈值F连续产生数个摄取图像，比方说，Na个摄取图像，将每个摄取图像提供给图像处理电路17。然后，图像处理电路17进行如上所述的图像生成处理，以便从Na个摄取图像中生成输出图像。
更详细地说，在第二拍摄处理中，图像拾取器件4在没有执行累加像素值的合并功能的情况下产生摄取图像，和将每一个的像素计数等于构成图像拾取器件4的像素的个数的每个摄取图像提供给图像处理电路17。图像处理电路17调整从图像拾取器件4接收的Na个摄取图像的位置，和进行将加权相加处理应用于其位置得到调整的Na个摄取图像的图像生成处理，以便生成像素计数等于构成图像拾取器件4的像素的个数的清晰输出图像。应该注意到，由于在第二拍摄处理中，图像拾取器件4以与每个摄取图像的曝光时间Ta/Na相对应的高速连续产生Na个摄取图像，获取所有Na个摄取图像花费的曝光时间是(Ta/Na)×Na(＝Ta)。控制电路18也控制第二拍摄处理。
在第三拍摄处理中，图像拾取器件4通过执行2×2合并功能，以与每个摄取图像的曝光时间Ta/Nb相对应的高速和以光圈值F连续产生数个摄取图像，比方说，Nb个摄取图像，将每个摄取图像提供给图像处理电路17。然后，图像处理电路17进行如上所述的图像生成处理，以便从Nb个摄取图像中生成输出图像。
更详细地说，在第三拍摄处理中，图像拾取器件4通过执行累加像素值的上述2×2合并功能产生摄取图像，和将每一个的像素计数等于构成图像拾取器件4的像素的个数的四分之一的每个摄取图像提供给图像处理电路17。图像处理电路17调整从图像拾取器件4接收的Nb个摄取图像的位置，和进行将加权相加处理应用于其位置得到调整的Nb个摄取图像的图像生成处理，以便生成像素计数等于构成图像拾取器件4的像素的个数的清晰输出图像。应该注意到，由于在第三拍摄处理中，图像拾取器件4以与每个摄取图像的曝光时间Ta/Nb相对应的高速连续产生Nb个摄取图像，获取所有Nb个摄取图像花费的曝光时间是(Ta/Nb)×Nb(＝Ta)。控制电路18也控制第三拍摄处理。
在第四拍摄处理中，图像拾取器件4通过执行3×3合并功能，以与每个摄取图像的曝光时间Ta/Nc相对应的高速和以光圈值F连续产生数个摄取图像，比方说，Nc个摄取图像，将每个摄取图像提供给图像处理电路17。然后，图像处理电路17进行如上所述的图像生成处理，以便从Nc个摄取图像中生成输出图像。
更详细地说，在第四拍摄处理中，图像拾取器件4通过执行累加像素值的上述3×3合并功能产生摄取图像，和将每一个的像素计数等于构成图像拾取器件4的像素的个数的九分之一的每个摄取图像提供给图像处理电路17。图像处理电路17调整从图像拾取器件4接收的Nc个摄取图像的位置，和进行将加权相加处理应用于其位置得到调整的Nc个摄取图像的图像生成处理，以便生成像素计数等于构成图像拾取器件4的像素的个数的清晰输出图像。应该注意到，由于在第四拍摄处理中，图像拾取器件4以与每个摄取图像的曝光时间Ta/Nc相对应的高速连续产生Nc个摄取图像，获取所有Nc个摄取图像花费的曝光时间是(Ta/Nc)×Nc(＝Ta)。控制电路18也控制第四拍摄处理。
接着，参照如图45所示的流程图，如下的描述将说明在如图44所示的流程图的步骤S506中执行的拍摄方式确定处理。应该注意到，假设控制电路18已经识别出有关透镜2的焦距、暗度极限1/Mmax和图像拾取器件4的相继图像拾取间隔极限t0的信息。如果应用变焦透镜，有关透镜2的焦距的信息是有关处在试图进行拍摄操作的状态下的焦距的信息。
如图45所示的流程图从步骤S521开始，在步骤S521中，控制电路18在已经作出进行第一拍摄处理作为拍摄处理的决定假设下，通过执行第一拍摄处理进行第一确定处理，以便根据获取适当输出图像的条件产生是否可以获取适当输出图像的确定结果。然后，拍摄方式确定处理的流程转到下一个步骤S522。第一确定处理的细节将在后面参照如图46所示的流程图加以描述。
在步骤S522中，控制电路18检查在步骤S521中进行的第一确定处理的结果。如果在步骤S522中进行的检查揭示第一确定处理的结果指示可以通过进行第一拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S523，在步骤S523中，控制电路18作出进行第一拍摄处理的决定。然后，使执行的控制返回到调用程序。
另一方面，如果在步骤S522中进行的检查揭示第一确定处理的结果指示不能通过进行第一拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S524，在步骤S524中，控制电路18在已经作出进行第二拍摄处理作为拍摄处理的决定假设下，通过执行第二拍摄处理进行第二确定处理，以便根据获取适当输出图像的条件产生是否可以获取适当输出图像的确定结果。然后，拍摄方式确定处理的流程转到下一个步骤S525。第二确定处理的细节将在后面参照如图47所示的流程图加以描述。如果在步骤S524中进行的第二确定处理产生指示可以通过进行第二拍摄处理获取适当输出图像的结果，第二确定处理还在同一步骤中设置摄取图像计数Na。
在步骤S525中，控制电路18检查在步骤S524中进行的第二确定处理的结果。如果在步骤S525中进行的检查揭示第二确定处理的结果指示可以通过进行第二拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S526，在步骤S526中，控制电路18作出进行第二拍摄处理的决定。然后，使执行的控制返回到调用程序。
另一方面，如果在步骤S525中进行的检查揭示第二确定处理的结果指示不能通过进行第二拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S527，在步骤S527中，控制电路18在已经作出进行第三拍摄处理作为拍摄处理的决定假设下，通过执行第三拍摄处理进行第三确定处理，以便根据获取适当输出图像的条件产生是否可以获取适当输出图像的确定结果。然后，拍摄方式确定处理的流程转到下一个步骤S528。第三确定处理的细节将在后面参照如图48所示的流程图加以描述。如果在步骤S527中进行的第三确定处理产生指示可以通过进行第三拍摄处理获取适当输出图像的结果，第三确定处理还在同一步骤中设置摄取图像计数Nb。
在步骤S528中，控制电路18检查在步骤S527中进行的第三确定处理的结果。如果在步骤S528中进行的检查揭示第三确定处理的结果指示可以通过进行第三拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S529，在步骤S529中，控制电路18作出进行第三拍摄处理的决定。然后，使执行的控制返回到调用程序。
另一方面，如果在步骤S528中进行的检查揭示第三确定处理的结果指示不能通过进行第三拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S530，在步骤S530中，控制电路18在已经作出进行第四拍摄处理作为拍摄处理的决定假设下，通过执行第四拍摄处理进行第四确定处理，以便根据获取适当输出图像的条件产生是否可以获取适当输出图像的确定结果。然后，拍摄方式确定处理的流程转到下一个步骤S531。第四确定处理的细节将在后面参照如图49所示的流程图加以描述。如果在步骤S530中进行的第四确定处理产生指示可以通过进行第四拍摄处理获取适当输出图像的结果，第四确定处理还在同一步骤中设置摄取图像计数Nc。
在步骤S531中，控制电路18检查在步骤S530中进行的第四确定处理的结果。如果在步骤S531中进行的检查揭示第四确定处理的结果指示可以通过进行第四拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S532，在步骤S532中，控制电路18作出进行第四拍摄处理的决定。然后，使执行的控制返回到调用程序。
另一方面，如果在步骤S531中进行的检查揭示第四确定处理的结果指示不能通过进行第四拍摄处理获取适当输出图像的事实，拍摄方式确定处理的流程转到步骤S533，在步骤S533中，控制电路18作出进行第一拍摄处理的决定。然后，使执行的控制返回到调用程序。这是因为，在这种情况下，难以生成与进行第一拍摄处理，第二拍摄处理，第三拍摄处理，还是第四拍摄处理无关的适当输出图像。由于这个原因，在认识到存在手抖的时候，控制电路18作出以与普通数字摄像机进行的拍摄处理相同的方式进行第一拍摄处理的决定。应该注意到，当控制电路18在步骤S533中作出进行第一拍摄处理的决定时，可以在监视器11等上显示陈述“存在发生手抖的风险”的警告消息。
按从第一确定处理开始，接着是第二确定处理，再接着是第三确定处理，和再接着是第四确定处理的顺序进行如图45所示的流程图所代表的拍摄方式确定处理是为了在第一、第二、第三、或第四确定处理中确定是否可以获得适当输出图像。这是因为，按从第一拍摄处理开始，接着是第二拍摄处理，再接着是第三拍摄处理，和再接着是第四拍摄处理的顺序可以获得画面质量良好的输出图像。也就是说，以普通拍摄方式生成的输出图像具有比以手抖校正拍摄方式生成的输出图像好的画面质量。另外，在手抖校正拍摄方式中不执行合并功能生成的输出图像具有比在手抖校正拍摄方式中执行合并功能生成的输出图像好的画面质量。此外，在手抖校正拍摄方式中执行小规模合并功能生成的输出图像具有比在手抖校正拍摄方式中执行大规模合并功能生成的输出图像好的画面质量。合并功能的规模定义为通过该功能累加的像素值的个数。
应该注意到，输入设备16可以配有强行排除要在手抖校正拍摄方式中执行的拍摄处理的按钮。如上所述，要在手抖校正拍摄方式中执行的拍摄处理可以是第二、第三、或第四拍摄处理。因此，当按下这个按钮时，在如图44所示的步骤S506中不执行如图45所示的流程图所代表的拍摄方式确定处理。取而代之，强行执行第一拍摄处理。
另外，输入设备16可以配有强行排除合并功能的按钮。也就是说，按下这个按钮是为了强行排除第三和第四拍摄处理，以便作为拍摄处理，只选择第一或第二拍摄处理。
这是因为，当执行合并功能时，图像拾取器件4输出的摄取图像具有比图像拾取器件4上的像素的个数少的像素计数。因此，在一些情况下，从这样摄取图像中生成的输出图像与没有执行合并功能生成的输出图像相比，在某种程度上具有较差的亮度。由于这个原因，通过使拍摄者确定是否强行排除第三和第四拍摄处理，可以提高数字摄像机1提供的便利性。应该注意到，当按下强行行排除第三和第四拍摄处理的按钮时，在如图45所示的流程图所代表的拍摄方式确定处理中，处理流程从步骤S525转到步骤S533，而不是从步骤S525转到步骤S527。
如上所述，在如图45所示的流程图的步骤S521中，通过执行第一拍摄处理进行第一确定处理，以便根据获取适当输出图像的条件确定是否可以获取适当输出图像。同样，在步骤S524中，通过执行第二拍摄处理进行第二确定处理，在步骤S527中，通过执行第三拍摄处理进行第三确定处理，和在步骤S530中，通过执行第四拍摄处理进行第四确定处理。如下的描述将说明每个获取适当输出图像的条件。
首先，为了将输出图像看作适当输出图像，要求输出图像不含有手抖引起的模糊部分。
为了防止在输出图像上由手抖生成模糊部分，在第一拍摄处理中，必须防止在在一次拍摄操作中获得的一个摄取图像上由手抖生成模糊部分。另一方面，在第二、第三、和第四拍摄处理中，必须防止在每一个都是在拍摄操作中高速获得的N个摄取图像的每一个上由手抖生成模糊部分。
也就是说，如果摄取图像的某一个包括，例如，来源于手抖的模糊部分，从包括带有模糊部分的摄取图像的数个摄取图像中生成的输出图像也包括模糊部分。因此，由图像拾取器件4获得的摄取图像必须不是与通过进行第一、第二、第三或第四拍摄处理作为拍摄处理获取摄取图像无关的包括模糊部分的图像。为了防止在图像拾取器件4获得的摄取图像(或，严格地说，一个摄取图像)上由手抖生成模糊部分，获取一个摄取图像的曝光时间与由于手抖使数字摄像机1移动某个距离所花费的时间相比必须很短。
一般说来，在利用手持摄像机进行的拍摄操作中，如果在曝光时间的计算中将35mm摄像机取作模型，比1/焦距(用mm表示)短的曝光时间(用秒表示)被认为是致使摄取图像不包括手抖引起的模糊部分的曝光时间。因此，让我们假设，例如，应用在在曝光时间的计算中取作模型的35mm摄像机中的透镜的焦距是30mm。在这种情况下，以不超过1/30秒的曝光时间获得的摄取图像不包括由手抖引起的模糊部分。
现在，让我们将应用在数字摄像机1中的透镜2的焦点转换成应用在在曝光时间的计算中取作模型的35mm摄像机中的透镜的焦距。在这种情况下，表达焦距的倒数的表达式1/(焦距)被称为阈值Tblur，阈值Tblur用作在摄取图像上不会导致由手抖引起的模糊部分的曝光时间的上限。因此，由于从这样的摄取图像中生成的输出图像也不包括由手抖引起的模糊部分，可以获得适当输出图像。在如下的描述中，将要求获取单个摄取图像的曝光时间等于或短于阈值Tblur的条件适当地称为获取适当输出图像的第一条件。
通过如上所述将阈值Tblur设置在应用在在曝光时间的计算中取作模型的35mm摄像机中的透镜的焦距的倒数上，在实际拍摄操作中，可以在不检验实际是否发生手抖(或实际发生的手抖是否在允许范围内)的情况下确定是否可以获得不受手抖影响的图像。更具体地说，如果以比如上所述设置的阈值Tblur长的曝光时间获取单个摄取图像，即，如果以相对低的快门速度获取单个摄取图像，可以确定从摄取图像中生成的输出图像将包括由手抖引起的模糊部分。另一方面，如果以比如上所述设置的阈值Tblur短的曝光时间获取单个摄取图像，即，如果以相对高的快门速度获取单个摄取图像，可以确定从摄取图像中生成的输出图像将不包括由手抖引起的模糊部分。
应该注意到，由于手抖的程度因人而异，输入设备16可以配有改变阈值Tblur的幅度的按钮。因此，拍摄者可以操作这个按钮，将阈值Tblur的幅度改变成基于拍摄者进行的操作的值。另外，如前所述，输入设备16还将有关对应用在输入设备16中的变焦按钮进行操作设置的焦距的信息提供给控制电路18。利用有关焦距的信息，控制电路18进行诸如转换成在曝光时间的计算中用作模型的35mm摄像机和计算焦距的倒数之类的处理。
如果在以手抖校正拍摄方式进行的第二、第三、或第四拍摄处理中连续获得的每个摄取图像极暗，以致于摄取图像上的拍摄对象不可避免地埋没在噪声之中，在图像生成处理中从这样摄取图像中生成的输出图像也将不避免地是暗的和埋没在噪声之中。因此，不可能获得不包括由手抖引起的模糊部分的适当输出图像或清晰输出图像。
因此，为了获取适当输出图像，连续获得的数个摄取图像的每一个必须不是暗到使拍摄对象埋没在噪声之中。
为了获取不那么暗的摄取图像，如前所述，将以适当曝光时间Tp获得的单个摄取图像的亮度的1/Mmax用作使图像上的拍摄对象不可避免地埋没在噪声之中的引起这么暗图像的暗度级的上限。通过以这种方式将暗度级的上限设置在单个摄取图像的亮度的1/Mmax上，如果摄取图像的曝光时间至少等于适当曝光时间Tp的1/Mmax，以该曝光时间获得的摄取图像决不会变得太暗，以致于摄取图像不可避免地埋没在噪声之中。
如上所述，如果摄取图像的曝光时间至少等于作为适当曝光时间Tp乘以代表暗度级的上限的1/Mmax得出的乘积计算的值Tp/Mmax，以该曝光时间获得的摄取图像决不会变得太暗，以致于摄取图像上的拍摄对象不可避免地埋没在噪声之中。在如下的描述中，将要求获取摄取图像的曝光时间等于或长于作为适当曝光时间Tp乘以代表暗度级的上限的1/Mmax得出的乘积计算的值Tp/Mmax的条件适当地称为获取适当输出图像的第二条件。
接着，将从图像拾取器件4为输出摄取图像而进行的处理开始到操作结束的最短时间间隔称为输出最小时间。也就是说，将图像拾取器件4的最高速连续图像拾取时间的图像拾取间隔称为输出最小时间。在这种情况下，如果在以手抖校正拍摄方式进行的第二、第三、或第四拍摄处理中高速连续获得的每个摄取图像的曝光时间短于输出最小时间，即，如果摄取图像的曝光时间短于输出最小时间，在获取数个摄取图像的高速图像拾取处理中生成消隐间隔。消隐间隔是获取特定摄取图像的曝光结束到获取紧接在特定摄取图像之后的摄取图像的曝光开始之间的间隔。在消隐间隔内，不进行图像拾取(或曝光)处理。
消隐间隔对输出图像的影响的细节将在后面加以说明。简而言之，如果生成消隐间隔和拍摄对象发生移动，拍摄对象在消隐间隔期间的移动不会反映在输出图像上。因此，生成的输出图像是显示拍摄对象不连续移动的不自然图像。其结果是，不能生成不包括手抖引起的模糊部分的适当输出图像或清晰图像。
因此，为了获取适当输出图像，在高速图像拾取处理中获取摄取图像的曝光时间必须至少等于输出最小时间。在如下的描述中，将要求获取摄取图像的曝光时间至少等于输出最小时间的条件适当地称为获取适当输出图像的第三条件。
应该注意到，如果不执行合并功能，输出最小时间等于上述图像拾取器件4的连续图像拾取间隔极限t0。如果在图像拾取器件4中执行2×2合并功能，输出最小时间等于t0/4，和如果在图像拾取器件4中执行3×3合并功能，输出最小时间等于t0/9。
接着，参照如图46所示的流程图，如下的描述将说明在如图45所示的流程图的步骤S521中执行，产生通过执行第一拍摄处理是否可以获取适当输出图像的确定结果的第一确定处理。应该注意到，控制电路18控制第一拍摄处理的执行。
如图46所示的流程图从步骤S541开始，在步骤S541中，控制电路18产生第一条件是否得到满足，即，实际曝光时间Ta是否等于或短于阈值Tblur的确定结果。在这种情况下，在如图44所示的流程图的步骤S502中已经确定了实际曝光时间Ta。另一方面，阈值Tblur是控制电路18从如上所述有关焦距的信息中求出的量。
如果在步骤S541中产生的确定结果指示实际曝光时间Ta等于或短于阈值Tblur，第一确定处理的流程转到步骤S542，在步骤S542中，控制电路18产生像指示通过执行第一拍摄处理可以获取适当输出图像的结果那样第一确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
另一方面，如果在步骤S541中产生的确定结果指示实际曝光时间Ta长于阈值Tblur，第一确定处理的流程转到步骤S543，在步骤S543中，控制电路18产生像指示通过执行第一拍摄处理不能获取适当输出图像的结果那样第一确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
如果实际曝光时间Ta等于或短于阈值Tblur，以实际曝光时间Ta进行的图像拾取处理将导致不包括由手抖引起的模糊部分的摄取图像，因此，可以从这样的摄取图像中生成清晰输出图像。反过来说，另一方面，如果实际曝光时间Ta长于阈值Tblur，以这样长曝光时间获得的摄取图像可能包括每一个由手抖引起的模糊部分。因此，很有可能不能从这样的摄取图像中生成清晰输出图像。
接着，参照如图47所示的流程图，如下的描述将说明在如图45所示的流程图的步骤S524中执行，产生是否可以从通过进行没有执行合并功能的第二拍摄处理获得的数个摄取图像当中获取适当输出图像的确定结果的第二确定处理。应该注意到，控制电路18控制第二拍摄处理的执行。
如图47所示的流程图从步骤S551开始，在步骤S551中，控制电路18将两个阈值，即，阈值Tp/Mmax和阈值t0的较大者用作高速进行的图像拾取处理中获取摄取图像的曝光时间Ttmp。阈值Tp/Mmax是作为适当曝光时间Tp乘以代表暗度级的上限的1/Mmax得出的乘积计算的值。另一方面，阈值t0等于不执行合并功能的情况的输出最小时间。阈值t0是以最高速度进行的连续图像拾取处理的图像拾取间隔的阈值。应该注意到，如前所述，代表暗度级的上限的值1/Mmax是作为求出阈值Tp/Mmax的值按照数字摄像机1的性能确定的值。同样，代表以最高速度进行的连续图像拾取处理的图像拾取间隔的极限的阈值t0也是按照数字摄像机1的性能确定的值。假设控制电路18已经识别出1/Mmax的值和阈值t0。在如图44所示的流程图的步骤S505中已经求出了求出阈值Tp/Mmax的适当曝光时间Tp。
通过将以最高速度进行的图像拾取处理中获取摄取图像的曝光时间Ttmp设置在两个阈值，即，阈值Tp/Mmax和阈值t0的较大者上，曝光时间Ttmp同时满足第二和第三条件。如上所述，第二条件是要求获取摄取图像的曝光时间Ttmp等于或长于Tp/Mmax的值的条件。另一方面，第三条件是要求获取摄取图像的曝光时间Ttmp至少等于输出最小时间t0的条件。也就是说，在这种情况下，第二条件用关系Ttmp≥Tp/Mmax表达，而第三条件用关系Ttmp≥t0表达。
让我们假设，例如，关系t0＜Tp/Mmax成立。在这种情况下，在步骤S551中，曝光时间Ttmp被设置在Tp/Mmax的值上，或Ttmp＝Tp/Mmax。因此，曝光时间Ttmp同时满足表达第二条件的关系Ttmp≥Tp/Mmax和表达第三条件的关系Ttmp≥t0。另一方面，如果关系Tp/Mmax＜t0成立，在步骤S551中，曝光时间Ttmp被设置在t0的值上，或Ttmp＝t0。因此，曝光时间Ttmp也同时满足表达第二条件的关系Ttmp≥Tp/Mmax和表达第三条件的关系Ttmp≥t0。
在步骤S551的处理完成之后，第二确定处理的流程转到下一个步骤S552，在步骤S552中，控制电路18产生曝光时间Ttmp是否等于或短于阈值Tblur的确定结果。曝光时间Ttmp等于或短于阈值Tblur的事实表明，对于曝光时间Ttmp，第一条件得到满足。曝光时间Ttmp既不等于也不短于阈值Tblur的事实表明，对于曝光时间Ttmp，第一条件未得到满足。
应该注意到，在这种情况下，在步骤S551中，曝光时间Ttmp已经设置在两个阈值，即，阈值Tp/Mmax和阈值t0的较大者上。也就是说，曝光时间Ttmp已经设置在满足第二和第三条件两者的最小值上。然后，在步骤S552中，检查曝光时间Ttmp，产生曝光时间Ttmp是否等于或短于阈值Tblur，即，曝光时间Ttmp是否满足表达第一条件的关系Ttmp≤Tblur的确定结果。在步骤S551中设置的曝光时间Ttmp不满足第一条件的事实表明，如果一个较短的曝光时间Ttmp用作满足第一条件的值，该较短的曝光时间Ttmp将肯定不满足第二或第三条件。因此，随着在步骤S551中将曝光时间Ttmp设置在两个阈值，即，阈值Tp/Mmax和阈值t0的较大者上，在接在步骤S551之后的步骤S552中执行，产生曝光时间Ttmp是否满足表达第一条件的关系Ttmp≤Tblur的确定结果的处理从另一个角度可以看作与产生满足第一条件的曝光时间Ttmp是否也满足第二和第三条件的确定结果的处理等效的处理。
如果在步骤S552中产生的确定结果指示曝光时间Ttmp等于或短于阈值Tblur，第二确定处理的流程转到步骤S553，在步骤S553中，控制电路18将实际曝光时间Ta除以一个摄取图像的曝光时间Ttmp计算出第二拍摄处理的摄取图像计数Na。也就是说，控制电路18计算等于商Ta/Ttmp的Na值。摄取图像计数Na代表在第二拍摄处理的高速图像拾取处理中获得的摄取图像的个数。实际曝光时间Ta是以普通拍摄方式进行的拍摄处理的曝光时间。换句话说，满足关系Na＝Ta/Ttmp的摄取图像计数Na是利用在步骤S551中设置和在步骤S552中查明是满足第一到第三条件的曝光时间的曝光时间Ttmp确定的。因此，在第二拍摄处理中以高图像拾取速度获得的Na个摄取图像每一个的曝光时间Ttmp可以用满足第一到第三条件的商Ta/Na表达。也就是说，摄取图像计数Na具有以这种方式随曝光时间Ta而改变的值。应该注意到，摄取图像计数Na是作为相除运算的结果，通常通过截去该结果小数点后面的小数部分获得的。
在步骤S553的处理完成之后，第二确定处理的流程转到步骤S554，在步骤S554中，控制电路18产生像指示通过执行第二拍摄处理可以获取适当输出图像的结果那样第二确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
另一方面，如果在步骤S552中产生的确定结果指示曝光时间Ttmp长于阈值Tblur，第二确定处理的流程转到步骤S555，在步骤S555中，控制电路18产生像指示通过执行第二拍摄处理不能获取适当输出图像的结果那样第二确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
接着，参照如图48所示的流程图，如下的描述将说明在如图45所示的流程图的步骤S527中执行，产生是否可以从通过进行执行2×2合并功能的第三拍摄处理获得的数个摄取图像当中获取适当输出图像的确定结果的第三确定处理。应该注意到，控制电路18控制第三拍摄处理的执行。
如图48所示的流程图从步骤S561开始，在步骤S561中，控制电路18将两个阈值，即，阈值Tp/Mmax和阈值t0/4的较大者用作高速进行的图像拾取处理中获取摄取图像的曝光时间Ttmp。阈值Tp/Mmax是作为适当曝光时间Tp乘以代表暗度级的上限的1/Mmax得出的乘积计算的值。另一方面，阈值t0/4等于执行2×2合并功能的情况的输出最小时间。应该注意到，如前所述，代表暗度级的上限的值1/Mmax是作为求出阈值Tp/Mmax的值按照数字摄像机1的性能确定的值。同样，代表以最高速度进行的连续图像拾取处理的图像拾取间隔的极限的阈值t0也是按照数字摄像机1的性能确定的值。假设控制电路18已经识别出1/Mmax的值和阈值t0。在如图44所示的流程图的步骤S505中已经求出了求出阈值Tp/Mmax的适当曝光时间Tp。
在步骤S561的处理完成之后，第三确定处理的流程转到下一个步骤S562，在步骤S562中，控制电路18产生曝光时间Ttmp是否等于或短于阈值Tblur的确定结果。
不超过阈值Tblur的曝光时间Ttmp满足应用于曝光时间Ttmp的第一条件。另一方面，超过阈值Tblur的曝光时间Ttmp不满足应用于曝光时间Ttmp的第一条件。
与如图47所示的流程图所代表的第二确定处理的情况一样，随着在步骤S561中将曝光时间Ttmp设置在两个阈值，即，阈值Tp/Mmax和阈值t0/4的较大者上，在接在步骤S561之后的步骤S562中执行，产生曝光时间Ttmp是否满足表达第一条件的关系Ttmp≤Tblur的确定结果的处理可以当作被认为与产生满足第一条件的曝光时间Ttmp是否也满足第二和第三条件的确定结果的处理等效的处理。
如果在步骤S562中产生的确定结果指示曝光时间Ttmp等于或短于阈值Tblur，第三确定处理的流程转到步骤S563，在步骤S563中，控制电路18将实际曝光时间Ta除以一个摄取图像的曝光时间Ttmp计算出第三拍摄处理的摄取图像计数Nb。也就是说，控制电路18计算等于商Ta/Ttmp的Nb值。摄取图像计数Nb代表在第三拍摄处理的高速图像拾取处理中获得的摄取图像的个数。换句话说，满足关系Nb＝Ta/Ttmp的摄取图像计数Nb是利用在步骤S561中设置和在步骤S562中查明是满足第一到第三条件的曝光时间的曝光时间Ttmp确定的。因此，在第三拍摄处理中以高图像拾取速度获得的Nb个摄取图像每一个的曝光时间Ttmp可以用满足第一到第三条件的商Ta/Nb表达。也就是说，摄取图像计数Nb具有以这种方式随曝光时间Ta而改变的值。应该注意到，摄取图像计数Nb是作为相除运算的结果，通常通过截去该结果小数点后面的小数部分获得的。
在步骤S563的处理完成之后，第三确定处理的流程转到步骤S564，在步骤S564中，控制电路18产生像指示通过执行第三拍摄处理可以获取适当输出图像的结果那样第三确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
另一方面，如果在步骤S562中产生的确定结果指示曝光时间Ttmp长于阈值Tblur，第三确定处理的流程转到步骤S565，在步骤S565中，控制电路18产生像指示通过执行第三拍摄处理不能获取适当输出图像的结果那样第三确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
接着，参照如图49所示的流程图，如下的描述将说明在如图45所示的流程图的步骤S530中执行，产生是否可以从通过进行执行3×3合并功能的第四拍摄处理获得的数个摄取图像当中获取适当输出图像的确定结果的第四确定处理。应该注意到，控制电路18控制第四拍摄处理的执行。
如图49所示的流程图从步骤S571开始，在步骤S571中，控制电路18将两个阈值，即，阈值Tp/Mmax和阈值t0/9的较大者用作高速进行的图像拾取处理中获取摄取图像的曝光时间Ttmp。阈值Tp/Mmax是作为适当曝光时间Tp乘以代表暗度级的上限的1/Mmax得出的乘积计算的值。另一方面，阈值t0/9等于执行3×3合并功能的情况的输出最小时间。应该注意到，如前所述，代表暗度级的上限的值1/Mmax是作为求出阈值Tp/Mmax的值按照数字摄像机1的性能确定的值。同样，代表以最高速度进行的连续图像拾取处理的图像拾取间隔的极限的阈值t0也是按照数字摄像机1的性能确定的值。假设控制电路18已经识别出1/Mmax的值和阈值t0。在如图44所示的流程图的步骤S505中已经求出了求出阈值Tp/Mmax的适当曝光时间Tp。
在步骤S571的处理完成之后，第四确定处理的流程转到下一个步骤S572，在步骤S572中，控制电路18产生曝光时间Ttmp是否等于或短于阈值Tblur的确定结果。
不超过阈值Tblur的曝光时间Ttmp满足应用于曝光时间Ttmp的第一条件。另一方面，超过阈值Tblur的曝光时间Ttmp不满足应用于曝光时间Ttmp的第一条件。
与如图47所示的流程图所代表的第二确定处理的情况一样，随着在步骤S571中将曝光时间Ttmp设置在两个阈值，即，阈值Tp/Mmax和阈值t0/9的较大者上，在接在步骤S571之后的步骤S572中执行，产生曝光时间Ttmp是否满足第一条件的确定结果的处理可以当作被认为与产生满足第一条件的曝光时间Ttmp是否也满足第二和第三条件的确定结果的处理等效的处理。
如果在步骤S572中产生的确定结果指示曝光时间Ttmp等于或短于阈值Tblur，第四确定处理的流程转到步骤S573，在步骤S573中，控制电路18将实际曝光时间Ta除以一个摄取图像的曝光时间Ttmp计算出第四拍摄处理的摄取图像计数Nc。也就是说，控制电路18计算等于商Ta/Ttmp的Nc值。摄取图像计数Nc代表在第四拍摄处理的高速图像拾取处理中获得的摄取图像的个数。换句话说，满足关系Nc＝Ta/Ttmp的摄取图像计数Nc是利用在步骤S571中设置和在步骤S572中查明是满足第一到第三条件的曝光时间的曝光时间Ttmp确定的。因此，在第四拍摄处理中以高图像拾取速度获得的Nc个摄取图像每一个的曝光时间Ttmp可以用满足第一到第三条件的商Ta/Nc表达。也就是说，摄取图像计数Nc具有以这种方式随曝光时间Ta而改变的值。应该注意到，摄取图像计数Nc是作为相除运算的结果，通常通过截去该结果小数点后面的小数部分获得的。
在步骤S573的处理完成之后，第四确定处理的流程转到步骤S574，在步骤S574中，控制电路18产生像指示通过执行第四拍摄处理可以获取适当输出图像的结果那样第四确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
另一方面，如果在步骤S572中产生的确定结果指示曝光时间Ttmp长于阈值Tblur，第四确定处理的流程转到步骤S575，在步骤S575中，控制电路18产生像指示通过执行第四拍摄处理不能获取适当输出图像的结果那样第四确定处理的确定结果。最后，使执行处理的控制返回到调用程序。
在如图44所示的流程图的步骤S506中，根据前面分别参照如图46到49所示的流程图说明的第一、第二、第三、和第四确定处理之一的结果，控制电路18进行拍摄方式确定处理，作出将执行第一、第二、第三、和第四拍摄处理的哪一个作为可以用来生成清晰输出图像的拍摄处理的决定。
下面将更详细地说明第一到第三条件。
首先，如果一个摄取图像的曝光时间Ttmp(可以是Ta、Ta/Na、Ta/Nb或Ta/Nc)满足第一条件，即，如果关系Ttmp≤Tblur成立，尽管作为高速进行的图像拾取处理的结果获得的每个摄取图像变成暗图像或欠亮度曝光的图像，也可以获得每一个不受手抖影响的摄取图像。其结果是，可以从这样的摄取图像中生成清晰输出图像。
也就是说，如果摄取图像包括由手抖引起的模糊部分，从这样的摄取图像中生成的输出图像也不可避免地包括由手抖引起的模糊部分。但是，如果第一条件得到满足，摄取图像就不包括由手抖引起的模糊部分。因此，从这样的摄取图像中生成的输出图像也不包括由手抖引起的模糊部分。
换句话说，通过确定曝光时间Ttmp是否等于或短于用作不使手抖产生影响的曝光时间的上限的阈值Tblur，可以选择能够获取不受手抖影响的摄取图像的拍摄处理(或作出进行这样拍摄处理的决定)。如上所述，曝光时间Ttmp可以是在进行第一拍摄处理的假设下获得的摄取图像的实际曝光时间Ta、在进行第二拍摄处理的假设下获得的Na个摄取图像每一个的实际曝光时间Ta/Na、在进行第三拍摄处理的假设下获得的Nb个摄取图像每一个的实际曝光时间Ta/Nb、或在进行第四拍摄处理的假设下获得的Nc个摄取图像每一个的实际曝光时间Ta/Nc。
然后，如果每个摄取图像的曝光时间Ttmp(可以是Ta/Na、Ta/Nb、或Ta/Nc)满足第二条件，即，如果关系Ttmp≥Tp/Mmax成立，尽管作为高速进行的图像拾取处理的结果获得的每个摄取图像变成暗图像或欠亮度曝光的图像，也可以获得每一个不会暗到使图像埋没在噪声之中的摄取图像。其结果是，可以从这样的摄取图像中生成清晰输出图像。
也就是说，如果每个摄取图像极暗，摄取图像的像素值会不可避免地埋没在噪声之中，使得从这样摄取图像中生成的输出图像也不可避免地变成存在大量噪声的图像。但是，如果第二条件得到满足，每个摄取图像变成不会太暗，以致于可以从这样的摄取图像中生成清晰输出图像的图像。
换句话说，通过确定曝光时间Ttmp是否等于或长于作为适当曝光时间Tp乘以1/Mmax得出的乘积计算的阈值Tp/Mmax，可以选择能够获取不太暗的摄取图像的拍摄处理(或作出进行这样拍摄处理的决定)。阈值Tp/Mmax是不使图像埋没在噪声之中的曝光时间的下限。按照定义，阈值Tp/Mmax是生成亮度级等于以适当曝光时间Tp摄取的图像的亮度级的1/Mmax的图像的曝光时间。如上所述，曝光时间Ttmp可以是在进行第二拍摄处理的假设下获得的Na个摄取图像每一个的实际曝光时间Ta/Na、在进行第三拍摄处理的假设下获得的Nb个摄取图像每一个的实际曝光时间Ta/Nb、或在进行第四拍摄处理的假设下获得的Nc个摄取图像每一个的实际曝光时间Ta/Nc。
如果用作第三条件的关系Ta/Na≥t0、Ta/Nb≥t0/4或Ta/Nc≥t0/9成立，可以防止在高速进行的图像处理期间产生消隐间隔。因此，可以生成适当的(或自然的)的输出图像。
也就是说，如果在高速进行的图像处理中获得的每个摄取图像的曝光时间Ttmp超过输出最小时间，会生成消隐间隔。如上所述，曝光时间Ttmp可以是Ta/Na、Ta/Nb或Ta/Nc。输出最小时间是图像拾取器件4能够输出摄取图像的最短时间间隔。消隐间隔是获取特定摄取图像的曝光结束到获取紧接在特定摄取图像之后的摄取图像的曝光开始之间的间隔。在消隐间隔内，不进行图像拾取处理。更具体地说，如果图像拾取器件4不执行合并功能，会生成{t0-(Ta/Na)}秒的消隐间隔。如果图像拾取器件4执行2×2合并功能，会生成{t0/4-(Ta/Nb)}秒的消隐间隔。如果图像拾取器件4执行3×3合并功能，会生成{t0/9-(Ta/Nb)}秒的消隐间隔。如果拍摄的对象正在移动，拍摄对象在消隐间隔内所作的移动一点也不会反映在摄取图像上。因此，如果从这样的摄取图像中生成输出图像，输出图像不可避免地变成不连续的图像。但是，通过加强第三条件，可以生成显得连续的适当输出图像。
也就是说，通过核实曝光时间Ta/Na至少等于t0，核实曝光时间Ta/Nb至少等于t0/4，或核实曝光时间Ta/Nc至少等于t0/9，可以选择在高速进行的图像拾取处理中不生成消隐间隔和能够生成适当输出图像的拍摄处理(或作出进行这样拍摄处理的决定)。如前所述，曝光时间Ta/Na是在进行第二拍摄处理的假设下获得的Na个摄取图像每一个的曝光时间。同样，实际曝光时间Ta/Nb是在进行第三拍摄处理的假设下获得的Nb个摄取图像每一个的曝光时间。类似地，实际曝光时间Ta/Nc是在进行第四拍摄处理的假设下获得的Nc个摄取图像每一个的曝光时间。另一方面，记号t0表示图像拾取器件4的连续图像拾取间隔极限。
下面参照图50说明消隐间隔对输出图像的影响。
图50是示出从4个摄取图像中生成输出图像的情况的图形，4个摄取图像的每一个是作为作为摄取沿着垂直方向(或向下方向)以恒定速度V移动的拍摄对象的画面的处理，以曝光时间Ttmp(＝Ta/4)高速进行的图像拾取处理的结果获得的。应该注意到，时间0表示高速进行的图像拾取处理的开始时间，和位置0表示拍摄对象在时间0时的位置。在这种情况下，拍摄对象在时间t时的位置可以用表达式t×V表达。
让我们假设，例如，以曝光时间Ta摄取上述以恒定速度V移动的拍摄对象的画面，和生成作为图像拾取处理的结果获得的一个摄取图像作为输出图像。在这种情况下，摄取拍摄对象的图像，在位置0到位置Ta×V的范围内以包括模糊部分(或，严格地说，运动模糊部分)的形式产生摄取图像和输出图像。当像上述那样摄取以恒定速度V移动的拍摄对象的画面时，拍摄对象的画面变成由于移动而模糊的图像，与拍摄者的预期一致，给人们留下一种所谓对象拖着一条尾巴的印象。这样的运动模糊具有与由手抖引起的模糊的特性不同的特性。
在图50中，摄取图像500A-500D是在没有生成消隐间隔的状态或满足第三条件的状态下获得的4个摄取图像，和输出图像500E是利用摄取图像500A-500D进行图像生成处理生成的输出图像。另一方面，摄取图像501A-501D是在生成消隐间隔δ的状态或不满足第三条件的状态下获得的4个摄取图像，和输出图像501E是利用摄取图像501A-501D进行图像生成处理生成的输出图像。
首先，考虑没有生成消隐间隔的情况。第1摄取图像500A是用时间t0到时间Ta/4的曝光时间获取的，和第2摄取图像500B是用时间Ta/4到时间2×Ta/4的曝光时间获取的。然后，第3摄取图像500C是用时间2×Ta/4到时间3×Ta/4的曝光时间获取的，和第4摄取图像500D是用时间3×Ta/4到时间4×Ta的曝光时间获取的。
在通过进行这样的连续图像拾取处理获得的摄取图像500A-500D的每一个上，运动拍摄对象生成如图50所示的粗黑线所指的给人们留下一种对象拖着一条尾巴的印象的运动模糊部分。更具体地说，在如图50所示的摄取图像500A上，在位置0到位置Ta×V/4的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。在摄取图像500B上，在位置Ta×V/4到位置2×Ta×V/4的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。在摄取图像500C上，在位置2×Ta×V/4到位置3×Ta×V/4的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。在摄取图像500D上，在位置3×Ta×V/4到位置Ta×V的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。
在从这些摄取图像500A-500D中生成的输出图像500E上，在位置0到位置Ta×V的范围内以连续运动模糊部分的形式摄取运动拍摄对象的图像。生成如上所述包括给人们留下一种对象拖着一条尾巴的印象的运动模糊部分的输出图像是与拍摄者的预期一致的。
接着，考虑生成消隐间隔δ的情况。第1摄取图像501A是用时间t0到时间Ta/4的曝光时间获取的。随后，由于在第1摄取图像501A的曝光时间结束到第2摄取图像501B的曝光时间开始之间生成消隐间隔δ，第2摄取图像501B是用时间Ta/4+δ到时间2×Ta/4+δ的曝光时间获取的。然后，由于在第2摄取图像501B的曝光时间结束到第3摄取图像501C的曝光时间开始之间生成消隐间隔δ，第3摄取图像501C是用时间2×Ta/4+2×δ到时间3×Ta/4+2×δ的曝光时间获取的。最后，由于在第3摄取图像501C的曝光时间结束到第4摄取图像501D的曝光时间开始之间生成消隐间隔δ，第4摄取图像501D是用时间3×Ta/4+3×δ到时间Ta+3×δ的曝光时间获取的。
在通过进行这样的连续图像拾取处理获得的摄取图像501A-501D的每一个上，运动拍摄对象生成如图50所示的粗黑线所指的给人们留下一种对象拖着一条尾巴的印象的运动模糊部分。更具体地说，在如图50所示的摄取图像501A上，在位置0到位置Ta×V/4的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。在摄取图像501B上，在位置(Ta/4+δ)×V到位置(2×Ta/4+δ)×V的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。在摄取图像501C上，在位置(2×Ta/4+2×δ)×V到位置(3×Ta/4+2×δ)×V的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。在摄取图像501D上，在位置(3×Ta/4+3×δ)×V到位置(Ta+3×δ)×V的范围内以运动模糊部分的形式摄取运动拍摄对象的图像。
在从这些摄取图像501A-501D中生成的输出图像501E上，在位置0到位置(Ta+3×δ)×V的范围内以不连续运动模糊部分的形式摄取运动拍摄对象的图像。如上所述以图像包括不连续运动模糊部分的形式生成的输出图像501E是不自然的，这样的不自然图像会引起拍摄者产生不相容的感觉。
如上所述，如果生成消隐间隔，输出图像会变得不自然。为了解决这个问题，本实施例选择了满足第三条件的拍摄处理(或作出进行这样拍摄处理的决定)，以便不生成消隐间隔。这样，本实施例就能够生成适当(或自然)的输出图像。应该注意到，如果不存在运动拍摄对象，就不会导致运动模糊。因此，不必确定第三条件是否得到满足。通过，例如，利用图像拾取器件4摄取拍摄对象的图像，在监视器11上显示作为整个脸部的图像，然后对整个脸部进行运动检测处理以识别脸部上的任何运动，可以确定是否存在运动拍摄对象。
如上所述，光圈值F是固定的，和实际曝光时间Ta是根据通过应用在输入设备16中的曝光校正盘设置的曝光校正值，从适当曝光时间Tp中求出的。但是，应该注意到，也可以将实际曝光时间Ta固定在适当曝光时间Tp上，和按照通过曝光校正盘设置的曝光校正值调整的是光圈值F。
也就是说，按照如上所述的内容，一般说来，通过采用称为光圈优先方式的方法校正曝光，在光圈优先方式，通过使光圈值F保持在不变值上和改变实际曝光时间Ta(或快门速度)校正曝光。但是，曝光也可以通过，例如，采用称为快门速度优先方式的方法来校正。在快门速度优先方式中，将实际曝光时间Ta(或快门速度)固定在适当曝光时间Tp上，不改变它，当操作曝光校正盘设置曝光校正值时，按照设置的曝光校正值调整光圈值F。
初看起来，感到如上所述使实际曝光时间Ta保持在适当曝光时间Tp上的快门速度优先方式是不适合于作为将实际曝光时间Ta设置在与适当曝光时间Tp不同的值上的摄像机的如图1所示的数字摄像机1的方式。但是，如下所述，快门速度优先方式可应用于如图1所示的数字摄像机1。
也就是说，在快门速度优先方式中，让我们假设，例如，从作为拍摄对象的亮度值由曝光计19测量的值中求出的光圈值是F′，和适当曝光时间是Tp′。
当光圈值是F′和适当曝光时间是Tp′时，对于通过曝光校正盘设置的曝光校正值是0的第一种情况，在作为代表拍摄方式确定处理的流程图的如图44所示的流程图的步骤S505中，光圈值F、适当曝光时间Tp和实际曝光时间Ta被分别确定为F′、Tp′和Tp′。
对于通过曝光校正盘设置的曝光校正值是1级欠亮度的第二种情况，在如图44所示的流程图的步骤S505中，光圈值F、适当曝光时间Tp和实际曝光时间Ta被分别确定为比F′低1级的光圈值、2Tp′和Tp′。
也就是说，在光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理中击中图像拾取器件4的光量等于在光圈值F被设置在比F′低1级的光圈值上和适当曝光时间Tp被设置在Tp′的两倍上的图像拾取处理中击中图像拾取器件4的光量。现在，作为光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理的1级欠处理，让我们考虑光圈值F被设置在比F′低1级的光圈值上和适当曝光时间Tp被设置在曝光时间Tp′的两倍上的图像拾取处理的1级欠处理。在这种情况下，光圈值F被设置在比F′低1级的光圈值上和适当曝光时间Tp被设置在曝光时间Tp′的两倍上的图像拾取处理的1级欠处理是光圈值F被设置在比F′低1级的光圈值上和实际曝光时间Ta被设置在等于Tp′的(1/2)(Tp)上的图像拾取处理。
光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理的1级欠处理等效于光圈值F被设置在比F′低1级的值上和实际曝光时间Ta被设置在Tp′的图像拾取处理。也就是说，光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理的1级欠处理等效于光圈值F被设置在比F′低1级的光圈值上和适当曝光时间Tp被设置在曝光时间Tp′的两倍上的图像拾取处理的1级欠处理。这样处理的适当曝光时间Tp是2Tp′。光圈值F被设置在比F′低1级的光圈值上和实际曝光时间Ta被设置在曝光时间Tp′的图像拾取处理是光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理在快门速度优先方式中进行的1级欠处理。
因此，当通过曝光校正盘设置的曝光校正值代表1级欠亮度时，在快门速度优先方式中，进行光圈值F被设置在比F′低1级的光圈值上和实际曝光时间Ta被设置在曝光时间Tp′上的图像拾取处理。在拍摄方式确定处理中，通过将光圈值F、实际曝光时间Ta和适当曝光时间Tp分别设置在比F′低1级的值、固定在Tp′上的值和2Tp′上进行处理。
对于通过曝光校正盘设置的曝光校正值是2级欠亮度的第三种情况，在如图44所示的流程图的步骤S505中，光圈值F、适当曝光时间Tp和实际曝光时间Ta被分别确定为比F′低2级的光圈值、4Tp′和Tp′。
也就是说，在光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理中击中图像拾取器件4的光量等于在光圈值F被设置在比F′低2级的光圈值上和适当曝光时间Tp被设置在Tp′的四倍上的图像拾取处理中击中图像拾取器件4的光量。现在，作为光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理的2级欠处理，让我们考虑光圈值F被设置在比F′低2级的光圈值上和适当曝光时间Tp被设置在曝光时间Tp′的四倍上的图像拾取处理的2级欠处理。在这种情况下，光圈值F被设置在比F′低2级的光圈值上和适当曝光时间Tp被设置在曝光时间Tp′的四倍上的图像拾取处理的1级欠处理是光圈值F被设置在比F′低2级的光圈值上和实际曝光时间Ta被设置在等于Tp′的(1/4)(Tp)上的图像拾取处理。
光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理的2级欠处理等效于光圈值F被设置在比F′低2级的值上和实际曝光时间Ta被设置在Tp′的图像拾取处理。也就是说，光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′上的图像拾取处理的2级欠处理等效于光圈值F被设置在比F′低2级的光圈值上和适当曝光时间Tp被设置在曝光时间Tp′的四倍上的图像拾取处理的2级欠处理。这样处理的适当曝光时间Tp是4Tp′。光圈值F被设置在比F′低2级的光圈值上和实际曝光时间Ta被设置在曝光时间Tp′上的图像拾取处理是光圈值F被设置在F′上和适当曝光时间Tp被设置在Tp′的图像拾取处理在快门速度优先方式中进行的2级欠处理。
因此，当通过曝光校正盘设置的曝光校正值代表2级欠亮度时，在快门速度优先方式中，进行光圈值F被设置在比F′低2级的光圈值上和实际曝光时间Ta被设置在曝光时间Tp′上的图像拾取处理。在拍摄方式确定处理中，通过将光圈值F、实际曝光时间Ta和适当曝光时间Tp分别设置在比F′低2级的值、固定在Tp′上的值和4Tp′上进行处理。
至于3级欠亮度或1级过亮度、2级过亮度和3级过亮度，在快门速度优先方式中，以与如上所述的1级欠亮度和2级欠亮度相同的方式进行拍摄方式确定处理。
应该注意到，当执行合并功能时，由于数个像素值的累加，图像拾取器件4输出的像素值增加到比没有执行合并功能时输出的像素值大的值，和较大的像素值形成较亮的图像。因此，可以降低不会使图像不可避免地埋没在噪声之中的暗度级的极限1/Mmax，即，可以增大Mmax的值。也就是说，当执行合并功能时，可以将第二条件的阈值Tp/Mmax设置在比用于不执行合并功能的图像拾取处理的值小的值上。这是因为，即使摄取的图像是周边上比没有执行合并功能摄取的图像暗的图像，摄取的图像也很难埋没在噪声之中。
在如图44所示的流程图所代表的处理中，在步骤S505中，确定适当曝光时间Tp，然后，在接着的处理中使用适当曝光时间Tp。但是，步骤S505的处理未必要执行。在这种情况下，在处理中使用在步骤S502中确定的适当曝光时间Tp。
另外，按照本实施例，如图1所示的数字摄像机1配有具有半按下功能的释放按钮。但是，数字摄像机也可以是不带具有半按下功能的释放按钮的数字摄像机。在这种情况下，首先，进行处理以确定释放按钮是否已完全按下。然后，在与在步骤S502中执行的处理相似的处理中确定光圈值F、适当曝光时间Tp和实际曝光时间Ta。随后，进行步骤S506的拍摄方式确定处理。
在如上所述的例子中，应用在图像拾取器件4中的图像拾取器件4是单板传感器。从图像拾取器件4的每一个像素输出的色度信号中，生成每个像素具有三种色度信号的输出图像。但是，应该注意到，图像拾取器件4未必是单板传感器。例如，也可以应用每个像素输出三种颜色，即，R、G和B颜色的三板图像拾取器件。
另外，本发明不仅适用于如上所述的数字静止摄像机，而且通过增加处理速度也适用于诸如数字视频摄像机之类的其它设备。
构成上述每个流程图的步骤的处理当然可以按照描述这些步骤的顺序沿着时间轴进行。但是，应该注意到，这些处理未必沿着时间轴进行。例如，也可以同时地和单独地进行这些处理。另外，每个流程图的一部分或全部可以通过执行计算机(或CPU 15)或专有硬件中的程序来执行。
最后，描述本发明的权利要求范围。本发明涉及在如图44所示的流程图的步骤S506中执行的拍摄方式确定处理。从如图44所示的流程图中可明显看出，如果在步骤S506之前已经获得适当曝光时间Tp、实际曝光时间Ta和有关焦距的信息，就可以执行步骤S506的拍摄方式确定处理。如前所述，有关焦距的信息是用于求出用作不使手抖产生影响的曝光时间的极限的阈值Tblur的信息。
存在许多种传统曝光确定方法，它们是获取适当曝光时间Tp和实际曝光时间Ta，以及获取有关焦距的信息，作为用于求出用作不使手抖产生影响的曝光时间的极限的阈值Tblur的信息的方法。这些方法的任何一种都适用于获取适当曝光时间Tp、实际曝光时间Ta，和有关焦距的信息。也就是说，获取适当曝光时间Tp、实际曝光时间Ta，和有关焦距的信息的方法不是特指的。
如上所述，本发明涉及自动确定进行哪一种拍摄处理来拍摄拍摄对象的拍摄方式确定处理。拍摄处理可以是以与普通数字摄像机进行的拍摄处理相同的方式在普通拍摄方式中进行的第一拍摄处理。拍摄处理也可以是在手抖校正拍摄方式中进行的第二、第三或第四拍摄处理。在第二、第三或第四拍摄处理中，高速进行连续图像拾取处理，以便相继获得数个摄取图像。以这种方式获得的每个摄取图像比以适当曝光时间摄取的图像暗。然后，通过，例如，叠加或内插摄取图像生成清晰输出图像。
也就是说，在如图45所示的流程图的步骤S521中执行的第一确定处理是本发明的重要处理。更具体地说，第一确定处理是产生是否很有可能由于手抖在输出图像上产生模糊部分的确定结果的重要处理，输出图像是在已经作出在普通拍摄方式中进行第一拍摄处理作为拍摄处理的决定的假设下生成的。这个第一确定处理导致人们选择在普通拍摄方式中进行第一拍摄处理作为拍摄处理，或在手抖校正拍摄方式中进行第二、第三或第四拍摄处理作为拍摄处理(或作出这样选择的决定)。如上所述，在第二、第三或第四拍摄处理中，高速进行连续图像拾取处理，以便相继获得数个摄取图像。以这种方式获得的每个摄取图像比以适当曝光时间摄取的图像暗。然后，通过，例如，叠加或内插摄取图像生成清晰输出图像。这一点是本发明的关键点。
因此，从作为每一个比以适当曝光时间摄取的图像暗的图像，通过高速进行连续图像拾取处理获得的数个摄取图像中生成清晰输出图像的方法(或处理)不局限于上述的图像生成处理。而是，可以采用包括任何传统方法在内的任何其它方法。
权利要求
1.一种作为含有通过摄取一个输入图像生成输出图像的第一方式、和通过相继摄取数个输入图像生成输出图像的第二方式的控制方法为拍摄设备提供的控制方法，借此，将作为在以所述第一方式进行拍摄操作的假设下、所述拍摄操作摄取输入图像的曝光时间的第一曝光时间和作为在以所述第二方式进行所述拍摄操作的假设下、所述拍摄操作摄取数个输入图像的曝光时间的第二曝光时间的至少一个与预定阈值相比较，以便产生以选为拍摄方式的所述第一方式进行拍摄操作还是以选为拍摄方式的所述第二方式进行拍摄操作的确定结果。
2.根据权利要求1所述的为拍摄设备提供的控制方法，所述控制方法包含第一确定步骤，产生所述第一曝光时间是否等于或短于第一阈值的确定结果；第一决定步骤，如果在所述第一确定步骤中产生的所述确定结果表示所述第一曝光时间等于或短于所述第一阈值，则作出以所述第一方式摄取图像的决定；和第二决定步骤，如果在所述第一确定步骤中产生的所述确定结果表示所述第一曝光时间既不等于也不短于所述第一阈值，则作出以所述第二方式摄取图像的决定。
3.根据权利要求2所述的为拍摄设备提供的控制方法，其中，所述第一阈值是不使手抖对以所述第一方式摄取的所述输入图像产生影响的曝光时间的极限。
4.根据权利要求2所述的为拍摄设备提供的控制方法，其中，所述第一阈值是用在摄取所述输入图像的图像拾取时间上的基于焦距的值。
5.根据权利要求2所述的为拍摄设备提供的控制方法，其中，所述控制方法进一步包括第二确定步骤，如果在所述第一确定步骤中产生的所述确定结果表示所述第一曝光时间既不等于也不短于所述第一阈值，则产生所述第二曝光时间是否等于或短于第二阈值的确定结果；和执行所述第二决定步骤，如果在所述第二确定步骤中产生的所述确定结果表示所述第二曝光时间等于或短于所述第二阈值，则作出以所述第二方式摄取图像的决定。
6.根据权利要求5所述的为拍摄设备提供的控制方法，其中，所述第二阈值是不使手抖对以所述第二方式摄取的所述输入图像产生影响的曝光时间的极限。
7.根据权利要求5所述的为拍摄设备提供的控制方法，其中，所述第二阈值是用在摄取所述输入图像的图像拾取时间上的基于焦距的值。
8.根据权利要求5所述的为拍摄设备提供的控制方法，所述控制方法进一步包括第三决定步骤，如果在所述第一确定步骤中产生的所述确定结果表示所述第一曝光时间既不等于也不短于所述第一阈值并且如果在所述第二确定步骤中产生的所述确定结果表示所述第二曝光时间既不等于也不短于所述第二阈值，则作出以所述第一方式摄取图像的决定。
9.根据权利要求5所述的为拍摄设备提供的控制方法，其中所述第二确定步骤进一步包括产生所述第二曝光时间是否等于或长于基于从拍摄对象的亮度中求出的适当曝光时间的阈值和基于所述拍摄设备以最高速度进行的相继图像拾取操作的图像拾取间隔的阈值的较大者的确定结果的步骤；和所述第二决定步骤是如果在所述第二确定步骤中产生的所述确定结果表示所述第二曝光时间等于或短于所述第二阈值并且如果所述第二曝光时间等于或长于基于从所述拍摄对象的亮度中求出的适当曝光时间的所述阈值和基于所述拍摄设备以最高速度进行的相继图像拾取操作的所述图像拾取间隔的所述阈值的较大者，则作出以所述第二方式摄取图像的决定的步骤。
10.根据权利要求5所述的为拍摄设备提供的控制方法，借此，在所述第二确定步骤中，将基于从拍摄对象的亮度中求出的适当曝光时间的阈值和基于所述拍摄设备以最高速度进行的相继图像拾取操作的图像拾取间隔的阈值的较大者用作所述第二阈值，并且将所述第二曝光时间与所述阈值相比较，以便产生所述第二曝光时间是否等于或小于所述阈值的确定结果。
11.根据权利要求1所述的为拍摄设备提供的控制方法，其中，所述拍摄设备含有摄取所述输入图像的图像拾取装置并且在所述第二方式中检测所述图像拾取装置摄取的数个所述输入图像的位置之间的位置关系；根据所述被检测的位置关系识别所述输入图像的像素，作为用于推测所述输出图像上每个像素的位置上的像素值的像素；和通过根据所述输入图像上所述被识别的像素的像素值推测所述输出图像上每个像素的位置上的像素值，生成所述输出图像。
12.根据权利要求11所述的为拍摄设备提供的控制方法，借此，在所述第二方式中，所述拍摄设备通过将所述输入图像之一用作参考图像，检测数个所述输入图像的位置之间的位置关系，其中，用作参考图像的所述输入图像是在摄取数个所述输入图像的时间的中间的中间时间上摄取的输入图像或在与所述中间时间接近的时间上摄取的输入图像。
13.根据权利要求11所述的为拍摄设备提供的控制方法，借此，在所述第二方式中，所述拍摄设备生成在不包括投影在所述输入图像上的拍摄对象的范围的周围部分的部分而包括在所述范围内的中心部分上观测的、和像素间距小于所述输入图像每一个的像素间距的图像作为所述输出图像，
14.根据权利要求13所述的为拍摄设备提供的控制方法，借此，在所述第二方式中，像像素计数等于所述图像拾取装置的像素计数的图像那样生成输出图像。
15.根据权利要求11所述的为拍摄设备提供的控制方法，借此，在所述第二方式中，应用在所述拍摄设备中的所述图像拾取装置将所述图像拾取装置拥有的数个像素当作一个组来对待，以便输出像素计数少于所述图像拾取装置拥有的像素的个数的输出图像。
16.根据权利要求11所述的为拍摄设备提供的控制方法，借此，在所述第二方式中，所述拍摄设备根据每个像素具有一个像素值的数个输入图像上的像素的像素值，推测每个像素具有三个像素值的所述输出图像上每个像素的位置上的三个像素值。
17.根据权利要求1所述的为拍摄设备提供的控制方法，所述控制方法包含产生所述第二曝光时间是否等于或长于基于从拍摄对象的亮度中求出的适当曝光时间的阈值的确定结果的确定步骤；如果在所述确定步骤中产生的所述确定结果表示所述第二曝光时间等于或长于所述阈值，则作出以所述第二方式摄取图像的决定的第一决定步骤；和如果在所述确定步骤中产生的所述确定结果表示所述第二曝光时间既不等于也不长于所述阈值，则作出以所述第一方式摄取图像的决定的第二决定步骤。
18.根据权利要求1所述的为拍摄设备提供的控制方法，所述控制方法包含产生所述第二曝光时间是否等于或长于基于所述拍摄设备以最高速度进行的相继图像拾取操作的图像拾取间隔的阈值的确定结果的确定步骤；如果在所述确定步骤中产生的所述确定结果表示所述第二曝光时间等于或长于所述阈值，则作出以所述第二方式摄取图像的决定的第一决定步骤；和如果在所述确定步骤中产生的所述确定结果表示所述第二曝光时间既不等于也不长于所述阈值，则作出以所述第一方式摄取图像的决定的第二决定步骤。
19.一种含有通过摄取一个输入图像生成输出图像的第一方式、和通过相继摄取数个输入图像生成输出图像的第二方式的为拍摄设备提供的控制设备，借此，将作为在以所述第一方式进行拍摄操作的假设下、所述拍摄操作摄取输入图像的曝光时间的第一曝光时间和作为在以所述第二方式进行所述拍摄操作的假设下、所述拍摄操作摄取数个输入图像的曝光时间的第二曝光时间的至少一个与预定阈值相比较，以便产生以选为拍摄方式的所述第一方式进行拍摄操作还是以选为拍摄方式的所述第二方式进行拍摄操作的确定结果。
20.一种作为含有通过摄取一个输入图像生成输出图像的第一方式、和通过相继摄取数个输入图像生成输出图像的第二方式的控制拍摄设备的程序由计算机执行的程序，借此，将作为在以所述第一方式进行拍摄操作的假设下，所述拍摄操作摄取输入图像的曝光时间的第一曝光时间、和作为在以所述第二方式进行所述拍摄操作的假设下，所述拍摄操作摄取数个输入图像的曝光时间的第二曝光时间的至少一个与预定阈值相比较，以便产生以选为拍摄方式的所述第一方式进行拍摄操作还是以选为拍摄方式的所述第二方式进行拍摄操作的确定结果。
全文摘要
本发明涉及通过自动确定能够生成清晰图像的拍摄方式的拍摄设备的控制方法、控制设备和控制程序。如果第一曝光时间等于或短于第一阈值，控制电路18作出以第一方式摄取输入图像的决定。第一曝光时间是在以摄取一个输入图像生成一个输出图像的第一方式进行拍摄操作的假设下，摄取一个输入图像所需的曝光时间。另一方面，如果第一曝光时间既不等于也不短于第一阈值，控制电路18在第二曝光时间等于或短于第二阈值的前提下，作出以第二方式摄取数个输入图像的决定。第二曝光时间是在以相继摄取数个输入图像生成一个输出图像的第二方式进行拍摄操作的假设下，相继摄取每个输入图像所需的曝光时间。本发明可应用于，例如，数字摄像机。
文档编号H04N101/00GK1910907SQ200580003128
公开日2007年2月7日 申请日期2005年10月18日 优先权日2004年11月25日
发明者大木光晴 申请人:索尼株式会社