摄像装置和摄像方法与流程

本发明涉及在较长时间内进行摄影时，根据在摄影中途依次取得的多帧的图像数据生成合成图像数据的摄像装置和摄像方法。

背景技术：

通过在数字相机等的摄像装置上搭载相加合成或比较亮合成等的图像处理功能，使得新用户也能够简单地一边通过实时取景对天体照片、烟花、光线艺术等的光线轨迹进行确认，一边良好且简单地进行摄影。在通过多重曝光而保留光线轨迹并摄影的情况下，主要使用相加合成或比较亮合成功能。

作为比较亮合成，在合成多个图像时，比较同一像素位置的像素的像素等级(明亮度等级)，通过采用明亮的像素来生成合成图像数据。例如，在日本国公开专利2013-062740号公报(以下，称为专利文献1)中提出了如下的摄像装置：用户能够一边通过实时取景来视觉确认摄影时的经过图像，一边进行绮丽地保留光线轨迹的摄影。

此外，在日本国公开专利2013-172372号公报(以下，称为专利文献2)中还提出了如下的摄像装置：其通过第1张及其以后的摄影图像的平均亮度差来变更合成处理，从而进一步减少失败。作为一般的抑制随机噪声的方法已知相加平均合成。在日本国专利第5446847号公报(以下，称为专利文献3)中，提出了使用相加平均合成的运动体摄影方法。在日本国公开专利2014-212415号公报(以下，称作专利文献4)中提出了如下的摄像装置，通过组合比较亮合成和比较暗合成，从而能够分别独立地调整背景或光迹的明亮度。

技术实现要素：

发明欲解决的课题

通过使用在专利文献2、4中提出的摄影方法，拍摄光线的轨迹变得容易。然而，在进行光迹的摄影时，以比较亮合成作为基础，因而在第1张摄影得到的图像上噪声等级会被左右(在专利文献1中也相同)。因此，为了得到降低了图像噪声的合成图像，如何能够以低噪声拍摄最初的第1张是关键点，难以提高ISO感光度进行摄影。反之若抑制噪声并以相加平均合成作为基础，则在背景较暗的场所每当实施相加平均处理时，光线的轨迹都会逐渐变淡。

本发明就是鉴于上述情况而完成的，其目的在于提供一种在根据明亮度合成多个图像以得到合成图像时，能够进一步抑制随机噪声，能够绮丽地保留光线的轨迹的摄像装置和摄像方法。

用于解决课题的手段

本发明的第1方面的摄像装置具有：摄像部，其对被摄体像摄像而生成图像数据；图像数据存储部，其存储图像数据；第1累积合成处理部，其将通过上述摄像部生成的图像数据和存储于上述图像数据存储部中的图像数据按照每个像素进行第1累积合成处理，并更新像素数据；第2累积合成处理部，其将通过上述摄像部生成的图像数据和存储于上述图像数据存储部中的图像数据按照每个像素进行第2累积合成处理，并更新像素数据；以及控制部，其对构成通过上述摄像部生成的图像数据的各像素数据的等级与规定的阈值等级进行比较，并根据上述比较结果，进行用于进行如下选择的控制：选择对构成通过上述摄像部生成的图像数据的各像素数据是通过上述第1累积合成处理部进行第1累积合成处理还是通过上述第2累积合成处理部进行第2累积合成处理。

本发明的第2方面的摄像方法包括：通过摄像部对被摄体像摄像而生成图像数据，存储图像数据，对构成通过上述摄像部生成的图像数据的各像素数据的等级与规定的阈值等级进行比较，根据上述比较结果，选择对构成通过上述摄像部生成的图像数据的各像素数据进行第1累积合成处理还是进行第2累积合成处理，在选择了上述第1累积合成处理的情况下，将通过上述摄像部生成的图像数据和存储于上述图像数据存储部中的图像数据按照每个像素进行第1累积合成处理，并更新像素数据，在选择了上述第2累积合成处理的情况下，将通过上述摄像部生成的图像数据和存储于上述图像数据存储部中的图像数据按照每个像素进行第2累积合成处理，并更新像素数据。

发明的效果

根据本发明，可提供一种在根据明亮度合成多个图像以得到合成图像时，能够进一步抑制随机噪声，并能够绮丽地保留光线的轨迹的摄像装置和摄像方法。

附图说明

图1A和图1B是表示本发明的第1实施方式的相机的主要电气结构的框图。

图2是表示本发明的第1实施方式的相机的摄像元件的滤色器的结构的俯视图。

图3是本发明的第1实施方式的相机的变形例，是表示摄像元件为3传感器方式的结构的图。

图4是表示本发明的第1实施方式的相机的摄影动作的流程图。

图5是表示本发明的第1实施方式的相机的像素阈值设定的动作的流程图。

图6是表示本发明的第1实施方式的相机中的像素阈值等级的设定的图。

图7是表示本发明的第1实施方式的相机中的像素阈值等级的设定的变形例的图。

图8是表示本发明的第1实施方式的相机的每种颜色的感光度差的例的曲线图。

图9是表示本发明的第2实施方式的相机的摄影动作的流程图。

图10是表示本发明的第2实施方式的相机的像素阈值设定的动作的流程图。

图11是表示在本发明的第1和第2实施方式的相机中，通过比较亮合成和比较暗合成而生成的途中经过图像的图。

图12是表示在本发明的第1和第2实施方式的相机中，根据像素等级等选择性切换比较亮合成和比较暗合成而生成的途中经过图像的图。

具体实施方式

以下，作为本发明的第1实施方式说明应用于数字相机中的示例。该相机具有摄像部，通过该摄像部将被摄体像变换为图像数据，并根据该变换后的图像数据，使被摄体像在配置于主体的背面的显示部上进行实时取景显示。摄影者观察实时取景显示，从而确定构图或快门时机。在释放操作时，将图像数据记录于记录介质。在选择了再现模式时，记录于记录介质中的图像数据能够再现显示于显示部上。

此外，该相机在选择了累积合成模式(例如，实时B门等的长时间曝光模式)等的模式时，在从用户的曝光开始的指示到曝光结束的指示为止的期间内，以规定时间间隔从摄像部读出图像数据，使用该读出的图像数据，进行比较亮合成或相加平均合成等合成处理，在进行了摄影结束指示时，将合成处理后的图像数据记录于外部存储器。被摄体为星星等的情况下，成为记录有光迹等的图像。

进而，该相机能够通过自动或手动来设定像素等级的阈值，按照每个像素判定是比阈值亮还是暗，并根据该判定结果，进行比较亮合成或进行相加平均合成等，从多个合成处理中选择任意的合成处理。通过该处理，能够降低图像的噪声。

图1A和图1B是表示第1实施方式的相机的主要电气结构的框图。镜头镜筒部1内具有镜头单元2、快门单元3、摄像元件4、镜头驱动马达5、快门驱动马达6、马达控制部7、闪光灯发光部8和闪光灯控制部9。另外，镜头镜筒部1既可以与相机主体构成为一体，也可以在相机主体上拆装自如。

镜头单元2具有单焦点镜头或变焦镜头，使被摄体像在摄像元件4上成像。镜头单元2内的对焦镜头通过镜头驱动马达5而能够沿光轴方向移动。快门单元3配置于镜头单元2的光轴上，是焦平面快门等机械快门。该快门单元3通过快门驱动马达6而打开和关闭。快门单元3打开时，来自镜头单元2的被摄体光束集中于摄像元件4上，而快门单元3关闭时被摄体光束被遮挡。

马达控制部7根据来自后述的测距/测光部17的控制信号，进行镜头驱动马达5和快门驱动马达6的驱动控制。即，根据测距/测光部17的测距结果，进行自动焦点调节以使镜头单元2的对焦镜头成为对焦状态。此外，根据测距/测光部17的测光结果，进行快门单元3的快门速度控制以成为适当曝光。另外，在设定了累积合成模式的情况下，根据用户的摄影开始指示，使快门单元3成为打开状态，并根据用户的摄影结束指示，关闭快门单元3。此外，图1A中未示出光圈和光圈驱动马达，可以根据来自测距/测光部17的控制信号进行光圈控制以成为适当曝光。

摄像元件4例如是CMOS图像传感器/CCD图像传感器等的固体摄像元件，多个像素呈二维状排列于其上，对光学像摄像以生成图像数据。即，对通过镜头单元2而成像的被摄体的光学像进行光电变换，并进行A/D变换而生成图像数据，将其输出给信号处理部13。

本实施方式中，使用了如下的单板式CMOS摄像元件，其在摄像元件4的摄像面上配置有滤色器、例如图2所示的RGB拜耳排列滤色器。然而，不限于这种单板式，也可以使用图3所示的使用3板式的摄像元件的方式、使用多板的摄像元件的方式等其他的摄像方式。即，可以按照每种波长进行分光来配置多个摄像元件。在图3所示的示例中，使用3个棱镜，将被摄体光束分解为3色(RGB)，通过摄像元件4a接收蓝色光(B)并进行光电变换，通过摄像元件4b接收绿色光(G)并进行光电变换，通过摄像元件4c接收红色光(R)并进行光电变换，分别生成图像数据并输出给信号处理部13。

此外，摄像元件4具有元件快门(也称作电子快门)，能够电子地控制曝光时间。通过使用元件快门，能够尽量减小对多个图像连续摄影时的图像间的间隔。此外，根据摄影得到的图像进行合成处理，由此能够使高速移动的被摄体的轨迹连续显像。作为摄像元件4的曝光开始时机或曝光结束时机，既可以使用该元件快门，也可以构成为将前述的快门单元3与元件快门组合起来。在设定了累积合成模式的情况下，在从用户的摄影开始指示到摄影结束指示为止的期间内，通过元件快门控制每个规定时间的曝光。

将镜头单元2、快门单元3、摄像元件4和后述的信号处理部13统一作为摄像部。该摄像部对被摄体像摄像并生成图像数据。另外，作为摄像部，至少具有摄像元件4即可。

闪光灯发光部8具有氙管等发光部，对被摄体照射辅助光。闪光灯控制部9根据来自系统控制部11的控制信号，控制辅助光的发光时机或发光量。另外，作为闪光灯发光部8，除了氙管之外，还可以使用LED等其他的发光元件等。

控制处理器10由CPU(Central Processing Unit：中央处理单元)或具有DSP(Digital Signal Processor：数字信号处理器)等的ASIC(Application Specific Integrated Circuit：专用集成电路)构成。另外，如后所述，控制处理器10具备各种功能，不限于1个电路基板，当然还可以由多个电路基板构成。此外，各种功能(例如，像素比较部、阈值设定部、选择控制部等)不限于硬件电路，既可以由CPU通过存储于闪存83的控制程序实现，也可以通过DSP的程序实现。

控制处理器10内具有系统控制部11、信号处理部13、摄像控制部15、测距/测光部17、像素比较部19、阈值设定部25、保存方式选择部31、选择控制部33、图像处理部35、显示控制部51、I/F控制部53、存储卡控制部55和输入控制部57。

摄像控制部15根据来自系统控制部11的控制信号，对摄像元件4进行摄像控制。作为摄像控制，进行曝光开始、曝光结束、从各像素的像素数据的读出。

信号处理部13对从摄像元件4输出的图像数据进行基于信号放大或相关双采样的噪声降低处理、A/D变换等的处理，并且主要由硬件电路构成。另外，信号处理部13可以构成为在摄像元件4内部进行同样的处理。通过信号处理部13进行处理后的图像数据被输出给像素比较部19和系统控制部11。

测距/测光部17根据来自系统控制部11的控制信号，生成用于将镜头单元2内的对焦镜头驱动至对焦位置的控制信号或用于成为适当曝光的快门速度等的曝光控制信号。即，系统控制部11根据来自信号处理部13的图像数据，例如通过对比度法输出用于自动焦点调节的控制信号，并根据图像数据计算被摄体亮度值，根据该被摄体亮度值，运算快门速度、ISO感光度等用于成为适当曝光的曝光控制值，输出控制信号。此外，图1A未示出相位差传感器和被摄体照度传感器，然而可以根据相位差检测传感器和被摄体照度传感器的输出结果，通过系统控制部11运算自动焦点调节的马达控制量或曝光控制值，并向测距/测光部17输出控制信号。

系统控制部11用于综合控制相机整体，例如构成为包含CPU及其周边电路等。系统控制部11控制摄像控制部15内的摄像驱动电路，并进行摄像元件4的控制。当系统控制部11被设定了累积合成模式，并且进行了摄影操作时，进行控制以使摄像元件依次生成一系列的图像数据群。

保存方式选择部31选择将通过摄影取得的图像数据(包含通过累积合成模式进行了处理的图像数据)记录于存储卡73时的保存方式。在菜单画面显示时，用户对操作按钮单元75进行操作，由此设定保存方式。该设定的保存方式存储于闪存83，因此在保存图像数据时读出存储于闪存83中的保存方式并使用。

阈值设定部25根据来自系统控制部11的控制信号，设定每种颜色的判定阈值等级。像素阈值设定部27按照每个像素，根据像素数据的值，设定在确定进行比较亮合成或是进行相加平均合成时使用的像素阈值(参见图4的S7、图9的S8)。差量阈值设定部29用于后述的第2实施方式中，根据合成图像的像素等级和此次取得图像的像素等级的差量，设定在确定进行比较亮合成或进行相加平均合成时使用的差量阈值(参见图9的S8)。此外，关于像素阈值和差量阈值，根据图像的保存方式选择的结果，还在考虑到白平衡确定部47的输出结果的情况下设定(参见图5的S51、S57、S59、图10的S51、S57、S59、S60)。

像素比较部19具有像素等级比较部21和像素差量比较部23。像素等级比较部21比较在像素阈值设定部27中设定的像素阈值与从摄像元件4读出的像素(像素)数据的等级，并将该结果输出给选择控制部33。像素比较部19作为像素比较部发挥功能，其判定构成通过摄像部生成的图像数据的各像素数据的等级是否在规定阈值等级以上(参见图4的S15)。

选择控制部33根据像素比较部19的比较结果，选择是进行相加平均合成还是进行比较亮合成处理，并输出给图像合成部37(参见图4的S15、S17、S19、S21)。选择控制部33作为选择控制部发挥功能，其根据像素比较部的判定结果进行用于选择对构成通过摄像部生成的图像数据的各像素数据是通过相加平均合成进行相加平均还是通过比较亮合成部进行比较亮合成的控制。

此外，选择控制部33作为选择控制部发挥功能，其在判定为构成通过摄像部生成的图像数据的各像素数据的等级在所设定的阈值等级以上时，进行控制以对构成通过摄像部生成的图像数据的各像素数据进行比较亮合成，而在构成通过摄像部生成的图像数据的各像素数据的等级低于规定的阈值等级时，进行控制以对构成通过摄像部生成的图像数据的各像素数据进行相加平均(参见图4的S15、S17、S19)。

像素差量比较部23用于后述的第2实施方式中，其对合成图像的像素等级与此次取得图像的像素等级的差量和在差量阈值设定部29设定的阈值进行比较，并将该结果输出给选择控制部33。选择控制部33根据像素比较部19的比较结果，选择进行相加平均合成还是进行比较亮合成处理，并输出给图像合成部37(参见图9的S16、S17、S19、S21)。

图像处理部35具有用于合成多个图像数据的图像合成部37、以及对来自摄像元件4的RAW数据实施显像处理等的图像处理的显像处理部45。

图像合成部37具有进行相加平均合成处理的相加平均合成部39、进行比较亮合成处理的比较亮合成部41、和进行相加合成处理的相加合成部43。另外，本实施方式中，具有这3个合成部，然而不限于此，也可以是相加平均合成部39与比较亮合成部41或相加平均合成部39与相加合成部43等2个部的组合。

相加平均合成部39通过硬件电路构成，其进行按照2个图像数据的各自对应的每个像素将像素数据相加后除以2，并将像素数据置换为该运算结果(相加平均值)的合成处理。该相加平均合成部39作为相加平均合成部发挥功能，其将通过摄像部生成的图像数据与存储于图像数据存储部(例如，参见DRAM85)中的图像数据按照每个像素进行相加平均，并更新存储于图像数据存储部的图像数据中的进行了相加平均后的像素数据。

比较亮合成部41通过硬件电路构成，其进行按照2个图像数据的各自对应的每个像素而对像素数据进行比较，并置换为明亮一方的像素数据的合成处理。比较亮合成部41作为比较亮合成部发挥功能，其将通过摄像部生成的图像数据与存储于图像数据存储部中的图像数据按照每个像素进行比较亮合成，并更新存储于图像数据存储部中的图像数据中的进行了比较亮合成后的像素数据。相加合成部43通过硬件电路构成，其进行按照2个图像数据的各自对应的每个像素将像素数据相加，并将像素数据置换为该运算结果(相加值)的合成处理。

图像合成部37根据来自选择控制部33的指示，执行相加平均合成、比较亮合成或相加合成。图像合成部37在每当从摄像部生成了合成对象的图像数据时(例如，图4的S13中，每当进行第2张起的图像的读出时)，都反复进行对应于选择控制部33的指示的合成处理。

显像处理部45具有白平衡确定部47和变换处理部49，根据来自系统控制部11的指示，基于所设定的信息对通过图像合成部37合成的图像数据实施显像处理。虽然没有具体图示，在变换处理部49中，进行阴影校正、伽马校正、失真校正、缺陷校正等各种校正处理或逆马赛克变换处理等处理。

此外，白平衡确定部47对图像数据实施公知的白平衡处理。白平衡处理以G像素的等级为基准，以使得利用白色来显示白色的方式，以规定的比率对R像素和B像素的像素数据进行乘法运算。该白平衡(规定的比率)被输出给阈值设定部25，在保存形式是显像数据的情况下，用于每种颜色的像素阈值的计算时。

关于是保存显像处理部45的显像处理后的图像数据，还是记录来自摄像部的RAW数据，根据保存方式选择部31的选择结果来确定。根据该确定，根据系统控制部11的指示而保存于闪存83或外部存储器(例如，存储卡73)等的存储装置中。另外，还能够保存显像处理后的数据和RAW数据的双方。

显示控制部51进行控制，该控制用于将显像处理部45的显像处理后的图像数据或相机的各种设定信息等显示于外部监视器65等或背面LCD(液晶显示器：Liquid Crystal Display)、监视器61、EVF(电子取景器：Electronic View Finder)等上。通过影像用连接器63而连接到外部监视器65。这里没有进行图示，在相机上搭载有WiFi(Wireless Fidelity：无线保真技术)等的无线接口的情况下，可以通过无线接口而显示于用户的智能手机或笔记本PC(Personal Computer：个人计算机)上。

I/F(Interface)控制部53控制与相机连接的外部设备的接口。根据所连接的外部设备，存在USB接口、WiFi或Bluetooth(注册商标)等的各种规格，I/F控制部53能够对应于这些规格与外部设备连接。

存储卡控制部55通过外部存储器连接器71而对于存储卡73进行图像数据等数据的记录/读出控制。关于图像数据，如上所述，记录有显像处理后的图像数据或RAW数据。

操作按钮单元75具有用于供用户进行相机的各种设定，并实际进行摄影的物理的按压按钮或拨盘等。操作按钮单元75的操作状态通过输入控制部57被输入到系统控制部11。虽然没有图示，在相机上搭载有WiFi等的无线接口的情况下，可以通过无线接口从用户的智能手机或笔记本PC等进行远程操作。

DRAM(Dynamic Random Access Memory：动态随机存取存储器)85是可进行电改写的易失性存储器，用于暂时储存各种数据。DRAM85作为图像数据存储部，暂时储存图像数据，并且具有合成图像保存区域85a或单一帧图像保存区域85b。另外，单一帧图像保存区域85b可以不限于单一帧，而具备多个帧的保存区域。此外，只要能够暂时保存图像数据则不必一定是DRAM，还可以使用其他的存储器或多种存储器的组合。进而，这里没有图示，还可以包含针对其他的图像处理的条件或相机的条件等使用的区域。

闪存83是可电改写的非易失性存储器，其具有感光度比存储部83a、控制程序83b等的区域。闪存83根据来自系统控制部11的要求而读出所存储的数据或程序并输出。这里未做图示，闪存83内可以存储有相机的初始状态、用户设定、保存方式选择结果等。

总线81与系统控制部11、闪存83、DRAM85等连接，是数据或控制信号等的通信路径。图像数据等数据或来自系统控制部11的控制信号(指示)通过总线81被通信。

下面，使用图4和图5所示的流程图，说明本实施方式的动作。这些流程图(包含后述的图9、图10)通过由控制部11内的CPU根据闪存83内的控制程序83b控制相机内的各部而执行。

在相机被设定为夜景摄影模式等累积合成模式的状态下，按下了释放按钮时，开始图4、图5的流程图所示的图像合成处理。首先，进行DRAM的初始化(S1)。这里，对DRAM85等存储器部进行初始化，确保合成图像保存区域85a和单一帧图像保存区域85b。

接着，实施第1张的曝光，从摄像元件4中读出摄影图像数据(S3)。在该第1张的曝光的摄影条件为自动模式时，根据相机的程序线图进行设定并摄影。此外，在手动模式时按照用户所设定的摄影条件进行摄影。

在进行了第1张的曝光/读出后，接着将基准图像数据保存于合成图像保存区域(S5)。从摄像元件4读出的第1张的图像数据(此后称作基准图像数据)通过系统控制部11而暂时存储于DRAM85的合成图像保存区域85a。

在将基准图像保存于合成图像保存区域后，接着进行像素阈值设定(S7)。本实施方式中，按照每个像素来比较像素数据和像素阈值，并根据该比较结果选择是进行比较亮合成还是进行相加平均合成。在该步骤中，进行该像素阈值的设定。在进行该像素阈值的设定时，可以对各个RGB的颜色设定相同的值，而在本实施方式中，对各个RGB的颜色设定了不同的值。后面使用图5描述像素阈值的设定的具体动作。

设定了像素阈值后，接着判定从基准图像数据取得后开始是否经过了一定时间以上(S9)。如上所述，在步骤S3中取得了基准图像数据后，在步骤S7设定像素阈值。像素阈值的设定可以手动进行，但有时用户会在设定上耗费时间，经过相当长的时间。这种情况下，如果直接开始转移到第2张的摄影，则有时会拍摄到与在步骤S3中曝光的图像不同的图像。于是，在该步骤中，判定是否经过了一定时间，在已经过的情况下，在步骤S11再次取得基准图像数据。

步骤S9的判定结果为从基准图像数据取得后开始经过了一定时间以上的情况下，再次取得基准图像数据(S11)。这里，再次从摄像元件4取得图像数据，并将其保存于合成图像保存区域。

在步骤S11中，再次取得了基准图像数据时，或步骤S9的判定结果为从基准图像数据取得后开始未经过一定时间以上的时间的情况下，接下来对第2张起的图像进行曝光并读出(S13)。在该步骤中，将第2张起的单一帧图像的摄影图像从摄像元件4中读出。即，使用摄像元件4的元件快门，以规定的曝光时间进行了曝光时，从摄像元件4中读出图像数据。将该读出的第2张起的单一帧图像数据暂时保存于单一帧图像保存区域85b。此外，在读出了图像数据时，摄像元件4开始下一个曝光。

在对第2张起的图像进行了曝光/读出后，接着进行像素等级判定(S15)。即，每当进行了规定时间的曝光，都将所读出的图像数据(暂时保存于单一帧图像保存区域85b中)的各像素数据与像素阈值进行比较，判定像素数据是否大于像素阈值。该像素阈值使用在步骤S7(具体参见图5的S61)中确定的值。设定关于是否超过像素阈值的像素阈值比较结果标签，并传送给选择控制部33。

在步骤S15的判定结果为像素等级在像素阈值以下的情况下，对合成图像数据与当前帧图像数据进行相加平均合成(S17)。这种情况下是像素阈值比较结果标签被设定为未超过像素阈值的情况，选择控制部33选择图像合成部37中的相加平均合成部39，与合成图像的同一地址的像素数据进行相加平均合成处理。

另一方面，在步骤S15的判定结果为像素等级在像素阈值以上的情况下，对合成图像数据与当前帧图像数据进行比较亮合成(S19)。这种情况下是像素阈值比较结果标签被设定为超过像素阈值的情况，选择控制部33选择图像合成部37中的比较亮合成部41，比较合成图像的同一地址的像素数据，选择较明亮的像素数据。

在步骤S17中进行了相加平均合成时，或在步骤S19中进行了比较亮合成时，接下来置换合成图像保存区域的像素数据(S21)。在该步骤中，对于暂时保存于合成图像保存区域85a中的图像数据，将在步骤S15中被判定的像素置换为基于步骤S17或S19的合成处理的结果的像素数据。

进行了合成图像保存区域的像素数据的置换后，接下来判定是否结束了所有像素的判定(S23)。这里，判定是否已针对在步骤S13读出的图像数据的所有像素结束了步骤S15中的像素判定。该判定的结果为所有像素的判定尚未结束时，返回步骤S15，按照预先确定的顺序，对下一个像素进行像素等级判定，进行图像合成，并进行合成图像保存区域的像素数据的置换。

在步骤S23的判定结果为所有像素的判定都已结束的情况下，进行是否存在摄影结束指示的判定(S25)。在用户结束摄影的情况下，通过再次按下释放按钮等来进行摄影结束指示。于是，在该步骤中，根据操作按钮单元75的操作状态进行判定。另外，这里未做图示，在所有像素的判定都已结束的时刻，可以进行在背面LCD监视器61等的显示部上显示的合成图像的更新。

步骤S25的判定结果为不存在摄影结束指示的情况下，返回步骤S13。并且，等待下一个图像的曝光结束，在曝光结束时，如上所述从步骤S15起进行合成图像数据的生成。在存在摄影结束指示之前，都以规定时间间隔反复进行曝光/图像数据读出，而每当读出图像数据时，都进行像素等级判定，并根据判定结果，按照每个像素选择相加平均合成或比较亮合成，生成合成图像数据。

在步骤S25的判定结果为进行了摄影结束指示时，接着进行图像数据保存形式判定(S27)。这里，根据对保存方式选择部31设定的保存方式(是保存经过了显像处理的图像数据还是保存RAW数据)进行判定。

在步骤S27的判定结果为保存RAW数据的情况下，将合成图像数据保存于外部存储装置(S29)。这里，将从摄像元件4读出并在步骤S15～S23中生成的合成图像数据(直接以RAW数据的形式合成)记录于存储卡73等的外部存储装置中。

另一方面，在步骤S27的判定结果为保存显像数据的情况下，对合成图像数据进行显像处理(S31)。这里，显像处理部45对从摄像元件4读出并在步骤S15～S23中生成的合成图像数据(直接以RAW数据的形式合成)实施显像处理。

接下来，将进行了显像处理后的图像数据保存于外部存储装置(S33)。这里，将在步骤S31中进行了显像处理的图像数据记录于存储卡73等外部存储装置中。另外，在本流程图中，以显像数据和RAW数据中的任意一种保存形式进行保存，然而不限于此，例如也可以利用两种保存形式保存。

在步骤S29或S33中将图像数据保存到了外部存储装置时，结束摄影动作的流程。

接着，使用图5所示的流程图，说明步骤S7的像素阈值设定的具体动作。在该流程中，在对基准图像进行了摄影的状态(参见图4的S3)下，在像素阈值设定部27进行阈值的设定。

在进入到像素阈值设定的流程后，首先进行第1张(基准图像)的摄影条件的确认(S41)。这里，像素阈值设定部27确认基准图像的摄影条件，例如ISO感光度、AE评价值或图像的平均亮度等。

接着，判定阈值设定是自动还是手动进行(S43)。用户在菜单画面显示时对操作按钮单元75进行操作，从而能够设定是自动进行阈值设定还是手动进行阈值设定。在该步骤中，根据该设定状态进行判定。

在步骤S43的判定结果为设定为自动进行的情况下，计算基准(G)像素的阈值(S45)。这里，根据基准图像的摄影条件设定阈值。另外，这里使用RGB像素中的G像素的值计算阈值，而关于其他的像素，在步骤S55中进行计算。

另一方面，在步骤S43中的判定结果为设定了手动进行的情况下，显示第1张(基准图像)(S47)。这里，对基准图像数据进行显像处理，显示控制部51使背面LCD61等以能够由用户视觉确认到的方式显示进行了显像处理后的基准图像。

接着，由用户选择基准(G)像素阈值(S49)。即，用户指定图像上的任意位置，从而能够根据指定位置的像素等级设定基准阈值。

下面使用图6，说明用于由用户进行像素阈值设定的操作。图6是从相机的背面侧观察时的图，在相机的上部配置有释放按钮75a、变焦按钮75b、上下左右按钮75c和确定按钮75d。

在设定了累积图像模式的情况下，当基准图像的摄影结束时(参见步骤S3)，在背面LCD监视器61上，在基准图像上重叠显示出建议图像92(图6所示的例子中为“请确定像素阈值等级”)。此外，用于供用户指定像素阈值的指示器91也重叠显示于基准图像上。通过操作上下左右按钮75c，从而能够使该指示器91的位置在上下左右移动。

比像素阈值明亮的被摄体通过比较亮合成而存留于图像上，另一方面，比像素阈值暗的被摄体通过相加平均合成而逐渐变淡。于是，用户将指示器91对准到希望作为光迹而保留的被摄体中最暗的被摄体上，并操作确定按钮75d，从而能够设定像素阈值。例如，若将指示器91对准被摄体93c，则成为仅存在较明亮的被摄体的光迹，而若对准被摄体93b则成为中位以上的明亮度的被摄体的光迹，若对准被摄体93a则能够拍摄到包含较暗的被摄体的光迹。另外，这里所选择的像素阈值是对于G像素的像素阈值。关于R像素和B像素，在步骤S55、S59中进行计算。

另外，手动的设定不限于通过上下左右按钮75c的操作进行的情况。例如图7所示，可以通过触摸操作设定。这种情况下，预先在背面LCD监视器61上设置触摸面板。在图7所示的例子中，用户在基准图像的摄影后，一边观看基准图像，一边仅需通过手指95触摸希望作为基准的明亮度的被摄体，就能够设定像素阈值。

返回图5所示的流程图，在步骤S45中计算了G像素阈值，或在步骤S49中选择了G像素阈值后，接着从步骤S51起，进行每种颜色的像素阈值的计算。在说明步骤S51起的步骤的处理之前，说明按照每种颜色计算像素阈值。

如果将用于选择图像合成处理方法的像素阈值对于所有颜色都设定为相同值，则摄像元件4的感光度会按照每种颜色而不同，因而感光度较高的颜色(例如G)容易超过阈值，而感光度较低的颜色(例如R或B)超过阈值的频度则容易变小。例如，相同明亮度的被摄体光在通过RGB拜耳排列的摄像元件上时，有时会发生被摄体光中的G超过阈值，而R和B则不超过阈值的现象。这种情况下，如果进行显像处理则会在被摄体的轨迹上发生颜色附着。

此外，由于根据进行了摄影的被摄体确定白平衡，因而在显像处理时施加的增益会按照每种颜色而不同，还会发生显像后的图像上附着颜色的现象。因此，在像素阈值设定部27针对每种颜色进行使阈值最适当化的处理。例如，在作为保存方式选择了RAW数据的情况下，根据在闪存83的感光度比存储部83a中储存的摄像元件4的感光度比来确定每种颜色的阈值。

在选择了保存方式仅为显像图像的情况下，基于简化处理的观点，根据按照基准图像数据确定的白平衡增益值，确定每种颜色的像素阈值。另一方面，在选择了保存方式为RAW图像和显像图像的两方的情况下，可以通过RAW图像设定好阈值，然后进行显像。此外，不限于此，例如可以设置RAW保存用合成图像保存区域和显像保存用合成图像保存区域，对从摄像元件4读出的图像数据，设定2种像素阈值，从而生成RAW保存用合成图像和显像保存用合成图像这双方。

图8中作为一例，示出利用硅胶原材料制作摄像元件4，采用RGB拜耳方式的滤色器时的每种颜色的感光度差。通常情况下与G像素相比，R像素和B像素的感光度低。因此，设定G像素的值作为基准阈值，而作为感光度较低的R像素和B像素的每种颜色的阈值的设定，在接受到判断为G像素超过阈值的光量时，以判断为R像素和B像素也超过阈值的方式计算阈值。

另外，在闪存83的感光度比存储部83a仅预先存储标准的感光度比，这里所设定的每种颜色的阈值都可以根据基准图像的摄影条件(例如ISO感光度等)而自动地再次计算。像素阈值设定部27将最终计算出的每种颜色的阈值传送给像素比较部19。

在设定了每种颜色阈值后，可以实施基准图像数据的重新取得(参见图4的S9、S11)。其理由在于，特别在手动设定了像素阈值的情况下，根据用户进行设定所耗费的时间，累积合成的单一帧图像数据的连续性会与仅基准图像数据在时间上显著偏离。因此，只要是通过自动模式设定像素阈值，并且可确保基准图像数据与单一帧数据的时间连续性的条件，就可以不实施基准图像数据的重新取得。

返回图5的步骤S51，在该步骤进行图像数据保存形式的判定(S51)。这里，与步骤S27同样地，根据对保存方式选择部31设定的保存方式(是保存进行了显像处理的图像数据还是保存RAW数据)进行判定。

步骤S51的判定结果为图像数据保存形式是RAW数据的情况下，读出摄像元件4的感光度比(S53)。这里，读出在闪存83的感光度比存储部83a中存储的摄像元件4的RGB的感光度比。

接着，计算每种颜色的像素阈值(S55)。这里，对于在步骤S45中计算出的针对G像素的阈值或在步骤S49中选择的针对G像素的阈值，使用在步骤S53中读出的RGB的感光度比，计算R像素和B像素的像素阈值。

另一方面，步骤S51的判定结果为图像数据保存形式是显像数据的情况下，根据第1张(基准图像)确定白平衡(S57)。这里，白平衡确定部47确定对于基准图像数据的白平衡。

接下来，计算每种颜色的像素阈值(S59)。这里，对于步骤S45中计算出的针对G像素的阈值或步骤S49中选择的针对G像素的阈值，使用在步骤S57中取得的白平衡，计算R像素和B像素的像素阈值。

在步骤S55或S59中计算了每种颜色的像素阈值后，接着设定像素阈值(S61)。这里，像素阈值设定部27确定对于各RGB像素的像素阈值并存储。该存储的像素阈值用于像素等级比较部21中的比较时(参见图4的S15)。进行了像素阈值的设定后，返回原来的流程。

这样，在本发明的第1实施方式中，具有判定构成通过摄像部生成的图像数据的各像素数据的等级是否在规定的阈值等级以上的像素等级比较部21，选择控制部33根据像素等级比较部21的判定结果，进行对构成通过摄像部生成的图像数据的各像素数据是通过相加平均合成部39进行相加平均还是通过比较亮合成部41进行比较亮合成的控制(参见图4的S15、S17、S19)。

根据是否超过了基于像素阈值而设定的明亮度，选择性地应用相加平均和比较亮合成，因此能够抑制随机噪声，良好地保留光线的轨迹。

特别地，对于未超过所设定的像素阈值的较暗像素，实施相加平均合成处理，因此每次反复进行合成时都会嵌入到背景中而变得不再显著。另外，对于超过像素阈值的明亮像素实施比较亮合成处理，因此能够拍入光迹。

此外，本实施方式中，在摄像元件的摄像面上配置有滤色器，按照滤色器的每种颜色分别设定阈值等级。因此，在进行了累积合成处理的情况下，能够防止合成图像上发生颜色附着。另外，如图3所示，在按照每种波长分光而配置多个摄像元件的情况下，按照从摄像部读出的每种颜色分别设定阈值等级即可。

此外，本实施方式中，在通过摄像部生成的图像数据是RAW图像数据的情况下，根据从摄像部读出的每种颜色的感光度比分别设定阈值等级(参见图5的S51、S53、S55)。因此，在保存形式是RAW图像数据时进行累积合成处理的情况下，能够防止在合成图像上发生颜色附着。

此外，本实施方式中，在通过摄像部生成的图像数据是进行了白平衡处理的图像数据的情况下，根据白平衡按照从摄像部读出的每种颜色分别设定阈值等级(参见图5的S51、S57、S59)。因此，在保存形式是显像数据时进行了累积合成处理的情况下，能够防止在合成图像上发生颜色附着。

接着，使用图9和图10，说明本发明的第2实施方式。在第1实施方式中，以抑制暗部的随机噪声为目的实施了合成处理。对此，在第2实施方式中，对于比通过像素阈值设定部设定的等级更明亮的像素，也将一定范围的波动判定为随机噪声并实施相加平均处理。由此，可提供在明亮部处随机噪声也少的合成图像。

第2实施方式的电气结构与图1A和图1B同样，因而省略详细的说明。此外，作为本实施方式的动作，将第1实施方式的图4和图5所示的流程图置换为图9和图10所示的流程图即可。

另外，第2实施方式中，像素差量比较部23作为像素差量比较部发挥功能，其比较分别构成通过摄像部生成的第1图像数据与在其之前刚刚生成的第2图像数据的各像素数据中的相同像素位置的像素数据的差量。

此外，选择控制部33作为选择控制部发挥功能，其在构成第1图像数据的各像素数据的等级在规定的阈值等级以上，并且像素差量比较部23的比较结果为相同像素位置的像素数据的差量值在规定值的绝对值以上时，进行控制以对构成通过摄像部生成的图像数据的各像素数据进行比较亮合成(参见图9的S15、S17)，而在构成通过相加平均合成部进行了相加平均的图像数据的各像素数据的等级在规定的阈值等级以上，并且像素差量比较部23的比较结果为相同像素位置的像素数据的差量值的绝对值小于规定值时，进行控制以对构成通过摄像部生成的图像数据的各像素数据进行相加平均合成(参见图9的S15、S16、S19)。

图9所示的流程图与图4所示的流程图相比，将步骤S7的像素阈值设定置换为步骤S8的像素阈值设定，并且追加了步骤S16。除此以外都与图4所示的流程图相同。于是，以下以不同之处为中心进行说明，对相同处理赋予同一步骤编号并简化说明。

在设定了累积图像合成模式的状态下开始了摄影时，与第1实施方式同样地，进行DRAM的初始化(S1)、第1张(基准图像)的曝光/读出(S3)，并将基准图像数据保存于合成图像保存区域(S5)。

进行了基准图像数据的保存后，接下来进行像素阈值设定(S8)。在第1实施方式中，像素阈值设定是对所读出的图像的像素等级是否超过像素阈值进行判定(像素等级判定)。在第2实施方式中，除了像素等级判定之外，还进行差量等级判定，因此还设定该差量等级判定用的阈值(差量阈值)。差量阈值在根据此次取得图像的像素等级与合成图像的像素等级的差量，确定是进行比较亮合成还是进行相加平均合成时使用(参见S16)。后面使用图10描述像素阈值设定的具体动作。

进行了像素阈值设定后，与第1实施方式同样地，执行步骤S9、S11、S13的处理。步骤S13中，对第2张起的图像进行了曝光/读出后，接着进行像素等级判定(S15)。将该判定结果作为像素阈值比较结果标签传送给选择控制部33。

在步骤S15的判定结果为像素等级在像素阈值以上的情况下，进行差量等级判定(S16)。步骤S16的差量等级判定中，判定到之前一帧为止进行了累积合成的合成图像数据与此次读出的图像数据这2个图像数据的对应的像素数据(同一地址的像素数据)的差量值是否超过差量阈值。为了进行该判定，对差量阈值设定部29设定了差量等级判定用的差量阈值。此外，像素差量比较部23比较存储于合成图像保存区域85a中的合成图像与此次从摄像元件4读出的图像数据的每个像素的差量值和差量阈值，由此进行差量等级判定。将步骤S16的差量等级判定结果作为差量阈值比较结果标签传送给选择控制部33。

在步骤S16的差量等级判定的结果是判定为在差量阈值以上的情况下，对合成图像数据和当前帧图像数据进行比较亮合成(S19)，另一方面，在步骤S16的判定结果是判定为差量阈值以下的情况下，并且步骤S15的判定结果是判定为像素阈值以下的情况下，对合成图像数据和当前帧图像数据进行相加平均合成(S17)。

即，在选择控制部33中，根据所传送的像素阈值比较结果标签和差量阈值比较结果标签，选择通过图像合成部37进行的合成方法。在像素阈值比较结果标签被设定为未超过像素阈值时(S15中的像素阈值以下)，以与合成图像数据的同一地址的像素数据进行相加平均合成处理的方式选择图像合成部37内的相加平均合成处理部39。

此外，在选择控制部33中，在设定为超过像素阈值时(S15中的像素阈值以上)，检查差量阈值比较结果标签，在判定为差量阈值比较结果标签是未超过差量阈值时(S16中的差量阈值以下)，以进行相加平均合成的方式选择图像合成部37内的相加平均合成处理部39，另一方面，在判定为超过差量阈值时(S16中的差量阈值以上)，以进行比较亮合成处理的方式选择图像合成部37内的比较亮合成部41。在图像合成部37中，按照通过选择控制部33选择的合成方法实施合成处理。

在步骤S17或S19中选择了合成处理时，执行与第1实施方式同样的处理。以下的处理与第1实施方式同样，因而省略具体说明。

下面，使用图10所示的流程图，说明步骤8的像素阈值设定的具体动作。图10所示的流程图与图5所示的流程图相比，仅追加了步骤S46、S50、S56、S60、S62，因此以该不同之处为中心进行说明。

进入到像素阈值设定的流程时，首先确认第1张(基准图像)的摄影条件(S41)，判定阈值设定通过自动进行还是手动进行(S43)。该判定的结果为阈值设定是自动进行的情况下，计算基准(G)像素的阈值(S45)，并计算基准(G)差量阈值(S46)。

通过阈值设定部25内的差量阈值设定部29计算步骤S46的差量阈值。该差量阈值也与像素阈值的情况同样地，根据基准图像的摄影条件来设定即可。

此外，步骤S43的判定结果为阈值设定通过手动进行的情况下，由用户选择基准(G)像素的阈值(S49)，并且由用户选择基准(G)差量阈值(S50)。作为手动的情况下的差量阈值，用户从图6、图7所示的基准图像中选择2处的被摄体，并根据该所选择的2个位置的G像素的差量数据进行设定。

在步骤S46或S50中计算或选择了差量阈值后，从步骤S51起，进行每种颜色的像素阈值和差量阈值的计算。差量阈值也与像素阈值同样地，如果不按照每种颜色改变阈值，则显像后的图像上会附着颜色。

于是，可以在闪存83上预先存储各种颜色的差量阈值，并仅预先存储基准差量阈值，可以与像素阈值的情况同样地，在考虑到摄像元件的感光度比或显像时的白平衡增益的基础上计算每种颜色差量阈值。

在步骤S51的判定结果为图像数据保存形式是RAW数据的情况下，读出摄像元件感光度比(S53)，计算每种颜色像素阈值(S55)，并计算每种颜色差量阈值(S56)。另一方面，在图像数据保存形式是显像数据的情况下，根据第1张(基准图像)确定白平衡(S57)，计算每种颜色像素阈值(S59)，并计算每种颜色差量阈值(S60)。

在步骤S56、S60中计算出每种颜色差量阈值时，设定像素阈值(S61)，并设定差量阈值(S62)。这里，差量阈值设定部29在步骤S46、S50中对G像素设定差量阈值，并在步骤S56、S60中对R像素和B像素设定差量阈值，由此设定了所有差量阈值。设定了差量阈值后，返回原来的流程。

这样，在本发明的第2实施方式中，除了预先设定像素阈值之外，还预先设定差量阈值(参见图10的S46、S50、S56、S60)，通过比较这些阈值与像素数据(包含差量值)(参见图9的S16)，从而选择比较亮合成和相加平均合成中的任意方。在第1实施方式中，对于合成图像数据和本次取得图像数据，即使各像素数据之差很小，只要在像素阈值以上的情况下就进行比较亮合成处理，有时会使得噪声显著。然而，在第2实施方式中，通过进行差量阈值判定，在各像素之差很小的情况下，进行相加平均合成，因此噪声不再显著。

下面，使用图11和图12，说明在第1和第2实施方式中生成的合成图像。图11的上段的图像P11、P12、P13是按照每个时刻通过单曝光摄影的图像，并且是合成前的图像。图11的中段是将图11的上段所示的图像P11、P12、P13通过比较亮合成而合成的图像。图11的下段是将图像P11、P12、P13通过相加平均合成而合成的图像。

图12的上段是将图像P11、P12、P13使用第1实施方式所示的像素阈值合成的图像。图12的中段是将图像P11、P12、P13使用第2实施方式所示的像素阈值和差量阈值合成的图像。图12的下段是表示图像中的噪声等级和阈值的图。

首先，使用图12的下段，说明图像中的噪声等级。图像P6与第1张摄影的图像P11相同。像素位置100位于房屋的墙壁上，将此处的明亮度设定为像素阈值等级。像素位置96处发生了等级低于像素阈值的随机噪声。该随机噪声在反复进行相加平均合成的过程中从合成图像上消失。像素位置97处发生了等级高于像素阈值且等级高于上差量阈值的随机噪声。该等级的噪声成为比较亮合成的对象，并残留于合成图像上。

像素位置98处发生了等级高于像素阈值且等级低于上差量阈值的随机噪声。该等级的噪声在第1实施方式中成为比较亮合成的对象，而在第2实施方式中成为相加平均合成的对象。在像素位置99处，在第1张摄影的图像P11上发生了等级低于像素阈值的随机噪声，而在第2张摄影的图像P12上发生了等级高于像素阈值且等级高于下差量阈值的随机噪声。该等级的噪声在第1实施方式中成为比较亮合成的对象，而在第2实施方式中成为相加平均合成的对象。

图11的中段如上所述，示出进行了比较亮合成的情况下的合成图像的时间变化。图像P21与图像P11相同，图像P22是对图像P11与图像P12进行了比较亮合成的图像，图像P23是对图像P22与图像P13进行了比较亮合成的图像。根据图像P23中的符号A附近的合成图像可知，通过进行比较亮合成，虽然存留了光线的轨迹，则也会存留随机噪声。

图11的下段如上所述，示出进行了相加平均合成的情况下的合成图像的时间变化。图像P31与图像P11相同，图像P32是将图像P11与图像P12进行相加平均合成的图像，图像P33是将图像P32与图像P13进行相加平均合成的图像。根据图像P33中的符号B附近的合成图像可知，通过进行相加平均合成，使得随机噪声变淡，然而光线的轨迹也逐渐变淡。

图12的上段如上所述，示出应用本发明的第1实施方式的情况下的合成图像的时间变化。图12的上段的左侧示出像素阈值的亮度。在该示例中，按照每个像素等级比较像素数据和像素阈值，选择相加平均合成和比较亮合成中的任意方并执行处理。根据图像P43中的符号C、D附近的合成图像可知，一定亮度以上的随机噪声由于进行了比较亮合成而存留着不会消失(参见图12的下段的像素位置97、98、99)。

图12的中段如上所述，示出应用本发明的第2实施方式的情况下的合成图像的时间变化。图12的中段的左侧表示像素阈值的亮度、上差量阈值的亮度和下差量阈值的亮度。在该示例中，按照每个像素等级比较像素阈值和差量阈值，选择相加平均合成和比较亮合成中的任意方并执行处理。即使是一定亮度以上的随机噪声，在小于差量阈值的情况下，每当进行相加平均合成时，较多的随机噪声都消失(参见图12的下段的像素位置97、98、99)。其中，等级非常高的随机噪声不消失。

如上所述，在本发明的各实施方式中，对被摄体像摄像以生成图像数据(例如，图4的S3、S13)，存储图像数据(例如，图4的S5、S21)，将通过摄像生成的图像数据与所存储的图像数据按照每个像素进行相加平均，并更新所存储的图像数据中的进行了相加平均的像素数据(例如，图4的S17、S21)，将通过摄像生成的图像数据与所存储的图像数据按照每个像素进行比较亮合成，并更新所存储的图像数据中的进行了比较亮合成的图像数据(例如，图4的S19、S21)，判定构成通过摄像生成的图像数据的各像素数据的等级是否在规定的阈值等级以上(例如，图4的S15)，并根据该判定结果，进行对构成通过摄像生成的图像数据的各像素数据用于选择是进行相加平均还是进行比较亮合成的控制(例如，图4的S15、S17、S19)。

因此，在根据明亮度合成多个图像数据而得到合成图像数据时，能够进一步抑制随机噪声，良好地保留光线的轨迹。即，根据各像素数据的等级是否在规定的阈值等级以上，选择是进行相加平均还是进行比较亮合成，因此能够选择对应于各自明亮度的最适当的图像处理，能够抑制随机噪声。

另外，在本发明的各实施方式中，根据像素等级的判定结果是低于阈值还是高于阈值，选择累积合成处理中的比较亮合成处理或相加平均合成处理。然而，不限于此，作为累积合成处理，还可以使用相加合成处理、比较暗合成处理等其他的合成处理。作为相加合成处理，按照2个图像数据的各自对应的每个像素将像素数据相加，并将像素数据置换为该运算结果(相加值)。此外，作为比较暗合成处理，按照2个图像数据的各自对应的每个像素比较像素数据，置换为较暗的像素数据。这种情况下，作为累积合成处理，将比较亮合成处理、比较暗合成处理或其他的合成处理中的1个作为第1累积合成处理，而将相加平均处理、相加处理或其他处理中的1个作为第2累积合成处理即可，通过进行像素等级判定和/或差量等级判定，选择任意一个累积合成处理即可。进而，还可以准备3种以上的累积合成处理，并从中进行选择。

此外，在本发明的各实施方式中，进行比较亮合成处理或比较暗合成处理的情况下，都置换为较亮的像素值或较暗的像素值。然而，不限于这种情况，也可以对较亮像素和较暗像素进行加权。例如，在比较亮合成处理的情况下，可以对较亮像素值赋予8的权重，并对较暗像素值赋予2的权重，从而计算出新的像素值。例如，在进行累积合成处理时，在图像抖动的情况下，若增大未抖动的图像的权重，减小抖动的图像的权重，则能够减小图像的抖动的影响。

同样地，在进行相加平均合成处理或相加合成处理的情况下，可以对所合成的图像数据与本次取得的图像数据的各自的像素附加权重，并进行相加平均或相加。这种情况下，如果根据图像的抖动，调整进行相加平均或相加时的加权，则能够减小图像的抖动的影响。

此外，在本发明的各实施方式中，将测距/测光部17、像素比较部19、阈值设定部25、保存方式选择部31、选择控制部33和图像处理部35等构成为独立于系统控制部11的结构，然而当然也可以将各部的全部或一部分通过软件构成，并通过控制部1内的CPU执行。此外，信号处理部13、摄像控制部14、显示控制部51、I/F控制部53、存储卡控制部55、输入控制部57、图像合成部37和显像处理部45等除了构成为硬件电路或部件单体以外，还可以通过CPU和程序而构成为软件，并且还可以使用DSP(Digital Signal Processor：数字信号处理器)构成。这些方式当然可以适当组合。此外，作为上述的信号处理电路13、图像合成电路37等，不限于硬件电路或部件单体，还包含通过CPU和软件实现的电路、使用DSP等实现的电路。

另外，在本实施方式中，作为用于摄影的设备使用数字相机进行了说明，然而作为相机，既可以是数字单反相机或紧凑型数字相机，也可以是摄像机、摄影机等的动画用的相机，还可以是在移动电话、智能手机、便携信息终端、个人计算机(PC)、平板型计算机、游戏设备等中内置的相机。无论何种情况，只要是用于合成多张图像数据并生成图像的设备，就能够应用本发明。进而，即使是不具备摄像部的设备，只要是用于进行合成多个图像数据以生成图像的图像处理的设备，就能够应用本发明。

此外，关于在本说明书说明的技术中的主要根据流程图说明的控制，大多可通过程序进行设定，有时也收纳于记录介质或记录部中。作为在该记录介质、记录部中的记录方式，既可以在产品出厂时预先记录，也可以使用所发布的记录介质，还可以经由因特网下载。

此外，关于权利要求书、说明书和附图中的动作流程，为了方便起见而使用“首先”、“下面”等的表现顺序的用于进行了说明，然而在没有特别说明的情况下，并非意味必须按照这种顺序进行实施。

本发明不仅限于上述实施方式，可以在实施阶段不脱离其主旨的范围内变形结构要素使其具体实现。此外，通过在上述实施方式中公开的多个结构要素的适当组合，能够形成各种的发明。例如，可以删除实施方式所示的所有结构要素中的任意几个结构要素。进而，还可以适当组合不同实施方式中的结构要素。