摄像装置及图像合成程序的制作方法

专利名称：摄像装置及图像合成程序的制作方法
技术领域：
本发明涉及一种摄像装置及图像合成程序。
背景技术：
一直以来，公知有下述高动态范围(高动态光照渲染，以下称为“HDR”)摄影技术 通过将以不同的曝光条件拍摄具有暗部和亮部的同一被拍摄体所得到的多个摄像图像合成，可生成不会出现暗部晦黑或亮部死白的一个合成图像(例如参照专利文献1)。在现有的HDR摄影技术中，对以不同曝光条件拍摄的多个摄像图像进行位置校正，并进行HDR合成，从而生成一个合成图像。专利文献1 JP特开2003-319240号公报然而，位置校正一般通过从摄像图像中提取被拍摄体的轮廓并比较在各摄像图像之间提取的轮廓来进行。但是，在以不同曝光条件拍摄的摄像图像中，难以提取同一轮廓， 因此要进行类推位置偏移的处理，但该处理消耗时间。

发明内容
本发明鉴于这一情况而提出，其目的在于提供一种能够抑制图像的偏移、并能够进行高动态范围摄影的摄像装置及图像合成程序。为实现上述目的，本发明的一个侧面涉及的摄像装置具有摄像单元，拍摄被拍摄体并生成图像数据；存储单元，能够一次存储上述摄像单元连续拍摄的多个图像数据；第1 合成单元，将上述存储单元中存储的上述多个图像数据相加合成，而生成第1图像数据；第 2合成单元，将上述多个图像数据中的部分图像数据和上述第1图像数据合成，而生成第2 图像数据；以及输出单元，输出上述第2合成单元生成的上述第2图像数据。作为一例，上述输出单元依次输出上述第2合成单元生成的上述第2图像数据。作为一例，上述第2合成单元将上述多个图像数据中包含辉度最低的图像数据的至少一个图像数据用于与上述第1图像数据的合成。作为一例，上述第2合成单元在上述图像数据的辉度相对较高时，与辉度相对较低时相比，减少用于与上述第1图像数据的合成的上述至少一个图像数据的个数。作为一例，上述第1合成单元将上述摄像单元在每预定时间内拍摄的上述多个图像数据相加合成，而生成上述第1图像数据，上述输出单元每隔上述预定时间依次输出上述第2合成单元生成的上述第2图像数据。作为一例，上述多个图像数据分别是以第1快门速度拍摄的预定个数的图像数据，上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述第1快门速度低速的表观快门速度对应的低辉度侧图像数据，上述第2合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以上述第1快门速度最初拍摄的最初的图像数据的、比上述预定个数少的个数的图像数据，而生成高辉度侧图像数据，或将上述最初的图像数据本身作为高辉度侧图像数据使用，上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。作为一例，上述多个图像数据是以多个快门速度拍摄的预定个数的图像数据，上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述多个快门速度的任意一个低速的表观快门速度对应的低辉度侧图像数据，上述第2合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以最高速的快门速度拍摄的图像数据的、 比上述预定个数少的个数的图像数据，而生成高辉度侧图像数据，或将上述以最高速的快门速度拍摄的图像数据本身作为高辉度侧图像数据使用，上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。作为一例，上述多个图像数据分别是以第1曝光条件拍摄的预定个数的图像数据，上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述第1曝光条件适于低辉度被拍摄体的拍摄的表观的曝光条件对应的低辉度侧图像数据，上述第2合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以上述第1曝光条件最初拍摄的最初的图像数据的、比上述预定个数少的个数的图像数据，而生成高辉度侧图像数据，或将上述最初的图像数据本身作为高辉度侧图像数据使用，上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。作为一例，上述多个图像数据是以多个曝光条件拍摄的预定个数的图像数据，上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述多个曝光条件的任意一个都适于低辉度被拍摄体的拍摄的表观的曝光条件对应的低辉度侧图像数据，上述第2 合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以最适于高辉度被拍摄体的拍摄的曝光条件拍摄的图像数据的、比上述预定个数少的个数的图像数据， 而生成高辉度侧图像数据，或将上述以最适于高辉度被拍摄体的拍摄的曝光条件拍摄的图像数据本身作为高辉度侧图像数据使用，上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。本发明的另一侧面涉及的图像合成程序，使计算机执行以下步骤一次存储摄像单元连续拍摄的多个图像数据，该摄像单元拍摄被拍摄体并生成图像数据；将存储的上述多个图像数据相加合成，而生成第1图像数据；将上述多个图像数据中的部分图像数据和上述第1图像数据合成，而生成第2图像数据；以及输出所生成的上述第2图像数据。本发明的又一侧面涉及的摄像装置具有摄像单元，拍摄被拍摄体并生成图像数据；第1合成单元，相对于基准图像数据，对该基准图像以外的其他图像进行对位并进行相加合成，从而生成第1图像数据；以及第2合成单元，将上述基准图像数据和上述第1图像数据合成，而生成第2图像数据。本发明的又一侧面涉及的图像合成程序，使计算机执行以下步骤拍摄被拍摄体并生成图像数据；相对于基准图像数据，对该基准图像以外的其他图像进行对位并进行相加合成，从而生成第1图像数据；以及将上述基准图像数据和上述第1图像数据合成，而生成第2图像数据。根据本发明，能够抑制图像偏移地进行高动态范围摄影。


图1是第1实施方式的数码相机的框图。图2是拍摄具有亮部和暗部的图像时的画面图。图3是摄像处理流程的流程图。图4是说明取景图像的制作步骤的说明图。图5是表示图像合成流程的流程图。图6是说明图像合成的步骤的说明图。图7是说明图像合成的步骤的说明图。图8是说明第2实施方式的图像合成的步骤的说明图。
具体实施例方式(第1实施方式)以下参照图1 图7说明本发明的第1实施方式的、作为可拍摄静止图像及动画的摄像装置的数码相机(以下称为“相机”)及使用该相机对被拍摄体进行高动态范围 (HDR)摄影时的摄像方法。如图1所示，相机11具有由变焦透镜等多个透镜构成的透镜部12 (在图1中为简化附图仅图示一个透镜)；和光圈13，用于调整通过了透镜部12的被拍摄体光的光量。进一步，相机11具有摄像元件14，其作为摄像单元发挥作用，使通过了光圈13的被拍摄体光成像于作为摄像面的入射侧的受光面14a。在摄像元件14的输出侧连接AFE (Analog Front End 模拟前端)15和图像处理电路16。MPU (Micro Processing Unit 微处理单元)17经由数据总线18连接到该图像处理电路16。并且，存储相机11的控制程序的非易失性存储器19、作为存储单元发挥作用的 RAM20、作为显示单元发挥作用的液晶显示的监视器21、及可插拔作为记录介质的存储卡 22的卡I/F(Inter-Face 接口 ) 23，经由数据总线18连接到MPU17。进一步，被相机11的使用者操作的由模式切换按钮、释放按钮等构成的操作部件24，以能够对作为计算机发挥作用的MPU17进行各自的操作信号(模式切换信号、半按操作信号等)的数据通信的方式设置在相机主体(省略图示)上。摄像元件 14 由 CMOS (Complementary Metal Oxide Semiconductor 互补金属氧化物半导体)图像传感器或CXD (Charge Coupled Device 电荷耦合器件)图像传感器构成， 具有电子快门功能。在其受光面14a上二维地排列有多个受光元件(省略图示)。并且，摄像元件14积蓄与该受光面14a上成像的被拍摄体像对应的信号电荷，将所积蓄的信号电荷以作为图像数据源的称为像素信号的模拟信号输出到AFE15。AFE15具有信号处理部(省略图示)，以预定的时机对从摄像元件14输入的模拟信号的像素信号采样(相关双采样)，并进行放大以成为例如基于ISO灵敏度的预定信号电平；和A/D变换部(省略图示)，将该放大后的像素信号变换为数字信号。并且，AFE15将通过用A/D变换部使模拟信号的像素信号数字化而生成的图像数据输出到图像处理电路16。图像处理电路16对从AFE15输入的图像数据，根据来自MPU17的控制信号实施各种图像处理。图像处理电路16将这样实施了图像处理的图像数据一次存储到RAM20，并作为取景图像显示到监视器21上。并且，当释放按钮被全按操作时，将和此时的图像数据对应的图像作为确认用图像显示到监视器21，另一方面，例如实施了用于JPEG压缩的格式处理等预定的图像处理后，作为图像文件记录到存储卡22。MPU17根据非易失性存储器19中存储的图像合成程序等控制程序，统一控制相机 11中的各种处理动作(例如HDR摄影处理等)。数字总线18作为伴随MPU17的控制的各种数据的传送路径发挥作用。并且，操作部件24中的模式切换按钮是在切换相机11的动作模式时操作的按钮。 动作模式包括摄影模式和播放模式，摄影模式包括通常摄影模式、HDR静止图像摄影模式、 HDR动画摄影模式等。另一方面，释放按钮在相机11的动作模式是摄影模式的情况下，在拍摄被拍摄体时进行按下操作。具体而言，在该相机11中，在通常摄影模式中，在操作部件24的释放按钮被半按操作的阶段，执行用于对被拍摄体的对焦的AF(Autc) Focus 自动聚焦)处理和用于曝光调整的AE(Autc) Exposure 自动曝光)处理，之后，在释放按钮被全按操作的阶段执行图像的生成处理。并且，该相机11在摄影模式被切换为HDR静止图像摄影模式及HDR动画摄影模式的任意一种时，通过连续拍摄同一被拍摄体而获得多个图像数据，并对该多个图像数据进行HDR合成。该同一被拍摄体可以是具有暗部和亮部的被拍摄体(参照图2所示的图像 25)。图2的图像25中，作为被拍摄体包括因太阳26位于山27的左侧上方而使位于山麓的湖28的湖面因湖畔的树木29的阴影而变暗的风景；和运动的马30。在HDR静止摄影模式及HDR动画摄影模式中，作为通过高动态范围合成(以下称为“HDR合成”)生成的第2图像数据的高动态范围图像数据(以下称为“HDR图像数据”) 被逐次输出到监视器21，从而在监视器21中显示进行了 HDR处理的取景图像。进一步，在操作部件24的释放按钮被全按操作时，HDR图像数据被记录到存储卡22中。接着参照图3 图7说明使用该相机11拍摄被拍摄体时的处理。图3是在相机 11的电源接通、相机11的动作模式被切换为摄影模式(通常摄影模式、HDR静止图像摄影模式、HDR动画摄影模式)时执行的摄像处理流程。如图3所示，首先在步骤SlOl中，MPU17根据非易失性存储器19中存储的初始曝光条件拍摄被拍摄体。并且，初始曝光条件按照各摄影模式设定。在图示的例子中，该相机 11的初始曝光条件在通常摄影模式下为30分之1秒的快门速度，在HDR静止图像模式及 HDR动画摄影模式下为比通常摄影模式的快门速度快的120分之1秒的快门速度。接着在步骤S102中，MPU17将在步骤SlOl中拍摄的图像数据一次存储到RAM20。接着在步骤S103中，MPU17判断动作模式是否变更为播放模式。即，使用者操作模式切换按钮从摄影模式变更为播放模式时(步骤S103 =是)，MPU17结束摄影处理流程。在步骤S 103中，当摄影模式被维持时(步骤S103 =否)，MPU17将该处理转换到下一步骤S104。在步骤S104中，当相机11的电源断开时(步骤S104 =是)，MPU17结束摄像处理流程。另一方面，在步骤S104中，当相机11维持电源接通的状态时(步骤S104 =否)， MPU17将该处理转换到步骤SlOl。因此，相机11在维持电源接通状态和摄影模式的期间，反复执行摄像处理流程，从而连续拍摄被拍摄体，并将所拍摄的图像数据依次地一次存储到RAM20中。例如，在通常摄影模式下，以30分之1秒的快门速度连续拍摄的图像数据被一次存储到RAM20中，并作为和快门速度对应的30fps (frame par second 30帧/秒)的取景图像显示到监视器21中。另一方面，如图4所示，在HDR静止图像摄影模式及HDR动画摄影模式下，MPUl7将以120分之1秒的快门速度连续拍摄的图像数据依次地一次存储到RAM20中(存储步骤)。 并且，MPU17对一次存储到RAM20中的图像数据进行相加合成，生成相加图像数据，并每隔预定时间(作为一例，是和通常摄影模式时相同的1/30秒)将该相加图像数据输出到监视器21，从而作为30fps的取景图像显示。S卩，通过将在每预定时间(1/30秒)内拍摄的4个图像数据相加合成而生成的作为第1图像数据的相加图像数据，和以120分之1秒的快门速度拍摄的图像数据相比，为4 倍左右的亮度，因此变为和以30分之1秒的快门速度拍摄的图像同等亮度的图像。因此， 在拍摄亮部和暗部的辉度差较小的被拍摄体时，虽然因摄影模式不同，拍摄被拍摄体的快门速度不同，但在监视器21中显示了同等亮度的取景图像。接着参照图5 图7说明在上述HDR静止图像摄影模式及HDR动画摄影模式中显示取景图像的步骤、及进行HDR摄影时的步骤。此外，图5是在相机11的电源接通并且相机11的动作模式被切换为HDR静止图像摄影模式、HDR动画摄影模式时与摄影处理流程并列执行的图像合成流程。图3所示的图像处理流程和图5所示的图像合成流程包含在上述图像合成程序中。如图5所示，首先在步骤S201中，MPU17判断相加合成的N个(N是多个，在图示的例子中N = 4)图像数据是否存储到RAM20中。当RAM20中存储的图像数据数小于N个时(步骤S201 =否)，到存储N个图像数据为止，MPU17在步骤S201中待机。另一方面，当存储了 N个图像数据时(步骤S201 =是)，MPU17转换到下一步骤S202。在步骤S202中，MPU17取得RAM20中存储的N个图像数据并进行相加合成，而生成相加图像数据(第1合成步骤)。此外，在步骤S202中相加合成的图像数据的个数N根据快门速度和在1秒期间显示在监视器21的帧数来决定，是1帧的显示时间(例如1/30秒)除以快门速度(例如 1/120 秒)所得的商(1/30 + 1/120 = 4)。在步骤S203中，MPU17判断在步骤S202中相加合成的相加图像数据中是否有死白。S卩，MPU17对相加图像数据所示的辉度成分进行柱状图解析，当判断没有死白的像素时 (步骤S203 =否)，将该处理转换到下一步骤S204。在步骤S204中，MPU17将在步骤S202中生成的相加图像数据输出到监视器21，作为取景图像显示。另一方面，在步骤S203中，当判断相加合成的相加图像数据中有死白时(步骤 S203 =是)，其处理转换到下一步骤S205。在步骤S205中，MPU17将用于HDR合成的高辉度侧图像数据的生成中所使用的图像数据数η设定为η = N。在下一步骤S206中，MPU17使图像数据数η减少1。在步骤S207中，MPU17判断图像数据数η是否是1。当η = 1时(步骤S207 =是)，将该处理转换到下一步骤S208。 在步骤S208中，MPU17将在步骤S202中相加合成的相加图像数据作为低辉度侧图像数据使用，在将在步骤S202中从RAM20取得的图像数据中的一个图像数据作为高辉度侧图像数据使用，对低辉度侧图像数据和高辉度侧图像数据进行HDR合成(第2合成步骤)。在步骤S204中，MPU17将在步骤S208中生成的HDR图像数据输出到监视器21，作为取景图像显示(输出步骤)。而在步骤S207中，当图像数据数η大于1 (η > 1)时(步骤S207 =否)，MPU17将其处理转换到步骤S209。在步骤S209中，MPU17对在步骤S202中取得的N个图像数据中的η个图像数据进行相加合成，生成相加图像数据。在步骤S210中，MPU17判断在步骤S209中生成的相加图像数据是否有死白。艮口， MPU17对相加图像数据所示的辉度成分进行柱状图分析，当判断有死白的像素时(步骤 S210 =是)，将该处理转换到步骤S206，减少相加合成中使用的图像数据数n。S卩，当图像数据的辉度相对较高时，和辉度相对较低时相比，减少HDR合成中使用的图像数据数。而在步骤S210中，当判断没有死白时(步骤S210 =否)，MPU17将其处理转换到下一步骤S208。在步骤S208中，MPU17将在步骤S202中相加合成的相加图像数据作为低辉度侧图像数据使用，将在步骤S209中相加合成的相加图像数据作为高辉度侧图像数据使用，对低辉度侧图像数据和高辉度侧图像数据进行HDR合成。并且，MPU17在生成HDR图像数据后，将其处理转换到下一步骤S204。在步骤S204中，MPU17将在步骤S208中生成的HDR图像数据输出到监视器21，作为取景图像显示，将其处理转换到下一步骤S211。在下一步骤Sll中，MPU17判断动画标志是否是0。动画标志是表示是否正在动画拍摄(记录)过程中的标志，正在动画拍摄过程中是1。当动画标志=1时(步骤S211 = 否)，MPU17判断为正在动画摄影中，将其处理转换到下一步骤S212。在步骤S212中，MPU17将输出到监视器21的相加图像数据或HDR图像数据，作为构成动画的多个图像数据中的一个图像数据，经由卡I/F23记录到存储卡22中，并将其处理转换到步骤S213。另一方面，在步骤S211中，当动画标志=0时(步骤S211 =是)，直接转换到下一步骤S213。在步骤S213中，MPU17判断是否操作了注册按钮。注册按钮的操作也称为记录指示或保存指示。MPU17判断有注册按钮操作时(步骤S213 =是)，将其处理转换到下一步骤 S214。在步骤S214中，MPU17判断摄影模式是HDR静止图像摄影模式还是HDR动画摄影模式。即，当摄影模式是HDR静止图像摄影模式时(步骤S214=是)，MPU17将其处理转换到下一步骤S215。并且，在步骤S215中，MPU17将输出到监视器21的相加图像数据或HDR图像数据， 作为静止图像的图像数据而经由卡I/F记录到存储卡22中。此外，在步骤S213中，当注册按钮未操作时(步骤S213 =否)，MPU17直接将其处理转换到下一步骤S216。另一方面，在步骤S214中，当摄影模式是HDR动画摄影模式时(步骤S214=否)， MPU17将其处理转换到下一步骤S217。在步骤S217中，MPU17判断是否动画标志=0。S卩，在并非拍摄动画中的非摄影时，动画标志=0(步骤S217 =是)，因此将其处理转换到下一步骤S218。在步骤S218中，MPU17将动画标志设定为1，将其处理转换到下一步骤S219。在步骤S219中，MPU17将输出到监视器21的相加图像数据或HDR图像数据，作为构成动画的多个图像数据内的一个图像数据，而经由卡I/F23记录到存储卡22中，并将其处理转换到下一步骤S216。并且，在步骤S217中，MPU17判断为动画标志=1时(步骤S217 =否)，将其处理转换到步骤S220。在步骤S220中，MPU17将动画标志设定为0，将其处理转换到下一步骤S216。之后，在步骤S216中，MPU17判断动作模式是否变更为通常摄影模式或播放模式。 即，当摄影模式从HDR静止图像摄影模式或HDR动画摄影模式变更时(步骤S216 =是)，将其处理转换到步骤S221。在步骤S221中，MPU17将动画标志设定为0，结束图像合成处理流程。即，若在动画摄影过程中变更摄影模式，则MPU17中止动画摄影后，结束图像合成流程。另一方面，在步骤S216中，MPU17判断维持了 HDR静止图像摄影模式或HDR动画摄影模式时(步骤S216 =否)，将其处理转换到下一步骤S222。在步骤S222中，MPU17判断相机11的电源是否断开。当相机11的电源断开时(步骤S222 =是)，将其处理转换到步骤S221，将动画标志设定为0后，结束摄像处理流程。另一方面，在步骤S222中，当相机11的电源未断开时(步骤S222 =否)，MPU17 将其处理返回到步骤S201。即，MPU17在相机为接通状态、维持了 HDR静止图像摄影模式或 HDR动画摄影模式的期间，反复执行图像合成流程。低辉度侧图像数据也称为和适于低辉度被拍摄体的曝光条件(例如较低速的快门速度)对应的图像数据。高辉度侧图像数据也称为和适于高辉度被拍摄体的曝光条件 (例如较高速的快门速度)对应的图像数据。在步骤S202中生成的相加图像数据对应于较低速的表观的快门速度，是低辉度侧图像数据的一例。用于步骤S208的HDR合成的图像数据(步骤S209中生成的相加图像数据及在步骤S207中η = 1时的一个图像数据)对应于较高速的表观的快门速度，是高辉度侧图像数据的一例。以下说明如上构成的本实施方式的相机11的作用。此外，作为说明前提，此时用相机11拍摄的图像是图2所示的图像25，如上所述， 该图像25中的被拍摄体像具有暗部和亮部。进一步，通过操作操作部件M中的模式切换按钮，摄影模式从通常摄影模式切换为HDR动画摄影模式。在上述前提下，将相机11的透镜部12朝向作为被拍摄体的山27时，将在山麓有湖28和树木四的山27的棱线的左侧上方有太阳沈的风景、及马30，作为取景图像显示到监视器21中。具体而言，如图6所示，摄像元件14以比将一个图像作为取景图像显示到监视器 21的时间、即帧速的倒数(例如1/30秒)快的快门速度(例如1/120秒)，连续拍摄被拍摄体，并依次地一次存储到RAM20中。在RAM20中存储了 4个图像数据时，作为第1合成单元的相加合成部31对这些图像数据进行相加合成，而生成相加图像数据(图5的步骤S202)。 并且，作为第2合成单元的HDR合成部32，对相加合成部31生成的相加图像数据和RAM20 中存储的一个图像数据(例如最开始存储的图像数据，在图6的例子中是位于RAM20的右端的图像数据)进行HDR合成，生成HDR图像数据(图5的步骤S208)，将该HDR图像数据逐次输出到监视器21 (图5的步骤S204)。因此，HDR合成部32也作为输出单元发挥作用。 并且，通过连续进行该处理，监视器21中显示的进行了 HDR合成的图像依次切换，和HDR动画摄影时同等的取景图像连续显示到监视器21。例如，在图2的图像25中不含太阳26、即使相加合成多个图像数据也不产生死白的像素时(图5的步骤S203中否)，如图7所示，对通过相加合成部31生成的相加图像数据，由HDR合成部32进行HDR合成，生成HDR图像数据。此外，图7表示对合成2个图像数据时虽不产生死白、但相加合成3个图像数据时产生死白的被拍摄体进行HDR摄影时的处理示例。图7对应于在图5的步骤S206中将η设定为2、之后在步骤S210中判断为否的情况。具体而言，如图7所示，摄像元件14以比将一个图像作为取景图像显示到监视器 21的时间、即帧速的倒数(例如1/30秒)快的快门速度(例如1/120秒)，连续拍摄被拍摄体，并依次地一次存储到RAM20中。并且，在RAM20中存储了 4个图像数据时，相加合成部31对这些图像数据进行相加合成，生成作为低辉度侧图像数据的相加图像数据，并对部分图像数据(例如先存储的2个图像数据。在图7的例子中是位于RAM20的右端的第1个存储的图像数据以及从右端开始位于第2个的第2个存储的图像数据)进行相加合成，生成作为高辉度侧图像数据的相加图像数据。并且，HDR合成部32对这些相加图像数据进行 HDR合成，生成HDR图像数据，并将该HDR图像数据输出到监视器21。并且，通过连续进行该处理，监视器21上显示的进行了 HDR合成的图像依次切换，和HDR动画摄影时同等的取景图像连续在监视器21显示。这样一来，在监视器21上连续显示取景图像的状态下，通过相机11的使用者全按释放按钮时，输出到监视器21的HDR图像数据也开始输出到卡I/F23。因此，在存储卡22 中作为动画记录在到使用者再次全按释放按钮为止的期间生成的HDR图像数据。并且，在使用者操作模式切换按钮而将动作模式切换为HDR静止摄影模式的状态下全按释放按钮时，输出到监视器21的HDR图像数据也输出到卡I/F。因此，在存储卡22 中作为静止图像记录HDR图像数据。根据上述第1实施方式可获得以下效果。(I)HDR合成部32对用于相加合成的多个图像数据中的部分图像数据和通过相加合成生成的相加图像数据进行HDR合成。该HDR合成部32与下述比较例相比可抑制图像的偏移，在该比较例中，为了对以希望的曝光条件(例如快门速度1/30秒)拍摄的图像进行HDR合成，首先以该1/30秒的快门速度拍摄被拍摄体，接着以1/120秒的快门速度拍摄并进行HDR合成。因此，第1实施方式的相机11不进行摄影图像之间的位置校正便可抑制图像偏移，并进行高动态范围摄影。(2)生成HDR处理中使用的高辉度侧图像数据时，根据辉度变更图像数据数，从而可调整图像的亮度。因此，可抑制死白的同时获得对比大的图像。
(3)通过将HDR图像数据连续显示到监视器21，用户可将存储卡22中存储的HDR 图像数据作为取景图像识别。因此，用户可操作释放按钮而提前知道存储卡22中存储的静止图像及动画的概要。(4)HDR合成部32通过对用于相加合成的图像数据及通过相加合成生成的相加图像数据进行HDR合成，可省略图像数据之间的位置校正处理，可使HDR合成高速化。因此， 可增加每秒输出的HDR图像数据数，可将HDR摄影适用于动画。(第2实施方式)接着参照图8说明本发明的第2实施方式。此外，第2实施方式和第1实施方式相比，不同点仅在于变更了拍摄被拍摄体的快门速度及相加合成的图像数据的个数，其他构成和处理相同，因此对同样的构成部分附加同样的标号，省略其详细的重复说明。如图8所示，摄像元件14以比拍摄静止图像的曝光条件(例如快门速度1/30秒) 快的快门速度连续拍摄被拍摄体，将图像数据依次地一次存储到RAM20(存储单元)。此外，此时的快门速度按照各摄影变更，在本例的相机11中，首先将以1/120秒的快门速度拍摄的图像数据一次存储到RAM20中。并且，接着将以3/120秒拍摄的图像数据一次存储到 RAM20 中。在RAM20中存储了以不同的快门速度拍摄的2个图像数据时，相加合成部31将这些图像数据相加合成，生成相加图像数据(第1合成步骤)。并且，HDR合成部32对相加合成部31生成的相加图像数据及RAM20中存储的图像数据中辉度低的图像数据进行HDR合成(第2合成步骤)，将生成的HDR图像数据输出到监视器21(输出步骤)。上述辉度低的图像数据可以是以较高速的快门速度拍摄的图像数据。一般情况下，当快门速度以外的条件相同时，快门速度越快，拍摄的图像越暗，产生死白的概率越低。因此，HDR合成部32将相加图像数据作为低辉度侧图像数据使用，将以较高速(1/120秒)的快门速度拍摄的图像数据作为高辉度侧图像数据使用，对低辉度侧图像数据和高辉度侧图像数据进行HDR合成，生成HDR图像数据。HDR合成部32将生成的 HDR图像数据输出到监视器21。并且，MPU17 (31,32)连续地反复执行被拍摄体的摄像、相加合成及HDR合成。这样一来，监视器21中显示的进行了 HDR合成的图像依次切换，与HDR动画摄影时同等的取景图像在监视器21显示。在该状态下，在使用者操作模式切换按钮而将动作模式切换为HDR静止图像摄影模式的状态下全按释放按钮时，输出到监视器21的HDR图像数据也输出到卡I/F23。因此， 在存储卡22中作为静止图像记录HDR图像数据。根据上述第2实施方式，除了第1实施方式中的(1) (4)的效果外，可进一步获得以下效果。(5)以较慢的快门速度拍摄的图像数据中，暗部的晦黑减少，但与以较快的快门速度拍摄的图像数据相比，亮部产生死白的可能性增大。因此，将快门速度不同的图像数据用于HDR合成时，使用以较快的快门速度拍摄的辉度低的图像数据，因此和仅使用以较慢的快门速度拍摄的辉度高的图像数据时相比，可减少亮部的死白。(6)通过改变快门速度，和以同一快门速度摄影时相比，可减少相加合成中使用的图像数据数。因此，可减轻相加合成部31的负荷，可增加每预定时间内可输出的相加图像数据数。因此，可进一步增加动画摄影时的帧数。此外，上述实施方式也可如下变更。 在上述各实施方式中，也可控制光圈值来进行HDR摄影。即，通过将多个以较大光圈值连续拍摄的图像数据相加合成，可获得与以较小光圈值拍摄的图像数据同等亮度的图像数据。并且，通过将相加图像数据和相加合成中使用的图像数据用于HDR合成，可抑制图像的位置偏移地进行HDR合成。·在上述各实施方式中，也可根据从摄像元件14输出的像素信号、快门速度、光圈值来推测图像的辉度。并且，也可在相机11设置测光传感器，直接对被拍摄体的辉度进行测光。并且，也可根据这些推测结果、测定结果设定用于高辉度侧的图像数据的生成的图像数据数。并且，HDR合成中使用的高辉度侧的图像数据的个数也可固定为1个。 在上述第2实施方式中也可是以不同的快门速度存储3个以上的图像数据，对包括以最快的快门速度拍摄的图像数据的部分图像数据进行相加合成，用于HDR合成。并且，也可根据图像数据、被拍摄体的辉度，选择作为高辉度侧图像数据使用的图像数据。艮口， 例如在逆光越强、辉度越大时，选择快门速度快的图像。·在上述各实施方式中，操作部件M可独立具有用于指示动画记录开始和结束的录像按钮。并且，在将HDR图像数据作为动画记录的过程中操作释放按钮时，也可将HDR图像数据作为静止图像记录。·在上述各实施方式中，在HDR静止图像摄影模式或HDR动画摄影模式中，当释放按钮半按时，也可变更根据被拍摄体的辉度连续拍摄的快门速度、光圈值等曝光条件。·在上述实施方式中，相机11也可是仅能拍摄静止图像或仅能拍摄动画的相机。 即，也可适用于仅能拍摄静止图像的数字静态照相机、或仅能拍摄动画的数码摄像机。·在上述实施方式中，电子快门的快门速度、作为取景图像显示到监视器的图像的帧间隔是一个示例，也可是其他值。在HDR静止图像摄影模式及HDR动画摄影模式的情况下，连续拍摄时的快门速度比作为取景图像显示到监视器的图像的帧间隔快即可，连续摄影时的快门速度也可不恒定。并且，在HDR静止图像摄影模式及HDR动画摄影模式的情况下，也可不显示取景图像、记录中的图像，而直接记录到存储卡等记录介质中。 在上述实施方式中，对通过连续拍摄得到的图像(例如4个)进行合成时，将第 1个作为基准图像，对另外3个进行相对于第1个的对位，而将4个图像相加合成。并且，也可以对通过合成得到的图像和用作基准图像的第1个图像进行HDR合成。
权利要求
1.一种摄像装置，其特征在于，具有 摄像单元，拍摄被拍摄体并生成图像数据；存储单元，能够一次存储上述摄像单元连续拍摄的多个图像数据； 第1合成单元，将上述存储单元中存储的上述多个图像数据相加合成，而生成第1图像数据；第2合成单元，将上述多个图像数据中的部分图像数据和上述第1图像数据合成，而生成第2图像数据；以及输出单元，输出上述第2合成单元生成的上述第2图像数据。
2.根据权利要求1所述的摄像装置，其特征在于，上述输出单元依次输出上述第2合成单元生成的上述第2图像数据。
3.根据权利要求1所述的摄像装置，其特征在于，上述第2合成单元将上述多个图像数据中包含辉度最低的图像数据的至少一个图像数据用于与上述第1图像数据的合成。
4.根据权利要求2所述的摄像装置，其特征在于，上述第2合成单元将上述多个图像数据中包含辉度最低的图像数据的至少一个图像数据用于与上述第1图像数据的合成。
5.根据权利要求3所述的摄像装置，其特征在于，上述第2合成单元在上述图像数据的辉度相对较高时，与辉度相对较低时相比，减少用于与上述第1图像数据的合成的上述至少一个图像数据的个数。
6.根据权利要求4所述的摄像装置，其特征在于，上述第2合成单元在上述图像数据的辉度相对较高时，与辉度相对较低时相比，减少用于与上述第1图像数据的合成的上述至少一个图像数据的个数。
7.根据权利要求1 6的任意一项所述的摄像装置，其特征在于，上述第1合成单元将上述摄像单元在每预定时间内拍摄的上述多个图像数据相加合成，而生成上述第1图像数据，上述输出单元每隔上述预定时间依次输出上述第2合成单元生成的上述第2图像数据。
8.根据权利要求2所述的摄像装置，其特征在于，上述多个图像数据分别是以第1快门速度拍摄的预定个数的图像数据， 上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述第1快门速度低速的表观快门速度对应的低辉度侧图像数据，上述第2合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以上述第1快门速度最初拍摄的最初的图像数据的、比上述预定个数少的个数的图像数据，而生成高辉度侧图像数据，或将上述最初的图像数据本身作为高辉度侧图像数据使用， 上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。
9.根据权利要求2所述的摄像装置，其特征在于，上述多个图像数据是以多个快门速度拍摄的预定个数的图像数据， 上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述多个快门速度的任意一个低速的表观快门速度对应的低辉度侧图像数据，上述第2合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以最高速的快门速度拍摄的图像数据的、比上述预定个数少的个数的图像数据，而生成高辉度侧图像数据，或将上述以最高速的快门速度拍摄的图像数据本身作为高辉度侧图像数据使用，上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。
10.根据权利要求2所述的摄像装置，其特征在于，上述多个图像数据分别是以第1曝光条件拍摄的预定个数的图像数据， 上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述第1曝光条件适于低辉度被拍摄体的拍摄的表观的曝光条件对应的低辉度侧图像数据，上述第2合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以上述第1曝光条件最初拍摄的最初的图像数据的、比上述预定个数少的个数的图像数据，而生成高辉度侧图像数据，或将上述最初的图像数据本身作为高辉度侧图像数据使用， 上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。
11.根据权利要求2所述的摄像装置，其特征在于，上述多个图像数据是以多个曝光条件拍摄的预定个数的图像数据， 上述第1图像数据是相加上述预定个数的图像数据而生成的、与比上述多个曝光条件的任意一个都适于低辉度被拍摄体的拍摄的表观的曝光条件对应的低辉度侧图像数据，上述第2合成单元在生成上述第2图像数据前，相加上述预定个数的图像数据中包含以最适于高辉度被拍摄体的拍摄的曝光条件拍摄的图像数据的、比上述预定个数少的个数的图像数据，而生成高辉度侧图像数据，或将上述以最适于高辉度被拍摄体的拍摄的曝光条件拍摄的图像数据本身作为高辉度侧图像数据使用，上述第2合成单元将上述低辉度侧图像数据和上述高辉度侧图像数据合成，而生成上述第2图像数据。
12.—种图像合成程序，使计算机执行以下步骤一次存储摄像单元连续拍摄的多个图像数据，该摄像单元拍摄被拍摄体并生成图像数据；将存储的上述多个图像数据相加合成，而生成第1图像数据； 将上述多个图像数据中的部分图像数据和上述第1图像数据合成，而生成第2图像数据；以及输出所生成的上述第2图像数据。
13.一种摄像装置，其特征在于，具有 摄像单元，拍摄被拍摄体并生成图像数据；第1合成单元，相对于基准图像数据，对该基准图像以外的其他图像进行对位并进行相加合成，从而生成第1图像数据；以及第2合成单元，将上述基准图像数据和上述第1图像数据合成，而生成第2图像数据。
14.一种图像合成程序，使计算机执行以下步骤 拍摄被拍摄体并生成图像数据；相对于基准图像数据，对该基准图像以外的其他图像进行对位并进行相加合成，从而生成第1图像数据；以及将上述基准图像数据和上述第1图像数据合成，而生成第2图像数据。
全文摘要
本发明提供一种摄像装置及图像合成程序。摄像装置(11)具有摄像元件(14)，拍摄被拍摄体并生成图像数据；RAM(20)，可一次存储摄像元件(14)连续拍摄的多个图像数据；相加合成部，将RAM(20)中存储的多个图像数据相加合成，而生成相加图像数据；高动态范围合成部，将多个图像数据中的部分图像数据和相加图像数据合成，而生成高动态范围图像数据，并输出所生成的高动态范围图像数据。
文档编号H04N5/232GK102348066SQ20111021980
公开日2012年2月8日 申请日期2011年7月27日 优先权日2010年7月30日
发明者篠田兼崇 申请人:株式会社尼康