拍摄装置和拍摄方法

拍摄装置和拍摄方法
【专利摘要】本发明提供拍摄装置和拍摄方法，能够防止难度高的B门拍摄的曝光失败并拍摄符合拍摄者的意图的照片。使用从图像传感器4以规定时间间隔连续地读出的图像数据，生成基于对图像数据的每个像素使用较暗一方的像素的较暗合成的较暗合成图像数据、和基于对图像数据的每个像素使用较亮一方的像素的较亮合成的较亮合成图像数据（S35），根据较亮合成图像数据和较暗合成图像数据生成差值输出图像数据（S47），将所生成的较暗合成图像数据作为背景输出图像数据，并且将差值输出图像作为光迹输出图像数据，分别对明亮度进行调整，将调整后的各图像进行合成（S49）。
【专利说明】拍摄装置和拍摄方法

【技术领域】
[0001] 本发明涉及拍摄装置和拍摄方法，特别涉及在数字静态相机等电子拍摄装置中， 能够通过较亮合成来生成B门（Bulb)拍摄图像并且能够任意地调整曝光的拍摄装置和拍 摄方法。

【背景技术】
[0002] 以往，在单反式的拍摄装置中，通过光学取景器进行被摄体像的观察。但是，最近， 市面开始销售如下拍摄装置，该拍摄装置没有光学取景器，通过利用背面液晶监视器等来 显示从图像传感器读出的图像的实时取景显示，来观察被摄体像。此外，市面还开始销售如 下拍摄装置，该拍摄装置取代光学取景器，除了背面液晶监视器等以外，使用电子取景器来 显示实时取景显示的图像，能够对上述的背面液晶监视器的显示和电子取景器的显示进行 切替。
[0003] 以往，不管是光学取景器还是电子取景器，在B门拍摄这样的长时间拍摄时，在曝 光过程中都无法从图像传感器读出图像数据，因此无法确认被摄体的状态和曝光状态，只 能在拍摄结束后确认图像。因此，必须由拍摄者自己根据被摄体的明亮度等来估计并决定 光圈和ISO感光度等曝光设定、曝光开始和结束的时刻，对于拍摄者而言不容易做到不因 曝光不足或曝光过度而导致拍摄失败而得到期望的拍摄图像。
[0004] 因此，为了解决这样的不良情况，在日本特开2005-117395号公报（以下称作"专 利文献1")所公开的拍摄装置中，以规定的时间间隔从图像传感器中读出图像数据，每次从 图像传感器中读出该图像数据，都单纯地进行图像数据的累积相加，将由此得到的图像在 液晶监视器等中进行显示，能够对曝光经过进行显示。
[0005] 此外，在日本专利第4148586号公报（以下称作"专利文献2"）所公开的拍摄装置 中，连续地从图像传感器读出图像数据，通过较亮合成，生成B门拍摄图像数据。该较亮合 成是如下的图像合成：对图像数据的每个像素的亮度级别进行比较，选择较大一方作为合 成后的亮度级别。


【发明内容】

[0006] 发明要解决的问题
[0007] 在专利文献1所公开的拍摄装置中，在B门拍摄过程中，能够将当前的曝光信息作 为经过信息向拍摄者进行告知，能够减少曝光不足或曝光过度等失败。但是，在将一般的向 夜空发射的烟花的光迹或星星的光迹作为B门拍摄的对象进行拍摄的情况下，曝光时间越 长，光迹的长度越延长，并且有时背景(在这些情况下为夜空）的明亮度发生变化。该情况 下，需要以使得背景的明亮度不会曝光过度或曝光不足的曝光时间来结束拍摄，光迹的长 度与拍摄者的意图无关而由背景的明亮度决定。
[0008] 与此对应地，在专利文献2所公开的拍摄装置中，通过较亮合成来生成拍摄图像 数据，该较亮合成是指，针对连续地从摄像元件读出的图像数据，对图像数据的每个像素的 亮度级别进行比较，选择较亮一方的像素作为合成后的亮度级别。因此，背景的明亮度与曝 光时间无关而维持合成前的一张图像的明亮度，能够符合拍摄者的构思意图来设定曝光时 间，并拍入光迹。
[0009] 但是，在专利文献1、2所公开的拍摄装置中，均是拍摄者为了按照意图分别对背 景的明亮度和光迹的长度/明亮度进行拍摄，需要与被摄体的明亮度匹配地对光圈、ISO感 光度以及对合成前的一张图像进行拍摄的曝光时间进行调整。该调整需要长年的拍摄经验 或试拍的明亮度确认等，需要高度的拍摄技术。
[0010] 此外，由于星星、烟花等是在暗环境下进行拍摄，因此，在拍摄后，在白天或房间等 明亮的环境下确认图像时，拍摄图像看起来是与拍摄时不同的明亮度，因此，往往会以不符 合拍摄意图的明亮度来进行拍摄。
[0011] 本发明是鉴于这样的情况而完成的，其目的在于提供能够防止难度高的B门拍摄 的曝光失败并能够拍摄符合拍摄者的意图的照片的拍摄装置和拍摄方法。
[0012] 用于解决问题的手段
[0013] 本发明的拍摄装置根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置 具有：图像传感器；较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初 生成的第1图像数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上 述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较亮合成处理： 在该较亮合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图 像数据的多个像素数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的 像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮 合成图像数据；较暗合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成 的第1图像数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像 传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在 较暗图像合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图 像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的 像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗 合成图像数据；差值图像合成部，其运算构成上述累积较亮合成图像数据的像素数据与构 成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像 数据；以及图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益值而得到的图 像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
[0014] 本发明的拍摄装置根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置 具有：图像传感器；较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初 生成的第1图像数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上 述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较亮图像合成 处理：在该较亮图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的 上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的 分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成 根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构 成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的 较大一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上 述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较 亮合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述 累积较亮合成图像数据；较暗合成处理部，其将根据从上述图像传感器读出的图像数据而 最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从 上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合 成处理：在较暗图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的 上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的 分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成 根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构 成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的 较小一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上 述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较 暗合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述 累积较暗合成图像数据；差值图像合成部，其运算构成上述累积较亮合成图像数据的多个 像素数据与构成上述累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成 新的差值图像数据；以及图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益 值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合 成。
[0015] 本发明的拍摄方法根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法 具有：较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数 据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出 的图像数据而生成的第2图像数据依次反复进行如下的较亮合成处理：在该较亮合成处理 中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素 数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较， 将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮合成图像数据；较暗 合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为 累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出的图像数 据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像合成处理 中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素 数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较， 将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗合成图像数据；差值 图像合成步骤，运算构成上述累积较亮合成图像数据的像素数据与构成上述累积较暗合成 图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像数据；以及图像合成 步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值 图像数据乘以任意的增益值而得到的图像数据进行合成。
[0016] 本发明的拍摄方法根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法 具有：较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数 据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出 的图像数据而生成的第2图像数据依次反复进行如下的较亮图像合成处理：在该较亮图像 合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的 多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据 的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感 器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成 图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据 作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的 图像数据而生成的上述第2图像数据的像素数据和构成上述累积较亮合成图像数据的像 素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较亮合成图像数 据；较暗合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像 数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出 的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像 合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的 多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据 的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感 器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成 图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据 作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的 图像数据而生成的上述第2图像数据的像素数据和构成上述累积较暗合成图像数据的像 素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较暗合成图像数 据；差值图像合成步骤，运算构成上述累积较亮合成图像数据的多个像素数据与构成上述 累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成新的差值图像数据； 以及图像合成步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据 和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
[0017] 发明的效果
[0018] 根据本发明，能够提供能够防止难度高的B门拍摄的曝光失败并拍摄符合拍摄者 的意图的照片的拍摄装置和拍摄方法。

【专利附图】

【附图说明】
[0019] 图1是示出本发明的第1实施方式的相机的主要电气结构的框图。
[0020] 图2是示出在本发明的第1实施方式的相机中，在B门模式中选择了较亮合成模 式的情况下的动作的流程图。
[0021] 图3是示出在本发明的第1实施方式的相机中，在B门模式中选择了较亮合成模 式的情况下的动作的流程图。
[0022] 图4A和图4B是示出在本发明的第1实施方式的相机中进行曝光调整时的操作画 面的图，图4A是曝光调整要否确认画面，图4B是曝光调整操作画面。
[0023] 图5A?图?是示出在本发明的第1实施方式的相机中的较亮/暗合成的图，图 5A示出合成前的图像，图5B示出较亮合成的图像，图5C示出较暗合成的图像，图?示出从 较亮合成图像中减去较暗合成图像后的差值输出图像。
[0024] 图6A和图6B是说明在本发明的第1实施方式的相机中进行曝光调整的图，图6A 示出光迹的明亮度调整，图6B示出背景的明亮度调整。
[0025] 图7是示出在本发明的第2实施方式的相机中，选择了 B门模式的情况下的动作 的流程图。

【具体实施方式】
[0026] 下面参照附图使用应用了本发明的相机来说明优选的实施方式。本发明的优选的 实施方式的相机是数字相机，概略地，将基于从摄像元件读出的图像数据的图像数据在显 示部中进行实时取景显示，并且根据快门释放按钮的操作将为了记录用而进行了图像处理 后的图像数据记录在外部存储器中。此外，当设定较亮合成模式作为B门拍摄模式时，在B 门拍摄过程中，能够生成基于对图像数据的每个像素使用明亮的一方的像素的较亮合成的 较亮合成图像数据，并使用该图像数据在B门拍摄过程中进行曝光状态的经过显示。
[0027] 并且，该相机生成基于对图像数据的每个像素使用较暗一方的像素的较暗合成的 较暗合成图像数据，根据前述的较亮合成图像数据和较暗合成图像数据生成差值输出图像 数据。将生成的较暗合成图像数据作为背景输出图像数据，并且将差值输出图像数据作为 光迹输出图像数据，分别对明亮度进行调整，对调整后的各图像数据进行合成，由此，能够 相对于作为基准的较亮合成图像数据分别独立地调整背景的明亮度、光迹的明亮度。
[0028] 图1是示出作为本发明的优选实施方式的第1实施方式的相机的主要电气结构的 框图。本实施方式的相机具有摄像部1、图像处理部10、系统控制部20以及总线31和与它 们连接的各部。
[0029] 镜头2在图像传感器4上对被摄体的光学像进行成像。在该镜头2内具有决定用 于调节曝光量的光圈值的光圈。此外，机械快门3通过开闭动作进行对图像传感器4的曝光 和遮光，控制快门速度。图像传感器4包含CMOS图像传感器、C⑶图像传感器等摄像元件， 按照每个像素将由镜头2成像的被摄体的光学像转换为电信号，将图像数据输出到图像处 理部10和总线31。总线31是用于在各模块之间进行信号的收发的信号线。
[0030] 图像处理部10对从图像传感器4输出的图像数据实施图像处理，具有图像比较合 成部11、图像平均合成部12、差值图像合成部13、图像相加合成部14、图像合成部15以及 显像处理部16。
[0031] 图像比较合成部11对从图像传感器4连续读出的图像数据与内部存储器33中所 保存的图像数据的每个像素的输出进行比较，对每个像素进行较亮处理和较暗合成处理， 使用通过这些处理生成的较亮合成图像数据和较暗合成图像数据来生成合成图像数据。
[0032] S卩，在图像比较合成部11的较亮处理中，最初将构成根据从图像传感器4读出的 图像数据而生成的图像数据的像素数据作为较亮合成图像数据存储在内部存储器33中。 接着，针对构成根据从图像传感器4读出的图像数据而生成的图像数据的像素数据，和构 成存储在内部存储器33中的累积较亮合成图像数据的多个像素数据，比较分别对应的像 素数据。然后，在比较分别对应的像素数据的结果为其差为规定值以上的情况下，检测任意 的较大一方、即较亮一方的像素数据，使用该较亮一方的像素数据来重构累积较亮合成图 像数据。另一方面，图像比较合成部11在比较分别对应的像素数据的结果为其差小于规定 值的情况下，将对应的像素数据置换为由图像平均合成部12计算出的平均值。在每次从图 像传感器4读出图像数据时重复进行该处理。通过进行较亮处理，能够得到夜空的星星的 光迹图像(参照后述的图5B)。
[0033] 此外，在图像比较合成部11的较暗处理中，最初将构成根据从图像传感器4读 出的图像数据而生成的图像数据的像素数据作为较暗合成图像数据存储在内部存储器33 中。接着，针对构成根据从图像传感器4读出的图像数据而生成的图像数据的像素数据，和 构成存储在内部存储器33中的累积较暗合成图像数据的多个像素数据，比较分别对应的 像素数据。然后，在比较分别对应的像素数据的结果为其差为规定值以上的情况下，检测任 意的较小一方、即较暗一方的像素数据，使用该较暗一方的像素数据来重构累积较暗合成 图像数据。另一方面，图像比较合成部11在比较分别对应的像素数据的结果为其差小于规 定值的情况下，将对应的像素数据置换为由图像平均合成部12计算出的平均值。在每次从 图像传感器4读出图像数据时重复进行该处理。通过进行较暗处理，能够消去夜空的星星 的光迹，得到背景的图像(参照后述的图5C)。
[0034] 图像平均合成部12在针对构成累积较亮合成图像数据或累积较暗合成图像数据 的多个像素数据，比较分别对应的像素数据的结果为其差小于规定值的情况下，计算对应 的像素数据的平均值。
[0035] 差值图像合成部13计算较亮合成图像数据和较暗合成图像数据的每个像素的差 值输出，生成差值图像数据。即，差值图像数据是按照每个像素数据从较亮合成图像数据减 去较暗合成图像数据来计算差值而得到的图像数据，是背景图像数据消失而仅留光迹的图 像数据(参照后述的图OT)。
[0036] 图像相加合成部14将每个像素的输出相加，生成相加合成数据。即，在每次以规 定周期从图像传感器4读出图像数据时，图像相加合成部14对图像数据进行相加运算，生 成相加合成数据。通过根据该相加合成数据进行显示，能够进行B门拍摄时的拍摄经过显 示。另外，在后述的流程图（参照图2、3)中，省略了基于该相加合成数据的拍摄经过显示。
[0037] 图像合成部15分别对较暗合成图像数据和差值图像数据乘以增益，并进行相加 处理。由图像比较合成部11生成的较暗合成图像数据是移动的明亮部分消失而仅由背景 构成的图像数据(参照图5C)，此外，差值图像数据是由移动的明亮部分、即由光迹构成的图 像数据(参照图OT)。分别对这些图像数据乘以增益并进行相加处理，由此，能够分别独立地 调整光迹部分和背景部分的明亮度。后面使用图4A至图6B以及图3的S43?S55来说明 该调整。
[0038] 显像处理部16对图像合成部15中生成的RAW图像数据进行去马赛克、白平衡调 整，伽马校正、图像压缩等显像处理。
[0039] 内部存储器33暂时存储相机动作所需要的各种设定信息和在图像处理时中途经 过的图像数据。内部存储器33由闪存、SDRAM等可电擦写的非易失性的存储器构成。
[0040] 外部存储器36是能够在相机主体上自由装卸或者被固定在内部的可电擦写的非 易失性的存储介质，例如是SD卡或CF卡等。该外部存储器36记录由显像处理部16进行 了显像处理后的图像数据，并且能够在再现时读出所记录的图像数据并将其输出到相机的 外部。
[0041] 显示部37由TFT (Thin Film Transistor :薄膜晶体管)液晶或有机EL等的背面 显示部或EVF (电子取景器）构成，显示由显像处理部16进行了显像后的图像。
[0042] 输入接口 38具有快门释放按钮等操作部件、用于输入背面显示部等中的触摸操 作的触摸面板等，根据用户操作进行各种的模式设定和快门释放等拍摄动作的指示。
[0043] 曝光判定部34根据从图像传感器4读出的图像数据或者在各合成部中生成的图 像数据的输出来判定是否为适当曝光。比较部35对要进行比较合成的多个图像数据的每 个像素的输出差进行比较。此外，还能够对每个像素的输出差与规定值（阈值水平）进行比 较。
[0044] 系统控制部20具有CPU (Central Processing Unit :中央处理单元)，依照存储 在内部存储器33内的程序进行相机的整体控制。此外，系统控制部20具有曝光时间计算 部21和曝光时间控制部22。曝光时间计算部21根据曝光判定部34中的曝光判定结果来 计算最合适的曝光时间(快门速度)。曝光时间控制部22根据曝光时间计算部21的计算结 果来控制机械快门3的开闭定时处理。曝光时间计算部21和曝光时间控制部22可以利用 软件进行处理，此外，也可以利用硬件进行处理。
[0045] 接着，对图1所示的相机的动作的概要进行说明。根据系统控制部20的控制，来 调整构成镜头2的对焦镜头，将光圈设定为规定值，机械快门3打开，通过图像传感器4将 光学像转换为电信号。在图像处理部10中对从图像传感器4读出的图像数据实施规定的 图像处理，并将其记录在外部存储器36中。此外，对在图像处理部10中实施了规定的图像 处理的图像数据调整尺寸后，显示于显示部37中。
[0046] 系统控制部20经由输入接口 38接收来自用户的指示，进行图像传感器4的曝光 开始、信号读出等的定时控制、机械快门3的开闭定时控制、镜头2的光圈控制或自动对焦 控制。此外，系统控制部20从图像处理部10取得图像数据，进行利用显示部37的图像显 示和在外部存储器36中保存图像数据等的控制。
[0047] 接着，使用图2和图3所示的流程图，来说明本实施方式的相机的处理的流程。依 照存储在内部存储器33中的程序，由系统控制部20控制各部来执行该流程图。
[0048] 在该流程图中图示了用户通过输入接口来选择B门拍摄模式，并且选择了 B门拍 摄模式中的较亮合成模式的情况下的处理序列。即使是B门拍摄模式，针对不进行曝光过 程中的经过显示的通常的B门拍摄和利用相加图像进行曝光过程中的经过显示的相加合 成显示模式，也进行了省略。另外，在选择了作为经过显示模式的一种的相加合成显示模式 后，在B门拍摄过程中以规定的周期从图像传感器4读出图像数据，并依次将该读出的图像 数据相加，由此，能够在显示部37中显示根据曝光时间的经过而画面逐渐变亮的情况。此 夕卜，在作为经过显示模式的一种的较亮合成模式中，背景的明亮度不依赖于曝光时间而是 固定的，能够根据曝光时间来调整光迹的长度。
[0049] 用户预先调节相机的朝向和镜头的焦点距离(变焦)，以便能够在进行B门拍摄时 预先确认显示部37和光学取景器(未图示)从而能够拍摄希望拍摄的被摄体。此外，也可以 根据需要，经由按钮和触摸面板等的输入接口 38来设定对焦镜头的位置、光圈值、ISO感光 度等拍摄信息。
[0050] 进入图2所示的流程后，系统控制部20根据快门释放开关的最初的按压动作来判 定第1释放开关是否被接通（S1)。当该判定结果不是接通时，成为待机状态。
[0051] 当步骤S1中的判定结果为第1释放开关是接通时，接着，进行AF和AE (S3)。这 里，系统控制部20进行AF (自动对焦)，在被摄体上对焦。在进行AF时，系统控制部20驱 动镜头2内的对焦镜头，以使得从图像传感器4反复读出的图像数据的对比度值成为最大 值。此外，进行AE (自动曝光控制)，计算成为适当曝光的曝光时间和光圈等。
[0052] 在进行AF和AE后，接着，判定第2释放开关是否为接通（S5)。这里，系统控制部 20判定是否进行了比最初的按压动作相对更强的按压动作而使第2释放开关接通。当该判 定结果为第2释放开关不是接通时，返回步骤S3,重复AF/AE动作。
[0053] 当步骤S5中的判定结果为第2释放开关是接通时，进行基于较亮合成模式的较亮 合成。首先，反映图像读出周期T(S7)。该周期T是从图像传感器4读出图像数据的周期， 可以是由用户手动设定的值，此外，也可以是与步骤S3的AE中计算出的适当曝光时间对应 的值。
[0054] 在反映了图像读出周期T之后，接着开始曝光（S9)。这里，系统控制部20对图像 传感器4开始曝光。在开始曝光后，接着，判定是否经过了曝光时间T(S11)。这里，在步骤 S9中的曝光开始后，判定是否经过了时间T。在经过时间T之前成为待机状态。
[0055] 当步骤S11中的判定结果为经过了曝光时间T时，接着，读出图像数据并开始下一 帧的曝光（S13)。接着，将在步骤S13中读出的图像数据保存在内部存储器33中（S15)。
[0056] 在内部存储器33中保存了图像数据后，接着，进行较亮/暗合成处理（S17)。但是， 在较亮合成模式下最初从图像传感器4读出图像数据的情况下，跳过较亮/暗合成处理，从 第2帧开始进行较亮/暗合成处理。在后述的步骤S25的判定结果是"否"的情况下，在经 过时间T后，对步骤S13中读出的图像数据和内部存储器33中存储的图像数据（累积较亮 合成图像数据和累积较暗合成数据）进行该从第2帧开始的较亮/暗合成处理。
[0057] 如下进行第2帧的较亮/暗合成处理。在内部存储器33中暂时存储有第1帧和 第2帧的图像数据。系统控制部20将在内部存储器33中暂时存储的第1帧和第2帧的读 出图像数据传送到比较部35,对2张图像的相同地址的像素输出进行比较，选择较大一方 的像素数据作为合成后的图像的像素数据，作为较亮合成图像数据（累积较亮合成图像数 据)。此外，对2张图像的相同地址的像素输出进行比较，选择较小一方的像素数据作为合 成后的图像的像素数据，作为较暗合成图像数据(累积较暗合成图像数据)。
[0058] 将在步骤S17中生成的较亮合成图像数据和较暗合成图像数据保存在内部存储 器 33 中（S19)。
[0059] 在内部存储器中保存后，接着进行显像处理（S21)。这里，系统控制部20通过显像 处理部16对暂时存储在内部存储器33中的图像数据进行去马赛克处理、γ校正处理、降 噪处理、YC信号生成处理、调整尺寸处理等显像处理。另外，由于所读出的图像数据的像素 数大于液晶显示或电子取景器的显示像素，所以进行调整尺寸处理以与显示元件的显示像 素数匹配。
[0060] 在进行显像处理后，接着进行显像图像的显示（S23)。这里，系统控制部20将由 显像处理部16进行了显像处理后的较亮合成图像作为曝光经过图像，显示于显示部37中。 能够作为B门拍摄时的经过图像由用户进行确认。
[0061] 在进行显像图像的显示后，接着，判定是否检测到第2释放开关的断开（S25)。在 本实施方式中，从用户强力按入快门释放按钮起到离开为止，即当第2释放开关接通时开 始B门拍摄，当第2释放开关断开时结束B门拍摄。另外，当然也可以是，最初第2释放开 关接通后，即使断开也继续进行B门拍摄，当再次接通第2释放开关时结束B门拍摄。
[0062] 在步骤S25中的判定结果为第2释放开关并未断开的情况下，返回步骤S11。从第 3帧开始的图像数据也是在经过曝光时间T后从图像传感器读出（S13)，并保存在内部存储 器33中（S15)。在比较部35中对从图像传感器4读出的图像数据和至此为止保存在内部 存储器33中的累积较亮合成图像数据(如果是第3帧的合成图像数据，则为第1、第2帧的 较亮合成图像数据）进行较亮合成处理（S17)，并作为累积较亮合成图像数据保存在内部存 储器33中（S19)。对该保存的累积较亮合成图像数据实施显像处理（S21)，并将其作为曝光 经过图像显示于显示部37中（S23)。此外，同样地，对从图像传感器4读出的图像数据和累 积较暗合成图像数据(如果是第3帧的合成图像数据，则为第1、第2帧的较暗合成图像数 据）进行较暗合成处理（S17)，并将其作为累积较暗合成图像数据保存在内部存储器33中 (S19)。
[0063] 这样，在B门拍摄过程中，每次经过时间T，就从图像传感器4读出图像数据，进行 较亮合成处理和较暗合成处理，将较亮合成处理后的图像作为曝光经过图像显示在显示部 37中。
[0064] 当步骤S25中的判定结果为检测到第2释放开关的断开时，进行B门拍摄的结束 处理。
[0065] 首先，在步骤S43以下，进行曝光调整处理。在该曝光调整处理中，能够分别独立 地调整最终拍摄图像的背景和光迹的部分的明亮度。首先，进行是否调整背景/光迹的明 亮度的判定（S43)。在该步骤中，将调整要否画面(例如，图4A所示的曝光调整要否画面)显 示在显示部37中，因此，用户观察该曝光调整要否画面，确认背景和光迹的明亮度是否符 合意图。在符合意图的情况下，通过输入接口 38选择"不进行"曝光调整（S43-"否")。该 情况下，将累积较亮合成图像数据及其显像处理图像数据保存在外部存储器中，结束拍摄。 [0066] 另一方面，在步骤S43的判定结果为选择了 "进行"曝光调整的情况下 (S43 - "是")，将背景/光迹的明亮度调整画面(例如，图4B所示的曝光调整操作画面）显 示在显示部37中。
[0067] 在该状态下，进行了曝光调整增益设定操作后，取得其设定操作量（S45)。在图4B 所示的例中，分别针对背景和光迹显示调整指示器。在用户进行了通过向右对指示器进行 滑动操作使亮度变明，或者通过向左进行滑动操作使亮度变暗的指示后，系统控制部20经 由输入接口 38中的触摸面板输入用户的指示。
[0068] 系统控制部20将由用户的操作输入的背景、光迹的明亮度调整量是对所显示的 图像变更几倍的明亮度变更为调整增益。当设背景的调整增益为α、设光迹的调整增益为 β时，例如在输入了希望对背景进行+ 1级的明亮度调整、对光迹进行-1级的明亮度调整 的意思的情况下，转换为α =2、β =0.5。
[0069] 接着，在进行了曝光调整增益设定操作后，接着进行差值输出图像数据的生成 (S47)。这里，系统控制部20将较亮合成图像数据和较暗合成图像数据输入到差值图像合 成部13,通过下述（1)式生成差值输出图像数据，并将其保存在内部存储器33中。
[0070] 差值输出图像数据=较亮合成图像数据-较暗合成图像数据···（1)
[0071] 这里，如图5所示，如果以曝光时间Τ读出的合成前的各个图像数据不存在背景的 明亮度发生变化的部分，则较暗合成图像数据（图5C)相当于反映了除去光迹的背景的明亮 度的图像数据。另一方面，差值输出图像数据（图是按照对应的每个像素从较亮合成图 像数据（图5B)中减去背景(较暗合成图像数据）（图5C)而得到的图像数据，因此成为仅拍 入光迹的图像数据。
[0072] 在步骤S47中生成差值输出图像数据后，接着，进行合成图像数据的生成（S49)。 这里，系统控制部20将在内部存储器33中保存的较暗合成图像数据和差值输出图像数据 输出到图像合成部15,根据以下所示的式（2)生成合成图像数据。即，进行将较暗合成图像 数据与调整增益α相乘得到的图像数据、和将差值输出图像数据与调整增益β相乘得到 的图像数据这2个图像数据的相加合成，生成合成图像数据。将该生成的合成图像数据保 持在内部存储器33中。
[0073] 合成图像数据=(较暗合成图像数据X α ) + (差值输出图像数据X β )· · *(2)
[0074] 这里，A + Β表示图像数据Α和图像数据Β的相加合成图像数据。
[0075] 通过上述的合成，生成将背景的明亮度调整图像数据(较暗合成图像数据X α )和 光迹的明亮度调整图像数据(差值输出图像数据X β )合成后的图像数据，生成根据用户的 操作调整了明亮度后的图像数据。
[0076] 在步骤S49中生成了合成图像数据后，接着，进行显像处理（S51 )，在显示部37中 进行图像显示（S53)。在进行了图像显示后，接着，判定明亮度是否没问题（S55)。这里，如 图4Α所示，再次显示调整画面，因此，用户确认进行了明亮度调整后的图像，如果需要重新 调整，则对曝光调整"进行"进行触摸操作。如果合成图像的明亮度不足或过度，则返回步 骤S45，在输入明亮度调整值后，再次进行背景/光迹的明亮度调整。
[0077] 图6Α和图6Β中示出背景/光迹调整的例子。图6Α是光迹的明亮度调整的例子， 这里，对轨迹的条数进行调整。图像Ρ2是基准图像，图像Ρ1实施了负校正，图像Ρ3实施了 正校正。由图6Α可知，能够在不使背景的明亮度变化的情况下仅调整光迹。
[0078] 此外，图6Β是背景的明亮度调整的例子。图像Ρ5是基准图像(与Ρ2相同的图像)， 图像Ρ4实施了负校正，图像Ρ6实施了正校正。由图6Β可知，能够在不使光迹的明亮度发 生变化的情况下仅调整背景的明亮度。
[0079] 另一方面，在步骤S55中判断为已调整为符合用户意图的明亮度的情况下，经由 输入接口 38在图4Α所示的画面中对曝光调整"不进行"进行触摸操作。该情况下，步骤 S55中的判定结果为明亮度没问题，将合成图像及其显像处理图像保存在外部存储器36中 (S57)，拍摄完成。
[0080] 这样，在本发明的第1实施方式中，如图6Α和图6Β所示，用户能够在拍摄后一边 确认较亮合成图像，一边根据构思意图分别调整背景和光迹的明亮度。因此，能够防止由于 难度高的Β门拍摄的曝光失败而导致的拍摄失败，并且拍摄符合拍摄者的意图的照片。
[0081] 接着，对本发明的第1实施方式的变形例进行说明。在第1实施方式中，在进行图 像比较合成部11中的较亮/暗合成时，通过比较部35按照每个像素对像素数据进行比较， 判定是大还是小。与此相对，在本变形例中，计算要进行比较的像素数据输出之间的差值像 素数据，在比较部35中将该差值像素数据与阈值水平(规定值)ΤΗ进行比较，将大于阈值水 平的像素数据作为在图像比较合成部11中进行较亮/暗合成后的值，此外，对小于阈值水 平的像素在图像平均合成部12中计算平均值，将该平均值作为合成后的图像输出。即，进 行下面所示的处理。
[0082] 差值像素数据彡ΤΗ -较亮/暗合成
[0083] 差值像素数据< ΤΗ -平均合成
[0084] 从图像传感器4读出的图像数据中包含随机噪声。针对亮度不发生变化的背景， 在多个图像数据的较亮合成中，随机噪声的最大值被反映到累积较亮合成图像数据中，此 夕卜，在较暗合成中，随机噪声的最小值被反映到累积较暗合成图像数据中。因此，在本变形 例中，通过将阈值水平ΤΗ设定为随机噪声程度的值，能够抑制随机噪声引起的画质恶化， 改善最终的合成图像的画质。
[0085] 接着，使用图7说明本发明的第2实施方式。在第1实施方式中，来自图像传感器 4的1帧的曝光时间(读出周期Τ)在Β门拍摄过程中是固定的。与此相对，在第2实施方式 中，使来自图像传感器4的1帧的曝光时间根据周围的明亮度而发生变化。
[0086] 即，在第1实施方式中，在从第2释放开关成为接通起到成为断开为止的拍摄中 途，背景的明亮度发生了变化的情况下，例如，在黄昏时或黎明时的天体拍摄、燃放大的烟 花、背景的明亮度发生了变化的情况下，在最终的累积较亮合成中反映背景被拍得最亮时 的背景。另一方面，在累积较暗合成图像数据中反映背景被拍得最暗时的背景。差值合成 图像数据是这些图像数据的差值，因此，包含了光迹的输出和背景的明亮度的变化的差值。 [0087] 在拍摄者使用该差值合成图像数据进行在第1实施方式中说明的背景/光迹的明 亮度调整的情况下，不仅光迹的明亮度发生变化，背景的亮度也发生变化，会生成拍摄者不 希望的合成图像数据。因此，在第2实施方式中，为了解决该问题，根据周围的明亮度的变 化改变1帧的曝光时间，由此能够尽量减小进行较亮/暗合成时的图像的明亮度变化。
[0088] 本实施方式中的结构与第1实施方式的图1所示的框图相同，仅是将图2所示的 流程图置换为图7。此外，图7的流程图仅是在图2所示的流程图中追加步骤S16A?S16E， 因此，以该不同点为中心进行说明。
[0089] 进入图7所示的流程，在步骤S7中反映图像读出周期Τ，开始曝光（S9)，在经过第 1帧的曝光时间Τ后（S11)，读出图像数据并开始用于下次拍摄的曝光（S13)，将读出的图像 数据保存在内部存储器33中（S15)。
[0090] 在步骤S15中将图像数据保存在内部存储器中后，判定第2帧及之后的帧的曝光 时间是否经过了 T / N (S16A)。这里，Ν是整数，Τ / Ν是比时间Τ短的时间。图像传感器 4以时间Τ对第1帧进行曝光，从第2帧开始以时间Τ / Ν进行曝光。
[0091] 步骤S16A中的判定结果为经过了曝光时间Τ / Ν时，读出图像数据并开始用于下 次拍摄的曝光（S16B)。将所读出的图像数据保存在内部存储器33中（S16C)。
[0092] 在内部存储器中进行了保存后，接着，进行相加图像处理（S16D)。这里，在图像相 加合成部14中，从第2帧起将读出的图像数据相加。即，在步骤S16B中，每次读出图像数 据时，将图像数据相加。将该相加图像数据保存在内部存储器33中，在下次的相加图像处 理时使用。
[0093] 在进行了相加图像处理后，接着，判定该相加图像数据与步骤S15中存储在内部 存储器33中的第1帧的图像数据之间的曝光差是否小于1 / N (S16E)。这里，比较部35 对通过第1帧的曝光而取得的图像数据的曝光量与通过相加图像处理而取得的图像数据 的曝光量进行比较。在比较部35中通过以下所示的（3)式计算曝光差来进行比较。
[0094] 曝光差={(第1帧的图像数据的曝光量)_(相加合成图像数据的曝光量)}/ (第 1帧的图像数据曝光量）· · *(3)
[0095] 关于曝光量的计算，可以使用近年来在数字相机中所安装的AE (测光）的方法来 计算图像像素输出平均值。
[0096] 在步骤S16E中的判定结果是曝光差为1 / N以上的情况下，返回步骤S16A，重复 进行上述的相加合成处理。由此，相加合成图像数据的曝光量逐渐变大。
[0097] 在步骤S16E中的判定结果是曝光差为1 / N以下的情况下，将相加合成图像数据 保存在内部存储器33中，使用该相加合成图像数据和第1帧的读出图像数据进行较亮/暗 合成（S17)，分别作为累积较亮合成图像数据和累积较暗合成图像数据保存在内部存储器 33 中（S19)。
[0098] 以后，在第2释放开关断开之前，针对每隔时间T / N (N为整数）读出的图像数 据，通过上述的处理序列，生成与第1帧的曝光差为1 / N以下的相加合成图像数据，进行 累积较亮合成和累积较暗合成。当步骤S25中的判定结果为第2释放开关断开时，执行图 3所示的步骤S31以下的步骤。该流程与第1实施方式相同，因此省略说明，根据拍摄者的 意图调整背景/光迹的明亮度，将最终的图像数据保存在外部存储器36中。
[0099] 这样，在第2实施方式中，通过对背景的明亮度接近第1帧的拍摄图像的明亮度 (曝光差为1 / N以下）的相加合成图像数据进行较亮合成和较暗合成，即使在背景的明亮 度发生了变化的情况下，也能够防止生成不符合拍摄者意图的合成图像数据。
[0100] 如以上说明的那样，在本发明的各实施方式和变形例中，使用从图像传感器以规 定时间间隔连续地读出的图像数据，基于对图像数据的每个像素使用较暗一方的像素的较 暗合成生成较暗合成图像数据，并且基于对图像数据的每个像素使用较亮一方的像素的较 亮合成生成较亮合成图像数据，根据较亮合成图像数据和较暗合成图像数据生成差值输出 图像数据(例如参照图3的S35、S47、图5B、5C、?)。然后，将生成的较暗合成图像数据作为 背景图像数据，并且将差值输出图像数据作为光迹输出图像数据，分别对明亮度进行调整， 对调整后的各图像数据进行相加合成，由此，能够相对于作为基准的较亮合成图像数据，分 别独立地调整背景的明亮度、光迹的明亮度。因此，能够防止难度高的B门拍摄的曝光失 败，并拍摄符合拍摄者的意图的照片。
[0101] 此外，在较暗合成图像数据和较亮图像数据的合成的生成时，对相同地址的像素 数据之间进行比较，使用较大或较小一方的像素数据来进行生成。因此，结构简单，能够迅 速地进行处理。此外，在进行较暗合成图像数据和较亮图像数据的合成时，在像素数据之间 的差值超过了规定值的情况下，使用较大或较小的像素数据生成较暗合成图像数据或较亮 合成图像数据，在像素数据之间的差值为规定值以下的情况下，使用像素数据的平均值来 生成较暗合成图像数据或较亮合成图像数据。通过使用差值进行判定，能够降低像素噪声 的影响。
[0102] 另外，在本发明的各实施方式、变形例中，在进行了较亮/暗合成处理后，仅存储 了最新的累积较亮合成图像数据/累积较暗合成图像数据（图2的步骤S19、图3的S37、图 7的S19)，但是，也可以是，存储过去的一连串的累积明合成图像数据/累积暗合成图像数 据，在B门拍摄结束后，根据这些图像数据分别生成差值输出图像数据，由用户选择希望的 图像数据。
[0103] 此外，在本发明的各实施方式、变形例中，显示了较亮合成图像作为图像显示，但 是不限于此，如果用户进行了选择，也可以显示较暗合成图像、差值输出图像。
[0104] 此外，在本发明的各实施方式、变形例中，使用数字相机作为用于拍摄的机器进行 了说明，但是，作为相机，可以是数字单反相机、无反射镜相机、紧凑型数字相机，也可以摄 像机、录像机那样的动态图像用的相机，并且还可以是移动电话、智能手机、或便携信息终 端（PDA :Personal Digital Assist:个人数字助理)、游戏设备等中内置的相机。无论何种 情况，只要是能够进行B门拍摄的用于拍摄的设备，就能够应用本发明。
[0105] 此外，在本说明书中说明的技术中，关于主要在流程图中进行说明的控制，大多数 都能够利用程序来进行设定，有时也收录于记录介质或记录部中。关于向该记录介质、记录 部的记录方法，可以在商品出厂时进行记录，也可以利用所发布的记录介质，还可以经由互 联网进行下载。
[0106] 此外，关于权利要求书、说明书以及附图中的动作流程，为了方便使用"首先"、"接 着"等表现顺序的词语进行了说明，但是，在没有特别进行说明的部分，不意味着必须按照 该顺序进行实施。
[0107] 本发明不限于上述实施方式，在实施阶段中，能够在不脱离其主旨的范围内对结 构要素进行变形并具体化。此外，通过适当组合上述实施方式所公开的多个结构要素能够 形成各种发明。例如，也可以删除实施方式中示出的全部结构要素中若干结构要素。并且， 也可以适当组合不同的实施方式的结构要素。
【权利要求】
1. 一种拍摄装置，其根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置具 有： 图像传感器； 较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像 数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读 出的图像数据而生成的第2图像数据依次反复进行如下的较亮合成处理：在该较亮合成处 理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像 素数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比 较，将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮合成图像数据； 较暗合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像 数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出 的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在该较暗图像 合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的 多个像素数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据 进行比较，将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗合成图像 数据； 差值图像合成部，其运算构成上述累积较亮合成图像数据的像素数据与构成上述累积 较暗合成图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像数据；以及 图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据 和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
2. 根据权利要求1所述的拍摄装置，其中， 该拍摄装置还具有将进行多次拍摄而得到的图像数据相加的图像相加合成部， 上述第1图像数据是以成为适当曝光的曝光时间进行拍摄而得到的图像数据，上述图 像相加合成部将以比成为上述适当曝光的曝光时间短的曝光时间进行多次拍摄而得到的 第3图像数据相加得到相加图像数据，当该相加图像数据与上述第1图像数据的差的绝对 值在规定范围内时，将上述相加图像数据作为上述第2图像数据。
3. -种拍摄装置，其根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置具 有： 图像传感器； 较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像 数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读 出的图像数据而生成的第2图像数据依次反复进行如下的较亮图像合成处理：在该较亮图 像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据 的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数 据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传 感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合 成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数 据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出 的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较亮合成图像数据的 像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较亮合成图像 数据； 较暗合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像 数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出 的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像 合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的 多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据 的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感 器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成 图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据 作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的 图像数据而生成的上述第2图像数据的像素数据和构成上述累积较暗合成图像数据的像 素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较暗合成图像数 据； 差值图像合成部，其运算构成上述累积较亮合成图像数据的多个像素数据与构成上述 累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成新的差值图像数据； 以及 图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据 和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
4. 根据权利要求3所述的拍摄装置，其中， 该拍摄装置还具有将进行多次拍摄而得到的图像数据相加的图像相加合成部， 上述第1图像数据是以成为适当曝光的曝光时间进行拍摄而得到的图像数据，上述图 像相加合成部将以比成为上述适当曝光的曝光时间短的曝光时间进行多次拍摄而得到的 第3图像数据相加得到相加图像数据，当该相加图像数据与上述第1图像数据的差的绝对 值在规定范围内时，将上述相加图像数据作为上述第2图像数据。
5. -种拍摄方法，根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法具 有： 较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数据 作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出的 图像数据而生成的第2图像数据依次反复进行如下的较亮合成处理：在该较亮合成处理 中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素 数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较， 将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮合成图像数据； 较暗合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像 数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出 的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像合 成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多 个像素数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进 行比较，将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗合成图像数 据； 差值图像合成步骤，运算构成上述累积较亮合成图像数据的像素数据与构成上述累积 较暗合成图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像数据；以及 图像合成步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据 和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
6. -种拍摄方法，根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法具 有： 较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数据 作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出的 图像数据而生成的第2图像数据依次反复进行如下的较亮图像合成处理：在该较亮图像 合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的 多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据 的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感 器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成 图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据 作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的 图像数据而生成的上述第2图像数据的像素数据和构成上述累积较亮合成图像数据的像 素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较亮合成图像数 据； 较暗合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像 数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出 的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像 合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的 多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据 的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感 器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成 图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据 作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的 图像数据而生成的上述第2图像数据的像素数据和构成上述累积较暗合成图像数据的像 素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较暗合成图像数 据； 差值图像合成步骤，运算构成上述累积较亮合成图像数据的多个像素数据与构成上述 累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成新的差值图像数据； 以及 图像合成步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据 和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
【文档编号】H04N5/232GK104113700SQ201410154987
【公开日】2014年10月22日 申请日期:2014年4月17日 优先权日:2013年4月18日
【发明者】岩崎宏明 申请人:奥林巴斯株式会社