图像抓取设备和方法

专利名称：图像抓取设备和方法
技术领域：
本发明涉及图像抓取设备及方法。
背景技术：
日本待审查专利申请公开No. 2005-354166、 No. 2004-219765 (对应于 US 7295232B2 )、 No. 2006-86933 (对应于US 2006062433A1 )和No. 2006-174069 (对应于US 2006127084A1 )是现有技术的示例。
作为照相或图像抓取技术，长时间曝光技术是常见的。在该技术中，连 续执行曝光长达某一时间段(如几秒到几十秒或者甚至几十分钟以上)。
长时间曝光技术也用于提供摄影表现(photographic representation )以及
调节对象的亮度。
例如，使用长曝光时间来抓取夜景。由于光线量很低，因此增加曝光时 间来采集充足量的光线以获得夜景的照片。
长时间曝光技术还可以用于其他目的。例如，故意将光圈设置得很低， 或者降低图像抓取灵敏度以表现对象的运动或者在运动物体之中对焦静止物 体。
诸如在长时间曝光期间使用单闪光(闪光灯装置)以实现多种效果(如 前帘同步(first-curtain synchronization )、后帘同步(second-curtain synchronization ))和多闪光之类的图像抓取技术也是常见的。

发明内容
然而，对于用户来说，难以使用长时间曝光图像抓取来获得他们期望的图像。一些最新的图像抓取设备(如数码栢机)被设计为相机在正常的图像 抓取处理中执行测量(metering)以确定适当的曝光设置(光圏和快门速度)。 然而，在需要长时间曝光的黑暗条件下，光线级别处于相机确定的测量范围 之外，并且不提供曝光设置。在这样的情况下，用户必须根据他们的经验和 直觉来确定诸如曝光时间和快门时间之类的设置以执行长时间曝光图像抓 取。在实践中，这对于缺乏经验的用户来说是很困难的。
曰本待审查专利申请公开No. 2005-354166公开了使用组合处理来实现 长时间曝光的图像效果的技术。
该技术包括在曝光期间作为由固态图像抓取元件所接收到的光的结果 产生的图像的实时观测、在曝光期间分开产生的图像抓取之后的多个图像的 选择和组合、以及在曝光期间不期望图像的去除。
该技术在对象不动(几乎不存在运动，或者由于曝光时间足够长，因此 即使对象运动，也没有运动模糊出现)的图像抓取条件下使用长时间曝光照 相术提供满意图像。对于使用长时间曝光来抓取非运动场景(如夜景)来说， 这是有效的。
然而，当用户期望抓取运动对象的静止图像(例如表示对象的运动的图 像或者在运动物体之中对焦静止物体的图像)时，难以获得满意图像。
在曝光期间，难以通过去除不期望的图像来获得提供了运动的平滑表现 的静止图像(如，当由经过的汽车前灯照亮周围环境时抓取的夜景的图像)。
尽管将上述前帘同步、后帘同步用作照相或图像抓取表现技术，但是对 于用户来说，必须根据他们的经验和直觉来确定诸如快门时间、曝光时间和 闪光照明量之类的设置，以便获得他们期望的图像。对于缺乏经验的用户来 说这也是很困难的。
由于实际上在诸如博物馆之类的公共场所中存在"禁止闪光"环境，因 此未必可以获得具有诸如前帘同步、后帘同步和多闪光之类的效果的图像。
此外，由于闪光(firingaflash)消耗电量，因此用于闪光的电池或电容 器是必须的。这会限制装置尺寸、功耗以及成本的减小。
此外，在长时间曝光期间，通常必须使用三脚架来支撑相机，以便防止 相机移动。因此拍摄者或用户除了相机机身之外还要购买附件(如三脚架) 并且还要携带这些附件。对于用户来说，相机和附件的运输将是负担，从而 使用户对容易地抓取具有长曝光时间的图像失去信心。此外，在长时间曝光期间，对象的运动、相机抖动等可能导致在所抓取 的图像中所有运动对象的模糊。因此，难以获得用于抓取期望图像的足够的 图像抓取条件。
此外，在长时间曝光图像抓取期间，例如，由另一个拍摄者进行的闪光 或者来自经过的汽车的前灯的瞬时照明将不会提供满意的组合图像。
因此期望允许不是专家的普通用户容易地实现多种图像效果，特别地， 类似于长时间曝光效果的图像效果或者使用诸如前帘同步、后帘同步和多闪 光之类的长时间曝光而实现的图像效果。还期望允许用户容易地获得他们期 望的图像。
在本发明的实施例中，图像抓取设备，包括图像抓取单元，被配置为 抓取对象的图像以获得图像数据；图像抓取控制单元，被配置为允许图像抓 取单元执行抓取具有时间连续性的多个帧的图像数据的图像抓取操作，以便 在图像抓取操作的执行期间根据对象亮度级别的变化来改变图像抓取单元的 帧速；以及组合处理单元，被配置为使用图像抓取单元抓取的、具有时间连 续性的多个帧的图像数据作为待组合的组合使用图像数据，来执行组合处理， 以便产生表示静止图像的組合图像数据。
图像抓取控制单元可以通过控制在图像抓取单元的光学系统中提供的光
圈机构并且通过可变地控制帧速，来在图像抓取操作的执行期间执行曝光调 节控制。
图像抓取控制单元通过控制在图像抓取单元的光学系统中提供的光强度 滤光片机构并且通过可变地控制帧速，来在图像抓取操作的执行期间执行曝 光调节控制。
图像抓取控制单元可以通过响应于所抓取的图^^信号来控制在图像抓取
单元的图像抓取信号处理系统中提供的可变增益电路并且通过可变地控制帧 速，来在图像抓取操作的执行期间执行曝光调节控制。
图像抓取设备可以进一步包括记录单元，被配置为将图像抓取单元抓取 的、具有时间连续性的多个帧的图像数据作为用于组合处理的图像数据的序 列记录在记录介质上。
组合处理单元可以使用记录介质上记录的、具有时间连续性的多个帧的 图像数据来执行组合处理，以便产生表示静止图像的组合图像数据。
图像抓取设备可以进一步包括操作检测单元，被配置为检测用于组合处理的操作输入信息。组合处理单元可以对具有时间连续性的组合使用图像数 据之中，由操作输入信息指定的时间轴上的范围中的帧的组合使用图像数据 执行组合处理，以便产生表示静止图像的组合图像数据。
图像抓取设备可以进一步包括操作检测单元，被配置为检测用于组合处 理的操作输入信息。组合处理单元可以使用由操作输入信息指定的加权系数， 对多个帧中的每一个的组合使用图像数据执行组合处理，以便产生表示静止 图像的组合图像数据。
组合处理单元可以使用加权平均来对多个帧中的每一个的组合使用图像 数据执行组合处理，以便产生表示静止图像的组合图像数据。
组合处理单元可以通过分配加权系数来对多个帧中的每一个的组合使用 图像数据执行组合处理，以便产生表示静止图像的组合图像数据，所述加权 系数被确定为图像抓取操作中组合使用图像数据的各帧时间段的长度的比例 倒数。
组合处理单元可以使用组合使用图像数据和内插图像数据执行组合处 理，以便产生表示静止图像的组合图像数据，使用组合使用图像数据、通过 内插处理来产生所述内插图像数据。
图像抓取设备可以进一步包括显示控制单元，被配置为输出组合处理单 元产生的组合图像数据作为用于显示的图像数据。
记录单元可以将组合处理单元产生的组合图像数据记录在记录介质上。
图像抓取设备可以进一步包括发送单元，被配置为将组合处理单元产生 的组合图像数据发送到外部装置。
在本发明的另一个实施例中，图像抓取方法包括如下步骤执行抓取具 有时间连续性的多个帧的图像数据的图像抓取操作；在图像抓取操作的执行 期间，根据对象亮度级别的变化，改变图像抓取的帧速；使用具有时间连续 性的多个帧的图像数据作为待组合的组合使用图像数据，来执行组合处理， 以便产生表示静止图像的组合图像数据。
根据本发明的实施例，在抓取具有时间连续性的多个帧的图像数据的执 行期间，根据对象亮度的变化来改变图像抓取单元的帧速。也就是说，在曝 光调节方法中，通过改变帧速来调节所抓取图像的亮度级别，以便具有时间 连续性的多个帧的图像数据可以具有某种程度上的恒定亮度级别。在通过改 变帧速来调节曝光量的情况下，不是必须使用所谓的电子快门、在一帧的时间^:内改变曝光时间。这可以最小化关于对象图像的信息缺乏。
这适于通过组合具有时间连续性的多个帧的图像数据或以影片方式抓取 的图像数据的序列，来获得具有长时间曝光效果的组合图像。为了获得作为 长时间曝光图像的图像效果的平滑表现，期望的是，图像的亮度级别(例如, 平均亮度)是恒定的，并且不缺乏时间轴上的信息。
在该图像抓取设备中，将通过图像抓取操作获得的图像数据的序列用作 待组合的组合使用图像数据，并且执行组合处理。在这种情况下，根据操作 来设置待组合的图像的范围(时间轴上的范围)或待分配到图像的加权系数。 由此，可以根据用户的意图来实现图像组合。也就是说，在抓取图像之后， 用户选择帧来执行图像组合，由此容易地实现与使用长时间曝光抓取的图像 的效果类似的图像效果。另外，通过将加权施加到待组合的每一帧，可以实 现诸如前帘同步、后帘同步和多闪光之类的效果。
根据本发明的实施例，根据用于实现例如长时间曝光效果的组合处理的 图像数据的序列的对象亮度的变化，来在图像抓取期间改变帧速，以调节所 抓取图像的亮度。这确保了可以获得提供图像的恒定对象亮度级别且最小化 关于对象图像的信息缺乏的、具有时间连续性的多个帧的图像。通过组合这 样的图像数据的序列，可以获得提供了对象运动的平滑表现的特殊效果的图 像。
此外，根据本发明的实施例，可以由普通用户容易地实现与长时间曝光 和其他特殊效果(其仅可以由现有技术中的专家来实现)类似的图像效果，
以及在现有技术的图像抓取中还不能实现的图像效果。例如，可以促进增强 的摄影表现和更有创造性的摄影表现。另外，还可以实现改善的图像质量。


图l是根据本发明的实施例的图像抓取设备的框图2A和图2B分别是根据所述实施例的图像抓取设备的外部前视图和后
视图3是示出根据所述实施例的图像抓取设备中的中央处理单元(CPU) 的功能性结构的框图4是示出根据所述实施例的图像抓取设备的模式操作的图； .图5是示出根据所述实施例的图像抓取设备的相机模式处理的流程图；图6是示出使用根据所述实施例的图像抓取设备抓取的图像的图7是示出根据所述实施例的组合预备处理的流程图8是示出根据所述实施例的组合处理的流程图9是示出根据所述实施例的调节处理的流程图IO是示出根据所述实施例的、在回放开始时获得的组合工作图像的
图ll是示出根据所述实施例的、当指定组合开始位置时获得的组合工作 图像的图12是示出根据所述实施例的、当指定组合结束位置时获得的组合工作 图《象的图13是示出在根据所述实施例的调节处理中的初始状态下获得的组合 工作图像(具有长时间曝光效果)的图14是示出根据所述实施例的、当改变加权系数以便实现前帘同步效果 时获得的组合工作图像的图15是示出根据所述实施例的、当在图14中所示的状态中改变组合范 围时获得的组合工作图像的图16是示出根据所述实施例的、当改变加权系数以便实现后帘同步效果 时获得的组合工作图像的图17是示出根据所述实施例的、当在图16中所示的状态中改变组合范 围时获得的組合工作图像的图18是示出根据所述实施例的、当改变加权系数以便实现多闪光效果时 获得的组合工作图像的图19是示出根据所述实施例的、用于在调节处理中在改变之前显示所组 合图像的示例性处理的流程图20是示出根据所述实施例的、当在调节处理中显示改变之前的所组合 图像时获得的组合工作图像的图21是示出根据所述实施例的系数模板选择屏幕的图22是示出根据所述实施例的、使用系数模板的示例性处理的流程图23是示出根据所述实施例的、在图像抓取期间的系数模板选择屏幕的
图24A到图24D是示出根据所述实施例的、在使用电子快门和不使用电子快门的情况下获得的组合图像的图25A到图25D是示出根据所述实施例的曝光调节控制方法的示例的
图26A到图26D是示出根据所述实施例的、优选地使用除了电子快门之 外的功能的曝光调节控制方法的图27是示出根据所述实施例的、优选地使用除了电子快门之外的功能的 曝光调节控制的流程图28A到图28D是示出根据所述实施例的、以固定帧速使用分开曝光而 获得的组合图像的图29A到图29C是示出根据所述实施例的、以固定帧速使用分开曝光的 帧的产生的图30A到图30D是示出根据所述实施例的、使用连续和不连续曝光时间
获得的組合图像的图31A到图31C是示出根据所迷实施例的可变帧速操作的图32A到图32D是示出根据所述实施例的、使用可变帧速的曝光调节方
法的图33是示出根据所述实施例的、使用可变帧速的曝光调节控制的流程
图34A到图34D是示出根据所述实施例的、在使用帧间内插和不使用帧
间内插的情况下获得的组合图像的图35A和图35B是示出根据所述实施例的帧间内插的图36是示出根据所述实施例的、包括帧内插的示例性处理的流程图37是示出根据所述实施例的、当执行闪光去除(flash removal)时获
得的组合工作图像的图38是示出根据所述实施例的、包括闪光去除的示例性处理的流程图； 图39是示出根据所述实施例的、当执行闪光校正(flash correction)曰于
获得的组合工作图像的图40是示出根据所述实施例的、包括闪光校正的示例性处理的流程图41是示出根据所述实施例的组合工作图像的图42是示出根据所述实施例的、当实现多闪光效果时获得的組合工作图
像的图；图43是示出根据所述实施例的、当执行基于距离的闪光校正时获得的组 合工作图像的图44是示出根据所述实施例的、包括基于距离的闪光校正的示例性处理 的流程图45是示出根据所述实施例的、对于全部图像执行基于距离的校正时获 得的组合工作图像的图46是示出根据所述实施例的、当组合闪光图像时获得的组合工作图像
的图47是示出根据所述实施例的、当执行基于距离的闪光校正时获得的组 合工作图像的图48A到图48C是示出根据所述实施例的、其中出现模糊的组合图像的
图49是示出根据所述实施例的、其中显示受相机抖动影响的组合图像的 组合工作图像的图50是示出根据所述实施例的、其中显示相机抖动校正之后的组合图像 的组合工作图像的图51是示出根据所述实施例的、其中显示相机抖动校正之后应用了多闪 光效果的组合图像的组合工作图像的图52是示出根据所述实施例的、包括相机抖动校正的示例性处理的流程
图5 3是示出根据所述实施例的、其中显示受对象模糊影响的组合图像的 组合工作图像的图54是示出根据所述实施例的、包括对象模糊校正的示例性处理的流程
图55是示出根据所述实施例的、包括相机抖动校正和对象模糊校正的示 例性处理的流程图56是示出根据所述实施例的、包括相机抖动校正和对象模糊校正的另 一示例性处理的流程图；以及
图57是示出根据本发明的实施例的信息处理设备的示例结构的示意具体实施方式
在下文中将以如下顺序描述
具体实施例方式
1、 图像抓取设备的结构
2、 操作模式
3、 相机模式处理
4、 组合模式处理 4-1:组合预备处理 4-2:组合处理
4-3:使用改变之前和之后的显示图像的示例性调节处理
5、 基于模板的处理
6 、 以固定帧速的图像抓取操作
7 、 以可变帧速的图形抓取操作
8、 示例性组合模式处理帧内插
9、 示例性组合模式处理闪光去除/校正
10、 示例性组合模式处理基于距离的校正
11、 示例性组合模式处理模糊校正
12、 信息处理设备
1、图像抓取设备的结构
现在将参照图1到图3，在数码相机的结构的情况下，描述根据本发明 的实施例的图像抓取设备的结构。
图2A和2B分别是根据本发明的实施例的图像抓取设备1的外部前视图 和后视图。如图2A和2B所示，图像抓取设备1可以是例如非专业的普通用 户经常使用的数码相机。
图像抓取设备1包括位于其前侧的图像抓取镜头单元21a和闪光单元15 以及位于其后侧的显示面板6。显示面板6可以是液晶面板、有机电致发光 (EL)面板等。图像抓取设备l进一步包括用于用户操作的合适位置处的操 作器(operator )。例如，操作键5a、 5b、 5c、 5d、 5f和5g用作提供多种操作 功能的按键，包括快门操作键、模式操作键、广角/远距操作键、菜单操作键、 曝光校正指示键和回放键。还放置了其他操作器，包括转盘操作单元5h和十 字键(cross key) 5i。转盘操作单元5h用于例如图像抓取模式的选择等。十 字键5i用于诸如显示面板6上显示的操作菜单条目的选择/设置之类的多种操作。
将参照例如图1，描述图像抓取设备1的示例结构。
如图l所示，图像抓取设备l包括图像抓取系统2、控制系统3、相机数 字信号处理器(DSP) 4、操作单元5、显示面板6、显示控制器7、外部接口 (I/F) 8、同步动态随机存取存储器(SDRAM) 9和介质接口 10。
图像抓取系统2被配置为执行图像抓取操作。图像抓取系统2包括镜头 机构单元21、光圈/中性密度(ND， neutral density)滤光片机构22、图像抓 取元件单元23、模拟信号处理单元24、模拟数字(A/D)转换单元25、镜头 驱动单元26、镜头位置检测单元27、定时产生电路28、模糊检测单元13、 发光驱动单元14、闪光单元15、镜头驱动器17、光圈/ND驱动器18和图像 抓取元件驱动器19。
通过镜头机构单元21和光圈/ND滤光片机构22将来自对象的入射光引 至图像抓取元件单元23。
镜头机构单元21被集成到图2A中所示的图像抓取镜头单元21a中，并 且具有多个光学透镜，包括保护镜头(cover lens )、对焦镜头和变焦镜头。镜 头驱动单元26用作将对焦镜头或变焦镜头沿光轴移动的镜头移动机构。当通 过使用镜头驱动器17来施加驱动功率时，镜头驱动单元26移动对焦镜头或 变焦镜头。由中央处理单元(CPU) 31 (这将在下面描述)来控制镜头驱动 器17以执行对焦控制或变焦操作。
光圈/ND滤光片机构22包括光圈机构和被插入到镜头光学系统中以减 弱(调节)入射光量的ND滤光片机构。光圈/ND滤光片机构22被配置为调 节光强。
光圈/ND驱动器18通过开启和关闭光圈机构来调节入射光量。光圈/ND 驱动器18还通过插入和去除沿入射光的光轴的ND滤光片来调节入射光量。 CPU 31控制光圈/ND驱动器18以驱动光圈机构或ND滤光片来控制入射光 量(或执行曝光调节控制)。
通过镜头机构单元21和光圏/ND滤光片机构22来传送来自对象的光通 量(light flux)，并且在图像抓取元件单元23上形成对象图像。
图像抓取元件单元23光电地转换所形成的对象图像，并输出与对象图像 对应的所抓取的图像信号。
图像抓取元件单元23具有由多个像素形成的矩形图像抓取区域，并且在逐个像素的基础上，顺序地将图像信号输出到模拟信号处理单元24,所述图 像信号的每一个均为与像素之一中累积的电荷量相对应的模拟信号。图像抓
取元件单元23可以由例如电荷耦合装置(CCD )传感器阵列、互补金属氧化 物半导体(CMOS)传感器阵列等实施。
模拟信号处理单元24包括诸如相关双采样(CDS )电路和自动增益控制 (AGC)电路之类的内部电路。模拟信号处理单元24对从图像抓取元件单元 23输入的图像信号执行预定的模拟处理。
A/D转换单元25将模拟信号处理单元24处理的模拟信号转换为数字信 号，并将数字信号提供到相机DSP4。
由CPU31控制定时产生电路28以控制图像抓取元件单元23、模拟信号 处理单元24和A/D转换单元25的操作的定时。
具体地说，定时产生电路28通过图像抓取元件驱动器19将用于控制图 像抓取元件单元23的图像抓取操作的定时的信号(如，曝光/电荷读定时信 号、用于提供电子快门功能的定时信号、传送时钟信号和根据帧速的同步信 号)提供到图像抓取元件单元23。定时产生电路28还将定时信号提供到模 拟信号处理单元24以便模拟信号处理单元24可以与来自图像抓取元件单元 23的图像信号的传送相同步地执行处理。
CPU 31可以控制由定时产生电路28产生的定时信号，以改变用于图像 抓取的帧速或者执行电子快门控制(曝光时间的帧内可变控制)。此外，例如， CPU 31可以通过定时产生电路28将增益控制信号施加于模拟信号处理单元 24,以执行所抓取图像信号的可变增益控制。
模糊检测单元13被配置为检测相机抖动的量。模糊检测单元23由例如 加速传感器(acceleration sensor )、振动传感器等形成，并将检测到的信息作 为模糊量提供到CPU 31。
闪光单元15由发光驱动单元14驱动以发光。CPU31指示发光驱动单元 14在用户操作等中指定的预定时间处闪光，以便可以从闪光单元15发出光。
相机DSP 4对从图像抓取系统2的A/D转换单元25输入的所抓取的图 像信号执行多种数字信号处理。
在相机DSP4中，例如，如图l所示，诸如图像信号处理单元41、压缩 /解压缩处理单元42、 SDRAM控制器43和信息产生单元44之类的处理功能 由内部硬件或软件实施。图像信号处理单元41对输入的所抓取的图像信号执行处理。例如，图像
信号处理单元41使用所抓取的图像信号执行用于控制图像抓取系统2的驱动 的算术处理，如自动对焦处理和自动光圈(auto-iris )(自动曝光(AE))处理， 并且还执行用于输入的所抓取图像信号本身的处理，如自动白平衡(AWB) 处理。
例如，在自动对焦处理，图像信号处理单元41执行输入的所抓取图像信 号的对比度检测，并将检测到的信息发送到CPU31。作为自动对焦控制方法， 多种控制技术都是可用的。在所谓的对比度AF技术中，在强行移动对焦镜 头的情况下，在每一个时间点执行所抓取图像信号的对比度检测，并确定在 最佳对比度状态中对焦镜头的位置。具体地说，在图像抓取操作之前，CPU 31 执行控制以便检查图像信号处理单元41检测到的对比度检测值，同时控制对 焦镜头的移动，并且将最佳对比度状态处的位置设置为最佳对焦位置。
在图像抓取期间，CPU 31可以使用所谓的摆动AF (wobbling AF)的检 测方法来执行对焦控制。在图像抓取操作期间，CPU31检查由图像信号处理 单元41检测到的对比度检测值，同时使对焦镜头不断轻微地前后移动。尽管 对焦镜头的最佳位置可能根据对象的状况而变化，但是通过轻微地前后移动 对焦镜头的位置可以执行对比度检测，由此根据对象的改变来确定对焦控制 方向中的改变。因此，可以根据对象情形来执行自动对焦。
注意，镜头驱动单元26中的镜头移动机构被分配用于各个移动位置的地 址，并且使用移动位置的地址来识别镜头位置。
镜头位置检测单元27识别对焦镜头的当前镜头位置的地址，以计算到焦 点对准对象(in-focus subject)的距离，并将关于计算出的距离的距离信息提 供到CPU31。因此，CPU31可以确定到焦点对准的主要对象的距离。
在由相机DSP4的图像信号处理单元41执行的自动光圈处理中，例如， 计算对象亮度。例如，计算输入的所抓取的图像信号的平均亮度，并且将关 于计算出的平均亮度的对象亮度信息或曝光信息提供到CPU31。可以使用多 种方法来计算平均亮度，如计算所抓取图像数据的一帧的所有像素的亮度信 号的平均值，或者计算当 一权重被分配到图像的中央部分时亮度信号的平均 值。
CPU31可以基于曝光信息来执行自动曝光控制。具体地说，使用光圈机 构、ND滤光片、图像抓取单元23中的电子快门控制或用于模拟信号处理单元24的增益控制来执行曝光调节。
除了产生用于自动对焦操作和自动光圏操作的信号的处理之外，相机
DSP4的图像信号处理单元41还执行对所抓取图像信号本身的信号处理，如 自动白平衡、伽玛(Y )校正、边缘增强和相机抖动校正。
相机DSP 4中的压缩/解压缩处理单元42对所抓取的图像信号执行压缩 处理，或者对经压缩的图像数据执行解压缩处理。例如，压缩/解压缩处理单 元42根据诸如联合图像专家组(JPEG)或运动图像专家组(MPEG)技术之 类的技术来执行压缩处理/解压缩处理。
SDRAM控制器43执行对SDRAM9的写/读。SDRAM9用于例如临时 存储从图像抓取系统2输入的所抓取的图像信号、在图像信号处理单元41或 压缩/解压缩处理单元42执行的处理中存储数据或保留工作区域、或者存储 由信息产生单元44获得的信息。SDRAM控制器43对SDRAM 9执行这种数 据的写/读。
信息产生单元44在下面描述的组合处理中产生用于多种操作的信息。例 如，信息产生单元44产生表示到所抓取的图像信号屏幕中的对象的距离的距 离分布信息。距离分布信息可以是例如关于以像素为单位到该对象的距离以 及到主要对象的距离的信息。所述信息还可以被称为深度图。
在上述摆动AF等期间，通过分析模糊量可以执行用于产生距离分布信 息的基于像素的距离信息的确定。可替代地，可以提供被配置为发射具有非
对象的距离。
控制系统3包括CPU31、随机存取存储器(RAM) 32、闪速只读存储 器(ROM) 33和时钟电路34。控制系统3中的每一个单元、相机DSP 4中 的每一个单元、图像抓取系统2中的每一个单元、显示控制器7、外部接口 8 和介质接口 IO被配置为经由系统总线彼此传送图像数据或控制信息。
CPU 31控制图像抓取设备1的整体操作。具体地说，CPU 31根据内部 ROM等中存储的程序以及根据使用操作单元5的用户操作来执行多种算术处 理或与对应单元交换控制信号等，以便使所述单元执行必要的操作。CPU 31 还执行用于下面描述的图像组合的进一步处理，如算术处理和图像分析处理。
RAM32临时存储由相机DSP4处理的所抓取的图像信号(每一帧的图像数据)，或者存储用于下面描述的组合处理的图像数据以及与CPU 31的多
种处理对应的其他信息。
闪速ROM33用于存储要以非易失性方式保存的、表示所抓取的图像(已 经由用户作为静止图像或运动图像抓取)的图像数据或其他信息。闪速ROM 33还可以用于存储控制图像抓取设备1的软件程序、相机设置数据等。闪速 ROM 33还用于存储下面描述的组合处理所使用的系数模板。
时钟电路34执行时间计数，以确定当前时间信息(年、月、日、时、分 和秒)。
操作单元5包括图2A和2B所示的操作器以及用于根据操作器的操作产 生信号的信号产生单元。将基于操作器的用户操作信息从操作单元5传送到 CPU 31。
操作单元5可以被配置为允许触摸面板操作以及使用操作器的操作。具 体地说，可以向显示面板6提供触摸传感器，以便可以响应于用户对屏幕的 触摸来执行作输入。
在CPU 31的控制之下，显示控制器7使显示面板6执行必要的显示操 作。显示面板6上的显示操作的示例可以包括监视器的显示(所谓的实况视 图显示或运动图像/静止图像抓取监视器的显示)、从记录介质90或闪速ROM 33读取的回放图像的显示、操作菜单的显示、多种图标的显示、时间和曰期 的显示以及关于下面描述的组合处理的显示。
在CPU31的控制之下，介质接口 IO执行对记录介质90 (如，置于图像 抓取设备l中的存储卡(卡型可拆卸存储器))的数据的读/写。例如，介质 接口 10执行将作为图像抓取结果获得的静止图像数据或运动图像数据记录 到记录介质90上的操作。介质接口 10进一步执行从记录介质90读取用于下 面描述的组合处理的图像数据的操作。
虽然作为示例，记录介质90作为便携式存储卡来实施，但是记录介质 90也可以是记录要作为图像抓取的结果保存的静止图像或运动图像的图像数 据的任何其他记录介质。例如，可以使用便携式盘介质(如光盘)，或者可以 集成硬盘驱动器(HDD)并用于记录。
外部接口 8根据一信号标准(如通用串行总线(USB )标准)、经由预定 线缆向外部装置发送多种数据，或者从外部装置接收多种数据。外部接口 8 可以是遵从除了 USB之外的标准(如电气和电子工程师协会(IEEE) 1394标准)的外部接口。
代替有线传送接口，外部接口 8可以是无线传送接口 (如红外传送接口 或近场通信接口 )。
图像抓取设备1被配置为经由外部接口 8向个人计算机或其他多种装置
发送数据，或者从个人计算机或其他多种装置接收数据。例如，图像抓取设 备1可以将所抓取的图像数据或作为组合处理的结果获得的图像数据传送到 外部装置。
在本实施例的图像抓取设备1中，CPU31根据在其中存储的程序，执行 图像抓取操作控制或算术处理以及对于下面描述的多种操作的控制。图3示 出了由CPU 31的算术处理实施的操作功能。具体地说，将图像抓取控制单元 51、预组合处理单元52、组合处理单元53、记录/回放/传送控制单元54、操 作检测单元55、显示控制单元56和模板管理单元57形成为软件功能块。
图像抓取控制单元51执行图像抓取操作控制。具体地说，图像抓取控制 单元51控制图像抓取系统2中或相机DSP4中的每一个单元以抓取对象图 像。图像抓取控制单元51执行其他处理，如自动对焦处理、自动曝光调节处 理和闪光控制处理。
预组合处理单元52可以执行预组合处理，以便将用于下面描述的组合处 理的、具有时间连续性的多个帧的图像数据用作待组合的图像数据(在下文 中，称为"组合使用图像数据")。例如，预组合处理单元52可以获得在记录 介质90上记录的、具有时间连续性的多个帧的图像数据，并使用所获得的多 个帧的图像数据作为组合使用图像数据。术语"具有时间连续性的多个帧的 图像数据，，指的是可以从通过一系列时间连续图像抓取动作获得的多个帧中 提取的图像数据的多个连续或间断的帧。预组合处理单元52可以获得从外部 装置提供的图像数据的序列作为用于组合处理的目标。
预组合处理单元52可以对用作组合使用图像数据的、具有时间连续性的 多个帧的图像数据中的每一个的图像数据进一步执行亮度调节处理。亮度调 节处理可以是均衡用作组合使用图像数据的所有或部分帧的图像数据的图像 数据的平均亮度级别的处理。特别地，在不使用闪光的情况下抓取的图像数 据的帧可以从用作组合使用图像数据的多个帧的图像数据之中提取，并且可 以均衡所提取的图像数据的平均亮度级别。
组合处理单元53根据操作输入信息，可以对由预组合处理单元52在预组合处理中获得的组合使用图像数据执行组合处理，以便产生表示静止图像 的组合图像数据。
例如，组合处理单元53可以对具有时间连续性的组合使用图像数据之
中，由操作输入信息指定的时间轴上的范围内的多个帧的组合使用图像数据 执行组合处理，以便产生表示静止图像的组合图像数据。
此外，组合处理单元53可以使用由操作输入信息指定的加权系数、对多 个帧中的每一个的组合使用图像数据执行组合处理，以便产生表示静止图像 的组合图像数据。
组合处理单元53可以使用经加权的平均值、对多个帧中的每一个的组合 使用图像数据进一步执行组合处理，以便产生表示静止图像的组合图像数据。
除了上述处理之外，组合处理单元53可以执4亍用于下面描述的多种组合 处理的算术运算。
记录/回放/传送控制单元54指示介质接口 10控制从记录介质卯的读取 或向记录介质90的写入。例如，记录/回放/传送控制单元54可以指示介质接 口 10:记录介质90上记录的、具有时间连续性的多个帧的图像数据被读取， 以便被预组合处理单元52获得。
记录/回放/传送控制单元54可以进一步执行将组合处理单元53产生的组 合图像数据记录在记录介质90上的处理或经由外部接口 8将组合图像数据传 送到外部装置的处理。
操作检测单元55检测由用户提供的操作输入信息。具体地说，操作检测 单元55检测来自操作单元5的输入信息。基于操作检测单元55检测到的操 作输入信息，执行图像抓取控制单元51中的图像抓取操作控制、预组合处理 单元52中的预组合处理、组合处理单元53中的組合处理以及记录/回放/传送 控制单元54中的控制处理。
显示控制单元56指示显示控制器7执行显示面板6上的必要显示。例如， 执行图像抓取或回放图像的显示期间的监视器显示。
在组合处理单元53的组合处理中，显示控制单元56产生组合工作图像 数据并将其输出到显示控制器7，以在显示面板6上显示组合工作图像。
组合工作图像数据可以是包括包含在预组合处理中获得的多个帧的组合 使用图像数据的回放运动图像、用于指定时间轴上的范围的图像(所述范围 是在多个帧的组合使用图像数据之中在组合处理中使用的组合使用图像数据的范围)、包括加权系数(其每一个被分配到多个帧中之一的组合使用图像数 据)的表现的图像、以及在使用多个帧的组合使用图像数据执行的组合处理 中产生的组合图像(如作为组合处理的结果获得的预览图像)的显示数据。
当执行给定的组合处理时，显示控制单元56可以进一步产生组合工作图像数 据，以便包括在给定组合处理之前和之后获得的图像二者，并且可以将产生 的组合工作图像数据输出到显示控制器7以在显示面板6上显示对应的图像。 显示控制单元56可以进一步将组合处理中最终产生的组合图像数据输 出到显示控制器7作为用于显示的图像数据，并且可以在显示面板6上显示 对应的图像。
模板管理单元57被配置为管理准备的系数模板以简化组合处理中的用 户操作，并且选择系数模板。
如下面描述的那样，可以将加权系数分配到待组合的多个帧的图像数据 中的每一个。例如，创建用于实现诸如前帘同步效果、后帘同步效果和多闪 光效果之类的图像效果的加权系数样式(pattern)作为在例如闪速ROM33 等中存储的模板。在诸如当操作检测单元55检测到用户操作时或者当通过使 用显示控制单元56显示来自模板的用于选择的图像时之类的情况下，模板管 理单元57根据用户操作执行选择系数模板的处理并将所选择的系数模板发 送到组合处理单元53,以便所选择的系数模板可以用在组合处理中。
2、操作模式
图4示出了本实施例的图像抓取设备1的操作模式。在本实施例的图像 抓取设备l中，根据用户操作，将操作模式改变到相机模式、回放沖莫式和组 合模式。在实践中，可以提供诸如允许与外部装置通信的通信模式之类的其 他模式，为了说明的简化而将其省略。
相机模式是在其中图像抓取系统2执行图像抓取的模式。也就是说，相 机模式是在其中用户使用相机正常抓取图像的操作模式。在相机模式中，如 图4所示的多种图像抓取模式都是可用的。
组合模式图像抓取是在其中抓取用于在下面描述的组合处理的图像的图 像抓取模式，这是本实施例特有的操作。抓取具有时间连续性的多个帧，并 且将多个帧的图像数据记录在记录介质90上。
在下面的描述中，在图像抓取操作中，将作为图像抓取的结果获得的图像数据存储在记录介质90上。图像数据可以存储在闪速ROM33中，而非记 录介质90中。可以使用另一种操作方法，其中将图像数据正常地记录在记录 介质90上，并且在没有放置记录介质90时将其记录在闪速ROM 33中。
自动模式是在其中使用图像抓取设备l自动地执行诸如光圈值、快门速 度和国际标准化组织(ISO)灵敏度之类的最佳设置的图像抓取模式。
人像模式是在其中使用对于提供人的拍摄来说最佳的设置来执行图像抓 取的图像抓取模式。
风景模式是在其中使用对于提供风景的拍摄来说最佳的设置来执行图像 抓取的图像抓取模式。
微距模式(macro mode)是在其中使用对于提供比通常更接近于相机的 对象的拍摄来说最佳的设置来执行图像抓取的图像抓取模式。可以提供特殊 的微距模式，即用于提供花和昆虫的清楚且生动的微距拍摄的自然微距模式。
运动模式是在其中使用对于提供动作的拍摄来说最佳的设置来执行图像 抓取的图像抓取模式。
曰落景象模式是在其中使用对于提供日落景象的拍摄来说最佳的设置来 执行图像抓取的图像抓取模式。
夜景模式是在其中使用对于提供夜景的拍摄来说最佳的设置来执行图像 抓取的图像抓取模式。
影片模式是在其中抓取运动图像的图像抓取模式。
可以提供其他模式，如适用于在夜景中提供人的拍摄的夜间人像模式以 及适用于提供焰火的拍摄的焰火模式。
在设置相机模式之后，用户从上述图像抓取模式之中选择期望的图像抓 取模式，由此执行图像抓取操作以获得适用于对象类别或情形的所抓取的图 像。
为了获得具有特殊效果(如下面描述的长时间曝光效果、前帘同步效果、 后帘同步效果或多闪光效果)的图像，在后面的组合处理中，用户执行组合 模式图像抓取以创建具有期望效果的图像。
在相机模式中，CPU 31中的图像抓取控制单元51、操作检测单元55、 显示控制单元56和记录/回放/传送控制单元54彼此配合以控制图像抓取系统 2,并控制记录操作和显示操作以抓取图像，显示所抓取的图像数据的图像， 并记录所抓取的图像数据。回放模式是在其中回放所抓取的、记录在记录介质90上或闪速ROM 33 中的图像的操作模式。
根据用户操作，CPU 31执行控制以读取记录在记录介质90或闪速ROM 33中的图像，回放并且在显示面板6上显示图像。
在回放4莫式中，CPU 31中的操作检测单元55、显示控制单元56和记录 /回放/传送控制单元54彼此配合以控制回放操作和显示操作，以执行图像数 据的显示等。
组合模式是在其中具有时间连续性的多个帧的图像数据用作组合使用图 像数据以执行组合处理的操作模式。CPU31根据用户操作前进到(advance) 组合处理。
在组合模式中，在步骤ST1和ST2， CPU31执行预组合处理。首先，在 步骤STl, CPU31执行目标图像选择/获取处理。例如，选择在组合模式图像 抓取中抓取的、具有时间连续性的图像数据的序列，并将其获取为组合处理 中使用的组合使用图像数据。
在步骤ST2， CPU31执行组合预备处理。如下面描述的那样，组合预备 处理是用于执行例如所获取的图像数据的序列的亮度调节(曝光调节)并均 衡图像数据的所述序列的图像数据元素的亮度状态，以便图像数据元素变为 处于适于组合处理的状态的处理。
在步骤ST1和ST2中的预组合处理已经完成之后，在步骤ST3， CPU 31 执行组合处理。在这种情况下，CPU31根据用户操作、使用组合使用图像数 据的序列，前进到组合处理。还将在下面详细地描述该组合处理。
当使用组合处理产生作为组合的最终结果的组合图像数据时，在步骤 ST4, CPU 31执行组合图 <象记录处理。
具体地说，CPU31通过介质接口 IO将使用组合处理产生的组合图像数 据记录在记录介质90上。可替代地，可以将组合图像数据记录在闪速ROM 33 中。因此，其后，用户可以如期望的那样回放组合图像。
CPU 31还可以将组合图像数据发送到与外部接口 8连接的外部装置。因 此，例如，可以将组合图像数据记录在预定的记录介质上，或者可以使用外 部装置来显示和输出对应的图像。
在组合沖莫式中，在步骤ST1和ST2, CPU 31中的预组合处理单元52、 操作检测单元55、显示控制单元56和记录/回放/传送控制单元54彼此配合以执行必要的处理操作。
在步骤ST3， CPU31中的组合处理单元53、操作检测单元55和显示控 制单元56彼此配合以执行必要的处理操作。在使用系数模板的情况下，模板 管理单元57工作。
在步骤ST4， CPU31中的组合处理单元53、操作检测单元55、显示控 制单元56和记录/回放/传送控制单元54彼此配合以执行必要的处理操作。
3、相机模式处理
首先，将参照图5描述相机模式中的CPU31的处理。 在步骤FIO、 F11和F12, CPU31监视用户操作。
在步骤FIO, CPU31监视图像抓取模式的操作。如上所述，诸如组合模 式、自动模式和人像模式之类的多种模式可用作图像抓取模式，并且用户可 以根据图像抓取目的来选择期望的图像抓取模式。可以通过例如操作图2B中 所示的表盘操作单元5h或选择显示面板6上的菜单显示中的模式来选择模 式。
当用户选择图像抓取模式时，CPU31进行到步骤F13,并根据所选择的 图像抓取模式来执行操作设置。例如，CPU31控制图像抓取系统2中的每一 个单元以确定诸如曝光量、曝光方法、电子快门设置、帧速和增益之类的设 置。特别地，当选择组合模式图像抓取时，还执行连续图像抓取的设置。
在步骤Fll, CPU31监视用户执行的快门操作。当检测到用户执行的快 门操作时，在步骤F14, CPU31使处理根据当前图像抓取模式是否为组合模 式图像抓取来转移(branch )。
如果当前图像抓取模式不是组合模式图像抓取，则在步骤F16，执行图 像抓取处理。具体地说，CPU31控制相机DSP4、介质接口 IO和任何其他 合适的单元，以便将快门操作时获得的一帧图像存储为所抓取的图像数据 (即，静止图像数据)。
组合模式图像抓取是获得用于之后的组合处理的图像数据的图像抓取模 式。当在组合模式图像抓取中执行快门操作时，CPU31进行到步骤F15,并 执行连续的图像抓取处理作为组合模式图像抓取。连续的图像抓取处理可以 是类似影片的抓取操作，其中将图像抓取系统2连续获得的每一帧存储为记 录介质90等上的图像数据。根据帧速的设置，例如，可以存储诸如每隔一帧
23的间断帧。将所抓取的图像数据存储为大量静止图像或运动图像。
当，在步骤F15,连续地将帧存储为所抓取的图像数据时，作为示例， 对于如下时间段执行图像抓取
(1 )从用户执行快门操作时到用户执行第二次快门操作时的时间段的图 像数据的帧被存储为所抓取的图像。
(2) 从用户执行快门操作时到CPU31计数的时间已经达到预设的计时 器值时的时间段的图像数据的帧被存储为所抓取的图像。预设的计时器值可 以是固定的，也可以由用户选择。
(3) 在其期间用户持续快门操作(持续按下快门释放键)的时间段的图 像数据的帧被存储为所抓取的图像。当用户释放快门释放键(shutter release button)时，结束图像抓取。
通过执行步骤F15中的组合模式图像抓取，抓取并存储了具有时间连续 性的多个帧的图像数据。
将多个帧的图像数据彼此相关联地存储，以便将其识别为具有时间连续 性的图像数据的序列。
例如，可以向每一帧的图像数据分配序列号，并且可以记录每一帧的图 像数据，并且可以添加关于包括序列号的范围的管理信息。可替代地，通过 添加指示一系列图像抓取动作所获得的图像数据的元数据，多个帧的图像数
据可以彼此相关联。
在图像抓取期间，不是必须执行这样的关联。在下面描述的组合处理中， 可以提取在图像抓取时间下顺序连续的帧的图像数据以读取连续帧的图像数 据。在由时钟电路34进行的时间计数中获得的时间和日期信息被添加到待抓 取和记录的每一帧的图像数据。因此，也可以执行读操作中的这样的关联。
此外，将元数据添加到待抓取的每一帧的图像数据。元数据可以是关于 来自闪光单元15的闪光的信息。闪光由CPU31根据用户操作、设置等来控 制。
也可以将图像抓取操作中获得的信息作为元数据添加到每一帧的图像数 据，例如，由镜头位置检测单元27测量的、关于到主要对象的距离的信息， 以及由信息产生单元44产生的距离分布信息。
用户可以执行除了图像抓取模式操作和快门操作之外的多种操作。如果 在步骤F12检测到这样的其他操作中的任意一种，则CPU 31进行到步骤F17,并执行与所检测到的操作对应的处理。例如，当执行将模式改变到回放模式
或组合模式的操作时，执行模式改变处理。CPU31根据多种操作执行必要的 处理，例如，曝光量的手动设置、变焦操作、手动对焦设置和使用闪光/不使 用闪光/自动照明的设置。
在相机模式中，根据上述图5中所示的处理，在多种图像抓取模式中执 行图像抓取，并且将所抓取的图像数据存储在记录介质90上。
图6示出了其中将记录介质90上存储的多种类型的图像数据进行回放并 将其显示为图像的示例。与在正常图像抓取模式(如自动模式和人像模式) 中抓取的图像PCT1、 PCT2和PCT4的图像数据一起，由用户选择的、在组 合模式图像抓取中抓取的图像数据组(如图像PCT3的图像数据)被存储在 记录介质90上。用户执行回放才莫式中的操作以回放并在显示面板6上显示对 应的图i"象用于确认。
在组合模式图像抓取中抓取的图像PCT3的图像数据是作为具有时间连 续性而相关联的一组图像数据元素，例如由图像数据元素#0、 #1和#2指示。
当用户在回放模式中回放并观看所抓取的图像时，顺序地回放图像 PCT1、 PCT2、 PCT3、 PCT4等的图像数据。对于在组合模式图像抓取中获得 的图像PCT3的图像数据来说，可以回放并显示实际记录的图像数据元素糾、 #1、 #2等之中的代表性图像。例如，可显示顶部图像数据元素弁O。
此外，为了有助于用户理解在组合模式图像抓取中实际存储了大量的图 像数据元素(#0、 #1、 #2等)，如图6所示，在回放期间，在显示屏幕上显 示指示在组合模式图像抓取中抓取的图像数据的标记MK。
用户可以使用标记MK来理解图像PCT3的图像数据实际上包括可以用 于组合处理的大量时间连续的图像。
也就是说，在执行组合模式图像抓取之后，用户回放图像并使用标记 MK来选择图像以执行作为下面描述的組合模式中的 一种操作的组合工作。
4、组合模式处理
4-1:组合预备处理
现在将描述组合模式中执行的处理。
如以上参照图4所述的那样，在组合模式中，CPU31执行目标图像选择 /获取处理(ST1)、组合预备处理(ST2)、组合处理(ST3)和組合图像记录处理(ST4 )。
目标图像选择/获取处理(ST1)和组合预备处理(ST2)是先于实际组 合处理的预组合处理。首先，在目标图像选择/获取处理(ST1)中，CPU 31
(预组合处理单元52 )抓取组合使用图像数据。
例如，如图6所示，当用户通过选择在组合模式图像抓取中抓取的图像
(例如，图6中所示的图像PCT3)，并指示组合处理来执行回放所抓取的图 像的操作时，CPU31开始组合模式中的处理。在这种情况下，CPU31抓取 由用户操作选择的图像作为组合使用图像数据。具体地说，当选择图6中所 示的图像PCT3时，CPU 31从记录介质卯读取与图像PCT3相关联的、作为 具有时间连续性的图像数据元素糾、#1、 #2等的序列，并将它们获取为组合 使用图像数据。然后，将图像数据元素糾、#1、 #2等设置为待组合的图像数 据。
在组合预备处理(ST2)中，对所抓取的组合使用图像数据(图像数据 元素#0、 #1、 #2等)执行亮度调节处理。在该处理中，均衡图像数据元素弁O、 #1、 #2等的曝光量(屏幕强度)。
在这种情况下，例如，CPU 31 (预组合处理单元52)执行图7所示的处理。
首先，在步骤FIOI， CPU31从作为用于组合的目标抓取的图像数据元
素#0、 #1、 #2........ #n中提取非闪光(non-flash)图像。非闪光图像是在
不使用闪光的情况下已经抓取的图像数据。如上所述，由于关于图像抓取期 间闪光的信息被作为元数据添加到图像数据，因此CPU31可以通过检查所抓 取的图像数据元素糾、#1、 #2........紐的元数据来提取非闪光图像。
注意，非闪光图像基于关于已经执行了图像抓取的装置(即，图像抓取 设备1 )是否已经使用闪光执行了图像抓取(在下文中，称为"自闪光图像 抓取")的信息，并且不包括由突然变为与闪光状态下一样高的屏幕强度引起 的图像。
例如，在图像抓取期间，由另一个摄像者的闪光照亮或由经过的汽车前 灯照亮的对象的图像不是使用自闪光图像抓取获得的图像，并且将其处理为 非闪光图像。
如图7所示，如果在图像数据元素糾、#1........ #11之中，在图像数据
元素#2的时间处执行自闪光图像抓取(即，如果给出闪光指示作为图像数据元素#2的元数据)，则提取除了图像数据元素#2之外的图像数据元素#0、 #1、 #3........ #n。
然后，在步骤F102， CPU31对于所提取的图像数据元素(例如，图像 数据元素#0、 #1、 #3........ #n)计算平均亮度值。
在这种情况下，对于每一个图像数据元素可以计算所有像素的亮度信号 值的平均值，或者可以对屏幕内的每一个区域执行加权，并且可以计算加权 的平均亮度值。在这种情况下，使用与用于所谓的自动曝光调节的计算亮度 级别的技术类似的技术，可以对于每一个图像数据元素计算平均亮度值。
在步骤F103, CPU31通过平均亮度值分类图像数据元素，并选择代表
性组。例如，如图7所示，在亮度级别的步骤中设置组YgO、 Ygl.......Yg5
(从低亮度级别侧到高亮度级别侧)，并且根据平均亮度值将图像数据元素分 类为多个组。例如，在图7中，假设呈现28个图像数据元素作为所提取的图
像数据元素糾、#1、 #3........#n,并且将25个图像数据元素分类为组Ygl,
将两个图像数据元素分类为组Yg4,并且将一个图像数据元素分类为Yg5。 基于分类的结果选择代表性的一组。作为示例，組Ygl用作代表性的一组。
组合使用图像数据的序列是时间上连续的多个帧的图像数据，并且在图 5中所示的步骤F15中的图像抓取期间连续地抓取。因此，通常不会出现亮 度级别的极大差异。因此，在不使用自闪光图像抓取的情况下获得的多个帧 的图像数据通常被分为相同的组。然而，在某些情况下，由于偶然原因(如 另一个拍摄者的闪光、使用经过的汽车前灯的对象的瞬时照明、以及突然穿 过云层的光束)引起在图像抓取期间对象亮度级别可能突然大大改变。作为 图7中所示的分类的结果，将被分类为组Yg4和Yg5的图像看作是由于上述 原因所引起的曝光量中的这样的瞬时改变而获得的图像。
如果包括具有对象亮度级别中的很大差异的这样的图像，则在组合处理 中可以仅对图像进行突出等，这可能不能如期望的那样实施组合。
因此，在步骤F104和后面的步骤中，对于每一个图像数据元素执行亮度调节。
首先，在步骤F104, CPU31计算代表性组(Ygl )中包括的图像数据元 素的平均亮度值的平均值。将计算出的平均值设置为基准平均亮度级别。
在步骤F105, CPU31选择与步骤FIOI中提取的非闪光图像对应的图像 数据元素#0、 #1、 #3........ ^n中之一(例如，图像数据元素#0)作为用于
27校正的目标。在步骤F106， CPU31确定作为目标选择的图像数据元素湘的 平均亮度值与基准平均亮度级别的比值，并根据该比值计算校正系数。
然后，在步骤F107, CPU31将图像数据元素#0的所有像素的亮度值乘 以校正系数以执行图像数据元素#0的亮度校正。
在步骤F108,如果仍然存在未处理的图像数据元素，则CPU31返回到 步骤F105，并对下一图像数据元素(例如，图像数据元素#1 )执行类似的处 理。
具体地说，在步骤F105、 F106和F107，关于作为非闪光图像提取的所 有图像数据元素顺序地执行亮度校正。当对于所有图像数据元素完成所述处 理时，图7中所示的处理结束。
根据图7中所示的组合预备处理，均衡作为组合使用图像数据获取的、 作为非闪光图像提取的所有图像数据元素的亮度级别，以产生适于下面描述 的组合处理的图像数据。
在该实施例中，由于已经由图像的拍摄者有意地执行了自闪光图像抓取， 因此不对使用自闪光图像抓取获得的图像执行校正。
在某些情况下，可以校正所有组合使用图像数据，以均衡亮度级别而不 管闪光。
在其他情况下，如果包括使用闪光抓取的多个帧的图像数据，则可以校 正多个帧的闪光图像数据，以均衡亮度级别。
4-2:组合处理
现在将描述图4中所示的步骤ST3中的组合处理。在本实施例的组合处 理中，执行图像处理，以便在产生组合图像之前平均(或加权)对应像素的 值，而不是简单地将多个帧的图像数据的对应像素的值相加。
在步骤ST3的组合处理中，CPU31中的组合处理单元53、显示控制单 元56和操作检测单元55彼此配合以执行图8中所示的处理。
首先，在步骤F201， CPU31使用组合工作图像开始组合使用图像数据 的回^C和显示。
图10到图18示出了在显示面板6上显示的组合工作图像70的示例。 在回放开始时，最初，显示图10中所示的组合工作图像70。图10中所 示的组合工作图像70包括图像显示区域71和72、时间线(time line ) 73和回ii位置标记74。
图像显示区咸71用于回放图像的显示等。
图像显示区域72用于组合图像的预览显示等。
时间线73表示多个时间连续帧的组合使用图像数据的时间宽度。
回放位置标记74表示时间线73上的当前回放位置。
在回放开始时，最初，如图IO中所示，从时间上的第一帧开始，以影片 的方式在图像显示区域71中顺序地回放并显示组合使用图像数据中的图像。
例如，如果假设组合使用图像数据包括图像数据元素#0、 #1、 #2....... #n,
则CPU31从图像数据元素洲开始，顺次在图像显示区域71中顺序地显示与
图像数据元素#1、 #2、 #3.......对应的图像，以便可以以影片的方式表示图
像数据元素糾到紐的序列。随着回放的进程，回放位置标记74沿时间线73 移动到左侧。
用户在观看回放图像的同时，在某一时间处指定组合开始位置。例如， 用户可以通过按下快门操作键来指定组合开始位置。
在步骤F201中开始回放和显示之后，在步骤F202， CPU31根据由用户 执行的、用于指定组合开始位置的操作，设置组合开始位置。
例如，如图ll所示，在回放过程中的一时间点处，用户指定组合开始位 置。然后，将与该时间点处的回放图像对应的图像数据元素存x设置为组合开 始位置处的图像(在下文中，称为"组合开始图像'，)。进一步显示组合开始 标记75。
连续地执行图像显示区域71中的图像的回放和显示。
在设置了组合开始位置之后，CPU31继续步骤F203和F204的处理，直 到在步骤F205检测到设置组合结束位置的操作为止。
在步骤F203中的预览图像组合是将组合开始图像直到当前在图像显示 区域71中回放的图像进行组合的处理。
步骤F204中的预览图像显示是在图像显示区域72中将组合图像显示为 预览的处理。
具体地说，组合从组合开始图像到当前正被回放的帧的所有图像，并且 以图12中所示的方式在图像显示区域72中显示结果的组合图像作为预览。
由于回放仍然处于进程中，因此随着回放的进程，组合范围的大小增加 一帧。具体地说，每次对回放图像进行回放时，增加对应像素的值，并且将产生的和除以所回放的回放图像的数量。执行这样的组合以产生预览图像。 因此，获得了与使用长时间曝光抓取的图像类似的未加权的图像，并且将其 显示为预览图像。
在图像数据元素#0到#11的序列表示其中对象从右移动到左的图像的情
况下，如图12所示，根据图像显示区域71中回放的进程，在图像显示区域 72中显示其中对象从右移动到左的长时间曝光图像作为通过将组合开始图像 直到当前图像进行组合而获得的组合图像。
在观看回放和预览图像的同时，用户指定组合结束位置。
用户可以通过例如按下快门操作键以指定组合开始位置然后释放快门操 作键来设置组合结束位置。
在按下快门操作4建之后，CPU31重复步骤F203和F204的处理。当释放 快门操作键时，将此时获得的回放图像设置为组合结束位置处的图像(在下 文中，称为"组合结束图像")。然后，如图12所示，显示指示组合结束位置 的组合结束标记76。此后，CPU31从步骤F205进行到步骤F206。
可以通过(但不限于)按下快门操作键来执行设置组合开始位置/组合结 束位置的操作。例如，可以按下快门操作键一次以设置组合开始位置，并且 可以再次按下快门操作键以设置组合结束位置。
可替代地，可以从第一帧到最后一帧中预先选择连续帧的组合使用图像 数据，或者可以通过用户操作来设置组合开始位置，并且可以当用于预览图 像或图像组合的缓冲存储器的容量变满时设置组合结束位置。
在步骤F207中执行最终图像组合处理之前，通过筒单的设置(如加权设 置)可以执行预览图像的产生和显示，这将在下面描述，或者可以通过足以 允许用户预先确认设置的效果的图像尺寸来简单地执行。
当在直到步骤F205的处理中设置组合开始位置和组合结束位置时，CPU 31进行到步骤F206,并执行调节处理。图9示出了调节处理的细节。
首先，在步骤F220， CPU31显示组合工作图像70中的选择图像列表和 权重条。
如图13所示，在时间线73中的选择图像列表视图中显示从组合开始图 像到组合结束图像的组合范围中的图像。
例如，在该示例中，作为示例，将图像数据元素#5用作组合开始图像， 而将图像数据元素#11用作组合结束图像。在时间线73中的选择图像列表视图中显示图像数据元素弁5、 #6、 #7........ #11。
在实践中，尽管在时间线13中可能不显示组合范围中的所有图像，但是 对选择图像列表自动地调节大小，以便在时间线73中显示。在可视性方面， 例如，选择图像列表是可以左右滚动以示出图像，以便防止尺寸的过度减小。 可替代地，待选择的图像的之前帧和之后帧也可以在选择图像列表中并排显 示，以便用户可以在调节操作中容易地检查待选择的帧。
当显示权重条时，显示分别与图像数据元素#5、 #6、 #7........ #11相
对应的权重条w5、 w6、 w7........ wll。例如，每一个权重条具有表示加权
系数的高度。
在步骤F220的初始状态下，不向特定图像数据元素分配权重。换句话说， 均等地加权各个图像数据元素。
在本实施例中，在连续描述中，权重条适于表示加权系数。表示分配到 每一个图像数据元素的加权系数的图像不限于权重条。例如，可以显示指示 加权系数的任何其他形状(如圓图形状)或数值。
可替代地，不是必须显示仅表示加权系数的独立图像。例如，通过使用 诸如根据加权系数来改变与选择图像列表中显示的图像数据元素#5 、 #6、
#7........ #11对应的图像的光亮度级别(lighting level)之类的技术，可以
实施表示分配到每一个图像数据元素的加权系数的图像。
在图9中所示的处理中，CPU 31在步骤F221、 F222和F223中监视用 户操作。
在图13中所示的组合工作图像70中，用户可以执行改变图像数据元素 的加权系数的操作、改变组合范围的操作或任何其他合适的操作。
例如，用户可以执行这样的操作执行图2B中所示的十字键5i的左右 操作，以在选择图像列表中选择期望图像的图像数据，然后执行十字键5i的 上下操作，以改变所选择的图像数据的加权系数。
当用户执行选择某一图像并改变对应的加权系数的操作时，CPU 31将处 理从步骤F221前进到步骤F224。
在根据操作的显示处理中，CPU31改变与所选择的图像数据元素# (x) 对应的权重条w (x)的高度。
CPU31进一步改变为所选择的图像数据元素# (x)设置的加权系数。
除了反映改变的加权系数之外，CPU31还使用组合范围内的图像数据元
31素的加权平均来进一步执行组合处理，以产生预览图像，并在图像显示区域
72中显示预览图像。
例如，用户在图13中所示的状态下执行选择图像数据元素#5并增大对 应的加权系数的操作。然后，CPU31执行步骤F224的处理，以便以图14中 所示的方式增大权重条w5,将为图像数据元素#5设置的加权系数改变到高 值，并执行组合范围内图像数据元素(#5到#11)的组合处理，以产生预览 图像，然后将所述预览图像显示在图像显示区域72中。
用户进一步执行选择剩余图像数据元素#6到#11,并减小对应的加权系 数的操作。然后，CPU31根据单独的操作来执行步骤F224的处理，以便以 图14中所示的方式减小权重条w6到wll的高度，以便将为图像数据元素#6 到#11设置的加权系数改变为低值，并且此后执行组合范围内的图像数据元 素(#5到#11)的组合处理，以产生预览图像，然后将所述预览图像显示在 图像显示区域72中。
当用户对于图像数据元素#5到#11执行上述加权系数运算时，执行组合 以便由高于剩余图像数据元素#6到# 11的权重来突出组合范围中时间上的第 一个图像数据元素#5。如图14中的预览图像所示，获得了具有所谓的前帘同 步效果的组合图像。
前帘同步效果是其中仅在长时间曝光开始时通过闪光来提供时间上第一 个状态的清晰表现的图像抓取技术。在本实施例中，通过将組合范围内的连 续帧的图像数据进行组合以便将高加权系数分配到第 一 帧的图像数据而将低 加权系数分配到后面的剩余帧的图像数据来获得前帘同步效果。
可以通过例如8位变化(256个级别)来改变加权系数，以实现精细调 节。为了用户操作的更加筒便，可以使用两个级别(即，亮和暗)或三个级 别(即，高、中和低)。可以在级别中添加零的权重的系数设置。
可以设置加权系数，以便在不去除连续图像抓取期间的不期望图像(如 当正在抓取夜景的拍摄者的周围被经过的汽车前灯照亮时获得的图像)的情 况下，如期望地那样调节图像的曝光量或光亮度。在本实施例中，在上述组 合预备处理中预先校正不适于组合的图像。例如，可以由用户手动地执行加 权系数的调节。
在用户操作中，可以改变由组合开始标记75和组合结束标记76限定的 组合范围。例如，当选择组合开始位置处的图像数据元素(#5)时，用户可以执行
十字键5i的左右操作，同时按下特定键，以将组合开始位置移动到图像数据
的时间上之前或之后的帧。同样地，当选择组合结束位置处的图像数据元素
(#11)时，用户可以执行十字键5i的左右操作，同时按下特定键，以将组 合结束位置移动到图像数据的时间上之前或之后的帧。
可替代地，可以执行用户操作以直接将组合开始标记75或组合结束标记 76沿时间线73左右移动。
当用户执行改变组合范围的操作时，CPU 31将处理从步骤F222前进到 步骤F225。然后，根据操作，CPU31改变用于组合的目标的图像范围，在 新的组合范围中执行图像数据元素的组合处理，以产生预览图像，并在图像 显示区域72中显示预览图像。
例如，假设用户在图14中所示的状态下，执行将组合结束图像改变到图 像数据元素弁7的操作。然后，CPU31执行步骤F225的操作以便以图15中 所示的方式、在新的组合范围中执行图像数据元素(#5到#7)的组合处理， 并在图像显示区域72中显示预览图像。移动组合结束标记76，以便指定图 像数据元素#7。
在这种情况下，如从图14和图15中所示的预览图像之间的比较可以看 出的那样，在图15中，由于缩短了组合范围，因此实现了在前帘同步中减小 曝光时间的图像效果。
如上所述，用户对组合工作图像70执行多种操作，由此通过CPU执行 的步骤F224和F225的处理，相应地将多个组合图像显示为预览。
图16、图17和图18示出其他示例。
图16示出了当例如用户在图13中所示的状态下执行选择图像数据元素 #11并增大对应的加权系数的操作，并且还执行单独地选择剩余图像数据元 素#5到#10并减小对应的加权系数的操作时获得的组合工作图像70的示例。
CPU 31根据用于图像数据元素#5到#11的单独加权系数运算，执行步骤 F224的处理。
在这种情况下，执行组合以便由高于剩余图像数据元素#5到#10的权重 突出组合范围中时间上的最后一个图像数据元素#11。如图16中所示的预览 图像所示，获得了具有所谓的后帘同步效果的组合图像。
后帘同步效果是其中仅在长时间曝光结束时通过闪光来提供时间上最后状态的清晰表现的图像抓取技术。在本实施例中，通过在组合范围中组合连 续帧的图像数据以便高加权系数被分配到最后一帧的图像数据而低加权系数 被分配到剩余帧的图像数据，来获得后帘同步效果。
图17示出了当用户在图16中所示的状态下执行改变组合范围的操作时 获得的组合工作图像70的示例。当用户执行将组合范围改变到图像数据元素 #9到#11的范围的操作时，CPU31执行步骤F225的处理，以执行新组合范 围中的图像数据元素的组合处理，以产生预览图像，然后将所述预览图像显 示在图像显示区域72中。
在这种情况下，如从图16和图17中所示的预览图像之间的比较可以看 出的那样，在图17中，由于缩短了组合范围，因此实现了在后帘同步中减小 曝光时间的图像效果。
图18示出了当例如用户在图13中所示的状态下执行增大图像数据元素 #5、 #8和#11的加权系数并减小剩余的图像数据元素#6、 #7、 #9和#10的加 权系数的操作时获得的组合工作图像70的示例。
CPU 31根据用于图像数据元素#5到#11的单独加权系数运算，执行步骤 F224的处理。
在这种情况下，执行组合以便周期性地突出组合范围中的图像。如图18 中所示的预览图像所示，获得了具有所谓的多闪光效果的组合图像。
多闪光效果是其中在长时间曝光期间通过周期性地闪光来提供对象的状 态的清晰表现的图像抓取技术。在本实施例中，通过在组合范围中组合连续 帧的图像数据以便将高和低加权系数周期性地分配到图像数据，来获得多闪 光效果。
如上述示例性说明中那样，用户可以对组合工作图像70执行期望的操作 以尝试多种组合图像的产生，并可以将它们确认为预览图像。也就是说，通 过尝试多种图像效果的视觉观察，用户可以容易地产生期望的图像。
当获得作为预览图像的满意的组合图像时，用户可以执行调节终止处理。 用户可以通过例如按下十字键5i的中心处的设置键来执行调节终止操作。
当检测到调节终止操作时，CPU31结束从步骤F223的图9中所示的处 理，并进行到图8中所示的步骤F207。
在步骤F207， CPU31执行最终组合处理。具体地说，CPU31使用调节 处理结束时获得的组合范围中的图像数据元素以及为所述图像数据元素设置
34的加权系数来执行组合。在这种情况下，将组合范围中每一帧的图像数据的 像素值乘以所设置的加权系数。然后，相加每一帧的图像数据的像素值，并 将产生的和除以帧的数量。也就是说，执行加权的平均处理。
注意，在加法或除法处理中可以应用曝光校正，以便待产生的组合图像 具有指定的光亮度。可替代地，可以校正计算之后获得的组合图像数据。
在使用上述图8中所示的处理执行图4中所示的步骤ST3中的组合处理 之后，在步骤ST4， CPU31执行组合图像记录处理。具体地说，CPU31执 行控制，以便将以上述方式产生的组合图像数据通过介质接口 IO记录在记录 介质90上。
由此结束组合模式中的 一 系列处理。
上述组合模式中的操作可以实现如下优点
首先，即使通过缺乏经验的拍摄者，也能够容易地实现与使用长时间曝 光图像抓取获得的效果等效的效果(在现有技术中是很难的，因为由于通过 使用抓取之后的图像执行图像组合，所以必须通过使用拍摄者的经验和直觉 来确定曝光时间/快门定时等)。另外，可以进行许多尝试或再试，直到获得 满意的图像效果为止。
此外，由于可以如期望的那样设置图像抓取之后、待组合的图像数据元 素的加权系数，因此可以容易地实现诸如前帘同步效果、后帘同步效果和多 闪光效果之类的图像效果，这在现有技术中，在不使用闪光的情况下是《艮难 实现的。
此外，即使在具有对象的运动的图像情形(如旨在提供对象的运动的表 现或在运动对象之中对焦静止对象的图像抓取情形)下，也可以实现满意的 图像。
4-3:使用改变之前和之后所显示的图像的示例性调节处理 在上述示例性组合处理中，当用户改变组合工作图像70中的加权系数等
时获得的预览图像被显示在图像显示区域72中。最好还同时显示紧接在已经
改变加权系数等之前获得的组合图像(之前预览图像)，以允许用户同时观看
在改变操作之前和之后获得的组合图像。
因此，可以以图19中所示的方式而非使用图9中所示的示例来执行图8
中所示的步骤F206中执行的调节处理。图19示出了由CPU31执行的示例性调节处理。在图19中，向与图9 相同或类似的处理步骤指定相同的标记，并且省略其描述。
图19与图9的区别在于当用户执行改变加权系数的操作时执行的步骤 F224A的处理以及当用户执行改变组合范围的操作时执行的步骤F225A的处 理。
当用户执行改变加权系数的操作时，在步骤F224A, CPU31改变与所选 择的图像数据元素# (x)对应的权重条w (x)的高度。CPU31还改变为所 选择的图像数据元素# (x)设置的加权系数。除了反映改变的加权系数之夕卜， CPU 31使用组合范围中图像数据元素的加权平均来进一步执行组合处理，以 产生预览图像，并且在图像显示区域72中显示预览图像。
CPU31进一步在图像显示区域71中显示之前组合图像，其已经紧接在 该处理之前在图像显示区域72中被显示为预览图像。
具体地说，不丢弃而是存储显示为之前预览图像的组合图像，并且与作 为当前预览图像获得的组合图像一起，分别并排显示在图像显示区域71和 72中，如图20所示。
图20示出了当例如用户执行增大图像数据元素#11的加权系数的操作时 获得的组合工作图像70。在这种情况下，在图像显示区域72中显示当前组 合图像(具有后帘同步效果的图像)作为加权改变之后获得的预览图像，并 且在图像显示区域71中显示之前组合图像(具有去除了后帘同步效果的图 像)。
以图20中所示的方式，同时显示加权系数的改变之前和之后获得的组合 图像，由此允许用户容易地检查所改变的加权系数的合适性。
此外，当用户执行改变组合范围的操作时，在步骤F225A, CPU31根据 操作改变待组合的图像的范围，并且执行用于新组合范围中的图像数据元素 的组合处理，以产生预览图像，并在图像显示区域72中显示预览图像。在图 像显示区域71中进一步显示之前组合图像，其已经紧接在该处理之前在图像 显示区域72中被显示为预览图像。
此外，在这种情况下，用户可以比较最初的和改变后的组合范围。
例如，以这种方式，当选择待组合的图像的范围或分配权重时，通过比 较检查组合之前和之后获得的图像。对于用户尝试多种图像效果的实施来说， 这是很有用的。例如，当用户比较两个闺像，并确定最初的图像更好时，可以执行取消 当前图像组合并恢复最初组合状态的操作。
此外，可以允许用户如期望的那样，选择用于并排显示组合之前和之后
获得的图像的图19中所示的处理或上述图9中所示的处理。 5、基于模板的处理
在上述组合处理中，通过如期望的那样执行改变每一个图像数据元素的 加权系数的操作，用户可以创建具有诸如前帘同步效果、后帘同步效果或多 闪光效果之类的图像效果的组合图像。 一些用户可能不能确定用以获得期望 的图像效果的权重值。即使能够确定权重的值的用户也可能觉得逐个选择图 像数据元素并改变加权系数的操作太耗时。
因此，可以使用这样的操作技术准备每个都具有用于实现预定图像效 果的加权系数的样式的系数模板，以便用户可以选择系数模板中之一 。
在下面的描述中，假设准备了用于长时间曝光效果、前帘同步效果、后 帘同步效果和多闪光效果的四个系数模板。
例如，将与长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效 果对应的加权系数样式作为系数模板存储在闪速ROM33中。例如，用于前 帘同步效果的系数模板表示其中将高权重分配到第 一个图像而将低权重分配 到后面的图像的加权系数样式。CPU31的模板管理单元57管理这样的系数 模板。
CPU31以图22中所示的方式而不是使用图9中所示的示例，来执行图 8中所示的步骤F206中的调节处理。
在图8中所示的步骤F206， CPU31执行图22中所示的处理。首先，在 步骤F301, CPU 31 (才莫板管理单元57和显示控制单元56)在显示面板6上 显示用于选择效果的系数模板。
图21示出了显示的示例。显示与用于长时间曝光效果、前帘同步效果、 后帘同步效果和多闪光效果的四个系数模板对应的图像。
此时，显示每一个均指示使用对应的系数模板获得的图像效果的效果建 模图像。如图21所示，将具有长时间曝光效果的图像、具有前帘同步效果的 图像、具有后帘同步效果的图像和具有多闪光效果的图像用作效果建模图像， 由此允许用户识别图像效果的细节。特别地，这适用于不熟悉多种图像效果的用户。
可以将用于从系数模板中选择的图像显示为预设的效果建模图像的列 表，所述预设的效果建模图像中的每一个均具有表示系数模板之一的图像数据。
可替代地，文本术语"长时间曝光效果"、"前帘同步效果"、"后帘同步 效果"和"多闪光效果"可以出现在菜单中，而不显示效果建模图像，并且 可以选择它们中之一。
响应于图21中所示的显示，例如，用户操作十字键5i以选择期望的效 果建模图像，并执行确定操作以选择一个系数模板。
根据用户的选择和确定操作，CPU 31将处理从步骤F302前进到步骤 F303。在这种情况下，CPU31的模板管理单元57将所选择的系数模板的加 权系数样式应用于组合处理单元53,并且组合处理单元53将加权系数样式 应用于组合范围中的各个图像。
如上所述，如参照直到图12所述的那样，当用户确定组合范围(组合开 始位置和组合结束位置)时，即在将组合工作图像70从图12中所示的状 态改变到图13中所示的状态的时候，CPU 31进行到图8中所示的步骤F206 中的调节处理，这在图22中示出。
当用户选择系数模板时，如图13所示，在显示选择图像列表和权重条的 同时，CPU31的组合处理单元53将模板的加权系数样式应用为与图像数据 元素对应的加权系数，并且将应用了加权系数的、使用加权平均获得的组合 图像显示为预览图像。
图22中所示的步骤F220到F223的处理之后的处理与图9中所示的处 理类似，并且省略其冗余描述。
以这种方式，用户选择系数模板，由此在不调节组合范围中的图像数据 元素的加权系数的情况下，初步实现了期望图像效果的预览图像。因此可以 大大地改善用户操作的方便性或操作效率。
此外，即使不熟悉诸如前帘同步效果之类的图像效果的细节的用户也可 以通过选择系数模板来实施多种图像效果。
在图22中所示的步骤F220之后的处理中，类似于图9，根据图像数据 元素可以单独地如期望地那样改变加权系数，或者可以如期望地那样改变组
合范围。由此，用户可以基于通过选择系数模板获得的组合图像更加独创性
38地创建组合图像。
在选择系数模板之后，可以调节由系数模板指定的系数样式。 例如，关于用于多闪光效果的加权系数模板，在模板的选择之后，发光 间隔(高加权的帧的间隔)是可调节的。该调节操作可以通过将对应功能添 加到操作按钮之一或通过从菜单选择对应条目来实施。可替代地，通过执行 诸如在按下快门释放按钮的同时按下左右按钮之类的操作，可以如期望的那 样设置发光间隔(高加权的帧的间隔)。
此外，可以准备用于特定用途(如高尔夫挥杆检查)的系数模板。 还可以在除了组合处理之外的处理中(如相机模式下的图像抓取期间) 选择系数模板。
例如，当在相机模式下选择图像抓取模式时，在显示面板6上显示如图
23中所示的模式选择屏幕。
在这种情况下，除了诸如图4中所示的自动模式图像抓取、人像模式图 像抓取、日落景象模式图像抓取和微距模式图像抓取之类的正常图像抓取模 式之外，诸如长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效果 也是可选择的。
当选择了长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效果 之一时，在图5中所示的步骤F15，在组合模式图像抓取中抓取多个帧的图 像。在图像抓取期间，对于要记录的图像数据组，使用元数据等记录关于所 选择的效果的信息。
然后，此后，诸如当在图8所示的组合处理中的步骤F203执行预览图像 组合时或者当CPU31进行到步骤F206时，使用所选择的图像效果的系数模 板可以执行加权的组合。
例如，当在图像扭4又期间用户期望实现前帘同步效果时，在图像抓取期 间预先选择用于前帘同步效果的系凄M莫板，由此使用用于前帘同步效果的加 权系数样式来执行预览图像组合。由此，可以改善操作效率。
此外，在图像抓取阶段以这种方式选择前帘同步效果、后帘同步效果或 多闪光效果的情况下，CPU31可以参照系数模板的加权系数样式以设置定 时，并且可以在图5中所示的步骤F15中的连续帧图像抓取期间在所设置的 定时实际地#1行闪光控制。6、固定帧速的图像抓取操作
在诸如数码摄像机或数码相机之类的图像抓取设备中，控制进入图像抓 取元件的入射光通量和电荷累积时间段以调节曝光时间。
例如，在摄像机中， 一般而言，根据帧速以恒定的曝光时间段来连续地 拍摄图像。然而，使用提供比帧速限定的曝光时间(例如，对于60帧每秒(*S )
来说，约l/60秒)更短的曝光时间(例如，1/250秒)的电子快门可以抓取 高亮度的对象。
在这种情况下，不执行记录长达等于通过从帧速限定的曝光时间中减去 电子快门的实际曝光时间而获得的时间的时间。这可能导致包括凹凸不平 (jaggy)的运动图像。为了防止这样的运动图像的产生，通常执行曝光控制。 然而，除非运动图像看起来"凹凸不平"，否则通常使用电子快门执行图像抓 取长达短于帧速限定的曝光时间的电荷累积时间。
这里，作为组合模式图像抓取，将考虑本实施例的图像抓取设备1中图 像数据的连续帧的抓取。
图24B和图24D示出了在图像抓取期间以固定帧速的连续帕的抓取，其 中一帧时间段是FR。
图24B示出了在帧时间段FR中不使用电子快门功能并且图像抓取元素 的曝光时间段为R1 (其中R1基本上等于FR)的情况。也就是说，除了由于 曝光引起的电荷传送所必需的最小时间段之外，在帧时间段内连续地曝光图 像抓取元件以发光。在下面的描述中，为了描述的简便，省略在其期间由于 电荷传送而使得不曝光图像抓取元素以发光的少量时间段。
图24D示出了当由于对象亮度的增大而必须减少曝光量时使用电子快门 功能执行自动曝光调节的情况。在这种情况下，如R2所示的那样，缩短帧时 间段FR内的曝光时间。由阴影指示的时间段是在其期间不执行曝光的时间 段。
图24A和图24C示出了当例如使用上述组合处理执行如图24B和图24D 中所示的连续帧抓取时获得的组合图像的示例。当通过将相等的加权系数分 配到多个帧的图像数据来实现长时间曝光效果时获得图24A和图24C中所示 的组合图像。
基于在不使用电子快门功能的情况下抓取的图像数据的组合图像(如图 24B所示)导致平滑的长时间曝光效果图像(如图24A所示)。另 一 方面，基于使用电子快门功能的情况下抓取的图像数据的组合图像
(如图24D所示)导致非平滑的长时间曝光效果图像(如图24C所示)。
这是因为对于由阴影指示的非曝光时间段，没有获得关于对象图像的信息。
这里，将参照图25A到图25D描述在其中使用电子快门功能执行自动曝 光调节(如图24D所示)的情况下的曝光控制^^喿作。
图像抓取设备1可以使用光圈/ND滤光片机构22中的光圈机构和/或ND 滤光片机构、通过使用定时产生电路28来控制图像抓取元件单元23的操作 而执行的电子快门功能、或者要由模拟信号处理单元24施加到图像抓取元件 单元23获得的图像抓取信号的可变增益来执行曝光调节。
在图25A和图25B中，横坐标轴表示对象亮度级別。图25A示出了在 图像抓取期间由帧速限定的一帧FR的时间段。在这种情况下，将帧时间段 FR设置为l/60秒，不论对象亮度级别如何，其都是固定的。
图25B示出了电子快门SH (具有帧时间段的曝光时间或"帧内曝光时 间")和增益级别G。图25D示意性地示出了光圈机构和ND滤光片机构的操 作状态。
图25C示出了与对象亮度级别中的变化对应的曝光控制方法。 在具有最低对象亮度级別的区域(区域A)中，使用光圈机构来执行曝 光调节。具体地说，通过改变光圈机构的开口量来调节入射光的量。
在仅使用光圈机构难以调节入射光的量的区域B中，使用光圈机构和 ND滤光片才几构二者。具体地说，通过改变光圈^L构的开口量和进入ND滤光 片机构的入射光通量的量来调节入射光的量。
在具有太高的对象亮度级别以至于不能仅使用光圈机构和ND滤光片机 构来调节入射光的量的区域C中，使用电子快门功能。例如，使用电子快门 功能来执行控制，以便当对象亮度级别增大时，减小帧内曝光时间SH (其最 初被设置为1/60秒)。例如，控制帧内曝光时间SH以便使其降低到1/500秒。
区域D是具有格外高的对象亮度级别的亮度区域，其中即使使用电子快 门功能也难以执行曝光调节。在区域D中，改变增益级别G。
当帧速固定时，例如，图像抓取设备l可以执行如上所述的曝光调节控 制。然后，当对象亮度级别在区域C内时使用电子快门功能。在这种状态下， 执行图像抓取，由此引起上述图24C和图24D中所示的情形。由此，获得了具有长时间曝光效果的非平滑组合图像。
因此，本实施例的图像抓取设备被配置为在至少要执行组合模式图像抓
取的情况下(即，在要执行图5中所示的步骤F15中的连续帧抓取的情况下) 执行如图26A到图26D中所示的曝光调节控制。
如图25A、图25B、图25C和图25D中那样，图26A、图26B、图26C 和图26D示出了帧时间段FR(其被设置为1/60秒)、增益级别G、由电子快 门限定的曝光时间SH、曝光控制方法和光圈机构和ND滤光片机构的操作状 态，其中横坐标轴表示对象亮度级别。
在具有最低对象亮度级别的区域A中，使用光圈机构执行曝光调节。具 体地说，通过改变光圈机构的开口量来调节入射光的量。
在仅使用光圈机构难以调节入射光的量的区域B中，使用光圈机构和 ND滤光片机构二者。具体地说，通过改变光圈机构的开口量和进入ND滤光 片机构的入射光通量的量来调节入射光的量。
在具有太高的对象亮度级别以至于不能仅使用光圏机构和ND滤光片机 构来执行调节的区域C中，在不使用电子快门功能的情况下，通过可变地控 制增益级别G来执行调节。
由于增益调节可能引起电子噪声以导致缺乏灰度(gradation)和精细度 的所抓取的图像，期望的是，增益调节包括诸如设置极限或执行降噪处理之 类的方法。
仅在具有格外高的对象亮度级别的区域D中(通过改变增益级別直到极 限也将不能解决)，使用电子快门功能执行曝光调节。
为了执行如上所述的曝光调节，在上述图5中所示的步骤F15中的图像 抓取处理中，CPU 31 (图像抓取控制单元51 )执行图27中所示的曝光调节 处理。图27中所示的处理在连续地抓取帧的时间段期间连续地执行。
在步骤F301, CPU31确定对象亮度级别。例如，CPU31获得关于在相 机DSP4中当前正被抓取和处理的帧的、由图像信号处理单元41计算的曝光 量信息(如平均亮度信息)，并且将其与关于之前帧的曝光量信息进行比较， 以确定对象亮度级别是已经增大了还是已经减小了 。
如果确定对象亮度级别没有发生改变，则CPU 31通过步骤F302和F306 返回到步骤F301,并确定下一巾贞的对象亮度级别。
如果确定对象亮度级别已经增大，则CPU 31从步骤F302进行到步骤F303,并确定当前区域的曝光调节方法是否已经达到其控制极限。具体地说， 检查对象光强度的当前增大是否对应于如图26C所示的、从区域A到区域B、 从区域B到区域C和从区域C到区域D的增大中之一。
如果当前区域的曝光调节方法还没有达到其控制极限，则CPU31进行 到步骤F310,并使用当前曝光调节方法来解决对象亮度级别的增大。
具体地说，如果当前区域是区域A,则减小光圈机构的开口量。如果当 前区域是区域B,则使用光圈机构和ND滤光片机构的组合来减'j、入射光的 量。如果当前区域是区域C,则执行控制以便减小增益级别。如果当前区域 是区域D,则执行控制以便使用电子快门功能来缩短帧内曝光时间。
如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F3 04 和F305转移。
具体地说，如果在从区域A到区域B的转换的情况下对象亮度级别已经 增大，则CPU 31进行到步骤F311 。然后，CPU 31从仅使用光圈机构的曝光 调节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制以 解决对象亮度级别的增大。
如果在从区域B到区域C的转换的情况下对象亮度级别已经增大，则 CPU31进行到步骤F312。然后，CPU31从使用光圈机构和ND滤光片机构 二者的曝光调节切换到使用可变增益级别的曝光调节，并执行控制以解决对 象亮度级別的增大。
如果在从区域C到区域D的转换的情况下对象亮度级别已经增大，贝'J CPU31进行到步骤F313。然后，CPU31从使用可变增益级别的曝光调节切 换到使用电子快门功能的曝光调节，并执行控制以解决对象亮度级别的增大。
如果作为步骤F301的确定结果而确定对象亮度级别已经减小，则CPU 从步骤F302进行到步骤F306,并确定当前区域的曝光调节方法是否已经达 到其控制极限。具体地说，检查对象光强度的当前减小是否对应于从区域B 到区域A、从区域C到区域B和从区域D到区域C(如图26C中所示)的减 小中之一。
如果当前区域的曝光调节方法还没有达到其控制极限，则CPU 31进行 到步骤F310,并使用当前曝光调节方法解决对象亮度级别的减小。
具体地说，如果当前区域是区域A,则增大光圏机构的开口量。如果当 前区域是区域B,则使用光圈机构和ND滤光片机构的组合来增大入射光的量。如果当前区域是区域C,则执行控制以便增大增益级别。如果当前区域 是区域D,则执行控制以便使用电子快门功能来增大帧内曝光时间。
如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F308 和F309转移。
具体地说，如果在从区域C到区域B的转换的情况下对象亮度级别已经 减小，则CPU31进行到步骤F311。然后，CPU31从使用可变增益级別的曝 光调节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制 以解决对象亮度级别的减小。
如果在从区域D到区域C的转换的情况下对象亮度级别已经减小，贝'J CPU 31进行到步骤F312 。然后，CPU31从使用电子快门功能的曝光调节切 换到使用可变增益级别的曝光调节，并执行控制以解决对象亮度级别的减小。
如果在从区域B到区域A的转换的情况下对象亮度级别已经减小，贝'J CPU31进行到步骤F314。然后，CPU31从使用光圈机构和ND滤光片机构 二者的曝光调节切换到仅使用光圈机构的曝光调节，并执行控制以解决对象 亮度级别的减小。
CPU31执行这样的处理以执行图26A到图26D中所示的曝光调节。
具体地说，CPU 31使图像抓取系统2以固定帧速抓取具有时间连续性的 多个帧的图像数据，并通过使用优先于电子快门功能的曝光调节功能(光圈 机构、ND滤光片机构和增益级别控制)以执行曝光调节控制来在抓取期间根 据对象亮度级别执行曝光调节控制。
在图5中所示的步骤F15中的图像抓取处理中执行这样的曝光调节控制， 即尽可能不使用电子快门功能。由此，在大多数情况下实现了如图24B中所 示的图像抓取操作。
根据后面的组合处理，如图24A所示，可以获得与使用长时间曝光而实 际抓取的图像可比较的平滑图像。特别地，在抓取运动对象的图像的情况下， 可以获得平滑的长时间曝光图像。
特别地，在假设固定帧速的图像抓取时执行该操作，所述固定帧速的图 像抓取适于组合模式图像抓取和运动图像的抓取的组合。
在例如从作为抓取的结果而记录的运动图像数据中提取多个帧，并将其 用在组合处理中的情况下，可以执行上述曝光调节控制以获得满足以固定帧 速抓取的合适的运动图像数据和适于组合处理的图像数据这两个条件的图像数据。
虽然在区域D中使用电子快门功能，但区域D是在通常情况下几乎不出 现的高亮度区域，并且在多数情况下将不使用电子快门功能。由此，作为组 合的结果获得平滑的组合图像。
然而，如果在步骤F15中的组合模式图像抓取中执行连续帧抓取，则可 以禁止电子快门功能的使用。也就是说，在图26C所示的区域D中，可以不 再执行曝光调节，或者可以进一 步减小增益级别以执行调节。
还可以在步骤F16中以及步骤F15中的图像抓取中执行上述曝光调节控 制，或者可以在步骤F16中执行图25A到图25D所示的曝光调节控制。
虽然在图26和图27中使用除了电子快门功能之外的三种曝光调节因素 (光圈机构、ND滤光片机构和可变增益)，但是不是必须使用所有三种因素， 例如，可不使用ND滤光片机构。
在固定帧速的图像抓取中，还可以执行下面示例性的图像抓取操作。
通过使用电子快门功能、在固定帧速限定的曝光时间段内连续地执行分 开曝光和组合通过分开曝光获得的多个帧的图像数据以产生一帧的图像数 据，可以以固定帧速抓取具有时间连续性的多个帧的图像数据。
现在将参照图28A到图29C来描述该操作。
如上所述，在不使用电子快门的情况下的曝光调节控制可能导致图像抓 取元件(如CCD元件)中的超过其极限的电荷累积，从而导致饱和。
在这种情况下，电荷的饱和以这样一种形式出现电荷溢出，并且可能 形成处于"乳白情形(whiteout condition)"的过曝光图像。由此，将不能获 得满意的图像。
因此难以将这样的电荷溢出图像还原到原始状态，以获得满意的组合图像。
在这种情况下，例如，可以执行电子快门功能来执行图像抓取，以便在 图像抓取元件(如CCD元件)中的电荷可以不超过极限(不会发生饱和)。
然而，如果以通常的方式使用电子快门功能，则可能获得如图28A和图 28B中所示的、使用不连续曝光时间抓取的组合图像。例如，如图28B所示， 曝光时间段R3和非曝光时间段(阴影部分)存在于一帧FR1的时间段中。 由于缺少关于非曝光时间段中的对象的信息，因此可能获得如图28A中所示 的不平滑组合图像(与上述图24C和图24D中所示的情况类似)。因此，如图28D所示，在以特定帧速的帧时间段FR1中，例如，以曝光 时间段R4指示的方式执行分开曝光，使得可以不出现非曝光时间段。
在这种情况下，在图像抓取元件单元23中，例如，每三个曝光时间段 R4 (将帧时间段FR1分为三个曝光时间段R4)传送电荷，并且将结果的所 抓取的图像数据存储在例如相机DSP4中。在图像抓取元件单元23中，紧接 在电荷传送之后曝光继续，并且以类似的方式执行曝光时间段R4中的曝光。
然后，在相机DSP4中组合每一个均与曝光时间段R4对应的三个所抓 取的图像数据元素，以产生一帧的图像数据。
通过该操作，获得了以固定帧速的每一帧(#1、 #2.......)的所抓取的
图像数据。此外，可以获得在图像抓取元件单元23中去除了饱和的、不缺少 一卄曝光时间段引起的信息的所抓取的图像数据。
因此，当在组合处理中使用多个帧(#1、 #2.......)的图像数据时，可
以获得图28C所示的平滑长时间曝光效果图像。
在该操作中，可以以多种方式设置分开曝光时间段。可以等分或不等分 每一个帕时间段FR1。在实践中，通过考虑固定帧速、在图像抓取期间获得 的对象亮度级别、图像抓取元件单元23中电荷的饱和时间等，可以执行适应 性控制。
例如，在相机DSP 4组合通过使用分开曝光获得的多个所抓取的图像数 据元素以产生一帧图像数据的情况下，期望根据分开曝光时间来执行加权组 合。
图29A示出了在每一个曝光时间段R4中的分开曝光，其中将一帧时间 段FR1等分为三个部分。
在这种情况下，如图29A所示，使用相同的权重(一次幂)来组合形成
一帧的三个所抓取的图像数据元素，以产生各个帧(#0、 #1、 #2.......)的
所抓取的图像数据。
图29B示出了在曝光时间段R5、 R6和R7中的分开曝光的示例，其中 将一帧时间段FR1不等分为三个部分。如果时间段R5、 R6和R7具有3: 2: 1的比例，则执行组合以便将1/3的权重施加到在曝光时间段R5中获得的图 像数据元素，将2/3的权重施加到在曝光时间段R6中获得的图像数据元素， 并将1的权重施加到在曝光时间段R7中获得的图像数据元素。
图29C示出了在曝光时间段R8和R9中的分开曝光的示例，其中将一帧时间^殳FR1部分地不等分为三个部分。如果时间段R8和R9具有3: 1的比 例，则执行组合，以便将1/3的权重施加到在曝光时间段R8中获得的两个图 像数据元素，而将1的权重施加到在曝光时间段R9中获得的图像数据元素。
7、可变帧速的图像抓取操作
现在将描述考虑可变帧速的示例性图像抓取操作。
例如，在图5所示的步骤F15中的图像抓取中，如果根据对象亮度级别 将电子快门功能用于自动曝光调节，则如上所述，当使用通过图像抓取获得 的多个帧的图像数据来执行组合处理时获得不平滑的组合图像。图30A和图 30B示出了使用不连续曝光抓取的组合图像，在所述不连续曝光中，例如， 一帧时间段是FR1，并且使用电子快门功能限定一帧内的曝光时间段R3。当 使用通过利用这样的图像抓取获得的图像数据来执行组合时，由于缺少由阴 影指示的非曝光时间段的信息，因此获得了如图30A所示的组合图像。
这里，假设在组合模式图像抓取中，不是必须使用固定帧速来获得在组 合处理中使用的多个连续帧的图像数据。然后，可以以图30D所示的方式执 行图像抓取。具体地说， 一帧时间段FR1是不固定的，并且当对象亮度级别 增大时缩短一帧时间段(即，可变帧速)，并且对于一帧时间段连续地执行曝 光。
在图30D中，改变帧速以便一帧时间段FR2可以等于曝光时间段R3， 并且基本上实现了等效于图30B中所示的效果的曝光调节效果。然后，在图 30D中，由于在帧时间段FR2中不存在非曝光时间段，周此在不缺少对象信 息的情况下记录每一帧的图像数据。将通过这样的图像抓取获得的图像数据 用于执行组合，导致图30C中所示的平滑长时间曝光效果组合图像。
具体地说，当使图像抓取系统2在图5所示的步骤F15中抓取具有时间 连续性的多个帧的图像数据时，CPU31 (图像抓取控制单元51 )执行控制以 根据抓取期间对象亮度级别的变化来改变帧速。然后，将通过图像抓取操作 抓取的、具有时间连续性的多个帧的图像数据用作组合使用图像数据以执行 组合处理。由此，作为产生组合图像为静止图像的结果，获得了平滑长时间 曝光效果图像。
图31A到图31C示出了对象亮度级别变化与帧速之间的关系的示例。 现在假设，如图31A所示，从时间tO开始对象亮度级別逐渐增大，并且
47在时间U之后变为基本恒定。在这种情况下，通过以图31B所示的方式改变 帧速以控制一帧时间段，来执行自动曝光调节。具体地说，执行曝光调节， 以便对于从时间t0到时间tl的时间段(在其期间对象亮度级别逐渐增大)，
以FR1 、 FR2、 FR3.......的顺序逐渐缩短一帧时间段。由于在一帧时间段中
不存在非曝光时间段，因此根据一帧时间段的长度，以R1、 R2、 R3.......
的顺序来缩短一帧曝光时间段。
例如，如果在时间tl之后对象亮度级别没有变化，则可以以帧时间段 FR8 (曝光时间段R8)来维持后面的时间段。
图32A到图32D示出了在将如上所述的可变帧速控制用于自动曝光调节 的情况下的示例性操作。
在图32A、图32B、图32C和图32D中，横坐标轴表示对象亮度级别。 图32A示出了帧周期FR,图32B示出了增益级别G,图32C示出了曝光控 制方法，而图32D示出了光圈机构和ND滤光片机构的操作状态。
注意，没有示出电子快门功能，这是因为假设在一个时间段从头至尾(除 了电荷传送的短时间段之外)执行曝光，并且一帧时间段内的曝光时间不短 于一巾贞时间段。
在具有最低对象亮度级别的区域A中，使用光圈机构执行曝光调节。具 体地说，通过改变光圈机构的开口量来调节入射光的量。
在仅使用光圈机构难以调节入射光的量的区域B中，使用光圈机构和 ND滤光片机构二者。具体地说，通过改变光圈机构的开口量以及进入ND滤 光片机构的入射光通量的量来调节入射光的量。
在具有太高对象亮度级別以至于不能仅使用光圈机构和ND滤光片机构 来执行调节的区域C中，也通过可变地控制帧速来执行调节。具体地说，当 对象亮度级别增大时，减小一帧时间段FR。例如，当对象亮度级别很低时， 将帧时间段FR设置到1/60秒，并且随着对象亮度级别增大，控制帧时间段 FR以将其可变地减小到1/500秒。
仅在具有格外高的对象亮度级别的区域D中(这将不能通过改变帧时间 段FR到1/500秒来解决)，使用可变增益控制来执行曝光调节。
为了执行如上所述的曝光调节，在上述图5所示的步骤F15中的图像抓 取中，CPU31 (图像抓取控制单元51)执行图33所示的曝光调节处理。图 33所示的处理连续地执行一时间段，在所述时间段期间连续地抓取帧。步骤F301到F311以及F314与上述图27所示的步骤类似。执行步骤F320 的处理而非图27中所示的F313,执行步骤F321的处理而非图27中所示的 步骤F312。由于特定处理步骤的部分是不同的(如步骤F310),因此在下文 中将描述所有处理步骤。
在步骤F301, CPU31确定对象亮度级别。例如，CPU31获取关于在相 机DSP4中当前被抓取和处理的帧的、由图像信号处理单元41计算的曝光量 信息(如平均亮度信息)，并且将其与关于之前帧的曝光量信息进行比较，以 确定对象亮度级別是已经增大了还是已经减小了 。
如果确定对象亮度级別没有发生改变，则CPU31通过步骤F302和F306 返回到步骤F301,并确定下一帧的对象亮度级别。
如果确定对象亮度级别已经增大，则CPU 31从步骤F302进行到步骤 F303,并确定当前区域的曝光调节方法是否已经达到其控制极限。具体地说， 检查对象光强度的当前增大是否对应于如图32C所示的、从区域A到区域B 、 从区域B到区域C和从区域C到区域D的增大中之一 。
如果当前区域的曝光调节方法还没有达到其控制极限，则CPU 31进行 到步骤F310,并使用当前曝光调节方法来解决(address)对象亮度级别的增 大。
具体地说，如果当前区域是区域A,则减小光圈机构的开口量。如果当 前区域是区域B ，则使用光圈机构和ND滤光片机构的组合来减小入射光的 量。如果当前区域是区域C,则执行控制以便改变帧速以缩短一帧时间段。 如果当前区域是区域D,则执行控制以减小增益级别。
如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F304 和F305转移。
具体地说，如果在从区域A到区域B的转换的情况下对象亮度级别已经 增大，贝'J CPU 31进行到步骤F311 。然后，CPU 31从仅使用光圈机构的曝光 调节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制以 解决对象亮度级别的增大。
如果在从区域B到区域C的转换的情况下对象亮度级别已经增大，则 CPU31进行到步骤F321。然后，CPU31从使用光圈机构和ND滤光片机构 二者的曝光调节切换到使用可变帧速的曝光调节，并执行控制以解决对象亮 度级别的增大。如果在从区域C到区域D的转换的情况下对象亮度级别已经增大，则CPU31进行到步骤F320。然后，CPU31从使用可变帧速的曝光调 节切换到使用可变增益级别的曝光调节，并执行控制以解决对象亮度级别的 增大。
如果作为步骤F301的确定结果而确定对象亮度级别已经减小，则CPU 从步骤F302进行到步骤F306,并确定当前区域的曝光调节方法是否已经达 到其控制极限。具体地说，检查对象光强度的当前减小是否对应于从区域B 到区域A、从区域C到区域B和从区域D到区域C (如图32C中所示)的减 小中之一。
如果当前区域的曝光调节方法还没有达到其控制极限，则CPU31进行 到步骤F310，并使用当前曝光调节方法解决对象亮度级别的减小。
具体地说，如果当前区域是区域A，则增大光圈机构的开口量。如果当 前区域是区域B,则使用光圈机构和ND滤光片机构的组合来增大入射光的 量。如果当前区域是区域C,则通过改变帧速来增大一帧时间段。如果当前 区域是区域D,则执行控制以便增大增益级别。
如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F308 和F309转移。
具体地说，如果在从区域C到区域B的转换的情况下对象亮度级别已经 减小，则CPU31进行到步骤F311。然后，CPU31从使用可变帧速的曝光调 节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制以解 决对象亮度级别的减小。
如果在从区域D到区域C的转换的情况下对象亮度级别已经减小，贝'J CPU31进行到步骤F321。然后，CPU31从使用可变增益级别的曝光调节切 换到使用可变帧速的曝光调节，并执行控制以解决对象亮度级别的减小。
如果在从区域B到区域A的转换的情况下对象亮度级别已经减小，贝'J CPU31进行到步骤F314。然后，CPU31从使用光圈机构和ND滤光片机构 二者的曝光调节切换到仅使用光圈机构的曝光调节，并执行控制以解决对象 亮度级别的减小。
CPU31执行这样的处理以执行图32A到图32D所示的曝光调节。
具体地说，CPU31使图像抓取系统2抓取具有时间连续性的多个帧的图 像数据，并通过可变地控制帧速，以及使用光圈机构、ND滤光片机构和增益 级别控制以执行曝光调节控制来在抓取期间根据对象亮度级别执行曝光调节控制。
在图5中所示的步骤F15中的图像抓取处理中执行这样的曝光调节控制，
由此根据对象亮度级別可以执行合适的曝光调节，另外，所抓取的多个帧的 图像数据不缺少由于非曝光时间段引起的信息。
因此，根据后面的组合处理，如图30C所示，可以获得与使用长时间曝 光而实际抓取的图像可比较的平滑图像。特别地，在抓取运动对象的图像的 情况下，可以获得平滑的长时间曝光图像。
在区域D中，使用可变增益执行曝光调节。如上所述，增益调节可能导 致电子噪声。然而，区域D是在通常情况下几乎不出现的高亮度区域，并且 在多数情况下将不执行使用可变增益的曝光调节。由此，可以认为，如果不 使用诸如降噪处理之类的特殊技术，则在实践中基本上不存在由于可变增益 引起的噪声的影响。
还可以在步骤F16中以及步骤F15中的图像抓取中执行上述曝光调节控制。
虽然在图32和图33中使用除了可变帧速之外的三种曝光调节因素(光 圈机构、ND滤光片机构和可变增益)，但是不是必须使用所有三种因素，例 如，可以不使用ND滤光片机构。
在使用通过如上所述可变地控制帧速而获得的图像数据元素的组合处理 中，最好根据与图像数据元素对应的帧时间段来分配加权系数。具体地说， 将被确定为图像抓取期间图像数据元素的帧时间段长度的比例的倒数的加权 系数分配到组合处理中使用的图像数据元素，以执行组合处理。
例如，如图31C所示，当使用可变帧速获得的图像数据元素#1到#22被 用作待组合的图像来执行组合处理，以产生组合图像数据时，分配图31A到 图31C所示的加权系数。例如，假设与图像数据元素#1对应的帧时间段FR1 是帧时间段FR8的五倍，如果要分配到帧时间段FR8中的图像数据元素#8 到#22的加权系数是1，则将加权系数1/5分配到图像数据元素#1。假设与图
数3/10分配到图像数据元素#2。
以这种方式，根据 一 帧的时间段的长度，将被确定为反比(inverse ratio ) 的加权系数分配到图像数据元素以产生组合图像数据，并且基于组合图像数 据可以产生平滑图像。为了在组合处理中设置这样的加权系数，期望的是，在图像抓取期间要 添加到每一个图像数据元素的元数据中包括关于帧速的信息。
8、示例性组合模式处理帧内插
现在将描述在上述组合模式处理中可应用的多种示例。首先，将描述帧 内插。
在组合模式图像抓取中，可以使用用于曝光调节等的电子快门功能来抓 取具有时间连续性的多个帧的图像。
电子快门功能可以用在诸如当使用图25A到图25D所示的曝光调节方法 时、当在图26C所示的曝光调节方法中获得区域D中的对象亮度级別时、以 及当用户执行电子快门功能的设置时之类的情况下。在这样的情况下，如上 所述，即使执行连续帧抓取，也会在帧时间段中出现非曝光时间段，导致缺 少关于非曝光时间段的对象信息。
此外，即使在不使用电子快门功能的情况下，例如，在不是每帧执行而 是间断地(如每隔一帧)执行图5所示的步骤F15中的连续图像抓取的情况 下，具有时间连续性的多个帧的图像数据的序列也缺少对象信息。
在这种情况下，如果待组合的图像数据元素的序列缺少对象信息，则获 得具有不平滑性的组合图像。
然而，如果使用上述图26A到图26D或图32A到图32D中所示的曝光 调节方法，并且如果对于所有帧执行图5所示的步骤F15中的连续图像抓取， 则所抓取的图像数据元素的序列不缺少(或基本上不缺少)对象信息。
图像数据元素的序列可以用于获取表示对象的平滑运动的组合图像。对 于改善的平滑性存在另 一要求。
因此，最好使用帧内插处理来执行组合处理。将参照图34A到35B来描 述帧内插处理。
图34C示出了已经实际地抓取并记录在记录介质90等之上的图像数据 元素#1、 #2、 #3和#4的序列。
组合图像数据元素#1、 #2、 #3和#4,由此获得了图34A所示的组合图像。 也就是说，获得了具有长时间曝光效果的不平滑图像。
这里，执行内插处理以产生图34D所示的内插帧存h12、他23和他34。
从图像数据元素#1和#2产生内插帧弁h12。从图像数据元素弁2和#3产生
52内插帧弁h23。从图像数据元素#3和弁4产生内插帧弁h34。
使用通常用在诸如MPEG技术之类的编解码方案中的帧间(场间)内插 技术，通过使用利用运动矢量的空间预测在两个帧之间内插像素值，可以创 建内插帧。
图34B示出了通过将图像数据元素#1、 #hl2、 #2、 #h23、 #3、 #h34和#4 进行组合而获得的图像。通过除了帧之外还使用内插帧来执行组合，可以实 现更平滑的组合图像。
在除了帧之外还使用内插帧的组合处理中，根据图像抓取间隔或曝光时 间，基于添加到图像数据元素#1、 #2、 #3和#4中的每一个的元数据(例如， 可交换图像文件格式(exchangeable image file format, Exif)数据)，可以执 4亍力口才又。
例如，图35A示出了使用电子快门功能对于40msec的曝光时间段R和 20msec的非曝光时间段(阴影部分)的图像数据元素#1、 #2、 #3和#4的图 像抓取，其中一帧时间段FR1是固定的。
在这种情况下，内插帧弁hl2、弁h23和存h34用于内插对于20msec的时间 段的帧，这些帧还没有被实际抓取。可以使用具有正确的曝光的、对于40msec 的时间段已经实际抓取的帧，以创建内插帧的正确图像。
在使用图像数据元素#1、 #2、 #3和#4以及内插帧弁h12、他23和#1134的 组合处理中，根据曝光时间的比例来分配系数。
例如，图像数据元素#1、内插帧弁M2和图像数据元素存2在时间轴上具有 2: 1: 2的关系。根据比例倒数的计算，如图35A所示，分配0.5: 1: 0.5的 权重。由此，根据对象的实际运动可以重现曝光时间。
使用多个图像的亮度信号之和或者使用元数据中记录的曝光或快门速 度，可以计算权重。
图35B示出了在一帧时间段FR2中不使用非曝光时间段的情况下图像数 据元素#1、 #2、 #3和#4的图像抓取。
由于不存在非曝光时间段，因此为了获得更平滑的组合图像的目的而使 用内插帧他12、他23和都34。在这种情况下，如图35B所示，通过向图像数 据元素#1、 #2、 #3和#4以及内插帧他12、 #h23和他34分配相等的权重来执 一亍组合处理。
图36示出了 CPU31的示例性处理，包括上述帧内插处理。例如，在图8所示的步骤F206中的调节处理中，CPU31执行图36中所 示的处理而非图9中所示的示例。
在图8所示的步骤F206， CPU31执行图36中所示的处理。首先，在步 骤F220,如图9所示，CPU31显示选择图像列表和权重条。例如，组合工 作图像70从图12中所示的状态改变到图13中所示的状态。
此时，在图像显示区域72中待显示为预览图像的组合图像是使用步骤 F230和F231中的帧内插处理而产生的图像。
具体地说，在步骤F230中，CPU31使用当前组合范围中的图像数据元 素的序列来创建参照图34D描述的内插帧。在步骤F231, CPU 31以参照图 35A或图35B描述的方式设置预定的加权系数，以执行组合处理。由此，在 图13中所示的组合工作图像70的图像显示区域72中显示的组合图像是例如 通过与帧内插处理一起执行组合处理而获得的组合图像。
图36中所示的步骤F221到F225A的后续处理与图19中所示的处理类 似，省略其冗余描述。然而，当在步骤F224A和F225A中执行预览图像组合 时，使用在步骤F230中产生的内插帧来执行组合。
此外，当在执行图36中所示的调节处理之后在图8中所示的步骤F207 中执行最终组合处理时，也使用用在步骤F206 (图36)中的调节处理的最终 阶段中的内插帧来执行组合处理。
通过帧内插处理的额外使用，可以获得与使用长时间曝光而实际抓取的 图像可比较的、更平滑的图像作为组合图像。
特别地，当快速运动对象是目标时，更有利的是，使用上述帧内插处理 可以表示组合图像中的平滑运动。
在上述示例中，在图8中所示的步骤F206中的图36所示的处理中，将 必须使用内插帧的组合图像显示为预览图像。然而，在该调节处理中，包括 内插帧的产生和使用的图像组合可以仅在用户操作期望时执行。
此外，在图8中所示的步骤F206中的调节处理中不是必须执行帧内插。 作为替代，在步骤F207的最终組合处理中，可以产生并使用内插帧来执行图 像组合。
此外，在调节处理中，在组合工作图像70中，可以与原始图像数据一起， 在组合图像列表上显示内插帧，以及对应的权重条，以便使用其以与原始图 像数据中类似的方式改变加权系数，或者设置组合开始位置/组合结束位置。可替代地，相反，可以隐藏用户内插帧的存在。
9、示例性组合模式处理闪光去除/校正
用户可以使用闪光来执行组合模式图像抓取(图5中所示的步骤F15中 的图像抓取)。根据后面的组合处理，例如，在不使用闪光的情况下可以实现 前帘同步效果等。然而，在诸如当一些用户希望最初实现前帘同步效果等而 不在组合工作中改变加权系数等或者想要获得通过使用闪光的图像表现时之 类的情况下，他们可能使用闪光来执行图像抓取。
然而，在这样的情况下，必须根据拍摄者的经验和直觉来确定设置，如 闪光时间和曝光量。在实践中，用户(拍摄者)可能不一定获得所期望的图 像。
此外，在用户使用闪光实际地抓取图像之后，用户可能随后改变他或她 的主意，并想要使用在不利用闪光的情况下抓取的图像来产生组合图像。
此外，由于图像4爪耳又设备的性能或用户设置可能使得闪光的实际量不够。
因此，对于用户来说，期望在组合处理中能够去除或校正闪光图像抓取。
图38示出了用于在图8所示的组合处理中的步骤F206中的调节处理中 使能闪光去除的、CPU31的示例性处理。
图38中所示的步骤F220到F225A与图19中的相应步骤类似。在图38 中，将步骤F240到F245添加到图19中所示的处理。
当正在调节处理中显示组合工作图像70时，除了上述改变加权系数或改 变组合范围的操作之外，用户可以执行闪光去除操作。可以通过例如操作预 定操作键或选择菜单条目来执行闪光去除操作。
当检测到用户执行的闪光去除操作时，CPU将处理从步骤F240前进到 步骤F241。
在步骤F241到F244，对于组合范围内的每一个图像数据元素，改变用 于去除闪光的加权系数。
在步骤F241, CPU 31提取组合范围中的图像数据元素之一作为处理目 标。在步骤F242, CPU 31确定所提取的图像数据元素是使用闪光抓取的图 像数据元素(在下文中，称为"闪光图像")还是不使用闪光抓取的图像数据 元素(在下文中，称为"非闪光图像")。如上所述，可以通过检查在图像抓 取期间添加到图像数据元素的元数据来执行闪光图像或非闪光图像的确定。在步骤F243， CPU31根据闪光图像或非闪光图像来改变加权系数。 具体地说，如果当前图像数据元素是闪光图像，则减小加权系数以便去 除或忽略闪光效果。如果当前图像数据元素是非闪光图像，则增大加权系数。 为了在闪光图像与非闪光图像之间消除整体图像亮度级别上的差异的目 的而使用加权系数。由此，根据闪光图像与非闪光图像之间整体图像亮度级 别的相对差异，确定闪光图像的加权系数的减小量和非闪光图像的加权系数 的增大量。在某些情况下，当闪光图像的加权系数减小同时非闪光图像的加 权系数保持不变时，闪光图像的整体亮度级别可能等效于非闪光图像的整体 亮度级别。
在对于一个图像数据元素已经完成所述处理之后，CPU 31从步骤F244 返回到步骤F241，并对于组合范围中的下一个图像数据元素执行类似的处理。
当对于组合范围中的所有图像数据元素完成了上述处理时，为各个图像 数据元素设置的加权系数用于均衡各个图像数据元素之间整体屏幕亮度级别 上的差异。也就是说，向各个图像数据元素分配加权系数，以便闪光图像变 得与非闪光图像一样亮。
在这种状态下，在步骤F245， CPU31改变与图像数据元素对应的权重 条的高度。CPU 31使用与图像数据元素对应的加权系数进一步执行组合处 理，以产生闪光去除的组合图像，并在图像显示区域72中显示组合图像作为 预览图像。
进一步在图像显示区域71中显示已经在图像显示区域72中显示的图像 (即，之前组合图像)作为闪光去除之前的组合图像的预览图像。
图37示出了在闪光去除处理之后获得的组合工作图像70。
如图37所示，假设，在时间线73中作为选择图像列表显示的、组合范 围中的图像数据元素#5到#11之中，图像数据元素#11是闪光图像。
首先，当开始图38中所示的调节处理时，即当向图像数据元素#5到 #11分配相等的加权系数(例如，如图13所示，在加权系数相等并且权重条 具有相同高度的最初状态下)时，在图37所示的图像显示区域71中显示的、 具有后帘同步效果的组合图像被显示在图像显示区域72中作为组合图像的 预览图像。
然后，当用户执行闪光去除操作以执行步骤F241到F245的处理时，获 得图37中所示的组合工作图像70。
56具体地说，增大作为非闪光图像的图像数据元素#5到#10的加权系数， 这通过增大权重条w5到wl0来表示。此外，减小作为闪光图像的图像数据 元素#11的加权系数，这通过减小权重条wll来表示。
然后，在图像显示区域72中显示在闪光去除处理之后获得的组合图像， 并且在图像显示区域71中显示闪光去除之前获得的组合图像。
如图37所示，闪光去除处理之后获得的组合图像是去除了后帘同步效果 的长时间曝光效果图像。也就是说，产生组合图像，以便作为闪光图像的图 像数据元素# 11的整体亮度级别也可以等于非闪光图像的整体亮度级别。
以这种方式，即使当用户使用闪光抓取图像时，用户也可以如期望地那 样在组合处理中容易地去除闪光效果。
例如，当作为闪光图像抓取的结果，用户获得了不期望的图像时，用户 可以仅执行闪光去除操作以分配非闪光图像的权重来获得组合图像。
可以使用连续帧中之前和之后帧的图像数据的亮度分布(亮度信号之和) 等而非元数据来执行步骤F242中的闪光图像或非闪光图像的确定。
例如，可以检测、监视或观察连续抓取的图像的亮度信号之和，以检测 亮度信号中的变化。
尽管间接地，但是也可以通过检测曝光控制中的光控制功能(如光圈机 构、ND滤光片机构或液晶光圈)、快门速度、电子快门速度、增益等来执行 通过闪光而抓取的帧的确定。
当通过检测亮度信号的超时的变化率(the rate of overtime changes )(或 所抓取图像的景象的光亮度)而发现快速变化时，确定已经闪光。例如，当 发现在1/60时间段内从明亮条件到黑暗条件的改变时，可以确定已经闪光。
以这种方式，例如，在除了由图像抓取设备l进行的闪光之外的情况下， 例如当从靠近图像抓取设备l的另一装置闪光时，或者当由经过的汽车前灯 瞬间照亮了对象时，通过基于帧之间的亮度比较、曝光控制条件或其他条件 的确定，可以确定闪光的使用或未使用。
因此，例如，假设在组合处理中去除或忽略在大量拍摄者靠近用户的情 况下，由于用户的非故意事件引起的闪光，则最好基于帧之间的亮度比较、 曝光控制条件等来确定闪光图像或非闪光图像。也就是说，不论图像抓取条 件如何，可以容易地获得取消了周围图像抓取条件的组合图像。
现在将参照图39和图40描述用于使能闪光校正的示例性处理。在即使用户使用闪光抓取图像但闪光量仍不足的情况下，在组合处理中 可能获得不期望的图像效果组合图像。
因此，期望在组合处理中校正闪光图像。
图40示出了用于在图8所示的组合处理中在步骤F206中的调节处理中 使能闪光校正的CPU31的示例性处理。
图38中所示的步骤F220到F225A与图19中的类似。在图38中，将步 骤F250到F255添加到图19中所示的处理。
当在调节处理中显示组合工作图像70时，除了上述改变加权系数或改变 组合范围之外，用户可以执行闪光校正操作。例如，可以通过操作预定的操 作键或选择菜单条目来执行闪光校正操作。
当检测到用户执行的闪光校正操作时，CPU 31将处理从步骤F250前进 到步骤F251。
在步骤F251到F255,从组合范围中的图像数据元素之中提取闪光图像， 并且改变加权系数。
在步骤F251, CPU31提取组合范围中的图像数据元素中之一作为处理 目标。在步骤F252, CPU31确定所提取的图像数据元素是闪光图像还是非 闪光图像。如上所述，通过检查在图像抓取期间添加到图像数据元素的元数 据来执行闪光图像或非闪光图像的确定。可替代地，如上所述，确定可以基 于帧之间的亮度比较、曝光控制条件或其他条件等。
如果当前目标图像数据元素是闪光图像，则CPU31进行到步骤F253, 并改变加权系数。在这种情况下，强加权闪光图像的帧以执行校正，使得以 合适的光量来闪光。
如果当前目标图像数据元素是非闪光图像，则不具体地改变加权系数。
在已经对于一个图像数据元素完成了所述处理之后，CPU 31从步骤F254 返回到步骤F251,并对组合范围中的下一个图像数据元素执行类似的处理。
当已经对于组合范围中的所有图像数据元素完成了上述处理时，使用为 各个图像数据元素设置的加权系数来执行校正，以便可以改善闪光图像的亮 度级别。
在该示例中，不改变非闪光图像的加权系数。然而，可以改变非闪光图 像的加权系数以便对其进行减小等来突出闪光图像。
在已经对与组合范围中的所有图像数据元素完成了步骤F251到F254的处理之后，在步骤F255， CPU31改变与图像数据元素对应的权重条的高度。 CPU 31进一步使用改变的加权系数来组合各个图像数据元素，以产生校正了 闪光的组合图像，并在图像显示区域72中将组合图像显示为预览图像。
进一步在图像显示区域71中显示没有校正闪光效果的组合图像(即，紧 接在闪光校正处理之前已经在图像显示区域72中显示为组合图像的预览图 像的图像)。
图39示出了在闪光校正之后获得的组合工作图像70。
如图39所示，假设在时间线73中显示为选择图像列表的、组合范围中 的图像数据元素#5到#11之中，图像数据元素#11是闪光图像。
首先，当开始图40中所示的调节处理，即当向图像数据元素#5到#11 分配相等的加权系数(例如，如图13所示，在加权系数相等并且权重条具有 相同高度的初始状态下)时，在图像显示区域72中显示图39所示的图像显 示区域71中显示的、具有后帘同步效果的组合图像作为组合图像的预览图 像。在这种情况下，由于图像抓取期间闪光量不足，因此图像数据元素弁ll 的整体亮度级别很低，并且没有显著地突出后帘同步效果。
然后，当用户执行闪光校正操作以执行步骤F251到F255的处理时，获 得图39中所示的组合工作图像70。
具体地说，增大作为闪光图像的图像数据元素#11的加权系数，这通过 增大权重条wll来表示。
然后，在图像显示区域72中显示闪光校正处理之后获得的组合图像，并 且在图像显示区域71中显示闪光校正之前获得的组合图像。
如图39所示，在闪光校正处理之后获得的组合图像是其中后帘同步效果 显而易见的图像。
以这种方式，即使当用户使用闪光抓取图像时，由于闪光的性能、到对 象的距离等而引起图像的对象亮度级别不足，用户也可以在组合处理中容易 地、如期望的那样校正闪光效果。
在该实施例中，在光量不足的情况下，已经介绍了在实现了充足的图像 亮度级别的情况下的闪光校正。相反，当闪光量太大时，可以执行校正以便 可以减小屏幕强度。
此外，可以由CPU31自动地计算闪光图像的加权系数的校正量，或者 可以由用户逐步地调节闪光图像的力口权系数的校正量。在自动计算的情况下，例如，可以预先设置闪光图像和非闪光图像的亮 度级别的总和之间的标准差，并且可以调节闪光和非闪光图像的加权系数以 便可以获得所述差。
在由用户调节的情况下，可以对于加权系数设置固定变化量，并且每次 执行闪光校正操作时，可以将闪光图像的加权系数改变所述固定量。用户仅 重复闪光校正操作，直到已经获得期望的状态为止。
由于通过改变加权系数来实施上述闪光去除和闪光校正处理，因此用户
还可以通过在组合工作图像70中选择图像数据元素并手动地改变加权系数 来执行所述处理。然而，实际上，对于用户来说，改变大量图像数据元素的 各个加权系数是耗时的。通过根据闪光去除操作、闪光校正操作等来执行上 述处理，显著地改善了组合工作的操作性。
10、示例性组合才莫式处理基于距离的校正
现在将参照图41到44，描述图像抓取期间根据到对象的距离来校正加 权系数的示例性处理。
为了执行该处理，在图5所示的步骤F15中的图像抓取中，在添加到每 一帧的图像数据的元数据(例如，Exif数据)中包括图像抓取期间到焦点对 准平面的距离(在下文中，称为"图像抓取距离")。如上所述，在图像抓取 期间，使用自动对焦控制来对焦主要对象。此时，镜头位置检测单元27从镜 头地址执行反向操作，以确定到主要对象的距离。CPU31添加关于距离的信 息作为元数据。
现在，在组合处理中图8所示的步骤F206中的调节处理中，假设在图 41所示的时间线73中显示为选择图像列表的图像数据元素#5到#11在组合 范围中。
假设图像数据元素#5到#11示出了对象正逐渐接近图像抓取设备1同时 从屏幕的右上方运动到左下方的景象。
在图像显示区域72中显示通过向图像数据元素#5到#11分配相同的加权 系数而产生的组合图像作为预览图像。
这里，如图42所示，假设用户执行加权系数运算以增大图像数据元素#5、 #8和#11的加权系数并减小剩余的图像数据元素#6、 #7、 #9和#10的加权系 数来应用多闪光效果，以便产生显示为预览图像的图像。
60由于在不使用闪光的情况下已经抓取了图像数据元素#5到#11,因此使 用加权系数来实现多闪光效果。这里，将考虑在图像抓取期间实际闪光。
在闪光图像抓取中，实际上，随着到对象的距离增大，到达对象的光量 减小，如果光量不足则导致黑暗拍摄。为了避免这样的问题，需要更大的闪 光，这可能抑制尺寸和功耗的降低。
在本实施例中，相反，通过执行如图42所示的图像组合可以克服现有技
术中由于实际闪光引起的问题。也就是说，在不使用大闪光的情况下，可以 获得与在充足光量情况下抓取的图像类似的图像。
可能存在对于与在闪光的情况下抓取的图像类似的图像来说的另 一要
求在不使用闪光的情况下更真实地再现。也就是说，可以考虑这样的要求 使用现有技术的闪光图像抓取而实现的多闪光效果的更真实的再现。
因此，期望校正闪光效果。图43示出了具有多闪光效果的组合图像，这 与在闪光的情况下实际抓取的图像类似，其中根据元数据(例如，Exif数据) 中记载的关于图像抓取距离的信息增大施加了闪光效果的图像数据元素(#5 、 #8和#11)的加权系数，同时根据图像抓取距离调节加权系数(在下文中， 称为"基于距离的闪光校正")。具体地说，在图43中，如权重条w5、 w8和 wll所示，调节加权系数以便当图像抓取距离增大时将其减小。由此，如图 像显示区域72中的预览图像(其在基于距离的闪光校正之后获得)中所示， 产生组合图像，以便当距离增大时，减小闪光效果。将基于距离的闪光校正 之前获得的组合图像(即，图42中所示的状态下获得的组合图像)显示在图 像显示区域71中。如从两个组合图像之间的比较可以看到的那样，使用基于 距离的闪光校正，可以实现组合图像的更真实的表现。
图44示出了用于实施上述基于距离的闪光校正的CPU31的处理。图44 示出了用于在图8所示的组合处理中的步骤F206中的调节处理中使能基于距 离的闪光校正的示例性处理。
图44中所示的步骤F220和F225与图9中所示的步骤类似。在图44中， 将步骤F260到F266添加到图9中所示的处理。
当正在调节处理中示出组合工作图像70时，如上所述，除了改变加权系 数或改变组合范围的操作之外，用户可以执行基于距离的闪光校正操作。例 如，可以通过操作预定的操作键或者选择菜单条目来执行闪光校正操作。
例如，用户可以执行加权校正操作(或选择多闪光效果的系数模板)以便以图42所示的方式将多闪光效果施加到组合图像。多闪光效果仅仅是个示
例，并且通过分配到组合范围中的某一图像数据元素的高加权系数，可以施 加诸如前帘同步效果、后帘同步效果或闪光效果之类的任何其他效果。
在这种情况下，通过执行基于距离的闪光校正操作，用户可以实现更真 实的图像表现。
当检测到用户执行的基于距离的闪光校正操作时，CPU31将处理从步骤 F260前进到步骤F261。
在步骤F261到F264,从组合范围中的图像数据元素之中提取具有使用 加权系数而施加的闪光效果的图像，并且改变加权系数。
在步骤F261， CPU31提取組合范围中的图像数据元素中之一作为处理 目标。在步骤F262, CPU31确定所提取的图像数据元素是否为具有使用加 权系数而施加的闪光效果的图像(在下文中，称为"施加了闪光效果的图像，， 或"施加了闪光效果的图像数据元素")。
如果当前目标图像数据元素是施加了闪光效果的图像，则CPU31进行 到步骤F263,并且根据图像数据元素的元数据来确定关于对象的图像数据元 素的图像抓取距离。然后，在步骤F264, CPU31根据图像抓取距离来计算 加权系数的校正值，并将其存储为图像数据元素的加权系数的校正值。
如果当前目标图像数据不是施加了闪光效果的图像，则不执行步骤F263 或F264的处理。
在已经对于一个图像数据元素完成了所述处理之后，CPU31从步骤F265 返回到步骤F261,并且关于組合范围中的下一个图像数据元素执行类似的处 理。
当对于组合范围中的所有图像数据元素完成了上述处理时，就已经对于 组合范围中的所有施加了闪光效果的图像数据元素(在图42中，图像数据元 素#5、 #8和#11)计算了基于图像抓取距离的加权系数的校正值。
在已经对于组合范围中的所有图像数据元素完成了步骤F261到F265的 处理之后，在步骤F266， CPU31根据基于图像抓取距离的加权系数的校正 值，校正施加了闪光效果的图像数据元素的加权系数。
在校正之后，CPU31改变与图像数据元素对应的权重条的高度。CPU 31进一步使用经校正的加权系数来组合各个图像数据元素以产生组合图像， 并在图像显示区域72中显示组合图像。进一步在图像显示区域71中显示基于距离的闪光校正之前获得的组合
图像(即，紧接在所述处理之前，已经在图像显示区域72中显示为组合图像
的预览图像的图像)。
通过上述处理，获得了图43中所示的组合工作图像70。由此，显示经 历了基于距离的闪光校正的组合图像。
在步骤F266中的组合中，为了防止加权系数校正之后产生的组合图像的 光亮度整体改变，可以自动地调节所有加权系数，以便获得合适的明亮的组 合图像。
在图44中所示的处理中，根据距离仅校正施加了闪光效果的图像数据元 素的加权系数。可替代地，根据图像抓取距离，可以计算组合范围中的所有 图像数据元素的加权系数的校正值，并且可以校正加权系数。具体地说，可 以省略图44中所示的步骤F262的处理，并且可以对于组合范围中的所有图 像数据元素执行步骤F263和F264的处理。
在这种情况下，在基于距离的校正之后获得图45中所示的组合工作图像 70。具体地说，如权重条w5到wll所示，根据图像抓取距离校正图像数据 元素#5到#11的加权系数，并且在图像显示区域72中显示基于经校正的加权 系数的组合图像。
在实际中，所发射闪光的闪光到达距离具有如下的关系
闪光到达距离(m)=闪光指数(guide number) (ISO 100) +光圈设置
值
一旦指定了闪光指数，则基于闪光量与距离的平方成反比的事实，可以 设置加权系数的校正值。
考虑到图像表现，最好根据用户操作给出的指示来指定虚拟(virtual) 闪光指数。闪光指数还可以根据对象的距离分布而自动地选择。例如，当对 象分布于短距离到中距离时，减小闪光指数；当对象分布于短距离到长距离 时，增大闪光指数。
也可以预设闪光指数，如"闪光指数28"。"闪光指数"仅仅是个示例， 并且也可以指定暗示闪光量的任意其他值，如闪光到达距离。或者，可以指 定与实际拍摄中使用的光圈值不同的光圈设置值。由此，实现了虛拟闪光效果。
当以上述方式选择系数模板时，通过参照所抓取的图像数据的元数据根据图像抓取距离也可以确定加权。
可以自动地设置多闪光效果，以便在选择系数模板之后可以调节发光间 隔(高加权帧的间隔)，并且根据调节的发光间隔、基于图像抓取距离可以确 定力口权。
通过将对应的操作功能添加到预定的操作器或者通过从菜单中选择对应
的条目，可以实施调节操作。可替代地，通过执行诸如按下十字键5i的左右 按钮同时按下快门操作键5a之类的操作，可以如期望地那样设置发光时间段。
此外，区域提取可以用于根据图像抓取距离仅对焦点对准对象应用加权， 由此实现了闪光效果的更真实再现。
可以获得诸如所谓的深度图(对于每一个像素来说的到对象的测量距离) 之类的距离分布信息作为关于图像抓取距离的信息，由此根据如下关系将加 权分配到每一个像素
闪光到达距离(m)=闪光指数(ISO100) +光圈设置值
具体地说，除了在图像组合期间使用加权来获取长时间曝光图像之外， 使用基于图像抓取距离的区域提取或诸如深度图之类的距离分布信息，根据 一个组合图像内的距离可以改变权重，由此实现闪光效果的更真实再现。
如上所述，在图像4爪取期间由相机DSP4的信息产生单元44可以产生距 离分布信息。
此外，可以强加权具有短图像抓取距离的帧，而弱加权具有长图像抓取 距离的帧，以减小图像处理负荷。在不使用区域提取或深度图的情况下，通 过对整个屏幕执行加权可以减小处理负荷。
在用于表示运动对象的运动的、使用长时间曝光抓取的图像中，在图像 抓取方面，背景区域中可能不包含运动，或者甚至背景区域中包含的运动可 能不一定重要。由此，在所抓取的一些景象中，如果通过对整个屏幕来执行 加权以执行图像组合，则不会出现问题。
根据参照图41到图45的上述示例性处理，根据对象距离信息执行图像 组合的加权。由此，与使用闪光而实际抓取的图像类似的图像可以在不使用 闪光的情况下获得。因此，可以实现具有多闪光效果、前帘同步效果、后帘 同步效果、期望时刻处的发光效果等的组合图像的更真实的表现。
现在将参照图46和图47描述另一个示例性处理。
例如，々I设在图46中所示的组合范围中的图像数据元素#5到#11之中，图像数据元素#5、 #8和#11已经使用闪光实际地抓取。
此外，由于充足的闪光量，因此假设没有获得具有长图像抓取距离的帧 的满意的、合适的曝光图像。在该示例中，假设图像数据元素#11 (其中对象
接近图像抓取设备l)的闪光量是充足的，而图像数据元素弁8和#5 (其中对 象很遥远)的光量是不充足的(图像数据元素#5的光量最小)。
在这种情况下，当通过应用相等的加权系数以执行组合时，如图46所示， 获得了具有闪光效果的图像，其中当对象更接近于图像抓取设备l时对象更 明显。
尽管该组合图像提供了多闪光效果的更真实的表现，但是一些用户可能 期望无论图像抓取距离如何都清晰而不是真实的发光效果的表现。因此，可 以执行校正，以便与上述示例相反，可以校正通过闪光实际地执行图像抓取 而获得的真实图像，以提高闪光效果。
为了执行该处理，在图5所示的步骤F15中的图像抓取中，图像抓取距 离(在图像抓取期间，到焦点对准平面的距离)被包括在添加到每一帧图像
通过4'务改上迷图44中所示的处理，可以实施CPU 31的实际示例性处理。 具体地说，在步骤F262,确定所提取的图像数据元素是否为已经通过实 际地闪光而抓取的闪光图像。如果所提取的图像数据元素是闪光图像，则在 步骤F263,确定到对象的距离。在步骤F264，根据所述距离计算加权系数的 校正值。此时，与上述示例相反，确定用于校正加权系数以便提供充足光量 而不是根据距离减小闪光量的校正值。
然后，在计算了所有闪光图像的加权系数的校正值之后，在步骤F266, 使用校正值可以校正闪光图像的加权系数，并且在校正之后，可以执行组合 处理。
图47示出了校正之后获得的组合工作图像70的示例。在图像显示区域 72中显示经校正的组合图像。在校正之后获得的组合图像中，如从与校正之 前获得的组合图像的比较可以看出的那样，即使对于针对遥远的对象、通过 不足的闪光量实际抓取的图像来说，也可以获得闪光效果的更清晰表示。
如权重条w5到wll所示，校正加权系数，以便将更高的加权系数分配 到其中在闪光图像#5、 #8和#11之中对象更遥远的图像数据元素。也就是说， 执行校正，以便提供具有大量光的闪光。在步骤F266中的组合中，为了防止加权系数校正之后产生的组合图像的 光亮度整体变化，可以自动地调节所有的加权系数，以便获得合适的明亮的 组合图像。
在这种情况下，可以如下执行闪光图像的加权系数的校正(步骤F264 中校正值的计算)。
根据以下关系，确定是否需要校正使用闪光抓取的闪光图像(是否需要 改变加权系数)
闪光到达距离(m)=闪光指数(ISO 100) +光圈设置值
例如，如果图像抓取距离(m)小于闪光到达距离(m),则确定闪光量 不足并且需要校正(加权)。
如果需要校正，则基于闪光量反比于距离的平方的事实以及关系"闪光 到达距离(m)=闪光指数(ISO 100) +光圈设置值"来执行校正。
在该校正中，指定闪光指数以基于闪光量反比于距离的平方的事实来执 行力口权。
考虑到图像表示，最好根据用户操作给出的指示来指定虚拟闪光指数。 也可以根据对象的距离分布来自动地选择闪光指数。例如，当对象分布于短 距离到中距离时，减小闪光指数；而当对象分布于短距离到长距离时，增大 闪光指数。
也可以预设闪光指数，如"闪光指数28"。
"闪光指数"仅仅是个示例，也可以指定暗示闪光量的任意其他值，如 闪光到达距离。或者，可以指定与实际拍摄中使用的光圈值不同的光圈设置 值。由此，实现了虛拟闪光效果。
可以使用以下处理作为示例性加权系数校正处理。
通过根据图像的亮度分布来确定校正系数、使用元数据和校正系数来执 行校正(加权)，可以确定通过闪光而抓取的帧(闪光图像)所需的校正(加 权)的程度。
此外，通过闪光而抓取的帧的确定是基于连续抓取并记录的连续图像的 之前和之后帧的亮度分布(亮度信号之和)等的。
此外，通过参照添加到图像数据元素的元数据，可以执行通过闪光而抓 取的帧(闪光图像)的确定，并且基于连续图像的之前和之后帧的亮度分布 (亮度信号之和)等，可以执行通过不想要的发光(如，(由另一个摄像者等进行的)另一个闪光，或者由经过的汽车灯的瞬时照明)而抓取的帧的确定。 通过该确定，即使在意外照明条件下(如由另一个拍摄者进行的闪光)，也可 以获得满意的组合图像。
不仅可以由存储为元数据(例如，Exif数据)的图像抓取距离(在图像 抓取期间到焦点对准平面的距离)来实施关于图像抓取距离的信息，而且可 以由例如，使用区域提取技术或所谓的距离分布信息(深度图)获得的、到 焦点对准对象的图像抓取距离来实施关于图像抓取距离的信息。
使用区域提取或基于距离分布信息的距离信息，并使用关系"闪光到达
距离(m)=闪光指数(ISO 100) +光圈设置值"，可以执行通过闪光而抓取 的帧的校正必要性的确定。如果保持"距离信息(m) <闪光到达距离(m)"， 则确定闪光量不足，并且必须校正加权系数。
如果校正是必需的，则基于闪光量反比于距离的平方的事实来确定校正 值。此外，在这种情况下，使用区域提取或基于距离分布信息的距离信息， 可以对一 区域或每一个像素执行加权。
也就是说，不仅通过执行加权，而且通过根据基于图像抓取距离的区域 提取或距离信息(如距离分布信息)，根据一个图像内的距离来改变权重，来 在图像组合中获得长时间曝光图像，由此实现闪光效果的更满意再现。
此外，通过确定闪光是否已经到达，并且减小关于具有图像抓取距离(在 其之内，闪光已经到达)的图像的加权，也可以执行上述闪光去除。
此外，在闪光去除中，通过使用区域提取或基于距离分布信息的距离信 息，对一区域或每一个像素执行加权，可以获得更满意的图像。
闪光到达距离具有这样的关系"闪光到达距离(m)-闪光指数(ISO 100) +光圈设置值"，并且闪光量反比于距离的平方。由此，使用元数据中记录的 闪光量可以计算每一个距离的校正值。
在校正期间，根据闪光量反比于距离的平方的事实，通过指定闪光指数， 可以执行加权。通过参照显示实际的闪光指数以便将其改变的元数据，或者 通过键入一期望的闪光指数(不同于实际闪光的闪光指数)可以指定闪光指 数。由此，实现了多种图像表示。
11、示例性组合模式处理模糊校正
现在将描述包括模糊校正的示例性组合模式处理。
67图48A、图48B和图48C示出了使用组合处理获得的组合图像的示例。 这里，组合图像中的对象包括从屏幕的右上方运动到左下方的主要对象(具 有运动的动态对象)以及在其背景中的静态对象。这里所使用的术语"静态 对象"意味着在图像抓取期间用户"不希望运动"的物体，而不是在背景中 出现的物体或"不运动或静止的"物体(如建筑物或风景)。静止对象还可以 包括例如，人和动物。因此，静止对象是这样的对象在组合图像中其模糊 是不期望的。
图48A示出了用户期望的图像，其中对于动态对象实现了长时间曝光， 而对于背景中的静态对象看来是静止的。
在图5所示的步骤F15中的连续图像抓取中，对于某一时间段执行图像 抓取。由此，由于用户手的抖动或对象的运动，使得在产生的组合图像中静 态对象可能会模糊。
图48B示出了在例如其中图像抓取设备1没有被三脚架等固定的情况 下，由于相机抖动引起的背景中静态对象的模糊。
图48C示出了由于各个对象的任意运动引起的静态对象的模糊(在下文 中称为"对象模糊")。例如，即使图像抓取设备1被三脚架等固定，在组合 图像中也可能由于其运动引起静态对象非故意地模糊。
在下面的示例性处理中，作为示例，校正这样的相机抖动或对象模糊的 影响。
首先，当拍摄者抖动图像抓取设备l时产生相机抖动图像。在这种情况 下，在组合图像中，背景中的静态对象类似地模糊。
通过根据在每一个组合使用图像数据元素中检测到的静态对象的运动矢 量，对组合范围中的每一个图像数据元素执行坐标变换，然后将组合使用图 像数据元素进行组合来校正这样的相机抖动。
由于各个对象的任意运动引起对象模糊。也就是说，静态对象不同地模糊。
通过从组合范围中的每一个图像数据元素中提取动态对象的区域，并执 行组合处理以将从组合使用图像数据元素中提取的动态对象的图像区域与一 个组合使用图像数据元素进行组合来解决这样的对象模糊。
首先，将参照图49到图52来描述校正相机抖动的示例性处理。
图49示出了在图像显示区域72中显示通过将组合范围中的图像数据元素#5到#11进行组合而获得的组合图像作为预览图像的组合工作图像70。在 这种情况下，在图像抓取期间由于相机抖动引起背景对象模糊(出现用户的 非故意模糊)。
虽然为了描述的方便在此使用术语"相机抖动"，但是即使实际上相机不
抖动，连续图像抓取中的帧成分移动(frame composition shift )也将？ 1起组合 图像中类似的模糊。
使用运动矢量来执行相机抖动校正。图52示出了包括用于校正这样的相 机抖动的处理的示例性处理。在图52中，步骤F220到F225类似于图9中的 步骤。在图52中，步骤F270到F274被添加到图9中所示的处理。
例如，当在调节处理中正在显示图49所示的组合工作图 <象70时，如上 所述，除了改变加权系数或改变组合范围的操作之外，用户还可以执行模糊 校正操作。可以通过例如，操作预定操作键或选择菜单条目来执行模糊校正 操作。
当检测到用户执行的模糊校正操作时，CPU31将处理从步骤F270前进 到步骤F271,并首先执行基准图像选择处理。
基准图像选择处理可以是用于从组合范围中的图像数据元素弁5到#11之 中选择用于校正的基准图像数据元素的处理。
作为基准图像，从组合开始位置和组合结束位置限定的选择图像列表中 选择顶部帧(top frame )。基准图像也可以是中心帧。可替代地，可以允许用 户选择基准图像，以便可以使用用户喜欢的背景条件执行图像组合。
然后，在步骤F272, CPU31执行特定点提取处理。在该处理中，CPU 31 在每一个图像数据元素#5到#11中提取特定点，并关于基准图像上的特定点， 检测在非基准图像的图像上特定点的位移量。
特定点是静态对象中的特征部分，并且位移量与关于基准图像数据的、 每一个图像数据上特定点的运动矢量相对应。
可以通过从多个图像数据元素中选择高亮度高对比度图像(边缘检测) 来提取特定点，或可以通过用户使用触摸板、光标等来选择。可替代地，可 以自动地提取多个坐标，并且可以允许用户选择它们中之一 。
对于非基准图像的图像,发现并提取基准图像或靠近基准图像的图像(例 如，相邻帧)中特定点的位置坐标附近(由图像抓取设备1的焦距限定的、 由于相机抖动引起的帧成分模糊的范围内)的相同图像。使用回放图像选择并检查帧。由此，可以检查所提取的特定点。 通过操作触摸板、光标等可以修改非基准图像的图像中的所提取的特定点。
此外，代替仅仅从基准图像中提取/选择特定点，也可以从非基准图像的 图像中提取可能的特定点，并且可以选择具有最小运动的特定点。也可以以 运动的升序来排列可能的特定点，并且可以允许用户选择它们中之一。
此外，可以在基准图像与非基准图像的图像之间执行相关性算术运算， 以获得作为运动矢量的对应像素中的变化作为特定点的变化。
在自动地设置或由用户设置特定点的情况下，可以选4奪多个特定点，而 不是一个特定点。
可以选择多个点而不是一个点作为特定点，并且可以将所述点处的运动 矢量的平均值或标量的最小值设置为特定点的变化。
可以加权多个所选择的特定点，以获得运动矢量的加权平均值。
在步骤F272, CPU31以上述方式提取每一个图像数据元素#5到#11的 特定点，并计算关于基准图像的、非基准图像数据元素中特定点的位移量。 例如，如果々B殳图像平面是XY坐标平面，则位移量可以是X和Y轴上的移 动量。当以上述方式4企测到特定点和位移量时，在步骤F273, CPU31根据 检测结果执行非基准图像的图像的坐标变换。
例如，首先，如果将图像数据元素#5用作基准图像，则已经确定关于基 准图像数据元素#5中特定点处图像的、在图像数据元素#6中特定点处图像的 位移量。由此，通过对应的位移量，对图像数据元素#6执行坐标变换。具体 地说，执行坐标变换(在XY坐标上移动图像)，以便图像数据元素賴中特定 点的位置(XY坐标值)可以匹配图像数据元素#5中特定点的位置。还对于 图像数据元素#7到#11以类似的方式执行坐标变换，以便在每一个图像数据 元素#7到#11中的特定点的位置可以匹配图像数据元素#5中特定点的位置。
然后，在步骤F274,对于每一个图像数据元素#5到#11 #1行组合处理， 并且在图像显示区域72上显示产生的图像作为预览图像。
图50示出了在这种情况下获得的组合工作图像70。如图50所示，在图 像显示区域72中显示已经校正了相机抖动的影响的组合图像。
相机抖动也可能影响具有运动的主要对象。然而，在坐标变换之后的组 合中克服了相机抖动关于主要对象的影响。由此，可以实现平滑的长时间曝光效果图像。
关于非基准图像数据的图像数据的坐标变换可能导致其中图^象匸波此不重 叠的部分。为了防止这样的部分的出现，可以向图像数据应用修正处理
(trimming process )。
在上述示例中，描述了从图像数据本身检测特定点的运动矢量的技术。 可替代地，传感器输出(例如，用于检测模糊检测单元13检测到的相机抖动 的量和方向的传感器输出)可以被包括在每一个图像数据元素的元数据中， 以便使用传感器输出的值可以确定关于基准图像数据元素的、每一个图像数 据元素的位移量以执行坐标变换。
图51示出了在已经执行了模糊校正之后，根据由用户执行的加权系数运 算产生的多闪光效果組合图像的示例。
通过图52所示的处理，在以上述方式执行模糊校正之后，用户可以获得 期望的图像效果。
现在将描述用于校正对象模糊的示例性处理。
通过从组合范围中的每一个图像数据元素提^^动态对象的图像区域并且 执行组合处理以将从组合使用图像数据元素中提取的动态对象的图像区域与 一个组合使用图像数据元素进行组合来解决对象模糊。
图53示出了在图像显示区域72中显示通过将组合范围中的图像数据元 素#5到#11进行组合而获得的组合图像作为预览图像的组合工作图像70。在 这种情况下，在图像抓取期间，由于对象模糊引起背景对象模糊。
因此，执行对象模糊校正。图54示出了包括用于校正对象模糊的处理的 示例性处理。在图54中，步骤F220到F225类似于图9中的步骤。在图54 中，步骤F280到F284被添加到图9中所示的处理。
例如，当在调节处理中正在显示图53中所示的组合工作图^象70时，如 上所述，除了改变加权系数或改变组合范围的操作之外，用户可以通过操作 预定操作键或选择菜单条目来执行模糊校正操作。
当检测到由用户执行的模糊校正操作时，CPU31将处理从步骤F280前 进到步骤F281，并首先执行基准图像选择处理。
基准图像选择处理可以与相机抖动校正中的上述处理类似，并且可以是 从组合范围中的图像数据元素#5到#11中选择用于校正的基准图像数据元素 的处理。作为基准图像，从组合开始位置和组合结束位置限定的选择图像列表中 选择顶部帧。基准图像也可以是中心帧。可替代地，可以允许用户选择基准 图像，以便可以使用用户喜欢的背景条件(即，在对象不运动的情况下，在 该状态下长时间曝光的帧)执行图像组合。
然后，在步骤F282， CPU31执行运动图像选择处理。 在例如基准图像或任何其他图像中，可以允许用户通过操作触摸板、光
标等来选择一对象，所述对象的运动要通过使用长时间曝光来表示。根据用
户操作，CPU31确定运动图像。
然后，在步骤F283， CPU31在每一个图像数据元素存5到弁11中提取运
动图像区域。也就是说，CPU31执行在每一个图像数据元素存5到存11内提取
包括指定的运动图像的坐标范围的处理。
可以基于作为运动图像的轮廓(outline)的确定来执行区域提取。
在图像抓取期间，也可以获得距离分布信息作为元数据，并且可以确定
在距离信息中具有很大差异的部分作为轮廓部分以提取区域。
可替代地，可以提取可作为区域提取的候选者，并且可以提示用户选择
它们中之一。
对于除了首先设置区域提取的图像之外的图像，发现并提取最初设置的 图像或靠近最初设置的图像的图像(例如，相邻帧)中所提取的区域的位置 坐标附近(由图像抓取设备1的焦距限定的、对象模糊的范围内)的相同图 像。
使用回放图像选择并检查帧。由此，可以检查所提取的区域。也可以通 过操作触摸板、光标等来修改所提取的区域。
在自动设置或由用户选择运动图像区域的情况下，可以选择多个区域而 不是一个区域。
如果抓取到了其中用作运动图像的对象正在横穿屏幕(在视角内)的景 象，则连续抓取的图像数据元素可以包括其中要表示其运动的对象没有出现 的图像数据元素。在这种情况下，对于其中没有运动图像区域可提取的帧来 说，通过在显示屏幕上显示通知来向用户通知，在屏幕上没有发现可提取的 候选者。此外，由于用作运动图像的对象的快速运动，对象可能仅出现在一 帧中。在这种情况下，可以向用户通知，可提取的候选者仅出现在一个图像 数据元素中。也就是说，不是必须对于所有帧执行区域提取，而是可能仅对一个图像 执行区域提取。
在执行了区域提取之后，在步骤F284, CPU31执行组合处理。在这种 情况下，CPU31执行将包括从每一个图像数据元素#5到#11中提取的运动图 像区域的数据(即，其运动要通过长时间曝光效果来表示的对象)与基准图 像数据元素进行组合的处理。也就是说，仅使用基准图像数据元素的整个屏 幕和从剩余图像数据元素中提取的区域执行组合。
在该处理中，仅使用基准图像数据元素的背景以产生除了所提取的运动 图像之外的背景，并且将要表示其运动的主要对象的图像(所提取的区域的 图像)添加到基准图像数据元素的背景。
然后，在图像显示区域72中显示通过上述组合获得的预览图像。例如， 如图50所示，获得了没有背景对象的模糊的组合图像。由于仅使用基准图像 数据元素来形成背景图像(静态对象)，因此不出现模糊。
在以上述方式执行模糊校正之后，根据用户操作，改变图像数据元素#5 到#11的加权系数。由此，可以实现多种摄影表现。
注意，根据用于组合的区域及其亮度级别，自动地调节组合图像的光亮 度或色彩，由此获得具有合适的光亮度/色彩的组合图像。例如，如果所提取 的区域发白或很亮，则将获得整体组合图像的高亮度信息。基于亮度信息计 算用于执行曝光不足校正的值。
运动图像根据运动而改变。例如，当对象是人或动物时，身体大小或姿 势根据图像数据元素#5到#11而不同。因此期望通过使用首先作为基准提取 的运动图像，并提取包括与每一个剩余图像数据元素中的运动图像类似的图 像的区域来从每一个图像数据元素执行区域提取。
可以将所提取的区域存储在图像抓取设备1的存储器(例如，闪速ROM 33)中，并且可以用于后续的图像抓取或图像组合处理。
亮度信号的强度或阈值。例如，可以使用亮度信号作为阈值来执行区域提取。 这可以提供与使用长时间曝光抓取的、在夜景中运动的光束的图像(例如， 汽车前灯)类似的组合图像。
接下来，将参照图55描述用于校正相机抖动和对象模糊二者的示例性处理。这里，作为示例，将描述这样的组合处理从具有时间连续性的组合范 围中的每一个图像数据元素提取动态对象的图像区域；根据图像数据元素中 静态对象的所检测到的运动矢量，对于动态对象的每一个所提取的图像区域 执行坐标变换；然后将动态对象的图像区域与一个基准图像数据元素组合。
图55示出了 CPU 31的处理。步骤F290到F296示出了在模糊校正操作 中包含的处理(剩余步骤，即步骤F220到F225,与图9中所示的步骤类似)。
当检测到由用户执行的模糊校正操作时，CPU31将处理从步骤F290前 进到步骤F291,并首先以与图52和图54中所示的示例类似的方式执行基准 图像选择处理。
然后，在步骤F292, CPU31以与图54中所示的示例类似的方式执行运 动对象选择处理。然后，在步骤F293, CPU31在每一个图像数据元素中提 取运动图像区域。
在步骤F294,如图52中的示例那样，CPU31提取静态对象的特定点， 并检测特定点的位移量。具体地说，检测关于基准图像数据元素中特定点的 坐标位置的、在除了基准图像数据元素之外的每一个图像数据元素中静态对 象的特定点的坐标位置的移动量。
在步骤F295, CPU31通过使用位移量，来执行从除了基准图像数据元 素之外的各个图像数据元素作为运动图像提取的区域的坐标变换。
例如，首先，如果图像数据元素#5被用作基准图像数据元素，则使用关 于基准图像数据元素#5中特定点的、所检测到的图像数据元素#6中特定点的 位移量，对从图像数据元素#6提取的运动图像区域执行坐标变换。还以类似 的方式对从图像数据元素#7到#11提取的运动图像区域执行坐标变换。
然后，在步骤F296, CPU31执行组合处理。在这种情况下，CPU 31执 行将已经从图像数据元素#5到#11提取的、并且已经在步骤F295进行了坐标 变换的运动图像区域的数据(即，要通过长时间曝光效果来表示其运动的对 象)与基准图像数据元素进行组合的处理。也就是说，使用基准图像数据元 素的整个屏幕和从剩余图像数据元素提取的区域来执行组合。
在图像显示区域72中显示通过上述组合获得的预览图像。例如，如图 50所示，获得了没有背景对象的模糊的组合图像。由于仅通过基准图像数据 元素来形成背景图像(静态图像)，因此不会出现相机抖动或对象模糊的影响。 此外，在坐标变换之后组合用作运动图像的主要对象的图像，并且不会出现相机抖动的影响。
接下来，将参照图56描述用于校正相机抖动和对象模糊二者的另 一个示 例性处理。
在该处理中，在对具有时间连续性的组合范围中的每一个图像数据元素 执行基于图像数据元素内的静态对象的运动矢量的坐标变换之后，从每一个 图像数据元素中提取动态对象的图像区域，并且执行组合处理，以便从图像 数据元素提取的动态对象的区域图像与 一个基准图像数据元素组合。
图56示出了 CPU31的处理。步骤F290、 F291、 F292、 F297、 F298、 F299和F296示出了在模糊校正操作中包含的处理(剩余步骤，即步骤F220 到F225，与图9中所示的步骤类似)。
当检测到由用户执行的模糊校正操作时，CPU 31将处理从步骤F290前 进到步骤F291,并首先以与图52和图54所示的示例中类似的方式执行基准 图像选择处理。
然后，在步骤F292, CPU31以与图54所示的示例中类似的方式执行运 动图像选择处理。
然后，在步骤F297,如图52中所示的示例那样，CPU31提取静态对象 的特定点，并检测所述特定点的位移量。具体地说，检测关于基准图像数据 元素中特定点的坐标位置的、在除了基准图像数据元素之外的每一个图像数 据元素中静态对象的特定点的坐标位置的移动量。 '
然后，在步骤F298， CPU31使用位移量，对除了基准图像数据元素之 外的各个图像数据元素执行坐标变换。
例如，如果图像数据元素#5被用作基准图像数据元素，则首先使用关于 基准图像数据元素#5中特定点的、所;险测到的图像数据元素#6中特定点的位 移量，来对于整个图像数据元素#6执行坐标变换。还以类似的方式对于图像 数据元素#7到#11执行坐标变换。
在对于除了基准图像数据元素之外的各个图像数据元素执行坐标变换之 后，在步骤F299, CPU31从每一个图像数据元素弁5到弁11中提取运动图像 区域。
然后，在步骤F296, CPU31执行组合处理。在这种情况下，CPU 31执 行将从图像数据元素#5到#11中提取的、运动图像区域的数据(即，要通过 长时间曝光效果来表示其运动的对象)与基准图像数据元素进行组合的处理。也就是说，使用基准图像数据元素的整个屏幕和从剩余图像数据元素提取的 区域来执行组合。
在图像显示区域72中显示通过上述组合获得的预览图像。例如，如图
50所示，获得了没有背景对象的模糊的组合图像。由于仅通过基准图像数据
元素来形成背景图像(静态对象)，因此不会出现相机抖动或对象模糊的影响。
此外，从已经进行了坐标变换的图像数据元素#5到#11中提取用作运动图像 的主要对象的图像，也已经克服了相机抖动的影响。
通过上述示例性处理，可以获得已经克服了相机抖动或对象模糊的影响 的组合图像，并且用户可以更容易地获得他/她期望的组合图像。特别地，在 图像抓取技术中缺乏经验的用户可以获得组合图像，或者可以校正图像抓取 期间背景对象的不期望的运动。
12、信息处理设备
在前述实施例中，使用图像抓取设备l来执行图像抓取和组合处理。可 以使用除了图像抓取设备1之外的装置来执行组合处理。图57示出了用作被 配置为执行组合处理的设备的示例的信息处理设备，例如，个人计算机200。
图57示出了个人计算机(在下文中称为"PC" ) 200的示例结构。
如图57所示，PC200包括中央处理单元(CPU) 211、存储器单元212、 网络接口单元213、显示控制器214、输入装置接口单元215、硬盘驱动器 (HDD)接口单元216、键盘217、鼠标218、 HDD219、显示装置220、总 线221 、外部装置接口单元222和存储卡接口单元223。
可以作为PC 200的主控制器的CPU 211根据存储器单元212中存储的 程序来执行多种控制处理。CPU211经由总线221连接到其它单元。
总线221上的每一台装置具有唯一的存储地址或输入/输出(I/O)地址， 并且CPU211可以使用所述地址以存取所述装置。总线221的示例可以是外 围组件互连标准(peripheral component interconnect, PCI)总线。
存储器单元212被配置为包括易失性存储器和非易失性存储器二者。存 储器单元212包括非易失性存储器，如，用于存储程序的ROM、用作多种数 据的计算工作区域或临时存储的RAM、以及电可擦除可编程只读存储器 (EEPROM )。
存储器单元212用于存储CPU 211执行的程序代码或其他信息(如PC200唯一的标识信息)，或者用作通信数据的缓冲区域或用作当执行工作数据 时工作数据的工作区域。
网络接口单元213根据诸如以太网(注册商标)之类的预定通信协议将 PC200连接到诸如因特网或局域网(LAN)之类的网络。CPU211可以与经 由网络接口单元213连接到网络的设备通信。
显示控制器214是用于实际地处理CPU 211发布的呈现命令(rendering command)的专用控制器。例如，显示控制器214支持与高级视频图形阵列 (super video graphic array, SVGA )或扩展图开j阵歹'J ( extended graphic array, XGA)标准对应的位图呈现功能。将显示控制器214中处理的呈现数据临时 地写入例如帧缓冲器(未示出)，然后将其输出到显示装置220。显示装置220 可以是例如有机EL显示器、阴极射线管(CRT)显示器、液晶显示器等。
输入装置接口单元215是用于将包括键盘217和鼠标218的用户输入装 置连接到实施为PC 200的计算机系统的装置。
具体地说，使用键盘217和鼠标218来执行输入到PC 200的用户操作， 并且经由输入装置接口单元215将操作输入信息提供到CPU211。
作为本领域的公知常识，HDD219是其中固定地安装用作存储介质的磁 盘的外部存储装置，并且具有比其它外部存储装置更大的存储容量和更快的 数据传输速率。将软件程序以可执行状态放置在HDD219上被称为"安装" 程序到系统。 一般而言，HDD219以非易失状态存储由CPU211执行的操作 系统(OS)的程序代码、应用程序、装置驱动器等。
例如，当PC200启动时或者当启动用户层的应用程序时，在存储器单元 212中展开(develop)在HDD219中存储的程序。CPU211基于在存储器单 元212中展开的程序执行处理。
外部装置接口单元222被配置为与根据诸如USB标准之类的标准连接的 外部装置接口连接。
在本实施例中，外部装置的示例可以包括例如，数码相机、摄像机和视 频播放器。
PC 200可以通过经由外部装置接口单元222的通信，从数码相机等获取 图像数据。
外部装置接口单元222支持的标准不限于USB标准，而是可以是任何其它接口标准，如电气和电子工程师协会(IEEE) 1394。
存储卡接口单元223被配置为从记录介质90 (如存储卡)读数据，或者 向记录介质90写数据。
例如，放置用于数码相机(例如，上述图像抓取设备l)、摄像机等的记 录介质90。然后，可以从记录介质90读图像数据。
在具有上述结构的PC 200中，执行基于CPU211中的软件配置(即诸 如应用程序、OS和装置驱动器之类的软件)的算术处理/控制操作，以执行 多种操作。
在本实施例中，作为图4所示的组合模式中的处理描述的步骤ST1到ST4 的处理(即，目标图像选择/获取处理(ST1 )、组合预备处理(ST2 )、组合处 理(ST3)和组合图像记录处理(ST4))是可执行的。将用于执行所述处理 的程序安装到例如HDD219,并且当启动所述程序时在存储器单元212中进 行展开。CPU211根据在存储器单元212中展开的程序执行必要的算术处理 或控制处理。
然后，在CPU211中，当启动程序时，程序允许图3所示的预组合处理 单元52、组合处理单元53、记录/回放/传送控制单元54、操作检测单元55、 显示控制单元56和模板管理单元57被配置为功能块。
换句话说，在CPU211中执行参照图7、 8和9描述的处理以及参照图 19、 22、 36、 38、 40、 44、 52、 54、 55和56描述的处理。
因此，用户可以使用PC 200以执行用于获得如上所述的多种图像效果的 组合处理。
用于使CPU 211执行上述处理的程序可以预先记录在用作集成在诸如 PC 200之类的设备中的记录介质的HDD、或具有CPU的微处理器中的ROM、 闪存等上。
可替代地，可以将程序临时地或永久地存储(记录)在可拆卸记录介质 上，如软盘、压缩盘只读存储器(CD-ROM )、磁光(MO)盘、数字多功能 盘(DVD)、蓝光盘、磁盘、半导体存储器或存储卡。可以提供这样的可拆卸 记录介质作为所谓的封装软件。
也可以经由网络(如LAN或因特网)从下载站点下载程序并且将其从可 拆卸记录介质安装到个人计算机等。
在具有上述结构的PC 200中，例如，HDD219可以存储多种类型的图
78像内容。例如，可以获取由用户使用数码相机或摄像机抓取的图像内容，并
将其记录在HDD219中。由此，用户可以使用PC200欣赏回放的所抓取的图像。
例如，PC 200的外部接口单元222可以连接到图像抓取设备1的外部接 口 8,以便可以将使用图像抓取设备1抓取的图像数据传送到PC 200，并且 获取所述图像数据。
也可以在存储卡接口单元223中放置用在图像抓取设备l中的记录介质 90 (存储卡)，以便PC 200可以从记录介质90获取使用图像抓取设备1抓取 的图像数据。
除了由用户抓取的图像内容之外，例如，使用外部视频播放器等回放的、 并且从外部接口单元222获取的图像内容或者使用网络接口单元213经由网 络从外部服务器下载的图像内容也可以存储在HDD219中，并对其进行回放。
也就是说，在PC200中，例如，已经使用数码相机或摄像机抓取的、具 有时间连续性的多个帧的图像数据可以被加载到例如HDD219以供使用。用 户可以使用PC 200以与上述示例中类似的方式对所加载的图像数据执行组 合处理。
例如，用户使用图像抓取设备1执行图5所示的步骤F15中的组合模式 图像抓取，然后将多个所抓取的帧的图像加载到PC 200。然后，用户启动用 于执行组合处理的软件，以使得CPU211执行作为图4所示的组合模式中的 处理描述的步骤ST1到ST4的处理。因此，可以在更高操作性环境中执行多 种类型的图像组合，以创建具有多种图像效果的組合图像。
此外，不仅可以对用户自己抓取的图像，而且可以对PC200上可获取的 多种类型的图像数据(运动图像内容)执行组合处理。
例如，可以回放通过任何方式(如下载)加载到HDD 219的运动图像数 据，或者可以连接DVD驱动器、蓝光盘驱动器等(在图57中未示出)以便 可以回放在光盘(如DVD或蓝光盘)上记录的图像内容。在这种情况下，对 光盘上记录的运动图像内容执行组合处理，由此产生具有期望的图像表示(如 长时间曝光效果、前帘同步效果、后帘同步效果或多闪光效果)的组合图像。 此外，集成了或连接到电视广播调谐器等的设备可以产生广播内容的组合图 像。
在本实施例中，作为示例，将个人计算机用作信息处理设备。使用图像数据的其他多种信息处理设备(如移动电话、个人数字助理(PDA)、游戏单 元和视频编辑器)可以以与上述类似的方式执行图像组合。
本领域的技术人员应该理解，根据设计要求和其他因素，可以出现多种 修改、组合、子组合和变更，只要它们落在所附权利要求及其等效物的范围 内即可。
权利要求
1、一种图像抓取设备，包括图像抓取单元，被配置为抓取对象的图像以获得图像数据；图像抓取控制单元，被配置为允许图像抓取单元执行抓取具有时间连续性的多个帧的图像数据的图像抓取操作，以便在图像抓取操作的执行期间根据对象亮度级别的变化来改变图像抓取单元的帧速；以及组合处理单元，被配置为使用图像抓取单元抓取的、具有时间连续性的多个帧的图像数据作为待组合的组合使用图像数据，来执行组合处理，以便产生表示静止图像的组合图像数据。
2、 根据权利要求1所述的图像抓取设备，其中图像抓取单元包括光学系 统，所述光学系统包括光圈机构，以及其中图像抓取控制单元通过控制光圈机构并且通过可变地控制帧速，来 在图像抓取操作的执行期间执行曝光调节控制。
3、 根据权利要求1所述的图像抓取设备，其中图像抓取单元包括光学系 统，所述光学系统包括光强度滤光片机构，以及其中图像抓取控制单元通过控制光强度滤光片机构并且通过可变地控制 帧速，来在图4象抓取操作的执行期间执行曝光调节控制。
4、 根据权利要求1所述的图像抓取设备，其中图像抓取单元包括图像抓 取信号处理系统，所述图像抓取信号处理系统包括可变增益电路，以及其中图像抓取控制单元通过响应于所抓取的图像信号来控制可变增益电 路并且通过可变地控制帧速，来在图像抓取操作的执行期间执行曝光调节控 制。
5、 根据权利要求1所述的图像抓取设备，进一步包括记录单元，被配置 为将图像抓取单元抓取的、具有时间连续性的多个帧的图像数据作为用于组 合处理的图像数据的序列记录在记录介质上。
6、根据权利要求5所述的图像抓取设备，其中组合处理单元使用记录介 质上记录的、具有时间连续性的多个帧的图像数据来执行组合处理，以便产 生表示静止图像的组合图像数据。
7、 根据权利要求1所述的图像抓取设备，进一步包括操作检测单元，被 配置为检测用于组合处理的操作输入信息，其中组合处理单元对具有时间连续性的组合使用图像数据之中，由操作 输入信息指定的时间轴上的范围中的多个帧的组合使用图像数据执行组合处 理，以便产生表示静止图像的组合图像数据。
8、 根据权利要求1所述的图像抓取设备，进一步包括操作检测单元，被配置为检测用于组合处理的操作输入信息，其中组合处理单元使用由操作输入信息指定的加权系数，对多个帧中的 每一个的组合使用图像数据执行组合处理，以便产生表示静止图像的组合图 像数据。
9、 根据权利要求1所述的图像抓取设备，其中组合处理单元使用加权平 均来对多个帧中的每一个的组合使用图像数据执行组合处理，以便产生表示 静止图像的组合图像数据。
10、 根据权利要求1所述的图像抓取设备，其中组合处理单元通过分配 加权系数来对多个帧中的每一个的组合使用图像数据执行组合处理，以便产 生表示静止图像的组合图像数据，所述加权系数作为图像抓取操作中组合使 用图像数据的各帧时间段的长度的比例倒数而确定。
11、 根据权利要求1所述的图像抓取设备，其中组合处理单元使用组合 使用图像数据和内插图像数据执行组合处理，以便产生表示静止图像的组合 图像数据，使用组合使用图像数据、通过内插处理来产生所述内插图像数据。
12、 根据权利要求1所述的图像抓取设备，进一步包括显示控制单元， 被配置为输出组合处理单元产生的组合图像数据作为用于显示的图像数据。
13、 根据权利要求5所述的图像抓取设备，其中记录单元将组合处理单 元产生的组合图像数据记录在记录介质上。
14、 根据权利要求1所述的图像抓取设备，进一步包括发送单元，被配 置为将组合处理单元产生的组合图像数据发送到外部装置。
15、 一种图像抓取方法，包括如下步骤执行抓取具有时间连续性的多个帧的图像数据的图像抓取操作； 在图像抓取操作的执行期间，根据对象亮度级别的变化，改变图像抓取 的帧速；以及使用具有时间连续性的多个帧的图像数据作为待组合的组合使用图像数 据，来执行组合处理，以便产生表示静止图像的组合图像数据。
全文摘要
公开了图像抓取设备和方法。所述图像抓取设备包括图像抓取单元，被配置为抓取对象的图像以获得图像数据；图像抓取控制单元，被配置为允许图像抓取单元执行抓取具有时间连续性的多个帧的图像数据的图像抓取操作，以便在图像抓取操作的执行期间根据对象亮度级别的变化来改变图像抓取单元的帧速；以及组合处理单元，被配置为通过使用图像抓取单元抓取的、具有时间连续性的多个帧的图像数据作为待组合的组合使用图像数据，来执行组合处理，以便产生表示静止图像的组合图像数据。
文档编号H04N5/238GK101547316SQ20091012769
公开日2009年9月30日 申请日期2009年3月25日 优先权日2008年3月25日
发明者牧井达郎 申请人:索尼株式会社