专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法和用于图像处理的程序。
背景技术：
长时间曝光技术通常用作基于胶片的拍摄或图像捕获技术。在此技术中， 连续执行曝光一定时间段，如几秒到几十秒甚至超过几十分钟。
长时间曝光技术还用于提供拍摄表现以及调整被摄体的亮度。
例如，用长曝光时间拍摄夜景。因为光量低，所以增加曝光时间以收集 足够光量来获得夜景的照片。
长时间曝光技术还可用于其他目的。例如，将光圈有意设置为低或降低 图像捕获灵敏度以表现被摄体的运动或聚焦到运动对象当中的静止对象。
在曰本未审专利申请公开No. 2005-354166中公开了 一种数字相机，被设 计为在图像捕获操作后通过增加多个图像来执行长时间曝光。
如在长时间曝光期间使用闪光(闪光灯设备)来实现如第一帘幕(curtain) 同步、第二帘幕同步以及多闪光的各种效果的拍摄技术也是普遍的。
发明内容
然而，用户难以获得其期望的图像作为应用了如长时间曝光、第一帘幕 同步、第二帘幕同步、以及多闪光效果的特殊图像效果的捕获图像。
需要确定如包括曝光时间和快门速度、闪光发射时间、以及闪光量的曝 光设置的适当设置，以获得令人满意的图像作为具有上述特效的图像。用户 需要根据其经验和直觉确定这样的设置，而这在实践中对于没有经验的用户 是困难的。
因此，期望允许不是专家的 一般用户通过执行图像捕获等容易地获得与 通过长时间曝光获得的图像或具有使用长时间曝光的图像效果(如第一帘幕 同步、第二帘幕同步和多闪光效果)的图像类似的静态图像。
在本发明的实施例中， 一种图像处理装置包括图像获取单元，被配置为执行图像获取操作以获取在时间上具有连续性的图像数据的多个帧；存储 单元，被配置为暂时存储由图像获取单元在图像获取操作期间获取的图像数
据的多个帧的每个；以及算术操作控制单元，被配置为使用在图像获取操作 期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成 组合图像数据，所述组合图像数据用作用于显示的数据。
所述算术操作控制单元可执行根据记录操作输入、将在记录操作输入时
获取的组合图像数据作为静止图像数据记录到记录介质上的处理。
所述算术操作控制单元可使用对每个预定时间段存储的图像数据的多个
帧当中的包括图像数据的最近的帧的图像数据的预定数目的帧，生成组合图 像数据。
所述算术操作控制单元可通过将相等的加权系数分配到要经历组合处理 的图像数据的各帧来执行组合处理。
所述算术操作控制单元还可通过将高加权系数分配到要经历组合处理的 图像数据的各帧当中的图像数据的最近的帧、而将低加权系数分配到图像数 据的剩余的各帧，执行组合处理。
所述算术操作控制单元还可通过将高加权系数分配到要经历组合处理的
图像数据的各帧当中的图像数据的最旧的帧、而将低加权系数分配到图像数
据的剩余的各帧，执行组合处理。
所述算术操作控制单元还通过将高加权系数和低加权系数周期性地分配
到要经历组合处理的图像数据的各帧，执行组合处理。
所述算术操作控制单元可使用在图像获取操作期间顺序存储在存储单元 中的图像数据的多个帧执行图像组合处理，以生成多类组合图像数据，所生 成的多类组合图像数据用作用于显示的数据。
所述算术操作控制单元可执行根据记录操作输入、将在记录操作输入时
生成的多类组合图像数据中的至少 一 些作为静止图像数据记录到记录介质上 的处理。
所述算术操作控制单元可使用在图像获取操作期间顺序存储在存储单元 中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，并且将生 成的组合图像数据作为形成运动图像的 一帧的图像数据记录到记录介质上。
所述算术操作控制单元可使用记录的组合图像数据作为用于显示的数据。
6所述图像获取单元可包括图像捕获单元，其被配置为执行图像捕获操作 以获取在时间上具有连续性的图像数据的多个帧。
替代地，所述图像获取单元可包括回放单元，其被配置为执行回放操作 以获取在时间上具有连续性的图像数据的多个帧。
替代地，所述图像获取单元可包括接收单元，其被配置为执行接收操作 以获取在时间上具有连续性的图像数据的多个帧。
所述图像处理装置还可包括显示单元，被配置为显示基于由算术操作控 制单元生成的组合图像数据的图像。
所述图像处理装置还可包括发送单元，被配置为发送由算术操作控制单 元生成的组合图像数据。
所述算术操作控制单元可使用对每个预定时间段存储的图像数据的多个
帧当中的包括图像数据的最近的帧的图像数据的预定数目的帧，生成组合图 像数据，并且使用生成的组合图像数据作为用于显示的数据。
在本发明的另一实施例中， 一种图像处理方法包括下述步骤获取在时 间上具有连续性的图像数据的多个帧；暂时存储多个所获取的图像数据帧的 每个；使用多个顺序存储的图像数据帧执行图像组合处理，以生成组合图像 数据；以及输出组合图像数据作为用于显示的数据。
在本发明的另 一实施例中， 一种用于使得计算机执行图像处理方法的程 序，所述图像处理方法包括下述步骤获取在时间上具有连续性的图像数据 的多个帧；暂时存储多个所获取的图像数据帧的每个；使用多个顺序存储的 图像数据帧执行图像组合处理，以生成组合图像数据；以及输出组合图像数 据作为用于显示的数据。
根据本发明的各实施例，例如，通过将对于预定帧时段在被摄体图像捕 获、视频回放等期间作为表示捕获的监视图像、回放监视图像等的显示数据 顺序获得的各帧的图像组合，生成组合图像数据。所述组合图像数据表示应 用了长时间曝光效果的图像、或应用了如第一帘幕同步效果、第二帘幕同步 效果或多闪光效果的效果的图像。
然后，例如，在每一个帧时段组合最近的帧和预定数目的之前的帧，以 产生要显示的一帧的图像。连续执行该处理以提供这样的图像的显示，其中 在每个帧时段获得的组合图像数据表示运功图像中的一帧。换句话说，具有 长时间曝光效果的图像以电影方式显示为在图像捕获或回放期间显示的监视图像。
利用这种特效的运动图像的显示，用户可在图像捕获或回放期间实时观 看通过应用特殊图像效果产生的图像。例如，用户可在监视应用了这样的特 效的图像的同时，等待好的快门释放机会。
根据如快门操作的用户的记录操作，在快门释放时获得的组合图像数据 记录到记录介质上。因此，用户可获得具有期望的特效的期望场景的图像。
根据本发明实施例的图像处理装置和图像处理方法可在包括如数字照相 机的图像捕获装置和如个人计算机的信息处理装置的各种装置中实现。
根据本发明实施例，例如，在图像捕获期间(当用户寻找拍摄机会时) 或在回放期间显示应用了如长时间曝光效果、第一帘幕同步效果、第二帘幕 同步效果和多闪光效果的效果的图像。这允许用户实际观看将作为应用特效 的结果获得的图像或看起来像实时的图像。当期望场景出现时，用户执行记 录操作(快门操作和捕获操作)，从而获得实际已经观看的、具有期望的效果 的图像作为静止图像。
因此， 一般用户可容易和轻易地获得在现有技术中只有专家可以实现的 作为静止图像的图像表现。例如，可提升增强的拍摄表现或更有创造性的拍 摄表现。
此外，每个组合图像被记录为形成运动图像的一帧的图像数据，从而允 许记录应用了长时间曝光效果等的特殊运动图像。因此， 一般用户可以容易 地实现在现有技术中不能实现的运动图像记录。
图l是根据本发明实施例的图像捕获装置的框图2A和2B分别是根据实施例的图像捕获装置的外部前视图和后视图3是示出根据实施例的图像捕获模式选择屏幕的图4是示出根据实施例的实时图像(live-image )组合模式处理的流程图;
图5A和5B是示出根据实施例的緩冲区域的图6是描述根据实施例的组合处理的图7是描述具有根据实施例的长时间曝光效果的组合处理的图； 图8是描述具有根据实施例的第 一 帘幕同步效果的组合处理的图； 图9是描述具有根据实施例的第二帘幕同步效果的组合处理的图；图10是描述具有根据实施例的多闪光效果的组合处理的图； 图ll是示出根据实施例、在实时图像组合模式下显示的图像的图； 图12是示出根据实施例、在实时图像组合模式下显示的图像的图； 图13是示出根据实施例、在实时图像组合模式下显示的图像的图； 图14是示出根据实施例、在实时图像组合模式下显示的图像的图； 图15是示出根据实施例、在实时图像组合模式下显示的图像的图； 图16是描述根据实施例的另 一 图像捕获模式选择屏幕的图； 图17是示出根据实施例的另 一实时图像组合模式处理的流程图； 图18是示出根据实施例、在实时图像组合模式下显示的图像的图； 图19是示出根据实施例的特殊运动图像捕获模式处理的流程图； 图20A和20B是描述根据实施例的特殊运动图像捕获模式的图； 图21是根据本发明实施例的信息处理装置的框图； 图22是示出根据实施例的信息处理装置中执行的长时间曝光效果模式 的流程图；以及
图23是示出根据实施例的信息处理装置中执行的特殊运动图像记录模 式处理的流程图。
具体实施例方式
下面将按下述顺序描述本发明实施例
1. 图像捕获装置的结构
2. 实时图像组合模式下的示例性操作
3. 实时图像组合模式的其他示例性操作
4. 特殊运动图像捕获模式下的示例性操作
5. 信息处理装置的应用示例
1.图像捕获装置的结构
现在将参照图1到2B在数字照相机的结构的上下文中描述根据本发明 实施例的图像捕获装置的结构。
图2A和2B分别是根据本发明实施例的图像捕获装置1的外部前视图和 后视图。如图2A和2B所示，图像捕获装置1可以是例如不是专家的一般用 户通常使用的数字照相机。
9图像捕获装置1包括在其前侧的图像捕获镜头单元21a和闪光发射单元 15、以及在其后侧的显示面板6。显示面板6可以是液晶面板、有机电致发 光(EL)面板等。图像捕获装置l还包括用于用户操作的在适当位置处的操 作器。例如，操作键5a、 5b、 5c、 5d、 5f和5g用作用于提供各种操作功能 的键，包括快门操作键、模式操作键、广角/长焦操作键、菜单操作键、曝光 校正指令键、以及回放键。还布置了包括转盘(dial)操作单元5h和十字键 (cross key) 5i的其他操作器。转盘操作单元5h用于对例如图像捕获模式进 行选择等。十字键5i用于如选择/设置在显示面板6上显示的操作菜单项目的 各种操作。
将例如参照图1描述图像捕获装置1的示例结构。
如图1所示，图像捕获装置1包括图像捕获系统2、控制系统3、相机数 字信号处理器(DSP) 4、操作单元5、显示面板6、显示控制器7、外部接口 (I/F) 8、同步动态随机存取存储器(SDRAM) 9、以及介质接口 10。
图像捕获系统2被配置为执行图像捕获操作。图像捕获系统2包括镜头 机构单元21、光圏/中灰(ND )滤光镜(neutral density filter)机构22 、图像 捕获元件单元23、模拟信号处理单元24、模-数(A/D)转换单元25、镜头 驱动单元26、镜头位置检测单元27、定时发生电路28、模糊检测单元13、 发光驱动单元14、闪光发射单元15、镜头驱动器17、光圈/ND驱动器18、 以及图像捕获元件驱动器19。
来自被摄体的入射光通过镜头机构单元21和光圈/ND滤光镜机构22导 入图像捕获元件单元23。
镜头机构单元21合并在图2A所示的图像捕获镜头单元21内，并且具 有包括盖镜(cover lens )、聚焦镜头、以及变焦镜头的多个光学镜头。镜头驱 动单元26用作用于将聚焦镜头或变焦镜头沿光轴移动的镜头移动机构。当通 过使用镜头驱动器17施加驱动动力时，镜头驱动单元26使聚焦镜头或变焦 镜头移动。镜头驱动器17由下面将描述的中央处理单元(CPU) 31控制来执 行聚焦控制或变焦操作。
光圈/ND滤光镜机构22包括插入到镜头光学系统以衰减(调整)入射光 量的光圈机构和ND滤光镜机构。光圈/ND滤光镜机构22被配置为调整光强。
光圏/ND驱动器18通过打开和关闭光圈机构调整入射光量。光圏/ND驱 动器18还通过沿入射光的光轴插入和移除ND滤光镜来调整入射光量。CPU
1031控制光圈/ND驱动器18以驱动光圈机构或ND滤光镜来控制入射光量(例 如执行曝光调整控制)。
来自被摄体的光通量透射经过镜头机构单元21和光圈/ND滤光镜机构 22,并且在图像捕获元件单元23上形成被摄体图像。
图像捕获元件单元23对形成的被摄体图像进行光电转换，并且输出与被 摄体图像对应的捕获的图像信号。
图像捕获元件单元23具有由多个像素形成的矩形图像捕获区域，并且将 各图像信号一个像素接一个像素地顺序输出到模拟信号处理单元24,每个所 述图像信号是与一个像素中累积的电荷量对应的模拟信号。图像捕获元件单 元23可以通过例如电荷耦合器件(CCD)传感器阵列、互补金属氧化物半导 体(CMOS)传感器阵列等实现。
模拟信号处理单元24包括如相关双倍采样(CDS )电路和自动增益控制 (AGC)电路的内部电路。模拟信号处理单元24对从图像捕获元件单元23 输入的图像信号执行预定的模拟处理。
A/D转换单元25将通过模拟信号处理单元24处理的模拟信号转换为数 字信号，并且将数字信号提供到相机DSP4。
定时发生电路28由CPU31控制来对图像捕获元件单元23、模拟信号处 理单元24和A/D转换单元25的操作定时进行控制。
具体地，定时发生电路28将用于控制图像捕获元件单元23的图像捕获 操作的定时的信号通过图像捕获元件驱动器19提供到图像捕获元件单元23, 如曝光/电荷读取定时信号、用于提供电子快门功能的定时信号、传送时钟信 号、以及按照帧频的同步信号。定时发生电路28还将定时信号提供到模拟信 号处理单元24，使得模拟信号处理单元24可以与传送来自图像捕获元件单 元23的图像信号同步地执行处理。
CPU 31可以控制由定时发生电路28生成的定时信号，以改变图像捕获 的帧频或执行电子快门控制(曝光时间的帧内可变控制)。此外，例如，CPU 31可以将增益控制信号通过定时发生电路28应用到模拟信号处理单元24， 以执行捕获的图像信号的可变增益控制。
模糊检测单元13被配置为检测相机抖动量。模糊4企测单元13例如包括 加速度传感器、振动传感器等，并且将检测的信息作为模糊量提供到CPU 31。
闪光发射单元15由发光驱动单元14驱动来发光。CPU 31指令发光驱动单元14在用户操作等中指定的预定时间发射闪光，使得可以从闪光发射单元
15发光。
相机DSP 4对从图像捕获系统2的A/D转换单元25输入的捕获的图像 信号执行各种数字信号处理。
在相机DSP4中，例如如图l所示，通过内部硬件或软件实现如图像信 号处理单元41、压缩/解压缩处理单元42、 SDRAM控制器43、以及信息生 成单元44的处理功能。
图像信号处理单元41对输入的捕获图像信号执行处理。例如，图像信号 处理单元41使用捕获的图像信号执行用于控制图像捕获系统2的驱动的算术 处理，如自动聚焦(AF)处理和自动光圈(auto-iris)(自动曝光(AE ))处 理，并且还执行对于输入的捕获图像信号自身的处理，如自动白平衡(AWB) 处理。
例如，在自动聚焦处理中，图像信号处理单元41执行输入的捕获图像信 号的对比度检测，并且将检测的信息发送到CPU31。各种控制技术可用作自 动聚焦控制方法。在称为对比度AF的技术中，在使得聚焦镜头运动的每个 时间点执行捕获图像信号的对比度检测，并且确定处于最佳对比度状态的聚 焦镜头的位置。具体地，在图像捕获操作之前，CPU31执行控制以便在控制 聚焦镜头的运动的同时检查由图像信号处理单元41检测的对比度检测值，并 且将处于最佳对比度状态的位置设置为最佳聚焦位置。
在图像捕获期间，CPU 31可以使用称为摆动(wobbling) AF的检测方 法执行聚焦控制。在图像捕获操作期间，CPU31在使得聚焦镜头恒定地前后 稍微运动的同时检查由图像信号处理单元41检测的对比度检测值。尽管聚焦 镜头的最佳位置可能依赖于被摄体的情况而变化，但是通过将聚焦镜头稍微 前后位移来执行对比度检测，从而根据被摄体的变化确定聚焦控制方向的变 化。因此，可以根据被摄体情况执行自动聚焦。
注意到，在镜头驱动单元26中的镜头移动机构被分配了各个移动位置的 地址，并且使用移动位置的地址来识别镜头位置。
镜头位置检测单元27识别聚焦镜头的当前镜头位置的地址，以计算到 所聚焦的被摄体的距离，并且将关于计算的距离的距离信息提供到CPU 31。 因此，CPU 31可以确定到所聚焦的主^皮:摄体的距离。
在由相机DSP4的图像信号处理单元41执行的自动光圏处理中，例如计算被摄体亮度。例如，计算输入的捕获图像信号的平均亮度，并且将关于计 算的平均亮度的被摄体亮度信息或曝光信息提供到CPU 31。可使用各种方法 来计算平均亮度，如计算捕获的图像数据的 一帧的所有像素的亮度信号的平 均值或计算当为图像的中心部分分配权重时各亮度信号的平均值。
CPU31可以基于曝光信息执行自动曝光控制。具体地，使用光圈机构、 ND滤光镜、图像捕获元件单元23中的电子快门控制、或用于模拟信号处理 单元24的增益控制来执行曝光调整。
相机DSP4的图像信号处理单元41除了执行用于生成自动聚焦操作和自 动光圏操作使用的信号的处理外，还执行对捕获的图像信号自身的信号处理， 如自动白平衡、伽玛(y )校正、边缘增强、以及相机抖动校正。
相机DSP 4中的压缩/解压缩处理单元42对捕获的图像信号执行压缩处 理，或对压缩的图像数据执行解压缩处理。例如，压缩/解压缩处理单元42 根据如联合摄影专家组(JPEG)或运动图像专家组(MPEG)技术的技术执 行压缩/解压缩处理。
SDRAM控制器43对SDRAM 9执行写入/读取。SDRAM 9用于例如暂 时存储从图像捕获系统2输入的捕获图像信号，在由图像信号处理单元41或 压缩/解压缩处理单元42执行的处理中存储数据或保留工作区域，或存储由 信息生成单元44获得的信息。SDRAM控制器43对SDRAM 9执行这样的数 据的写入/读取。
信息生成单元44生成用于下述组合处理中的各种操作的信息。例如，信 息生成单元44生成在捕获的图像信号屏幕中指示到被摄体的距离的距离分 布信息。距离分布信息可以是例如关于以像素为单位到被摄体的距离以及到 主被摄体的距离的信息。所述信息还称为景深图(depth map )。
可通过分析在上述摆动AF期间的模糊量等来执行用于生成距离分布信 息的基于像素的距离信息的确定。替代地，可提供被配置为发出具有非可见 光的特定波长的辅助光的发光单元(未示出)，并且可以测量在特定波长的光 已经发出后到其返回的时间段，以便一个像素接一个像素地确定到被摄体的 距离。
控制系统3包括CPU 31、随机存取存储器(RAM) 32、闪存只读存储 器(ROM ) 33、以及时钟电路34。控制系统3中的每个单元、相机DSP 4中 的每个单元、图像捕获系统2中的每个单元、显示控制器7、外部接口 8和介质接口 10被配置为经由系统总线彼此传送图像数据或控制信息。
CPU 31控制图像捕获装置1的整体操作。具体地，CPU 31根据内部ROM 等中存储的程序并根据利用操作单元5的用户操作，执行各种算术处理或与 对应的单元交换控制信号等，以使得各单元执行必要操作。CPU31还执行下 述的图像组合的进一步的处理，如算术处理和图像分析处理。
RAM32暂时存储(或緩冲)由相机DSP4处理的捕获的图像信号(每 帧的图像数据)，或暂时存储(或緩冲)由下述组合处理生成的组合图像数据。 RAM 32还存储对应于CPU 31的各种处理的其他信息。
闪存ROM 33用于存储表示(已经由用户捕获为静态图像或运动图像的) 捕获图像的图像数据或要以非易失性方式保存的其他信息。闪存ROM 33还 可以用于存储用于控制图像捕获装置1的软件程序、相机设置数据等。
时钟电路34执行时间计数以确定当前时间信息(年、月、日、小时、分 钟和秒)。
操作单元5包括图2A和2B所示的操作器和用于按照操作器的操作生成 信号的信号生成单元。基于操作器的用户操作信息从操作单元5发送到CPU 31。
操作单元5可以被配置为允许触摸面板操作以及使用操作器的操作。具 体地，显示面板6可以被提供有触摸传感器，使得可以响应于用户对屏幕的 触摸来执行操作输入。
显示面板6上的显示操作的示例可包括监视器的显示(在图像捕获期间的所 谓的实时取景(live view )显示)、从记录介质90或闪存ROM 33读取的回 放图像的显示、操作菜单的显示、各种图标的显示、以及时间和日期的显示。
介质接口 10在CPU31的控制下，对置入图像捕获装置1中的如存储卡 (卡形的可移除存储器)的记录介质90执行数据的读取/写入。例如，介质 接口 10执行将作为图像捕获的结果获得的静止图像数据或运动图像数据记 录到记录介质90上的操作。
介质接口 10还执行从记录介质90读取记录的静止图像数据或运动图像 数据的操作。
尽管作为示例将记录介质90实现为便携式存储卡，但是记录介质90可 以是用于记录作为图像捕获的结果要保存的静止图像或运动图像的图像数据的任何其他记录介质。例如，可使用如光盘的便携式记录介质，或可合并硬
盘驱动器(HDD)并将其用于记录。
外部接口 8根据如通用串行总线(USB)标准的信号标准，经由预定电 缆发送各种数据到外部设备并从所述外部设备接收各种数据。外部接口 8可 以是符合除了 USB标准以外的标准(如，电气电子工程师协会(IEEE) 1394 标准)的外部^妾口。
替代有线传输接口，外部接口 8可以是如红外传输接口或近场通信接口 的无线传输接口。
图像捕获装置l被配置为经由外部接口 8发送数据到个人计算机或其他 各种设备，并从所述个人计算机或其他各种设备接收数据。例如，图像捕获 装置1可以将捕获的图像数据传送到外部设备。
在本实施例的图像捕获装置1中，CPU31根据存储在其中的程序和来自 操作单元5的用户操作，执行图像捕获操作控制或算术处理和用于各种操作 的控制。CPU31执行包括下述处理的算术处理和控制操作。
CPU 31执行图像捕获操作控制。具体地，CPU 31控制图像捕获系统2 或相机DSP 4中的每个单元以捕获被摄体图像。CPU 31执行如自动聚焦处理、 自动曝光调整处理、以及闪光发射控制处理的其他处理。在图像捕获期间， 用户可以选择下述的各种图像捕获模式中的任何，并且CPU 31根据所选择的 图像捕获模式控制图像捕获系统2的操作。
CPU 31还执行图像组合处理。在图像捕获操作中，由图像捕获系统2 捕获并由相机DSP 4处理的图像数据的每帧传送到RAM 32中并在其中緩冲。 具体地，在下述称为"实时图像组合"的图像捕获模式下，緩沖的图像数据 的多个帧被组合以生成用于表示如长时间曝光效果的特效的组合图像数据。
例如，CPU31可对时间上具有连续性的图像数据的各帧当中的、来自图 像数据的最近的帧的图像数据的预定的帧执行使用加权平均的组合处理，以 生成组合图像数据，所述时间上具有连续性的图像数据已经在每个帧时段捕 获并顺序緩沖。
可通过分配相等的加权系数到图像数据的每帧或分配高加权系数到图像 数据的特定帧来组合图像数据的多个帧，以获得期望的图像效果。
CPU31还执行显示控制。具体地，CPU31指令显示控制器7通过应用 用于显示的数据，来使得显示面板6执行期望的显示。例如，可执行图像捕获期间的监视器显示或回放图像的显示。具体地，随着用于图像捕获监视的 数据的每帧，通过上述组合处理生成的组合图像数据被提供到显示控制器7， 从而显示具有特殊图像效果的监视器运动图像(实时取景电影)。
CPU31还执行记录、回放和传输控制。具体地，CPU31指示介质接口 10控制从记录介质90读取或写入到记录介质90。例如，根据用户的快门操 作，CPU 31指示介质接口 IO将已经緩沖的图像数据或组合图像数据的某个 巾贞记录到记录介质90上，作为要保存的静止图像数据。此外，CPU31还可 以指示介质接口 10将要緩冲的捕获的图像数据或组合图像数据的每个帧记 录到记录介质90上，作为运动图像数据。
CPU 31还执行将捕获的图像数据、组合图像数据、从记录介质90读取 的图像数据等通过外部接口 8发送到外部设备的处理。
CPU 31还执行检测由用户给出的操作输入信息的操作检测处理。具体 地，检测来自操作单元5的输入信息。基于在该操作检测处理中检测的操作 输入信息，CPU31执行图像捕获操作控制、图像捕获期间的组合处理、图像 记录/回放/传输控制等。
2.实时图像组合模式下的示例性操作
现在将描述可以是本实施例的图像捕获装置1的特征的实时图像组合模 式下的示例性操作。
当用户使用图像捕获装置l执行图像捕获时，他或她可选择各种预设图 像捕获模式。
图像捕获模式的示例包括自动模式、人像模式、风景模式、近摄模式 (macro mode )、体育模式、日落场景模式、夜景模式、以及运动图像捕获模 式。
自动模式是其中使用图像捕获装置1自动执行如光圈值、快门速度、以 及国际标准化组织(ISO)灵敏度的最佳设置的图像捕获模式。
人像模式是其中以对提供人的照片(shot)最佳的设置执行图像捕获的 图像捕获模式。
风景模式是其中以对提供风景的照片最佳的设置执行图像捕获的图像捕 获模式。
近摄模式是其中以对提供比正常更接近相机的被摄体的照片最佳的设置 执行图像捕获的图像捕获模式。可提供特殊近摄模式，即，用于提供花朵和昆虫的清晰和生动的近摄照片的自然近摄模式
体育模式是其中以对提供动作的照片最佳的设置执行图像捕获的图像捕 获模式。
曰落场景模式是其中以对提供日落场景的照片最佳的设置执行图像捕获 的图像捕获模式。
夜景模式是其中以对提供夜景的照片最佳的设置执行图像捕获的图像捕 获模式。
运动图像模式是其中捕获运动图像的图像捕获模式。
可提供其他模式，如适于提供夜景中的人的照片的夜间人像模式、以及 适于提供焰火的照片的焰火模式。
用户从上述图像捕获模式中选择期望的图像捕获模式，从而执行图像捕 获操作以获得适于被摄体类型或条件的捕获的图像。
在本示例性实施例中，"实时图像组合"模式被预设为图像捕获模式。
CPU 31允许用户使用在显示面板6上显示的、如图3所述的模式选择屏 幕来选择图像捕获模式。
在此情况下，除了如"自动模式"图像捕获、"人像模式"图像捕获、"曰 落场景模式，，图像捕获和"近摄模式，，图像捕获的标准图像捕获模式之外， 实时图像组合模式与其相关联的图像一起显示。与实时图像组合模式相关联 的图像可以是例如长时间曝光效果的图像。用户可通过移动光标K按照图像 捕获目的选择期望的模式。与各个模式相关联的图像的显示帮助没有经验的 用户选择模式。具体地，不熟悉如长时间曝光效果的特效的实现的用户可使
用与实时图像组合模式相关联的图像，通过实时图像组合模式的详情导航。 选择模式的操作可以例如利用图2B所示的转盘操作单元5h执行。 当用户选择图像捕获模式时，CPU 31根据所选择的图像捕获模式执行操
作设置。例如，CPU31控制图像捕获系统2中的每个单元以确定如曝光量、
曝光方法、电子快门设置、帧频和增益的设置。
现在将详细描述响应于用户对实时图像组合模式的选择的示例性操作。 当用户执行选择实时图像组合模式的操作时，CPU31开始图4所示的处
理。首先，在步骤F101, CPU31控制捕获图像操作的开始。CPU31使得图
像捕获系统2的每个单元和相机DSP4开始图像捕获操作。因此，开始对于
被摄体图像的图像数据的逐帧获取。
17在步骤F102， CPU31监视用户的快门操作。在步骤F103, CPU31监视 实时图像组合模式的终止操作。如果这些操作都没有出现，则CPU 31进行到 步骤F104。
在步骤F104,将由图像捕获系统2捕获并由相机DSP 4处理的图像数据 的一帧加载到RAM 32。
如图5A所示，RAM32具有帧图像緩冲区32a和组合图像緩冲区32b。
帧图像緩冲区32a是用于緩冲在步骤F101开始图像捕获操作之后、在每 个帧时段从相机DSP4传送的图像数据的各个帧的区域。在步骤F104,从相 机DSP 4传送的图像数据的一帧暂时存储在帧图像緩冲区32a。
然后，CPU31执行步骤F105的组合处理、步骤F106的组合图像数据的 緩冲、以及步骤F107的组合图像数据的显示控制。然后，CPU31再次通过 步骤F102和F103执行步骤F104到F107的处理。
即，对于执行快门操作之前的时段，CPU31在每个帧时段执行步骤F104 到F107的处理。根据帧图像緩冲区32a的容量，图像数据的当前帧和图像数 据的预定数目的之前的帧缓冲在RAM 32的帧图像緩沖区32a中。当帧图像 缓冲区32a随着操作的进程变满时，在删除缓冲的图像数据的最旧的帧的同 时可存储图像数据的新的帧。
步骤F105到F107的处理通过示例如下执行。
首先，在步骤F105,利用当前时间暂时存储在帧图像缓沖区32a中的图 像数据的各帧当中的、图像数据的最近的帧(步骤F104中加载的图像数据的 帧)和图像数据的预定数目的之前的帧，执行组合处理。
图6示出在组合处理中获得的图像。
加载到帧图像緩冲区32a的图像数据的各帧由图像数据弁l、 #2、 #3等表 示。假设用于组合处理的图像数据范围是包括最近帧的7个帧的范围。用于 組合处理的帧的数目可以是但不限于7。
现在假设在步骤F104,图像数据#7加载为在时间t7获得的捕获图像帧。 在此情况下，在步骤F105的组合处理中，使用包括图像数据的7帧的组合范 围A1，该图像数据的7帧包括最近的图像数据#7 (即，#1到#7)。
然后，使用组合范围Al中的图像数据的各个帧(#1到#7),并且执行加 权系数的设置或加权平均处理以生成组合图像数据。
这里，生成四类组合图像数据(GL、 GS、 GA和GM)。图6示出组合
18图像数据GL1、 GS1、 GA1和GM1。
组合图像数据GL可以是用于实现长时间曝光效果的组合图像数据。长 时间曝光效果是通过例如对运动图像执行长时间连续曝光表现的效果，由如 图7所示的组合图像示意性示出的。
例如，为了从图像数据帧#1到#7生成具有长时间曝光效果的组合图像数 据GLl,相等地加权和组合图像数据帧#1到#7。图7分别示意性示出要分配 到图像数据帧#1到#7的加权系数wl到w7。加权系数wl到w7的每个具有 表示加权系数值的高度。以此方式，各个图像数据帧#1到#7相等地加权，并 经历加权平均处理以生成组合图像。具体地，将各个图像数据帧#1到#7中的 对应像素的值相加，并且将得到的和除以图像数据的帧的数目(在此情况下， 7)。因此，获得具有如图7所示的长时间曝光效果的组合图像。
例如，如果图像数据帧序列# 1到#7表示被摄体正从右边移动到左边的图 像，则生成与通过对正从右边移动到左边的被摄体执行长时间曝光获得的图 像类似的图像的组合图像数据，作为图7所示的组合图像。
组合图像数据GS可以是用于实现第一帘幕同步效果的组合图像数据。 第一帘幕同步效果是通过仅在长时间曝光的开始激发(firing)闪光来提供时 间上的第 一状态的清晰表示的图像捕获技术。
图8示出具有第一帘幕同步效果的组合图像的示例。
在此示例中，通过将组合范围内的图像数据的连续各帧组合，使得为图 像数据的第一帧分配高加权系数，而为图像数据的随后的剩余各帧分配低加 权系数，获得这样的第一帘幕同步效果。
具体地，在图像数据帧#1到#7中，将高加权系数wl分配给图像数据帧 #1,而将低加权系数w2到w7分配给剩余的图像数据帧弁2到弁7。然后，执行 加权平均处理以生成组合图像数据GS1。因此，获得具有如图8所示的第一 帘幕同步效果的组合图像。
组合图像数据GA可以是用于实现第二帘幕同步效果的组合图像数据。 第二帘幕同步效果是通过仅在长时间曝光的结束激发闪光来提供时间上最后 的状态的清晰表示的图像捕获技术。
图9示出具有第二帘幕同步效果的组合图像的示例。
在此示例中，通过将组合范围内的图像数据的连续各帧组合，使得为图 像数据的最后帧分配高加权系数，而为图像数据的剩余各帧分配低加权系数，获得这样的第二帘幕同步效果。
具体地，在图像数据帧#1到#7中，将高加权系数W7分配给图像数据帧
#7,而将低加权系数wl到w6分配给剩余的图像数据帧弁l到#6。然后，执行 加权平均处理以生成组合图像数据GA1。因此，获得具有如图9所示的第二 帘幕同步效果的组合图像。
组合图像数据GM可以是用于实现多闪光效果的组合图像数据。多闪光 效果是通过在长时间曝光期间周期性激发闪光来提供被摄体的状态的清晰表 示的图像捕获技术。
图IO示出具有多闪光效果的组合图像的示例。
在此示例中，通过将高和低加权系数周期性分配到组合范围内的图像数 据的连续帧并组合图像数据的连续帧，获得这样的多闪光效果。
例如，在图像数据帧#1到#7中，将高力口权系数wl、 w4和w7分配给图 像数据帧#1、 #4和#7,而将低加权系数w2、 w3、 w5和w6分配给图像数据 帧#2、 #3、 #5和#6。然后，执行加权平均处理以生成组合图像数据GM1。因 此，获得具有如图IO所示的多闪光效果的组合图像。
当如图6所示在时间t7加载图像数据帧弁7时，在步骤F105， CPU31使 用緩冲的图像数据帧#1到弁7生成组合图像数据GL1、 GS1、 GA1和GM1。
然后，在步骤F106， CPU31将组合图像数据GL1、 GS1、 GA1和GM1 暂时存储到RAM 32的组合图像緩冲区32b。
然后，在步骤F107， CPU31将组合图像数据GL1、 GS1、 GA1和GM1 作为显示数据输出到显示控制器7，并且使得显示面板6执行预定的监视显 示。下面将描述显示的示例。
接下来，在如图6所示的时间t8,将下一图像数据帧#8加载到RAM32 (步骤F104 )。还在该情况下，CPU 31在步骤F105执行类似的组合处理。 在此情况下，如图6所示的组合范围A2所示，包括最近的图像数据帧#8的 7个图像数据帧(#2到#8 )用于执行组合处理，以生成四类组合图像数据GL2、 GS2、 GA2和GM2。
然后，在步骤F106, CPU31将组合图像数据GL2、 GS2、 GA2和GM2 暂时存储到RAM 32的组合图像緩冲区32b。
然后，在步骤F107, CPU31将组合图像数据GL2、 GS2、 GA2和GM2 作为显示数据输出到显示控制器7,并且使得显示面板6执行预定的监视显
20示。
此外，在如图6所示的时间t9，将下一图像数据帧#9加载到RAM32(步 骤F104)。还在此情况下，CPU 31在步骤F105执行类似的组合处理。在此 情况下，如图6所示的组合范围A3所示，包括最近的图像数据帧#9的7个 图像数据帧(#3到#9)用于执行组合处理，以生成四类组合图像数据GL3、 GS3、 GA3和GM3。
然后，在步骤F106, CPU31将组合图像数据GL3、 GS3、 GA3和GM3 暂时存储到RAM 32的组合图像缓沖区32b。
然后，在步骤F107, CPU31将组合图像数据GL3、 GS3、 GA3和GM3 作为显示数据输出到显示控制器7，并且使得显示面板6执行预定的监视显 示。
上述处理继续直到执行快门操作或直到执行终止实时图像组合模式的操 作(切换到另一模式的操作)。
图5B示意性示出在步骤F106暂时加载到RAM 32的组合图像緩冲区 32b的上述各类组合图像数据。当作为重复上述处理的结果组合图像緩沖区 32b变满时，在删除最旧的组合图像数据的同时可暂时存储新的组合图像数 据。
步骤F104到F107的处理重复一段时间，在该段时间期间，用户寻找拍 摄机会。换句话说，用户在观看显示面板6的同时等待好的拍摄机会。
根据步骤F107的处理，将四类组合图像数据(GL、 GS、 GA和GM) 提供到显示控制器7,作为用于显示的数据。显示控制器7使得显示面板6 利用组合图像数据(GL、 GS、 GA和GM)执行例如如图11所示的显示。
在显示的图像当中，在选择图像区61中显示的图像以最大尺寸显示。
此外，并排显示对应于四类组合图像数据(GL、 GS、 GA和GM)的图 像。具体地，显示基于组合图像数据GL的长时间曝光效果图像62、基于组 合图像数据GS的第一帘幕同步效果图像63、基于组合图像数据GA的第二 帘幕同步效果图像64、和基于组合图像数据GM的多闪光效果图像65。
此外，显示组合设置指示66。组合设置指示66可以是例如组合时间指 示。例如，图ll所示的"组合时间2秒"指示对最近的帧和对应于过去两 秒的在前帧执行上述组合处理。例如，如果以每秒30帧的帧频捕获图像，则 执行60帧的组合处理。用户可通过操作光标K,从四类图像效果的图像62、 63、 64和65当中 选择期望的图像。尽管在图4所示的处理中没有示出，但是CPU31根据用户 的光标操作将光标K的显示位置发送到显示控制器7，使得使用光标K选择 的对象可以表现在显示面板6上。
此外，当前正使用光标K选择的图像的放大视图可以显示在屏幕上的选 择图像区61中。
例如，在图ll中，当前正使用光标K选择长时间曝光效果图像62。在 此情况下，将应用了长时间曝光效果的组合图像显示在选择图像区61中。
在图12中，当前正使用光标K选择第一帘幕同步效果图像63。在此情 况下，将应用了第一帘幕同步效果的组合图像显示在选择图像区61中。
在图13中，当前正使用光标K选择第二帘幕同步效果图像64。在此情 况下，将应用了第二帘幕同步效果的组合图像显示在选择图像区61中。
在图14中，当前正使用光标K选择多闪光效果图像65。在此情况下， 将应用了多闪光效果的组合图像显示在选择图像区61中。
如上所述，在步骤F107的处理中，在每个帧时段将四类组合图像数据 GL、 GS、 GA和GM输出到显示控制器7，作为显示数据。
具体地，在每个帧时段中使用组合图像数据GL1、 GL2、 GL3等以显示 长时间曝光效果图像62。
在每个帧时段中使用组合图像数据GS1、 GS2、 GS3等以显示第一帘幕 同步效果图像63。
在每个帧时段中使用组合图像数据GA1、 GA2、 GA3等以显示第二帘幕 同步效果图像64。
在每个帧时段中使用组合图像数据GM1、 GM2、 GM3等以显示多闪光 效果图像65。
因此，在显示面板6上，用作当前被摄体的监视器屏幕图像的实时运动 图像(示出通过图像的被摄体场景的运动图像(实时取景))显示为应用了长 时间曝光效果的图像、应用了第一帘幕同步效果的图像、应用了第二帘幕同 步效果的图像和应用了多闪光效果的图像。
具有这些效果的图像之一由用户选择并显示在选择图像区61。 因此，用户可以实际观看到将作为应用了上述图像效果的结果获得的图 像，同时等待好的拍摄机会。换句话说，用户可以在观看实际应用特效的结果的同时寻找拍摄机会。
如图14所示，当多闪光效果图像65被选择并显示在选择图像区61中时， 可提供发光间隔指示67。
多闪光效果是通过周期性发射闪光获得的图像效果，并且图像的视觉印 象依赖于发光间隔而不同。因此，期望的是用户可以修改发光间隔，例如， 在本示例性操作中，在组合处理中按期望向其分配图IO所示的高加权系数的 帧的间隔。如图15所示，用户可以被允许来使用光标K选择发光间隔指示 67,并执行预定操作以修改发光间隔。例如，可允许用户将发光间隔改变为 0.5秒、0.75秒、1秒、1.25秒、1.5秒、2秒等。设置还可以以较小的时间步 进而改变。
当改变发光间隔时，CPU 31改变当在图4所示的步骤F105中的组合处 理中生成组合图像数据GM时分配高加权系数的间隔。因此，多闪光效果图 像65的多闪光效果(当正选择它时，在选择图像区61中显示的图像)可以 在显示器上调整，并可由用户观看到。
还期望用户被允许来通过使用光标K执行预定操作来修改组合设置指示 66。例如，可允许用户将组合时间改变为0.5秒、1秒、1.5秒、2秒、2.5秒、 3秒等。设置可以以较小的时间步进而改变。
当改变组合时间时，CPU 31根据改变的组合时间，改变在图4所示的步 骤F105中的组合处理中使用的组合范围(帧的数目)。
如上所述，用户在实时观看显示在显示面板6上的、应用了长时间曝光 效果等的被摄体场景的监视图像的同时，在期望的时刻执行快门操作。
当检测到用户的快门操作时，CPU 31将处理从步骤F102前进到步骤 F108,并且执行将在快门释放时获得的组合图像记录到记录介质90上的处 理。在快门释放时获得的组合图像可包括紧接在检测到快门操作前已经在步 骤F105中生成的并且在步骤F106中暂时存储的组合图像数据GL、 GS、 GA 和GM。
然后，例如，当前正由用户选择的组合图像(即，在显示面板6上的选 择图像区61中显示的组合图像)用作要实际保存为静止图像的组合图像数 据。例如，如图ll所示，当当前正选择长时间曝光效果的组合图像时，CPU 31将该长时间曝光效果的组合图像GL(x)传送到介质接口 10以将组合图像 GL(x)存储在记录介质90上。因此，用户可将期望场景的长时间曝光效果的组合图像保存为 一 张照片 (静止图像)。
在步骤F109, CPU31控制显示控制器7将记录在记录介质90上的组合 图像数据显示在显示面板6上，使得用户可以观看捕获的图像。记录的组合 图像可以全屏显示例如大约2秒到大约5秒。
然后，当完成显示时，恢复步骤F102到F107的处理。
因此，再次将长时间曝光效果等的图像显示为实时监视图像，使得用户 可以寻找下一拍摄机会。
当在步骤F103检测到终止实时图像组合模式的用户操作时，CPU31终 止图4所示的处理。
在步骤F108中记录捕获图像的处理还可以通过示例如下执行。
例如，不仅当前正显示在选择图像区61中的组合图像、而且所有四类组 合图像都可以记录在记录介质90上。换句话说，长时间曝光效果、第一帘幕 同步效果、第二帘幕同步效果以及多闪光效果的四张照片的静止图像数据可 以通过单个快门操作记录到记录介质90上。
尽管在快门释放时获得的组合图像通过紧接在快门释放之前的步骤 F105中生成的组合图像数据实现，但是包括紧接在步骤F102中检测到快门 操作之后获得的帧的各帧也可用于生成组合图像数据GL、 GS、 GA和GM, 并且组合图像数据GL、 GS、 GA和GM可记录到记录介质卯上，作为在快 门释放时获得的组合图像数据。
在此情况下，可以仅生成并记录当前正选4奪的组合图^象。例如，如图14 所示，如果当正选择长时间曝光效果图像时检测到快门操作，则在步骤F108， 可使用紧接在快门操作后获得的帧作为最近的帧生成长时间曝光效果的组合 图像数据GL,并且可以将其记录在记录介质90上。
此外，除了在快门释放时获得的组合图像之外，在一定时间范围内获得 的组合图像数据也可以记录在记录介质90上。如图5B所示，在每个帧时段 中生成的组合图像数据GL、 GS、 GA和GM暂时保存在组合图像緩冲区32b 中。
因此，在快门释放之前一段时间已经获得的组合图像数据还可以记录到 记录介质90上，作为捕获的图像。例如，可统一记录在快门释放之前已经获 得的组合图像数据的若干帧。此外，除了组合图像数据之外，在帧图像緩冲区32a中緩冲的图像数据 (例如，从其生成要记录的组合图像数据的图像数据的多个帧)还可以记录 到记录介质90上。
在本示例性操作中，作为图像捕获的结果获得的图像数据保存在记录介 质90中。图像数据可保存闪存ROM 33中，而不是记录介质90。可使用将 图像数据正常地记录到记录介质90、而当没有^L置记录介质90时将其记录 到闪存ROM33上的另一操作方法。
利用上述本示例性操作，图像捕获装置1可以被配置为使得生成并显示 具有如长时间曝光、第一帘幕同步、第二帘幕同步、或多闪光的应用的效果 的组合图像，从而在用户执行图像捕获(或执行快门操作)前向用户呈现将 通过执行图像组合实现的图像效果，使得用户可以针对图像效果来执行图像 捕获操作。
此外，显示实时应用了上述每个效果的被摄体场景的图像，因此方便了 用于实现长时间曝光、第一帘幕同步、第二帘幕同步和多闪光效果的最佳快 门释放时间的识别。因此，即使没有经验的用户也可以适当地捕获各种特殊图像。
此外，可同时观看四类图像效果。这帮助用户根据用户的偏好或被摄体 场景更精确地选择期望的效果。
此外，如上所述，组合图像数据还緩冲在组合图像緩沖区32b中。这允 许根据快门操作记录在快门释放时获得的显示图像和在快门释放前后获得的 组合图像。因此，可以提供被设计来更多地避免用户错过好的快门释放机会 以获得特殊拍摄效果图像的相机。
在上述示例中，在步骤F105中的每个帧时段内生成四类组合图像数据。 替代地，可生成应用了一个、两个、三个或多于四个图像效果的组合图像。
此外，步骤F105到F107的处理可以不必在每个帧时賴:执行。例如，步 骤F105到F107的处理可以间断地(如两个帧时^殳一次，或三个帧时4殳一次) 执行。具体地，在难以加速在组合处理中涉及的时间的情况下，优选地间断 地执行步骤F105到F107的处理。
例如，在图6所示的示例中，使用组合范围Al执行组合处理，然后可 以使用组合范围A3执行组合处理。
在组合范围中涉及的时间长的情况下，可以在帧图像緩冲区32a中累积对应于比在组合处理中涉及的时间更长的时间的图像数据。
此外，为了减少CPU 31对于组合处理和组合图像显示处理的处理负载，
步骤F105到F107的处理可通过生成并显示低分辨率组合图像数据而实现。
替代地，显示在显示面板6上的长时间曝光效果图像62、第一帘幕同步 效果图像63 、第二帘幕同步效果图像64和多闪光效果图像65的每个可以是 表现对应图像效果的预设图像(静止图像或运动图像)，并且被摄体场景的实 际监视器图像可以仅在选择图像区61中显示。在此情况下，仅仅当前正使用 光标K选择的 一类组合图像数据可以处理为用于显示的数据。
尽管上述图14等中所示的显示在显示面板6上产生，但是例如，显示图 像数据可从外部接口 8传送到外部显示设备，并且图14等中所示的图像可以 显示在所述显示设备上。
当图像捕获装置1通过数字单反镜头(SLR)相机实现时也可应用本示 例性操作。如本领域共同的，在SLR相机中，被摄体光以成像光学系统的所 谓"向下反射(mirrordown)"状态导入取景器中，并且当执行快门操作时， 引入"向上反射(mirrorup)"状态，并且将被摄体光导入成像设备单元，使 得对光线暴露成像设备单元。这里，当选择上述实时图像组合模式时，设置 向下反射状态使得被摄体光可以导向成像元件单元，除非执行快门操作。然 后，对通过成像元件单元获得的图像数据执行组合处理，并显示组合图像。 因此，实现与上述类似的操作。下面的示例性操作也可应用到数字SLR相机。
3.实时图像组合模式的其他示例性操作
接下来，将参照图16、 17和18描述实时图像组合模式下的另一示例性 操作。
图16示出图像捕获模式选择屏幕。在上述示例性操作中，在图3所示的 选择屏幕上选择"实时图像组合模式，，以选择图像捕获模式。在此示例性操 作中，如图16所示，除了正常的图像捕获模式(如自动模式和人像模式)以 外，对于预先选择还可获得额外的模式，即"长时间曝光效果"、"第一帘幕 同步效果"、"第二帘幕同步效果"和"多闪光效果"。用户操作光标K来选 择期望的图像捕获模式。
例如，如图16所示，当将光标K定位到"长时间曝光效果"模式并执 行模式设置操作时，CPU31执行图17所示的长时间曝光效果模式处理。
现在将描述图17所示的处理。例如，当用户执行选择"长时间曝光效果，，模式的操作时，CPU31开始
图17所示的处理。首先，在步骤F201， CPU31控制图像捕获操作的开始。 CPU 31使得图像捕获系统2的每个单元和相机DSP 4开始图像捕获操作。因 此，开始被摄体图像的图像数据的逐帧获取。
在步骤F202, CPU31监视用户的快门操作。在步骤F203, CPU31监视 长时间曝光效果模式的终止操作。如果这些操作都没有出现，则CPU31进行 到步骤F204。
在步骤F204,将由图像捕获系统2捕获并由相机DSP 4处理的图像数据 的一帧加载到RAM 32的帧图J象緩冲区32a。
然后，CPU 31执行步骤F205的组合处理、步骤F206的组合的图像数据 的緩冲、以及步骤F207的组合的图像数据的显示控制。然后，CPU31再次 通过步骤F202和F203执行步骤F204到F207的处理。
即，对于执行快门操作之前的时段，CPU31在每个帧时^:执行步骤F204 到F207的处理。根据帧图像緩冲区32a的容量，图像数据的当前帧和图像数 据的预定数目的在前帧緩冲在RAM32的帧图像緩冲区32a中。
步骤F205到F207的处理通过示例如下执行。
首先，在步骤F205，利用当前暂时存储在帧图像緩冲区32a中的图像数 据的各帧当中的、图像数据的最近的帧(步骤F204中加载的图像数据的帧) 和图像数据的预定数目的在前帧，执行组合处理。
在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合 图像数据GL。
然后，在步骤F206, CPU 31将组合图像数据GL暂时存储到RAM 32 的组合图像緩冲区32b中。
然后，在步骤F207, CPU 31将组合图像数据GL输出到显示控制器7 作为显示数据，并且使得显示面板6执行预定监视显示。
上述处理继续直到已经执行快门操作或直到已经执行终止长时间曝光效
果模式的操作(切换到另 一模式的操作)。
步骤F204到F207的处理重复一段时间，在该段时间期间，用户寻找拍 摄机会。换句话说，用户在观看显示面板6的同时等待好的拍摄机会。
根据步骤F207的处理，在每个帧时段将长时间曝光效果的组合图像数据 GL提供到显示控制器7，作为用于显示的数据。例如，显示控制器7使得显示面板6利用组合图像数据GL执行例如如图18所示的显示。 在此情况下，对应于组合图像数据GL的图像全屏显示。 此外，显示例如组合时间的组合设置指示66。
因此，用户可以实际观看将作为应用长时间曝光效果的结果获得的图像 同时等待好的拍摄机会。
用户在实时观看在显示面板6上显示的、应用了长时间曝光效果的被摄 体场景的监视图像的同时，在预定时刻执行快门操作。
当检测到用户的快门操作时，CPU 31将处理从步骤F202前进到步骤 F208，并且执行将在快门释放时获得的组合图像记录到记录介质90的处理。 在快门释放时获得的组合图像可以是紧接在快门操作的检测之前在步骤F205 生成的并且在步骤F206中暂时存储的组合图像数据GL。
CPU31将该长时间曝光效果的组合图像GL(x)应用到介质接口 10，以将 组合图像GL(x)存储到记录介质90上。
因此，用户可将期望场景的长时间曝光效果的组合图像保存为 一张照片 (静止图像)。
在步骤F209, CPU 31控制显示控制器7将记录在记录介质卯上的组合 图像数据显示在显示面板6上预定时间段，以便允许用户检查捕获的图像。
然后，当完成显示时，继续步骤F202到F207的处理。
因此，长时间曝光效果的图像再次显示在实时监视图像中，使得用户可 以寻找下一拍摄机会。
当在步骤F203检测到终止长时间曝光效果模式的用户操作时，CPU 31 终止图17所示的处理。
还可以通过示例在下面执行步骤F208的记录捕获图像的处理。
尽管在快门释放时获得的组合图像通过紧接在快门释放之前在步骤 F205已经生成的组合图像数据实现，但是，例如，包括紧接在步骤F202中 检测快门操作后获得的帧的各帧也可用于生成组合图像数据GL,并且组合图 像数据Gl可记录到记录介质90上，作为在快门释放时获得的组合图像数据。
此外，除了在快门释放时获得的组合图像之外，在一定时间范围内获得 的、此时已经暂时存储在组合图像緩冲区32b中的多条组合图像数据GL可 以记录在记录介质90上。
此外，除了组合图像数据GL外，在帧图像緩冲区32a中缓冲的图像数
28据(例如，从其生成要记录的组合图像数据GL的图像数据的多个帧)也可 以记录到记录介质90上。
尽管在图n所示的处理中，用户选择长时间曝光效果模式，但是当用户 选择第一帘幕同步效果模式、第二帘幕同步效果模式和多闪光效果模式时，
可执行与图17所示的处理类似的处理。例如，当用户选择第一帘幕同步效果 模式时，可在步骤F205中的组合处理中生成第一帘幕同步效果的组合图像数 据GS,并且可以图18所示的方式在步骤F207提供基于第一帘幕同步效果的 组合图像数据GS的显示。
根据上述本示例性处理，生成和显示应用了用户选择的图像效果的组合 图像。这允许用户在观看监视器显示的同时寻找拍摄机会，所述监视器显示 在用户执行图像捕获(或执行快门操作)之前通过应用用户选择的图像效果 而产生。因此，可以容易地获得应用了期望的图像效果的捕获图像。
具体地，与参照图4所述的处理相比，CPU31上的处理负载可以极大地 减少。这是因为仅生成和显示由用户预先选择的特定类型的组合图像数据。
而且，在该示例性处理中，不必在每个帧时段执行步骤F205到F207的 处理。例如，可以间断地(如两帧时段一次或三帧时段一次)执行步骤F205 到F207的处理。具体地，在难以加速组合处理中涉及的时间的情况下，优选 地间断地执行步骤F205到F207的处理。
在组合处理中涉及的时间长的情况下，可以在帧图像緩沖区32a中累积 对应于比在组合处理中涉及的时间更长的时间的图像数据。
此外，为了进一步减少CPU 31用于组合处理和组合图像显示处理的处 理负载，可通过生成并显示低分辨率组合图像数据来实现步骤F205到F207 的处理。
此外，尽管在显示面板6上产生上述图18所示的显示，但是例如显示图 像数据可以从外部接口 8传送到外部显示设备，并且图18所示的图像可显示 在显示设备上。
4.特殊运动图像捕获模式中的示例性操作
接下来，将参照图19和20描述用于执行特殊运动图像捕获的示例性操 作。这里使用的术语"特殊运动图像捕获"指将长时间曝光效果等的图像记 录为运动图像。在上述示例性操作中，具有如长时间曝光效果的应用的效果 的组合图像数据在每个帧时段显示，使得特效可以应用到被摄体场景的运动图像监视器显示上。在记录介质90上记录这种应用了特效的运动图像被称为 "特殊运动图像捕获"。
将参照图20A和20B描述正常运动图像捕获和特殊运动图像捕获之间的 差别。
图20B示出正常运动图像捕获。在正常运动图像捕获中，捕获帧图像#1、 #2、 #3等的每个是形成运动图像的一个帧的数据。
另一方面，在本示例性操作的特殊运动图像捕获中，如图20A所示，例 如，应用了上述长时间曝光效果的组合图像数据GL1、 GL2、 GL3等的每个 是形成运动图像的 一个帧的数据。
通过执行如图20A所示的特殊运动图像记录，可以记录具有应用了如长 时间曝光效果、第一帘幕同步效果、第二帘幕同步效果和多闪光效果的特效 的运动图像。
图19示出当设置特殊运动图像捕获模式时的CPU31的示例性处理。 这里，作为示例，用户执行对"长时间曝光效果"执行特殊运动图像记
录的模式选择操作。
首先，在步骤F301, CPU31控制图像捕获操作的开始。CPU31使得图 像捕获系统2的每个单元和相机DSP4开始图像捕获操作。因此，开始对于 被摄体图像的图像数据的逐帧获取。
在步骤F302, CPU31监^L用户的记录开始操作。在步骤F303， CPU 31 监视特殊图像捕获模式的终止操作。如果这些操作都没有出现，则CPU 31 进行到步骤F304。
在步骤F304，将由图像捕获系统2捕获并由相机DSP 4处理的图像数据 的一帧加载到RAM 32的帧图像緩冲区32a。
然后CPU 31执行步骤F305的组合处理和步骤F306的组合的图像数据 的显示控制。然后，CPU 31再次通过步骤F302和F303执行步骤F304到F306 的处理。
即，对于执行记录开始操作之前的时段(在记录待机时段期间)，CPU 31 在每个帧时段执行步骤F304到F307的处理。
在步骤F305，使用当前暂时存储在帧图像緩冲区32a中的图像数据的各 帧当中的、图像数据的最近的帧(步骤F304中加载的图像数据的帧)和预定 数目的在前帧，执行组合处理。在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合图像数据GL。
然后，在步骤F206， CPU 31将组合图像数据GL输出到显示控制器7 作为显示数据，并且使得显示面板6执行预定监视器显示。
通过在记录待机时段期间重复上述处理，将长时间曝光效果的组合图像 数据GL在每个帧时段提供到显示控制器，作为用于显示的数据。
显示控制器7使得显示面板6利用组合图像数据GL执行例如如图18所 示的显示。
用户在监视这样的应用了长时间曝光效果的被摄体场景的运动图像的同 时寻找开始记录的机会。
当检测到用户的记录开始操作时，CPU 31从步骤F302进行到步骤F307, 并且重复步骤F308到F3U的处理，直到检测到记录结束操作。
在步骤F308,由图像捕获系统2捕获并由相机DSP4处理的图像数据的 一帧被加载到RAM 32的帧图像缓冲区32a。
在步骤F309，使用当前暂时存储在帧图像緩冲区32a中的图像数据的各 帧当中的、图像数据的最近的帧(步骤F308中加载的图像数据的帧)和图像 数据的预定数目的在前帧，执行组合处理。在此情况下，生成用于实现长时 间曝光效果的组合图像数据，作为组合图像数据GL。
在步骤F310, CPU 31将组合图像数据GL输出到显示控制器7作为显 示数据，并且使得显示面板6执行预定监视显示。
然后，在步骤F311，组合图像数据GL传送到介质接口 10，作为形成运 动图像的一帧的数据，并且记录到记录介质90上。
因此，对于从当执行记录开始操作时到当执行记录结束操作时的时间段， 如图20A所示，使用一条组合图像数据GL作为一帧的数据执行运动图像记 录。
当在步骤F307检测到记录结束操作时，CPU31返回到步骤F302。然后， CPU 31执行上述待机时段的处理。
当在步骤F303检测到终止长时间曝光效果模式的用户操作时，CPU 31 结束图19所示的处理。
利用上述处理，实现应用了长时间曝光效果的运动图像的记录。因此， 用户可以容易地实现在现有技术中没有实现的运动图像捕获。
此外，通过回放记录的运动图像，用户可以欣赏应用了长时间曝光效果
31等的运动图像。
图19示出基于长时间曝光效果的特殊运动图像捕获的处理。可执行与图 19所示的处理类似的处理，以实现第一帘幕同步效果模式、第二帘幕同步效 果模式或多闪光效果模式下的特殊运动图像捕获。例如，在第一帘幕同步效
果模式下，可在步骤F305或F309中的组合处理中生成第一帘幕同步效果的 组合图像数据GS，并且可以图18所示的方式在步骤F306或F310中提供基 于第一帘幕同步效果的组合图像数据GS的显示。在步骤F311,第一帘幕同 步效果的组合图像数据GS可被记录为运动图像的一帧。
注意，与基于組合图像数据的运动图像一起，如图20B所示的正常运动 图像可记录到记录介质90上。
此外，尽管上述图18所示的显示在显示面板6上产生，但是例如显示图 像数据可从外部接口 8传送到外部设备，并且图18所示的图像可在显示设备 上显示。
此外，特殊运动图像数据可记录到闪存ROM33等上，而不是记录介质 90上。
在上述运动图像捕获中，用户执行记录开始操作和记录结束操作。可例 如如下实现记录开始操作和记录结束操作
(1 )用户执行快门操作以执行记录开始操作，并再次执行快门操作以执 行记录结束操作。
(2 )对于用户连续执行快门操作(或正按下快门按钮)的时段执行记录。 即，用户开始快门操作以执行记录开始操作，并且释放快门按钮以执行记录 结束操作。
5.信息处理装置的应用示例
在上述实施例中，使用图像捕获装置1执行图像捕获和组合处理。在本 发明的实施例中，可使用除图像捕获装置1以外的设备。
图21示出根据本发明另一实施例的信息处理装置，例如，个人计算机(以 下称为"PC" ) 200。
如图21所示，PC200包括中央处理单元(CPU) 211、存储器单元212、 网络接口单元213、显示控制器214、输入设备接口单元215、硬盘驱动(HDD ) 接口单元216、键盘217、鼠标218、 HDD 219、显示设备220、总线221、外 部设备接口单元222、以及存储卡接口单元223。
32CPU211用作PC200的主控制器，并且根据存储器单元212中存储的程 序执行各种控制处理。CPU 211经由总线221连接到其他单元。
总线221上的每个设备具有唯一的存储器地址或输入/输出(I/O)地址， 并且CPU 211可使用所述地址来寻址各设备。总线221的示例可以是外围组 件互连(PCI)总线。
存储器单元212被配置为包括易失性存储器和非易失性存储器两者。存 储器单元212包括用于存储程序的如ROM的非易失性存储器、用作计算工 作区域或各种数据的暂时存储的RAM、以及电可^f察除和可编程只读存储器 (EEPROM )。
存储器单元212用于存储由CPU 211执行的程序代码或如对PC 200唯 一的标识信息的其他信息，或用作通信数据的緩冲区或当其执行时用于工作 数据的工作区。
网络接口单元213根据如以太网(注册商标)的预定通信协议，将PC 200 连接到如因特网或局域网(LAN)的网络。CPU 211可以经由网络接口单元 213与连接到网络的装置通信。
显示控制器214是用于实际处理由CPU 211发出的呈现命令的专用控制 器。例如，显示控制器214支持对应于超级视频图形阵列(SVGA)或扩展 图形阵列(XGA)标准的位图呈现功能。在显示控制器214中处理的呈现数 据暂时写到例如帧緩冲器(未示出)，然后输出到显示设备220。显示设备220 可以是例如有机EL显示器、阴极射线管(CRT)显示器、液晶显示器等。
输入设备接口单元215是用于将包括^:盘217和鼠标218的用户输入设 备连接到实现为PC 200的计算机系统的设备。
具体地，输入到PC200的用户操作使用键盘217和鼠标218执行，并且 将操作输入信息经由输入设备接口单元215提供到CPU211。
HDD219是这样的外部存储设备，其中如本领域所普遍的，用作存储介 质的磁盘被固定地安装，并且比其他外部存储设备具有更大的存储容量和更 高的数据传输率。将软件程序以可执行状态放置在HDD 219上被称为将程序 "安装，，到系统中。通常，HDD219以非易失性状态存储由CPU211执行的 操作系统(OS)的程序代码、应用程序、设备驱动等。
例如当启动PC 200时或当启动用户层的应用程序时，存储到HDD 219中的程序展开到存储器单元212中。CPU 211基于存储器单元212中开发的 程序执行处理。
外部设备接口单元222被配置为与根据如USB标准的标准连接的外部设 备接口。
在本实施例中，外部设备的示例可包括例如数字照相机、摄像机、以及
视频播放器。
PC 200可经由外部设备接口单元222,通过通信从数字照相机等获取图 像数据。
外部设备接口单元222支持的标准不限于USB标准，而可以是如电气电 子工程师协会(IEEE) 1394的任何其他接口标准。
存储卡接口单元223被配置为从如存储卡的记录介质90读取数据/将数 据写入如存储卡的记录介质90。
放置例如用作数字照相机的记录介质90、例如上述图像捕获装置l、摄 像机等。然后，可从记录介质90读取图像数据。
在具有上述结构的PC 200中，执行基于CPU 211中的软件配置(即， 如应用程序、0S、和设备驱动的软件)的算术处理/控制操作以执行各种操作。
在本实施例中，操作包括例如下面描述的图22和23中所示的处理。用 于执行处理的程序安装到例如HDD219中，并且当启动所述程序时展开到存 储器单元212中。CPU 211根据在存储器单元212中展开的程序执行必要的 算术处理或控制处理，以实现图22和23所示的处理。
用于使得CPU 211执行如图22和23所示的处理的程序可以预先记录到 用作合并在如PC200的装置中的记录介质的HDD，或在具有CPU的微计算 机中的ROM、闪存等。
替代地，所述程序可以暂时或永久存储(记录)到可移除记录介质，如 软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、 蓝光盘、磁盘、半导体存储器或存储卡。这种可移除记录介质可以作为所谓 的封装软件而提供。
所述程序可经由如LAN或因特网的网络从下载站点下载，以及从可移除 记录介质安装到个人计算机等中。
在具有上述结构的PC 200中，例如，HDD 219可存储各种类型的图像 内容。例如，由用户使用数字照相机或摄像机捕获的图像内容可被加载并存储到HDD219中。因此，用户可欣赏使用PC200回放的捕获的图像。
例如，PC200的外部接口单元222可连接到图像捕获装置1的外部接口
8，使得使用图像捕获装置1捕获的图像数据可传送并加载到PC 200。
在图像捕获装置1中使用的记录介质90 (存储卡)还可放置在存储卡接
口单元223中，使得PC 200可从记录介质90获取使用图像捕获装置1捕获
的图像数据。
除了用户捕获的图像内容外，例如使用外部视频播放器等回放并从外部 接口单元222获取的图像内容或使用网络接口单元213经由网络从外部服务 器下载的图像内容还可存储到HDD 219中并被回放。
在本实施例中，当要回放运动图像内容时，执行图22和23所示的处理， 以记录长时间曝光效果图像等的静止图像数据或记录上述特殊运动图像数 据。
这里使用的术语"运动图像内容"指可在PC200上回放的任何类型的运 动图像数据。
运动图像内容的示例包括使用摄像机或具有运动图像捕获功能的数字照 相机捕获并加载到PC 200中的运动图像数据、在网络上下载的运动图像数 据、以及记录在记录介质90上的运动图像数据。
运动图像内容的另外的示例包括当图21中未示出的DVD驱动、蓝光 盘驱动等连接到PC 200时记录在如DVD或蓝光盘的光盘上的运动图像数据； 以及电视广播调谐器等合并到或连接到PC 200时的运动图像数据。
即，可以使用PC 200回放并可以在显示设备220上显示的任何运动图像 数据可以是下面将描述的"运动图像内容"，而无论运动图像数据的类型。
当回放运动图像内容时，CPU211执行图22所示的处理。因此，用户可 生成具有应用了如长时间曝光效果、第一帘幕同步效果、第二帘幕同步效果 以及多闪光效果的效果的图像数据(静止图像数据)，并且可记录(保存)生 成的图像数据。
现在将描述图22所示的处理。
这里，作为示例，用户输入指令以执行"长时间曝光效果"模式下的操 作。在此情况下，CPU211开始图22所示的处理。首先，在步骤F401, CPU 211控制回^L的开始。例如，CPU 211控制记录在HDD 219等上的运动图J象 内容的回放的开始。这里使用的术语"回放"不仅指/人HDD219等读取运动图像内容，而且指其他类型的回放，如在网络上流传输回放、从外部设备输 入的图像的回放显示、以及在合并到PC 200中的调谐器接收的电视广播的运 动图像的回放显示。
在步骤F402 ， CPU 211监视用户的捕获操作。在步骤F403 ， CPU 211监 视回放的结束。回放的结束包括由于运动图像内容的回放完成的回放结束以 及根据用户执行的回放结束操作的回放结束。
对于回放正在进行中的时段，CPU211进行到步骤F404。
在步骤F404,緩冲通过回放获得的图像数据的一帧。图像数据的一帧存 储到例如存储器单元212中形成的帧图像緩冲区。
然后，CPU 211执行步骤F405的组合处理、步骤F406的组合图像数据 的緩冲、以及步骤F407的组合图像数据的显示控制。
然后，CPU 211再次通过步骤F402和F403执行步骤F404到F407的处理。
即，对于检测到捕获操作之前的时段，CPU 211在每个帧时段执行步骤 F404到F407的处理。在存储器单元212的帧图像緩沖区中，对于正回放的 运动图像内容，緩冲图像数据的当前帧和图像数据的预定数目的在前帧。
作为示例，如下所示执行步骤F405到F407的处理。
首先，在步骤F405,利用当前暂时存储在存储器单元212的帧图像緩冲 区中的图像数据的各帧当中的、图像数据的最近的帧(步骤F404中加载的图 像数据的帧)和图像数据的预定数目的之前的帧，执行组合处理。
在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合 图像数据GL。
然后，在步骤F406, CPU211将组合图像数据GL暂时存储到存储器单 元212的组合图像緩冲区中。
然后，在步骤F407， CPU211将组合图像数据GL输出到显示控制器214 作为显示数据，以在显示设备220上显示对应于组合图像数据GL的图像。
利用该处理，替代运动图像内容的正常回放显示，在显示设备220上执 行对每帧应用了长时间曝光效果的运动图像回放显示。
用户在观看显示设备220的屏幕的同时寻找捕获机会。
当检测到用户的捕获操作时，CPU 211将处理从步骤F402前进到步骤 F408,并且执行记录在捕获时获得的组合图像的处理。组合图像记录到例如HDD 219或记录介质90上。
在捕获时获得的组合图像可以是紧接在捕获操作的检测之前在步骤 F405生成的并且在步骤F406中已经暂时存储的组合图像数据GL。
因此，用户可在观看回放的长时间曝光效果的图像的同时，将期望场景 的图像保存为 一条静止图像数据。
在步骤F409， CPU 211控制显示控制器214将记录在HDD 219等上的 组合图像数据显示在显示设备220的屏幕上预定时间段，以便允许用户检查 捕获的图像。
然后，当完成显示时，继续步骤F402到F407的处理。 当在步骤F403检测到回放结束时，CPU 211结束图22所示的处理。 图22示出当用户选择长时间曝光效果模式的图像。当用于选择第一帘幕 同步效果模式、第二帘幕同步效果模式或多闪光效果模式时可执行与图22所 示的处理类似的处理。例如，当用户选择第一帘幕同步效果模式时，在步骤 F405的组合处理中可生成第一帘幕同步效果的组合图像数据GS，并且在步 骤F407中可提供基于第一帘幕同步效果的组合图像数据GS的显示。
根据上述处理，用户可在选择和回放期望的运动图像内容的同时，获得 应用了所选择的图像效果的某个场景的组合图像。因此，用户可以容易地生 成和欣赏各种图像。
除了上述示例性处理外，如参照图4所描述的，可同时执行显示多个图 像效果的图像的处理。
接下来，将描述图23所示的处理。
这里，将描述用于执行"长时间曝光效果，，的特殊运动图像记录的处理。 首先，在步骤F501， CPU211控制运动图像内容的回放的开始。在步骤 F502, CPU211监视用户的记录开始操作。在步骤F503, CPU211监视运动 图像内容的回放的结束。对于执行记录开始操作之前的时段，CPU 211将正 回放的运动图像内容的图像数据的一帧加载到存储器单元212的帧图像緩冲 区中。
在步骤F505,使用当前暂时存储在存储器单元212的帧图像緩沖区中的 图像数据的各帧当中的、图像数据的最近的帧(步骤F504中加载的图像数据 的帧)和图像数据的预定数目的在前帧，执行组合处理。
在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合
37图像数据GL。
然后，在步骤F506， CPU 211将组合图像数据GL输出到显示控制器214 作为显示数据，以在显示设备220上显示对应于组合图像数据GL的图像。
对于执行记录开始操作之前的时段(在记录待机时段期间)，CPU 211在 每个帧时段执行步骤F504到F506的处理。因此，替代运动图像内容的正常 回放显示，在显示设备20上执行对每帧应用了长时间曝光效果的运动图像回 放显示。
当检测到用户的记录开始操作时，CPU 211从步骤F502进行到步骤 F507,并且重复步骤F509到F512的处理，直到检测到记录结束操作或直到 在步骤F508中检测到回放的结束。
在步骤F509，当前正回放的运动图像内容的图像数据的一帧被加载到存 储器单元212的帧图像緩冲区。
在步骤F510,使用当前暂时存储在存储器单元212的帧图像缓冲区中的 图像数据的各帧当中的、图像数据的最近的帧(步骤F509中加载的图像数据 的帧)和图像数据的预定数目的在前帧，执行组合处理，以生成用于实现长 时间曝光效果的组合图像数据，作为组合图像数据GL。
在步骤F511 ， CPU 211将组合图像数据GL输出到显示控制器214作为 显示数据，以在显示设备220上显示对应于组合图像数据GL的图像。
然后，在步骤F512,组合图像数据GL记录到例如HDD219上，作为形 成运动图像的 一帧的数据。
因此，对于从当执行记录开始操作时到当执行记录结束操作时的时间段， 如图20A所示，使用一条组合图像数据GL作为一帧的数据执行运动图像记 录。
当在步骤F507检测到记录结束操作时，CPU 211返回到步骤F502。然 后，CPU211执行上述待机时段的处理。
此外，当在步骤F503或F508 一企测到回放结束时，CPU 211结束图23
所示的处理。
利用上述处理，实现对当前正回放的运动图像内容应用了长时间曝光效 果的运动图像记录。因此，用户可以创建在现有技术中没有实现的运动图像 内容。
此外，通过回放记录的运动图像，用户可以欣赏具有长时间曝光效果等的运动图像。
图23示出基于长时间曝光效果的特殊运动图像记录的处理。可执行与图 23所示的处理类似的处理，以实现第一帘幕同步效果模式、第二帘幕同步效 果模式或多闪光效果模式下的特殊运动图像记录。例如，在第一帘幕同步效 果模式下，可在步骤F505或F510中的组合处理中生成第一帘幕同步效果的 组合图像数据GS,并且可在步骤F506或F511中提供基于第一帘幕同步效果 的组合图像数据GS的显示。在步骤F512,第一帘幕同步效果的组合图像数 据GS可被记录为运动图像的一帧。
因此，可使用PC200回放运动图像内容，以从运动图像内容创建应用了 如长时间曝光效果的图像效果的静止图像数据或运动图像数据。
在本实施例中，作为示例使用个人计算机作为信息处理装置。使用图像 数据的其他各种信息处理装置(如移动电话、个人数字助理(PDA)、游戏单 元、以及视频编辑器)可以与上述类似的方式执行图像组合。
本发明包含涉及于2008年4月7日向日本专利局提交的日本优先权专利 申请JP 2008-099599所公开的主题，其全部内容通过应用合并于此。
本领域技术人员应当理解，取决于设计需求和其他因素可出现各种修改、 组合、子组合和替代，只要它们在权利要求或其等效物的范围内。
39
权利要求
1.一种图像处理装置，包括图像获取单元，被配置为执行图像获取操作以获取在时间上具有连续性的图像数据的多个帧；存储单元，被配置为暂时存储由图像获取单元在图像获取操作期间获取的图像数据的多个帧的每个；以及算术操作控制单元，被配置为使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，所述组合图像数据用作用于显示的数据。
2. 如权利要求1所述的图像处理装置，其中算术操作控制单元根据记录 操作输入，执行将在记录操作输入时获取的组合图像数据作为静止图像数据 记录到记录介质上的处理。
3. 如权利要求2所述的图像处理装置，其中算术操作控制单元使用对每 个预定时间段存储的图像数据的多个帧当中的包括图像数据的最近的帧的图 像数据的预定数目的帧，生成组合图像数据。
4. 如权利要求3所述的图像处理装置，其中算术操作控制单元通过将相 等的加权系数分配到要经历组合处理的图像数据的各帧来执行组合处理。
5. 如权利要求3所述的图像处理装置，其中算术操作控制单元通过将高 加权系数分配到要经历组合处理的图像数据的各帧当中的图像数据的最近的 帧、而将低加权系数分配到图像数据的剩余的帧，执行组合处理。
6. 如权利要求3所述的图像处理装置，其中算术操作控制单元通过将高 加权系数分配到要经历组合处理的图像数据的各帧当中的图像数据的最旧的 帧、而将低加权系数分配到图像数据的剩余的帧，执行组合处理。
7. 如权利要求3所述的图像处理装置，其中算术操作控制单元通过将高 加权系数和低加权系数周期性地分配到要经历组合处理的图像数据的各帧， 执行组合处理。
8. 如权利要求1所述的图像处理装置，其中算术操作控制单元使用在图 像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处 理，以生成多类组合图像数据，所述生成的多类组合图像数据用作用于显示 的数据。
9. 如权利要求8所述的图像处理装置，其中算术操作控制单元根据记录操作输入，执行将在记录操作输入时生成的多类组合图像数据中的至少一些 作为静止图像数据记录到记录介质上的处理。
10. 如权利要求1所述的图像处理装置，其中算术操作控制单元使用在 图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合 处理，以生成组合图像数据，并且将生成的组合图像数据作为形成运动图像 的 一 帧的图像数据记录到记录介质上。
11. 如权利要求IO所述的图像处理装置，其中算术操作控制单元使用记 录的组合图像数据作为用于显示的数据。
12. 如权利要求1所述的图像处理装置，其中图像获取单元包括图像捕 获单元，其被配置为执行图像捕获操作以获取在时间上具有连续性的图像数 据的多个帧。
13. 如权利要求1所述的图像处理装置，其中图像获取单元包括回放单 元，其被配置为执行回放操作以获取在时间上具有连续性的图像数据的多个帧。
14. 如权利要求1所述的图像处理装置，其中图像获取单元包括接收单 元，其被配置为执行接收操作以获取在时间上具有连续性的图像数据的多个帧。
15. 如权利要求1所述的图像处理装置，还包括显示单元，被配置为显示基于由算术操作控制单元生成的组合图像数据的图像。
16. 如权利要求1所述的图像处理装置，还包括发送单元，被配置为发 送由算术操作控制单元生成的组合图像数据。
17. 如权利要求1所述的图像处理装置，其中算术操作控制单元使用对 每个预定时间段存储的图像数据的多个帧当中的包括图像数据的最近的帧的 图像数据的预定数目的帧，生成组合图像数据，并且使用生成的组合图像数 据作为用于显示的数据。
18. —种图像处理方法，包括下述步骤 获取在时间上具有连续性的图像数据的多个帧； 暂时存储多个所获取的图像数据帧的每个；使用多个顺序存储的图像数据帧执行图像组合处理，以生成组合图像数 据；以及输出组合图像数据作为用于显示的数据。
19. 一种用于使得计算机执行图像处理方法的程序，所述图像处理方法包括下述步骤获取在时间上具有连续性的图像数据的多个帧； 暂时存储多个所获取的图像数据帧的每个；使用多个顺序存储的图像数据帧执行图像组合处理，以生成组合图像数 据；以及输出组合图像数据作为用于显示的数据。
全文摘要
一种图像处理装置，包括图像获取单元，被配置为执行图像获取操作以获取在时间上具有连续性的图像数据的多个帧；存储单元，被配置为暂时存储由图像获取单元在图像获取操作期间获取的图像数据的多个帧的每个；以及算术操作控制单元，被配置为使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，所述组合图像数据用作用于显示的数据。
文档编号H04N5/232GK101557468SQ200910133078
公开日2009年10月14日 申请日期2009年4月7日 优先权日2008年4月7日
发明者牧井达郎 申请人:索尼株式会社