摄像设备及其控制方法

专利名称：摄像设备及其控制方法
技术领域：
本发明涉及一种摄像设备及其控制方法。更具体地，本发 明涉及一种用于在记录介质上记录利用摄像单元所捕获的图像 数据的摄像设备和该摄像设备的控制方法。
背景技术：
传统数字照相机将利用电荷耦合装置(C C D)等图像传感器 所捕获的图像的图像信号转换成数字信号，将数字信号处理成 包括亮度信号和色差信号的数字视频信号，然后将数字视频信 号压缩成联合图像专家组(JPEG)编码的图4象数据，并且将压缩 的图像数据记录在记录介质上。近年来，数字照相机中的传统 图像传感器具有10，000，000像素或更高的高分辨率。
同时，传统数字照相机在读取图像信号时可以跳过读取其
图像传感器的一些水平行和垂直行来读取图像信号，并且高速 将所读取的图像信号记录为运动图像。此外，近年来，传统数
字照相机具有两种图像捕荻模式，即静止图像捕获模式和运动 图像捕获模式。用户可以在这两种图像捕获模式之间进行切换。 近年来，如在日本特开2004-201282号公报中所讨论的，在 运动图像的记录的同时，可以捕获静止图像。日本特开 2004-201282号公报中所讨论的方法减少了下面的现象的发生 在运动图像的记录的同时捕获静止图像的情况下，可能将基于 运动图像捕获模式中所捕获的图像数据所生成的压缩的运动图 像数据文件跨静止图像文件分割成两个文件，其中，中断了运 动图像捕获模式以开始捕获静止图像。更具体地，日本特开 2004-201282号公报中所讨论的方法如下来减少分割运动图像数据文件的现象，即通过使用位于紧挨在静止图像捕获时段 之前的运动图像数据的一个帧作为替代帧，并且连续一段时间 将同一替代帧存储在运动图像数据文件中，连续存储的时间长 度与捕获静止图像的时段相同。
此外，特开2004-201282号公报讨论了这样一种方法，该方 法用于将恢复为了开始捕获静止图像而一度被中断的摄像单元 的运动图像捕获处理的定时与中断前所进行的运动图像捕获处 理中的捕获运动图像帧的周期同步。另外，日本特开2003-8948 号公报讨论了 一种使用特殊图像数据或无显示图像(solid image)作为替代丟失的运动图像帧的替代帧。
然而，在上述传统方法中，由于这些方法对黑图像(黑视图 ^f象blackout image)或^齐^帧(定才各图1象stop motion image)进 行复制，并将该黑图像或替代帧插入运动图像数据文件中，因 而运动图像数据文件的文件大小可能变大。
此外，在上述传统方法中，当将相同定格图像输入图像编 解码器中时，参考图像的质量可能变得低于输入图像。因此， 压缩比可能不会如期望的高。

发明内容
本发明涉及一种摄像设备，该摄像设备能够降低在被中断 以开始捕获静止图像的运动图像记录处理的中断期间所插入的 运动图像数据的大小，从而降低将图像数据写到记录介质上的负荷。
根据本发明的一个方面， 一种摄像设备，用于将由摄像单 元所捕获的图像数据记录在记录介质上，所述摄像设备包括 运动图像捕获控制单元，用于对用于将通过所述摄像单元的连 续图像捕获操作所获得的运动图像记录在记录介质上的运动图像捕获操作进行控制；以及静止图像捕获控制单元，用于对用 于将通过所述摄像单元的图像捕获操作所获得的静止图像作为 静止图像文件记录在记录介质上的静止图像捕获操作进行控
制；其中，响应于正在进行所述运动图像捕获操作时用以开始
所述静止图像捕获操作的输入指令，所述静止图像捕获控制单 元对所述静止图像捕获操作进行控制，以将所述静止图像文件 记录在记录介质上，所述运动图像捕获控制单元中断所述运动 图像捕获操作，生成如下运动图像并将所生成的运动图像记录
在所述记录介质上在所述运动图像中，插入差异信息为0的帧 间压缩图像作为至少 一 个用于替代与中断所述运动图像捕获操 作的时段相对应的运动图像的图像。
通过以下参考附图对典型实施例的详细iJt明，本发明的其 它特征和方面将显而易见。


包括在说明书中并构成说明书的一部分的附图，示出了本 发明的典型实施例、特征和方面，并与说明书一起用来解释本 发明的原理。
图l示出根据本发明的典型实施例的数字照相机的结构的
例子；
图2是示出根据本发明的典型实施例在运动图像记录操作 期间所进行的用于捕获静止图像的处理的例子的流程图3是示出根据本发明的典型实施例在进行静止图像捕获 操作时所进行的用于生成运动图像文件的处理的例子的流程 图4A~ 4D示出根据本发明的典型实施例在运动图像记录 操作期间进行静止图像捕获操作时所进行的序列；图5示出根据本发明的第一典型实施例在运动图像记录操
作期间进行静止图像捕获操作的情况下的运动图像文件的数据
结构的例子；
图6是示出根据本发明的第二典型实施例在进行静止图像 捕获操作的情况下用于生成运动图像文件的处理的例子的流程 图7示出根据本发明第二典型实施例在运动图像记录操作 期间进行静止图像捕获操作的情况下的运动图像文件的数据结 构的例子；
图8是示出根据本发明的第三典型实施例在进行静止图像 捕获操作的情况下用于生成运动图像文件的处理的例子的流程 图9示出根据本发明的第三典型实施例在运动图像记录操 作期间进行静止图像捕获操作的情况下的运动图像文件的数据 结构的例子；
图IO是示出根据本发明的第四典型实施例在进行静止图 像捕获操作的情况下用于生成运动图像文件的处理的例子的流 程图ll示出根据本发明的第四典型实施例在运动图像记录 操作期间进行静止图像捕获操作的情况下的运动图像文件的数 据结构的例子。
具体实施例方式
这里将参考附图详细说明本发明的各种典型实施例、特征 和方面。应该注意，除非特别说明，否则，这些实施例中所拔: 出的组件的相对布置、数值表达式和数值不是旨在限制本发明
的范围。第一典型实施例
下面说明本发明的第一典型实施例。图l示出根据典型实 施例的用作摄像设备的数字照相机1 0 0的结构的例子。
参考图l，摄影镜头6包括一个或多个透镜元件。曝光控制
单元8包括光圏和快门，并根据被摄体的亮度水平调整曝光水 平。用作摄像单元的图像传感器10包括电荷耦合装置(C C D)传 感器或互补金属氧化物半导体(CMOS)传感器，并具有数百万像 素的分辨率。图像传感器10输出通过捕获图像所获得的各颜色 成分的模拟图像信号。
模拟-数字(A/D)转换器12将来自图像传感器10的模拟信号 转换成数字信号。动态随机存取存储器(DRAM)14临时存储来 自A / D转换器12的数字图像信号，并临时緩冲信号处理的图像 数据或压缩的图像数据(后面将详细说明该处理)。设置有存储 器控制器(未示出)以将数据写到DRAM 14上和从DRAM 14读取 数据。
信号处理单元16将通过A/D转换器12所获得的数字图像信 号转换成亮度信号和色差信号以生成Y U V数据。图像编解码器 单元18将来自信号处理单元16的YUV数据压缩成JPEG或运动 图像专家组(MPEG)图像数据，或者将JPEG或MPEG压缩的图像 数据解压缩成YUV数据。
记录介质接口 20将压缩的图像数据写到闪存 (CompactFlash, CF)卡或安全数字(Secure Digital, SD)卡并从 闪存卡或安全数字卡读取压缩的图像数据。记录介质21包括CF 卡或SD卡等可移动记录介质。可以使用可随机存取的任何记录 介质作为记录介质21。例如，可以使用数字多功能光盘(DVD) 等光盘或硬盘作为记录介质21。
显示单元22包括彩色液晶显示器(LCD)。显示单元22可以用于基于所捕获的图像进行取景器显示或查阅显示(review display),并用于再现和显示解压缩的图像。显示单元22包括用 于将视频信号输出给电视机等外部显示设备的输出端子。
调整大小单元(resizing unit) 24将从信号处理单元16输出 的YUV数据的大小调整成任意确定的大小。中央处理单元 (CPU)26控制上述各处理单元和数据流(后面将详细说明)。
只读存储器(ROM)27存储用于CPU 26的处理的程序、各种 信息和数据。更具体地，ROM 27存储后面将详细说明的MPEG 编码后的黑视图像(blackout image )数据、跳过的宏块图像数 据 (skipped macroblock image data) 和伪快门声骨 (pseudo shutter sound)的WAVE数据。图像传感器IO、 A/D转换器12、 DRAM 14、信号处理单元16、调整大小单元24、图像编解码器 单元18、记录介质接口20、显示单元22、 CPU 26和ROM 27通 过系统总线33相互进行通信。
此外，在各单元与DRAM 14之间设置直接存储器存取 (I)MA)控制器(未示出)，DMA控制器用于DMA数据传送，而 不需要使用CPU 26的数据传送。而且，在A/D转换器12和信号 处理单元16之间、在信号处理单元16和图像编解码器单元18之 间、以及在信号处理单元16和调整大小单元24之间设置用于直 接传输数据的路径(未示出)，而不需要使用CPU 26或DMA控制 器的数据传送。
音频处理单元2 8记录和再现音频数据。在记录音频数据 中，可以使用麦克风30来输入音频数据。扬声器32可以再现记 录的音频数据。音频处理单元28对音频数据进行A/D和数字-模 拟(D/A)转换处理，并记录和再现音频数据。
操作单元23包括各种按钮和释放开关23a和运动图像记录 开关23b等拨盘开关。用户可以操作释放开关23a以生成用于启
ii动捕获静止图像的指令。用户可以操作运动图像记录开关23b 以生成用于启动或中断(停止)运动图像记录处理的指令。
下面说明根据典型实施例的运动图像捕获操作。在本典型 实施例中，CPU 26具有运动图像捕获控制功能。即，CPU 26 对图l中的各单元进行控制，以进行运动图像记录操作。
通过摄影镜头6的光束到达包括光圏和快门的曝光控制单 元8。曝光控制单元8控制光束的曝光。然后，光束到达图像传 感器10以形成图像。在运动图像捕获模式中，快门(曝光控制单 元8的机械组件)打开，并且曝光控制单元8的光圏控制曝光。图 像传感器IO对被摄体图像进行光电转换。图像传感器IO将模拟 图像信号发送给A/D转换器12。
A / D转换器12将所接收的模拟图像信号转换成数字图像信 号。A / D转换器12通过系统总线3 3将数字图像信号传送给信号 处理单元16。在运动图像捕获模式中，不是从图像传感器10读 取所有1象素。即，才艮据记录帧频读耳又在水平方向和垂直方向上 稀疏(thin out)后的^f象素，/人而降^[氐调整大小单元24的负荷。 信号处理单元16根据运动图像捕获模式进行水平和垂直方向上 的滤波处理、光圏校正处理和伽马校正处理。然后将这样处理 后的图像信号传送给调整大小单元24。
调整大小单元24将图像信号的大小调整成视频图形阵列 (Video Graphics Array , VGA)格式大小(640(水平)x480(垂直) 行)，并将调整大小后的图像信号传送给DRAM 14。然后将存 储在DRAM 14上的VGA图像数据传送给显示单元22,以在电视 机(未示出)或数字照相机100的LCD上显示为直通图像(through image)。在本典型实施例中，将直到进行显示处理时的数字照 相机10 0的状态称为"运动图像捕获准备状态"。
当用户在运动图像捕获准备状态中按下操作单元23的运动图像记录按钮23b时，CPU 26对各单元进行控制，以启动运 动图像记录操作。
即，与利用图像编解码器单元18将DRAM 14上的VGA图像 数据转换成MPEG数据并行地，音频处理单元28将通过麦克风 30所捕获的音频数据转换成WAVE音频数据。然后，CPU 26向 MPEG数据和WAVE数据添加头，以生成音频视频交织(Audio Video Interleaving, AVI)运动图傳j史据文^f牛。然后通过记录介 质接口 20将这样生成的运动图像文件记录在记录介质21上。运 动图像记录处理继续直到用户再次按下运动图像记录开关2 3 b 为止。
以下，在本典型实施例中，将包括运动图像捕获准备状态 和运动图像记录状态这两种状态的状态称为"运动图像捕获操 作状态"。记录运动图像文件的格式不局限于AVI格式。即， 可以使用MOV格式或MPEG格式记录运动图像数据。此外，可 以使用压缩的音频数据。
下面说明根据本典型实施例的静止图像捕获操作。在本典 型实施例中，CPU26具有静止图像捕获控制功能。即，CPU 26 对图l中的各单元进行控制，以进行静止图像捕获操作。
在静止图像捕获准备状态下，处理基本上类似于在上述运 动图像捕获准备状态下所进行的处理。因此，将利用图像传感 器10所捕获的图像的直通图像显示在显示单元22上。
操作单元23的释放开关23a包括两级开关。当用户半按下 释放开关23a时，接通开关SW1。当用户完全按下释放开关23a, 则接通开关SW2。当开关SW1接通时，数字照相机100切换到图 像捕获准备状态。当开关SW2接通时，数字照相机100切换到静 止图像捕获操作状态。
更具体地，在开关SW1接通的图像捕获准备状态下，CPU26进行进行静止图像捕获操作所需的自动调焦(AF)处理和自动 测光(自动曝光AE)处理。当用户按下开关SW2，并因此数字 照相机10 0从准备状态切换到静止图像捕获工作状态时，关闭第 一帘幕电子快门，然后中断从图像传感器10读取图像信号，然 后数字照相机10 0将图像传感器10的模式切换到曝光模式。然 后，CPU 26根据基于图像捕获准备状态下的被摄体的亮度水平 计算出的曝光设置值，设置光圈值。然后，CPU26在清除图像 传感器10上的残余电荷后所以计算出的快门速度打开和关闭快 门。
当快门完全关闭时，CPU 26将图像传感器10的模式从曝光 模式切换到读取模式。在读取模式中，CPU26读取多个场中的 所有像素的数据。
A/D转换器12将这样所读取的信号转换成数字信号。然后， CPU 26通过系统总线33将RAW数据从A/D转换器12传送给 DRAM 14。当完成了从图像传感器10的读取时，CPU26启动显 影处理。
在显影处理中，CPU 26从DRAM 14读取RAW数据，并将 所读取的数据传送给信号处理单元16。信号处理单元16在静止 图像捕获模式中进行水平/垂直滤波处理、光圏校正处理和伽马 校正处理。在进行这些处理之后，CPU 26将这样生成的YUV数 据传送给图像编解码器单元18。图像编解码器单元18将所接收 的YUV数据转换成JPEG数据。然后，图像编解码器单元18将 JPEG数据写到DRAM 14上。
显影处理包括从用于从DRAM 14读取RAW数据的处理开 始到用于将JPEG数据写到DRAM 14上的处理为止的处理。
将这样所生成的静止图像数据(JPEG数据)写到记录介质 21上，作为静止图像文件。还将正经过显影处理的来自信号处理单元16的YUV数据传送给调整大小单元24。调整大小单元24 将所接收的YUV数据的大小调整成与VGA大小 一样的大小，以 显示查阅图像。然后，CPU26将调整大小后的数据写到DRAM 14上。在完成显影处理后，CPU 26将VGA大小的YUV数据传送 给显示单元22,以显示图像捕获时用于确认的查阅图像。将所 传送的YUV数据作为查阅图像显示在电视机或数字照相机100 的LCD上。
如上说明了根据本典型实施例的运动图像捕获操作和静 止图像捕获操作。此外，数字照相机100可以在运动图像记录操 作期间捕获静止图像。即，数字照相机100可以与运动图像记录 处理并行地进行静止图像捕获处理和静止图像记录处理。下面 参考图2所示的流程图说明CPU 26所进行的、用于在运动图像 记录处理期间捕获静止图像的处理。
参考图2，在步骤S200, CPU 26根据上述运动图像捕获操 作捕获运动图像，并且记录所捕获的运动图像。即，在步骤 S200,用户按下操作单元23的运动图像记录开关23b, CPU 26 根据用户按下运动图像记录开关23b来生成AVI文件(运动图 像)，并将其记录在记录介质21上。
在步骤S202, CPU 26监视并判断在运动图像的记录期间用 户是否按下了释放开关2 3 a的半按下检测开关S W1 。如果在步骤 S202判断为开关SW1断开(步骤S202为"否")，贝'J CPU 26继续运 动图像记录操作。
当用户半按下释放开关23a从而开关SWl接通时，处理进入 步骤S204。在步骤S204, CPU 26与运动图像的记录并行地进行 静止图像捕获准备处理(AF处理和AE处理)。
在步骤S206, CPU 26监视开关SW1以判断用户是否按下了 开关SWl(用户是否半按下了释放开关23a)。如果在步骤S206判断为开关SW1接通(步骤S206为"是")，则CPU 26继续AF处理和 AE处理。另一方面，如果在步骤S206判断为开关SW1断开(步 骤S206为"否")，则CPU26结束静止图像捕获准备操作。在这种 情况下，CPU 26返回到步骤S202以继续运动图像记录处理。
当开关SW1接通且完成了静止图像捕获准备处理时，处理 进入步骤S208。在步骤S208, CPU 26监视开关SW2以判断用户 是否完全按下了释放开关23a(开关SW2是否接通)。
如果在步骤S208判断为开关SW2断开且开关SW1接通(步 骤S208为"否")，则CPU 26继续AF处理和AE处理。另一方面， 如果在步骤S208判断为开关SW2接通(步骤S208为"是")，则处 理进入步骤S210。在步骤S210， CPU 26进行静止图像捕获操作。
步骤S210中的静止图像捕获操作基本上类似于上述静止 图像捕获操作。步骤S210中的静止图像捕获操作与上述静止图 像捕获"t喿作的不同点在于在步骤S210, CPU26临时中断运动 图像的记录以在运动图像的记录期间捕获静止图像。此时，CPU 26切换图像传感器10的驱动模式。因此，CPU26不能基于运动 图像生成运动图像帧。
在本典型实施例中，插入替代帧和跳过的宏块图像来替代 丢失的运动图像帧。后面将参考图3所示的用于在捕获静止图像 的同时生成运动图像文件的处理的流程图，详细说明用于插入 替代帧和跳过的宏块图像的处理。
当完成了静止图像捕获操作时，然后在步骤S212, CPU 26 进行用于已被中断的运动图像捕获操作的准备操作。在步骤 S214 ， CPU 26返回到步骤S200以再次进行运动图像捕获操作。
现参考图3的流程图说明用于生成运动图像文件的处理。 基本上与静止图像捕获操作并行地进行图3中的处理。
参考图3,如果在步骤S208判断为开关SW2接通(步骤S208为"是")，则开始步骤S301中的处理。在步骤S301, CPU 26中 断运动图像捕获操作，并开始该处理。
在步骤S302， CPU 26开始计数黑视图像的数量N1，其被 先前设置为与中断运动图像捕荻操作以捕荻静止图像的时段相 对应的值。这里，将数量Nl的初始值i设置为1。
在步骤S303，为了插入黑视图像和跳过的宏块图像作为运 动图像帧中的第一替代帧，CPU 26判断替代帧是否是图片组 (group of picture, GOP)的第一帧。
如果在步骤S303判断为替代帧是GOP的第 一帧(步骤S303 为"是，，)，则处理进入步骤S304。在步骤S304， CPU26输出已 被图像编解码器单元1 8编码的黑视图像I帧。
另 一方面，如果在步骤S303判断为替代帧不是GOP的第一 帧(步骤S303为"否")，则处理进入步骤S305。在步骤S305, CPU 26判断是否值i-l 。如果在步骤8305判断为值〖=1(步骤S305 为"是，，)，则处理进入步骤S306。在步骤S306, CPU26输出已 被图像编解码器单元18编码的黑视图像P帧。
如果在步骤S303判断为替代帧不是GOP的第 一帧(步骤 S303为"否")，并且在步骤S305判断为i # 1(步骤S305为"否")， 则处理进入步骤S307。在步骤S307, CPU26输出跳过的宏块图 像(SMB图像)。
这里，"I帧，，是指作为关键帧的帧内编码帧。此外，"P帧" 是指作为差异帧(包括B帧)的预测帧。"黑视图像"是无显示黑 MPEG数据(solid black MPEG data )。因为黑视图像是MPEG压 缩的无显示黑图像，因而黑视图像的数据大小非常小。
这里，S M B图像是包括关于帧间的差异的信息的帧间编码 的(压缩的)图像。例如，SMB图像是运动矢量为O的图像。SMB 图像的数据大小非常小。即，例如，如果被调整成VGA大小，则SMB图像的大小约数十字节。这里提及的SMB图像是存储在 ROM 27(图1)上的SMB图像27b。以VGA大小对SMB图像27b进 行MPEG编码。
从ROM 27读取SMB图像27b，然后将其插入运动图像文件 (AVI数据)作为第 一替代帧。
如果定格图像(后面说明)为P帧，则由于在这种情况下需要 黑视图像作为参考帧，所以CPU26利用图像编解码器单元18生 成黑视图像。
图5示出根据典型实施例在运动图像的记录期间捕获静止 图像的同时所记录的运动图像文件的结构的例子。
参考图5，在生成编号为8的帧的定格图像P帧时，需要获 取和使用关于编号为7的帧的信息。同样，对于编号为7的帧， 需要获取和使用关于编号为6的帧的信息。相似地，对于编号为 6的帧，需要获取和使用关于编号为5的帧的信息，并且对于编 号为5的帧，需要获取和使用关于编号为4的帧的信息。
因此，由于在生成编号为8的帧的定格图像P帧时需要获取 和使用关于编号为4的帧的信息，因而CPU 26利用图像编解码 器单元18生成编号为4的帧的黑视图像P帧。可选地，CPU26为 了利用图像编解码器单元18生成定格图像P帧，临时存储关于 编号为4的帧的信息。
由于编号为5 ~ 7的帧是SMB图像27b,因而CPU 26使用关 于编号为4的帧的信息而不使用关于编号为7的帧的信息，生成 编号为8的帧。
在定格图像是I帧的情况下，不需要黑视图像作为参考帧。 因此，在这种情况下，图像编解码器单元18不生成黑视图像。 此外，在这种情况下，CPU26从ROM27读取MPEG编码的黑视 图像27a(图1)，并且将所读取的黑视图像27a插入运动图像文件(AVI数据)中，作为第一替代帧。可选地，CPU26可以生成黑一见 图像27a,而不是从ROM 27读取MPEG编码的黑视图像27a。
第 一 替代帧的长度(时段)等于照相机绿色模式(自动模式) 下的最大曝光时间，约为1/8秒(125毫秒)。在以30帧/秒的速度 捕获运动图像的情况下，1/8秒中的帧的数量为4。
因此，CPU 26向AVI文件中插入一个黑视图像27a(从ROM 2 7读取的)(或利用图像编解码器单元18生成的 一 个黑视图像) 和三个SMB图像27b。这里，CPU26可以插入包括"捕获静止图 像..."等消息的图像，替代黑视图像。
在步骤S308, CPU 26判断黑视图像的数量是否达到了值 Nl 。如果在步骤S308判断为黑视图像的数量没有达到值N1 (步 骤S308为"否")，则处理进入步骤S309。在步骤S309, CPU 26 将值i递增，然后返回到步骤S303。另一方面，如果在步骤S308 判断为黑视图像的数量达到了值N1 (步骤S308为"是")，则处理 进入步骤S310。
在步骤S310， CPU 26从ROM 27读取伪快门声音数据 27c(图1),并将所读取的伪快门声音数据27c插入运动图像文件 (AVI文件)中，作为音频数据。另外，在步骤S310, CPU 26将 伪快门声音数据27c输出给音频处理单元28，以利用扬声器32 再现伪快门声音数据27。设置伪快门声音数据27c的时间长度基 本上与上述黑视图像数据的时间长度相同。
此时，如果伪快门声音数据27c突然替换了通过麦克风30 所记录的音频数据，则音频数据的突然替换可能导致生成高频 分量，并且可能由于混叠而生成噪声数据。
在这点上，在利用伪快门声音数据27c替代音频数据的时 段中(即，在利用扬声器32再现伪快门声音数据27c的时段中)， 音频处理单元28不检测音频信息(使待再现的音频数据静音)。然后，CPU 26在静音后的音频数据上插入伪快门声音数据27c。 因此，可以将高质量的伪快门声音数据27c插入音频数据，而不 会生成可能由于混叠而产生的高频噪声。
在步骤S 3 11, C P U 2 6等待直到完成上述静止图像捕获操作 中的静止图像显影处理为止。当静止图像显影处理完成时，处 理进入步骤S312。
在静止图像显影处理完成之后，CPU26利用图像编解码器 单元18对显影后的静止图像进行JPEG编码，如步骤S210(图2) 中的处理一样，并且基于JPEG编码的数据生成一个静止图像文 件。将这样生成的静止图像文件与运动图像文件分开存储在记 录介质21上。
与上述处理并行、或在上述处理完成之后，在步骤S312, CPU 26基于显影后的静止图像，利用调整大小单元24生成VGA 大小的查阅图像。然后，CPU 26开始计数定格图像的数量N2。 这里，数量N2的初始计数值j为1。
在步骤S313， CPU 26判断替代图像(定格图像)是否是GOP 的第 一 帧。如果在步骤S313判断为替代图像是GOP的第 一 帧(步 骤S313为"是")，则在步骤S314， CPU 26利用图像编解码器单 元18将查阅图像数据编码成定格图像I帧，并输出定格图像I帧。
另 一方面，如果在步骤S313判断为替代图像不是GOP的第 一帧(步骤S313为"否")，则处理进入步骤S315。在步骤S315, CUP 26判断是否值」'=1。如果在步骤S315判断为值j = l(步骤 S315为"是")，则处理进入步骤S316。在步骤S316， CPU 26利 用图像编解码器单元18将查阅图像数据编码成定格图像P帧， 并输出定格图像P帧。
另 一 方面，如果在步骤S3 13判断为替代帧不是GOP的第一"否")，则处理进入步骤S317。在步骤S317, CPU26输出SMB图像。
在步骤S318， CPU 26判断值j是否达到了定格图像的数量 N2。如果在步骤S31 8判断为值j没有达到定格图像的数量N2(步 骤S318为"否")，则处理进入步骤S319。在步骤S319, CPU 26 将j值递增，然后返回到步骤S313。另一方面，如果在步骤S318 判断为值j达到了定格图像的数量N2(步骤S318为"是")，则处理 进入步骤S320。在步骤S320,处理进入步骤S212(图2)。
VGA大小的编码的图像(定格图像)是第二替代帧数据。 CPU 26使用数量等于在显影处理时段期间记录被中断的运动 图像帧的数量的SMB图像或定格图像，利用与黑视图像(第一替 代帧)连续的第二替代帧对AVI文件进行插值。即，CPU26向AVI 文件中插入第二替代帧适当次数。
在插入第二替代帧的时段期间，在利用音频处理单元28基 于通过麦克风30所输入的音频数据生成WAVE数据之后，CPU 26将音频数据插入AVI文件。即，当再现AVI文件时，在中断运 动图像记录以捕获静止图像的时段中的第 一替代帧的黑视图像 时段期间，再现包括伪快门声音数据2 7 c和所记录的音频数据的 组合的音频数据。在第二替代帧的定格图像时段中，再现与在 静止图像捕获操作期间实际捕获的静止图像相对应的帧，并且 还再现在第二替代帧的定格图像时段期间所记录的音频数据。
在步骤S320，如上所述，CPU 26返回到步骤S212(图2), 并准备恢复运动图像捕获操作。更具体地，在步骤S212, CPU 26 切换图像传感器10的模式以读取运动图像，将信号处理单元16、 调整大小单元24和图像编解码器单元18的设置切换成用于处理 运动图像的设置，并且切换数据路径。在步骤S214， CPU26返 回到步骤S200以再次开始运动图像捕获操作，从而连续进行待记录的运动图像的捕获。
图4A ~ 4D示出运动图像的记录期间所进行的用于捕获静 止图像的序列。更具体地，图4A示出图像捕获操作期间切换数 字照相机100的操作状态的序列。图4B示出图像捕获操作期间 用于改变在显示单元22上显示的直通图像(through image)的 序列。图4C示出与图像捕获操作和图像记录操作的序列相对应 的用于记录所生成的运动图像文件(AVI文件)的状态。即，图4C 示出在再现运动图像文件(AVI文件)时用于改变在数字照相枳j 100的LCD或电视机的监视器上显示的图像的序列。图4D示出 用于将所生成的AVI文件写到记录介质21上的假定时序。
如后面更加详细的说明的，运动图像捕获操作和静止图像 捕获操作中用于将图像数据记录在记录介质21上的处理与图 4A中的时序不一致。这里，在图4A 4D的各图中，从各图的 最左部分到释放开关23a的开关SW1接通的定时的时段表示正 在进行运动图像捕获操作。
参考图4A,时段S400对应于正在进行运动图像捕获操作的 时段。当在时段S400期间正在捕获运动图像的同时，在时段 S418(图4B), CPU 26将所捕获的运动图像的直通图像显示在显 示单元22上，在时段S428(图4C)， CPU 26将运动图像和音频数 据记录为运动图像文件。
在从接通开关S W1的时刻开始到接通开关S W 2的时段为止 的时段S402(图4A), CPU 26在捕获运动图像并记录所捕获的运 动图像的同时，进行静止图像捕获准备处理(AF处理和AE处 理)。
在时段S420(图4B)， CPU 26将在静止图像捕获准备操作中 所进行的AE处理和AF处理的序列期间所捕获的运动图像显示 在显示单元22上。在时段S430(图4C)， CPU26将在静止图像捕获准备操作中所进行的AE处理和AF处理的序列期间所捕获的 运动图像记录为运动图像文件。
这里，在冲妄通开关SW2之前的时段，图4A、 4B和4C中的 定时相互一致。然而，在接通开关SW2之后，图4A、 4B和4C 中的时序相互一致。下面说明接通开关SW2之后进行的序列。
在时段S404(图4A),在接通开关SW2之后图像传感器10的 模式立即被改变。更具体地，图像传感器10的模式被从运动图 像读取模式切换到静止图像曝光模式。随后的时段S406(图4A) 是静止图像的曝光时段。在本典型实施例中，对于曝光时段， CPU 26在1/2000秒~1/8秒的范围中可变地控制被摄体图像的曝 光。
在曰于段S408(图4A), CPU 26从图像传感器10读取多个场中 的静止图像的所有像素。该读取处理需要约300毫秒时间。
在时段S410(图4A), CPU 26对静止图<象进4亍显影处理。显 影处理包括从DRAM 14读取RAW数据和将JPEG编码的数据写 到DRAM 14上。
在时段S412(图4A)， CPU26生成查阅图像。这里，CPU 26 利用调整大小单元24将从信号处理单元16传送的具有上述内容 的YUV数据调整成VGA大小。此外，CPU26将调整大小后的图 像作为查阅图^f象写到DRAM 14上。
在与时段S422相对应的时段S404 ~ S412期间(图4B中的黑 视时段)，CPU 26在显示单元22上显示黑视图像(无显示图像)。
显示黑一见图像以清楚地通知用户数字照相机100当前正 在捕获静止图像，并且对所捕获的静止图像进行显影处理。更 具体地，在S404 S412的日于段，CPU26显示不同于EVF直通图 像的无显示图像。即，这里所显示的图像与在正常静止图像捕 获操作中所显示的图像相同。在时段S414(图4A)， CPU 26基于在时,殳S412中生成的查阅 图像，生成待插入运动图像文件中的第二替代帧的数据。在时 段S414， CPU 26利用图像编解码器单元18将VGA大小的YUV 压缩成MPEG凝:据。此外，CPU 26插入SMB图傳J乍为丟失的运 动图像帧的替代帧，并且生成包括此时所获得的音频数据的运 动图像文件。
在与时I殳S414(图4A)相对应的时段S424(图4B), CPU 26在 显示单元22上显示查阅图像。
在时段S432(图4C), CPU 26利用黑视图像和SMB图像(无 显示图像)对运动图像文件的记录期间捕获静止图像时从 S 4 04 (用于改变图像传感器10的模式的时段)到S 4 0 6 (曝光期)的 时段进行插值。
曝光时间可以基于被摄体的亮度水平而变化。在本典型实 施例中，将黑视时段S432设置成最大曝光时间(即，50 + 80 = 130 毫秒)。CPU 26在时段S432期间插入伪快门声音数据。
在时段S434(图4C) ， CPU 26插入基于在时I殳S412中所生成 的查阅图像所生成的替代帧数据和SMB图像，以替代丟失的运 动图像帧。时段S434是运动图像文件定格时段。时段S434在黑 视(第一替代帧)时段之后立即开始，并且在返回到运动图像捕 获操作之前结束。
CPU 26在捕获静止图像之后进行下面的序列。在时段 S416(图4A), CPU 26恢复运动图像捕获操作。在时段S426(图 4B), CPU 26再次在显示单元22上显示运动图像的直通图像。 在时段S436(图4C)， CPU 26将运动图像记录在运动图像文件 中。
通常，静止图像捕获操作期间的快门的实际操作包括打开 关闭的快门。为了在运动图像文件上显示静止图像捕获操作，需要按照以下顺序进行操作"运动图像—关闭快门—显示静止 图像定格图像—关闭快门—打开快门4运动图像"。
然而，在运动图像捕获操作期间，在记录运动图像中，在 用户识别出静止图像定格图像之后返回到运动图像捕获操作是 更为有用的。因此，序列"运动图像—关闭快门—显示静止图像 定格图像—运动图像"最有用，而不是在显示静止图像定格图像 之后进行快门关闭/打开操作。
关于快门的关闭，尽管插入黑视图像作为替代帧和SMB图
像，但是将定格图像显示预定的固定时长是有用的。
此外，在用于显示定格图像的时段中，用户确认所捕获的 图像。然而，如果将定格图像显示过长时段，则可能阻碍运动 图像捕获操作。因此，显示定格图像第二预定时长是有用的。
这里，考虑到数字照相机100的平稳操作，将第二预定时长设置 为用于处理静止图像的时段(恢复捕获运动图像之前的时段)的 长度是有用的。
即，在运动图像捕获操作被中断的时段期间，利用静止图 像定格图像替代除替代帧外的黑视图像的帧。
在本典型实施例中，基于上述原因，将运动图像记录操作 期间所捕获的静止图像作为定格图像显示约600毫秒的时段。
现参考图4D说明用于将图像记录在记录介质21上的处理。 在本典型实施例中，运动图像AVI文件具有每隔一秒设置浮见频 数据和音频数据的数据结构。CPU26基于DRAM 14的AVI緩沖 区域中的AVI数据生成运动图像文件，并且将用以生成AVI文件 的所生成的运动图像文件写到记录介质21上。
在时段S440(图4D), CPU 26将在运动图像捕获操作中所生 成的AVI数据写到记录介质21上。时段S442(图4D)是在接通开 关SW1的定时之后用于运动图像的记录的时段。正如在时段S440中一样，CPU 26在时段S442中还继续记录运动图像AVI文 件。在接通开关SW2的定时，即，在中断从图像传感器10读取 运动图像和生成运动图像AVI数据的定时，不结束时段S442。
这是因为在该定时，AVI数据仍剩余在DRAM 14的AVI 緩冲区域中，因此CPU 26继续将剩余在AVI緩沖区域中的AVI 数据写到记录介质21上。
在将AVI緩冲区域中的数据完全写到记录介质21上的定 时，序列从时段S442进入到时段S444(图4D)。在时段S444(图 4D), CPU 26将与黑视时段(时段S432)相对应的黑视图像数据和 SMB图像数据写到记录介质21上。
在接通开关S W 2之后立即生成用于显示黑视图像的AVI数 据。因此，CPU 26可以在写完保持在AVI緩冲区域中的AVI数据 之后立即写用于显示黑视图像的AV I数据。
此外，如果将数据写到记录介质21上的速度足够高以与生 成AV I文件基本上相同的时间写AV I数据，则没有数据残留在 AVI緩冲区域中。因此，CPU 26可以在接通开关SW2之后，在 时段S444中立即写包括黑视图像数据和SMB图像数据的AVI数 据。
插入了黑视图像数据和SMB图像数据的AVI数据的大小 小。因此，CPU 26可以在相对短的时段写AVI数据。这里，写 数据的速度可能因为作为记录介质21所使用的介质的各种类型 而不同。
如果写速度高，则在时段S444中将包括黑浮见图像数据和 SMB图像数据的AVI数据写到记录介质21之后直到下 一 时段 S446为止的时段期间，没有要写到记录介质21上的数据残留。 即，CPU 26在该期间不进行数据写。
在时段S446(图4D), CPU 26将通过对在静止图像捕获操作期间所捕获的静止图像进行JPEG编码所获得的JPEG数据的文
件(即，包括作为根据记录模式所进行的显影处理的结果所获得
所有像素的静止图像文件)写到记录介质21上。在时段S410已生 成了 JPEG编码的静止图像数据。因此，在时,殳S410后将JPEG 数据写到记录介质21上。在时段S446将JPEG编码的静止图像数 据写到记录介质21之后(即，在时萃殳S448(图4D)), CPU26立即 将基于静止图像捕获操作之后所生成的查阅图像而生成的AVI 数据写到记录介质21上。
在用于记录查阅图像AVI数据的时段S448中，CPU 26记录 等于第二替代帧时段(时段S434)的图像。在时段S448写完查阅 图像A VI数据之后，将在时段S 416中所生成的运动图像的AVI 数据累积在DRAM 14的AVI緩沖区域中。因此，CPU26在时段 S450的定时将所累积的运动图像AVI数据写到记录介质21上。
根据上述序列，在运动图像记录操作期间捕获静止图像的 情况下，CPU26将数据写到记录介质21上。通过根据上述序列 再现这样记录的AVI数据，用户可以容易地识别在运动图4象记 录操作期间捕获静止图像的操作状态。
如果半按下释》文开关23a，即，如果开关SW1接通，并且开 关SW2断开，则数字照相机100可以在显示当前所捕获的运动图 像的画面的角部显示表示释放开关2 3 a的图标。在这种情况下， 可以在由于在运动图像再现操作期间开始静止图像捕获操作而 显示黑视图像之前，立即通知用户静止图像捕获操作即将开始。
下面参考图5说明在运动图像记录操作期间捕获静止图像 的情况下的运动图像文件的结构。如上所述，运动图像文件具 有这样的数据结构在其头部存在等于一秒的音频数据，并且 在该音频数据后存在运动图像帧。
在本典型实施例中，CPU 26对每15帧生成GOP的第一I帧。当在运动图像捕获操作期间接通释放开关23a的开关SW2时，中 断运动图像捕获操作。然后，图像编解码器单元18输出黑视图 像P帧。然后，CPU 26将一个黑视图像P帧插入AVI文件，然后 CPU 26将三个SMB图像插入AVI文件(黑视时,史)。
当图像编解码器单元18在静止图像捕获操作期间完成了 显影处理时，图像编解码器单元18基于查阅图像生成定格图像 P帧，并且将这样生成的定格图像P帧插入AVI文件中。
然后，CPU26在定格时段期间继续插入SMB图像。对于定 格时段期间的GOP的第 一 帧，图像编解码器单元18基于查阅图 像生成定格图像I帧，并且CPU 26将这样所生成的定格图像I帧 插入AVI文件中。
当结束了定格时段，并且因此恢复运动图像捕获操作时， CPU 26返回到正常运动图像捕获操作，并且连续将运动图像帧 和音频数据记录在AVI文件中。
如上所述，本典型实施例利用SMB图像替代通过在运动图 像捕获操作期间捕获静止图像所生成的运动图像文件的冗余 帧。利用该文件结构，可以降低运动图像文件的大小。此外， 可以降低将数据写到存储介质的负荷。
第二典型实施例
下面说明本发明的第二典型实施例。本典型实施例中的数 字照相机类似于第 一典型实施例中所述的图1中的数字照相机 10 0 。在运动图像捕获操作期间捕获静止图像的情况下进行的处 理类似于第 一典型实施例中根据图2的流程图进行的处理。
图6是示出根据本典型实施例进行在步骤S 210中的静止图 像捕获操作的情况下用于生成运动图像文件的处理的例子的流 程图。
参考图6，在步骤S601， CPU 26中断运动图像捕获操作。在步骤S602, CPU 26开始计数定格图像的数量N2(计数初始值j
=1)。
在步骤S603, CPU26判断替代帧是否是GOP的第一帧。如 果在步骤S603判断为替代帧是GOP的第 一 帧(步骤S603为 "是")，则处理进入步骤S604。在步骤S604, CPU 26将紧挨在 开始静止图像捕获操作之前捕获的帧的图像数据编码成VGA 大小的定格图像I帧，然后输出该定格图像I帧。
另一方面，如果在步骤S603判断为替代帧不是GOP的第一 帧(步骤S603为"否")，则处理进入步骤S605。在步骤S605, CPU 26从ROM 271#出VGA大小的SMB图Y象27b。
在步骤S606, CPU 26判断值j是否达到数量N2。如果在步 骤S606判断为值j没有达到数量N2(步骤S606为"否")，则处理进 入步骤S607。在步骤S607, CPU 26将j值递增，然后返回到步 骤S603。另 一方面，如果在步骤S606判断为值j已达到数量N2(步 骤S606为"是")，则处理进入步骤S608。在步骤S608, CPU 26 结束该处理，并进入步骤S212。
VGA大小的编码的图像(定格图像I帧)是替代帧数据。可以 基于查阅图像或紧挨在运动图像捕获操作中断之前所捕获的图 像生成替代帧。此外，替代帧可以是任意图像。
图7示出根据本典型实施例在运动图像捕获操作期间捕获 静止图像的情况下的运动图像文件的结构的例子。在本典型实 施例中，运动图像文件具有这样的数据结构在其头部存在等 于一秒的音频数据，并且在该音频数据之后存在运动图像帧。
参考图7，当接通开关SW2时中断运动图像捕获操作(编号 为4的帧)，并且在等于定格时段的时段期间将用于跳过前一帧 (编号为3的帧)的SMB图像存储在运动图像文件中。
定格时段期间存在的GOP的第 一 帧是编号为16的帧。这里， 一个GOP包括十五个帧。CPU26基于紧挨在运动图像捕获 操作中断之前生成的帧(编号为3的帧)，利用图像编解码器单元 18为编号为16的帧生成I帧。
当定格时段结束时，CPU 26从编号为20的帧开始恢复运动 图像捕获正常操作，并且利用图像编解码器单元18生成运动图 像帧。在定格时段期间，CPU 26可以记录音频数据或者插入伪 快门声音数据。
如上所述，本典型实施例利用SMB图像替代在运动图像捕 获操作期间通过捕获静止图像所生成的运动图像文件的冗余 帧。利用该文件结构，可以降低运动图像文件的大小。此外， 可以降低将数据写到存储介质的负荷。
而且，本典型实施例在定格时l殳期间为各GOP插入I帧。因 此，用户可以基于使用户能够容易地进行图像文件的编辑的固 定编辑单元编辑图l象文件。在本典型实施例中，4吏用I帧和P帧。 然而，可以使用逐场图像，来替代I帧或P帧。在本典型实施例 中，运动图像数据是MPEG编码的数据。然而，本发明不局限 于此。即，运动图像数据可以是H.264 (MPEG-4 Part-10: AVC (ISO/IEC 14496-10 "Part-10 Advanced Video Coding"))编码的数 据。
第三典型实施例
下面说明本发明的第三典型实施例。本典型实施例中的数 字照相机类似于第 一典型实施例中所述的图l中的数字照相机 100。在运动图像捕获操作期间捕获静止图像的情况下进行的处 理类似于第 一 典型实施例中根据图2的流程图进行的处理。
图8是示出根据本典型实施例进行步骤S210(图2)中的静止 图像捕获操作的情况下用于生成运动图像文件的处理的例子的 流程图。下面参考图8说明用于生成运动图像文件的处理的流程。 基本上与静止图像捕获操作并行地进行图8中的处理。如果在步
骤S208判断为开关SW2接通(步骤S208为"是")，则开始步骤 S801中的处理。
在步骤S801, CPU 26中断运动图像捕获才喿作。在步骤S802, CPU 26开始计数定格图像的数量>11(计数初始值1= 1)。这里， 与中断运动图像捕获操作以捕获静止图像的时段相对应，预先 设置数量N1。
在步骤S803, CPU26判断替代帧是否是GOP的第一帧，以 将黑视图像和SMB图像作为第 一替代帧插入运动图像帧中。
如果在步骤S803判断为替代帧是GOP的第 一 帧(步骤S803 为"是，，)，则处理进入步骤S804。在步骤S804, CPU 26将紧挨 在开始静止图像捕获操作之前所捕获的帧的图像数据编码成黑 视图像I帧，然后输出该黑视图像I帧。
另 一方面，如果在步骤S803判断为替代帧不是GOP的第一 帧(步骤S803为"否")，则处理进入步骤S805。在步骤S805, CPU 26判断是否值1= 1。如果在步骤8805判断为值1= 1(步骤S805为 "是")，则处理进入步骤S806。在步骤S806， CPU26输出利用 图像编解码器单元18编码的黑视图像P帧。
如果在步骤S803判断为替代帧不是GOP的第 一帧(步骤 S803为"否")，并且在步骤S805判断为i # 1(步骤S805为"否")， 则处理进入步骤S807。在步骤S807, CPU26输出SMB图像。可 以利用CPU 26预先生成黑视图像I帧和黑视图像P帧。
从ROM 27读取SMB图像27b，然后将SMB图像27b作为第 一替代帧插入运动图像文件(AVI数据)中。
如果定格图像是I帧，则由于在这种情况下不需要将黑视图 像作为参考帧，因而CPU26不利用图像编解码器单元18生成黑视图像。
图9示出根据本典型实施例在运动图像的记录期间捕获静 止图像的同时所记录的运动图像文件的结构的例子。
参考图9，在生成恢复运动图像捕获操作时所需的编号为
26的帧的运动图像P帧中，需要获取并使用关于编号为16的帧 的信息。插入SMB图^^作为编号为17 25的帧。
如果定格图像是I帧(编号为16的帧)，则由于在这种情况下 不需要黑视图像作为参考帧，因而CPU26不利用图像编解码器 单元18生成黑一见图^f象。此外，在这种情况下，CPU26从ROM27 读取MPEG编码的黑视图像27a(图1)，并且将所读取的黑视图像 27a作为第一替代帧插入运动图像文件(AVI数据)中。这里，本 发明典型实施例不局限于此。即，CPU 26可以生成黑—见图{象 27a，而不从ROM 27读取MPEG编码的黑—见图4象27a。
在步骤S808, CPU 26判断黑视图像的数量是否达到了数量 Nl，并且判断替代帧是否是GOP的最后帧。如果在步骤S808判 断为黑视图像的数量没有达到数量N1或者替代帧不是G O P的 最后帧(步骤S808为"否")，则处理进入步骤S809。在步骤S809， CPU 26将i值递增，然后返回到步骤S803。另一方面，如果在 步骤S808判断为黑视图像的数量达到了数量N 1 ，并且替代帧是 GOP的最后帧(步骤S808为"是")，则处理进入步骤S810。
在步骤S810, CPU 26从ROM 27读取伪快门声音数据 27c(图1),并且将所读取的伪快门声音数据27c作为音频数据插 入运动图像文件(AVI文件)。另外，在步骤S810, CPU 26将伪 快门声音数据27c输出给音频处理单元28,以利用扬声器32再现 伪快门声音数据27c。设置伪快门声音数据27c的时长为基本上 与上述黑视图像数据的时长相同。
此时，如果突然利用伪快门声音数据27c替换通过麦克风30所记录的音频数据，则音频数据的突然替换可能导致生成高 频分量，并且可能由于混叠而生成噪声数据。
在这点上，在利用伪快门声音数据27c替代音频数据的时 段中(即，在用于利用扬声器32再现伪快门声音数据27c的时段 中)，音频处理单元28不检测音频信息(使待再现的音频数据静 音)。更具体地，CPU 26插入伪快门声音数据27c作为静音后的 音频数据。因此，可以将高质量伪快门声音数据27c插入音频数 据，而不会生成由于混叠可能生成的高频噪声。
在步骤S811, CPU 26等待直到完成上述静止图像捕获搡作 中的静止图像显影处理为止。当静止图像显影处理完成时，处 理进入步骤S812。
在静止图像显影处理完成之后，CPU26利用图像编解码器 单元18对显影后的静止图像进行JPEG编码，如步骤S210(图2) 中的处理一样，并且基于JPEG编码的数据生成一个静止图^象文 件。将这样生成的静止图像文件与运动图像文件分开存储在记 录介质21上。
与上述处理并行地、或在完成上述处理后，在步骤S812, CPU 26基于显影后的静止图像，利用调整大小单元24生成VGA 大小的查阅图像。然后，CPU 26开始计数定格图像的数量N2。 这里，初始计数值j为l。
在步骤S813, CPU 26判断替代图像(定格图像)是否是GOP 的第 一 帧。如果在步骤S813判断为替代图像是GOP的第 一 帧(步 骤S813为"是")，则CPU26利用图像编解码器单元18将查阅图像 数据编码为定格图像I帧，然后进入步骤S814。在步骤S814, CPU 26输出定格图像I帧。
另 一方面，如果在步骤S813判断为替代图像不是GOP的第 一帧(步骤S813为"否")，则处理进入步骤S815。在步骤S815,CPU 26输出SMB图像。
在步骤S816， CPU 26判断值j是否达到了定格图像的数量 N2。如果在步骤S816判断为值j没有达到定格图像的数量N2(步 骤S816为"否")，则处理进入步骤S817。在步骤S817, CPU 26 将j值递增，然后返回到步骤S813。另一方面，如果在步骤S816 判断为值j达到了定格图像的数量N2(步骤S816为"是")，则处理 进入步-骤S818。在步骤S818， CPU26结束该处理，并且进入步 骤S212(图2)。
如上所述，本典型实施例利用SMB图像替代在运动图像捕 获操作期间通过捕获静止图像所生成的运动图像文件的冗余 帧。利用该文件结构，可以降低运动图像文件的大小。此外， 可以降低将数据写到存储介质上的负荷。
而且，本典型实施例在定格时革殳期间插入各GOP的I帧。因 此，用户可以基于使用户能够容易地进行图像文件的编辑的固 定编辑单元，对图像文件进行编辑。另外，在本典型实施例，
CPU26生成各GOP的黑视图像。因此，对于定格图像，由于仅 需要不使用黑视图像作为参考帧的I帧，因而CPU 26没有必要 生成P帧。利用该结构，本典型实施例可以降低图像编解码器 单元18的负荷。
GOP的数量不局限于一个，而是可以使用 一个或多个GOP。 在本典型实施例中，使用I帧和P帧。然而，可以使用交错图像 替代I帧和P帧。
在本典型实施例中，运动图像数据是MPEG编码数据。然 而，本发明不局限于此。即，只要运动图像文件可以进行帧间 编码，运动图像数据可以是H.264编码的数据。
而且，正如在第一时段的情况下一样，可以为各GOP生成 第二时段中的定格图像。利用该结构，即使当定格图像和在恢复曾被中断的运动图像捕获操作之后所捕获的运动图像之间的 相关度低时，也可以容易地进行速率控制，从而以I帧开始恢复 运动图像的记录。
第四典型实施例
下面说明本发明的第四典型实施例。本典型实施例中的数 字照相机类似于第 一典型实施例中所述的图1中的数字照相机 1 0 0 。在运动图像捕荻操作期间捕获静止图像的情况下所进行的
处理类似于第 一典型实施例中参考图2的流程图所进行的处理。 图IO是示出根据本典型实施例在步骤S210(图2)中的进行 静止图像捕获操作的情况下用于生成运动图像文件的处理的例 子的流程图。
下面参考图IO说明用于生成运动图像文件的处理的流程。 基本上与静止图像捕获操作并行地进行图IO中的处理。如果在 步骤S208判断为开关SW2接通(步骤S208为"是")，则开始步骤 S1001中的处理。
在步骤SIOOI， CPU 26中断运动图像捕获操作。在步骤 S1002, CPU 26开始计数定格图像的数量N1(计数初始值卜1)。 这里，针对中断运动图像捕获操作以捕获静止图像的时段，预 先设置数量N1。
在步骤S1003， CPU 26判断替代帧是否是GOP的第一帧， 以将黑视图像作为第 一替代帧插入运动图像帧中。
如果在步骤S1003判断为替代帧是GOP的第 一 帧(步骤 S1003为"是")，则处理进入步骤S1004。在步骤S1004, CPU 26 将紧挨在开始静止图像捕获操作之前所捕获的帧的图像数据编 码成黑视图像I帧，然后输出该黑视图像I帧。
另 一方面，如果在步骤S1003判断为替代帧不是GOP的第 一帧(步骤S1003为"否")，则处理进入步骤S1005。在步骤S1005，CPU 26输出已利用图像编解码器单元18编码的黑视图像P帧的 帧间宏块(帧间MB)。这里，"帧间MB"是图Y象的帧间压缩P帧， 在帧间MB中，使用P帧中的所有宏块作为帧内宏块，对于帧内 宏块不进行基于其它帧的预测编码。
通常，在P帧中，记录帧间的差异信息。并且，以宏块为 单位计算当前帧和前 一 帧的帧间差异，并且将计算结果定义为
帧间MB。这里，在差异信息为0的情况下，如前一实施例中所 述，将帧间宏块切换到跳过的宏块。
但是，在本实施例的处理中，将预先编码的P帧的各宏块 定义为不参考前向帧的宏块，换句话说，定义为在一个帧中所 计算的帧内宏块。由于该帧间宏块不参考前向帧，因而可以预 先保留黑视图像P帧。
可以利用CPU 26预先生成黑视图像I帧和黑视图像P帧。
从ROM 27读取黑视图像，然后将其插入在运动图像文件 (AVI数据)中，作为第一替代帧。
图ll示出根据本典型实施例在运动图像的记录期间捕获 静止图像的同时所记录的运动图像文件的结构的例子。
参考图11，编号为1 ~ 3的帧是在中断运动图像捕获操作之 前所捕获的图像。作为在中断运动图像捕获操作之后插入的黑 视图像的编号为4 ~ 7的帧均由P帧的帧间M B构成。
对于编号为4的帧，图像编解码器单元18生成黑视图像P帧 的帧间MB。
第 一 替代帧的长度(时段)等于照相机绿色模式(自动模式) 下的最大曝光时间，并且约为1/8秒(125毫秒)。在以30帧/秒的 速度捕获运动图像的情况下，1 / 8秒中的帧的数量为4 。
因此，CPU 26在AVI文件中插入4个黑视图像27a(从ROM 27读取的)(或者利用图像编解码器单元18所生成的四个黑视图像)。这里，CPU26可以插入包括"捕获静止图像…，，等消息的图 像，替代黑视图像。
在步骤S1006， CPU 26判断黑一见图^f象的数量是否达到了数 量N1 。如果在步骤S10 0 6判断为黑视图像的数量没有达到数量 N1(步骤S1006为"否")，则处理进入步骤S1007。在步骤S1007， CPU26将i值递增，然后返回到步骤S1003。另一方面，如果在 步骤S1006判断为黑视图像的数量达到了数量N1(步骤S1006为 "是")，则处理进入步骤S1008。
在步骤S1008， CPU 26从ROM 27读取伪快门声音数据 27c(图1),并且将所读取的伪快门声音数据27c插入运动图像文 件(AVI文件)中，作为音频数据。另外，在步骤S1008, CPU26 将该伪快门声音数据27c输出给音频处理单元28,以利用扬声器 32再现伪快门声音数据27c。设置伪快门声音数据27c的时长基 本上与上述黑视图像数据的时长相同。
此时，如果突然以伪快门声音数据27c替代通过麦克风30 所记录的音频数据，则音频数据的突然替换可能导致生成高频 分量，并且可能由于混叠而生成噪声数据。在这点上，在用于 利用伪快门声音数据27c替代音频数据的时段中(即，在利用扬 声器32再现伪快门声音数据27c的时段中)，音频处理单元28不 检测音频信息(使待再现的音频数据静音)。更具体地，CPU 26 插入伪快门声音数据27c作为静音后的音频数据。因此，可以将 高质量的伪快门声音数据27c插入音频数据中，而不会生成由于 混叠而可能生成的高频噪声。
在步骤S1009， CPU 26等待直到完成上述静止图像捕获操 作中的静止图像显影处理。当静止图像显影处理完成时，处理 进入步骤SIOIO。
在静止图像显影处理完成后，CPU26利用图像编解码器单元18对显影后的静止图像进行JPEG编码，如步骤S210(图2)中的 处理 一样，并且基于JPEG编码的数据生成 一 个静止图像文件。 将这样所生成的静止图像文件与运动图像文件分开存储在记录 介质21上。
与上述处理并行地、或在完成上述处理之后，在步骤 S1010, CPU 26基于显影后的静止图像，利用调整大小单元24 生成VGA大小的查阅图像。然后，CPU26开始计数定格图像的 数量N2。这里，初始计数值j为l。
在步骤SlOll, CPU 26判断替代图像(定格图像)是否是GOP 的第 一 帧。如果在步骤S101 l判断为替代图像是GOP的第 一 帧 (步骤S1011为"是")，则CPU 26利用图像编解码器单元18将查阅 图像数据编码成定格图像I帧，然后进入步骤S1012。在步骤
51012, CPU26输出该定格图像I帧。
另 一方面，如果在步骤S1011判断为替代图像不是GOP的
第一帧(步骤sioii为"否")，则处理进入步骤sion。在步骤
51013, CPU 26利用图像编解码器单元18将查阅图像数据编码 成定才各图^f象P帧的帧间MB,并且输出该定才各图^象P帧的帧间 MB。
在步骤S1014, CPU26判断值j是否达到了定格图像的数量 N2 。如果在步骤S1014判断为值j没有达到定格图像的数量 N2(步骤S1014为"否")，则处理进入步骤S1015。在步骤S1015, CPU26将j值递增，然后返回到步骤S1011。另一方面，如果在 步骤S1014判断为值j达到了定格图像的数量N2(步骤S1014为 "是")，则处理进入步骤S1016。在步骤S1016， CPU 26结束该 处理，并且进入步骤S212(图2)。
如上所述，本典型实施例利用SMB图像替代在运动图像捕 获操作期间通过捕获静止图像所生成的运动图像文件的冗余P帧。利用该文件结构，由于不需要参考图像，因而可以降低图 像编解码器单元18的负荷。
在本典型实施例中，使用I帧和P帧。然而，可以替代I帧和
P帧，使用交错图像。在本典型实施例中，运动图像数据是MPEG 编码数据。然而，本发明不局限于此。即，运动图^^数据可以 是H.264编码数据，只要运动图像文件可以进行帧间编码。
尽管参考典型实施例说明了本发明，但是应该理解，本发 明不局限于所公开的典型实施例。所附权利要求书的范围符合 最宽的解释，以包含所有修改、等同结构和功能。
权利要求
1. 一种摄像设备，其用于将由摄像单元所捕获的图像数据记录在记录介质上，所述摄像设备包括运动图像捕获控制单元，用于对用于将通过所述摄像单元的连续图像捕获操作所获得的运动图像记录在记录介质上的运动图像捕获操作进行控制；以及静止图像捕获控制单元，用于对用于将通过所述摄像单元的图像捕获操作所获得的静止图像作为静止图像文件记录在记录介质上的静止图像捕获操作进行控制；其中，响应于正在进行所述运动图像捕获操作时用以开始所述静止图像捕获操作的输入指令，所述静止图像捕获控制单元对所述静止图像捕获操作进行控制，以将所述静止图像文件记录在记录介质上，所述运动图像捕获控制单元中断所述运动图像捕获操作，生成如下运动图像并将所生成的运动图像记录在所述记录介质上在所述运动图像中，插入差异信息为0的帧间压缩图像作为至少一个用于替代与中断所述运动图像捕获操作的时段相对应的运动图像的图像。
2. 根据权利要求l所述的摄像设备，其特征在于，所述差 异信息为0的帧间压缩图像包括跳过的宏块图像。
3. 根据权利要求l所述的摄像设备，其特征在于，还包括 生成单元，所述生成单元用于如果被插入所述运动图像中的图 像以图片组的第一帧开始，则生成紧挨在开始所述静止图像捕 获操作之前所获得的图像或预定图像，作为帧内编码帧。
4. 根据权利要求所述的摄像设备，其特征在于，所述运 动图像捕获操作被中断的时段至少包括在所述静止图像捕获 操作期间从由所述摄像单元中读取静止图像的图像数据的时刻 到完成显影处理的时刻的时段。
5. 根据权利要求l所述的摄像设备，其特征在于，还包括显示单元，用于显示所捕获的图像；以及查阅图像生成单元，用于在捕获所述静止图像之后，基于 通过所述静止图像捕获操作所获得的图像数据，生成将由所述 显示单元显示的查阅图像；其中，使用所述查阅图像作为所述运动图像捕获操作被中 断的时段的替代图像。
6. 根据权利要求l所述的摄像设备，其特征在于，所述运 动图像捕获控制单元在进行所述静止图像捕获操作的时段中的 第 一 时段期间，将预定替代帧和差异信息为O的所述帧间压缩图 像插入所述运动图像中，并且在进行所述静止图像捕获操作的 时段中的所述第 一 时段后的第二时段期间，将相当于通过所述 静止图像捕获操作所获得的所述静止图像的图像和差异信息为 0的所述帧间压缩图像插入所述运动图像中。
7. 根据权利要求6所述的摄像设备，其特征在于，还包括 音频输入单元，所述音频输入单元用于输入音频信息；其中，所述运动图像捕获操作包括用于将所述运动图像与 通过所述音频输入单元所输入的所述音频信息一起记录在记录 介质上的操作。
8. 根据权利要求7所述的摄像设备，其特征在于，所述运 动图像捕获控制单元在所述第 一 时段期间记录伪快门声音的音 频信息，在所述第二时段期间记录通过所述音频输入单元所输 入的所述音频信息。
9. 根据权利要求8所述的摄像设备，其特征在于，在所述 第一时段中记录所述伪快门声音的音频信息的时段期间，所述 运动图像捕获控制单元停止从所述音频输入单元输入任何音频 信息。
10. 根据权利要求6所述的摄像设备，其特征在于，所述运动图像捕获控制单元在所述第二时段期间，将通过所述静止图 像捕获操作所获得的静止图像数据调整成大小适合于记录为运 动图像的图像，并且记录调整大小后的图像数据。
11. 根据权利要求6所述的摄像设备，其特征在于，所述第 一时段具有固定时长。
12. 根据权利要求6所述的摄像设备，其特征在于，所述第一时段至少包括在所述静止图像捕获操作中所述摄像单元打开 快门的曝光时段。
13. 根据权利要求6所述的摄像设备，其特征在于，所述第 二时段至少包括在所述静止图像捕获操作期间从由所述摄像 单元中读取静止图像的图像数据的时刻到完成显影处理的时刻的时段。
14. 根据权利要求6所述的摄像设备，其特征在于，还包括 显示单元，用于显示所捕获的图像；以及 查阅图像生成单元，用于在捕获所述静止图像之后，基于通过所述静止图像捕获操作所获得的图像数据，生成将由所述 显示单元显示的查阅图像；其中，使用所述查阅图像作为将在所述第二时段期间插入 的图像数据。
15. 根据权利要求6所述的摄像设备，其特征在于，在所述 第 一 时段期间插入的所述预定替代帧包括黑视图像。
16. 根据权利要求6所述的摄像设备，其特征在于，在所述 第 一 时段期间为各图片组输出所述替代帧。
17. 根据权利要求6所述的摄像设备，其特征在于，所述运 动图像捕获控制单元进行控制，从而使得所述第一时段对应于 图片组的数量。
18. 根据权利要求6所述的摄像设备，其特征在于，所述运动图像捕获控制单元进行控制，从而使得所述第二时段对应于 图片组的数量。
19. 根据权利要求6所述的摄像设备，其特征在于，所述第一时段期间插入的所述帧间压缩图像包括不进行基于其它帧的 预测编码的帧间宏块图像。
20. 根据权利要求19所述的摄像设备，其特征在于，所述第 二时段期间插入的所述帧间压缩图像包括所述帧间宏块图像。
21. 根据权利要求l所述的摄像设备，其特征在于，针对各 图像大小，将差异信息为0的所述帧间压缩图像存储在只读存储器中。
22. 根据权利要求l所述的摄像设备，其特征在于，针对各 图像大小，通过中央处理单元生成差异信息为O的所述帧间压缩图像。
23. —种摄像设备的控制方法，所述摄像设备具有进行运 动图像捕获操作和静止图像捕获操作的功能，所述运动图像捕 获操作用于将通过摄像单元的连续图像捕获操作所获得的运动 图像记录在记录介质上，所述静止图像捕获操作用于将通过所 述摄像单元的图像捕获操作所获得的静止图像作为静止图像文 件记录在所述记录介质上，所述控制方法包括响应于正在进行所述运动图像捕获操作时用以开始所述静 止图像捕获操作的输入指令，中断所述运动图像捕获操作；控制所述静止图像捕获操作，以将所述静止图像文件记录 在所述记录介质上；生成如下运动图像在所述运动图像中，插入差异信息为0 的帧间压缩图像作为至少 一 个用于替代与中断所述运动图像捕 获操作的时段相对应的运动图像的图像；以及将所生成的运动图像记录在所述记录介质上。
全文摘要
本发明提供一种摄像设备及其控制方法。响应于正在进行运动图像捕获操作时用以开始静止图像捕获操作的输入指令，摄像设备控制静止图像捕获操作以将静止图像文件记录在记录介质上，中断运动图像捕获操作，生成运动图像，并且将所生成的运动图像记录在记录介质上，其中，在该运动图像中，插入差异信息为0的帧间压缩图像作为至少一个用于替代与中断运动图像捕获操作时段相对应的运动图像的图像。
文档编号H04N5/92GK101299801SQ200810089288
公开日2008年11月5日 申请日期2008年4月30日 优先权日2007年5月2日
发明者国枝秀太郎 申请人:佳能株式会社