专利名称：运动图像编解码设备及方法、记录设备与程序和数据结构的制作方法
技术领域：
本发明涉及使用帧间预测技术的运动图像编码设备、运动图像编码方法、运动图像解码设备、运动图像解码方法、运动图像记录设备、程序以及敎据结构。
背景技术：
目前，运动图像MPEG (运动图像专家组)格式被广泛用作用于压縮编码的技术，并且该数据结构是公知的。例如，在日本未审査的专利申请公开No.2003-179931中描述了 MPEG格式的数据结构。
为了描述概要，在MPEG格式中，构成运动图像的每一帧(图像)被划分为三种类型的图像并且随后对其进行编码，该三种类型的图像为I图像(节点编码图像或帧内编码图像)、P图像(预测编码图像)和B图像(双向预测编码图像)。
I图像为设置在GOP (图像组)中的至少一个图幅的图像，其中收集图像数据的预定图幅以维持GOP的独立性。该I图像仅由该帧的信息进行编码(帧内编码)而不使用帧间预测。另一方面，P图像为通过将过去的I图像或P图像作为基准图像构成的预测图像(帧间预测编码)，根据该基准图像来预测单向运动用于编码。此外，B图像为通过将位于时间轴上的先前的或随后的I图像或P图像作为基准图像构成的预测图像(双向预测图像),根据该基准图像来预测双向运动用于编码。更加准确地，P图像和B图像由运动矢量(MV)和数据表示，其中所述运动矢量(MV)通过具有16X16像素的微模块单元获得，并且所述数据为在将预测图像与相同时序的帧(实际图像)进行比较时差分图像(预测误差)的编码DCT (离散余弦变换)系数。
在已经被以MPEG格式压縮编码的运动图像的重放时间期间，对于I图像，执行解码以还原(return)为原始时间轴上的图像数据。而对于P图像和B图像，通过解码和反向DCT变换而获得预测误差，并且同时，通过 将先前解码的其它帧(P图像中的过去帧、B图像中的过去帧和未来帧)作 为基准图像，使用该基准图像和运动矢量(MV)来产生预测图像。根据产 生的预测图像和预测误差来产生原始时间轴的图像数据。
发明内容
.如上所述，在已经被以MPEG格式压縮编码的运动图像的重放时间期 间，为了使P图像和B图像成为可显示的图像数据，不可避免地要执行诸 如解码、反向DCT变换以及对于从I图像开始的一系列帧产生预测图像的 处理，该预测图像的产生直接或间接地参照这些帧(图像)作为开始点。
因此，在通过帧细化(thinning)显示的情况下，对于那些实际上不用 于显示的不必要的帧(P图像和/或B图像)也要执行解码处理等。换句话 说，在伴随有帧细化的运动图像重放的情况下，存在极其低的处理效率的 问题。
图24A到24C为描述这些问题的概念图。图24A示出了I图像(10)、 使用该I图像作为开始点的P图像(Pl、 P2、 P3、……)以及编码每一个P 图像要作为基准的基准图像，所有这些图像都位于基于MPEG格式的运动 图像的编码数据内。图24B示出了解码处理的存在/不存在以及在记录和重 放时帧率都为240 fps (在没有执行帧细化时)的情况下每一帧的显示。图 24C示出了解码处理的存在/不存在以及在重放时帧率为60 fj)s (在执行帧 细体时)的情况下每一帧的显示。而且，图24A到24C是不存在B图像的 帧部分的示例。尽管未示出，在产生B图像的情况下，以在时间轴上位于 之前和之后的I图像或者P图像的帧作为基准。
如图24B和24C所示，当通过执行帧细化而进行运动图像重放时，由 于相当于(equivalent to)不执行帧细化情况的数据处理需要浪费的电功率 消耗，而且在通过CPU (中央处理单元)等使用预定的软件执行具有帧细 化的运动图像重放的结构中，CPU等的处理负荷很大，因此，限制了可以 与运动图像重放并行执行的其它处理，这导致需要维持CPU等的额外处理 能力以使预定的处理可以与运动图像重放并行执行。
本发明考虑上述这些传统问题，并且本发明的目的在于提供一种能够
ii获得可以有效地执行伴随有帧细化的运动图像重放的运动图像的编码数据 的运动图像编码设备和运动图像编码方法、能够解码上述编码数据的运动 图像解码设备和运动图像解码方法、能够将所捕获的运动图像记录为如上 所述的编码数据的运动图像记录设备以及用于实现上述这些的程序和数据 结构。
为了解决这些问题，根据本发明第一方面的运动图像编码设备是具有 如下特征的运动图像编码设备
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的 运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编 码的编码处理而对各个帧图像进行编码，和
编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预 定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示 帧率显示所述运动图像的情况下，所述指定图像将成为所述显示目标，所 述编码控制部件用于在通过所述编码部件对所述指定图像进行帧间预测编 码时，将所述基准图像限于其它指定图像。
而且，根据本发明第二方面的运动图像编码设备的特征在于包括
编码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测编 码的编码处理对以预定帧率捕获的运动图像中将要被分别输入的一系列帧 图像进行编码，和
编码控制部件，将具有每隔预定帧间隔的图像作为指定图像，在通过 使所述重放时间与所述图像捕获时间相匹配并且以在所述运动图像的所述 编码之后低于所述图像捕获时的所述帧率的帧率进行所述显示时，所述指 定图像将成为所述显示目标，当通过所述编码部件对所述指定图像进行帧 间预测编码时，所述编码控制部件用于将所述基准图像限于其它指定图像。 而且，根据本发明第三方面的运动图像解码方法是具有如下特征的运动图 像解码方法
经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理对 包括以预定图像捕获帧率捕获的一系列帧图像的运动图像的各个帧图像进 行编码，和
假设每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的所述
12图像为指定图像，在以低于所述图像捕获帧率的预定显示帧率显示所述运 动图像的情况下，所述指定图像将成为所述显示目标，在对所述指定图像 进行所述帧间预测编码时，将其它指定图像用作基准图像。
而且，根据本发明第四方面的程序是具有使包含在运动图像编码设备 中的计算机用作如下部件的特征
编码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测编 码的编码处理对包括以预定图像捕获帧率捕获的一系列帧图像的运动图像 进行编码，和
编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预 定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示 帧率显示所述运动图像的情况下，所述指定图像将成为所述显示目标，当 通过所述编码部件对所述指定图像进行帧间预测编码时，所述编码控制部 件用于将所述基准图像限于其它指定图像。
而且，根据本发明第五方面的运动图像记录设备的特征在于包括
图像捕获部件，用于拍取运动图像，
编码部件，用于输入包括通过所述图像捕获部件以预定图像捕获帧率 捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为 基准图像的帧间预测编码的编码处理对各个帧图像进行编码，
记录部件，用于记录包括已经通过所述编码部件进行编码的所述运动 图像的运动图像数据，禾口
编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预 定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示 帧率并且基于记录在所述记录部件中的所述运动图像数据而显示所述运动 图像的情况下，所述指定图像将成为所述显示目标，当通过所述编码部件 对所述指定图像进行帧间预测编码时，所述编码控制部件用于将所述基准 图像限于其它指定图像。
而且，根据本发明第六方面的运动图像解码设备是用于对其中包括以 预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码的运动图像 数据进行解码的运动图像解码设备，其特征在于包括
解码部件，用于输入所述编码运动图像并且经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对所述编码运动图像进行解码， 禾口
解码控制部件，用于将通过所述解码部件的所述运动图像数据的所述 解码目标仅限于具有每隔通过所述图像捕获帧率和预定显示帧率确定的预 定帧间隔的指定图像，在以低于所述图像捕获帧率的所述显示帧率显示运 动图像的情况下，所述指定图像将成为所述显示目标，并且用于在进行帧 间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作 为基准图像。
而且，根据本发明第七方面的运动图像解码设备是用于对其中以预定 图像捕获帧率捕获的运动图像已经被编码的运动图像数据进行解码的运动 图像解码设备，其特征在于包括
解码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测解 码的解码处理对所述运动图像数据进行解码，和
解码控制部件，用于将通过所述解码部件的所述运动图像数据的所述 解码目标仅限于具有每隔预定帧间隔的指定图像，在使所述重放时间与所 述图像捕获时间相匹配的同时在进行编码之后以低于所述捕获图像时的所 述帧率的帧率显示运动图像的情况下，所述指定图像将成为所述显示目标， 并且用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标 的其它指定图像作为基准图像。
'而且，根据本发明第八方面的运动图像解码方法是用于对运动图像数 据进行解码，在所述运动图像数据中包括以预定图像捕获帧率捕获的一系 列帧图像的运动图像己经被编码，其特征在于，
经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对 包括在所述运动图像数据中的所述编码运动图像的各个帧图像进行解码， 并且进行所述解码处理的所述解码目标仅限于具有每隔通过所述图像捕获 帧率和预定显示帧率确定的预定帧间隔的指定图像，在以低于所述图像捕 获帧率的所述显示帧率显示运动图像的情况下，所述指定图像将成为所述 显示目标，并且在对所述指定图像进行帧间预测解码时，使用不同于所述 解码目标的其它指定图像作为基准图像。
而且，根据本发明第九方面的程序是具有使包含在运动图像解码设备中的计算机用作如下部件的程序，该运动图像解码设备用于对运动图像数 据进行解码，在运动图像数据中包括以预定图像捕获帧率捕获的一系列帧 图像的运动图像已经被编码
解码部件，用于输入所述运动图像数据并且经由包括使用其它帧图像 作为基准图像的帧间预测解码的解码处理对各个帧图像进行解码，和
解码控制部件，用于将通过所述解码部件的所述解码目标仅限于具有 每隔通过所述图像捕获帧率和预定显示帧率确定的预定帧间隔的指定图 像，.在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下， 所述指定图像将成为所述显示目标，并且还用于在进行帧间预测解码时使 所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像。
而且，根据本发明第十方面的数据结构是其中包括以预定图像捕获帧 率捕获的一系列帧图像的运动图像己经被编码并且还将通过运动图像解码 设备被解码的运动图像数据的数据结构，其特征在于包括
编码数据，将其它指定图像作为基准图像而对所述编码数据进行帧间 预测编码，其中具有每隔通过所述图像捕获帧率和显示帧率确定的预定帧 间隔的指定图像的编码数据，通过使用所述运动图像解码设备进行解码， 在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下，所述 指走图像将成为所述显示目标；和
基准图像表示信息，表示在对所述指定图像进行解码时将要成为基准 图像的其它指定图像。
本发明的这些和其它方面和优点将通过阅读下文中详细的描述以及附
图而会变得更加清楚和明显，在附图中
图1是表示关于本发明的并且对于每个实施例都普遍适用的运动图像
记录设备的方框 图2是所述运动图像记录设备在记录模式下的动作(操作)流程图； 图3是所述运动图像记录设备在慢速重放模式下的动作流程图； 图4是所述运动图像记录设备在正常速度重放模式下的动作流程图； 图5A和图5B是所述运动图像记录设备在变速重放模式下的动作流程
15图;
图6A是表示在记录模式下记录的运动图像数据的构成概念图6B是表示在慢速重放模式下的重放期间每一帧的解码和显示的存
在和不存在的概念图6C是表示在正常速度重放模式下的重放期间每一帧的解码和显示
的存在和不存在的概念图7是表示第二实施例的编解码器(CODEC)的构成方框图8A和8B是表示在记录模式下第二实施例的所述运动图像记录设备
的动作流程图9是表示CODEC的编码过程的时序图； '图10八是表示11.264流的概略构成的概念图； 图10B是表示R264流的概略构成的概念图； 图IIA是表示在记录模式下记录的运动图像数据的构成概念图； 图11B是表示在四倍慢速重放模式下的重放期间每一帧的解码和显示
的存在和不存在的概念'图11C是表示在正常速度重放模式下的重放期间每一帧的解码和显示
的存在和不存在的概念图11D是表示在二倍慢速重放模式下的重放期间每一帧的解码和显示
的存在和不存在的概念.图12是表示在正常速度重放模式下所述第二实施例的运动图像记录设
备的动作流程图13是表示在二倍慢速重放模式下所述第二实施例的运动图像记录设 备的动作流程图14是表示在正常速度提取编辑模式下所述第二实施例的运动图像记
录设备的动作流程图15是表示第三实施例中记录的MP4文件的概略构成图16是表示用于所有帧重放的索引信息和用于正常速度重放的索引信
息与图15所示的MP4文件中的访问单元之间的关系图17A和17B是表示在记录模式下所述第二实施例的运动图像记录设
备的动作流程图；图18A是表示当子帧模式为3时在记录模式下所记录的运动图像数据 的构成概念图18B是表示当子帧模式为1时在记录模式下所记录的运动图像数据 的构成概念图18C是表示当子帧模式为0时在记录模式下所记录的运动图像数据 的构成概念图19是表示在所有帧重放模式下所述第二实施例的运动图像记录设备 的动作流程'图20是表示在正常速度重放模式下所述第二实施例的运动图像记录设 备的动作流程图21A是表示通过子帧模式在所有帧重放模式下的重放期间每一帧的 解码和显示的存在和不存在的概念图21B是表示通过子帧模式在正常速度重放模式下的重放期间每一帧 的解码和显示的存在和不存在的概念图22A是表示通过子帧模式在1/2细化重放模式下的重放期间每一帧 的解码和显示的存在和不存在的概念图22B是表示通过子帧模式在二倍快速重放模式下的重放期间每一帧 的解码和显示的存在和不存在的概念图23是表示重放模式、重放速度和基准轨道(tmk)之间的关系图24A是描述现有技术的问题的概念图24B是描述现有技术的问题的概念图；以及
图24C是描述现有技术的问题的概念图。
具体实施例方式
下面根据附图描述本发明的优选实施例。 (第一实施例)
首先描述第一实施例。图1为表示根据本实施例的运动图像记录设备 (数码相机)的电子结构概要的方框图。运动图像记录设备包括运动图像 的记录功能和重放功能并且设置有如下部件。
换句话说，运动图像记录设备具有用于捕捉运动图像的图像捕捉部件(设备)1。该图像捕捉部件l为图像捕捉部分，该部分由诸如用于将通过
从光学系统进入的物光L的光学图像转换为电信号的CCD、 CMOS等的图 像传感器以及用于将来自图像传感器的输出信号转换为数字信号的A/D转 换器等。图像捕捉部件1将转换后的数字信号，即图像捕捉信号，输出到 图像产生部件2。
图像产生部件(设备)2根据由图像捕捉部件1输出的图像捕捉信号以 预定的帧率连续地产生图像数据。这里产生的图像数据由亮度分量Y以及 色差分量Cb和Cr组成。经由存储器总线3将该图像数据作为构成运动图 像的一系列帧数据而连续地存储在存储器4中。在记录时，将己经存储在 存储器4中的图像数据顺序输入到CODEC5。而且，将相当于多个帧的图 像数据存储在存储器4中。
该CODEC5是用于通过运动补偿使用帧间预测技术由编码系统对运动 图像数据进行编码并且用于对编码数据进行解码的编码部件和解码部件。 更明确地，该CODEC 5由正交转换电路、量化电路、运动检测电路、前向 预测电路、编码电路、解码电路、反正交转换电路、帧存储器等组成，用 于将作为以MPEG格式(MPEG-1、 MPEG-2、 MPEG-4、 H.264等等)的I 图像(帧内编码图像)和P图像(帧间预测编码图像)构成运动图像的一 系列帧(图像数据)进行编码并且对该编码数据进行解码。
在记录时，CODEC5对从存储器4连续输入的图像数据(一系列帧数 据)进行编码。当该CODEC5对I图像进行编码时，仅使用该帧的信息执 行编码(帧内编码)过程并将其输出到存储器4。其中，该CODEC5将该 图像数据作为在编码接下来帧的P图像时将要使用的图像数据(基准图像) 而存储在存储器4中。
而且，当该CODEC 5对P图像进行编码时，将在对先前帧编码时为了 基准目的而存储在存储器4中的图像数据(基准图像)读出并且使用该基 准图像和相关帧的图像执行编码(帧间预测编码)过程以将其输出到存储 器4中。而且，这里输出的编码数据包括运动矢量(MV)。此外，如后面 将会提到的，对于相关的编码数据，会增加属性信息和在解码时表示基准 帧的基准帧信息，该属性信息例如为显示编码数据为哪一种图像，I图像或 P图像，的图像类型信息。而且，当C0DEC5对P图像编码时，该帧的图像数据作为在编码接下 来帧的P图像时将要使用的基准图像而存储在存储器4中。更确切地，该 CODEC 5对已编码的P图像执行本地解码并将该本地解码的图像数据作为 基准图像数据而存储在存储器4中。而且，前述的I图像和P图像(编码数 据)和基准图像(图像数据)彼此分别地存储在预定区域中以在存储器4 中确保安全。
如上所述，当由CPU 8增加属性信息并且由存储器卡控制部件(控制 器)9记录在存储器卡10中时，由该CODEC 5产生并且存储在存储器4 中的编码数据成为图像数据文件。
而且，由图像产生部件2产生并且存储在存储器4中的图像数据在记 录时通过显示控制部件6读出并且也被发送到LCD (液晶显示器)7以在 该LCD上进行屏幕显示。
另一方面，在存储器卡10中记录的运动图像文件在重放时通过存储器 卡控制部件9读出并且在通过CPU 8取出编码数据部分后传送到该CODEC 5。被传送的编码数据(运动图像数据)由先前描述的CODEC 5通过按照 后面将要描述的三种类型的重放模式(正常速度重放模式、慢速重放模式 和变速重放模式)的动作而进行解码。解码的运动图像被存储在存储器4 中，通过显示控制部件6连续地对每一帧进行读出，而且还被发送到LCD 7 以作为运动图像进行屏幕显示。
在连续地检测按键输入部件12中的按键操作状态的同时，CPU 8根据 存储在程序存储器ll中的预定程序而控制每一个部件，并且根据预定的按 键操作进行控制，所述按键输入部件12包括为用户设置的用于操作运动图 像记录设备的各种类型的操作按键。
在记录时，CPU 8使图像捕获部件1、图像产生部件2和CODEC 5以 240 fps的帧率进行动作并且执行高速图像捕获，也使显示控制部件6以60 fps的恒定帧率(以下将其称为显示帧率)进行动作。而且，在记录在存储 器卡10中的运动图像的重放时间，在运动图像记录设备中，CPU8通过使 该CODEC 5以与显示帧率相同的60 Q)s帧率动作，并且通过根据后面将要 描述的三种类型重放模式(正常速度重放模式、慢速重放模式和变速重放 模式)进行控制而用作解码控制部件。
19程序存储器11为诸如EEPROM或Flush存储器等非易失性存储器，该 存储器允许重写，其中除了前面描述的预定程序，也存储由用户设置或修 改的关于设备的各个功能的其它指定数据。
按键输入部件12中设置有模式切换键和操作键等，其中模式切换键使 用户在记录模式和重放模式之间切换运动图像记录设备的动作模式，而操 作键用于指示记录模式下的记录开始和记录停止以及重放模式下的重放开 始和重放停止。
而且，作为在本发明实施例中的重放模式，提供了前述的三种类型， 即正常速度重放模式、慢速重放模式和变速重放模式。正常速度重放模式 是运动图像的运动速度(以下将其称为重放速度)与记录目标的实际运动 速度(以下将其称为正常速度)相同的模式，而慢速重放模式是重放速度 比正常速度慢1/4的模式。以上两种重放模式在运动图像的重放速度固定在 上述速度状态下的情况中使用。与正常速度重放模式和慢速重放模式不同， 变速重放模式是在重放期间，运动图像的重放速度被适当地改变到正常速 度或正常速度的1/4速度的模式。而且，各重放模式均可在运动图像重放之 前设置，这允许用户有选择地在运动图像重放之前通过操作模式切换键而 设置任何重放模式。
而且，在按键输入部件12中提供有速度切换键以允许用户在变速重放 模式下的运动图像重放期间在正常速度和正常速度的1/4速度之间切换运 动图像的重放速度，而且该操作部件通过按键输入部件12实现。
.以下将描述本发明实施例的运动图像记录设备的动作(操作或过程)。 (记录动作)
首先描述当运动图像被拍取和在记录模式下被记录时的动作。图2是 表示CODEC 5通过CPU 8的控制内容的流程图。在运动图像被拍取和记 录时，CPU 8使图像捕获部件1、图像产生部件2和CODEC 5以240 Qds 的帧率动作，而且也根据帧的单位来同步各个部件。
然后，在开始图像拍取和记录时，CPU8首先初始化帧号码(i)(步骤 SA1)。而且，帧号码的缺省值(第一帧的号码)为"0"。此后，CPU 8等 待相当于一帧的图像数据到存储器4的输入(存储)(步骤SA2)，而且在 对于每一帧使帧号码(i)增加1的同时，使CODEC 5执行下面将要描述的编码过程。
首先，包括在动作刚刚开始之后的第一帧(i=0)，如果CPU 8判断帧 号码(i)为120 (步骤SA3中的是)的倍数，则将此时存储在存储器4中 的图像数据读出并输入到CODEC 5中，使CODC 5对I图像进行编码。换 句话说，CODEC 5仅仅基于输入的图像数据执行帧内编码并将编码数据输 出到存储器4 (步骤SA4)。然后CODEC 5执行本地解码，并且将该本地 解码的图像数据以与编码数据分离的方式存储在存储器4中，作为在对接 下来帧的P图像进行编码时将要使用的图像数据(基准图像)。而且，CPU 8对编码数据增加先前所述的属性信息(步骤SA5)。
'然后，当CPU 8判断图像捕获还没有完成时(步骤SA6中的否)，在 使帧号码(i)增加l (步骤SA7)之后，通过返回到步骤SA2而重复上述 过程。换句话说，每次当帧号码(i)为"120"的倍数时，CPU 8使CODEC 5对以每0.5秒作为I图像输入的图像数据进行编码，因为帧率是240 fps。
.而且，在重复上述过程的同时，如果CPU 8判断输入到存储器4中的 图像数据的帧号码(i)不是120的倍数，而同时是4的倍数(步骤SA3中 的否和步骤SA8中的是)，则将在四帧之前的帧的编码过程情况下存储在存 储器4中的基准图像和此时存储在相同存储器4中的图像数据读出并且输 入到CODEC 5，以在执行对P图像编码时(步骤SA9)由CODEC 5使用。 换句话说，CPU 8使CODEC 5通过执行具有运动补偿的前向帧内预测编码 而执行编码，其中，在三帧之后，将四帧之前的帧图像用作基准图像，并 且使CODEC5将编码数据输出到存储器4。然后，CODEC5对于编码的P
图像执行先前描述的本地解码，而且将该本地解码的图像数据以与编码数 据分离的方式存储在存储器4中，作为在对下一帧(注意，P图像)进行编 码时将要使用的基准图像数据。而且，CPU 8为该编码数据增加先前描述 的属性信息(步骤SA5)。
另一方面，如果CPU8判断输入到存储器4中的图像数据的帧号码(i) 不是4的倍数(在步骤SA3和在步骤SA8中都为否)，则将在紧接先前帧 的编码过程的情况下存储在存储器4中的基准图像和此时存储在相同的存 储器4中的图像数据读出并输入到CODEC 5，上述基准图像和图像数据在 执行对P图像的编码时由CODEC 5使用，并且然后将编码数据输出到存储器4 (步骤SAIO)。换句话说，通过具有运动补偿的帧内预测编码来执行编 码。而且，也是在此时，CODEC 5对于编码的P图像执行先前描述的本 地解码，而且该本地解码数据以与编码数据独立的方式存储在存储器4中， 作为在对下一帧(注意，P图像)编码时将要使用的基准图像数据。而且， CPU8为编码数据增加先前描述的属性信息(步骤SA5)。
之后，当CPU 8判断还没有完成图像拍取时(步骤SA6中的否)，则 重复上述所有过程，并且当其判断图像拍取结束时(步骤SA6中的是)，记 录动作结束。而且，将存储在存储器4中的一系列编码数据以及为每一帧 增加的属性信息通过存储器卡控制部件9传送到存储器卡10以作为运动图 像文件而被记录。上述过程通过在图像捕获部件1和图像产生部件2之间 的帧的单位同步。
.图6A概念性地描述了通过上述过程产生的编码数据61以及要增加到 其上的属性信息62， B卩，图像类型信息62a和基准帧信息62b。而且，在 H.264中，上面的编码数据61作为片数据体(sliced data body)而被存储在 运动图像文件中。另一方面，图像类型信息62a作为表示各个图像类型的 片类型而被存储在片头中，而基准帧信息62b作为表示在对各个图像进行 解码时的基准图像的基准图像指定信息而与编码数据61 —起被存储在片数 据体中。而且，作为基准图像指定信息(基准帧信息62b)，随着移动远离 该帧，提供其值逐渐增加。例如，如果该基准图像是紧接先前的基准图像
(将要作为基准的图像)，则其值为"0"。在基准图像之前的一个图像时， 其值为"1"，而且如果基准图像是再之前的一个图像，则其值为"2"，依 此类推。
而且，在图中所示的编码数据61中，"I"指I图像，"P"指不同于I 图像的帧号码(i)是4的倍数的帧的P图像，"p"指帧号码(i)不是4的 倍数的帧的P图像。在本实施例中，"I"和"P"是具有预定帧间隔的特定 图隼。而且，箭头所示的帧为在对各P图像进行编码时的基准帧(基准图 像)。另外，在接下来的描述中，"I"和"P"帧均被称为主帧，而"p"被 称为子帧。
而且，在上述的编码数据61中，对于每一帧增加一个值作为图像类型 信息62a，例如对于I图像是"I"， P图像是"P"。而且，对于P图像的帧，增加较早描述的预定值作为基准帧信息62b。换句话说，作为基准帧信息 62b，对于所有子帧(pl， p2， p3等)，分别增加表示紧接先前的基准图像 (将要作为基准的图像)的"0"，而对于主帧(P4， P8， P12),分别增加 在帧顺序上表示四帧之前的基准帧(将要作为基准的图像)的"3"。 (重放动作)
接下来，参照图3到5描述在根据上述各重放模式(正常速度重放模 式、慢速重放模式和变速重放模式)的重放期间的动作。
这里，假定要对通过上述记录动作记录在存储器卡10中的运动图像(运 动图像文件)进行重放。而且，在各重放模式中，首先CPU8读出记录在 存储器卡10中而且通过存储器卡控制部件9由用户进行可选地选择的运动 图像文件。然后CPU 8取出己被读出的运动图像文件的编码数据部分，而 且通过开始以60 fj)s的帧率向CODEC 5传送编码数据部分，开始运动图像 的重放。
(重放动作，慢速) '首先，根据图3中的流程图描述慢速重放模式中的动作。当用户设置 慢速重放模式时，CPU 8使CODEC 5和显示控制部件6以60 *s的帧率动 作。
然后，在开始重放时，CPU8首先初始化帧号码(0 (步骤SB1)。而 且，该帧号码的初始值与记录时相同，为"0"。
'接下来，CPU8读出增加到帧号码(i)的编码数据的属性信息62 (图 像类型信息62a，基准帧信息62b)(步骤SB2)以判断由图像类型信息62a 表示的图像类型是否为I图像(步骤SB3)。这里，与重放的开始类似，如 果CPU 8判断该图像为I图像(步骤SB3为是)，则该I图像由CODEC 5 进行解码。换句话说，CPU8通过帧内解码使CODEC5对该图像数据进行 解码以向存储器4输出图像数据(步骤SB4)。
另外，如果CPU 8判断该帧号码(i)的编码数据不是I图像(步骤SB3 为否)，则其使CODC5对P图像(主帧或子帧的编码数据)进行解码。换 句话说，CPU 8通过帧间预测解码对该图像数据进行解码，其中在基准帧 信息62b中表示的基准帧图像已经在步骤SB2中被读出，即在主帧P图像 的情况下，存储在存储器4中的四帧之前的图像，并且在子帧P图像的情
23况下，存储在存储器4中的一帧之前的图像，分别被用作基准图像。然后， CPU8使CODEC5向存储器4输出图像数据(步骤SB5)。
,在CPU8以1/60秒的显示帧率等待下一次显示时序之后(步骤SB6), 该解码图像数据被从存储器4中读出并且该图像数据被传送到显示控制部 件6。因而，CPU 8使显示控制部件6根据显示帧率在显示时序中更新在 LCD7上的显示图像(步骤SB7)。
之后，当CPU 8判断最后一帧的处理还未完成时(步骤SB8为否)， 在使帧号码(i)增加1后(步骤SB9)，通过返回到步骤SB2而重复先前 描述的过程。当CPU 8判断对整个编码数据(全部帧的显示)的解码完成 时(步骤SB8为是)，则重放完成。
从而，如图6B所示，CPU 8使CODEC 5对已经取出并且以240 fps 记录的所有帧进行解码，而且通过以60 fps在LCD 7上显示所有已经记录 的帧的图像数据，运动图像以正常速度的1/4速度进行慢速播放。 (重放动作，正常速度重放)
接下来，按照图4所示的流程图描述正常速度重放模式中的动作。即 使当用户设定正常速度重放模式时，CPU 8也使CODEC 5和显示控制元件 6以60Qds的帧率动作。
然后，在开始重放时，CPU8首先初始化帧号码(i)(步骤SBIOO。 而且，该帧号码的初始值与记录时相同，为"0"。
接下来，CPU8判断帧号码(i)是否为4的倍数(包括初始值"0")， 即，是否为上面提到的主帧(步骤SB102)。这里，与紧接开始重放之后的 类似，当CPU 8判断该帧号码(i)为4的倍数时(步骤SB102为是)，随 后从编码数据中读出属性信息(步骤SB103)以判断由该属性信息表示的 图像类型是否为I图像(步骤SB104)。
然后，如同上面提到的慢速重放模式的步骤SB4到SB9，当CPU8判 断其是类似于重放开始时的初始帧的I，在I图像的情况下(步骤SB104为 是)，则该I图像由CODEC5进行解码。换句话说，CPU 8使CODEC 5通 过帧内解码对图像数据进行解码而且将图像数据输出到存储器4 (步骤 SB105)。此外，当CPU8判断其不是I图像时，(步骤SB104为否)，则通 过CODEC5对P图像进行解码。换句话说，CPU8使CODEC5通过帧内
24预测解码使用在步骤SB103中读出的属性信息所表示的基准帧图像(四帧 之前并且被存储在存储器4中的图像=紧接着先前主帧的图像)作为基准 图像来对图像数据进行解码，而且将图像数据输出到存储器4 (步骤 SB106)。然而，与慢速重放模式不同，这里要被解码的P图像限于主帧的 P图像。
在CPU 8以1/60秒的显示帧率等待时序之后(步骤SB107),该解码 图像数据被从存储器4中读出并且将图像数据传送到显示控制部件6。因而， CPU 8使显示控制部件6根据显示帧率在显示时序中更新LCD 7上的显示 图像(步骤SB108)。
当CPU 8判断最后一帧的处理还未完成时(步骤SB109为否)，则在 使帧号码(i)增加1后(步骤SBllO)，通过返回到步骤SB102而重复先 前描述的过程。
同时，当CPU 8判断步骤SB102中的辨别结果为否并且新的帧号码(i) 不是4的倍数一即，当其判断将要作为下一个处理目标的编码数据为先前 描述的子帧的P图像时一该帧号码(i)的编码数据被跳过。换句话说，CPU 8跳过了从运动图像文件中取出的编码数据到CODEC5的传送动作(步骤 SBlll)，使帧号码实际上增加l (步骤SB112)而且返回到步骤SB102，重 复步骤SB111和SB112的过程直到帧号码(i)成为4的倍数。
当帧号码(i)再次成为4的倍数时，CPU 8执行先前描述的步骤SB103 到SB108的过程，使CODEC 5对下一个主帧的编码数据(I图像或P图像) 进行解码并且在LCD 7上显示解码图像。
之后，当CPU 8判断最后帧的处理还未完成(步骤SB109为否)，则 在使帧号码(i)增加1后(步骤SB110)，通过返回到步骤SB102重复先 前描述的过程。换句话说，如图6C所示，CPU8使CODEC5对于每四帧 (三帧之后)显示(解码)运动图像。换句话说，CPU 8通过将要被显示 (解码)的帧细化到1/4而以正常速度播放运动图像。当CPU 8判断最后 一帧的处理完成(步骤SB109为是)，则重放完成。而且，当CPU 8在先 前描述的步骤SB112中使帧号码(i)增加1，如果其判断超过最后一帧的 帧号码(i)，则很明显在改点处完成重放。
'这里，在以上述正常重放模式重放运动图像期间，在实际显示的主帧编码数据中，I图像为帧内编码图像而P图像为帧间预测编码图像。然而， P图像通过将I图像或主帧的P图像作为基准图像进行编码。因此，正如较
早所述，CPU8在不需要对不显示的子帧的编码数据(P图像)进行解码的 情况下，就能毫无问题地对各主帧进行显示。换句话说，伴随帧细化，CPU 8可以有效地执行以正常重放模式对运动图像进行重放。因此，与过去相比， 能够降低整个数据处理量和功耗。 (重放动作，变速重放) .接下来，根据图5A和5B所示的流程图对变速重放模式的动作进行描 述。即使当用户设置了变速重放模式，CPU 8也使CODEC 5和显示控制部 件6以60 Q)s的帧率动作。
然后，在开始重放时，CPU 8首先初始化重放模式值(m)，该值是调 节CODEC 5的重放动作的参数(步骤SB201)。换句话说，CPU 8确定重 放模式类型。这里，重放模式值(m)具有两种类型，也就是"1"或"4"。 "1"代表慢速重放模式而"4"代表正常速度重放模式，而且CPU 8在初 始化情况下对重放模式值(m)设置为"1"(慢速重放模式)。而且，CPU8 初始化帧号码(i)(步骤SB202)。此外，该帧号码的初始值与记录时相同， 为"0"。
'其后，CPU 8判断帧号码(i)是否为重放模式值(m)的倍数(假设 也包括"1=0")(步骤SB203)。由于在紧接着开始重放之后i-0且m-l，因 此CPU8判断为是并且读出增加到编码数据的属性信息62 (图像类型信息 62a，基准帧信息62b)(步骤SB204)以判断由图像类型信息62a表示的图 像类型是否为I图像(步骤SB205)。在紧接着开始重放之后(第一帧)， CPU 8判断编码数据为I图像(步骤SB205为是)并且使CODEC 5对I图 像进行解码(帧内解码)而且将解码的图像数据输出到存储器4 (步骤 SB206)。
在CPU 8以1/60秒的显示帧率等待时序之后(步骤SB207),将解码 图像数据从存储器4中读出并且将该图像数据传送到显示控制部件6。而且， CPU 8使显示控制部件6根据显示帧率在显示时序中更新LCD 7上的显示 图像(步骤SB208)。
当CPU 8判断最后一帧的处理还未完成时(步骤SB209为否)，则在使帧号码(i)增加l后(步骤SB210)，该CPU 8判断帧号码(i)是否为 4的倍数(步骤SB211)。因为紧接着开始重放之后i=l，因此这里CPU 8 判断为否，实际上通过返回到步骤SB203而重复前述处理。
由于这里i=l且m=l，因此CPU 8判断步骤SB203为是并且读出增加 到编码数据的属性信息62 (步骤SB204)以判断其是否为I图像(步骤 SB205)。第二帧(i=l)为子帧且解码目标的编码数据为P图像(步骤SB205 为否)。因此，CPU8读出在伴随帧号码(0的编码数据的基准帧信息62b 中表示的基准图像，S卩，来自存储器4的一帧之前的图像，而且使CODEC 5通过将由该基准帧信息62b表示的基准图像作为基准图像而对P图像进行 解码并将其输出到存储器4 (步骤SB212)。在CPU8以1/60秒的显示帧率 等待时序之后(步骤SB207)， CPU8从存储器4中读出解码的图像数据。 CPU 8将该图像数据传送到显示控制部件6，使显示控制部件6根据显示帧 率在显示时序中更新LCD7上的显示图像(步骤SB207和SB208)。而且， 关于第三帧和第四帧的编码数据，如在第二帧中，CPU 8使用一帧之前的 图像执行解码处理并且使该解码的图像数据显示在LCD 7上。
'这里，紧接着第四帧的图像显示之后，CPU 8判断在步骤SB210中增 加1之后的帧号码(i)为"4"(步骤SB211为是)而且立即检验用户是否 操作了速度变化键，而且如果没有操作速度变化键(步骤SB213为否)，则 返回到步骤SB203。第五帧(i=4)为主帧，而且解码目标的编码数据为P 图像(步骤SB205为否)。因此，CPU 8从存储器4中读出增加到帧号码(i) 的编码数据的属性信息中表示的基准图像，即四帧之前的图像(最初主帧 的图像)，而且使CODEC 5对该P图像进行解码(帧间预测解码)并通过 使用该CODEC5而将其输出到存储器4 (步骤SB212)。然后，CPU8使图 像数据显示在LCD7上(步骤SB207和SB208)。
.其后，CPU 8重复步骤SB203到步骤SB213的处理，而且如图6B所 示，通过对所有待显示的帧进行解码，如在重放开始时用户设定慢速重放 模式的情况一样，运动图像以正常速度的1/4的慢速进行播放。而且，同时， CPU 8对于每四帧，S卩，在对主帧的编码数据进行处理之前，检验速度变 化键操作的存在与否。
'如果CPU 8判断在此期间在任何检验时序中存在对速度变化键的任何操作(步骤SB213为是)，则在该点将重放模式值(m)由"1"切换到"4" 后，通过返回到步骤SB203而完成到正常重放模式的转换。
紧接着转换到正常重放模式之后，CPU 8判断步骤SB203为是，而且 在步骤SB204读取增加到帧i的编码数据的属性。如果CPU 8判断步骤 SB205为否，则其从存储器4中读出四帧之前的图像(最初主帧的图像) 并使CODEC 5通过将其作为基准图像而进行解码(帧间预测解码)，之后 接着在LCD 7上显示该解码图像。此外，如果CPU 8判断步骤SB205为是， 则某使CODEC 5对I图像进行解码(帧内解码)，之后接着在LCD7上显 示该解码数据。
之后，当CPU8判断帧号码(i)不是4的倍数(步骤SB203为否)， 则其在该点跳过该帧的编码数据(P图像)，即，子帧。换句话说，CPU 8 跳过对从运动图像文件中获取的编码数据到CODEC 5的传送动作(步骤 SB215)，在使帧号码(i)增加l后(步骤SB216)返回到步骤SB203，以 上就是重复的处理。另一方面，当CPU 8判断帧号码(i)是4的倍数时(步 骤SB203为是)，则执行步骤SB204之后的处理。换句话说，如果CPU 8 判断步骤SB205为否，则从存储器4中读出四帧之前的图像(最初主帧的 图像)，而且在由CODEC5将该图像作为基准图像而对主帧的编码数据(P 图像)进行解码(帧间预测解码)之后，在LCD7上显示解码的图像数据。 此外，如果CPU 8判断步骤SB205为是，则在由CODEC 5对I图像进行解 码(帧间解码)之后，将该lf码的图像数据显示在LCD7上。
接下来，通过重复相同的步骤，与设置正常速度重复模式的情况相似， 如图6C所示，通过每四帧(每第四帧)显示(解码)运动图像(将帧细化 到1/4以被显示)，CPU 8以正常速度播放运动图像。此外，同时，每四帧 一即在处理下一主帧的编码数据之前的时序一CPU 8检查是否操作了速度 变化键(步骤SB213)。
之后，如果CPU 8判断在任何指定的时序操作了速度变化键(步骤 SB213为是)，则在其将重放模式值(m)由"4"切换到"1"后(步骤SB214)， 通过返回到步骤SB203而在该点转换到慢速重放模式并且继续重放动作。 当CPU 8判断最后一帧的处理完成时(步骤SB209为是)，则重放结束。 此外，当在上述的步骤SB216中使帧号码(i)增加1时，如果判断其超出
28了最后一帧的帧号码(i)，则重放应该结束。
如上所述，在变速重放模式中，即使在运动图像的重放期间，当用户在希望点操作速度变化键，则可以将运动图像的重放模式，即，重放速度(移动速度)，实时地切换到正常速度和正常速度的1/4。
而且，当将重放速度设置为正常速度时，如上所述，可以在不对不将显示的子帧的编码数据(P图像)进行解码的情况下，有效地显示每四帧中的主帧。因此，与传统方式相比，全部数据处理量和功耗就可以减少。
'此外，由于如在本实施例中仅包括I图像和P图像的运动数据以H.264方式接收，而H.264是运动图像压縮的国际标准，因而如果配置能够保证运动图像数据的重放遵守H.264，则可以通过任意的运动图像重放设备进行播放。(第二实施例)
'下面描述本发明的第二实施例。与第一实施例类似，本实施例涉及包括压縮和记录以240 fps的高速帧率捕获的运动图像的记录功能和解码所记录的运动图像数据并以60 fps的显示帧率将其显示的重放功能的运动图像记录设备。
.本发明的基本配置与第一实施例中所示的运动图像记录设备(图1)中的相同，但是CODEC 5配置如图7所述。
图7是示出本实施例中CODEC 5的配置的方框图。如图7所示，CODEC5主要由总线控制部件51、基准缓冲器52和并行放置的第一 CODEC 53到第四CODEC 56构成。
'第一 CODEC 53到第四CODEC 56是包括用于编码和解码运动图像数据的主处理部件的元件，而且每一个具有相同的规格和处理能力，使得能够以60 fps的处理速度对VGA大小(640X480像素)的图像数据进行编码和解码。换句话说，第一 CODEC 53到第四CODEC 56由正交转换电路、量化电路、运动检测电路、前向预测电路、编码电路、解码电路和反正交转换电路构成，其各构成均与第一实施例中描述的CODEC5的配置相同。这里，在本实施例中用于使用CODEC 5编码运动图像的方法与H.264兼容，在第一实施例中提到H.264为国际标准。此外，H.264是一种在2003年由JVT (联合视频编码组)标准化的图像压縮编码的方法，JVT是ITU-T(国际电信同盟一电信标准部分)和MPEG (运动图像专家组)的联合标准化委员会。H.264由ITU-T标准化为H.264并且由MPEG标准化为MPEG-4部分10高级视频编码(AVC)，并且也被称为H.264/MPEG-4 Avc。基准缓冲器52对应于第一实施例中描述的帧存储器。基准缓冲器52读取在第一 CODEC 53到第四CODEC 56根据处理需要而对来自存储器4
(图1)的每帧图像数据进行编码和解码时所需的部分基准图像并且随后将其存储，将公共图像数据传送到第一 CODEC 53到第四CODEC 56。特别地，作为对于每一处理的宏块的相同位置的宏块以及运动开发和运动预测所需的部分图像数据均被临时存储。
总线控制部件51根据第一 CODEC 53到第四CODEC 56的需要而控制图像数据和编码数据对于存储器4的输入和输出。在本实施例中，基于来自CPU 8的指令的总线控制部件51的控制使第一 CODEC 53到第四CODEC 56独立地对不同类型的图像进行编码和解码，例如第一 CODEC 53
用于I图像而其它用于P图像。
此外，基准帧的图像数据必须经由基准缓冲器52传送到该第一 CODEC
53到第四CODEC 56。因此，所有被同时编码的P图像总是成为具有作为基准帧(基准图像)的相同帧的图像。
在本实施例中CODEC 5的配置也与第一实施例中描述的配置有所不同。
.下面描述本实施例的运动图像记录设备的动作或操作。(记录动作)
下面描述记录模式下运动图像拍取和记录的动作。图8A和8B是表示在运动图像拍取和记录中通过CPU 8的CODEC 5的控制内容的流程图。图9是在第一 CODEC 53到第四CODEC 56中对运动图像数据进行编码处理的时序图。图10A和IOB是在运动图像拍取和记录期间产生的一系列运动图像数据，即，表示H.264流的概要配置的概念图。图11A到11C是对应于第一实施例中图6A到6C的图。图11D是表示在两倍慢速重放模式下的重放期间各个帧的解码和显示存在与不存在的概念图。
首先，在明确地描述动作之前，在图11A到11D中描述与第一实施例的区别。图IIA是表示在本实施例中记录的运动图像中产生的运动图像数据的结构概念图。与图6A类似，在图11A中，"I"指I图像，"P"指P图像而不是帧号码(i)为4的倍数的I图像，"p"指帧号码(0不是4的倍数的P图像，而且各个帧以与编码类型(I图像/P图像)和帧号码(初始帧为"0")的组合进行表示。此外，箭头所示方向是各个P图像作为基准的目的地。而且，在本实施例中插入的I图像的时间间隔也是0.5秒(每120帧)。
在运动图像记录中，与第一实施例类似，CPU 8对初始帧0进行编码作为I图像(10)，对主帧的帧4编码作为P图像(P4)，其以最初主帧的I图像(10)作为基准图像，并且类似地，以各自最初主帧的P图像(P4，P8)作为基准图像而对帧8， 12的P图像(P8， P12)进行编码。
.同时，在本实施例中，CPU8还对作为子帧的帧1到3的P图像(pl，p2， p3)进行编码，其以最初主帧的I图像(10)作为基准图像。类似地，以最初主帧的P图像(P4， P8)作为基准图像，CPU8也对另一子帧的帧5至U7的P图像(p5， p6， p7)和帧9到11的P图像(p9， p10， pll)进行编码。换句话说，CPU8以I图像或最初主帧的P图像作为基准图像对所有子帧的P图像(pl， p2， p3)进行编码。
将参照图8A和8B描述主要与本实施例中上述编码处理相关的在运动图像拍取动作中的具体内容。这里，运动图像的大小以VGA大小进行记录。此外，在记录中，CPU 8以240 f^s的帧率操作图像捕获部件1和图像产生部件2并且以帧同步各个部件。然而，CODEC 5以四帧并且以60 fys的帧率同步。
如图8A和8B所示，CPU 8首先在记录的开始初始化帧号码(i)(步骤SC1)。帧号码(i)的缺省值(初始帧的号码)为"0"。接下来，CPU8等待要输入(聚集)到存储器4中的一帧的图像数据(步骤SC2)并且判断帧号码(i)是否为4的倍数(步骤SC3)。当CPU判断帧号码(i)不是4的倍数(步骤SC3为否)，则其仅重复使帧号码(i)增加l (步骤SC4)。另一方面，当CPU判断帧号码(i)是4的倍数(步骤SC3为是)，则其使CODEC5执行下述的编码处理。然而，紧接着动作开始之后的第一帧(i=0)被例外地判断为具有4的倍数的帧号码(i)。
.首先，当CPU8判断第一帧的图像数据输入到存储器4中时(步骤SC3
31和SC5为是)，其读出存储在存储器4中的第一帧的图像数据并且将其输入到CODEC 5的第四CODEC 56，而且输入到CODEC 56的图像数据通过帧间编码而作为I图像输出到存储器4 (步骤SC6)。此时，因为第一帧是非基准帧，因此CPU 8使第四CODEC 56为编码的I图像执行本地解码并且将该本地解码的图像数据作为基准图像数据而输出到存储器4中的预定区域。
接着，CPU 8将作为片类型的"1"、作为nal_ref—idc的"3"、作为frame一nmn的"0"和作为POC的"0"增加到在上述步骤SC6中存储到存储器4中的编码数据(步骤SC7到SCIO)。
这里，增加(以H.264流的形式写入)到编码数据的片类型是作为在第一实施例中描述的图像识别信息62a的图像参数，而nal—ref—idc、frame一num和POC是由H.264标准(特别地，"用于通用视听服务的ITU-T推荐H.264高级视频编码")规定的图像参数。
-特别地，nal—ref—idc是能够取0到3范围内值的参数，其被规定为将要作为基准的图像定义非"0"而将不会作为基准的图像定义为"0"。此外，nal—ref一idc被规定为作为标准技术规范的包的"相对优先级"，例如，当通过H.264编码的数据经由在由正TF(互联网工程任务组)公布的"RFC3984:H.264视频的RTP有效载荷格式"中的RTP (实时传输协议)传送时。换句话说，按照降序优先级的顺序，例如3， 2，和l ， "0"被规定为最低优先级。
frame—num被规定为对于以其它帧作为基准的帧取非0值的参数，而且其由H.264规定为
.累加每个基准图像(紧接基准图像的图像)。基本以1增加，其中仅顺序有意义，而与时间无关。POC (图像顺序计数)是表示图像输出顺序的参数，其由H.264规定
为
以IDR (即时解码器刷新)图像作为基础(0)，取与图像抽样时间成比例的值(^NOTE2在8.2.1)。
要求大小作为输出顺序(*C.4.5.3)使用与实际时间成比例的值(*8.4丄2.3)。此外，上面括号中*后面的数字是在11.264标准中章节的号码。而且，该IDR图像被规定为"I图像和在解码顺序中不需要以其先前图像作为基准而可以解码在解码顺序中位于其后的所有图像的图像"。
接下来，当CPU 8判断输入到存储器4的图像数据的帧号码(i)是4的倍数时(步骤SC3为是和步骤SC5为否)，则其首先检查帧号码(i)是否为120的倍数。当CPU 8判断该帧号码(i)不是120的倍数，例如4， 8，16，. ...116时(步骤SC12为否)，存储在存储器中的具有帧号码(i-3)到(i-l)的帧图像经由总线控制部件51被读出并且被输入到第一 CODEC 53到第三CODEC 55。使用被存储在存储器4中并且根据处理将通过宏块存储到基准缓冲器52中的具有帧号码(i-4)的基准图像的图像数据，CPU8使第一 CODEC 53至lj第三CODEC 55以与具有帧号码(i-3)至lj (i-l)的子帧
的帧图像并行地将各图像编码为P图像，并且将每一组编码数据输出到存储器4。
同时，CPU8读出存储在存储器4中的具有帧号码(i)的帧图像并且经由总线控制部件51将其输入到第四CODEC 56。CPU 8使第四CODEC 56使用具有帧号码(i-4)的基准图像，即最初主帧的图像数据，而将具有帧号码(i)的新主帧图像编码为P图像并且将编码数据输出到存储器4。而且，CPU 8使第四CODEC 56对编码的P图像执行本地解码并且将该本地解码的图像数据作为基准图像数据输出到存储器4的预定区域(步骤SC19)。
.换句话说，CPU 8使具有连续帧号码的三帧的子帧和随后的主帧的四帧图像共同地(并行地)由CODEC5以四帧进行编码。例如，当如图9所示将第四帧图像输入到存储器4时，CPU 8共同地对具有帧号码1到3的P图像(pl， p2， p3)和具有帧号码4的P图像(P4)进行编码。
接下来，CPU 8向从第一 CODEC 53到第四CODEC 56输出的所有编码数据增加"P"作为片类型而且将其存储在存储器4中(步骤SC20)，向从第一 CODEC 53到第三CODEC 55输出的每组编码数据增加"0"作为nal一ref一idc而且将其存储在存储器4中，并且向从第四CODEC 56输出的编码数据增力n"2"作为nal一refjdc而且将其存储在存储器4中(步骤SC21 )。
此外，CPU8以增加相应的帧号码的顺序将从int(i/4)、 int((i+l)/4)、int((i+2)/4)、 int((i+3)/4)得到的值作为frame—num增加到从第一 CODEC 53到第四CODEC 56输出的每一组编码数据中并且将其分别存储在存储器 4中(而且，int(n)是取小于自变量n的最大的整数的函数)。例如，CPU 8向具有帧号码1到4的图像分别增加1、 1、 1、 1，并且向帧号码5到8 的图像分别增加2、 2、 2、 2。换句话说，CPU8增加值，其中对于初始帧 是O而且在所有帧中以每四帧加1的方式递增，对于每组编码数据，1为缺 省值(同一个值)(步骤SC22)。
而且，对于每组编码数据，作为POC，以增加相应的帧号码的顺序， CPU 8分别增加从(i-3) X2、 (i-2) X2、 (i-l) X2和(i) X2得到的值 (相应于每组编码数据的帧号码的两倍的值)。例如，CPU8在帧号码为1 到4时分别增加2、 4、 6、 8。换句话说，对于每组编码数据，CPU 8在所 有帧中以每帧以2递增的方式增加值，以0作为缺省值增加(步骤SC23)。
而且，对于每组编码数据，作为表示在解码每组编码数据时要作为基 准的基准图像信息的值(基准图像表示信息)，CPU8增加"0"，该值表示 各图像(帧)的最初基准图像(作为基准的图像)(步骤SC24)。这里，各 图像的最初基准图像是位于每一图像之前的图像中其帧号码最接近于该图 像的帧号码的图像(g卩，I图像或P图像，四个图像之前)，并且各自图像 被增加非"0"值作为nal一ref—idc。基准表示信息的值是由在第一实施例中 提到的H.264规定的值。在H.264中，该值被规定为独立于帧而增加，其 中如上所述，最初基准图像的值为"0"，表示一帧之前的基准图像的值为 "1"，而且表示一帧再之前的基准图像的值为"2"。
另一方面，当CPU 8判断输入到存储器4中的图像数据具有帧号码(i)， 该帧号码为120的倍数时(步骤SC12为是)，则CPU 8读出存储在存储器 中的具有帧号码(i-3)到(i-l)的帧图像并且通过总线控制部件51将这些 图像输入到第一 CODEC 53到第三CODEC 55。与上述步骤SC19类似，根 据处理需要，读出存储在存储器4中的具有帧号码(i-4)并且也将经由宏 块而被存储在基准缓冲器52中的基准图像的图像数据，第一 CODEC 53到 第三CODEC 55对具有帧号码(i-3)到(i-l)的子帧的帧图像进行编码， 并行地作为子帧的P图像并且将各组编码数据输出到存储器4。
此外，CPU8读出存储在存储器4中的具有帧号码(i)的帧图像并且
34经由总线控制部件51将其输入到第四CODEC56。为了使具有帧号码(i) 的帧成为I图像，与上述步骤SC6类似，CPU 8使第四CODEC 56对该输 入图像数据执行帧内编码并且将编码数据输出到存储器4。而且，CPU8使 第四CODEC 56对该编码的I图像执行本地解码并且将该本地解码数据作
为基准图像数据输出到存储器4的预定区域(步骤scn)。
接下来，CPU 8向从第一 CODEC 53到第四CODEC 56输出的各组编 码数据增加"P"作为片类型而且将其存储在存储器4中，并且向从第四 CODEC 56输出的编码数据增加"I"作为片类型并将其存储在存储器4中 (步骤SC14)。
此外，CPU 8向从第一 CODEC 53到第三CODEC 55输出而且被存储 在存储器4中的每组编码数据增加"0"作为nal—ref—idc，向从第四CODEC 56输出而且被存储在存储器4中的编码数据增加"3"作为nal一refjdc (步 骤SC15)。
在与上述SC22和SC23相同的处理中，对于由第一 CODEC 53到第三 CODEC 55输出而且被存储在存储器4中的每组编码数据，CPU 8依次计算 作为frame—num和POC的值并且向各组编码数据增加该计算值(SC16和 SC17)。
而且，CPU 8向由第一 CODEC 53到第三CODEC 55输出而且仅被存 储在存储器4中的每组编码数据增加"0"，该值作为基准图像表示信息而 表示最初基准图像(作为基准的图像)(步骤SC18)。
此外，在如上所述被连续地从CODEC5输出到存储器4之后，增加有 各种图像参数的编码数据通过存储器卡控制部件9而被输出到存储器卡10 并且被记录作为运动图像文件。
此后，所有上述处理在运动图像拍取和记录期间进行重复。因此，在 存储器卡10中，如上所述，所有子帧的P图像以最初主帧的I图像或P图 像作为基准图像进行编码，而且作为图像参数(片类型、nal—ref—idc、 frame一num、 POC和基准图像表示信息)，如图10A所示，向每一帧输出增 加有这些值的H264流。
当CPU 8判断存在通过预定的按键操作以结束记录的指令时，则记录 动作结束(步骤SC11为是)。随着该动作，遵守H.264的运动图像文件被记录在存储器卡10中。
.此外，在本实施例中上述POC的增量是2，但是在H,264标准中也可 以是1，因为通过下述的重放动作进行解码的运动图像被假设通过具有60 字段和30帧的隔行扫描方法进行显示。
这里，在本实施例中，如图7所示，CODEC 5由基准缓冲器52和平 行放置的第一 CODEC 53到第四CODEC 56组成。在上述记录期间，以子 帧和接下来的主帧的多个图像数据作为一对，以来自存储在基准缓冲器52 中的相同帧的图像为基准图像而对图像数据的相关对进行共同编码。
因此，在运动图像记录设备中，存储器总线3的带宽可以减小，这是 因为被读出作为基准帧的图像数据可以减少并行数量那么多。 (重放动作)
'下面描述对通过本实施例中上述的记录动作记录在存储器卡10中的运 动图像(运动图像文件)进行播放的动作。
这里，在本实施例中，显示控制组件6的性能为60*5，而且在运动图 像重放期间，CPU8读出存储在存储器卡IO中并且由用户通过存储器卡控 制部件9以60 ^s的帧率选择的任意的运动图像文件数据，并且顺序地将 编码数据传送到CODEC 5。
而且，在本实施例中，将四倍慢速重放模式(具有正常速度的1/4的重 放速度的模式)、正常速度重放模式(重放速度与图像拍取的正常速度相同 的模式)和二倍慢速重放模式(具有正常速度的1/2的重放速度的模式)设 置为重放模式。下面描述通过模式的动作。此外，图11B到11D是表示在 各种重放模式下的重放期间对于每一帧的编码数据的解码和显示的存在和 不存在的概念图。
(重放动作四倍慢速重放)
四倍慢速重放模式是与第一实施例中的慢速重放模式相同的模式。在 四倍慢速重放模式中，在图7所示的第一 CODEC 53到第四CODEC 56之 中，仅使用第一 CODEC 53。通过在图3显示和概括的第一实施例的相同动 作，如图11B所示，所有以240 f^s记录的帧被连续地以60 fps进行解码， 并且随后显示该图像数据。换句话说，运动图像以1/4速度被慢动作播放。 .然而，在本实施例中，如图11A所示，与第一实施例不同，不仅在对
36于主帧的P图像(P4， P8，...)而且在对于子帧的P图像(pl， p2， p3，...) 的解码处理中，最初主帧的图像(10， P4，...)均被用作基准图像。此外， 在对编码数据的解码处理中，不仅使用第一 CODEC 53，而且也可以使用第 二 CODEC 54到第四CODEC 56中的一个。 (重放模式正常速度重放)
图12是表示在本实施例中具有正常速度重放模式的动作流程图。而且， 在正常速度重放模式中，仅使用第一 CODEC 53到第四CODEC 56中的第 一 CODEC 53对编码数据进行解码。在正常速度重放模式中，执行与第一 实施例中如图4所示几乎相同内容的动作(步骤SD1到SD12)。
其中，与第一实施例不同，CPU8读出在步骤SD2中提到的图像参数， 并且在接下来的步骤SD3，基于在图像参数中的nal—ref—idc的值，CPU 8 判断是否每一帧应该是解码目标。当该值不是"0"时一其表示非基准帧(不 作为基准的帧)，即，仅当CPUS判断其为主帧时一该帧才可以是解码目标。 此外，在步骤SD6，参照基准图像表示信息，对于主帧的P图像，与第一 实施例类似，执行以最初主帧的I图像或P图像作为基准图像的解码处理。 这里，在本实施例中，也对所有子帧的P图像执行以最初主帧的I图像或P 图像作为基准图像的解码处理。
从而，在正常速度重放模式中，与第一实施例类似，如图11C所示， 在所有以240 fps记录的帧之中，只有每四帧(每第四帧)的主帧(I图像 或P图像)以60fj)s被解码并显示。换句话说，通过对显示帧的1/4细化， 运动图像以正常速度播放。
因而，在正常速度重放模式中，与第一实施例类似，不需要对不显示 的子帧的编码数据进行解码，作为主帧的所有P图像可以被显示，所以整 个数据处理量和功耗能够减小。 (重放模式二倍慢速重放) '图13是表示在本实施例中具有二倍慢速重放模式的动作的流程图。也 是在二倍慢速重放模式中，涉及该实施例的运动图像记录设备仅使用第一 CODEC 53到第四CODEC 56中的第一 CODEC 53对编码数据进行解码。 从图13中可以清楚地看出，与图12所示的正常速度重放模式的动作的唯 一区别在于，在步骤SD13，仅仅是具有帧号码(i)为2的倍数(然而，例外的0也被处理为2的倍数)的帧可以成为解码目标。
从而，在二倍慢速重放模式中，如图11D所示，所有以240fps记录的 帧中每两帧(每第二帧)以60 fj)s被解码并且显示。换句话说，通过对显 示帧进行1/2细化，运动图像可以以正常速度的1/2的慢速播放。
在本实施例中，在运动图像记录中，不仅主帧的P图像而且子帧的P 图像也以最初主帧的I图像或P图像作为基准图像被编码。因此，也是当运 动图像以上述正常速度的1/2的慢速播放时，要显示的子帧的编码数据可以 在木需要对不会显示的子帧的编码数据进行解码的情况下进行解码。因而， 在有关情况下可以有效地执行，而且整个数据处理量和功耗可以在这些情 况下减少。
(正常速度提取编辑动作) ,另一方面，在本实施例的运动图像记录设备中，除了记录模式和重放 模式外(四倍慢速重放模式、正常速度重放模式和二倍慢速重放模式)，正 常速度提取编辑模式也提供作为动作模式。该正常速度提取编辑模式是这 样一种模式，其中仅以如图10B所示的正常速度重放模式显示的主帧(正 常速度重放帧)的流部分从通过记录动作作为运动倒像文件记录在存储器 卡10中的运动图像数据中提取出来一即，以240 高速捕获的具有VGA 大小的运动图像流一而且生成由以60fps并且具有VGA大小的提取部分构 成的新运动图像流并被记录在存储器卡10中。
图14是表示当以正常速度提取编辑模式编辑记录在存储器卡10中的 任意运动图像数据时CPU8的处理流程图。
'在编辑开始时，CPU 8首先初始化处理帧号码(i)而且开始读出高速 捕获的运动图像流，该运动图像流是来自存储器卡10的编辑目标(步骤 SD201)。此外，处理帧号码(i)的缺省值是"0"。
此后，对于高速捕获流，CPU 8判断每一帧中写入该流的nal—ref—idc 的值(步骤SD202)。当CPU 8判断nal—ref—idc的值为"0"时(步骤SD202 为是)，则跳过此时具有帧号码(i)的流(步骤SD203)。仅当CPU8判断 nal—ref一idc的值不是"0"时(步骤SD202为否)，其将具有帧号码(i)的 帧的流写入到存储器卡10中(步骤SD204)。
此后，当CPU8判断要处理的帧不是最后的帧时(步骤SD205为否)，在使帧号码(i)增加1 (步骤SD206)之后，重复上述处理(步骤SD202 到SD204)。当CPU8判断对于最后一帧(跳过或写入)的处理完成时(步 骤SD205为是)，则所有处理完成。
因而，通过使用正常速度提取编辑模式，涉及本实施例的运动图像记 录设备能自动地生成包括如图10B所示的运动图像流结构的新运动图像， 其中运动图像具有60 *S的重放性能并且可以以正常速度在其它设备中显
不o
(第三实施例)
以下描述本发明的第三实施例。与较早描述的第一和第二实施例类似， 本实施例涉及包括记录功能和重放功能的运动图像记录设备，记录功能压 縮和记录以240 fys的高速帧率捕获的运动图像，重放功能对记录的运动图 像数据进行解码并且以60fps的显示帧率进行播放。
本实施例中的运动图像记录设备的基本配置与第一实施例中描述的并 如图1所示的运动图像记录设备类似，并且CODEC 5具有能够以240 *s 的处理速度对具有VGA大小(640点X480点)的图像数据进行编码和解 码的处理能力。此外，通过CODEC5的运动图像编码方法(运动图像流配 置)遵守H.264，与第二实施例类似。
本实施例的运动图像记录设备将通过CODEC 5编码的运动图像数据作 为运动图像文件以MP4格式(此后将其称为MP4文件)记录在存储器卡 10上，该格式由ISO (国际标准化组织)标准化为记录MPEG 4图像和音 频数据的标准格式。此外，运动图像文件的具体配置是由ISO/IEC14496-12， "音频-视觉目标的信息技术编码一部分12: ISO基础媒体文件格式"规定 的配置。
图15是表示本实施例中记录在存储器卡10中的MP4文件的概略构成 图。如图15所示，MP4文件是多个盒信息的集合体并且由诸如"ftyp"和 "imid"、 "mdat"、 "moov"的各自盒构成，其中"ftyp"存储有表示相关文 件兼容性的信息，并且"uuid"、 "mdat"和"moov"存储有编码器特定的 扩展信息。
"mdat"是存储有编码图像数据的"媒体数据盒"，而且存储有相关盒 的数据大小、识别码Cmdat')和视频流组。视频流组由以帧为单位(byframe)的多个访问单元构成，并且每一个访问单元由诸如相关访问单元的 数据尺寸、AU定界符(该访问单元的边界代码)、H.264片数据(编码数 据)和相关H.264片数据的大小的各自数据组成。
'H.264片数据是由NAL(网络抽象层)头111和片数据112构成的NAL 单元，并且该NAL单元的片数据112进一步由片头121和片数据体122组 成。在该NAL头lll中存储有例如NAL单元类型的属性信息，而且这里， 存储有第二实施例中描述的nal一ref—idc。此夕卜，对于除了 nal—ref—idc之外的 图像参数，片类型(第一实施例中的图像表示信息62a)、 frame—num和POC 存储在片头121中，而基准图像表示信息(基准帧信息62b)连同在运动图 像记录中从CODEC 5输出的I图像的编码数据一起存储在片数据体122中。
此外，存储在片数据体122中的I图像的编码数据是宏块的集合，而且 该基准图像表示信息实际上是由宏块存储，而且要作为基准图像的信息通 过宏块作为基准。然而，这里为了简化叙述，这里描述为基准图像表示信 息与片数据(图像)作为单元进行存储。
而且，"moov"为"电影盒"并且由相关盒的数据大小、该盒的识别码 ('moov')、索引数据和udta组成，其中存储有解码H.264所需的信息。
索引数据由两种类型的轨道组成。各轨道是在重放中存储索引信息的 "轨道盒"，而且各轨道由相关盒的数据大小、识别码((轨道')和表示要 被解码的访问单元的视频索引信息101， 102组成。
在两种类型的轨道之一中，运动图像的所有帧的所有信息被存储为视 频索引信息101，而且在另一轨道中，仅从初始帧到第四帧的运动图像的主 帧的索引信息存储为视频索引信息。在接下来的叙述中，将一个轨道称为 用于所有帧重放的轨道，并且存储在其中的视频索引信息101是对于所有 帧重放的索引信息，而将另一轨道称为用于正常速度重放的轨道，并且存 储在其中的视频索引信息102是对于正常速度重放的索引信息，从而将二 者区分开。图16是表示对于所有帧重放的索引信息101和对于正常速度重 放的索引信息102与访问单元之间的关系图。
此外，包括"电影盒"的udta是其中存储有各种类型的用户信息的"用 户数据盒"。
下面描述本实施例的运动图像记录设备的动作或操作。
40(记录动作)
'下面描述在记录模式中运动图像拍取和记录的动作。图17A和17B是 表示在运动图像拍取和记录中通过CPU 8的CODEC 5的控制内容流程图。 图18A到18C是表示以记录模式记录的运动图像数据的配置概念图，对应 于第一实施例中示出的图6A和第二实施例中示出的图11A。
,首先，在对该动作进行具体描述之前，与第一和第二实施例的区别在 图18A到18C中描述。图18A到18C是表示以记录模式记录的运动图像数 据的配置概念图。
在本实施例，在记录中存在于主帧之间的子帧号码可以被设置作为子 帧模式。可以设置的子帧号码为3、 l中的一个或0，而且各子帧号码在记 录时作为表示子帧类型的值而存储在"用户数据盒"中。
此外，可以包括子帧模式以使得在记录运动图像之前或之后基于预定 的情况经由用户按键操作而在任意点被自动地设置，但是这里为了方便， 可以包括子帧以在开始记录之前提前由用户使用按键操作进行设置。
当如图18A所示将子帧模式设置为3时，初始帧被编码为I图像(10)， 并且之后，具有帧号码(i)为4的倍数的帧以最初主帧的I图像或P图像 作为基准图像进行编码。然而，在本实施例中，具有帧号码(0为8的倍 数的帧以主帧八帧的I图像或P图像作为基准图像进行预-编码。而且，与 第二实施例类似，所有子帧的P图像以最初主帧的I图像或P图像作为基 准图像进行编码。
此外，当如图18B所述将子帧模式设置为1时，并不将所有子帧的P 图像作为编码目标，仅仅具有帧号码(i)为2的倍数的帧是编码目标。而 且，当如图18C所示将子帧模式设置为0时，所有子帧均被排除在编码目 标之夕卜。
.在本实施例中，记录运动图像的动作的更多具体内容将结合图17A和 17B进行描述。此外，也在本实施例中，将要被记录的运动图像的大小是 VGA大小，而且在记录时，CPU8以240^)s的帧率操作图像捕获部件l、 图像生成部件2和CODEC 5并且通过帧同步各部件。
如图17A和17B所示，在记录开始时，CPU8首先初始化帧号码(0 (步骤SE1)。帧号码(i)的缺省值(初始帧的号码)为"0"。之后，CPU
418等待输入(聚集)到存储器4中的一帧的图像数据(步骤SE2)而且之后 当判断帧号码(i)为120的倍数，包括0，时(步骤SE3中为是)，读出存 储在存储器4中的图像数据以被输入到CODEC5中。CPU8通过对输入到 CODEC 5中的相关帧的图像数据进行帧内编码而作为I图像输出到存储器 4中(步骤SE4)。此外，这里，CODEC 5存储本地解码图像，其中在存储 器4中与编码数据分离地解码该编码数据，作为在编码后续P图像中使用 的图像数据(基准图像)。
接下来，对于编码数据，CPU 8增加作为片类型的"I"和作为nai_ref_idC 的"3"。而且，CPU 8将从"int((i+3)/4)"中获得并且对于所有帧每四帧 增加1的值，其中初始帧的值为O而缺省值为1，增加作为frame一num，并 且进一步，将从"iX2"中获得并且对于所有帧每帧增加2的值，缺省值为 0，增加作为POC (步骤SE5)。此外，其中并不增加基准图像表示信息。
之后，CPU8在用于正常速度重放的轨道中(步骤SE6)并且进一步在 用于所有帧重放的轨道中(步骤SE7)增加此时关于帧号码(i)的主帧的 索引信息。之后，当CPU 8判断没有经由预定的按键操作的完成记录的指 令时(步骤SE8为否)，使帧号码(i)增加1 (步骤SE9)并返回到步骤 SE2，并且等待要输入的用于下一帧的图像数据。
.此外，当判断帧号码(i)不是120的倍数而是8的倍数时(步骤SE3 为否且步骤SE10为是)，CPU 8读出此时存储在存储器4中的图像数据并 将其输入到CODEC 5。 CPU 8使CODEC 5使用存储在存储器中的8帧之 前的具有帧号码(i-8)的基准图像的图像数据将相关帧的图像数据编码为P 图像，并且将其输出到存储器4 (步骤SEll)。而且，在对相关的P图像进 行编码时，CODEC5存储本地解码图像，其中在存储器4中与编码数据相 分离地解码此时的编码数据以作为在对接下来的四帧P图像和后面的八帧 图像进行编码时使用的图像数据(基准图像)。
接下来，CPU8将作为片类型的"P"、作为nal—ref—idc的"2"，作为 frame—mim的可以从"int((i+3y4"中获得的值(每帧增加2的值)以及作 为POC的从"iX2"中获得的值(每帧增加2的值)增加到输出到存储器 4的编码数据。此外，作为基准图像表示信息，CPU8增加"1"，该值表示 两个图像之前的基准图像，即，增加8帧之前的具有帧号码(i)的图像(步
42骤SE12)。
此外，当CPU8判断帧号码(i)是4的倍数而不是8的倍数时(步骤 SE10为否且步骤SE13为是)，读出此时存储在存储器4中的图像数据并将 该数据输入到CODEC5。使用存储在存储器中具有帧号码(i-4)的帧的图 像，艮卩，四帧之前的图像作为基准图像，CPU 8使CODEC 5将输入作为P 图像的相关帧的图像数据进行编码，并且将其输出到存储器4(步骤SE14)。 而且，在对相关的P图像进行编码中，CODEC5存储本地解码图像，其中 在存储器4中以与编码数据相分离的方式解码所述编码数据作为在对随后 的三帧P图像进行编码时使用的图像数据(基准图像)。
接下来，对于输出到存储器4中的编码数据，CPU8增加与帧号码(i) 为8的倍数的值相同的值作为片类型、nal_ref—idc、 frame—num和POC。而 且，作为基准图像表示信息，CPU8增加"0" —表示最初基准图像的值， 即，四帧之前的图像(步骤SE15)。
之后，当帧号码(i)是8或4的倍数时，CPU 8向用于正常速度重放 的轨道和用于所有帧重放的轨道(步骤SE6和步骤SE7)增加关于此时具 有帧号码(i)的主帧的索引信息。之后，如果CPU8判断没有经由预定按 键操作的完成记录的指令(步骤SE8为否)，则使帧号码(i)增加1 (步骤 SE9)以返回到步骤SE2，并且等待要输入的用于下一帧的图像数据。
此外，当CPU 8判断步骤SE13的辨别结果为否并且帧号码(i)不是4 的倍数时，根据子帧模式的类型执行以下处理。
'首先，当CPU8判断子帧模式(S)被设置为3时(步骤SE16为是)， 则读出此时存储在存储器4中的图像数据并将其输入到CODEC 5。 CPU 8 使CODEC 5以存储在存储器中的最初主帧作为基准图像而将相关帧的输入 图像数据编码为P图像并且将其输出到存储器4 (步骤SE17)。接下来，对 于输出到存储器4的编码数据，CPU 8分别通过对于上述主帧相同的过程 增加作为片类型的"P"、作为nal一refjdc的"0"、 framejum和POC，而 且作为基准图像表示信息，增加表示最初基准图像的值"0"(步骤SE18)。 之后，CPU8仅对用于所有帧重放的轨道增加关于此时具有帧号码(i)的 子帧的索引信息(步骤SE7)。
.此外，当CPU8判断子帧模式(S)被设置为1时(步骤SE16为否且步骤SE19为是)，如果判断帧号码(i)为2的倍数(步骤SE19为是)，则 执行与帧模式为3共用的上述处理(步骤SE17，步骤SE18和步骤SE7)。 而且，当CPU8判断子帧模式(S)没有被设置为1 (步骤SE19为否) 且当CPU8判断子帧模式被设置为1但帧号码(i)不是2的倍数时(步骤 SE20为否)，则CPU8立即判断是否存在预定的按键操作。如果CPU8判 断没有经由预定的按键操作的记录表示完成(步骤SE8为否)，则使帧号码 (i)增加l (步骤SE8)，返回到步骤SE2以等待要输入的用于下一帧的图 像数据。
此外，如上所述在从CODEC5顺序输出到存储器4中后，增加有图像 参数的编码数据、对于所有帧重放的索引信息101以及对于正常速度重放 的索引信息102被顺序地通过存储器卡控制部件9输出到存储器卡10以被 记录为运动图像文件(MP4文件)。
之后，在运动图像记录期间，CPU 8重复上述所有处理，而且当其判 断存在经由预定按键操作的记录完成的指令时(步骤SE8为是)，则记录动 作结束。从而，在记录在存储器卡10中的MP4文件中，作为上述视频流 组，存储有与子帧模式的设置值相对应的帧的一系列编码数据。此外，如 图15和16所示，在用于所有帧重放的轨道中，存储有关于所有编码帧的 用于所有帧重放的索引信息101，而且在用于正常速度重放的轨道中，仅存 储有关于主帧的用于正常速度重放的索引信息102。 (重放动作)
下面描述在本实施例中播放通过上述记录动作记录在存储器卡10中的 运动图像(MP4文件)的动作。
,也在本实施例中，显示控制部件6的性能是60 fys，而且在运动图像重 放中，CPU 8读出记录在存储器卡10中并且由用户以60 fps的帧率通过存 储器卡控制部件9选择的任意MP4文件并且之后将该编码数据部分传送到 CODEC 5。
此外，在本实施例中，作为重放模式，设计了四种类型的模式一所有 帧重放模式、正常速度重放模式、1/2细化重放模式和2倍快速重放模式。 下面参照图23描述重放模式。图23是表示重放模式、重放速度和基准轨 道之间的关系图。所有帧重放模式是其中基本上播放被记录为运动图像数据的所有帧的
模式，而且在记录时子帧模式被设置为3的运动图像的重放速度为正常速 度的1/4。此外，1/2细化重放模式是基本上播放被记录为运动图像数据的 所有帧中每隔一帧的模式，而且在记录时子帧模式被设置为3的运动图像 的重放速度为正常速度的1/2。而且，正常速度重放模式为与记录时相同的 正常速度，而与在记录时设置的子帧模式类型无关，并且2倍快速重放模 式为重放速度是记录速度(正常速度)的两倍的模式，而与记录时设置的 子帧模式类型无关。下面通过上述模式描述本实施例中的重放动作。 (重放动作所有帧重放) '图19是表示在所有帧重放模式下的动作流程图。图21A是表示在运动
图像记录中通过子帧模式设置在所有帧重放模式下各帧的解码和显示的存 在和不存在的概念图。
如图19所示，在所有帧重放模式下，在记录开始时，CPU8首先初始 化重放帧号码(j)(步骤SF1)。重放帧号码(j)的缺省值为"0"。接下来， CPU 8从存储有用于所有帧重放的索引信息101的用于所有帧重放的轨道 中读出帧号码(j)的索引信息f (步骤SF2)，而且根据读出的索引信息， 将用于视频流组的读取指针设置给帧号码(j)的访问单元(编码数据)(步 骤SF3)。
接下来，在CPU8在帧号码(j)的编码数据的片头121中读取信息之 后(步骤SF4)，如果CPU8判断通过片头信息中的片类型表示的图像类型 为I图像(步骤SF5为是)，则CPU 8使CODEC 5通过帧间解码对该I图 像进行解码，而且将该图像数据输出到存储器4 (步骤SF6)。
而且，如果CPU 8判断通过片头信息中的片类型表示的图像类型不是 I图'像(歩骤SF5为否)，则CPU 8使CODEC 5通过帧间预测编码使用由 与编码数据一起存储在片数据体122中的基准图像表示信息所表示的作为 基准的帧图像作为基准图像而对P图像进行解码，而且将该图像数据输出 到存储器4 (步骤SF7)。
.这里，进行解码的P图像是记录的所有P图像，但是如图21A所示， 单个P图像的内容根据记录运动图像时设置的子帧模式而变化。换句话说， 如果在记录运动图像时子帧模式被设置为3，则与第一实施例中的慢速重放
45和第二实施例中的四倍慢速重放模式类似，在记录运动图像时捕获的所有 主帧和子帧的P图像都进行解码。而且，如果子帧模式为1，对在记录运动
图像时捕获的所有主帧的P图像和在记录运动图像时帧号码(0为偶数的 子帧进行解码。进一步地，如果子帧模式为o，则对在记录运动图像时捕获
的所有主帧的p图像进行解码。
此外，如图18所示，对于解码各个P图像时要作为基准的帧，无论记 录运动图像时的子帧模式如何，当具有帧号码(i)的帧为子帧时，基准帧 总是最初主帧。而且，当该帧是主帧并且是帧号码(0的P图像之前的八 帧主帧时，对于具有帧号码(i)在记录运动图像时是8的倍数的P图像， 并且对于具有帧号码(i)在记录运动图像时是4的倍数而不是8的倍数的 P图像，基准帧总是最初主帧。
在CPU 8以1/60秒的显示帧率等待时序之后(步骤SF8)， CPU 8从存 储器4中读出解码图像数据并且将该图像数据传送到显示控制部件6。从而， CPU 8使显示控制部件6在通过显示帧率显示时序的同时更新LCD 7上的 显示图像(步骤SF9)。
之后，当CPU8判断最后帧的处理还未完成(步骤SF10为否)，则在 使重放帧号码(j)增加l (步骤SFll)之后，返回到步骤SF2重复上述处 理。当CPU 8判断所有编码数据的解码和显示均完成时(步骤SF10为是)， 则重放结束。
从而，如图21A所示，运动图像记录设备解码帧并显示图像数据。换 句话说，对于在记录时具有子帧模式3的运动图像，该运动图像记录设备 依次对所有以240 f^s记录的帧进行解码，并且通过显示以60 fys记录的所 有帧的图像数据，运动图像以正常速度的1/4进行慢速播放。此外，对于在 记录时具有子帧模式1的运动图像，该运动图像记录设备以60 fps细化并 且每隔一帧地显示所有图像数据，并且从而以正常速度的1/2播放运动图 像。而且，对于在记录时具有子帧模式0的运动图像，运动图像记录设备 以60 细化并且以每隔三帧地显示所有图像数据，并且从而以正常速度 播放运动图像。
'此外，在图21A中，仅对于记录有编码数据的帧(记录帧)，示出了在 运动图像记录时的图像类型(1， P， P)和帧号码。而且，使用加黑轮廓示出的帧是其中用于所有帧重放的索引信息101被保存在重放中使用的用于
所有帧的重放轨道中的帧。 '这样，在所有帧重放模式中，运动图像记录设备使用用于所有帧重放
的索引信息101执行解码处理，并且从而如图23所示，记录的运动图像根 据在记录时设置的子帧模式类型而以四倍慢速、二倍慢速(正常速度的1/2) 或正常速度进行播放。
.(重放动作正常速度重放)
图20是表示在本实施例中在正常速度重放模式下的动作流程图。图 21B是表示通过在记录运动图像时设置的子帧模式而在正常速度重放模式 下各帧的解码和显示的存在和不存在的概念图。
如图20所示，在正常速度重放模式下，在记录开始时，在CPU8首先 初始化重放帧号码(j)之后(步骤SFIOI)，与所有帧重放模式不同，CPU 8从用于正常速度重放的轨道中读出帧号码(j)的索引信息f，该轨道中仅 存储有关于主帧的用于正常速度重放的索引信息(步骤SF102)。之后，CPU 8执行与在所有帧重放模式中图19的步骤SF3到SF11相同的处理。
从而，如图21B所示，无论在记录时设置的子帧模式类型如何，通过 仅以60 Q)s显示包括初始帧在内的每隔四帧的主帧，运动图像以正常速度 播放。此外，图21B中所示的具有加黑轮廓的帧是其中用于正常速度重放 的索引信息102存储在重放中使用的用于正常速度重放的轨道中的帧。 (重放动作1/2细化重放)
图22A是表示通过记录运动图像时设置的子帧模式在1/2细化重放模
式下各帧的解码和显示的存在和不存在的概念图。
在1/2细化重放模式下，CPU 8执行几乎与所有帧重放模式相同的处理。 换句话说，(图中未示出)将图19所示的步骤SF11的程序改变为使帧号码 (j)增加两次的处理。 .因此，如图22A所示，运动图像记录设备解码帧并显示图像数据。换 句话说，对于在记录时具有子帧模式3的运动图像，该运动图像记录设备 依次对所有以240 Q)s记录的每隔一帧细化的帧进行解码，并且通过以60 fj)s 进行显示，运动图像以正常速度的l/2进行播放。此外，对于在记录时具有 子帧模式1的运动图像，依次对每隔一帧细化的编码数据进一步进行每隔一帧的细化和解码，并且该运动图像记录设备以60 Q)s进行显示，因此运动图像以正常速度进行播放。而且，对应于在记录时具有子帧模式0的运动图像，依次对每第四帧细化的编码数据进一步进行每隔一帧的细化和解码，并且该运动图像记录设备以60 fys进行显示，从而运动图像以二倍快速进行播放(以记录时速度的二倍进行播放)。
此外，还在图22A中，对于记录有编码数据的帧(记录帧)，示出了记录运动图像时的图像类型(1， P， p)和帧号码。而且，以加黑轮廓示出的帧是其中对于所有帧重放的索引信息101存储在重放中使用的用于所有帧重放的轨道中的帧。
因而，在l/2细化重放模式下，运动图像记录设备使用对于所有帧重放的索引信息101执行解码处理，并且从而根据记录时设置的子帧模式类型而以二倍慢速、正常速度或二倍快速播放所记录的运动图像。(重放动作二倍快速重放).图22B是表示通过记录运动图像时设置的子帧模式在二倍快速重放模式下各帧的解码和显示的存在和不存在的概念图。
在二倍快速重放模式下，CPU 8执行与正常速度重放模式几乎相同的处理。换句话说，(图中未示出)将图20所示的步骤SF111的程序改变为使帧号码(j)增加两次的处理。
'因此，如图22B所示，无论记录时设置的子帧模式类型如何，通过仅以60 *S显示包括初始帧在内的每隔八帧的主帧，运动图像以二倍快速播放。此外，图22B中所示的具有加黑轮廓的帧是其中用于正常速度重放的索引信息102存储在重放中使用的用于正常速度重放的轨道中的帧。
这里，在如上所述的本实施例中，当记录运动图像时，使用最初主帧或8帧之前的P图像的I图像作为基准图像而对主帧的P图像和子帧的P图像进行编码。因此，在显示运动图像时，如果运动图像以上述的任何重放模式播放，则无论在记录运动图像时的子帧模式如何，不用对不显示的子帧的编码数据进行解码就能对要显示的子帧的编码数据进行解码。
.因而，当运动图像以正常速度的1/2的慢速或正常速度进行播放时，根据记录时设置的子帧模式类型，可以有效执行，并且整个数据处理量和功耗能够因此减少。此外，在本实施例中，通过使用二倍快速模式，无论记录时设置的子
帧模式如何，运动图像能以二倍快速播放。对于在记录时具有子帧模式o
的运动图像，以1/2细化重放模式的重放也使运动图像以二倍快速播放。
而且，在记录运动图像时，对于具有帧号码(i)为8的倍数的帧的P 图像，设计不使用最初主帧的I图像或P图像而是使用八帧之前的主帧的I 图像或P图像作为基准图像进行编码。因此，也在以二倍快速播放运动图 像时，在不需要对不要显示的主帧的编码数据进行解码的情况下，对要显 示的主帧的编码数据进行解码。这样，也在以二倍快速播放运动图像时， 可以有效地执行，而且对于这种情况，整个数据处理量和功耗能够减少。
此外，在本实施例中，设计具有帧号码(i)为8的倍数的帧的P图像 使用8帧之前的主帧的I图像或P图像作为基准图像进行编码。然而，例如， 具有帧号码(i)为16的倍数的帧的P图像可以使用16帧之前的主帧的I
图像或P图像作为基准图像进行编码。换句话说，可以使用用于对该帧的 其它P图像进行编码的基准图像进行编码，该帧的其它P图像以n帧的P 图像最接近于该相关的P图像。换句话说，在『16的情况下，四倍快速的 重放是可能的。
此外，在本实施例中，在记录运动图像的同时，可以设置存在于主帧 之间的子帧数量作为子帧模式。因此，在记录运动图像时，通过根据物体 运动的速度变化而设置子帧模式一例如如果在图像捕获部件1中捕获的物 体具有慢速运动则将子帧模式设置为O —可以省略通过帧细化对于显示运 动图像不必要的该帧图像的编码处理。这样，整个数据处理量和功耗能够 减少。同时，存储器卡10的存储器消耗量也能减少。
此外，在本实施例中，在记录运动图像的同时，作为表示要被解码的 访问单元(编码数据)的索引信息，用于所有帧重放的索引信息101和用 于正常速度重放的索引信息102均被设计为被记录。从而，通过分别使用 这些组索引信息，在以所有帧重放和正常速度重放来播放运动图像时，通 过分别使用这些组索引信息，可以实现基于相同运动图像文件的以正常速 度的1/4的速度播放运动图像。而且，在能够播放MP4文件的所有目的运 动图像重放设备中也是可能的。
此外，在本实施例中，对于CODEC5具有与第一实施例所述运动图像记录设备类似配置的情况进行了描述。然而并不局限于此，与第二实施例
中描述的运动图像记录设备类似，CODEC 5由如图7所示的总线控制部件 51、基准缓冲器52和并行排列的第一 CODEC 53到第四CODEC 56组成。 而且，在此情况下，通过在以图18所示的记录模式下对预定帧图像进行编 码，可以得到与本实施例类似的效果。而且，相关点也与第一实施例中的 类似。
(变型示例)
这里，在上述第一到第三实施例中，对具有用于编码和解码运动图像 的CODEC 5的运动图像记录设备进行了描述。然而，也可以包括通过CPU 8使用预定软件执行运动图像的编码和解码。而且，在这种情况下，在使用 与上述正常速度播放运动图像时类似的细化帧的运动图像重放中，由于可 以有效地执行，因此整体数据处理量和功耗能够减少。因而，在这种情况 下，与运动图像的正常速度重放并行地，不需要对CPU 8维持额外的处理 能力，较大量的数据处理就可以由CPU8执行。
而且，在第一到第三实施例中，运动图像记录设备是具有运动图像解 码设备的功能的配置，而且对于在以运动图像记录设备记录的运动图像通 过运动图像记录设备进行播放的情况进行了叙述。然而，也可以在记录的 运动图像以具有播放(解码)运动图像功能的其它设备或仅具有重放(解 码)功能的设备进行播放(解码)的情况下，可以减少重放(解码)时的 整体数据处理量和功耗。
基于此，例如运动图像记录设备，那些对以240fys捕获的运动图像具 有处理和编码能力的设备，基本上能够以240 ^DS解码和显示记录的运动图 像。这是因为编码包括被称为本地解码的解码处理，以在与上述MPEG方 法类似的解码时产生相同的预测图像。
这样，在如上所述的重放中减少数据处理量的效果和与之一起获得的 效果_即，将预定软件用于解码运动图像时的效果一在接下来的情况中将 变得更加显著。换句话说，例如当将本发明的运动图像解码方法应用到具 有支持正常显示帧率(例如，60*S)的能力作为对运动图像数据的解码处 理能力的普通重放设备中时，对以240fps记录的运动图像以正常速度重放 进行播放时，效果变得更加有效。换句话说，在第一到第三实施例中，在记录模式中记录时的帧率为240 *s。然而除此之外，在记录时的帧率(60^s)可以是重放期间显示帧率的 整数倍(n)。在这种情况下，在对运动图像进行编码和解码的同时，当每 隔n帧作为主帧进行编码和解码时，运动图像的重放速度可以是正常速度， 与上述在各实施例中的正常速度重放模式类似(包括第一实施例中在变速 重放模式下的正常速度重放期间)。
此外，在记录模式进行记录的同时，当对运动图像进行编码时I图像的 插入时间间隔为0.5秒(每隔120帧)，但是该插入时间间隔可以是任何秒 数并且可以是不规律的。而且，I图像不仅可以存在于在正常速度重放模式 下的主帧中而且可以存在于在正常速度重放模式下不显示的子帧中。
而且，包括重放模式以使得可以选择除了正常速度重放模式之外的重 放模式，但是也可以包括重放模式以使得运动图像重放仅在正常速度重放 模式下执行。
换句话说，在第一到第三实施例中，对于在包括CODEC5以仅在记录 运动图像时生成I图像和P图像的情况进行了描述。然而，并不限于此，也 可包括双向预测电路而且也可包括在编码时生成B图像(双向预测编码图 像).。在这种情况下，在记录运动图像时，可以在对应于子帧(在图6A、 IIA和18中的"p"帧)的帧位置中插入B图像。然而，在这种情况下， 为了生成B图像需要双向图像数据，而且需要处理的信息和处理量会变成 双倍，并且由于一系列输入(图像获取)和输出(显示)顺序以及编码和 解码顺序不同，因此处理变得复杂。
此外，在第一到第三实施例中，在对拍得的运动图像进行编码时，对 将一系列帧图像编码为I图像和P图像的情况进行了描述。然而，在本发明 中，当运动图像以其它方法进行编码时，可以应用使用帧间预测编码技术 的方法，在其它帧是基准图像例如P图像(或B图像)时，该方法将帧的 图像数据编码为不同的信息。例如，I图像(或B图像)以非运动补偿帧间 预测编码技术进行编码。换句话说，可以是，其中仅生成差分信息的编码 数据，而不包括运动矢量(MV)，并且将每一帧转换为中间数据而不是被 编码的DCT系数。
而且，运动图像记录设备也描述为不仅记录拍取的运动图像而且具有
51播放所记录的图像数据的功能，但本发明可以应用到不具有重放功能的运 动,像记录设备。
而且，如果运动图像被编码，本发明并不限于通过图像拍取获得的运 动图像。例如，本发明可以应用于各种设备，该设备具有用于对从其它设 备输入的运动图像进行编码的配置，例如，通过广播传输的以及已经记录 在存储器中的运动图像。
此外，在第一和第二实施例中，在使用基准图像编码主帧中的基准帧 是最初主帧，但是也可以使用该主帧之前的帧。例如，具有帧号码(i)的
主帧的基准帧，在"8"之后，可以是八帧之前的主帧。而且，多个主帧， 特别地在时间轴上相关帧之前和之后的帧可以用作基准帧。换句话说，可 以将主帧编码为B图像。
'此外，在第三实施例中，在使用基准图像编码主帧时基准帧是最初二 倍快速帧一即要以二倍快速重放模式显示的帧(主帧) 一但是也可以使用 在此之前的二倍快速帧。而且，多个二倍快速帧，特别地在时间轴上相关 帧之前和之后的帧可以用作基准帧。换句话说，可以将主帧编码为B图像。 此外，在第一实施例中，在使用基准图像编码子帧中的基准帧为最初 帧，但是也可以使用之前或之后的帧。而且，多个帧，特别是在时间轴上 相关帧之前和之后的帧可以用作基准帧。换句话说，可以将子帧编码为B 图像。
此外，在第二和第三实施例中，在使用基准图像编码子帧中的基准图 像是最初主帧，但是也可以使用之前或之后的帧。而且，多个主帧，特别 地在时间轴上相关帧之前和之后的帧可以用作基准帧。换句话说，可以将 主帧编码为B图像。
此外，在第一和第二实施例中，与在第三实施例中相同，使用MP4格 式的运动图像文件格式以使得用于所有帧重放的索引信息101和用于正常 速度重放的索引信息102增加到编码数据，可以在播放(解码)运动图像 时有选择地使用用于所有帧重放的索引信息101和用于正常速度重放的索 引信息102来执行重放动作。
此外，还是对于第三实施例，与在第二实施例中相同，在播放(解码) 运动图像的同时，可以使用图像参数(片类型、nal—ref—idc、 frame—num、POC和基准图像表示信息)而不是使用用于所有帧重放的索引信息101和 用于正常速度重放的索引信息102来执行重放动作。
在不偏离本发明的精神和范围的情况下，可以对本发明做出各种实施 例和变化。上述实施例意欲解释本发明，并不限制本发明的范围。本发明 的范围通过所附的权利要求书而不是实施例表示。在本发明的权利要求书 及其等同物范围内的各种修改被认为是在本发明的范围内。
工业实用性
本发明可以用作对运动图像进行编码的运动图像编码设备或对编码的 运动图像进行解码的运动图像解码设备。例如，本发明可以应用于运动图 像记录和重放设备，其对编码的运动图像进行解码以进行重放。
权利要求
1、一种运动图像编码设备，包括编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，以及编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示帧率显示所述运动图像的情况下，所述指定图像将成为所述显示目标，所述编码控制部件用于在通过所述编码部件对所述指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像。
2、 根据权利要求l所述的运动图像编码设备，其中，所述预定帧间隔 是通过用所述显示帧率去除所述图像捕获帧率获得的值的整数倍。
3、根据权利要求l所述的运动图像编码设备，其中当通过所述编码部 件对所述指定图像进行帧间预测编码时，所述编码控制部件将所述基准图 像限于其它临近的指定图像。
4、根据权利要求l所述的运动图像编码设备，其中，所述编码控制部件将所述指定图像划分为一组第一指定图像和一组第二指定图像，当通过 所述编码部件对所述第一指定图像进行帧间预测码时，所述编码控制部件 将所述基准图像限于其它临近的指定图像，并且当通过所述编码部件对所 述第二指定图像进行帧间预测编码时，所述编码控制部件还将所述基准图 像限于由一个图像分隔开的其它指定图像。
5、根据权利要求l所述的运动图像编码设备，其中，在进行帧间预测 编码时，所述编码部件仅使用在所述先前侧上的帧图像作为基准图像。
6、根据权利要求l所述的运动图像编码设备，其中，在进行帧间预测编码时，所述编码部件使用在所述先前侧上的帧图像作为基准图像或使用 所述先前帧图像和所述随后帧图像作为基准图像。
7、 根据权利要求l所述的运动图像编码设备，包括解码部件，用于输入包括已经通过所述编码部件进行编码的一系列编 码图像的运动图像数据，并且用于经由包括使用其它帧图像作为基准图像 的帧间预测解码的解码处理对各个帧图像进行解码，以及解码控制部件，用于将通过所述解码部件的所述运动图像数据的所述 解码目标仅限于所述指定图像，并且用于在进行帧间预测解码时使所述解 码部件使用不同于所述解码目标的其它指定图像作为基准图像来进行解 码。
8、 根据权利要求l所述的运动图像编码设备，其中，根据在对运动图 像进行编码时设置的所述操作模式类型，通过所述编码部件以除所述指定 图像之外的未指定图像作为目标，所述编码控制部件控制帧间预测编码的 存在/不存在。
9、根据权利要求1所述的运动图像编码设备，包括基准图像增加部件， 用于向包括已经通过所述编码部件进行编码的一系列编码图像的运动图像 数据增加基准图像表示信息，所述基准图像表示信息用于表示在解码所述 指定图像时作为基准图像的其它指定图像。
10、根据权利要求1所述的运动图像编码设备，包括解码目标信息增 加部件，用于向包括已经通过所述编码部件进行编码的一系列编码图像的 运动图像数据增加解码目标信息，所述解码目标信息表示仅所述指定图像 作为解码目标图像。
11、根据权利要求10所述的运动图像编码设备，其中所述解码目标信 息增加部件增加索引信息，所述索引信息表示仅由所述指定图像中的一部 分指定图像构成的一系列图像作为所述解码目标信息。
12、 根据权利要求1所述的运动图像编码设备，包括索引信息增加部件，用于向包括已经通过所述编码部件进行编码的一系列图像的运动图像 数据增加第一索引信息和第二索引信息作为表示将要成为所述解码目标的 一系列图像的索引信息，所述第一索引信息表示已经通过所述编码部件进 行编码的所述全部帧图像，并且所述第二索引信息表示仅由所述指定图像 构成的一系列图像。
13、 根据权利要求1所述的运动图像编码设备，其中所述编码部件包括基准图像存储部件，用于暂时存储所述基准图像；以及 与所述预定帧间隔的数目相对应的多个独立编码部件，其中经由使用暂时存储在所述基准图像存储部件中的相同基准图像的同步编码处理对多个连续帧图像进行独立编码。
14、 一种运动图像编码设备，包括编码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测编 码的编码处理对以预定帧率捕获的运动图像中将要被分别输入的一系列帧 图像进行编码，和编码控制部件，将具有每隔预定帧间隔的图像作为指定图像，在通过 使所述重放时间与所述图像捕获时间相匹配并且以在所述运动图像的所述 编码之后低于所述图像捕获时的所述帧率的帧率进行所述显示时，所述指 定图像将成为所述显示目标，当通过所述编码部件对所述指定图像进行帧 间预测编码时，所述编码控制部件用于将所述基准图像限于其它指定图像。
15、 一种运动图像编码方法，其中， 经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理对 包括以预定图像捕获帧率捕获的一系列帧图像的运动图像的各个帧图像进 行编码，和假设每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示帧率显示所述运 动图像的情况下，所述指定图像将成为所述显示目标，在对所述指定图像 进行所述帧间预测编码时，将其它指定图像用作基准图像。
16、 一种用于使包含在运动图像编码设备中的计算机用作如下部件的 程序，编码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测编 码的编码处理对包括以预定图像捕获帧率捕获的一系列帧图像的运动图像 进行编码，和编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预 定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示 帧率显示所述运动图像的情况下，所述指定图像将成为所述显示目标，当 通过所述编码部件对所述指定图像进行帧间预测编码时，所述编码控制部 件用于将所述基准图像限于其它指定图像。
17、 一种用于记录已经被捕获的运动图像的运动图像记录设备，包括: 图像捕获部件，用于拍取运动图像，编码部件，用于输入包括通过所述图像捕获部件以预定图像捕获帧率 捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为 基准图像的帧间预测编码的编码处理对各个帧图像进行编码，记录部件，用于记录包括己经通过所述编码部件进行编码的所述运动 图像的运动图像数据，和编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预 定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示 帧率并且基于记录在所述记录部件中的所述运动图像数据而显示所述运动 图像的情况下，所述指定图像将成为所述显示目标，当通过所述编码部件 对所述指定图像进行帧间预测编码时，所述编码控制部件用于将所述基准 图像限于其它指定图像。
18、根据权利要求17所述的运动图像记录设备，进一步包括记录控制部件，用于根据在记录运动图像时设置的所述记录模式类型，相对于所述 记录部件，控制除所述指定图像之外的未指定图像的编码图像的所述记录 的存在/不存在。
19、 根据权利要求17所述的运动图像记录设备，进一步包括 提取部件，用于从构成记录在所述记录部件中的所述运动图像数据的一系列编码图像中提取所述指定图像的编码图像，禾口运动图像编辑部件，用于将通过所述提取部件提取的所述编码图像作 为新的运动图像数据记录在所述记录部件中，同时保持相互的先前和随后 关系。
20、 一种用于对运动图像数据进行解码的运动图像解码设备，在所述 运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码，所述运动图像解码设备包括解码部件，用于输入所述编码运动图像并且经由包括使用其它帧图像 作为基准图像的帧间预测解码的解码处理对所述编码运动图像进行解码， 和.解码控制部件，用于将通过所述解码部件的所述运动图像数据的所述 解码目标仅限于具有每隔通过所述图像捕获帧率和预定显示帧率确定的预 定帧间隔的指定图像，在以低于所述图像捕获帧率的所述显示帧率显示运 动图像的情况下，所述指定图像将成为所述显示目标，并且用于在进行帧 间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作 为基准图像。
21、 根据权利要求20所述的运动图像解码设备，其中，在对所述指定 图像进行帧间预测解码时，所述解码控制部件使所述解码部件使用不同于 所述解码目标的其它指定图像作为基准图像，所述不同于所述解码目标的 其它指定图像在已经增加到所述运动图像数据的所述基准图像表示信息中 表不。
22、 根据权利要求21所述的运动图像解码设备，其中已经增加到所述 运动图像数据的所述基准图像表示信息是表示在解码所述指定图像时作为 基准图像的其它临近的指定图像的信息。
23、 根据权利要求20所述的运动图像解码设备，其中，当在解码所述 运动图像数据时设置的所述操作模式是第一操作模式时，所述解码控制部 件将通过所述解码部件的帧间预测解码的所述目标仅限于一组第一指定图 像和一组第二指定图像，其中在所述第一指定图像中其它临近的指定图像 为所述基准图像并且其中在所述第二指定图像中由一个图像分隔开的其它 指定图像为所述基准图像，并且当在解码所述运动图像数据时设置的所述 操作模式是第二操作模式时，所述解码控制部件将通过所述解码部件的帧 间预测解码的所述目标仅限于所述第二指定图像，其中在所述第二指定图 像中由一个图像分隔开的其它指定图像为所述基准图像。
24、 根据权利要求20所述的运动图像解码设备，其中，所述解码控制 部件将通过所述解码部件的所述运动图像数据的所述解码目标仅限于在已 经增加到所述运动图像数据的所述解码目标信息中表示的所述指定图像。
25、根据权利要求24所述的运动图像解码设备，其中，所述解码控制 部件将通过所述解码部件的所述运动图像数据的所述解码目标仅限于在所 述指定图像中在已经增加到所述运动图像数据的所述解码目标信息中表示 的所述指定图像。
26、根据权利要求20所述的运动图像解码设备，其中，在通过所述解 码部件的解码处理时，通过有选择地使用初始增加到所述运动图像数据的 第一索引信息和第二索引信息中的任何一个，当操作模式是第一重放模式 时，所述解码控制部件使所述解码部件以全部帧为目标执行解码处理，并 且当所述操作模式是第二重放模式时，所述解码控制部件使所述解码部件 仅以指定图像为目标执行解码处理，其中所述第一索引信息和第二索引信 息中的每一个表示与由所述第一索表示的图像不同的图像作为所述解码目标。
27、 一种用于对运动图像数据进行解码的运动图像解码设备，在所述 运动图像数据中以预定图像捕获帧率捕获的运动图像已经被编码，所述运动图像解码设备包括解码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测解 码的解码处理对所述运动图像数据进行解码，和解码控制部件，用于将通过所述解码部件的所述运动图像数据的所述 解码目标仅限于具有每隔预定帧间隔的指定图像，在使所述重放时间与所 述图像捕获时间相匹配的同时在进行编码之后以低于所述捕获图像时的所 述帧率的帧率显示运动图像的情况下，所述指定图像将成为所述显示目标， 并且用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标 的其它指定图像作为基准图像。
28、 一种用于对运动图像数据进行解码的运动图像解码方法，在所述 运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像 已经被编码，其中，经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对 包括在所述运动图像数据中的所述编码运动图像的各个帧图像进行解码， 并且进行所述解码处理的所述解码目标仅限于具有每隔通过所述图像捕获 帧率和预定显示帧率确定的预定帧间隔的指定图像，在以低于所述图像捕 获帧率的所述显示帧率显示运动图像的情况下，所述指定图像将成为所述 显示目标，并且在对所述指定图像进行帧间预测解码时，使用不同于所述 解码目标的其它指定图像作为基准图像。
29、 一种用于使包含在用于解码运动图像数据的运动图像解码设备中 的计算机用作如下部件的程序，在所述运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码解码部件，用于输入所述运动图像数据并且经由包括使用其它帧图像 作为基准图像的帧间预测解码的解码处理对各个帧图像进行解码，和'解码控制部件，用于将通过所述解码部件的所述解码目标仅限于具有 每隔通过所述图像捕获帧率和预定显示帧率确定的预定帧间隔的指定图 像，在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下， 所述指定图像将成为所述显示目标，并且还用于在进行帧间预测解码时使 所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像。
30、 一种运动图像数据的数据结构，在所述运动图像数据中包括以预 定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码并且还将通过 运动图像解码设备被解码，其中所述数据结构包括.编码数据，将其它指定图像作为基准图像而对所述编码数据进行帧间 预测编码，其中具有每隔通过所述图像捕获帧率和显示帧率确定的预定帧 间隔的指定图像的编码数据，通过使用所述运动图像解码设备进行解码， 在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下，所述 指定图像将成为所述显示目标；和基准图像表示信息，表示在对所述指定图像进行解码时将要成为基准 图像的其它指定图像。
31、 根据权利要求30所述的数据结构，其中，包括表示仅所述指定图 像作为将成为所述运动图像解码设备的所述解码目标的图像的解码目标信
32、 根据权利要求31所述的数据结构，其中，包括表示在所述指定图 像中仅由一部分指定图像构成的一系列编码数据的索引信息作为所述解码 目标信息。
33、 根据权利要求30所述的数据结构，其中，包括表示所述全部帧图 像的第一索引信息和表示仅由所述指定图像构成的一系列图像的第二索引 信息作为表示要成为所述运动图像解码设备的所述解码目标的图像的索引"(曰息o
全文摘要
本发明公开一种编解码器(CODEC)5，其对在MPEG格式下以240Q)S的高速帧率捕获的运动图像进行压缩和编码。所述CODEC 5将每帧中的图像划分为I图像、主帧P图像(P4，P8，P12)和其它子帧P图像(pi，p2，p3，…)。在对主帧P图像进行编码时，该CODEC 5使用在时间轴上紧邻的I图像或其它主帧的P图像作为基准图像。使用具有60fps运动图像重放性能的重放设备，为了执行重放时间等于图像捕获时间的实际速度重放，仅对主帧进行重放，在这种情况下，不需要对子帧的P图像进行解码处理。
文档编号H04N7/26GK101467460SQ20078002223
公开日2009年6月24日 申请日期2007年6月18日 优先权日2006年6月16日
发明者中込浩一, 今冈连, 岩田宪一, 望月诚二, 村木淳, 栗山祐司, 水野公靖 申请人:卡西欧计算机株式会社;株式会社瑞萨科技