记录/再现装置、记录装置和方法、再现装置和方法

专利名称：记录/再现装置、记录装置和方法、再现装置和方法
技术领域：
本发明涉及记录/再现装置、记录装置、再现装置、记录方法、再现方 法和计算机程序。
背景技术：
过去，用于记录视频和音频的记录/再现装置(例如便携式摄像机)除 了具有记录和再现的基本功能之外，还具有分割记录的视频和音频以及恢 复(挽救)损坏的视频/音频文件的功能。
存在多种用于记录视频和音频的格式。例如，RIFF (资源交互文件格 式)、QuickTime、 TS (传输流)、PS (节目流)和MXF (素材交换格 式)都是已知的。在很多情况下，用于利用便携式摄像机记录视频和音频 的格式和用于编辑记录的视频和音频的格式彼此不同。为了使得即使在格 式不同时也能够编辑视频和音频，每种格式还在记录视频和音频时记录索 引信息(index information)，从而使得视频和音频在记录的文件中的位置 可以被识别。(参考JP-A-2007-20195 、 JP-A-H10-84525 、 JP-A-H5-282380)
如上所述，通过还记录索引信息，即使用于记录视频和音频的格式与 用于再现和编辑视频和音频的格式不同，通过参考索引信息，也能够再现 和编辑具有不同个使得视频和音频。

发明内容
但是，在现有技术中，需要针对每种格式具有分离的处理器，并且实 现大量功能。虽然在记录视频和音频时处理的大量对象可能是公共的，但 是记录过程变得冗余，因为每种格式需要很多处理器。此外，存在如下问
题为了处理大量格式，电路尺寸不得已变得很大。
此外，在现有技术中，无法以短间隔记录索引信息以使得能够被用于 挽救(损坏文件的恢复)。此外，由于视频和音频的同步信息位于流的头 部，因此当例如希望从任意点再现流时，会出现如下问题必须随时间流
逝从索引的开始执行整合(integmtion)，这使得处理很耗时。
本发明是针对以上问题开发的，并且提供了改进的新型记录/再现装 置、改进的新型记录装置、改进的新型再现装置、改进的新型记录方法、 改进的新型再现方法和改进的新型计算机程序，它们使得能够通过不考虑 记录格式而以公共格式记录索引信息并且通过在记录视频和音频时在索引 信息中记录用于同步视频和音频的信息来基于记录的索引信息实现多种功 能。
根据本发明的实施例，提供了一种记录/再现装置，包括图像记录单 元，用于记录运动图片；音频记录单元，用于记录音频；再现信息记录单
元，用于在记录所述运动图片和所述音频时一起记录用于再现所述运动图
片和所述音频的信息；以及再现单元，用于基于所述再现信息再现所记录
的运动图片和音频，其中所述再现信息记录单元在记录所述再现信息时与 所述再现信息并行地针对每块音频数据记录用于同步运动图片和音频的同 步信息。
利用以上结构，记录/再现装置包括图像记录单元，用于记录运动图 片；音频记录单元，用于记录音频；再现信息记录单元，用于在记录所述 运动图片和所述音频时一起记录用于再现所述运动图片和所述音频的信 息；以及再现单元，用于基于所述再现信息再现所记录的运动图片和音 频，其中所述再现信息记录单元在记录所述再现信息时与所述再现信息并 行地针对每块音频数据记录用于同步运动图片和音频的同步信息。结果， 通过不考虑记录格式而以公共格式记录包含用于同步视频和音频的信息的 索引信息，可以基于记录的索引信息实现很多功能。
再现单元可以基于针对每块音频数据记录的音频同步信息来同步地再 现运动图片和音频。结果，通过使用针对每块音频数据记录的用于同步视 频和音频的音频同步信息，可以同步地再现运动图片和音频。
根据本发明的另一实施例，提供了一种记录装置，包括图像记录单
元，用于记录运动图片；音频记录单元，用于记录音频；以及再现信息记 录单元，用于在记录所述运动图片和所述音频时一起记录用于再现所述运 动图片和所述音频的信息，其中所述再现信息记录单元在记录所述再现信 息时与所述再现信息并行地针对每块音频数据记录用于同步运动图片和音 频的同步信息。
利用以上结构，记录装置包括图像记录单元，用于记录运动图片； 音频记录单元，用于记录音频；以及再现信息记录单元，用于在记录所述 运动图片和所述音频时一起记录用于再现所述运动图片和所述音频的信 息，其中所述再现信息记录单元在记录所述再现信息时与所述再现信息并 行地针对每块音频数据记录用于同步运动图片和音频的同步信息。结果， 通过不考虑记录格式而以公共格式记录包含用于同步视频和音频的信息的 索引信息，可以基于记录的索引信息实现很多功能。
根据本发明的另一实施例，提供了一种再现装置，包括再现单元， 用于基于用于再现运动图片和音频的信息来再现所述运动图片和所述音 频，其中所述用于再现运动图片和音频的信息是在记录所述运动图片和所 述音频时被并行记录的，其中所述再现单元基于针对每块音频数据记录的 包含在所述再现信息中的用于同步所述运动图片和所述音频的音频同步信 息来同步地再现所述运动图片和所述音频。
利用以上结构，再现装置包括再现单元，用于基于用于再现运动图 片和音频的信息来再现所述运动图片和所述音频，其中所述用于再现运动 图片和音频的信息是在记录所述运动图片和所述音频时被并行记录的，其 中所述再现单元基于针对每块音频数据记录的包含在所述再现信息中的用 于同步所述运动图片和所述音频的音频同步信息来同步地再现所述运动图 片和所述音频。结果，通过使用针对每块音频数据与再现信息并行记录的 用于同步视频和音频的音频同步信息，可以同步和再现运动图片和音频。
根据本发明的另一实施例，提供了一种记录方法，包括图像记录步 骤，该步骤记录运动图片；音频记录步骤，该步骤记录音频；再现信息记 录步骤，该步骤在记录在所述图像记录步骤中记录的所述运动图片和在所 述音频记录步骤中记录的所述音频时一起记录用于再现所述运动图片和所
述音频的信息；其中所述再现信息记录步骤在记录所述再现信息时与所述
再现信息并行地针对每块音频数据记录用于同步运动图片和音频的同步信 息。
利用以上结构，图像记录步骤记录运动图片；音频记录步骤记录音 频；再现信息记录步骤在记录在所述图像记录步骤中记录的所述运动图片 和在所述音频记录步骤中记录的所述音频时一起记录用于再现所述运动图 片和所述音频的信息。而且，所述再现信息记录步骤在记录所述再现信息 时与所述再现信息并行地针对每块音频数据记录用于同步运动图片和音频 的同步信息。结果，通过不考虑记录格式而以公共格式记录包含用于同步 视频和音频的信息的索引信息，可以基于记录的索引信息实现很多功能。
根据本发明的另一实施例，提供了一种再现方法，包括再现步骤， 该步骤在再现运动图片和音频时，基于在记录所述运动图片和所述音频时 一起记录的用于再现所述运动图片和所述音频的信息来再现所述运动图片 和所述音频，其中所述再现步骤基于针对每块音频数据与所述再现信息并 行记录的包含在所述再现信息中的用于同步所述运动图片和所述音频的音 频同步信息来同步地再现所述运动图片和所述音频。
利用以上结构，再现步骤在再现运动图片和音频时，基于在记录所述 运动图片和所述音频时一起记录的用于再现所述运动图片和所述音频的信 息来再现所述运动图片和所述音频。而且，在再现时，所述再现步骤基于 针对每块音频数据与所述再现信息并行记录的包含在所述再现信息中的用 于同步所述运动图片和所述音频的音频同步信息来同步地再现所述运动图 片和所述音频。结果，通过使用针对每块音频数据与再现信息并行记录的 用于同步视频和音频的音频同步信息，可以不考虑运动图片和音频的记录 格式而同步地再现运动图片和音频。
根据本发明的另一实施例，提供了一种用于使得计算机能够执行处理 的计算机程序，所述处理包括图像记录步骤，该步骤记录运动图片；音 频记录步骤，该步骤记录音频；再现信息记录步骤，该步骤在记录在所述 图像记录步骤中记录的所述运动图片和在所述音频记录步骤中记录的所述 音频时一起记录用于再现所述运动图片和所述音频的信息；其中所述再现
信息记录步骤在记录所述再现信息时与所述再现信息并行地针对每块音频 数据记录用于同步运动图片和音频的同步信息。
根据本发明的另一实施例，提供了一种用于使得计算机能够执行处理 的计算机程序，所述处理包括再现步骤，该步骤在再现运动图片和音频 时，基于在记录所述运动图片和所述音频时一起记录的用于再现所述运动 图片和所述音频的信息来再现所述运动图片和所述音频，其中所述再现步 骤基于针对每块音频数据与所述再现信息并行记录的包含在所述再现信息 中的用于同步所述运动图片和所述音频的音频同步信息来同步地再现所述 运动图片和所述音频。
根据上述本发明的实施例，改进的新型记录/再现装置、改进的新型记 录装置、改进的新型再现装置、改进的新型记录方法、改进的新型再现方 法和改进的新型计算机程序可以被提供，利用这些装置、方法与程序，在 记录视频和音频时，通过不考虑记录格式而以公共格式记录索引信息并且 通过与索引信息一起针对每块音频数据记录用于同步视频和音频的音频同 步信息，可以基于记录的索引信和音频同步信息来息实现多种功能。


图1是示出在根据本发明实施例的记录/再现装置100中采用的结构的 示图。
图2是示出根据本发明实施例由再现信息生成单元110生成的再现信 息文件的内部结构的示图。
图3是示出根据本发明实施例的文件头部的数据结构的示图。
图4是示出根据本发明实施例与每一帧相对应的数据的数据结构的示图。
图5是示出基于MXF记录的视频和音频数据的结构示例的示图。 图6是示出基于MXF记录的视频和音频数据的再现的示图。 图7是示出基于MXF记录的音频数据块(chunk)的示例的示图。 图8是示出在基于MXF记录运动图像文件时生成的再现信息的数据 结构的示图。
图9是示出如下情况的示图在基于MXF记录音频数据时，音频数 据被独立地记录为音频数据文件。
图10是示出基于MP4标准记录的视频和音频数据的结构示例的示图。
图ll是示出基于MP4标准记录的音频数据的示图。
图12是示出基于基于MP4标准记录的视频和音频数据生成的再现信
息文件的数据结构的示图。
图13是示出基于MPEG-2 TS标准记录的视频和音频数据的结构示例
的示图。
图14是详细示出基于MPEG-2 TS标准记录的音频数据的结构的示图。
图15是示出基于MPEG-2 TS标准被记录为视频和音频数据的数据示 例的示图。
图16是示出基于基于MPEG-2 TS标准记录的视频和音频数据生成的 再现信息文件的数据结构的示图。
图17是示出根据本发明实施例的再现装置200的示图。 图18是示出根据本发明实施例的再现装置300的示图。 图19是示出根据本发明实施例用于再现运动图像文件的方法的示图。
具体实施例方式
在下文中，将参考附图来描述本发明的优选实施例。注意，在说明书 和附图中，实质上具有相同功能和结构的结构元件被标以相同的标号，并 省略对这些结构元件的重复说明。
图1是示出根据本发明实施例的记录/再现装置100的示图。根据本 发明实施例的记录/再现装置IOO将参考图1来描述。
如图1所示，根据本发明实施例的记录/再现装置100被配置为包括 照相机102、麦克风104、视频-音频I/F单元106、编码/解码单元108、 再现信息生成单元110、 DRAM (动态随机访问存储器)111、记录单元
112、再现单元114、显示单元116、音频输出单元118、系统控制单元 120、存储器122和用户接口单元124。
照相机102拍摄物体作为运动图片(moving picture)或静止图片 (still picture)图像，将获得的图像转换成数字信号，并将该数字信号作 为图像数据发送到视频-音频1/F单元106。麦克风104在照相机102拍摄 时收集记录/再现装置100周围的声音，将收集的声音转换成数字数据， 并将该数字数据作为音频数据发送到视频-音频1/F单元106。
视频-音频1/F单元106将照相机102拍摄的图像数据和麦克风104收 集的音频数据发送到编码/解码单元108。视频-音频I/F单元106还具有将 来自编码/解码单元108的图像数据发送到显示单元116和将来自编码/解 码单元108的音频数据发送到音频输出单元118的功能。
编码/解码单元108根据各种方案对从视频-音频I/F单元106发送的图 像数据和音频数据进行编码，并将编码后的图像数据和音频数据发送到再 现信息生成单元IIO和记录单元112。编码方案例如是MPEG-1、 MPEG-2和MPEG-4。
编码/解码单元108还具有读出记录在记录单元112中的图像数据和 音频数据、根据对应于编码方案的方案对数据解码，并将解码后的图像数 据和音频数据发送到视频-音频I/F单元106的功能。
再现信息生成单元110输入由编码/解码单元108编码的图像数据和 音频数据，并从该图像数据和音频数据创建再现信息文件。再现信息文件 的结构随后将描述。所创建的再现信息文件被发送到记录单元112并被记 录在其中。
再现信息文件可以在记录/再现装置100开始记录时通过将再现信息 顺序记录在包括在DRAM 111中的再现信息记录区域中而被创建，并且 可以在记录/再现装置100结束记录时通过创建记录在再现信息记录区域 中的再现信息作为再现信息文件而被创建。再现信息到DRAM 111的记 录以预定间隔被执行。预定间隔例如可以是2秒。
记录单元112以运动图像文件格式记录由编码/解码单元108编码的 图像数据和音频数据。记录单元112还基于由编码/解码单元108编码的
图像数据和音频数据来记录由再现信息生成单元110创建的再现信息文 件。
系统控制单元120控制记录/再现装置100的每个单元。作为系统控
制单元120对记录/再现装置100的每个单元的控制示例，系统控制单元 120在被用户接口单元124指令开始图像记录时，指令照相机102和麦克 风104开始图像和声音的记录。不用说，系统控制单元120的控制不局限 于该示例。
用户接口单元124在操作单元(未示出)处接受来自记录/再现装置 100的用户的操作。并将代表操作的操作信号发送到系统控制单元120。 作为用户的操作示例，可以设想开始记录运动图像的指令、再现已记录的 运动图像的指令等等。
存储器122存储记录/再现装置100的每个单元的处理所需的数据。 例如，通过在存储器122中存储计算机程序并使得系统控制单元120读出 和执行所存储的计算机程序，可以再现运动图像文件。
以上，已经参考图1描述了根据本发明实施例的记录/再现装置100 的结构。接下来，根据本发明实施例由再现信息生成单元IIO生成的再现 信息文件的内部结构将描述。
图2是示出根据本发明实施例由再现信息生成单元IIO生成的再现信 息文件的内部结构的示图。下面，将参考图2来描述根据本发明实施例的 再现信息文件的内部结构。
如图2所示，根据本发明实施例的再现信息文件按16字节数据被配 置为一组。从文件顶部开始，顺序存储文件头部、扩展文件头部l到n和 与每一帧相对应的数据。
文件头部是用于与由记录/再现装置100记录的图像数据和音频数据 相关的基本信息的区域。将被存储在文件头部中的与图像数据和音频数据 相关的基本信息的示例包括版本信息、基本文件信息、基本视频信息、基 本音频信息和时间码信息。不用说，在本发明中，将被记录在文件头部中 的信息并不局限于这些示例。
扩展文件头部是用于与由记录/再现装置100记录的图像数据和音频
数据相关的、但没有被存储在文件头部中的信息的区域。根据本实施例， 在扩展文件头部的顶部，记录了跳过的帧的数目、将被再现的帧的数目以 及将在縮略图列表中被使用的代表性图像的帧号。不用说，在本发明中， 将被记录在扩展文件头部中的信息并不局限于这些示例。此外，扩展文件
头部的数目可以是1、 2或更多。图2示出提供了 n个扩展文件头部的数
据结构。
与每一帧相对应的数据是每一帧中将存储的图像数据和音频数据的信
息。根据本实施例，将被存储的信息包括GOP (图片组)顶部标志、图 片类型、视频信息、音频同步信息和音频信息。作为视频信息，例如每一 帧的图像数据的大小和图像数据的绝对地址被存储。作为音频信息，例如 每一帧的音频数据的大小和音频数据的相对地址或绝对地址被存储。
当图像数据和音频数据被记录/再现装置100记录时，与每一帧相对 应的数据基于记录的数据被从第0帧(帧0)开始顺序创建。随着帧的增 长，与增长的帧相对应的数据被顺序附加到与每一帧相对应的现有数据。 与每一帧相对应的数据优选地以预定间隔被创建。在本实施例中，与每一 帧相对应的数据以2分钟的间隔被创建。
以上，己经参考图2描述了根据本发明实施例的再现信息文件的内部 结构。接下来，将描述根据本发明实施例的文件头部的数据结构。
图3是示出根据本发明实施例的文件头部的数据结构的示图。以下， 将参考图3来描述根据本发明实施例的文件头部的数据结构。
如图3所示并且同样如上所述，文件头部是具有16字节的区域。此 外，版本信息、基本文件信息、基本视频信息、基本音频信息和时间码信 息被记录在文件头部中。
基本文件信息可以包括视频块的头部长度和音频块的头部长度。基本 视频信息可以包括帧速率、图像的宽高比(aspect ratio)、水平和垂直像 素大小和视频压縮标准。基本音频信息可以包括音频量化位数、音频轨道 配置、音频采样频率和音频压縮标准。用于存储该信息的区域被限定为符 合文件头部的16字节。顺便提及，视频块的头部长度的值可以根据随后 将描述的图片类型而有所不同，在此情况下，视频块的头部长度的数据可
以根据图片类型被分开存储。例如，如果视频块的头部长度针对I图片的 图片类型和不同于I图片的其他图片的图片类型而有所不同，则在基本文
件信息中存储两种类型的值。
以上，己经参考图3描述了根据本发明实施例的的文件头部的数据结
构。接下来，将描述根据本发明实施例与每一帧相对应的数据的数据结构。
图4是示出根据本发明实施例与每一帧相对应的数据的数据结构的示
图。以下，将参考图4来描述根据本发明实施例与每一帧相对应的数据的
数据结构。
如图4所示并且同样如上所述，与每一帧相对应的数据是具有16字 节的区域。与每一帧相对应的数据可以包括GOP (图片组)顶部标志、 图片类型、视频信息、音频同步信息和音频信息。而且，视频信息可以包 括帧的图像数据的大小和图像数据的绝对地址。音频信息可以包括帧的音 频数据的大小和音频数据的相对地址或绝对地址。音频同步信息可以包括 图像数据的时间信息和音频数据的时间信息之间的差值。用于存储该信息 的区域被限定为符合与每一帧相对应的数据的16字节。
通过存储GOP顶部标志或图片类型作为与每一帧相对应的数据，即 使在从帧中间的点开始再现时，通过读取与将要开始再现的帧相对应的再 现信息，该帧以及该帧之前和之后的帧的图像数据都可以被读取和解码。
以上，己经参考图4描述了根据本发明实施例与每一帧相对应的数据 的数据结构。顺便提及，图3和4所示的数据结构是本发明的示例，不用 说，每个数据的存储位置并不局限于图3和4所示示例。
接下来，将描述根据本发明实施例用于生成由再现信息生成单元110 生成的再现信息文件的方法。
图5是示出基于MXF (素材交换格式)记录的视频和音频数据的结 构示例的示图。如图5所示，在MXF中，音频数据(A0、 Al、 A2...) 和图像数据(B0、 Bl、 12、 ...P5...)被混合记录。这里，B、 I和P分别 指示图片类型，B0指示图片类型为B并且是第0帧。此外，图像数据针 对每一帧以不同大小被记录。
在图5中，"lenHA"指示音频块的头部长度，"lenHI"指示图片类 型为I图片的视频帧的视频块的头部长度，并且"lenHV"指示图片类型 不是I图片的视频帧的视频块的头部长度。此外，"sizeV[n]"指示第n 帧视频数据的大小，"offsV[n]"指示第n帧视频数据的地址， "sizeA[n]"指示第n帧音频数据的大小，"offsA[n]"指示第n帧音频数 据的地址。这些符号被类似地用于随后的附图。
因此，当基于MXF记录视频和音频数据时，针对每个数据的各个帧 的信息被记录在再现信息文件中。当再现其中记录了视频和音频数据的运 动图像文件时，通过参考生成的再现信息文件，运动图像文件可以从文件 中间的点被再现。
图6是示出基于MXF记录的视频和音频数据的再现的示图。"视 频"指示视频帧，"音频"指示音频帧。"skipF"指示在再现运动图像 文件时由于解码失败等而被跳过的帧的数目。"fi s"指示在1秒中被再 现的帧的数目(每秒帧)，而"l/*s"指示l帧的时间量。顺便提及，与 "fi)s"相关的信息被记录在再现信息文件的文件头部中。当在再现信息 文件中存储与"*s"相关的信息时，可能存储实际值或参数。在本实施 例中，参数被存储在再现信息文件的文件头部中。
类似于图5，视频帧中的B、 I和P分别指示图片类型，B0指示图片 类型为B并且是第0帧。音频帧中的A0指示它是音频数据中的第0帧。 此外，"TC"指示时间码，"orgTC"指示时间码的初始值。"skipF"和 "orgTC"的值被存储在再现信息文件的文件头部或扩展文件头部中，并 且当再现运动图像文件时，这些值被从再现信息文件中读取。
如图6所示，在MXF中，视频再现时序和音频再现时序在再现的开 始时间点(在图6中由"PB开始"指示的时间点)上可能不同(延 迟)。图6中的"delA[2]"指示第二帧中的音频同步定时。就是说，当如 图6所示，视频再现时序和音频再现时序不同时，如果音频的再现被延迟 "delA[2]"的量，则可以同步地再现视频和音频。顺便提及，在图6所示 示例中，由于音频相对于视频被延迟，因此"ddA[2]"显示负值。
因此，当基于MXF记录视频和音频数据时，针对每个数据的各个帧
的延迟信息被记录在再现信息文件中。当再现其中记录了视频和音频数据 的运动图像文件时，通过参考包含在生成的再现信息文件中的延迟信息， 视频和音频可以被同步再现。
图7是示出基于MXF记录的一组(块)音频数据的示例的示图。图
7通过显示第k帧作为示例来说明。如图7所示，存在基于MXF记录的 这组音频数据使用2条立体声轨道("立体声2轨道")或4条单声道轨 道("单声道4轨道")的情况。
在图7中，当使用2条立体声轨道时，数据以ch (通道)1和ch2被 记录为一组，并且以ch3和ch4被记录为一组。此外，当使用4条单声道 轨道时，数据在每个通道中被记录为一组。"lenHA"指示音频数据的块 大小，并且是将被存储在再现信息文件的文件头部中的信息。
在此情况下，音频数据的大小"sizaA[k]"和相对地址"offsA[k]"被 记录在再现信息文件中。当再现其中记录了视频和音频数据的运动图像文 件时，通过参考生成的再现信息文件，即使从文件中间的点再现运动图像 文件，也可以从再现位置再现音频。
图8是示出在基于MXF记录运动图像文件时生成的再现信息文件的 数据结构的示图。
如图8所示，针对各个帧记录图像数据的大小("sizeV[]")、图像 数据的绝对地址("offsV[]")、延迟信息("ddA[]")、音频数据的 大小("aizeA[]")和音频数据的相对地址("offsA[]")。此外，还存 储GOP顶部标志(1或0，在为1的情况下，指示该帧在GOP顶部)和 与图片类型(B、 P、 I)相关的信息。
这样，通过在基于MXF记录运动图像文件时生成再现信息文件，即 使运动图像文件被从文件中间的点再现，通过参考存储在再现信息文件中 的信息，也可以从再现位置再现视频和音频。由于音频的延迟信息也被记 录在再现信息文件中，因此即使运动图像文件被从文件中间的点再现，通 过参考再现信息文件，也可以从再现位置同步和再现视频和音频。
例如，在获取第k帧的视频数据的情况下，当该帧为I图片时， "(offsV[k]+lenffl) ~ (offsV[k]+sizeV[k]-1)"的范围对应于第k帧的视频数
据，并且当该帧是P图片或B图片时，"(offsV[k]+lenHV) ~ (offsV[k]+sizeV[k]-l)"的范围对应于第k帧的视频数据。
例如，在获取第k帧的音频数据的情况下，音频轨道单位"一lenA" 为 "—lenA = sizeA[k]/(trksA & 0xf)"， 音频数据地址为 "0ffsA[k]+offsV[k]+(JenA*j)+lenHA "，音频数据长度为"—lenA-lenHA"。这里，"trksA"指示音频轨道的数目，并且是将被存储在再现 信息文件的文件头部中的数据。
再现信息文件不仅可以在将图像数据和音频数据记录到一个运动图像 文件中的情况下生成，还可以在记录音频数据作为独立于运动图像文件的 音频文件的情况下生成。图9是示出在基于MXF记录音频数据时音频数 据被独立地记录为音频数据文件的情况的示图。在图9所示示例中，音频 被分别以文件名"xxxxxA01.aud"和"xxxxxA02.aud"记录在2条单声道 中。
即使在将音频数据记录为独立于运动图像文件的音频文件的情况下， 对应于每一帧的音频数据的数据大小和相对地址也被记录，从而使得即使 在从文件中间的点开始再现运动图像文件时，也可以通过参考生成的再现 文件从再现位置生成音频。
以上，在基于MXF记录运动图像文件时生成的再现信息文件的数据 结构已被描述。顺便提及，RIFF (资源交互文件格式)具有类似于MXF 的数据结构，从而索引是与MXF相同的格式，而且，使用再现索引等的 处理与在MXF情况下的处理相同。当基于MXF之外的标准记录运动图 像文件时，通过生成再现信息文件并参考生成的再现信息文件，可以执行 视频和音频的再现。以下，针对其他标准的实施例将被描述。 (针对MP4标准的实施例)
图10是示出基于MP4标准记录的视频和音频数据的结构示例的示 图。如图IO所示，在MP4标准中，音频数据(A0-A14、 A15-A29、...) 和图像数据(12、 P5、 P8、 Pll、 P14、 117...)被混合记录。此外，基于 MP4标准记录的音频数据以15帧被记录为一组。
顺便提及，在图10中，"stsz[]"指示基于MP4标准记录的视频和音
频数据的每一帧的大小，"StCO[]"指示一块视频和音频数据，"StSC[]" 指示与一块视频和音频数据相关的信息。
图11是示出基于MP4标准记录的音频数据的示图。如上所述，基于 MP4标准记录的音频数据以15帧被记录为一组。因此，在图ll所示示例 中，当生成再现信息文件时，15帧音频数据的数据大小被记录。
这样，再现信息文件是基于基于MP4标准记录的视频和音频数据来 生成的。图12是示出基于基于MP4标准记录的视频和音频数据生成的再 现信息文件的数据结构的示图。如图12所示，在基于基于MP4标准记录 的视频和音频数据生成的再现信息文件中，每一帧的图像数据的大小 ("sizeV[]")和图像数据的绝对地址("offsV[]")被存储。
而且，如上所述，基于MP4标准记录的音频数据以15帧被记录为一 组。因此，音频数据不是按每单位1帧而是按每单位15帧来记录的。就 是说，如图12所示，当音频数据的大小("sizeA
")、音频数据的相 对地址("offsA
")和延迟信息("delA
")被存储在用于存储与 帧0的音频数据相关的信息的位置上时，对于帧1到帧14， "0"被记录 在用于存储与音频数据相关的信息的位置上。此外，音频数据的大小 ("sizeA[15]")、音频数据的相对地址("offsA[15]")和延迟信息 ("delA[15]")被存储在用于存储与帧15的音频数据相关的信息的位置 上。
这样，即使在基于MP4标准生成运动图像文件的情况下，也可以生 成再现信息文件。通过记录与根据MP4标准生成的运动图像文件的图像 数据和音频数据相关的信息，即使从文件中间的点再现运动图像文件，通 过参考再现信息文件，也可以从再现位置再现视频和音频。由于音频的延 迟信息也被记录在再现信息文件中，因此即使在从文件中间的点再现运动 图像文件的情况下，通过参考再现信息文件，也可以从再现位置同步视频 和音频并再现视频和音频。而且，QuickTime格式具有类似于MP4的数据 结构，从而索引具有于MP4完全相同的格式，而且，使用再现索引等的 处理也与MP4情况下的处理相同。
(针对MPEG-2 TS标准的实施例)
图13是示出基于MPEG-2 TS (传输流)标准记录的数据的结构示例 的示图。如图13所示，作为基于MPEG-2 TS标准记录的数据，除了视频 和音频数据之外，诸如SIT (选择信息表；与针对与将被发送的电视节目 相关的信息的指令相关的信息)、PAT (节目关联表；管理将以流的方式
传送的内容的信息)、PMT (节目图表；管理构成将以流的方式传送的内
容的视频和音频数据的信息)和PCR (节目时钟参考)之类的信息也被创 建。
此外，基于MPEG-2 TS标准生成的视频和音频数据被复用和记录 (AUX隱V、 AUX匿A)。
这样，即使对于基于MPEG-2 TS标准生成的运动图像文件，通过将 与视频和音频数据的每一帧的位置和大小相关的信息记录在再现信息文件 中，也可以通过参考该再现信息文件来再现该运动图像文件。
图14是详细示出基于MPEG-2 TS标准记录的音频数据的结构的示 图。如图14所示，根据MPEG-2 TS标准的音频数据被以PES (分组化基 本流)为单位集中布置，此外，对应于视频包(Video Pack)的4-5个 PES被组装以配置1个音频包(Audio Pack)。当将基于MPEG-2 TS标准 记录的音频数据记录为本发明的再现信息时，基于帧单位的一般描述是可 能的。但是，在本实施例中，配置的音频包被视为一组音频数据。
图15是示出基于MPEG-2 TS标准被记录为视频和音频数据的数据示 例的示图。在MPEG-2 TS和MPEG-2 PS中，在视频数据和音频数据之 间，在前的32位被分配给头部。因此，实际将记录的视频数据和音频数 据的大小是排除了在前的32位的大小。
这样，再现信息文件是基于基于MPEG-2 TS标准记录的视频和音频 数据来生成的。图16是示出根据本发明的一个实施例基于基于MPEG-2 TS标准记录的视频和音频数据生成的再现信息文件的数据结构的示图。
如图16所示，在基于基于MPEG-2 TS标准记录的视频和音频数据生 成的再现信息文件中，每一帧的图像数据的大小("sizeV[]")和图像数 据的绝对地址("offsV[]")被存储。
音频数据不是按每单位l帧而是按每单位3帧记录的。就是说，如图
16所示，当音频数据的大小("sizeA
")、音频数据的相对地址 ("offsA
")和延迟信息("ddA
")被存储在用于存储与帧0的
音频数据相关的信息的位置上时，对于帧1或帧2， "0"被记录在用于
存储与音频数据相关的信息的位置上。此外，音频数据的大小 ("sizeA[3]")、音频数据的相对地址("offsA[3]")和延迟信息 ("ddA[3]")被存储在用于存储与帧3的音频数据相关的信息的位置上。
这样，即使在基于MPEG-2 TS标准生成运动图像文件的情况下，也 可以生成再现信息文件。通过在再现信息文件中记录与根据MPEG-2 TS 标准生成的运动图像文件的图像数据和音频数据相关的信息，即使从文件 中间的点再现运动图像文件，通过参考再现信息文件，也可以从再现位置 再现视频和音频。此外，由于音频的延迟信息也被记录在再现信息文件 中，因此即使在从文件中间的点再现运动图像文件的情况下，通过参考再 现信息文件，也可以使用音频的延迟信息来同步视频和音频，并且可以从 再现位置再现视频和音频。
以上，根据本发明的实施例用于生成由再现信息生成单元110生成的 再现信息文件的方法已被描述。
这样，通过生成再现信息文件以对应每个标准，即使对于以与在记录 时使用的标准不同的标准执行诸如运动图像文件的再现或编辑之类的处理 的再现装置，通过参考再现信息文件，也可以执行运动文件的再现或编 辑。接下来，将描述根据本发明的实施例用于利用再现信息文件再现运动 图像文件的再现装置。
图17是示出根据本发明的实施例用于利用再现信息文件再现运动图 像文件的再现装置200的示图。如图17所示，根据本发明实施例的再现 装置200被配置为包括记录单元202、再现信息分析单元204、解码单元 206、再现单元208、显示单元210、音频输出单元212、系统控制单元 214、存储器216和用户接口单元218。
记录单元202记录基于预定标准创建的运动图像文件和基于该运动图 像文件的图像数据和音频数据生成的再现信息文件。作为预定标准的示
例，MXF和MP4是已知的。作为记录单元202，可以使用固定设置在再 现装置200中的硬盘驱动器(HDD)或连接到将被使用的再现装置200的 记录介质，例如各种存储卡、CD-ROM或DVD-ROM。
再现信息分析单元204读取和分析记录在记录单元202中的再现信息 文件。再现信息分析单元204经由系统控制单元214从用户接口单元218 接收关于再现开始位置的指令，并读取与指令的再现开始位置相对应的再 现信息。再现装置200基于在再现信息分析单元204处读取和分析的再现 信息来再现从其得到再现信息的运动图像文件。
例如，当从用户接口单元218提供从第10帧开始再现运动图像文件 的指令时，再现信息分析单元204被经由系统控制单元214来自用户接口 单元218的指令指导获取和分析第10帧的再现信息。
被指导获取和分析第10帧的再现信息的再现信息分析单元204从再 现信息文件获取第10帧的图像数据的大小、图像数据的绝对地址、音频 数据的大小、音频数据的相对地址和延迟信息。基于获取的信息，运动图 像文件中的图像数据和音频数据的再现位置和再现大小被确定。
解码单元206对记录在记录单元202中的运动图像文件进行解码。当 在解码单元206处执行解码时，解码是基于由再现信息分析单元204分析 的再现信息来执行的。例如，当从用户接口单元218提供从第IO帧开始 再现运动图像文件的指令时，第10帧的再现信息被再现信息分析单元 204获取，并且从第IO帧开始执行解码。
再现单元208从解码单元206接收解码后的数据，并再现运动图像文 件。记录在将被再现的运动图像文件中的运动图片被显示在显示单元210 上，将被再现的运动图像文件的音频被输出到音频输出单元212。
系统控制单元214控制再现装置200的每个单元。例如，当用户接口 单元218指令再现开始位置时，系统控制单元214指令再现信息分析单元 204获取与包含在再现信息文件中的运动图像文件中的再现开始位置相对 应的再现信息。不用说，系统控制单元214的控制并不局限于该示例。
用户接口单元218在操作单元(未示出)出接受来自再现装置200的 用户的操作，并将指示该操作的操作信号发送到系统控制单元214。用户
在操作单元处的操作包括选择将被再现的运动图像文件和指定所选择的运 动图像文件的再现开始位置。
存储器216存储了再现装置200的每个单元执行处理所需的数据。例
如，通过在存储器216中存储计算机程序并使得系统控制单元214读出和 执行所存储的计算机程序，运动图像文件可以被再现。
通过配置如上所述的再现装置200并在再现装置200处解码来自运动 图像文件的图像数据和音频数据以及再现信息文件，即使对于通过以不同 于再现装置200的方案进行编码而生成的运动图像文件，也可以容易地执 行再现。此外，由于音频同步信息被包含在再现信息文件中，因此通过参 考音频同步信息，还可以执行图像和音频的同步。
图18是示出根据本发明的实施例用于利用再现信息文件再现运动图 像文件的再现装置300的示图。如图18所示，根据本发明实施例的再现 装置300被配置为包括记录单元302、切换单元304、 TS缓冲器306、 QT 缓冲器308、 DSP (数字信号处理器)310、视频ES缓冲器318、 MP2缓 冲器320、 L-PCM缓冲器322和编码器/解码器324。
如同上述再现装置200中的记录单元202 —样，记录单元302记录基 于预定标准创建的运动图像文件和基于该运动图像文件的图像数据和音频 数据生成的再现信息文件。预定标准的示例包括MXF和MP4。作为记录 单元302，可以使用固定设置在再现装置300中的硬盘驱动器(HDD)或 连接到将被使用的再现装置300的记录介质，例如各种存储卡、CD-ROM 或DVD-ROM 。
切换单元304读取记录在记录单元302中的运动图像文件，并根据运 动图像文件的类型来切换数据的目的地。在本实施例中，取决于读出的运 动图像文件的类型，切换单元304将数据发送到TS缓冲器306或QT缓 冲器308。
当从切换单元304发送数据时，关于图像数据和音频数据的记录位置 的信息("offsV[]" 、 "offsA[]")被从再现信息文件读取，并且基于读 出的信息从运动图像文件获取数据。
TS缓冲器306接收并临时存储来自切换单元304的数据。类似地，
QT缓冲器308接收和临时存储来自切换单元304的视频和音频数据。
DSP 310接收临时存储在TS缓冲器306和QT缓冲器308中的视频和
音频数据，并执行运动图像文件的再现所需的处理(例如对接收到的视频
和音频数据的复用和分离)，并将处理后的数据输出到视频ES缓冲器
318、 MP2缓冲器320和L-PCM缓冲器322。
除了复用处理和分离处理之外，DSP 310还对音频和视频数据执行用
于同步视频和音频的处理。为了同步视频和音频，记录在再现信息文件中
的每一帧中的同步信息被参考。DSP 310被配置为包括TS分离单元312、
复用器314和解复用器316。
视频ES缓冲器318接收并临时存储从DSP 310输出的数据。类似
地，MP2缓冲器320和L-PCM缓冲器322接收并临时存储从DSP 310输
出的数据。
编码器/解码器324接收来自视频ES缓冲器318和MP2缓冲器320的 数据，并解码和输出接收到的数据。当在编码器/解码器324处执行解码 时，从再现信息文件获取关于解码方法的信息，并且基于获取的解码信息 执行解码处理。
即使在配置如上所述的再现装置300的情况下，在再现装置300处， 来自运动图像文件的图像数据和音频数据以及再现信息文件也被解码，从 而使得即使对于通过以不同于再现装置300的方案进行编码而生成的运动 图像文件，也可以容易地执行再现。此外，由于音频同步信息被包含在再 现信息文件中，因此通过参考音频同步信息，图像和音频的同步也是可能 的。
以上，根据本发明实施例的用于利用再现信息文件再现运动图像文件 的再现装置己被描述。接下来，将描述根据本发明实施例用于再现运动图 像文件的方法。
图19是示出根据本发明实施例用于再现运动图像文件的方法的示 图。以下，将参考图19来描述根据本发明实施例用于再现运动图像文件 的方法。顺便提及，在下文中，将描述用于利用再现装置200再现运动图 像文件的方法。
首先，再现信息分析单元204获取在再现信息文件中所提示的第fD
帧的地址(步骤S102)。由于再现信息文件被构造为16字节数据为一 组，因此如果将被提示的帧的帧号fD被识别出，则可以获取再现信息文 件中的地址。并且，所记录的经被提示的帧的再现信息被从在步骤S102 处获得的地址开始读取。
随后，包含在再现信息中的图片类型在再现信息分析单元204处被读 取(步骤S104)。存在3种类型的图片类型，即I图片(内图片)、B图 片(双向预测图片)和P图片(预测图片)。
I图片是通过编码帧中的整体图像而获得的图片并且是被GOP用作参 考的图片。P图片是通过帧间前向预测获得的图片。B图片是通过前向预 测和/或后向预测(即双向预测)获得的图片。
B图片可以被分类成通过下述编码获得的4种类型的图片，即通过根 据前一再现帧进行预测的编码(前向预测编码)、根据后一帧进行预测的 编码(后向预测编码)、根据前一帧和后一帧两者进行预测的编码(内插 预测编码)和不带预测的编码(内编码)获得的图片。
当在步骤S104处读取图片类型之后，再现信息分析单元204根据读 取的图片类型确定将被解码的帧。如果读取的图片类型是I图片或B图片 (闭合的BO或闭合的Bl)，则读取帧号fD+l和fD+2的图片类型。另一 方面，如果图片类型不是以上类型，则向后跟踪帧，直到图片类型是I图 片以读取再现信息(步骤S106)。
这里，"闭合BO"指示在帧的图片类型为B图片的情况下执行了后 向预测编码的帧，并且指示下一帧的图片类型为I图片。此外，"闭合 Bl"指示在该帧和下一帧的图片类型都为B图片的情况下执行了后向预 测编码的帧，并且指示随后2个图片的图片类型为I图片。
当向后跟踪帧直到图片类型为I图片时，该帧的再现信息被读取，并 且基于读取的再现信息，图像数据被从运动图像文件发送到解码单元206 以被解码(步骤S108)。
当解码单元206在步骤S108处执行解码时，再现信息分析单元204 读取从该帧到第fD帧的再现信息的图片类型。当读取这些帧时，如果图
片类型为P图片的帧显现出来，则该帧的再现信息被读取，并且基于读取 的再现信息，图像数据被从运动图像文件发送到解码单元206以被解码。
当第f0帧到达时，随后，再现信息分析单元204读取帧号fO+l和 f0+2的图片类型(步骤S110)。如果该帧的图片类型为I图片或P图 片，则该帧的再现信息被读取，并且基于读取的再现信息，图像数据被从 运动图像文件发送到解码单元206以被解码。
随后，期望的第fD帧的再现信息被读取，并且基于读取的再现信 息，图像数据被从运动图像文件发送到解码单元206以被解码(步骤 S112)。
此后，从具有最小值的"offsV[]"开始的图像数据，即运动图像文件 中具有最小绝对地址的图像数据，被从运动图像文件发送到解码单元206 以被解码(步骤S114)。
另一方面，对于音频数据，期望的第f0帧的再现信息被读取，并且 基于读取的再现信息，音频数据被从运动图像文件发送到解码单元206以 被解码。视频和音频的同步通过如下方式来执行读出记录在第f0帧的 再现信息中的同步信息("delA[fD]")并且通过反映在解码单元206处 的解码结果上读出的同步信息。
如上所述，通过从再现信息文件读取再现信息，可以从期望的帧再现 运动图像文件。此外，由于用于同步视频和音频的音频同步信息被记录在 再现信息文件中，因此通过在再现运动图像文件时读取来自再现信息文件 的再现信息，视频和音频可以被同步地再现。
以上，根据本发明实施例用于再现运动图像文件的方法已被描述。
如上所述，根据本发明实施例，当在记录/再现装置100处记录运动 图片作为运动图像文件时，包含该运动图片的再现信息的再现信息文件也 被创建。当再现记录在记录/再现装置100中的运动图像文件时，该再现 没有参考与再现相关的包含在运动图像文件中的信息，而是参考在记录/ 再现装置100处创建的再现信息文件。通过在再现时参考再现信息文件， 即使对于以不同于记录/再现装置100的标准执行解码的再现装置，也可 以执行再现。
通过生成再现信息文件，除了运动图像文件的再现之外的各种处理都 可能被执行。下面将描述处理的示例。 (处理示例1:挽救)
基于同样在记录/再现装置100进行记录时生成的再现信息，在例如 由于电池消耗等而切断电源以及记录被异常终止之类的情况下，可以从包 含在生成的再现信息中的每一帧的信息来恢复运动图像文件。 (处理示例2:分割)
通过使用同样在记录/再现装置100生成运动图像文件时生成的再现 信息文件，运动图像文件可以被分割。分割点是使用再现信息文件来确定 的，随后，再现文件本身被分割。运动图像文件的流部分根据分割的再现 信息文件被分割并被部分复制。此后，通过对每个分割的运动图像文件执 行记录终止处理，运动图像文件被完成。
顺便提及，在分割时，在某些情况下，需要解码无需显示的帧，在此 情况下，预定长度的重叠部分被提供以被分割。在此过程中，通过提供具 有预定长度重叠部分的再现信息文件并从而对其进行分割，运动图像文件 的分割可以被执行。
(处理示例3:从运动图像文件创建再现文件)
当不带有再现信息文件的运动图像文件被分配给记录/再现装置100 时，由每种包装方法指定的索引信息可被读取以被转换成再现信息文件。 通过使用通过转换获得的再现信息文件，可以利用与包含再现信息文件的 运动图像文件相同的处理来实现常规的再现、提示或进一步分割。
如上所述，根据本发明实施例，在创建运动图像文件时还创建再现信 息文件。运动图像文件的标准、运动图像文件的基本信息、每一帧的信息 (例如大小和地址)、用于同步视频和音频的同步信息被记录在再现信息 文件中。当再现或编辑运动图像文件时，再现没有参考记录在运动图像文 件中的索引信息，而是参考再现信息文件，从而使得可以容易地按不同于 运动图像文件的标准来进行再现或编辑。结果，即使对于处理不同标准的 系统，通过参考再现信息文件，也可以实现对应于多种格式的系统。
本领域技术人员应该理解，取决于设计需求和其他因素，可以发生各
种修改、组合、子组合和变更，只要它们落在所附权利要求或其等同物的 范围内即可。
例如，在上述实施例中，当在记录/再现装置100处在创建运动图像 文件时创建再现信息文件时，再现信息以预定间隔被添加和记录在
DRAM 111中，并且当记录完成时，再现信息文件被从记录在DRAM 111 中的再现信息创建。但是，本发明并不局限于该示例。当在记录/再现装 置100处在创建运动图像文件时创建再现信息文件时，该再现信息文件可 以按如下形式来创建该再现信息文件被重复地打开和关闭，从而使得可 以添加再现信息。
本发明包含与2007年7月5日递交到日本特许厅的日本专利申请JP 2007-177363相关的主题，该在先日本申请的全部内容通过引用被结合于 此。
权利要求
1.一种记录/再现装置，包括图像记录单元，用于记录运动图片；音频记录单元，用于记录音频；再现信息记录单元，用于在记录所述运动图片和所述音频时一起记录用于再现所述运动图片和所述音频的信息；以及再现单元，用于基于所述再现信息再现所记录的运动图片和音频，其中所述再现信息记录单元在记录所述再现信息时与所述再现信息并行地针对每块音频数据记录用于同步运动图片和音频的同步信息。
2. 如权利要求l所述的记录/再现装置，其中所述再现单元基于针对每块音频数据记录的所述音频同步信息来同步 地再现所述运动图片和所述音频。
3. —种记录装置，包括 图像记录单元，用于记录运动图片； 音频记录单元，用于记录音频；以及再现信息记录单元，用于在记录所述运动图片和所述音频时一起记录 用于再现所述运动图片和所述音频的信息，其中所述再现信息记录单元在记录所述再现信息时与所述再现信息并行地 针对每块音频数据记录用于同步运动图片和音频的同步信息。
4. 一种再现装置，包括再现单元，用于基于用于再现运动图片和音频的信息来再现所述运动 图片和所述音频，其中所述用于再现运动图片和音频的信息是在记录所述 运动图片和所述音频时被并行记录的，其中所述再现单元基于针对每块音频数据记录的包含在所述再现信息中的 用于同步所述运动图片和所述音频的音频同步信息来同步地再现所述运动 图片和所述音频。
5. —种记录方法，包括图像记录步骤，该步骤记录运动图片； 音频记录步骤，该步骤记录音频；再现信息记录步骤，该步骤在记录在所述图像记录步骤中记录的所述 运动图片和在所述音频记录步骤中记录的所述音频时一起记录用于再现所 述运动图片和所述音频的信息；其中所述再现信息记录步骤在记录所述再现信息时与所述再现信息并行地 针对每块音频数据记录用于同步运动图片和音频的同步信息。
6. —种再现方法，包括再现步骤，该步骤在再现运动图片和音频时，基于在记录所述运动图 片和所述音频时一起记录的用于再现所述运动图片和所述音频的信息来再 现所述运动图片和所述音频，其中所述再现步骤基于针对每块音频数据与所述再现信息并行记录的包含 在所述再现信息中的用于同步所述运动图片和所述音频的音频同步信息来 同步地再现所述运动图片和所述音频。
7. —种用于使得计算机能够执行处理的计算机程序，所述处理包括 图像记录步骤，该步骤记录运动图片；音频记录步骤，该步骤记录音频；再现信息记录步骤，该步骤在记录在所述图像记录步骤中记录的所述 运动图片和在所述音频记录步骤中记录的所述音频时一起记录用于再现所 述运动图片和所述音频的信息；其中所述再现信息记录步骤在记录所述再现信息时与所述再现信息并行地 针对每块音频数据记录用于同步运动图片和音频的同步信息。
8. —种用于使得计算机能够执行处理的计算机程序，所述处理包括 再现步骤，该步骤在再现运动图片和音频时，基于在记录所述运动图片和所述音频时一起记录的用于再现所述运动图片和所述音频的信息来再 现所述运动图片和所述音频，其中所述再现步骤基于针对每块音频数据与所述再现信息并行记录的包含 在所述再现信息中的用于同步所述运动图片和所述音频的音频同步信息来 同步地再现所述运动图片和所述音频。
全文摘要
本发明提供了一种记录/再现装置、记录装置和方法、再现装置和方法，该记录/再现装置包括图像记录单元，用于记录运动图片；音频记录单元，用于记录音频；再现信息记录单元，用于在记录运动图片和音频时一起记录用于再现运动图片和音频的信息；以及再现单元，用于基于再现信息再现所记录的运动图片和音频，其中所述再现信息记录单元在记录再现信息时与再现信息并行地针对每块音频数据记录用于同步运动图片和音频的同步信息。
文档编号G11B27/10GK101340538SQ20081013056
公开日2009年1月7日 申请日期2008年7月7日 优先权日2007年7月5日
发明者山崎健治, 河原实 申请人:索尼株式会社