记录设备和记录方法

记录设备和记录方法
【专利摘要】本发明提供一种记录设备和记录方法。记录设备以与第一时间段相对应的运动图像样本为单位对运动图像数据进行编码，以与第二时间段相对应的音频样本为单位对音频数据进行编码，将已编码的运动图像数据和音频数据存储在运动图像文件中并且将运动图像数据和音频数据记录在记录介质中，基于所获得的运动图像数据的记录开始位置，将所获得的音频数据的记录开始位置确定为比所获得的运动图像数据的记录开始位置前至少与第二时间段相对应的音频样本的位置，并且将所记录的音频数据的再现开始位置确定为相对于所记录的音频数据的开头落后音频数据单位的位置。
【专利说明】记录设备和记录方法
【技术领域】
[0001]本发明涉及一种记录设备，并且更特别地，涉及一种对运动图像和声音进行编码并且记录已编码的运动图像和声音的记录设备。
【背景技术】
[0002]迄今为止，已知一种在记录介质上记录运动图像信号和音频信号的记录设备。这种类型的记录设备根据预定的文件系统将所记录的运动图像和声音作为文件来管理。已知MP4文件格式作为用于记录运动图像和声音的文件格式(例如，见日本特开2008-283232)。
[0003]对以MP4文件格式记录的运动图像和声音分别编码的单位时间彼此不同。因此，在一个场景的末端部分，用于采样运动图像的时刻很少与用于采样声音的时刻一致。在大多数情况下，运动图像的末端的采样点与声音的末端的采样点不同。
[0004]因此，在执行用于将存储在两个MP4文件中的运动图像和声音进行结合以创建新的MP4文件的编辑处理的情况下，在采样点不一致的状态下结合运动图像与声音。
[0005]MP4文件格式没有被设计为在数据形式中半途设置不进行再现的时间段，因此从文件开头起连续地再现全部条数据。因此，在场景的边界处运动图像的采样点与声音的采样点不一致的情况下，在结合的边界之后运动图像的再现时刻与声音的再现时刻不一致，这是不想要的。

【发明内容】

[0006]考虑到上述问题，本发明的一方面在于防止在将存储有编码后的运动图像数据和音频数据的文件与其它运动图像数据和其它音频数据结合的情况下由于在运动图像和声音的再现时刻之间的不一致而导致的不自然的再现。
[0007]根据本发明的一个实施例，提供一种记录设备，包括:运动图像获得单元，用于获得运动图像数据；音频获得单元，用于获得音频数据；编码单元，用于根据作为与第一时间段相对应的运动图像样本的编码单位而对所获得的运动图像数据进行编码，并且根据作为与第二时间段相对应的音频样本的编码单位而对所获得的音频数据进行编码；记录单元，用于将所述编码单元所编码后的运动图像数据和音频数据存储在运动图像文件中，并且将该运动图像数据和该音频数据记录在记录介质中；以及控制单元，用于基于所获得的运动图像数据的记录开始位置，确定所获得的音频数据的记录开始位置，其中，所述控制单元确定相对于所获得的运动图像数据的记录开始位置提前至少与所述第二时间段相对应的音频样本的位置，作为所获得的音频数据的记录开始位置，并且将所记录的音频数据的再现开始位置确定为相对于所记录的音频数据的开头落后所述音频数据的编码单位的位置。
[0008]根据本发明的一个实施例，提供一种记录方法，用于通过记录单元将运动图像获得单元所获得的运动图像数据以及音频获得单元所获得的音频数据作为运动图像文件记录在记录介质中，所述记录方法包括:编码步骤，用于根据作为与第一时间段相对应的运动图像样本的编码单位而对所获得的运动图像数据进行编码，并且根据作为与第二时间段相对应的音频样本的编码单位而对所获得的音频数据进行编码；记录步骤，用于通过所述记录单元将在所述编码步骤中编码后的运动图像数据和音频数据存储在所述运动图像文件中，并且将该运动图像数据和该音频数据记录在所述记录介质中；以及控制步骤，用于基于所获得的运动图像数据的记录开始位置，确定所获得的音频数据的记录开始位置，其中，所述控制步骤包括:确定相对于所获得的运动图像数据的记录开始位置提前至少与所述第二时间段相对应的音频样本的位置，作为所获得的音频数据的记录开始位置，并且将所记录的音频数据的再现开始位置确定为相对于所记录的音频数据的开头落后所述音频数据的编码单位的位置。
[0009]能够防止在将存储有编码后的运动图像数据和音频数据的文件与其它运动图像数据和其它音频数据结合的情况下由于在运动图像和声音的再现时刻之间的不一致而导致的不自然的再现。
[0010]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【专利附图】

【附图说明】
[0011]包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。
[0012]图1是示出根据本发明的实施例的记录设备的示例结构的框图。
[0013]图2A和2B是示出运动图像文件的结构的图。
[0014]图3是示出在管理信息、运动图像数据和音频数据之间的相关性的图。
[0015]图4是示出结合的运动图像数据和音频数据的结构的图。
[0016]图5A、5B和5C是各自示出图4中示出的运动图像文件上的管理信息的图。
[0017]图6是示出在结合的运动图像数据和音频数据的再现时间之间的时间差的图。
[0018]图7是示出根据本发明的实施例的记录设备在记录模式中的操作的流程图。
[0019]图8A和8B是示出根据本发明的实施例的与所记录的运动图像文件结合的运动图像数据和音频数据的运动图像文件的结构的图。
[0020]图9是示出在根据本发明的实施例的在结合的运动图像数据与音频数据的再现时间之间的时间差的图。
[0021]图10是示出根据本发明的实施例的结合运动图像数据与音频数据的操作的流程图。
[0022]图11是示出附加写入运动图像文件中的运动图像数据和音频数据的结构的图。
[0023]图12是示出关于图11中示出的运动图像文件的管理信息的图。
[0024]图13是示出附加地写入运动图像文件中的运动图像数据和音频数据的再现时间的图。
[0025]图14是示出根据本发明的实施例的记录设备在同时记录模式中的操作的流程图。
[0026]图15是示出根据本发明的实施例的在同时记录模式中确定音频数据的开头位置的操作的图。
[0027]图16是示出根据本发明的实施例的在同时记录模式中记录的运动图像数据和音频数据的结构的图。[0028]图17A、17B、17C、17D、17E和17F是示出在根据本发明的实施例的部分删除操作中
的结合图案的图。
[0029]图18是示出根据本发明的实施例的记录设备的部分删除操作的流程图。
[0030]图19是示出根据本发明的实施例的记录设备在附加写入模式中的操作的流程图。
【具体实施方式】
[0031]以下将参考图详细说明本发明的各种典型实施例、特征和方面。
[0032]图1是示出根据本发明的实施例的记录设备100的示例结构的框图。尽管本实施例是一个本发明应用于诸如摄像机等的摄像设备的示例，但是本实施例可以应用于具有照相机和麦克风或者与之相连接的个人计算机(PC)，或者应用于诸如像智能手机的便携装置等的能够拍摄运动图像的设备。
[0033]参考图1，摄像单元101用作运动图像获得单元，包括已知的摄像元件和AD转换器。摄像单元101拍摄被摄体的图像并且输出运动图像数据。音频获得单元102包括麦克风和AD转换器。音频获得单元102获得在被摄体周围的声音，并且输出音频数据。
[0034]存储器103存储运动图像数据和音频数据。记录设备100的各个块访问存储器103以处理运动图像数据和音频数据。除了运动图像数据和音频数据以外，存储器103还存储诸如关于文件系统的信息和管理信息等的各种信息。存储器103还用作用于控制单元106的控制操作的工作存储器等。在如下所述设置同时记录模式的情况下，在记录待机状态中将预定时间的运动图像数据和音频数据重复存储在存储器103中。
[0035]显示单元104在拍摄模式中显示摄像单元101所获得的运动图像，并且在再现模式中显示所再现的运动图像。显示单元104还显示诸如菜单画面等的各种信息。
[0036]在记录运动图像时，信号处理单元105根据已知的编码格式对由摄像单元101所获得的运动图像数据和由音频获得单元102所获得的音频数据进行编码以压缩数据的信息量。此外，信号处理单元105执行为记录运动图像数据和音频数据所需的处理。根据此实施例，根据H.264/高级视频编码(AVC)对运动图像数据进行编码，并且根据高级音频编码(AAC)对音频数据进行编码。信号处理单元105在再现模式中对所再现的运动图像数据和音频数据进行解码以展开数据的信息量。
[0037]在记录静止图像时，信号处理单元105还根据诸如JPEG等的已知编码系统对由摄像单元101所获得的一帧静止图像数据进行编码。在再现静止图像时，信号处理单元105对所再现的静止图像数据进行解码。
[0038]控制单元106根据来自操作单元107的输入而控制记录设备100的总体操作。控制单元106包括微计算机(CPU)和存储器，并且根据存储在非易失性存储器(未示出)中的计算机程序(软件)控制记录设备100。控制单元106包含记录介质接口，用于与记录再现单元108之间通信数据和命令。操作单元107包括可由用户操作的各种开关。操作单元107接收用户给出的各种指示等，并且将指示等通知给控制单元106。操作单元107包括电源开关、用于给出用于开始和停止记录的指示的开关以及用于改变记录设备100的模式的开关。
[0039]记录再现单元108将运动图像数据和音频数据或者各种信息写入记录介质109或者从记录介质109读取运动图像数据和音频数据或者各种信息。在记录模式中，记录再现单元108将存储在存储器103中的运动图像数据和音频数据写入记录介质109中。在再现模式中，记录再现单元108从记录介质109读取运动图像数据和音频数据，并且将运动图像数据和音频数据存储在存储器103中。根据本实施例，记录介质109是诸如硬盘(HDD)或闪速存储卡等的随机存取记录介质。
[0040]记录再现单元108根据诸如文件分配表(FAT)等的文件系统，将所要记录在记录介质109中的运动图像数据和音频数据或者各种信息作为文件来管理。记录再现单元108包括诸如AT Attachment(ATA)等的已知接口(IF)以与控制单元106中的记录介质IF之间通信数据和各种命令。尽管记录介质109被配置为通过安装和拆卸机构(未示出)而容易地可安装或者拆卸记录设备100，但是记录介质109可以被配置为内置于记录设备100中。
[0041]在将包含运动图像数据和音频数据的运动图像文件写入记录介质109或者从记录介质109读取包含运动图像数据和音频数据的运动图像文件时，控制单元106控制记录再现单元108从记录介质109再现文件系统数据(管理数据)并且将文件系统数据存储在存储器103中。文件系统数据例如表示记录在记录介质109上的数据的文件名、记录在记录介质109上的文件的大小、所记录数据的地址并且是用于管理文件的信息。控制单元106根据所读取的文件系统数据控制文件写入和读取。控制单元106根据在记录介质109中文件的写入而更新存储在存储器103中的文件系统数据。控制单元106使得记录再现单元108将所更新的文件系统数据记录在记录介质109中。
[0042]使用数据总线110在记录设备100的各个单元之间发送和接收数据和各种控制命令。
[0043]根据本实施例，以MP4文件格式将运动图像数据和音频数据记录在记录介质109上。图2A示出MP4文件的基本结构。MP4文件200由被称作box(盒)的存储单位构成。构成单个MP4文件的最上面的box包括ftyp box201、moovbox202以及mdat box203。ftypbox201存储文件兼容性信息并且moov box202存储运动图像数据和音频数据的管理信息。mdat box203存储已编码的运动图像数据和音频数据的实际数据。
[0044]图2B是示出moov box202的示例结构的图。trak box定义单个运动图像数据和单个音频数据。在图2B中，存储有分别定义运动图像数据和音频数据的2个trak。在各个trak中，将关于从轨道开始再现的时刻的信息存储在edts中。将用于判断轨道包含视频(运动图像)还是音频的信息存储在stsd中。将关于视频或者音频数据的一个样本的持续时间(再现持续时间)的信息存储在stts中。将表示各个区块(chunk)中样本的大小的信息存储在stsz中。将关于各个区块相对于文件开头的偏移(数据大小)存储在StCO中。在MP4文件格式中，存储在mdat中的运动图像数据和音频数据各自由被称作“区块”的单位管理。这样的moov数据指定了存储在文件中的mdat中的各个数据的位置。
[0045]图3示出在以存储在moov中的stsz和stco所表示的信息与存储在mdat中的数据的偏移之间的相关性。moov box301中的轨道I和轨道2分别是用于视频数据的轨道和用于音频数据的轨道。各个轨道包括包括3个区块。stsz表示mdat box302中存储的视频数据和音频数据中包括的样本的数量和大小。stco表示各个视频区块和各个音频区块的偏移 303。
[0046]接着，描述在根据本实施例的正常记录模式中的记录操作。记录设备100在正常记录模式中能够记录运动图像数据和静止图像数据。如下所述，根据本实施例的记录设备100具有同时记录模式，用于记录静止图像以及以至少预定时间记录运动图像数据和音频数据；以及附加写入模式，用于除了正常记录模式以外，还将运动图像数据和音频数据附加地写入到所记录的运动图像文件中。记录设备100还具有再现模式，用于再现在那些记录模式中所记录的运动图像文件。在再现模式中，能够给出对运动图像文件进行结合的指示以及部分删除在同时记录模式中所记录的运动图像文件的指示。
[0047]在接收到来自操作单元107的用于正常记录模式的指示的情况下，控制单元106设置记录设备100为记录待机状态并且等待指示以开始记录。在记录待机状态中，控制单元106在显示单元104上显示与从摄像单元101输入的运动图像数据相关联的运动图像。在从操作单元107输入开始记录的指示的情况下，控制单元106指示信号处理单元105开始编码。信号处理单元105从存储器103读出由摄像单元101所获得的运动图像数据以及由音频获得单元102所获得的音频数据，并且开始对运动图像数据和音频数据进行编码。信号处理单元105将已编码的数据存储在存储器103中。
[0048]记录再现单元108从存储器103读出已编码的数据，并且将已编码的数据记录在记录介质109中。在此时未打开文件的情况下,记录再现单元108创建新记录了已编码数据的文件、打开文件并且将已编码的数据作为运动图像文件记录在其中。
[0049]在按照这种方式开始记录运动图像之后接收到来自操作单元107的停止记录的指示的情况下，控制单元106使得信号处理单元105停止对运动图像数据和音频数据进行编码，并且使得记录再现单元108关闭正在记录数据的文件。控制单元106还指示记录再现单元108改变文件系统数据的内容并且将文件系统数据记录在记录介质109中。
[0050]根据本实施例，在正常记录模式中，在开始记录的指示与停止记录的指示之间的时间段内所记录的运动图像数据和音频数据被存储在MP4文件格式的单个运动图像文件中。
[0051]接下来，描述对静止图像的记录。在设置为正常记录模式的情况下，如上所述，控制单元106将记录设备100设置为记录待机状态。在此状态中从操作单元107输出开始记录静止图像的指示的情况下，控制单元106响应于静止图像记录指示而指示摄像单元101拍摄一巾贞静止图像。响应于来自控制单元106的指示,摄像单元101拍摄一巾贞静止图像,并且将静止图像数据输出至存储器103。响应于来自控制单元106的指示，信号处理单元105从存储器103读出静止图像数据、对静止图像数据进行编码并且将数据发送至记录再现单元108。记录再现单元108将从信号处理单元105发送来的静止图像数据记录在记录介质109 中。
[0052]接着，描述根据本实施例的记录设备100的对运动图像文件进行结合的操作。记录设备100具有将从记录在记录介质109中的多个运动图像文件中选择出的两个运动图像文件进行结合的功能。在结合操作中，将由用户所选择的两个运动图像文件中所存储的运动图像数据和音频数据在已编码状态中结合。接着，新生成存储有已结合的运动图像数据和音频数据的运动图像文件，并且将其记录在记录介质109中。
[0053]图4示出通过将两个运动图像文件中的运动图像数据和音频数据进行结合所新生成的运动图像文件。参考图4，将原始运动图像文件401中的运动图像数据Vl和音频数据Al以及运动图像文件402中的运动图像数据V2和音频数据A2进行结合以生成新的运动图像文件403。计算在运动图像文件403中运动图像数据和音频数据的开头的区块的偏移Ol至04，并且将其存储在moov中。图5A示出在结合后的运动图像文件403中的运动图像数据和音频数据的偏移信息。
[0054]图6是示出在对两个运动图像文件进行结合的情况下用于运动图像数据和音频数据的再现时刻的图。参考图6，各个运动图像文件中的运动图像数据Vl和运动图像数据V2分别由“601”和“603”表示，并且各个运动图像文件中的音频数据Al和音频数据A2分别由“602”和“604”表示。在图6中，将时间经过方向设置为水平方向，并且在数据中不同点之间的差与再现时的时间差相对应。
[0055]此外，Vl至vn以及vl至vn’分别表示各个运动图像数据的编码单位。根据本实施例，在同时记录模式中，根据作为一帧运动图像数据中的运动图像样本的编码单位，对运动图像数据进行编码，由此通过帧内编码对各帧进行编码。在将运动图像数据的帧频(每单位时间的帧的数量，在本例中单位时间为一秒)设置为29.97帧/秒的情况下，编码单位与33.3晕秒相对应。
[0056]此外，al至am以及al至am’各自表示各个音频数据的编码单位。根据本实施例，将1024个音频样本的音频数据作为编码单位来编码。在将音频数据的采样频率设置为48kHz的情况下，单个音频数据的编码单位与21.3毫秒相对应。以下将音频数据的一个编码单位称作“音频存取单元(AAU) ”。
[0057]根据用于运动图像数据的记录时间来记录音频数据。然而，由于如上所述、用于运动图像数据的编码单位的长度与用于音频数据的编码单位的长度不用，因此音频数据的记录时间难以变得与运动图像数据的记录时间相同。因此，例如通过这种方式来确定一次所要记录的音频数据的编码单位的数量:音频数据的再现时间不超过运动图像数据的再现时间。
[0058]根据本实施例，将运动图像数据的一个编码单位与音频数据的一个编码单位分别设置为运动图像文件中运动图像的一个区块以及运动图像文件中声音的一个区块。
[0059]由于如上所述，与运动图像数据的编码单位相对应的时间长度和与音频数据的编码单位相对应的时间长度彼此不同，因此在各个场景的末端部分运动图像和声音的末端部分之间存在时间差。此外，在末端部分的时间差根据所要记录的运动图像和声音的长度而变化，因此随着运动图像文件不同而变化。例如，在运动图像数据601和音频数据602的末端部分的时间差为gl，并且在运动图像数据603和音频数据604的末端部分的时间差是g2。
[0060]在将具有这样的时间差的两个运动图像文件之一中的运动图像数据Vl和音频数据Al与其它运动图像文件中的运动图像数据V2与音频数据A2连续结合的情况下，因此，结合后的运动图像文件数据变成运动图像数据604，并且结合后的音频数据变成音频数据605。
[0061]为了再现这样的MP4文件格式的已结合的运动图像文件，从各个开头开始连续地再现运动图像数据604和音频数据605。因此，在音频数据A2的开头的编码单位al比运动图像数据V2的开头帧vl早gl地再现。这造成了不自然的再现，使得在人的嘴动之前听到声音。此外，音频数据A2中的最后音频数据am’的再现比运动图像数据V2中的最后运动图像数据vn’早gl+g2结束。[0062]因此，根据本实施例，以如下的方式记录原始运动图像数据:记录声音以使得声音的记录开始时刻在运动图像的记录开始时刻之前，以在对运动图像文件进行结合的情况下防止在结合的位置随后的部分处声音在运动图像前再现。
[0063]图7是示出根据本实施例的记录设备100在记录模式中的操作的流程图。图7中示出的操作由控制单元106控制记录设备100的各个单元而执行。如上所述，在将记录设备100接通电源以进入记录待机状态的情况下，图7中的处理开始。
[0064]控制单元106开始将来自音频获得单元102的音频数据存储到存储器103中(S701)。此时，控制单元106将从音频获得单元102输出的未编码的音频数据以音频数据的形式存储在存储器103中。
[0065]在按照以使得其中存储有至少预定时间的音频数据的方式将音频数据连续存储在存储器103中的情况下，最老的数据被删除(覆盖)。具体地，控制单元106将比与一个AAU相对应的时间段(样本数量)长的时间段的音频数据存储在存储器103中。
[0066]在以这种方式将音频数据重复地存储在存储器103中的情况下，控制单元106等待来自操作单元107的开始记录的指示(S702)。在输出记录开始指示的情况下，控制单元106确定存储在存储器103中的音频数据的记录开头位置(S703)。具体地，控制单元106将存储在存储器103中的音频数据的相对于输出记录开始指示的时间点提前1024个样本的位置确定为开头位置。接着，控制单元106指示信号处理单元105开始对运动图像数据进行编码并且从所确定的开头位置起开始对存储在存储器103中的音频数据进行编码。信号处理单元105开始对从摄像单元101发送来的运动图像数据进行编码并且从所确定的编码开始位置起开始对音频数据进行编码(S704)。接着，记录再现单元108将已编码的运动图像数据和音频数据记录在记录介质109上(S705)。
[0067]在开始这样的记录以后输出了停止记录的指示的情况下(S706)，控制单元106停止将运动图像数据和音频数据存储在存储器103中(S707)并且停止编码(S708)。由于声音的编码单位与运动图像的编码单位不同，因此控制单元106在不使得声音的再现时间超过运动图像的再现时间的情况下指示信号处理单元105停止编码。接着，控制单元106指示记录再现单元108停止记录，并且记录再现单元108因此停止记录运动图像数据和音频数据(S709)。此外,控制单元106生成moov,并且使得记录再现单元108将moov记录在记录介质109中(S710)。
[0068]此时，控制单元106将第二个AAU的偏移信息而不是开头AAU (以下被称作“附加的声音”)作为音频数据的开头区块的偏移信息来存储。控制单元106还将关于相对于附加的声音的文件开头的偏移的位置的信息作为附加信息存储在运动图像文件的moov中。
[0069]按照这种方式将第二个AAU的偏移位置作为音频轨道的开头区块的偏移(记录开始位置)来记录，从而防止在再现运动图像文件的情况下再现相对应的声音的附加声音，由此基于编码单位，运动图像文件的再现时刻与声音的再现时刻一致。
[0070]图8A示出以这种方式记录的运动图像数据和音频数据。参考图8A，一次记录的运动图像数据Vl和音频数据Al分别由“801”和“802”表示。记录在输出开始记录的指示的时刻803之前预定时间的附加的声音804。
[0071]在运动图像文件805中，将运动图像数据的开头区块的偏移01和音频数据的开头区块的偏移02存储在moov中。附加的声音的偏移021也存储在moov中。在再现运动图像文件805的情况下，从02的数据起再现音频数据，其中02是开头区块的偏移位置。图5B示出运动图像文件805中运动图像数据和音频数据的开头区块的偏移信息。
[0072]接着，描述将不同的运动图像文件结合的操作，其中运动图像文件具有以这种方式记录的附加的声音。根据本实施例的记录设备100能够在再现模式中通过用户操作操作单元107而给出指示以对运动图像文件进行结合。
[0073]图9示出在对运动图像文件进行结合时的运动图像数据和音频数据。参考图9，与图6中的601至604相似，两个运动图像文件中的运动图像数据和音频数据分别由901至904表示。注意，将开头AAU a0作为附加的声音记录在音频数据902和音频数据904中。附加的声音aO的再现时间为ta。在图9中，将时间经过方向设置为水平方向，并且数据中不同点之间的差与再现时的时间差相对应。
[0074]接着，将运动图像V2和声音A2与运动图像Vl和声音Al结合，以使得生成运动图像905和声音906。此时，通过将声音A2的开头AAUaO的偏移位置存储在结合后的声音轨道中，在声音Al的最后声音am之后再现声音A2的附加声音aO。这使得比运动图像vl晚ta-gl再现与运动图像V2的开头运动图像vl相对应的声音al,由此防止在相对应的运动图像之前再现声音。
[0075]作为结果，比运动图像V2的最后运动图像vn’晚地再现声音A2的最后声音am’，因此，例如，从结合后的运动图像文件中的音频轨道删除声音am’的偏移，并且将其作为附加信息存储在结合后的运动图像文件的moov中。注意，即使在将附加声音的再现设置为有效的情况下，当声音的再现结束时间在运动图像的再现结束时间前时，也不将最后声音的偏移从音频轨道删除。
[0076]图10是示出根据本实施例的记录设备100的结合操作的流程图。图10的操作通过控制单元106控制各个单元而执行。
[0077]在用户从记录在记录介质109中的多个运动图像文件中选择两个运动图像文件并且给出对两个运动图像文件进行结合的指示的情况下，图10中的处理开始。用户在两个运动图像文件中指定要比另一个先再现的运动图像文件。将先再现的运动图像文件称作“前半场景”，并且将后再现的运动图像文件称作“后半场景”。
[0078]控制单元106基于存储在后半场景的moov中的视频轨道的偏移信息，计算在结合后的运动图像文件中后半场景的运动图像数据的各个区块偏移(S1001)。随后，控制单元106基于存储在后半场景的moov中的附加信息，计算在结合后的运动图像文件中的附加声音数据的偏移(S1002)。控制单元106还基于存储在后半场景的moov中的音频轨道的偏移信息，计算在结合后的运动图像文件中的后半场景的音频数据的各个区块偏移(S1003)。
[0079]接着，控制单元106指示记录再现单元108将前半场景与后半场景结合(S1004)。具体地，记录再现单元108将前半场景的运动图像数据和音频数据以及后半场景的运动图像数据和音频数据分别复制到记录介质109的分离的记录区域中。
[0080]接着，控制单元106生成结合后的运动图像文件的moov，其包含有以上述方式计算出的关于视频轨道和音频轨道的偏移信息(S1005)。此时，将在结合前存储于前半场景的moov中的偏移信息直接用作前半场景的偏移信息。接着，控制单元106使得记录再现单元108将所生成的moov、以及包含所结合的运动图像数据和音频数据的结合后的运动图像文件记录在记录介质109中(S1006)。[0081]图8B示出以这种方式结合的运动图像文件。参考图8B，结合后的运动图像文件由“806”表示，并且前半场景的运动图像和声音的开头区块的偏移信息分别由“01”和“02”表示。前半场景的附加声音的偏移由“021”表示。结合后的运动图像文件中后半场景的运动图像和声音的开头区块的偏移信息分别由“03”和“04”表示。在结合后的运动图像文件中后半场景的附加声音的偏移由“041”表不。
[0082]如上所述参考图9，以使得再现后半场景的附加声音的方式将附加声音的偏移041存储在结合后的运动图像文件的音频轨道中。图5C示出结合后的运动图像文件的偏移信息。
[0083]根据本实施例，如上所述，在记录运动图像和声音时，比记录开始指示的点早预定时间记录声音。以使得在正常记录模式中不再现开头音频数据的方式记录偏移，并且在对两个运动图像文件进行结合时，根据在与另一个运动图像文件结合的运动图像文件的末端部分的运动图像和声音之间的时间差，再现附加声音。
[0084]因此，声音不在结合的部分之后的运动图像之前再现，因此防止了不自然的再现。由于在结合的部分中不插入无声的数据，因此在部分结合后的运动图像文件的再现期间声首没有中断。
[0085]接着，描述同时记录模式。记录设备100被配置为具有同时记录模式，其用于在给出记录静止图像的指示的情况下，与静止图像一起，记录在记录静止图像的指示之前的η秒运动图像、以及η秒与运动图像相对应的声音。在同时记录模式中记录的运动图像数据和音频数据被附加地写入并且记录在单个运动图像文件中。假定为，在同时记录模式中，以帧内预测编码来对各帧运动图像数据进行编码以对其进行记录。
[0086]在操作单元107输出用于同时记录模式的指示的情况下，控制单元106将记录设备100设置为同时记录模式并且处于记录待机状态中。在同时记录模式中的记录待机状态中，控制单元106如以下所述，将从摄像单元101所输出的η秒的运动图像数据以及与η秒相对应并且由音频获得单元102所获得的音频数据重复地存储在存储器103中。此时，如下所述，η秒的运动图像数据由信号处理单元105编码并存储在存储器103中。此外，与η秒的运动图像相对应的音频数据也由信号处理单元105编码并且存储在存储器103中。
[0087]在设置为同时记录模式的情况下，控制单元106控制记录再现单元108从记录介质109中检测在同时记录模式中所记录的运动图像文件。在同时记录模式中所记录的运动图像文件存在于记录介质109中的情况下，控制单元106检测关于此运动图像文件的文件名的信息，并且将信息存储在存储器103中。
[0088]在同时记录模式中的记录待机状态中输出用于记录静止图像的指示的情况下，控制单元106停止将已编码的运动图像数据和音频数据存储在存储器103中。此外，控制单元106响应于静止图像记录指示、指示拍摄一个画面的静止图像，并且与上述的静止图像记录模式中相同，使得记录再现单元108将已编码的静止图像数据记录在记录介质109中。
[0089]控制单元106指示记录再现单元108将对存储在存储器103中的η秒的运动图像数据和音频数据进行记录。此时，在同时记录模式中所记录的运动图像文件已经存在于记录介质109中的情况下，控制单元106指示附加地写入并且记录当前记录在此运动图像文件中的运动图像数据和音频数据。另一方面，在同时记录模式中所记录的运动图像文件不存在于记录介质109中的情况下，控制单元106指示创建新的运动图像文件，并且将运动图像数据和音频数据记录在其中。在创建新的运动图像文件时，控制单元106对所要记录的运动图像文件附加用于标识此运动图像文件是在同时记录模式中所记录的附加信息。
[0090]图11是示出在同时记录模式中所记录的运动图像数据和音频数据以及存储有各个数据的运动图像文件的图。参考图11，在各个时间1101、1102和1103输出静止图像记录指示，并且在各个时间记录分别紧挨在那些时间之前的运动图像和声音Vl和Al、V2和A2以及V3和A3。将那些运动图像和音频数据附加地写入并且记录在单个运动图像文件1104中。此外，将各个运动图像数据和音频数据的开头区块的偏移如图12中所示存储在moov中。如图12中所示，将各个运动图像数据的开头区块的偏移01、03和05存储在视频轨道的stco中，并且将各个音频数据的开头区块的偏移02、04和06存储在音频轨道的stco中。
[0091]图13示出在同时记录模式中记录的三个场景中的运动图像数据和音频数据的外观。参考图13，Vl至V3各自表示从记录开始指示的点起η秒的一个场景的运动图像数据，并且Al至A3各自表示一个场景的音频数据。在图13中，将时间经过方向设置为水平方向，并且在数据中不同点之间的差与再现时的时间差相对应。
[0092]在图13中，如图6中所示，vl至ν15表示运动图像数据的编码单位，并且al至a23(a24)表示音频数据的编码单位。在图13中，为了简化描述，将在单个同时记录中所要记录的运动图像数据的时间设置为与15帧相对应的时间段。尽管根据运动图像数据的记录时间记录音频数据，但是音频数据的记录时间难以变得与运动图像数据的记录时间相同，这是因为如上所述、运动图像数据的编码单位的长度与音频数据的编码单位的长度不同。此外，在同时记录模式中，对各个运动图像数据和音频数据顺次编码以重复地存储在存储器103中。根据本实施例，因此，在存在拍摄静止图像的指示的情况下，在将与该静止图像拍摄指示相对应的运动图像的帧当做最后一帧的情况下，记录紧挨在最后一帧之前预定时间段的运动图像、即15帧的运动图像。此外，以使得音频数据的再现时间不跟随在运动图像数据的最后一帧后的方式确定音频数据的最后的AAU。接着，将包括在存储器103中所存储的音频数据中的如下样本的AAU确定为所要记录的开头AAU，该样本与所要记录的预定时间段(15帧)的运动图像的开头帧相对应。从开头AAU到最后的AAU的已编码音频数据是一次所要记录的音频数据。在图13中，例如，a23变成最后的AAU以使得不超过最后一帧V15的再现时间。接着，包括与Vl相对应的样本的al变成所要记录的音频数据的开头AAU。记录从al到a23的各个音频数据。
[0093]如上所述，由于与运动图像数据的编码单位相对应的时间长度和与音频数据的编码单位相对应的时间长度不同，因此在各个场景的末端部分在运动图像和声音的末端部分之间存在时间差。例如在图13中，在运动图像Vl和声音Al的末端部分的时间差为gl。在同时记录模式中，将运动图像数据和音频数据附加写入并且记录到单个运动图像文件中。因此，将下一个场景的运动图像V2和声音A2附加地写入具有这样的时间差的运动图像Vl和声音Al。
[0094]在再现以上述方式记录的图13的MP4文件格式的运动图像文件时，从运动图像数据和音频数据各自的开头起连续地再现运动图像数据和音频数据。因此，比运动图像数据V2的开头帧vl前早gl再现在音频数据A2的开头的编码单位al。
[0095]因此，根据本实施例，即使在同时记录模式中，也在音频数据的开头记录附加声音。在同时记录模式中，基于在从附加地写入有其它运动图像文件的运动图像文件的开头开始再现运动图像数据和音频数据的情况下在末端部分的运动图像和声音之间的时间差，控制是否再现所附加的声音，由此防止不自然的再现。具体地，在从附加地写入有其它运动图像文件的运动图像文件的开头开始再现运动图像数据和音频数据的情况下在末端部分的运动图像和声音之间的时间差超过一个AAU的再现时间的情况下，再现所附加的声音。反之，不再现所附加的声音。这防止了声音的再现时刻大幅度先于运动图像的再现时刻。
[0096]此外，对在同时记录模式中所记录的运动图像数据以η秒为单位进行部分地删除的编辑处理以使得在再现编辑后的运动图像文件的情况下再现所附加的声音，由此防止声音的再现先于相对应的运动图像的再现。
[0097]图14是示出根据本实施例的记录设备100在同时记录模式中的操作的流程图。图14中示出的操作由控制单元106控制记录设备100的各个单元来执行。如上所述，在记录待机状态中设置同时记录模式的情况下，图14中的处理开始。
[0098]控制单元106指示信号处理单元105开始对来自摄像单元101的运动图像数据和来自音频获得单元102的音频数据进行编码(S1401)。信号处理单元105从存储器103顺次地读出运动图像数据、对运动图像数据进行编码并且将已编码的运动图像数据再次存储在存储器103中(S1402)。
[0099]在将已编码的运动图像数据和音频数据连续存储在存储器103中以使得其中存储有η秒的运动图像数据的情况下，删除(覆盖)最旧的数据。将量比η秒大预定时间的音频数据存储在存储器103中。具体地，将比当前点早η秒的、先于当前音频数据2个AAU的音频数据存储在存储器103中。
[0100]在以上述方式将已编码的运动图像数据和音频数据重复地存储在存储器103中的情况下，控制单元106等待来自操作单元107的指示以拍摄静止图像(S1403)。在输出静止图像拍摄指示的情况下，控制单元106如上所述生成一帧静止图像数据，并且将静止图像数据记录在记录介质109中(S1404)。
[0101]接着，控制单元106停止对运动图像数据和音频数据进行编码，并且停止将新编码的运动图像数据和音频数据存储在存储器103中(S1405)。接着，控制单元106以上述方式从存储在存储器103中的运动图像数据中确定所要记录的开头帧和最后帧。控制单元106还以上述方式确定所要记录的音频数据的开头AAU和最后AAU(S1406)。
[0102]控制单元106指示记录再现单元108将已编码的运动图像数据和音频数据附加地写入已在同时记录模式中记录在记录介质109中的运动图像文件中。记录再现单元108将存储在存储器103中的运动图像数据和音频数据附加地写入并且记录在指定的运动图像文件中(S1407)。
[0103]接着,在同时记录模式中记录的运动图像文件已经被记录在记录介质109中的情况下，控制单元106检测在从开头开始再现该运动图像文件的情况下、在运动图像数据和音频数据的末端部分的运动图像与声音之间的时间差(S1408)。如下获得在末端部分(再现结束位置)的时间差。
[0104](时间差)=(视频轨道的再现结束位置)_(音频轨道的再现结束位置)
[0105](视频轨道的再现结束位置)=(视频再现开始时刻(edts))+(视频样本的再现时间(stsc))x(视频样本的数量(StSZ))
[0106](音频轨道的再现结束位置)=(音频再现开始时刻(edts))+(音频样本的再现时间(stsc))x(音频样本的数量(StSZ))
[0107]以这种方式获得在从开头开始再现运动图像文件的情况下，在运动图像与声音之间的时间差。
[0108]此外，根据本实施例，每次在同时记录模式中单次记录结束时，检测在单次记录中所记录的、运动图像数据和音频数据的开头和末端部分各自的运动图像和声音之间的时间差，并且将其作为附加信息存储在moov中。在单次记录中记录的运动图像和声音以下称作“一个场景”。根据本实施例，将关于在开头和末端部分各自的时间差的信息存储在各个场景的moov中。此时，不将在附加声音的开头与运动图像的开头之间的时间差、而是将附加声音的下一个AAU与运动图像的开头之间的时间差作为开头的时间差来记录。
[0109]根据本实施例，将预定频率的时钟的计数值作为表示时间差的信息来记录。例如，在MPEG编码中，基于用于对所确定的频率的时钟进行计数的计数器的计数值，管理解码时刻以及已解码的图像和声音的输出时刻。因此，将用于解码的预定频率的时钟的计数值作为关于时间差的信息记录。注意，只要信息表示在运动图像与声音之间的时间差，信息也可以是其它形式。
[0110]在同时记录模式中所记录的运动图像文件不存在于记录介质109中的情况下，控制单元106视为不存在时间差地进行处理。
[0111]接着，控制单元106指示记录再现单元108更新附加写入的运动图像文件的管理信息moov的内容(S1409)。此时，控制单元106判断在附加地写入其它运动图像文件的运动图像文件的末端部分的运动图像和声音之间的时间差是否比一个AAU的再现时间长。在末端部分的时间差等于或者小于一个AAU的再现时间的情况下，控制单元106不将所要附加记录的音频数据的开头AAU的偏移信息存储在音频轨道中，而是将第二个AAU的偏移信息存储在声音轨道上。接着，控制单元106将开头AAU(附加声音)的偏移信息作为附加信息存储在moov中。
[0112]另一方面，在末端部分的时间差大于一个AAU的再现时间的情况下，控制单元106将所要附加记录的音频数据的开头AAU的偏移信息存储在声音轨道中。按照这种方式，将关于新记录的运动图像数据和音频数据的信息添加至moov。此外，对于当前所记录的场景，控制单元106将关于在开头和末端部分各自的运动图像与声音之间的时间差的信息作为附加信息存储在moov中。
[0113]之后，在仍然设置为同时记录模式的情况下，在S1409中moov的更新结束的情况下控制单元106再次返回S1401，并且开始将运动图像数据和音频数据存储在存储器103中。
[0114]图15是示出在同时记录模式中所要记录的运动图像数据和音频数据的图。在图15中，vl至vl5表示用于已编码的运动图像数据的编码单位，并且aO至a23表示音频数据的编码单位。根据本实施例，如上所述，在同时记录模式中通过帧内预测编码对各帧运动图像数据进行编码。因此，各个编码单位vl至vl5各自与一帧相对应。在图15中，将时间经过方向设置为水平方向，并且在数据中不同位置之间的差与再现时的时间差相对应。
[0115]在如图15中所示，在时间1501存在记录静止图像的指示的情况下，确定运动图像数据的最后位置(帧)、vl5以及开头位置(帧)、vl。接着，以使得再现时间不比最后位置晚的方式确定音频数据的最后位置a23。此外，将比al前一个的aO确定为音频数据的开头的编码单位，其中al是包含与运动图像数据的开头位置1502相对应的样本的AAU。
[0116]将开头AAU aO记录为附加的声音。接着，在从开头开始再现附加写入有其它运动图像文件的运动图像文件时在末端部分的运动图像和声音之间的时间差等于或者小于一个AAU的再现时间的情况下，将al的偏移信息作为附加写入的音频数据的开头的区块偏移而存储在音频轨道上，并且将aO的偏移信息作为附加信息存储在moov中。
[0117]另一方面，在末端部分的运动图像和声音之间的时间差大于一个AAU的再现时间的情况下，将作为开头附加声音的aO的偏移存储在moov中。
[0118]图16示出在同时记录模式中所记录的运动图像数据和音频数据以及存储有各个数据的运动图像文件。图16示出如上所述记录附加声音的情况中的运动图像文件。在图16中，将时间经过方向设置为水平方向，并且在数据中的不同位置之间的差与再现时的时间差相对应。
[0119]参考图16，在各个时间1601、1602和1603输出用于记录静止图像的指示，并且记录分别作为紧挨在以上各个时间之前的运动图像和声音的Vl和A1、V2和A2以及V3和A3。此外，将一个AAU的附加声音1604、1605和1606记录至各个场景的音频数据。将那些运动图像数据和音频数据附加记录在单个运动图像文件1607中。在添加各个场景时，在附加地写入其它运动图像文件的运动图像文件的末端部分的时间差不大于一个AAU的情况下，如图12中所示将运动图像文件1607中各个运动图像数据和音频数据的开头区块的偏移存储在moov中。如图12中所不,将各个运动图像数据的开头区块的偏移01、03和05存储在视频轨道的Stco中，并且将各个音频数据的开头区块的偏移02、04和06存储在音频轨道的stco中。此外，将附加的声音的偏移信息021、041和061作为附加信息存储在moov中。
[0120]因此，在再现在同时记录模式中所记录的运动图像文件1607的情况下，不再现附加声音 1604、1605 和 1606。
[0121]接着，描述部分删除在同时记录模式中所记录的运动图像文件的处理。记录设备100具有部分删除功能，其用于将在同时记录模式中所记录的运动图像文件以η秒作为单位部分删除，并且将删除后剩余的数据作为单个文件来记录。在部分删除中，以编码的形式对在已删除部分之前和之后的运动图像数据和音频数据进行结合。基于在已删除部分之前和之后的运动图像数据和音频数据之间的再现时间上的差，控制是否有效再现各个场景的附加声音，由此调整再现时刻以使得在删除部分以及删除部分之后的运动图像和声音不会不自然地再现。
[0122]例如，在从运动图像文件1607删除η秒的运动图像V2以及相对应的声音Α2的情况下，将在所删除的运动图像V2之前和之后的运动图像Vl和V3进行结合，并且将在所删除的声音Α2之前和之后的声音Al和A3进行结合。
[0123]图17Α至17F是示出在部分删除处理中在所删除部分之前和之后的运动图像数据和音频数据以及其结合图案的图。在图17Α中，运动图像I和附加声音I是紧挨在所删除部分之前的运动图像数据和音频数据，并且运动图像2和附加声音2是紧挨在所删除部分之后的运动图像数据和音频数据。此外，Xl表示在运动图像I和声音I的开头部分之间的时间差、yI表示在运动图像I和声音I的后端部分之间的时间差、x2表示在运动图像2和声音2的开头部分之间的时间差并且y2表示在运动图像2和声音2的后端部分之间的时间差。[0124]接着，在部分删除之后将所删除部分之前和之后的运动图像和声音结合时，基于那些时间差控制在结合后的运动图像文件中的音频数据的再现时刻。
[0125]首先，在yl=x2的情况下，如图17B中所示按原样对在所删除部分之前和之后的运动图像和声音进行结合。在这种情况下，通过从删除前的偏移删除掉所删除部分的大小，获得在所删除部分之后的运动图像和声音的区块偏移。在图17B中，再现位置1701和1702表示运动图像2和声音2的相对应的再现位置。在yl=x2的情况下，再现位置1701和1702的再现时刻变成相同。
[0126]接着，在“yl>x2并且(yl_x2)+y2≥(I个AAU的时间)”的情况下，如图17C中所示，将编码单位aO的再现设置为有效，其中aO是声音2的附加声音。即，在这种情况下，yl大于x2，因此在按原样将运动图像I和2以及声音I和2结合的情况下，声音2的再现时刻变得比运动图像2的再现时刻早。在这一点上，将开头AAU aO的再现设置为有效，其中aO是声音2的附加声音。具体地，计算aO的偏移并且将其存储在音频轨道中。这将声音2的再现时刻延迟aO，因此再现不会变得不自然。
[0127]在“(yl-x2)+y2≥(I个AAU的时间)”、其中将声音2的再现时刻延迟附加声音的时间的情况下，由于运动图像2的再现结束时间比声音2的再现结束时间晚，因此再现音频数据，直到声音2的最后编码单位为止。
[0128]接着，在“yl>x2并且(yl_x2)+y2 ( (I个AAU的时间)”的情况下，如图17D中所示，将编码单位aO的再现设置为有效，其中aO是声音2的附加声音。相似地，在这种情况下，yl大于x2，因此将开头编码单位aO的再现设置为有效，其中aO是声音2的附加声音。
[0129]在“(yl-X2)+y2 ( (I个AAU的时间)”的情况下，将声音2的再现时刻延迟附加声音的时间，因此声音2的再现结束时间变得比运动图像2的再现结束时间晚。因此，从moov中删除声音2的最后编码单位am的偏移以使得不再现最后编码单位am。接着，将最后编码单位am的偏移、以及关于在禁止am的再现的情况下的在运动图像2的末端部分和声音2的末端部分之间的时间差的信息作为附加信息存储在moov中。
[0130]接着，在“yl〈x2并且(x2_yl)-y2>0”的情况下，如图17E中所示，不将编码单位aO的再现设置为有效，其中aO是声音2的附加声音，并且按原样结合运动图像I和2以及声音I和2。即，在这种情况下，x2大于yl，因此将运动图像I和2以及声音I和2结合，使得声音2的再现时刻与运动图像2的再现时刻相比延迟了。因此不需要再现附加的声音。
[0131]在“(x2-yl)-y2>0”的情况下，声音2的再现结束时间变得比运动图像2的再现结束时间晚。因此，从moov中删除声音2的最后编码单位am的偏移以使得不再现最后编码单位am。接着，将最后编码单位am的偏移、以及关于在禁止am的再现的情况下的在运动图像2的末端部分和声音2的末端部分之间的时间差的信息作为附加信息存储在moov中。
[0132]接着，在“yl〈x2并且(x2-yl)-y2 ( O”的情况下，如图17F中所示，不将编码单位aO的再现设置为有效，其中aO是声音2的附加声音，并且按原样对运动图像I和2以及声音I和2进行结合。
[0133]在“(x2-yl)-y2 ( O”、其中声音2的再现时刻变得比运动图像2的再现时刻晚的情况下，由于运动图像2的再现结束时间变得比声音2的再现结束时间晚，因此再现音频数据，直到声音2的最后编码单位为止。
[0134]控制单元106以上述方式执行部分删除处理，并且接着对于所删除部分后的各个场景，计算出在以上述方式从开头开始再现运动图像文件的情况下、运动图像数据与音频数据之间在各个场景中的末端部分的时间差。
[0135]在末端部分的时间差超过一个AAU的再现时间的情况下，控制单元106将开头AAU的偏移添加至moov以使得再现作为下一个场景的开头AAU的附加声音。
[0136]图18示出用于根据本实施例的部分删除在同时记录模式中所记录的运动图像文件的操作的流程图。图18中的操作由控制单元106控制各个单元来执行。
[0137]在再现模式中，用户操作操作单元107以指示对在同时记录模式中所记录的运动图像文件的部分删除。在指示部分删除的情况下，控制单元106控制各个单元在显示单元104上从指定的运动图像文件的开头起每η秒显示帧的缩小图像。具体地，控制单元106从指定的运动图像文件的moov中所存储的偏移信息检测每η秒运动图像数据的位置。接着，控制单元106指示记录再现单元108和信号处理单元105再现所检测出的每η秒的运动图像数据并且生成缩小的图像。
[0138]记录再生单元108读出指定位置的运动图像数据并且将运动图像数据存储在存储器103中。信号处理单元105对所读取的运动图像数据进行解码、缩小已解码的运动图像数据的各帧并且在显示单元104上显示缩小的图像。
[0139]用户从显示单元104上所显示的每η秒的缩小图像中选择与所要删除的部分相对应的缩小图像，并且指示对选择出的缩小图像的删除。此时，可以将每η秒的至少一个运动图像数据选择作为所要删除的部分。以这种方式指定所要删除的部分，接着图18中的处理开始。
[0140]控制单元106从图17Α中所示的原始运动图像文件检测出在删除部分之前和之后的运动图像和声音之间的时间差(S1801)。如上所述，在同时记录模式中记录运动图像文件时，将关于每η秒的各个场景的开头和末端部分的运动图像和声音之间的时间差的信息作为附加信息存储在moov中。控制单元106基于关于时间差的信息来检测时间差。接着，控制单元106基于存储在原始运动图像文件的moov中的偏移信息，计算在已删除部分之后的运动图像和声音的偏移(S1802)。
[0141]接着，控制单元106判断在已删除部分之前和之后的运动图像和声音之间的时间差是否如图17B中所示为yl=x2(S1803)。在yl=x2的情况下，控制单元106计算出在已删除部分之后各个场景的末端部分的运动图像和声音之间的时间差(S1804)。在末端部分的时间差超过一个AAU的再现时间的情况下，控制单元106将开头AAU的偏移附加至moov以使得再现作为下一个场景的开头AAU的附加声音(S1805)。接着，控制单元106将以这种方式计算出并且改变的偏移信息存储在部分删除后的运动图像文件的moov中(S1806)。作为结果，将在已删除部分之前和之后的运动图像和声音结合。
[0142]在S1803中不满足yl=x2的情况下，控制单元106判断是否满足yl>x2 (S1807)。在yl>x2的情况下，控制单元106计算附加声音的偏移，其中该附加声音是紧挨在删除部分之后的音频数据的开头编码单位(S1808)。接着，控制单元106将附加声音的偏移存储在moov 中(S1809)。
[0143]此外，控制单元106判断是否为“(yl_x2)+y2≥(I个AAU的时间)”(S1810)。在“(yl-x2)+y2≥(I个AAU的时间)”的情况下，控制单元106进入S1804。在不满足“ (yl-x2) +y2≥(I个AAU的时间)”的情况下，即，在“ (yl_x2) +y2〈 (I个AAU的时间)”的情况下，控制单元106从步骤S1802中所计算出的偏移删除紧挨在删除部分之后的η秒音频数据的最后编码单位的偏移(S1811)。此外，控制单元106将最后编码单位的偏移信息作为附加信息存储在moov中(S1812)，并且接着进入S1804。
[0144]在S1807中不满足yl>x2的情况下，则yl〈x2，因此控制单元106判断是否满足(x2-yl)-y2>0(S1813)。在(x2-yl)-y2>0的情况下，控制单元106从S1802中计算出的偏移中删除紧挨在删除部分之后的η秒音频数据的最后编码单位的偏移(S1811)。此外，控制单元106将最后编码单位的偏移信息作为附加信息存储在moov中(S1812)，并且接着进入S1804。
[0145]在不满足(x2-yl)-y2>0的情况下，即，在(x2-yl)-y2 ( O的情况下，控制单元106进入S1804。
[0146]关于在部分删除处理之后所要记录的各个剩余的运动图像和声音，控制单元106保持存储在moov中的每η秒的开头部分和末端部分的时间差以及关于附加声音的偏移信
肩、O
[0147]按照这种方式，在从在同时记录模式中所记录的运动图像文件中删除每η秒的运动图像数据和相对应的音频数据的情况下，能够防止对删除部分之后的运动图像和声音的不自然的再现。
[0148]接下来，描述根据本实施例的记录设备100在再现时的操作。在操作单元107输出用于再现模式的指示的情况下，控制单元106指示记录再现单元108读出记录在记录介质109中的各个运动图像文件的缩略图图像并且将缩略图图像存储在存储器103中。根据本实施例，控制单元106在创建新运动图像文件时，创建新的运动图像文件的运动图像数据的开头帧的缩小图像数据，并且将缩小图像数据作为缩略图图像数据存储并且记录在运动图像文件中。
[0149]信号处理单元105利用存储器103中所存储的各个缩略图图像数据生成各个运动图像文件的索引画面，并且在显示单元104上显示索引画面。用户操作操作单元107从所显示的索引画面选择缩略图图像之一，并且指示所选择出的运动图像文件的再现。
[0150]在输出再现指示的情况下，控制单元106指示记录再现单元108再现所选择出的运动图像文件。记录再现单元108再现指定的运动图像文件，并且将运动图像文件存储在存储器103中。信号处理单元105从存储器103读出已编码的运动图像数据和音频数据、对运动图像数据和音频数据进行解码，并且再次将已解码的运动图像数据和音频数据存储在存储器103中。将已解码的运动图像数据发送至显示单元104以在显示单元104上显示。将已解码的音频数据从输出单元(未示出)等输出。
[0151]根据本实施例，如上所述，在同时记录模式中将运动图像和声音附加地记录在单个运动图像文件中的情况下，以比与运动图像的开头相对应的音频数据的开头位置早预定时间记录声音。在场景的末端部分的运动图像与声音之间的时间差等于或者小于预定时间的情况下，以使得不再现音频数据的开头的方式记录偏移，并且在部分删除之后对运动图像和声音进行结合的情况下，基于在结合部分之前和之后的运动图像和声音之间的时间差再现附加声音。在末端部分的运动图像和声音之间的时间差来超过预定时间的情况下，以使得再现开头的音频数据的方式记录音频数据。
[0152]因此，在同时记录模式中附加记录运动图像和声音的场景中，不大幅度先于运动图像的再现而再现声音。在执行部分删除的情况下，在删除部分之前和之后的场景中的结合部分之后的运动图像再现之前，不再现声音，由此防止不自然的再现。此外，在结合部分不插入无声数据，因此在对部分删除后的运动图像文件进行再现期间，声音没有中断。
[0153]尽管根据本实施例，以使得用于音频数据的再现时间不超过用于运动图像数据的再现时间的方式记录数据，但是本实施例可以被配置为记录到与运动图像数据的结尾相对应的音频数据的编码单位。
[0154]尽管根据本实施例，在同时记录模式中通过帧内预测编码对运动图像数据中的各帧进行编码，但是与普通的记录模式中所进行的一样，可以使用帧内编码和帧间编码对运动图像数据中的各帧进行编码。
[0155]在这种情况下，可以以被称作“G0P”的单位对运动图像数据进行解码，因此由GOP单位确定运动图像数据的记录开头和结束位置。因此，在S1405中停止对运动图像和声音的编码后，如下确定运动图像的记录开头位置。控制单元106检测包括比记录静止图像的指示的点前η秒的帧的G0P。接着，控制单元106将GOP的开头的帧设置为运动图像数据的记录开始位置。此外，控制单元106可以将包括与静止图像记录指示相对应的帧的GOP设置为运动图像数据的记录结束位置。
[0156]在按照这种方式确定运动图像数据的记录开始位置的情况下，控制单元106检测与运动图像数据的记录开始位置相对应的音频数据的采样点，并且将包含此样本的AAU前一个的AAU确定为声音的记录开始位置。
[0157]尽管根据本实施例在同时记录模式中记录了在静止图像记录指示前η秒的运动图像和声音，但是可能不记录静止图像，并且可能将在由用户给出的记录指示之前η秒的运动图像和声音附加记录在单个文件中。作为替代，在对已经记录在记录介质109上的运动图像文件附加地写入新的运动图像和新的声音的情况下可以执行相似的处理。
[0158]以下描述这样的附加写入模式。在附加写入模式中，记录从用户给出的记录指示起η秒的运动图像和声音，并且之后停止记录。在附加写入模式中对记录在记录介质109上的单个运动图像文件附加地记录η秒运动图像和声音。
[0159]图19示出根据本实施例在附加写入模式中的操作的流程图。图19中的操作由控制单元106控制各个单元来执行。在记录待机状态中设置附加写入模式的情况下，如上所述，图19的处理开始。
[0160]首先，控制单元106从记录介质109检测出在附加写入模式中所记录的运动图像文件，并且检测在从开头开始再现运动图像文件的情况下、在运动图像数据和声音数据的末端部分的运动图像和声音之间的时间差(S1901)。通过与处理S1406中使用的相似的方法检测时间差。
[0161]接着，控制单元106开始将来自音频获得单元102的音频数据存储在存储器103中(S1902)。只需要存储与至少两个音频数据的编码单位相对应的样本的数量的音频数据，并且重复地将两个编码单位的音频数据存储在存储器103中。
[0162]在此条件下，控制单元106判断是否输出记录开始指示(S1903)。在输出了记录开始指示的情况下，控制单元106基于在S1901中所检测到的时间差来将相对于与记录开始指示相对应的音频样本提前S1901中检测出的时间差的样本确定为记录开始位置(S1904)。在确定音频数据的记录开头位置的情况下，控制单元106计算在场景边界的运动图像和声音的偏移，并且将偏移存储在存储器103中(S1905)。具体地，控制单元106判断在S1901中计算出的时间差是否等于或者小于一个AAU的再现时间。在时间差等于或者小于一个AAU的再现时间的情况下，控制单元106将记录开头位置的AAU的下一个AAU的偏移存储在moov中以使得不再现开头AAU。接着，将关于开头AAU的偏移信息作为附加信息存储在moov中。另一方面，在时间差大于一个AAU的再现时间的情况下，控制单元106将记录开头位置的AAU存储在moov中以使得再现开头AAU。
[0163]接着，控制单元106开始将从摄像单元101输出的运动图像数据存储在存储器103中，并且指示信号处理单元105开始对运动图像数据和音频数据进行编码(S1906)。此时，控制单元106指示信号处理单元105开始从与记录开始指示相对应的巾贞起对运动图像数据进行编码，并且从S1904中所确定的开头位置起开始对音频数据进行编码。接着，控制单元106指示记录再现单元108将已编码的运动图像数据和音频数据添加并且记录至指定的运动图像文件。记录再现单元108从存储器103读出已编码的运动图像数据和音频数据，并且将运动图像数据和音频数据添加并且记录至添加了数据的运动图像文件(S1907)。
[0164]在以这种方式开始记录后，控制单元106判断从开始记录以来是否已经过η秒(sl908)。在开始记录以来已经过η秒的情况下,控制单元106停止对运动图像数据和音频数据的编码和记录(S1909)。此时，以使得声音的再现停止位置在运动图像数据的再现停止位置前的方式确定运动图像数据和音频数据的记录停止位置。
[0165]接着，控制单元106指示记录再现单元108更新附加写入的运动图像文件的管理信息moov的内容(S1910)。作为结果，将关于新记录的运动图像数据和音频数据的信息添加至moov。此外，将关于在S1905中存储在存储器103中的场景边界的运动图像和声音的偏移信息存储在moov中。在不再现开头AAU的情况下，将关于开头AAU的偏移信息作为附加信息存储在moov中。此外，将关于在各个场景的开头的运动图像和声音之间的时间差的信息以及关于在各个场景的末端部分的运动图像和声音之间的时间差的信息存储在moov中。
[0166]在上述的附加写入模式中所记录的运动图像文件的部分能够被删除。在这种情况下，基于存储在moov中的关于场景边界的偏移信息，在显示单元104上显示场景边界的缩小图像，并且从运动图像文件中将与用户所选择出的缩小图像相对应的场景从开头到末端部分删除。在删除后，根据图17A至17F以及图18中示出的操作，将在删除部分之前和之后的运动图像和声音结合。
[0167]基于根据本发明的运动图像文件的记录结构，即使在记录之后执行运动图像文件的结合或者对运动图像文件的部分删除的情况下，也能够防止由于在运动图像文件的再现中运动图像的再现时刻与声音的再现时刻的不一致而导致的不自然的再现。
[0168]本实施例可以被配置为使得用户在附加写入模式中指示记录的开始和停止以使得可以记录从开始记录的用户指示到停止记录的用户指示之间的运动图像和声音。本实施例可以被配置为使得用户在附加写入模式中，将运动图像和声音附加地写入到用户从已经记录在记录介质109上的运动图像文件中选择出的运动图像文件。可以实现为其它结构。例如，紧挨在设置为附加写入模式之前选择运动图像文件。
[0169]其它实施例
[0170]构成根据本发明的实施例的上述记录设备的各个单元以及记录方法的各个步骤可以作为存储在计算机的RAM、ROM等中的程序运行而实现。该程序和存储程序的计算机可读存储介质包含在本发明的范围内。
[0171]本发明可以实现为例如系统、设备、方法、程序、存储介质等。具体地，本发明可以适用于包括多个装置的系统或者包括单个装置的设备。
[0172]本发明包括一种情况，其中将实现上述实施例的功能的软件程序直接或者远程供给至系统或者设备。本发明还包括一种情况，其中系统或者设备的计算机读出并且执行所供给的程序代码。
[0173]因此，本发明通过安装在计算机上以使得计算机本发明的功能处理的程序代码自身而实现。即，本发明包括用于实现本发明的功能处理的计算机程序自身。在这种情况下，只要程序具有程序功能，计算机程序可以采取诸如对象代码、由解释器执行的程序或者要供给至OS的脚本数据等的任何形式。
[0174]用于供给程序的存储介质包括软盘、硬盘、光盘以及磁光盘。存储介质还包括MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM 以及 DVD (DVD-ROM、DVD-R)。
[0175]此外，供给程序的方法包括利用安装在客户端计算机上的浏览器通过因特网连接至网页。作为替代，可以通过从网页下载计算机程序自身或者下载文件至诸如硬盘等的存储介质上以供给根据本发明的计算机程序，其中该文件具有已压缩的计算机程序并且设置有自动安装功能。
[0176]此外，根据本发明的计算机程序可以通过分割程序代码使得程序分为多个文件并且通过从不同的网页分别下载文件来实现。即，允许多个用户将用于实现本发明的功能处理的程序文件下载到计算机的WWW服务器包括在本发明的范围内。
[0177]作为替代方法，根据本发明的程序可以被加密并且存储在诸如CD-ROM等的存储介质上并且发布给用户，并且允许通过预定条件的特定用户从因特网上的网页下载密钥信息以对加密后的程序解密。利用密钥信息，用户能够运行加密后的程序以安装在计算机上以实现本发明的程序。
[0178]此外，计算机可以执行所读出的程序以实现上述实施例的功能。此外，基于来自程序的指示，在计算机上运行的OS等可以部分或者全部执行实际处理，由此实现上述实施例的功能。
[0179]作为其它方法，首先，将从存储介质读出的程序写入设置在计算机上安装的功能扩展板上或者连接至计算机的功能扩展单元上的存储器中。接着，安装在功能扩展板或者功能扩展单元上的CPU等基于来自程序的指示而部分或者全部执行实际处理，由此实现上述实施例的功能。
[0180]尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功倉泛。
【权利要求】
1.一种记录设备，包括: 运动图像获得单元，用于获得运动图像数据； 音频获得单元，用于获得音频数据； 编码单元，用于根据作为与第一时间段相对应的运动图像样本的编码单位而对所获得的运动图像数据进行编码，并且根据作为与第二时间段相对应的音频样本的编码单位而对所获得的音频数据进行编码； 记录单元，用于将所述编码单元所编码后的运动图像数据和音频数据存储在运动图像文件中，并且将该运动图像数据和该音频数据记录在记录介质中；以及 控制单元，用于基于所获得的运动图像数据的记录开始位置，确定所获得的音频数据的记录开始位置， 其中，所述控制单元确定相对于所获得的运动图像数据的记录开始位置提前至少与所述第二时间段相对应的音频样本的位置，作为所获得的音频数据的记录开始位置，并且将所记录的音频数据的再现开始位置确定为相对于所记录的音频数据的开头落后所述音频数据的编码单位的位置。
2.根据权利要求1所述的记录设备，其中，所述记录设备具有第一记录模式，所述第一记录模式用于使所述记录单元生成要记录的新的运动图像文件，其中，在所述第一记录模式中，所述控制单元将所获得的音频数据的记录开始位置确定为相对于所获得的运动图像数据的记录开始位置提前与所述第二时间段相对应的音频样本的位置。
3.根据权利要求1所述的记录设备，其中，所述记录设备具有第二记录模式，所述第二记录模式用于根据开始记录的指示而将新的运动图像数据和音频数据添加至已经记录在所述记录介质中的运动图像 文件中，其中，在所述第二记录模式中，所述控制单元将所获得的音频数据的记录开始位置确定为相对于记录在所述记录介质上的运动图像文件的开头提前如下时间差的位置:该时间差是在从所述运动图像文件的开头开始再现运动图像数据和音频数据的情况下、在运动图像数据的再现结束位置和音频数据的再现结束位置之间的时间差。
4.根据权利要求3所述的记录设备，其中，在所述第二记录模式中，所述控制单元判断所述时间差是否大于所述第二时间段，在所述时间差小于所述第二时间段的情况下将所获得的音频数据的再现开始位置设置为相对于所记录的音频数据的开头落后所述音频数据的编码单位的位置，并且在所述时间差大于所述第二时间段的情况下设置所记录的音频数据的开头作为所述再现开始位置。
5.根据权利要求1所述的记录设备，其中，还包括存储器，所述存储器用于存储所述编码单元所编码后的运动图像数据和音频数据， 其中，在记录待机状态中，在顺次对所述运动图像获得单元所获得的运动图像数据和所述音频获得单元所获得的音频数据进行编码的情况下，所述编码单元将至少预定时间段的编码后的运动图像数据和音频数据存储在所述存储器中，以及 根据在所述记录待机状态中的记录指示，所述控制单元控制所述记录单元，以将所述预定时间段的编码后的运动图像数据以及与所述预定时间段的编码后的运动图像数据相对应的时间段的编码后的音频数据，添加至记录在所述记录介质中的预定运动图像文件中。
6.根据权利要求5所述的记录设备，其中，所述控制单元将如下的音频数据的编码单位的前一个的编码单位的开头的音频样本设置为音频数据的记录开始位置，其中，该音频数据的编码单位对应于相对于与所述记录指示相对应的运动图像样本提前所述预定时间段的运动图像样本。
7.根据权利要求6所述的记录设备，其中，所述控制单元判断在从所述预定运动图像文件的开头开始再现运动图像数据和音频数据的情况下、在运动图像数据的再现结束位置和音频数据的再现结束位置之间的时间差是否大于所述第二时间段，在所述时间差等于或者小于所述第二时间段的情况下将所记录的音频数据的再现开始位置设置为相对于所记录的音频数据的开头落后所述音频数据的编码单位的位置，并且在所述时间差大于所述第二时间段的情况下设置所记录的音频数据的开头作为所述再现开始位置。
8.根据权利要求5所述的记录设备，其中，所述控制单元根据所述记录指示而确定所获得的运动图像数据的记录开始位置，并且在所述记录指示之前控制所述编码单元，以将与编码后的音频数据的至少比所述第二时间段长的第三时间段相对应的音频样本重复地存储在所述存储器中。
9.根据权利要求1所述的记录设备，其中，所述控制单元生成表示编码后的音频数据的再现开始位置的管理信息，并且将所述管理信息存储在所述记录单元所记录的运动图像文件中，而且还生成表示所获得的运动图像数据的记录开始位置是编码后的运动图像数据的再现开始位置的管理信息，并且将所生成的管理信息存储在所述运动图像文件中。
10.根据权利要求9所述的记录设备，其中，在将记录在所述记录介质上的一个运动图像文件中所存储的编码后的运动图像数据和音频数据与记录在所述记录介质上的其它运动图像文件中所存储的编码后的运动图像数据和音频数据进行结合的情况下，所述控制单元根据在所述一个运动图像文件中的编码后的运动图像数据的再现结束位置和与所述一个运动图像文件中的编码后的音频数据进行结合的、所述其它运动图像文件中的编码后的音频数据的再现开始位置之间的时间差，改变所述其它运动图像文件中的编码后的音频数据的再现开始位置。
11.根据权利要求9所述的记录`设备，其中，在从结合后的多个编码后的运动图像数据和音频数据中删除一个编码后的运动图像数据和一个编码后的音频数据、并且对紧挨在所删除的编码后的运动图像数据和音频数据之前和之后的编码后的运动图像数据和音频数据分别进行结合的情况下，所述控制单元根据紧挨在所删除的编码后的运动图像数据和音频数据之前的编码后的运动图像数据和音频数据的再现结束位置之间的时间差、以及紧挨在所删除的编码后的运动图像数据和音频数据之后的编码后的运动图像数据和音频数据的再现结束位置之间的时间差，改变与紧挨在前面的编码后的音频数据进行结合的、紧挨在后面的编码后的音频数据的再现开始位置。
12.根据权利要求1所述的记录设备，其中，所述控制单元生成表示要存储在所述记录单元所要记录的运动图像文件中的编码后的运动图像数据的图像数据，并且将该图像数据存储在所述运动图像文件中，以及 所述记录设备具有再现模式，所述再现模式用于根据记录指示而将存储在所述运动图像文件中的图像数据显示在显示单元上，并且基于所显示的图像数据来再现所述运动图像文件。
13.—种记录方法，用于通过记录单元将运动图像获得单元所获得的运动图像数据以及音频获得单元所获得的音频数据作为运动图像文件记录在记录介质中，所述记录方法包括: 编码步骤，用于根据作为与第一时间段相对应的运动图像样本的编码单位而对所获得的运动图像数据进行编码，并且根据作为与第二时间段相对应的音频样本的编码单位而对所获得的音频数据进行编码； 记录步骤，用于通过所述记录单元将在所述编码步骤中编码后的运动图像数据和音频数据存储在所述运动图像文件中，并且将该运动图像数据和该音频数据记录在所述记录介质中；以及 控制步骤，用于基于所获得的运动图像数据的记录开始位置，确定所获得的音频数据的记录开始位置， 其中，所述控制步骤包括:确定相对于所获得的运动图像数据的记录开始位置提前至少与所述第二时间段相对应的音频样本的位置，作为所获得的音频数据的记录开始位置，并且将所记录的音频数据的再现开始位置确定为相对于所记录的音频数据的开头落后所述音频数据 的编码单位的位置。
【文档编号】H04N5/76GK103888662SQ201310706201
【公开日】2014年6月25日 申请日期:2013年12月19日 优先权日:2012年12月19日
【发明者】村上尚之 申请人:佳能株式会社