专利名称：录像再生编辑装置的制作方法
技术领域：
本发明涉及一种对通过帧间编码压缩后的活动图像数据进行录制、再生和编辑的录像再生编辑装置。
背景技术：
在MPEG、H.263等活动图像的压缩技术中，使用了用帧间预测的帧间编码技术。在帧间编码技术中，使用由称为图像组GOP(Group of Pictures)的多个图像帧构成的层。
如图8所示，GOP由内部编码帧(I帧)I1、I2和正向预测编码帧(P帧)P1、P2以及双向预测编码帧(B帧)B1、B2、B3、B4、B5、B6三种帧构成。I帧不使用帧间的编码，代替它使用帧内编码。I帧必须插入各个GOP的开头。P帧是将从过去的帧进行帧间预测后的差分进行编码的帧。B帧是将从过去和未来的帧进行帧间预测之后的差分进行编码的帧。
如图所示，假定原来的图像帧按照I1、B1、B2、B3、P1、B4、B5、B6的顺序排列。在编码侧，如数字所示，按照I1、P1、B1、B2、B3、P2的顺序进行编码，在译码侧按照同样的顺序进行译码后，按照原来的帧的顺序替换排列、再生。
如图9A所示，在通常的再生中，将全部的帧译码，替换排列进行再生，但是，如图9B所示，在快进中，仅对I帧进行译码，如图9C所示，在倒退中，仅对I帧进行译码。但是，在任何情况下都从存取点附近的I帧开始。即，I帧作为随机存取的存取点(首部)使用。
专利文献1特開2002-300526号公报I帧是使用帧内编码的静止图像模式，与其它的帧相比编码效率差、信息量大。因而，I帧必须插入在各个GOP的开头，但是不能频繁地使用。在I帧的插入间隔较长的情况下，不能得到其间随机存取的存取点。
在特开2002-300526号公报“流编辑装置和流编辑方法”中，提出了不依赖GOP单位的编辑方式。在所述公报记载的例子中，可以在小于GOP单位的范围内进行编辑，但是，没有特别地研讨选择编辑点(编辑开始位置、结束位置)。其原因是在DVD再生装置等高性能的设备中，容易以帧为单位选择编辑点。例如，到用户想要指定的帧为止选择用快进、帧进编辑点的情况下，对所有帧进行译码，即使显示也等待，因为处理速度快，没有等待用户或者图像的显示延迟的问题。
但是，在移动终端这样的信号处理能力低的设备中，如果进行对全部的帧进行解码的快进，则存在图像的显示延迟的问题。
发明内容
本发明的目的是提供一种既便信号处理能力低也可以随机存取通过帧间编码压缩后的活动图像数据的录像再生编辑装置。
根据本发明，录像再生编辑装置具有图像数据输入部，输入通过帧间预测压缩后的图像数据；参考图像帧列生成判定部，根据所述图像数据的各个文件中包含的I帧数或I帧的插入间隔，判定是否生成参考图像帧列；参考图像帧列生成部，在通过所述参考图像帧列生成判定部判定为生成参考图像帧列的情况下，对于I帧追加图像帧，生成由I帧和追加图像帧构成的参考图像帧列。
本发明在进行编辑或寻址动作的情形，以用户必须进行一次快进或倒退图像数据为前提。因此，如果得到图像数据，则生成参考图像帧列并将其存储在参考图像帧列存储部内。用户在快进或倒退图像数据时，由于显示参考图像帧列，所以，容易指定编辑位置。
根据本发明，既便在文件中I帧的数量少，或者I帧的插入间隔大的情况下，也没有必要对所有的帧进行再编码，可以减轻处理的负担。例如，在移动终端这样的处理能力低的机器中，也可以顺利地进行编辑作业。
图1是示出本发明的录像再生编辑装置实例的方框图。
图2是示出文件格式实例的图。
图3是示出本发明的录像再生编辑装置生成参考图像帧列的处理步骤的图。
图4是示出判定是否生成参考图像帧列的处理的步骤的图。
图5是用于说明参考图像帧列生成处理的具体实例的说明图。
图6是示出本发明的录像再生编辑装置的编辑处理的步骤的表示图。
图7是说明编辑处理的具体实例用的说明图。
图8是用于说明GOP的内容的说明图。
图9是用于说明一般的再生、快进和倒退的说明图。
符号说明1图像数据输入部2存储部3多重分离部4图像压缩/展开部5管理信息处理部6参考图像帧列生成判定部7参考图像帧列生成部8参考图像帧列存储部9图像数据缓冲器10显示部具体实施方式
参考图1说明本发明的录像再生编辑装置的结构例。本例的录像再生编辑装置具有图像数据输入部1，从外部通过有线或无线方式输入图像数据；存储部2，存储经由图像数据输入部1输入的图像数据文件；多重分离部3，从存储在存储部2中的图像数据文件分离管理信息部分和图像/声音等数据部分；图像压缩/展开部4，将通过多重分离部3所分离的图像/声音数据解码为可以在显示部显示的数据形式；管理信息处理部5，取得通过多重分离部3所分离的文件的管理信息；参考图像帧列生成判定部6，判定是否生成参考图像帧列；参考图像帧列生成部7，在判定为应当生成参考图像帧列时，生成由I帧和追加图像帧构成的参考图像帧列；参考图像帧列存储部8，存储参考图像帧列；图像数据缓冲器9，暂时存储通过图像压缩/展开部4所解码的图像/声音数据；图像显示部10，对图像进行显示。
显示部10可以是CRT、液晶监视器等。存储部2可以是半导体存储器、硬盘、光盘等。参考图像帧列存储部8将参考图像帧列压缩后存储，但是，压缩方法和形式可以是任意的。此外，通常图像数据缓冲器9包含在图像压缩/展开部4内，此处，为了方便起见，作为分别的结构来说明。
本例的录像再生编辑装置还具有用户进行操作的操作部、DCT转换部、熵编码部、控制录像再生编辑装置的各部分的控制部等，但是，为了简化说明而省略了其描述。本例的录像再生编辑装置可以是手机等移动终端，也可以是移动终端以外的设备。
根据本例，如果图像输入部1输入图像数据，则自动开始参考图像帧列的生成处理。参考图像帧列生成判定部6在文件中的I帧的总数比参考值少的情况下或在I帧的插入间隔比基准值大的情况下，判定为生成参考图像帧列。在判定为生成参考图像帧列时，算出针对I帧列图像帧的插入位置。参考图像帧列生成部7通过对于I帧列插入图像帧而生成由I帧和追加图像帧构成的参考图像帧列。参考图像帧列存储部8存储参考图像帧列。此外，这里对参考图像帧列生成判定部6算出图像帧的插入位置作了说明，但是，也可以是参考图像帧列生成部7算出图像帧的插入位置。
这样，在参考图像帧列存储部8内自动准备参考图像帧列。用户在快进或倒退图像数据时，参考图像帧列存储部8内存储的参考图像帧列显示在显示式部10上。
参考图2说明图像数据文件的结构例。文件包含首部210和数据部220。首部210包含文件的再生时间、I帧的总数、I帧的插入间隔、图像大小、有无声音、解码信息等管理信息。数据部220包含图像数据、声音数据、文本数据等图像/声音信息。
参考图3说明根据本发明的录像再生编辑装置生成参考图像帧列的动作。这里，录像再生编辑装置对手机等移动终端作出说明。首先在步骤S11中，移动终端的图像数据输入部1从外部取得多重化的图像数据的文件，将其存储在存储部2内。然后，在步骤S12中，多重分离部3从在存储部2内存储的文件中分离包含管理信息部分的首部210和包含图像/声音信号等数据的数据部220，将数据部220发送给图像压缩/展开部4，将首部210送往管理信息处理部5。
在步骤S13中，管理信息处理部5从由多重分离部3取得的管理信息部分取得文件的信息，将其送往参考图像帧列生成判定部6。
在步骤S14中，参考图像帧列生成判定部6取得从管理信息处理部5发送来的图像和声音的信息，进行是否生成参考图像帧列的判定。参考图4详细说明步骤S14。在判定为生成参考图像帧列的情况下，进入步骤15，在判定为不生成图像参考帧列的情况下，该处理终止。
在步骤S15中，算出追加图像帧的位置或时间。如上所述，对于追加图像帧的位置的算出处理来说，参考图像帧列生成判定部6或参考图像帧列生成部7来进行。在步骤S16中，图像压缩/展开部4将从多重分离部3取得的图像/声音的数据解码为用于在显示部10显示用的数据，将其送往图像数据缓冲器9。
在步骤S17中，参考图像帧列生成部7生成参考图像帧列。首先，从图像数据缓冲器9中得到图像帧列，根据追加图像帧的位置或时间，生成追加图像帧。然后，将追加图像帧插入在从图像数据缓冲器9得到的I帧列中。由此，生成参考图像帧列。并且，在由I帧和追加图像帧列构成的参考图像帧列中追加P帧，生成第二参考图像帧列。
在步骤S18中，参考图像帧列存储部8存储这样生成的参考图像帧列。根据本例的录像再生编辑装置，既便文件内的I帧的总数不充分，或者I帧的插入间隔大，由于追加插入了图像帧，所以，也可以指定随机存取的位置。
在本例中，若移动终端一旦从外部取得图像文件，则自动进行参考图像帧列的生成处理。即，若移动终端从外部取得图像文件，则用户就实施编辑处理、快进/倒退处理，进行参考图像帧列的生成处理以便顺利进行编辑处理。
参考图4，详细说明步骤S14的判定是否生成参考图像帧列的处理。在步骤S141中，参考图像帧列生成判定部6进行文件内的I帧总数是否小于基准值的判定。在文件内的I帧数小于基准值的情况下，进入步骤144，在文件内的I帧数不小于基准值的情况下，进入步骤142。例如，在I帧数的基准值为5，文件内的I帧总数为6的情况下，进入步骤S142，在文件内的I帧总数为1的情况下，进入步骤S144。
在步骤142中，进行文件内的I帧的插入间隔是否小于基准值的判定。在I帧的插入间隔小于基准值的情况下，进入步骤S143，当I帧的插入间隔不小于基准值的情形，进入步骤S144。例如，既便I帧数的基准值为5、I帧的总数为6，在I帧的插入间隔不是等间隔的情况下，也存在I帧的插入间隔比基准值大的情况。在这种情况下，进入步骤S144。例如，I帧数的基准值为5，I帧的总数为6，而且I帧的插入间隔比基准值小的情况下，进入步骤S143。
在步骤S143中，判定为不进行参考图像帧列的生成。即，文件内的I帧总数不小于基准值，而且I帧的插入间隔是小于基准值的情况下，I帧是足够的，判定为不进行参考图像帧列的生成。在步骤S144中，判定进行参考图像帧列的生成。即，文件内的I帧总数小于基准值或者I帧的插入间隔不小于基准值的情形，I帧不足够，判定为生成参考图像帧列。
在步骤S141和步骤S142中使用的I帧总数的基准值和I帧间隔的基准值可以通过移动终端自动设定，也可以由用户指定。例如，在I帧和追加图像帧比通常多为宜的情况下，只要变更基准值就行。还可以变更基准值以便适应采用本发明的移动终端等的性能或资源。
参考图5，说明步骤S14和步骤S15的处理的具体例。图内的▲表示I帧，Δ表示追加图像帧，数字表示秒数。假定文件的再生时间为60秒，I帧的总数的基准值为5，帧间隔的基准值为20秒。
对图5A的例子进行说明。在本例中，文件的开头中仅包含1个I帧。因而，由于I帧的总数比基准值5少，所以，在步骤S14中判定为生成参考图像帧列。在步骤S15中，在I帧列中追加4个图像帧。由此，I帧和追加帧的总数成为5个，等于基准值5。以所有的帧的插入间隔比基准值小的方式设定4个追加图像帧的位置。在本实施例的情况下，可以配置为5个帧取等间隔。
对图5B的实施例进行说明。在本实施例中，由于文件内包含6个I帧，所以，I帧的总数比基准值5多。但是，6个I帧不是等间隔的。文件的前半部分的10秒的时间包含5个I帧，文件的最后包含1个I帧。因而，在文件的后半部分，I帧的插入间隔为50秒，比基准值20秒大。因而进入步骤S15。
在步骤S15中，追加2个图像帧。2个追加的图像帧的位置设定为使所有的帧的插入间隔等于或者小于基准值。在本实施例的情况下，在文件的后半部分中，帧的插入间隔设定为取20和10秒。由此，所有帧的插入间隔等于或者小于基准值。
追加图像帧的插入位置的设定方法并不仅限于上述的实施例。例如，也可以将50秒的间隔按照从开头的顺序，每过基准值20秒就插入1个追加图像帧。或者将50的间隔等分为小于20秒的间隔。例如，如果3等分，每17秒插入1个追加图像帧，如果4等分，则每12秒插入1个追加图像帧。
参考图6，说明本发明的录像再生编辑装置的文件的编辑的动作。这里，录像再生编辑装置设定为手机等的移动终端进行说明。编辑动作的前提为在图3和图4中示出的参考图像帧列的生成处理结束，如在图5中所示，在参考图像帧列存储部8中，存储着由I帧和追加图像帧构成的参考图像帧列。
首先，在步骤S21中，用户在文件的再生中选择编辑功能。即，录像再生编辑装置输入来自用户的编辑要求。在步骤S22中，用户进行编辑位置即编辑的开始点和结束点的选择。用户为了选择编辑位置，进行快进或倒退。在快进的情形，通常如在图9B中所示，仅显示I帧。但是在本例中，显示在参考图像帧列存储部8内存储的参考图像帧列。即，显示由I帧和追加图像帧列构成的帧列。在倒退的情况下，通常，如在图9C中所示，仅显示I帧。但是，在本例中，显示在参考图像帧列存储部8内存储的参考图像帧列。即，显示由I帧和追加图像帧列构成的帧列。
这样，用户在观察通过快进或倒退显示的帧的同时，选择编辑位置。编辑位置以帧为单位选择。在步骤S23中，图像编辑再生装置进行来自用户选择的编辑位置的帧的编辑处理。
参考图7，说明编辑处理的例子。▲表示I帧，Δ表示追加图像帧，表示用户选择的编辑位置。如图所示，通过参考图像帧列的生成处理，对于I帧添加追加图像帧。
图7A示出用户指定的编辑开始点和编辑结束点与I帧或追加图像帧一致的的情况。这种情况下，不进行重新编码，在编辑开始点和编辑结束点之间，进行数据的切割处理。
图7B示出用户指定的编辑开始点和编辑结束点与I帧和追加图像帧的任一个错开的情况。在这种情况下，从编辑开始点前面的I帧或追加图像帧起至编辑开始点为止(图7B的粗线部)进行解码，取得编辑开始点的图像帧。然后，从编辑开始点的图像帧到下一个I帧或追加图像帧位置(图7B的竖线部)进行重新编码。此后，至编辑结束点为止不进行重新编码，仅进行数据的结合。这样，减少了重新编码量，可以使处理负担减轻。
上面说明了本发明的实施例，但是，本发明不仅限于上述实施例，在技术方案中记载的本发明的范围内，本领域的技术人员理解可以进行各种变更。
权利要求
1.一种录像再生编辑装置，其特征是，具有图像数据输入部，输入通过帧间预测压缩的图像数据；参考图像帧列生成判定部，根据所述图像数据的各个文件中包含的I帧数或I帧的插入间隔，判定是否生成参考图像帧列；参考图像帧列生成部，在通过所述参考图像帧列生成判定部判定为生成参考图像帧列的情况下，对于I帧追加图像帧，生成由I帧和追加图像帧构成的参考图像帧列。
2.如权利要求1所述的录像再生编辑装置，其特征是，所述参考图像帧列生成判定部在各个文件内的I帧数小于规定的基准值的情况下，判定为生成参考图像帧列。
3.如权利要求1所述的录像再生编辑装置，其特征是，所述参考图像帧列生成判定部在各个文件内的I帧的插入间隔不小于规定的基准值的情况下，判定为生成参考图像帧列。
4.如权利要求1所述的录像再生编辑装置，其特征是，所述参考图像帧列生成判定部或所述参考图像生成部在判定为生成参考图像帧列时，算出在I帧列中追加图像帧的插入位置。
5.如权利要求1所述的录像再生编辑装置，其特征是，具有存储通过所述参考图像帧列生成部生成的所述参考图像帧列的参考图像帧列存储部。
6.如权利要求1所述的录像再生编辑装置，其特征是，在输入来自于用户的倒退指示时，显示通过所述参考图像帧列生成部生成的所述参考图像帧列。
7.如权利要求1所述的录像再生编辑装置，其特征是，在输入来自于用户的快进指示时，显示在由所述参考图像帧列生成部生成的所述I帧和追加图像帧构成的帧列中追加了P帧的帧列。
8.如权利要求1所述的录像再生编辑装置，其特征是，在输入来自用户的编辑开始点和结束点时，所述编辑的开始点和结束点为通过所述参考图像帧列生成部生成的参考图像帧列的I帧和追加图像帧的任一个的情况下，切割所述编辑的开始点和结束点之间的数据。
9.如权利要求1所述的录像再生编辑装置，其特征是，在输入来自用户的编辑开始点和结束点时，所述编辑的开始点和结束点不是通过所述参考图像帧列生成部生成的参考图像帧列的I帧或追加图像帧的情况下，从所述编辑的开始点前面且与其最接近的I帧或追加图像帧起至所述编辑的开始点为止进行解码，从所述编辑的开始点起至所述编辑开始点后且与其最接近的I帧或追加图像帧为止进行重新编码，从作为所述重新编码的结束点的I帧或追加图像帧起至所述编辑的结束点为止，不进行重新编码，仅进行数据的结合。
10.如权利要求1所述的录像再生编辑装置，其特征是，所述参考图像帧列生成部在所述图像数据输入部在输入数据时，既便没有用户的指示也自动进行所述参考图像帧列的生成动作。
11.一种录像再生编辑装置，其特征是，具有图像数据输入部，从外部输入图像数据；存储部，存储经由所述图像数据输入部输入的图像数据文件；多重分离部，从在所述存储部内存储的图像数据的文件分离管理信息部分和图像/声音等数据部分；图像压缩/展开部，将通过所述多重分离部分离的图像/声音数据解码；管理信息处理部，对通过多重分离部分离的文件的管理信息进行解码；参考图像帧列生成判定部，判定是否生成参考图像帧列；参考图像帧列生成部，通过对I帧列插入图像帧，生成由I帧和追加图像帧构成的参考图像帧列；参考图像帧列存储部，存储所述参考图像帧列；图像数据缓冲器，将通过所述图像压缩/展开部解码的图像/声音数据临时存储；显示部，显示图像。
12.一种录像再生编辑方法，其特征是，具有输入通过帧间预测压缩的图像数据的图像数据输入步骤；存储所述图像数据文件的存储步骤；从所述存储的图像数据文件分离文件的管理信息和图像以及声音数据的多重分离步骤；将所述分离的图像和声音数据进行解码的图像压缩/展开步骤；处理所述分离的文件的管理信息的管理信息处理步骤；根据所述的处理结果判定是否生成参考图像帧列的参考图像帧列生成判定步骤；在所述参考图像帧列生成判定步骤中判定为生成参考图像帧列时，对于各个文件的I帧插入追加图像帧，生成由I帧和追加图像帧构成的参考图像帧列的参考图像帧列生成步骤。
13.如权利要求12所述的录像再生编辑方法，其特征是，所述参考图像帧列生成判定步骤在文件内的I帧数小于规定的基准值的情况下，判定为生成参考图像帧列。
14.如权利要求12所述的录像再生编辑方法，其特征是，所述参考图像帧列生成判定步骤在文件内的I帧的插入间隔不小于规定的基准值的情况下，判定为生成参考图像帧列。
15.一个算出机程序，其特征是，用于权利要求12至14所述的录像再生编辑方法。
16.一个记录媒体，其特征是，存储了权利要求15所述的算出机程序。
全文摘要
本发明提供了一种录像再生编辑装置，既便在信号处理能力低的情况下也可以随机存取通过帧间编码压缩的活动数据。所述录像再生编辑装置包括图像数据输入部，输入通过帧间预测压缩的图像数据；参考图像帧列生成判定部，根据所述图像数据的各个文件中包含的I帧数或I帧的插入间隔判定是否生成参考图像帧列；参考图像帧列生成部，如果所述参考图像帧列生成判定部判定为生成参考图像帧列，对于I帧追加图像帧而生成由I帧和追加图像帧构成的参考图像帧列。
文档编号H04N7/24GK1954602SQ20058001542
公开日2007年4月25日 申请日期2005年3月7日 优先权日2004年3月15日
发明者中村康洋 申请人:夏普株式会社