专利名称：动图像再编码装置、动图像编辑装置、程序以及记录介质的制作方法
技术领域：
本发明涉及动图像再编码装置、动图像编辑装置、程序和记录介质，更具体地，涉及从编码后的动图像的流中生成不同的流时所使用的动图像再编码装置、动图像编辑装置、这些装置的程序、以及可通过计算机读取的记录了这些程序的记录介质。
背景技术：
至今为止，当编辑由MPEG(Moving Picture Experts Group活动图像专家组)-2，4等编码方式所编码的动图像时，可以按GOP(Group Of Picture图像组)单位进行编辑、以内编码图像的帧(I帧)单位进行编辑等。采用上述编辑方式时，难于编辑I帧以外诸如称为预测编码图像的帧(P帧)或双向预测编码图像的帧(B帧)等，对可指定的帧存在限制。
因而，为了根据I帧之外的帧进行编辑，有必要临时解码图像数据，并作为输入图像进行处理。此外，还提出了如下技术在从任意的位置切出片段时，仅解码切出片段的开头，后面的部分不解码地复制数据的技术。
此外，为了将图像数据变更为图像尺寸因显示框的扩大/缩小等而不同的尺寸、以及为了变更为不同的位速率，如果保持编码的状态，则不可能实现，有必要在解码器中进行一次解码后恢复到图像帧，然后在编码器中再次编码。因而，对于MPEG-2、4等的编码后的动图像，用户在希望减小数据的情形或用户仅希望取出特定范围的情形等，根据上述再编码处理生成与原有的流不同的流。
但是，为了进行再编码有必要同时处理解码和编码，产生了负荷较高的问题、或用于对解码后的数据进行可靠编码的同步处理较困难的问题。
此外，作为再编码技术，提出了以抑制画质的劣化、高速而且高效地实现位速率变换为目的压缩动图像的再编码程序、装置和方法(例如参考专利文献1)。在专利文献1中所述的再编码技术中，解码器按照每一帧的解码实施了编码。
专利文献1特开2003-244705号公报但是，如果采用如下技术，则I帧和其后的帧容易产生不匹配、画质劣化、容易违反标准，该技术为在从任意位置切出时，如果采用仅解码切出的开头的帧并对I帧进行编码，对其后的帧不进行再编码就对原有数据进行复制。再者，为了不产生不匹配，有必要分析原始视频的位速率，故加重了处理负荷。
此外，如专利文献1所述，如果采用对解码器所解码的一帧进行编码的技术，则经常会出现所产生的视频位流不符合标准的情形。
进而，能够以解码器和编码器不取同步而实时工作的方式构成动图像再编码装置，但是，在功率小的CPU(中央处理器)中，内容的帧数变得极其少。而且，当进行再编码时使编码器和解码器不同步而同时工作的情形，即便对相同的动画文件进行再编码的情形，也会由于设备的处理能力而导致结果的差异。
如上所述，在进行编码后的动图像数据(图像数据)的尺寸变更或位速率变换等变换、编辑，特别是从I帧之外进行编辑的情形，处理变得复杂，负荷加重，在某些情形会产生不符合标准的结果。
发明内容
本发明考虑到上述实际情况，旨在提供一种对编码后的动图像数据进行变换或编辑时，可以通过负荷较轻的简单处理生成具有再现性的正确编码数据的动图像再编码装置、具备该装置的动图像编辑装置、动图像再编码程序、动图像编辑程序、以及计算机可读的记录了所述程序的记录介质。
本发明为了解决上述问题，分别由下述各技术手段构成。
第1技术手段涉及动图像再编码装置，其特征在于，具有解码单元，根据编码了动图像的位流对动图像的帧进行解码；选择单元，从被该解码单元所解码的帧中选择再编码的帧；编码单元，仅将由该帧选择单元所选择的帧进行再编码；间隔通知单元，由该编码单元对帧进行再编码之后，计算出从该帧开始到成为下一再编码对象的帧间隔，并且将该算出的帧间隔通知给上述解码单元，所述解码单元通过所述间隔通知单元通知之后，执行所述位流的解码直到经过基于该通知的帧间隔的时刻为止，所述帧选择单元将经过所述时刻之前的帧中最后的帧选择为下一再编码的帧。
第2技术手段的特征在于在第1技术手段中，所述间隔通知单元具有通过所述编码单元对帧进行再编码时的速率控制信息计算出所述帧间隔的单元。
第3技术手段的特征在于在第2技术手段中，所述速率控制信息是如下信息中的任意一个或多个信息，该信息为由所述编码单元再编码后的帧的图像尺寸、该帧的再编码时的编码量、所述编码单元的编码位速率、所述编码单元的再编码结束时的、虚拟了解码时的视频存储器的虚拟缓冲器的占有量。
第4技术手段的特征在于在第1至第3技术手段的任意一个技术手段中，还具有操作输入单元，该操作输入单元从用户接收作为再编码对象的位流帧的指定、以及包含动图像再编码指示的操作，所述编码部分以基于由所述操作输入部分输入的操作的编码位速率执行编码。
第5技术手段的特征在于在第4技术手段中，还具有最小值计算单元，该最小值计算单元根据与所述操作输入单元输入的操作相关的信息，预先预测所述帧间隔的最小值，所述解码单元在来自所述间隔通知单元的帧间隔的通知之前继续进行解码，直到所述最小值计算单元所计算的帧间隔的最小值所示的时刻为止。
第6技术手段的特征在于在第1至第5技术手段的任一技术手段中，所述编码单元具有将再编码对象的帧进行帧内编码的单元和进行帧间编码的单元。
第7技术手段涉及一种具有第1至第6技术手段的任一技术手段所述的动图像再编码装置的动图像编辑装置，其特征在于，包括从用户接收对所述位流进行编辑的指示的编辑接收单元、根据该编辑接收单元接收的指示对动图像进行编辑的编辑单元，所述动图像再编码装置随着所述编辑单元对动图像的编辑，而将编辑后的动图像进行再编码。
第8技术手段涉及一种安装于动图像再编码装置中的程序，该动图像再编码装置包括解码单元，根据将动图像编码后的位流对动图像的帧进行解码；以及编码单元，将由该解码单元所解码的帧进行再编码，其特征在于使所述动图像再编码装置的控制部执行如下步骤帧选择步骤，根据所述解码单元所解码的帧选择再编码的帧；编码指示步骤，由所述编码单元仅对在该帧选择步骤中所选择的帧进行编码；间隔通知步骤，由所述编码单元对帧进行了再编码后，计算从该帧到下一个作为再编码对象的帧的帧间隔，并将该计算出的帧间隔通知给所述解码单元；以及解码指示步骤，当通过所述间隔通知步骤通知之后，指示所述解码单元以执行所述位流的解码直到经过基于该通知的帧间隔的时刻为止，所述帧选择步骤包括如下步骤，即将经过所述时刻之前的帧中最后的帧选择为下一再编码帧。
第9技术手段的特征在于，在第8技术手段中，所述间隔通知步骤包括如下步骤，即根据由所述编码单元对帧进行了编码时的速率控制信息计算出所述帧间隔。
第10技术手段的特征在于，所述速率控制信息是下述信息之一或者多个信息，该信息为由所述编码单元再编码后的图像尺寸、该帧的再编码时的编码量、所述编码单元的编码位速率、以及所述编码单元的再编码结束时的、虚拟了解码时的视频存储器的虚拟缓冲器的占有量。
第11技术手段的特征在于，在第8至第10技术手段中的任一技术手段中，该程序进一步使所述控制部执行操作输入步骤，即从用户接收作为再编码对象的位流的指定、以及包含动图像再编码指示的操作，再所述编码指示步骤中，指示所述编码单元以基于在所述操作输入步骤中输入的操作的编码位速率进行编码。
第12技术手段的特征在于，在第11技术手段中，该程序进一步使所述控制部执行最小值计算步骤，即根据由所述操作输入步骤输入的与操作有关的信息，预先预测出所述帧间隔的最小值，在所述编码指示步骤中，在由所述间隔通知步骤通知帧间隔之前指示所述解码单元继续进行解码，直到在所述最小值计算步骤中计算出的帧间隔的最小值所示的时刻为止。
第13技术手段的特征在于，在第8至第12技术手段中的任一技术手段中，所述编码单元具有将再编码对象的帧进行帧内编码的单元和进行帧间编码的单元。
第14技术手段的特征在于，在第8至第13技术手段中的任一技术手段中，该程序使所述控制部进一步执行如下步骤从用户接收对所述位流进行编辑的指示的编辑接收步骤、以及根据在该编辑接收步骤中接收的指示对动图像进行编辑的编辑步骤，而且，使所述控制部控制所述解码单元和编码单元，从而随着在所述编辑步骤中对动图像进行编辑，对编辑后的动图像进行再编码。
第15技术手段涉及一种程序，其特征在于使计算机以作为第1至第7技术手段中任一技术手段所述的装置进行工作。
第16技术手段涉及一种计算机可读取的记录介质，其特征在于记录了第8至第15技术手段中任一技术手段所述的程序。
根据本发明，当对编码后的动图像数据进行变换或编辑时，可以通过负荷较轻的简单处理而生成具有再现性的正确的编码数据。
图1是示出本发明一个实施例的动图像再编码装置的一个构成例的图。
图2是示出可适用于本发明的动图像再编码装置的计算机的一个构成例的图。
图3是用于说明图1的动图像再编码装置中的一例再编码处理的流程图，也是用于说明本发明一个实施例的动图像再编码程序的一例处理程序的流程图。
图4是具有本发明的动图像再编码装置的动图像编辑装置的一个构成例。
图5是用于说明图4的动图像编辑装置的再编码处理的图。
图6是用于说明图5的再编码处理的帧间隔决定处理的图。
图7是用于与VBV缓冲器的占有量一起说明图6的帧间隔决定处理的控制的图。
具体实施例方式
图1是示出本发明一实施例的动图像再编码装置的一个构成例的图，图中，1是动图像再编码装置、11是操作输入单元、12是解码单元、13是间隔通知单元、14是编码单元、15是帧选择单元。
本实施例的动图像再编码装置具有解码单元12、间隔通知单元13、编码单元14、帧选择单元15，图1中示出的动图像再编码装置1，除了这些构成要素之外还具有操作输入单元11。
操作输入单元11是从用户接收作为再编码对象的位流的指定和包含动图像再编码指示的操作，并将所接收的信息向后级传递的单元。这里，动图像再编码指示通常包括如下指示作为对象的动图像数据的指定；对该动图像数据进行区间编辑或插入附加数据、叠加等的编辑、位速率变换、尺寸变换等。例如“文件A(位速率500bps)的动图像数据用384bps的动图像数据进行记录”，“在文件A的动图像数据中，从开始起10分～30分之间的数据用1/3的数据量进行记录”等指示与此相当。此外，这里，将从用户接收对编码位流进行编辑的指示的编辑接收单元也作为包含在该操作输入单元11中的单元进行了说明，但并不局限于此。
此外，与这些操作相关的信息是作为向解码单元12、编码单元14、帧选择单元15传送的信息，在此进行说明，但是，根据各单元的形态其并不局限于此，例如，也可以传送到间隔通知单元13，如果可以不传送到帧选择单元15而开始解码，则将该帧从解码单元12通知给帧选择单元15亦可。此外，操作的种类也是各种各样的，本发明也可以用于处理将编辑或各种变换合并执行的操作。此外，对于操作的方法，可以进行与用户再编码指示相关的操作，安装用户易操作的GUI(图像用户界面)更理想。此外，通过在动图像再编码装置1中安装编辑单元，从而可以进行区间编辑或插入附加数据、叠加等编辑，其中该编辑单元根据操作的种类，经由上述GUI等执行动图像数据的各种编辑。实际上，编辑单元根据编辑接收单元所接收的指示来编辑动图像，动图像再编码装置1也可以随着该编辑单元进行动图像编辑，而将编辑之后的动图像进行再编码。此外，在本发明中，无需特别地指出编辑和再编码的定时。
解码单元12根据对动图像进行编码后的位流(也称为编码视频流)来解码动图像的帧。这里，根据由操作输入单元11进行用户输入的再编码开始/结束指示或解码开始/结束指示，开始/结束所指定的位流的解码，在此期间生成解码帧。除此之外，也可以通过所述位流输入单元的输入控制，控制再编码的开始和结束。
但是，如后所述，无论该帧是否是编码视频流上的I帧，解码单元12都解码具有开始指示的视频帧，在解码了最初的视频帧之后，在接收了来自间隔通知单元13的帧间隔的通知之前基本上不进行解码。此外，实际上，在动图像再编码装置1中设置了位流输入单元，该位流输入单元用于从记录介质或通过网络输入作为对象的动图像数据(动图像位流)。
帧选择单元15从解码单元12所解码的帧中选择再编码的帧。而且，帧选择单元15将经过下述时刻之前的帧中的最后的帧选择为下一再编码的帧，该时刻为后述的基于被通知的帧间隔的时刻。此外，在帧选择单元15中，无条件地选择由解码单元12最初解码后的帧(基于开始指示的帧)。
编码单元14仅再编码由帧选择单元15所选择的帧。这里，编码单元14可通过基于操作输入单元11所输入的操作内容的编码位速率(或编码率)执行编码。此外，编码单元14在进行所述编码时，为了实现编码后能够在任意解码器进行解码，而对虚拟了解码器的视频存储器虚拟缓冲器进行控制，使其既不上溢也不下溢。在MPEG方式中，该虚拟缓冲器是用于监视使其不产生超过接收侧(解码侧)的传送流(TS)缓冲器容量的流的装置，称为VBV(Video BufferingVerifier视频缓冲核验器)缓冲器，该缓冲器的上限值被标准化。
此外，编码单元14既可以构成为根据操作输入单元11所输入的再编码结束的指示(还包含预定的结束指示)结束编码，也可以构成为编码单元12接收了上述结束指示而停止解码并自动地结束编码单元14的编码。此外，编码单元14优选具有将再编码对象的帧进行帧内编码的单元和及进行帧间编码的单元。
间隔通知单元13，在由编码单元14将帧再编码之后，首先计算出从该帧至作为下一再编码对象的帧为止的帧间隔，将计算出的帧间隔通知给解码单元12。这里所通知的帧间隔优选根据经编码单元14对帧进行再编码时的速率控制信息进行计算。对于该控制信息将将在后面进行描述，特别包含用于控制上述虚拟缓冲器不溢出的信息。此外，实际上，将编码单元14所再编码的动图像数据输出到记录介质或通过网络输出到其它装置的位流输出单元，也被设置在动图像再编码装置1中。此外，与上述的操作输入单元11、编辑单元、位流输入单元一起在动图像再编码装置1中同时设置了该位流输出单元(优选也包括输出目的地的记录介质)的方式，由于可以从动图像的读出至编辑、记录为止，故可称为动图像编辑装置。
此外，这里补充了帧间隔。在图像的编码规格中，通常规定了将单位时间的处理量抑制在一定的范围内。例如，在MPEG-4的规格中，根据MPEG-4的各级别来规定虚拟的缓冲器，在该范围内规定进行数据的接收、编码(MPEG-4 visual Annex DMPEG-4视觉附件D)。因此，进行图像编码的编解码器中，有必要进行编码以便编码包含在标准中所规定的缓冲器的范围内。此时，在控制中所使用的是编码帧的间隔。此外，这里描述了帧间隔，但是控制编码器所使用的参数除了帧间隔之外还包括QP值(量子化参数)等。
此外，编码单元12在通过间隔通知单元13通知之后对编码位流进行解码，直至经过基于所通知的帧间隔的时刻为止。一直解码到基于所通知的帧间隔的时刻为止是指一直解码到经过装置1内的时钟所示的通知时刻与帧间隔相加后的时刻为止，换言之，当MPEG方式的DTS(Decoding Time Stamp解码时间戳)等时刻信息作为头的一个信息添加到编码位流时，亦指在如下时刻的帧之前进行解码，该时刻为将最初由解码单元12解码的帧所示的时刻与帧间隔相加后的时刻。此外，不管帧在编码视频流上是否是I帧，解码单元12都解码具有开始指示的视频帧(当然，例如，当为P帧时也预先对其解码所必须的I帧进行解码)，最初的视频帧解码之后到从间隔通知单元13接收到帧间隔的通知为止基本上不进行解码。
但是，也可以根据操作输入单元11所输入的与操作相关的信息(操作种类或编码视频流的位速率等)预先预测帧间隔的最小值，首先，进行预解码直至该预测的帧间隔的最小值为止。该预测也可以通过在动图像再编码装置1中进一步安装计算帧间隔的最小值的预测的最小值计算单元。而且，解码单元12在来自间隔通知单元13的帧间隔通知之前，直至最大、最小值计算单元所计算出的帧间隔的最小值所示的时刻为止继续进行解码。在上述方式中，由于最小值所示的时刻不可能超过间隔通知单元13所通知的实际帧间隔所示的时刻，故直到最小值所示的时刻为止，不会损失必须停止解码单元12的解码处理等时间。
下面对速率控制信息进行说明。所谓速率控制情报是指通过编码单元14再编码后的帧的图像尺寸、所述帧的再编码时的编码量、动图像再编码装置1的位速率(即再编码位速率)、和虚拟了当前(再编码结束时)的、解码时的视频存储器的虚拟缓冲器的占有量之中的任意一个或多个信息，优选这些信息的全部。这里，最初的3个信息，原来是根据操作输入单元11中的用户指示和原来的编码位流而设定的设定信息，因而，在上述具有最小值计算单元的方式中，根据这些设定信息和编码结束时的缓冲器量的预测值计算出最小值即可。
在上述本发明的各实施例中，如上所述，根据编码单元14(例如编码器)的要求使解码单元12(例如解码器)工作，从而与设备的处理能力无关，可以制作出最符合编码器要求的文件，并可以进行具有再现性的再编码处理。此外，在控制编码器、解码器时不使用特殊的信息，仅使用现有的信息，无需复杂的计算就能进行控制，所以，导入本发明的方式不会增加处理负荷。此外，根据本发明，通过负荷较轻的处理进行动图像的编辑、再编码，尽管使用了简单的处理，但所生成的编码仍符合标准。此外，再编码处理是在DVD(digital versatile disc多功能数码光盘)、HDD(Hard DiskDrive硬盘驱动器)等各种记录器等各种设备中所进行的处理，本发明也适用于组合到上述记录器中而发挥作用。
图2是示出可适用于本发明的动图像再编码装置的计算机的一个构成例的图，图3是用于说明图1的动图像再编码装置中的一例再编码处理的流程图，也是说明本发明的一个实施例的动图像再编码程序的一例处理程序的流程图。在图2中，2是计算机、21是CPU(Central Processing Unit中央处理器)、22是RAM(Random AccessMemory随机存取存储器)、23是ROM(Read Only Memory只读存储器)、24是输入装置、25是显示装置、26是输出装置。
参考图3对如上所述结构的动图像再编码装置1的处理程序进行说明，其中举出了将本发明一个实施方式的动图像再编码程序可执行地安装到图2所示计算机的ROM23中的例子。此外，图2的计算机2，不仅表示包含控制部的主要部分，还表示通用的个人计算机(PC)，其中该控制部是加入了本发明的再编码处理功能的记录器等各种设备中的控制部。
在计算机2中，将如下部件作为主要构成要素，并通过总线对其进行连接用于输入各种信息的键盘、鼠标、记录介质读取装置、来自其它设备的输入用的网络设备等的输入装置24、用于进行编辑的显示动图像数据或各种设定画面等的LCD、PDP、有机EL、CRT等显示器即显示装置25、记录介质用记录装置、网络连接装置(连接到网络以进行通信用的网络端口等通信设备)、印刷装置等执行外部输出用的输出装置26、除基本程序之外还记录了本发明的动图像再编码程序(或动图像编辑程序)的可擦写ROM23(一部分不可擦写亦可)、用于执行在ROM23中存储的程序的CPU21、以及作为其执行区域的RAM22。
该动图像再编码程序(或动图像编辑程序)是控制CPU21等以便使计算机2作为上述各单元的一部分(或各单元)而工作的程序。此外，在该程序中，也可以具有显示装置25用的GUI，从而装置用户(执行再编码的操作者)在使用时容易操作。由这些装置所处理的信息，在所述处理时暂时存储到RAM22中，然后存储到各种ROM23中，并根据需要，通过CPU21进行读出、修改、写入。
首先，当输入装置24输入作为对象的编码位流和编辑指示时，根据所述编辑指示，从相当于解码单元的解码程序位流对编辑开头的视频帧进行解码(步骤S1)。再有，相当于帧选择单元的帧选择程序将基于开始指示解码的帧选择为再编码的帧(步骤S2)；相当于编码单元的编码程序将被选择的帧按规定的速率存储到虚拟缓冲器(例如VBV缓冲器)中，在存储了1幅帧的阶段从VBV缓冲器中输出并进行编码(步骤S3)。在步骤S2中，也可以根据用户的指示将由解码程序所解码的帧传送给编码程序。
然后，相当于间隔通知单元的间隔通知程序，通过用于编码的速率控制信息计算出帧间隔，向解码程序通知该帧间隔(步骤S4)。根据该通知，解码程序根据位流对视频流进行解码直至帧间隔所示的时刻为止(步骤S5)。接着，帧选择程序将解码帧中最后的帧选择为再编码帧(步骤S6)。编码程序对所选择的帧进行编码(步骤S7)。然后，根据用户指示的内容，判断再编码是否结束(步骤S8)，如果未结束，则返回步骤S4，继续处理。
如上所述，根据本发明的程序，不依存于CPU的差别或其它的线程(thread)是否起动的CPU占有率，可以生成具有再现性的数据。此外，由于算法较单纯，因而，具体地除了解码单元和编码单元之外即便全部安装为软件也可以进行高速处理。此外，尽管处理较简单，但是由于其为虚拟缓冲器不溢出的处理，故可以生成符合标准的位流。
此外，在图2和图3中，示出了安装有所有处理的程序的例子。当然，如果仅仅是软件处理，则仅负荷较大的解码处理和编码处理(相当于解码单元12和编码单元14的处理)优选由硬件构成，例如，由解码器和编码器构成或由编解码器构成。具体地，考虑到现有的PC或解码器和编码器的处理速度，优选将解码单元和编码单元由硬件(即解码器和编码器、或编解码器)构成，其它的单元由控制这些硬件的程序构成。这种情形的动图像再编码程序驱动解码器和编码器、或编解码器，若根据图3进行说明，则是执行如下处理的程序。
即，根据位流将开头的视频帧在解码器(编解码器的解码器部，以下相同)中解码(步骤S1)。然后，帧选择程序将根据开始指示解码的帧选择为再编码帧(步骤S2)，并传送给编码器(编解码器的编码部，以下相同)。编码器将所选择的帧以规定的速率存储到虚拟缓冲器(例如VBV缓冲器)中，在存储了1幅帧的阶段从VBV缓冲器中输出以执行编码(步骤S3)。在步骤S2中，也可以根据用户指示将在解码器中解码的帧传送给编码器。
然后，间隔通知程序通过用于编码的速率控制信息计算出帧间隔，并向解码器通知该帧间隔(步骤S4)。与该通知一起，指示解码器根据位流对视频流进行解码直至帧间隔所示的时刻为止。然后，解码器根据该通知，根据位流对视频流进行解码直至帧间隔所示的时刻为止(步骤S5)。接着，帧选择程序将解码帧中最后的帧选择为再编码帧(步骤S6)，并传送到编码器。编码器将所选择的帧进行编码(步骤S7)。然后，根据用户指示的内容，判断再编码是否结束(步骤S8)，如果未结束，则返回步骤S4，继续处理。
下面，参考图4至图7，进一步具体地说明本发明的动图像再编码装置的一个构成例。图4是具有本发明的动图像再编码装置的动图像编辑装置的一个构成例，图中，4是动图像编辑装置。此外，图5是用于说明图4的动图像编辑装置的再编码处理的图，图6是用于说明图5的再编码处理的帧间隔处理的图，图7是用于与VBV缓冲器中的占有量一起对图6的帧间隔决定处理的控制进行说明的图。
这里示出的动图像编辑装置4由如下部件构成显示部40、图像帧存储部41、编码/解码动作控制部42、相当于解码单元的解码部43、相当于编码单元的编码部44、多路复用及分离部45、输入部46、输出部47、存储部A(48)、和存储部B(49)。
这里，解码部43相当于解码单元，编码部44相当于编码单元。此外，多路复用及分离部45对视频(动图像)数据和音频数据进行多路复用处理、以及将多路复用后的这些数据反过来进行分离的处理，输出部47和后者的处理部构成上述位流输出单元，输入部46和前者的处理部构成上述位流输入单元。此外，显示部40由将解码部43所解码的图像数据向用户显示的显示器等构成，帧存储器等构成的图像帧存储部41暂时存储在显示部40显示的图像，并进行用于从解码部43向编码部44传递图像数据的暂时存储。
然后，通过编码/解码动作控制部42控制解码部43和编码部44。该控制部42可以说主要构成上述帧选择单元和间隔通知单元(以及最小值计算单元)。此外，编码/解码动作控制部42可以通过控制解码部43中的解码指示来实现对存储部A(48)中存储的编码位流的输入控制，也可以通过控制输入部46来实现对存储部A(48)中存储的编码位流的输入控制。此外，存储部B(49)是存储完成再编码的位流的存储部分，作为存储介质及其驱动装置可以采用与存储部(48)相同的存储介质及其驱动装置构成。此外，省略了上述操作输入单元、编辑接收单元、以及编辑单元，但是，在显示部40中继续显示对象的动图像数据和编辑或变换项，并可以通过将用户输入向编码/解码动作控制部42输入而实现。
动图像编辑装置4，通过采用上述构成，控制编码/解码动作控制部42，并执行承接(i)～(xi)的处理。首先，(i)对由MPEG-4等所编码的位流51开头的帧(在被编辑的情形是其开头帧)52a进行解码。此外，也可以一边解码一边对解码后的帧进行编辑。然后，(ii)从解码后的帧中选择再编码的帧。这里，必须选择开头的帧52a。接着，在(iii)中，编码在(ii)中选择的帧53a(52a)。这里，编码器54执行所述编码处理(iv)。然后，(v)计算出帧间隔TF1并通知解码部43。继而，(vi)解码器对视频帧(帧52b、52c、52d、52e)进行解码直至该间隔TF1后。然后，(vii)选择帧间隔时刻的帧52e，(viii)编码所选择的帧53b(52c)。这里，编码器54进行所述编码处理。(ix)添加此前编码的数据并进行帧间编码亦可。然后，与(x)(v)同样计算出帧间隔TF2并通知解码部43。接着，(xi)解码器对视频帧(帧52b、52c、52d、52e)进行解码直至该间隔TF2为止。然后，选择最后的帧53c(52i)并进行编码。继续进行上述处理直至不需要再编码为止。
下面，对于帧间隔的计算(推定)进行说明。如图6所示，根据由编码器54对再编码帧53a的编码数据进行编码的条件，即根据编码器54的此时的速率控制信息，返回下面要编码的帧为止的要求帧间隔。由解码器对原始的视频位流进行解码，该原始的视频位流是根据该请求帧间隔所计算的时刻以内的帧之前的视频位流。然后，编码器54以加上了要求帧间隔后的时间对所解码的帧进行编码。
作为帧间隔的推定要素(速率控制信息)主要可以列举出图像尺寸、位速率、当前的VBV缓冲器的占有量、和1帧编码时的编码量。图7中示出了VBV缓冲器的占有量的实例，图中，纵轴表示缓冲器占有量，横轴表示经过时间，虚线是预测值，实线是实际值。此外，在图7中，B表示标准上的缓冲器上限值，d表示1帧的编码量、T表示帧间隔，Tn、TL表示作为目标的帧间隔，图表的斜率表示位速率。此外，为了尽可能多地对帧进行编码，只要对该缓冲器的上限值B设定较小的上限值即可，在这种情形下，每一帧的数据分配得较小。反之，为了进行漂亮的编码，只要对该缓冲器的上限值B(即对B设定)设定尽可能大的上限值即可，在这种情形下，尽可能大地分配每一帧的数据。根据图7，说明具体的控制的实例。
在范围A中，首先，在录像开始的同时编码器取得的数据量增加。然后，在经过了帧间隔的时刻，对第1幅数据进行编码(d1)。然后，继续取得数据，以作为目标的帧间隔Tn对第2幅数据进行编码(d2)。在进行第二幅的编码的时刻，接着以Tn的间隔进行编码(d3)的情形，可以预测到VBV缓冲器将下溢。因而，将下一要编码的帧的间隔变宽为TL，从而防止VBV缓冲器的下溢。
此外，在范围B中，通过在范围A中的控制，帧间隔在TL的状态下继续录像。在d4的编码时刻，如果以当前的帧间隔TL对下一帧进行编码，则可以预测到VBV缓冲器将上溢。这样，缩短下一帧间隔(接近目标帧速率)，并防止VBV缓冲器的上溢。
具体的控制可以列举如下当对运动激烈的图像进行编码且一幅的数据量较多而导致VBV缓冲器下溢(范围A)时，扩大帧间隔，此后，图像稳定，一幅图像的编码量变少使VBV缓冲器上溢(范围B)时，减小帧间距。这样，反复进行上述操作，从而数据容纳在VBV缓冲器内。由此，由本发明再编码的帧的间隔，由于进行了符合标准的再编码，因此，当然未必是固定的，因而通知给解码器侧的帧间隔也不是固定的。
如上所述，在本发明的再编码结构中，编码器和解码器并不实时工作。解码器将对应时间内的全部帧进行解码，编码器独立于原始的视频流而设定参数。
权利要求
1.一种动图像再编码装置，其特征在于，具有解码单元，根据编码了动图像的位流对动图像的帧进行解码；选择单元，从被该解码单元所解码的帧中选择再编码的帧；编码单元，仅将由该帧选择单元所选择的帧进行再编码；间隔通知单元，由该编码单元对帧进行再编码之后，计算出从该帧开始到成为下一再编码对象的帧间隔，并且将该算出的帧间隔通知给上述解码单元，所述解码单元通过所述间隔通知单元通知之后，执行所述位流的解码直到经过基于该通知的帧间隔的时刻为止，所述帧选择单元将经过所述时刻之前的帧中最后的帧选择为下一再编码的帧。
2.根据权利要求1所述的动图像再编码装置，其特征在于所述间隔通知单元具有通过所述编码单元对帧进行再编码时的速率控制信息计算出所述帧间隔的单元。
3.根据权利要求2所述的动图像再编码装置，其特征在于所述速率控制信息是如下信息中的任意一个或多个信息，该信息为由所述编码单元再编码后的帧的图像尺寸、该帧的再编码时的编码量、所述编码单元的编码位速率、所述编码单元的再编码结束时的、虚拟了解码时的视频存储器的虚拟缓冲器的占有量。
4.根据权利要求1至3中任意一项的动图像再编码装置，其特征在于还具有操作输入单元，该操作输入单元从用户接收作为再编码对象的位流的指定、以及包含动图像再编码指示的操作，所述编码部分以基于由所述操作输入部分输入的操作的编码位速率执行编码。
5.根据权利要求4所述的动图像再编码装置，其特征在于还具有最小值计算单元，该最小值计算单元根据与所述操作输入单元输入的操作相关的信息，预先预测所述帧间隔的最小值，所述解码单元在来自所述间隔通知单元的帧间隔的通知之前继续进行解码，直到最大、所述最小值计算单元所计算的帧间隔的最小值所示的时刻为止。
6.根据权利要求1至5中任意一项所述的动图像再编码装置，其特征在于所述编码单元具有将再编码对象的帧进行帧内编码的单元和进行帧间编码的单元。
7.一种具有权利要求1至6中任意一项所述的动图像再编码装置的动图像编辑装置，其特征在于，包括从用户接收对所述位流进行编辑的指示的编辑接收单元、根据该编辑接收单元接收的指示对动图像进行编辑的编辑单元，所述动图像再编码装置随着所述编辑单元对动图像的编辑，而将编辑后的动图像进行再编码。
8.一种安装于动图像再编码装置中的程序，该动图像再编码装置包括解码单元，根据将动图像编码后的位流对动图像的帧进行解码；以及编码单元，将由该解码单元所解码的帧进行再编码，其特征在于使所述动图像再编码装置的控制部执行如下步骤帧选择步骤，根据所述解码单元所解码的帧选择再编码的帧；编码指示步骤，由所述编码单元仅对在该帧选择步骤中所选择的帧进行编码；间隔通知步骤，由所述编码单元对帧进行了再编码后，计算从该帧到下一个作为再编码对象的帧的帧间隔，并将该计算出的帧间隔通知给所述解码单元；以及解码指示步骤，当通过所述间隔通知步骤通知之后，指示所述解码单元以执行所述位流的解码直到经过基于该通知的帧间隔的时刻为止，所述帧选择步骤包括如下步骤，即将经过所述时刻之前的帧中最后的帧选择为下一再编码帧。
9.根据权利要求8所述的程序，其特征在于所述间隔通知步骤包括如下步骤，即根据由所述编码单元对帧进行了编码时的速率控制信息计算出所述帧间隔。
10.根据权利要求9所述的程序，其特征在于所述速率控制信息是下述信息之一或者多个信息，该信息为由所述编码单元再编码后的图像尺寸、该帧的再编码时的编码量、所述编码单元的编码位速率、以及所述编码单元的再编码结束时的、虚拟了解码时的视频存储器的虚拟缓冲器的占有量。
11.根据权利要求8至10中任意一项所述的程序，其特征在于该程序进一步使所述控制部执行操作输入步骤，即从用户接收作为再编码对象的位流的指定、以及包含动图像再编码指示的操作，再所述编码指示步骤中，指示所述编码单元以基于在所述操作输入步骤中输入的操作的编码位速率进行编码。
12.根据权利要求11所述的程序，其特征在于该程序进一步使所述控制部执行最小值计算步骤，即根据由所述操作输入步骤输入的与操作有关的信息，预先预测出所述帧间隔的最小值，在所述编码指示步骤中，在由所述间隔通知步骤通知帧间隔之前，指示所述解码单元继续进行解码，直到在最大、所述最小值计算步骤中计算出的帧间隔的最小值所示的时刻为止。
13.根据权利要求8至12中任意一项所述的程序，其特征在于所述编码单元具有将再编码对象的帧进行帧内编码的单元和进行帧间编码的单元。
14.根据权利要求8至13中任意一项所述的程序，其特征在于该程序使所述控制部进一步执行如下步骤从用户接收对所述位流进行编辑的指示的编辑接收步骤、以及根据在该编辑接收步骤中接收的指示对动图像进行编辑的编辑步骤，而且，使所述控制部控制所述解码单元和编码单元，从而随着在所述编辑步骤中对动图像进行编辑，对编辑后的动图像进行再编码。
15.一种程序，其特征在于使计算机以作为权利要求1至7任意一项所述的装置进行工作。
16.一种计算机可读取的记录介质，其特征在于记录了权利要求8至15中任意一项所述的程序。
全文摘要
本发明提供一种动图像再编码装置，在转换或编辑被编码的动图像数据时，通过负荷较轻的简单处理即可生成具有再现性的正确的编码数据。该装置具有解码单元(12)，根据编码位流对动图像的帧进行解码；选择单元(15)，从该解码后的帧中选择再编码的帧；编码单元(14)，仅将该选择的帧进行再编码；以及间隔通知单元(13)，对帧进行再编码之后，计算出从该帧开始到作为下一再编码对象的帧的间隔，并将该算出的帧间隔通知给所述解码单元(12)。解码单元(12)在由所述间隔通知单元(13)通知之后，执行位流的解码直到经过基于该通知的帧间隔的时刻为止。所述帧选择单元(15)将经过该时刻之前的帧中最后的帧选择为下一再编码的帧。
文档编号H04N5/92GK101040531SQ20058003507
公开日2007年9月19日 申请日期2005年9月12日 优先权日2004年10月13日
发明者山田英明, 仲林次郎, 中村康洋 申请人:夏普株式会社