专利名称：代码转换器、记录装置和代码转换方法
技术领域：
本发明涉及可进行动态图像数据流的位速率转换或格式转换的代码转换器。
背景技术：
代码转换技术，一般是对转换前的动态图像数据流进行解码，并将该解码图像作为输入图像，再按转换后的格式进行编码。在特开2004-23444号公报(专利文献1)中公开了一种在该代码转换中将作为从转换前的动态图像数据流的动态检索结果的矢量在编码信息中用作动态信息，从而减低编码侧的处理负荷的技术。
但是，在上述专利文献1中，没有公开利用编码后的帧是帧内(Intra)编码还是帧间(Inter)编码的信息进行代码转换方面的技术。
此处，当进行了帧间编码时，由于参照帧和想要编码的帧具有相关性，可以根据与转换前的数据流的关系相同的关系决定参照帧。
另一方面，当进行了帧内编码时，由于几乎不存在相关性，如仍根据与转换前的数据流的关系相同的关系决定参照帧，就不能有效地进行压缩。
另外，当在检索过一次相互间关系与转换前的数据流的关系相同的帧后又检索其他的帧时，需进行多余的处理，因此在电路规模的小型化和电力消耗的减低上是不利的。
发明内容
本发明，是鉴于上述课题而开发的，其目的是提供一种利用附加于转换前的数据流的编码信息的用帧间或帧内的哪种模式编码的信息，进行提高了使用方便性的代码转换的代码转换器、记录装置和代码转换方法。
本发明，是对以进行帧内编码和帧间预测编码的第一编码方式编码后的动态图像数据流进行解码、并以第二编码方式进行编码的代码转换器，该代码转换器包括解码器，对所输入的动态图像数据流进行解码，并检测表示以帧内编码进行了编码还是以帧间预测编码进行了编码的子信息；编码器，在上述子信息为表示进行了帧内编码的信息的情况下、和表示进行了帧间预测编码的信息的情况下，变更编码时参照的帧或变更帧的检索顺序。
图1是实施例1的框图。
图2是实施例1的概念图。
图3是实施例1的概念图。
图4是未遮挡区域的例子。
图5是参照存储器结构例子。
图6是参照存储器结构例子。
图7是应用了实施例1的制品例子。
图8是选择参照图像时的流程图。
具体实施例方式
以下，在以下的实施例中，以从MPEG2转换为H.264为例进行说明。但是，并不限于此，可以应用于对以进行帧内编码和帧间预测编码并具有表示对该帧进行了帧内编码还是帧间编码的信息作为帧信息的编码方式压缩后的动态图像数据流进行代码转换的场合。作为这种编码方式，除上述MPEG2或H.264以外，还有MPEG4、H.261、H.263、SMPTE的VC1等。
此外，在H.264(ITE/ISO 14496-10/H.264AVC)等中，可以进行能够从已完成解码的帧任意选择动态补偿时的参照帧的多帧动态补偿。
用图1说明实施例的结构。图的上部，示出解码器(解码装置)005，其包括供给从播放或记录媒体等读出的数字动态图象数据流的数据流供给部001、对解码器的语法进行解读的VLD部002、进行从频率变换区域到图像区域的变换的逆频率变换部003、利用由VLD部解码后的矢量信息从参照图像进行动态补偿并与来自逆频率变换部的输出相加而生成解码图像(输出图像)的动态补偿部004。
图的下部，示出编码器(编码装置)011，其包括将从解码器输出的输出图像作为输入图像存储在缓冲区内的缓冲部006、可在输入图像和已完成编码的多个参照图像之间进行动态补偿的动态补偿部007、对动态补偿后的误差图像进行频率变换的频率变换部008、以依据了规格的语法进行编码的VLC部009、将编码图像作为后面的动态补偿的参照图像的参照图像保存部即参照存储部010。
而且，在解码器中，进行每个帧的帧标题的解码并在每个被称作宏功能块(MB)的矩形区域内进行解码处理。在这种情况下，后述的图像的编码类型、以每个MB为单位进行解码后的矢量信息和帧内/帧间(Intra/Inter)信息，就可以由编码器的动态补偿部使用。
在本实施例中，例如将上部解码器作为依据了动态图像编码的国际标准方式MPEG2(ISO/IEC 13813-2、International Standard)的装置、将下部编码器作为依据了H.264(ISO/IEC 14496-10/ITUH.264AVC)的编码器进行说明。
在图2中，示出本实施例的概要。上段表示代码转换前的MPEG2数据流的解码，I、B、P分别表示图像的编码类型(picture_coding_type)，I表示进行只利用了画面内的信息的编码(intra-coded帧内编码)、P表示过去的信息也可以利用的编码(predictive-codec预测编码)、B表示可利用过去和未来的信息的编码(bidirectionally-predictive-codec；双向预测编码)的类型。
另一方面，下段表示H.264的编码。编码的输入图像为MPEG2的解码图像，编码的类型，与转换源的MPEG2相同。在这种结构的情况下，在H.264的编码中，可以使用附加于MPEG2的矢量信息。当进行H.264编码时，取得并使用与作为编码对象的MB对应的MPEG2的矢量信息。在这种情况下，在H.264的编码中，可以削减计算量大的动态检索的电路，并能削减编码器的电路规模。
这时，如图3所示，当对MPEG2的MB进行连矢量信息都不具备的帧内编码时，在H.264的编码器中不能从MPEG2取得矢量信息。在这种情况下，在H.264的编码器侧虽然也可以进行帧内编码，但是当考虑以小电路规模、低电力消耗为前提的结构中的画质的提高时，在H.264中进行以下新的检索的方法是有效的。
对于在MPEG2的数据流中选择了帧内编码的MB中，可以判定在MPEG2中与原来处于参照关系的参照图像很少存在相关关系，在H.264的编码器中将该参照帧从进行新的检索的对象中除去。
在图8中，示出选择参照图像时的流程图。当在H.264中以每个MB为单位进行编码时，参照MPEG2的每个MB的帧内或帧间的信息(S801)，如果是帧内编码，则将MPEG2的处于参照关系的参照图像从H.264的动态补偿的对象除去，在MPEG2中选择与处于参照关系的参照图像不同的参照图像(S802)，并利用所选定的参照图像进行动态补偿(S804)。如果是帧间编码，则利用MPEG2的解码信息并选择MPEG2中处于参照关系的参照图像(S803)，进行H.264的动态补偿(S804)。
在电力消耗低的H.264编码器LSI中，为实现多帧编码而尝试着对多个参照图像进行实际的检索、以选择高效率的参照图像的方法，将导致电路规模和电力消耗的增大因而是不现实的。因此，为削减电路规模或电力消耗，即使是H.264编码器，进行动态补偿的参照帧数也与作为现有技术的MPEG2相同。在本实施例中，将选择了帧内的相关性很小的参照图像从参照对象除去，在效率方面是很有效的。
另外，当在MPEG2中选择帧内时，应考虑如图4所示的被称作未遮挡区域的情况。这是使被遮挡的区域露出时产生的现象，是在参照图像中看不到该所要露出的区域因而使时间的相关性减低的现象。在图中，当五角星从右上方向左下方移动时，如使被遮挡了的面部露出，则当图像n参照n-1时，相关性很小。但是，在更靠前的图像n-2中，却可以观察到较高的相关性。在本实施例中，要达到其效果，当MPEG2为帧内时应选择更加靠前的图像作为参照图像。
作为这时的参照图像，考虑以下的例。在编码器中，如图5所示，为了将编码后的图像作为后面的参照图像，必须预先将其存储在参照存储器内。在与MPEG2相同的参照关系中，参照存储器使用2面并利用其中保存的图像进行编码。在本实施例中，将该存储器再增加1面，从而如图6所示增加参照图像，当在帧内编码中得不到动态补偿信息时，通过这种增加，从已记录在存储器内的I2帧进行参照。
此外，在上述增加了1面的存储区域内如果是已完成解码的帧，则无论是哪个帧都可以作为预先保存的参照对象。在这种情况下，例如，可以考虑预先保存进行编码的某个单位(例如GOP)的开头的帧、并将这些帧作为参照对象的使用方法。进一步，也可以通过增加该存储器来增加进行参照的候选对象，但从电路规模的小型化的观点考虑，如图6所示将参照存储器构成为存储3面的方法是优选的。
另外，该参照图像上的检索范围，当考虑未遮挡区域区域时也不一定需要设定为很大的范围，可以将对应的周围几个像素作为检索的范围。
按照本实施例，通过将相关关系很小的参照图像除去，能以低的电力消耗、小的电路规模取得多帧编码的效果。
以下，给出应用了本实施例的制品实用例。本实施例，在将模拟或数字的电视播放、或已记录的某个节目变更编码格式、编码速率后保存在HDD或DVD等记录媒体内的情况下是有效的。图7中示出将数字播放保存在记录媒体内时的框图。由调谐部701接收到的数字播放，由解调部702进行解码处理，并由多路分配部703分解为动态图像信息、声音信息等。动态图像信息，由解码器705进行解码处理，如将图像输出到显示器，则将解码图像传送到显示部710。由编码器取得解码器解码后的再生图像、子信息，进行编码而生成数据流。
另外，按照以上的实施例，还可以通过动态图像的位速率转换、格式转换实现画质的提高。
权利要求
1.一种代码转换器，对以进行帧内编码和帧间预测编码的第一编码方式进行编码后的动态图像数据流进行解码，并以第二编码方式进行编码，该代码转换器的特征在于，包括解码器，对所输入的动态图像数据流进行解码，并检测表示以帧内编码进行了编码还是以帧间预测编码进行了编码的子信息；编码器，在所述子信息为表示进行了帧内编码的信息的情况下、和表示进行了帧间预测编码的信息的情况下，变更编码时参照的帧。
2.根据权利要求1所述的代码转换器，其特征在于所输入的动态图像数据流，包括将某输入F0帧作为参照对象，并一边按每个编码处理单位切换帧间预测编码或帧内编码一边进行编码的第一输入F1帧；和将所述第一输入F1帧作为参照对象，并一边按每个编码处理单位切换帧间预测编码或帧内编码一边进行编码的第二输入F2帧，所述编码器，当所述第二输入F2帧的子信息为表示进行了帧间预测编码的信息时，参照与所述第一输入F1帧对应的第一输出F1帧，对与所述第二输入F2帧对应的第二输出F2帧进行帧间预测编码，当所述第二输入F2帧的子信息为表示进行了帧内编码的信息时，参照与所述输入F0帧对应的输出F0帧，对所述第二输出F2帧进行帧间预测编码。
3.根据权利要求2所述的代码转换器，其特征在于所述编码器，当所述第二输入F2帧的子信息为表示进行了帧内编码的信息时，不参照第一输出F1帧而是参照所述输出F0帧，对所述第二输出F2帧进行帧间预测编码。
4.根据权利要求2所述的代码转换器，其特征在于所述编码器，当所述第二输入F2帧的子信息为表示进行了帧内编码的信息时，不参照所述第一输出F1帧，而是参照任何一个已解码帧。
5.一种代码转换器，对以进行帧内编码和帧间预测编码的第一编码方式编码后的动态图像数据流进行解码，并以第二编码方式进行编码，该代码转换器的特征在于，包括解码器，对所输入的动态图像数据流进行解码，并检测表示是以帧内编码进行了编码还是以帧间预测编码进行了编码的子信息；编码器，在所述子信息为表示进行了帧内编码的信息的情况下、和表示进行了帧间预测编码的信息的情况下，变更编码时参照的帧的检索顺序。
6.根据权利要求5所述的代码转换器，其特征在于所输入的动态图像数据流，包括作为进行了帧内编码的I图像的输入I帧；作为参照所述输入I帧进行了帧间预测编码的P图像的第一输入P帧；以及作为参照所述第一输入P帧进行了帧间预测编码的P图像的第二输入P帧，所述编码器，当所述第二输入P帧的子信息为表示进行了帧间预测编码的信息时，参照与所述第一输入P帧对应的第一输出P帧图像，对与所述第二输入P帧对应的第二输出P帧进行帧间预测编码，当所述第二输入P帧的子信息为表示进行了帧内编码的信息时，从所述第一输出P帧以外的帧检索进行参照的帧，并对所述第二输出P帧进行帧间预测编码。
7.根据权利要求2所述的代码转换器，其特征在于所述输入F0帧，是作为进行了帧内编码的I图像的输入I帧；所述第一输入F1帧，是作为参照所述输入I帧进行了帧间预测编码的P图像的第一输入P帧；所述第二输入F2帧，是作为参照所述第一输入P帧进行了帧间预测编码的P图像的第二输入P帧。
8.根据权利要求1所述的代码转换器，其特征在于所述编码器，具有将用于参照的帧进行3面存储的参照存储部。
9.根据权利要求1所述的代码转换器，其特征在于所述编码器，只检索1个进行参照的帧。
10.根据权利要求1所述的代码转换器，其特征在于所述子信息，附加于作为帧内的解码处理单位的每个宏功能块。
11.根据权利要求1所述的代码转换器，其特征在于所述第一编码方式是MPEG方式，所述第二编码方式是H.264方式。
12.根据权利要求2所述的代码转换器，其特征在于所述编码器，当所述第二输入F2帧的子信息为表示进行了帧内编码的信息时，帧间预测编码期间的检测矢量信息时的检索范围为检索对象位置的周围几个像素。
13.一种记录装置，其特征在于，包括记录媒体接口，读出记录在记录媒体内并以所述第一编码方式编码后的动态图像数据流；权利要求1所述的代码转换器，输入由所述记录媒体接口读出的动态图像数据流；所述记录媒体接口，将从所述代码转换器输出并以所述第二编码方式编码后的动态图像数据流记录在记录媒体内。
14.一种代码转换方法，对以进行帧内编码和帧间预测编码的第一编码方式编码后的动态图像数据流进行解码，并以第二编码方式进行编码，该代码转换方法的特征在于进行解码的帧，预先附加着表示以帧内编码进行了编码还是以帧间预测编码进行了编码的子信息；在该子信息为表示进行了帧内编码的信息的情况下、和表示进行了帧间编码的信息的情况下，当进行编码时，变更参照帧。
全文摘要
本发明的代码转换器，对以进行帧内编码和帧间预测编码的第一编码方式编码后的动态图像数据流进行解码、并以第二编码方式进行编码，该代码转换器包括解码器，对所输入的动态图像数据流进行解码，并检测表示以帧内编码进行了编码还是以帧间预测编码进行了编码的子信息；编码器，在上述子信息为表示进行了帧内编码的信息的情况下、和表示进行了帧间预测编码的信息的情况下，变更编码时参照的帧。
文档编号H04N7/26GK1946182SQ20061007335
公开日2007年4月11日 申请日期2006年3月31日 优先权日2005年10月4日
发明者谷田部祐介, 小味弘典 申请人:株式会社日立制作所