专利名称：图像处理设备和方法、信息处理设备和方法、信息记录设备和方法、信息再现设备和方法 ...的制作方法
技术领域：
本发明涉及图像处理设备和图像处理方法、信息处理设备和信息处理方法、信息记录设备和信息记录方法、信息再现设备和信息再现方法、存储介质、以及程序。特别地，本发明涉及优选地用于使用关于过去对相应数据执行的编码的信息而执行重编码的情况下的图像处理设备和图像处理方法、信息处理设备和信息处理方法、信息记录设备和信息记录方法、信息再现设备和信息再现方法、存储介质、以及程序。
背景技术：
例如，在将移动图像信号传输到远处的系统中，例如在视频会议系统和视频电话系统中，使用视频信号的线相关和帧间相关，以有效使用传输路径来压缩和编码图像信号。
当对图像信号进行压缩和编码时，执行编码使得所产生的比特流具有预定的比特率。然而，在实际操作中，可能由于传输路径的问题而产生转换比特流的比特率的需要。
例如，当在广播站编辑传输图像信号时，每秒都执行编辑。因此，期望一帧的图像信息独立于另一帧的图像信息。从而，为了保证即使以低比特率(例如3到9Mbps)传送时图像质量不恶化，需要在长GOP(图像组)和短GOP之间执行相互转换，其中这二者之间的信息是相关的。长GOP具有大数量的组成GOP的帧，它是帧的组合，并且短GOP具有小数量的组成GOP的帧，并且以高比特率(18到50Mbps)传送。
将参照图1描述能够例如通过将经由传输路径传输/接收的长GOP的流数据编码成包括在短GOP中的全部帧内流数据(全帧内)来编辑帧的系统。
适合传输的长GOP的流数据被传输到传输路径1。
在代码转换器2中，解码单元21暂时对MPEG长GOP的流数据进行解码，其中该流数据经由传输路径1提供，并且编码单元22对流数据进行编码，使得它成为全部帧内(全帧内)，并且将所编码的全帧内流数据(SDTI CP(串行数据传输接口-内容包)流)输出到具有SDTI CP接口的帧编辑设备3。
已经经过帧编辑单元3的帧编辑的流数据被提供给代码转换器4。在代码转换器4中，解码单元31暂时对所提供的全帧内流数据进行解码，接着编码单元32对流数据编码，使其成为MPEG长GOP，并且将编码的MPEG长GOP的流数据经由传输路径1输出到预定数据传输目的地。
将参照图2描述能够将高比特率的输入图像编码为MPEG长GOP，并且对其进行解码使得将其重编码为低比特率MPEG长GOP的系统。
在代码转换器51中，解码单元61暂时对所提供的未压缩输入图像进行解码，并且编码单元62接着对输入数据进行编码，使其成为高比特率MPEG长GOP，并且输出已编码的MPEG长GOP的流数据。在代码转换器52中，解码单元71暂时对所提供的高比特率MPEG长GOP进行解码，并且编码单元72接着对该长GOP进行编码，以便提供低比特率MPEG长GOP，并且将已编码的低比特率MPEG长GOP的流数据经由传输路径1输出到预定数据传输目的地。
当如上所述重复图像信息的编码和解码时，在每个编码操作中使用的编码参数的改变造成图像信息恶化。为了避免图像信息恶化，日本未审查的专利申请出版物No.2000-059788公开了一种能够通过使用插入比特流图片层中的用户数据区域中的编码历史信息来抑制重编码中涉及的图像恶化的技术。
将参照图3描述例如编码历史信息用于能够将MPEG长GOP转换成允许帧编辑的短GOP的系统的情况。由相同的参考标号表示对应图1各单元的单元，且适当省略其描述。
即，代码转换器101经由传输路径1接收MPEG长GOP。
由于MPEG长GOP由具有不同编码格式的三种类型的图片组成(I图片、P图片、和B图片)，从它编码的视频数据也具有取决于帧的I图片、P图片、或B图片格式。由此，在使用MPEG长GOP对视频数据重编码的情况下，当对具有I图片、P图片、或B图片格式的视频数据执行用于另一图片类型的编码时，会发生图像恶化。例如，当用于比I图片和P图片更容易引起失真的B图片的视频数据在解码前被作为I图片编码时，由于它周围的图片预测I图片作为参考图像来执行解码，因此产生图像恶化。
为了防止这种由重编码引起的图像恶化，例如当代码转换器101经由传输路径1接收过去由另一代码转换器编码的流数据时，解码单元111暂时对所提供的MPEG长GOP的流数据进行解码，编码单元112接着执行编码，使得所有解码流数据成为帧内的。在这种情况下，过去执行的编码的参数，即提供给解码单元111的编码流的编码参数例如图片类型或量化值，附加在全帧内已编码流上，作为基于SMPTE(美国电影电视工程师协会)328的历史信息(历史数据)，且得到的流被提供给帧编辑设备3。
已经经过帧编辑单元3的帧编辑的流数据被再次提供给代码转换器102。在代码转换器102中，解码单元121对所提供的带有历史信息的全帧内流数据进行解码。编码单元122使用包含在已解码历史信息中的必要参数，例如图片类型和量化值，以将数据重编码为长GOP，并输出该长GOP。
将参照图4描述用于在系统中进行重编码而防止图像恶化的情况，其中参照图2所描述的该系统能够将未压缩数据编码成高比特率的MPEG长GOP，并且能够通过解码将GOP重编码成低比特率长GOP。由相同的参考标号表示对应图2各单元的单元，且适当省略其描述。
即，在接收代码转换器51编码的MPEG长GOP的流数据后，当解码单元对高比特率MPEG长GOP进行解码时，代码转换器131获得必要的编码参数，并且将已解码视频数据和所获得的编码参数提供给编码单元142。编码单元142使用所提供的编码参数对视频数据进行编码，使其成为低比特率MPEG长GOP，并且输出已编码的低比特率MPEG长GOP的流数据。
如上所述，通过使用历史信息或编码参数来重使用过去编码信息(过去执行的编码中的图片层和宏块层参数，例如图片类型、运动矢量、量化值)以执行编码使得可能防止图像恶化。然而，例如，可能在编辑中替换或插入与前一编码处理期间的流的比特率、图像帧、或色度格式不同的流。在这种情况下，不能通过重使用从图片层到宏块层的全部编码信息来执行重编码。
发明内容
考虑到这种情形，提出了本发明，并且允许根据要编码的图像数据状态来选择可重使用的信息。
根据本发明的一种图像处理设备包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中关于编码的信息由获得装置获得。
当关于编码的信息中所描述的过去编码的延迟模式、图片结构、以及影像还原模式符合关于编码处理的条件时，控制装置可以使用关于编码的信息中所描述的图片类型信息来控制编码处理。
当过去编码中的图像帧、在关于编码的信息中所描述的图像帧、以及编码处理中的图像帧在位置和大小上彼此匹配时，控制装置可以进一步使用关于编码的信息中所描述的运动矢量信息来控制编码处理。
当过去编码中的比特率比编码处理中的比特率小，并且过去编码中的色度格式大于或等于编码处理中的色度格式时，控制装置可以进一步使用关于编码的信息中所描述的量化值信息来控制编码处理，其中过去编码中的比特率即关于编码的信息中描述的比特率，过去编码中的色度格式即在关于编码的信息中描述的色度格式。
该图像处理设备可以进一步包括输出装置，它响应提供给对图像数据进行解码的另一图像处理设备的第一已编码数据，以及在控制装置控制的编码处理中产生的第二已编码数据，输出第一已编码数据或第二已编码数据。当关于编码的信息中所描述的过去编码中的延迟模式、图片结构、影像还原(pulldown)模式、图像帧的位置和大小、以及色度格式符合关于编码处理的条件，并且过去编码中的比特率，即关于编码的信息中所描述的比特率比编码处理中的比特率小时，控制装置可以进一步控制输出装置以输出第一已编码数据。
根据本发明的一种图像处理方法包括获得关于过去对图像数据执行的编码的信息；基于所获得的关于编码的信息，和关于将由图像处理设备对图像数据执行的编码处理的条件，从关于编码的信息中选择编码处理中可使用的信息；以及基于关于编码的所选信息，控制该编码处理。
记录在本发明的第一记录介质上的程序使得计算机执行的处理包括比较步骤，比较所提供的关于编码的信息与关于要对图像数据执行的编码处理的条件，以及选择步骤，基于比较步骤中的处理提供的比较结果，从关于编码的信息中选择在编码处理中可用的信息。
根据本发明的第一程序使得计算机执行的处理包括比较步骤，比较所提供的关于编码的信息与关于要对图像数据执行的编码处理的条件，以及选择步骤，基于比较步骤中的处理提供的比较结果，从关于编码的信息中选择在编码处理中可用的信息。
响应关于过去编码的信息，对关于过去的信息和关于要对图像数据执行的编码的条件进行相互比较。基于比较结果，从关于编码的信息中选择在编码中可用的信息。
根据本发明的一种信息处理设备包括解码装置，用于执行解码处理，以对所提供的图像数据进行完全或不完全解码；以及编码装置，用于执行编码处理，以将由解码装置完全解码的基带图像数据或由解码装置执行的不完全解码所产生并且编码为中途水平的图像数据完全编码或编码为中途水平。该编码装置包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中关于编码的信息由获得装置获得。
根据本发明的一种信息处理方法包括解码步骤，对所提供的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平。该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息，和关于编码处理的条件，从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
记录在本发明的第二记录介质上的程序使得计算机执行的处理包括解码步骤，对所提供的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平。该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
根据本发明的第二程序使得计算机执行的处理包括解码步骤，对所提供的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平。该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
对所提供的图像数据进行完全或不完全解码，且基带图像数据或编码为中途水平的图像数据被完全编码或编码为中途水平。在编码中，响应关于过去编码的信息，对关于过去的信息和关于要对图像数据执行的编码的条件进行相互比较。基于比较结果，从关于编码的信息中选择在编码中可用的信息。
根据本发明的一种信息记录设备包括解码装置，用于对所提供的图像数据进行完全或不完全解码；编码装置，用于执行编码处理，以将解码装置完全解码的基带图像数据或由解码装置执行的不完全解码所产生的且编码为中途水平的图像数据完全编码或编码到中途水平；以及记录控制装置，用于控制编码装置编码的图像数据的记录。该编码装置包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中所述关于编码的信息由获得装置获得。
记录控制装置可以控制将编码装置所编码的图像数据，以及关于对图像数据执行的编码的信息记录到不同位置上。
根据本发明的一种信息记录方法包括解码步骤，对所提供的图像数据进行完全或不完全解码；编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平；以及记录控制步骤，控制编码步骤的处理中编码的图像数据的记录。编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
对所提供的图像数据进行完全或不完全解码，基带图像数据或编码为中途水平的图像数据被完全编码或编码为中途水平，并且控制编码图像数据的记录。在编码中，响应关于过去编码的信息，对关于过去的信息和关于要对图像数据执行的编码的条件进行相互比较。基于比较结果，从关于编码的信息中选择在编码中可用的信息。
根据本发明的一种信息再现设备包括再现装置，用于再现记录在预定存储介质上的图像数据；解码装置，用于对再现装置所再现的图像数据进行完全或不完全解码；以及编码装置，用于执行编码处理，以将解码装置完全解码的基带图像数据或由解码装置执行的不完全解码所产生的且编码为中途水平的图像数据完全编码或编码为中途水平。该编码装置包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中所述关于编码的信息由获得装置获得。
根据本发明的一种信息再现方法包括再现步骤，再现记录在预定存储介质上的图像数据；解码步骤，对再现步骤的处理中所再现的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤中执行的不完全解码所产生的且编码为中途水平的图像数据完全编码或编码为中途水平。该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
根据本发明，再现记录在预定存储介质上的图像数据，对所提供的图像信号进行完全或不完全解码，并且基带图像数据或编码为中途水平的图像数据被完全编码或编码为中途水平。在编码中，响应关于过去编码的信息，对关于过去的信息和关于要对图像数据执行的编码的条件进行相互比较。基于比较结果，从关于编码的信息中选择在编码中可用的信息。
图1是描述当执行帧编辑时用于执行重编码的常规系统的图。
图2是描述可以通过改变MPEG长GOP的比特率执行重编码的公知系统的图。
图3是描述在执行帧编辑时在用于执行重编码的常规系统中使用编码历史信息的情况的图。
图4是在可以通过改变MPEG长GOP的比特率来执行重编码的常规系统中使用编码历史信息的情况描述的图。
图5是示出当执行帧编辑时用于执行重编码的系统的配置的框图。
图6是示出图5所示的编码单元5的配置的框图。
图7是描述SMPTE 329中所指定的compressed_stream_format_of_MPEG_2_recoding_set()的语法的表格。
图8是描述extension_and_user_data(2)中的user_data(2)中描述的信息的视图。
图9是示出可以通过改变MPEG长GOP的比特率来执行重编码的系统的结构的框图。
图10是示出图9所示的编码单元的配置的框图。
图11是说明由根据本发明的编码单元所执行的处理的流程图。
图12是描述可应用本发明的另一设备的配置的图。
图13是描述可应用本发明的另一设备的配置的图。
图14是描述可应用本发明的信息再现设备的配置的图。
图15是描述可应用本发明的信息记录设备的配置的图。
图16是描述可应用本发明的信息再现设备的配置的图。
图17是示出个人计算机的配置的框图。
具体实施例方式
下面将参照附图描述本发明的实施例。
将参照图5描述根据本发明的系统使用编码历史信息的情况，其中所述系统能够将MPEG长GOP转换成允许帧编辑的短GOP。
对应参照图3描述的常规情况中的单元的单元用相同参考标号表示，且适当省略其描述。即，该系统具有与参照图3描述的常规情况基本相同的配置，不同在于设置代码转换器151代替代码转换器102。代码转换器151具有与代码转换器102基本相同的配置，不同在于代码转换器151设置了能够选择可重使用的历史信息(历史信息)的编码单元161代替编码单元122，以便对应所提供的流的条件。除了从解码单元121输出的已编码信号，输入到解码单元121的流数据也输入到编码单元161。
代码转换器101经由传输路径1接收MPEG长GOP。
MPEG长GOP由三种图片类型组成(I图片、P图片、和B图片)。在代码转换器101中，解码单元111暂时对所提供的MPEG长GOP的流数据进行解码，并且编码单元112接着对流数据进行编码，使其全部成为帧内的(Intra-frame))。在这种情况下，在之后的处理中，当流数据被重编码成长GOP时，在过去执行的编码中的参数，即经由传输路径1将MPEG长GOP流传输到代码转换器101的设备所进行的编码中的参数，加到全帧内的流中，作为SMPTE 328M历史信息(历史数据)，并且所得流数据被提供给帧编辑设备3，以防止具有I图片、P图片、或B图片格式的视频数据编码成不同图片类型。
带有历史信息的流数据被提供给代码转换器151，其中该数据接受帧编辑单元3的帧编辑。在代码转换器151中，解码单元121对所提供的带有历史信息的全帧内流数据进行解码。根据需要，编码单元161使用包含在已解码的历史信息中的图片层和宏块层参数，以将由解码单元121解码的信息重编码为长GOP，并且输出该长GOP。参数的例子包括过去编码中的图片类型、运动矢量、以及量化值。
图6是示出编码单元161的配置的框图。
历史提取单元171从带有历史信息的全帧内的流中提取历史信息，该流由解码单元121解码。历史提取单元171接着将所提取的历史信息提供给控制单元185，并且还将视频流提供给图像重排列单元172。该历史信息包括关于过去执行的编码的信息，例如图片类型、量化值、运动矢量、或量化矩阵。
基于历史提取单元171所提取的历史信息中包含的所提取的过去编码参数，按照需要，控制单元185控制图像重排列单元172、运动矢量检测单元174、或量化值检测单元177。
历史提取单元171提取的历史信息以SMPTE 329M指定的compressed_stream_format_of_MPEG_2_recoding_set()格式描述。接着，将参照图7描述SMPTE 329M中指定的compressed_stream_format_of_MPEG_2_recoding_set()的语法。
SMPTE 329M中指定的compressed_stream_format_of_MPEG_2_recoding_set( )由next_start_code()函数、sequence_header()函数、sequence_extension()函数、extension_and_user_data(0)函数、group_of_picture_header()函数、extension_and_user_data(1)函数、picture_header()函数、picture_coding_extension()函数、extension_and_user_data(2)函数、以及picture_data()函数定义的数据元素组成。
next_start_code()函数是用于搜索存在于比特流中的开始码的函数。sequence_header()函数定义的数据元素的例子包括horizontal_size_value，它由图像的水平方向上的像素数目的低等级12比特组成的数据；vertical_size_value，它是由图像的垂直线的数目的低等级12比特组成的数据；以及VBV_buffer_size_value，它是确定用于控制生成码的数量的虚拟缓冲器大小的值的低等级10比特数据(VBV视频缓冲器验证符)。sequence_extension()函数定义的数据元素的例子包括progressive_sequence，它是表示视频数据的前向扫描的数据；chroma_format，它是指定视频数据的色差格式的数据；以及low_delay，它是表示不包括B图片的数据。
对于extension_and_user_data(i)函数，当“i”是除了2以外的值时，不描述由extension_data()函数定义的数据元素，而是仅描述user_data()函数定义的数据元素作为历史流。由此，对于extension_and_user_data(0)函数，仅描述user_data()函数定义的数据元素作为历史流。仅当在历史流中描述表示GOP层开始码的group_start_code时，描述group_of_picture_header()函数定义的数据元素和extension_and_user_data(1)函数定义的数据元素。
picture_header()函数定义的数据元素的例子包括picture_start_code，它是表达用于图片层的开始同步码的数据；以及temporal_reference，它是表示图片的显示顺序的数目，且是在GOP前端复位的数据。picture_coding_extension()函数定义的数据元素的例子包括picture_structure，它是表示帧结构或场结构的数据，并且在场结构的情况下，是表示高等级场或低等级场的数据；top_field_first，它是在帧结构的情况下表示第一场是高等级还是低等级场的数据；q_scale_type，它是表示使用线性量化尺度还是非线性量化尺度的数据；以及repeat_first_field，它是用于2∶3影像还原(pulldown)的数据。
re_coding_stream_info()定义的数据元素由SMPTE 327M定义。将参照图8描述extension_and_user_data(2)。picture_data()函数定义的数据元素是由slice()函数定义的数据元素。slice()函数定义了macroblock()，并且macroblock()描述了motion_vectors信息。
将参照图8描述图7中说明的compressed_stream_format_of_MPEG_2_recoding_set( )的extension_and_user_data(2)中的user_data(2)中描述的信息。
Stream_Information_Header是32比特数据，其中描述了用于识别在picture_layer中的user_data的头号码，且该Stream_Information_Header由16比特Stream_Information_Header、指示Stream_Information()的字节长度的8比特Length、以及marker_bits组成，其中16比特Stream_Information_Header中的一个值允许此信息被识别为user_data。
Encoder_Serial_Number是唯一分配给编码器(编码单元或编码设备)的号码(序列号码)，并且是16比特信息。Encoder_ID是表示编码器类型的ID，并且是15比特信息。
之后的Encoding_State_Time_Code是表示开始产生此流的时间的信息，并且是其中字节数据的msb为marker_bit＝1的8字节信息。在这种情况下，使用8字节中的6字节，并且描述开始产生流的年(Time_Year)、月(Time_Month)、日(Time_Day)、时间(Time_Hour)、分钟(Time_Minute)、以及秒(Time_Second)。这些值在一个流中是恒定的。
Gerneration_Counter(GenC)是表示编码生成的数目的计数器值，并且是4比特信息。当SDI(串行数字接口)数据被编码成ASI(异步串行接口)数据时，开始对编码生成的数目进行计数，且当ASI数据被重编码成ASI数据或当SDTI CP(串行数据传输接口-内容包)数据被重编码成ASI数据时，计数器值增加。
SDTI CP是由Pro-MPEG论坛筹备，且标准化为SMPTE 326M的全球标准规范，它用于实时传输(同步传送)MPEG数据，并且是一种用于全部帧内(全帧内)的情况的传输方案。SDI是基于点对点传输考虑的未压缩数字视频/音频传输方案，并且在ANSI/SMPTE259M中指定。ASI是一种用于传输已编码MEPG长GOP的流数据的方案。
Continuity_Counter是对每帧增加的计数器，并且当超过其最大值时，再次从0开始计数。根据需要，可以对场的数目或图片的数目计数，而不是对帧数目计数。
由于以下描述的信息是从当解码器(解码单元或解码设备)解码时产生的参数中提取的用于插入的信息，插入前仅在一个状态中分配一个区域。
picture_coding_type是表示服从MPEG 2标准的图片编码类型的3比特信息，并且表示例如图片是I图片、B图片、还是P图片。temporal_reference是服从MPEG 2标准的10比特信息，并且表示GOP中的图片顺序(为每幅图片计数该顺序)。
reuse_level是用于指定参数重使用的7比特信息。error_flag是用于发出表示各种类型错误的通知的标志。
header_present_flag(A)是用于序列头存在标志和GOP头存在标志的2比特标志信息。
extension_start_code_flags是16比特标志信息，它在SMPTE中没有被指定，并且表示是否包括各种扩展ID。“0”表示不包括任何扩展ID，且“1”表示包括扩展“ID”。扩展ID的例子包括序列扩展ID、序列显示扩展ID、量化矩阵扩展ID、版权扩展ID、序列可缩放扩展ID、图片显示扩展ID、图片编码扩展ID、图片空间可缩放扩展ID、以及图片时间可缩放扩展ID。
other_start_codes(图中的“other”)是5比特标志信息，表示用户数据的开始码包括在哪一层，或表示是否包括序列误差码和序列结束码。
图中表示为“B”的是用于reduced_bandwidth_flag(B)的1比特信息，且表示为“C”的是用于reduced_bandwidth_indicator(C)的2比特信息。num_of_picture_byte是表示图片产生数量的22比特信息，且用于速率控制等。
bit_rate_extension是关于比特率的12比特扩展信息场，且bit_rate_value是18比特信息。在SMPTE中指定的格式中，比特率信息接受静态复用，并且常用特定的值描述(例如“ff”)。由此，该信息不能用于重编码。相反，bit_rate_extension是其中描述先前编码中的实际比特率值用于重编码的场。
控制单元185从历史提取单元171接收参照图7和8描述的历史信息。基于历史信息中描述的内容是否符合预定条件，控制单元185控制图像重排列单元172、运动矢量检测单元174、量化值确定单元177、以及流开关186的部分或全部处理。
具体地，控制单元185确定先前编码中的延迟模式、图片结构、以及影像还原(pulldown)模式是否与当前编码中的相符合。当确定它们彼此不符合时，控制单元185确定执行下述规则编码，而不重使用这些参数。延迟模式是SMPTE 329M中的sequence_extension()函数中的low_delay中描述的信息，图片结构和影像还原(pulldown)模式是SMPTE 329M中的picture_coding_extension()函数中的picture_structure、top_field_first、以及repeat_first_field中描述的信息。
确定先前编码中的延迟模式、图片结构和影像还原(pulldown)模式与当前编码中的相符合之后，控制单元185确定接着要编码的图像帧是否与历史信息指示的已编码图像帧匹配。如果确定图像帧彼此不匹配，控制单元185仅重使用图片类型信息(extension_and_user_data(2)中的user_data(2)中描述的picture_coding_type，此picture_coding_type参照图8描述)。通过比较SMPTE 329M中的sequence_header()函数中描述的horizontal_size_value和vertical_size_value，以及通过比较SMPTE329中的v_phase和h_phase，来确定图像帧是否彼此匹配。
当确定将要重使用先前编码中的图片类型时，图像重排列单元172根据从控制单元185提供的控制信号，基于包含在历史信息中的图片类型重排列图像。
如果确定图像帧彼此匹配，控制单元185确定先前编码中的比特率是否比当前编码中的比特率低，以及先前编码中的色度格式是否大于或等于当前色度格式。当不满足以上条件中的任一条件时，除了图片类型信息以外，控制单元185还重使用运动矢量信息(在picture_data()函数中的slice()函数中描述的motion_vectors信息)。在SMPTE 329M中的extension_and_user_data(2)的user_data(2)的bit_rate_value中描述比特率信息。在SMPTE 329M中的sequence_header()函数中的chroma_format中描述色度格式信息。
根据从控制单元185提供的控制信号，运动矢量检测单元174重使用过去编码中的运动矢量信息作为运动矢量。
如果确定先前编码中的比特率低于当前编码中的比特率，且先前编码中的色度格式大于或等于当前色度格式，除了图片类型和运动矢量之外，控制单元185还重使用量化值(q_scale)。
根据需要，根据从控制单元185提供的控制信号，量化值确定单元177将重使用量化值提供给量化单元176，以使得执行量化。
描述回到图6。
根据需要，根据控制单元185进行的控制，图像重排列单元172重排列顺序输入的图像数据的帧图像；产生被分为宏块的宏块数据，该宏块由16像素×16行亮度信号和对应该亮度信号的色差信号组成；并且将该宏块数据提供给算术单元173和运动矢量检测单元174。
接收到宏块数据后，运动矢量检测单元174根据控制单元185进行的控制，基于存储在帧存储器183中的宏块数据和参考图像数据来确定每个宏块的运动矢量。运动矢量检测单元174将确定的运动矢量提供给运动补偿单元182作为运动矢量数据，或者重使用从控制单元185提供的过去编码运动矢量，并且将该运动矢量发送给运动补偿单元182。
算术单元173基于每个宏块的图像类型，执行关于从图像重排列单元172提供的宏块数据的运动补偿。具体地，算术单元173以帧内(intra)模式执行关于I图片的运动补偿；以前向预测模式执行关于P图片的运动补偿；以双向预测模式执行关于B图片的运动补偿。
这里所用的帧内(intra)模式指的是使用将要编码的帧图像不经改变地作为传输数据的方法。前向预测模式是使用将要编码的帧图像和过去参考图像之间的预测残差作为传输数据的方法。双向预测模式是使用将要编码的帧图像和过去与未来参考图像之间的预测残差作为传输数据的方法。
当宏块数据包含I图片时，在intra模式下处理宏块数据。即，算术单元173将输入宏块数据的宏块发送给DCT(离散余弦变换)单元175不经过改变地作为算术数据。DCT单元175对输入算术数据执行DCT变换处理以提供DCT系数，并且将其发送给量化单元176作为DCT系数数据。
根据从量化值确定单元177提供的量化值Q，量化单元176对输入DCT系数数据执行量化处理，并且将所得数据作为量化DCT系数数据发送给VLC(可变长度编码)单元178以及解量化单元179。根据从量化值确定单元177提供的量化值Q，量化单元176适应于通过在量化处理中调整量化阶的大小来控制要产生的码量。
发送到解量化单元179的量化DCT系数数据接受与量化单元176的量化阶大小相同的解量化处理，并且作为DCT系数数据被发送到逆DCT单元180。逆DCT单元180对所提供的CDT系数数据执行逆DCT处理，并且将所产生的算术数据发送到算术单元181，并且存储在帧存储器183中作为参考图像信号。
当宏块数据包括P图片时，算术单元173以前向预测模式执行关于宏块数据的运动补偿处理。当宏块数据包括B图片时，算术单元173以双向预测模式执行关于宏块数据的运动补偿处理。
根据运动矢量数据，运动补偿单元182对存储在帧存储器183中的参考图像数据执行运动补偿，以提供前向预测图像数据或双向预测图像数据。计算单元173使用从运动补偿单元182提供的前向预测图像数据或双向预测图像数据，执行关于宏块数据的减法处理。
即，在前向预测模式中，运动补偿单元182根据运动矢量数据改变帧存储器183中的读地址，以读取参考图像数据，并且将参考图像数据提供给算术单元173和算术单元181作为前向预测图像数据。算术单元173从所提供的宏块数据中减去前向预测图像数据，以获得作为预测残差的差数据。算术单元173接着将差数据发送给DCT单元175。
从运动补偿单元182将算术单元181提供前向预测图像数据，且算术单元181将前向预测图像数据加到从逆DCT单元提供的算术数据上，本地再现参考图像数据，并且将该再现数据输出到帧存储器183用于存储。
在双向预测模式中，运动补偿单元182根据运动矢量数据改变帧存储器183中的读地址，以读取参考图像数据，并且将参考图像数据提供给算术单元173和算术单元181作为双向预测图像数据。算术单元173从所提供的宏块数据中减去双向预测图像数据，以获得作为预测残差的差数据。算术单元173接着将差数据发送给DCT单元175。
从运动补偿单元182将双向预测图像数据提供给算术单元181，且算术单元181将双向预测图像数据加到从逆DCT单元提供的算术数据上，本地再现参考图像数据，并且将该再现数据输出到帧存储器183用于存储。
因而，输入到编码单元161的图像数据接受运动补偿预测处理、DCT处理、以及量化处理，并且被提供给VLC单元178作为量化的DCT系数数据。VLC单元178基于预定转换表执行关于量化DCT系数数据的可变长度编码处理，并且将所得可变长度编码数据发送到缓冲器184。缓冲器184缓冲所提供的可变长度编码数据，并且将所缓冲的可变长度编码数据输出到流开关186。
根据控制单元185进行的控制，流开关186输出从缓冲器184提供的可变长度编码数据。
量化值确定单元177不断地监测存储在缓冲器184中的可变长度编码数据的积累状态。根据控制单元185进行的控制，量化值确定单元177适应于基于表示从控制单元185提供的过去编码参数中所包含的存储状态或量化值Q的占有量信息，而确定量化阶的大小。
如上所述，当从控制单元185将包含在过去编码参数中的量化值Q提供给量化值确定单元177，且可以重使用过去编码中的量化值时，量化值确定单元177可以基于包含在过去编码参数中的量化值Q来确定量化阶大小。
在量化值确定单元177不基于历史信息确定量化阶大小的情况下，当实际产生的宏块的生成码量大于预期的生成码量时，量化值确定单元177增加量化阶大小，以降低生成码量。当实际的生成码量小于预期的生成码量时，量化值确定单元177降低量化阶大小，以增加生成码量。
即，通过估计存储在解码器侧设置的VBV缓冲器中的可变长度编码数据的积累状态的进展，量化值确定单元177获得虚拟缓冲器的缓冲器占有量以确定量化值Q，并且将量化值Q提供给量化单元176。
第j宏块的虚拟缓冲器的缓冲器占有量d(j)表达为下述式(1)，并且第(j+1)宏块的虚拟缓冲器的缓冲器占有量d(j+1)表达为下述式(2)。通过从式(1)中减去式(2)，第(j+1)宏块的虚拟缓冲器的缓冲器占有量d(j+1)表达为下述式(3)。
d(j)＝d(0)+B(j-1)-{T×(j-1)/MBcnt}...(1)其中d(0)表示初始缓冲器容量，B(j)表示第j宏块的生成码的比特数目，MBcnt表示一幅图片中宏块的数目，且T表示每幅图片的预期生成码量。
d(j+1)＝d(0)+B(j)-(T×j)/MBcnt...(2)d(j+1)＝d(j)+{B(j)-B(j-1)}-T/MBcnt...(3)当图片中的宏块被分为帧内条层部分和帧间条层部分时，量化值确定单元177单独地设定预期生成码量Tpi和预期生成码量Tpp，它们被分别分配到帧内条层部分的宏块和帧间条层部分的宏块中。
因而，生成码量控制单元92将缓冲器占有量d(j+1)和由式(4)表达的常数r代入式(5)，从而确定宏块(j+1)的量化指数数据Q(j+1)，并且将量化指数数据Q(j+1)提供给量化单元75。
r＝(2×br)/pr ...(4)Q(j+1)＝d(j+1)×(31/r)...(5)其中br表示比特率，且pr表示图片速率。
基于量化值Q，量化单元176确定下一宏块的量化阶大小，并且根据量化阶大小来量化DCT系数数据。
结果，量化单元176可以根据量化阶大小来量化DCT系数数据，其中该量化阶大小是基于用于前一图片的且为下一图片的预期生成码量而最优化的实际生成码量来确定的。
因而，根据缓冲器184的数据占有量，量化单元176可以执行量化，使得缓冲器184不上溢或下溢，并且还能产生量化DCT系数数据，该量化DCT系数数据被量化得使得解码器侧的VBV缓冲器不上溢或下溢。
在上述说明中，描述了为每幅图片执行编码处理的情况。然而，当为每个条层或为每个宏块执行编码处理而不是为每幅图片执行编码处理时，以基本相同的方式执行编码处理。
本发明也可以类似地应用于在参照图4所描述的情况下适应于防止由于重编码的图像恶化的系统，其中该情况是输入图像被编码为高比特率的MPEG长GOP，并且通过对GOP进行解码而将其重编码为低比特率长GOP。图9是示出根据本发明的系统配置的框图，其中该系统适应于当输入图像被编码为高比特率的MPEG长GOP，且通过对该长GOP进行解码，该长GOP被重编码为低比特率长GOP时，防止由于重编码的图像恶化，而同时防止VBV缓冲器失败。用相同参考标号表示对应图4情况下的单元，并且适当省略其描述。
即，图9所示系统具有代替代码转换器131的代码转换器201。代码转换器201具有与代码转换器131基本相同的配置，不同在于设置了可以选择可重使用的历史信息(参数信息)的编码单元211代替编码单元142，以便对应所提供的流的条件。除了从解码单元141输出的已编码信号之外，输入到解码单元141的流数据也输入到编码单元211。
如果接收到代码转换器51编码的MPEG长GOP的流(ASI流)数据，当解码单元141对高比特率MPEG长GOP进行解码时，代码转换器201获得必要编码参数，并且将解码视频数据和所获得的编码参数提供给编码单元211。根据需要，编码单元211使用所提供的编码参数对视频数据进行编码，使得它成为低比特率MPEG长GOP，且输出已编码的低比特率MPEG长GOP的流(ASI流)数据。
图10是示出编码单元211的配置的框图。在图10中，对应图6中编码单元161的单元由相同参考标号表示，并且适当省略其描述。
编码单元211具有与图6所示的编码单元161基本相同的配置，不同在于省略了历史提取单元171，并且增加了参数输入单元221，用于获得从解码单元141提供的参数并且将参数提供给控制单元185。
控制单元185从参数输入单元221接收包含与参照图7和图8描述的历史信息相似的信息的参数信息。基于参数信息中描述的内容是否符合预定条件，控制单元185控制图像重排列单元172、运动矢量检测单元174、量化值确定单元177、以及流开关186的部分或全部处理。
具体地，控制单元185确定先前编码中的延迟模式、图片结构、以及影像还原(pulldown)模式是否与当前编码中的相符合。当确定它们彼此不符合时，控制单元185确定执行下述规则编码，而不重使用这些参数。延迟模式是在参数信息中，以与SMPTE 329M中的sequence_extension()函数中的low_delay相同的方式描述的信息。图片结构和影像还原(pulldown)模式是在参数信息中，以与SMPTE329M中的picture_coding_extension()函数中的picture_structure、top_field_first、以及repeat_first_field相同的方式描述的信息。
确定先前编码中的延迟模式、图片结构和影像还原(pulldown)模式与当前编码中的相符合之后，控制单元185确定接着要编码的图像帧是否与历史信息指示的已编码图像帧匹配。如果确定图像帧彼此不匹配，控制单元185仅重使用图片类型信息(参数信息中以与extension_and_user_data(2)中的user_data(2)中描述的picture_coding_type相同的方式描述的信息，此picture_coding_type参照图8描述)。通过对参数信息中以与SMPTE 329M中的sequence_header()函数中描述的horizontal_size_value和vertical_size_value，以及SMPTE 329中的v_phase和h_phase相同的方式描述的信息执行比较，来确定图像帧是否彼此匹配。
当确定将要重使用先前编码中的图片类型时，图像重排列单元172根据从控制单元185提供的控制信号，基于包含在参数信息中的图片类型重排列图像。
如果确定图像帧彼此匹配，控制单元185确定先前编码中的比特率是否比当前编码中的比特率低，以及先前编码中的色度格式是否大于或等于当前色度格式。当不满足以上条件中的任一条件时，除了图片类型信息以外，控制单元185还重使用运动矢量信息(在参数信息中以与在picture_data()函数中的slice()函数中描述的motion_vectors信息相同的方式描述的信息)。在参数信息中以与在SMPTE 329M中的extension_and_user_data(2)的user_data(2)的bit_rate_value相同的方式描述比特率信息。在参数信息中以与在SMPTE 329M中的sequence_header()函数中的chroma_format相同的方式描述色度格式信息。
响应来自控制单元185的过去编码运动矢量信息，运动矢量检测单元174重使用该运动矢量信息作为运动矢量。
如果确定先前编码中的比特率低于当前编码中的比特率，且先前编码中的色度格式大于或等于当前色度格式，控制单元185确定参数中的色度格式是否匹配当前色度格式。当确定它们并不彼此匹配时，除了图片类型和运动矢量，控制单元185还重使用量化值(q_scale)。
根据从控制单元185提供的控制信号，量化值确定单元177将过去编码中使用的量化值提供给量化单元176，以使得执行量化。
如果确定了色度格式和当前色度格式彼此匹配，控制单元185控制流开关186输出输入到解码单元141的流数据。
在图10所示的编码单元211中，由于除了控制单元185执行的关于是否重使用参数信息中包含的先前编码信息的处理以外，还以与参照图6所述的编码单元161执行的处理相同的方式执行规则编码处理。因而，将省略规则编码处理的详细描述。
即，当不重使用历史信息或参数信息时，参照图6描述的编码单元161和参照图10描述的编码单元211执行规则编码。当重使用图片类型时，编码单元161和编码单元211重使用包含在历史信息中的SMPTE 329M picture_coding_type，或包含在参数信息中的类似信息。进一步地，当重使用运动矢量时，编码单元161和编码单元211通过从包括在历史信息中的red_bw_indicator＝0或包括在参数信息中的类似信息中排除q_scale_code而重使用获得的信息。当重使用量化值时，编码单元161和编码单元211重使用包括在历史信息中的red_bw_indicator＝0或包括在参数信息中的类似信息。当使用输入到编码器中的流时，控制流开关186，使得输出先前阶段中输入到解码单元的流数据。
接着，参照图11描述图6所示的编码单元161和图10所示的编码单元211所执行的处理。
在步骤S1中，控制单元185从历史信息提取单元171接收历史信息，或从参数输入单元221接收参数信息。控制单元185参考包含在历史信息中的SMPTE 329M sequence_extension()函数中的low_delay和picture_coding_extension()函数中的picture_structure、top_field_first、及repeat_first_field，或者参考与这些信息相似的且包含在参数信息中的信息，以确定先前编码中的延迟模式、图片结构、以及影像还原(pulldown)模式是否符合当前编码的编码条件。
在步骤S1中，如果确定先前编码中的延迟模式、图片结构、以及影像还原(pulldown)模式与当前编码中的编码条件不相符合，控制单元185在步骤S2中确定不重使用参数，控制编码单元161或编码单元211的单独单元执行编码，并且完成处理。
如果在步骤S1中确定先前编码中的延迟模式、图片结构、以及影像还原(pulldown)模式与当前编码的编码条件相符合，则在步骤S3中，控制单元185参考SMPTE-329M序列头()中描述的horizontal_size_value和vertical_size_value以及SMPTE-329Mv_phase和h_phase，或与这些信息相似且包括在参数信息中的信息，以确定执行先前编码的图像帧和重编码时刻的图像帧在位置和大小上是否都彼此匹配。
如果在步骤S3中确定执行先前编码的图像帧和重编码时刻的图像帧至少在位置和大小之一方面不匹配，控制单元185在步骤S4中确定重使用图片类型的信息(picture_coding_type)用于编码，控制图像重排列单元172执行处理，例如通过重使用所提供的图片类型信息重排列图像，并且控制其他单元执行编码，从而完成处理。
如果在步骤S3中确定执行先前编码的图像帧和重编码时刻的图像帧在位置和大小方面都匹配，则在步骤S5中，控制单元185参考包含在历史信息中的SMPTE-329M extension_and_user_data(2)中的user_data(2)中的bit_rate_value和sequence_header()函数中的chroma_format，或者与这些信息相似且包含在参数信息中的信息，以确定先前编码中的比特率是否低于当前编码中的比特率，以及先前编码中的色度格式是否大于或等于当前色度格式。
如果在步骤S5中确定先前编码中的比特率大于当前编码中的比特率，或先前编码中的色度格式小于当前色度格式时，控制单元185在步骤S6确定将要重使用图片类型和运动矢量信息(motion_vectors信息)用于编码。进一步地，控制单元185控制图像重排列单元172执行处理，例如通过重使用所提供的图片类型信息重排列图像，将过去编码中的运动矢量信息提供给运动矢量检测单元174用于重使用，控制其它单元执行编码，并且完成处理。
当在步骤S5中确定先前编码中的比特率低于当前编码中的比特率，且先前编码中的色度格式大于或等于当前色度格式时，则在步骤S7中，控制单元185从解码单元接收参数(即，参数信息用来执行重使用/编码，而不是使用历史信息执行重使用/编码)，并且参考包含在所提供的参数信息中的与SMPTE 329 sequence_header()中的chroma_format相似的信息，以确定参数中的色度格式与当前色度格式是否匹配。即，当包括编码单元211的代码转换器201执行从例如4:2:0格式到4:2:2格式的格式转换时，确定色度格式彼此不匹配。
如果在步骤S7中确定历史信息是从解码单元161中提供的，而不是从解码单元141中提供的参数时，或者如果确定参数信息中的色度格式与当前色度格式不匹配，控制单元185在步骤S8确定将要重使用图片类型、运动矢量、以及量化值信息(q_scale)以执行编码。因而，控制单元185控制图像重排列单元172执行处理，例如通过重使用所提供的图片类型信息重排列图像，并且将过去编码中的运动矢量信息提供给运动矢量检测单元174，以使得重使用该运动矢量信息。控制单元还使得量化值确定单元177将包含在历史信息或参数信息中的量化值提供给量化单元176，使得它执行量化，并且控制其它单元执行编码，从而完成处理。
在步骤S7中，当参数是从解码单元141提供的，且参数信息中的色度格式与当前色度格式相匹配时，在步骤S9中，控制单元185控制流开关186输出输入到解码单元141的流数据，从而完成处理。
通过这种处理，对先前编码和当前编码进行相互比较，并且基于所满足的条件，能够选择可重使用的编码信息。因而，即使当重复解码处理和编码处理时，仍可能防止图像数据恶化。
在图11所示的流程图中的描述中，在步骤S1、步骤S3、步骤S5、或步骤S7的处理中，比较先前编码中的编码参数和当前编码的条件以确定是否满足预定的条件。仍然，例如当数据传输系统中存在固定参数时，可以省略对参数的确定处理。
本发明还可以应用于例如以下情况中仅使用P图片且不使用使得重排列延迟的B图片和具有大量生成码的I图片，并且通过将P图片分离为包括多个条层的帧内条层和包括所有剩余条层的帧间条层，而执行低延迟编码，其中在所述低延迟编码中，可以执行编码而不进行重排列。
本发明还可以应用于以下情况中低延迟编码中的所有帧图像是P图片，且形成具有各种大小的区域。例子包括从帧大小为45个宏块宽且24个宏块高的帧图像的顶部开始的2个宏块高且45个宏块宽的区域被设定为一个帧内条层部分，且其它区域被设定为帧间条层部分的情况，以及将1个宏块高且45个宏块宽的区域设定为帧内条层部分的情况。
此外，虽然上述实施例中的描述是在本发明应用于根据MPEG方案执行压缩和编码的编码单元161或编码单元211的情况下给出的，但是本发明不被限制于此。因而，本发明可以应用于根据各种类型的图像压缩方案的编码设备。
在上述实施例中，虽然用于转换流数据的每个代码转换器被描述为具有解码单元和编码单元，但是本发明也可以应用于解码单元和编码单元被配置为作为解码设备和编码设备的独立设备的情况。
因而在上述实施例中，虽然每个代码转换器被描述为转换流数据，例如，可以配置用于将流数据解码成基带信号的解码设备251和用于将基带信号编码成流数据的编码设备252，作为彼此独立的设备，如图12所示。进一步地，本发明还可以应用于以下情况解码设备251对所提供的流数据进行不完全解码，且对应的编码设备252对相应于不完全解码数据的部分进行部分编码。
例如，当解码设备251仅对VLC码执行了解码和解量化，且没有执行逆DCT时，编码设备252执行量化和可变长度编码处理，但是不执行DCT转换处理。不必说，本发明能够应用于确定关于是否重使用执行上述部分编码(即从中途水平编码)的编码设备252所执行的量化中的量化值。
进一步地，本发明还能够应用于如下情况编码设备252将解码设备251完全解码的基带信号编码为中途水平(例如，执行DCT转换和量化，但不执行可变长度编码处理)，以及如下情况由于解码设备251不完全解码数据而编码为中途水平的数据(由于仅对VLC码执行解码和解量化，但不执行逆DCT转换)进一步由编码设备252编码为中途水平(例如，执行量化但不执行可变长度编码处理)。
进一步地，本发明还能够应用于包括用于执行这种部分解码的解码设备251和用于执行部分编码的编码单元252的代码转换器261。这种代码转换器261用于如下情况例如使用用于执行如剪接的编辑的编辑设备262。
本发明所应用的每个代码转换器也可以应用于在存储介质上记录信息的信息记录设备，和用于再现记录在存储介质上的信息的信息再现设备。
图13是示出根据本发明的信息记录设备271的配置。
信息记录设备271包括参照图5和图6描述的代码转换器151、信道编码单元275、以及用于在存储介质273上记录信息的记录单元276。
如与上述相同的方式，从外界输入的信息由代码转换器151进行处理，并且提供到信道编码单元275。将用于纠错的奇偶码附加在从代码转换器151输出的比特流中之后，信道编码单元275例如基于NRZI(反向非归零)调制方案对比特流执行信道编码处理，并且将已编码的流提供到记录单元276。
存储介质273可以采取任何可以记录信息的形式。例子包括光盘，例如CD-ROM(紧凑盘只读存储器)或DVD(数字多用途盘)；磁光盘，例如MD(小型盘)(注册商标)；半导体存储器；或磁带，例如录像带。
记录单元276适应于允许所提供的信息以对应存储介质273的记录格式记录在存储介质273上。例如，当存储介质273是光盘时，记录单元276配置为包括用于用激光光线照射存储介质273的激光。当存储介质276是磁带时，记录单元276配置为包括磁记录头。
图14是示出根据本发明的信息再现设备281的配置的框图。
信息再现设备281包括用于从存储介质273再现信息的再现处理单元285、信道解码单元286、以及参照图5和图6描述的代码转换器151。
再现处理单元285适应于允许记录在存储介质273上的信息通过对应存储介质273的方法再现，并且允许再现信号提供到信道解码单元286。例如，当存储介质273是光盘时，再现处理单元285配置为包括光学拾波器。当存储介质273是磁带时，再现处理单元285配置为包括磁再现头。
信道解码单元286对再现信号执行信道解码，使用奇偶码执行纠错处理，并且在纠错之后接着将再现信息提供给代码转换器151。以与上述相同的方式，提供给代码转换器151的信息由代码转换器151处理，并且输出该信息。
图15是示出根据本发明的信息记录设备291的配置的框图。
信息记录设备291包括参照图9和图10所述的代码转换器201、信道编码单元275、以及用于在存储介质273上记录信息的记录单元276。
以与上述相同的方式，代码转换器201处理从外部输入的信息，并且该信息被提供给信道编码单元275。将用于纠错的奇偶码附加在从代码转换器201输出的比特流中之后，信道编码单元275例如基于NRZI(反向非归零)调制方案对比特流执行信道编码处理，并且将已编码的流提供到记录单元276。记录单元276在存储介质273上记录所提供的信息。
图15所示的信息记录设备291可以在存储介质273上的不同位置记录编码参数和视频数据。
图16是示出根据本发明的信息再现设备295的配置的框图。
信息再现设备295包括用于从存储介质273再现信息的再现处理单元285、信道解码单元286、以及参照图9和图10描述的代码转换器201。
再现处理单元285通过对应存储介质273的方法，再现记录在存储介质273上的信息，并且将再现信号提供给信道解码单元286。信道解码单元286对再现信号执行信道解码，使用奇偶码执行纠错处理、并且在纠错之后将再现信息提供给代码转换器201。以与上述相同的方式，提供给代码转换器201的信息由代码转换器201进行处理，并且输出该信息。
上述处理序列可以通过硬件执行，也可以通过软件执行。在这种情况下，例如代码转换器151和代码转换器201的每一个都由图17所示的个人计算机301来实现。
在图17中，CPU(中央处理单元)311根据存储在ROM(只读存储器)312中的程序或从存储单元318装载到RAM(随机存取存储器)313中的程序执行各种类型的处理。根据需要，RAM 313还存储例如CPU 311执行各种类型的处理所需的数据。
CPU 311、ROM 312、以及RAM 313通过总线314互联。输入/输出接口315也连接到总线314。
包括键盘和鼠标的输入单元316、包括显示器和扬声器的输出单元317、包括硬盘的存储单元318、以及包括调制解调器或终端适配器的通信单元319连接到输入/输出接口315。通信单元319执行用于通过包括因特网的网络的通信的处理。
根据需要，驱动器320也连接到输入/输出接口315，并且例如磁盘331、光盘332、磁光盘333、或半导体存储器334适当地附加在驱动器320上。根据需要，从盘读取的计算机程序安装在存储单元318上。
当处理序列由软件处理时，从网络或存储介质上将用于实现软件的程序安装到并入专用硬件的计算机上，或安装到例如可以通过安装各种程序来执行各种功能的通用个人计算机上。
存储介质可以是存储程序的封装介质，并且从设备主单元单独地分发该封装介质，以向用户提供程序。如图17所示，封装介质的例子是磁盘331(包括软盘)，光盘332(包括CD-ROM(紧凑盘只读存储器)或DVD(数字多用途盘)，磁光盘333(包括MD(小型盘)(注册商标))，或半导体存储器343。存储介质也可以是其中存储程序的ROM 312或包括在存储单元318中的硬盘，其中ROM 312或硬盘以预安装在计算机上的状态被提供给用户。
在此，用于描述记录在存储介质上的程序的步骤不仅包括根据所包括的序列以时间顺序执行的处理，而且还包括不需要以时间顺序处理而同时或单独执行的处理。
在此的系统指的是由多个设备组成的整个设备。
工业实用性如上所述，根据本发明，可以对图像数据编码。特别地，本发明获得关于编码的信息，并且将该信息与关于编码的条件进行比较，从而允许从关于编码的信息中选择可重使用的信息。
本发明的另一个方面可以转换图像数据，并且也获得编码时关于编码的信息，并且将该信息与关于编码的条件进行比较，从而允许从关于编码的信息中选择可重使用的信息。
权利要求
1.一种用于执行编码处理的图像处理设备，该编码处理用于对编码到中途水平的图像数据或基带图像数据进行完全编码或编码到中途水平，所述图像处理设备包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中关于编码的信息由获得装置获得。
2.如权利要求1所述的图像处理设备，其中，当关于编码的信息中描述的过去编码中的延迟模式、图片结构、以及影像还原模式符合关于编码处理的条件时，控制装置使用关于编码的信息中所描述的图片类型信息来控制编码处理。
3.如权利要求2所述的图像处理设备，其中，当过去编码中的图像帧、在关于编码的信息中所描述的图像帧、以及编码处理中的图像帧在位置和大小上彼此匹配时，控制装置进一步使用关于编码的信息中所描述的运动矢量信息来控制该编码处理。
4.如权利要求3所述的图像处理设备，其中，当过去编码中的比特率比编码处理中的比特率小，并且过去编码中的色度格式大于或等于编码处理中的色度格式时，控制装置进一步使用关于编码的信息中所描述的量化值信息来控制该编码处理，其中过去编码中的比特率即关于编码的信息中描述的比特率，过去编码中的色度格式即在关于编码的信息中描述的色度格式。
5.如权利要求1所述的图像处理设备，进一步包括输出装置，它响应提供给对图像数据进行解码的另一图像处理设备的第一已编码数据，以及在控制装置控制的编码处理中产生的第二已编码数据，输出第一已编码数据或第二已编码数据，其中，当关于编码的信息中所描述的过去编码中的延迟模式、图片结构、影像还原模式、图像帧的位置和大小、以及色度格式符合关于编码处理的条件，并且过去编码中的比特率，即关于编码的信息中所描述的比特率比编码处理中的比特率小时，控制装置进一步控制输出装置以输出第一已编码数据。
6.一种用于执行编码处理的图像处理设备的图像处理方法，该编码处理用于对编码到中途水平的图像数据或基带图像数据进行完全编码或编码到中途水平，该方法包括获得关于过去对图像数据执行的编码的信息；基于所获得的关于编码的信息，和关于将由图像处理设备对图像数据执行的编码处理的条件，从关于编码的信息中选择编码处理中可使用的信息；以及基于关于编码的所选信息，控制该编码处理。
7.一种记录着计算机可读程序的存储介质，该程序使得计算机执行处理，该处理用于响应关于过去对图像数据执行的编码的信息，对编码到中途水平的图像数据或基带图像数据进行完全编码或编码到中途水平，该程序包括比较步骤，比较所提供的关于编码的信息与关于要对图像数据执行的编码处理的条件，以及选择步骤，基于比较步骤中的处理提供的比较结果，从关于编码的信息中选择在编码处理中可用的信息。
8.一种使得计算机执行处理的程序，该处理用于响应关于过去对图像数据执行的编码的信息，对编码到中途水平的图像数据或基带图像数据进行完全编码或编码到中途水平，该程序包括比较步骤，比较所提供的关于编码的信息与关于要对图像数据执行的编码处理的条件，以及选择步骤，基于比较步骤中的处理提供的比较结果，从关于编码的信息中选择在编码处理中可用的信息。
9.一种用于转换图像数据的信息处理设备，包括解码装置，用于执行解码处理，以对所提供的图像数据进行完全或不完全解码；以及编码装置，用于执行编码处理，以将由解码装置完全解码的基带图像数据或由解码装置执行的不完全解码所产生并且编码为中途水平的图像数据完全编码或编码为中途水平，其中该编码装置包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中关于编码的信息由获得装置获得。
10.一种用于转换图像数据的信息处理设备的信息处理方法，该方法包括解码步骤，对所提供的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平，其中该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
11.一种记录着计算机可读程序的存储介质，该程序使得计算机执行用于转换图像数据的处理，该程序包括解码步骤，对所提供的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平，其中该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
12.一种使得计算机执行转换图像数据的处理的程序，该程序包括解码步骤，对所提供的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平，其中该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤的处理中获得所述关于编码的信息。
13.一种用于记录图像数据的信息记录设备，包括解码装置，用于对所提供的图像数据进行完全或不完全解码；编码装置，用于执行编码处理，以将解码装置完全解码的基带图像数据或由解码装置执行的不完全解码所产生的且编码为中途水平的图像数据完全编码或编码为中途水平；以及记录控制装置，用于控制编码装置编码的图像数据的记录，其中该编码装置包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中关于编码的信息由获得装置获得。
14.如权利要求13的信息记录设备，其中记录控制装置控制将编码装置所编码的图像数据以及关于对图像数据执行的编码的信息记录到不同位置上。
15.一种用于记录图像数据的信息记录设备的信息记录方法，该方法包括解码步骤，对所提供的图像数据进行完全或不完全解码；编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤的处理中执行的不完全解码所产生的并且编码为中途水平的图像数据完全编码或编码为中途水平；以及记录控制步骤，控制编码步骤的处理中编码的图像数据的记录，其中编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中在获得步骤中获得所述关于编码的信息。
16.一种用于再现图像数据的信息再现设备，包括再现装置，用于再现记录在预定存储介质上的图像数据；解码装置，用于对再现装置所再现的图像数据进行完全或不完全解码；以及编码装置，用于执行编码处理，以将解码装置完全解码的基带图像数据或由解码装置执行的不完全解码所产生的且编码为中途水平的图像数据完全编码或编码为中途水平，其中该编码装置包括获得装置，用于获得关于过去对图像数据执行的编码的信息；以及控制装置，用于基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中关于编码的信息由获得装置获得。
17.一种用于再现图像数据的信息再现设备的信息再现方法，该方法包括再现步骤，再现记录在预定存储介质上的图像数据；解码步骤，对再现步骤的处理中所再现的图像数据进行完全或不完全解码；以及编码步骤，执行编码处理，以将解码步骤的处理中完全解码的基带图像数据或在解码步骤中执行的不完全解码所产生的且编码为中途水平的图像数据完全编码或编码为中途水平，其中该编码步骤中的处理包括获得步骤，获得关于过去对图像数据执行的编码的信息；以及控制步骤，基于关于编码的信息和关于编码处理的条件，通过从关于编码的信息中选择编码处理中可使用的信息，控制要由图像处理设备对图像数据执行的编码处理，其中关于编码的信息由获得步骤的处理中获得。
全文摘要
根据本发明，通过比较关于编码的信息和关于编码处理的条件，能够选择可以重使用的信息。如果先前编码的延迟模式、图片结构、以及影像还原模式与重编码中的不相符，则不重使用参数，并且当它们匹配，且图像帧不匹配时，重使用图片类型。如果先前编码的比特率低于当前编码，且色度格式大于当前编码时，重使用图片类型和运动矢量。如果这些条件不满足，提供参数并且判断色度格式是否符合。如果不符合，则重使用关于图片类型、运动矢量和量化值的信息，且如果符合，则输出已经输入到解码部分的流数据。本发明可以应用于编码部分、编码设备、或代码转换器。
文档编号H04N7/32GK1788496SQ200480012858
公开日2006年6月14日 申请日期2004年5月14日 优先权日2003年5月14日
发明者柴田正二郎, 加藤吾郎, 上野弘道 申请人:索尼株式会社