专利名称：光盘、光盘再生和记录装置及再生控制信息生成装置的制作方法
技术领域：
本发明涉及记录了高质量视频图像及一般视频图像的光盘、以及该光盘的记录再生装置。
背景技术：
迄今，作为记录了高质量视频图像的光盘和再生装置，研究了被称为480P、720P的循序记录方式。另外，作为光盘的再生控制方式，已知使用一个MPEG解码器的再生控制方式。
首先，说明现有方式的第一个课题。用标准的再生装置使现有的高质量视频图像记录型光盘再生时，不能输出普通的视频图像。如果不是与高质量对应的再生装置，就不能使高质量视频图像记录光盘再生。因此，有必要制作两种相同内容的光盘。就是说现有的视频图像质量高的光盘与普通视频图像之间没有互换性。其次说明本发明的目的。本发明的第一个目的在于提供一种具有互换性的视频图像质量高的光盘及再生系统。
如果明确地定义互换性，则恰好就是过去的单声道录音机和立体声录音机的关系的互换性。就是说，本发明的新的立体光盘或高分辨率光盘在使用现有的DVD等再生装置的情况下，能以通常的分辨率输出，在使用应用了本发明的再生装置的情况下，能输出高分辨率视频图像。
其次，作为第二课题说明再生控制方式的课题。现有的再生控制方式是使用一个译码器使一个流再生的方式。因此为了使两个流的视频图像信号不间断地无缝连接，就需要有复杂的系统。本发明的第二个目的在于设计出一种能以简单的程序不间断地连接多个流的再生控制方法。
发明的公开本发明的光盘再生装置是使光盘中记录的信号再生的光盘再生装置，在上述光盘中至少记录了表示视频图像信号的低频分量的第一视频图像流、以及上述视频图像信号中至少表示高频分量的第二视频图像流，上述第一视频图像流包括多个第一交错单元，上述第二视频图像流包括多个第二交错单元，上述多个第一交错单元中的每个单元包括m1(m1是1以上的整数)个GOP，上述多个第二交错单元中的每个单元包括m2(m2是1以上的整数)个GOP，上述光盘再生装置备有使上述光盘中记录的上述第一视频图像流和上述第二视频图像流再生的再生部分；将上述再生的第一视频图像流分解成上述多个第一交错单元，将上述再生的第二视频图像流分解成上述多个第二交错单元的分解部分；通过对上述多个第一交错单元进行译码，生成表示上述视频图像信号的上述低频分量的第一再生信号，通过对上述多个第二交错单元进行译码，生成上述视频图像信号中至少表示上述高频分量的第二再生信号的译码部分；通过将上述第一再生信号和上述第二再生信号合成而生成上述视频图像信号的合成部分；以及有选择地输出上述第一再生信号、上述第二再生信号和上述视频图像信号中的至少一个的输出部分，通过这样构成能达到上述目的。
上述多个第一交错单元中的每个单元对应地分配给与再生时间相关的第一时间信息，上述多个第二交错单元中的每个单元对应地分配给与再生时间相关的第二时间信息即可。
上述光盘再生装置还备有生成基准时刻信号的基准时刻信号生成部分；根据上述基准时刻信号和上述第一时间信息的差，控制上述第一再生信号的再生时刻的第一再生控制部分；根据上述基准时刻信号和上述第二时间信息的差，控制上述第二再生信号的再生时刻的第二再生控制部分；以及为了使供给上述第一再生控制部分的上述基准时刻信号和供给上述第二再生控制部分的上述基准时刻信号实际上表示同一时刻，而修正上述基准时刻信号的修正部分。
上述修正部分根据表示与上述视频图像信号同步输出的声音信号再生的时刻的声音再生时刻信息，修正上述基准时刻信号即可。
上述修正部分根据表示上述第一再生信号再生的时刻的第一视频图像再生时刻信息及表示上述第二再生信号再生的时刻的第二视频图像再生时刻信息两者中的至少一者，修正上述基准时刻信号即可。
上述第一再生控制部分通过使上述第一再生信号的帧跳过或反复再生，控制上述第一再生信号的再生时刻，上述第二再生控制部分通过使上述第二再生信号的帧跳过或反复再生，控制上述第二再生信号的再生时刻即可。
上述第一时间信息及上述第二时间信息两者中的至少一者包括PTS、DTS及SCR三者中的至少一者即可。
上述第一再生信号对应于第一象素数，上述第二再生信号对应于比上述第一象素数多的第二象素数，上述合成部分备有将上述第一再生信号变换成与上述第二象素数对应的变换信号的变换器，通过对上述变换信号和上述第二再生信号进行合成，获得上述视频图像信号即可。
在上述光盘中还记录着表示与上述第一再生信号对应的第一象素数的识别符，上述变换器根据上述识别符，将上述第一再生信号变换成上述变换信号即可。
在上述光盘中还记录着表示与上述第一再生信号对应的第一象素数的识别符，上述光盘再生装置还备有控制上述光盘的旋转的旋转控制部分，上述旋转控制部分根据上述识别符控制上述光盘的旋转即可。
在上述光盘中还记录着表示每一秒钟对24帧至30帧的循序的视频图像信号进行编码后的上述视频图像信号的识别符，上述输出部分备有将上述第一再生信号、上述第二再生信号及上述视频图像信号中的任意一者变换成帧信号的变换器，上述输出部分通过反复输出上述帧信号，每一秒钟输出60帧的循序的视频图像信号即可。
上述光盘再生装置还备有存储上述多个第一交错单元和上述多个第二交错单元的缓冲存储部分，上述缓冲存储部分的容量为上述第二交错单元中包含的GOP的数据量以上即可。
上述缓冲存储部分的容量也可以在1MB以上。
本发明的光盘至少记录了表示视频图像信号的低频分量的第一视频图像流、以及上述视频图像信号中至少表示高频分量的第二视频图像流，上述第一视频图像流包括多个第一交错单元，上述第二视频图像流包括多个第二交错单元，上述多个第一交错单元中的每个单元包括m1(m1是1以上的整数)个GOP，上述多个第二交错单元中的每个单元包括m2(m2是1以上的整数)个GOP，通过这样构成能达到上述目的。
这样构成上述多个第一交错单元和上述多个第二交错单元，以便上述多个第一交错单元中的一个再生时间和上述多个第二交错单元中对应的一个再生时间实际上相等。
本发明的光盘记录装置备有将视频图像信号分离成表示上述视频图像信号的低频分量的第一视频图像信号、以及上述视频图像信号中至少表示高频分量的第二视频图像信号的分离部分；通过对上述第一视频图像信号进行编码，生成第一视频图像流，通过对上述第二视频图像信号进行编码，生成第二视频图像流的编码部分，上述第一视频图像流包括多个第一交错单元，上述第二视频图像流包括多个第二交错单元，上述多个第一交错单元中的每个单元包括m1(m1是1以上的整数)个GOP，上述多个第二交错单元中的每个单元包括m2(m2是1以上的整数)个GOP；有选择地输出上述第一视频图像流中包括的上述多个第一交错单元和上述第二视频图像流中包括的上述多个第二交错单元的选择输出部分；以及将从上述选择输出部分输出的信号记录在光盘上的记录部分，通过这样构成能达到上述目的。
上述分离部分备有对上述第一视频图像流进行译码的译码器、以及运算上述视频图像信号和从上述译码器输出的信号的差分的差分运算器，上述分离部分将从上述差分运算器输出的信号作为上述第二视频图像信号输出即可。
上述分离部分还备有第一变换器和第二变换器，上述第一变换器将上述视频图像信号变换成比对应于上述视频图像信号的第一象素数少的对应于第二象素数的第一变换信号，上述第二变换器将从上述译码器输出的信号变换成比对应于从上述译码器输出的信号的第二象素数多的对应于第一象素数的第二变换信号，上述分离部分将上述第一变换信号作为第一视频图像信号输出，上述差分运算器运算上述视频图像信号和上述第二变换信号的差分即可。
上述记录部分还可以将表示上述第二视频图像信号是从上述差分运算器输出的信号的识别符记录在上述光盘中。
上述记录部分还可以将表示与上述视频图像信号对应的第一象素数的识别符记录在上述光盘中。
上述记录部分还可以将表示与上述第一视频图像信号对应的第二象素数的识别符记录在上述光盘中。
本发明的光盘记录装置备有输入对应于第一象素数的编码后的第一视频图像流、以及对应于与上述第一象素数不同的第二象素数的编码后的第二视频图像流的输入部分，上述第一视频图像流包括多个第一交错单元，上述第二视频图像流包括多个第二交错单元，上述多个第一交错单元中的每个单元包括m1(m1是1以上的整数)个GOP，上述多个第二交错单元中的每个单元包括m2(m2是1以上的整数)个GOP；有选择地输出上述第一视频图像流中包括的上述多个第一交错单元和上述第二视频图像流中包括的上述多个第二交错单元的选择输出部分；以及将从上述选择输出部分输出的信号记录在光盘上的记录部分，通过这样构成能达到上述目的。
本发明的光盘再生装置是使光盘中记录的信号再生的光盘再生装置，在上述光盘中至少记录了包括多个第一GOP的第一视频图像流和包括多个第二GOP的第二视频图像流，上述多个第一GOP中的每一个包括多个图像，上述多个第二GOP中的每一个包括多个图像，上述光盘再生装置备有使上述光盘中记录的上述第一视频图像流和上述第二视频图像流再生的再生部分；对上述第一视频图像流和上述第二视频图像流进行译码的译码部分；以及根据再生控制信息，有选择地输出上述译码后的第一视频图像流和上述译码后的第二视频图像流的输出部分，上述再生控制信息表示是继第一图像之后的第二图像，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中，即上述再生控制信息表示与上述开头的第二GOP的开头的图像不同的第二图像再生，通过这样构成能达到上述目的。
上述译码部分开始进行上述第二视频图像流的译码即可，以便在上述第一图像再生结束的时刻完成上述第二图像的译码。
上述再生控制数据包含表示上述第一图像位置的信息ts1、表示上述第二图像位置的信息ts2、以及表示上述开头的第二GOP的开头图像位置的信息tsG，上述译码部分根据ta＝ts1-(ts2-tsG)的计算式，求出译码开始位置ta，根据上述译码开始位置ta，开始进行上述第二视频图像流的译码即可。
上述再生控制数据包含表示上述开头的第二GOP的译码开始时刻的时刻信息，以便上述第一图像再生结束的时刻和上述第二图像再生开始的时刻一致，上述译码部分根据上述时刻信息，开始进行上述第二视频图像流的译码即可。
上述译码部分虽然对上述开头的第二GOP的上述开头图像至上述第二图像进行译码，但也可以省去不需要的图像的译码。
上述不需要的图像可以是B图像。
上述光盘再生装置还备有存储上述第一视频图像流和上述第二视频图像流的缓冲存储部分，上述缓冲存储部分的容量在1GOP以上的数据量即可。
在上述光盘上还记录着上述再生控制信息，上述再生部分使上述光盘上记录的上述再生控制信息再生即可。
在上述光盘上还记录着表示在上述光盘上是否记录了上述再生控制信息的识别符，在上述识别符表示在上述光盘上还记录着上述再生控制信息的情况下，上述再生部分使上述光盘上记录的上述再生控制信息再生即可。
在高速再生方式中，在上述第二图像不是I图像的情况下，上述输出部分禁止输出上述开头的第二GOP中包含的I视频图像即可。
上述输出部分根据I图像再生禁止信息，禁止输出上述开头的第二GOP中包含的I图像的一部分即可。
本发明的再生控制信息生成装置备有输入包含多个第一GOP的第一视频图像流和包含多个第二GOP的第二视频图像流的输入部分；以及生成表示使与上述开头的第二GOP的开头的图像不同的第二图像再生的再生控制信息的生成部分，上述第二图像是继上述第一图像之后的第二图像，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中，通过这样构成能达到上述目的。
上述再生控制数据包括表示从上述开头的第二GOP的上述开头图像到上述第二图像的图像数目的信息即可。
上述再生控制数据包括表示上述开头的第二GOP的上述开头图像应被再生的时刻和上述开头的第二GOP的上述第二图像应被再生的时刻的信息即可。
上述再生控制数据包括表示上述开头的第二GOP的译码开始时刻的时刻信息即可，以便上述第一图像的再生结束时刻和上述第二图像的再生开始时刻一致。
在对从上述开头的第二GOP的上述开头图像至上述第二图像中的图像译码时，在对不需要的图像不进行译码的情况下，上述时刻信息表示对上述开头的第二GOP开始译码的时刻即可。
上述不需要的图像可以是B图像。
本发明的光盘记录装置备有生成再生控制信息的生成部分、以及将上述再生控制信息记录在光盘上的记录部分，上述光盘上已经记录了包括多个第一GOP的第一视频图像流和包括多个第二GOP的第二视频图像流，上述再生控制信息表示使与上述开头的第二GOP的开头的图像不同的第二图像再生，上述第二图像是继上述第一图像之后的第二图像，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中，通过这样构成能达到上述目的。
本发明的光盘记录装置备有根据再生控制信息，编辑上述第一视频图像流和上述第二视频图像流的编辑部分，以便将再生时不需要的图像从包括多个第一GOP的第一视频图像流和包括多个第二GOP的第二视频图像流中删除；以及将上述编辑的第一视频图像流和上述编辑的第二视频图像流记录在光盘上的记录部分，上述再生控制信息表示使与上述开头的第二GOP的开头的图像不同的第二图像再生，上述第二图像是继上述第一图像之后的第二图像，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中，通过这样构成能达到上述目的。
上述再生时不需要的图像包括上述第一视频图像流中在上述第一图像之后的图像和上述第二视频图像流中在上述第二图像之前的图像即可。
上述再生时不需要的图像还可以包括在对上述第二视频图像流中上述开头的第二GOP的开头的图像至上述第二图像中的图像进行译码时不需要的图像。
上述不需要的图像可以是B图像。
上述记录部分也可以将上述编辑的第一视频图像流和上述编辑的第二视频图像流记录在上述光盘上的连续的区域。
上述记录部分也可以将上述再生控制信息记录在上述光盘上。
上述记录部分也可以将上述再生控制信息记录在上述光盘以外的记录媒体上。
附图的简单说明
图1是本发明的一实施形态的720P/480P层次型记录装置的框图。
图2是本发明的一实施形态的480i/480P/720P(60)再生装置的框图。
图3是本发明的一实施形态的480P/720P(24/60)再生装置的框图。
图4是本发明的一实施形态的水平方向合成方式再生装置(720P输出)的框图。
图5是本发明的一实施形态的3层次型记录装置的框图。
图6是本发明的一实施形态的帧单元的再生控制方式的记录再生装置的框图。
图7是本发明的一实施形态的再生控制信息记录方式的记录装置的流记录程序图。
图8是用现有的再生装置和用本发明的再生装置对本发明的一实施形态的光盘进行再生时的比较图。
图9是本发明的一实施形态的光盘的记录时间和容量的关系曲线图。
图10是本发明的一实施形态的层次型再生装置的480P再生方式的框图。
图11是表示本发明的一实施形态的再生控制信息的数据结构的图。
图12是表示本发明的一实施形态的记录装置的多个流的记录程序及再生装置的再生程序的图。
图13是本发明的一实施形态的再生装置根据再生控制信息对两个流进行再生控制的流程图。
图14是本发明的一实施形态的使流的时间标记连续时的再生控制信息的数据结构图。
图15是表示本发明的一实施形态的记录再生装置的记录及再生流的图。
图16是表示本发明的一实施形态的编辑及再生控制信息生成程序的流程图。
图17是本发明的一实施形态的包含管理信息数据分辨率的视频图像识别符的数据结构图。
图18是表示本发明的一实施形态的再生装置的另一方式的MPEG译码器的框图。
图19是本发明的一实施形态的多角度视频图像分割多路复用记录方式的原理图。
图20是表示本发明的一实施形态的将水平、垂直方向的插值信息分离后记录在交错块中的方法的图。
图21是本发明的一实施形态的沿水平方向二分割的MADM方式的原理图。
图22是表示本发明的一实施形态的再生装置的图像合成控制的图。
图23是本发明的一实施形态的输出循序信号、NTSC信号和HDTV信号的信号配置图。
图24是说明本发明的一实施形态的循序信号、立体信号、广角信号再生时的缓冲情况的图。
图25是本发明的一实施形态的再生装置的视频图像信号交错输出方式时的框图。
图26是本发明的一实施形态的使第一译码器和第二译码器之间AV同步的流程图。
图27是本发明的一实施形态的控制两个缓冲部分的流程图。
图28是本发明的一实施形态的数据流经过译码器的缓冲、译码处理后，被再生输出的时序图。
图29是表示本发明的一实施形态的系统控制部分M1-9进行的程序链群的再生处理的详细程序的流程图。
图30是表示本发明的一实施形态的关于AV同步控制12-10的进行AV同步的部分结构的框图。
图31是本发明的一实施形态的数据复合处理部分的框图。
图32是表示本发明的一实施形态的视频图像识别符的信号格式的图。
图33是本发明的一实施形态的无接缝连接时的STC切换的流程图。
图34是表示本发明的一实施形态的水平滤波电路的处理的图。
图35是本发明的一实施形态的光盘再生装置的结构框图。
图36是本发明的一实施形态的视频译码器的结构图。
图37是表示本发明的一实施形态的光盘上的数据结构的图。
图38是本发明的一实施形态的视频图像再生的时序图。
图39是本发明的一实施形态的光盘再生装置的结构框图。
图40是本发明的一实施形态的音频译码器的结构图。
图41是表示本发明的一实施形态的光盘上的数据结构的图。
图42是本发明的一实施形态的声音、视频图像再生的时序图。
图43是表示本发明的一实施形态的光盘再生装置的图。
图44是本发明的一实施形态的视频译码器的结构图。
图45是本发明的一实施形态的视频图像再生的时序图。
图46是本发明的一实施形态的光盘再生装置的结构框图。
图47是本发明的一实施形态的视频译码器的结构图。
图48是本发明的一实施形态的视频译码器的结构图。
图49是本发明的一实施形态的视频译码器的结构图。
图50是本发明的一实施形态的光盘再生装置的结构框图。
图51是本发明的一实施形态的音频译码器的结构图。
图52是表示本发明的一实施形态的光盘上的数据结构的图。
图53是本发明的一实施形态的声音、视频图像再生的时序图。
图54是本发明的一实施形态的声音再生和工作频率的时序图。
图55是本发明的一实施形态的声音再生和工作频率的时序图。
图56是表示本发明的一实施形态的再生装置的流的流动情况的图。
图57是表示本发明的一实施形态的记录再生装置的MPEG编码和编辑/再生控制信息生成和再生控制程序的流程图。
图58是本发明的一实施形态的帧单元的再生控制方式的记录再生装置的框图。
图59是表示本发明的一实施形态的不需要的帧的删除程序的图。
图60是本发明的一实施形态的相互认证方式的再生装置和TV监视器的框图。
实施发明用的最佳形态以下，用图说明本发明的实施形态。
(实施形态1)(720P/480P层次型记录、再生方式)用图1说明720P和480P两个层次的具体的层次型记录装置。后面用图20说明将HDTV信号分离成多个信号后，进行层次型记录的方法。
在电影的情况下，输入的720P信号首先像电影作品之类的原信号每秒24帧的视频图像信号，利用3-2下拉部分746，从60帧/秒变成24帧/秒而将其余的帧删减掉，成为720P(24P)信号703。在通常的每秒60帧(60P)的视频图像的情况下，3-2下拉部分旁通。另外，60帧/秒简略为60P。该1280×720象素的720P视频图像信号703在下变换器704中，首先利用垂直滤波器705，使垂直方向的线数下降到720×2/3＝480，其次利用水平滤波器706，下降到1280×9/16＝720象素，变换成720×480象素的480P视频图像信号707。该480P的低分辨率的视频图像信号被480P的MPEG编码器708编码后，变成压缩了的MPEG信号，再用MPEG译码器709恢复成480P视频图像信号710。该信号利用480P/720P上变换器711中的垂直滤波器712和水平滤波器713，被分别放大到3/2倍、16/9倍，被变换成720P的高分辨率的视频图像信号714。作为原视频图像的720P视频图像信号703和进行过MPEG编码/译码的720P视频图像信号714在差分信号处理部分720中的运算电路715中被进行差分运算，获得差分信息716。
该差分信息716用720P的第二MPEG编码器717进行编码，变成由内帧(i图像)和差分帧(P或B)构成的GOP单元的视频图像信号。它们在多路复用装置719中被分离成1GOP~nGOP的GOP单元的第二交错块718a及718b等。另一方面，由基本信号处理部分721的480P第一MPEG编码器708编过码的基本信号的MPEG流构成480P的GOP单元的MPEG流，在多路复用装置719中被分离成第一交错块722a、722b，交替地即交错地被插入上述的第二交错块718a、718b之间，该交错的信号被记录装置723记录在DVD等盘724中。还记录特定交错块再生禁止信息726，它表示禁止用现有的再生装置使第二交错块718a、718b再生，该第二交错块718a、718b包含表示该时间层次记录的存在、开始位置、结束位置的层次记录识别符725、以及差分信息。如图23所示，这些识别符作为全体管理信息224被记录在各VOB中。
如图8所示，根据DVD标准，在用现有的再生装置使该盘724再生时，将交错块722a、722b看作第一角度，进行再生。再生信号利用MPEG数据727进行译码，使NTSC或480P(24帧)的视频图像信号再生。记录特定交错块再生禁止信息726，用于禁止记录了差分信息的特定交错块的再生，如图23所示，例如记录角度切换禁止标志，所以使用者即使错误地操作再生装置，也能防止第二角度即第二交错单元再生。也就是说，能自动地防止用现有的DVD再生装置使720P的差分信息再生。如果720P差分信息被错误地再生，则由于用现有的再生装置的480i用的第一MPEG译码器不能正常地使该信号再生，所以会产生工作错误，但利用本发明就能防止这种事故。在此情况下，在DVD规格盘上有意地使称为斑点(ナビ)信息的管理信息224避开第二交错块的连接信息即可。
该效果在第二交错块中记录了720P信号本身的情况下有用。在此情况下，如图1中的*号的箭头所示，将720P信号直接输入MPEG编码器717。
这样，在用现有的DVD再生装置使本发明的盘724再生时，能使与现有的DVD盘相同的NTSC图像质量的视频图像信号再生，同时能防止差分信号或720P信号之类的用现有的DVD等再生装置不能正常再生的信息错误地再生。这样实现双向互换性。
也可以将480P信号本身记录在第二交错块中，以代替720P信号。在此情况下，由于用现有的再生装置使第一交错块再生，所以输出480i(NTSC)，用本发明的再生装置能从第一交错块再生480i，或从第二交错块再生480P，或者使两者都再生。
另一方面，用本发明的再生装置能从第一交错块722a、722b、即从DVD规格的第一角度再生基本信号，从第二交错块718a、718b、即从DVD规格的第二角度再生差分信号或720P信号，利用各个480PMPEG译码器728再生480P视频图像信号729，利用720bMPEG译码器730再生差分信号的720P视频图像信号731或720P信号。该象素数不同的两个视频图像信号在合成部分732中进行合成，或者直接输出，译码后输出原来的720P视频图像信号733。
这样如果用本发明的再生装置使本发明的层次记录盘724再生，则能输出720P视频图像信号。这样，一边进行与现有的再生装置互换，一边能记录720P这样的HDTV信号。
在第二交错块中记录了480P本身的情况下，能再生480P即NTSC的双倍密度的信号。
用图3说明图8的更具体的再生装置的工作情况。重复部分的说明从略。
利用图1所示的多路复用装置719，基本信号和差分信号按照各个nGOP单元被分割后，进行交错并交替地记录在盘724中。被分离成第一交错块722a和第二交错块718a。就是说，被分离成基本信号和差分信号，被存储在各自的第一缓冲存储器735和第二缓冲存储器736，而后用时间信息取出部分793取出各自的时间信息，VTS同步部分780为了使两个信号同步，通过将第一基准时间信息和第二基准时间信息设定在第一译码器728和第二译码器730中，取得两个译码器的输出信号同步。这时，在检测到层次记录识别符725的情况下，识别信息处理部分745识别作为第一流的译码信号的第一再生信号是低象素的基本信号，作为第二流的译码信号的第二再生信号是高象素信号和基本信号的差分信息，将合成部分732的上变换738的指示或加法运算的命令输送给合成部分732。
在480P的MPEG译码器728和MPEG译码器730中，分别被译码成480P(24)信号和720(24帧)信号。译码后的信号是24帧/秒或30帧/秒，但利用各个2-3变换部分737a、737b，通过两次输出同一帧，能获得60帧/秒的480P信号729和差分的720P信号731。480P信号729利用480P/720P上变换器738，被上变换成720P信号739，在加法部分740中和差分信息的720P信号731相加，原来的720P视频图像733被译码。作为该加法部分740的运算，例如，如图所示，设各个图像为a、b，通过进行(a+b)/2的运算，原来的720P视频图像733被译码。该合成部分732的运算也可以是(a+b)/2以外的运算。
在此情况下，MPEG译码信号在2-3变换部分737a、737b中，不变换成60帧，而是用24帧处理并进行合成处理后，利用2-3变换部分741能从24帧变换成60帧。这时，视频图像信号的数据量减少一半，所以具有能将数字处理电路的处理能力减少一半的效果。
用图1、图3说明了将电影等的720P信号的24帧信号按层次型记录、再生的方法，该方法有很大优点。在HDTV的情况下，有1080i方式和720P方式，但如图9所示，在电影的1080i(24帧)的情况下，如曲线742a所示，两层DVD的容量为8.5Gb，所以只能记录90分钟。
与此不同，在720P(24帧)的情况下，如曲线742b所示，能记录150分钟。如曲线742c所示，480P(60帧)也能记录150分钟。在电影的情况下，并不意味着在一个DVD上不能记录120分钟以上。本发明的720P(24)/480P层次型记录盘具有能将电影的HDTV软件收容在一个DVD盘中的效果。
在图3中示出了使这样的盘再生的例，即该盘将作为720P的基本信息的480P记录在第一交错块中，将720P和480P的差分信息记录在第二交错块中，但在将720P信号直接记录在第二交错块中的盘再生时，如图3中*号的箭头所示，可以直接输出第二译码器730的输出。由识别信息处理部分743根据识别符进行该判断。在此情况下，也能获得完全互换性相同的效果。该方式的记录效率虽然低，但具有能大幅度简化记录、再生处理电路的效果和完全互换性的效果。
现在用图60说明将译码器安装在TV监视器98一侧时的实施例。基本的工作情况与图3的情况相同，所以只说明不同的部分。首先，在再生装置743a一侧，利用加密编码器795并使用加密键799a，使译码前的信号加密化，利用通信接口部分796a，并通过网络798，将其输送给TV监视器798一侧的通信接口部分796b。在进行该工作之前，先在双方的互相认证部分794a、794b之间进行通信，互相进行认证。该工作可以同步交换。确认相互之间的认证，在断定了是正常通信的情况下，互相认证部分794a、794b分别将加密键799a、799b输送给加密编码器795、加密编码器797，同时将通信许可输送给通信接口部分796a、796b，所以与进行加密数据的收发的同时，进行加密数据键的解除，第一流和第二流被送给第一解码器728和第二解码器730。识别信息处理部分745利用另外送来的识别符，判断该信号的处理。如上所述，第一流是480P，第二流如果是720P差分信号的话，便进行上变换和合成运算，将720信号输出给TV监视器798a。在收到了第二流是480P的差分信号这样的识别符的情况下，合成第二流后，输出480P信号。在收到了立体信号的识别符的情况下，将第一流作为左眼，将第二流作为右眼，输出在时间上合成的立体信号，并在TV监视器798a上显示。
利用该方式，即使在对两个流进行加密认证的情况下，也能在TV监视器一侧利用识别符744，通过进行合成等处理，能获得对原图像进行译码的效果，而无损于加密认证的保密性著作权保护效果。
其次，用图10说明用本发明的再生装置使记录了480P(60帧/秒)的盘724a再生时的再生工作情况。另外，与图3所示相同的地方的说明从略。
(和差方式图19)现在，用图19说明和差方式的概念。将视频图像信号分割成垂直方向或水平方向的高频带和低频带，分割记录在多角度的各角中，所以称为多角度视频图像多路复用方式(MADM)。如图19所示，用和运算部分141和差运算部分143，分割成基本信号(和信号)和辅助信号(差信号)，进行MPEG编码，按照1GOP单元交替地记录在交错块中。在此情况下，通过在视频图像上对基本信号和辅助信号同步地进行3-2变换，能使信息量减少20％。另外，基本信号如通常的MPEG编码时的主GOP结构244所示，如果采用交替地排列了I帧246、B帧248、以及P帧247的“IBBPBBPBBPBBPBB”，效果很高。可是，在差信号的情况下，由于轮廓图形的原因，实验表明，如副GOP结构245所示，只构成“IPPPPPPPIPPPPPPP”这样的I帧246和P帧247的结构，效果好。通过设定不同的副GOP结构，能提高效率。
在图19中示出了将480P视频图像信号沿垂直方向分割成两部分的例，在后面的图21中示出了将480P视频图像信号沿水平方向分割成两部分的例，但使用帧分割装置，分割成60帧的480P信号的第奇数帧的30帧和第偶数帧的30帧，将各自的30P信号变换成60帧的两个交错信号，对各个信号进行MPEG编码，还能用MADM方式记录。在此情况下，由于循序地进行编码，所以与电影一样，能提高编码效率，从而能增加记录时间。
在此情况下，用MADM非对应再生装置能再生第一频道即30P的即去掉慧差并被压缩了的525交错信号。
用MADM对应再生装置，作为基本信号能再生30P信号，作为辅助信号能再生30P信号。这两个30帧的信号利用包括帧缓冲器的帧合成装置，能合成为60帧的一个正规的480P信号后被输出。
另外如果将线倍加器附加在480P的输出部分，则能获得1050P的视频图像。
如果将525交错信号输入MADM的合成部分的和信号部分，并将0值输入差信号，则能获得480P的视频图像。就是说，具有与线倍加器同样的效果。如果是该方法，则由于525交错信号也能输出480P，所以只将一条电缆连接在循序输入端上，就能欣赏所有的视频图像。
在图19中，作为滤波器运算式，由两支分流使用1/2(A+B)、1/2(A-B)。在此情况下，分离频率约为300条。
如图19所示，480P信号通过和、差运算，被分离成两个信号，使记录了第一交错块群和第二交错块群的盘724a再生，由分离部分734分离作为基本信号的480i信号和作为差分信号的480i信号，由各个MPEG译码器728、MPEG译码器730进行译码，获得480i信号729a和差分的480i信号731a，由加法部分740进行(a+b)/2的运算，通过合成两个480i信号，能输出480P(60帧)的合成信号733a。
在盘724中按照层次型记录着480i时、480P时、720P时的三种信号，同时示出了记录着怎样的分辨率的差分信号。480i/480P/720P识别信息744(图17)被记录在盘724a上的toc部分等中。识别信息处理部分743对该信息处理后，判断层次型数据的主数据(主信号)和副数据(差分信号)被记录在盘的哪个扇区地址，将其开始点等的信息输送给合成部分732。合成部分732根据480P的开始点，进行主数据和副数据的合成运算，输出480P(60fPS)信号。
在720P的开始点，如图17中的Vts＝6所示，720P-主是第一交错块，720P-副是第二交错块，它们被记录在盘上。识别信息处理部分743识别该信息，运算部分740使用主信号、差分信号的时间标记，根据720P的开始时间标记，进行720P合成的运算，例如(a+b)/2，从MPEG译码器728、730输出720P信号。
另外在记录了480P识别符作为识别信息744(图17)的情况下，如图10所示，识别信息处理部分745将480i译码命令输送给MPEG译码器730，进行480i译码处理，差分信号731a被译码后，在合成部分732中进行合成，获得480P(60fPS)的输出。
这样，MPEG译码器730根据识别信息，切换480i(480P-30fPS)或720P的处理，所以能用两个MPEG译码器进行全部480P的主信号、差分信号和720P的主信号、差分信号两者的译码，具有结构简单的效果。
另外在图10所示的480P再生方式中，虽然不使用合成部分732中的480P/720P上变换器738，但在480P-720P上变换器738中，将译码后的480P(60)信号向上变换为720P信号后输出，能在720P对应的HD投影仪等上显示，所以能获得更不容易看到扫描线的效果。在此情况下，能使一个480P-720P上变换器738兼做720P合成和720P上变换两种工作，所以具有不增加结构要素，就能获得480P信号的720P上变换输出的效果。
(720P/480P/480i型三层次记录装置)用图5说明720P的60帧/秒型的三层次型记录装置的结构和工作情况。由于与图1所示的结构和工作情况大致相同，所以只说明不同的部分。首先，输入信号是720P的60帧/秒。因此进行了480P下变换的视频图像信号也是480P(60帧/秒)。该信号被输入基本信号处理部分721a，在分离部分747中，假定第n线的视频图像数据为a，第n+1线的视频图像数据为b，通过将(a+b)/2的运算结果用于480i视频图像信号的748a的第m线，将(a-b)/2的运算结果用于480i视频图像信号的748b的第m线，能获得NTSC的主信号、差信号。用MPEG编码器708a、708b对这些信号进行编码，再用MPEG译码器709a、709b对480i的译码信号749a、749b进行译码，用合成部分748对480P信号710进行译码。将该480P信号上变换为720P信号714，获得差分信息，进行MPEG编码，获得第三交错块数据718a、718b的程序除了要求帧频率24fPS变为60fP S以外，其他方面与图1相同，故从略。
另一方面，480i的MPEG流利用多路复用装置719a被分离成nGOP单元的交错块，按照由480i基本信号构成的第一交错块722a、由480i差分信号构成的第二交错块750a、由720P差分信号构成的第三交错块718a的顺序进行交错，记录在DVD等盘724中。
在此情况下，由8VSB或QAM或OFDM调制部分751对多路复用的信号进行调制，通过由发送部分752发送，能进行层次型发送。这时，在多路复用装置中不使用GOP单元，在发送时用规定的时域进行分时即可。
这样实现480i、480P(60)和720P这三层的层次型盘或层次型广播。
用图2说明使盘724a再生的工作。由于包含与图3的结构相同的部分，所以重复的部分的说明从略。从盘724a再生的信号、或从接收部分接收后由解调部分754进行了解调的信号由分离部分734以上述的交错块为单元分离成三个流，通过缓冲器735a、735b、736后，在三个MPEG译码器中被译码，480i基本信号749a、480i差分信号749b、720P差分信号731三个信号被解调。其中480i基本信号749a和480i差分信号749b在合成部分755中，通过进行(a+b)和(a-b)的运算，能获得480P(60fPS)视频图像信号729。由合成部分732对该信号和上述的720P差分信号731进行合成，获得720P输出733a，由于合成程序与上述的相同，所以说明从略。
这样，从盘724a能获得480i输出749a、480P输出729、720P输出733a这三种不同分辨率的输出，根据监视再生装置的等级，使用者能选择输出。即用与现有的再生装置480i(NTSC)等级、480P对应的本发明的再生装置，能获得480P(60fPS)的输出，用720P对应的本发明的再生装置，能获得720P(60fPS)的输出，实现完全互换性。
在图2中，在识别信息处理部分745检测到高分辨率识别符的情况下，通过系统控制部分21和旋转控制电路35，提高电动机的转速。根据识别符，通常的视频图像再生时，提高一倍速度，480P或720P(24P)的视频图像再生时，提高两倍速度，720P(60P)的视频图像再生时，提高三到四倍速度，这样能再生高分辨率信号，具有省电效果。另外，在使NTSC等级再生的情况下，系统控制部分21通过使不需要的720PMPEG译码器730、或480iMPEG译码器728b、或合成部分732的时钟停止工作、或低速动作，能大幅度减少电力消耗。另外，AV同步控制部分158接收音频数据的音频时间标记APTS 84，根据该时间信息，作成各MPEG译码器的视频放映时间标记VPTS，通过将其设置于译码器的寄存器39a、39b、39c中，能取得各译码器的再生帧同步。为了取得垂直消隐的同步，译码器同步部分794使各译码器的水平、垂直同步同时复位，各译码器的图像取得点单元同步。将在后文说明声音和视频图像的具体的同步方法。
另外，使第一流图像的表示NTSC等低分辨率的第一分辨率识别符、以及第二、第三流的表示720P等高分辨率的第二分辨率识别符从盘724a再生，系统控制部分21进行运算，并指示合成部分732根据这些识别符，利用合成部分732的上变换器738，进行从480P变到720P、从480P变到1080i、从480P变到1080P、从720P变到1080P等中的哪一种处理。实际上存在704×480、720×480各种第一分辨率识别符。因此，具有使上变换器能用最佳比率工作的效果。当然，也可以构成只使表示上变换器的比率的识别符在记录纸上再生的简单的系统。
另外，图2所示的再生装置743a能同时或在另外的时间输出以下三种分辨率的输出如果只是第一流，则为480i(NTSC)输出，如果是第一流+第二流，则为480P(60P)输出729，如果是第一流+第二流+第三流，则为720P(60P)输出733a，所以能与各种分辨率的监视器对应。
特别是由于采用合成部分732的上变换器738，能将480P输出729变换成720P输出，所以不增加电路，也能获得480P变换后的720P输出。
另外，在该层次型再生装置的同一框图中，通过增加接收部分753和解调部分754，能构成接收并调制TV等层次型信号、输出三种分辨率的视频图像信号的接收装置。
(广角480P)用图21表示水平方向分割时的MADM方式的概念。1440×480P等广角480P适合于电影用。该信号能利用3-2变换部分174，变换成1440×480i的交错信号。通过水平滤波部分206a沿水平方向一分为二。在图34(a)、(b)中示出了该滤波器的原理。如(b)所示，1440个点被分成奇数点263a、263b和偶数点264a、264b。将它们称为Xn、Yn，能获得运算输出的和信号X+Y、差信号X-Y，能获得图34(b)所示的720×480和720×480两个480P或525i信号。
回到图21，所获得的水平方向的和信号减少到水平720个点，但由于通过水平滤波器，所以能抑制折回失真及NTSC信号。因此，在现有的再生装置中，由于只再生和信号，所以能获得完全相同的DVD图像质量。差信号是轮廓线图，但通过图60中的第二视频图像信号输出限制信息附加部分179加以限制，所以在一般的再生装置中不容易看见，故能防止发生问题。和信号及差信号在第一编码器3a和第二编码器3b中构成MPEG流，按照1GOP以上的交错块单元进行交错，呈多层MADM。
在电影的情况下，用3-2变换部分174进行3-2变换，与3-2变换信息174a一起作为各自的MPEG信号，进行MADM记录。
这时由于电影是每秒24帧，所以用2倍速再生装置，根据两个交错信号，再生1440×480P的循序视频图像。另外，电影显示器尺寸为2.35比1，1440×480P在纵横比方面适合，广角效果好。
用图21进行了广角480i的层次型盘724b的说明，但用图4说明用W-480i再生装置使该盘再生的工作。用24帧/秒在盘724b上进行记录时，利用帧变换部分756a、756b，对W-480P基本信号757a和W480P差分信号757b进行译码。由于各图像的各(X+Y)/2、(X-Y)/2的数据被编码，所以在合成部分758中，如果进行(X+Y)/2+(X-Y)/2的运算，则能对X即第奇数的图像数据进行译码，通过(X+Y)/2-(X-Y)/2的运算，能对Y即第偶数的图像数据进行译码，所以水平方向的图像数为二倍的1440个图像。这样能获得1440×480个图像的W480P视频图像759。在W480P-720P变换部分760中，用8/9倍的水平滤波器760a将该信号从1440个图像变换到1280个图像的水平方向数据，用3/2倍的垂直滤波器760b从480变换到720个图像，从而能获得720P数字输出，具有能使用一般的720P数字接口的效果。
(详细的再生工作图25)其次，用图25所示的2倍速的循序或超广角图像或720P再生用的再生装置的框图，详细地说明用本发明的再生装置65进行的再生工作。从光盘1再生的信号在分离部分68中被分离成由1GOP单元以上的帧信号构成的第一交错块66、第二交错块67单元。在展开部分69中进行了MPEG展开的每秒30帧的帧视频图像信号70a、70b在半帧分离部分71a、71b中被分离成奇数半帧视频图像信号72a、72b和偶数半帧视频图像信号73a、73b，能输出2ch的NTS C的交错信号74a、74b。后文将说明图20所示的广角画面。如果将其展开，则在图25中，在图像分离部分115的水平垂直分离部分194中，利用辅助带滤波或小波变换，例如沿水平垂直方向分离1440×960的循序图像182a。于是能获得525循序视频图像183。将它分离成交错信号184，用流188a记录。
另一方面对剩余的插值信息进行同样处理，分离成四个流188c、188d、188e、188f，记录在交错块中。各交错块的最大传输速度在DVD规格中为8Mbps，所以在将插值信息分割成四个流时，在32Mbps、6角度的情况下，记录48Mbps，所以能记录720P或1050P的HDTV的视频图像。在此情况下，用现有的再生装置使流188a再生，能输出交错视频图像184。另外，在流188c、188d、188e、188f中，利用视频图像处理限制信息发生部分179，将输出限制信息记录在光盘187中，所以不会错误地输出看不清的视频图像的差分信息等的插值信息185。这样，按照图25所示的方式，通过沿水平垂直双向分离，具有能实现有HDTV和NTSC的互换性的光盘的效果。
在图25中，交错信号在交错变换部分175中变换成交错信号后输出，能获得宽屏画面178。480P循序信号也一样，能作为宽屏画面178输出。另外，在用720P的监视器观察的情况下，在480P/720P变换部分176中，将480P信号作为720P的循序信号进行变换，能输出1280×720或1440×720(图像为1280×480或1440×480个)的字母箱型的720P图像177。宽屏图像(2.35∶1)为1128×480个，所以能获得纵横比近的图像。特别是在电影软件的情况下，由于24帧/秒，所以循序图像的比率变为4Mbps。在采用将宽屏图像分割成两个画面的本发明的方式的情况下，变为8Mbps，由于在DVD两层盘上能记录约两小时，所以具有在一个盘上能记录宽屏图像的720P、或480P的高质量的循序图像的效果。另外，用现有的DV当然也能用交错输出信号显示。这样能获得能用480P或720P输出视频图像的宽屏画面(2.35∶1)的效果。
(高分辨率记录识别信息)返回图1，从地址电路输出地址信息，从层次记录识别符输出部分725a输出包括循序/立体图像配置信息的层次记录识别符725，由记录电路723记录在光盘上。在该循序/立体图像配置信息中包括表示在光盘上是否存在循序或立体图像的识别符、或表示层次编码时是否进行上变换的层次记录识别符725、以及图17所示的循序/立体图像配置表14。如图17所示，每个VTS的R和L的立体图像或循序信号配置的角度编号或单元编号被写入TEXTDT文件83中。由于在各VTS的PGC文件中写入了各单元的开始地址和结束地址，所以结果能显示开始地址和结束地址。该配置信息和识别信息都能用再生装置输出，将循序视频图像和立体视频图像作为正确的循序输出或R、L输出。如果错误地将内容不同的通常视频图像被输出给R和L，则由于与左眼和右眼无关的视频图像的作用，而使使用者感到不快。循序/立体视频图像配置信息或循序/立体视频图像识别符、层次记录识别符具有能防止输出这样的使人感到不快的视频图像的效果。如图3所示，在使层次记录识别符725再生的情况下，控制部分发送上变换命令786，用上变换器738将480P信号上变换成720P信号，进行720P的合成处理，在没有层次记录识别符725时，如图10所示，不使用上变换器738，输出未进行合成运算的480P，所以利用识别符，只切换连接，使用一个合成部分就能稳定地进行图像合成。
用图23表示使用该视频图像识别符222进行再生的程序。首先根据管理信息224，从光盘读出再生程序控制信息225。其中有VOB的控制信息，所以在现有的再生装置中，只能从第0VOB226a连接记录了主视频图像的第1VOB226b。不能从第0VOB226a连接记录了差分信息等插值信号的第2VOB226c，所以如上所述，从现有的再生装置不能再生差分信息这样的难看的图像。其次图像识别符被记录在主图像信号的各VOB中，第1VOB226b和第2VOB226c由于循序识别符＝1，分辨率识别符＝00(525条)，所以525条的循序信号能从循序唱机或HD机再生。
下一个VOD226d的图像识别符222由于循序识别符＝0，分辨率识别符219＝10，所以可知是1050条的交错信号，VOB226e、VOB226f、VOB226g三个VOB是插值信息。这样，用现有的唱机能输出NTSC，用循序唱机能输出水平象素数为720条的1050条的交错，用HD机能输出1050c的全部规格的HDTV信号。这样利用图像识别符222，能交错地记录或再生各种视频图像信号。另外，该图像识别符222也可以记录在管理信息224中。
(双倍时钟脉冲及软件译码)另外，在图3、图4所示的框图中，使用两个MPEG译码器，但如图18所示，能简单地构成这样的电路结构在合成部分36中将第一MPEG信号和第二MPEG信号作为一个MPEG信号，由双倍时钟脉冲发生部分37发生双倍时钟脉冲，在双倍时钟脉冲型的MPEG译码器16c中进行双倍运算，并展开，在分离部分38中作为R和L的视频图像信号输出。在此情况下，与现有的再生装置相比，由于在存储器39中只增加16MB SD-RAM即可，所以有成本上升少的效果。另外软件译码时，如果CPU不是双倍时钟脉冲，则用一个CPU，通过分时能同时进行译码处理。其应用将在实施形态2中说明。
(同步再生)用图18说明进行高分辨率循序视频图像或立体视频图像译码时重要的两个流的同步再生。首先，需要在一线以内使两个流的垂直、水平同步一致。为此，利用垂直和水平同步控制部分85c，使第一MPEG译码器16a和第二MPEG译码器16b在同一时期同步上升。其次两个译码器的输出必须是相同的VPTS的图像。用图26中的流程和图18说明该方法。在步骤241a中，使第一译码器、第二译码器两者的同步停止。在步骤241b中，如上所述，取得垂直、水平同步。在步骤241c中，读入音频APTS，将该APTS值设定为第一译码器的STC和第二译码器的STC的初始值。作为步骤241e的第一译码器的处理，在步骤241f中检查第一VPTS是否达到初始值，如果达到了便在步骤241g中开始译码。在步骤241h中，计算第一译码器的处理延迟时间，调整译码器输出的VPTS，以便APTS和VPTS同步。第二译码器也同样处理，所以第一译码器和第二译码器的图像同步。这样使第一MPEG信号和第二MPEG信号的两个译码器输出在一线以内同步。然后利用合成部分36中的视频图像信号同步部分36a，按照点单元同步，进行和运算也能获得原来的循序图像。如图5所示，用音频译码器16c读入APTS 84，通过在两个MPEG译码器16a、16b的STC的寄存器39a、39b中设定相同的APTS，能自动地取得音频和两个视频图像流的同步。
在本发明的情况下，如果使缓冲电路23a、23b的缓冲器下溢，则两个电路内的哪一个视频图像信号中断，都会输出受到了干扰的循序视频图像。因此如图2所示，通过设定缓冲量控制部分23c，来控制两个缓冲器的缓冲量。该工作过程如图27中的流程所示，另外在步骤240a中，读出各盘的NAVI信息中的最大交错值，设定一个主交错块的最大值1ILB。通常为512个扇区、即1MB左右。在规定中限制在1MB以下的情况下，设定该值。其次在步骤240b中，在发生了主、副交错块同时再生命令的情况下，在步骤240c中，如果第一缓冲器23a的缓冲量在1ILB以下，则从主交错块再生，将传送数据的命令输出给第一缓冲器23a。返回步骤240b、240c，如果第一缓冲器的缓冲量超过1ILB，则在步骤240d中停止传送。这样缓冲器23a变成1ILB以上，所以能防止下溢。
在步骤240f中，在缓冲器23a中设定副交错块的最大值1ILB-Sub。在步骤240g中同时再生，在步骤240h中如果第二缓冲器23b在1/2ILB-Sub以下，则在步骤240j中读入缓冲器，如果在1/2ILB-Sub以上，则在步骤240I中停止。
如图24(4)所示，由于第二缓冲器为1/2ILB即可，所以缓冲量可以减半。通过图27所示的缓冲控制，缓冲器没有下溢，能降低再生画面的合成图像的不稳定性。
(跟踪缓冲器的必要容量图23、31)说明最初使本发明的两个视频流同步的方法。首先，如图39所示，从光头再生的系统流暂时被存储在跟踪缓冲器23中后，被输送给第一视频译码器69d和第二视频译码器69c。在光盘的磁道中，以交错块为单位交替地记录着循序信号的两个流A、即第一流和B的第二流。
首先，用二倍速率旋转，使流A再生，开始将数据存储在跟踪缓冲器23中的第一跟踪缓冲器23a中。该状态如图24(1)所示，在t＝t1~t2一个交错时间T1期间存储第一视频图像信号的一个交错块(ILB)I1的数据。第一跟踪缓冲器数据量增加，在t＝t2时增加到1ILB的数据量，结束第一视频图像信号的1ILB的数据存储。在t＝t2时，第一视频图像信号的1GOP以上的1ILB的存储结束后，从光盘的下一个交错块I2再生本次流B的第二视频图像信号，如图24(4)中的实线所示，。在t＝t2时，开始将第二视频图像信号的数据存储在第二跟踪缓冲器23b中，到t＝t6为止，在第二跟踪缓冲器23b中存储。同时，从t＝t2到t8为止，如图24(7)、(10)所示，使视频抽象时间标记、即VPTS的时间同步，将第一视频图像信号和第二视频图像信号从跟踪缓冲器23a、跟踪缓冲器23b输入第一视频译码器69c、第二视频译码器69d。如图24(8)、(11)所示，该输入信号从延迟了作为MPEG的展开处理时间的视频延迟时间twd的时间t＝t3开始，作为展开的两个视频数据从第一视频译码器69c和第二视频译码器69d输出。从t＝t4到t10，该流A和流B的两个视频数据由循序变换部分170合成为循序信号，输出一个交错块的交错信号。
于是，这样从t＝t2到t8，一个交错块的数据被输入译码器中。因此，第一跟踪缓冲器23a和第二跟踪缓冲器23b的数据以大致相同的比率被消耗而减少。因此如图24(2)所示，从t2到t7，第一跟踪缓冲器的数据量减少。在t＝t7时，交错块I5的数据开始再生，所以增加的部分和减少的部分相抵消，此后至t＝t8增加，在t＝t8时达到1ILB，但与t＝t2时一样，在t＝t8时开始向第一译码器69c输入，所以到t＝t11继续减少，最终达到1/2ILB大小的缓冲存储量。
其次，用图24(4)说明作为流B的缓冲量的第二跟踪缓冲器23b的存储量的推移。在t＝t2时，交错块I2的流B的数据B1开始被输入第二跟踪缓冲器23b，但同时B1的数据也开始传送给第二视频译码器69d，所以1/2相抵消，t＝t6时的缓冲量变为1/2的1/2ILB。在本发明的循序信号的两个角度的多角度记录的情况下，有四个流即四个交错块，所以从t＝t6到t7，使交错块I3、I4发生跟踪跳跃，需要跳跃到I5。在该tj的跳跃时间197的期间，来自光盘的数据的再生输入中断，所以到t＝t8，流B的缓冲量继续减少，在t＝t8时接近于0。
在t＝t8时，由于输入交错块I6的数据B2的再生数据，所以再次开始增加，在t＝t11时进行跟踪跳跃，跳过交错块I7、I8，访问A3的交错块I9。
反复进行以上的工作。
现在，说明对本发明方式的第一跟踪缓冲器23a和第二跟踪缓冲器23b进行了加法运算的跟踪缓冲器23所需要的最低存储容量。图24(4)中用虚线表示的跟踪缓冲容量198表示满足跟踪缓冲器23a和跟踪缓冲器23b的数据量。这样通过在跟踪缓冲器中设定合计最低为1ILB的容量，能没有缝隙地再生。
在本发明中，进行本发明的循序再生时，跟踪缓冲器23的跟踪缓冲器23a和23b的合计容量取一个交错块以上，具有能防止跟踪缓冲器的上溢或下溢的效果。
(系统时钟控制方法)另外，后文将用图28说明两个流时的系统时钟STC的切换方法，但在循序再生的情况下，有A、B两个流。这时，假设构成1ILB的循序信号的两个交错信号的两个流为A1、B1，如图28(1)所示，首先第一个A1流的数据在1/2ILB期间再生，全部数据被存入缓冲器。其次如图28(2)所示，在A1再生结束后，流B的数据作为B1再生后存入缓冲器。这时，在上述的工作中，用图28(2)中的流B控制来自光盘的再生数据，所以跟踪缓冲器不会上溢。在图28(2)所示的流B的再生开始点J，来自图28(3)所示的流A或流B的跟踪缓冲器的SCR即流时钟大致同步地使计数器复位。而且，由于流B以两倍的速率输出，所以利用缓冲器，流时钟以图28(3)所示的一倍速率即1/2的速率被记数。然后流时钟在G点被复位。考虑到MPEG译码时间等的延迟时间Tvd，有必要使流B的视频信号输出的时刻VPTS2同步。在此情况下，在I点即VPTS的增加被中断的点t＝Ti，再次启动AV同步控制。这时检查流B的VPTS2，通过使流A的VPTS1与该VPTS2同步，能通过一个系统的简单的控制实现同步。这时也可以一并使用VPTS1。
使音频同步流B的声音数据再生，如图28(4)所示，用流B的APTS在H点切换STC即可。流B的副视频图像信号也与图28(4)相同，切换STC即可。
如上处理后，优先使用流B的数据，通过使AV同步，进行简单的控制，实现AV同步。
在此情况下，由于全部视频图像数据都能被存入缓冲存储器中，所以流A1、A2不会上溢。可是在本发明中通过用流B进行同步控制，如图28(6)所示，切换STC，控制信号流程，以便VPTS2不超过VPTS2阈值，所以缓冲器不会上溢。
另外，如上所述，通过在声音再生中使用流B的声音，不仅能使音频译码器的缓冲器为1/2，而且如图28(4)所示，通过在t＝Th的H点切换STC，能够不超过VPTS阈值，而流畅地使声音再生。副视频图像信息也同样能流畅地同步地再生。因此，视频图像和声音、字幕等副视频图像同步，同时画面、声音能不中断地即无接缝地再生。这时，即使省略流A的声音、副视频图像的记录也没关系。
(AV同步图29、30、31、33)现在说明同时使两个或三个流再生时的跳跃连接等时重要的AV同步。在本发明的情况下，由于使720P信号和480i的数据量极不相同的流同步，所以是重要的。
图29是表示由系统控制部分21进行的程序链群的再生处理的详细程序的流程图。在图29中，在步骤235a、235b、235c中，首先系统控制部分21从音量信息文件或视频文件的程序链信息表读出适当的程序链信息。在步骤235d中，在程序链未结束的情况下，进入步骤235e。
其次，在步骤235e中参照程序链信息内的下一个应传送的单元的无逢连接指示信息，判断该单元和前面的单元的连接是否应进行无接缝连接，在需要无接缝连接的情况下，进行步骤235f的无接缝连接处理，如果不需要无接缝连接，则进行通常的连接处理。
在步骤235f中，控制机构控制部分、信号处理部分等，读出DSI数据包，并读出先进行了传送的单元的DSI数据包内存在的VOB再生结束时刻(VOB_E_PTM)、以及下一个传送单元的DSI数据包内缺损连接VOB再生开始时刻(VOB_S_PTM)。
其次在步骤235h中，计算“VOB再生结束时刻(VOB_E_PTM)-VOB再生开始时刻(VOB_S_PTM)”，将它作为该单元和向前传送完的单元的STC偏移，并传送给图30中的AV同步控制部分158内的STC偏移合成部分164。
同时，在步骤235i中，将VOB再生结束时刻(VOB_E_PTM)作为STC切换开关162e的切换时刻T4，传送给STC切换时刻控制部分166。
其次，指示机构控制部分读出成为该单元的终端位置之前的数据。从而在步骤235j中将该单元的数据传送给跟踪缓冲器23，传送结束后立刻进入步骤235c，读出程序链信息。
另外，在步骤235e中，在断定为无接缝连接的情况下，将向跟踪缓冲器23的传送一直进行到系统流末尾，进入步骤235c，读出程序链信息。
其次，说明进行本发明的无接缝再生用的无接缝连接控制的有关AV控制方法的两个实施例。它们是详细说明图2、图31中的AV同步控制部分158的实施例。
图31中的系统译码器161、音频译码器160、视频译码器69c、69d、副视频图像译码器159全部与从图30中的AV同步控制部分供给的系统时钟同步，进行系统流中的数据处理。
在第一种方法中，用图30进行AV同步控制部分158的说明。
在图30中，AV同步控制部分由STC切换开关162a、162b、162c、162d、STC163、STC偏移合成部分164、STC设定部分165、STC切换时刻控制部分166构成。
STC切换部分162a、162b、162c、162d、162e作为供给各个系统译码器161、音频译码器160、视频译码器69c、69d、副视频图像译码器159的基准时钟，切换STC163的输出值和STC偏移合成部分164的输出值。
STC163在通常再生中是图31中的MPEG译码器全体的基准时钟。
STC偏移合成部分164连续输出从STC163的值减去从系统控制部分供给的STC偏移值后的值。
STC设定部分165在从STC切换时刻控制部分166供给的时刻，将从系统控制部分供给的STC初始值或从STC偏移合成部分164供给的STC偏移合成值设定在STC163中。
STC切换时刻控制部分166根据从系统控制部分供给的S TC切换时刻信息和从STC163及STC偏移合成部分164供给的STC偏移合成值，控制STC切换开关162a~162e和STC设定部分165。
所谓STC偏移值，是指连接具有不同的STC初始值的系统流#1和系统流#2后连续再生时，变更STC值用的偏移值。
具体地说，从先再生的系统流#1的DSI数据包中记述的“VOB再生结束时刻(VOB_E_PTM)”减去接着再生的系统流#2的DSI中记述的“VOB再生开始时刻(VOB_S_PTM)”而获得。在图5中，在从光盘读出的数据被输入跟踪缓冲器23的时刻，通过系统控制部分167读出这些显示时刻的信息，预先算出。
算出的偏移值在系统流#1的最后部分被输入系统译码器161之前被供给STC偏移合成部分164。
图5中的数据译码处理部分165除了进行无接缝连接控制的情况以外，作为MPEG译码器工作。这时从系统控制部分167供给的STC偏移值为0或任意值，图30中的STC切换开关162a~162e恒常选择STC163一侧。
其次，用图33中的流程说明系统流#1和系统流#2的STC值不连续的两个系统流被连续输入系统译码器161时，系统流的连接部分的STC切换开关162a~162e的切换及STC163的工作情况。
被输入的系统流#1和系统流#2的SCR、APTS、VPTS、VDTS的说明从略。
与再生中的系统流#1对应的STC初始值预先由STC设定部分165被设定在STC163中，并假定与再生工作的同时依次完成记数。首先系统控制部分21(图31)按照前面说明的方法，算出STC偏移值，在系统流#1的最后部分被输入译码缓冲器之前，将该值设定在STC偏移合成部分164中。STC偏移合成部分164连续输出从STC163的值减去STC偏移值后的值(步骤168a)。
STC切换时刻控制部分166获得先再生的系统流#1中的最后部分被输入译码缓冲器的时刻T1，在时刻T1，将STC切换开关162a切换到STC偏移合成部分164的输出侧(步骤168b)。
以后，STC偏移合成部分164的输出被供给系统译码器161所参照的STC值，由系统流#2的部分头部中记述的SCR决定系统流#2传送给系统译码器161的时刻。
其次STC切换时刻控制部分166获得先再生的系统流#1的最后的音频帧再生结束时刻T2，在时刻T2，将STC切换开关162b切换到STC偏移合成部分164的输出侧(步骤168c)。将在后文说明获得时刻T2的方法。
以后，STC偏移合成部分164的输出被供给音频译码器160所参照的STC值，由系统流#2的音频数据包中记述的APTS决定系统流#2的音频输出的时刻。
其次STC切换时刻控制部分166获得先再生的系统流#1的主信号和副信号最后的视频帧的译码结束时刻T3.T3。在时刻T3.T3，将STC切换开关162c、162d切换到STC偏移合成部分164的输出侧(步骤168d)。将在后文说明获得时刻T3的方法。以后，STC偏移合成部分164的输出被供给视频译码器69c、69d所参照的STC值，由系统流#2的视频数据包中记述的VPTS决定系统流#2的视频译码的时刻。
其次STC切换时刻控制部分166获得先再生的系统流#1的最后的视频帧的再生输出结束时刻T4，在时刻T4，将STC切换开关162e切换到STC偏移合成部分164的输出侧(步骤168e)。将在后文说明获得时刻T4的方法。
以后，STC偏移合成部分164的输出被供给视频输出切换开关169及副视频图像译码器159所参照的STC值，由系统流#2的视频数据包及副视频图像数据包中记述的VPTS决定系统流#2的视频输出及副视频图像输出的时刻。
在这些STC切换开关162a~162e的切换结束时刻，STC设定部分165将从STC偏移合成部分164供给的值设定在STC162中(步骤168f)(将其称为STC163的重装入)，全部STC切换开关162a~162e被切换到STC163一侧(步骤168g)。
以后，STC163的输出被供给音频译码器160、视频译码器69d、69c、视频输出切换开关169及副视频图像译码器1599所参照的STC值，返回到通常的工作状态。
现在说明获得STC的切换时刻即时刻T1~T4的两种方法。
具体的方法是为了在作成流时容易计算时刻T1~T4，预先将表示时刻T1~T4的信息记述在盘上，系统控制部分21读出该信息，并传送给STC切换时刻控制部分166。
特别是关于T4，求STC偏移时使用的被记录在DSI中的“VOB再生结束时刻(VOB_E_PTM)”可以直接使用。
这时记录的值以先再生的系统流#1中使用的STC的值为基准进行记述，在STC163记数完毕的值成为时刻T1~T4的时刻，STC切换时刻控制部分166切换STC切换开关162a~162e。
(实施形态2)在实施形态1中，详细地说明了本发明的多个流同步再生方式的高分辨率视频图像记录再生的应用例，而在实施形态2中，说明应用该同步再生方式，将两个流无接缝地连接起来的再生控制方式。在MPEG记录信号的情况下，一般是以GOP为单元进行编辑，以帧为单元的编辑比较困难。通过采用本发明的MS S方式，使得帧编辑实际上成为可能。
另外，从实施形态3到9说明使接缝处的视频图像信号和声音信号的时刻一致是重要的，并说明详细的同步方式。
首先，在应用于帧编辑切换时切换处无接缝再生的情况下，如图10所示，在编辑数据处理部分764中处理包括视频图像缩放指示信号28P等的合成信息的编辑数据761，然后输送给切换合成部分763，进行切换/合成，再从切换合成信号输出部分764输出，这样能在MPEG的GOP的切缝以外的任意点，无接缝合成连接两个视频图像信号。
后面将用图22说明根据指示信号，在任意点同步再生并合成两个画面的方式。
在编辑点单纯地将两个视频图像切换成帧单元的单纯切换方式时，在编辑点tc处，切换a流和b流，进行无接缝输出。另外为了进行划变，一边将两个视频图像合成在一个画面上，一边切换的合成切换方式时，在从开始点ta到结束点te之间，一边合成流a和流b，一边进行切换。如图6和图58所示，方式1是从左向右的划变，方式2是从中心向周围的划变，方式3是从上向下的划变，方式4是切换成镶嵌幕状。图6表示简单的框图，图58表示详细的框图。
在此情况下，图6中的再生装置778、分离部分734、VTS同步部分780、MPEG译码器728、730与图3中的480P再生装置的结构完全相同，所以能通用。如图6所示，如果识别信息处理部分766检测到再生控制信息766a，则如上所述，将两个视频图像流输送给切换合成部分763，在连接点ts无接缝地从第一流切换到第二流。
另外，如图58中的详细框图所示，如在实施形态1中所述，在检测到记录着720P/480P这样的高分辨率信号的层次记录识别符725的情况下，输出在合成部分732a中进行运算的480P或720P的高分辨率视频图像信号。
而且，在检测到立体记录识别符66c的情况下，在立体信号处理部分770中生成并输出使左眼用视频图像和右眼用视频图像互相交错的立体视频图像信号。
这样，如图58所示，在使用两个MPEG译码器或使用能对两个流同时译码的MPEG译码器的MSS方式中，能兼备帧编辑的再生控制、高分辨率信号再生、立体视频图像信号再生三种功能。
图11中示出了再生控制信息765的具体例。该再生控制信息765中按照能切换的地址顺序记录着切换点S、766、合成方式767第一流切换开始地址ts768、第一流切换结束地址ts2、769、第二流GOP开始地址tsG、790、切换开始地址ts2、771、切换结束地址te2、772。
具体地说，在切换点编号S＝1的情况下，如图12(9)所示，没有视频图像合成识别符767。即由于是0，所以在切换开始地址ts1-1处，简单地从第一流切换到第二流即可。在S＝2的情况下，如图12(10)所示，在ts1处开始切换，直至te1将第一流和第二流的两个视频图像合成在一个画面上，在t＝te1时，完全切换第二流。
按照图13中的流程，说明基于再生控制信息的再生程序。
如图12(1)所示，不进行流的改写移动，第一流的GOP781a和第二流的GOP781b记录在光盘上的分离的位置即可。这时，能节约改写时间。如图12(3)所示，由于能编辑记录在DVD-RAM盘等中，所以相邻地记录按照GOP单元输入了流的编辑点的帧的GOP781e和GOP781f。在此情况下，以后在GOP内可以变更编辑点。另外，为了划变而对第二流进行图像合成时，编辑点后的第一流的视频图像是必要的，所以图12(3)所示的结构是必要的。
在S＝0即不进行两个图像的合成的情况下，GOP781c的切换点ts1以后的数据不需要，所以如图12(2)中的GOP781c所示删除后变成没有冗余部分，提高了记录效率。可是作为IN点的GOP781d一方在开头部分输入i(内)帧、即基本帧，由于不能删除，所以发生冗余部分783。
如图59中的步骤792a所示，实际的帧在1GOP中约有15帧。如步骤792b所示，如果删除IN点前存在的B帧，则步骤792c所示，B帧被删除，冗余部分783f从步骤792a中为12帧，而减少到步骤792c中冗余部分783g的3帧，冗余部分783这时变为1/4左右，提高了记录效率。
使该部分再生时，在步骤792f中检测B帧删除识别符，作为未记录B帧的帧，计算帧数。在步骤792g中，由于只有I、P帧能进行MPEG译码，所以逐渐地对帧进行译码，对t＝ts2的IN点的帧译码后输出。这时也可以进行3帧部分的处理，所以如上所述，用1/4的时间就能再生作为目标的IN点。在该例的情况下，冗余部分变为1/8秒。由图59可知，最坏的情况是在第14帧中有ts2的情况，但这时冗余部分变为I、P、P、P、B五帧。即变为1/3×1/2＝1/6秒。最长的冗余部分约为0.18秒。IN点再生时只需要该时间。跳跃式转移部分在1秒之内大约存在5次，变成间隔0.2秒。因此，通过删除B帧，跳跃式转移部分即使1秒内连续地进行5次，用本方式也能以帧为单元再生。这意味着在进行通常的编辑时能不成问题地使用。
说明再生控制信息的生成方法。假设将OUT点最后的GOP定义为第一GOP，将IN点最初的GOP定义为第GOP，通过记录第二GOP的开头时刻和切换点的时刻作为切换位置ts2的切换位置信息，能简单地进行再生控制。作为另一种方法也可以记录从第二GOP的开头到切换点的帧数。
在再生装置中使这些再生控制信息再生时，如图59中的步骤792f所示，在I、B、B、B、P、B、B、B、P、B、B、B中，不处理B帧(图像)，而对切换点的帧进行译码。即，只对I、P、P译码。于是，如上所述，用1/4的时间就能对IN点的图像进行译码。这时即使在1秒钟内帧切换点5次连续的情况下，冗余时间也是0.18秒，所以能跟踪，能无接缝地再生所有的切换点。
在此情况下，为了同步，作为再生控制信息，根据第二GOP的开头时刻和切换点的时刻，计算是否有从第二GOP切换到第某一帧(图像)的切换点。在作为不需要的帧的B帧被删除的情况下，查看不需要帧删除识别符，修正该部分。于是，如果使某一帧比IN点、OUT点更快地再生第二GOP，则能知道第一GOP的OUT点和第二GOP的IN点是否同步。
作为再生控制信息，在记录着是否有从第二GOP的开头切换到第某一帧的切换点的情况下，如果修正B帧等不需要的帧部分，如果对一个第二GOP开始译码，就能知道是否同步。
另外，作为再生控制信息，如果在第一GOP的特定位置开始第二GOP的译码，也能记录使第一GOP的切换点和第二GOP的切换点一致的译码开始时刻信息。
这时，在再生装置一侧不需要进行特别的计算，只用再生控制信息就能取得切换点同步。
另外，在该冗余部分783上进一步记录一个I帧和多个P帧、B帧，通过对它们译码，作成最后编辑点的帧的一个前帧，作成内帧，能进一步提高记录效率。另外在DVD-RAM的情况下，如图12(1)、(2)、(3)所示，通过将全部再生控制信息765、仅切换点的限定再生控制信息765a记录在记录数据的开头部分和编辑点之前这两个地方，作为toc，事先就能知道全体编辑结构。另外，通过在编辑点之前记录全体再生控制信息中的各个个别的编辑点、例如只限定S＝1的限定再生控制信息765a，具有特殊再生时再生控制稳定的效果。
现在说明再生控制的程序。首先在步骤774a中读出再生控制信息。在步骤774b中将再生切换点编号S设定为0，在步骤774c中使S增加1。能求得特定第二流的译码开始位置，所以在步骤774d中，将第一流的系统时钟或VPTS作为t，假定译码开始位置信息为ta，检查是否t＝ta。在t＝ta的时刻，即如图12(5)所示，在第二流的VPTS达到ta的时刻，进入步骤774e，如图12(6)所示，开始进行第二流的GOP的MPEG译码。在步骤774f中检查是否变成t＝ts1。如图12(5)、(6)所示，经过(ts1-ta)＝(ts2-tsG)的值的时间后，到达切换点ts2。如果满足上式，则如图12(5)、(6)所示，第一流的ts1的数据和第二流的ts2的数据能在同一时刻被进行MPEG译码，并从译码器输出。这两个流取得的同步状态示于图12(8)、(9)。具体的取得同步的方法将在实施形态3至9中详细说明。另外，根据再生控制信息可知ts1和ts2是两个图像的帧编辑点。在步骤774g中确认是否有图像合成识别符767，在没有的情况下进入步骤774h，如图12(10)所示，在t＝ts1的位置，利用切换合成部分763(图6)，从第一流切换到第二流。实际上t＝ts1是OUT点，所以t＝ts1的第一流的帧没有输出。t＝ts2是IN点，所以输出第二流的帧。在t＝ts2的时间内不需要第一流的帧的信息，所以S＝0时即不进行图像合成时，可以省略记录。这时，只有一个P帧，能提高记录效率。这样第S＝1的单纯切换方式的切换点的再生控制结束，返回步骤774c，进入下一个S＝2的切换点。
这时在步骤774p中，如果n＝0，则变换成n＝1。即用第二MPEG译码器730对第二流进行译码时，用第一MPEG译码器728对第二流即对下一个应切换的MPEG信号进行译码。MPEG译码器与S＝1的情况不同。
如图56所示，由分离部分734将输入的第二流781a、781b、781g、781h、781i交替地分配给第一MPEG译码器728和第二MPEG译码器730，对译码视频图像788a、788b进行译码，用切换部分763合成为一个流。由图可知，输出译码视频图像788a后，第一MPEG译码器728的输出停止。图像呈冻结状态。这是因为在数据不连续的情况下，不能正常译码所致。进行寄存器等的再设定790，再开始进行MPEG译码。第二MPEG译码器也一样。像以往那样，由于使用一个MPEG译码进行无缝连接，所以记录时需要进行各种复杂的前处理，但在本发明的情况下，记录时不进行复杂的处理，所以在使不能无缝连接的MPEG数据再生时，即使一个(第一)MPEG译码器停止，也能切换到另一个(第二)MPEG译码器，在此期间使停止的(第一)MPEG译码器再开始进行处理，所以用两个MPEG译码器能永远进行无缝再生输出。通过采用本发明，以往需要进行复杂处理的MPEG的帧编辑，通过再生控制，实际上也能实现相同的功能。特别是由于没有对MPEG数据译码后再进行编码的过程，所以能获得图像完全不劣化的极大的效果。
可以将上述方法概述如下将多个流分离，交替地用两个MPEG译码器进行译码，在切换点从一个第一MPEG译码器的译码输出端切换到另一个第二MPEG译码器的译码输出端进行输出，在此期间对原来的第一MPEG译码器进行再设定，再开始下一个流的译码，在下一个切换点从第二MPEG译码器的译码输出端切换到第一MPEG译码器的译码输出端。
这样以帧为单元连续地实现无缝连接。
(合成切换方式)其次，回到图13所示的步骤774g，说明图像合成识别符767除了0以外，即如图6中的合成信号输出部分764所示的划变所示，将两个流合成在一个画面上，进行切换时的程序。进去步骤774i，如图12(11)所示，从第一流切换到第二流，从t＝ts1开始一边合成一边切换，在步骤774j中一直切换到达到t＝te1或t＝te2为止，在步骤774k中结束。同时t＝ts1时使第一流的译码停止，所以能防止无用数据的译码。该合成方式对应于图像合成识别符767为1、2、3、4的情况，如图6中的合成画面782a、782b、782c、782d所示，进行开关，以便左/右切换，中央/周围切换，上/下切换，镶嵌幕切换。
另外，在图12中示出了不变更原来的时间标记的例，但使第一流的切换点和第二流的切换点的时间一致，用DVD-RAM等记录时，由于能变更时间标记，所以结构更简单。在ts1＝ts2的情况下记录时，可以改写。这时，第一流记录到ts1即可。第二流将taG替换成ts1-(ts2-tsG)。这时替换成比ts1小的时间标记。由于ta变得与tsG相同，所以在图12(6)中再生时，从图14所示的再生控制信息765b连接tsG、即连接第二流的GOP的开头地址770a，用tsG开始译码即可。
在替换时间标记的方式的情况下，变更图12(3)中的GOP761e和GOP781f的时间标记的顺序，同时重复进行。因此再生时在再生装置一侧发生工作错误。在本发明中，如图14所示，由于将第二流的GOP开始地址770a记录在再生控制信息765b中，所以事先知道该时间标记的异常地方，因此即使在快进再生时，也具有误动作少的附带效果。当然使用该GOP开始地址770a，能更可靠地切换到编辑点的第二流。
在图12(6)中再生时，也可以从图14所示的再生控制信息765b先读出tsG、即先读出第二流的开头地址770a，用tsG开始译码。
或者，只要是编辑点ts1的信息就可以，先读出编辑点的GOP的开头地址tsG，如果在t＝tsG的时刻，对第二流的GOP781f的数据进行NPWG译码，则具有第一流和第二流的编辑点ts1自动地一致的效果。
如上所述，通过替换记录时间标记，能使结构、以及工作过程大幅度简化。
用图15、16说明该第二种记录方法的程序。
用图6和图16说明编辑/再生控制信息生成程序。该程序如图6所示，用手输入或用数据输入包含编辑跳跃式转移的IN、OUT点的编辑信息780，通过再生控制信息生成部分789，接连不断地变换成再生控制信息765，暂时存入存储器779中后，全部编辑工作结束，然后或者在取出盘之前，利用记录装置777从存储器779记录到RAM盘724中。
用图16中的流程详细说明该再生控制信息生成部分789中的程序。
首先，在步骤785a中依次用手输入或者作为数据输入编辑信息780。S表示编辑点的编号，G表示通过划变等一边合成两个画面，一边进行开关的方式1~4，ts0是第一流的开始点，ts2是OUT开始点，te1是OUT点的合成结束点，ts2是第二流的IN点，te2是第二流的IN点合成结束点，tL2是第二流的OUT点。
首先在步骤785b中设定S＝0，使S增加1(步骤785c)，读入ts0、ts1(步骤785d)，在步骤785e中检查是否有G，没有时不需要进行图像合成，在步骤785f中将第一(S)流从ts0到ts1记录在光盘724上。读入第二(S+1)流的IN点ts2(步骤785g)，在步骤785g中进入时间标记变换处理例行程序，输入包含第二流的ts2的帧的开头GOP的开头时间标记tsG、以及开头GOP的最后帧的时间标记ts2。第二流的全部记录数据从tsG到tL2，将时间标记减去(ts2-ts1)，生成新的时间标记。在步骤785i中用该新时间标记，从第二流的原地址tsG到tL2(tf2)，只将新时间标记信息换成新时间标记，然后将其写入作为第一流连接点的ts1的帧的下一帧的信息上。
这时，在步骤785w中用第二流的开头GOP的地址tsG，进行ta＝ts1-(ts2-tsG)的运算，求出第二流先行译码时间ta，增加到限定再生控制信息765a和再生控制信息765中。在步骤785j中，如图12(2)所示，只将S号的作为再生控制信息的限定再生控制信息765a记录在第一(S)流的后半部分。在步骤785j中如果S结束，就进入步骤785m，如果未结束，则返回步骤785c，重复进行同样的步骤。在步骤785m中，如图12(3)所示，将存储在存储器779中的全部编辑点的再生控制信息765记录在光盘等的记录着管理信息的区域的再生控制信息记录部分，至此结束。
这时，大多返回步骤785e，在有合成识别符的情况下，在步骤785n中读入第一流的作为GOP点合成结束点的te1，在步骤785p中进行tG＝te1-ts1的运算，在步骤785q中如果tG＜tGmax，则进入下一步骤785r，在tG比tGmax大的情况下，由于两个流的合成持续时间太长，所以会超过再生装置的缓冲器的允许容量，所以在步骤785v中出现“将te1变更成小的值”的错误信息，在步骤785w中如果te1被变更，则返回步骤785n，使te1在允许值以下。
其次，这时由于连接点的合成处于允许值范围内，所以返回步骤785r，将第一流从tsG到te1记录在光盘上。在步骤785s中，读入第二流的ts2，在步骤785t中，与上述的步骤785g一样，用时间标记变换处理例行程序变换时间标记。在步骤785u中，一边将时间标记置换成新时间标记，一边将第二流从原地址tsG到tf2(tL2)写在第一流的te1的帧的下一帧数据上记录下来。然后将ta记录在存储器中，在步骤785j中记录限定再生控制信息765a，检查S是否结束(步骤785k)，在步骤785m中将全部再生控制信息765记录在光盘上，全部工作结束。
这样，将第一流记录至连接点，通过写上比连接点小的时间的时间标记，以便从该连接点之后在第二流的连接点使时间标记一致，在再生装置中一边使该光盘同步，一边进行再生，能获得能输出以帧为单元连接的视频图像信号的效果。
在此情况下，虽然需要两个MPEG译码器，但如图6所示，在记录再生装置的情况下，备有将视频图像输入信号编码成MPEG信号的MPEG编码器791。由于不能同时使用MPEG编码器和MPEG译码器，同时MPEG编码器具有MPEG译码器的两倍以上的处理能力，所以一个MPEG处理部分具有一个编码器或两个译码器功能。
因此，在将本发明应用于带MPEG编码器的记录再生装置的情况下，由于本来就具有两个译码器的能力，不用增加结构，就能获得本发明的帧编辑效果。
在用CPU进行软件编码/译码的情况下，CPU可靠的编码时间是译码处理时间的一倍以上，能进行软件编码的CPU能进行两个流的译码。因此，如图57中所述，通过用软件对一个流进行编码，同时或分时地用软件对两个流进行译码，不用提高CPU的处理能力，就能使本发明的假想帧编辑成为可能。
用图57中的流程说明用CPU进行编码/译码、记录/再生的程序。首先，在编码记录步骤792a中，输入m＝1~末尾的数据，在步骤792c、792d中，输入第m视频图像信号，对第m视频图像信号进行编码，作成第m流(步骤792e)，记录到光盘上(步骤792f)。在步骤792g中如果不是末尾，则返回步骤792c，如果m是末尾，就将记录结束(792h)。这时，在编辑再生控制信息步骤792i中，进行帧单元的编辑，将本发明的再生控制信息或上述的各种识别符记录在光盘上(图6、图58)。
其次再生时，启动再生控制程序792j，使跳跃式转移点S从1到末尾再生(步骤774b、774c)。如步骤774m、774e所述，在帧编辑点同时或分时地对两个流进行MPEG译码，在步骤774h中，在t＝ts时将输出从一个被译过码的流切换到另一个被译过码的流。在步骤774r中反复进行上述处理，直到s到达末尾为止。
该CPU具有进行一个流的MPEG编码的处理能力。这意味着能进行2~3个流的MPEG译码处理。因此，能获得如下效果用同一个CPU对一个流进行MPEG编码，进行帧编辑，对两个流进行MPEG译码，在帧编辑点能无缝再生输出。如果采用本发明，则具有在进行其余的MPEG译码时能有效地灵活运用CPU的本领的效果。
(实施形态3)本发明的MADM方式能使多个流同时再生，同步方式很重要。
在实施形态1中说明的480P、720P等高分辨率视频图像的记录再生、或在实施形态2中说明的假想帧编辑的再生控制方式中，说明了基本的AV同步方式，从实施形态3至9将更详细地说明各种同步方法。
首先，在本发明的实施形态3中，说明从记录了应同时再生的3个压缩视频图像信号的光盘读出数据，将3个视频图像同时展开再生的再生装置的AV同步方式的工作情况。
首先，在图37中示出了实施形态3的光盘再生装置中使用的光盘上的数据结构。
对3条作为视频图像信号的视频图像信号A、视频图像信号B、视频图像信号C分别进行MPEG压缩，获得压缩视频图像流A、压缩视频图像流B、压缩视频图像流C。
各压缩视频图像流A~C分别每2KB的大小被作为一个数据包而被数据包化。附加判断各数据包头部中存储的数据是否用于识别偏离压缩视频图像流A~C中的某个流用的流ID、以及在数据包中存储着视频帧的开头的情况下，作为表示应使该帧再生的时刻的视频图像再生时刻信息的VPTS(Video Presentation Time Stamp)。在实施形态3中，使用NTSC的视频图像作为各视频图像信号，视频帧周期大致为33msec。
对每个存储数据用适当个数的数据包将如上所述作成的视频数据包分成组，如压缩视频图像信号A-1、压缩视频图像信号B-1、压缩视频图像信号C-1，并多路复用地记录在光盘中。
图35是实施形态3的光盘再生装置的结构框图。
在图35中，501是上述的光盘，502是从光盘501读出数据的光拾波器，503是对光拾波器502读出的信号进行双值化、解调、错误修正等一系列光盘的信号处理的信号处理装置，504是暂时存储从信号处理装置503输出的数据的缓冲存储器，505是将从缓冲存储器504读出的数据分离成各自的压缩视频图像信号的分离装置，506是生成基准时刻信号的基准时刻信号生成装置，它由计数图中未示出的90KHz的时钟脉冲的计数器构成。510、520、530暂时存储由分离装置505分离的各个压缩视频图像信号的缓冲存储器，511、521、531是将各个压缩视频图像信号展开再生的视频译码器，512、522、532是显示各个视频图像信号的监视器。
图36中示出了视频译码器511、521、531的结构。
在图36中，601是检测视频数据包头部中存储的VPTS的VPTS检测装置，602是使压缩视频图像流进行MPEG展开的视频图像展开装置，603是视频图像再生时刻控制装置，用来对基准时刻信号和VPTS进行比较，在比较结果超过阈值的情况下，使视频图像再生以帧为单元跳跃或重复。
以下说明图53所示的光盘再生装置的工作情况。
光拾波器502由图中未示出的伺服装置进行聚焦控制和跟踪控制，从光盘501读出信号，输出给信号处理装置503。在信号处理装置503中进行双值化处理、解调处理、错误修正处理等一系列光盘信号处理，作为数字数据存入缓冲存储器504中。
缓冲存储器504具有这样的功能由于旋转等待等原因，从光盘501读出并供给数据的工作即使暂时中断时，也不会中断对后一阶段的数据供给。从缓冲存储器504读出的数据在分离装置505中被分离成压缩视频图像信号A~压缩视频图像信号C，分别被输出。分离装置根据被数据包化了的数据的数据包头部的流ID，识别各数据包中存储的压缩视频图像流是A~C中的哪一个，根据识别结果确定输出目标。
被分离的视频图像压缩信号被分别存储在缓冲存储器510~530中。
各缓冲存储器510~530具有对视频译码器511~531连续地供给数据的功能。
视频译码器511~531从各缓冲存储器510~530读出数据，将压缩视频图像信号展开，作为视频图像信号输出给监视器512~532。
用图36说明各视频译码器511~531的工作情况。
从缓冲存储器读出的压缩视频图像信号被输入VPTS检测装置601和视频图像展开装置602。
在视频图像展开装置602中，对压缩视频图像流进行MPEG展开处理，输出视频图像信号。
用VPTS检测装置601检测并输出数据包头部的VPTS。
在视频图像再生时刻控制装置603中，输入从视频图像展开装置602输出的视频图像信号、以及基准时刻信号、从VPTS检测装置601输出的VPTS，对基准时刻信号和VPTS进行比较，在两者的差超过阈值的情况下，控制视频图像再生的时刻，以便VPTS和基准时刻信号的差在阈值以下。
在实施形态3中，作为视频图像再生用的阈值，采用33msec，在视频图像再生时刻控制装置603中，进行以下工作当(基准时刻信号-VPTS)＞33msec时，跳跃1帧当(基准时刻信号-VPTS)＜33msec时，重复1帧在实施形态3中，由于基准时刻信号生成装置506或各视频译码器511~531中使用的石英振荡器的精度误差的原因，视频译码器511和视频译码器531对基准时刻信号延迟进行展开再生，另外视频译码器521对基准时刻信号提前进行展开再生，所以在不进行再生时刻的修正的情况下，各个再生的视频图像信号之间的同步发生偏移。
图38表示实施形态3中的视频图像再生的时序。图38(a)是表示对应于再生时间t的基准时刻信号的图，同样(b)表示视频译码器511展开的压缩视频图像信号A的作为VPTS的VPTS#A，(c)表示视频译码器521展开的压缩视频图像信号B的作为VPTS的VPTS#B，(d)表示视频译码器531展开的压缩视频图像信号C的作为VPTS的VPTS#C。
视频译码器511继续进行压缩视频图像信号A的展开再生工作，在基准时刻信号为T1的时刻，由于VPTS#A和基准时刻信号的差超过作为阈值的33msec，所以视频译码器511的视频图像再生时刻控制装置通过使本来应再生的一帧跳跃，修正再生时刻，以便VPTS#A和基准时刻信号的差在阈值以下。
另外，视频译码器521继续进行压缩视频图像信号B的展开再生工作，在基准时刻信号为T2的时刻，由于VPTS#B和基准时刻信号的差超过作为阈值的-33msec，所以视频译码器521的视频图像再生时刻控制装置通过重复在该时刻再生的帧，修正再生时刻，以便VPTS#B和基准时刻信号的差在阈值以下。
同样，视频译码器531继续进行压缩视频图像信号C的展开再生工作，在基准时刻信号为T3的时刻，由于VPTS#C和基准时刻信号的差超过作为阈值的33msec，所以视频译码器531的视频图像再生时刻控制装置通过使本来应再生的一帧跳跃，修正再生时刻，以便VPTS#C和基准时刻信号的差在阈值以下。
如上所述，在实施形态3中，在基准时刻信号和各视频译码器检测的VPTS之差超过阈值的情况下，各视频译码器的视频图像再生时刻扩展装置的修正功能起作用，能确保基准时刻信号和各VPTS之差不超过阈值，能使各视频译码器再生的视频图像同步。
(实施形态4)本发明的实施形态4是这样一种再生装置的实施形态该再生装置使用表示应使声音再生时刻的声音再生时刻信息，修正基准时刻信号，利用该基准时刻信号使多个视频图像信号同步。
图41中示出了实施形态4的光盘再生装置中使用的光盘上的数据结构。与实施形态3中使用的光盘相比，在本实施形态的光盘上记录的数据包括压缩声音数据。
以32msec为单元将声音信号压缩成音频帧，获得压缩声音流，每2KB形成一个数据包而被数据包化后，记录在光盘上。在音频数据包的头部附加了表示所存储的数据是压缩声音流的流ID、以及在数据包中存储着音频流的开头的情况下，作为表示应使该音频帧再生时刻的声音再生时刻信息的APTS(Audio Presentation TimeStamp)。
图39中示出了实施形态4的再生装置的结构框图该图中的501~532的结构与实施形态3的图35所示的光盘再生装置相同。
540是暂时存储被压缩的声音信号的缓冲存储器，541是将被压缩的声音信号展开的声音展开装置，542是使被展开的声音信号再生的扬声器。
图40表示音频译码器541的结构，701是检测音频数据包的头部中存储的APTS的APTS检测装置，702是将压缩声音流展开的声音展开装置。
以下说明在图39所示的光盘再生装置中，使图41中的光盘再生时的工作情况。
在被输入分离装置505之前的工作与实施形态3所示的光盘再生装置相同。
从缓冲存储器504读出的数据在分离装置505中被分离成压缩视频图像信号A~压缩视频图像信号C、以及压缩声音信号，并分别被输出。分离装置505利用数据包化了的数据的数据包头部的流I D，识别各数据包是压缩视频图像信号A~C、压缩声音信号中的哪一种，根据识别结果确定输出目标。
被分离的压缩视频图像信号、压缩声音信号分别被暂时存储在缓冲存储器510~540中。
视频译码器511~531从各缓冲存储器510~530读出数据，将压缩视频图像信号展开，作为视频图像信号输出给监视器512~532。另外，音频译码器541从缓冲存储器540读出数据，将压缩声音信号展开，作为声音信号输出给扬声器542。
视频译码器511~531将压缩视频图像信号展开的工作、以及基准时刻信号和VPTS的差超过阈值时的同步修正工作与实施形态3相同。
从缓冲存储器540读出的压缩声音信号被输入音频译码器541，由APTS检测装置701检测APTS，并输出。声音展开装置702对压缩声音流进行展开处理，输出声音信号。
从音频译码器541输出的APTS信号被输入基准时刻信号生成装置506，用该APTS修正基准时刻信号。
在实施形态4中，由于基准时刻信号生成装置506或各视频译码器511~531、音频译码器541中使用的石英振荡器的精度误差的原因，基准时刻信号的行进比音频译码器541的展开再生的行进快，视频译码器511相对于基准时刻信号展开再生的行进慢，另外，视频译码器521相对于基准时刻信号展开再生的行进快，所以不进行再生时刻的修正时，各个再生的视频图像信号之间、以及与声音的同步发生偏移。
在图42中示出了实施形态4中的视频图像再生、声音再生的时序。图42(a)是表示再生时刻t的APTS的图，该图(b)是表示基准时刻信号的图，同样(c)表示应使视频译码器511展开的压缩视频图像信号A再生的时刻VPTS#A，(d)表示应使视频译码器521展开的压缩视频图像信号B再生的时刻VPTS#B。
另外，在图42中虽然未示出视频译码器531展开的压缩视频图像信号C的VPTS#C，但其经过与实施形态3的图38大致相同。
基准时刻信号生成装置506在APTS表示ta1及ta2的时刻用APTS进行修正、在各个时刻再将基准时刻信号设定为ta1及ta2。
视频译码器511继续进行压缩视频图像信号A的展开再生工作，在基准时刻信号为T4的时刻，由于VPTS#A和基准时刻信号的差超过阈值即超过33msec，所以视频译码器511的视频图像再生时刻控制装置通过使本来应再生的一帧跳跃，来修正再生时刻，以便VPTS#A和基准时刻信号的差在阈值以下。
同样，视频译码器521继续进行压缩视频图像信号B的展开再生工作，在基准时刻信号为T5及T6的时刻，由于VPTS#B和基准时刻信号的差超过阈值即超过-33msec，所以视频译码器521的视频图像再生时刻控制装置通过重复再生在各个时刻再生的帧，来修正再生时刻，以便VPTS#B和基准时刻信号的差在阈值以下。
如上所述，在实施形态4中，在基准时刻信号和各视频译码器检测的VPTS的差超过了阈值的情况下，各视频译码器的视频图像再生时刻控制装置的修正功能起作用，能确保基准时刻信号和各VPTS的差不超过阈值，能使各视频译码器再生的视频图像信号之间同步。
另外，关于基准时刻信号和APTS的差，不是用基准时刻信号修正APTS，而是用APTS修正基准时刻信号，从而关于声音的再生，不会产生听觉上的不协调感，能使声音的再生和各视频图像的再生同步。
(实施形态5)本发明的实施形态5是关于用一个视频译码器检测的VPTS修正基准时刻信号，根据该基准时刻信号，使多个视频图像信号同步的再生装置。
图43中示出了实施形态5的再生装置的结构框图。
该图中的501~532与实施形态3中所示的光盘再生装置的结构相同，但551是实施形态5中使用的视频译码器。
视频译码器551具有输出所检测的VPTS的功能，在图44中示出了视频译码器551的结构。
801是检测压缩视频图像信号中表示多路复用的视频图像信号的再生时刻的VPTS的VPTS检测装置，802是将压缩视频图像信号展开的视频图像展开装置。
在实施形态5中，由于基准时刻信号生成装置506或视频译码器521、531、551中使用的石英振荡器的精度误差的原因，基准时刻信号的行进比视频译码器551的展开再生的行进快，视频译码器521相对于基准时刻信号展开再生的行进慢，另外视频译码器531相对于基准时刻信号展开再生的行进快，所以不进行同步修正时，各个再生的视频图像信号之间的同步发生偏移。
在图45中示出了实施形态5中的视频图像输出的时序。图45(a)是表示再生时刻t的视频译码器551检测的VPTS#A的图，同样(b)是表示基准时刻信号的图，同样(c)表示应使视频译码器521展开的压缩视频图像信号B再生的时刻VPTS#B，(d)表示应使视频译码器531展开的压缩视频图像信号C再生的时刻VPTS#C。
基准时刻信号生成装置506在VPTS#A表示tv1及tv2的时刻用VPTS#A进行修正、在各个时刻再将基准时刻信号设定为tv1及tv2。
视频译码器521继续进行压缩视频图像信号B的展开再生工作，在基准时刻信号为T7的时刻，由于VPTS#B和基准时刻信号的差超过阈值即超过33msec，所以视频译码器521的视频图像再生时刻控制装置通过使本来应再生的一帧跳跃，来修正再生时刻，以便VPTS#B和基准时刻信号的差在阈值以下。
同样，视频译码器531继续进行压缩视频图像信号C的展开再生工作，在基准时刻信号为T8及T9的时刻，由于VPTS#C和基准时刻信号的差超过阈值即超过-33msec，所以视频译码器531的视频图像再生时刻控制装置通过重复再生在各个时刻再生的帧，来修正再生时刻，以便VPTS#C和基准时刻信号的差在阈值以下。
如上所述，在实施形态5中，在基准时刻信号和视频译码器521、531检测的VPTS的差超过了阈值的情况下，各视频译码器的视频图像再生时刻控制装置的修正功能起作用，能确保基准时刻信号和各VPTS的差不超过阈值。
另外，通过用视频译码器551检测的VPTS#A修正基准时刻信号，关于视频译码器551再生的视频图像信号，伴随帧单元的跳跃或重复再生，不会产生听觉上的不协调感，能使各视频图像的再生同步。
(实施形态6)本发明的实施形态6是关于这样一种再生装置它备有多个将压缩视频图像信号展开再生的视频译码器，而且各视频译码器备有基准时刻信号生成装置，通过用表示应使声音再生的时刻的APTS，修正各视频译码器的基准时刻信号，来取得同步。
在实施形态6中使用图41中的数据结构所示的光盘。
图46中示出了实施形态6的光盘再生装置的结构框图。
501~542与实施形态4的图39所示的光盘再生装置的结构相同，与图39所示的光盘再生装置相比较，不同的地方在于不是独立地备有基准时刻信号发生装置506，而是在各视频译码器561~581中备有。
561是将压缩视频图像信号A展开再生的视频译码器，571是将压缩视频图像信号B展开再生的视频译码器，581是将压缩视频图像信号C展开再生的视频译码器。
在图47中示出了实施形态6中使用的视频译码器561~581的结构。
901是检测压缩视频图像信号中表示多路复用的视频图像信号的再生时刻的VPTS的VPTS检测装置，902是将压缩视频图像信号展开的视频图像展开装置，903是对基准时刻信号和VPTS进行比较，当比较结果超过阈值时使视频图像再生以帧为单元跳跃或重复的视频图像再生时刻控制装置，904是生成基准时刻信号的基准时刻信号生成装置。
在实施形态6中，用音频译码器541检测的APTS修正视频译码器561~581备有的基准时刻信号生成装置904的基准时刻信号。
由于用相同的APTS进行修正，所以修正后由视频译码器561~581生成的基准时刻信号呈现相同的值。
用APTS进行修正以后，与实施形态4一样，在各视频译码器的基准时刻信号和VPTS的差超过了阈值的情况下，各视频译码器的视频图像再生时刻控制装置进行帧单元的跳跃或重复再生，修正再生时刻，以便使上述的差在阈值以下。
如上所述，在实施形态6中，用APTS修正各视频译码器内部生成的基准时刻信号，同时利用各视频译码器的视频图像再生时刻控制装置，确保各基准时刻信号和各VPTS的差不超过阈值，能使各视频译码器再生的视频图像信号之间同步。
另外，与实施形态4一样，关于声音的再生不会产生听觉上的不协调，能使声音的再生和各视频图像的再生同步。
另外，在实施形态6中，虽然用音频译码器541检测的APTS修正视频译码器561~581的基准时刻信号，但也可以利用实施形态5的图44所示的一个视频译码器，用该视频译码器检测的VPTS修正另一个视频译码器的基准时刻信号，同样能使各视频图像的再生同步。
(实施形态7)本发明的实施形态7是使两个压缩视频图像信号同时再生，两个压缩视频图像信号是将立体视频图像信号分离成右眼用的视频图像信号和左眼用的视频图像信号后分别压缩而成的信号。
装置的全体结构与实施形态6的图46所示的光盘再生装置的结构大致相同，但由于同时再生的视频图像信号是两个，所以备有两个将分离装置505的后级的压缩视频图像信号展开的视频译码器。实施形态7中使用的一个视频译码器的结构示于图48，另一个视频译码器的结构示于图49。
在图48所示的一个视频译码器中，1001是检测压缩视频图像信号中表示多路复用的视频图像信号的再生时刻的VPTS的VPTS检测装置，1002是将输入的进行了MPEG压缩的视频图像信号展开的视频图像展开装置，1004是生成基准时刻信号的基准时刻信号生成装置，1003是对基准时刻信号和VPTS进行比较，当比较结果超过阈值时使视频图像再生以帧为单元跳跃或重复、同时输出再生视频图像的水平同步信号及垂直同步信号的视频图像再生时刻控制装置。
在图49所示的另一个视频译码器中，1101是检测压缩视频图像信号中表示多路复用的视频图像信号的再生时刻的VPTS的VPTS检测装置，1102是将输入的进行了MPEG压缩的视频图像信号展开的视频图像展开装置，1104是生成基准时刻信号的基准时刻信号生成装置，1103是对基准时刻信号和VPTS进行比较，当比较结果超过阈值时使视频图像再生以帧为单元跳跃或重复、同时输入视频图像信号的水平同步信号及垂直同步信号、与该水平/垂直同步信号同步地再生展开的视频图像的视频图像输出时刻控制装置。
另外，各个视频译码器使图48中的视频译码器输出的水平同步信号、垂直同步信号成为图49中的视频译码器的水平同步信号、垂直同步信号的输入而连续地使用。
在这样构成的实施形态7的光盘再生装置中，与实施形态6一样，用APTS修正左眼用的和右眼用的各视频译码器内部生成的基准时刻信号，同时利用各视频译码器的视频图像再生时刻控制装置，确保各基准时刻信号和各VPTS的差不超过阈值，能以帧为单元使左眼用的和右眼用的视频图像同步。另外，通过将一个视频译码器生成的水平同步信号、垂直同步信号作为另一个视频译码器的水平同步信号、垂直同步信号用，能使两个视频图像以象素为单元再生。
另外，在实施形态7中，作为同时再生的压缩视频图像信号，虽然使用将立体视频图像分离成右眼用的和左眼用的视频图像信号后分别被压缩的压缩视频图像信号，但也可以例如将具有第一分辨率的原视频图像信号沿着垂直方向或/及水平方向分离成至少含有第一视频图像信号和第二视频图像信号的两个以上的视频图像信号，上述第一视频图像信号和第二视频图像信号具有比视频图像信号被分离后的第一分辨率低的第二分辨率，将各视频图像信号作为压缩了的压缩视频图像信号，与立体视频图像的情况一样，能获得取得了象素单元的同步的多个视频图像信号，通过将它们合成，能再现第一分辨率的鲜明的原视频图像信号。
(实施形态8)实施形态8是关于分别将一个压缩视频图像信号和两个压缩声音信号展开、并同时再生的光盘再生装置。
图52中示出了实施形态8中使用的光盘上的数据结构。
分别压缩两个作为声音信号的声音信号D、声音信号E，获得压缩声音流D、压缩声音流E，压缩视频图像信号，获得压缩视频图像流。
压缩声音流D、E及压缩视频图像流分别按每2KB构成一个音频数据包、一个视频数据包而被数据包化。在各数据包的头部记录着识别所存储的数据是压缩声音流D、E或压缩视频图像流中的哪一种用的流ID、以及上述的APTS、VPTS。
在图50中示出了实施形态8的光盘再生装置的结构。
与实施形态4的图39所示的结构大致相同，音频译码器541使用图40所示的音频译码器，视频译码器531使用图36所示的视频译码器，但音频译码器591使用图51所示的音频译码器。
另外，590与540一样，是暂时存储压缩声音信号的缓冲存储器，592是使声音信号再生的扬声器。
图51中示出了音频译码器591的结构。
1201是检测压缩视频图像信号中表示多路复用的视频图像信号的再生时刻的APTS的APTS检测装置，1202是将输入的压缩声音信号展开的声音展开装置，1203是对基准时刻信号和APTS进行比较，当比较结果超过阈值时以音频帧为单元使声音再生跳跃或暂停的声音再生时刻控制装置。
其次说明实施形态8中的再生工作情况。
从光盘501读出的信号被输入分离装置505之前的工作与其他实施形态相同。
从缓冲存储器504读出的数据在分离装置505中被分离成压缩视频图像信号、压缩声音信号D、压缩声音信号E，并被分别输出。分离装置505根据被数据包化了的数据的数据包头部的流ID，识别各数据包是压缩视频图像信号、压缩声音信号D、E中的哪一种，根据识别结果确定输出目标。
被分离的压缩视频图像信号被暂时存储在缓冲存储器530中，压缩声音信号D被暂时存储在缓冲存储器540中，压缩声音信号E被暂时存储在缓冲存储器590中。
视频译码器从缓冲存储器530读出数据，将压缩视频图像信号展开，作为视频图像信号输出给监视器532。另外，音频译码器541、591分别从缓冲存储器540、590读出数据，将压缩声音信号展开，作为声音信号输出给扬声器542、592。
基准时刻信号生成装置506生成的基准时刻信号利用由音频译码器541检测的APTS#D进行修正。
在音频译码器591中，用APTS检测装置1201检测APTS#E，用声音展开装置1202将压缩声音信号E展开。将从声音展开装置1202输出的被展开的声音信号、基准时刻信号、以及从APTS检测装置1201输出的APTS#E输入声音再生时刻控制装置1203，比较基准时刻信号和APTS#E，控制声音再生的时刻，以便在两者的差超过阈值的情况下，使APTS#E和基准时刻信号的差在阈值以下。
在实施形态8中，作为该声音再生的阈值采用32msec，在声音再生时刻控制装置1203中，进行以下工作当(基准时刻信号-APTS#E)＞32msec时，跳跃1音频帧当(基准时刻信号-APTS#E)＜-32msec时，重复1音频帧另外，视频译码器531将压缩视频图像信号展开的工作、以及基准时刻信号和VPTS的差超过了阈值时的同步修正工作与实施形态3相同。
在实施形态8中，由于基准时刻信号生成装置506或各视频译码器531、音频译码器541、591中使用的石英振荡器的精度误差的原因，音频译码器541、591对基准时刻信号延迟进行展开再生，另外视频译码器531对基准时刻信号提前进行展开再生，所以在不进行再生时刻的修正的情况下，各个再生的视频图像信号之间的同步发生偏移。
在图53中示出了实施形态8中的视频图像再生、声音再生的时序。图43(a)是表示再生时刻t的APTS#D的图，该图(b)是表示基准时刻信号的图，同样(c)表示应使音频译码器591展开的压缩声音信号E再生的时刻APTS#E，(d)表示应使视频译码器531展开的视频图像信号再生的时刻VPTS。基准时刻信号生成装置506在APTS#D表示ta3及ta4的时刻，用APTS#D进行修正，在各个时刻再将基准时刻信号设定为ta3及ta4。
音频译码器591继续进行压缩声音信号E的展开工作，在基准时刻信号为T10的时刻，由于APTS#E和基准时刻信号的差超过声音再生的阈值即超过32msec，所以音频译码器591的声音再生时刻控制装置1203通过使本来应再生的一个音频帧跳跃，来修正再生时刻，以便APTS#E和基准时刻信号的差在阈值以下。
另外，在基准时刻信号为T11及T12的时刻，由于VPTS和基准时刻信号的差超过视频图像再生的阈值即超过-33msec，所以视频译码器531的视频图像再生时刻控制装置通过对在各个时刻再生的帧进行重复再生，来修正再生时刻，以便VPTS和基准时刻信号的差在阈值以下。
如上所述，在实施形态8中，在基准时刻信号和音频译码器591检测的APTS#E的差超过了声音再生的阈值的情况下，声音再生时刻控制装置的修正功能起作用，能确保基准时刻信号和APTS#E的差不超过声音再生的阈值。另外，同样能确保基准时刻信号和VPTS的差不超过视频图像再生的阈值。另外，由于用APTS#D修正基准时刻信号，所以能使各声音的再生和视频图像的再生同步。
(实施形态9)实施形态9采用进行展开再生工作用的改变时钟的装置作为声音再生时刻控制装置。
在实施形态9中，与实施形态8相比较，装置结构、总体工作都相同，但在基准时刻信号和APTS#E的差超过声音再生的阈值的情况下进行的声音再生时刻控制的工作不同。用图54及图55说明实施形态9中使用的声音再生时刻控制方法。
图54表示APTS#E和基准时刻信号的差超过了声音再生的阈值即超过了32msec时的工作，该图(a)是表示再生时间t的基准时刻信号的图，该图(b)表示APTS#E，(c)表示音频译码器591进行展开再生工作的时钟频率。利用声音信号的脉冲调制频率fs的384倍的时钟f0进行通常的展开再生工作。在基准时刻信号为T11的时刻，由于APTS#E和基准时刻信号的差超过声音再生的阈值即超过32msec，所以声音再生时刻控制装置将展开再生工作的时钟切换到f1。f1是其频率比f0的频率高10％的时钟。用f1进行展开再生工作时比用f0进行展开再生工作时，展开再生工作的速度能高出10％。另外，用f1进行展开再生工作的时间处于下述区间从APTS#E和基准时刻信号的差超过了声音再生的阈值即超过了32msec的时刻算起的320msec的区间。通过该工作修正再生时刻，以便APTS#E和基准时刻信号的差在声音再生的阈值以下。
图55表示APTS#E和基准时刻信号的差超过了声音再生的阈值即超过了-32msec时的工作情况，该图(a)是表示再生时间t的基准时刻信号的图，该图(b)表示APTS#E，(c)表示音频译码器591进行展开再生工作的时钟频率。
在基准时刻信号为T12的时刻，由于APTS#E和基准时刻信号的差超过声音再生的阈值即超过-32msec，所以声音再生时刻控制装置将展开再生工作的时钟切换到f2。f2是其频率比f0的频率低10％的时钟。用f2进行展开再生工作时比用f0进行展开再生工作时，展开再生工作的速度能低10％。另外，用f2进行展开再生工作的时间处于下述区间从APTS#E和基准时刻信号的差超过了声音再生的阈值即超过了-32msec的时刻算起的320msec的区间。通过该工作修正再生时刻，以便APTS#E和基准时刻信号的差在声音再生的阈值以下。
如上所述，在实施形态9中，在APTS#E和基准时刻信号的差超过了声音再生的阈值的情况下，通过改变进行展开再生工作的时钟，进行比通常的速度高或低的展开再生工作，将基准时刻信号和APTS#E的差控制在声音再生的阈值以下，不会产生听觉上的不协调，能使各声音的再生和视频图像的再生同步。
另外，可知在实施形态9中虽然使展开再生工作的时钟与通常相比改变10％，但变化幅度较小，或通过进行阶段性的变化，能在听觉上更自然地控制时刻。
在实施形态8及9中虽然用APTS#D修正基准时刻信号，但也可以采用视频译码器中图44所示的部分，利用从该视频译码器输出的VPTS，进行基准时刻信号的修正。
以上，说明了本发明的实施形态。
另外，实现基准时刻信号和VPTS或APTS的比较或再生时刻的控制，进而用VPTS或APTS修正基准时刻信号即可，例如利用控制再生装置全体的计算机实现各种功能即可。
另外，在各实施形态中，以光盘再生装置为例进行了说明，但通过将本发明的假想帧编辑方式应用于通过网络或数字广播供给压缩信号、将它们展开再生的称为机顶盒的再生装置，则在切换节目时能无缝地连接不连续的视频图像，效果很好。
工业上利用的可能性通过将基本视频图像信号和插值视频图像信号分别分割成1GOP以上的帧群，作为交错块互相交替地记录在光盘上，在高分辨率合成对应型再生装置中，通过使交错块的双方信息再生，能获得循序视频图像。另外在非循序对应型再生装置中，在使记录了高分辨率视频图像的盘再生的情况下，通过只使奇数半帧或偶数半帧的交错块中的一者进行跟踪跳跃再生，能获得完全的通常的二维视频图像。这样处理具有实现互换性的效果。
特别是设置高分辨率视频图像的配置信息文件，将高分辨率视频图像识别符记录在光盘上。因此能容易地判别什么地方存在高分辨率视频图像，所以具有以下效果能防止使两个通常的交错信号循序化或分别输出错误不同的两种内容的图像失败。
另外，如果采用本发明的两个流同时再生同步方式，则能以帧为单元假想地编辑无图像劣化的以往只能以GOP为单元编辑的MPEG信号的编辑。它通过记录再生控制信息，再生时能以帧单元连续输出。这样处理具有能不使图像劣化地实现假想的帧编辑的效果。
在两个流同时再生同步方式中，在将应同时再生的多个压缩视频图像信号或压缩声音信号展开再生时，能对它们进行同步再生。
另外，在用音频译码器检测的APTS修正基准时刻信号，控制视频图像输出时刻，以使VPTS与该基准时刻信号一致的再生装置中，不会引起听觉上的不协调，能同步再生声音和多个视频图像的输出。
另外，在通过改变展开工作时钟，控制输出声音的时刻的再生装置中，不会发生由声音的跳跃或暂停引起的噪声，能在听觉上没有不协调感地进行同步再生。
权利要求
1.一种光盘(724)，它至少记录了表示视频图像信号的低频分量的第一视频图像流(A)、以及至少表示上述视频图像信号的高频分量的第二视频图像流(B)，其中上述第一视频图像流(A)包括多个第一交错单元(722a、722b)，上述第二视频图像流(B)包括多个第二交错单元(718a、718b)，上述多个第一交错单元(722a、722b)中的每个单元包括m1(m1是等于或大于1的整数)个GOP，上述多个第二交错单元(718a、718b)中的每个单元包括m2(m2是等于或大于1的整数)个GOP。
2.根据权利要求1所述的光盘(724)，其特征在于这样构成上述多个第一交错单元(722a、722b)和上述多个第二交错单元(718a、718b)，以使上述多个第一交错单元(722a、722b)中的一个再生时间和对应于上述多个第一交错单元(722a、722b)中一个的上述多个第二交错单元(718a、718b)中一个的再生时间实际上相等。
3.一种使光盘中记录的信号再生的光盘再生装置，其特征在于在上述光盘中至少记录了包括多个第一GOP的第一视频图像流和包括多个第二GOP的第二视频图像流，上述多个第一GOP中的每一个包括多个图像，上述多个第二GOP中的每一个包括多个图像，上述光盘再生装置备有使上述光盘中记录的上述第一视频图像流和上述第二视频图像流再生的再生部分；对上述第一视频图像流和上述第二视频图像流进行译码的译码部分；以及根据再生控制信息，有选择地输出上述译码后的第一视频图像流和上述译码后的第二视频图像流的输出部分，上述再生控制信息表示使继第一图像之后的第二图像再生，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中，即上述再生控制信息表示与上述开头的第二GOP的开头的图像不同的第二图像再生。
4.根据权利要求3所述的光盘再生装置，其特征在于上述译码部分开始进行上述第二视频图像流的译码，以便在上述第一图像再生结束的时刻完成上述第二图像的译码。
5.根据权利要求4所述的光盘再生装置，其特征在于上述再生控制数据包含表示上述第一图像位置的信息ts1、表示上述第二视频图像位置的信息ts2、以及表示上述开头的第二GOP的开头图像位置的信息tsG，上述译码部分根据ta＝ts1-(ts2-tsG)的计算式，求出译码开始位置ta，根据上述译码开始位置ta，开始进行上述第二视频图像流的译码。
6.根据权利要求4所述的光盘再生装置，其特征在于上述再生控制数据包含表示上述开头的第二GOP的译码开始时刻的时刻信息，以便上述第一图像再生结束的时刻和上述第二图像再生开始的时刻一致，上述译码部分根据上述时刻信息，开始进行上述第二视频图像流的译码。
7.根据权利要求3所述的光盘再生装置，其特征在于上述译码部分在对上述开头的第二GOP的上述开头图像至上述第二图像进行译码时，省去不需要的图像的译码。
8.根据权利要求7所述的光盘再生装置，其特征在于上述不需要的图像是B图像。
9.根据权利要求3所述的光盘再生装置，其特征在于上述光盘再生装置还备有存储上述第一视频图像流和上述第二视频图像流的缓冲存储部分，上述缓冲存储部分的容量为1GOP以上的数据量。
10.根据权利要求3所述的光盘再生装置，其特征在于在上述光盘上还记录着上述再生控制信息，上述再生部分使上述光盘上记录的上述再生控制信息再生。
11.根据权利要求3所述的光盘再生装置，其特征在于在上述光盘上还记录着表示在上述光盘上是否记录了上述再生控制信息的识别符，在上述识别符表示在上述光盘上还记录着上述再生控制信息的情况下，上述再生部分使上述光盘上记录的上述再生控制信息再生。
12.根据权利要求3所述的光盘再生装置，其特征在于在高速再生方式中，在上述第二图像不是I图像的情况下，上述输出部分禁止输出上述开头的第二GOP中包含的I图像。
13.根据权利要求12所述的光盘再生装置，其特征在于上述输出部分根据I图像再生禁止信息，禁止输出上述开头的第二GOP中包含的I图像的一部分。
14.一种再生控制信息生成装置，其特征在于备有输入包含多个第一GOP的第一视频图像流和包含多个第二GOP的第二视频图像流的输入部分；以及生成部分，它生成表示使与上述开头的第二GOP的开头的图像不同的第二图像再生的再生控制信息，上述第二图像是继上述第一图像之后的第二图像，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中。
15根据权利要求14所述的再生控制信息生成装置，其特征在于上述再生控制数据包括表示从上述开头的第二GOP的上述开头图像到上述第二图像的图像数目的信息。
16.根据权利要求14所述的再生控制信息生成装置，其特征在于上述再生控制数据包括表示上述开头的第二GOP的上述开头图像应被再生的时刻和上述开头的第二GOP的上述第二图像应被再生的时刻的信息。
17.根据权利要求14所述的再生控制信息生成装置，其特征在于上述再生控制数据包括表示上述开头的第二GOP的译码开始时刻的时刻信息，以便上述第一图像的再生结束时刻和上述第二图像的再生开始时刻一致。
18.根据权利要求17所述的再生控制信息生成装置，其特征在于在对从上述开头的第二GOP的上述开头图像至上述第二图像中的图像译码时，在对不需要的图像不进行译码的情况下，上述时刻信息表示对上述开头的第二GOP开始译码的时刻。
19.根据权利要求18所述的再生控制信息生成装置，其特征在于上述不需要的图像是B图像。
20.一种光盘记录装置，其特征在于备有生成再生控制信息的生成部分、以及记录部分，它将上述再生控制信息记录在光盘上，上述光盘上已经记录了包括多个第一GOP的第一视频图像流和包括多个第二GOP的第二视频图像流，上述再生控制信息表示使与上述开头的第二GOP的开头的图像不同的第二图像再生，上述第二图像是继上述第一图像之后的第二图像，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中。
21.一种光盘记录装置，其特征在于备有编辑部分，它根据再生控制信息，编辑上述第一视频图像流和上述第二视频图像流，以便将再生时不需要的图像从包括多个第一GOP的第一视频图像流和包括多个第二GOP的第二视频图像流中删除；以及将上述编辑的第一视频图像流和上述编辑的第二视频图像流记录在光盘上的记录部分，上述再生控制信息表示使与上述开头的第二GOP的开头的视频图像不同的第二图像再生，上述第二图像是继上述第一图像之后的第二图像，上述第一图像包含在上述第一视频图像流中包含的上述多个第一GOP中最后的第一GOP中，上述第二图像包含在上述第二视频图像流中包含的上述多个第二GOP中开头的第二GOP中。
22.根据权利要求21所述的光盘记录装置，其特征在于上述再生时不需要的图像包括上述第一视频图像流中在上述第一图像之后的图像和上述第二视频图像流中在上述第二图像之前的图像。
23.根据权利要求22所述的光盘记录装置，其特征在于上述再生时不需要的图像还包括在对上述第二视频图像流中的上述开头的第二GOP的开头的图像至上述第二图像中的图像进行译码时不需要的图像。
24.根据权利要求23所述的光盘记录装置，其特征在于上述不需要的图像是B图像。
25.根据权利要求21所述的光盘记录装置，其特征在于上述记录部分将上述编辑的第一视频图像流和上述编辑的第二视频图像流记录在上述光盘上的连续的区域。
26.根据权利要求21所述的光盘记录装置，其特征在于上述记录部分将上述再生控制信息记录在上述光盘上。
27.根据权利要求21所述的光盘记录装置，其特征在于上述记录部分将上述再生控制信息记录在上述光盘以外的记录媒体上。
全文摘要
本发明的目的在于在记录了高分辨率视频图像信号的光盘及使其再生的系统中，实现与使通常分辨率的视频图像再生的现有的系统的互换性。利用视频图像分离装置将高分辨率视频图像信号分割成主信号和辅助信号，将进行了MPEG编码的各个流分割成1GOP以上的帧群的第一交错块54、第二交错块55交替地被记录在光盘1上，在高分辨率对应型再生装置中，通过使第一及第二交错块双方再生，获得高分辨率视频图像。另一方面，在高视频图像质量非对应型的再生装置中，只使第一或第二交错块两者中的一者再生，获得通常分辨率视频图像。
文档编号G11B7/00GK1750628SQ20051009270
公开日2006年3月22日 申请日期1998年8月31日 优先权日1997年8月29日
发明者大嶋光昭, 北浦坦, 福田秀树, 石原秀志 申请人:松下电器产业株式会社