专利名称：格式变换装置以及格式变换方法
技术领域：
本发明涉及一种用于经过压缩编码的多媒体信息的格式变换方法。
背景技术：
一般地，被称为运动图形专家组2(Moving Experts Group Phase2，MPEG2)的多媒体信息的压缩编码技术的例子包括在数字通用磁盘(DigitalVersatile Disc，DVD)等节目媒体中使用的节目数据流(Program Stream，PS)格式和在数字广播等广播波中使用的传输数据流(Transport Stream，TS)格式。
在现有的音视频(AV)设备中，例如DVD记录器和硬盘驱动器(HardDisk Drive，HDD)记录器中，仅采用上述MPEG2节目数据流(以下称之为MPEG2-PS)、MPEG2传输数据流(以下称之为MPEG2-TS)中的一种方式。
涉及MPEG2-PS视频方式和MPEG2-PS视频记录方式变换的技术，可以作为上述技术的背景技术。例如，参见未经审查的日本专利申请2003-242721。
可以预测，随着地面数字广播(ground digital broadcasting)的开始，在所出现的混合存在有基于节目的数据包的MPEG2-PS格式和基于广播的TS格式的数据环境中，将增加在上述AV设备中的不同格式数据间进行记录、再现、复制(dubbing)等的要求。
下面是一个使用现有音频/图像数据记录/再现装置101，执行现有的格式变换方法的例子。这里，假定将DVD媒体105中存储的MPEG2-PS(例如，DVD-视频记录格式(Video Recording Format))格式变换为MPEG2-TS格式进行复制的情况。这种情况下，MPEG2-PS和MPEG2-TS构成各单位数据(unit data)的数据比特长度不同。为此，如图1所示，格式变化结构可采用这样的结构在解码器103中对数据一次解码并输出(再现)，从而恢复成基带信号，将该基带信号输入到编码器102中，在编码器102中格式变换为MPEG2-TS数据后，将其记录在硬盘104中(再次编码)。
但是，根据上述这种结构，必须再现一次MPEG2-PS格式的数据，然后实时处理变换为MPEG2-TS格式的数据，这种处理过程需要有大量的处理时间。而且，由于比特率下降(降频变换(down-converted))，因而图像质量下降。在将MPEG2-TS格式的数据变换为MPEG2-PS格式的数据时同样产生上述问题。
因此，本发明的主要目的在于在进行复制等操作时，高速地执行MPEG2-PS格式和MPEG2-TS格式之间的格式变换。
发明内容
为了实现上述目的，本发明中，为了处理经过编码的第一格式的单位数据与第二格式的单位数据相比具有更长字节长度的情况，分割第一格式的单位数据，并将分割的数据分配给第二格式的单位数据。另外，使以第一格式编码的数据流的开始位置的单位数据和以第二格式编码的数据流中由多个单位数据组成的单元的字节长度彼此一致，并使用来调整解码第一格式以及第二格式的各单位数据时的基准时间的参照值彼此一致。由此，不变换第一格式的单位数据的编码形式，就可以将第一格式的单位数据变换为第二格式的单位数据。
根据本发明，为了将第一格式变换为第二格式，不需要将以第一格式编码的第一数据流首先通过解码器进行解码再现，然后通过编码器将第一格式再次编码为第二格式。取而代之，本发明的结构可以将用来调整解码第一格式的各单位数据时的基准时间的参照值变换为用来调整解码第二格式的各单位数据时的基准时间的参照值。
另外，在本发明中，构成第二格式的数据流中的单元的每个单位数据都有输入时间信息。由此，本发明在执行从第一格式变换为第二格式时，根据上述第二格式中的参照值，为每个预定字节长度生成各单位数据的输入时间信息。
因此，本发明中，即使在第一格式的各单位数据中没有与第二格式的各单位数据的输入时间信息对应的时间信息，也不必按照第一格式进行再次编码就可以生成第二格式的输入时间信息。
另外，本发明中，由第一格式编码的第一数据流具有用来同步再现图像信息和音频信息的时间信息。为此，在由第一数据流变换为第二数据流时，可以使用包含在第一数据流中的时间信息作为包含在第二数据流中的时间信息。
由此，根据本发明，在由第一格式变换为第二格式时，不需要将以第一格式编码的第一数据流通过解码器进行解码再现，然后通过编码器将第一格式再次编码为第二格式。取而代之，本发明可以设定用来同步再现图像信息和音频信息的时间信息。
此外，在本发明中，由第一格式编码的第一数据流具有用来解码图像信息和音频信息的时间信息，在由第一数据流变换为第二数据流时，可以使用包含在第一数据流中的时间信息作为包含在第二数据流中的时间信息。
由此，根据本发明，在由第一格式变换为第二格式时，不需要将以第一格式编码的第一数据流通过解码器进行解码再现，然后通过编码器将第一格式再次编码为第二格式。取而代之，本发明可以设定用来同步再现图像信息和音频信息的时间信息。
图1是现有技术例子中复制操作的概要图；图2是表示MPEG2-PS格式的多路复用数据的结构实例图；图3是表示MPEG2-TS格式的多路复用数据的结构实例图；
图4是说明格式变换装置的结构框图；图5是格式变换方法的流程图；图6是数据读取/分离步骤的流程图；图7是数据分析步骤的流程图；图8是包头信息分析步骤流程图；图9是格式变换所需信息生成步骤的流程图；图10是用于调整解码数据的基准时间的参照值的布置图；图11是表示有效负荷部分的格式变换示意图；图12是生成用来同步再现图像信息和音频信息的时间信息的步骤的流程图；图13是管理信息生成步骤的流程图；图14是第二格式数据生成步骤的流程图；图15是数据写入步骤的流程图；图16是说明格式变换装置的结构框图；图17是格式变换方法的流程图；图18是数据读取/分离步骤的流程图；图19是数据分析步骤的流程图；图20是包头信息分析步骤的流程图；图21是格式变换所需信息生成步骤的流程图；图22是用于调整解码数据的基准时间的参照值的布置图；图23是表示有效负荷部分的格式变换图；图24是生成用来同步再现图像信息和音频信息的时间信息的步骤的流程图；图25是管理信息生成步骤的流程图；图26是第二格式数据生成步骤的流程图；图27是数据写入步骤的流程图；
图28是说明利用流水线处理的格式变换装置的结构框图；图29A-图29D是表示流水线处理的图。
具体实施例方式
下面参照
本发明的优选实施例。
MPEG2-PS的结构首先说明MPEG2-PS的结构。图2示出了作为本发明第一种格式的例子的MPEG2-PS格式的数据结构。该格式是在一个数据流(stream)中设置一个节目(program)。并假定节目数据流使用于没有误差发生的环境中的数据传送或数据存储，例如，在DVD等中采用。
简要说明节目数据流的结构。构成MPEG2-PS的各个包(pack)设置如下。将基本数据流(Elementary Stream，ES)分割为固定长度的打包基本数据流(PES)数据包。在各个PES数据包中附加PS包头(header)。将每个PS包(PS pack)(单位数据)设定为2048字节(2K Bytes)的固定长度。
在包含在每个PES数据包中的PES包头中，记载了以下信息用于识别个别数据流的码、数据包的数据量(packet size)、用来同步再现图像或音频的显示时间标记(Presentation Time Stamp，PTS)、表示从用来解码数据流的解码器内的缓冲器中输出解码图像信息的时刻的时间信息的解码时间标记(Decording Time Stamp，DTS)等时间信息，以及其它信息。在PES数据包为音频信息的情况下，PTS和DTS为相同的值，在该情况下仅记录PTS。
在每个PS包中附加的PS包头中，记录有系统时钟基准参照值(SystemClock Reference，SCR)。在包含了图像信息和音频信息的解码器的MPEG系统解码器中，SCR为用来设置或修正系统时钟(STC)(基准同步信息，reference synchronizing information)的值的参照值，STC作为编码器侧所希望的值的时间基准。要求将SCR至少每0.7msec包含在PS中一次。
MPEG2-TS的结构图3示出了作为本发明的第二种格式的例子的MPEG2-TS格式的数据结构。MPEG2-TS格式可以在一个数据流中构造多个节目，因而可以对应于广播等。为此，假定上述格式适用于比如广播或通信网络之类的在数据传送中产生误差的情况。
简要说明MPEG2-TS的数据流结构。将ES分割为PES数据包。其中考虑适用于产生数据传送误差的环境，又将PES数据包分割为188字节固定长度的数据包。另外，通过在各个数据包中附加TS包头来构造TS数据包(单位数据)。
与所述的MPEG2-PS格式相同，在MPEG2-TS格式中，包含在PES数据包中的PES包头中记载了以下信息用于识别个别数据流的码、数据包的数据量、用来同步再现图像或音频的PTS(Presentation Time Stamp)、表示从用来解码数据流的解码器内的缓冲器中输出解码图像信息的时刻的时间信息的DTS(Decoding Time Stamp)等时间信息，以及其它信息。
TS数据包包含TS包头、PES包头、匹配字段(adaptation_field)和有效负荷(payload portion)。
在每个TS数据包中附加的TS包头包含表示版权信息的允许复制标识(Copy Permission Indicator，CPI)、到达时间标记(Arrival Time Stamp，ATS)和数据包包头(packet header)。
匹配字段(adaptation_field)包含比如节目时钟基准参照值(ProgramClock Reference，PCR)和填充功能等信息，在TS数据包内执行的填充功能用于使TS数据包具有188字节的固定长度。PCR与上述SCR相同，在包含了图像信息和音频信息的解码器的MPEG系统解码器中，PCR为用来设置或修正系统时钟(STC)(基准同步信息，reference synchronizinginformation)的值的参照值，STC作为编码器侧所希望的值的时间基准。为了稳定操作，MPEG2-TS中一般将PCR的传送时间间隔设定为0.1msec以下。
随后，说明根据本实施例的装置结构、以及利用本实施例的装置结构的MPEG2-PS和MPEG2-TS间的格式变换。
以下说明是基于下列前提●使用作为MPEG2-PS格式一个例子的DVD-VR(Video Recording)作为第一格式。
●使用MPEG2-TS格式作为第二格式。
●将由11个MPEG2-TS的TS数据包组成的单元对应于1个MPEG2-PS的包。
然后说明本实施例的格式变换装置。如图4所示，本实施例的格式变换装置包含以MPEG2-PS格式存储数据的记录媒体400(例如DVD-RAM)、用于从记录媒体400中读取数据的读取单元402(例如，RAM驱动)、用于以MPEG2-TS格式写入数据的写入单元404、与记录媒体400不同的记录媒体406和数据流控制单元408。
数据流控制单元408包含用于分离由读取单元402读取的MPEG2-PS格式数据的分离单元410、用于分析由分离单元410分离出的数据的包头信息的包头信息分析单元412、用于从由分离单元410分离出的数据中检测预定数据量(data size)的数据量检测单元414、用于从由分离单元410分离出的数据中检测预定时间信息的时间信息检测单元416、用于暂时存储预定数据的暂时存储单元418、由例如微处理器构成的数据生成单元420、用于控制在上述暂时存储单元418和数据生成单元420之间进行的数据交换的数据读/写控制单元422、用于附加预定时间信息的时间信息附加单元424。
然后，说明利用根据本实施例的格式变换装置进行的MPEG2-TS和MPEG2-PS之间的格式变换。首先说明将MPEG2-PS格式的多路复用数据变换为MPEG2-TS格式的处理过程。
图5示出了将MPEG2-PS格式的多路复用数据变换为MPEG2-TS格式的处理流程。
该处理流程包含以下步骤用于读出并分离MPEG2-PS格式的多路复用数据的数据读出/分离步骤S500、用于分析由步骤S500分离出的数据的数据分析步骤S502、用于生成用来管理MPEG2-TS格式的数据流的管理信息的管理信息生成步骤S504、用于生成将时间信息等进行格式变换时所需信息的格式变换所需信息生成步骤S506、用于从由步骤S506生成的信息中生成MPEG2-TS格式数据的第二格式数据生成步骤S508、用于将由步骤S508生成的MPEG2-TS格式的数据写入到记录媒体406的数据写入步骤S510。
以下参照图6-15详细说明各个步骤。图6是表示数据读取/分离步骤S500的详细内容的流程图。数据读取/分离步骤S500包含数据读取步骤S600、数据分离步骤S602和写入步骤S604。数据读取步骤S600中由读取单元402读出以MPEG2-PS格式记录在记录媒体400上的数据。数据分离步骤S602中，通过数据流控制单元408内的分离单元410，将以MPEG2-PS格式记录的数据分离为音频信息(Audio ES，AES)、图像信息(Video ES，VES)以及管理信息(RDI包)。写入步骤S604中，将分离出的数据写入到暂时存储单元418。
图7以及图8是表示数据分析步骤S502的详细内容的流程图。数据分析步骤S502中，通过包头信息分析步骤S700、数据量检测步骤S702以及时间信息检测步骤S704，从数据读取/分离步骤S500中分离出的数据中，输出预定的分析结果。
如图8所示，在包头信息分析步骤S700中，在数据读取/分离步骤S500分离出的图像信息(VES)的输入(S800)到数据结束(S822)之间，通过包头信息分析单元412分析出序列头(Sequence Header)和图像头(PictureHeader)(S802、S806、S810、S814、S818)。
通过该分析可得到horizontal_size_value，vertical_size_value，aspect_ratio_information，horizontal_size_extention，vertical_size_extention，temporal_reference，Picture_cording_type，Picture_structure以及Picture_user_data(S804、S808、S812、S816、S820)。
数据量检测步骤S702中，由数据读取/分离步骤S500中分离出的数据，通过包头信息分析步骤S700分析得到包头信息，从分析出的包头信息对应的图像信息中计算出图像数据量(Picture size)。Picture size表示包含在MPEG2-PS的PS包内的图像数据量，使用计数器计算得出。在计算时，除去了包含在PS包内的包包头(pack header)、数据包包头和PES包头。
在时间信息检测步骤S704中，由时间信息检测单元416从分离的图像信息(VES)和音频信息(AES)中检测出开始(initial)的PTS。
然后，说明管理信息生成步骤S504之前，先说明格式变换所需信息生成步骤S506的详细内容。图9是格式变换所需信息生成步骤S506的详细内容。步骤S506包括缓冲模拟(buffer simulation)步骤S900、数据获取步骤S902、写入步骤S904以及开始时间信息生成步骤S906。
基于数据分析步骤S502中得到的分析结果，在数据生成单元420中执行缓冲模拟步骤S900。在数据获取步骤S902中，从在缓冲模拟步骤S900中得到的信息中获得用于变换为第二格式所需的信息。写入步骤S904中，将在数据获取步骤S902中得到的信息写入暂时存储单元418。开始时间信息生成步骤S906中，从写入到暂时存储单元418的信息中生成开始时间信息(initial time information)。
说明缓冲模拟步骤S900的详细内容。缓冲模拟步骤S900中，从数据读取/分离步骤S500中进行变换的MPEG2-PS数据中读出SCR、图像数据量、PTS、DTS。然后，通过对这些读出的信息执行缓冲模拟来生成PCR、多路复用顺序、有效负荷数据量/指针、数据包数(packet number)。
然后，参照图10来说明基于记录在MPEG2-PS上的SCR，对记录在MPEG2-TS的数据上的PCR(Program Clock Reference)进行输出的步骤。
图10中，参考符号(a)表示MPEG2-PS的数据流，参考符号(b)表示MPEG2-TS的数据流。在MPEG2-PS中，第一(开始)包，设置存储管理信息的包(图中没有示出)，紧接第一包的第二包，设置存储图像信息的包，紧接第二包的第三包到第五包，设置以与第二包同样的方式存储图像信息的包，紧接第五包的第六包设置存储音频信息的包。
在MPEG2-TS中，与MPEG2-PS的包相对应，第一(开始)单元(unit)，设置存储管理信息的多个数据包，紧接第一单元的第二单元，设置存储图像信息的多个数据包，紧接第二单元的第三单元到第五单元，设置以与第二单元同样的方式存储图像信息的数据包，紧接第五单元的第六单元中设置存储音频信息的多个数据包。
首先，说明将MPEG2-PS的SCR变换为MPEG2-TS的PCR的步骤。如上所述，在MPEG2-PS的各包中所附加的包头中存储了SCR，并通过读取单元402读取MPEG2-PS的SCR。然后，对附加在第二包中的SCR和附加在用于存储管理信息的第一包上的SCR进行比较，以便提取出第一包所需的数据长度。接着，为使MPEG2-TS的第二单元的PCR与上述MPEG2-PS的第二包的SCR相一致，在包含管理信息的MPEG2-TS的单元中附加没有意义的数据。由此，填充没有意义的数据(填充数据)，可使MPEG2-PS的数据长度与MPEG2-TS的数据长度一致。
通过上述处理，可确保MPEG2-PS格式的SCR与MPEG2-TS格式的PCR同步。由此，不必进行再次编码(re-encoding)，就可以将MPEG2-PS的SCR变换为MPEG2-TS的PCR。
然后，说明生成MPEG2-TS的ATS的步骤。如图10所示，在各个单位数据上按每个预定字节长度附加MPEG2-TS的ATS。利用该方法，基于上述PCR生成第1数据包的ATS，对于第2数据包之后的ATS，从第1数据包开始按预定时间间隔给各个数据包附加ATS。由此，生成ATS。这里，还可以构造成从第1数据包的ATS中得到第2数据包的ATS，从第2数据包的ATS中得到第3数据包的ATS。
由此，在MPEG2-PS的数据中不存在对应于每个MPEG2-TS数据包的ATS的时间信息的情况下，也可以不必从MPEG2-PS格式进行再次编码就能生成MPEG2-TS的ATS。
随后，参照图11说明有关图像信息以及音频信息的变换操作。如上所述，MPEG2-PS的各个包中包含PS包的包包头和PES有效负荷。其中，提取出包含除去包包头的图像信息以及音频信息的PES有效负荷部分的图像数据量，计算出在MPEG2-TS中可分割的数据数。然后，根据算出的数据数，在MPEG2-TS的各个数据包的有效负荷部分分配并存储图像信息和音频信息。由此，不必进行再次编码就能将MPEG2-PS的各个图像信息以及音频信息变换为MPEG2-TS的各个图像信息以及音频信息。
接着，参照图12说明生成MPEG2-TS的PTS或DTS的步骤。如上所述，MPEG2-TS的PTS或DTS存储在PES数据包的数据包包头中，在MPEG2-PS中，一个PES数据包构成一个PS包。为此，每个PS包中都存储PTS或DTS。下面描述检测PTS的处理，如图12所示。在输入音频或图像数据时(S1200)，判断是音频数据还是图像数据(S1202)，当判断结果为音频数据时，检测出音频PTS(S1204)，当判断结果为图像数据时，检测出视频PTS(S1206)。
在MPEG2-TS中，由于一个PES数据包被分割为11个TS数据包，例如可以在11个TS数据包的一个中附加PTS或DTS。
在MPEG2-PS中，在PES数据包中附加包含PTS或DTS的PES包头，该PES数据包组成一个PS包。与此相反，MPEG2-TS中，在PES数据包中附加PES包头，然后分割该PES数据包。为此，MPEG2-PS中，在各个PS包的PES包头中设置PTS或DTS，在MPEG2-TS中，在附加在多个TS数据包中的一个上的PES包头中设置PTS或DTS。为此，需要考虑两者的PTS或DTS相一致的情况。
在两者的PTS或DTS相一致的情况下，不必在格式变换中变换PTS或DTS，并且格式转换前的PTS或DTS可以以同样的方式使用在格式变换后。这样可以使格式变换中的PTS或DTS变换更为容易进行。
返回说明管理信息做成步骤S504。图13表示管理信息生成步骤S504的流程。管理信息生成步骤S504包含以下步骤使用数据读/写控制单元422读取由数据读取/分离步骤S500分离并存储在暂时存储单元418中的管理数据的RDI包的步骤S1300，在数据生成单元420中根据RDI包的信息生成TIP数据包、节目映像表(Program Map Table，PMT)数据包的步骤S1301，使用数据读/写控制单元422将TIP数据包和PMT数据包写入暂时存储单元418的步骤S1302，以及从PMT数据包中获得作为版权信息的CCI的步骤S1303。
通过上述步骤，由于可以确定MPEG2-TS格式的PCR、多路复用顺序、有效负荷数据量/指针、数据包数以及数据包结构，因此，可以生成PES_Header(Adaptation_Field)。
接着，说明第二格式数据生成步骤S508。图14是第二格式数据生成步骤S508的处理流程图。步骤S508包含读取步骤S1400、数据生成步骤S1402。
读取步骤S1400中，使用数据读/写控制单元422读出通过上述步骤写入暂时存储单元418中的PMT、TIP、PCR、AES、VES、ATS、PAT、SIT以及填充的各种数据包。
数据生成步骤S1402中，基于由读取步骤S1400读出的数据和通过格式变换所需信息生成步骤S506得到的多路复用顺序、有效负荷数据量/指针、数据包数等信息，在缓冲存储器上生成MPEG2-TS格式的数据包。
在第二格式数据生成步骤中，在暂时存储单元418中生成MPEG2-TS格式的数据时，在MPEG2-TS格式的数据包中附加在格式变换所需信息生成步骤S506中得到的CCI、PES_Header。此时，通过时间信息附加单元424，在附加的CCI、PES_Header上以恒定的间隔添加ATS。
随后说明数据写入步骤S510。图15是数据写入步骤S510的流程图。数据写入步骤S510中，在HDD 406上记录在暂时存储单元418上生成的MPEG2-TS格式的数据(S1500)。
按照上述相同的方式，将11个TS数据包作为一个单元，对其后的包进行格式变换。
通过上述步骤，在从MPEG2-PS格式变换为MPEG2-TS格式的情况下，不必进行再编码就可以执行高速格式变换。
从MPEG2-TS到MPEG2-PS的格式变换接着，说明从MPEG2-TS到MPEG2-PS的格式变换。图16表示本发明的格式变换装置的结构框图。以下说明中，将MPEG2-TS格式作为第一格式，将MPEG2-PS格式作为第二格式。
如图16所示，该格式变换装置包括用于存储MPEG2-TS格式多路复用数据的记录媒体1600，用于从该记录媒体1600上读出数据的读取单元1602，用于将格式变换后的数据写入不同于记录媒体1600的记录媒体1604中的写入单元1606，用于将由读取单元1602读出的数据进行格式变换的数据流控制单元1608。
数据流控制单元1608包括用于将由读取单元1602读取的数据分离为音频信息、图像信息、管理信息的分离单元1610、用于从由分离单元1610分离的MPEG2-TS图像数据中分析包头信息的包头信息分析单元1612、用于从由分离单元1610分离出的MPEG2-TS图像信息中检测预定数据量的数据量检测单元1614、用于从由分离单元1610分离出的MPEG2-TS数据中检测预定时间信息的时间信息检测单元1616、用于暂时存储预定信息的暂时存储单元1618、由例如微处理器构成的数据生成单元1620、用于控制在上述暂时存储单元1618中存储的数据读取的数据读/写控制单元1622。
基于上述结构，说明使用上述结构将MPEG2-TS格式多路复用的数据变换为MPEG2-PS格式数据的格式变换过程。
图17是表示该格式变换的流程图。该格式变换过程包含以下步骤数据读出/分离步骤S1700、数据分析步骤S1702、管理信息生成步骤S1704、格式变换所需信息生成步骤S1706、第二格式数据生成步骤S1708、数据写入步骤S1710，通过执行这些步骤，将MPEG2-TS格式的多路复用数据变换为MPEG2-PS格式。
以下，参照图18-27详细说明各个步骤。
图18是表示数据读取/分离步骤S1700的流程图。首先，读出MPEG2-PS格式的数据(S1800)。将读出的MPEG2-TS格式的数据分离为音频信息AES(Audio ES)、图像信息VES(Video ES)以及管理信息的TIP数据包和PMT(Program Map Table)数据包(S1802)。将被分离的AES、VES以及TIP数据包、PMT数据包原样存储在暂时存储单元1618中(S1804)。
然后，参照图19以及图20说明数据分析步骤S1702。数据分析步骤S1702中，经过包头信息分析步骤S1900、数据量检测步骤S1902以及时间信息检测步骤S1904，从数据读取/分离步骤S1700中分离出的数据中，输出预定的分析结果。
数据分析步骤S1702中，在通过数据读取/分离步骤S1700分离的图像信息(VES)的输入(S2000)到数据结束为止(S2022)之间，分析出SequenceHeader和Picture Header(S2002、S2006、S2010、S2014、S2018)。
通过分析可得到horizontal_size_value，vertical_size_value，aspect_ratio_information，horizontal_size_extention，vertical_size_extention，temporal_reference，Picture_cording_type，Picture_structure，以及Picture_user_data(S2004、S2008、S2012、S2016、S2020)。
数据量检测步骤S1902中，由数据读取/分离步骤S1700中分离出的数据，通过包头信息分析步骤S1900分析得到包头信息，从分析出包头信息对应的图像信息中计算出图像数据量(Picture size)。Picture size表示包含在MPEG2-TS的TS数据包内的图像数据量，使用计数器计算得出。在计算时，除去了包含在TS数据包内的数据包包头以及PES包头。
在时间信息检测步骤S1904中，由时间信息检测单元1616从分离的图像信息(VES)和音频信息(AES)中检测出开始(initial)的PTS。
然后，说明管理信息生成步骤S1704之前，先说明格式变换所需信息生成步骤S1706的详细内容。图21是格式变换所需信息生成步骤S1706的详细内容。步骤S1706包括缓冲模拟步骤S2100、数据获取步骤S2102、写入步骤S2104以及开始时间信息生成步骤S2106。
基于数据分析步骤S1702中得到的分析结果，在数据生成单元1620中执行缓冲模拟步骤S2100。在数据获取步骤S2102中，从在缓冲模拟步骤S2100中得到的信息中获得用于变换为第二格式所需的信息。写入步骤S2104中，将在数据获取步骤S2102中得到的信息写入暂时存储单元1618。开始时间信息生成步骤S2106中，从写入到暂时存储单元1618的信息中生成开始时间信息。
缓冲模拟步骤S2000中，从作为数据读取/分离步骤S1700中的变换对象的MPEG2-TS数据中读出PCR、ATS、图像数据量和PTS，并通过对这些读出的信息执行缓冲模拟来生成SCR(System Clock Reference)、多路复用顺序、有效负荷数据量/指针、Pack_Header(PTS/DTS、P-STD-Buf、sub_header)。
接着，参照图22说明在缓冲模拟步骤中，输出由MPEG2-PS格式记录的数据的SCR的步骤。MPEG2-PS格式的数据对应于通过MPEG2-TS格式记录的数据，同时附加给MPEG2-PS格式数据的SCR对应于附加给MPEG2-TS格式数据的PCR。
如前所述，在MPEG2-TS的各数据包所附加的包头中存储有ATS，通过读取单元1602读出第一单元(包含管理信息)开始数据包的第1AST，和第二单元(包含图像信息)开始数据包中的第2ATS。第一单元开始数据包是MPEG2-TS全部单元的开始数据包。
然后，计算读出的第1AST和第2AST之间的差，在MPEG2-TS的第1数据包上添加不必要的数据以便填补该差。由此，将MPEG2-TS的第一单元和MPEG2-PS的第一包之间的字节长度统一为同样长度。然后，计算出添加了预定长度字节之后的PCR。另外，将算出的MPEG2-TS的第二单元的PCR设定为MPEG2-PS的第二包的SCR。由此，可以生成MPEG2-PS的SCR。
通过执行上述处理步骤，可确保MPEG2-TS格式的PCR与MPEG2-PS格式的SCR互相同步。由此，不必进行再次编码，就可以将MPEG2-PS的SCR变换为MPEG2-TS的PCR。
下面说明下一步骤。如图23所示，每个MPEG2-TS的数据包包括TS的数据包包头、PES包头、PES有效负荷等。从这些数据包组成部分中，提取出包含除去数据包包头、PES包头的图像信息以及音频信息的PES有效负荷部分的图像数据量，并计算出在MPEG2-PS的各包的有效负荷中可以存储的数据数。然后，根据算出的数据数，在MPEG2-PS的各个包的有效负载部分分配并存储图像信息和音频信息。由此，不必进行再次编码就能将MPEG2-TS的各个图像信息以及音频信息变换为MPEG2-PS的各个图像信息以及音频信息。
接着，参照图24说明生成MPEG2-PS的PTS或DTS的步骤。如上所述，MPEG2-PS的PTS或DTS存储在PES数据包的数据包包头中。在MPEG2-TS中，一个PES数据包包含多个TS数据包，因此，可以由多个TS数据包组成的每一个单元来存储PTS或DTS。
考虑如何检测出这种结构中的PTS。如图24所示，输入音频或图像数据(S2400)，判断是音频数据还是图像数据(S2402)，判断为音频的情况下，检测出Audio PTS(S2404)，判断为图像数据的情况下，检测出VideoPTS(S2406)。
对于MPEG2-PS，由在PES数据包中附加包含PTS或DTS的PES包头，该PES数据包组成一个PS数据包。与此相反，MPEG2-TS是在PES数据包中附加PES包头，然后分割该PES数据包。为此，MPEG2-PS中，在各个PS包的PES包头中设置PTS或DTS，在MPEG2-TS中，在附加在多个TS数据包中的一个上的PES包头中设置PTS或DTS。为此，需要考虑两者的PTS或DTS相一致的情况。
在两者的PTS或DTS相一致的情况下，不必在格式变换中变换PTS或DTS，并且格式转换前的PTS或DTS可以以同样的方式使用在格式变换后。这样可以使格式变换中的PTS或DTS变换更为容易进行。
如所描述的，由于可以确定SCR、多路复用顺序、有效负荷数据量/指针、数据包数以及数据包结构，因此可以生成PES_Header(Adaptation-Field)。
然后，参照图25说明生成管理信息的步骤。如图25所示，生成管理信息步骤包括以下步骤使用数据读/写控制单元1622从暂时存储单元1618中读取作为管理数据的TIP数据包、PMT数据包的步骤S2500，在数据生成单元1620中生成RDI数据包的步骤S2502，使用数据读/写控制单元1622将RDI数据包写入暂时存储单元1618的步骤S2504，以及得到在生成RDI时进行视频对象(Video Object，VOB)控制时使用的encode_info的步骤(在图25中未示出该步骤)。
图26是第二格式数据生成步骤S1708的处理流程图。第二格式数据生成步骤S1708由下列步骤组成使用数据读/写控制单元1622读出写入到暂时存储单元1618中的RDI、AES、VES和填充类型的各种数据包的读取步骤S2600，基于读出的数据和通过格式变换所需信息生成步骤S1706得到的多路复用顺序、有效负荷数据量/指针，在缓冲存储器中生成MPEG2-PS格式的包的步骤S2602。
在第二格式数据生成步骤S1708中，在暂时存储单元1618中生成MPEG2-PS格式的数据时，附加格式变换所需信息生成步骤S1706得到的SCR、PES_Header到MPEG2-PS格式的数据中。
数据写入步骤S1710中，如图27的步骤S1710所示，通过写入单元1606将最终在暂时存储单元1618上生成的MPEG2-PS格式的数据记录在记录媒体1604上。
将11个TS数据包作为一个单位，以下以同样的方式进行上述格式变换处理。
如上所述，通过上述格式变换步骤，在从MPEG2-TS格式变换为MPEG2-PS格式的情况下，不必进行再编码就可以执行高速格式变换。
在以上结构中，为了便于说明，虽然采用不同的记录媒体进行读出和写入，但也可以采用同一记录媒体进行读出和写入。
流水线处理图28是说明记录媒体400和读取单元402以及另一记录媒体406和写入单元404位于同一条数据总线上的情况下的格式变换装置的结构框图。各个处理单元的处理任务与前述描述相同。
图29A-图29D是图28的格式变换装置中格式变换的流水线处理的概念图。在这种处理中，用于格式变换的第1步骤(对应于图29A的步骤A)，指定为图5所示的步骤S512(由数据读取/分离步骤S500和数据分析步骤S502组成)，或图17所示的步骤S1712(由数据读取/分离步骤S1700和数据分析步骤S1702组成)。
随后，用于格式变换的第2步骤，指定为图5所示的步骤S514(由管理信息做成步骤S504和格式变换所需信息生成步骤S506组成)，或图17所示的步骤S1714(由管理信息做成步骤S1704和格式变换所需信息生成步骤S1706组成)。
用于格式变换的第3步骤，指定为图5所示的步骤S516(仅由第二格式生成步骤S508组成)，或图17所示的步骤S1716(仅由第二格式生成步骤S1708组成)。
用于格式变换的第4步骤，指定为图5所示的步骤S518(仅由数据写入步骤S510组成)，或图17所示的步骤S1718(仅由数据写入步骤S1710组成)。
这里，顺序执行一次格式变换的第1步骤和第2步骤之后，分别交替执行组合了第1步骤和第3步骤的复合步骤，以及组合了第2步骤和第4步骤的复合步骤。按照上述方式，可以高效地利用分别需要时间独占性的记录媒体400和另一记录媒体406执行处理。并且，格式变换本身也可以进行高效地流水线处理。
具体而言，将数据读取/分离步骤以及数据分析步骤作为格式变换的第1步骤，将管理信息做成步骤以及格式变换所需信息生成步骤作为格式变换的第2步骤，将第二格式生成步骤作为格式变换的第3步骤，将数据写入步骤作为格式变换的第4步骤。如此，依次执行格式变换的第1步骤、格式变换的第2步骤，然后同时执行格式变换的第3步骤和格式变换的第1步骤，接着同时执行格式变换的第4步骤和格式变换的第2步骤。以后重复执行这些同时处理步骤的组合。
由此，在同一条数据总线上存在具有记录媒体的读取装置和具有另一记录媒体的写入装置的结构中，可以排它地并且流水线般地执行在记录媒体中读取的步骤以及在另一记录媒体中写入的步骤。
以下，参照图29A-图29D详细说明上述格式变换方法。如图29A所示，将格式变换的处理分割为多个步骤(对应于图29A的B和C)。然后，在为了访问记录媒体上进行读出以及写入而共用数据总线的情况下，可以与格式变换步骤(对应于图29A的B以及C)中的任一个的循环过程同时执行使用该共用数据总线的读取步骤(对应于图29A)和使用该共用数据总线的写入步骤(对应于图29D)，并且，可在不同的时间带(循环过程)执行读取步骤A和写入步骤D。
由此，可以不同时使用数据总线来执行格式变换的步骤，其结果是，不需要进行共用数据总线的竞争就能充分有效地进行处理。
例如，如图29B或图29C所示，将格式变换处理分割为多个步骤的情况下，考虑用分割为上述多个步骤中的同一步骤(循环)执行读取步骤A和写入步骤E。这种情况下，由于同时执行读取步骤A和写入步骤E，因而产生数据总线竞争。
与上述情况相反，为了防止在存储了格式变换前信息的记录媒体和存储了格式变换之后信息的记录媒体所共用的数据总线，在读取步骤A和写入步骤E之间竞争使用，进行如下防范操作。
如图29D所示，将由不使用该数据总线的步骤组成的格式变换处理分割为多个步骤(B-E)。然后，与上述多个步骤(B-E)中的不同步骤一起同时执行读取步骤A和写入步骤E。由此，可以防止竞争使用共用的数据总线。图29D中，步骤(F)表示写入步骤。
将这种情况与图29A比较，将由不使用数据总线的步骤组成的格式变换处理分成比图29A所示步骤数量更多的步骤执行。因此，设置读取步骤A和写入步骤F在更多的步骤中，由此可加速处理。
具体而言，图29D中，将图29A中的步骤(B)细化为图29D中的步骤(B)和(C)，以及将图29A中的步骤(C)细化为图29D中的步骤(D)和(E)。由此，在图29D中，例如在执行图29A中的步骤(B)期间可以执行读取步骤(A)。同样地，与图29A的情况相比，写入步骤(F)也可以更高速地执行。
本实施例的说明中，虽然划分了上述用于格式变换的4个步骤，但是本发明不局限于此，还可以划分为4个以外的步骤，并且还可以改变用来进行格式变换的各个步骤的内容。
权利要求
1.一种格式变换方法，该方法将由第一格式构成的、包含音频信息、图像信息、或管理信息的数据流变换为由第二格式构成的数据流，其中，将由所述第一格式以及第二格式构成的数据流分别构成为多个单位数据，并将构成第一格式和第二格式中各单位数据的字节数适配成彼此不同，不改变所述第一格式的单位数据的编码形式，将第一格式的单位数据变换为所述第二格式的单位数据。
2.如权利要求1所述的格式变换方法，包含以下步骤从包含在所述第一格式的各单位数据中的图像信息或音频信息的数据量中，计算出分割为所述第二格式的单位数据的数据量的单位数据数量的步骤，根据所述单位数据数量的计算结果，不改变第一格式的单位数据的编码形式，将所述第一格式的各单位数据中包含图像信息或音频信息的数据分割为所述第二格式的多个单位数据的步骤，将所述第二格式的所述多个单位数据作为单元来管理，将用于调整解码所述第一格式的各单位数据时的基准时间的参照值，作为用于调整解码所述第二格式的单元时的基准时间的参照值的步骤，其中所述格式变换方法可应用于编码后的所述第一格式的单位数据的字节长度长于所述第二格式的单位数据的字节长度的情况。
3.如权利要求2所述的格式变换方法，其中所述第一格式的数据流具有至少第一单位数据和接着所述第一单位数据的第二单位数据，所述第二格式的数据流具有至少第一单元和第二单元，通过使所述第一单位数据和所述第一单元的字节长度彼此一致，使所述第二单位数据的参照值和所述第二单元的参照值彼此一致。
4.如权利要求3所述的格式变换方法，其中所述构成所述单元的单位数据，每个都有输入时间信息，根据由所述第二单元的参照值调整过的基准时间，为每个预定字节长度生成构成所述第二格式的数据流的各单位数据的输入时间信息。
5.如权利要求1所述的格式变换方法，其中所述第一格式的数据流具有用来同步再现包含在所述第一格式的数据流中的图像信息和音频信息的时间信息，在从所述第一格式的数据流变换为所述第二格式的数据流时，使用用来同步再现包含在所述第一格式的数据流中的图像信息和音频信息的时间信息，作为用来同步再现包含在所述第二格式的数据流中的图像信息和音频信息的时间信息。
6.如权利要求1所述的格式变换方法，其中所述第一格式的数据流具有用来解码包含在所述第一格式的数据流中的图像信息和音频信息的时间信息，在从所述第一格式的数据流变换为所述第二格式的数据流时，使用用来解码包含在所述第一格式的数据流中的图像信息和音频信息的时间信息，作为用来解码包含在所述第二格式的数据流中的图像信息和音频信息的时间信息。
7.如权利要求1所述的格式变换方法，其中所述各单位数据至少包含包头，所述各单位数据中包含图像信息和音频信息的数据是从所述各单位数据中除去所述包头的各单位数据。
8.一种格式变换方法，该方法将由多个包组成的MPEG节目数据流变换为由多个单元组成的MPEG传输数据流，所述各单元由多个数据包组成，该方法包含以下步骤获取包含在所述包中的图像信息的数据量和在所述图像信息编码时设定的系统时刻基准参照值SCR的步骤，根据所述数据量，不改变包含在所述包中的图像信息数据的编码形式，将包含在所述包中的图像信息的数据分割以将分割出的数据分配给所述单元内的多个所述数据包的步骤，根据所述SCR生成所述MPEG传输数据流的节目时刻基准参照值PCR的步骤，使构成所述MPEG节目数据流的开始数据包和构成所述MPEG传输数据流的开始单元的字节长度彼此一致，使得所述PCR和所述SCR一致。
9.如权利要求8所述的格式变换方法，其中所述构成所述MPEG传输数据流的开始单元包含管理信息，并在包含所述管理信息的单元中附加没有意义的数据。
10.如权利要求8所述的格式变换方法，其中所述构成每预定字节的所述MPEG传输数据流的各个数据包具有到达时间标记ATS，并根据所述PCR给每个预定字节长度附加所述ATS。
11.如权利要求8所述的格式变换方法，还包含获取用于同步再现包含在所述MPEG节目数据流中的图像信息和音频信息的显示时间标记PTS的步骤，以及附加所述MPEG传输数据流的PTS的步骤，其中使用所述MPEG节目数据流的PTS作为所述MPEG传输数据流的PTS。
12.如权利要求8所述的格式变换方法，还包含获取用于解码包含在所述MPEG节目数据流中的图像信息和音频信息的解码时间标记DTS的步骤，以及附加所述MPEG传输数据流的DTS的步骤，其中使用所述MPEG节目数据流的DTS作为所述MPEG传输数据流的DTS。
13.如权利要求8所述的格式变换方法，其中，在从所述MPEG节目数据流变换为所述MPEG传输数据流时，将已写入到包含在所述MPEG节目数据流中的RDI包中的管理信息中至少有关版权的信息，写入到包含在所述MPEG传输数据流的由TIP组成的管理信息中。
14.如权利要求8所述的格式变换方法，其中所述单位数据至少包含包头，包含图像信息和音频信息的数据是从所述各单位数据中除去所述包头的各单位数据。
15.一种格式变换方法，用于通过流水线处理，将由第一格式构成的、包含音频信息、图像信息、或管理信息的第一数据流变换为由第二格式构成的第二数据流，包含以下步骤至少包含从以所述第一格式存储的第一存储单元中读出第一数据流的处理的第1步骤，不改变由所述第一格式构成的单位数据的编码形式，将由所述第一格式构成的单位数据变换为所述第二格式的单位数据的第2步骤，至少包含将由所述第2步骤生成的第二格式的第二数据流写入第二存储单元的处理的第3步骤，其中所述第一存储单元和所述第二存储单元共用进行数据传送的数据总线，并在所述流水线处理中，不同时执行所述第1步骤和所述第3步骤。
16.如权利要求15所述的格式变换方法，其中在执行所述第2步骤过程中执行所述第1步骤和第3步骤中的一个步骤。
17.如权利要求15所述的格式变换方法，其中将所述第2步骤分割为多个步骤，所述第1和第3步骤中的一个步骤与所述多个步骤中的任意步骤同时执行，并在不同的时间区执行所述第1步骤和所述第3步骤。
18.一种格式变换装置，该装置用于将由第一格式构成的、包含音频信息、图像信息、或管理信息的数据流变换为由第二格式构成的数据流，包括用于将所述第一格式的数据流分离为音频信息、图像信息以及管理信息的分离单元，用于分析由所述分离单元的分离处理所得到的所述图像信息的包头信息的包头信息分析单元，用于基于所述包头信息分析单元分析结果，检测所述第一格式的数据流数据量的数据量检测单元，用于从由所述分离单元的分离处理所得到的所述音频信息以及所述图像信息中检测用于同步再现的时间信息或用于解码所述音频信息以及所述图像信息的时间信息的时间信息检测单元，根据下列信息来生成所述第二格式的数据流的数据生成单元由所述分离单元的分离处理所得到的所述音频信息、图像信息以及管理信息，由所述数据量检测单元检测出的所述数据量，由所述时间信息检测单元检测出的用于所述同步再现的时间信息或用于解码所述音频信息以及图像信息的时间信息。
19.如权利要求18所述的格式变换装置，其中所述数据生成单元将由所述分离单元得到的所述图像信息以及所述音频信息分割为所述第二格式的每个单位数据的数据量，以生成所述第二格式的数据流。
20.如权利要求19所述的格式变换装置，其中所述数据生成单元包含时间信息附加单元，所述时间信息附加单元用于基于由所述数据量检测单元检测出的所述数据量，由所述时间信息检测单元检测出的用于同步再现所述音频信息以及图像信息的时间信息或用于解码所述音频信息以及图像信息的时间信息，生成并附加所述第二格式中所需的新的用于同步再现所述音频信息以及图像信息的时间信息或用于解码所述音频信息以及所述图像信息的时间信息。
21.如权利要求20所述的格式变换装置，还包括用于暂时存储由所述分离单元的分离处理所得到的所述音频信息、所述图像信息以及所述管理信息的暂时存储单元，其中所述数据生成单元从所述暂时存储单元获得用于生成所述第二格式的数据流所需的信息。
22.如权利要求21所述的格式变换装置，包括用来从第一记录媒体中读出所述第一格式的数据流的读取单元，用来将所述第二格式的数据流写入第二记录媒体的写入单元。
23.如权利要求22所述的格式变换装置，其中所述读取单元和所述写入单元共用用于数据传送的数据总线，排他地执行由所述读取单元进行的读出处理和由所述写入单元进行的写入处理。
24.如权利要求23所述的格式变换装置，其中在执行格式变化处理过程中，执行由所述读取单元进行的读出处理或由所述写入单元进行的写入处理。
全文摘要
本发明公开了将由第一格式构成的、包含音频信息、图像信息、或管理信息的数据流变换为由第二格式构成的数据流的格式变换方法。其中，由所述第一格式以及第二格式构成的数据流分别由多个单位数据构成，构成所述第一格式和所述第二格式中单位数据的各自的字节数彼此不同，并且不改变所述第一格式的单位数据的编码形式，就可以将所述第一格式的单位数据变换为所述第二格式的单位数据。
文档编号H04N7/24GK1649405SQ200510002938
公开日2005年8月3日 申请日期2005年1月26日 优先权日2004年1月26日
发明者罔田真三弘, 谷川裕二 申请人:松下电器产业株式会社