专利名称：压缩编码数据再现方法和装置的制作方法
技术领域：
本发明涉及压缩编码数据再现方法及其装置，特别是，从多路复用压缩编码数据得到的数据流中的任意再现开始时间起，再现输出图像帧和声音帧的压缩编码数据再现方法及其装置。
随着近年来多媒体技术的发展，开始普及以集中处理作为数字化图像、声音和数据的多种媒体的DVD机和数字TV广播接收用机顶盒等为代表的应用机器。
另外，因为数字化图像数据和声音数据按原样的符号量大，所以为了高效率地记录和传送，必须有数字数据的高效率压缩编码技术，另外，为了适用于实际的应用机器中，还必须有将附加信息数据包含在高效率压缩编码的图像压缩编码数据和声音压缩编码数据中后在一数据流中集中化用的多媒体数据多路复用技术，已经实用化这些用途的各种技术。作为声音数据高效率压缩编码技术，有Dolby Laboratories Licencing Corp。的AC-3方式、作为图像数据的高效率压缩编码技术和多媒体数据多路复用技术，由国际标准化组织(ISO)标准化的MPEG标准被广泛地应用。这些方式和标准在DVD标准中也被采用，特别是作为数据流，采用作为以MPEG标准定义的多路复用方式的一个的程序流。
在作为DVD标准的之一的最近标准化的DVD-Video Recording标准中，由使用DVD-RAM盘等的最终用户规定程序流的编辑，另外，提供所谓的进入点的新的设备。进入点用时间定义。通过定义进入点，能够从好的点(时间)开始再现。由此，能够将进入点解释为再现开始时间。下面说明从进入点开始的再现开始时的压缩编码数据的再现方法。
首先，用图4来说明由MPEG标准定义的程序流的数据结构。
在图4中，程序流301由一串包(pack)302构成，一个包302由包标题303、系统标题304和一个以上的小包(packet)305构成。
上述包标题303由包启动码307(0x000001BA,0x表示16进制)开始，在其后记述了作为包的参数信息308的被称为SCR(System Clock Reference)的基准时钟参考值。
上述系统标题304由系统标题启动码309(0x000001BB)开始，在其后的记述了作为程序流的全部参数信息310的位速率、声音通道数和图像通道数等。
上述小包305由小包启动码311开始，在其后记述了作为该小包的参数信息312的被称作PTS(Presentation Time Stamp)的再现时间等，在这些参数信息后，记述了被称为基本流313的实际图像和声音等的压缩编码数据。该参数信息312为解码基本流313时用的信息。
上述小包启动码311由3字节的小包启动前缀(0x000001)和1字节的流ID构成，流ID表示包含在该小包中的压缩编码数据的类列，例如，0xEx(最后的x表示任意的值)表示图像小包，0xCx和0xDx表示声音小包。
下面用图5来说明作为一个上述小包中记述的压缩编码数据的由MPEG标准压缩编码的图像基本流的数据结构。
如图5所示，图像基本流401由序列层402、图像组(下面记述为GOP)层403、图像层404、片状层405、宏块层406和块层407等6个阶层构成。
一个序列是由序列标题408开始，在其后接着一系列GOP 409、以序列末端410结束的结构。另外，序列标题408必要时不只是插入最前面而且可插入多个GOP之间的任意位置。
上述GOP 409以GOP标题411开始，在其后记述一个以上的图像412。图像412是在画面上显示的一个图像帧，在种类上存在I图像、P图像、B图像等三种。上述I图像为仅使用自己的图像帧中的数据进行压缩编码的帧内编码图像的缩写，P图像为使用时间靠前面的视频帧(I图像或P图像)来压缩编码的顺序方向预测编码图像的缩写，B图像为使用时间靠前和后的视频帧(I图像或P图像)压缩编码的双方向预测编码图像的缩写。之后，为了保证GOP409的独立性，规定在GOP标题411后的图像412中必须编码I图像。
规定序列标题408和GOP标题411的起始记述启动码，各自的启动码如上述那样最初的三字节以启动码前缀“0x000001”开始，由最后的一字节来记述种类。各种启动码被称为序列启动码(0x000001B3)、组启动码(0x000001B8)。
图像412由图像标题413开始，片状层405以下记述宏块层406、块层407。上述图像标题413由图像启动码415(0x00000100、0x表示16进制)开始，之后记述作为图像的参数信息416根据被称为暂时基准(temporal reference)的图像显示顺序的序号等。片由从视频帧的左上开始的一串宏块构成，宏块由作为基本处理单元的六个块构成。
因此，在DVD-Video Recording标准中，如图6(b)所示，新引入由一串图像、声音等包503、504、505形成的所谓VOBU502的逻辑单位，一个VOBU502被定义为保证在从0.4秒至1.0秒期间图像和声音同步再现的最小单位。该VOBU502中的图像压缩编码数据如图6(d)所示，由序列标题506开始，在其后记述一个以上的GOP507。在此情况下，最后记述序列末端。序列标题506中，记述了作为程序全部共有的特征的图像帧大小、宽高比和帧速率等参数信息。
下面说明上述进入点的再现开始时的压缩编码数据的再现方法。图7为表示已有的压缩编码数据再现装置的构成的框图。在图7中，压缩编码数据再现装置包括传送流的传送装置610、从输入的流中提取必要的包的系统解码器611、解码图像数据的图像解码器612、解码声音数据的声音解码器613、控制各构成要素的动作定时用的同步控制器614。说明由此构成的压缩编码数据再现装置的进入点的再现开始的动作。
如图7所示，从传送装置610向系统解码器611传送包含进入点的VOBU615。系统解码器611从输入的VOBU615中提取图像包和声音包，分别向图像解码器612和声音解码器613传送除去包启动码和参数信息的图像基本流616和声音基本流617，向同步控制器614传送参数信息中的PTS618。图像解码器612从输入图像基本流616进行图像帧的解码。声音解码器613从输入声音基本流617进行声音帧的解码。同步控制器614通过控制传送装置610和系统解码器611和图像解码器612及声音解码器613时，进行图像帧619和声音帧620的同步输出控制。
图8为记载表示构成已有的压缩编码数据再现装置的同步控制器614中的进入点的再现开始的动作顺序的流程的图。下面根据图8的流程来详细说明同步控制器614的动作。
首先，开始动作(步骤701)，在步骤702中，通过来自外部的进入点值的设定和进入点来通知再现开始，向传送装置610和各解码器611、612、613输出启动请求。接受该请求，传送装置610和各解码器611、612、613进行启动处理。
接着，在步骤703中，向传送装置610输出数据供给请求。接受该请求后，传送装置610从包含进入点的VOBU615的起始端进行传送。系统解码器611通过从传送装置610接收数据开始分离提取。
在步骤704中，直到从系统解码器611接收的图像帧用PTS618和进入点在某一特定的临界值内一致时，图像解码器612从由系统解码器611接收的图像基本流进行图像帧的解码。此时，或仅进行解码处理，或仅在将解码的图像帧存储在图像解码器612内的图像帧缓冲器中，不进行显示输出。
在步骤708中，声音解码器613直到接收到声音帧同步输出请求之前不进行解码处理，仅进行向声音解码器613中的声音位缓冲器中存储从系统解码器611接收的声音基本流617的输入处理。在该输入处理中，还进行声音用位缓冲器的上溢出管理，在上溢出时，删除已存储在声音位缓冲器内的声音基本流617，在声音位缓冲器中存储新传送来的声音基本流617。
接着，在步骤704中，从系统解码器611接收的图像帧用PTS618和进入点在某一特定临界值内一致时，向步骤705移动，用图像帧用PTS618的值，初始化同步控制器614中的同步用时钟。
接着，在步骤706中，向图像解码器612输出图像帧同步输出请求。接收该请求后，在步骤704中，图像解码器612在从系统解码器611接收的图像帧用PTS618和进入点在某一特定的临界值内一致的图像帧解码，同时，进行显示输出。在该阶段，初次进行图像帧的显示输出，之后，图像解码器612通过同步控制器614在使用同步用时钟和从系统解码器611接收的图像帧用PTS618的同步控制的基础上，依次进行从系统解码器611接收的图像基本流的图像帧的解码和显示输出。
接着，在步骤707中，直到从系统解码器611接收的声音帧用PTS618和同步用时钟在某一特定的临界值中一致时继续监视。这期间，声音解码器613不进行相变，仅继续输入处理。
另外，在步骤707中，当从系统解码器611接收的声音帧用PTS618和同步用时钟在一特定的临界值内一致时，向步骤708移动，向声音解码器613输出声音帧同步输出请求。
接收该请求后，声音解码器613在步骤707中，在与从系统解码器611接收的声音帧用PTS618和同步用时钟在一特定临界值内一致的声音帧的解码的同时还进行声音输出。在该阶段，初次进行声音帧的声音输出，之后，声音解码器613通过同步控制器614，在使用同步用时钟和从系统解码器611接收的声音帧用PTS618的同步控制的基础上，依次进行从系统解码器611接收的声音基本流的声音帧的解码和声音输出。
已有的压缩编码数据再现方法和装置如上述构成，在上述的方法中，在步骤706中，开始图像帧的显示输出后，因为在步骤708后开始声音帧的声音输出，所以与图像帧的显示输出相比，声音帧的声音输出明显延迟。
另外，在以上的方法中，在程序流中不存在图像编码数据时，因为在步骤704中，得不到所谓的从系统解码器611接收的图像帧用PTS618和进入点在一特定的临界值内一致的条件一致，所以不能进行下面的步骤705以后的步骤，另外，数据流中即使存在相当于进入点的声音编码帧时，也不能开始声音帧的声音输出。
另外，在以上的方法中，在图像帧用PTS618为不向每个图像帧附加的程序流时，在步骤704中，为了得到所谓的从系统解码器611接收的图像帧用PTS618和进入点在某一特定的临界值内一致的条件一致，所以该临界值必须是非常大的值。详细地说，在DVD-Video Recording标准中，虽然规定了在I图像中一定附加图像帧用PTS，但对除此之外的图像没有特别规定。另外， I图像的除位于VOBU的起始端的图像以外也未作特别规定。作为实际上的程序流，从压缩编码高效率的观点看仅在VOBU起始端中存在仅是I图像的情况多，图像帧用PTS也仅在其始端的I图像中附加的情况多。因此，因为在考虑其时必须将1个VOBU的大小作为临界值，所以同步控制的单位不是图像帧单位，而是VOBU单位。
本发明为了解决上述问题，提供一种压缩编码数据再现方法和装置，当从压缩编码数据的进入点开始的再现开始时，以图像帧单位和声音帧单位的精度能够以同样的定时的方式输出图像帧的显示输出和声音帧的声音输出。
如本发明的第1方面中的压缩编码数据再现方法是相对于由将帧内压缩编码一串图像帧的I图像、通过利用与在前面的图像帧的相关的顺序方向预测压缩编码得到的P图像、或通过利用与在前面的图像帧或后面的图像帧或前后两方向的图像帧相关的双方向预测压缩编码得到的B图像构成的图像压缩编码数据、压缩编码一串声音帧的声音压缩编码数据、上述图像压缩编码数据和关于上述声音压缩编码数据的附加信息被多路复用的数据流，从相当于从外部指定的再现开始时间的图像帧和声音帧开始进行再现数据的传送的压缩编码数据再现方法，包括从上述数据流中分离输出上述图像压缩编码数据和上述声音压缩编码数据和上述附加信息、在此时进行图像帧和声音帧的起始端检测的步骤，从作为一个在上述起始端检测的帧中附加的上述附加信息的再现时间信息进行是否是相当于再现开始时间的图像帧或是声音帧的判定的步骤，当判定为相当于上述再现开始时间的图像帧时进行从上述图像压缩数据进行图像帧解码的解码请求、或、当判定为相当于上述再现开始时间的声音帧时从上述声音压缩数据进行声音帧编码的解码请求的步骤，判定是否完成上述图像帧和上述声音帧双方解码的步骤和在判定完成了上述图像和声音帧双方的解码时、请求同步输出上述解码的图像数据和声音数据的步骤。
另外，如本发明的第2方面中的压缩编码数据再现方法，在根据上述第1方面中记载的压缩编码数据再现方法中，包括在判定是否完成上述图像帧和上述声音帧两者的解码步骤之前，判定是否经过规定时间的步骤，在经过该规定的时间时，仅向完成了上述图像帧或上述声音帧中的解码的任一方进行输出请求。
另外，如本发明的第3方面中的压缩编码数据再现方法，在根据上述第1方面记载的压缩编码数据再现方法中，包括在判定是否完成上述图像帧和上述声音帧两者的解码步骤之前、判定是否经过规定时间的步骤，和经过该规定的时间、在未完成上述图像帧或上述声音帧两者的解码时、向外部通知发生异常的步骤。
另外，如本发明的第4方面中的压缩编码数据再现方法，在根据上述第1方面记载的压缩编码数据再现方法中，上述数据流为由MPEG标准规定的程序流，上述再现时间信息为由MPEG标准规定的PTS(Presentation Time Stamp)。
另外，在本发明的第5方面中的压缩编码数据再现方法中，根据上述第1方面记载的压缩编码数据再现方法，进行上述图像帧和声音帧的起始端检测的步骤包括相对于起始端检测的帧判定是否加入有效再现时间信息的步骤，在没有加入有效再现时间时、上述起始端检测的帧在图像帧时由作为一个上述图像帧的上述附加信息的显示输出顺序信息和比上述图像帧时间上靠前解码的图像帧的再现时间信息及显示输出顺序信息算出上述图像帧的再现时间信息、另外、上述起始端检测的帧在声音帧时由比上述声音帧在时间上靠前先行检测出的声音帧的再现时间信息算出上述声音帧的再现时间信息的步骤。
另外，在本发明的第6方面中的压缩编码数据再现方法中，根据上述第5方面记载的压缩编码数据再现方法，上述显示输出顺序信息为由MPEG标准规定的暂时基准(temporal reference)。
另外，本发明的第7方面中的压缩编码数据再现装置方法是相对于由将帧内压缩编码一串图像帧的I图像、通过利用与在此前的图像帧的相关的顺序方向预测压缩编码得到的P图像、或通过利用与在此前的图像帧或此后的图像帧或前后两方向的图像帧相关的双方向预测压缩编码得到的B图像构成的图像压缩编码数据、压缩编码一串声音帧的声音压缩编码数据、上述图像压缩编码数据和关于上述声音压缩编码数据的附加信息被多路复用的数据流、从相当于从外部指定的再现开始时间的图像帧和声音帧开始再现数据的传送的压缩编码数据再现装置，包括从上述数据流中分离输出上述图像压缩编码数据和上述声音压缩编码数据和上述附加信息、在此时进行图像帧和声音帧的起始端检测的系统解码器，从上述图像压缩数据解码图像帧来显示输出的图像解码器，解码来自上述声音压缩数据声音帧来声音输出的声音解码器；从一个作为向在上述系统解码器中先行检测的帧中附加的上述附加信息的再现时间信息进行是否为相当于再现开始时间的图像帧或声音帧的判定、当判定为相当于上述再现开始时间的图像帧时向上述图像解码器进行解码请求、当判定为相当于上述再现开始时间的声音帧时向上述声音解码器进行解码请求、另外、在对上述图像帧和上述声音帧双方解码完成时、向上述图像解码器和上述声音解码器进行输出请求的同步控制器。
另外，如本发明的第8方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，上述同步控制器即使经过规定的时间，在仅完成上述图像帧或上述声音帧的任一方解码时，向在该时刻完成解码的上述图像解码器或上述声音解码器的仅一方进行输出请求。
另外，如本发明的第9方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，上述同步控制器即使经过规定的时间，在未完成上述图形帧和上述声音帧的双方解码时，通知外部发生了异常。
另外，如本发明的第10方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，上述数据流为由MPEG标准规定的程序流，上述再现时间信息为由MPEG标准规定的PTS(Presentation Time Stamp)。
另外，如本发明的第11方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，上述同步控制器在上述系统解码器没有向先行检测的帧附加有效的再现时间信息时，上述起始端检测的帧在为图像帧时由作为上述图像帧的上述附加信息之一的显示输出顺序信息和比上述图像帧在时间上靠前解码的图像帧的再现时间信息及显示输出顺序信息算出上述图像帧的再现时间信息，另外，上述起始端检测的帧在为声音帧时由比上述声音帧在时间上靠前先行检测出的声音帧的再现时间信息算出上述声音帧的再现时间信息。
另外，如本发明的第12方面中的压缩编码数据再现装置，根据上述第11方面中记载的压缩编码数据再现装置，上述显示输出顺序信息为由MPEG标准规定的暂时基准(temporal reference)。
另外，本发明的第13方面中的压缩编码数据再现方法是相对于多路复用非时间顺序排列的图像编码数据、与该图像编码数据关联的声音编码数据和附随于这些数据的附加信息被多路复用的数据流，从相当于从外部指定的再现开始时间的图像和声音帧开始再现数据的传送的压缩编码数据再现方法，包括从上述数据流中分别分离输出上述图像编码数据、声音编码数据、附加信息，在此时进行再现图像和再现声音的起始端检测的步骤，从作为在上述起始端检测的画面图像中附加的上述附加信息之一的再现时间信息进行是否是相当于从上述外部指定的再现开始时间的画面图像或声音数据的判定的步骤，进行解码请求以解码相当于上述再现开始时间的画面图像和声音数据的步骤，判定是否完成上述画面图像和声音数据双方解码的步骤和在判定完成了上述画面图像和声音数据解方的编码时、请求同步输出上述解码的画面图像和声音数据的步骤。
另外，本发明的第14方面中的压缩编码数据再现装置是相对于多路复用非时间顺序排列的图像编码数据、与该图像编码数据关联的声音编码数据和附随于这些数据的附加信息被多路复用的数据流，从相当于从外部指定的再现开始时间的图像和声音帧开始再现数据的传送的压缩编码数据再现装置，包括从上述数据流中分别分离输出上述图像编码数据、声音编码数据、附加信息、在此时进行再现图像和再现声音的起始端检测的系统解码器，解码来自上述图像编码数据的画面图像的图像解码器，解码来自上述声音编码数据的声音数据的声音解码器，从作为由上述系统解码器在起始端检测的画面图像中附加的上述附加信息之一的再现时间信息进行是否是相当于从上述外部指定的再现开始时间的画面图像或声音数据的判定、向上述图像和声音解码器进行解码请求以解码相当于上述再现开始时间的画面图像和声音数据、并在完成了上述画面图像和声音数据双方的解码的时刻、向上述图像和声音解码器进行输出请求。
如上所述，由于本发明的第1方面中所述的压缩编码数据再现方法是相对于由将帧内压缩编码一串图像帧的I图像、通过利用与在前面的图像帧的相关的顺序方向预测压缩编码得到的P图像、或通过利用与在前面的图像帧或后面的图像帧或前后两方向的图像帧相关的双方向预测压缩编码得到的B图像构成的图像压缩编码数据、压缩编码一串声音帧的声音压缩编码数据、上述图像压缩编码数据和关于上述声音压缩编码数据的附加信息被多路复用的数据流、从相当于从外部指定的再现开始时间的图像帧和声音帧开始再现数据的传送的压缩编码数据再现方法，因为包括从上述数据流中分离输出上述图像压缩编码数据和上述声音压缩编码数据和上述附加信息、在此时进行图像帧和声音帧的起始端检测的步骤，从作为一个在上述起始端检测的帧中附加的上述附加信息的再现时间信息进行是否是相当于再现开始时间的图像帧或是声音帧的判定的步骤，当判定为相当于上述再现开始时间的图像帧时进行从上述图像压缩数据进行图像帧编码的解码请求、或、当判定为相当于上述再现开始时间的声音帧时从上述声音压缩数据进行声音帧解码的解码请求的步骤，判定是否完成上述图像帧和上述声音帧双方解码的步骤和在判定完成了上述图像和声音帧双方的解码时、请求同步输出上述解码的图像数据和声音数据的步骤，所以检测在相当于指定的再现开始时间的图像帧和声音帧，并分别解码后能够以相同的定时输出，即使是在业务用等的高精度要求的流编辑机中进行编辑，实际上图像和与之相对应的声音不伴随定时不吻合而进行处理。
另外，如本发明的第2方面中的压缩编码数据再现方法，根据上述第1方面中记载的压缩编码数据再现方法，因为包括在判定是否完成上述图像帧和上述声音帧两者的解码步骤之前，判定是否经过规定时间的步骤，在经过该规定的时间时，仅向完成了上述图像帧或上述声音帧中的解码的任一方进行输出请求，所以即使当仅存在输入的数据流中相当于再现开始时间的图像帧和声音帧中任一方时，也能正常地进行从指定的再现开始时间的再现开始。
另外，在本发明的第3方面中的压缩编码数据再现方法中，根据上述第1方面记载的压缩编码数据再现方法，因为包括在判定是否完成上述图像帧和上述声音帧两者的解码步骤之前、判定是否经过规定时间的步骤，和经过该规定的时间、在未完成上述图像帧或上述声音帧两者的解码时、向外部通知发生异常的步骤，所以即使当输入的数据流中相当于再现开始时间的图像帧和声音帧双方都不存在时，也不会停顿在从指定的再现开始时间的再现开始处理，而能够终止该再现开始处理。
另外，在本发明的第4方面中的压缩编码数据再现方法中，根据上述第1方面记载的压缩编码数据再现方法，因为上述数据流为由MPEG标准规定的程序流，上述再现时间信息为由MPEG标准规定的PTS(Presentation Time Stamp)，所以在检测相当于指定的再现开始时间的图像帧和声音帧并分别解码后，能够以相同的定时输出。
另外，在本发明的第5方面中的压缩编码数据再现方法中，根据上述第1方面记载的压缩编码数据再现方法，因为进行上述图像帧和声音帧的起始端检测的步骤包括相对于起始端检测的帧判定是否加入有效再现时间信息的步骤，在没有加入有效再现时间时、上述起始端检测的帧在图像帧时由作为一个上述图像帧的上述附加信息的显示输出顺序信息和比上述图像帧时间上靠前解码的图像帧的再现时间信息及显示输出顺序信息算出上述图像帧的再现时间信息、另外、上述起始端检测的帧在声音帧时由比上述声音帧时间上靠前先行检测出的声音帧的再现时间信息算出上述声音帧的再现时间信息的步骤，所以在以图像帧单位或声音帧单位的精度来检测相当于指定的再现开始时间的图像帧和声音帧并分别解码后，能够以相同的定时输出。
另外，在本发明的第6方面中的压缩编码数据再现方法中，根据上述第5方面记载的压缩编码数据再现方法，因为上述显示输出顺序信息为由MPEG标准规定的暂时基准(temporal reference)，所以在以图像帧单位或声音帧单位的精度来检测相当于指定的再现开始时间的图像帧和声音帧并分别解码后，能够以相同的定时输出。
另外，本发明的第7方面中的压缩编码数据再现装置方法是相对于由将帧内压缩编码一串图像帧的I图像、通过利用与在前面的图像帧的相关的顺序方向预测压缩编码得到的P图像、或通过利用与在前面的图像帧或后面的图像帧或前后两方向的图像帧相关的双方向预测压缩编码得到的B图像构成的图像压缩编码数据、压缩编码一串声音帧的声音压缩编码数据、上述图像压缩编码数据和关于上述声音压缩编码数据的附加信息被多路复用的数据流、从相当于从外部指定的再现开始时间的图像帧和声音帧开始再现数据的传送的压缩编码数据再现装置，因为包括从上述数据流中分离输出上述图像压缩编码数据和上述声音压缩编码数据和上述附加信息、在此时进行图像帧和声音帧的起始端检测的系统解码器，从上述图像压缩数据解码图像帧来显示输出的图像解码器，解码来自上述声音压缩数据的声音帧来声音输出的声音解码器；从一个作为向在上述系统解码器中先行检测的帧中附加的上述附加信息的再现时间信息进行是否为相当于再现开始时间的图像帧或声音帧的判定、当判定为相当于上述再现开始时间的图像帧时向上述图像解码器进行解码请求、当判定为相当于上述再现开始时间的声音帧时向上述声音解码器进行解码请求、另外、在对上述图像帧和上述声音帧双方解码完成时、向上述图像解码器和上述声音解码器进行输出请求的同步控制器，所以能够检测在相当于指定的再现开始时间的图像帧和声音帧，并分别解码后以相同的定时输出，即使是在业务用等的高精度要求的流编辑机中进行编辑，实际上图像和与之相对应的声音不伴随定时不吻合而进行处理。
另外，如本发明的第8方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，因为上述同步控制器即使经过规定的时间，在仅完成上述图像帧或上述声音帧的任一方解码时，向在该时刻完成解码的上述图像解码器或上述声音解码器的仅一方进行输出请求，所以即使当不存在输入的数据流中相当于再现开始时间的图像帧和声音帧中仅方时，也能正常地进行从指定的再现开始时间的再现开始。
另外，如本发明的第9方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，因为上述同步控制器即使经过规定的时间，在未完成上述图形帧和上述声音帧的双方解码时，通知外部发生了异常，所以即使当输入的数据流中相当于再现开始时间的图像帧和声音帧双方都不存在时，也不会停顿在从指定的再现开始时间的再现开始处理，而能够终止该再现开始处理。
另外，如本发明的第10方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，因为上述数据流为由MPEG标准规定的程序流，上述再现时间信息为由MPEG标准规定的PTS(Presentation Time Stamp)，所以在检测相当于指定的再现开始时间的图像帧和声音帧并分别解码后，能够以相同的定时输出。
另外，如本发明的第11方面中的压缩编码数据再现装置，根据上述第7方面中记载的压缩编码数据再现装置，因为上述同步控制器在上述系统解码器没有向先行检测的帧附加有效的再现时间信息时，上述起始端检测的帧在为图像帧时由作为上述图像帧的上述附加信息之一的显示输出顺序信息和比上述图像帧在时间上靠前解码的图像帧的再现时间信息及显示输出顺序信息算出上述图像帧的再现时间信息，另外，上述起始端检测的帧在为声音帧时由比上述声音帧在时间上靠前先行检测出的声音帧的再现时间信息算出上述声音帧的再现时间信息，所以在以图像帧单位或声音帧单位的精度来检测相当于指定的再现开始时间的图像帧和声音帧并分别解码后，能够以相同的定时输出。
另外，如本发明的第12方面中的压缩编码数据再现装置，根据上述第11方面中记载的压缩编码数据再现装置，因为上述显示输出顺序信息为由MPEG标准规定的暂时基准(temporal reference)，所以在以图像帧单位或声音帧单位的精度来检测相当于指定的再现开始时间的图像帧和声音帧并分别解码后，能够以相同的定时输出。
另外，本发明的第13方面中的压缩编码数据再现方法是相对于多路复用非时间顺序排列的图像编码数据、与该图像编码数据关联的声音编码数据和附随于这些数据的附加信息的数据流，从相当于从外部指定的再现开始时间的图像和声音帧开始再现数据的传送的压缩编码数据再现方法，因为包括从上述数据流中分别分离输出上述图像编码数据、声音编码数据、附加信息，在此时进行再现图像和再现声音的起始端检测的步骤，从作为在上述起始端检测的画面图像中附加的上述附加信息之一的再现时间信息进行是否是相当于从上述外部指定的再现开始时间的画面图像或声音数据的判定的步骤，进行解码请求以解码相当于上述再现开始时间的画面图像和声音数据的步骤，判定是否完成上述画面图像和声音数据双方解码的步骤和在判定完成了上述画面图像和声音数据双方的解码时、请求同步输出上述解码的画面图像和声音数据的步骤，所以检测在相当于指定的再现开始时间的图像帧和声音帧，并分别解码后能够以相同的定时输出，即使是在业务用等的高精度要求的流编辑机中进行编辑，实际上图像和与之相对应的声音不伴随定时不吻合而进行处理。
另外，本发明的第14方面中的压缩编码数据再现装置是相对于多路复用非时间顺序排列的图像编码数据、与该图像编码数据关联的声音编码数据和附随于这些数据的附加信息被多路复用的数据流，从相当于从外部指定的再现开始时间的图像和声音帧开始再现数据的传送的压缩编码数据再现装置，包括从上述数据流中分别分离输出上述图像编码数据、声音编码数据、附加信息、在此时进行再现图像和再现声音的起始端检测的系统解码器，解码来自上述图像编码数据的画面图像的图像解码器，解码来自上述声音编码数据的声音数据的声音解码器，因为从为一个由上述系统解码器在起始端检测的画面图像中附加的上述附加信息之一的再现时间信息进行是否是相当于从上述外部指定的再现开始时间的画面图像或声音数据的判定、向上述图像和声音解码器进行解码请求以解码相当于上述再现开始时间的画面图像和声音数据、并在完成了上述画面图像和声音数据双方的解码的时刻、向上述图像和声音解码器进行输出请求，所以检测在相当于指定的再现开始时间的图像帧和声音帧，并分别解码后能够以相同的定时输出，即使是在业务用等的高精度要求的流编辑机中进行编辑，实际上图像和与之相对应的声音不伴随定时不吻合而进行处理。
图1是表示本发明的实施例1的压缩编码数据再现装置的构成的框图；图2是记载了表示上述实施例1的压缩编码数据再现装置的同步控制器的动作顺序的部分流程图的图；图3是记载了上述图2的流程图的剩余部分的图；图4是用来说明MPEG标准的程序流的数据格式的图；图5是用来说明MPEG标准的程序流中图像基本流的数据结构的图；图6是用来说明DVD视频标准规定的VOBU数据结构的图；图7是表示已有的压缩编码数据再现装置的构成的框图；图8是记载了表示已有的压缩编码数据再现装置的同步控制器的动作顺序的流程图的图。
实施例1图1是表示本发明的实施例1的压缩编码数据再现装置的构成的框图。如图1所示，在图1中，压缩编码数据再现装置虽然具有与已有的构成相同的传送流的传送装置10、从输入的流中提取必要的包的系统解码器11、解码图像数据的图像解码器12、解码声音数据的声音解码器13、控制各构成要素的动作定时用的同步控制器14，但本发明的系统解码器11向同步控制器14提供作为显示输出顺序信息的MPEG标准规定的暂时基准(temporal reference)。
下面说明如上述构成的本发明的实施例1的压缩编码数据再现装置的进入点的再现开始的动作。
从传送装置10向系统解码器11传送包含进入点的VOBU15。系统解码器11从输入的VOBU15中提取图像包和声音包后，分别向图像解码器12和声音解码器13传送去除包启动码和参数信息的图像基本流16和声音基本流17，并向同步控制器14传送参数信息内的PTS18和暂时基准19。
另外，系统解码器11从输入的VOBU15中提取图像包和声音包，分别向图像解码器12和声音解码器13传送去除包启动码和参数信息的图像基本流16和声音基本流17时，分别进行压缩编码图像帧和声音帧的起始端的检测，检测时向同步控制器14传送该结果。
图像解码器12进行来自输入的图像基本流16的图像帧的解码。声音解码器13进行来自输入的声音基本流17的声音帧的解码。同步控制器14通过控制传送装置10、系统解码器11、图像解码器12和声音解码器13，进行图像帧20和声音帧21的同步输出控制。
图2和图3是表示本实施例1的压缩编码数据再现装置的同步控制器14的进入点的再现开始动作顺序的流程图，下面根据图2和图3的流程图来详细说明同步控制器14的动作。
首先，开始处理(步骤201)，在步骤202中，通过从外部的进入点值和异常判定用时间T1的设定和进入点来通知再现开始，将声音帧输出准备完成标志、图像帧输出准备完成标志、声音帧检测标志和图像帧检测标志清“0”。
接着，在步骤203中，向传送装置10和各解码器11、12、13输出启动请求。接受该请求后，传送装置10和各解码器11、12、13进行启动处理。
接着，在步骤204中，向传送装置10输出数据提供请求。接受该请求后，传送装置10从包含进入点的VOBU15的起始端进行传送。系统解码器11通过从传送装置10接收数据开始分离提取。
接着，在步骤205中，通过步骤202中的来自外部的进入点来通知再现开始后，在未经过异常判定用时间T1时，向后面说明的步骤206移动。反过来，当经过异常判定时间T1时，向后面说明的步骤225移动。
接着，在上述步骤206中，进行声音帧输出准备完成标志和图像帧输出准备完成标志两者是否都为“1”的判定，在声音帧输出准备完成标志和图像帧输出准备完成标志两者不都为“1”时，向后述步骤207移动。反过来，在声音帧输出准备完成标志和图像帧输出准备完成标志两者都为“1”时，向后述步骤223移动接着，在上述步骤207中，检测出压缩编码声音帧或图像帧的起始端时，向后述步骤208移动。反过来，在未检测出帧时，返回上述步骤205。
接着，在上述步骤208中，在根据上述步骤207未向检测出的压缩编码帧中附加有效的PTS时，向后述步骤209移动。反之，在附加了有效的PTS时，向后述步骤210移动。
接着，在步骤209中，算出在上述步骤207检测出的未附加有效PTS的帧的PTS值。另一方面，在在步骤207检测出的帧为声音帧时，向在时间上靠前一个检测出的声音帧的PTS加算声音帧的一帧单位时间，并算出在上述步骤207检测出的帧的PTS。另外，在步骤207检测出的帧为图像帧时，从在时间上靠前一个检测出的图像帧的PTS(所谓的PTSn-1)和暂时基准(所谓的TRn-1)及在上述步骤207检测出的帧的暂时基准(所谓的TRn)使用下面的第1式来算出在上述步骤207检测出的帧的PTS(所谓的PTSn)。
(第1式)PVSn=PTSn-1+(TRn-TRn-1)*[图像帧的一帧单位时间]接着，在步骤210中，在判定上述步骤207检测出的帧相当于步骤202从外部设定的进入点的帧，当上述步骤207检测出的帧判定为相当于根据步骤202从外部设定的进入点的帧时，向后述步骤211移动。反之，当判定不是步骤202从外部设定的进入点的帧时，向后述步骤216移动。判定条件使用作为下面条件式的第2式。另外，该条件式成立时，步骤207检测出的帧判定为相当于步骤202从外部设定的进入点的帧。但是，在该条件式中，EP表示步骤202从外部设定的进入点值，Tfm表示帧单位时间，PTSn表示根据步骤207检测出的帧的PTS值。另外，Tfm在步骤207检测出的帧为声音帧时，使用声音帧的一帧单位时间，在步骤207检测出的帧为图像帧时，使用图像帧的一帧单位时间。
(第2式)EP-1/2*Tfm＜PTSn≤EP+1/2*Tfm接着，在步骤211中，上述步骤207检测出的帧进行是否为声音帧的判定，在上述步骤207检测出的帧为声音帧时，向后述步骤212移动。反之，在上述步骤207检测出的帧为图像帧时，向后述步骤214移动。
接着，在上述步骤212中，向声音解码器13输出根据步骤207检测出的声音帧的解码请求，向步骤213移动。另一方面，声音解码器13接受来自同步控制器14的该请求，进行根据步骤207检测出的声音帧的解码，解码完成后，将声音帧输出准备完成标志设为“1”。
接着，在步骤213中，将声音帧检测标志设为“1”，返回步骤205。
另外，在步骤214中，向图像解码器12输出根据步骤207检测出的图像帧的解码请求，向步骤215移动。另一方面，图像解码器12接受来自同步控制器14的该请求，进行根据步骤207检测出的图像帧的解码，解码完成后，将图像帧输出准备完成标志设为“1”。
接着，在步骤215中，将图像帧检测标志设为“1”，返回步骤205。
另外，在步骤216中，根据步骤207检测出的帧进行是否为声音帧的判定，在根据上述步骤207检测出的帧为声音帧时，向步骤217移动。反之，在根据上述步骤207检测出的帧为图像帧时，向后述步骤219移动。
接着，在步骤217中，进行声音帧检测标志为是否“0”的判定，当声音帧检测标志为“0”时，向后述步骤218移动。反之，当声音帧检测标志不为“0”时，返回上述步骤205。
接着，在步骤218中，向声音解码器13输出根据步骤207检测出的声音帧的跳跃(skip)请求，返回步骤205。另一方面，声音解码器13接受来自同步控制器14的该请求，执行根据步骤207检测出的声音帧的跳跃处理。该跳跃处理是不进行编码处理而废弃数据的处理。
接着，在步骤219中，进行图像帧检测标志是否为“0”的判定，当图像帧检测标志为“0”时，向步骤220移动。反之，当图像帧检测标志不为“0”时，返回步骤205。
接着，在步骤220中，进行根据步骤207检测出的帧是否为参考图像帧(所谓I图像或P图像)的判定，当根据步骤207检测出的帧是参考图像帧时，向步骤221移动。反之，当根据步骤207检测出的帧不是参考图像帧时，向步骤222移动。
接着，在步骤221中，向图像解码器12输出步骤207检测出的图像帧的解码请求，返回上述步骤205。另一方面，图像解码器12接收同步控制器14的该请求，进行步骤207检测出的图像帧的解码。
接着，在步骤222中，向图像解码器12输出根据步骤207检测出的图像帧的跳跃请求，返回上述步骤205。另一方面，图像解码器12接受来自同步控制器14的该请求，执行根据步骤207检测出的图像帧的跳跃处理。
另外，在步骤223中，通过根据步骤214向图像解码器输出解码请求、其结果通过图像解码器12解码的图像帧的PTS值、或根据步骤212向声音解码器13输出解码请求、其结果通过声音解码器13解码的声音帧的PTS值来初始化同步控制器14中的同步用时钟。通过进入点的再现开始的处理终止(步骤232)之后的压缩编码数据的再现使用该同步用时钟来进行声音帧和图像帧的同步输出控制。
接着，在步骤224中，分别向图像解码器12和声音解码器13输出图像帧和声音帧的输出请求，通过进入点来终止再现开始处理。
另一方面，图像解码器12根据步骤214输出解码请求后，其结果进行解码的图像帧的显示输出，声音解码器13根据步骤212输出解码请求后，其结果进行解码的声音帧的声音输出。
另外，在步骤225中，进行声音帧输出准备完成标志是否为“1”的判定，在声音帧输出准备完成标志为“1”时，向后述步骤226移动。反之，在声音帧输出准备完成标志不为“1”时，向后述步骤228移动。
接着，在步骤226中，根据步骤212向声音解码器13输出解码请求，结果由声音解码器13解码的声音帧的PTS值来初始化同步控制器14中的同步用时钟。通过进入点的再现开始的处理终止(步骤232)之后的压缩编码数据的再现使用该同步用时钟来进行声音帧和图像帧的同步输出控制。
接着，在步骤227中，向声音解码器13输出声音帧的输出请求，通过进入点来终止再现开始的处理。另一方面，声音解码器13根据步骤212输出解码请求后，结果进行解码的声音帧的声音输出。
另外，在步骤228中，进行图像帧输出准备完成标志是否为“1”的判定，在图像帧输出准备完成标志为“1”时，向步骤229移动。反之，在图像帧输出准备完成标志不为“1”时，向步骤231移动。
接着，在步骤229中，根据步骤214向图像解码器12输出解码请求，结果由图像解码器12解码的图像帧的PTS值来初始化同步控制器14中的同步用时钟。通过进入点的再现开始的处理终止(步骤232)之后的压缩编码数据的再现使用该同步用时钟来进行声音帧和图像帧的同步输出控制。
接着，在步骤230中，向图像解码器12输出图像帧的输出请求，通过进入点来终止再现开始的处理。另一方面，图像解码器12根据步骤214输出解码请求后，结果进行解码的图像帧的显示输出。
另外，在步骤231中，向外部进行异常通知。
如上所述，通过本发明的实施例1的压缩编码数据再现装置，利用暂时基准19，以图像帧单位或声音帧单位的精度来检测相当于从外部指定的进入点的图像帧和声音帧，分别解码后同时输出，另外，即使在输入的VOBU中仅存在相当于进入点的图像帧和声音帧的一方时，也能正常地进行进入点的再现开始，另外，即使在输入的VOBU中不存在相当于进入点的图像帧和声音帧两者时，因为不会在进入点的再现开始处理中停顿，而能够终止进入点的再现开始，所以能够检测出相当于指定的再现开始时间的图像帧和声音帧，分别解码后在相同定时输出。
另外，因为通过确认分别以帧单位来完成相当于再现开始时间的图像帧和声音帧的编码后同时输出，所以即使是业务用的高精度要求的流编辑机进行编辑，实际上图像和与之相对应的声音不伴随定时不吻合而进行处理。
另外，在本实施例中，虽然举例说明了以帧为单位的处理，但也可以进行以图像为单位的处理，例如，在以场为单位进行处理时，也能得到同样的作用效果。
权利要求
1．一种压缩编码数据再现方法，相对于由将帧内压缩编码一串图像帧的I图像、通过利用与在前面的图像帧的相关的顺序方向预测压缩编码得到的P图像、或通过利用与在前面的图像帧或后面的图像帧或前后两方向的图像帧相关的双方向预测压缩编码得到的B图像构成的图像压缩编码数据、压缩编码一串声音帧的声音压缩编码数据、上述图像压缩编码数据和关于上述声音压缩编码数据的附加信息被多路复用的数据流，从相当于从外部指定的再现开始时间的图像帧和声音帧开始进行再现数据的传送，其特征在于包括从上述数据流中分离输出上述图像压缩编码数据和上述声音压缩编码数据和上述附加信息、在此时进行图像帧和声音帧的起始端检测的步骤；从作为一个在上述起始端检测的帧中附加的上述附加信息的再现时间信息进行是否是相当于再现开始时间的图像帧或是声音帧的判定的步骤；当判定为相当于上述再现开始时间的图像帧时进行从上述图像压缩数据进行图像帧解码的解码请求、或、当判定为相当于上述再现开始时间的声音帧时从上述声音压缩数据进行声音帧解码的解码请求的步骤；判定是否完成上述图像帧和上述声音帧双方解码的步骤；和在判定完成了上述图像和声音帧双方的解码时、请求同步输出上述解码的图像数据和声音数据的步骤。
2．如上述权利要求1所述的压缩编码数据再现方法，其特征在于包括在判定是否完成上述图像帧和上述声音帧两者的编码步骤之前、判定是否经过规定时间的步骤，在经过该规定的时间时，仅向完成了上述图像帧或上述声音帧中的解码的任一方进行输出请求。
3．如上述权利要求1所述的压缩编码数据再现方法，其特征在于包括在判定是否完成上述图像帧和上述声音帧两者的解码步骤之前、判定是否经过规定时间的步骤；和经过该规定的时间、在未完成上述图像帧或上述声音帧两者的解码时、向外部通知发生异常的步骤。
4．如上述权利要求1所述的压缩编码数据再现方法，其特征在于上述数据流为由MPEG标准规定的程序流，上述再现时间信息为由MPEG标准规定的PTS(Presentation Time Stamp)。
5．如上述权利要求1所述的压缩编码数据再现方法，其特征在于进行上述图像帧和声音帧的起始端检测的步骤包括相对于起始端检测的帧判定是否加入有效再现时间信息的步骤；在没有加入有效再现时间时、上述起始端检测的帧在图像帧时由作为一个上述图像帧的上述附加信息的显示输出顺序信息和比上述图像帧时间上靠前解码的图像帧的再现时间信息及显示输出顺序信息算出上述图像帧的再现时间信息、另外、上述起始端检测的帧在声音帧时由比上述声音帧在时间上靠前先行检测出的声音帧的再现时间信息算出上述声音帧的再现时间信息的步骤。
6．如上述权利要求5所述的压缩编码数据再现方法，其特征在于上述显示输出顺序信息为由MPEG标准规定的暂时基准(temporalreference)。
7．一种压缩编码数据再现装置，相对于由将帧内压缩编码一串图像帧的I图像、通过利用与在前面的图像帧的相关的顺序方向预测压缩编码得到的P图像、或通过利用与在前面的图像帧或后面的图像帧或前后两方向的图像帧相关的双方向预测压缩编码得到的B图像构成的图像压缩编码数据、压缩编码一串声音帧的声音压缩编码数据、上述图像压缩编码数据和关于上述声音压缩编码数据的附加信息被多路复用的数据流、从相当于从外部指定的再现开始时间的图像帧和声音帧开始再现数据的传送，其特征在于包括从上述数据流中分离输出上述图像压缩编码数据和上述声音压缩编码数据和上述附加信息、在此时进行图像帧和声音帧的起始端检测的系统解码器；从上述图像压缩数据解码图像帧来显示输出的图像解码器；解码来自上述声音压缩数据的声音帧来声音输出的声音解码器；从一个作为向在上述系统解码器中先行检测的帧中附加的上述附加信息的再现时间信息进行是否为相当于再现开始时间的图像帧或声音帧的判定、当判定为相当于上述再现开始时间的图像帧时向上述图像解码器进行解码请求、当判定为相当于上述再现开始时间的声音帧时向上述声音解码器进行解码请求、另外、在对上述图像帧和上述声音帧双方解码完成时、向上述图像解码器和上述声音解码器进行输出请求的同步控制器。
8．如权利要求7所述的压缩编码数据再现装置，其特征在于上述同步控制器即使经过规定的时间，在未完成上述图形帧或上述声音帧的任一方解码时，向在该时刻完成解码的上述图像解码器或上述声音解码器的仅一方进行输出请求。
9．如权利要求7所述的压缩编码数据再现装置，其特征在于上述同步控制器即使经过规定的时间，在未完成上述图形帧和上述声音帧的双方解码时，通知外部发生了异常。
10．如权利要求7所述的压缩编码数据再现装置，其特征在于上述数据流为由MPEG标准规定的程序流，上述再现时间信息为由MPEG标准规定的PTS(Presentation Time Stamp)。
11．如权利要求7所述的压缩编码数据再现装置，其特征在于上述同步控制器在上述系统解码器没有向先行检测的帧附加有效的再现时间信息时，上述起始端检测的帧在为图像帧时由作为上述图像帧的上述附加信息之一的显示输出顺序信息和比上述图像帧在时间上靠前解码的图像帧的再现时间信息及显示输出顺序信息算出上述图像帧的再现时间信息；另外，上述起始端检测的帧在为声音帧时由比上述声音帧在时间上靠前先行检测出的声音帧的再现时间信息算出上述声音帧的再现时间信息。
12．如权利要求11所述的压缩编码数据再现装置，其特征在于上述显示输出顺序信息为由MPEG标准规定的暂时基准(temporalreference)。
13．一种压缩编码数据再现方法，相对于多路复用非时间顺序排列的图像编码数据、与该图像编码数据关联的声音编码数据和附随于这些数据的附加信息的数据流，从相当于从外部指定的再现开始时间的图像和声音帧开始再现数据的传送，其特征在于包括从上述数据流中分别分离输出上述图像编码数据、声音编码数据、附加信息，在此时进行再现图像和再现声音的起始端检测的步骤；从作为在上述起始端检测的画面图像中附加的上述附加信息之一的再现时间信息进行是否是相当于从上述外部指定的再现开始时间的画面图像或声音数据的判定的步骤；进行解码请求以解码相当于上述再现开始时间的画面图像和声音数据的步骤；判定是否完成上述画面图像和声音数据双方解码的步骤；和在判定完成了上述画面图像和声音数据双方的解码时、请求同步输出上述解码的画面图像和声音数据的步骤。
14．一种压缩编码数据再现装置，相对于多路复用非时间顺序排列的图像编码数据、与该图像编码数据关联的声音编码数据和附随于这些数据的附加信息被多路复用的数据流，从相当于从外部指定的再现开始时间的图像和声音帧开始再现数据的传送，其特征在于包括从上述数据流中分别分离输出上述图像编码数据、声音编码数据、附加信息、在此时进行再现图像和再现声音的起始端检测的系统解码器；解码来自上述图像编码数据的画面图像的图像解码器；解码来自上述声音编码数据的声音数据的声音解码器；从作为由上述系统解码器在起始端检测的画面图像中附加的上述附加信息之一的再现时间信息进行是否是相当于从上述外部指定的再现开始时间的画面图像或声音数据的判定、向上述图像和声音解码器进行解码请求以解码相当于上述再现开始时间的画面图像和声音数据、并在完成了上述画面图像和声音数据双方的解码的时刻、向上述图像和声音解码器进行输出请求。
全文摘要
当从压缩编码数据的进入点开始进行再现时,以图像帧单位和声音帧单位的精度以相同定时的方式输出图像帧和声音帧。同步控制器14从向由系统解码器11中先行检测的帧附加的PTS18中判定该帧是否为相当于进入点的图像帧或声音帧,当判定为相当于进入点的图像帧时,对图像解码器12进行解码请求,当判定为相当于进入点的声音帧时,对上述声音解码器13进行解码请求,并在完成了图像帧和声音帧双方的解码的时刻,向图像解码器12和声音解码器13进行输出请求。
文档编号H04N7/52GK1318949SQ0111929
公开日2001年10月24日 申请日期2001年3月29日 优先权日2000年3月29日
发明者门田健, 宫崎桂一, 山崎明彦, 小林洋敏 申请人:松下电器产业株式会社