专利名称：数字运动图像译码方法
技术领域：
本发明涉及数字存贮媒体或为广播及通信对采用可变长编码加以编码的图像数据进行译码的数字运动图像译码装置和数字运动图像译码方法，特别是涉及在在再现途中对因节目更改等原因成为不连续的编码数据进行无错误的译码再现的数字运动图像译码装置和数字运动图像译码方法。
背景技术：
在包括数字存贮媒体或数字广播及通信在内的各种场合下，对运动图像及附随的声音的通用编码方法的需要正在增加，在国际标准化组织(ISO)的国际电气协会(IEC)的运动图像专家组(下面称为MPEG)中，运动图像编码方式的国际标准化已取得进展，ISO/IEC13818-2(MPEG 2视频)等已形成标准。
下面作为现有技术的举例，利用图9对例如日本专利公开平8-32927等公报中所示的那种对以MPEG编码方式编码的数据进行译码的数字运动图像译码装置加以说明。
900表示常规的数字运动图像译码装置，911是频道选择装置，输入对应于该编码的多个节目的编码视频数据流、按照用户输入的节目选择信号选择相当于上述多个节目内的一个节目的视频数据流作为编码图像数据901输出，同时还能输出节目切换信号。上述被输出的编码图像数据901通过后述的代码模式检测装置903被存贮在输入缓冲存贮器902中。
上述代码模式检测装置903根据来自编码数据切换检测装置904的切换检测信号，在上述编码图像数据901中检测到规定代码模式的GOP(图像组)的I(内编码图像)图像之前，禁止数据通向输入缓冲存贮器902，而在正常再现中则处于允许数据通过的状态。
905为译码装置，对输入缓冲存贮器902提出数据请求，在此将所得到的数据进行译码处理，依次存贮进再现图像存贮器907中规定的再现图像区域。
显示图像确定装置906以时间信息管理装置908和再现图像区域管理装置909的各再现图像的时间信息以及再现图像存贮器907中的数据区域信息为依据确定将显示的再现图像，作为再现图像数据910输出以实现再现显示。
下面对在以上这样的结构中，从通常的再现模式变更再现速度、向高速再现这样的特殊再现方式转移时的操作进行说明。
在出现用户的高速再现请求时，编码图像数据901的格式成为仅从记录媒体所记录的位流中取出帧内编码图像(I图像)送至代码模式检测装置903，通过检测此I图像的连续模式来检测转移到特殊的再现方式。这样，在停止向输入缓冲存贮器902传送数据的同时，从编码数据切换检测装置904对输入缓冲存贮器902输出清除信号，这时，被存放在输入缓冲存贮器902中的数据即被消除。
然后，在代码格式检测装置903中再次检测到通常的格式时，即识别到特殊再现方式已被解除，解除后述的蓝背景处理，而重新开始向输入缓冲存贮器902传送数据。
下面说明以上这样的结构中因更换节目等使再现中的编码数据在中途不连续的情况下的操作。
编码数据切换检测装置904检测到由节目切换检测信号对输入的编码数据进行变更时，对输入缓冲存贮器902发送清除信号，此时输入缓冲存贮器902所存贮的全部数据被清除，同时向代码模式检测装置903发送数据禁止通过信号，直至代码模式检测装置903检测到帧内编码图像的起始码(I图像)之前，禁止数据向输入缓冲存贮器902传送。
此时，如图6中所示那样，在编码数据切换后连在双向预测编码图像(B图像)B3之后继续地插入空白图像(Bu图像)，进行画面整个成为蓝色那样的蓝背景处理。
然后，在代码模式检测装置903从切换后的编码图像数据中检测到帧内编码图像的起始码(I图像)时，重新允许向输入缓冲存贮器902通过数据，解除上述的蓝背景处理重新开始再现操作。
通过进行上述这样的处理，能防止因编码数据切换前后不同的数据序列连接而产生的参照图像错误，且在编码图像数据切换时使缓存器内剩余的数据不进行译码。
现有的数字运动图像译码装置和数字运动图像译码方法如上述那样构成，虽然具有防止因编码数据切换前后不同的数据序列连接而产生的参照图像误差那样的结构，但在因为节目更换造成编码数据切换时，就有一定时间的蓝背景画面显示等的给予观众不协调的感觉的问题。
而且，如图8(a)中所示那样，当编码数据的切换不是以1个图像数据为单位，而且在译码装置905对一图像数据进行译码处理中途，输入的编码数据切换时，即在译码处理中发生节目切换操作时，则如图8(b)中所示那样，在译码装置中所进行的译码处理过程中，就成为与将不同的数据序列相连接输入时同样的状态，会引起译码错误，从而存在有因这种错误图像产生明显的显示紊乱的问题。
而图5那样地以采用MPEG方式等的双向编码的方法编码的编码数据的结构是编码数据中的图像数据的配置顺序与再现图像时的显示顺序不同的顺序，为此，在双向预测编码图像(B图像)的译码处理时，完成位于在显示时间上靠后的前方向预测编码图像(P图像)的译码处理后，即将该译码数据存贮进再现图像存贮器。因此，如图6中所示那样，在切换输入的编码图像数据时刻，当已经完成译码处理而尚未到达显示时刻的未显示再现图像数据(P6)被存贮在再现图像存贮器907中并仅清除前级的输入缓冲存贮器的构成中，在到达按照该再现图像的时间信息的显示时刻时，显示前述再现图像数据。当再现图像间的显示时间间隔很长时，直到已成为不必要的前述再现图像数据(P6)的显示之前要花费时间，使再现过程中进行编码图像数据的切换处理的时间增长，就有蓝背景画面的显示时间拖长而给观众以不和谐的感觉的问题。
发明内容
本发明即是出于解决上述这样的问题而作出的，其目的在于提供一种在切换节目进行编码数据切换时不致因兰背景画面显示等而使观众产生不谐和感觉的数字运动图像译码装置和数字运动图像译码方法。
本发明的目的还在于提供一种即使在编码数据的切换不是以一个图像为单位并在对一图像数据进行译码处理途中的输入的编码数据被切换时，也不致发生译码错误的数字运动图像译码装置和数字运动图像译码方法。
本发明另外一目的还在于提供一种数字运动图像译码装置和数字运动图像译码方法，即使在切换编码图像数据的时刻，已完成对一图像数据的译码并将该再现图像存贮在再现图像存贮器中，但尚未到达按照以一个显示图像为单位确定的时间信息的显示时刻时，也能减少显示已成为不必要的前述再现图像数据之前的时间，并且也不会延长在再现过程中切换编码图像数据的时间。
本发明提供一种数字运动图像译码装置，包括译码器，将编码数据流译码为再现图像；控制器，接收使得将被译码的编码数据流在时序上产生仅仅一次不连续性的人工输入信号；其中所述控制器使对应于发生不连续性之前所读取的编码数据的、包括尚未显示的译码数据的那些译码数据无效，并且保持当前被显示的帧，直到来自不连续性终止之后被读取的编码数据的帧被译码并且准备被显示。
本发明提供一种数字运动图像译码方法，包括以下步骤将编码数据译码为再现图像；输出再现图像；接收人工输入信号，所述人工输入信号使得将被译码的编码数据在时序上仅产生一次不连续，并且使得对在所述不连续终止之后读取的编码数据进行译码；在接收到所述人工输入信号后，重复输出再现图像，直到新的再现图像准备好输出；以及在接收到所述人工输入信号后，使对应于发生所述不连续之前读取的编码数据的、包括尚未输出的译码数据的那些译码数据无效。
下面对关于本发明的数字运动图像译码装置和数字运动图像译码方法各自参照附图加以说明。
图1是表示本发明实施例1的数字运动图像译码装置的方框图。
图2是表示为说明在本发明实施例1的数字运动图像译码装置中节目切换时操作的流程图；图3是表示为说明在本发明实施例1的数字运动图像译码装置中节目切换时译码装置的操作的流程图。
图4是表示为说明在本发明实施例1的数字运动图像译码装置中节目切换后再现显示新的编码数据时的操作的流程图。
图5是表示以采用MPEG方式等的双向预测编码的编码方式编码的位流结构的示例图。
图6是表示再现过程中输入的编码数据发生切换时的位流结构示例和已有结构的数字运动图像译码装置操作的示例图。
图7是表示在上述图5所示条件下的本发明的数字运动图像译码装置操作的示例图。
图8是表示将一图像数据在译码中切换成编码数据时译码装置的状态图。
图9是已有结构的数字运动图像译码装置的方框图。
图10为构成本发明实施例1的数字运动图像译码装置的再现图像区域状态表的示意概念图。
具体实施例方式
图1表示本发明实施例1的数字运动图像译码装置的方框图。图中，100表示本发明的数字运动图像译码装置，104为输入对应于已编码的多个节目的编码视频数据流并按照用户以控制装置(遥控器)111输入的节目选择信号选择相当于上述多个节目中的一个节目的视频数据流作为编码图像数据101而输出的节目切换检测装置。
在通常的译码操作时，上述被输入的编码图像数据101通过后述的代码模式检测装置103被存贮进输入缓冲存贮器102。
输入缓冲存贮器102，具有(比方说)400Kb左右的较大的容量，根据来自后述的译码装置105的请求输出所存贮的编码数据。
译码装置105按照输入到该装置的数据量和输出的数据量管理输入缓冲存贮器102中的数据量，根据输入缓冲存贮器102中存贮的数据量来控制向自己输入的数据。而且此译码装置105还具有用于管理在向后述的再现图像存贮器107写入已译码的图像数据时的空间地址的再现图像存贮器地址管理表。
代码模式检测装置103是根据来自节目切换检测装置104的数据禁止通过信号，在检测到规定的代码模式之前，禁止向输入缓冲存贮器102通过数据的部件，而正常再现中则为数据允许通过状态。
再现图像存贮器107可以采用SDRAM等组成，具有被分割成存贮3帧大小的图像数据的容量(500Kb×3＝1.5Mb)的区域M0～M2，使被输入到译码装置105经译码处理的编码图像数据，以一个显示图像为单位存贮在再现图像存贮器107内再现图像区域M0～M2中的一个中。
显示图像确定装置106设置有用与由后述的时间信息管理装置108以1帧图像为单位确定的时间信息的时间精度相同的或更高的时间精度进行计数的基准时间计数器，由此基准时间计数器管理用于再现操作的基准时间。此基准时间计数器在输入从译码装置105来的基准时间信息信号时，即把该值更新为前述的基准时间信息。然后，将前述基准时间计数器的值与来自后述的再现图像区域管理装置109的时间信息的值进行比较，在判定为一致或相接近时，即根据来自再现图像区域管理装置109的存贮信息确定输出的再现图像区域，将为进行该区域的译码数据的输出的输出再现图像区域选择信号输出给再现图像存贮器107和再现区域管理装置109。
109为再现图像区域管理装置，将已译码的图像数据是否分别被存放在再现图像存贮器107中某一再现图像区域的信息与由后述的显示图像确定装置106反馈的显示状态标记相关连、例如利用图10中所示的表来进行管理。
在上述结构中，控制装置(遥控器)111实现节目切换装置，节目切换检测装置104实现由上述控制装置(遥控器)111接收节目选择信号并检测节目已被切换的节目切换检测装置和消除输入缓冲存贮器102所存贮的数据的输入缓冲存贮器消除装置，而以显示图像确定装置106和再现图像区域管理装置109实现显示状态保持装置，以上述节目切换检测装置104和再现图像区域管理装置109实现再现图像存贮器无效化装置和译码停止装置。
图2至图4表示上述数字运动图像译码装置处理的流程图，下面参照此流程图说明其操作。
首先，现在设定，按用户输入选择规定的节目并在再现图像存贮器107所存贮的图像数据中再现图像区域M1所存放的图像数据的再现，正处于进行的状态。
下面，参照图1的方框结构图和图2的流程图，对因节目转换而在再现过程中切换编码数据使得进行译码处理的数据序列在中途成为不连续的情况加以说明。
再现中，在步骤S1由控制装置(遥控器)111变更希望再现的节目，将切换再现编码数据的节目选择信号输出到节目切换检测装置104，由此开始再现中的节目切换处理。
这样，在步骤S2，节目切换检测装置104在一旦输入节目选择信号时，立即对代码模式检测装置103输出在检测到规定代码之前禁止编码数据通过的数据禁止通过信号，对输入缓冲存贮器102输出将目前输入缓冲存贮器102所存贮的全部数据清除的数据清除信号，对译码装置105输出中止当前正进行的译码处理的译码处理中止信号，并同时对再现图像区域管理装置109输出用于清除目前正显示的再现图像区域以外区域的数据的标记消除信号。
此后，节目切换检测装置104从正在输入的多个节目信息流数据序列中选择基于来自前述控制装置(遥控器)111的节目选择信号的节目编码数据，开始向代码模式检测装置103输出该编码数据。
代码模式检测装置103响应于数据禁止通过信号的输入，禁止所输入的编码数据通过输入缓冲存贮器102，而成为等待输入MPEG方式的编码数据中的序列标题代码的状态。
而输入缓冲存贮器102在按照数据清除信号的输入清除所存贮的全部数据后，成为等待由代码模式检测装置103输入数据的状态。
译码装置105因译码处理中止信号的输入中止当前进行中的译码处理并成为等待序列标题代码输入的状态。此后将新的编码数据的数据请求信号输出到输入缓冲存贮器102。
在步骤S3中，当数据输入时，确定该数据是否是序列标题代码，如果是序列标题代码以外的数据即废弃该数据，而对随后输入的数据进行同样的序列标题代码识别。反复进行此步骤S3的处理直至序列标题代码输入。
如以上所示，在进行节目更换时，通过立即中止译码处理，就不会象现有结构的数字运动图像译码装置中那样将不同的数据序列连接输入到译码装置，结果产生译码错误，因错误的图像显示而发生明显的显示紊乱使视听人员产生不快感。
而再现图像区域管理装置109根据标记消除信号清除再现图像存贮器107中的当前显示输出所用的再现图像区域之外的数据。具体地说，使再现图像存贮器107的数据存贮信息中相当于再现图像区域M1之外的信息成为“无数据”这样来进行标记改写。依靠这种处理就能解决已有构成的数字运动图像译码装置中发生的、进行完已变成不必要的前述再现图像数据的显示而使得从输入的编码图像数据切换发生起直至再现图像被切换为止的时间增长的问题。
而且，与前述再现图像存贮器107中的数据清除操作一起，还对显示图像确定装置106输出作为已更新为数据清除后的状态的再现图像区域状态表的内容的数据存贮信息和时间信息通知信号。
显示图像确定装置106根据来自再现图像区域管理装置109的前述数据存贮信息和时间信息通知信号，检测在当前显示输出中使用的再现图像区域之外没有数据，由于即使在应显示下一图像的时刻目前输出中所使用的再现图像区域以外也没有数据，所以对再现图像存贮器107输出指示作反复输出相同再现图像区域的数据的输出再现图像区域选择信号。依靠这种处理就能解决已有结构的数字运动图像译码装置中发生的，在直到能显示切换后的新图像(见图6的I0’)之间因进行蓝背景显示处理(见图6的Bu)等而出现的显著不和谐感的显示跳跃问题。
下面说明节目切换后再现显示新编码数据时的处理操作。
在步骤S3中，代码模式检测装置103对来自节目切换检测装置104的新编码数据加以分析，进行序列标题代码检测，如检测到序列标题代码即进入步骤S4，重新允许编码数据通过输入缓冲存贮器102。
然后进到步骤S5，将序列标题代码以后的编码数据再开始存贮到输入缓冲存贮器102，而按照来自译码装置105的数据请求信号进行数据输出。
在步骤S6中，当编码数据中含有当前进行译码处理中的1帧单位的图像的显示顺序信息和应显示该图像的时间信息时，译码装置105从编码数据中提取这些信息，对时间信息管理装置108输出通知这些信息的提取信息信号。这时，当编码数据中没有应显示当前正进行译码处理的1帧单位的图像的时间信息时，仅将显示顺序信息作为提取信息信号对时间信息管理装置108输出。而译码装置105在编码数据中包含有基准时间信息时，即由编码数据中提取该信息，作为基准时间信息信号向显示图像确定装置106输出。
此后成为通常的再现时的操作，如图3的流程图所示那样，在步骤7中，译码装置105判断所输入的编码数据是否为预测编码方式的数据，在是预测编码数据时进到步骤S8，为请求所需的图像数据而向再现图像区域管理装置109输出参照图像数据请求信息。在此，当所输入的编码数据不是预测编码方式数据时，即仅以所输入的编码数据进行译码处理。
而在步骤S9中，再现图像区域管理装置109检查所请求的参照图像数据存在于再现图像存贮器107中哪一个再现图像区域，在步骤S10，再现图像区域管理装置109输出为指示将判定的区域的数据作为参照图像数据输出的参照图像数据输出控制信号。
这样，在步骤S11中再现图像存贮器107根据参照图像数据输出控制信号的指示将被指示区域的数据作为参照图像数据输出。
而后在步骤S12中，译码装置105利用被输入的参照图像数据开始进行预测编码方式的编码数据的译码处理。
在步骤S12-1中，译码装置105将译码处理后的译码数据输出给再现图像存贮器107。此时，再现图像区域管理装置109对再现图像存贮器107输出指示将译码处理后的译码数据存贮在哪一个区域的地址信号。
在当前译码处理中的编码数据中含有基准时间信息时，将该信息作为基准时间信息输出给显示图像确定装置106。
从编码数据中提取当前译码处理中的1帧图像的显示顺序信息和应显示该图像的时间信息，对时间信息管理装置108作为提取信息信号而输出。在此，当编码数据中不包含前述时间信息时，仅提取所述显示顺序信息，对时间信息管理装置108作为提取信息信号而输出。
接着，时间信号管理装置108，在图4的步骤S13到步骤S15中发生提取信息信号的输入时，判断是否存在有从编码数据提取的时间信息的输入，在存在有时间信息的输入时，将该时间信息确定为应显示当前译码装置105中作译码处理的1帧图像的时间信息，对再现图像区域管理装置109作为时间信息信号而输出，当不存在时间信息的输入时，按照先前由译码装置105输入的另外1帧图像的时间信息和显示顺序信息、以及这次输入的当前在译码装置105中进行译码处理的1帧图像的显示顺序信息，计算应显示当前在进行译码处理的1帧图像的时间信息，作为时间信息输出给再现图像区域管理装置109。
接着在步骤S16中，再现图像区域管理装置109确定管理中的再现图像区域状态表的内容，对当前显示输出中的再现图像区域(M1)以外的、译码数据被清除的再现图像区域(M0、M2)输出来自译码装置105的节目切换以后的新的译码数据。同时更新再现图像区域状态表的内容，对显示图像确定装置106输出数据存贮信息和时间信息通知信号。
接着在步骤S17，显示图像确定装置106根据前述数据存贮信息和时间信息通知信号检测新的图像的输出准备，在到达按照该图像的时间信息的时刻时，输出输出再现图像区域选择信号以输出该图像的某一再现图像区域中的译码数据。
再在步骤S18中，再现图像存贮器107根据前述输出再现图像区域选择信号将节目切换后的新译码数据作为再现图像数据而输出。
通过以上处理，即将被显示的图像切换成新选择的节目的内容。
因此，采用本实施例1的话，在检测到节目切换时禁止数据通过输入缓冲存贮器102，同时消除输入缓冲存贮器102的存贮器内的所有数据，并且由于控制显示图像确定装置使得保持该时刻的显示图像，因而在节目切换时不会显示一定时间的蓝背景画面等的不自然的画面而能减少用户的不和谐感觉。
并且，在检测到节目切换时，通过清除再现图像存贮器107中当前显示所使用的区域以外的区域的信息并将其作为可能利用的空间区域，也能防止与检测到编码数据切换相比时间上靠后的不必要的图像的显示，而且因为切换后的编码数据迅速地被写入再现图像存贮器107，所以能缩短切换后到进行编码数据的再现图像显示之前的处理时间。
在检测到节目切换时，中止译码装置105的译码处理，而将一图像数据译码结束代码赋予译码途中的图像数据，从而就能如图8(c)中所示那样，不会将与之相连接的其他节目的数据序列错误地识别成在译码途中连续的数据序列，从而能防止因错误识别而发生译码错误和错误图像的显示。
在上述实施例1中，虽然是对代码模式检测装置103和译码装置105在节目切换后等待检测到序列标题代码的操作进行说明，但如果是表示译码处理单位的最前端的代码模式的检测功能，则不限定于序列标题代码的检测功能，象MPEG形式的GOP标题代码和帧内编码图像(I图像)的起始码那样，只要是检测得到的数据以后的编码数据，既可以是图像再现的代码模式，也可以是其他的代码模式。
在上述各实施例中，虽然表示的是将代码模式检测装置103配置到输入缓冲存贮器102的前段的结构，但即使作为将代码模式检测装置103配置到输入缓冲存贮器102的后段，输入缓冲存贮器102按照来自代码模式检测装置103的数据要求随时输出数据、在代码模式检测装置103检测到规定的代码模式之前禁止向后段的译码装置105传送数据这样的结构，也可以作同样的操作，这是不言而喻的。
在上述各实施例中，是将再现图像存贮器107的再现图像区域作为3个进行图示的，但这并不是限定为3个，若按显示顺序能显示已译码的再现图像数据数量是几个以上，就可以是几个再现图像域。
在上述各实施例中，再现图像存贮器107中再现图像区域是作为连续的区域而图示的，但再现图像存贮器107的结构并不限于此，也可采用将译码的一再现图像的数据分割成再现图像存贮器的不连续区域而存放那样结构的存贮器。
在上述各实施例中虽然说明了译码处理对象是按MPEG方式编码的数据的情况，但成为译码处理对象的编码数据不限于以MPEG方式编码，如是用双向预编码方式编码的编码数据，也可以是以MPEG方式以外的编码方式编码的。
也可以是这样的结构，即被输入到节目切换检测装置104的位流数据不是广播，而是从存贮盘等的记录媒体读出所需的节目信息流数据。
并且，在上述各实施例中虽然是对在每次基准时间信息被输入到显示图像确定装置106时根据基准时间信息更新基准时间计数器值的结构进行说明的，但也可以是这样的结构，即各再现的编码数据仅在其数据中的最初的基准时间信息被输入到显示图像确定装置106时才进行更新、或者根据外来的控制信号等以任意的不同定时时刻加以更新。
再者，上述基准时间信息可以不是根据从译码装置105的编码数据中提取的数据加以更新，也可以是从外部直接在基准时间计数器中设定任意值。
如以上所示，按照本发明的数字运动图像译码装置和数字运动图像译码方法，由于在再现途中检测到节目切换时，禁止数据通过输入缓冲存贮器，同时消除输入缓冲存贮器的存贮器中的全部数据，并控制显示图像确定装置，保持该时刻的显示图像，所以在切换节目时不会显示一定时间的蓝背景画面等的不自然的画面，而具有能减少用户不谐和感的效果。
而且，在再现途中检测到节目切换时，在清除输入缓冲存贮器内的数据的情况下同时保持当前的显示状态，并同时用译码装置进行与一图像数据的结束代码被输入同样的处理，中途结束一图像数据的译码处理，以等待检测到规定的代码模式的状态进行待机，这样就不会将切换前后的数据序列错误地识别为连续的数据，而具有能实现防止因误识别发生译码错误和显示错误的图像的效果。
再有，在再现中途检测到节目更换时，在输入缓冲存贮器内的数据被清除的情况下，清除再现图像存贮器中的当前显示所使用的区域以外的数据，从该时刻起不显示时间上流后的成为不必要的图像，同时还具有能缩短切换后的编码数据的再现图像显示之前的处理时间的效果。
权利要求
1.一种数字运动图像译码方法，包括以下步骤将编码数据译码为再现图像；输出再现图像；接收人工输入信号，所述人工输入信号使得将被译码的编码数据在时序上仅产生一次不连续，并且使得对在所述不连续终止之后读取的编码数据进行译码；在接收到所述人工输入信号后，重复输出再现图像，直到新的再现图像准备好输出；以及在接收到所述人工输入信号后，使对应于发生所述不连续之前读取的编码数据的、包括尚未输出的译码数据的那些译码数据无效。
全文摘要
本发明提供了一种数字运动图像译码方法，能防止在再现期间输入的编码数据成为不连续时显示图像的紊乱和缩短再现转换处理时间。停止输入再现中的编码数据，消除输入缓冲存贮器(102)中的译码前的图像数据和译码后尚未显示的再现图像存贮器(107)中的再现图像区域的数据。在能够减少成为不必要译码的数据的处理时间的同时，还能削减虽已完成译码但还未显示的再现图像的显示时间，能缩短因变更节目等引起的在再现过程中编码数据的更换所需的处理时间。
文档编号H04N5/44GK1933563SQ20061009579
公开日2007年3月21日 申请日期1997年10月31日 优先权日1996年10月31日
发明者瀬戶口伸男, 渡部彰啓 申请人:松下电器产业株式会社