图像解码方法和装置,以及采用该方法的电视接收机的制作方法

文档序号:7644652阅读:137来源:国知局
专利名称:图像解码方法和装置,以及采用该方法的电视接收机的制作方法
技术领域
本发明涉及重现图像的技术,更具体地说,本发明涉及用于重现译码图像数据的方法和装置以及采用所述方法和装置的电视接收机。
另一方面,近几年来,便携式终端的广泛使用期待着能对具有高数据压缩比的译码系统产生更大的需要。因此,对MPEG-4译码方法的使用进行了调研,MPEG-4能够以低码率传输压缩的图像。从现在起,将在数字TV广播中出现MPEG-4与MPEG-2一起用于图像信息的传输。
在上述提及的数字TV广播中,必需从所接受到的信号中提取译码图像数据并对该数据进行解码。在MPEG-2译码的图像中,帧间译码与帧内译码一起完成,使得在有可能认为参考帧是帧间译码时,就不需要在译码图像数据接受之后立即根据标准进行译码。
为了能解决该问题,日本专利申请未公开号No.2002-112138中,本发明的发明者提出一种数字广播接受装置,该装置具有在背景中和事先存储在用户切换频道所准备的多个频道中的一个频道中接受的能力,并还具有其它能够实现以下结合所述材料所讨论的需求。即,在MPEG-4译码图像中,通过将参考帧的数目保持低于MPEG-2,从而较高地提高数据压缩比,以便于采用适用于译码的延迟时间甚至更长的结果来增加帧间译码的比例。当将MPEG-4系统应用于数字TV广播时,在没有开始图像译码的过程中,当接受开始之后,大约四秒的周期中不能接受到参考帧,这是最糟的情况。因此,在接受装置(例如,电视接收机)接通电源和切换频道时不能立即显示图像,这就肯定会激怒用户。对进入市场的产品来说,这将是个很大的缺点。

发明内容
考虑到上述要求提出了本发明,并且本发明的一个目的是提供图像的重现技术,该技术在即使无法根据标准来完成帧间译码的情况下也能够以最好的效果来重现和显示图像。
根据本发明的推荐实施例涉及图像译码方法。该方法包括在对图像信号进行至少一个帧内译码处理和帧间译码处理的解码所译码数据序列的处理中,在不可能将帧作为帧间译码参考的过程中,在各帧的重现像素模块中重现数据。作为“不可能将帧作为帧间译码的参考的情况”的例子,也存在着在接受译码数据序列时还没有接受到参考帧的情况,以及由于误差而丢失参考帧的情况,等等。在这种情况下,重现的像素模块能够重现在接受到的帧中并且能够以最佳的效果来显示。这里,像素模块的重现意味着图像是采用相同的方法来重现,并且它包括,除了解码帧内译码或帧间译码的像素数据的解码处理以外,采用其它子图像数据来填充或替代要译码的图像的处理和使用其它像素数据来插入到图像中的处理。
作为重现像素模块,已经完成帧内译码处理的像素模块可以解码。作为可重现像素模块,已经完成帧间译码处理的像素模块可以采用已经重现的参考目标帧的像素模块来解码。当参考目标帧的像素模块不能在对已经完成帧间译码处理的像素模块进行译码处理中重现时,解码处理可以采用参考目标帧的替代方框来进行。该替代方框可以是在识别参考源像素模块的位置上的参考目标像素模块。在这样情况下,参考目标像素模块可以直接复制以及可以用于参考源像素模块的数值。值得注意的是,本文所提及的像素模块一般是一组任意数量的像素,这些数量可以用于帧间译码所需运动预测的单元,但是并不限制于在MPEG中所限定数量的模块或宏模块。
在MPEG-4中,I-VOP(视频目标平面)作为帧间译码的参考帧使用,使得帧内译码只在其中进行,并且能通过正在讨论图像帧中有效结束信息的解码来完成I-VOP。另一方面,P-VOP和B-VOP一般是不仅帧内译码而且还帧间译码,使得所有像素模块不能单多采用图像帧的信息来解码,并且所完成的解码不可能用于参考,除了其它图像帧。
根据在本实施例中的图像编码方法,即使在接受到作为参考帧的任何I-VOP之前,至少已经接受的用于P-VOP或B-VOP的帧内译码像素模块处理解码并且至少解码的部分能够显示。此外,如果作为运动矢量的帧像素模块不知采用一些部件来重现,帧间译码像素模块能够使用它的参考目标像素模块来解码,并且该解码部分能够显示。此外,当参考目标像素模块不能重现时,它可以采用其它重现显示像素模块来取代。随后,定位的像素模块,例如,对参考目标帧位置的识别或环绕参考目标帧的的位置可以直接复制并作为要解码帧的像素模块来使用。另外,根据运动矢量参考作为替代像素模块的假定,来进行解码。此外,不能重现的参考目标像素模块可以采用将运动矢量准备用于误差隐含的参考像素模块来替代。
根据本发明的另一推荐实施例涉及图像加码方法。该方法是,在进行至少一个帧内译码处理和帧间译码处理的译码图像信号的接受频道的切换时间,重现在接受帧内可重现的像素模块,并随后在不等待用于帧间译码的参考帧的接受条件下进行显示。
根据本发明的另一个较佳实施例也涉及图像解码方法。该方法是,在接受由进行至少一个帧内译码处理和帧间译码处理的译码图像信号的装置开启电源时间,重现在接受帧内可重现像素模块,并且随后在不等待用于帧间译码的参考帧的接受条件下进行显示。
根据本发明的另一个较佳实施例也涉及图像解码方法。该方法是,在一个译码图像信号的接受频道的切换时间,一般重现在切换之后新的频道的图像,并且在可重现限制条件内进行显示。
根据本发明的另一个较佳实施例也涉及图像解码方法。该方法是,在接受译码图像信号低的装置开启电源的时间,逐渐重现在电源开启之后的要显示的图像并且在可重现条件内进行显示。
根据本发明的另一个较佳实施例涉及图像解码装置。该装置包括用于至少对图像信号进行一个帧内译码处理和帧间译码处理的译码数据序列进行解码的解码器;以及暂时存储指示解码帧是否以模块单元重现标志的存储单元,其中,在帧间译码的参考帧不能被参考的情况下,解码器对已经进行了帧内处理的像素模块进行解码,并且存储单元对指示了已经重现的数值的像素模块设置标志。
该标志指示了重现的状态,它作为显示是否已经完成一定重现指示的标志。当所产生的重现指示的情况不仅包括帧内译码或帧间译码像素模块解码和显示的情况,而且还包括没有进行解码处理并且采用替代的像素模块或者采用插入像素的方法来显示像素模块的情况。
如果标志指示参考目标帧的像素模块是可重现的,解码器就可以对已经进行了帧间译码处理的像素模块使用参考目标帧的像素模块来解码,并且在对指示已经重现的数值解码之后,存储单元可以对该像素模块设置标志以及存储该数值。
如果标志指示参考目标帧的像素模块是不可重现的,在对已经进行了帧间译码处理的像素模块解码的过程中,解码器可以将在相同位置上的像素模块作为需要解码的像素模块并且使用该相同位置的像素模块用于需要解码的像素模块。因此,当所述的像素模块位于相同的位置时,就不限制参考目标像素模块正确地位于参考源像素模块的相同位置,但是,位于相同位置的概念包括像素模块位于相邻位置的情况。即使在使用替代像素模块来显示像素模块时,存储单元可以对指示已经重现的数值设置标志并且存储该数值。
如果标志指示参考目标帧的像素模块是不可重现的,在对已经进行了帧间译码处理的像素模块解码的过程中,解码器可以在参考目标像素模块的周围插入像素,从而替代在解码之后的像素模块。在这类情况下,存储单元可以采用对指示不可能重现的数值设置标志的方式来存储该标志。
为了能区分在使用参考目标像素模块来进行解码和显示的情况与不使用参考目标像素模块进行解码但使用替代的像素模块来进行重现情况之间的差异,可以准备指示解码状态的标志和指示显示状态的标志,在前者情况中,解码状态指示标志和显示状态指示标志都可以设置成ON;在后者情况中,解码状态指示标志可以设置成OFF而显示状态指示标志只可以设置成ON。以这种方式,当使用两种不同的标志时,只有指示解码状态的标志为ON的像素模块可以作为参考目标像素模块使用,而指示显示状态的标志为ON的像素模块可以允许作为替代像素模块来使用。
根据本发明的另一个较佳实施例涉及电视接收机。该电视接收机包括接受广播波的接受模块,处理接受信号的处理模块,以及重现由处理快已经处理的信号的重现模块,其中,处理快包括对从接受信号中提取的译码图像数据序列进行解码的解码器,以及暂时存储指示所解码的帧是否能以模块为单元进行重现的标志的存储单元,并且其中解码器根据参考目标帧的像素模块的标志对各个帧中的重现像素模块解码所需重现的数据,直至接受到第一参考帧。
在装置开启电源或切换广播频道时,例如,该装置在接受参考帧之前需要花费一些时间。然而,根据该装置,可以采用一些部件以最佳的方式来显示用于重现像素模块的图像数据,使得在没有产生用户等待的条件下即时显示图像数据。
根据本发明的另一个较佳实施例涉及电视接收机。该电视接收机包括接受广播波的接受模块,处理接受信号的处理模块,以及重现由处理快已经处理的信号的重现模块,其中,处理快包括对从接受信号中提取的译码图像数据序列进行解码的解码器,在切换译码图像信号的接受频道时,解码器对切换之后的新的频道解码图像,该图像在重现的范围以内,并且其中重现模块根据解码器的解码逐渐显示新频道的图像。
根据本发明的另一个较佳实施例涉及电视接收机。该电视接收机包括接受广播波的接受模块,处理接受信号的处理模块,以及重现由处理快已经处理的信号的重现模块,其中,处理快包括对从接受信号中提取的译码图像数据序列进行解码的解码器,在电视接收机开启电源时,解码器对电源开启之后需要显示的图像进行解码,该图像在重现的范围以内,并且其中重现模模块根据解码器的解码逐渐显示电源开启之后的图像。
值得注意的是,上述讨论结构元件的任何随意的组合以及在方法、装置、系统、计算机程序、记录媒介以及其它等等之间的表述的变化都是有效的并被本发明所包含。
此外,该发明内容并不需要讨论所有的必需性能,因此本发明也可以是上述讨论性能的子组合。
现在,将根据下列实施例来讨论本发明,这些实施例并不试图限制本发明的范围,只是用于解释本发明。在实施例中所讨论的所有性能或者其组合都不一定是本发明所必需的。


图1显示了根据推荐实施例的电视接收机300结构的方框图。电视接收机300包括天线302,接受通过天线302的广播波的接受模块304,处理作为接受模块304处理结果而获得的图像和音频数据的处理模块306,重现处理模块306所解码的音频和图像的重现模块308,接受来自用户指令的用户接口312,以及根据来自用户接口312的指令来控制接受模块304和处理模块306的控制模块310。接口模块336将来自处理模块306的解码图像数据输出到适合的外部设备。
接受模块304包括调谐器320和包分离器322。调谐器320选择包括了用户所选择频道的转发器,并且能进行QPS解调。码流包括了多个解码结果的转发包,它发送至包分离器322。包分离器322是一个复用器,它从其它包中分离出对应于所要求频道的包并将其发送至处理模块306。
在处理模306中的图像-音频解码器334连接着CPU330和存储器332并且和它们一起工作,对广播站所传输和在其中解码的图像和音频数据进行解码。图像音频解码器334解码所输入包,且分别向音频输出单元340和显示装置344输出音频数据和图像数据。音频输出单元340对所输入的音频数据进行预定的处理,且该音频最后输出至扬声器342。涉及在处理模块306结构中的图像解码的元件包括解码器334、CPU330和存储器332,一起称之为图像解码单元100。
用户接口312接受来自用户切换广播频道的信号。控制单元310向接受模块304发出频道切换的信号,以及向处理模块306发出接受开启信号。一旦接受到这些信号,在接受模块304中的调谐器320切换广播频道,从而开始新的接受,并且在处理模块306中切换模式,使得图像解码单元100能够在接受之后即时进行最佳效果的处理。
图2是显示图像解码单元100结构的方框图。图像解码单元100是根据本发明的一例图像解码装置,该图像解码单元100可以单片LSI方式安装。此外,该图像解码单元100和接受模块304的主要结构如图1所示,它可以单片LSI安装。
VLD单元10根据存储于ROM20中的Huffman表中所存储的Huffman代码,对接受模块304所接受到的MPEG视频流进行可变长度解码。IQ单元12根据存储于ROM22的量化表中存储的量化阈值数值,对VLD单元10所解码的结果,通过进行反量化来计算DCT(离散余弦变换)系数。IDCT单元14对IQ单元12计算的DCT系数进行IDCT(逆离散余弦变换),从而将频率分量转换成坐标信号。MC单元16进行MC(运动补偿预测),以便重现图像。于是,所重现的图像可存储于帧存储器18并且输出至显示装置344。
采用这种方式,图像解码单元100对所输入的MPEG视频流进行解码并且产生以时间序列方式连续的重现图像数据序列。值得注意的是PMPEG视频流是本发明中的一例“译码数据序列”。
在MPEG中,采用了称之为帧间预测的压缩技术。帧间预测根据在各帧之间的时间相互关系来压缩帧间数据。在帧间预测中,进行了双向预测。双向预测使用了前向预测和反向预测,前向预测用于从过去重现的图像来预测当前所重现的图像,而反向预测则是从未来重现的图像来预测当前重现的图像。
在MPEG-2中这种双向预测定义了三类图像,分别称之为I图像(帧内-图像)、P图像(预测-图像),以及B图像(双向预测-图像)。I图像是由帧内译码处理独立产生的图像,它与过去和未来所重现的图像无关,并且能够由它自身来解码。在I图像中的所有宏模块都是由帧内译码处理所产生的。P图像是由前向译码处理所产生的,采用了对过去I或P图像的预测方法。在P图像中的所有宏模块包括由前向预测所产生的帧内译码图像和帧间译码图像。
B图像是由帧间译码处理采用双向预测方法来产生。在双向预测中,B图像是由以下三个预测中的一个来产生的。
(1)前向预测从过去的I图像或P图像的预测。
(2)反向预测从未来的I图像或P图像的预测。
(3)双向预测从过去和未来的I图像或P图像的预测。
在B图像中的宏模块包含前向预测、逆预测或插入预测的帧内译码图像和帧间译码图像。
在MPEG-4中,时间序列的视频目标被称之为VO(视频目标),并且各个构成VO的图像可称之为VOP(视频目标平面)。VOP对应于MPEG-2中的图像。取决于所使用的预测译码,可以有下列四种VOP。
(1)I-VOP帧内译码VOP。
(2)P-VOP帧间前向预测译码VOP。
(3)B-VOP帧间双向预测译码VOP。
(4)S-VOP子图像VOP。
前三VOP,即I-VOP、P-VOP和B-VOP分别对应MPEG-2中的I图像、P图像和B图像。
在MPEG中,译码图像数据是以码流数据来表示的,高码流数据具有层次结构。在MPEG中处理的运动图像是由,例如,每秒30帧构成的。在MPEG-2中,帧一般对应于图像。在MPEG-2中,图像的集合称之为GOP(图像组),因此就有可能在GOP单元中随机存取。因为进行了随机存取,所以在GOP中就需要至少一幅P图像。在MPEG-4中,VOP的集合处理成GOV(VOP组)。
在MPEG-2中,在各个GOP中所分配的I图像的数量可以是非常小的。例如,在构成GOP的15至30帧的图像中最多只有一帧。在MPEG-4中,在GOV中的I-VOP的数量就进一步减少,以提高压缩比。于是,在120帧VOP中大约只有一帧。此外,在MPEG-4中,有一些情况限制了需要大量用于解码缓存的B-VOP的使用,以致于只能由I-VOP和P-VOP来构成GOV。
在MPEG-2中接受到I图像或在MPEG-4中接受到I-VOP之前,不能解码在GOP或GOV中的图像。于是,就在接受装置的电源开启或频道切换的时会产生等待时间,即,在接受到用于解码参考的I图像或I-VOP之前不能显示图像。该等待时间是由GOP中I图像的比例或COV中的GOP的比例来确定的。然而,在上述所提及的比例中,最糟的情况是,在MPEG-2中等待时间大约为1秒,而在MPEG-4中,则大约为4秒。当应用于MPEG-1、MPEG-2和MPEG-4中的任意情况下,本发明将对MPEG-4产生最大的影响,它可以产生高的数据压缩比以及对解码产生较长的等待时间。在下列讨论中,MPEG-2中的术语“图像”和“GOP”只是用于简化讨论,并不是试图拒绝应用于MPEG-4,而是也包含了MPEG-4的“VOP”和“GOV”的概念。
在参照图2,MC单元16不仅根据MPEG标准的运动补偿预测进行图像的解码,而且也正如以下所讨论的,即使在有可能参考任何用于解码的参考帧的情况下也能重现具有最佳效果的部分图像。在开启电源或切换频道时,MC单元16根据来自图1所示的控制单元310的控制信号以最佳效果的重现处理方式来工作,且在接受到参考帧之后,自动返回到正常的解码处理。
参照图3,它给出了在接受到参考帧之前的最佳效果重现处理的讨论。在MPEG的运动波长预测中,在宏模块单元中获得运动矢量。一个宏模块是由四个8××像素块组成。在图3中,为了简化的目的,P图像和I图像各自由6个宏模块来表示,并且运动矢量采用带箭头的实现来表示。此外,下文中将要讨论的替代矢量采用带箭头的虚线来表示。在图3中,具有斜线的宏模块帧内译码宏模块(下文中将简称为“帧内MB”),而其它宏模块是帧间译码宏模块(下文中将简称为“非帧内MB”)。同样,由运动矢量所参考的宏模块称之为参考目标MB,以及用于上述宏模块参考的宏模块称之为参考源MB。此外,下文中将要讨论的被替代矢量所参考的宏模块则称之为替代MB。
假定在时间T0开始接受MPEG视频流,随后就接受到第一P图像P1,接着接受到第二P2图像和第三P图像P3。此后,假定在T1接受第一I图像I1和接受第四P图像P4。例如,时间T0表示装置的电源开启时间和接受频道的切换时间,而时间T1表示在电源开启和频道切换之后接受到第一参考帧的瞬间。
从时间T0到时间T1的间隔是图2所示MC单元16处理最佳效果重现的过程,并且在时间T1之后,MC单元16的处理切换到正常解码处理。在上述提及的例子中,装置的电源设置为ON或者切换接受的频道,在电源开启或切换频道之后所接受到的帧的可重现像素模块可以在该最佳效果重现处理过程中的最佳效果来显示,并且在时间T1逐渐地移动到正常显示状态。
在最佳效果重现处理中,各个宏模块设置了标志,该标志指示是否有可能重现,并且各个宏模块的标志与帧的图像数据一起存储于图2所示帧缓存器。作为各个宏模块的标志,准备了解码OK标志和显示OK标志,其中,解码OK标志指示了根据MPEG标准已经解码的宏模块,而显示OK标志指示了已经显示的宏模块。当解码OK标志和显示OK标志都为ON(下文中称之为“解码OK状态”)时,则意味着宏模块已经根据标准进行解码和显示。在图3中,这种情况采用圆圈来表示。当解码OK标志为OFF和显示OK标志为ON(下文称之为“解码NG/显示OK状态”)时,则意味着并没有进行解码但在一些重现处理之后已经进行了显示。在图3中,这种状态采用三角来表示。当解码OK标志和显示OK标志都为OFF(下文中称之为“显示NG状态”)时,则意味着根据标准的解码和一些重现处理并没有进行并且也没有进行显示。在图3中,该状态由X来表示。
在第一P图像P1中,帧内MBs 32和34仅仅只能解码,而非帧内MBs 31、33、35和36都不能解码。可解码的帧内MBs 32和34随后被解码,并且将解码OK标志和显示OK标志都设置为ON。即,在解码OK状态设置这些帧内MB。不能解码的非帧内MBs 31、33、35和36可以由背景图像或者插入图像来组成。所插入的图像是,例如,由周围图像的平均数值来组成。对这些非帧内MB来说,将解码OK标志和显示OK标志都设置为OFF并且也设置显示NG状态。于是,将所重现的P图像P1最后输出到图2所示的缓存器,并随后显示。
接着,在第二P图像P2,第一MB 41至第五MB 45都是非帧内MB,而第六MB 46是帧内MB。对第六MB 46来说,进行正常的解码,并设置解码OK标志。正如运动矢量所指示,用于第一MB 41的参考目标MB是第一MB 31,它也是在第一P图像P1的识别部分中,由于该MB 31处于显示NG状态,使用MB 31的解码处理就不能进行。因此,对于第二P图像P2的第一MB 41来说,将解码OK标志和显示OK标志都设置为OFF并且也设置显示NG状态。
正如对于第二MB 42那样,参考目标MB是第一P图像P1的第二MB 32,并由于该MB 32处于解码OK状态,所以就能进行使用MB 32的正常解码,以及设置解码OK状态。对于第三MB 43来说,同样。参考目标MB是第一P图像P1的第二MB 32,并且使用MB 32来进行解码,以及设置解码OK状态。
对于第四MB 44来说,该情况是不同的。参考目标MB是第一P图像P1的第三MB 33,它正处于显示NG状态。因此,就不能使用MB 33进行解码。于是,通过假定称为第一P图像P1的第三MB 33的运动矢量就是第一P图像P1的第四MB34,它正处于参考源MB 44的相同位置上,就可以改变参考目标MB。当参考目标MB进行类似变化时的运动矢量称之为替代矢量,并且在变化之后的参考目标MB称之为替代MB。第四MB 44可作为参考源,它可通过直接复制方式采用第一P图像P1的替代MB来填充。对重现的第四MB 44来说,解码OK标志可设置成OFF以及显示OK标志设置成ON,并且也设置解码NG/显示OK状态。
正如对第五MB 45那样,参考目标MB是第五MB 35,它正处于第一P图像P1的相同位置,并且由于MB 35处于显示NG状态,所以就不能进行替代MB的解码和复制,并且也设置显示NG状态。因此,在适当的时候,第五MB 45可以采用背景图像和插入图像来填充或采用背景图像和插入图像来嵌入。
对第三P图像P3来说,同样保持着真。第二MB 52的参考目标MB是第二P图像P2的第一MB 41,并由于MB 41正处于显示NG状态,处于第二P图像P2相同位置的第二MB 42可认为是替代矢量所使用的替代MB。在这种情况下,现在为MB 42的替代MB正处于解码OK状态,使得它能直接复制到第二MB 52,并将其设置在解码NG/显示OK状态。第四MB 54的参考目标MB是第四MB 44,它正处于第二P图像P2的相同位置,并由于MB44处于“解码NG/显示OK”状态,所以就直接将其复制到第三P图像P3的第四MB 54。随后将第四MB 54设置在“解码NG/显示OK”状态。
在时间T1,当接受到第一I图像I1时,最佳效果的重现处理直至该点中断并且从该点开始进行正常解码处理。I图像I1仅仅至包含帧内MB,它可以在不参考其它帧的条件下进行解码。之后接受到第四P图像P4能够完全参考I图像I1来解码。
值得注意的是,在视频流只有I图像和P图像组成的情况下,就只需要参考即时产生的帧,从而只根据单帧中的宏模块的数量来准备标志并随之可以按序列覆盖。
图4是解释最佳重现处理的规则的表格。当参考目标MB位于解码OK状态(由图4中的圆圈来表示)时,能够解码源MB以及设置解码OK状态(由图4中的圆圈来表示)。当参考目标MB不处于解码OK状态时,即,它正处于解码NG/显示OK状态(如在图4中的三角)或处于显示NG状态(图4中的X),和替代MB处于解码OK状态(图4中的圆圈)或处于解码NG/显示OK状态(图4中的三角),采用替代MB来替代参考源MB并且设置解码NG/显示OK状态(图4中的三角)。当参考目标MB不处于解码OK状态(图4中的三角/X)以及替代MB处于显示NG状态(图4中的三角),参考源MB不能被解码或者不能采用替代MB来替代,因此设置显示NG状态(图4中的X)。
在上述的讨论中,主要采用了两个标志,即,解码OK标志和显示OK标志,来表示重现的状态,从而得到解码和显示都能进行的情况和解码不能进行但可以通过替代MB的替代完成显示的情况之间的差异。然而,也可以只使用显示OK标志来完成最佳效果的重现处理,其中,显示OK标志用于指示是否能在没有得到上述两种情况之间的差异的条件下进行显示。无论是在根据标准解码之后还是在采用替代MB替代之后来完成显示,显示OK标志都设置成ON,并将该状态称之为显示OK状态。在根据标准进行解码或者采用替代MB进行替代都不能完成的情况下,将显示OK标志设置为OFF,并将该状态称之为显示NG状态。在显示NG状态中,显示可以采用背景图像或者插入图像的方法来填充或者嵌入。
图5是解释当只使用显示OK标志时最佳效果重现处理的规则的表格。当参考源MB处于显示OK状态(图5的圆圈指示)时,可通过使用参考目标MB来解码参考源MB进行显示。在这种情况下,参考源MB处于显示OK状态(图5中的圆圈)。当参考源MB处于显示NG状态(图5中的X)以及替代MB处于显示OK状态(图5中的圆圈)时,将替代MB复制到参考源MB。在这种情况下,参考源MB也处于显示OK状态(图5中的圆圈)。然而,当参考源MB处于显示NG状态(图5中的X)以及替代MB也处于显示NG状态(图5中的X)时,参考源MB就不能解码也不能通过替代MB的复制来替代,因而就设置成显示NG状态(图5中的X)。
基于上述讨论的结构,根据本实施例的解码图像处理过程将参照图6至图9的流程图来讨论,图6是显示当开始视频流接受时最佳图像重现和显示处理的整个流程的流程图。首先进行接受到的P图像的重现和显示处理(S10)。接着,如果接受到I图像(S12的Y),最佳效果的重现和显示处理就继续到底,可以正常的解码处理来代替。如果没有接受到I图像(S12的N),接着就进行所接受到的P图像的重现和显示处理(S14)。一旦完成了P图像的重现和显示处理,处理就返回至步骤S12,并随后重复步骤S12和S14。采用这样的方法,就可以在接受到I图像之前的时间中进行最佳效果的重现和显示处理。
图7是显示图6中步骤S10所表示的第一次接受P图像的重现和显示处理的详细过程的流程图。对第一P图像的帧内MB进行解码(S20)。将解码MB的解码OK标志和显示OK标志都设置为ON(S22)。接着,因为缺乏参考帧而不能对非帧内MB进行解码,非帧内MB就使用背景图像或插入图像来填充(S24)。非帧内MB的解码OK标志和显示OK标志都设置成OFF(S26)。随后,显示所重现的图像帧(S28)。
图8是显示图6中步骤S14所表示的第二和后续P图像的重现和显示处理的详细过程的流程图。采用类似于图7所示第一P图像的方法,以正常的方式来解码帧内MB(S30),并且将帧内MB的解码OK标志和显示OK标志都设置成ON(S32)。接着,重现非帧内MB(S34),以及,最后显示所重现的图像帧(S36)。
图9是显示图8中步骤S34所表示的非帧内MB重现处理的详细过程的流程图。先进行以下检验,以确认需要重现的非帧内MB的参考目标Mb是否在参考图像帧的解码OK标志的ON范围内(S40)。因为一个宏模块是由4个模块组成的,所以只要4个模块的解码OK标志都为ON,就可以判定其处于解码OK标志的ON范围内。如果即使只有参考目标MB的一个模块的解码OK标志为OFF,则就必须判定参考目标MB不在解码标志的ON范围内。
如果参考目标MB在解码OK标志的ON范围内(S40的Y),则使用参考目标MB来解码非帧内MB(S42)。所解码的非帧内MB的解码OK标志和显示Ok标志都设置成ON(S44)。
如果参考目标Mb不在解码OK标志的ON范围内(S40的N),则先进行检验,以确认替代MB的显示OK标志是否为ON,其中,替代MB是其位置相同于正在处理的图像帧中的参考目标MB位置的宏模块(S46)。当替代MB的显示ON标志为ON(S46的Y)时,替代MB的图像可以用于通过将它直接复制在参考源MB的替代(S48)。对于采用这类方法所重现的非帧内MB来说,解码OK标志设置成OFF,并且显示OK标志也设置成ON(S50)。
当替代MB的显示OK标志为OFF(S46的N)时,则采用背景图像或者插入图像来填充或嵌入参考源MB(S52)。对采用这种方法所重现的非帧内MB来说,将解码OK标志和显示OK标志都设置成OFF(S54)。
图10说明了在切换电视接收机300的广播频道时如何显示图像。在时间T0切换频道之前,接受到在频道切换之前的图像信号。在切换频道的时间T0时,开始对切换之后新频道的图像信号的接受。在该频道切换之前刚接受到的P图像200正在解码且使用频道切换之前所接受到的I图像和P图像进行显示。
在时间T0频道切换之后的瞬间,一般可以接受到新频道的P图像和B图像,在MPEG-2中大约需要2秒钟和在MPEG-4中大约需要4秒钟才能接受到第一P图像。在图10所示的例子中,在从频道切换时间T0到第一I图像的接受时间T1的时间周期中,接受到P图像202、204和206,并且在该时间周期中进行了上述所讨论的最佳效果的重现处理。在最佳效果重现处理的过程中,部分显示第一P图像202的重现像素模块,并且下一个P图像204的重现像素模块是采用P图像202的重现模块来解码和显示的,正如图10所示。此外,采用这种方法,下一个P图像206可以采用正在P图像206之前的P图像204来解码,以及可以部分显示。所显示的像素模块的数量随着时间而增加,并且在时间T1图像逐渐地移向I图像208的图像。在时间T1之后,将根据标准来进行正常的重现处理。于是,新频道的图像可以部分显示,即使在频道切换的瞬间,这就缩短了用户的等待时间以及避免了用户的烦恼。
图11说明了在电视接收机300开启电源时如何显示图像。在电源开启之前,屏幕210上不会显示任何内容,并且在电源开启的时间T0,开始电源开启之后所显示频道的图像信号的接受。以类似于参照图10所讨论的方法,在从电源开启时间T0至第一I图像的接受时间T1的时间周期中,接受P图像202、204和206,并且在该时间周期中进行了上述讨论的最佳效果的重现处理,以及部分显示第一P图像202的可重现像素模块,随后在时间T1图像逐渐地移向I图像208的图像。在时间T1之后,将进行根据标准的正常重现处理。于是,能够部分显示图像,即使在电源刚刚开启的瞬间,这就避免了由常规模式所引起的用户烦恼,在常规的模式中,在正常重现处理成为可能之前,屏幕上不显示任何内容。
根据本实施例,正如以上所讨论的,在MPEG流采用地面波数字TV广播时,特别是将接受到MPEG-4方法的视频流,在接受到作为解码参考的码流之前的时间间隔中,所接受到的帧可以最佳的效果来重现和显示。这就缩短了图像输出的等待时间并且能改善电源开启或频道切换的响应。
已经基于实施例讨论了本发明,这些实施例只是用于举例的目的。业内的技术人士应该理解的是,上述讨论的各个元件和处理的组合所存在的其它不同的改进以及这类改进都包含于在本发明的范围。
在本实施例中,已经讨论了没有B图像的情况。然而,即使存在B图像,也可以使用标志来完成最佳效果的重现。但是,对于解码B图像来说,需要爱在该帧之前或该帧之后的帧,于是就必须使用大容量的帧缓冲器18,该帧缓冲器可以存储参考的帧以及它们的标志。
在本实施例中,替代MB可直接复制,并可以在参考目标MB的地方使用替代MB来进行解码。然而,作为替代MB,使用了与正在处理帧中参考源MB相同位置的宏模块,并且还可以使用不限制于相同位置而是相邻位置的宏模块。然而,作为替代MB,也可以采用运动矢量来使用另一个参考目标MB,其中运动矢量是用于误差的隐含而准备的。另外,根据上述的讨论,在参考目标MB处于参考源MB的相同位置的情况下,即,运动矢量为零的情况,在参考目标MB处于显示NG状态时,不能完成解码。在这种情况下,也只能使用相邻宏模块作为替代MB或者将参考目标MB用于误差隐含来进行解码。于是,就可以有最佳效果重现的多种改进。
此外,根据上述的讨论,所进行的最佳效果重现处理是基于在接受开始后的瞬间不存在这I图像的假设。当由于一些接受的原因而不能获得I图像时,就会出现I图像不能用于参考的条件。在这种情况下,根据本发明的最佳效果的重现处理也可以作为误差处理来使用。
通过本实施例的实现,即使在用于解码所需要的参考帧不能用于参考的情况下,仍可以重现和显示图像。
尽管通过举例的实施例讨论了本发明,但是应该理解的是,业内的专业人士都可以在不脱离附加权利要求所定义的本发明范围而产生许多变化和替代。
权利要求
1.一种图像解码方法,其特征在于,包括在解码通过对图像信号进行至少一种帧内译码处理和帧间译码处理所译码的译码数据序列的处理中,在不可能对帧间译码参考其它帧的时间过程中,重现各帧中可重现像素模块的数据。
2.根据权利要求1所述图像解码方法,其特征在于,对已经进行了帧内译码处理的像素模块作为可重现的像素模块来解码。
3.根据权利要求1所述图像解码方法,其特征在于,通过使用已经重现的参考目标帧的像素模块,对已经进行了帧内译码处理的像素模块作为可重现的像素模块来解码。
4.根据权利要求2所述图像解码方法,其特征在于,通过使用已经重现的参考目标帧的像素模块,对已经进行了帧内译码处理的像素模块作为可重现的像素模块来解码。
5.根据权利要求3所述图像解码方法,其特征在于,当对已经进行了帧间译码处理的像素模块的解码处理中不能重现参考目标帧的像素模块时,使用参考目标帧的替代模块来进行解码处理。
6.根据权利要求4所述图像解码方法,其特征在于,当对已经进行了帧间译码处理的像素模块的解码处理中不能重现参考目标帧的像素模块时,使用参考目标帧的替代模块来进行解码处理。
7.一种解码方法,其特征在于,在切换进行至少一种帧内译码处理和帧间译码处理所译码图像信号的接受频道时,可以在没有接受用于帧间译码的参考帧的等待时间下,重现所接受帧内的可重现像素模块并随后显示。
8.一种解码方法,其特征在于,在接受进行至少一种帧内译码处理和帧间译码处理所译码图像信号的装置开启电源时,可以在没有接受用于帧间译码的参考帧的等待时间下,重现所接受帧内的可重现像素模块并随后显示。
9.一种解码方法,其特征在于,在切换译码图像信号的接受频道时,逐渐重现切换之后的新频道的图像并在可重现的限制内显示。
10.一种解码方法,其特征在于,在接受译码图像信号的装置电源开启时,逐渐重现电源开启之后所显示的图像并在可重现的限制内显示。
11.一种解码装置,其特征在于,包括解码器,它用于对进行至少一种帧内译码处理和帧间译码处理所译码的译码数据序列进行解码;以及,存储器单元,它用于暂时存储指示在模块单元中的解码帧是否能重现的标志,其中,在用于帧间译码的参考帧不能参考的情况下,所述解码器对已经进行了帧内译码处理的像素模块解码,以及,所述存储器单元将像素模块上的标志设置成表示已经重现处理的数值。
12.根据权利要求11所述图像解码装置,其特征在于,可以在没有接受用于帧间译码的参考帧的等待时间下,所述解码器解码接受帧内的可重现像素模块。
13.根据权利要求11所述图像解码装置,其特征在于,在图像解码装置电源开启的时,可以在没有接受用于帧间译码的参考帧的等待时间下,所述解码器解码接受帧内的可重现像素模块。
14.根据权利要求11所述图像解码装置,其特征在于,如果标志所指示的参考目标帧的像素模块是可重现的,则所述解码器使用参考目标帧的像素模块对已经进行了帧间译码处理的像素模块进行解码,以及,所述存储器单元将解码后的像素模块上的标志设置成表示已经重现处理的数值并且存储该数值。
15.根据权利要求11所述图像解码装置,其特征在于,如果标志所指示的参考目标帧的像素模块是不可重现的,则在对已经进行了帧间译码处理的像素模块进行解码的过程中,所述解码器采用与需要解码的像素模块相同位置的像素模块和采用需要解码像素模块的相同位置的像素模块。
16.根据权利要求14所述图像解码装置,其特征在于,如果标志所指示的参考目标帧的像素模块是不可重现的,则在对已经进行了帧间译码处理的像素模块进行解码的过程中,所述解码器采用与需要解码的像素模块相同位置的像素模块和采用需要解码像素模块的相同位置的像素模块。
17.根据权利要求11所述图像解码装置,其特征在于,如果标志所指示的参考目标帧的像素模块是不可重现的,则在对已经进行了帧间译码处理的像素模块进行解码的过程中,所述解码器在参考目标像素模块周围插入像素,从而取代解码之后的像素模块。
18.根据权利要求14所述图像解码装置,其特征在于,如果标志所指示的参考目标帧的像素模块是不可重现的,则在对已经进行了帧间译码处理的像素模块进行解码的过程中,所述解码器在参考目标像素模块周围插入像素,从而取代解码之后的像素模块。
19.一种电视接收机,其特征在于,包括接受模块,用于接受广播波;处理模块,用于处理所接受的信号;以及,重现模块,用于重现由所述处理模块已经处理的信号;其中,所述处理模块包括,解码器和存储单元,解码器用于对从接受信号中提取的译码图像数据序列进行解码,而存储单元用于暂时存储指示在模块单元中的解码帧是否可以重现的标志,以及所述解码器根据参考目标帧的像素模块的标志,在接受第一参考帧之前,重现各个帧内可重现像素模块的数据。
20.根据权利要求19所述电视接收机,其特征在于,在从切换广播波的接受频道的瞬间开始到第一参考帧到达的时间周期中,解码器对所接受到的帧内的可重现像素模块进行解码,并且在重现解码器所解码的像素模块的过程中,所述可重现模块显示每一帧。
21.根据权利要求19所述电视接收机,其特征在于,在从电视接收机的电源开启的瞬间开始到第一参考帧到达的时间周期中,解码器对所接受到的帧内的可重现像素模块进行解码,并且在重现解码器所解码的像素模块的过程中,所述可重现模块显示每一帧。
22.一种电视接收机,其特征在于,包括接受模块,用于接受广播波;处理模块,用于处理所接受的信号;以及,重现模块,用于重现由所述处理模块已经处理的信号;其中,所述处理模块包括解码器,解码器用于对从接受信号中提取的译码图像数据序列进行解码,并且在译码图像信号的接受频道切换时,解码器在可重现的限制范围内对切换之后新频道的图像进行解码;以及其中,所述重现模块根据解码器的解码逐渐地显示新频道的图像。
23.一种电视接收机,其特征在于,包括接受模块,用于接受广播波;处理模块,用于处理所接受的信号;以及,重现模块,用于重现由所述处理模块已经处理的信号;其中,所述处理模块包括解码器,解码器用于对从接受信号中提取的译码图像数据序列进行解码,并且在电视接收机电源开启时,解码器在可重现的限制范围内对电源开启后要显示的图像进行解码;以及其中,所述重现模块根据解码器的解码逐渐地显示电源开启后的图像。
全文摘要
可变长度解码(VLD)单元对MPG视频流进行可变长度解码。反量化(IQ)单元通过对VLD单元解码结果进行反量化处理来计算离散余弦变换(DCT)系数。逆离散余弦变换(IDCT)单元对IQ单元计算的DCT系数进行IDCT,从而将频域分量转换成原始信号。运动补偿预测(MC)单元在接受到用于解码参考帧之前的时间周期中,对所接受的帧进行最佳效果的重现处理,并在已经接受到参考帧之后返回到正常的解码处理。
文档编号H04N7/24GK1469640SQ03142390
公开日2004年1月21日 申请日期2003年6月6日 优先权日2002年6月7日
发明者冈田茂之, 山内英树, 树 申请人:三洋电机株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1