数字编码电视影片原始数据还原方法和执行该方法的装置的制作方法

专利名称：数字编码电视影片原始数据还原方法和执行该方法的装置的制作方法
技术领域：
本发明涉及用于还原数字编码电视影片的原始数据的方法和执行该方法的装置。
本发明基于在编码期间已经给每个图像分配了一些图像类型中的一具体图像类型，并且编码次序至少部分不与显示次序对应的一种用于还原普通型数字编码电视影片的原始数据的方法。这种类型的装置近来已被公知，例如，由于市场上可购得的DVD(数字通用盘)重放装置。这些装置根据所谓的DVD标准(1．0版)设计。在此标准中，参考关于电视影片重放的所谓的MPEG标准MPEG1和MPEG2。在基准ISO／IEC 138181994“信息技术-运动图像及相关音频的普通编码”下MPEG2标准也已公知。在指定ISO／IEC 11172“信息技术-高达约1．5Mbit／s的数字存储媒介的运动图像及相关音频的编码”下，MPEG1标准也是公知的。在DVD情况下，由这两个标准中的一个确定视频编码类型。根据这些标准，电视影片的各个图像被转换成一个编码的数字数据流(比特流)。对于每一个图像，比特流中有大量的信息。这里无法详细地描述数字比特流的所有细节。在此情况下仅参考提到的标准，从这些标准能够获得必要的细节。
当今的DVD重放装置遇到的问题是，它们不能在每天的工作中总是无任何错误地工作，原因之一在于由于DVD本身存储密度急剧增加，但又不能在每一种情况下部进行无错误地读取。轻微划痕以及灰尘和污点能够非常容易地影响令人满意的信息读取。记录装置的特性是即使当划痕／污点较小，由于高存储密度，较大的区域可能受影响，并且不能准确地加以估计。这就时常造成较差的图像和声音质量，尽管有纠错措施。本发明将提出关于图像显示而不是音频信息解码的具体问题。
正如下面将更详细解释的，视频信息项被存储在DVD上所谓的扇区中。这样一个扇区包括2048字节的数字视频信息。由于在这样一个扇区中的数据被进行非常大程度的压缩并具有相当小的剩余度，通常的情况是，虽然只有一个扇区的少数几项数据不能被正确地读取，由于当部分信息已被丢失时数据不再被完全解码，整个扇区被作为视频信息忽略。因此，电视影片的重放期间，可能发生整个扇区被忽略的情况。MPEG标准MPEG1和MPEG2实际上提供了一种根据其重要性对视频数据的层级划分。存在对于恢复一个完整的图像序列的视频信息项是非常重要的数据；接着存在仅用于恢复一单个图像的信息的其它数据；还存在对于恢复一个图像中的特殊扇区的信息项绝对必须的其它数据。
本发明将更详细地讨论特别是应用于所谓的图像组的那些数据。因此数字数据流设有一个段，称为“图像组首标”GOPH，它也包括重要的系统时间参考数据。这些数据被提供给一个系统时钟，使DVD重放装置中的所有操作实际上同步。DVD重放装置中的系统时钟时常被此系统时间参考数据重调，从而保证视频解码操作和视频编码操作之间的同步操作。因此，以相同的方式，图像组具有一个特定GOP首标，单个图像也具有一个首标，称为“图像首标”。此首标包含尤其是一个所谓的时间基准码(temporal reference code)。此码包括一个10比特宽的编号，实际指示此图像在该图像组中的位置，它最终控制在该图像组中此图像何时被显示，也就是说它指示图像的显示次序。于是图像组的各个图像可以说被连续地编号。但是，由于在编码操作期间图像被以特定的方式一起被扰乱，编码次序不再对应于显示次序。这也是由于，根据MPEG1和MPEG2标准，形成三种不同的图像类型并且这些图像被相应地作不同的编码。对应于帧内编码(jntra-coded)图像的所谓的I图像是公知的。这些图像仅包含一个图像的信息项，并因此能够独立于其它图像被解码。对应于单向预测图像的所谓的P图像被作为另一图像类型提供。这些图像已经被基于在前的I或P图像预测，结果是它们的数据量减小。但是，它们因此取决于先前的I或P图像。对应于双向预测图像的B图像被作为第三种图像类型提供。这些图像取决于两个相邻的I或P图像。它们由相邻的I或P图像预测。平均值被形成，并计算与原始图像的差别。由于在差别的情况下只有一小部分视频信息项保留，B图像在数据量上明显减少。为了编码的目的，这种不同图像类型的规定也需要对显示次序的扰乱。特别是，当先前的连续I或P图像以编码的形式出现时，仅能够编码一个B图像。因此，在数据流中，按时间顺序连续的I或P图像将总是在按时间顺序实际上较早被显示的B图像之前首先出现。在使用伴随传输的时间基准码进行的解码期间，原始的显示次序能够被恢复。由于误差，随时出现问题一个GOP首标被忽略，并且另一组的不连续图像被解码，这些图像具有一个比已经被解码的图像小的时间基准码，并被置于存储器中。特别是，可能发生实际上应当被较早显示具有较高时间基准码的图像仅在实际上应当较晚显示具有较低时间基准码的图像之后被显示。当然，这导致图像的不正确显示，这对观看者来说是清晰可辨的。由于具有较高时间基准码的图像在一个帧存储器中连续保存，在新图像组中的显示次序能够连续被扰乱。这导致不希望的极为烦扰的图像“跳动”。下面参考附图将更详细地解释该影响。
本发明的目的是防止特别是在省略GOP首标后对显示次序的不希望的扰乱。
根据本发明，一个独立的时基被用于恢复DVD装置中的显示次序。在此情况下，为了确保独立时基，解码数据流的少数信息项被缓存一段特定时间。这些措施的特殊优越性在于不再发生对省略GOP首标后的显示次序的扰乱。
本发明给出了能够被估算的用于正确恢复显示次序的有利信息项。为恢复显示次序，对尤其是关于帧存储器中的图像存储单元或关于图像类型的信息项以及图像是否已经被显示进行估计本发明还给出了一个有利的措施，追溯地估计信息项，直到一个明确的显示次序能够被识别。特别是当在编码操作中，允许可变序列的图像类型，并且无须严格地符合将要编码的图像的一个规定的图像类型序列时，该措施能够被有利地利用。
本发明还给出了一种用于编码操作期间一个频繁选择的图像类型序列的有利措施。给定类型为IBBPBBPBBPBB…的一个图像序列，关于要显示的下一图像追溯地估计至少四个图像的信息项对于用于执行本发明的方法的装置来说，如果存储一个表则是非常有利的，用于为一些解码的图像恢复显示次序的信息项被存储在该表中，并且为了保证独立时基，该表通过一个控制单元被估算。这样一个表也能够通过软件以简单的方式实现，从而使线路费用低。
本发明给出的一些措施同样是有益的，这是由于，利用本发明提供的计数器的计数器读数，易于确定一个在前图像的图像类型。由于计数器读数只是简单数值的问题，这些读数能够容易地彼此比较，从而快速地获得图像类型。此信息与关于图像是否已经被释放用于显示的信息结合，若给定对多个在前图像的综合考虑，则可容易地得出一个关于哪个图像必须接着被释放用于显示的结论。根据本发明，有利的是，调整所述表的大小而使得具有最大数量的连续B图像的图像序列仍能够正确地在表中提取，包括毗连这些B图像的I或P图像。
本发明的优选实施例在附图中被示出，并在后面的描述中被更详细地解释。在附图中

图1示出了存储在DVD上的数据细节及其在DVD扇区之间的划分；图2示出了一个GOP首标的结构；图3示出了一个图像首标的结构；图4示出了一个抽样视频图像序列的解码操作的时间序列；图5示出了在出现错误情况下根据常规方法的一个视频图像序列处理的时间序列；图6示出了在出现错误情况下用根据本发明的方法处理视频图像序列的时间序列；图7示出了根据本发明的装置的粗略方框图，和图8示出了在图6所示的视频图像序列的所选择的瞬时，表中的记录项目。
通过DVD重放装置的一个视频图像解码单元的例子，更详细地描述本发明。在图1中，视频图像序列的一个首标由参考符号SH表示。I0表示第一视频图像的数据。后者是一个I图像。P15表示第16视频图像的数据。后者是一个P图像。因而，B13和B14表示第14和第15视频图像的视频数据。后者都是B图像。P16表示第17视频图像。因而后者是一个P图像。图1的下部示出了参考符号VPi到VPj表示的扇区。所有的扇区具有一个2048字节的相同长度。因此，第一视频图像10占用较大数量的扇区。视频图像P16占用所示的最后三个扇区VPj-2到VPj。图1首标GOPH在图2中被更详细示出。图像组的起始码由参考符号GSC表示。在数据流中这是一个单值码。时间码信息项(系统时间基准)用参考符号TC表示。如所述，此时间码信息项TC用于重调DVD重放装置中系统时钟。参考符号CG和BL表示MPEG2标准中给出的信息项closed_gap(闭合间隙)和broken_link(断线)，但是对于本发明，无须更深入了解其含义，因此在这里不再进行更详细的解释。
在图3所示的图像首标中，参考符号PSC表示图像起始码。此图像起始码也能够在比特流中被明确地识别。参考符号TR表示图像的一个时间基准码。如前所述，此时间基准码规定图像组中图像的位置。通过此信息，在普通DVD装置中确定图像的次序。由于包含一个10比特数据字，实际上可能出现在一个单独图像组中的总数为1024的图像能够被连续地编号。但是在DVD标准中，建议建立最多具有15或18个图像的图像组。参考符号PCT规定该图像的图像类型。图3中进一步的细节涉及参数vbv_delay，full_pel_forward_vector，forward_f_code，full_pel_backward_vector，backward_f_code，extra bit_picture以及extra_information picture这些参数规定在MPEG2标准中。这些信息项对于进一步理解本发明不具有任何较大的重要性，因此这里不再进一步解释。
解码和显示图像组中图像的时间序列在图4中被更详细地示出。图像序列，以最终要被显示的方式，在图4的顶行中被示出。此行由参考符号DIO表示。实际上在图4中I、B、P图像的一个随机序列已经被选择。虽然这样一个图像序列根据DVD标准是允许的，它不构成如为DVD重放装置所建议的最优序列。下面将对此进行更详细的讨论。图4中用参考符号DEO表示的行指示出位于此行以上的图像序列的解码次序。如前所述，这区别于显示次序，即，在显示次序中按时间顺序排列在一个P或I图像之前的B图像仅在P或I图像之后被解码。当此序列的一个图像被解码时，和当其被释放用于显示或被显示时，准确的时间序列能够在图4的其它两部分中被辨别。在此情况下，参考符号FM表示一个帧存储器的缩写。该例中提供了三个帧存储器A、B、C。解码操作后，I图像I0首先被写入帧存储器A。接着，I图像I1被解码并写入帧存储器B。在此情况下一个单独的图像被分成两个，用给一半图像加阴影线来表示。阴影区域代表相应图像的第一半帧，而非阴影区域代表相应图像的第二半帧。根据MPEG2标准，有两种不同的编码图像方式。在第一种情况中，以两个半帧一起作为单个图像(帧图像)来对图像编码。在第二种情况中，每一个半帧被分别编码(半帧图像)。图4示出了两种类型的图像编码。这种情形利用了特性在解码具有分别编码的半帧的I图像时，能够把第一半帧作为一个I图像编码，把第二半帧作为一个P图像编码。因此，在每一个I图像中，一个半帧被作为一个I图像，第二个半帧被作为一个P图像。在B和P图像的情况下，两个半帧都必须被同样地编码。
图4清楚地显示出，在第一I图像即I0的解码与其用于显示的释放之间存在三个半帧的时间延迟。第一I图像即I0在I图像I1的第二半帧的解码开始时被释放用于显示。为与这一时间偏移相符采用垂直同步脉冲。在所有情况下，显示解码的图像的瞬间能够在图4中点划线时间轴下的部分被看见。一个附加的特性是，在B图像的情况下，每种情况下解码瞬间和显示瞬间彼此仅偏移一个半帧。此外，B图像只进入帧存储器C。故如此来构成帧存储器C第一部分，也就是说其中被第一半帧占据的部分，在每种情况下已经被读取用于图像的显示，而第二半帧仍正在被写入存储器的第二部分。其它帧存储器A和B也以相同的方式设计。
图5示出了一个频繁使用的图像序列，该图像序列也被用于在DVD上记录视频数据。在此图像序列中，每种情况下I或P图像后跟随有两个B图像。一图像组由13个图像I0-P12形成。然后跟随有以相同方式构成的下一图像组。在用DIO所标示的行中示出了图像的显示次序。具有参考符号DEO的行再次示出了图像的解码次序，也就是说图像在比特流中出现的次序。参考符号FM所标示的行相应地规定位于下面的已解码图像被写入其中的帧存储器。由TR标示的行在每种情况下规定各图像的时间基准码。
图5此刻示出了特殊情况在瞬时tE出现一个读误差，也就是说，接连的图像B11和下一图像组的接连的GOP首标和图像I0都不能够再被正确地读取，因此二者都不能够被正确地解码。代替这一情形，检测电路接着首先发现的是，比特流中图像p3的正确图像首标，解码器从那一点开始解码。图5的另一部分详细示出了在基于时间基准码重新建立显示次序时在这种情况下发生了什么。显示图像B10后，解码的图像p3接着被显示。特别是，此图像p3具有一个比位于存储器A中的图像p12的时间基准码小的时间基准码3。因而，后面图像组中的图像p3实际上比前面图像组的先前解码的图像p12显示得早，图像p3实际应当被更迟显示。保持在解码图像p12之后的情况同样在第二图像组的其它图像解码期间传播。因此，所有的图像b1和b2以及p6、b4、b5、b9、b7、b8在图像P12之前首先被输出。在此情况下，它也可以被看作特殊干扰图像p6和p9都在图像b4和b5以及分别地b7和b8之前被显示，即使它们实际应当直到这些B图像之后才被显示。其结果是使图像次序的扰乱，在图像“跳动”的形式下这对观看者变得非常明显。这是由于实际上必须立即输出所有图像，因为图像P12永久保持在帧存储器A中，从而对于P和I图像只有一个帧存储器B可以利用。在时刻tG，一个新GOP首标被正确地计算，并且图像序列因而从这一瞬时开始稳定下来，这是由于现在新图像组的时间基准码被分别处理。图像p12可能作为前面图像组的最后一个图像被显示。还应当说明的是，不仅图像次序被扰乱，如已描述的，而且解码的图像p3到p12被错误地显示，因为毕竟它们实际上已经基于其它图像被预测，即，基于特别是第一I图像i0，但是这已经被忽略。而预测则基于在前图像组I0-P12进行。从而相应的图像内容在非常大的程度决定这些错误是否能够在图像中作非常大程度的识别。在图像P12和i0之间的场景变化时，图像的大部分区域无疑将被不正确地显示。但是，如果涉及图像中仅有少量运动的影片序列，很有可能对观看者来说这些误差甚至不明显。
图6所示的例子与图5相同，但此时采用了本发明的措施，由带有参考符号GOP、IP和B的行来表示。其它的行对应于图5的第一到第三行。参考符号GOP表示一个GOP误差。每当一个GOP首标已经被正确计算并因此在比特流中被寻找到的时候，该GOP误差递增。参考符号IP表示一个IP计数器。每当一个I或P图像已经在比特流中被识别的时候IP计数器递增。此计数器在已经正确寻找到一个GOP首标后被复位。参考符号B表示一个B计数器。此计数器每当已经在数据流中寻找到一个B图像后递增。当已经正确寻找到一个GOP首标后此计数器也被复位到0。当在时刻tE出现读错误后，在此情况下接着输出仍位于存储器中的P图像P12。其它的图像b1到b12也被以正确的次序显示。这是由于显示次序不是根据P图像首标中规定的时间基准码确定的；相反，一个基于GOP、IP和B计数器的计数器读数的独立时基被使用。下面更详细地解释其中每一个计数器读数被计算的方式。
至此，首先更详细地描述根据图7的方框图。该图示出了在一个MPEG2解码器中的功能单元和信号流。标号10表示用于各种首标如GOP首标、图像首标等的开始码的检测电路。标号11表示用于数据流的读数据的缓冲存储器。标号12表示一个，反演视频数据的可变长度编码的解码单元。标号13表示实现逆量化的处理级。标号14表示一个计算电路，在此电路中DCT变换被反转。换句话说，进行逆离散余弦变换。标号15表示一个电路，在此电路中进行各个图像的运动补偿。最后，以此方式解码的数据被写入存储单元16，存储单元16包括三个前述帧存储器A、B、和C。最后，标号17表示一个后处理级。表征编码信号并能够在比特流中可选择地传送的一系列参数在这里被处理。这些参数包括例如用于色度矩阵变换和PAL或NTSC彩色调制的信息项。最终的视频信号以YCBCR格式出现在级17的输出端。标号19表示一个控制单元，它控制解码器的多个部件。它包括已经提到过的一个GOP、IP和B计数器。
各部件的操作方法已通过多种公开向本领域的有关技术人员公开，因此这里无须再作任何更详细的解释。但是，控制单元19确定显示次序的方法，甚至在比特流中的GOP首标被忽略的情况下，也将结合图8被更详细地解释。
为此，一个表20被设置在控制单元19中。关于比特流的最后四个解码图像的信息项被连续地容纳在此表中。图8示出了在图6所示的瞬时t1、t2、t3、t4、t5和t6，表中的记录项目。表20实际上包括五个移位存储器，在每一个存储器中，记录的项目在解码一个图像的第一半帧后移位一个单元。在此瞬时，也需要决定在每种情况下接着将显示哪个图像。关于这一点再次参见图4。在瞬时t1的第一例中，每种情况下在带有参考符号DI的行中的记录项目表示四个连续图像中相应图像是否在表的最后更新瞬时已经被显示。由于在瞬时t1只有三个图像已经被解码，在所有情况下，仍然将零输入该表各行的第一位置。从三个剩余的解码图像一个也未被显示的事实，另外从第一和第二解码图像都是I或P图像的事实，一方面，这可以从计数器读数看出，另一方面，可从图像已经进入帧存储器A或B的事实看出，立即由此可见，到达的每三个图像将在这两个图像之间被显示，这是因为它是一个B图像。那么在此瞬时，来自帧存储器A的第一解码的图像必须被显示。这由表下的命令DISP A表示。
在瞬时t2的表中的记录项目表明，都被输入帧存储器C的两个B图像已经被显示，并且一个先前解码图像仍可在帧存储器A中得到，此外，另一个I或B图像已经被重新写入帧存储器C。由于已经输出B图像，由此可见必须接着输出位于存储器A中的图像。因此接着输出在瞬时t2仍保持在帧存储器A中的P图像P6。
在瞬时t3，在表20中产生下列配置最早的图像是一个B图像并已经被显示。进入的下一个图像必须是一个I或P图像，但它还没有被显示。最后随之而来的是还没有被显示的一个B图像，后跟还没有被显示的I或P图像。这一配置说明，接下来必须显示位于帧存储器A中的图像，这是由于，最终，这必须代表第二B图像的基础，但是，第二B图像已经被显示。因此在瞬时t3，仍位于存储器A中的P图像P12被释放用于显示。
在瞬时t4的表20中的配置是，存储器B包括一个还没有被显示的I或P图像，接下来输入已经被显示的B图像，后跟一个还没有被显示的I或P图像。由此可见，由于与瞬时t2相同的原因，帧存储器B中的图像将接着被显示。
在瞬时t5的表20中的配置表明，两个B图像已经被显示，一个I或P图像接着已经进入帧存储器A，随后是另一个B图像。这表明位于存储器C中的图像必须接着被输出，这是因为虽然位于存储器A中的图像作为存储器C中的这个B图像的基准，更早的基准必须位于存储器B中。
瞬时t6被作为最后一个实例。这里，其构造与瞬时t2的构造相同，在此情况下的结果是，同样由此得到，位于帧存储器A中的图像将被接着输出。这是瞬时t6的的P图像P12。基于解释过的例子，对于图6的序列的所有其它配置都能够由本领域的技术人员建立和计算。
还应当提到的是，对于简化的示范实施例，如果保证解码处理期间I和P图像在所有情况下都连续进入帧存储器A和B，并且B图像连续进入帧存储器C，计数器GOP、IP和B也可以被省去。那么从此事实能够直接得出一个I或P图像是否被包括或一个B图像是否被包括的结论。那么当然该表将被明显简化。对于GOP、IP和B计数器读数在表中的记录项目的另一种情况，也可以规定使一个解码图像的相应图像类型的一个对应码输入该表。最好在相应的计算机程序的帮助下实现该表和该计算方法。所遵循的规则已经被全面地解释，从而本领域的技术人员能够容易地实现此计算机程序。
在任意图像序列被允许并必须被计算的情况下，尽管如此，图像次序能够通过所述的方法容易地确定。如果产生一个不能够通过所述规则被明确地确定的配置，那么就必须相应地扩大该表，从而，甚至连来自先前的已解码图像的其它信息项也被包括。结果，即使任意图像序列也能够被计算，并且图像次序被恢复。
所述的方法和所述的装置不仅能够被实际应用于DVD重放装置，也能够应用于其中使用“MPEG-类似”解码器的所有其它装置，也就是说在该装置中，同样需要解码不同的图像类型并且解码次序不对应于编码次序。特别提及的是用于数字电视的地面或有线接收的卫星接受器或顶置盒。还有用于计算机的相应的插卡。
权利要求
1．用于还原数字编码电视影片的原始数据的方法，在编码期间已经给每个图像分配了一些图像类型(I，B，P)中的一具体图像类型且编码次序(DEO)至少部分不与显示次序(DIO)对应，其特征在于为了恢复显示次序，利用独立于相应图像的时间基准代码的时基，该时基是从解码器的内部信息项获得的，这些信息项在一些图像的前一解码期间已经存储在解码器中。
2．根据权利要求1所述的方法，其特征在于为恢复显示次序，对特别是关于帧存储器(A，B，C)中的图像存储单元或关于图像类型的信息项以及图像是否已经被显示进行估计。
3．根据权利要求1或2所述的方法，其特征在于追溯地估计信息项，直到一个明确的显示次序(DIO)能够被识别。
4．根据权利要求3所述的方法，其特征在于给定类型为IBBPBBPBBPBB…的一个图像序列，关于要显示的下一图像追溯地估计至少四个图像的信息项。
5．用于执行根据上述任一权利要求的方法的装置，具有解码装置(18)，一些帧存储器(A，B，C)，一个控制单元(19)，其特征在于提供一个表(20)，由控制单元(19)计算，其中为一些解码的图像存储用于恢复显示次序的信息项。
6．根据权利要求5所述的装置，特征在于一个GOP计数器(GOP)被提供，基于对图像组的开始(GOPH)的识别，GOP计数器递增。
7．根据权利要求5或6所述的装置，其特征在于提供有一个IP计数器(IP)，根据对I图像或P图像的识别，IP计数器递增，并根据对图像组的开始(GOPH)的识别，IP计数器被复位。
8．根据权利要求5到7中的一个权利要求所述的装置，其特征在于，一个B计数器(B)被提供，根据对B图像的识别，B计数器递增，并基于图像组的开始(GOPH)的识别，B计数器被复位。
9．根据权利要求5到8中的一个权利要求所述的装置，其特征在于在表(20)中设置用于经解码的图像的单元，关于存储解码图像的帧存储器(A、B、C)和是否已经为了显示而将图像释放的信息项能够被写入这些单元。
10．根据权利要求9所述的装置，其特征在于在表(20)中设置用于经解码的图像的单元，关于此图像解码期间GOP、IP和B计数器读数的信息项能够被写入这些单元。
11．根据权利要求9所述的装置，其特征在于这样来调整表(20)的大小，即使得具有最大可能数量的连续B图像的图像序列中的图像的信息项仍能够被正确地在表(20)中提取，包括毗连这些B图像的I或P图像。
全文摘要
一种还原数字编码电视影片原始数据的方法,其中编码期间已经给每个图像分配了一些图像类型(I,B,P)中的一具体图像类型且编码次序(DEO)至少部分不与显示次序(DIO)对应。为了恢复显示次序,该方法利用独立时基,从解码器内部信息项获得该时基,这些信息项在一些图像的前一解码期间已经存储在解码器中。该方法优点在于甚至在忽略图像组(GOPH)首标时,仍能实现正确显示次序,即使比特流中其它通常的时间基准代码发出不正确的显示次序。还提出用于执行该方法的装置。
文档编号G11B27/30GK1206300SQ9811500
公开日1999年1月27日 申请日期1998年6月19日 优先权日1997年6月28日
发明者德克·阿道夫, 拉尔夫·奥斯特曼 申请人:德国汤姆逊-布朗特公司