专利名称：图像序列的格式转换方法
技术领域：
本发明涉及采用编码的视频数据图像序列的格式转换的方法和装置。
背景技术：
大多数要视频显示的应用通过编码的视频数据来工作。在解码之后，这些数据经常是以不与所要求的显示格式兼容的格式或组合格式得到的。因此，在大多数情况中，在显示对应图像或进行图像合成之前，必须使用压缩的图像数据进行格式转换。这个格式转换应用到整个图像，并通常消耗时间和占据存储器空间，因为对图像的每个像素来说，它包括连续的相加和相乘。
例如，从解码二进制视频数据流到H 263标准的输出格式是4∶2∶0，YUV型。Java软件图形接口程序库为基于4∶4∶4，RGB格式的图像格式提供了API(代表应用程序接口)接口。因此，对于这样的数据流使用“嵌入在网络文件内的小程序(applet)”(通过互联网装载的Java应用程序)要求将4∶2∶0，YUV格式的图像转换成为4∶4∶4，RGB格式的图像。
随后，所用的图像将应用于任何类型的帧、双帧等，而不考虑扫描的类型。
表达的解码范围将涉及到有关编码数据和它们解码的解码器的接收的任何事情，表达的显示范围将涉及到使用解码数据用于它们的合成和显示的任何事情。转换处理包括从解码范围切换到显示范围。
解码处理通常使用预测的临时模式，在该模式中，从前面或后面图像预测图像。例如，这包括MPEG1、MPEG2、MPEG4、H261、H263标准。在这些标准中，P型图像(预测的)从前面的I型(内部)图像预测出来，或从前面的P型图像预测出来。B型的图像(双向)从前面的I或P型图像预测出来，以及从后面的I或P型图像预测出来。
在一个例子中，关于在一个图像中的图像组的编码，重构前面的图像并进行运动估算，以在这个重构图像中确定与将被编码的图像组的最好地相关的图像组。然后，采用对应这个估算的运动矢量对该重构图像进行运动补偿，以便提供预测的组。预测的组从当前图像中被减去，以提供称为剩余的组，该剩余的组被编码和发送。
解码处理包括通过重构前面图像来计算预测组，并把它们加到从当前图像发送的剩余组中。
在B或P型图像的情况中，该组从前面的参考图像中被预测，对于B型图像，也从后面的参考图像中预测。这些参考图像在解码器被重构，并从这些图像中计算出预测的组，运动矢量在数据流中发送。在数据流中发送的剩余组被解码，然后加到由有关运动矢量定义的预测组中，以便在图像中提供重构的图像组。
图1图示地表示了数据解码和转换处理。
在时间预测电路1接收有关参考图像的视频数据，以便提供预测图像给加法器3。在解码电路2接收有关当前图像的视频数据，以便提供解码图像给加法器3。对应重构图像的由加法器3输出的数据被发送到转换该图像的格式转换电路4，以便发送这些数据到显示器或图像合成电路。
在MPEG标准中，应用各种数据压缩操作的结构是宏块。像素被分组为图像组，例如，大小为16×16个像素，四个亮度组，构成宏块的对应的色度组。在编码期间，如果图像格式是4∶2∶0，YCrCb，则宏块由四个亮度组和两个色度组构成。在预测的临时模式中，每一个宏块有它自己的决定模式。如前面所述，对每一个宏程序块决定编码模式。它可能包括没有使用预测的内部类型的编码、使用后向、前向(如在标准中所知的一样)或双向运动矢量的预测类型的编码。P型图像的宏块可以在内部模式中编码，而后面的宏块可以使用采用参考图像的运动补偿在中间模式中编码。
不必须标准化的其它模式的压缩以与像素组有关的计算为基础，如在MPEG标准中描述的，这些像素组不是图像组。预测模式可以以按照同类标准把图像分段获得的区域为基础。
本发明适用于这些像素组，也称为GOP(像素组)。因此，这可能包括宏块、或图像组、或如连接区域的其它小的复杂结构。编码决定模式独立于每一GOP，该GOP被独立编码或使用前面和/或后面图像编码。
发明简述本发明的目的是克服上述的缺点。
本发明的主题是用于图像序列的格式转换的方法，其使用根据像素组的结构编码的视频数据，其特征在于对于将被转换的编码像素组，如果所用编码的模式是没有剩余的中间类型，则转换由与所述编码像素组有关的运动矢量链接的前面图像的转换像素组的复制进行。
如果与像素组有关的运动矢量是零，则转换由位于同一处的像素组的重新复制进行，如果运动矢量不是零，则通过前面转换的图像中的运动补偿进行转换。
本发明的另一主题也是用于图像序列的格式转换的方法，其使用根据像素组的结构编码的视频数据，其特征在于对于将被转换的编码像素组，如果编码数据的传输误差引起等效于没有剩余的中间类型的解码的误差掩码模式，则通过与所述编码像素组有关的运动矢量链接的前面图像的转换像素组的复制进行转换。
本发明的另一主题还是用于图像序列的格式转换的方法，其使用根据像素组的结构编码的视频数据，编码的数据包括允许可量测性的补充数据，就是说获得了不同分辨率的图像，其特征在于如果属于像素组和给定分辨率的补充数据具有零值，用于给定分辨率的转换图像的这个像素组从较低分辨率图像的转换像素组获得。
因此，格式转换不应用到整个图像，而只应用到剩余不是零的像素组。
当解码模式是对应运动补偿和附加剩余的临时预测模式时，如果这个剩余是零，运动补偿被应用在显示域而不是解码域。如果没有运动补偿，则进行转换像素组的重新复制。
本发明的主要优点是在临时预测的情况中，通过利用用于每一GOP的决定模式，最佳化了格式转换的计算时间。显示域内的GOP的运动补偿通常比这个GOP的格式化所用的时间少。当运动是零它仅包括简单的重新复制时更是如此。因此，简化了解码器并减少了成本。
本发明的其它特点和优点将通过非限制性例子和附图给出的描述将变得很清楚。
图1是数据解码和转换处理的示意图；图2是转换处理的流程图；图3示出宏块转换的各种色度格式。
图4示出宏块结构的可量测性。
发明的详细描述本发明的图像格式转换方法描述在图2中。
第一步骤5接收如数据流形式的编码的视频数据。它对这些数据进行解码。他对每一GOP存储属于中间或内部编码模式、剩余和运动矢量的信息。例如，标记表明剩余是否被编码，即非零，或者，如果它没有被编码，即它是零。
格式转换通过下列步骤完成步骤6对每一个后面的像素组进行所用编码模式的测试。
如果编码模式是中间类型，且如果GOP的剩余是零(没有剩余的中间类型)，那么，下一步骤是步骤7。
如果编码模式不是中间类型(内部编码)，或者，在编码模式是中间类型的情况下，如果剩余不是零，下面的步骤是步骤9，步骤9对于考虑的像素组执行常规格式转换。步骤7对像素组所用的编码模式进行新的测试。如果GOP的运动矢量是零矢量，下面的步骤是步骤8。如果运动矢量不是零矢量，下面的步骤是步骤10，步骤10使用这个矢量和在前面显示的图像，即，也在这个步骤发送的转换图像完成运动补偿。
步骤8对发送到这个步骤的前面显示的图像的像素组进行重新复制。因此，显示域的GOP由简单重新复制前面显示图像的对应GOP获得。
来自步骤9、10和8的输出对应将被显示的当前图像的像素组，这些数据被发送到步骤11，步骤11执行存储该当前图像的这些像素组。根据处理的当前图像，这个步骤提供前面存储的图像，如前所述，该图像被发送到步骤8和10。这个前面的图像是参考图像，从该参考图像对当前图像进行运动估算。
因此，在构成这个图像的所有像素组已经被处理完后，完整的当前图像在步骤9、10和8的输出端获得，以显示在屏幕上。
存储在步骤5中的图像按照所用的编码标准不同地获得。在MPEG2标准的情况中，在跳跃宏程序块模式(如在标准中知道的一样)和未编码模式中零遇到剩余宏。
“跳跃宏块”模式由没有被编码的数据项的宏块构成。所有DCT系数被认为等于零。通过利用它们的临时或空间环境，解码器形成涉及跳跃宏块的预测。跳跃宏块的处理是不同的，取决于它是否包括P型的图像或B型的图像。
在P型的图像情况中，运动矢量预测器被复位到零。发送的运动矢量具有零值。
因此，当前的宏块在相同位置(同一位置)与前面图像的宏块相同。
在B型图像的情况中，预测的方向(向前/向后/双向)与前面宏块的方向相同。运动矢量预测器没有被修改。
“未编码”模式的部分由包含报头的宏块构成，并且，没有数据项涉及DCT系数。通过在宏块报头，在解码器端通过宏块报头获得向前和/或向后的运动矢量。根据图像的类型，存在各种不同的结构- 对于P型图像，使用未编码运动补偿(MC)模式。但是，如果向后运动矢量是零，我们恢复跳跃宏块模式。
- 对于B型图像，各种编码模式是“未编码向后”、“未编码向前”、“未编码内插”(双向)。
图3表示从与宏块结构有关的色度格式对应的各种类型标准转换成为4∶4∶4 RGB标准。
在中间模式中，“跳跃宏块”的外部，即，所有形成宏块的组没有被编码。形成宏程序块的组可能被编码或不被编码。正是图形-代码结构提示或cbp(表示编码的组图形)代码指示剩余没有被编码，即具有零值的那些组。按照本发明的特征，把Y亮度和cr、cb色度组转换成为RGB组是作为cbp代码值的函数进行的。下面给出一个例子格式4∶2∶0如果cbp代码显示Y、Cr、Cb域的组b3、b4、b5没有被编码，那么，RGB域的一个或多个组b3、b10、b11可以是前面图像组的重新复制，不需要任何转换。
格式4∶2∶2如果cbp代码显示Y、Cr、Cb域的组b3、b6、b7没有被编码，那么，RGB域的组b3、b10、b11可以是前面图像组的重新复制，不需要任何转换。
格式4∶4∶4如果cbp代码显示Y、Cr、Cb域的组b3、b10、b11没有被编码，那么，RGB域的组b3、b10、b11可以是前面图像组的重新复制，不需要任何转换。
在GOP是图像组的情况中，cbp代码提示使其可以确定具有零剩余的图像组，对该图像组，不需要常规的转换处理该组；显示域中的图像组由简单重新复制这个显示域内的另一个组而获得。
特殊情况涉及到防止解码GOP的编码数据的传输中的误差。
当识别出传输误差时，解码器执行误差掩码算法。用于重构GOP的这些算法由复制或运动补偿与一个或多个前面图像有关的解码数据构成。丢失的GOP从GOP和前面编码的运动矢量重构。
一个例子是简单地重新复制前面图像的相同位置的宏块。本发明提出了非常简单地重新复制前面图像被转换的同一位置的宏块，取代了对用于代替丢失宏块的宏块应用格式转换。
因此，对于丢失的GOP，不需要格式转换。当解码器检测到误差时，实施本发明的方法。它应用与解码域相同的误差掩码操作。但是，GOP的重构在显示域内执行，即，从转换的组开始而不是从解码的组开始。
例如，由解码器执行的某些算法对解码的数据进行简单的操作，以便改善图像质量或增加标识。因此，对于声称太暗的图像，处理算法可以决定把连续的分量(偏移)加到DCT系数，以便人工地增加亮度。
代替对解码数据执行增加偏移值而获得新宏块，如果我们使用宏块的例子，随后在显示域将其转换，在未编码宏块方面，即这些宏块具有零剩余，本发明建议该操作直接应用到转换的宏块。它是对应具有零剩余的宏块的转换的宏块，而不是解码的宏块。转换的抵消被加到具有零剩余的宏程序块，这个偏移在解码域和显示域是不同的，以便获得新转换的宏块。
标示的叠加包括把信号加入几个解码的宏块操作对于所有图像是相同的。建议的解决方案包括把这个信号或准确的转换信号加到转换的宏块，即加到显示域。
另一个应用涉及到可量测性。
某些如MPEG2或MPEG4标准的编码在图像分辨率的级别上提供了可量测性。首先编码基层。可以通过增加源于改善的后面层的剩余改善基层，后面层具有与基层的GOP相同的尺寸。与在临时预测情况中建议的格式转换具有相同原理的格式转换可以应用在此。
图4表示基层12、1级层13、2级层14。
解码器首先解码基层，然后，尽可能解码较高分辨率的层。这些不同的层对应被加到基层的剩余，以改善解码图像中的精度。在宏块结构的例子中，对于给定的层，如果宏块的剩余是零，则处理包括复制前面层的转换的宏块。因此，不需要执行格式转换，以获得属于这个给定的层的宏程序块。
对于较高分辨率层的GOP，这个可量测性可被视为没有剩余、零运动矢量的中间编码模式。中间编码是在较高分辨率层和基层之间采取的。
在此所述的转换格式没有限制，本发明可以应用到任何类型的格式转换。
它也适用于“在内部的中间”编码模式，该模式包括对作为相同图像的前面GOP的函数而不是作为前面图像的GOP的函数的图像的GOP编码。如果剩余是零，则“在内部的中间”编码的GOP由简单重新复制早已经在相同图像转换的GOP转换。
当编码产生大量零剩余组时，本发明更有效的，这属于不要求高质量的重构的应用的情况，特别是在比特率较低的互联网上的视频应用程序，其比特率是很低的。它对于具有较少运动的图像也是有效的，例如，视频电话应用。
权利要求
1.一种图像序列的格式转换方法，其根据像素组的结构使用编码的视频数据，其特征在于对于将被转换的编码像素组，如果所用编码的模式是没有剩余(6)的中间类型，则通过与所述编码像素组有关的运动矢量链接的前面图像(11)转换的像素组的复制(8、10)进行转换。
2.按权利要求1所述的方法，其特征在于如果与像素组有关的运动矢量是零(7)，则转换由位于同一处的像素组(11)的重新复制(8)进行，如果运动矢量不是零(7)，则转换由前面转换的图像(11)中的运动补偿(10)进行。
3.按权利要求1所述的方法，其特征在于按照MPEG标准对数据进行编码，其中，像素组是图像组，编码模式从定义宏块中的编码组分配的cbp(编码组图形)码确定。
4.按权利要求1所述的方法，其特征在于按照MPEG标准对数据进行编码，其中，像素组是宏块，所述的编码模式从“跳跃宏程序块”或“未编码”模式确定。
5.按权利要求1所述的方法，使用可应用在解码的像素组级上的简单数学运算，用修改的显示补充格式转换，其特征是适合显示域的运算被应用到复制的转换像素组。
6.按权利要求5所述的方法，其特征在于简单的运算是加入偏移。
7.一种图像序列的格式转换方法，其根据像素组的结构使用编码的视频数据，其特征在于对于将被转换的编码像素组，如果编码数据的传输误差引起等效于没有剩余的中间类型的解码的误差掩码模式，则通过与所述编码像素组有关的运动矢量链接的前面图像转换的像素组的复制进行转换。
8.一种图像序列的格式转换方法，其根据像素组的结构使用编码的视频数据，编码的数据包括允许可量测性的补充数据，就是说获得了不同分辨率的图像(12、13、14)，其特征在于如果属于像素组和给定分辨率(13、14)的补充数据具有零值，用于给定分辨率(13、14)的转换图像的这个像素组从较低分辨率(12)图像的转换像素组获得。
全文摘要
一种图像序列的格式转换方法,其特征在于对于将被转换的编码像素组,如果所用编码的模式是没有剩余(6)的中间类型,则通过与所述编码像素组有关的运动矢量链接的前面图像(11)转换的像素组的复制(8、10)进行转换。应用涉及到图像的显示和合成。
文档编号H04N7/26GK1338705SQ0112386
公开日2002年3月6日 申请日期2001年8月7日 优先权日2000年8月11日
发明者爱德华·弗朗索瓦, 格温埃尔·凯尔维拉, 多米尼克·托罗 申请人:汤姆森许可贸易公司