专利名称：组合数字视频信号的复用方法和相关联的函数数据结构的制作方法
技术领域：
本发明涉及一种函数数据结构和一种用于生成该函数数据结构的方法。该函数数据结构和该方法适于用于组合数字视频信号的复用方法，该复用方法同样是本发明的主题。因而，本发明也涉及一种用于实施根据本发明的方法和复用方法的编码软件以及带有所述编码软件和/或函数数据结构的数据载体和数据处理设备。
背景技术：
数字图像由如下数据集构成该数据集包括带有对空间位置和像素的色值的说明 (Angabe)的元组。在此，常常来自RGB色彩空间(红绿蓝色彩空间)的色值、尤其是来自值为每个颜色通道为0到255的RGB色彩空间的色值被用作色值。可替换地，经常使用YUV色彩空间，其中色值划分成亮度信号Y和两个色度信号U和V。为了提供具有如通过局域通信网络或者电信网络进行存储和数据传输的过程的实用处理，数字图像被压缩。为了进行数据处理、尤其是利用压缩算法进行数据处理，数字图像在现有技术中被分成用色值说明(Fartwertangabe)来编码的带有隐含的位置说明的像素的宏块。这些宏块接着用于对冗余进行分析或者用于限定数字图像的压缩单位。压缩将数据写入至少
-第一数据流部分中，该第一数据流部分包括数据集的被减少了冗余的部分，以及 -与第一数据流部分相关的第二数据流部分中，该第二数据流部分描述了冗余。第一和第二数据流部分在此可以优选地共同被编码在一个数据流中。第一和第二数据流部分也可以被划分成两个数据流中的每一个数据流中。在此，来自第一数据流部分的原始数据可以根据第二数据流部分在再引入 (Wiedereinfuehrung)冗余的情况下被重建。相对应地，可以将分成宏块的数字图像压缩成
-第一数据流部分，该第一数据流部分包括宏块、优选地所有宏块的被减少了至少空间冗余的部分，以及
-与第一数据流部分相关的第二数据流部分，该第二数据流部分描述了冗余。此外，在有损数据压缩的情况下，还去除在再现时对于人类感觉而言可被视为不重要的数据。这些数据在解压缩时不被重建。这种有损数据压缩例如对于MP3文件的生成而言是公知的。如MP3的高度压缩的文件格式基于无损和有损数据压缩的组合。针对压缩从图像数据中去除空间冗余的一种方式是帧内预测，如例如在US专利 7，386，048中所描述的那样，为了描述示例性的帧内预测和帧内预测器而涉及该US专利。在上面所述的将分成宏块的数字图像压缩成第一和第二数据流部分的情况下，帧内预测宏块可以通过如下方式用于压缩
-第一数据流部分被减少具有与来自至少一行像素的色值的相关性的色值说明，所述至少一行像素被布置在帧内预测宏块的一个边缘的外部和该边缘上，以及 -第二数据流部分包括用于描述所述相关性的帧内预测器。相关性尤其是像素的色值的一致性或者像素的色值与在帧内预测宏块的一个边缘的外部和该边缘上的那行像素的色值的相似性。帧内预测器在此产生如下指令针对在帧内预测宏块中的像素采用来自该行或这些行的像素的关联的像素的色值。如果被压缩的数字图像本身不包含这种像素行，即当帧内预测宏块具有与数字图像的边缘共同的边缘时，则标准压缩算法采用具有预给定色值(Fartwertvorgabe)的像素行。现有技术的图像压缩的该方面在图Ia和Ib中被阐明。图Ia示出了在数字图像的边缘4之内的三个相同大小的宏块第一宏块1在数字图像的左上角。第二宏块2将第三宏块3与第一宏块间隔开。与第三宏块3邻接地示出了被用于DC帧内预测的像素的L形区域5。在此，针对带有DC帧内预测的压缩，根据来自值为0到255的RGB色彩空间或者YUV色彩空间的平均灰度值1 而采用L形区域5的在边缘4的外部(即在图Ia中在第三宏块3之上)的带有预给定色值的那些像素。在图Ib中示出了相对应被压缩的宏块3在更大范围中的布置，其中该范围是数字图像的部分。在该图像中，在图1中所示的第一、第二和第三宏块1、2、3的该行之上成行地布置其他宏块6、7。在解压缩第三宏块3时，借助第二数据流部分的帧内预测器给该块中的像素分配与图Ib中所示的L形区域5叠加的宏块7的像素的色值。在此，出现如下分配 在所述分配中，代替在压缩时针对像素所描述的平均灰度值而分配来自叠加的宏块7的像素的另外的色值。解压缩由此有错误。如果来自有错误地被解压缩的宏块3的像素被用于在压缩和解压缩数字图像时的其他帧内预测，则可出现错误在大部分数字图像上的蔓延。如果来自有错误地被解压缩的宏块3的像素被用于在如视频的时间图像序列的情况下的帧内预测，则可出现错误在视频的长再现周期上的蔓延。在视频图像序列中，图像的如下宏块不仅有空间关系而且有时间关系所述宏块可以是16X 16个像素的亮度区域。在计算机系统中的软件应用中、如在视频会议应用中，检测多个时间序列的图像记录、即与时间值相关的图像，并且这些时间序列彼此同步。这样，在视频会议中由每个视频会议参与者或每组视频会议参与者记录视频，这些视频分别包括时间序列的图像记录并且此外还通常包括录音并且必要时包括其他记录。这些记录在时间上同步，以便能够实现为视频会议参与者或成组的视频会议参与者同时再现所有或多个视频会议参与者或成组的视频会议参与者的记录。视频会议参与者或成组的视频会议参与者的记录在视频会议应用的情况下通常通过数据网络被传输到中央服务器、如多点控制单元(MCU)，在那里被聚集并且通过数据网络被回送到视频会议参与者或成组的视频会议参与者。在此，记录数据必须被压缩，被发送到中央服务器，在那里被聚集，从那里以被压缩的方式被发送给参与者或者参与者组并且接着可以被解压缩和被解码。为了通过数据网络传输和发送数据，所传输的或所发送的数据量确定了硬件资源和网络资源的要求并且是在视频会议应用中的进行限制的因素。所记录的数据的压缩因而是必需的。如果不同的视频会议参与者的同步视频图像序列以被压缩的形式在多点控制单元中被汇编并且被发送给所有视频会议参与者，则出现上面结合图Ia和Ib所描述的问题。 接收到的视频图像序列的图像的被压缩的宏块3会与其他视频图像序列的同步图像的宏块7邻接地来布置，并且接着在接收之后和在解码或解压缩所汇编的视频图像序列之后在视频会议参与者那方引起错误并且由此引起差的图像质量。根据现有技术，因而通过多点控制单元接收到的被压缩的记录数据完全被解压缩，被重新汇编，随后被重新压缩并且最后被发送。相对应的方法要求硬件资源极大并且也可导致不可接受的传输延迟。对于视频数据的压缩公知了编码标准，如尤其是HJ64|MPEG-4 AVC0在该视频标准H. 264/AVC中，定义了针对Luma样本的如下帧内预测
-针对具有4X4个像素的块，8个定向的帧内预测模式加上一个DC预测模式， -针对具有8X8个像素的块，8个定向的帧内预测模式加上一个DC预测模式， -针对具有16X16个像素的块，3个定向的帧内预测模式加上一个DC预测模式。定向的帧内预测模式在此如在图Ia和Ib中所阐明的那样使用具有来自与帧内预测块3相邻的块7、2的关于相关的帧内预测块3在上部或在左边的行的像素的区域5。定向的帧内预测模式指示在帧内预测块中的在从被复制的像素出发的预给定的方向上的位置处的像素中的至少一些像素的复制过程。这些方向从在图Ia和Ib中所示的L形区域5 的边(Schenkel)出发向下、向右或在不同的对角线上朝向帧内预测块3延伸。针对DC预测模式，在图Ia和Ib中所示的区域5的像素的平均色值被用于预计帧内预测块中的所有像素的色值。特别是在DC预测模式下，上面结合图Ia和Ib所描绘的解压缩错误非常强烈地损害了图像质量。对应于用于视频数据的H. 264/AVC的较新的传输格式通过如下方式允许将不同的视频会议参与者的同步视频图像序列汇编为被压缩的宏块的组他们对针对视频会议参与者的视频图像序列的涉及在该视频图像序列的图像的边缘的外部的像素的宏块禁止帧内预测、即帧内预测模式的信息进行编码。然而，这些传输格式对于不处理这些信息的解码器并非可普遍使用。利用现有技术，不用对禁止确定的帧内预测的信息进行解码的解码器的视频会议参与者不能接收到许多视频会议。给众多视频会议参与者供给新的符合的解码器特别是在费用方面是该问题的无效率的解决方案。
发明内容
本发明的任务是克服现有技术的缺点。本发明的另一任务是能够以高效的方式、 尤其是在所需的硬件和/或软件资源方面以高效的方式发送视频数据的被压缩的记录的汇编。本发明的另一任务是以简单的方式在无需事先解压缩的情况下能够实现在中央服务器那方的汇编并且对于多个解码器类型是可解码的。为此目的，本发明涉及一种用于对至少两个数字图像的集进行编码的方法和函数数据结构，所述数字图像被分成用色值说明来编码的像素的宏块，其中也有帧内预测宏块， 其中图像中的每个都被压缩成至少-第一数据流部分，该第一数据流部分包括宏块的被减少了至少空间冗余的部分，以
及
-与第一数据流部分相关的描述冗余的第二数据流部分， 其中，针对帧内预测块中的每个，
-第一数据流部分被减少了具有与来自至少一行像素的色值的相关性的色值说明，所述至少一行像素被布置在帧内预测宏块的一个边缘的外部和该边缘上，并且针对所述至少一行像素，在像素在被压缩的图像的外部的情况下采用预给定色值， -以及第二数据流部分包括用于描述相关性的帧内预测器。色值在此可以是亮度值和/或色度值。宏块可以具有相同大小的方形面，所述方形面各具有相同数目的像素。第一数据流部分可以被减少了具有与至少一行像素的色值的相关性的色值说明， 所述至少一行像素被布置在帧内预测宏块的一个边缘的外部和该边缘上。在此，尤其是该行像素可以被布置在上边缘或左边缘上。本发明设置对如下面进行编码该面被分成第一面和第二面，所述第一面中的每个都被数字图像之一的宏块占据，所述第二面将第一面彼此间隔开并且被带有预给定色值的像素占据。这种根据本发明的编码避免了在帧内预测时的解压缩错误，因为预给定色值的色值分配(如在上面结合图Ia针对图像的边缘宏块所描述的那样)即使在对经过汇编的图像进行解码时也通过如下方式来保证第二面将第一面彼此间隔开并且具有带有预给定色值的像素。有利地，宏块具有相同大小的方形面，所述方形面各带有相同数目的像素，并且第二面将第一面中的每两个平行地以对应于方形宏块之一的距离间隔开。由此提供了如下数据所述数据特别良好地匹配逐块解压缩的标准解码。像素的在图Ia中阐述的用于帧内预测块3的预测的L形区域5在图Ia中在右边突出于帧内预测块3。在压缩数字图像时，因而可以针对突出于帧内预测块3的区域中的像素采用预给定色值，并且该预给定色值被用于帧内预测。为了避免在解码图像集时的解压缩错误，其中突出的区域伸入到该集的图像中，有利地在被分为第二面和第一面的面的边
缘上设置第二面。尤其是，如果本发明被应用于视频会议系统，则数字图像是不同的时间图像序列的在时间上同步的图像，尤其是视频图像记录的I帧的数据集。第一数据流部分接着有利地被减少了空间和时间冗余，其中尤其是使用了至少一种方法，所述至少一种方法被选自基于频率分析的压缩、尤其是基于借助离散余弦变换的频率分析的压缩和/或基于量化和/或熵编码的压缩。上面所描述的方法和数据结构可以在用于组合数字视频信号的复用方法中被使用并且可以作为编码软件来实施，所述编码软件有利地包括
-用于通过电信网络接收被压缩的图像的单元，以及 -用于通过电信网络发送通过所述编码软件来编码的数据的单元。根据本发明的软件或者数据结构被存储在数据存储介质上。带有这种数据存储介质的数据处理设备因而也是本发明的一个方面，其中该数据处理设备被设立有本发明的编码软件。
在下文中参照附图描述了本发明的方面和示例性实施方案，其中 图Ia和Ib示意性地阐明了在数字图像的不同范围中的宏块，以及
图2示意性地阐明了根据本发明的数据结构。
具体实施例方式图Ia和Ib阐明了用于在传统的多点控制单元中对两个数字图像的集进行编码的函数数据结构的构造。数字图像被分成用位置说明和色值说明来编码的像素的宏块1、2、 3、6、7，其中也有帧内预测宏块3，其中图像中的每个都被压缩。在边缘4处带有宏块1、2、 3的图像之一在多点控制单元处被接收并且与具有带有宏块6、7的数字图像的另一数字图像的宏块的数据集汇编，使得宏块7包含帧内预测宏块3的帧内预测器所涉及的像素。这种汇编在图2中所示的根据本发明的用于对四个数字图像的集进行编码的函数数据结构中被避免。根据本发明的函数数据结构在根据本发明的多点控制单元中利用对面的编码来构造，其中该面被分成第一面8和第二面9，所述第一面8中的每个第一面都被四个数字图像中的每个的宏块1、3占据，该第二面9将第一面8彼此间隔开。宏块1、3被压缩并且包括帧内预测宏块3，所述帧内预测宏块3被减少了具有与来自至少一行像素的色值的相关性的色值说明，所述至少一行像素被布置在帧内预测宏块的一个边缘的外部和该边缘上并且针对所述至少一行像素，在像素在被压缩的图像的外部的情况下采用预给定色值。第二面9的所有像素都具有预给定色值。根据本发明的多点控制单元接收到四个数字图像，这些数字图像分别被分成用位置说明和色值说明来编码的像素的宏块，其中也有帧内预测宏块，其中图像中的每个都根据H. 264/AVC标准被压缩。宏块1、3具有相同大小的方形面，所述方形面各具有相同数目的像素，并且第二面9将第一面8中的每两个第一面平行地以对应于方形宏块1、3之一的距离间隔开。在第一面8中，由此由四个视频参与者布置视频图像记录的帧的不同数据集的在时间上同步的图像。视频图像记录根据按照H. 264/AVC标准的压缩的组合被减少了空间和时间冗余。根据由四个视频参与者接收到的视频图像记录的在时间上同步的序列的分别由四个如在图2中所示的被压缩的图像构成的集的时间序列包括带有在图2中所阐明的数据结构的数据集。被压缩的图像的集的时间序列由多点控制单元发送。为了接收和发送，多点控制单元具有
-用于通过电信网络接收被压缩的图像的单元，以及 -用于通过电信网络发送通过编码软件来编码的数据的单元。
所发送的数据可以利用多个解码器高质量地被接收和被显示。
尽管结合视频会议应用参照了这些图，但本发明通常可应用于如下应用这些应用包括提供被压缩的图像数据的集，这些图像数据中的至少一部分通过帧内预测可以以被压缩的方式存在。这些应用尤其是对于因特网中的Web服务图像提供是令人感兴趣的。
附图标记列表 1、2、6、7 宏块
3帧内预测宏块 4边缘
5帧内预测的像素区域
8第一面 9第二面
权利要求
1.一种用于对至少两个数字图像的集进行编码的方法，所述数字图像被分成用色值说明来编码的像素的宏块，其中也有帧内预测宏块，其中图像中的每个都被压缩成至少-第一数据流部分，所述第一数据流部分包括宏块的被减少了至少空间冗余的部分，以及-与第一数据流部分相关的描述冗余的第二数据流部分，其中，针对帧内预测宏块中的每个，-第一数据流被减少了具有与来自至少一行像素的色值的相关性的色值说明，所述至少一行像素被布置在帧内预测宏块的一个边缘的外部和该边缘上，并且针对所述至少一行像素，在像素在被压缩的图像的外部的情况下采用预给定色值，-以及第二数据流包括用于描述相关性的帧内预测器，其特征在对如下的面进行编码所述面被分成第一面和第二面，所述第一面中的每个都被所述数字图像之一的宏块占据，所述第二面将所述第一面彼此间隔开并且被具有预给定色值的像素占据。
2.根据权利要求1所述的方法，其中，宏块具有相同大小的方形面，所述方形面各带有相同数目的像素。
3.根据权利要求2所述的方法，其特征在于，所述第二面将所述第一面中的每两个第一面平行地以对应于方形宏块之一的距离间隔开。
4.根据上述权利要求之一所述的方法，其特征在于，所述第二面被设置在分成第二面和第一面的面的一个边缘上。
5.根据上述权利要求之一所述的方法，其特征在于，第一数据流被减少了具有与来自至少一行像素的色值的相关性的色值说明，所述像素被布置在帧内预测宏块的一个边缘的外部和该边缘上。
6.根据权利要求5所述的方法，其中，所述行的像素被布置在上边缘上或者被布置在左边缘上。
7.根据上述权利要求之一所述的方法，其特征在于，所述数字图像是不同时间图像序列的在时间上同步的图像，尤其是视频图像记录的I帧的数据集。
8.根据权利要求7所述的方法，其中，第一数据流被减少了空间和时间冗余。
9.根据权利要求8所述的方法，其中，第一数据流通过至少一种方法来减少所述至少一种方法选自基于频率分析的压缩、尤其是基于借助离散余弦变换的频率分析的压缩和/ 或基于量化和/或熵编码的压缩。
10.一种用于组合数字视频信号的复用方法，其特征在于，实施根据权利要求7至9之一所述的方法。
11.一种编码软件，其特征在于带有按照根据上述权利要求之一所述的方法的编程步骤的单元。
12.根据权利要求11所述的编码软件，其包括-用于通过电信网络接收被压缩的图像的单元，以及-用于通过电信网络发送通过编码软件来编码的数据的单元。
13.一种用于对至少两个数字图像的集进行编码的函数数据结构，所述数字图像被分成用位置说明和色值说明来编码的像素的宏块，其中也有帧内预测宏块，其中图像中的每个都被压缩成至少-第一数据流部分，所述第一数据流部分包括宏块的被减少了至少空间冗余的部分，以及-与第一数据流部分相关的描述冗余的第二数据流部分， 其中，针对帧内预测宏块中的每个，-所述第一数据流部分被减少了具有与来自至少一行像素的色值的相关性的色值说明，所述至少一行像素被布置在帧内预测宏块的一个边缘的外部和该边缘上，并且针对所述至少一行像素，在像素在被压缩的图像的外部的情况下采用预给定色值， -以及第二数据流部分包括用于描述相关性的帧内预测器，其特征在于对如下的面进行编码所述面被分成第一面和第二面，所述第一面中的每个都被所述数字图像之一的宏块占据，所述第二面将所述第一面彼此间隔开并且被具有预给定色值的像素占据。
14.一种数据存储介质，其特征在于，该数据存储介质存储根据权利要求11或12所述的编码软件和/或带有根据权利要求13所述的函数数据结构的数据。
15.一种数据处理设备，其被设立有根据权利要求11或12所述的编码软件并且包括根据权利要求14所述的数据存储介质。
全文摘要
用于对数字图像集进行编码的函数数据结构，所述数字图像被分成利用色值说明来编码的像素的宏块，其中也有帧内预测宏块，其中所述图像中的每个都被压缩成至少一个第一数据流部分和一个第二数据流部分，所述第一数据流部分包括宏块的被减少了空间冗余的部分，所述第二数据流部分描述冗余，其中针对帧内预测宏块，第一数据流部分被减少了具有与来自像素行的色值的相关性的色值说明，所述像素行被布置在帧内预测宏块的边缘外部和该边缘上，并且针对所述像素行，在像素在被压缩的图像外部的情况下采用预给定色值，并且第二数据流包括用于描述相关性的帧内预测器，所述函数数据结构具有对如下面的编码所述面被分成第一面和第二面，所述第一面中的每个都被数字图像之一的宏块占据，所述第二面将所述第一面彼此间隔并且被具有预给定色值的像素占据。
文档编号H04N7/16GK102334336SQ201080009569
公开日2012年1月25日 申请日期2010年3月1日 优先权日2009年3月2日
发明者奥尔特尔 N., 阿蒙 P. 申请人:西门子企业通讯有限责任两合公司