专利名称：数字化图像的编码方法和装置,数字化图像的解码方法和装置的制作方法
技术领域：
本发明涉及到数字化图像的编码装置和方法和数字化图像的解码装置和方法。
数字化图像编码和解码的这种装置和方法符合图像编码标准H.261[1]、H.263[2]或者MPEG2[3]之一是建立在以块为基础的图像编码原理基础上的。如从[3]中已知，为了以块为基础的图像编码使用以块为基础的离散余弦变换(DCT)方法。
符合图像编码标准MPEG4的图像编码的另外附件是所谓的以对象为基础的图像编码[3]。对应于画面上出现的对象在以对象为基础的图像编码中将图像分成为图像块或者图像区域和将这个对象进行分离编码。
从附
图1中得知用于图像编码和图像解码的普通装置的部件。
在附图1上表示了照相机101，用照相机可以拍摄图像。照相机101例如可以是任意的模拟照相机101，拍摄画面上的图像和将图像或者在照相机101中数字化和将数字化的图像传输给与照相机101耦合的第一个计算机102或者将图像用模拟形式传输给第一个计算机102。在第一个计算机102中或者将数字化的图像进行处理或者将模拟图像变换为数字化图像和将数字化图像进行处理。
照相机101也可以是数字照相机101，用其直接拍摄数字化的图像和输入给第一个计算机102进行继续处理。
第一个计算机102也可以构成为独立的装置，用其进行下面叙述的处理步骤，例如作为安装在计算机上的独立计算机卡。
关于第一个计算机102一般来说理解为一个单元，这个单元可以按照下面叙述的方法进行图像信号处理，例如移动的图像电话机，在其中也可以进行图像处理。
第一个计算机102有一个处理器104，用其进行下面叙述的图像编码和图像解码的处理步骤。处理器104是经过总线105与存储图像信息的存储器106耦合的。
一般来说下面叙述的方法不仅在软件而且在硬件或者也部分地在软件和部分地在硬件上是可以实现的。
在第一个计算机101上成功的图像编码之后和将被编码的图像信息经过传输手段107传输给第二个计算机108之后在第二个计算机108上进行图像解码。
第二个计算机108可以与第一个计算机101有同样的结构。因此第二个计算机108也有一个处理器109，处理器用总线111与存储器110耦合。
在附图2上表示了用于图像编码或者图像解码可能的装置的原理图形式。被表示的装置可以使用在以块为基础的范围内和部分地，如下面详细叙述的使用在以对象为基础的范围内。
在以块为基础的图像编码中将数字化图像201分成一般来说正方形大小为8×8图像点202或者16×16图像点202的图像块220和输入给图像编码装置203。
一般来说编码信息，例如亮度信息(流明值)或者颜色信息(色值)明确地属于一个图像点202。
在以块为基础的图像编码中将各种图形编码模式进行区别。
在所谓的内部图像编码中各自将数字化图像201用属于数字化图像201的图像点202的编码信息进行编码和传输(I-图像)。
在所谓的交互图像编码中各自只将两个在时间上连续的数字化图像201的差别图像信息进行编码和传输(P-图像，B-图像)。
如果在时间上连续的数字化图像201上的图像对象的运动很小时，差别信息非常小。如果运动大，则产生很多难以编码的差别信息。由于这个原因，如从[3]中已知测量“图像到图像”-运动(运动评估)和在求出差别信息前进行补偿(运动补偿)。如从[3]中已知，对于运动评估和运动补偿有各种方法。对于以块为基础的图像编码常常使用所谓的“块匹配方法”。这是建立在，将准备编码的图像块与同样大小参考图像的参考图像块进行比较。作为准备编码的块和各自一个参考图像块之间的一致性的质量判据一般来说是使用各自属于每个图像点的编码信息绝对差别之和。用这种方法求出图像块的运动信息，例如运动矢量，将这个与差别信息进行传输。
为了在内部图像编码和交互图像编码之间进行转换安排了两个开关单元204。为了进行交互图像编码安排了减法单元205，其中在时间上连续的两个数字化图像201之间形成图像信息之差。图像编码是由图像编码控制单元206控制的。将准备编码的图像块220或者差别图像块各自输入给变换编码单元207。变换编码单元207将变换编码，例如离散的余弦变换(DCT)应用在属于图像点202的编码信息上。然而一般来说为了图像编码可以运用任何一个任意的变换编码，例如离散的正弦变换或者还有离散的傅立叶变换。
通过变换编码形成谱系数。将谱系数在量化单元208中进行量化和输入给图像编码乘法器221例如用于信道编码和/或用于熵编码。在交互的改造回路上将量化的谱系数在逆变的量化单元209上进行逆变量化和在逆变变换编码单元210上进行逆变的变换编码。
此外在交互图像编码情况时在考虑运动矢量情况下在加法单元211上将两个在时间上连续的数字化图像加在时间上处于前面的各个图像的图像信息上。用这种方法将改造的图像存储在存储器212中。为了比较简单表示起见在存储器212中象征性地表示了用于运动补偿的单元213。
此外安排了与存储器212以及减法单元295连接的环线滤波器(环线滤波器)214。
将附加在被传输的图像信息中的模式注解输入给图像编码乘法器221，用这个各自说明是否进行内部图像编码或者交互图像编码。
此外将谱系数的量化注解输入给图像编码乘法器221。
运动矢量各自属于一个图像块220和/或例如有四个图像块220的一个宏图像块223和输入给图像编码乘法器221。
此外安排了用于激活或者解激活环线滤波器214的信息说明。当图像信息传输之后经过传输手段218例如可以在计算机的解码装置219中将被传输的信息解码。此外在解码装置219中安排了图像解码单元225，图像解码单元例如有附图1上表示的建立改造环线的装置。
在以对象为基础的图像编码中将如附图3表示的图像304的图像对象301首先分解成固定大小例如8×8图像点303的图像块302，其中属于图像对象301的图像点303被称为对象图像点309。至少包括一个对象图像点309的图像块302被称为对象图像块310。分块之后至少对象图像块310的一部分完全位于图像对象301内部，这个被图像对象301的对象边305包围着。至少包括对象边305的一部分图像对象块310在下面也被称为边缘图像块306。
分块之后完全位于图像对象301内部的对象图像块310可以按照上述以块为基础的变换编码用以块为基础的离散余弦变换(DCT)进行编码。然而边缘图像块306只部分地包括图像信息和必须用一种专门的方法编码。
按照[4]将边缘图像块306内部的图像信息通过适当的外插补方法补充到完整的边缘图像块306的面积上。这种处理方法被称为“填补”。然后将被补充的面积用二维的离散余弦变换(DCT)进行编码。
如从[5]中已知边缘图像块编码的其他方法是形状匹配变换编码。
在按照[5]的形状匹配变换编码中将图像对象301的边缘图像块306中不是对象图像点309的那些图像点303遮隐。将正交化的形状匹配变换编码按照[5]使用在其余的对象图像点309上。
按照下面公式形成准备变换的对象图像点309的谱系数Cj。 其中-N表示准备变换的图像矢量的大小，在其中包括变换的图像点；-[DCT-N(p，k)]表示大小为N×N的变换矩阵；-p，k表示用p，k∈
的注解以对象为基础的图像编码的处理方法造成，准备编码的对象301的对象边相对于在两个时间连续的图像304和320上的各个从属的图像302或者320的相对位置只是很轻微移动时对象图像块310和321相对于各自从属的图像304或者320的相对位置也变化。这造成当运动评估和运动补偿时不再可能从发生在时间前面的图像320中找到准备编码的对象图像块310和321，因为对象图像块310在发生在时间前面的图像320中位于图像边311上。
这种效应导致了对象图像块321必须用剩余误差图像编码进行处理，以便补偿图像信息中如在图像边311上出现的跳跃位置。这导致了为了传输图像要求提高数据率。
因此问题以本发明为基础，规定一种图像编码方法和图像解码方法和图像编码装置和图像解码装置，用这些达到的图像编码使必要的剩余误差图像编码和准备传输的数据率方面得到改进。
此问题是按照独立的权利要求特征的方法和按照独立的特征的装置解决的。
在数字化图像编码方法中，为此有发生在时间前面的具有图像点的图像，图像点至少具有从属于对象图像点的一个图像对象，其中对象图像点位于对象中，将图像至少部分地分成图像块和在图像上求出图像对象。此外求出对象图像块，此时对象图像块是至少有一个对象图像点的图像块。这样求出对象图像块，至少图像的对象图像块的边缘相对于图像的相对位置与发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的。使用对象图像块进行编码。
在数字化图像解码方法中，为此有发生在时间前面的具有图像点的图像，图像点至少具有从属于对象图像点的一个图像对象，其中对象图像点位于对象中，将图像用下面的方法编码。
首先将图像至少部分地分成图像块和在图像块中求出图像对象。此外求出对象图像块，此时对象图像块是至少有一个对象图像点的图像块。这样求出对象图像块，至少图像的对象图像块的边缘相对于图像的相对位置与发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的。使用对象图像块进行编码。
此外使用逆变的编码方法进行解码。
在数字化图像编码装置中，为此有发生在时间前面的具有图像点图像，图像点至少有从属于对象图像点的一个图像对象，其中对象图像点位于对象中，安排了一个处理器，将处理器装备成可以执行以下步骤将图像至少部分地分成图像块和在图像上求出图像对象。此外求出对象图像块，此时对象图像块是至少有一个对象图像点的图像块。这样求出对象图像块，至少图像的对象图像块的边缘相对于图像的相对位置与发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的。使用对象图像块进行编码。
在数字化图像解码装置中，为此有发生在时间前面的具有图像点的图像，图像点至少有从属于对象图像点的一个图像对象，其中对象图像点位于对象中，将图像用下面的方法编码。
将图像至少部分地分成图像块和在图像上求出图像对象。此外求出对象图像块，此时对象图像块是至少有一个对象图像点的图像块。这样求出对象图像块，至少图像的对象图像块的边缘相对于图像的相对位置与发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的。使用对象图像块进行编码。
此外数字化图像解码装置有一个处理器，将处理器装备成可以使用逆变的编码方法进行解码。
本发明的特殊优点在于，通过上述处理步骤在以块为基础的和/或以对象为基础的图像编码的范围内对于在块边缘出现的跳跃位置上的图像信息达到降低剩余误差图像编码的目的。因此降低了描述图像所要求的数据量。
当数据率不变时可以传输更多的编码信息。因此提高了被传输图像的图像质量。当被传输图像的图像质量不变时减少数据量导致了减少数据率和因此导致了改进编码效率。从从属权利要求中得出本发明优异的的扩展结构。
在一个扩展结构中对于编码使用一种混合的变换编码和/或对于解码使用逆变的变换编码。
对于使用变换编码或者逆变的变换编码的优异方法是离散余弦变换(DCT)或者逆变的离散余弦变换(IDCT)。
在附图上表示了本发明的实施例和在下面详细进行叙述。
附图表示附图1用于图像编码或者图像解码的装置具有一个照相机，两个计算机和一个传输手段附图2用于以块为基础的图像编码和图像解码的装置的简图附图3象征性地表示各自具有图像对象，具有图像点，具有对象图像点，具有图像块，具有对象图像块和具有边缘图像块的两个时间连续的图像附图4象征性地表示具有“固定分块”为对象图像块和图像块的两个时间连续的图像在附图1上表示了用于图像编码和图像解码的装置。
在附图1上表示了照相机101，用照相机可以拍摄图像。照相机101是模拟照相机101，拍摄画面上的图像，和将图像用模拟形式传输给第一个计算机102。在第一个计算机102中将模拟图像变换为数字化图像103和将数字化图像103进行处理。
将第一个计算机102构成为单独计算机卡形式的独立的装置，用计算机卡进行下面叙述的处理步骤。
第一个计算机102有一个处理器104，用其进行下叙图像编码处理步骤。处理器104是经过总线105与存储图像信息的存储器106耦合的。
下面叙述的图像编码方法是用软件实现的。将软件存储在存储器106中和由处理器104执行。
在第一个计算机101上成功的图像编码之后和将被编码的图像信息经过传输手段107传输给第二个计算机108之后，在第二个计算机108上进行图像解码。
第二个计算机108与第一个计算机101有同样的结构。第二个计算机108也有一个处理器109，处理器用总线n1与存储器110耦合。
下面叙述的图像解码方法是用软件实现的。将软件存储在存储器106中和由处理器109执行。
如在[5]中已知的，将移动评估方法和运动补偿方法不仅使用在图像编码的范围内而且使用在图像解码的范围内。
在以对象为基础的图像编码范围内的数字化图像，图像是时间图像序列的图像，一般来说对应于在画面上出现的图像对象以及图像对象的分类编码将数字化图像进行细分(分块)。
对于图像序列时间上的第一个图像进行这样的分块方式。按照内部的图像编码模式对时间上的第一个图像的图像进行编码。
首先将图像304的每个图像对象301分解为固定大小，例如8×8图像点303的图像块302，其中属于图像对象301的图像点303被称为对象图像点309。至少包括一个对象图像点309的图像块302被称为对象图像块310。分块之后对象图像块310的一部分完全位于图像对象301内，这个被图像对象301的对象边305包围着。至少包括对象边305一部分的图像对象块310在下面也被称为边缘图像块306。
分块之后完全位于图像对象301内的对象图像块310可以按照上述以块为基础的变换编码用以块为基础的离散余弦变换(DCT)进行编码。
然而边缘图像块306只部分地包括图像信息和必须用一种特殊的方法进行编码。
如在[5]中已知的，边缘图像块的编码方法是形状匹配的变换编码。
在按照[5]的形状匹配的变换编码中将图像对象301的边缘图像块306中不是对象图像点309的那些图像点303遮隐。将形状匹配的变换编码，如在[5]中已知的，使用在其余的对象图像点309上。
对于对象图像点309的编码信息按照下面的公式形成准备变换的对象图像点xj309的谱系数cj。cj=2*2N*[DCT-N(p,k)]*xj----(2)]]>其中-N表示准备变换的图像矢量的大小，在其中包括变换的图像点；-[DCT-N(p，k)]表示大小为N×N的变换矩阵；-p，k表示用p，k∈
的注解。
使用形状匹配的离散余弦变换(DCT)作为形状匹配的变换编码。
对于在第一个图像后面在时间上跟随着的图像按照交互图像编码模式进行图像编码。
这些图像的分块各自是这样进行的，在附图4上示范性地分为在时间上连续的两个图像401和402，发生在时间前面的图像401的各自一个对象图像块403相对于发生在时间前面的图像401的相对位置与现实准备传输的图像402的相应的对象图像块404相对于现实准备传输的图像402的相对位置是一致的。因此在时间上连续的两个图像上得到至少部分的固定分块，其中现实准备传输的图像402的对象图像块404相对于所属图像402的相对位置与发生在时间前面的图像401的对象图像块403相对于所属的图像401的相对位置至少部分是一致的。
考虑到现实准备传输的图像402的图像对象405的大小确定现实准备传输的图像402中的其他图像块406和对象图像块404或者在现实图像402中将被分开的图像块406和对象图像块404这样进行匹配，则不仅图像对象405整个地被对象图像块404覆盖而且现实准备传输的图像402的所有被分开的图像块406和对象图像块404被矩形面积407描述。
将现实准备传输的图像402分块之后对象图像块404的一部分完全位于图像对象405之内，图像对象是被图像对象405的对象边408(对象边缘)包围着。至少包括一部分对象边408的对象图像块404在下面也被称为边缘图像块409。
分块之后完全位于图像对象405内的对象图像块404按照上述以块为基础的变换编码用以块为基础的离散余弦变换(DCT)进行编码。
然而边缘图像块409只部分地用图像信息填满和必须用一种特殊的方法进行编码。
如在[5]中已知边缘图像块409的编码方法是形状匹配的变换编码。
在按照[5]的形状匹配的变换编码中将图像对象405的边缘图像块409中不是对象图像点411的那些图像点410遮隐。将形状匹配的变换编码，如在[5]中已知的，使用在其余的对象图像点411上。
对于对象图像点411的编码信息按照下面已知的公式形成准备变换的对象图像点xj411的谱系数cj。 使用形状匹配的离散余弦变换(DCT)作为形状匹配的变换编码。
将被编码的图像信息传输之后，也就是说在被传输的图像信息按照[5]经过传输手段107量化和熵编码之后，进行图像解码。
当图像解码时按照[5]进行熵解码和逆变的量化。
为此将谱系数cj输入给逆变的形状匹配的变换编码(IDCT)。
在逆变的形状匹配变换编码时在交互图像编码模式中的图像编码的范围内由谱系数cj按照下面的公式形成对象图像点xj。 其中-N表示准备变换的图像矢量的大小，在其中包括变换的图像点；-[DCT-N(p，k)]表示大小为N×N的变换矩阵；-p，k表示用p，k∈
的注解；-用()-1表示矩阵的逆变换。
当逆变换的形状匹配的变换编码时用交互图像编码模式的图像编码的范围内对象图像点xj是由谱系数cj按照下面的公式(5)形成的 使用被求出的对象图像点xj确定被解码的图像。
下面叙述实施例的另外的形式在图像编码装置上安排了用于对象图像点形状匹配变换编码的变换编码单元(DCT)，其中变换编码单元是这样构成的，在图像编码方法范围中表示的处理步骤在变换编码单元(DCT)中是可以实现的。
在图像解码装置上可以安排用于对象图像点的逆变换的形状匹配变换的一个逆变换的变换编码单元(IDCT)，其中逆变换的变换编码单元(IDCT)是这样构成的，在图像解码方法范围中表示的处理步骤在逆变换的变换编码单元(IDCT)中是可以实现的。
在本文范围内参考了以下文献[1]D.Le Gall“多媒体应用的视频压缩标准”ACM通信，34卷，第4号，47-58页，1991年4月[2]G.Wallace，“JPEG静态图像压缩标准”ACM通信，34卷，第4号，31-44页，1991年4月De Lameillieure，J.，等，“数字电视机的MPEG-2-图像编码”，电视和电影技术，第48年度3/1994，1994年[4]DE 197 03 670 A1[5]DE 197 03 672 Al
权利要求
1.数字化图像编码的方法，为此有发生在时间前面的具有图像点的图像，发生在时间前面的图像至少有属于图像对象的对象图像点，其中对象图像点位于对象内，a)在其中将图像至少部分地分为图像块；b)在其中在图像中求出图像对象；c)在其中求出对象图像块，此时对象图像块是图像块，这些图像块至少有一个对象图像点；d)在其中是这样求出对象图像块的，至少图像的对象图像块的边缘相对于图像的相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的；e)在其中使用对象图像块进行编码。
2.按照权利要求1的方法，在其中图像有多个图像对象。
3.按照权利要求1或2的方法，在其中图像的对象图像块的边缘相对于图像的多个相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的各自一个相对位置是一致的。
4.按照权利要求1至3之一的方法，在其中为了编码使用混合变换编码。
5.数字化图像解码的方法，为此有发生在时间前面的具有图像点的图像，发生在时间前面的图像至少有属于图像对象的对象图像点，其中对象图像点位于对象内，a)在其中将图像至少部分地分为图像块；b)在其中在图像中求出图像对象；c)求出对象图像块，此时对象图像块是图像块，这些图像块至少有一个对象图像点；d)这样求出对象图像块，至少图像的对象图像块的边缘相对于图像的相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的；e)使用对象图像块进行编码；和在其中解码是使用逆变的解码方法进行的。
6.按照权利要求5的方法，在其中图像有多个图像对象。
7.按照权利要求5或6的方法，在其中图像的对象图像块的边缘相对于图像的多个相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的各自一个相对位置是一致的。
8.按照权利要求5至7之一的方法，在其中使用逆变的变换编码进行解码。
9.数字化图像编码的装置，为此有发生在时间前面的具有图像点的图像，发生在时间前面的图像至少有属于图像对象的对象图象点，其中对象图像点位于对象内，其中含有一个处理器，其是如此设置的，即进行如下的步骤a)将图像至少部分地分为图像块；b)在图像中求出图像对象；c)求出对象图像块，此时对象图像块是图像块，这些图像块至少有一个对象图像点；d)这样求出对象图像块，至少图像的对象图像块的边缘相对于图像的相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的；e)使用对象图像块进行编码。
10.按照权利要求9的装置，在其中图像有多个图像对象。
11.按照权利要求9或10的装置，在其中图像的对象图像块的边缘相对于图像的多个相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的各自一个相对位置是一致的。
12.数字化图像解码的装置，为此有发生在时间前面的具有图像点的图像，发生在时间前面的图像至少有属于图像对象的对象图像点，其中对象图像点位于对象内，该图像以如下的方式进行编码a)将图像至少部分地分为图像块；b)在图像中求出图像对象；c)求出对象图像块，此时对象图像块是图像块，这些图像决至少有一个对象图像点；d)这样求出对象图像块，至少图像的对象图像块的边缘相对于图像的相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的；e)使用对象图像块进行编码；和有一个处理器，这个处理器是这样装备的，解码是使用逆变的解码方法进行的。
13.按照权利要求12的装置，在其中图像有多个图像对象。
14.按照权利要求12或13的装置，在其中图像的对象图像块的边缘相对于图像的多个相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的各自一个相对位置是一致的。
全文摘要
叙述了数字化图像的编码和解码的方法和装置,为此有发生在时间前面的具有图像点的图像,发生在时间前面的图像至少有属于图像对象的对象图像点,其中对象图像点位于对象内。其中至少将图像部分地分为图像块和在图像中求出图像对象。此外求出对象图像块,此时对象图像块是图像块,这些图像块至少有一个对象图像点。求出对象图像块是这样进行的,至少图像的对象图像块的边缘相对于图像的相对位置和发生在时间前面的图像的对象图像块的边缘相对于发生在时间前面的图像的相对位置是一致的。最后使用对象图像块进行编码。
文档编号H03M7/36GK1330837SQ99814614
公开日2002年1月9日 申请日期1999年10月1日 优先权日1998年10月16日
发明者A·考普 申请人:西门子公司