专利名称：一个数字化图象编码和解码的方法和装置的制作方法
视频图象编码按照图象编码标准H.261、H.263、MPEG1和MPEG2是建立在一个块定位的离散的余弦变换(DCT)基础上的。一般这种方法所使用的原理是块定位的图象编码。
图象编码的一个另外的出发点是所谓的以对象为基础的图象编码原理。在以对象为基础的图象编码中图象模型的分块是按照在事件中出现的对象和对这个对象的一个单独的编码。
在附图2上表示了图象编码和图象解码的一个普通装置。
在附图2上表示了一个照相机K，用它被照成图象。照相机例如可以是一个任意的模拟照相机K，它照摄在一个背景上的图象并且将图象或者在照相机K上数字化或者也可以模拟地被传送到一个第一个计算机R1，在其中然后或者已经被数字化的图象B被处理或者将模拟图象转换成数字化图象B。
照相机K也可以是一个数字式照相机K，用它直接被照摄成数字式图象B并且被传送到第一个计算机R1作进一步处理。
第一个计算机R1也可以构成为一个单独的装置，用它进行下面叙述的方法步骤，例如作为一个单独的计算机卡，将它安装在一个计算机内。
第一个计算机R1有一个处理单元P，用它进行下面叙述的图象编码或图象解码的方法步骤。处理单元P例如是通过一个数据总线BU与一个存储器SP连接在一起，在其中图象数据被存储。
一般来说下面叙述的方法不仅在软件而且在硬件方面或者也可以部分地在软件和部分地在硬件方面是可以实现的。
在第一个计算机R1完成图象编码以后和被压缩的图象数据通过一个传输介质UEM传送到一个第二个计算机R2以后在第二个计算机R2上进行图象解码。
第二个计算机R2可以和第一个计算机R1有同样的结构，即存储器SP，它通过一个数据总线BU与处理单元P连接在一起。
在附图3上以细节方式用一个原理性接线图的形式表示了一个图象编码以及图象解码的一个可能的装置，它可以被应用于以块为基础框架内的和部分地，如下面叙述的，以对象为基础框架内的图象编码。
在以块为基础的图象编码方法中一个数字化的图象B一般来说被分为正方块大小的8×8图象点BP或16×16图象点BP并且被传送给图象编码装置。
一般来说编码信息明确地从属于一个图象点，例如亮度信息(亮度值)或颜色信息(色值)。
在以块为基础的图象编码方法中各种图象编码模式要被区分开来。
在所谓的内部-图象编码-模式中总图象规则与总的，从属于图象点图象点的编码信息编码和传输(I-图)。
在所谓的中间-图象编码-模式中只将两个时间上前后连续的图象的差异图象信息各自的被编码和被传送(P-图象，B-图象)。
为了对内部-图象编码-模式和中间-图象编码-模式之间的转换被安排了两个开关单元SE。为了进行内部-图象编码-模式被安排了一个减法单元S，在其上将两个前后连续图象B的图象信息差值求出来。总的图象编码是由一个图象编码-控制单元ST控制。被编码的图象块BB以及差值图象块BB各自被传送给变换编码单元DCT，在其中对于从属于图象点的编码信息使用一个变换编码，例如离散的余弦变换(DCT)。
然而一般来说每个任意的变换编码，例如一个离散的正弦变换或一个离散的傅利叶变换也是可以被使用的。
经过变换编码所形成的光谱系数在一个量化单元Q中被量化和被传送到一个图象编码乘法器(没有表示)中例如作为通道编码和/或作为熵编码。在一个内部的再建回路上量化的光谱系数在一个逆变换的量化单元IQ中被逆变换量化和在一个逆变换的变编码单元IDCT中经历一个逆变换的变换编码。
在中间-图象编码情况下在一个加法单元AE中加上在时间上各自连续前进的图象点的图象信息。用这种方法再建的图象被存储在一个存储器中SP。在图象存储器SP中为了一个简单表示将一个运动补偿单元MC用符号进行了表示。
此外安排了一个回路滤波器(回路滤波器LF)，它与存储器SP以及减法单元S连接在一起。
一个模式标志p附加在被传送的图象数据中被传送给图象编码加法器，用它被各自地说明，被安排的是否是一个内部-/或中间-图象编码。
此外一个量化指数q作为光谱系数被传送给图象编码加法器。
一个运动矢量v也被各自从属于一个数据库和/或一个宏块，例如从属于4个图象块并且被传送给图象编码加法器。
此外安排了一个信息参数f用以激活以及解除激活回路滤波器LF。
图象信息经过传输介质UM传输以后在第二个计算机R2上被传输的数据可以被解码。此外在第二个计算机R2上安排了一个图象解码单元，例如它具有附图2表示的重建回路装置的结构。
在以对象为基础的图象编码方法中每个图象对象首先被分解为一个固定大小的块，例如同样是8×8个图象点。经过这个分解以后得到的图象块的一部分完全位于一个图象对象BO之内。这种情况被表示在附图4中。图象B包括至少一个图象对象BO，它被图象对象BO的一个对象边OK包围着。此外图象块BB是用8×8个图象点BP表示的。图象块BB，它至少包括了图象边OK的一部分，以下被称为边缘图象块RBB。
图象块BB，它被分解以后完全位于图象对象BO之内，可以依赖于上述以块为基础的图象编码方法用一个普通的以块为基础的离散的余弦变换被编码。然而边缘图象块RBB部分地被图象信息充满并且必须用一个特殊的方法编码。
对于边缘图象块RBB的编码至今存在有两个基本的出发点。
从文献[1]中已知，图象对象BO在边缘图象块RBB之内的图象信息是通过编码信息的一个特殊插补法被补充到完整的边缘图象块RBB的平面上。这个过程被称为填充。被补充的平面随后用一个普通的2-维离散余弦变换被编码。
此外从文献[1]和[2]中知道，给定的图象对象BO是分别按照行和列被变换的。这个过程被作为形状适配的变换编码，在使用一个DCT的具体情况下被称为形状适配的DCT。从属于图象对象BO的DCT-系数是这样被确定的，一个边缘图象块RBB的那些不属于图象对象BO的图象点BP被遮挡住。在余下的图象点BP上首先按行进行一个变换，其长度与在这个行上的余下图象点的数目相适应。得到的系数在水平方向被对准并且随后在垂直方向在相应的长度上进行一个另外的一维的DCT。在这里不仅对于内部-图象编码而且对于中间-图象编码被使用同一种方法。
已知的形状匹配的变换编码，如上所述，所具有的缺点是，被压缩的图象数据只能达到一个相对小的压缩系数。
评价错误图象编码的已知的编码公式在形状匹配变换编码时是从具有以下结构的一个变换矩阵DCT-N出发的DCT-N(p,k)=γ·cos[p·(k+12)·πN]k,p=0→N-(1)]]>此时当p＝0时数值γ＝1/21/2，和当其它情况时γ＝1。
用N表示包括有被变换的图象点的变换的图象矢量的一个大小。
用DCT-N表示大小为N×N的一个转换矩阵。
用p，k表示具有p，k∈
的指数。
在已知过程模式以后一个图象块的形状匹配的PCT是这样被确定的，首先块的每个列按照公式c-j=2·2N·DCT-N‾·x-j---(2)]]>被垂直变换并且随后相同的公式(2)被应用于在水平方向得到的数据上。然而按照公式(2)的规则对于评价错误图象的编码并不是最佳的。
从[3]中知道关于以块为基础的图象编码的基础。
因而本发明的任务是，给出图象编码和图象解码的方法和图象编码和图象解码的装置，用它可以达到具有改善的图象数据压缩系数的一个形状匹配的变换编码。
此任务是通过按照权利要求1的方法，通过按照权利要求6的方法和通过按照权利要求11的装置解决的。
在按照权利要求1的方法中为了一个数字化图象的编码是在一个内部-图象编码模式或在一个中间-图象编码模式中完成的。在内部-图象编码模式中图象点的图象信息被变换和在中间-图象编码模式中两个前后连续排列的图象信息的差异图象信息被变换。在中间-图象编码模式中进行一个第一个形状匹配的变换编码和在内部-图象编码模式中进行一个与第一个形状匹配的变换编码不同的，第二个形状匹配的变换编码。
在这种进行模式中的优点特别是，通过应用第二个不同的变换编码，在随后的量化中通过变换得到的谱-系数的量化误差均匀地分布在所有的图象点BP上并且量化误差具有同样与一个普通的8×8-图象块一样的平均值。
这种方法适用于一个图象段的边缘图象块的编码。
总的来说通过本方法使一个明显改善的编码效率成为可能，也就是说在同样的数据率情况下可以达到的图象质量提高了。如进一步叙述的，相对于已知的进行模式，在内部-图象编码和在中间-图象编码中在一个形状匹配的图象编码时使用同一个变换时，没有附加的计算花费就可以达到一个明显改善的信号/噪声功率比为大约1dB。
按照权利要求6的本发明方法在解码时在内部-图象编码模式时进行一个第一个逆变换的形状匹配的变换编码。在内部-图象编码模式时进行一个第二个逆变的形状匹配的变换编码。第一个逆变的形状匹配的变换编码和第二个逆变的形状匹配的变换编码是不同的。
这种方法对于图象编码来说具有如上所述的同样的优点。
按照权利要求11为执行本方法的装置为了形状匹配的变换编码安排了一个变换编码单元和/或为了逆变换的形状匹配的变换编码的一个变换解码单元。变换编码单元以及变换解码单元是这样构成的，在内部-图象编码模式时进行一个第一个形状匹配的变换编码以及一个第一个逆变换的形状匹配的变换编码。在中间-图象编码模式时进行一个第二个形状匹配的变换编码以及一个第二个逆变换的形状匹配的变换编码。第一个形状匹配的变换编码以及第一个逆变换的形状匹配的变换编码和第二个形状匹配的变换编码以及第二个逆变换的形状匹配的变换编码是不一样的。
对于装置来说上述的优点也适用。
本发明的有利的改进在从属权利要求中加以说明。
在一个另外的结构中本发明的优越性是，形状匹配变换编码中的至少一个以及逆变换的形状匹配的变换编码中的至少一个是这样进行的，在方位范围内的为变换图象点的信号能量与在频率范围内的为变换图象点的信号能量大致相等。
用另外的话来说这意味着相应的形状匹配的变换编码以及逆变换的形状匹配的变换编码是正交的。在这种进行模式中的优点特别是，在随后的量化中通过变换得到的谱系数的量化误差均匀地分布在所有的图象点上并且量化误差具有与一个普通的8×8-图象块情况相等的平均值。
在本方法的一个另外的结构中图象编码的进一步的优越性在于，被变换的图象点xj的变换系数cj是按照以下步骤形成的c-j=2N·DCT-N‾(p,k)·x-j---(3)]]>在其中-N表示包括有被变换的图象点的被变换的图象矢量的大小，-DCT-N表示大小为N×N的一个转换矩阵，-p，k表示具有p，k∈
的指数。
如在公式(3)中已知，仅仅通过变换公式的一个不同的分度相对于已知的过程方法就达到明显的改善。
上述图象编码方法的另外的结构同样被安排作为图象解码的另外的结构，在公式中为逆变换变换编码具有相应的逆变换公式。
本方法的另外的结构对于图象编码装置的变换编码单元的构成同样是优异的。
这种方法适用于一个图象块的边缘图象块的编码以及解码。
在附图中表示了本发明的一个实施例，下面将详细地加以叙述。
它们表示附
图1 一个过程图，在其中表示了单个的方法步骤；附图2 一个普通的具有一个照相机、两个计算机和一个传送媒体的图象编码装置；附图3 一个以块为基础的图象编码装置；附图4 具有一个图象对象和图象块和边缘图象块的一个图象的一个简图。
在以对象为基础的图象编码框架内数字化图象对象B的分块是与在背景上出现的图象对象BO相对应地进行的并且对图象对象BO进行一个单独的编码。
此外每个图象对象BO一般来说首先被分解为一个固定大小的图象块BB，例如8×8个图象点BP。分解以后得到的图象块BB的一部分完全位于图象对象内BO。这个出现的BB可以依赖于引用上述的方法用一个普通的以块为基础的变换编码进行编码。
如上所述，然而边缘图象块RBB只部分地被图象信息充满并且必须用一种特殊的方法被编码。
在本方法中在第一个计算机R1中主要是在一个第一个步骤101中将边缘图象块RBB传送给变换编码单元DCT。第一个计算机R1是这样构成的，附图3上用简图表示的模块可以被执行。
在第二个步骤102中对于每个边缘图象块RBB的各自的边缘图象块RBB的图象点BP的编码信息的被转换的图象点xj的转换系数cj是按照下面的公式形成的c-j=2N·DCT-N‾(p,k)·x-j---(3),]]>其中-N表示包括有图象点的被变换的图象矢量的大小，-DCT-N表示大小为N×N的一个变换矩阵，-p，k表示具有p，k∈
的指数。
变换编码的公式(3)清楚地意味着，在位方位范围内被变换图象点编码信息的信号能量与在频率范围内被转换图象点编码信息的信号能量大致相等。
作为形状匹配的变换编码主要是使用形状匹配的离散的余弦变换。
当图象编码是在中间-图象编码-模式进行时，公式(3)主要是被使用于变换编码。
如果图象编码是在内部-图象编码-模式进行时，被变换的图象点xj的变换系数cj最好按照下面的公式形成。c-j=2·2N·DCT-N‾·x-j---(2)]]>已编码的图象信息被传送以后(步骤105)，也就是说在量化以后(步骤103)，以及被传送到图象数据例如按照在[1]中叙述的方法进行熵编码以后(步骤104)，经过传送介质UEM在第二个计算机R2中进行一个图象编码。
在图象编码时在一个第一个步骤106中进行一个熵编码和在一个第二个步骤107中进行量化的谱系数的一个逆变换的量化。谱系数cj被进一步传送给逆变换的形状匹配的变换编码(IDCT)。与图象编码方法相应的为了图象解码还要这样进行一个形状匹配的变换编码，在频率范围内的被变换的图象点的编码信息的信号能量与在方位范围内的图象点的编码信息的信号能量大致相等。
为了逆变换的形状匹配的变换编码图象点xj是由谱变换系数cj按照下面的公式形成的(步骤108)x-j=2N·(DCT-N‾(p,k))-1·c-j--(4),]]>其中-N表示包括有被转换图象点的被转换的图象矢量的大小，-DCT-N表示大小为N×N的一个变换矩阵，-p，k表示具有p，k∈
的指数，-( )-表示一个矩阵的一个逆变换。
按照公式(4)逆变换的形状匹配的转换编码主要是在逆变换的-图象解码-模式的图象解码框架内进行的。
在内部-图象解码-模式时形状匹配逆变换的变换编码主要是按照下面的公式进行的。x-j=12·(DCT-N‾(p,k))-1·c-j---(5)]]>在图象编码装置中安排了一个变换编码单元DCT用于图象点BP的形状匹配的变换编码。变换编码单元是这样构成的，在方位范围内被变换图象点编码信息的信号能量与在频率范围内被变换图象点编码信息的信号能量大致相等。
变换编码单元最好是这样构成的，在本方法的框架内为了图象编码所表示的方法步骤在变换编码单元DCT中是可以实现的。在装置中当然本方法在软件上也是能够实现的，它们是由处理器P处理的。
这同样适用于图象解码器装置，它具有一个逆变换的变换编码单元IDCT。逆变换的变换编码单元相应地是这样构成的，图象解码的方法步骤，特别是逆变换的形状匹配的变换编码是可以实现的。
不仅本方法而且本装置主要是可以使用在一个数字化图象B的图象对象BO的边缘图象块RBB上。
本方法清楚地意味着，在内部-图象编码时和在逆变换-图象编码时进行不同的形状匹配的变换编码。一个第一个形状匹配的变换编码完成于内部-图象编码时和一个与第一个形状匹配的变换编码不同的第二个形状匹配的变换编码完成于在逆变换-图象编码时。
对于本方法并不重要，用甚麽样的模式被变换的图象点，也就是谱系数、量化模式、熵编码以及通道编码在图象编码框架内被使用。
在本文件范围内被引用了以下的文献[1]ISO/IEC JTC1/SC29/WG11，MPEG-4视频确认模型5.0版本Doc.N1469，1996年11月，页数55-59[2]T.Sikora和B.Makai，用于普通的视频编码的形状匹配的DCT，IEEE学报视频技术的电路和系统，第5卷页数59-62，1995年2月[3]A.K.Jain，图象数据压缩，IEEE会议文集报导，第69卷第3集，页数349-389，1981年3月
权利要求
1.一个数字化图象的编码方法，该图象含有具有任意数目图象点的图象对象，-其中在一个内部-图象编码模式时或在一个中间-图象编码模式时进行图象编码，-其中在内部-图象编码模式时图象点的图象信息被变换，-其中在中间-图象编码模式时两个前后连续图象的图象信息的差异图象信息被变换，-其中在中间-图象编码模式时进行一个第一个形状匹配的变换编码，和-其中在内部-图象编码模式时进行一个与第一个形状匹配的变换编码不同的、第二个形状匹配的变换编码。
2.按照权利要求1的方法，-其中使用一个形状匹配的离散的余弦变换作为第一个形状匹配的变换编码，-其中使用一个形状匹配的离散的余弦变换作为第二个形状匹配的变换编码。
3.按照权利要求1或2的方法，其中第一个形状匹配的变换编码和/或第二个形状匹配的变换编码是这样进行的，在方位范围内要变换的图象点的一个信号能量与在频率范围的被变换图象点的一个信号能量大致相等。
4.按照上述权利要求之一的方法，在第一个形状匹配的变换编码以后被转换的图象点xj的变换系数cj是按照以下的公式构成的c-j=2N·DCT-N‾(p,k)·x-j]]>其中-N表示要转换图象矢量的大小，其中包括了被转换的图象点，-DCT-N表示大小为N×N的一个变换矩阵，-p，k表示具有p，k∈
的指数。
5.按照上述权利要求之一的方法，其中，第一个形状匹配的变换编码只被应用于边缘图象块，
6.一个数字化图象的解码方法，图象对象具有任意数目的图象点，-其中图象解码是在一个内部-图象解码模式或在一个中间-图象解码模式时进行的，-其中在内部-图象解码模式时图象点的图象信息被变换，-其中在中间-图象解码模式时两个前后连续图象的图象信息的差异图象信息被变换，-在其中在中间的-图象解码模式时进行一个第一个逆变换的形状匹配的变换编码，和-在其中在内部-图象解码模式时进行一个与第一个逆变换的形状匹配的变换编码不同的、第二个逆变换的形状匹配的变换编码。
7.按照权利要求6的方法，-其中使用一个形状匹配的逆变换的离散的余弦变换的一个变型作为第一个逆变换的形状匹配的变换编码。-其中使用一个逆变换的形状匹配的离散的余弦变换作为第二个逆变换的形状匹配的变换编码。
8.按照权利要求6或7的方法，其中第一个逆变换的形状匹配的变换编码和/或第二个逆变换的形状匹配的变换编码是这样进行的，在方位范围内的要变换的图象点的一个信号能量与在频率范围内的被变换的图象点的一个信号能量大致相等。
9.按照权利要求6至8之一的方法，其中第一个逆变的形状匹配的变换编码的被变换的图象点xj是按照下面的公式由变换系数cj构成的x-j=2N·(DCT-N‾(p,k))-1·c-j]]>其中-N表示包括有被变换图象点的要变换的图象矢量的大小，-DCT-N表示一个大小为N×N的一个变换矩阵，-p，k表示具有p，k∈
的指数-( )-表示一个矩阵的一个逆变换。
10.按照权利要求6至9之一的方法，其中第一个逆变换的形状匹配的变换编码只被应用于边缘图象块。
11.一个数字化图象的编码装置，图象对象具有任意数目的图象点，具有一个处理单元，它是这样构成的，-在一个内部-图象编码模式时或在一个中间-图象编码模式时完成图象编码，-在内部-图象编码模式时图象点的图象信息被变换，-在中间-图象编码模式时两个前后连续图象的图象信息的差异图象信息被变换，-在中间-图象编码模式时进行一个第一个形状匹配的变换编码，和-在内部-图象编码模式时进行一个与第一个形状匹配的变换编码不同的、第二个形状匹配的变换编码。
12.按照权利要求11的装置，其中处理器单元是这样构成的，-使用一个形状匹配的离散的余弦变换的一个变型作为第一个形状匹配的变换编码，-使用一个形状匹配的离散的余弦变换作为第二个形状匹配的变换编码。
13.按照权利要求11或12的装置，其中处理器单元是这样构成的，第一个形状匹配的变换编码和/或第二个形状匹配的变换编码是这样完成的，在方位范围内要变换图象点的一个信号能量与在频率范围内的被变换图象点的一个信号能量大致相等。
14.按照权利要求11至13之一的装置，其中处理器单元是这样构成的，在第一个形状匹配的变换编码以后被变换的图象点xj的变换系数cj是按照下面的公式形成的c-j=2N·DCT-N‾(p,k)·x-j]]>其中-N表示包括有被变换的图象点的要变换图象矢量的一个大小，-DCT-N表示大小为N×N的一个变换矩阵，-p，k表示具有p，k∈
的指数。
15.按照权利要求11至14之一的装置，其中处理器单元是这样构成的，第一个形状匹配的变换编码只应用于边缘图象块。
16.一个数字化图象的解码装置，图象对象具有任意数目图象点，具有一个处理器单元，它是这样构成的，-图象解码是在一个内部-图象解码模式时或在一个中间-图象解码模式时完成的，-在内部-图象解码模式时图象点的图象信息被变换，-在中间-图象解码模式时两个前后连续图象点的图象信息的差异图象信息被变换，-在中间-图象解码模式时进行一个第一个逆变的形状匹配的变换编码，和-在内部-图象解码模式时进行一个与第一个逆变的形状匹配的变换编码不同的、第二个逆变的形状匹配的变换编码。
17.按照权利要求16的装置，其中处理器单元是这样构成的，-使用一个形状匹配的逆变的离散的余弦变换的一个变型作为第一个逆变的形状匹配的变换编码，-使用一个逆变的形状匹配的离散的余弦变换作为第二个形状匹配的变换编码。
18.按照权利要求16或17的装置，其中处理器单元是这样构成的，第一个逆变的形状匹配的变换编码和/或第二个逆变的形状匹配的变换编码是这样完成的，在方位范围内的要变换的图象点的一个信号能量与在频率范围内的被变换的图象点的信号能量大致相等。
19.按照权利要求16至18之一的装置，其中处理器单元是这样构成的，在第一个逆变的形状匹配的变换编码时被变换的图象点xj是按照下面的公式由变换系数cj构成的x-j=2N·(DCT-N‾(p,k))-1·c-j]]>其中-N表示包括有被变换图象点的要变换的图象矢量的大小，-DCT-N表示大小为N×N的一个变换矩阵，-p，k表示具有p，k
的指数-( )-表示一个矩阵的一个逆变换。
20.按照权利要求16至19之一的装置，其中处理器单元是这样构成的，第一个逆变换的形状匹配的变换编码只被应用于边缘图象块。
全文摘要
一个形状匹配的变换编码,在其中在内部－图象编码和中间－图象编码时进行不同的形状匹配的变换编码。一个第一个形状匹配的变换编码在内部－图象编码时完成,并且一个与第一个形状匹配的变换编码不同的第二个形状匹配的变换编码在中间－图象编码时完成。
文档编号H04N7/30GK1247002SQ98802238
公开日2000年3月8日 申请日期1998年1月7日 优先权日1997年1月31日
发明者A·考普 申请人:西门子公司