专利名称：运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序以及 ...的制作方法
技术领域：
本发明涉及运动图像编码时所使用的滤波器，尤其涉及适用于通过对差分脉冲编码调制中的预测信号和量化预测误差信号进行重构而得到的信号的滤波器。
背景技术：
为了进行运动图像数据的压缩，从而开发了多种运动图像编码标准。作为运动图像编码标准的例子，可以列举出被称作H.26x的ITU-T标准，以及被称作MPEG-x的ISO/IEC标准。最新的运动图像编码标准是被称作H.264/MPEG-4AVC的标准。
这些标准全部是基于由以下所示的多个主要阶段构成的混合运动图像编码的标准。
(a)为了针对每个独立的运动图像帧以块为单元进行其中的数据压缩，而将各个运动图像帧划分为二维的像素块的阶段 (b)针对各个块适用时间空间预测方法，通过将空域中的预测误差转换为频域，来对时间空间运动图像信息进行无相关化，从而获得系数的阶段 (c)通过对得到的系数进行量化，来减少总数据量的阶段 (d)通过利用熵编码对量化系数和预测参数进行编码，从而压缩剩余数据的阶段 也就是说，最新的运动图像编码标准采用了差分脉冲编码调制(DPCM)方法，该差分脉冲编码调制方法是根据输入运动图像序列的块和编码后的块(一部分被解码的图像)，仅传输与预测结果的差分。能够利用于这种运动图像编码标准的预测方法之一就是运动补偿预测。在该预测方法之中，为了描述对象物体以及/或者由于摄像机的运动而造成的图像的位移，从而针对运动图像数据的各个块而至少确定一个运动矢量。根据被确定的运动矢量，至少从某种程度上能够从编码后的块的图像内容中预测某个块中的图像内容。预测图像内容和实际输入图像内容的差分被称作预测误差，其取代实际的输入图像的内容，而与运动矢量一起被编码。这样，能够针对几乎所有的“自然的”运动图像序列大幅度地减少编码信息量。
图1是示出按照H.264/AVC标准的以往的运动图像编码装置的方框图。从整体上来看，运动图像编码装置包括用于求出差分的减法器110，该差分是运动图像(输入信号)的编码对象块和根据被存储在存储器140中的编码后块(局部被解码的图像)而获得的该编码对象块的预测块之间的差分。因此，存储器140作为能够对从对象信号值和在此之前的信号生成的预测信号进行比较的延迟部来工作。转换/量化部120将获得的预测误差从空域转换为频域，并对获得的系数进行量化。熵编码部190对量化系数进行熵编码。
局部解码图像由被设置在运动图像编码装置中的解码部来提供。解码部以与编码步骤相反的顺序来进行处理。逆量化/逆转换部130对量化系数进行逆量化，并对逆量化系数进行逆转换。加法器135为了生成局部解码图像，而使解码误差与预测信号相加。
通过量化，量化噪声被叠加于重构运动图像信号。由于是以块为单位的编码，因此被叠加的噪声会经常具有分块特性，从而出现刺眼的情况。为了减轻分块特性，而对各个重构宏块适用解块滤波器137。解块滤波器137被适用于对预测信号和量化预测误差信号相加后的重构信号。解块信号为解码信号，一般是被表示出来的。在H.264/AVC的一部分采用了解块滤波器137。在分块噪声的程度高的情况下，采用较强的低通滤波器。另外，在分块噪声的程度低的情况下，采用较弱的低通滤波器。低通滤波器的强度由预测信号和量化预测误差信号来决定。解块滤波器137具有以下所示的两个优点。
1.块的边缘被平滑化，这样，在主观上解码图像的画质得到了改善。
2.由于滤波完毕的宏块被用于后续图像的运动补偿预测，因此，通过滤波而预测误差减小，这样，编码效率得到了改善。
画面内预测宏块在这种状况下可以说是一种特殊的情况。由于这些画面预测宏块是在被显示前而被滤波的，因此，画面内预测是通过利用滤波前的重构宏块而被执行的。
作为针对垂直方向上的块的边界的分块的例子，可以举例示出利用四个系数的线性解块滤波器。该滤波器被适用于输入样本p2、p1、p0、q0、q1以及q2。在此，例如p0和q0是该块边界上相邻的两个像素，p1以及q1是与p0和q0相邻的像素。关于作为滤波输出的p0，new以及q0，new的定义，p0，new被定义为p0，new＝(p2-(p1＜＜1)+(p0+q0+1)＞＞1)＞)1，q0，new被定义为q0，new＝(q2-(q1＜＜1)+(q0+p0+1)＞＞1)＞＞1。
运动图像编码装置中所采用的预测类型是根据宏块是以“画面间”模式和“画面内”模式中的哪种模式被编码而被决定的。在H.264/AVC运动图像编码标准中，要想以“画面内”模式来预测后续的宏块，则采用基于同一图像内的已编码的宏块的预测方法。在“画面内”模式中采用在连续的多个帧的相同位置上的块之间的运动补偿预测。
只有画面内编码图像(I类型图像)能够在不参考已解码图像的情况下进行解码。I类型图像的编码运动图像序列对错误具有耐受性。而且，作为能够随机访问的，且朝向编码数据的比特流的进入点，也提供了这些I类型图像，所述能够随机访问具体而言是指，能够访问编码运动图像序列内的I类型图像。由画面内帧预测部150所进行的处理的画面内模式和由运动补偿预测部160所进行的处理的画面间模式之间的切换，可以由画面内/画面间开关180来控制。
在“画面间”模式中，通过采用运动补偿预测，从而能够从与以前的帧相同的位置上的块中预测宏块。该预测由运动预测部170来执行，并接收对象输入信号和局部解码图像。通过运动预测从而求出二维的运动矢量，以示出对象块和已解码帧中相同位置的块之间的位移。根据被预测的运动，运动补偿预测部160提供预测信号。
为了对预测精度进行最佳化，因此可以以1/2像素精度以及1/4像素精度等小数像素精度来求。小数像素精度的运动矢量可以示出已解码的帧内的可以利用的像素值所不存在的位置，也就是说可以示出小数像素位置。因此，为了进行运动补偿而需要进行像素值的空间插值。这将由内插滤波器162来实现。为了得到小数像素位置的像素值，因而按照H.264/AVC标准，适用具有固定滤波系数的6抽头维纳内插滤波器和双线性滤波器。
在“画面内”编码模式和“画面间”编码模式中，对象输入信号和预测输入信号之间的差分由转换/量化部120来转换并被量化，从而获得量化系数。一般而言，采用二维离散余弦转换(DCT)等正交转换或其整数版。
为了减少编码数据量，这些系数被量化。量化步骤由量化表来控制，该量化表是指定精度和以该精度对各个量化系数进行编码时所使用的比特数的表。通常，对于画质而言，低频分量比高频分量更重要，对低频分量进行编码时所消耗的比特数比对高频分量进行编码时所消耗的比特数多。
量化后，量化系数的二维排列由于要被传递给熵编码器，因此需要转换为一维的排列。该转换可通过按照规定的顺序扫描这些排列来执行。通过以上这种方法而获得的一维量化系数序列，由熵编码部190利用可变长编码(VLC)来进行压缩编码。得到的比特流与运动信息一起被多路复用，或者被存储到记录介质，或者被发送到运动图像解码装置一侧。
为了从主观上改善画质，因此可以将被称为后滤波器的滤波器在运动图像解码装置一侧适用。根据H.264/AVC标准，通过使用附加扩展信息(SEI)消息，从而能够发送后滤波器所使用的后滤波器信息。后滤波器信息既可以是滤波系数本身，也可以是为了求出这些滤波系数而能够利用的互相关信息。后滤波器信息由后滤波器设计部138在运动图像编码装置一侧被决定，并与局部解码信号以及原始图像输入信号进行比较。后滤波器设计部138的输出被编码并需要被插入到编码信号，因此被提供给熵编码部190。
为了在运动图像解码装置一侧重构编码图像，因此编码处理可以适用于相反的顺序。图2是用于说明对应的运动图像解码装置的构成概要的方框图。
在图2的运动图像解码装置中，首先由熵解码部191对系数和运动数据进行熵解码。该步骤也包括用于将解码系数列转换为在进行逆转换时所需要的二维排列数据的逆扫描。量化系数的解码块在此之后被提供给逆量化/逆转换部121，解码运动数据被发送到运动补偿预测部160。根据运动矢量的实际的值，会出现为了进行运动补偿预测而需要进行像素值内插的情况。该内插由内插滤波器162来实现。
逆转换结果是在空域中的量化预测误差，由加法器135进行加法运算，在画面间模式中被加到从运动补偿预测部160生成的预测信号，在画面内模式中被加到从画面内帧预测部150生成的预测信号。重构图像可以通过解块滤波器137被传递，得到的解码信号由于要适用于画面内帧预测部150以及运动补偿预测部160，因此被存储到存储器140。
熵解码部191也检索根据编码器而被确定的后滤波器。后滤波器139以进一步改善画质为目的，为了设定适用于解码信号的后滤波器而采用该信息。
上述以往的后滤波器是自适应滤波器的一个例子，也就是说是适应于编码对象运动图像信号的特性的滤波器的一个例子。这种自适应滤波器的安装形态大多是以维纳滤波器为基础，也就是说以线性离散时间系统最优滤波器为基础。维纳滤波器一般用于去除附加的噪音。在运动图像编码中，量化错误能够被视为被叠加于原运动图像输入信号的噪声。
维纳滤波器方法的优点之一是，能够根据破损的信号(解码运动图像信号)的自相关，和破损的信号与所希望的信号(原运动图像输入信号)之间的互相关，来求滤波系数。更具体而言，在R表示破损信号的M×M的自相关矩阵，p表示破损信号和所希望的信号之间的M×1的互相关矢量时，维纳滤波器的滤波波长为M，最优维纳滤波系数w的M×1矢量用以下公式1来表示。
(公式1) w＝R-1·p 在此，R-1是自相关矩阵R的倒数。
例如，从引用文献的公开号为第1841230号公报(专利文献1)的欧洲专利申请中可知，自适应滤波器能够适用于预测循环内。例如，在适用解块滤波器137之前或不进行适用而对重构信号直接适用自适应滤波器，或者对解块滤波器的输出适用自适应滤波器，或者对预测信号适用自适应滤波器。以往的运动图像滤波器的目的是，使平均平方预测误差以及/或者平均平方重构误差成为最小，或者对图像进行解块滤波处理，这样能够从主观上提高画质。
专利文献
专利文献1欧洲专利申请公开第1841230号公报 然而，该滤波形式仅在预测信号和量化预测误差信号具有相同的统计特性的情况下才有效。预测信号和量化预测误差信号例如在具有不同叠加噪声的不同统计特性的情况下，从不能与这种不同的统计特性相对应的观点来看，该滤波器设计是不利的。
预测信号和量化预测误差信号的统计特性出现不同的理由可以考虑到以下几点。第一，虽然仅对量化步骤中的预测误差叠加量化噪声，但是对于某时刻的预测信号本身不进行叠加。预测信号有包含不同时刻的量化噪声的情况，因而会有具有不同统计特性的情况。第二，运动补偿预测中的块的边缘有与预测误差编码中的块的边缘不同的情况，与量化预测误差信号相比，在预测信号中的分块特性不同。
发明内容
因此，本发明的目的在于提供一种改善编码效率的运动图像编码方法以及与该方法相对应的装置。
本发明的实施例所涉及的运动图像编码方法对构成运动图像的编码对象信号进行编码。具体而言，包括预测信号生成步骤，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；量化步骤，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；滤波器信息生成步骤，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及熵编码步骤，对在所述量化步骤生成的所述量化系数以及在所述滤波器信息生成步骤生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
根据上述的构成，能够分别除去被重叠在预测信号以及量化预测误差信号上的噪声。这样改善了编码效率。
并且，也可以是，在所述滤波器信息生成步骤中生成所述第一滤波器信息和所述第二滤波器信息，以使重构信号和所述编码对象信号的差分被最小化，所述重构信号是通过使滤波处理后预测信号和滤波处理后量化预测误差信号相加而得到的，所述滤波处理后预测信号是通过根据所述第一滤波器信息对所述预测信号进行滤波处理而得到的，所述滤波处理后量化预测误差信号是通过根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理而得到的。据此，能够在主观上提高解码图像的画质。
并且，也可以是，所述预测信号生成步骤包括滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成重构信号；以及预测信号生成步骤，根据所述重构信号，来生成通过对在所述编码对象信号之后被编码的其他的编码对象信号进行预测而得到的第二预测信号。这样，也可以使第一滤波器信息和第二滤波器信息适用于循环滤波器。
作为一个实施例，在所述滤波处理步骤中，进行使所述重构信号的块失真减少的解块处理。作为另一个实施例，在所述滤波处理步骤，在进行运动补偿预测之前先进行内插滤波处理。
并且，在所述滤波器信息生成步骤，根据重构信号的统计特性来生成第三滤波器信息，所述重构信号是通过使所述预测信号和所述量化预测误差信号相加而得到的。并且，也可以是，在所述熵编码步骤，通过对所述量化预测误差信号以及所述第一滤波器信息、所述第二滤波器信息和所述第三滤波器信息进行熵编码，从而生成所述编码信号。这样，除第一滤波器信息和第二滤波器信息以外，还可以生成被利用于以往的后滤波器的第三滤波器信息。
本发明的一个实施例所涉及的运动图像解码方法，通过对构成运动图像的编码信号进行解码，从而生成解码信号。具体而言，包括熵解码步骤，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；预测信号生成步骤，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
根据上述的构成，能够分别除去被叠加在预测信号以及量化预测误差信号上的噪声，因此能够在主观上提高画质。
并且，也可以是，所述预测信号生成步骤包括滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成重构信号；以及预测信号生成步骤，根据所述重构信号，来生成通过对在所述编码信号之后被解码的其他的解码信号进行预测而得到的第二预测信号。这样，第一滤波器信息以及第二滤波器信息不仅能够适用于后滤波器，而且还能够适用于循环滤波器。
本发明的一个实施例所涉及的运动图像编码装置对构成运动图像的编码对象信号进行编码。具体而言，包括预测信号生成部，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；量化部，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；滤波器信息生成部，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及熵编码部，对在所述量化部生成的所述量化系数以及在所述滤波器信息生成部生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
本发明的一个实施例所涉及的运动图像解码装置对构成运动图像的编码信号进行解码，从而生成解码信号。具体而言，包括熵解码部，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；预测信号生成部，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及滤波处理部，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
本发明的一个实施例所涉及的程序使计算机对构成运动图像的编码对象信号进行编码。具体而言，包括预测信号生成步骤，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；量化步骤，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；滤波器信息生成步骤，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及熵编码步骤，对在所述量化步骤生成的所述量化系数以及在所述滤波器信息生成步骤生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
本发明的一个实施例所涉及的程序使计算机对构成运动图像的编码信号进行解码，从而生成解码信号。具体而言，包括熵解码步骤，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；预测信号生成步骤，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
本发明的一个实施例所涉及的集成电路对构成运动图像的编码对象信号进行编码。具体而言，包括预测信号生成部，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；量化部，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；滤波器信息生成部，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及熵编码部，对在所述量化部生成的所述量化系数以及在所述滤波器信息生成部生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
本发明的一个实施例所涉及的集成电路对构成运动图像的编码信号进行解码，从而生成解码信号。具体而言，包括熵解码部，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；预测信号生成部，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及滤波处理部，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
并且，本发明不仅可以作为运动图像编码方法(装置)以及运动图像解码方法(装置)来实现，而且可以作为实现这些功能的集成电路来实现，还可以作为使计算机执行这些功能的程序来实现。并且，这样的程序可以通过CD-ROM等记录介质或互联网等传输介质来分发。
这些可以由独立权利要求中所记载的技术特征来实现。
较为理想的实施方式是从属权利要求的主题。
本发明所特有的方法是，以两个滤波器来取代针对重构信号进行工作的以往的自适应滤波器，该两个滤波器针对预测信号和量化预测误差信号进行工作，能够分别与输入信号的各自的统计特性相对应。
作为本发明的一个实施方式提供了一种运动图像信号的编码方法。该方法根据差分脉冲编码调制，进行以下的步骤。这些步骤是根据编码对象运动图像信号来求出预测信号和误差信号的步骤，获得示出适应了预测信号的统计特性的第一滤波器的第一滤波器信息的步骤，获得示出适应了误差信号的统计特性的第二滤波器的第二滤波器信息的步骤，以及对第一滤波器信息和第二滤波器信号进行编码的步骤。
作为本发明的另一个实施方式提供了一种运动图像信号的解码方法。该方法根据差分脉冲编码调制，进行以下的步骤。这些步骤是获得预测信号和误差信号的步骤，根据预测信号和误差信号来求出重构信号的步骤，对第一滤波器信息和第二滤波器信息进行解码的步骤，根据第一滤波器信息和第二滤波器信息分别设定第一滤波器和第二滤波器的步骤，以及利用第一滤波器和第二滤波器分别对预测信号和误差信号进行滤波的步骤。在此，重构信号是通过对滤波后预测信号和滤波后误差信号进行相加而求出的。
作为本发明的另一个实施方式提供了一种运动图像信号的编码装置。该装置包括差分脉冲编码调制部，从编码对象运动图像信号中求出预测信号和误差信号；滤波器设计部，获得示出适应于预测信号的统计特性的第一滤波器的第一滤波器信息，并且获得示出适应于误差信号的统计特性的第二滤波器的第二滤波器信息；以及编码器，对第一滤波器信息和第二滤波器信息进行编码。
并发明的另一个实施方式提供了一种运动图像信号的解码装置。该装置基于差分脉冲编码调制，包括以下的构成要素。即包括重构部，获得预测信号和误差信号，并从获得的预测信号和误差信号中求出重构信号；解码器，对第一滤波器信息和第二滤波器信息进行解码；第一滤波器，按照用于对预测信号进行滤波处理的第一滤波器信息而被设定；第二滤波器，按照用于对误差信号进行滤波处理的第二滤波器信息而被设定。在此，重构部通过对滤波后预测信号和滤波后误差信号进行相加而求出重构信号。
在编码方法以及装置的理想的实施方式中，获得第一滤波器信息和第二滤波器信息，以使示出(a)编码对象运动图像信号和(b)重构信号的差分的测定值成为最小，该重构信号是通过使由第一滤波器进行滤波处理后的预测信号和由第二滤波器进行滤波处理后的误差信号相加而得到的。
编码方法以及装置的其他的理想的实施方式是，第一滤波器信息可以通过对预测信号和编码对象运动图像信号的各自的统计特性进行分析来获得，第二滤波器信息可以通过对误差信号和编码对象运动图像信号的各自的统计特性进行分析来获得。编码方法或编码装置的其他的理想的实施方式是，本发明能够适用于后滤波处理，该后滤波处理利用针对预测信号、误差信号、解码信号进行工作的本发明的后滤波器。以此为目的，预测信号和误差信号被相加，规定的滤波器被适用于相加后的结果，获得第三滤波器信息，并对该第三滤波器信息编码，所述第三滤波器信息示出第三滤波器，该第三滤波器与在规定的滤波器的步骤中得到的信号的统计特性相适应。规定的滤波器最好是解块滤波器。
与解码方法或解码装置相对应的理想的实施方式是，预测信号和误差信号被相加，使规定的滤波器适用于该相加后的结果，第三滤波器信息被解码，并按照该第三滤波器信息来设定第三滤波器，该第三滤波器被适用于规定的滤波器的输出信号。在此，重构信号是通过对滤波后预测信号、滤波后误差信号、以及第三滤波器的输出信号进行相加而求出的。
编码方法或编码装置的其他的理想的实施方式是，本发明能够适用于后滤波处理，该后滤波处理利用针对预测信号、误差信号以及以往的后滤波器的输出信号进行工作的本发明的后滤波器。以此为目的，预测信号和误差信号被相加，使规定的滤波器适用于在相加步骤中得到得结果，获得基于在适用了规定的滤波器而得到的信号的统计特性的后滤波器信息，并按照该后滤波器信息设定后滤波器，使该后滤波器适用于在适用规定的滤波器步骤中得到的信号，获得第三滤波器信息，并对该第三滤波器信息和后滤波器信息进行编码，所述第三滤波器信息示出第三滤波器，该第三滤波器与在适用后滤波器的步骤中得到的信号的统计特性相适应。
与解码方法或解码装置相对应的理想的实施方式是，预测信号和误差信号被相加，使规定的滤波器适用于该相加结果，后滤波器信息和第三滤波器信息被解码，按照该后滤波器信息和第三滤波器信息分别设定后滤波器和第三滤波器，后滤波器被适用于规定的滤波器的输出信号，第三滤波器被适用于后滤波器的输出信号。在此，重构信号是通过对滤波后预测信号、滤波后误差信号、以及第三滤波器的输出信号进行相加而求出的。
编码以及解码方法或编码以及解码装置的理想的实施方式是，将本发明作为循环滤波器来应用。以此为目的，使滤波后预测信号和滤波后误差信号相加，并使该相加的结果延迟。在此，预测信号从延迟结果中获得。
编码以及解码方法或编码以及解码装置的理想的实施方式是，将本发明应用于自适应内插滤波处理，该自适应内插滤波处理用于小数精度的运动补偿预测。以此为目的，使预测信号延迟，使第一滤波器适用于延迟预测信号，使误差信号延迟，使第二滤波器适用于延迟误差信号，使滤波后延迟预测信号和滤波后延迟误差信号相加，并从该相加后的结果中获得预测信号。
第一滤波器信息最好是由第一滤波器的滤波系数构成，第二滤波器信息最好是由第二滤波器的滤波系数构成，第三滤波器信息最好是由第三滤波器的滤波系数构成。据此，能够减少解码器的运算负荷。其原因是，解码器即使不进行所有的运算，也能够容易地设定这些滤波器。
并且最好是，第一滤波器信息指定预测信号的统计特性，第二滤波器信息指定误差信号的统计特性。据此，能够减少编码器的运算负荷。其原因是，解码器能够按照由编码器所决定的统计特性来设定这些滤波器。而且，解码器能够灵活地按照需求来使滤波器被适应。
并且最好是，该第一滤波器和第二滤波器是维纳滤波器。据研究，维纳滤波器是根据输入信号的统计特性和所希望的输出信号的统计特性，能够容易地被求出的最佳的线性滤波器的一个例子。
根据本发明，预测信号和量化预测误差信号在滤波过程中将被个别讨论。这样，能够减少预测误差以及/或者重构误差，从而能够改善编码效率。
图1是示出以往的运动图像编码装置的方框图。
图2是示出以往的运动图像解码装置的方框图。
图3A是示出本发明的实施例1中所涉及的运动图像编码装置的方框图。
图3B是图3A所示的运动图像编码装置的工作流程图。
图4A是示出本发明的实施例1中所涉及的运动图像解码装置的方框图。
图4B是图4A所示的运动图像解码装置的工作流程图。
图5是示出本发明的实施例2所涉及的运动图像编码装置的方框图。
图6是示出本发明的实施例2所涉及的运动图像解码装置的方框图。
图7是示出本发明的实施例3所涉及的运动图像编码装置的方框图。
图8是示出本发明的实施例3所涉及的运动图像解码装置的方框图。
图9是示出本发明的实施例4所涉及的运动图像编码装置的方框图。
图10是示出本发明的实施例4所涉及的运动图像解码装置的方框图。
图11A示出了MPEG测试顺序的率失真曲线的一个例子。
图11B示出了MPEG测试顺序的率失真曲线的另外一个例子。
具体实施例方式 在H.264/AVC标准，除了能够将用于后滤波的暗示发送给按照特别指定的后滤波方法(作为用于后滤波的暗示的SEI消息)的运动图像解码装置，还能够指定两种滤波方法(内插滤波以及解块滤波)。以下所述的本发明的实施例将示出通过适用本发明而对上述的三个方法分别进行改善的方法。
(实施例1) 图3A是示出本发明的实施例1所涉及的运动图像编码装置100的方框图。图3B是图3A的运动图像编码装置100的工作流程图。图3A的方框图与图1所示的以往的运动图像编码装置类似，对于相同构成要素赋予相同的符号。对于类似的构成要素省略详细说明。
图3A所示的运动图像编码装置100包括减法器110、转换/量化部120、逆量化/逆转换部130、后滤波器设计部(滤波器信息生成部)138′、熵编码部190、以及预测信号生成部200。该运动图像编码装置100对构成运动图像的编码对象信号进行编码，并输出编码后的编码信号。
减法器110从编码对象信号中减去预测信号，从而生成预测误差信号(S11)。转换/量化部120对预测误差进行量化，从而生成量化系数(S12)。逆量化/逆转换部130对量化系数进行逆量化，从而生成量化预测误差信号(S13)。后滤波器设计部138′根据编码对象信号以及预测信号生成第一滤波器信息，并根据编码对象信号以及量化预测误差信号生成第二滤波器信息(S14)。并且，输出包括第一以及第二滤波器信息的后滤波器信息。熵编码部190对量化系数、后滤波器信息以及后述的运动数据进行熵编码，从而生成编码信号(S15)。预测信号生成部200根据在编码对象信号(输入信号)之前被编码的其他的编码对象信号，对该编码对象信号进行预测，从而生成预测信号(S16)。
并且，预测信号生成部200包括加法器135、解块滤波器137、存储器140、画面内帧预测部150、运动补偿预测部160、内插滤波器162、运动预测部170、以及画面内/画面间开关180。该预测信号生成部200形成以减法器110为出发点的循环。因此，预测信号生成部200中所包含的滤波器(解块滤波器137、内插滤波器162等)也被称为循环滤波器。
对图3B的预测信号生成处理(S16)进行详细说明。加法器135使量化预测误差信号和预测信号相加，从而生成重构信号。解块滤波器137从重构信号中去除块失真，从而生成解码信号。存储器140作为暂时存储解码信号的延迟器来发挥作用。画面内帧预测部150对解码信号进行画面内预测，从而生成预测信号。内插滤波器162在进行运动补偿预测之前，对解码信号的像素值进行空间内插。运动预测部170根据解码信号和下一个编码对象信号进行运动预测，从而生成运动数据。运动补偿预测部160根据解码信号和运动数据来进行运动补偿预测，从而生成预测信号。画面内/画面间开关180选择“画面内”模式以及“画面间”模式中的任一个，以作为预测模式。并且，从画面内/画面间开关180输出的预测信号成为对下一个编码对象信号进行预测后的信号。
本发明的实施例1所涉及的运动图像编码装置100在后滤波器设计部138′的构成部分与以往的运动图像编码装置不同。与以往的后滤波器设计部138相比，该新的后滤波器设计部138′除接收编码对象信号之外，还接收预测信号和量化预测误差信号。这样，该新的后滤波器设计部138′为了对预测信号和量化预测误差信号进行滤波处理，在求最佳的滤波器信息之时，可以考虑预测信号以及量化预测误差信号各自的不同的统计特性。
具体而言，新的后滤波器设计部138′为了针对预测信号和量化预测误差信号分别决定最佳的滤波器信息，而与量化预测误差信号和输入信号之间的互相关函数同样，可以对预测信号以及量化预测误差信号各自的自相关函数，和预测信号以及量化预测误差信号的互相关函数进行运算。也就是说，新的后滤波器设计部138′可以将维纳方法适用于编码对象信号以及新的后滤波器139′的输出之间的差分，也就是将维纳滤波方法适用于使平均平方误差成为最小的滤波器信息的决定中。决定结果作为后滤波器信息被提供到熵编码部190，并被插入到编码信号。后滤波器信息包括分别针对上述的两个滤波器的滤波系数集合、自相关矩阵系数以及互相关矢量、以及为了使运动图像解码装置101能够恰当地设定滤波器的其他的信息。并且，在此只要这些信号和输入信号的互相关函数能够被发送，预测信号以及量化预测误差信号的自相关函数也可以在运动图像解码装置101一侧被运算。
作为具体的例子，以下将详细示出新的后滤波器139′的滤波系数的运算方法。
新的后滤波器139′的输出也可以由以下的公式2来表示。
(公式2) 在此，w1，····，wM是适用于M预测样本p1，····，pM之后的第一滤波器139-1的M滤波系数，wM+1，····，wM+N是适用于量化预测信号的N预测样本e1，····，eM之后的第二滤波器139-2的N滤波系数。
应用维纳Hopf方程式，并通过以下的公式3能够求出使所希望的信号s和后滤波器信号s′之间的平均平方误差成为最小的滤波系数。
(公式3) 在此，E[·]表示推定值。因此，滤波系数w1，····wM+N可以根据预测信号的自相关、量化预测误差信号的自相关、预测信号和量化预测误差信号之间的互相关、预测信号和所希望的信号之间的互相关、量化预测误差信号和所希望的信号之间的互相关来求出。在预测信号的统计特性和量化预测误差信号的统计特性不相关的情况下，上述的公式3为块的对角矩阵公式，后述的第一以及第二滤波器139-1、139-2的滤波器信息可以仅通过预测信号(量化预测误差信号)的自相关和预测信号(量化预测误差信号)与所希望的信号之间的互相关来求。
只要按照上述的公式3，就能够按照p以及e这两个统计上的性质不同的信号，推导出使噪声成为最小的滤波系数。尤其能够在假定无相关的情况下，减少用于推导出滤波器的运算量(需要注意的是，在此比不分离p和e的以往的滤波器的性能高)。或者，通过使相关反映出来，并以公式3来推导滤波系数，从而能够得到最大的降低噪声性能。
本发明不受上述的滤波系数运算方法所限。也可以利用对数值进行最佳化的方法来求出使规定的测定值成为最小的滤波系数，所述规定的测定值表示滤波后信号和所希望的信号之间的差分。规定的测定值例如可以由加权的像素的差分绝对值和来构成。在此，为了减少输出中的去块效应，因此使距离块边界近的位置上的像素的权重比位于块中央的像素的权重大。
在理想的实施例中，新的后滤波器设计部138′也可以将解码信号作为输入(参照图3A的点线部分)来接收，也就是说将解块滤波器137的输出作为输入来接收。这样，新的后滤波器设计部138′按照解码信号以及输入信号各自的统计特性，来求后述的第三滤波器139-3所使用的滤波器信息。该滤波器信息与解码信号以及量化预测误差信号所使用的滤波器信息一起被传送到运动图像解码装置101。因此，正如以后将要对图4A进行的详细说明那样，运动图像解码装置101也可以设定针对解码信号直接工作的第三滤波器139-3。
在理想的实施例中，可以以与公式2类似的公式4来表示新的后滤波器139′。
(公式4) 在此，wM+N+1，····，wM+N+L是适用于解码信号的L样本d1，····，dL之后的第三滤波器139-3的L滤波系数。
与上述同样，用于使所希望的信号s和滤波后信号s′之间的平均平方误差成为最小的滤波系数，可以通过公式5来求出。
(公式5) 在此，E[xi yi]表示由x和y的互相关项构成的子矩阵。
图4A是示出本发明的实施例1所涉及的运动图像解码装置101的方框图。图4B是示出图4A的运动图像解码装置101的工作的流程图。图4A的方框图与图2所示的以往的运动图像解码装置类似，对于相同的要素赋予相同的符号。并且，对于类似的要素省略详细说明。
图4A所示的运动解码装置101包括熵解码部191、逆量化/逆转换部121、加法器135、解块滤波器137、存储器140、画面内帧预测部150、运动补偿预测部160、内插滤波器162、画面内/画面间开关180、以及后滤波器139′。该运动图像解码装置101对在图3A所示的运动图像编码装置100被编码的编码信号进行解码，从而生成解码信号。并且，对于与图3A所示的运动图像编码装置100相同的功能块赋予相同的参考符号，并省略详细说明。
熵解码部191对从运动图像编码装置100输出的编码信号(输入信号)进行熵解码，从而获得量化系数、后滤波器信息以及运动数据。逆量化/逆转换部121对量化系数进行逆量化，从而生成量化预测误差信号(S22)。后滤波器139′根据后滤波器信息，对预测信号以及量化预测误差信号分别适用滤波处理(S23)。具体而言，后滤波器139′包括第一滤波器139-1、第二滤波器139-2以及加法器139-0，所述第一滤波器139-1根据第一滤波器信息对预测信号进行滤波处理，从而生成滤波后预测信号，所述第二滤波器139-2根据第二滤波器信息对量化预测误差信号进行滤波处理，从而生成滤波后量化预测误差信号，加法器139-0使滤波后预测信号和滤波后量化预测误差信号相加，从而生成解码信号。另外，预测信号生成部200′根据解码信号，来生成通过对下一个将要被解码的解码信号进行预测而得到的预测信号(S24)。
预测信号生成部200′包括加法器135、解块滤波器137、存储器140、画面内帧预测部150、运动补偿预测部160、内插滤波器162、以及画面内/画面间开关180。与图3A所示预测信号生成部200的不同之处是，省略了运动预测部170，以及运动数据从熵解码部191获得。
本发明的实施例1所涉及的运动图像解码装置101在后滤波器139的构成上与以往的运动图像解码装置不同。新的后滤波器139′至少包括以下所示的两个独立的滤波器。一个是第一滤波器139-1，对作为来自画面内帧预测部150或运动补偿预测部160的输出的预测信号进行滤波处理，另一个是第二滤波器139-2，对作为来自逆量化/逆转换部121的输出的量化预测误差信号进行滤波处理。这些滤波器的输出由加法器139-0合并，并作为运动图像解码装置101的最终输出信号被提供。
与以往的后滤波器139同样，新的后滤波器139′接收后滤波器信息，该后滤波器信息是由熵解码部191从输入信号中推导出来的。与以往的运动图像解码装置相比，后滤波器信息至少用于两个滤波器的设定，即用于预测信号所用的第一滤波器139-1和量化预测误差信号用的第二滤波器139-2。
如图4A的点线所示，新的后滤波器139′也可以包括第三滤波器139-3，该第三滤波器139-3针对由解块滤波器137输出的解码信号进行工作。与第一以及第二滤波器139-1、139-2的情况相同，按照由熵解码部191提供的滤波器信息来设定第三滤波器139-3，也就是说按照解码信号和在运动图像编码装置100一侧被确定的输入信号的统计特性来设定第三滤波器139-3。
正如对图3A的运动图像编码装置100所进行的说明那样，后滤波器信息包括各个滤波器的滤波系数集合、相关的自相关矩阵系数以及互相关矢量、以及为了使运动图像解码装置101能够恰当地设定滤波器的其他的信息。
按照本发明的实施例1的解码运动图像信息的后滤波处理针对预测信号和量化预测误差信号进行工作，也可以根据需要对解块滤波器的输出进行工作，并且该后滤波处理至少利用两个独立的最佳化滤波器来进行。为了生成运动图像解码装置101的最终输出信号，因此第一以及第二滤波器139-1和139-2的输出被相加。并且，在设置了第三滤波器139-3的情况下，也可以对第一以及第二滤波器139-1和139-2的输出的相加结果，和第三滤波器139-3的输出进行平均化。这样，也可以使各个滤波器适应于工作的信号的统计特性。据此，比利用仅针对重构信号进行工作的单一滤波器的情况更有效率，并能够减少重构误差。
(实施例2) 图5是示出本发明的实施例2所涉及的运动图像编码装置100的方框图。图5的方框图与图3A所示的运动图像编码装置类似，对于相同的构成要素赋予相同的参考符号。对于类似的要素省略详细说明。
本发明的实施例2所涉及的运动图像编码装置100与以往的运动图像编码装置的不同之处是，具有后滤波器139和被添加的第二后滤波器设计部138′。并且，具备第一后滤波器设计部138以及后滤波器139之处与图3A所示的运动图像编码装置100不同。而且，第二后滤波器设计部138′除了具有图3A所示的滤波器设计部138′的功能之外，还根据后滤波器139的输出信号的统计特性来生成第三滤波器信息。
与以往的运动图像编码装置同样，图5的第一后滤波器设计部138决定针对第一后滤波器139的最佳滤波器信息，所述第一后滤波器139是被适用于由运动图像解码装置101的解块滤波器137输出的解码信号的滤波器。后滤波器139是本实施例2中的运动图像编码装置100的一部分。该后滤波器139的输出被提供给被添加的第二后滤波器设计部138′，该被添加的第二后滤波器设计部138′将预测信号、量化预测误差信号以及输入信号作为输入来接收。根据输入信号的统计特性，被添加的第二后滤波器设计部138′决定针对预测信号、量化预测误差信号、后滤波器139的输出信号分别进行工作的三个独立的滤波器所使用的滤波器信息。因此，被确定的滤波器信息被提供给熵编码部190，并被插入到编码信号。
具体而言，被添加的第二后滤波器设计部138′为了针对预测信号、量化预测误差信号、来自后滤波器139的输出信号分别决定最佳的滤波器信息，与这些信号和输入信号互相关函数同样，可以运算预测信号、量化预测误差信号、以及来自后滤波器139的输出信号的各自的自相关函数。决定结果作为被添加的后滤波器信息被提供到熵编码部190，并被插入到编码信号。后滤波器信息包括分别针对上述的三个滤波器的滤波系数集合、自相关矩阵系数以及互相关矢量、以及为了使运动图像解码装置101能够恰当地设定滤波器的其他的信息。并且，在此只要这些信号和输入信号的互相关函数能够被发送，预测信号、量化预测误差信号以及来自后滤波器139的输出信号的自相关函数也可以在运动图像解码装置101一侧被运算。
图6是示出本发明的实施例2所涉及的运动图像解码装置101的方框图。图6的方框图与图4A所示的运动图像解码装置101类似，对于相同的要素赋予相同的构成要素。对于类似的要素省略详细说明。
本发明的实施例2所涉及的运动图像解码装置101与以往的运动图像解码装置的不同之处是具有被添加的第二后滤波器139′，该被添加的第二后滤波器139′将预测信号、量化预测误差信号、以及来自第一后滤波器139的输出信号作为输入来接收。并且，具有第一后滤波器139之处与图4A所示的运动图像解码装置101不同。
被添加的第二后滤波器139′由以下所示的三个独立的滤波器构成。第一个是第一滤波器139-1，对作为来自画面内帧预测部150或运动补偿预测部160的输出的预测信号进行滤波处理，第二个是第二滤波器139-2，对作为来自逆量化/逆转换部121的输出的量化预测误差信号进行滤波处理，第三个是第三滤波器139-3，对作为来自第一后滤波器139的输出的后滤波器信号进行滤波处理。并且，也可以对第一以及第二滤波器139-1和139-2的输出的相加结果，和第三滤波器139-3的输出进行平均化，并作为解码装置101的最终输出信号来提供。
正如对图5的运动图像编码装置100所进行的说明那样，后滤波器信息包括各个滤波器的滤波系数集合、相关的自相关矩阵系数、互相关矢量、以及为了使解码装置能够恰当地设定滤波器的其他的信息。
按照本发明的实施例2，解码运动图像信息的后滤波处理针对预测信号、量化预测误差信号以及(以往的)后滤波器的输出进行工作，并且该后滤波处理利用个别的或同时被最佳化的滤波器来进行。为了生成运动图像解码装置101的最终输出信号，因此每个滤波器的输出被相加。这样，也可以使各个滤波器适应于工作的信号的统计特性。据此，比利用仅针对重构信号进行工作的单一滤波器的情况更有效率，并能够减少重构误差。而且，由本实施例中的运动图像编码装置100生成的编码信号适用于能够单纯地忽略被添加的后滤波器信息的以往的运动图像解码装置。然而，识别到被添加的后滤波器信息的运动图像解码装置101为了进一步改善画质，而会有采用用于设定被添加的后滤波器的信息的情况。
(实施例3) 图7是示出本发明的实施例3所涉及的运动图像编码装置100的方框图。图7的方框图与图3A所示的运动图像编码装置100类似，对于相同的要素赋予相同的参照符号。对于类似要素省略详细说明。
本发明的实施例3所涉及的运动图像编码装置100与以往的运动图像编码装置以及图3A所示的运动图像编码装置100的不同之处是，具有新的循环滤波器137′和与其对应的新的循环滤波器设计部138″，以取代加法器和解块滤波器137。但是，图3A所示的后滤波器设计部138′和图7所示的循环滤波器设计部138″的不同之处是，生成的滤波器信息是在后滤波器139′被使用还是在循环滤波器137′被使用，不过，生成滤波器信息的处理本身是共同的。
新的循环滤波器设计部138″将输入信号、预测信号、以及量化预测误差信号作为输入来接收。与实施例1的新的后滤波器设计部138′同样，新的循环滤波器设计部138″分析输入信号的统计特性，并将新的循环滤波器信息输入到新的循环滤波器137′和熵编码部190。
新的循环滤波器137′包括第一滤波器137-1、第二滤波器137-2以及加法器137-0，所述第一滤波器137-1针对预测信号进行工作，所述第二滤波器137-2针对量化预测误差信号进行工作，加法器137-0使这些滤波器信号相加。第一滤波器137-1和第二滤波器137-2正如对以上的实施例所进行的说明那样，按照从新的循环滤波器设计部138″接收的新的循环滤波器信息来进行设定。
具体而言，第一滤波器137-1和第二滤波器137-2也可以被最佳化，以使编码对象信号和作为新的循环滤波器137′的输出的重构信号之间的平均平方误差等差分测定值成为最小。
新的循环滤波器137′是作为恰当的循环滤波器(针对某块中的所有像素，双方的滤波器均工作的滤波器)来进行工作还是作为解块滤波器(尤其是集中针对于距离块边界近的位置上的像素，双方的滤波器进行工作的滤波器)来进行工作，取决于第一以及第二滤波器137-1、137-2被怎样设定。尤其是在前者的例子中，运动图像编码装置100还可以具有以往的解块滤波器(图中未示出)。该解块滤波器从新的循环滤波器137′接收输入，其输出被输出到存储部140和后滤波器设计部138。
图8是示出本发明的实施例3所涉及的运动图像解码装置101的方框图。图8的方框图与图4A所示的运动图像解码装置101类似，对于相同的要素赋予相同的参照符号。对于类似要素省略详细说明。
本发明的实施例3所涉及的运动图像解码装置101与以往的运动图像解码装置以及图4A所示的运动图像解码装置101不同之处是，具有新的循环滤波器137′，而取代加法器135以及以往的解块滤波器137。
新的循环滤波器137′的构成与图7所示的相对应的运动图像编码装置100的构成相同。具体而言，新的循环滤波器137′包括第一滤波器137-1、第二滤波器137-2以及加法器137-0，所述第一滤波器137-1针对预测信号进行工作，所述第二滤波器137-2针对量化预测误差信号进行工作，加法器137-0使这些滤波处理后的信号相加。第一滤波器137-1和第二滤波器137-2正如对以上的实施例所进行的说明那样，按照从熵解码部191接收的新的循环滤波器信息来进行设定。正如在实施例3的运动图像编码装置100中已经说明的那样，运动图像解码装置101的新的循环滤波器137′可以接续在以往的解块滤波器(图中未示出)之后。
按照本发明的实施例3，提供了一种自适应的循环滤波器137′，该自适应的循环滤波器137′能够分别针对预测信号以及量化预测误差信号来工作，并且包括同时或者分别地被进行了最佳化的两个滤波器。这样，循环滤波器137′可以考虑这些信号的各自不同的统计特性。据此，比利用仅针对重构信号进行工作的单一滤波器的情况更有效率，并能够减少重构误差。而且，通过减少重构误差，从而改善了编码效率。
(实施例4) 图9是示出本发明的实施例4所涉及的运动图像编码装置100的方框图。图9的方框图与图3A所示的运动图像解码装置100类似，对于相同的要素赋予相同的参照符号。对于类似要素省略详细说明。
在实施例4中，本发明适用于在进行运动补偿预测时所使用的自适应的内插滤波处理。本实施例所涉及的运动图像编码装置100在以下所示之处与以往的运动图像编码装置以及图3A所示的运动图像编码装置100不同。即不同之处是取代内插滤波器162而具有新的循环滤波器以及设计部162′，并且还具有两个解块滤波器137、137″和两个存储部140、140′，所述两个解块滤波器137、137″分别对预测信号和量化预测误差信号进行解块滤波处理，所述两个存储部140、140′用于分别存储预测信号和量化预测误差信号。
并且，由于量化预测误差的动态范围一般比预测信号的动态范围大，因此用于存储量化预测误差的存储器140′可以具有比用于存储预测信号的存储器140大的比特深度。要想使比特深度变小，缩小量化预测误差信号的动态范围是一个比较有效的方法。也可以针对量化预测信号进一步进行量化。
图9的新的循环滤波器以及设计部162′包括第一滤波器162-1、第二滤波器162-2以及加法器162-0，所述第一滤波器162-1针对由存储部140延迟后的预测信号进行工作，所述第二滤波器162-2针对由存储部140′延迟后的量化误差信号进行工作，加法器162-0使这两个滤波器的信号相加。如以上所述，第一以及第二滤波器162-1、162-2被最佳化，以使在加法器162-0的输出和所希望的信号之间测定距离成为最小。在运动补偿预测的情况下，所希望的信号是不同的时刻的输入信号。进行最佳化的结果是，作为新的内插滤波器信息被提供给熵编码部190，并作为输出信号被插入。
图10是示出本发明的实施例4所涉及的运动图像解码装置101的方框图。图10的方框图与图4A所示的运动图像解码装置101类似，对于同样的构成要素赋予相同的符号。对于类似的要素省略详细说明。
本发明的实施例4所涉及的运动图像解码装置101在以下之处与以往的运动图像解码装置以及图4A所示的运动图像解码装置101不同。即取代内插滤波器162而具有新的循环滤波器162″，并且不仅具备用于针对预测信号和量化预测误差信号分别进行解块滤波的两个解块滤波器137、137″，而且具备用于分别存储预测信号和量化预测误差信号的两个存储部140、140′。
与图9所示的对应的运动图像编码装置100的构成相同，具有新的循环滤波器162″的运动图像解码装置101包括第一滤波器162-1、第二滤波器162-2以及加法器162-0，所述第一滤波器162-1针对预测信号进行工作，所述第二滤波器162-2针对量化预测误差信号进行工作，加法器162-0使这些滤波处理后的信号相加。第一以及第二滤波器162-1、162-2正如在以上的实施例中所说明的那样，按照从熵解码部191接收的新的内插滤波器信息而被设定。
在本发明的实施例4中，提供了用于以小数像素精度进行运动补偿预测的自适应的内插滤波器。本发明的循环滤波器162″由同时或分别被最佳化的两个滤波器构成，该两个滤波器针对(被延迟的)预测信号和(被延迟的)量化预测信号分别进行工作。这样，循环滤波器162″也可以考虑这些信号各自的不同的统计特性。据此，比利用仅针对(被延迟后的)解码信号进行工作的以往的自适应的内插滤波器162的情况更有效率，并能够减少预测误差。因此，能够同样地改善编码效率。
图11A以及图11B示出了用于说明本发明的效果的两种MPEG测试顺序的率失真曲线的一个例子。这些率失真曲线是基于具有M＝N＝L＝1的被添加的后滤波器的第一实施例的曲线。在图11A以及图11B中，分别以图表上的点来表示Y-PSNR，该Y-PSNR是针对两种MPEG测试顺序的比特率的亮度成分。本发明的方法与采用具有5×5系数的非分离型的二维维纳后滤波器的H.264/AVC相比较。并适用于比较画面内编码。在本发明能够观察到直到0.3dB为止的Y-PSNR的增加。
在本发明的上述实施例中，本发明的运动图像滤波器由分别针对预测信号和量化预测信号进行工作的滤波器构成。然而，从预测信号、误差信号以及重构信号(预测信号和误差信号相加后得到的信号)的集合中被选择出来的各个信号组呈线性独立。因此，本发明能够适用于，重构信号和量化预测误差信号的组合，以及重构信号和预测信号的组合中的任一个。
并且，本发明不受滤波器是固定的还是自适应的限定。本发明的滤波方法中的滤波器均可以包括固定的滤波器或自适应的滤波器。在自适应滤波器的情况，例如像系数这种滤波器信息被编码，并作为辅助信息被发送到运动图像解码装置。在H.264/AVC编码方法中，例如像系数这种滤波器信息被插入到切片头部或图片参数集或序列参数集中，并被发送。为了实施自适应的后滤波方法，可以将后滤波器信息作为附加扩展信息(SEI)发送到运动图像解码装置。
并且，基于包括运动图像和作为非运动图像的音频数据的编码方法的差分脉冲编码调制的以往的编码方法的任何一种均能够适用于本发明。而且，本发明也可以适用于H.264/AVC的空域可伸缩运动图像编码方法。在H.264/AVC中的该方法中，包括预测信号和量化预测误差信号的低空域分辨率的重构图像，由滤波器被上采样并被内插，从而成为高空域分辨率的图像。在空域可伸缩运动图像编码中，例如可以根据各个信号的不同的滤波器系数来分别讨论预测信号和量化预测误差信号。并且，在高频建模中也可以适用本发明。这时，本发明可以进行滤波处理，以及可以以调整更高次的统计特性为目的，来活用预测信号以及量化预测误差信号各自的统计特性。
而且，本发明不受维纳滤波器所限。根据Volterra级数展开的非线性自适应滤波器等其他的自适应滤波器，以及对损坏信号和所希望的信号之间的平均平方误差以外的测定值进行最佳化的滤波器等均可以适用本发明。
最后，本发明的多种实施例也可以进行组合。例如，可以将两个分别被最佳化的滤波器应用到按照实施例1中所叙述的后滤波器，同时，可以将另外的两个分别被最佳化的滤波器应用到按照实施例3中所叙述的循环滤波器。其他的实施例也可以进行同样的组合。
也就是说，本发明是关于基于差分脉冲编码调制的运动图像编码中的最佳滤波器的发明。本发明中的方法提供的滤波器不是针对作为预测信号和误差信号的相加结果的重构信号进行工作的单一的滤波器，而是针对预测信号和量化预测误差信号分别独立地进行工作的两个滤波器。这样，通过考虑预测信号和误差信号的各自的不同的统计特性，从而能够减少预测误差以及/或者重构误差，编码效率也得到了改善。
(其他的变形例) 并且，本发明虽然是根据上述的实施例1～4而被说明的，但是本发明并非受上述的实施例1～4的限定。以下的诸情况也包含在本发明内。
上述的各个装置具体而言是包括微处理器、ROM、RAM、硬盘器件、显示器器件、键盘、鼠标等的计算机系统。所述RAM或硬盘器件中存储有计算机程序。所述微处理器通过按照所述计算机程序来工作，从而各个装置能够发挥功能。在此，计算机程序是为了达成规定的功能而由多个向计算机发出指令的指令代码的组合构成。
构成上述各装置的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration大规模集成电路)构成。系统LSI是将多个构成要素集成在一个芯片上而被制造的超多功能LSI，具体而言，是以微处理器、ROM、RAM等构成的计算机系统。所述RAM中记忆有计算机程序。所述微型处理器按照所述计算机程序来工作，因此系统LSI可以达成上述的功能。
构成上述各装置的构成要素的一部分或全部可以由能够装卸于各个装置的IC卡或单体的模块构成。所述IC卡或所述模块是以微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块可以包括上述的超多功能LSI。微型处理器按照计算机程序来工作，因此上述IC卡或上述模块可以实现各自的功能。上述IC卡或上述模块可以具有防篡改功能。
本发明也可以作为以上所示出的方法。并且，这些方法可以作为由计算机来实现的计算机程序，也可以作为由所述计算机程序组成的数字信号。
并且，本发明可以将所述计算机程序或所述数字信号记录到计算机可读取的记录介质中，这些记录介质例如是软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。并且，也可以作为这些记录介质中所记录的所述数字信号来实现。
并且，本发明可以通过电气通信电路、无线或有线通信电路、以因特网为代表的网络、以及数据广播等来传递所述计算机程序或所述数字信号。
并且，本发明可以是具备微处理器和存储器的计算机系统，所述存储器记忆上述计算机程序，所述微处理器按照所述计算机程序来工作。
并且，可以将所述程序或所述数字信号记录到所述记录介质并传送，或者可以将所述程序或所述数字信号通过所述网络等来传送，从而可以由独立的其它的计算机系统来执行。
上述的实施例以及上述的变形例可以分别自由组合。
以上虽然参照附图对本发明的实施例进行了说明，但是本发明并非受附图所限。对于附图中所示的实施例，只要是在与本发明相同的范围内或均等的范围内均可以进行各种修改以及变形。
本发明能够非常有效地利用于运动图像编码方法(装置)以及运动图像解码方法(装置)。
符号说明 100 运动图像编码装置 101 运动图像解码装置 110 减法器 120 转换/量化部 121、130 逆量化/逆转换部 135、135′、137-0、139-0、162-0加法器 137、137″解块滤波器 137′、162″ 循环滤波器 137-1、137-2、139-1、139-2、139-3、162-1、162-2滤波器 138、138′ 后滤波器设计部 138″ 循环滤波器设计部 139、139′ 后滤波器 140、140′ 存储器 150画面内帧预测部 160运动补偿预测部 162内插滤波器 162′ 循环滤波器以及设计部 170运动预测部 180画面内/画面间开关 190熵编码部 191熵解码部 200、200′ 预测信号成生部
权利要求
1.一种运动图像编码方法，对构成运动图像的编码对象信号进行编码，该运动图像编码方法包括
预测信号生成步骤，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；
量化步骤，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；
逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；
滤波器信息生成步骤，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及
熵编码步骤，对在所述量化步骤生成的所述量化系数以及在所述滤波器信息生成步骤生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
2.如权利要求1所述的运动图像编码方法，
在所述滤波器信息生成步骤中生成所述第一滤波器信息和所述第二滤波器信息，以使重构信号和所述编码对象信号的差分被最小化，所述重构信号是通过使滤波处理后预测信号和滤波处理后量化预测误差信号相加而得到的，所述滤波处理后预测信号是通过根据所述第一滤波器信息对所述预测信号进行滤波处理而得到的，所述滤波处理后量化预测误差信号是通过根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理而得到的。
3.如权利要求1所述的运动图像编码方法，
所述预测信号生成步骤包括
滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成重构信号；以及
预测信号生成步骤，根据所述重构信号，来生成通过对在所述编码对象信号之后被编码的其他的编码对象信号进行预测而得到的第二预测信号。
4.如权利要求3所述的运动图像编码方法，
在所述滤波处理步骤中，进行使所述重构信号的块失真减少的解块处理。
5.如权利要求3所述的运动图像编码方法，
在所述滤波处理步骤，在进行运动补偿预测之前先进行内插滤波处理。
6.如权利要求1所述的运动图像编码方法，
在所述滤波器信息生成步骤，根据重构信号的统计特性来生成第三滤波器信息，所述重构信号是通过使所述预测信号和所述量化预测误差信号相加而得到的；
在所述熵编码步骤，通过对所述量化预测误差信号以及所述第一滤波器信息、所述第二滤波器信息和所述第三滤波器信息进行熵编码，从而生成所述编码信号。
7.一种运动图像解码方法，通过对构成运动图像的编码信号进行解码，从而生成解码信号，该运动图像解码方法包括
熵解码步骤，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；
逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；
预测信号生成步骤，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及
滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
8.如权利要求7所述的运动图像解码方法，
所述预测信号生成步骤包括
滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成重构信号；以及
预测信号生成步骤，根据所述重构信号，来生成通过对在所述编码信号之后被解码的其他的解码信号进行预测而得到的第二预测信号。
9.一种运动图像编码装置，对构成运动图像的编码对象信号进行编码，该运动图像编码装置包括
预测信号生成部，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；
量化部，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；
逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；
滤波器信息生成部，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及
熵编码部，对在所述量化部生成的所述量化系数以及在所述滤波器信息生成部生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
10.一种运动图像解码装置，通过对构成运动图像的编码信号进行解码，从而生成解码信号，该运动图像解码装置包括
熵解码部，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；
逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；
预测信号生成部，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及
滤波处理部，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
11.一种程序，使计算机对构成运动图像的编码对象信号进行编码，该程序包括
预测信号生成步骤，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；
量化步骤，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；
逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；
滤波器信息生成步骤，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及
熵编码步骤，对在所述量化步骤生成的所述量化系数以及在所述滤波器信息生成步骤生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
12.一种程序，使计算机对构成运动图像的编码信号进行解码，从而生成解码信号，该程序包括
熵解码步骤，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；
逆量化步骤，对所述量化系数进行逆量化，从而生成量化预测误差信号；
预测信号生成步骤，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及
滤波处理步骤，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
13.一种集成电路，对构成运动图像的编码对象信号进行编码，该集成电路包括
预测信号生成部，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；
量化部，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；
逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；
滤波器信息生成部，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及
熵编码部，对在所述量化部生成的所述量化系数以及在所述滤波器信息生成部生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
14.一种集成电路，对构成运动图像的编码信号进行解码，从而生成解码信号，该集成电路包括
熵解码部，通过对所述编码信号进行熵解码，从而获得量化系数和第一滤波器信息以及第二滤波器信息；
逆量化部，对所述量化系数进行逆量化，从而生成量化预测误差信号；
预测信号生成部，根据在所述编码信号之前被解码的其他的编码信号，来生成通过对所述解码信号进行预测而得到的预测信号；以及
滤波处理部，根据所述第一滤波器信息对所述预测信号进行滤波处理，从而生成滤波处理后预测信号，并且根据所述第二滤波器信息对所述量化预测误差信号进行滤波处理，从而生成滤波处理后量化预测误差信号，通过使所述滤波处理后预测信号和所述滤波处理后量化预测误差信号相加，从而生成所述解码信号。
全文摘要
本发明所涉及的运动图像编码方法包括预测信号生成步骤(S16)，根据在所述编码对象信号之前被编码的其他的编码对象信号，来生成通过对所述编码对象信号进行预测而得到的预测信号；量化步骤(S12)，通过对从所述编码对象信号中减去所述预测信号而得到的预测误差进行量化，从而生成量化系数；逆量化步骤(S13)，对所述量化系数进行逆量化，从而生成量化预测误差信号；滤波器信息生成步骤(S14)，既生成第一滤波器信息又生成第二滤波器信息，所述第一滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述预测信号的统计特性而被生成的，所述第二滤波器信息是仅根据所述预测信号以及所述量化预测误差信号中的所述量化预测误差信号的统计特性而被生成的；以及熵编码步骤(S15)，对在所述量化步骤生成的所述量化系数以及在所述滤波器信息生成步骤生成的所述第一滤波器信息和所述第二滤波器信息进行熵编码，从而生成编码信号。
文档编号H04N7/50GK101796847SQ20098010029
公开日2010年8月4日 申请日期2009年7月2日 优先权日2008年7月3日
发明者M·纳罗施克, S·维特曼, T·韦丁 申请人:松下电器产业株式会社