运动图像编码方法以及运动图像解码方法

专利名称：运动图像编码方法以及运动图像解码方法
技术领域：
本发明涉及一种对运动图像信号进行压缩编码的运动图像编码方法，以及对运动 图像信号压缩编码而成的编码列进行解码的运动图像解码方法。
背景技术：
作为为了在电视机、个人计算机(PC)、移动电话、或其他显示图像信号的装置中， 以低位速率对运动图像信号进行编码并传送的技术，运动图像编码技术是公知的。例如， 作为运动图像压缩的国际标准的MPEG (Moving Picture Experts Group)，是一种在编码时 制作预测图像，抽出对预测图像与编码图像的差分信息进行了正交变换与量化所得到的信 息、与用于预测图像生成的信息，并使用平均信息量编码进行压缩编码的方式，应用于存储 系统或播放系统的领域。进而，高像质化的新标准方式，是否具有与这些现有的标准方式之间的相互连接 性(互换性)是一个问题。互换性中，存在能够通过现有方式的解码器对新标准方式的编 码列的一部分进行解码的方法。作为这样的方法，提出了具有分级的分辨率，低分辨率图像 部分采用现有方式，高分辨率图像部分采用新方式，通过这样得到再生图像的方法(例如 参照专利文献1)。专利文献1 特开平5-308631号公报但是，如果像上述方法那样对高分辨率图像的差分信息进行编码，就存在高分辨 率化所需要的数据量增多这一问题。

发明内容
因此，本发明立足于以上问题，目的在于提供一种能够抑制高分辨率化所需要的 数据量，实现高分辨率化与高像质化的运动图像编码方法以及运动图像解码方法。为实现上述目的，本发明的相关运动图像编码方法，是一种对运动图像信号进行 压缩编码的运动图像编码方法，其特征在于通过对所述运动图像信号进行压缩编码来输 出编码列；并且根据对所述运动图像信号进行正交变换所得到的正交变换系数，生成用来 对从所述编码列所得到的解码运动图像信号进行正交变换而得到的正交变换系数进行补 正的系数补正信息；将所述系数补正信息作为所述编码列的附加信息输出。通过这样，能够抑制高分辨率化所必需的数据量，实现高分辨率化与高像质化。作为优选方式，上述运动图像编码方法，进一步生成由所述运动图像信号的低频 成分所构成的低频带运动图像信号，并通过对所述低频带运动图像信号进行压缩编码，来 输出所述编码列。
另外，作为优选方式，上述运动图像编码方法，进一步生成将所述运动图像信号降 低采样到给定的分辨率所得到的缩小图像信号；通过对所述缩小图像信号进行压缩编码， 来输出所述编码列。另外，作为优选方式，上述运动图像编码方法，进一步通过对所述编码列进行预解 码而生成预解码图像信号；通过对所述预解码图像信号进行正交变换，求出预解码正交变 换系数；根据所述正交变换系数以及所述预解码正交变换系数，生成所述系数补正信息。通 过这样，能够提高解码图像的像质。另外，作为优选方式，所述系数补正信息，是表示所述正交变换系数属于分成给定 数目个的值区域中的哪一个的分类信息；根据所述预解码正交变换系数，决定用来划分所 述值区域的阈值；通过根据所述阈值，决定所述正交变换系数属于所述值区域中的哪一个， 来生成所述分类信息。另外，作为优选方式，所述系数补正信息，是用来根据所述预解码正交变换系数来 预测所述正交变换系数的线性预测系数；通过根据所述正交变换系数与所述预解码正交变 换系数，决定所述线性预测系数，来生成所述系数补正信息。另外，作为优选方式，所述系数补正信息，是表示所述预解码正交变换系数与所述 正交变换系数之间的相关关系的信息；通过对以多个作为所述正交变换单位的块而归纳的 所述正交变换系数与所述预解码正交变换系数的各个频带下的系数的集合，分别计算出相 关度，来生成所述系数补正信息。另外，本发明的相关运动图像解码方法，是一种对运动图像信号被压缩编码而成 的编码列进行解码的运动图像解码方法，其特征在于取得用来对从所述编码列所得到的 解码运动图像信号进行正交变换所得到的正交变换系数进行补正的系数补正信息，作为所 述编码列的附加信息；通过对所述编码列进行解码，生成第1运动图像信号；通过对所述第 1运动图像信号进行正交变换，求出解码正交变换系数；根据所述系数补正信息与所述解 码正交变换系数，求出补正正交变换系数；通过对所述补正正交变换系数进行逆正交变换， 输出第2运动图像信号。通过这样，能够使用很少数据量的系数补正信息，提高解码图像信号的像质。另外，作为优选方式，所述系数补正信息，是表示所述正交变换系数属于分成给定 数目个的值区域中的哪一个的信息；根据所述解码正交变换系数，决定用来划分所述值区 域的阈值；根据表示所述正交变换系数属于分成给定数目个的值区域中的哪一个的信息以 及所述阈值，求出所述补正正交变换系数。另外，作为优选方式，所述系数补正信息，是用来预测应当求出的正交变换系数的 线性预测系数；使用所述线性预测系数，根据所述解码正交变换系数计算出所述补正正交 变换系数。另外，作为优选方式，所述系数补正信息，是表示将应当求出的正交变换系数以及 所述解码正交变换系数的各个频带下的系数，以多个作为所述正交变换单位的块而归纳的 集合中的相关关系的信息；通过由所述多个块的所述解码正交变换系数的每一个频带的系 数的集合，根据表示所述相关关系的信息，求出以所述多个块归纳的每一个频带的系数的 集合，来求出所述补正正交变换系数。另外，作为优选方式，通过使用所述系数补正信息从所述正交变换系数生成给定个数的未知的正交变换系数，来求出使个数增加的正交变换系数作为所述补正正交变换系 数；将通过对所述补正正交变换系数进行逆正交变换而被提升到了给定的分辨率的运动图 像信号，作为所述第2运动图像信号输出。通过这样，能够实现高分辨率化以及高像质化。另外，本发明不仅仅能够作为这样的运动图像编码方法与运动图像解码方法来实 现，还可以作为以具有这样的运动图像编码方法以及运动图像解码方法的特征步骤为机构 的运动图像编码装置以及运动图像解码装置来实现，或将这些步骤作为在计算机中执行的 程序来实现。另外，不言而喻，这样的程序可以经由CD-ROM等记录媒体或互联网等传送媒 体来传送。通过本发明所涉及的运动图像编码方法与运动图像解码方法，能够以低位速率生 成高像质的编码列，进而还能够以低位速率实现解码图像的高分辨率化与高像质化，其实 用价值很高。


图1为表示本发明的实施方式1所涉及的运动图像编码装置之构成的方框图。图2(a)为表示输入图像DCT系数的系数值A P的图，图2(b)为表示解码图像 DCT系数的系数值a d的图，图2 (c)为表示将输入图像DCT系数分为3类的一例的图，图 2(d)为表示将解码图像DCT系数分为3类的一例的图。图3为表示通过补正信息生成部生成系数补正信息时的动作流程的流程图。图4(a) (b) (c) (d)为用来说明阈值TH(X)的图。图5为表示补正信息生成部所具有的表格的一例的图，(a)为第一分类表，(b)为 第二分类表，(d)为编码表，(d)为其他编码表。图6为表示变形例1中通过补正信息生成部生成系数补正信息时的动作流程的流 程图。图7(a)为表示使用解码图像DCT系数进行线性预测运算来计算出输入图像DCT 系数的示意图，(b) (c) (d)为表示变形例2中通过补正信息生成部生成系数补正信息时的 动作流程的流程图。图8(a)表示输入图像的给定图像区域内的方块，(b)表示方块的解码图像DCT系 数的系数值A P，(c)表示以给定的图像区域单位归纳的各个系数的图。图9(a)表示解码图像的给定图像区域内的方块，(b)表示方块的解码图像DCT系 数的系数值a d，(c)表示以给定的图像区域单位归纳的各个系数的图。图10为表示变形例3中通过补正信息生成部生成系数补正信息时的动作流程的 流程图。图11为表示本发明的实施方式1的变形例4所涉及的运动图像编码装置之构成 的方框图。图12为用来说明系数补正信息的传送方法的图，(a)为表示将编码列与附加信息 作为不同的编码列进行传送的例子的图，(b)为表示在编码列中的图像头中加入有附加信 息的例子的图，(c)为表示在编码列中的宏块头中加入有附加信息的例子的图。图13为表示本发明的实施方式2所涉及的运动图像解码装置之构成的方框图。图14(a)为表示通过系数补正部补正DCT系数时的基本动作流程的流程图，(b)为表示包含有关于分辨率变换的判断的情况下的通过系数补正部补正DCT系数时的基本动 作流程的流程图。图15为用来说明补正DCT系数的计算的图，(a)为不进行分辨率变换的情况下的 例子，(b)为系数补正信息中不含有用来补正解码图像DCT系数的信息，进行分辨率变换的 情况下的例子，(c)为系数补正信息中含有用来补正解码图像DCT系数的信息，进行分辨率 变换的情况下的例子。图16 (a)为表示系数补正信息中含有DCT系数的分类信息的情况下的动作流程的 流程图，(b)为说明根据分类信息补正DCT系数的方法的说明图。图17(a)为表示系数补正信息中含有线性预测系数的情况下的动作流程的流程 图，(b)为说明根据线性预测系数补正DCT系数的方法的说明图。图18(a)为表示系数补正信息中含有相关关系信息的情况下的动作流程的流程 图，(b)为说明根据相关关系信息补正DCT系数的方法的说明图。图19为用于存储用来通过计算机系统来实现上述各个实施方式的运动图像编码 方法以及运动图像解码方法的程序的存储介质的说明图(实施方式3)，(a)为表示作为存 储介质本体的软盘的物理格式的一例的说明图，(b)为表示从软盘的正面所看到的外观、剖 面构造、以及软盘的说明图。(c)为表示用来在软盘FD中进行上述程序的记录再生的结构 的说明图。图20为表示内容提供系统的全体构成的方框图(实施方式4)。图21为表示使用运动图像编码方法以及运动图像解码方法的移动电话的例子 (实施方式4)。图22为移动电话的方框图(实施方式4)。图23为数字广播用系统的例子(实施方式4)。图中101...输入图像信号，102...第1正交变换部，103...输入图像DCT系数， 104. · ·补正信息生成部，105. · ·补正信息，106. · ·可变长度编码部，107. · ·补正信息编码 列，108...降低采样部，109...缩小图像信号，110...编码部，111...编码列，112...局 部解码部，113...解码图像信号，114...第2正交变换部，115...解码图像DCT系数， 116...低通滤波器，117...低频带图像信号，701...补正信息编码列，702...可变长度解 码部，703···补正信息，704...编码列，705...解码部，706...解码图像信号，707...正交 变换部，708...解码图像的DCT系数，709...系数补正部，710...补正DCT系数，711...逆 正交变换部，712...输出图像信号，1003...图像头，1004...宏块头，1005...宏块数据， Cs. · ·计算机系统，FD. · ·软盘，FDD. · ·软盘驱动器。
具体实施例方式下面对本发明的各个实施方式，分别参照附图进行说明。(实施方式1)图1为表示本发明的实施方式1所涉及的运动图像编码装置之构成的方框图。运动图像编码装置100，是用来对运动图像信号进行压缩编码的装置，如图1所 示，具有第1正交变换部102、补正信息生成部104、可变长度编码部106、降低采样部108、 编码部110、局部解码部112、第2正交变换部114、以及低通滤波器116。
第1正交变换部102，对输入图像信号101进行离散余弦变换(DCT)，并将输入图 像DCT系数103输出。低通滤波器116通过对输入图像信号101进行低通滤波处理，抑制 图像信号的高频区域的数据，输出低频带图像信号117。降低采样部IOg将低频带图像信 号117的分辨率降低采样到预先决定的分辨率，输出缩小图像信号109。编码部110，通过 预先决定的编码方式对缩小图像信号109进行压缩编码，输出编码列111。局部解码部112 对应于编码部110的编码方式，对编码列111进行解码，并输出解码图像信号113。第2正 交变换部114对解码图像信号113进行离散余弦变换，并输出解码图像DCT系数115。补正 信息生成部104根据输入图像DCT系数103与解码图像DCT系数115，生成系数补正信号 105，系数补正信号105用来对正交变换系数进行补正，该正交变换系数是通过对由编码列 所得到的解码运动图像信号进行正交变换所得到的。可变长度编码部106，通过对系数补正 信息105进行可变长度编码，而输出补正信息编码列107作为编码列111的附加信息。接下来，对如上所构成的运动图像编码装置100的动作进行说明。图2(a)为表示 输入图像DCT系数的系数值A P的图，图2 (b)为表示解码图像DCT系数的系数值a d 的图。输入图像信号101被输入给第1正交变换部102与低通滤波器116。第1正交变 换部102对所输入的输入图像信号101进行离散余弦变换，并将输入图像DCT系数103输 出。这里，例如如果以4X4像素单位的块进行离散余弦变换，第1正交变换部102便如图 2(a)所示，输出输入图像DCT系数的系数值A P。另外，低通滤波器116通过对所输入的输入图像信号101进行低通滤波处理，来抑 制输入图像信号101的高频区域的数据，输出低频带图像信号117。接下来，降低采样部108 将低频带图像信号117的分辨率降低采样到预先决定的分辨率，输出缩小图像信号109。这 里设在水平方向与垂直方向上分别缩小到1/2。编码部110，通过预先决定的编码方式对缩 小图像信号109进行压缩编码，输出编码列111。局部解码部112对应于编码部110的编码 方式，对编码列111进行解码，并输出解码图像信号113。第2正交变换部114对解码图像 信号113进行离散余弦变换，并输出解码图像DCT系数115。这里，由于解码图像信号113 是将低频带图像信号117分别在水平方向与垂直方向上缩小到1/2的图像信号，因此如果 例如以2X2像素单位进行离散余弦变换，第2正交变换部114便如图2(b)所示，输出解码 图像DCT系数的系数值a d。另外，该解码图像DCT系数的系数值a d是相当于输入图 像DCT系数的低频带的系数即系数值A D的部分，值也几乎为相同的值。接下来，补正信 息生成部104，根据输入图像DCT系数103与解码图像DCT系数115，生成编码列的解码时 所使用的系数补正信息105。图3为表示通过补正信息生成部104生成系数补正信息105时的动作流程的流程 图。补正信息生成部104，取得输入图像DCT系数103与解码图像DCT系数115 (步骤 S101)后，便根据解码图像DCT系数115，按照每一个块决定用来将输入图像DCT系数103 可取的值的区域例如图4(a)所示分成给定数目的区域的阈值TH(X)(步骤S102)。该图 4(a)所示的例子中，决定1个阈值TH(X)，并分成3个区域(A)、区域(B)、区域(C)。这里， COEFF(X)表示位置(频带)X的DCT系数，TH(X)表示与位置X对应的给定的阈值。一般来说，DCT系数(COEFF)的绝对值，如图4(b)中所示的曲线R所示，随着频率增高而衰减。因此能够使用解码图像DCT系数115来预测曲线R。实际上由于DCT系数 (COEFF)如图4(c)所示，取离散值，因此如图4(d)所示，预测曲线R、曲线R’，并按每一个 DCT系数的频带决定阈值TH(X)。接下来，补正信息生成部104，使用已决定的阈值TH(X)，通过下面示出的(公式 1)，将输入图像DCT系数103分类属于3个区域(A)、区域(B)、区域(C)中的哪一个(步骤 S103)。另外，本实施方式中，对输入图像DCT系数的低频带的系数即系数值A D，不进行 分类。I COEFF (X) | < TH(X)...(公式 1)这里，COEFF(X)表示位置X的DCT系数，TH⑴表示与位置X对应的给定的阈值。 另外，符号11表示绝对值。图2(c)是示出了将输入图像DCT系数使用所决定的分别对应的阈值TH(X)分类 成3类后的一例的图。例如，该图2(c)中，满足上述(公式1)的情况下的系数值(G、I、0) 为横线所示的分类(C)，不满足上述(公式1)，且COEFF(X)为正的情况下的系数值(F、J、 L)为通过从右上到左下方向的斜线所示的分类(A)，不满足上述(公式1)，且COEFF(X)为 负的情况下的系数值(E、H、K、M、N、P)为通过从左上到右下方向的斜线所示的分类(B)。接下来，补正信息生成部104将表示属于这样所决定的3个区域(A)、区域(B)、区 域(C)中的哪一个的分类信息，作为系数补正信息105输出(步骤S104)。之后，可变长度编码部106，通过对系数补正信息105进行可变长度编码，输出补 正信息编码列107。如上所述，运动图像编码装置100将对降低采样过的缩小图像信号109进行压缩 编码所得到的编码列111以及补正信息编码列107作为编码结果输出，因此能够抑制高分 辨率化所需要的数据量。另外，由于按每一个块决定阈值TH(X)，因此能够采用适于块内的 图像的阈值TH(X)，提高解码图像的像质。这种情况下，在后述的解码侧，根据能够从编码列111取得的解码图像DCT系数， 预测曲线R、曲线R’，并通过从补正信息编码列107所得到的分类信息，确定输入图像DCT 系数的高频带系数即系数值E P，对输入图像DCT系数进行复原，因此能够提高解码图像 的像质。另外，本实施方式中，补正信息生成部104按每一个进行DCT处理的块决定与位置 X对应的阈值TH(X)，但并不仅限于此。例如，补正信息生成部104通过按每4个块或每个 图片决定阈值TH⑴，能够削减处理量。另外，本实施方式中，补正信息生成部104使用解码图像DCT系数预测了曲线R之 后，再决定阈值TH(X)，但并不仅限于此。例如还可以预先设定阈值TH(X)并使用。这种情 况下，由于不需要使用解码图像DCT系数，因此运动图像解码装置100的构成中，可以采用 不含有局部解码部112与第2正交变换部114的构成。另外，此时可以将阈值TH(X)的信 息作为系数补正信息输出。这种情况下，能够提高解码图像的像质。另外，本实施方式中，示出了将输入图像DCT系数分类成了 3个区域的例子，但不 一定要是3个区域。例如还可以使用多个TH(X)，增加分类数，从而能够提高解码图像的像 质。另外，本实施方式中对于输入图像DCT系数的低频带的系数即系数值A D不进行分类，但也可以进行分类，在分类信息中含有系数值A D的分类。通过这样，能够进一 步削减DCT系数的编码量。另外，还可以事先在解码侧准备分类信息。这种情况下，只在与解码侧所准备的分 类信息不同的情况下，输出系数补正信息，通过这样能够削减系数补正信息105的数据量。另外，解码侧所准备的分类信息可以是多个。这种情况下，通过输出用来确定解码 侧所准备的分类信息的信息，以及与所确定的分类信息不同的情况下的系数补正信息，能 够削减系数补正信息105的数据量。另外，本实施方式中，正交变换中使用离散余弦变换(DCT)，但并不仅限于此。例如 还可以使用离散小波变换(DWT)，或哈达玛变换(HT)。另外，本实施方式中，作为DCT系数，对输入图像DCT系数通过A P这16个系数， 解码图像DCT系数通过a d这4个系数进行了说明，但各个变换系数并不仅限于此。另外，本实施方式中，降低采样部108将分辨率降低到预先决定的分辨率，但也可 以降低到预先决定的分辨率以外。这种情况下，关于分辩率的降低方法，只要含有系数补正 信息并输出就可以，通过这样，能够以符合图像内容的分辨率进行显示。(变形例1)上述实施方式1中，对将上述的分类信息作为系数补正信息105输出的情况进行 了说明，但本变形例中对用来确定分类信息的信息而不是分类信息本身作为系数补正信息 105而输出的情况进行说明。另外，关于运动图像编码装置100的构成，与上述实施方式1 相同，补正信息生成部104的构成与动作不同。补正信息生成部104，例如具有使图5(a)所示的输入图像DCT系数可分类的组 合以及组合编号(il、i2、…)相对应的第1分类表；以及使图5(b)所示的解码图像DCT系 数可分类的组合以及组合编号(dl、d2、…)相对应的第2分类表。另外，补正信息生成部 104具有编码表，其用来根据例如针对图5(c)所示的输入图像DCT系数的组合编号、以及针 对解码图像DCT系数的组合编号来决定特定的编码。另外，关于输入图像DCT系数可分类 的组合，总计存在163的组合，关于解码图像DCT系数可分类的组合，总计存在43的组合，但 这两个表不需要具有所有的这些组合，例如还可以将类似组合作为1个组合进行处理。另 外，编码表还可以对输入图像DCT系数分类的组合，根据解码图像DCT系数分类的组合的哪 个组合容易产生等的相关，来预先分配编码。图6为表示变形例1中通过补正信息生成部104生成系数补正信息105时的动作 流程的流程图。另外，对于与上述实施方式1相同的部分，省略说明。从取得输入图像DCT系数103与解码图像DCT系数115 (步骤S101)，到输入图像 DCT系数103属于3个区域(A)、区域(B)、区域(C)中的哪一个的分类(步骤S 103)的处 理，与上述实施方式1相同。接下来，补正信息生成部104使用已决定的阈值TH (X)，通过上 述(公式1)，与输入图像DCT系数103的情况下一样，将解码图像DCT系数103分类属于3 个区域(A)、区域(B)、区域(C)中的某一个(步骤S201)。图2(d)中示出了将解码图像DCT系数使用已决定的分别对应的阈值TH(X)分类 成3类后的一例的图。例如，该图2(d)中，满足上述(公式1)的情况下的系数值(a)为横 线所示的分类(C)，不满足上述(公式1)，且COEFF (X)为正的情况下的系数值(b、c)为通 过从右上到左下方向的斜线所示的分类(A)，不满足上述(公式1)，且COEFF(X)为负的情况下的系数值(d)为通过从左上到右下方向的斜线所示的分类(B)。接下来，补正信息生成部104，根据对输入图像DCT系数103进行了分类的结果， 参照第1表，决定针对输入图像DCT系数的组合编号。另外，补正信息生成部104根据对解 码图像DCT系数115进行分类的结果，参照第2表，决定针对解码图像DCT系数的组合编号 (步骤S202)。接下来，根据针对输入图像DCT系数的组合编号，以及对解码图像DCT系数 的组合编号，参照表格，决定特定的编码(步骤S203)。例如，在针对解码图像DCT系数的组 合编号是(d2)，输入图像DCT系数的分类的组合是(il)的情况下，参照图5(c)所示的编码 表，将编码决定为(0)。之后，补正信息生成部104，将已决定的编码作为系数补正信息输出 (步骤 S204)。如上所述，由于将用来确定输入图像DCT系数分类的分类信息的编码，作为系数 补正信息输出，因此能够削减系数补正信息的数据量。这种情况下，解码侧能够使用针对 在解码侧所能够取得的解码图像DCT系数的组合编号、以及作为系数补正信息所取得的编 码，求出输入图像DCT系数分类的组合。另外，本变形例中，如图5(c)所示，对具有1个编码表的情况进行了说明，但并不 仅限于此。例如还可以如图5(d)所示，具有多个编码表。这种情况下，例如可以对应于解 码图像DCT系数a的系数值，来切换编码表。通过这样，能够进一步削减系数补正信息105 的数据量。另外，还可以事先在解码侧与编码侧具有共通的分类的组合。这种情况下，可以发 送与共通具有的分类组合之间的差分，作为系数补正信息。通过这样，能够削减系数补正信 息105的数据量。(变形例2)上述实施方式1中，对将上述分类信息作为系数补正信息105输出的情况进行了 说明，但本变形例中，对将线性预测系数而不是分类信息，作为系数补正信息105输出的情 况进行说明。另外，运动图像编码装置100的构成，与上述实施方式1相同，而补正信息生 成部104的构成及动作不同。图7(a)为表示通过使用解码图像DCT系数进行线性预测运算，计算出输入图像 DCT系数的示意图。图7(a)中示出了解码图像DCT系数具有系数值a d，输入图像DCT 系数具有系数值A P的情况。补正信息生成部104，根据输入图像DCT系数103与解码图像DCT系数115，如图 7(a)所示，使用解码图像DCT系数，进行线性预测运算，由此计算出用来输出输入图像DCT 系数的线性预测系数。图7 (b)为表示变形例2中通过补正信息生成部104生成系数补正信息105时的 动作流程的流程图。补正信息生成部104，取得了输入图像DCT系数103与解码图像DCT系数115之 后(步骤S301)，便如图7(a)所示，使用解码图像DCT系数，进行线性预测计算，使用下面的 (公式2)计算出用来输出输入图像DCT系数的线性预测系数(步骤S302)。(公式2)A = Xl (A) X a+X2 (A) X b+X3 (A) X c+X4 (A) X dB = Xl (B) X a+X2 (B) X b+X3 (B) X c+X4 (B) X d
...P = Xl (P) X a+X2 (P) X b+X3 (P) X c+X4 (P) X d这里，Xl⑴ X4⑴表示位置X的线性预测系数。接下来，补正信息生成部104将所计算出的线性预测系数作为系数补正线性105 输出(步骤S303)。如上所述，由于运动图像编码装置100将对降低采样后的缩小图像信号109进行 压缩编码所得到的编码列111以及补正信息编码列107，作为编码结果输出，因此能够抑制 高分辨率化所需要的数据量。这种情况下，在解码侧，能够根据可从编码列111所取得的解码图像DCT系数，使 用线性预测系数，对输入图像DCT系数进行复原，因此能够提高解码图像的像质。另外，本变形例中，线性预测系数对输入图像DCT系数的所有位置A P作为系数 补正信息而输出，但不一定要对输入图像DCT系数的所有位置作为系数补正信息而输出。 例如，位置A D的系数部分，能够从解码图像DCT系数的系数导出，通过不含有该系数，能 够削减系数补正信息105的数据量。另外，在输入图像DCT系数值的绝对值较小的情况下， 通过不输出线性预测系数，能够削减系数补正信息105的数据量。另外，本变形例中，按每一个块计算出线性预测系数并作为系数补正信息输出，但 并不仅限于此。例如还可以收集线性预测系数相似的块，并与相似块的信息一起作为系数 补正信息输出。图7(c)为表示这种情况下由补正信息生成部104生成系数补正信息105 时的动作流程的流程图。补正信息生成部104，取得了输入图像DCT系数103与解码图像DCT系数115 (步 骤S301)之后，与上述一样，计算出线性预测系数(步骤S302)。接下来，补正信息生成部 104判断按每一个块计算出的线性预测系数的类似性，并合并系数(步骤S401)。此时，类 似性的判断基准使用线性预测系数的欧几里得距离等，将近的距离的系数合并。作为合并 的方法，使用欧几里得距离为一定以上的较小者的平均值。补正信息生成部104，将该合并 后的线性预测系数、以及块的合并信息，作为系数补正信息105输出(步骤S402)。通过这 样，能够削减系数补正信息105的数据量。另外，还可以例如收集解码图像DCT系数类似的块，并与类似的块的信息一起，作 为系数补正信息输出。图7(d)为表示这种情况下由补正信息生成部104生成系数补正信 息105时的动作流程的流程图。补正信息生成部104，取得了输入图像DCT系数103与解码图像DCT系数115 (步骤 S301)之后，判断每一个块的解码图像DCT系数的类似性，并进行分组(步骤S501)。此时， 类似性的判断基准使用系数的欧几里得距离等，进行分组。接下来，补正信息生成部104，按 每一个该组计算出线性预测系数(步骤S502)。接下来，补正信息生成部104，将该线性预 测系数、以及块的合并信息，作为系数补正信息105输出(步骤S503)。通过这样，能够削减 系数补正信息105的数据量。另外，在使用图7(d)中所说明的方法的情况下，通过在编码侧与解码侧，用相同 的方法对解码图像DCT系数进行分组，由此可以不将合并信息作为系数补正信息输出。这 种情况下，能够进一步削减系数补正信息105的数据量。另外，本变形例中，可以预先在解码侧与编码侧设有共通的线性预测系数，并作为系数补正信息，发送所计算出的信息预测系数与共通设有的信息预测系数之间的差分。通 过这样，能够削减系数补正信息105的数据量。(变形例3)上述实施方式1中，对将上述的分类信息作为系数补正信息105输出的情况进行 了说明，但本变形例中，对将补正用的等级(level)而不是分类信息作为系数补正信息105 输出的情况进行说明。另外，关于运动图像编码装置100的构成，与上述实施方式1相同， 补正信息生成部104的构成及动作不同。补正信息生成部104，对给定区域中含有的多个块的输入图像DCT系数103以及解 码图像DCT系数115，分别区分为每一个频带的系数集合，并计算出各自的相关程度，对应 于所计算出的相关程度，决定补正用的等级。图10为表示变形例3中通过补正信息生成部104生成系数补正信息105时的动 作流程的流程图。另外，图8(a)中示出了输入图像的给定区域区域内的块，图8(b)示出了 块的输入图像DCT系数的系数值A P，图8(c)示出了以给定的图像区域单位所归纳的各 个系数。另外，图9 (a)中示出了解码图像的给定图像区域内的块，图9(b)示出了块的解码 图像DCT系数的系数值a d，图9 (c)示出了以给定的图像区域单位所归纳的各个系数。补正信息生成部104，如图8(a)、图9(a)所示取得了给定区域中含有多个(这里 为9个)块的输入图像DCT系数103以及解码图像DCT系数115 (步骤S601)之后，对该多 个块，如图8(c)、图9(c)所示，分为每一个频带的系数集合(步骤S602)。接下来，补正信 息生成部104计算出相关程度(步骤S603)，该相关程度表示输入图像侧各个系数的集合 与解码图像侧各个系数的集合的类似性。例如，对系数Al A9的集合，计算出系数al a9的集合、系数bl b9的集合、系数cl c9的集合、系数dl d9的集合的相关程度。 另外，对系数Bl B9的集合 系数Pl P9的集合也同样分别计算出相关程度。接下来， 补正信息生成部104，决定与输入图像侧的各个系数的集合最有相关性的某个解码图像侧 系数的集合的位置，并对应于该相关程度，决定补正用的等级(步骤S604)。该补正用的等 级，例如是在相关程度较小的情况下接近0，在相关程度较高的情况下接近1的值。之后，补 正信息生成部104，将表示所决定的集合的位置的信息以及补正用等级，作为系数补正信息 105输出(步骤S605)。如上所述，运动图像编码装置100，将对降低采样后的缩小图像信号109进行了压 缩编码后的编码列111以及补正信息编码列107，作为编码结果输出，因此能够抑制高分辨 率化所需要的数据量。这种情况下，由于在解码侧，能够根据从编码列111所能够取得的解码图像DCT系 数，使用表示集合的位置的信息与补正用等级，对输入图像DCT系数进行复原，因此能够提 高解码图像的像质。另外，本变形例中，给定区域的尺寸并不仅限于预先决定。在没有预先决定的情况 下，输出给定区域的取法作为系数补正信息。通过这样，能够生成与图像对应的系数补正信 息，从而能够提高解码图像的像质。另外，本变形例中，可以预先在解码侧与编码侧设有共通的补正用的等级，并发送 所计算出的补正用的等级与共通设有的补正用的等级之差分，作为系数补正信息。通过这 样，能够削减系数补正信息105的数据量。
15
(变形例4)图11为表示本发明的实施方式1的变形例4所涉及的运动图像编码装置之构成 的方框图。另外，对于与上述实施方式1相同的构成，省略其说明。运动图像编码装置200，相对图1中所示的运动图像编码装置100的构成，没有低 通滤波器116以及降低采样部108。此外均与运动图像编码装置100相同。因此，编码部 110通过事先决定的编码方式对输入图像信号101进行压缩编码，输出编码列111。这样，由于不使用低通滤波处理以及分辨率变换，能够简化处理电路，进而通过使 用系数补正信息，还能够与以前的编码方式相比让解码图像更加高像质化。另外，本变形例4中，采用不具有低通滤波器116以及降低采样部108的构成，但 并不仅限于此。例如还可以采用没有低通滤波器116或降低采样部108的构成。接下来，对系数补正信息的传送方法进行说明。图12为用来说明系数补正信息 的传送方法的图，(a)为表示将编码列与附加信息作为不同的编码列进行传送的例子的图， (b)为表示在编码列中的图像头中加入有附加信息的例子的图，(c)为表示在编码列中的 宏块头中加入有附加信息的例子的图。包括上述变形例1 4的本实施方式1中，系数补正信息105，通过可变长度编码 部106进行可变长度编码，如图12(a)所示，作为补正信息编码列107与编码列111分别传 送。这种情况下，由于编码列111与作为附加信息的补正信息编码列107完全无关地传送， 因此即使在解码侧不对应于补正信息编码列107的情况下，也能够顺利地得到解码图像。 另外，如果是与解码信息编码列107对应的运动图像解码方法，则能够对高域信息进行复 原，因此能够提高解码像质。另外，由于补正信息编码列107与编码列111作为不同的信息 传送，因此能够由传送装置停止传送自身，从而在带宽较窄的通信中，在不需要时能够不进 行传送。另外，关于系数补正信息的传送方法，并不仅限于如上所述将补正信息编码列107 与编码列111另行传送的方法，还可以与编码列111组合来进行传送。例如，系数补正信息105，如图12(b)所示，可以加入到编码列111中的图像头 1003中的能够自由放入数据的部分中。这里，能够自由放入数据的部分是指表示对在标 准规格中加入到该部分中的信息，规定进行特定的处理或不进行处理的区域，例如被称作 MPEG规格的用户数据的区域。另外，图像头是指加入在1张图像中共通的信息等的部分，是 对1个图像附加有一个的信息。这种情况下，即使在解码侧不对应于系数补正信息105的情况下，也能够顺利得 到解码图像。另外，如果是与系数补正信息105对应的运动图像解码方法，则能够对高域信 息进行复原，因此能够提高解码像质。另外，图12(b)中，采用图像头进行了说明，但并不仅限于此，只要是在作为运动 图像的开头信息区域的序列头、作为运动图像的特定区间的信息区域的GOP头等，能够自 由加入数据的部分即可。另外，例如系数补正信息105，如图12(c)所示，可以加入到编码列111中的宏块 头1004中。这里，宏块头是指将构成1张图片的图像分割成特定的区域，并按每一个该区 域一个一个地进行附加的信息。特定的区域例如是16X16像素大小的块。将每一个该区 域的数据存储到宏块数据1005中。系数补正信息105不一定存在于所有的区域中，因此只加入到必要的部分中。这种情况下，由于能够加入到必要的部分中，因此能够减少所传送的信息量。通过使用如上所述的系数补正信息的传送方法，能够进一步减少要传送的信息 量。另外，还能够进行在解码侧不对应的情况等实用上非常有用的传送。另外，包括上述变形例1 4的本实施方式1中，对系数补正信息105被进行可变 长度编码并作为补正信息编码列107传送的情况下进行了说明，但也可以不总是传送补正 信息编码列107。例如，可以只在判断解码侧需要补正时，发送系数补正信息105。此时，在 编码列111中添加表示含有系数补正信息105的信息。信息的添加方法与图12中所示的 传送方法一样。通过这样，在对编码列111进行解码时，能够很容易地判断特定区域中添加 了系数补正信息，因此能够削减电路规模，并且改善像质。另外，包括上述变形例1 4的本实施方式1中，关于系数补正信息105，对多种 方式分别进行了说明，但也可以使用多个这些方式。例如，如果在补正信息编码列107中添 加表示系数补正信息的种类的信息，则能够容易地判断在解码侧怎样使用系数补正信息较 好。另外，由于能够将表示按每一个块不同的系数补正信息的种类的信息，加入到补正信息 编码列107中，因此能够实现像质的提高。另外，这里对补正信息编码列107中添加有表示 系数补正信息的种类的信息进行了说明，但并不仅限于此，例如还可以在编码列111中示 出系数补正信息的种类。这种情况下，在解码时能够判断系数补正信息的种类。另外，还可 以在编码列111中含有系数补正信息的记录场所的信息。这种情况下，能够很容易地进行 编码列与系数补正信息分别进行管理的情况下的信息的交换。另外，包括上述变形例1 4的本实施方式1中，对不进行分辨率变换的情况进行 了说明，但例如还可以将是否进行分辨率变换的信息、变换成哪个尺寸的信息，记录在补正 信息编码列107中。这种情况下，按图像的每一个种类都能够变换分辨率，能够对应于图像 的特征，实现像质的提高。另外，与分辨率变换相关的信息，并不仅限于记录在补正信息编 码列107中，还可以包括在编码列111中。另外还可以使用是否进行分辨率变换的信息，来 变更输出图像的图像处理方法。例如在进行分辨率变换的情况下，通过进行其处理单位下 的噪声降低滤波，能够得到更高像质的输出图像。(实施方式2)图13为表示本发明的实施方式2所涉及的运动图像解码装置之构成的方框图。运动图像解码装置700，是用来对运动图像信号被压缩编码后的编码列进行解码 的装置，如图13所示，具有可变长度解码部702、解码部705、正交变换部707、系数补正部 709、以及逆正交变换部711。可变长度解码部702，对补正信息编码列701进行可变长度解码，并输出系数补正 信息703。解码部705通过预先决定编码列704的方式，进行运动图像解码，输出解码图像 信号706。正交变换部707，通过对解码图像信号706进行离散余弦变换，输出解码图像DCT 系数708。系数补正部709根据系数补正信息703以及解码图像DCT系数708，输出补正 DCT系数710。逆正交变换部711，通过对补正DCT系数710进行逆离散余弦变换，将输出图 像712输出。接下来，对如上所构成的运动图像解码装置700的动作进行说明。补正信息编码列701输入给可变长度解码部702、编码列704输入给解码部705。
17可变长度解码部702对补正信息编码列701进行可变长度解码，求出系数补正信息703。另 外，解码部705通过预先决定的方式，对编码列704进行解码，输出解码图像信号706。正交 变换部707对通过解码所得到的解码图像信号706进行离散余弦变换，求出解码图像DCT 系数708。接下来，系数补正部709根据系数补正信息703以及解码图像DCT系数708，输 出补正DCT系数710。图14(a)为表示通过系数补正部709补正DCT系数时的基本动作流程的流程图。系数补正部709，取得系数补正信息703以及解码图像DCT系数708 (步骤S8101) 之后，根据系数补正信息703以及解码图像DCT系数708，计算出补正DCT系数710 (步骤 S8102)。之后，系数补正部709输出所计算出的补正DCT系数(步骤S8103)。之后，逆正交变换部711通过对补正DCT系数710进行逆离散余弦变换，将输出图 像712输出。这样，通过对解码图像信号进行离散余弦变换，使用系数补正信息补正DCT系数， 并进行逆离散余弦变换，能够提高解码图像信号的像质。接下来，对包括与分辨率变换相关的判断的情况下的系数补正部的动作进行说 明。另外，这里在进行分辨率变换的情况下，将分辨率在水平方向与垂直方向上分别扩大了 2倍。图14(b)为表示包含与分辨率变换相关的判断的情况下的通过系数补正部709补 正DCT系数时的基本动作流程的流程图。图15为用来说明补正DCT系数的计算的图，(a)为 不进行分辨率变换的情况下的例子，(b)为系数补正信息中不含有用来补正解码图像DCT 系数的信息，进行分辨率变换的情况下的例子，(c)为系数补正信息中含有用来补正解码图 像DCT系数的信息，进行分辨率变换的情况下的例子。图15中，左侧所示的是解码图像DCT 系数，右侧是解码DCT系数。系数补正部709，取得了系数补正信息703与解码图像DCT系数708 (步骤S8201) 之后，判断与分辨率变换相关的信息是否包括在系数补正信息中(步骤S8202)。这里，在分 辨率变换的信息包括在系数补正信息中，或决定预先是否进行分辨率变换的情况下(步骤 S8202中是)，系数补正部709根据系数补正信息703与解码图像DCT系数708，如图15 (c) 所示，生成解码图像DCT系数708中不存在的高频带的DCT系数E P(步骤S8203)。进 而，系数补正部709使用系数补正信息，对解码图像DCT系数进行补正，计算出低频带的DCT 系数A D (步骤S8204)。之后，系数补正部709输出生成以及补正过的补正DCT系数A P (步骤S8206)。另外，在不含有用来补正解码图像DCT系数的信息的情况下，可以不进行 低频带的DCT系数A D的计算，而是如图15 (b)所示，输出由解码图像DCT系数a d，以 及所生成的DCT系数E P所构成的补正DCT系数。另外，在不进行分辨率变换的情况下(步骤S8202中否)，如图15(a)所示，使用系 数补正信息，补正解码图像DCT系数(步骤S8205)，并输出补正DCT系数(步骤S8206)。这样，由与分辨率相关的信息，根据系数补正信息而生成DCT系数，从而能够更加 高像质地进行分辨率变换，让解码图像信号高像质化。接下来，分别对系数补正信息105中含有实施方式1中说明的DCT系数的分类信 息的情况、不含有线性预测系数的情况、以及含有相关关系信息的情况下，系数补正部709 的具体动作进行说明。
图16(a)为表示系数补正信息105中含有DCT系数的分类信息的情况下的动作流 程的流程图，(b)为说明根据分类信息补正DCT系数的方法的说明图。这种情况下，系数补正部709取得了系数补正信息703以及解码图像DCT系数 708(步骤S8301)之后，便从系数补正信息取得DCT系数的分类信息。接下来，系数补正部 709根据解码图像DCT系数708，与上述实施方式1的运动图像解码装置100的情况下一 样，如图4 (d)所示，预测曲线R、曲线R’，并按每一个DCT系数的频带决定阈值TH⑴。接下 来，补正信息生成部104使用分类信息与阈值TH(X)，通过下面所示的(公式3)，计算出补 正DCT系数(步骤S8302)。另外，(公式3)是分类为3个的情况下的例子。(公式3)
(分类 A) COEFF (X) = TH (X) X α(分类 B) COEFF (X) = -TH (X) X α(分类 C) COEFF (X) = 0这里，COEFF(X)表示位置X的DCT系数，TH⑴表示对应于位置X的给定的阈值。 另外，α表示常数。之后，补正信息生成部104将所计算出的DCT系数作为补正DCT系数输出(步骤 S8303)。另外，在阈值TH⑴不包括在系数补正信息中的情况下，不需要根据解码图像DCT 系数708来决定。另外，关于常数α，可以对每一个DCT的处理块使用不同的值。这种情况 下，能够提高解码图像的像质。另外，在DCT系数的分类信息，作为上述实施方式的变形例1中所述的编码而得到 的情况下，通过参照如图5(a)所示的第1分类表、图5(b)所示的第2分类表、以及图5(c) 所示的编码表，确定分类，计算出补正DCT系数。图17(a)为表示系数补正信息105中含有线性预测系数的情况下的动作流程的流 程图，(b)为说明根据线性预测系数补正DCT系数的方法的说明图。这种情况下，系数补正部709取得了系数补正信息703与解码图像DCT系数 708(步骤S8401)之后，从系数补正信息取得加在解码图像DCT系数的各个系数的线性预测 系数。接下来，系数补正部709使用该线性预测系数，通过下面所示的(公式4)，计算出补 正DCT系数(步骤S8402)。(公式4)A = Ta (A) X a+Tb (A) X b+Tc (A) X c+Td (A) X dB = Ta (B) X a+Tb (B) X b+Tc (B) X c+Td (B) X dP = Ta (P) X a+Tb (P) X b+Tc (P) X c+Td (P) X d这里，Ta⑴ TcKX)表示位置X的线性预测系数。之后，补正信息生成部104将所计算出的DCT系数，作为补正DCT系数输出(步骤 S8403)。另外，与实施方式1的变形例2的情况同样地进行分组，在系数补正信息中含有 块的合并信息的情况下，使用该块的合并信息，进行分组，取得每一个块中含有的Ta⑴ Td(X) JfDCT系数进行补正。
19
另外，决定要预先进行分组并使用实施方式1的变形例2的图7(d)中所说明的方 法，在系数补正信息中不含有块的合并信息的情况下，与实施方式1的变形例2的图7(d) 中所说明的方法一样，进行分组，并取得每个组中含有的Ta(X) Td(X)，补正DCT系数。图18(a)为表示系数补正信息105中含有相关关系信息的情况下的动作流程的流 程图，(b)为说明根据相关关系信息补正DCT系数的方法的说明图。这种情况下，系数补正部709取得了系数补正信息703与解码图像DCT系数 708 (步骤S8401)之后，从系数补正信息取得特定区域的信息、该区域中的解码DCT系数间 的相关关系信息x(X)、以及补正等级的信息L(X)。这表示针对系数位置X的补正DCT系数 与解码图像DCT系数χ具有相关关系，补正的等级为L (X)。例如，在系数补正信息中含有表 示系数位置P的补正DCT系数与解码图像DCT系数b具有相关关系，且补正等级为L (P)这 一信息的情况下，系数位置P的补正DCT系数，通过下面所示的(公式5)计算出来。P = L(P) Xb(P)…(公式 5)这样，系数补正部709，将对进行补正的DCT系数，复制具有相关关系的解码图像 DCT系数，对全体DCT系数进行补正等级的这一处理(步骤S8502)。之后，补正信息生成部104，输出通过上述所求出的补正DCT系数(步骤S8403)。这样，通过系数补正信息来补正解码图像DCT系数，从而能够得到更高像质的解 码图像。另外，本实施方式中，使用具有水平方向2倍，垂直方向2倍的分辨率变换的情况 下的说明图进行了说明，但不一定要分辨率变换。另外，分辨率的扩大比率也并不仅限于 此。另外，以上对系数补正信息的每一个种类的处理方法分别进行了说明，但并不仅 限于只含有1种系数补正信息。这种情况下，可以根据确定系数补正信息种类的信息，切换 处理，来进行对应于系数补正信息的DCT系数补正处理。(实施方式3)进而，通过将用来实现上述各个实施方式中所示的运动图像编码方法以及运动图 像解码方法的程序，记录在软盘等记录媒体中，从而能够在独立的计算机系统中简单地实 施上述各个实施方式中所示的处理。图19为使用记录在软盘等记录媒体中的程序，通过计算机系统来实施上述各个 实施方式的运动图像编码方法以及运动图像解码方法的情况下的说明图。图19(b)中示出了从软盘的正面所看到的外观、剖面构造、以及软盘，图19(a)示 出了作为存储介质本体的软盘的物理格式之一例。软盘FD内置在外壳F内，该盘的表面从 外周到内周呈同心圆状形成有多个轨道Tr，各个轨道在角度方向上分割成了 16个扇区Se。 因此，存储上述程序的软盘中，在上述软盘FD上所分割的区域中记录上述程序。另外，图l9(c)中示出了用来在软盘FD中进行上述程序的记录再生的结构。在将 实现运动图像编码方法以及运动图像解码方法的上述程序记录到软盘FD中的情况下，从 计算机系统Cs将上述程序经软盘驱动器写入。另外，在计算机系统中构建通过软盘内的程 序实现运动图像编码方法以及运动图像解码方法的上述运动图像编码方法以及运动图像 解码方法的情况下，通过软盘驱动器从软盘中读出程序，并转发给计算机系统。另外，上述说明中使用软盘作为记录媒体进行了说明，但使用光盘也同样能够进行。另外，记录媒体并不仅限于此，IC卡、ROM盒等只要是能够记录程序的，就同样能够实 施。(实施方式4)进而，这里对上述实施方式中所示的运动图像编码方法以及运动图像解码方法的 应用例以及使用它的系统进行说明。图20为表示实现内容传送服务的内容提供系统exlOO的全体构成的方框图。将通 信服务的提供区域分割成所期望的大小，并在各个单元内分别设置作为固定无线站的基站 exl07 exllO。该内容提供系统exlOO，例如经互联网服务提供商exl02与电话网exl04、 以及基站 exl07 exllO，将计算机 exlll、PDA(personal digital assistant) exll2、照相 机exll3、移动电话exll4、以及带照相机的移动电话exll5等各个机器与互联网exlOl相 连接。但是，内容提供系统exlOO并不仅限于图20的组合，还可以将任一个组合连接起 来。另外，也可以不经由作为固定无线站的基站exl07 exllO，而将各个机器与电话网 exl04直接连接。照相机exll3是数码相机等能够进行运动图像摄影的机器。另外，移动电话可 以是 PDC(Personal Digital Communications) Tj 式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或 GSM(Global System for Mobile Communication)方式的移动电话机，或 PHS(Personal Handyphone System)等，任一种均可以。另外，流服务器exl03，从照相机exll3通过基站exl09、电话网exl04相连接，能 够基于用户使用照相机exll3所发送的编码处理过的数据进行实时传送。所拍摄的数据的 编码处理既可以由计算机exll3进行，又可以由进行数据的发送处理的服务器等进行。另 外，照相机116所拍摄的运动图像数据可以经计算机exlll发送给流服务器exl03。照相 机exll6是数码相机等能够拍摄静止图像、运动图像的机器。这种情况下，运动图像数据的 编码既可以由照相机exll6进行，又可以由计算机exlll进行。另外，编码处理是计算机 exlll或照相机exll6所具有的LSIexll7中的处理。另外，图像编码/解码用软件可以加 入在用计算机exlll等可读的存储介质等任一种存储介质(CD-ROM、软盘、硬盘等)中。进 而，还可以通过带照相机的移动电话exll5来发送运动图像数据。此时的运动图像数据是 通过移动电话exll5所具有的LSI进行编码处理过的数据。该内容提供系统exlOO中，对用户通过照相机exll3、照相机exll6等所拍摄的内 容(例如拍摄了音乐直播的视频等)，与上述实施方式一样进行编码处理，并发送给流服务 器exl03，另外，流服务器exl03将上述内容数据流传送给有请求的客户端。客户端是能 够对上述编码处理过的数据进行解码的计算机exlll、PDAexll2、照相机exll3、移动电话 exll4等。通过这样，内容提供系统exlOO能够在客户端中接收编码过的数据并再生，进 而能够在客户端中实时进行接收、解码、再生，通过这样能够得到一种可实现个人广播的系 统。构成该系统的各个机器的编码、解码，可以使用上述各个实施方式中所示的图像 编码部或图像解码部。作为其一例，对移动电话进行说明。图21为表示使用上述实施方式中所说明的运动图像编码方法以及运动图像解码方法的移动电话exll5的图。移动电话exll5具有用来与基站exllO之间进行电波的发 送接收的天线ex201 ；CXD照相机等能够拍摄视频；静止图像的照相机部ex203 ；显示由照 相机部ex203所拍摄的视频以及天线ex201所接收到的视频等被解码后的数据的液晶显示 器等显示部ex202 ；由操作按键ex204群所构成的本体部；用于声音输出的扬声器等声音输 出部ex208 ；用于声音输入的麦克风等声音输入部ex205 ；用来保存所拍摄的运动图像或静 止图像的数据、所接收的邮件的数据、运动图像的数据或静止图像的数据等编码后的数据 或解码后的数据的记录介质ex207 ；以及用来让移动电话exl 15中能够安装记录介质ex207 的插槽部ex206。记录介质ex207是SD卡等通过在塑料外壳内存放有可电重写或删除的非 易失性存储器EEPROM(Electrically Erasable and Programmable Read Only Memory)之 一种的闪存元件而得到的。进而，使用图22对移动电话exl 15进行说明。移动电话exl 15，将对具有显示部 ex202与操作按键ex204的本体部的各个部进行综合控制的主控制部ex311，以及电源电 路部ex310、操作输入控制部ex304、图像编码部ex312、照相机接口部ex303、LCD (Liquid Crystal Display)控制部ex302、图像解码部ex309、多重分离部ex308、记录再生部ex307、 调制解调电路部ex306、声音处理部ex305，经同步总线ex313互相连接。电源电路部ex310在通过用户的操作结束了通话以及电源按键被设为接通状态 的情况下，通过从电池盒给各个部供电，从而将带照相机的数字移动电话exll5起动为可 动作的状态。移动电话exl 15，根据CPU、R0M以及RAM等主控制部ex311的控制，在声音通话模 式时，通过声音处理部ex305将声音输入部ex205所收集的声音信号变换成数字声音数据， 并在由调制解调电路部ex306对其进行频谱扩展处理，由发送接收电路部ex301实施了数 字模拟变换处理以及频率变换处理之后，经天线ex201发送。另外，移动电话机exll5在声 音通话模式时，对天线ex201所接收到的接收信号进行放大，并实施频率变换处理与模拟 数字变换处理，由调制解调部ex306进行频谱逆扩展处理，由声音处理部ex305变换成模拟 声音信号之后，将其经声音输出部ex208输出。进而，在数据通信模式时发送电子邮件的情况下，通过本体部的操作按键ex204 的操作所输入的电子邮件的文本数据，经操作输入控制部ex304发送给主控制部ex311。 主控制部ex311，通过调制解调电路部ex306对文本数据进行频谱扩展处理，并由发送接收 电路部ex301实施了数字模拟变换处理以及频率变换处理之后，经天线ex201发送给基站 exllO。在数据通信模式时发送图像数据的情况下，将照相机部ex203所拍摄的图像数 据，经照相机接口部ex303提供给图像编码部ex312。另外，在不发送图像数据的情况下，能 够将照相机部ex203所拍摄的图像数据，经照相机接口部ex303以及IXD控制部ex302直 接显示在显示部ex202中。图像编码部ex312，是具有本发明中所说明的图像编码部的构成，通过上述实施方 式中所示的图像编码部中所使用的编码方法，对照相机部ex203所提供的图像数据进行压 缩编码，从而变换成编码图像数据，并将其发送给多重分离部ex308。另外，与此同时，移动 电话机exll5，将在通过照相机部ex203进行拍摄时由声音输入部ex205所收集的声音，经 声音处理部ex305作为数字声音数据发送给多重分离部ex308。
多重分离部ex308，通过给定的方式对图像编码部ex312所提供的编码图像数据 与声音处理部ex305所提供的声音数据进行多重化，并由调制解调电路部ex306对上述结 果得到的多重化数据进行频谱扩展处理，由发送接收电路部ex301实施了数字模拟变换处 理以及频率变换处理之后，经天线ex201发送。在数据通信模式时接收主页等中所链接的运动图像文件的数据的情况下，通过调 制解调电路部ex306对经由天线ex201从基站exllO所接收到的接收信号进行频谱逆扩展 处理，并将结果所得到的多重化数据发送给多重分离部ex308。另外，为了对经由天线ex201所接收到的多重化数据进行解码，多重分离部ex308 通过分离多重化数据，并分成图像数据的编码位流与声音数据的编码位流，并经同步总线 ex313将该编码图像数据提供给图像解码部ex309，同时将该声音数据提供给声音处理部 ex305o接下来，图像解码部ex309，是具有本发明中所说明的图像解码装置的构成，通过 与上述实施方式中所示的编码方法相对应的解码方法，对图像数据的编码位流进行解码， 通过这样生成再生运动图像数据，将其经IXD控制部eX302提供给显示部eX202，这样，显示 出例如主页中链接的运动图像文件中含有的运动图像数据。与此同时，声音处理部ex305 将声音数据变换成了模拟声音信号之后，将其提供给声音输出部ex208，这样，再生出例如 主页中链接的运动图像文件中含有的声音数据。另外，并不仅限于上述系统的例子，最近基于卫星、地面波的数字广播是成为话 题，如图23所示，在数字广播用系统中也能够设置上述实施方式中至少图像编码部或图像 解码装置中的任一个。具体的说，广播站ex409中将视频信息的编码位流经电波发送给通 信或广播卫星ex410。接收到了该位流的广播卫星ex410，发送广播用电波，由具有卫星广 播接收设备的家庭天线ex406接收该电波，并通过电视机(接收机)ex401或机顶盒(STB) ex407等装置对编码位流进行解码并再生。另外，读取记录介质⑶或DVD等存储媒体ex402 中所记录的编码位流，并进行解码的再生装置ex403也能够安装上述实施方式中所示的图 像解码装置。这种情况下，将所再生的视频信号显示在监视器ex404中。另外，还可以考虑 在与有线电视用电缆ex405或卫星/地面波广播天线ex406相连接的机顶盒ex407内安装 图像解码装置，并通过电视机的监视器ex408对其进行再生的构成。此时不但是机顶盒，还 能够在电视机内安装图像解码装置。另外，还可以通过具有天线ex411的车ex412从卫星 ex410或基站exl07接收信号，并在车ex412所具有的汽车导航装置ex413等显示装置中再 生运动图像。进而，还能够通过上述实施方式中所示的图像编码部对图像信号进行编码，并记 录在记录媒体中。具体例子有在DVD盘ex421中记录图像信号的DVD记录器，以及在硬盘中 进行记录的盘记录器等记录器ex420。进而还能够在SD卡ex422中进行记录。如果记录器 ex420具有上述实施方式中所示的图像解码装置，便能够再生DVD盘ex421或SD卡ex422 中所记录的图像信号，并在监视器ex408中显示。另外，汽车导航装置413的构成例如可以考虑在图22所示的构成中，去掉了照相 机部ex203与照相机接口部ex303、图像编码部ex312的构成，同样的考虑还能够适用于计 算机exlll或电视机(接收机)ex401等。另外，上述移动电话exll4等终端，除了具有编码器、解码器两个发送接收式终端
23之外，还可以考虑只具有编码器的发送终端，以及只具有解码器的接收终端这3种安装方 式。这样，上述实施方式中所示的运动图像编码方法以及运动图像解码方法能够应用 于上述任一个机器/系统，通过这样能够得到上述实施方式中所说明的效果。另外，本发明并不仅限于上述实施方式，还可以在不脱离本发明的范围内进行各 种变形或修正。另外，图1、图11以及图13中所示的方框图的各个功能模块作为典型的集成电路 LSI实现。也可以将其分别单芯片化，可以单芯片化为包括其一部分或全部。(例如可以将 存储器以外的功能模块单芯片化)。这里，采用的是LSI，但也可以根据集成度的不同，改称作IC、系统LSI、SLSI, ULSI。另外，集成电路化的方法并不仅限于LSI，还可以通过专用电路或通用的处理器来 实现。还可以使用在LSI制造后可编程的FPGA(Field Programmable Gate Array)，或能够 对LSI内部的电路单元的连接或设定进行重构的可重设处理器。进而，如果因半导体技术的进步或所派生的其他技术，而出现了替换LSI的集成 电路化的技术，则当然也可以使用该技术进行功能模块的集成化。还具有应用于生物技术 的可能性。工业上的可利用性本发明所涉及的运动图像编码方法以及运动图像解码方法，具有能够通过低位速 率来进行高像质的编码与解码的效果，例如作为使用移动电话、DVD装置、以及个人计算机 等的存储、传送、通信等中的运动图像编码方法以及运动图像解码方法非常有用。
权利要求
一种运动图像编码方法，对运动图像信号进行压缩编码，其特征在于，通过对所述运动图像信号进行压缩编码来输出编码列；并且根据对所述运动图像信号进行正交变换所得到的正交变换系数，生成用来对从所述编码列所得到的解码运动图像信号进行正交变换而得到的正交变换系数进行补正的系数补正信息；将所述系数补正信息作为所述编码列的附加信息输出。
2.如权利要求1所述的运动图像编码方法，其特征在于， 所述运动图像编码方法，进一步生成由所述运动图像信号的低频成分所构成的低频带运动图像信号； 通过对所述低频带运动图像信号进行压缩编码，来输出所述编码列。
3.如权利要求1所述的运动图像编码方法，其特征在于， 所述运动图像编码方法，进一步生成将所述运动图像信号降低采样到给定的分辨率而得到的缩小图像信号； 通过对所述缩小图像信号进行压缩编码，来输出所述编码列。
4.如权利要求1所述的运动图像编码方法，其特征在于， 所述运动图像编码方法，进一步通过对所述编码列进行预解码而生成预解码图像信号； 通过对所述预解码图像信号进行正交变换，求出预解码正交变换系数； 根据所述正交变换系数以及所述预解码正交变换系数，生成所述系数补正信息。
5.如权利要求4所述的运动图像编码方法，其特征在于所述系数补正信息，是表示所述正交变换系数属于分成给定数目个的值区域中的哪一 个的分类信息；根据所述预解码正交变换系数，决定用来划分所述值区域的阈值； 通过根据所述阈值，决定所述正交变换系数属于所述值区域中的哪一个，来生成所述 分类信息。
6.如权利要求5所述的运动图像编码方法，其特征在于 按每一个所述正交变换系数的频带决定所述阈值；通过根据所述阈值，决定所述正交变换系数属于所述值区域中的哪一个，来生成所述 分类信息。
7.如权利要求4所述的运动图像编码方法，其特征在于所述系数补正信息，是用来根据所述预解码正交变换系数来预测所述正交变换系数的 线性预测系数；通过根据所述正交变换系数与所述预解码正交变换系数，决定所述线性预测系数，来 生成所述系数补正信息。
8.如权利要求4所述的运动图像编码方法，其特征在于所述系数补正信息，是表示所述预解码正交变换系数与所述正交变换系数之间的相关 关系的信息；通过对以多个作为所述正交变换单位的块而归纳的所述正交变换系数与所述预解码 正交变换系数的每一个频带下的系数的集合，分别计算出相关度，来生成所述系数补正信息。
9.如权利要求8所述的运动图像编码方法，其特征在于表示所述相关关系的信息，是表示所述正交变换系数的集合与哪一个所述预解码正交 变换系数的集合的相关较高的位置信息，以及对应于所述相关度的补正等级； 根据所述相关度决定所述位置信息与所述补正等级。
10.如权利要求1所述的运动图像编码方法，其特征在于所述系数补正信息，是表示所述正交变换系数属于分成给定数目个的值区域中的哪一 个的分类信息；通过根据预先设定的阈值决定所述正交变换系数属于所述值区域中的哪一个，来生成 所述分类信息。
11.如权利要求1所述的运动图像编码方法，其特征在于所述运动图像编码方法，将所述附加信息包含在所述编码列的头信息中而输出。
12.如权利要求1所述的运动图像编码方法，其特征在于所述运动图像编码方法，将所述附加信息作为与所述编码列不同的编码列输出。
13.—种运动图像解码方法，对运动图像信号被压缩编码而成的编码列进行解码，其特 征在于作为所述编码列的附加信息，取得用来对由所述编码列得到的解码运动图像信号进行 正交变换而得到的正交变换系数进行补正的系数补正信息； 通过对所述编码列进行解码，生成第1运动图像信号； 通过对所述第1运动图像信号进行正交变换，求出解码正交变换系数； 根据所述系数补正信息与所述解码正交变换系数，求出补正正交变换系数； 通过对所述补正正交变换系数进行逆正交变换，输出第2运动图像信号。
14.如权利要求13所述的运动图像解码方法，其特征在于所述系数补正信息，是表示所述正交变换系数属于分成给定数目个的值区域中的哪一 个的信息；根据所述解码正交变换系数，决定用来划分所述值区域的阈值； 根据表示所述正交变换系数属于分成给定数目个的值区域中的哪一个的信息以及所 述阈值，求出所述补正正交变换系数。
15.如权利要求13所述的运动图像解码方法，其特征在于所述系数补正信息，是表示所述正交变换系数属于分成给定数目个的值区域中的哪一 个的信息；根据表示所述正交变换系数属于分成给定数目个的值区域中的哪一个的信息以及给 定的阈值，求出所述补正正交变换系数。
16.如权利要求13所述的运动图像解码方法，其特征在于所述系数补正信息，是用来预测应当求出的正交变换系数的线性预测系数； 使用所述线性预测系数，由所述解码正交变换系数计算出所述补正正交变换系数。
17.如权利要求13所述的运动图像解码方法，其特征在于所述系数补正信息，是表示将应当求出的正交变换系数以及所述解码正交变换系数的 每一个频带下的系数以多个作为所述正交变换单位的块而归纳的集合中的相关关系的信息；通过由所述多个块的所述解码正交变换系数的每一个频带下的系数的集合，根据表示 所述相关关系的信息，求出以所述多个块归纳的每一个频带下的系数的集合，来求出所述 补正正交变换系数。
18.如权利要求16所述的运动图像解码方法，其特征在于表示所述相关关系的信息，是表示应当求出的正交变换系数的集合与哪一个所述解码 正交变换系数的集合的相关较高的位置信息，以及补正等级；通过将由所述位置信息所特定的所述解码正交变换系数的集合与所述补正等级相乘， 来求出所述补正正交变换系数。
19.如权利要求13所述的运动图像解码方法，其特征在于通过使用所述系数补正信息由所述正交变换系数生成给定个数的未知的正交变换系 数，来求出使个数增加的正交变换系数作为所述补正正交变换系数；将通过对所述补正正交变换系数进行逆正交变换而被提升到了给定的分辨率的运动 图像信号，作为所述第2运动图像信号输出。
20.一种运动图像编码装置，对运动图像信号进行压缩编码，其特征在于，具有 编码机构，其通过对所述运动图像信号进行压缩编码来输出编码列；以及补正信息生成机构，其根据对所述运动图像信号进行正交变换而得到的正交变换系 数，生成用来对由所述编码列得到的解码运动图像信号进行正交变换而得到的正交变换系 数进行补正的系数补正信息，并将所述系数补正信息作为所述编码列的附加信息输出。
21.—种运动图像解码装置，对运动图像信号被压缩编码而成的编码列进行解码，其特 征在于，具有解码机构，其通过对所述编码列进行解码而生成第1运动图像信号；正交变换机构，其通过对所述第1运动图像信号进行正交变换求出解码正交变换系数；系数补正机构，作为所述编码列的附加信息，取得用来对由所述编码列得到的解码运 动图像信号进行正交变换而得到的正交变换系数进行补正的系数补正信息，并根据所述系 数补正信息与所述解码正交变换系数，求出补正正交变换系数；以及逆正交变换机构，其通过对所述补正正交变换系数进行逆正交变换，输出第2运动图像信号。
22.—种程序，用来对运动图像信号进行压缩编码，其特征在于，在计算机中执行 编码步骤，通过对所述运动图像信号进行压缩编码来输出编码列；以及补正信息生成步骤，根据对所述运动图像信号进行正交变换而得到的正交变换系数， 生成用来对由所述编码列得到的解码运动图像信号进行正交变换而得到的正交变换系数 进行补正的系数补正信息，并将所述系数补正信息作为所述编码列的附加信息输出。
23.一种程序，用来对运动图像信号被压缩编码而成的编码列进行解码，其特征在于， 在计算机中执行解码步骤，通过对所述编码列进行解码而生成第1运动图像信号； 正交变换步骤，通过对所述第1运动图像信号进行正交变换求出解码正交变换系数； 系数补正步骤，作为所述编码列的附加信息，取得用来对由所述编码列得到的解码运动图像信号进行正交变换而得到的正交变换系数进行补正的系数补正信息，并根据所述系 数补正信息与所述解码正交变换系数，求出补正正交变换系数；以及逆正交变换步骤，通过对所述补正正交变换系数进行逆正交变换，输出第2运动图像信号。
24.一种集成电路，用来对运动图像信号进行压缩编码，其特征在于，具有 编码机构，其通过对所述运动图像信号进行压缩编码来输出编码列；以及补正信息生成机构，其根据对所述运动图像信号进行正交变换所得到的正交变换系 数，生成用来对由所述编码列得到的解码运动图像信号进行正交变换而得到的正交变换系 数进行补正的系数补正信息，并将所述系数补正信息作为所述编码列的附加信息输出。
25.一种集成电路，用来对运动图像信号被压缩编码而成的编码列进行解码，其特征在 于，具有解码机构，其通过对所述编码列进行解码生成第1运动图像信号；正交变换机构，其通过对所述第1运动图像信号进行正交变换求出解码正交变换系数；系数补正机构，作为所述编码列的附加信息，取得用来对由所述编码列得到的解码运 动图像信号进行正交变换而得到的正交变换系数进行补正的系数补正信息，并根据所述系 数补正信息与所述解码正交变换系数，求出补正正交变换系数；以及逆正交变换机构，其通过对所述补正正交变换系数进行逆正交变换，输出第2运动图像信号。
全文摘要
本发明提供一种能够抑制高分辨率化所必需的数据量，实现高分辨率化与高像质化的运动图像编码方法以及运动图像解码方法。运动图像编码装置(100)具有对输入图像信号(101)进行离散余弦变换的第1正交变换部(102)；对输入图像信号(101)进行低通滤波处理的低通滤波器(116)；对低频带图像信号(117)的分辨率进行降低采样的降低采样部(108)；对缩小图像信号(109)进行压缩编码的编码部(110)；对编码列(111)进行解码的局部解码部(112)；对解码图像信号(113)进行离散余弦变换的第2正交变换部(114)；以及根据输入图像DCT系数(103)与解码图像DCT系数(115)，生成用来对从编码列得到的解码运动图像信号进行正交变换而得到的正交变换系数进行补正的系数补正信号(105)的补正信息生成部(104)。
文档编号H04N7/50GK101951509SQ201010213199
公开日2011年1月19日 申请日期2005年11月14日 优先权日2004年11月19日
发明者笹井寿郎, 近藤敏志 申请人:松下电器产业株式会社