图像编码装置以及图像解码装置的制作方法

专利名称：图像编码装置以及图像解码装置的制作方法
技术领域：
本发明涉及对图像进行编码并输出编码数据的图像编码装置以及对通过该图像编码装置所编码的码数据进行解码的图像解码装置。
背景技术：
图像编码技术应用于从电视接收机至可进行图像处理的便携式电话等身边的多种视频设备中。在图像编码技术领域中，一般将图像数据(图像信息)分割为多个块，并以分割的块单位来进行编码。在块单位的编码中，进行以下处理，即进行与输入信号接近的预测信号的生成、输入信号与预测信号的差分即残差信号的计算、所计算出的残差信号的变换、通过变换而获得的变换系数的量化、所量化的变换系数的扫描(scan)、所量化·扫描的变换系数的可变长编码等的编码处理。在该可变长编码的处理中，除变换系数之外，也对表示预测信号的生成方法的信息进行编码。在预测信号的生成方法中存在有利用对象块周围的再生图像来生成的画面内预测、以及利用已编码/解码后的帧的再生图像来生成的画面间预测。在画面内预测中，存在有DC预测、水平预测、垂直预测等多个预测模式，且将表示利用哪一个预测模式的信息作为标记进行编码。另外，在画面间预测中，通过标记来对用于确定预测中所用的参照帧的帧ID、以及帧内的位置和运动矢量进行编码。另外，在本说明书，将表示从多个方法(模式)的候补中选择出的方法的信息称为 “标记”。作为标记的编码方法，有如下的方法等，例如，画面内预测中的预测模式以O)的方法，画面间预测中的运动矢量作为与预测矢量之间的差分以(3)的方法进行编码。(1)直接进行编码的方法。(2)对表示预测是否命中的信息和预测不中的情况的识别用的信息进行编码的方法。(3)对与预测值之间的差分进行编码的方法。从预先准备的多个方法(模式)中选择最佳的方法，对模式识别用的标记进行编码的手法是一般的手法，除了预测模式以外，还在扫描方法、变换方法、可变长编码表等中也利用。另外，标记的码量变大的情况下，也有对标记进行编码反而导致编码效率降低的情形，已知有如下技术，即不显式地对标记进行编码，而利用已编码/解码的信息来决定要应用的模式。在专利文献1中公开了不显式地对表示扫描方法的标记进行编码而利用预测图像来决定的技术。例如，对预测图像的水平方向的边缘与垂直方向的边缘进行比较，如与垂直方向的边缘相比较多地含有水平方向的边缘，则利用将水平方向优先的扫描方法，如与水平方向的边缘相比较多地含有垂直方向的边缘，则利用将垂直方向优先的扫描方法。在视频编码装置中，生成用于判定是该垂直方向的边缘多还是水平方向的边缘多的判定式并将其存储于编码流内，在视频解码装置中，利用通过存储于编码流内的判定式所判定的扫描方法来进行解码。在专利文献2中公开了不显式地对表示变换方法的标记进行编码而利用已解码的编码数据来决定变换方法的技术。即，基于编码数据内的量化参数、编码模式、运动矢量的个数信息来决定变换方法。非专利文献1是削减画面间预测的标记即运动矢量的码量的技术，对解码后的变换系数进行逆量化，并通过获取由逆变换而解码的残差信号与参照帧内的块之间的匹配来估计运动矢量，由此，削减标记的码量。在先技术文献专利文献专利文献1 JP特开2006-211304号公报专利文献2 JP特开2003-204550号公报非专利文献非专利文献1 谷田隆一及其他(NTT)，“关于利用图像匹配的预测矢量决定方法-研讨(画像7 7子 > 夕‘全用0 tz予測^夕卜义決定方法(二関t 3 —検討)”，2008年图像编码专题讨论会，P5-10发明概要发明所要解决的课题在上述专利文献1、专利文献2中，不显式地对表示扫描方法以及变换方法的标记进行编码而利用了所估计的模式。但是，在这些的方法中，与显式地对标记进行编码的方法不同，通过估计所决定的模式也有不适当的情形，在该情况下将导致码量增加。另外，尽管变换系数的特征(例如，变换系数的个数)与切换模式的情况下的效果之间存在规定的关系，但专利文献1、专利文献2的方法中，没有有效地利用这种性质。例如，在变换系数的个数较多的情况下，扫描顺序切换的效果较大，但这种性质没有得到有效利用。另外，变换系数的个数的不同，扫描方法以及预测方法的估计的易命中程度也不同，但由于不根据变换系数的特征来变更估计方法，所以该性质也没有得到有效利用。另外，非专利文献1中，通过利用对象块的变换系数的信息来进行运动矢量的估计，由此，计算出精度高的预测矢量，进而削减运动矢量的码量。该技术虽考虑了变换系数的特征，但利用了残差信号的运动矢量估计仅在变换系数特别多的情况下有效果。另外，由于是利用根据变换系数所获得的信息并以解码装置进行匹配，故运算负荷极高。S卩，在现有的编码技术中，由于没有利用变换系数的特征来进行模式的估计，故模式的估计精度低且编码效率低。另外，由于没有利用变换系数的特征来决定模式，所以即使在模式切换的效果较大的情况下，由于模式限制为所估计的1个从而导致编码效率降低。另外，即使在模式切换的效果较小的情况下，由于对用于识别所使用的模式的标记进行编码从而导致编码效率降低。

发明内容
本发明是考虑了上述那样的实际情况而开发的，其目的在于提供一种利用变换系数的特征以谋求模式的估计精度的提高和编码效率的提高的图像编码装置以及图像解码
直ο解决课题的手段为了解决上述课题，本发明的图像编码装置用于生成编码数据，其具备对输入信号进行块化并以该块单位来生成所述输入信号的预测信号的预测部；对所述输入信号和所述预测信号的残差信号进行变换并计算出变换系数的变换部；对所述变换系数进行量化的量化部；将所述量化后的变换系数进行一维排列的扫描部；以及对所扫描的所述变换系数进行编码的可变长编码部，由以下的(1)至(3)的任意一构成来形成。(1)本发明的图像编码装置具备变换系数评价部，其基于所述变换系数的特征来计算评价值；模式估计部，其根据所述评价值，来估计所述预测部或者所述变换部或者所述扫描部中所利用的模式；模式限制部，其根据所述评价值，对所述预测部或者所述变换部或者所述扫描部中所利用的可选择模式的范围进行限定；以及模式选择部，其从所述可选择模式的范围内存在的规定的模式中，选择编码成本为最小的模式，所述模式选择部一边切换所述预测部或者所述变换部或者所述扫描部中所利用的所述规定的模式，一边使所述预测部、所述变换部、所述量化部、所述扫描部、所述可变长编码部对所述输入信号进行动作，利用由所述变换系数评价部计算出的评价值，来选择编码成本为最小的模式，所述可变长编码部在所限制的所述模式的个数为多个的情况下，对用于识别所述预测部或者所述变换部或者所述扫描部中所利用的模式的标记进行编码。(2)本发明的图像编码装置具备变换系数评价部，其基于所述变换系数的特征来计算评价值；模式限制部，其根据所述评价值，对所述预测部或者所述变换部或者所述扫描部中所利用的可选择模式的范围进行限定；以及模式选择部，其从所述可选择模式的范围内存在的规定的模式中，选择编码成本为最小的模式，所述模式选择部一边切换所述预测部或者所述变换部或者所述扫描部中所利用的所述规定的模式，一边使所述预测部、所述变换部、所述量化部、所述扫描部、所述可变长编码部对所述输入信号进行动作，利用由所述变换系数评价部计算出的评价值，来选择编码成本为最小的模式，所述可变长编码部对用于识别所述预测部或者所述变换部或者所述扫描部中所利用的模式的标记进行编码。(3)本发明的图像编码装置具有变换系数评价部，其基于所述变换系数的特征来计算评价值；模式估计部，其根据所述评价值，来估计所述预测部或者所述变换部或者所述扫描部中所利用的模式；以及模式选择部，其从规定的模式中选择编码成本为最小的模式，所述模式选择部一边切换所述预测部或者所述变换部或者所述扫描部中所利用的所述规定的模式，一边使所述预测部、所述变换部、所述量化部、所述扫描部、所述可变长编码部对所述输入信号进行动作，利用由所述变换系数评价部计算出的评价值，来选择编码成本为最小的模式，所述可变长编码部在所估计的所述模式与所选择的所述模式相同的情况下，对表示利用所估计的所述模式的信息进行编码，另外，在所估计的所述模式与所选择的所述模式不同的情况下，对用于识别所述预测部或者所述变换部或者所述扫描部中所利用的模式的标记和表示不利用所估计的所述模式的信息进行编码。另外，本发明的图像解码装置中，针对对输入信号进行块化并以该块单位将实施变换并量化后的变换系数进行一维地排列并编码后的编码数据，通过逆扫描部进行逆扫描，通过逆量化部进行逆量化，通过逆变换部进行逆变换，并根据由此得到的残差信号和由预测部根据已解码的信号所预测的预测信号，来对所述编码数据进行解码，其由以下的
至(6)的任意一构成来形成。(4)本发明的图像解码装置具有可变长解码部，其根据所述编码数据，对变换系数以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记进行解码；变换系数评价部，其基于所述变换系数的特征来计算评价值；模式估计部，其根据所述评价值，来估计所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式； 模式限制部，其根据所述评价值，对所述预测部或者所述逆变换部或者所述逆扫描部中所利用的可选择模式的范围进行限定；以及模式解码部，其在所限制的所述模式的个数为1 个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为由所述模式估计部估计出的模式，另外，在所限制的所述模式的个数为多个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记识别的模式， 利用由所述模式解码部所解码的模式，使所述预测部或者所述逆变换部或者所述逆扫描部进行动作，对所述编码数据进行解码。(5)本发明的图像解码装置具有可变长解码部，其根据所述编码数据，对变换系数以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记进行解码；变换系数评价部，其基于所述变换系数的特征来计算评价值；模式限制部，其对所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的范围进行限定；模式解码部，其在所限定的所述模式的个数为1个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为由所述模式限制部限定的范围内的模式，另外，在所限定的所述模式的个数为多个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记识别的模式，利用由所述模式解码部解码的模式，使所述预测部或者所述逆变换部或者所述逆扫描部进行动作，对所述编码数据进行解码。(6)本发明的图像解码装置具有可变长解码部，其根据所述编码数据，对变换系数、表示是否利用所估计的模式的信息、以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记进行解码；变换系数评价部，其基于所述变换系数的特征来计算评价值；模式估计部，其根据所述评价值来估计所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式；以及模式解码部，其在表示利用所估计的模式的信息被解码的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为由所述模式估计部估计出的模式，另外，在表示不利用所估计的模式的信息被解码的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记识别的模式，利用由所述模式解码部解码的模式，使所述预测部或者所述逆变换部或者所述逆扫描部进行动作，对所述编码数据进行解码。另外，在上述的(1)至(3)的图像编码装置或者上述(4)至(6)的图像解码装置中，所述变换系数评价部的评价值为在表示是否有零以外的变换系数的值、零以外的变换系数的个数、变换系数的零所连续的长度、量化后的变换系数的大小、对变换系数进行编码时的编码成本、变换系数的偏差、基于量化后的变换系数的大小而计算出的编码效率以及表示最低阶数的变换系数是否为0的值中的任意一个；利用这些值从规定的函数所计算出的值；或者模式估计或者模式限定中所使用的组合。而且，在上述的(1)或O)的图像编码装置或者在上述(4)或(5)的图像解码装置中，(7)与所述评价值为规定的值以下的情况相比，所述模式限定部在所述评价值大于规定的值的情况下，将可选择模式的范围设定得较小；或者(8)所述模式限定部具有比第一规定值大的第二规定值，并与在所述评价值比所述第一规定值大且为所述第二规定值以下的情况下的可选择模式的范围相比，将在所述评价值为所述第一规定值以下的情况以及所述评价值比所述第二规定值大的情况下的可选择模式的范围设定得较小。另外，在上述的(1)或(3)的图像编码装置或者在上述(4)或(6)的图像解码装置中，所述模式估计部在所述评价值为规定的值以下的情况下，基于已再生完成的块的模式或者已再生完成块的像素值来估计模式，在所述评价值比规定的值大的情况下，利用规定的模式。发明效果根据本发明，由于根据变换系数的特征来限制模式的可选择的选项，所以削减了模式的表现中所需的标记的码量且提高了编码效率。另外，由于根据变换系数的特征来估计模式，故既提高了模式的估计精度也提高了编码效率。


图1是表示本发明的实施方式1所涉及的图像编码装置的构成的框图。图2是用于说明本发明的实施方式1、2的扫描方法的图。图3是表示本发明的实施方式1、2中的基于出现频度来估计模式的模式估计部的构成的框图。图4是表示本发明的实施方式1、2中的基于出现频度来估计模式的模式估计部的他的构成的框图。图5是用于说明基于出现频度来生成扫描方法的方法的图。图6是用于说明本发明的实施方式1、5所涉及的模式限制部的图。图7是用于说明本发明的实施方式1所涉及的模式选择部的动作的流程图。图8是用于说明现有编码数据的构成的图。图9是用于说明本发明的编码数据的构成的图。图10是用于说明本发明的实施方式1所涉及的变形例1的模式选择部的动作的流程图。图11是用于说明本发明的实施方式1所涉及的变形例2的模式选择部的动作的流程图。图12是表示本发明的实施方式2所涉及的图像解码装置的构成的框图。图13是用于说明本发明的实施方式2所涉及的图像解码装置的动作的流程图。图14是用于说明本发明的实施方式2所涉及的变形例3的动作的流程图。图15是用于说明本发明的实施方式2所涉及的变形例4的动作的流程图。
图16是表示本发明的实施方式3所涉及的图像编码装置的构成的框图。图17是表示本发明的实施方式3、4中的基于出现频度来估计模式的模式估计部的构成的框图。图18是用于说明本发明的实施方式3所涉及的模式选择部的动作的流程图。图19是表示本发明的实施方式4所涉及的图像解码装置的构成的框图。图20是表示本发明的实施方式5所涉及的图像编码装置的构成的框图。图21是用于说明方向预测和块预测的图。图22是用于说明函数预测和匹配预测的图。图23是用于说明本发明的实施方式5、6所涉及的模式估计部的动作的流程图。图M是用于说明本发明的实施方式5、6所涉及的模式估计部的其他动作的流程图。图25是用于说明本发明的实施方式5所涉及的模式选择部的动作的流程图。图沈是用于说明本发明的实施方式5所涉及的模式选择部的其他动作的流程图。图27是表示本发明的实施方式6所涉及的图像解码装置的构成的框图。图观是用于说明本发明的实施方式6所涉及的图像解码装置的其他动作的流程图。
具体实施例方式以下，参照附图，对本发明所涉及的实施的方式进行说明。另外，实施方式1以及2是涉及选择扫描模式的情况下的图像编码装置以及图像解码装置，实施方式3以及4涉及选择变换模式的情况下的图像编码装置以及图像解码装置，实施方式5以及6涉及选择预测模式的情况下的图像编码装置以及图像解码装置。在该情况下，关于选择对象以外的模式，设为进行了预先确定。本发明不仅适用于这样的分别对扫描模式、变换模式、预测模式进行选择的情形， 也同样适用于以任意的组合对模式进行选择的情形。(实施方式1)在实施方式1中，关于选择扫描模式并编码的情况进行说明。在该情况下，变换方式、量化方式是预先确定的。(图像编码装置100的构成)图1是表示本发明的实施方式1所涉及的图像编码装置100的构成的框图。在图 1中，图像编码装置100具备预测部111、变换部112、量化部113、扫描部114、可变长编码部115、逆量化部116、逆变换部117、帧存储器118、变换系数评价部121、模式选择部122、 模式估计部123、模式限制部124、减法部101、加法部102。图中的标号，103表示从变换部 112输出的变换系数，104表示从量化部113输出的量化完成变换系数，105表示从扫描部 114输出的扫描完成变换系数，106表示从可变长编码部115输出的被进行可变长编码后的变换系数的信息，例如，表示码量。(图像编码装置100的动作)图像编码装置100将所输入的图像分解成块，针对各块，首先，使模式选择部122 进行动作，其后使变换部112、量化部113、扫描部114、可变长编码部115、变换系数评价部121、模式估计部123、模式限制部IM进行动作来选择扫描模式，并将所选择的扫描模式送往扫描部114、可变长编码部115。其次，相对于所输入的图像，利用所选择的扫描模式来执行现有的编码处理。另外，由于预测部111、变换部112、量化部113、扫描部114、可变长编码部115、逆量化部116、逆变换部117、帧存储器118、减法部101、加法部102进行现有的编码处理，所以，以下仅简单说明。预测部111生成输入信号的预测信号。减法部101根据输入信号与预测信号的差分取得残差信号。变换部112针对残差信号通过DCT变换等来计算变换系数。量化部113对变换系数进行量化。所量化的变换系数一方面通过扫描部114进行一维地排列，通过可变长编码部115进行编码。所量化的变换系数另一方面通过逆量化部 116进行逆量化，通过逆变换部117进行逆变换，来再生残差信号。所再生的残差信号与预测信号通过加法部102进行相加，再生局部解码块。所再生的局部解码块存储于帧存储器118中。其次，关于本发明所涉及的构成要素(变换系数评价部121、模式选择部122、模式估计部123、模式限制部124)以及上述的现有构成要素中的追加功能进行说明。图2是用于说明本发明中所利用的扫描方法的图。图2表示4X4的变换系数，图中的0至15的值表示变换系数的按位置所扫描的顺序。图2(B)所示的垂直优先扫描对于不为零的变换系数集中在垂直方向上那样的具有横向的风格的块有效，相反，图2(C)所示的水平优先扫描对于不为零的变换系数集中在水平方向上那样的具有纵向的风格的块有效。图2(A)的锯齿形扫描是既不为垂直优先也不为水平优先的扫描。扫描部114利用从锯齿形扫描、垂直优先扫描、水平优先扫描中所选择的任意一种扫描方法(以下，扫描模式)。扫描模式的选择是由模式选择部122来进行。另外，并不将扫描模式仅限于这3种，如后述的那样，也可以利用基于出现概率的扫描等其他的扫描模式。在本实施方式1中，对用于识别扫描模式的模式编号进行设定，将锯齿形扫描设为“1”，将垂直方向优先设为“2”，将水平方向优先设为“3”。将利用其他的扫描模式的情况下的模式编号设为“0”。(变换系数评价部121的说明)变换系数评价部121通过预先设定的评价方法，基于变换系数的信息来计算表示其特征的评价值xC。对变换系数评价部121的输入根据评价方法不同而不同。在评价是取决于码量的情况下，输入106的码量。在取决于扫描方法的情况下，输入105的扫描后的变换系数。在取决于量化方法的情况下，输入104的量化完成变换系数。在取决于变换方法的情况下，输入103的变换系数。评价值xC的计算方法有各种各样的方法，以下对主要的计算方法进行说明。(方法A)将对象块内的零以外的变换系数的个数nC作为评价值xC。(方法A')
将一维地排列的变换系数中0连续的变换系数的长度(为0的变换系数排得越长其为越大的值)LC作为评价值xC。例如，LC是表示一维地排列的变换系数中0的变换系数所连续的个数的最大值。 另外，LC是表示一维地排列的变换系数中，0的变换系数的最后的连续以外的情况下的、0 的变换系数所连续的个数的最大值。(方法B)将量化后的变换系数的大小mC作为评价值xC。例如，mC为量化后的变换系数的绝对值最大值，或者，量化后的变换系数的绝对值的和，或者，量化后的变换系数的平方和等。(方法C)将对对象块内的变换系数进行编码的情况下的码量rC作为评价值xC。(方法D)将变换系数的偏差vC作为评价值xC。例如，vC为对象块内的变换系数的方差，或者，对象块内的变换系数的标准偏差寸。(方法E)将基于量化后的变换系数的大小mC和零以外的变换系数的个数nC所计算出的编码效率eC作为评价值xC。对变换系数进行逆量化、逆变换后获得的信号为残差信号，但如能以较少的nC表现更多的残差的能量，则认为该方法编码效率高，eC用于表现该效率。eC的计算方法有多种，例如为mC/nC等。(方法E')另外，可以取代零以外的变换系数的个数nC而利用变换系数的码量rC来计算编码效率eC，例如为mC/rC等。另外，mC的评价方法是方法B中说明的方法，只要是将变换系数进行逆量化、逆变换所获得的残差信号的能量相关的方法即可。另外，用于计算eC的函数(输入为mC、nC、rC)也可不依据上述说明，只要随mC单调增加，随nC、rC单调减少的函数，就可任意。
(方法F)将表示是否存在零以外的变换系数(零以外的变换系数的个数nC不为0)的 cbp (Coded Block Pattern)的值 fC 作为评价值 xC。fC = 0(nC 为 0 的情况)fC = 1 (nC为0以外的情况)(方法G)将表示最低阶数的变换系数是否为零的值dC作为评价值xC。在DCT变换、哈德曼变换(Hadamard transform)中，最低阶数的变换系数成为DC系数。dC = 0(最低阶数的变换系数为零的情况)dC = 1 (最低阶数的变换系数为零以外的情况)另外，可以利用以方法A至方法G所说明的多个值nC、1C、mC、rC、vC、eC、f C、dC来计算的式，例如将(nC+vC)作为评价值xC。(模式估计部123的说明)模式估计部123根据从变换系数评价部121输出的评价值xC，来估计扫描模式，并作为模式估计信号而输出。在变换系数的个数较小的情况下等，用于表示变换系数的特征的评价值xC较小的情况下，残差信号较小，即，表示预测信号与原图像较好地吻合。在通过画面内预测来求取预测图像的情况下，考虑编码对象块与周围的块相似。在进行画面间预测的情况下，认为编码对象块与其周围的块进行较大不同的运动时预测不中，除此以外，在画面间预测中，编码对象块与其周围的块在一定程度上相似。 另外，认为编码对象块与预测图像的生成中利用的参照帧的块相似。这样，可认为编码对象块与其周围的块间(或者，参照帧的块)具有相同的性质， 能够根据已编码的周围的块(或者参照帧的块)来高精度地估计模式。相反地，在评价值xC较大的情况下，与已编码的周围块之间的差异较大，难以进行模式的估计。模式估计部123基于该性质，在表示变换系数的特征的评价值xC较小的情况下， 将上方的块的扫描模式与左方的块的扫描模式中的优先顺位高的扫描模式作为模式估计信号，在评价值xC较大的情况下，将锯齿形扫描作为模式估计信号。在此，优先顺位为锯齿形扫描、垂直优先扫描、水平优先扫描的顺序。在本实施方式的情况下，按照优先顺位高的顺序来分配模式编号，所以，仅通过选择模式编号小的模式，就能够选择优先顺位的高的模式。另外，关于用于判定表示变换系数的特征的评价值xC是否较小的阈值，通过以下那样的实验来确定。首先，准备多个测试图像，并确定多个规定的阈值。通过对一个测试图像选择某确定的一个阈值并按照顺序进行编码，来对全部的测试图像、全部的阈值的组合进行编码。其次，利用编码结果，基于序列全体的码量、以及相对于序列全体的局部解码图像与输入图像的残差来计算RD成本。接下来，按照阈值的每一个，通过对所利用的测试图像进行平均来计算相对于阈值的平均RD成本。最后，通过选择平均RD成本为最小的阈值，能够确定最佳的阈值参数。(RD成本的说明)RD成本是基于失真量D、码量R以及规定的常数λ所计算出的成本，通过以下的式⑴来求取。RD 成本=D+XR... (1)在此，λ是用于取得失真量D与码量R之间的平衡的值，通常由量化参数的值来确定。失真量D是在选择的编码模式中，进行逆量化、逆变换，并通过与预测信号的和来生成局部解码图像，将局部解码图像与输入图像之间的绝对值差分和(或者差分平方和) 作为失真量D。码量R是基于编码模式的码量与变换系数的码量的和所计算出的。该RD成本在失真量D较小的情况或者码量R较小的情况下成为较小的值，通过在预先计算出多个编码模式中的RD成本的基础上，选择RD成本最小的编码模式并进行编码， 由此，能够在抑制码量R的同时减小失真量D的意义上以最佳的编码模式进行编码。另外， 作为选择编码模式的情况下所利用的编码成本，除RD成本以外，也能够利用失真量D、码量R等。一般而言，在残差信号中，由于在横方向有边缘的情况比在纵方向有边缘的情况要多，故利用上述的顺序(锯齿形扫描、垂直优先扫描、水平优先扫描的优先顺位)，但也可以是按每序列、按每帧、按多个块的每组，在进行编码的报头信息中，对扫描顺序的优先顺序进行编码，并以适当的单位进行变更。另外，关于扫描模式的估计，也可以适用其他的方法。例如，考虑利用对已编码的零以外的变换系数在每一位置的出现频度(或者，出现概率)来进行计算的方法，以下示出了 2种方法。图3是表示利用了基于出现频度的估计方法的模式估计部123的构成的框图。在图3中，模式估计部123由存储出现频度的频度存储部1001、对出现频度进行测量的频度测量部1002、对出现频度的偏差进行评价的频度评价部1003、决定模式估计信号的模式估计信号决定部1004构成。频度存储部1001存储变换系数的位置的个数相当(图2的例中，4X4个)的整数值。以下，以(x，y)表示变换系数的位置的情况下，保持的值(频度)以M(x，y)表示。频度测量部1002在帧头部或者片头部的情况下，将频度存储部1001的全部的频度M(x，y)初始化为零。在对变换系数进行编码的情况下，相对于全部的变换系数的位置， 其位置的变换系数只要为零以外，频度存储部1001中保持的频度M(x，y)则递增1。频度评价部1003对频度存储部1001的值进行评价，而输出表示出现频度怎样地集中的值。例如，计算出表示出现位置在水平方向集中的评价值H、表示在垂直方向集中的评价值V，H为规定的常数以上且H > V则输出“3”，V为规定的常数以上且V > H则输出 “2”，以上哪种均不是则输出“1”。模式估计信号决定部1004根据频度评价部1003的输出来决定模式估计信号。例如，为1时，将锯齿形扫描作为模式估计信号，为2时，将垂直扫描作为模式估计信号，为3 时，将水平扫描作为模式估计信号。通过以上的方法，能够根据已编码的零以外的变换系数的每一位置的出现频度来进行扫描模式的估计。图4是表示利用了基于出现频度的估计方法的模式估计部123的其他的构成的框图。在图4中，模式估计部123由频度存储部1001、频度测量部1002、根据出现频度来生成扫描顺序的扫描顺序生成部1103、决定模式估计信号的模式估计信号决定部1104构成。频度存储部1001和频度测量部1002如已说明的那样，故省略说明。扫描顺序生成部1103按照频度存储部1001中所存储的出现频度的从大到小的顺序，来对变换系数的位置进行排列。所排列的变换系数的位置能够作为扫描模式来利用。例如，图5是表示生成这样的扫描模式的方法的图，图5(A)表示每一个变换系数的出现频度，图5(B)将出现频度从高到低的顺序作为扫描顺序的扫描模式。模式估计信号决定部1104将表示模式的类别的信号、以及表示具体模式的内容的信号作为模式估计信号而输出。例如，模式类别是编号0 (如上所述，在为锯齿形扫描、垂直优先扫描、水平优先扫描以外的模式时将编号设为0)，将表示扫描模式的内容的信息设为由扫描顺序生成部1103生成的扫描顺序(对位置信息进行了排列的信号)。(模式限制部124的说明)模式限制部IM根据从变换系数评价部121输出的评价值xC，对可选择的扫描模式进行限制，并作为模式限制信号进行输出。模式限制信号是表示可选择的扫描模式的个数和可选择的扫描模式的范围的信号。然而，在可选择的扫描模式为1个的情况下，无需可选择的扫描模式的范围，仅可选择的扫描模式的个数即可。越是对可选择的扫描模式进行限制，则越能削减用于识别扫描模式的标记的码量，尤其是，在可选择的扫描模式为1个的情况下，无需标记的编码。能够通过扫描模式的切换来削减码量的情况有增大成为零的变换系数的偏重， 艮口，使成为零的变换系数按照更长地进行连续的方式偏重的情况、以及使成为零的变换系数偏重在扫描顺序的后半的情况。由此，较之对象块中零以外的变换系数的个数nC特别少的情况，反而在nC特别多的情况下，扫描模式的切换的效果较小。另外，在码量rC较小的情况下，当利用标记从较多的选项中进行扫描模式的切换时，与码量rC相比，标记的码量变大，作为整体，有导致码量增加的可能性。由此，在码量rC 特别小的情况下，将选项的个数设得较少例如设为1个为好。其次，以下针对与变换系数的大小mC、偏差vC、编码效率eC、cbp的fC、dC的关系进行说明。在量化后的变换系数的大小mC为较大的情况下，由于将较大的变换系数先进行编码将得到更高的编码效率，这样地变更扫描顺序的效果较大。由此，与mC较小的情况相比，要较多地设定选项。在偏差vC较大的情况下，也有将较大的变换系数先进行编码的效果，所以比vC较小的情况相比将选项设定得更多。编码效率高的情况下也较多地设定扫描顺序的选项。在cbp的fC为零的情况下，将选项设为零。在最低阶数的变换系数dC较大的情况下，即使为通常的锯齿形扫描的情况，也能够获得对较大的变换系数先编码的效果，所以，与dC较小的情况相比，较少地设置选项。图6是用于说明模式限制部124的动作的图。如图6㈧所示的一个方法中，变换系数的评价值xC比规定的值THXO要小的情况下，将可选择的扫描模式的个数限制为1个。 在为规定的值THXO以上的情况下，将可选择的扫描模式的个数设为N个(N> 1)。在其他的方法中，如图6(B)所示，在变换系数的评价值xC比规定的值THXO要小的情况下，将可选择的扫描模式的个数限制为1个。在为规定的值THXO以上且比其他的规定的值THXi要小的情况下，将可选择的扫描模式的数设为m个(m > D。在为规定的值 THXl以上的情况下，将可选择的扫描模式的个数设为N2个。在可选择的扫描模式的个数为比1个要大的情况下，除可选择的扫描模式的个数夕卜，还将模式编号的列表作为可选择的扫描模式的范围而进行输出。在此，为2个时，输出表示模式编号的1、2，为3个时，输出1、2、3。另外，模式估计部123和模式限制部IM也可利用不同的变换系数的评价值xC。 艮口，可以是在模式估计部123中利用码量rC，在模式限制部IM中利用变换系数的个数nC这样的构成。另外，规定的值THX0、THX1通过以下那样的实验来确定。首先，准备多个测试图像，确定规定的值THX0、THX1的数种组合(阈值参数)。通过对一个测试图像选择某确定的一个阈值参数，并按照顺序进行编码，由此，对于全部的测试图像、全部的阈值参数的组合进行编码。其次，利用编码结果，基于序列全体的码量、相对于序列全体的局部解码图像和输入图像的残差来计算出RD成本。接下来，按照每一个阈值参数，通过由所利用的测试图像进行平均，来计算出相对于阈值参数的平均RD成本。最后，通过选择平均RD成本为最小的阈值参数，能够确定最佳的阈值参数。另外，进行模式限制的情况下的所限制的扫描模式由以下那样的实验来确定。首先，准备多个测试图像，设置已追加了对所选择的扫描模式的个数进行计数的装置的图像编码装置。该图像编码装置是不进行模式限制而进行动作的装置，不需要是在本说明书中说明的图像编码装置，可以是现有中某图像编码装置。利用不进行该模式选择的图像编码装置，对准备好的全部的测试图像进行编码。其次，相对于所选择的个数，计算出利用测试图像进行了平均的值。模式限制部 1 中所利用的扫描模式按照所选择的个数从多到少的顺序，设为N个的扫描模式。关于N 个的个数，其利用以下这样的值，即，按照扫描模式的每一个，计算出所选择的选择率，从选择率高的模式起对M个的选择率进行合计的情况下的累计选择率的值超过规定的比率(例如，50% )时的最初的M的值。(模式选择部122的说明)模式选择部122基于模式估计部123以及模式限制部IM的输出值来选择扫描模式。利用图7的流程图，对模式选择部122的动作进行说明。(另外，以下的说明的左端的带括弧的记号，例如，(S1001)等与图7的处理框对应。)(S1001)通过预测部111生成预测信号。(S1002)通过减法部101根据预测信号与输入信号的差分来生成残差信号。(S1003)通过变换部112对残差信号进行变换。(S1004)通过量化部113对变换系数进行量化。(L1001)使控制变量k从1至3进行变化，反复执行以下的S1005 S1013。其后进入S1014。另外，在利用基于出现概率的扫描模式的情况下，将该模式编号设为0，相对于控制变量k = 0，1，2，3进行以下的处理。(S1005)通过扫描部114以与控制变量k对应的扫描模式(模式编号k的扫描模式)进行扫描。(S1006)通过可变长编码部115进行量化，进行所扫描的变换系数的可变长编码。(S1007)通过变换系数评价部121获得用于表示变换系数的特征的评价值xC。(S1008)根据变换系数评价部121的评价值xC，通过模式估计部123对扫描模式进行估计，获得模式估计信号。(S1009)根据变换系数评价部121的评价值xC，通过模式限制部IM对可选择的扫描模式进行限制，获得模式限制信号。
(SlOlO)参照模式控制信号，针对与控制变量k对应的扫描模式是否可选择进行判定。在为可选择的情况下进入S1011，在不可选择的情况下进入S1013。(SlOll)通过可变长编码部115对标记进行编码。(S1012)利用根据失真量D和码量R所计算出的RD成本来计算成本。将码量R设为变换系数的码量和标记的码量。(S1013)按照该扫描模式不被选择的方式，将与控制变量k对应的成本设为最大值。(S1014)选择成本为最小的扫描模式，向扫描部114以及可变长编码部115输出。通过这样的动作，根据变换系数的特征，估计扫描模式，另外根据该评价值xC来限制可选择的扫描模式，所以，能够选择最佳的扫描模式。(可变长编码部115的说明)可变长编码部115在对通过扫描部114而一维地排列的量化变换系数进行编码的同时，通过模式限制部IM将可选择的扫描模式限制为1个的情况下，不将扫描模式作为标记进行编码。另外，在通过模式估计部123所估计的扫描模式与所选择的扫描模式为相同的情况下，将表示模式估计信号是否被利用的值作为1进行编码，不将所选择的扫描模式作为标记进行编码。另外，没有通过模式限制部IM将可选择的扫描模式限制为1个的情况或者模式估计信号(所估计的模式)与所选择的扫描模式为不同的情况下，将表示模式估计信号是否被利用的值作为0而编码，对所选择的用于识别扫描模式的标记进行编码。另外，在通过模式选择部122选择扫描模式的期间内通过可变长编码部115进行的编码是用于测量码量的临时的编码，编码数据不向外部输出而丢弃。另外，关于标记的编码方法，还有对所选择的扫描模式与模式估计信号的差分进行编码的方法。(本发明的编码数据)在本发明中，通过变换系数的特征来判定编码数据中是否存在标记。由此，编码数据需要按照与变换系数的码相比，标记的码位于后面的位置的方式来构成，或者，按照与用于表示变换系数的特征的码相比，标记的码位于后面的位置的方式来构成。图8是表示现有的编码数据的构成的图，图9是表示本发明的编码数据的构成的图。图9的标记是扫描方法的标记、变换方法的标记或者预测方法的标记。现有技术如图8 所示，接着标记，对变换系数进行了编码，而在本发明中，如图9(A)所示，接着变换系数，对标记进行了编码。另外，在无需标记的编码的情况下，不存在标记。除此以外，能够采取图 9(B)至(E)的构成。图9(B)将变换系数分成两部分以上，对其一部分在标记之前进行编码，对剩余部分在标记之后进行编码。作为分成两部分的方法，例如，将低频成分设为前半，将高频成分设为后半的方法，另外，例如有将表示不为零的变换系数的位置的信息(位序)设为前半， 将不为零的变换系数的值设为后半的方法。也可以从不为零的变换系数的位置取得不为零的变换系数的个数的信息。图9(C)表示将用于表示变换系数的特征的信息在标记之前进行编码，将变换系数在标记之后进行编码。作为变换系数的特征，有cbp、变换系数的个数、表示对变换系数进行可变长编码的表的标记等。图9(D)表示图9(C)的变换系数的特征为cbp的情况。图9(E)表示将变换系数的位序在标记之前进行编码，将变换系数的级别在标记之后进行编码的构成。变换系数通常划分为表示变换系数的位置的位序、以及表示变换系数的大小的级别而被进行编码。例如，在扫描顺序，对成为(1、2、0、0、-4、…)的变换系数进行编码的情况下，作为位序和级别的组，按顺序对(0，1)、(0，2)、0，-4)、…进行编码。以上，在已说明的图像编码装置100中，通过利用变换系数的特征，根据扫描模式的切换是否为有效，来对可选择的扫描模式的选项进行限制，所以，能够削减模式识别用的标记的码量，以高的编码效率进行编码。另外，由于根据变换系数的特征来改变扫描模式的估计方法，能够提高扫描模式的估计精度，而且能够削减标记的码量且提高编码效率。在上述的实施方式1中，对具备模式估计部123和模式限制部124的两者的构成进行了说明，作为变形例，也可考虑仅具备模式估计部123而不具备模式限制部124的构成、以及不具备模式估计部123而仅具备模式限制部124的构成。(变形例1)(仅具备模式估计部123的构成)图10是用于说明不具备模式限制部IM而具备模式估计部123的变形例1的模式选择部122的动作的流程图。在该情况下的模式选择部122的动作是与利用图7所说明的情形基本相同，但没有S1009的获得模式限制信号的动作、S1010的判定/分支的动作、以及没有S1013的按照扫描模式不被选择的方式来设定成本的动作这些点不同。(变形例2)(仅具备模式限制部IM的构成)图11是用于说明不具备模式估计部123而具备模式限制部124的变形例2的模式选择部122的动作的流程图。在该情况下的模式选择部122的动作是与利用图7所说明的情形基本相同，但没有S1008的获得模式估计信号的动作，这一点不同。另外，先前说明的模式限制部1 在可选择的扫描模式的个数为比1个大的情况下，除可选择的扫描模式的个数外，还将模式编号的列表作为可选择的扫描模式的范围进行输出而动作，但在本变形例2的情况下，即使在可选择的扫描模式的个数为1个的情况下，也输出可选择的扫描模式的范围(在此为1个，故为扫描模式)。(实施方式2)实施方式2的图像解码装置是对实施方式1的图像编码装置100所生成的编码数据进行解码的装置。(图像解码装置2OO的构成)图12是表示本发明的实施方式2所涉及的图像解码装置200的构成的框图。在图12中，图像解码装置200具备可变长编码解码部201、逆扫描部202、预测部111、逆量化部116、逆变换部117、帧存储器118、变换系数评价部121、模式估计部123、模式限制部124、模式解码部222、加法部102。另外，在上述构成中，对于与实施方式1相同的构成要素赋予相同的符号，并省略其说明。(图像解码装置2OO的动作)输入至图像解码装置200的编码数据首先被输入到可变长编码解码部201中。可变长编码解码部201通过编码数据的可变长解码，对表示预测方法的信号和所变换·量化后的残差信号即变换系数进行解码。将所解码的变换系数输出给变换系数评价部121以及逆扫描部202。变换系数评价部121对变换系数的特征进行评价，将评价值XC输出给模式估计部 123、模式限制部124。模式估计部1 根据评价值XC对扫描模式进行估计，并作为模式估计信号向模式解码部222输出。模式限制部IM根据评价值XC对可选择的扫描模式进行限制，将模式限制信号向可变长编码解码部201、模式解码部222输出。可变长编码解码部201接收模式限制信号，且在需要标记的解码的情况下，从通过模式限制信号所限制的可选择的扫描模式中，对用于识别1个扫描模式的标记进行解码，并输出给模式解码部222。模式解码部222利用模式估计信号、模式限制信号、标记来对扫描模式进行解码。逆扫描部202通过解码的扫描模式，对于逆变换所需的排列，重排变换系数。经逆扫描的变换系数通过逆量化部116进行逆量化，通过逆变换部117进行逆变换，再生残差信号。所再生的残差信号与预测信号通过加法部102进行相加，再生局部解码块。将所再生的局部解码块存储于帧存储器118中。(模式解码部222的说明)模式解码部222利用模式限制信号、模式估计信号、标记对扫描模式进行解码。通过模式限制信号而将扫描模式限制为1个的情况下或者表示模式估计信号是否被利用的值为“ 1，，的情况下，设为由模式估计信号指定的扫描模式。另外，在通过模式限制信号而扫描模式为多个的情况下或者表示模式估计信号是否被利用的值为“0”的情况下，设为标记所指示的扫描模式。图13是用于说明本发明的实施方式2所涉及的图像解码装置200的动作的流程图。(SllOl)通过可变长编码解码部201对变换系数进行解码。其中，如图9的(B)至 (E)那样，变换系数的特征与变换系数被分割而进行编码的情况下，对变换系数的特征或者变换系数的一部分进行解码。(Si 102)通过变换系数评价部121来计算出变换系数的评价值xC。(S1103)通过模式估计部123，并根据变换系数的评价值xC来估计扫描模式。(S1104)通过模式限制部124，并根据变换系数的评价值xC进行可选择的扫描模式的限制。(S1105)在将扫描模式限制为1个的情况下，判定为无需进行标记的解码，进入 S1107。在需进行标记解码的情况下，进入S1106。(S1106)对标记进行解码。例如，在表示是否利用模式估计信号的值为“0”的情况下，进而对追加的标记进行解码。或者对扫描模式与模式估计信号的差分进行解码。(S1107)在将扫描模式限制为1个的情况下，或者，表示模式估计信号是否被利用的值为“1”的情况下，作为使用所估计的扫描模式的扫描模式来进行解码。在除此以外的情况下，利用追加的标记，从可选择模式中，对使用的扫描模式进行解码。或者基于模式估计信号的差分，对使用的扫描模式进行解码。(S1108)通过可变长编码解码部201，对变换系数是否解码完成进行判定。在通过 SllOl对变换系数的特征或者变换系数的一部分进行了解码的情况下，进入S1109，如所有的变换系数解码完成，则进入S1110。例如，通过SllOl而Cbp被解码且Cbp为“0”的情况下，进入S1110。(S1109)通过可变长编码解码部201，对余下的变换系数进行解码。(SlllO)通过逆扫描部202对变换系数进行逆扫描。(Sllll)通过逆量化部116进行变换系数的逆量化。(S1112)通过逆变换部117进行逆变换，并对残差信号进行解码。(Si 113)通过预测部111生成预测信号。(S1114)通过加法部102来求取预测信号与残差信号的和，生成再生信号。以上，在已说明的图像解码装置200中，由于通过利用变换系数的特征，根据扫描模式的切换是否有效来对可选择的扫描模式的选项进行限制，所以，能削减模式识别用的标记的码量，能够针对以高的编码效率所编码的编码数据进行解码。另外，由于根据变换系数的特征来改变扫描模式的估计方法，所以，能够提高扫描模式的估计精度，而且能够对削减了标记的码量的编码数据进行解码。在上述的实施方式2中，说明了具备模式估计部123和模式限制部124的两者的构成，作为变形例例如有具备模式估计部123而不具备模式限制部IM的构成，以及不具备模式估计部123而具备模式限制部124的构成。(变形例3)(仅具备模式估计部123的构成)图14是用于说明不具备模式限制部IM而具备模式估计部123的变形例3的图像解码装置200的动作的流程图。在该情况下的模式选择部122的动作与利用图13所说明的情形基本相同，但没有 S1104的获取模式限制信号的动作以及S1105的判定、分支这些点不同。另外，在是否利用模式估计信号的值为“1”的情况下，利用所估计的模式进行解码，在值为“0”的情况下利用以标记所指定的模式进行解码。(变形例4)(仅具备模式限制部IM的构成)图15是用于说明不具备模式估计部123而具备模式限制部124的变形例4的图像解码装置200的动作的流程图。在该情况下的模式选择部122的动作是与利用图13所说明的情形基本相同，但在没有S1103的获取模式估计信号这一点上不同。另外，在该情况下的模式限制部124即使在可选择的扫描模式的个数为1个的情况下，也输出可选择的扫描模式。
21
(实施方式3)在实施方式3中，对选择变换模式并编码的情况进行说明。在该情况下，将量化方式、扫描方式设为预先确定的方式。(图像编码装置3OO的构成)图16是表示本发明的实施方式3所涉及的图像编码装置300的构成的框图。在图16中，图像编码装置300具备预测部111、变换部112、量化部113、扫描部114、可变长编码部115、逆量化部116、逆变换部117、帧存储器118、变换系数评价部121、模式选择部 322、模式估计部323、模式限制部324、减法部101、加法部102。另外，上述构成中，对于与实施方式1相同的构成要素赋予相同的标号，并省略其说明。(图像编码装置3OO的动作)图像编码装置300将所输入的图像分解成块，针对各块，首先，使模式选择部322 进行动作，使变换部112、量化部113、扫描部114、可变长编码部115、变换系数评价部121、 模式估计部323、模式限制部3M进行动作来选择变换模式，将所选择的变换模式发送给变换部112、逆变换部117、可变长编码部115。其次，对所输入的图像，利用所选择的变换模式来执行现有的编码处理。另外，变换部112所利用的变换方法在本实施方式中设为DCT变换、2维KLT变换、 1维KLT变换。KLT变换是与DCT变换相同的线形正交变换。其中，DCT变换是基于离散余弦基底的基底，而KLT变换利用按照利用实际图像而能量预先集中在小数的变换系数的方式所计算出的基底。2维KLT变换将水平方向的KLT变换与垂直方向的KLT变换串行地进行。1维KLT变换对以块单位1维地重排的数值列进行1次的KLT变换。另外，并不限于DCT变换、KLT变换，也可以利用离散正弦变换的DST变换、小波(wavelet)变换、加博尔 (Gabor)变换、斜变换等。在本实施方式中，对于表示变换方法(变换模式)的模式编号，将DCT变换设为 “ 1 ”、将2维KLT变换设为“2”，将1维KLT变换设为“3”。(模式估计部323的说明)模式估计部323根据从变换系数评价部121输出的评价值xC来估计变换模式，并作为模式估计信号而输出。在用于表示变换系数的特征的评价值xC较小的情况下，认为基于周围而利用块的信息所进行的估计会命中，将上方的块与左方的块中的优先度高的一方的模式编号作为模式估计信号。一般KLT变换与DCT变换相比编码效率高，2维变换与1维变换相比编码效率高，所以，按照2维KLT变换、DCT变换、1维KLT变换的顺序进行选择。另外，在评价值xC较大的情况下，认为预测难命中，所以，不进行利用了周围的块的信息的预测，固定地将表示DCT变换的模式编号(1)作为模式估计信号。另外，还有这样的方法，S卩，利用已被编码的块的变换模式的出现频度来确定模式估计信号的方法。图17是表示利用了基于出现频度的估计方法的模式估计部323的构成的框图。在图17中，模式估计部323由用于存储所使用的变换模式的变换模式存储部1201、变换模式测量部1202、用于评价变换模式的频度的变换模式频度评价部1203、用于决定模式估计信号的模式估计信号决定部1204构成。变换模式存储部1201按照块的每个位置来存储所使用的变换模式的类别。按照块的每个位置(X，y)来存储所使用的变换模式的类别T(X，y)。变换模式测量部1202在帧头部或者片头部的情况下将变换模式存储部1201的全部的类别T(x，y)初始化为零。另外，在对变换系数进行编码的情况下，将所使用的变换模式的值存储在T(x，y)中。变换模式频度评价部1203参照变换模式存储部1201的变换模式的类别T (x, y)， 对变换模式的出现频度进行评价。例如，参照编码对象块的周围的块的T(x，y)，对各变换模式的出现次数累计，输出通过累计而出现频度变得最大的变换模式的值。模式估计信号决定部1204将表示变换模式的类别的信号、以及表示具体的变换模式的内容的信号作为模式估计信号而进行输出。例如，将模式类别设为编号“0”(在上述的DCT变换、2维KLT变换、1维KLT变换以外的变换方法时，将模式编号设为“0”)，表示模式的内容的信息设为从变换模式频度评价部1203输出的出现频度最大的变换模式。(模式限制部324的说明)模式限制部3M根据通过变换系数评价部121所获得的评价值xC，对可选择的变换模式进行限制，并作为模式限制信号而输出。变换模式的切换是为了在使较多的能量集中在较少的变换系数的情况下，以及能使成为零的变换系数的个数较多的情况下谋求编码效率的提高。在变换系数的个数特别小的情况或者变换系数集中于DC成分的情况下，使用哪种变换模式均不会有较大的差。例如，在零以外的变换系数的个数nC较小的情况、变换系数的码量rC、最低阶数的变换系数dC为零的情况下，与变换系数的码量相比，标记的码量变大，所以，如评价值xC 为规定的值以下，则将可选择的变换模式限制为1个。除此以外，在评价值xC比规定的值大的情况下，将可选择的变换模式设为3个，将表示可选择的变换模式的范围的模式编号1、2、3作为模式限制信号而输出。另外，还有将可选择的变换模式的个数设为其以上(例如4个)，将表示可选择的变换模式的范围的模式编号设为0、1、2、3的方法。(模式选择部322的说明)模式选择部322基于模式估计部323以及模式限制部3M的输出值来选择变换模式。利用图18的流程图对模式选择部322的动作进行说明。(S1201)通过预测部111生成预测信号。(S1202)通过减法部(残差算出部)101，根据预测信号与输入信号的差分来生成
残差信号。(L1201)使控制变量k从1至3进行变化，反复执行以下的S1203 S1213。其后进入S1214。另外，在利用基于出现概率的变换模式的情况下，将基于出现概率的变换模式的模式编号0加入处理对象，对控制变量k = 0、1、2、3进行以下的处理。(S1203)通过变换部112以表示与控制变量k对应的模式的变换模式(模式编号 k的变换模式)来对残差信号进行变换。(S1204)通过量化部113对变换系数进行量化。(S1205)通过扫描部114进行扫描。
(S1206)通过可变长编码部115对经量化、扫描的变换系数进行可变长编码。(S1207)通过变换系数评价部121来获得用于表示变换系数的特征的评价值xC。(S1208)根据变换系数评价部121的评价值xC，通过模式估计部323来估计变换模式，获得模式估计信号。(S1209)根据变换系数评价部121的评价值xC，通过模式限制部3 对可选择的变换模式进行限制，获得模式限制信号。(S1210)参照模式控制信号，对与控制变量k对应的变换模式是否可选择进行判定。在为可选择的情况下进入S1211，在不可选择的情况下进入S1213。(S1211)通过可变长编码部115对标记进行编码。(S1212)利用RD成本来计算成本。将码量R设为变换系数的码量和标记的码量。(S1213)按照该变换模式不被选择的方式，将与控制变量k对应的成本设为最大值。(S1214)选择成本为最小的变换模式，并输出给变换部112、逆变换部117以及可变长编码部115。以上，在说明的图像编码装置300中，通过利用变换系数的特征，根据变换模式的切换是否有效来对可选择的变换模式的选项进行限制，所以，能够削减模式识别用的标记的码量，且能以高的编码效率进行编码。另外，由于根据变换系数的特征来改变变换模式的估计方法，所以，能够提高变换模式的估计精度，进而能够削减标记的码量，提高编码效率。另外，在上述的实施方式3中，说明了具备模式估计部323和模式限制部3M的两者的构成，但与实施方式1同样，也可以是具备模式估计部323而不具备模式限制部3M的构成，或者是具备模式限制部3M而不具备模式估计部323的构成。(实施方式4)实施方式4的图像解码装置对实施方式3的图像编码装置300所生成的编码数据进行解码。(图像解码装置400的构成)图19是表示本发明的实施方式4所涉及的图像解码装置400的构成的框图。在图19中，图像解码装置400具备可变长编码解码部201、逆扫描部202、预测部111、逆量化部116、逆变换部117、帧存储器118、变换系数评价部121、模式解码部422、模式估计部 323、模式限制部324、加法部102。另外，在上述构成中，对于与实施方式1、实施方式2以及实施方式3相同的构成要素赋予相同的标号，并省略其说明。(图像解码装置400的动作)输入至图像解码装置400的编码数据首先被输入到可变长编码解码部201。可变长编码解码部201通过编码数据的可变长解码，对表示预测方法的信号和经变换·量化的残差信号即变换系数进行解码。所解码的变换系数被输出给变换系数评价部121以及逆扫描部202。变换系数评价部121基于变换系数的特征来计算评价值xC，并将评价值xC输出给模式估计部323、模式限制部324。模式估计部3 根据评价值xC来估计变换模式，并作为模式估计信号而输出给模
24式解码部422。模式限制部3M根据评价值XC对可选择的变换模式进行限制，作为模式限制信号而输出给可变长编码解码部201、模式解码部422。可变长编码解码部201接收模式限制信号，在需进行标记的解码的情况下，从通过模式限制信号而限制的可选择的变换模式中，对1个用于识别变换模式的标记进行解码，并输出给模式解码部422。模式解码部422利用模式估计信号、模式限制信号、标记对变换模式进行解码。逆扫描部202对于逆变换所需的排列，重排变换系数。经逆扫描的变换系数通过逆量化部116进行逆量化，利用通过模式解码部422所解码的变换模式，通过逆变换部117 进行逆变换，来再生残差信号。所再生的残差信号与预测信号通过加法部102进行相加，来再生局部解码块。所再生的局部解码块存储于帧存储器118中。(模式解码部422的说明)模式解码部422利用模式限制信号、模式估计信号、标记来对变换模式进行解码。 在通过模式限制信号而将变换模式限制为1个的情况或者在表示是否利用模式估计信号的值为“ 1，，的情况下，设为由模式估计信号所指定的变换模式。另外，在通过模式限制信号而变换模式为多个的情况或者在表示是否利用模式估计信号的值为“0”的情况下，设为由标记所指示的变换模式。图像解码装置400的动作与上述的图13的流程图所示的动作相同，但在本实施方式中，将图13中的扫描模式置换为变换模式，在S1112进行的逆变换以S1107(模式解码部 422)所解码的变换模式来进行。以上，在已说明的图像解码装置400中，由于通过利用变换系数的特征并根据变换模式的切换是否有效对可选择的变换模式的选项进行限制，所以，能够削减模式识别用的标记的码量，且能够针对以高的编码效率所编码的编码数据进行解码。另外，由于根据变换系数的特征来改变变换模式的估计方法，所以，变换模式的估计精度较高，而且，能够对已削减了标记的码量的编码数据进行解码。在上述的实施方式4中，说明了具有模式估计部323和模式限制部324的两者的构成，作为变形例，与实施方式2相同地，也可以是具备模式估计部323而不具备模式限制部524的构成或具备模式限制部3M而不具备模式估计部323的构成。(实施方式5)在实施方式5中，对选择预测模式进行编码的情况进行说明。在该情况下，预先确定变换方式、量化方式、扫描方式。(图像编码装置5OO的构成)图20是表示本发明的实施方式5所涉及的图像编码装置500的构成的框图。在图20中，图像编码装置500具备预测部111、变换部112、量化部113、扫描部114、可变长编码部115、逆量化部116、逆变换部117、帧存储器118、变换系数评价部121、模式选择部 522、模式估计部523、模式限制部524、减法部101、加法部102。另外，在上述构成中，针对与实施方式1以及实施方式3相同的构成要素赋予相同的标号，并省略其说明。(图像编码装置5OO的动作)图像编码装置500将所输入的图像分解成块，针对各块，首先，使模式选择部522进行动作后，使变换部112、量化部113、扫描部114、可变长编码部115、变换系数评价部 121、模式估计部523、模式限制部5M进行动作来选择预测模式，将所选择的预测模式发送给预测部111、可变长编码部115。其次，针对所输入的图像，利用所选择的变换模式来执行现有的编码处理。(画面内预测的说明)图21是用于说明画面内预测的图。画面内预测利用对象块的周围的再生完成图像来预测对象块的像素值。图21㈧是表示方向预测(线预测、1维预测)的图。方向预测是通过将与对象块邻接的块的已被再生的像素的像素值在特定的方向进行延长来进行的。图21 (A)中示出了表示画面内预测的方向的箭头与数字。该数字是用于识别预测模式的模式编号0 8的值。虽未图示，在画面内预测中除方向预测外还有DC预测。DC预测的模式编号为“2”。图21 (B)是表示块预测(面预测、2维预测)的图。块预测是从对象块的周围的再生图像中切出块，来预测对象块的像素值，将模式编号设为“9”。将所切出的块称为“参照块，，。在对对象块进行编码的时刻点，且在参照块中存在未再生区域的情况下，利用与未再生区域邻接的再生图像的像素值进行插值(插入)。在图21 (B)中，图中以斜线以及纵线所示的区域为参照块，且有参照块与对象块相重合的区域(图中，纵线区域)，该区域成为未再生区域。块预测中，将可变长编码部115中用于表示参照块的位置的位置矢量(与画面间预测的运动矢量相当)作为模式识别用的标记进行编码。(模式估计部523的说明)模式估计部523根据通过变换系数评价部121所获得的评价值xC来估计预测模式，并作为模式估计信号而输出。预测模式的估计方法有函数预测和匹配预测，函数预测用在方向预测的预测模式的估计中，匹配预测用在方向预测、块预测的两者的模式估计中。预测模式由表示预测模式的类别的信号(模式编号)以及表示预测模式的内容的信号构成，模式估计信号由该2个构成。另外，在方向预测的情况下，由于仅通过模式编号来确定内容，所以，无需表示预测模式的内容的信号。在块预测的情况下，作为表示预测模式的内容的信号，利用表示参照块的位置的位置矢量。以下，将模式编号m(m为0至10的整数)的预测模式称为预测模式 m0图22是用于说明画面内模式的模式估计方法(函数预测和匹配预测)的图。图22(A)是根据对象块的周围的块的预测模式来估计对象块的预测模式，称为函数预测。在该方法中，根据位于对象块的左方的块的预测模式与位于对象块的上方的块的预测模式，来确定用于决定估计模式的函数并将该函数的输出设为预测模式。该函数按照发生概率从高到低的顺序，在从模式编号小的一方起排列预测模式的情况下，将小的一方的模式编号进行输出。在该情况下，能够进行概率高的预测模式的预测。另外，在相似的预测方法排列在附近的情况下，也可利用预测模式的编号的平均。另外，左方的块或者上方的块的任意一个为块预测或画面间预测等方向预测以外的预测模式的情况下，将利用了方向预测的块的预测模式作为模式估计信号。另外，左方的块、上方的块均未利用方向预测的情况下，将“0”(预测模式0)作为模式估计信号。图22(B)、图22(C)是用于说明利用匹配预测来估计预测模式的方法的图。图 22(B)中，表示对方向预测的预测模式进行估计的方法，图22(C)表示对块预测的预测模式进行估计的方法。匹配预测从已再生区域中分离出2个区域，通过选择在区域间的绝对值差分和为最小的区域来进行估计。在对方向预测的预测模式进行估计的情况下的2个区域，如图22 (B)所示那样，按照方向预测的每个模式来进行确定。在此，按照每一预测模式，计算将已编码的2个区域间的像素值的绝对值差分和除以其和中所使用的像素数而得到的值(归一化绝对值差分和D)，并且将归一化绝对值差分和D为最小的预测模式设为模式估计信号。另外，在归一化绝对值差分和D的计算中所利用的2个区域是按照与预测模式对应的每一方向，利用与对象块邻接的像素区域和将该区域向预测方向的反方向延长的远侧的像素区域间。另外，在预测模式2(DC预测)中，由于没有与预测模式对应的方向，故不能确定2 个区域。由此，不进行与预测模式2对应的D的计算，在通过除此以外的预测模式所计算出的全部的归一化绝对值差分和D小于规定的值的情况下，将预测模式2作为模式估计信号。另外，利用已编码的区域的像素值来估计预测模式的方法并不限于上述，也可利用既存的其他方法。图22(B)按照从上至下的顺序分别示出了求取预测模式0、预测模式1、预测模式 4的归一化绝对值差分和D的方法。例如，在预测模式0中，在对象块的上方邻接的块中，利用与对象块邻接的区域 (斜线区域)以及在预测模式0的方向(垂直方向)上延长的位于远端的区域(纵线区域) 间来计算出归一化绝对值差分和D。在方向预测中存在预测模式0至预测模式8的9种方向，在此，可以不利用所有的方向，而限制在易进行估计的方向(预测模式)(例如，仅垂直方向的预测模式0平方向的预测模式1)。其次，图22(C)是用于说明匹配预测中求取块预测的预测模式的方法的图。该方法中，对与对象块邻接的逆L字型的像素值和从再生图像中切取相同的逆L 字型而获得的像素值进行比较，来求取该绝对值差分和为最小的块的位置矢量。该方法也称为模板匹配。图23是用于说明根据从变换系数评价部121所输出的评价值xC来估计预测模式的模式估计部523的动作的流程图。(S1301)在评价变换系数而输出的评价值xC为规定值TH以下的情况下进入 S1302，在比规定值TH大的情况下进入S1303。(S1302)基于已编码完成的周围的像素值，利用匹配预测来估计预测模式。(S1303)基于周围的块的预测模式，利用函数预测来估计预测模式。(模式估计部523的其他的动作)
27
图M是用于说明模式估计部523的其他的动作的流程图。(L1401)使控制变量k从0至8进行变化，反复执行以下的S1401。其后进入S1402。(S1401)基于与控制变量k对应的已编码完成的2个区域，计算出归一化绝对值差分和D。(S1402)按照像素间相关从大至小的顺序分配选择顺序。即，按照以归一化绝对值差分和D从小至大的顺序来选择预测模式的方式来设定选择顺序。(S1403)通过函数预测来估计预测模式。即，在与对象块的左方邻接的块的预测模式以及与上方邻接的块的预测模式中，选择在S1402中确定的选择顺序高的预测模式(模式编号小的一方的模式)。(模式估计部523的其他的动作)模式估计部523也可以利用画面间预测来生成预测信号。在该情况下，用于表示变换系数的特征的评价值XC较小时，利用块匹配来估计运
动矢量。相反地，在评价值XC较大时，利用编码对象块周围的左方的块、上方的块、右上方的块的运动矢量的中位数来估计运动矢量。中位数的计算按照矢量的每个单元(分别为X 方向矢量、Y方向矢量)来进行。此时的模式估计信号为表示模式的类别是画面间预测的预测模式10以及表示模式的内容的运动矢量(以及帧ID、块的位置)。例如，在零以外的变换系数的个数nC较小的情况下，估计为预测良好地命中。在该情况下，由于认为对象块与周围的像素值的特征相似，所以，利用对象块的已再生完成的像素值，通过匹配预测能够预测适当的运动矢量。相反地，在nC较大的情况下，认为对象块与周围的像素值的特征存在差异，利用已再生完成的像素值也不能够进行良好的预测。在该情况下，仅采用其利用了相邻接的块的预测模式的函数预测。同样的切换方法与零以外的变换系数的个数nC无关地，也可适用于变换系数评价部121所获得的其他的评价值。(模式限制部524的说明)模式限制部5M根据变换系数评价部121所获得的评价值xC，对可选择的预测模式进行限制，并作为模式限制信号而输出。将模式限制信号设为可选择的预测模式的个数与可选择的预测模式的范围。其中，可选择的预测模式为1个的情况下，无需可选择的预测模式的范围，仅可选择的预测模式的个数即可。在零以外的变换系数的个数nC较小的情况下，由于预测良好地命中的情形多，可将预测模式的个数限制得较少。另外，相反地，在nC较大的情况下，由于意味着预测不中，所以认为在预测模式中使用较多的码量是没有效率的。图6是用于说明模式限制部5M的图。如图6(A)、图6(B)所示那样，根据变换系数的评价值xC和规定的值THX0、THX1，将可选择的预测模式的个数限制为1个或者N个(N > 1)或者1个、m个、N2个。在可选择的预测模式的个数为比1个要大的情况下，除可选择的预测模式的个数夕卜，将可选择的预测模式的编号作为模式限制信号而输出。例如，在可选择的预测模式为N
28个的情况下，作为可选择的预测模式的范围，将模式编号的列表，即，从模式编号0至模式编号N-I的模式编号进行输出。(模式选择部522的说明)模式选择部522基于模式估计部523以及模式限制部5M的输出值来选择预测模式。利用图25的流程图，对模式选择部522的动作进行说明。(L1501)使控制变量k从0至8进行变化，反复执行以下的S1501 S1513。其后进入S1514。在模式估计部523中利用匹配预测的情况下，将表示块预测的模式编号9加入为处理对象，对控制变量k = 0…9进行处理。K为9的情况下，进一步在规定的搜索范围使位置矢量进行变化，反复执行以下的S1501 S1513。在此，将位置矢量的搜索范围限定为匹配预测中所获得的位置矢量(或者其周边)时，能够削减运算量。另外，在利用画面间预测的情况下，将其作为模式编号10而加入，反复进行以下的 S1501 S1513。(S1501)通过预测部111以与控制变量k对应的预测方法(模式编号k的预测模式)来生成预测信号。例如，k为0 8的情况下，利用模式编号k所示的方向预测，k为9 的情况下利用块预测。k为10的情况下利用画面间预测。(S1502)通过减法部(残差算出部)101，基于预测信号与输入信号的差分来生成
残差信号。(S1503)通过变换部112对残差信号进行变换。(S 1504)通过量化部113对变换系数进行量化。(S1505)通过扫描部114进行扫描。(S1506)通过可变长编码部115，对经量化、扫描的变换系数进行可变长编码。(S1507)通过变换系数评价部121来获得用于表示变换系数的特征的评价值xC。(S1508)根据变换系数评价部121的评价值xC，通过模式估计部523来估计预测模式，获取模式估计信号。(S1509)根据变换系数评价部121的评价值xC，通过模式限制部5 对可选择的预测模式进行限制，获得模式限制信号。(S1510)参照模式限制信号，针对与控制变量k对应的预测模式是否可选择进行判定。在为可选择的情况下进入S1511，在为不可选择的情况下进入S1513。(S1511)通过可变长编码部115对标记进行编码。(S1512)利用RD成本来计算成本。将码量R设为变换系数的码量和标记的码量。(S1513)按照该预测模式不被选择的方式，将与控制变量k对应的成本设为最大值。(S1514)选择成本为最小的预测模式，并输出给预测部111以及可变长编码部 115。(可变长编码部115的说明)对实施方式5的可变长编码部115中的标记的编码方法进行说明。在所选择的预测模式为方向预测的情况下，对表示模式估计信号是否被利用的值进行编码，以及在未利用与模式估计信号对应的预测模式的情况下，对用于选择模式估计信号以外的预测模式的标记进行编码。关于表示上述模式估计信号是否被利用的值，如与模式估计信号对应的预测模式不是所选择的预测模式，将其值设为“1”，在利用模式估计信号的情况下设为“0”。另外，在所选择的预测模式为块预测的情况下，对所选择的预测模式与模式估计信号的差分进行编码。在块预测的情况下，表示预测模式的信息为矢量，所以，预测模式间的差分为矢量(差分矢量)。差分矢量按照水平方向、垂直方向的顺序进行编码。以上，在已说明的图像编码装置500中，通过利用变换系数的特征，并根据预测模式的切换是否有效来限制可选择的预测模式的选项，所以，能够削减模式识别用的标记的码量，以高的编码效率进行编码。另外，由于根据变换系数的特征来改变预测模式的估计方法，所以预测模式的估计精度高，而且，削减标记的码量且提高了编码效率。(模式选择部522的其他的动作的说明)图沈是用于说明模式选择部522的其他的动作的流程图。图沈的动作例是图25 的动作的特殊例。该例为在变换系数的评价中利用cbp (Coded Block Pattern)，在cbp为0的情况下，模式估计部523通过匹配预测来估计预测模式，另外，在模式限制部5M中，将可选择的预测模式限制为1个。(S1601)通过模式估计部523来估计cbp = 0的情况下的预测模式。本实施方式中，由于cbp = 0，所以利用匹配预测。(S1602)通过模式估计部523来限制cbp = 0的情况下的预测模式。由于cbp = 0，所以限制为1个。(S1603)通过预测部111，利用S1601中所估计的预测模式来生成预测信号。(S1604)对用于识别变换系数的特征、变换系数、预测模式的标记进行编码。在此由于cbp = 0，故仅对cbp进行编码，无需变换系数的特征的编码。且由于预测模式被限制为1个，故也无需模式识别用的标记的编码。(S1605)利用RD成本来计算成本。(L1601)使控制变量k从0至8进行变化，反复执行以下的S1606 S1616。其后进入S1617。(S1606)通过模式估计部523来估计cbp Φ 0的情况下的预测模式。在本实施方式中，利用函数预测。(S1607)通过模式估计部523对cbp Φ 0的情况下的模式进行限制。在此，限制为预测模式0至预测模式8。(S1608)通过预测部111，以与控制变量k对应的模式所示的预测方法(模式编号 k的预测模式)来生成预测信号。(S1609)通过减法部(残差算出部)101，基于预测信号与输入信号的差分，生成残
差信号。(S1610)通过变换部112、量化部113、扫描部114，对残差信号进行变换、量化、扫描。(S1611)通过变换系数评价部121，来计算出变换系数的评价值xC。在此，将cbp设为评价值xC。(S1612)在cbp为0的情况下进入S1613。在cbp为零以外的情况下，进入S1614。(S1613)在cbp = 0的情况下，许可零以外的变换系数的个数为0的变换系数的编码的情况下，进入S1614。否则进入S1616。另外，在cbp = 0的情况下，许可零以外的变换系数的个数为0的变换系数的编码的情况是指，在对Cbp = 1进行编码后，能够生成连1个变换系数也不进行编码的编码数据的情况。例如，在行程编码的变换系数中，将变换系数的值=0确定为最后的数据的情况下，如将最初的变换系数编码为变换系数的值=0，则能够生成这样的编码数据。(S1614)通过可变长编码部115，对变换系数的特征(cbp)、变换系数、预测模式识别用标记进行编码。(S1615)利用基于失真量D和码量R所计算出的RD成本来计算成本。码量R是基于对变换系数的特征(cbp)、经量化扫描的残差信号、预测模式识别用标记进行了可变长编码的情况下的码量而计算出的。(S1616)按照该预测模式不被选择的方式，将与该控制变量k对应的成本设定为
最大值。(S1617)选择成本为最小的预测方法，输出给预测部111以及可变长编码部115。以上，通过已说明的方法，根据变换系数的特征，尤其是根据cbp是否为0来进行模式的估计。Cbp为0这样的能够基于周围的已编码完成的像素来高精度地估计模式的情况下，以利用已编码完成的像素值的匹配预测来估计模式，所以，能够以高估计精度来估计预测方法。另外，由于将该情况下的可选择的预测模式限制为1个，所以，能够将表示预测模式的标记的码量设为0。由此，能够使编码效率提高。另外，在上述的实施方式5中说明了具备模式估计部523和模式限制部524的两者的构成，但也可以是与实施方式1相同地，具备模式估计部523而不具备模式限制部524 的构成或者具备模式限制部5M而不具备模式估计部523的构成。(实施方式6)实施方式6的图像解码装置对实施方式5的图像编码装置500中生成的编码数据进行解码。(图像解码装置6OO的构成)图27是表示本发明的实施方式6所涉及的图像解码装置600的构成的框图。在图27中，图像解码装置600具备可变长编码解码部201、逆扫描部202、预测部111、逆量化部116、逆变换部117、帧存储器118、变换系数评价部121、模式解码部622、模式估计部 523、模式限制部524、加法部102。另外，在上述构成中，针对与实施方式1、实施方式2以及实施方式5相同的构成要素赋予相同的标号，并省略其说明。(图像解码装置6OO的动作)输入至图像解码装置600中的编码数据首先被输入到可变长编码解码部201中。 可变长编码解码部201通过编码数据的可变长解码，对经变换、量化后的残差信号即变换系数进行解码。解码的变换系数向变换系数评价部121以及逆扫描部202输出。变换系数评价部121基于变换系数的特征来计算评价值xC，并将评价值xC输出给模式估计部523、模式限制部524。模式估计部5 根据评价值XC来估计预测模式，并作为模式估计信号向模式解码部622输出。模式限制部5M根据评价值XC对可选择的预测模式进行限制，并作为模式限制信号而向可变长编码解码部201、模式解码部622输出。可变长编码解码部201接收模式限制信号，在需进行标记解码的情况下，从通过模式限制信号而限制的可选择的预测模式中，对用于识别1个预测模式的标记进行解码， 并输出给模式解码部622。模式解码部622利用模式估计信号、模式限制信号、标记来对预测模式进行解码。逆扫描部202对于逆变换所需的排列，重排变换系数。经逆扫描的变换系数通过逆量化部116进行逆量化，通过逆变换部117进行逆变换，来再生残差信号。预测部111根据解码后的预测信号，参照帧存储器118中所存储的解码完成的图像，以所解码的预测模式来生成预测信号。加法部102通过预测信号与所再生的残差信号的相加来生成局部解码块，并存储于帧存储器118中。(模式解码部622的说明)模式解码部622利用模式限制信号、模式估计信号、标记来对预测模式进行解码。 通过模式限制信号而将预测模式限制为1个的情况或者表示模式估计信号是否被利用的值为“ 1，，的情况下，设为模式估计信号所指定的预测模式。另外，通过模式限制信号而将预测模式限制为多个的情况下或者表示模式估计信号是否被利用的值为“0”的情况下，设为标记所指示的预测模式。图像解码装置600的动作与上述的图13的流程图中所示的动作相同，但在本实施方式中，将图13中的扫描模式置换为预测模式，在S1112中进行的逆变换是以S1113(模式解码部42 所解码的预测模式来进行的。以上，在已说明的图像解码装置600中，通过利用变换系数的特征，并根据预测模式的切换是否有效来限制可选择的预测模式的选项，由此，能够削减模式识别用的标记的码量，能够对以高的编码效率所编码的编码数据进行解码。另外，由于根据变换系数的特征来改变预测模式的估计方法，能够提高预测模式的估计精度，而且，能够对已削减了标记的码量的编码数据进行解码。(图像解码装置600的其他动作的说明)图观是用于说明图像解码装置600的其他的动作的流程图。(S1701)通过可变长编码解码部201对cbp进行解码。(S1702)在cbp为零以外的情况下进入S1703，在为“0”的情况下进入S1709。(S1703)通过模式估计部523对cbp为“0”以外的情况下的预测模式进行估计，通过模式限制部5M对预测模式进行限制。另外，关于cbp为“0”以外的情况下的预测模式的估计，利用在实施方式5中说明的方法，但在此利用方向预测。(S1704)通过模式解码部622对预测模式进行解码。(S1705)通过可变长编码解码部201对变换系数进行解码。(S1706)通过逆扫描部202对变换系数进行逆扫描。
32
(S1707)通过逆量化部116进行变换系数的逆量化。(S1708)通过逆变换部117进行逆变换，再生残差信号，进入S1710。(S1709)通过模式估计部523对cbp为“0”的情况下的预测模式进行估计，通过模式限制部5M将预测模式限制为1个。由于预测模式限制为1个，所以选择所估计的预测模式。另外，将残差信号设为0。另外，关于cbp为“0”的情况下的预测模式的估计，利用在实施方式5中说明的方法。(S1710)通过预测部111，基于解码后的预测模式来生成预测信号。(S1711)通过加法部102所获得的预测信号与残差信号的和，来生成再生信号。以上，根据已说明的上述动作，通过变换系数的特征，尤其cbp是否为“0”来估计预测模式，从而能够提高预测模式的估计精度以及提高编码效率。而且在cbp为“0”的情况下将可选择的预测模式限制为1个，不对标记进行解码，由此，能够削减表示预测模式的标记的码量，能够以高的编码效率对所编码的编码数据进行解码。另外，在上述的实施方式6中，说明了具备模式估计部523和模式限制部5M的两者的构成，也可以是与实施方式2相同地，具备模式估计部523而不具备模式限制部5M的构成或者具备模式限制部5M而不具备模式估计部523的构成。另外，本发明并不限于上述的实施方式，在不脱离本发明的要旨的范围内能够进行各种变形、修正。标号说明100、300、500…图像编码装置，111…预测部，112…变换部，113…量化部，114··· 扫描部，115…可变长编码部，116…逆量化部，117…逆变换部，118…帧存储器，101…减法部(残差算出部)，102…加法部，121···变换系数评价部，122、322、522…模式选择部，123、 323、523…模式估计部，1M、3M、5M…模式限制部，1001…频度存储部，1002…频度测量部，1003…频度评价部，1004…模式估计信号决定部，1103…扫描顺序生成部，1104…模式估计信号决定部，1201…变换模式存储部，1202…变换模式测量部，1203…变换模式频度评价部，1204…模式估计信号决定部，200、400、600…图像解码装置，201…可变长编码解码部，202…逆扫描部，222、422、622…模式解码部。
权利要求
1.一种图像编码装置，用于生成编码数据，具备对输入信号进行块化并以该块单位来生成所述输入信号的预测信号的预测部；对所述输入信号与所述预测信号的残差信号进行变换并计算出变换系数的变换部；对所述变换系数进行量化的量化部；将所述量化后的变换系数进行一维排列的扫描部；以及对所扫描的所述变换系数进行编码的可变长编码部，所述图像编码装置的特征在于，具备变换系数评价部，其基于所述变换系数的特征来计算评价值；模式估计部，其根据所述评价值，来估计所述预测部或者所述变换部或者所述扫描部中所利用的模式；模式限制部，其根据所述评价值，对所述预测部或者所述变换部或者所述扫描部中所利用的可选择模式的范围进行限定；以及模式选择部，其从所述可选择模式的范围内存在的规定的模式中，选择编码成本为最小的模式，所述模式选择部一边切换所述预测部或者所述变换部或者所述扫描部中所利用的所述规定的模式，一边使所述预测部、所述变换部、所述量化部、所述扫描部、所述可变长编码部对所述输入信号进行动作，利用由所述变换系数评价部计算出的评价值，来选择编码成本为最小的模式，所述可变长编码部在所限制的所述模式的个数为多个的情况下，对用于识别所述预测部或者所述变换部或者所述扫描部中所利用的模式的标记进行编码。
2.一种图像编码装置，用于生成编码数据，具备对输入信号进行块化并以该块单位来生成所述输入信号的预测信号的预测部；对所述输入信号与所述预测信号的残差信号进行变换并计算出变换系数的变换部；将所述变换系数进行量化的量化部；对所述量化后的变换系数进行一维排列的扫描部；以及对所扫描的所述变换系数进行编码的可变长编码部，所述图像编码装置的特征在于，具备变换系数评价部，其基于所述变换系数的特征来计算评价值；模式限制部，其根据所述评价值，对所述预测部或者所述变换部或者所述扫描部中所利用的可选择模式的范围进行限定；以及模式选择部，其从所述可选择模式的范围内存在的规定的模式中，选择编码成本为最小的模式，所述模式选择部一边切换所述预测部或者所述变换部或者所述扫描部中所利用的所述规定的模式，一边使所述预测部、所述变换部、所述量化部、所述扫描部、所述可变长编码部对所述输入信号进行动作，利用由所述变换系数评价部计算出的评价值，来选择编码成本为最小的模式，所述可变长编码部对用于识别所述预测部或者所述变换部或者所述扫描部中所利用的模式的标记进行编码。
3.一种图像编码装置，用于生成编码数据，具备对输入信号进行块化并以该块单位来生成所述输入信号的预测信号的预测部；对所述输入信号与所述预测信号的残差信号进行变换并计算出变换系数的变换部；对所述变换系数进行量化的量化部；对所述量化后的变换系数进行一维排列的扫描部；以及对所扫描的所述变换系数进行编码的可变长编码部，所述图像编码装置的特征在于，具有 变换系数评价部，其基于所述变换系数的特征来计算评价值； 模式估计部，其根据所述评价值，来估计所述预测部或者所述变换部或者所述扫描部中所利用的模式；以及模式选择部，其从规定的模式中选择编码成本为最小的模式，所述模式选择部一边切换所述预测部或者所述变换部或者所述扫描部中所利用的所述规定的模式，一边使所述预测部、所述变换部、所述量化部、所述扫描部、所述可变长编码部对所述输入信号进行动作，利用由所述变换系数评价部计算出的评价值，来选择编码成本为最小的模式，所述可变长编码部在所估计的所述模式与所选择的所述模式相同的情况下，对表示利用所估计的所述模式的信息进行编码，另外，在所估计的所述模式与所选择的所述模式不同的情况下，对用于识别所述预测部或者所述变换部或者所述扫描部中所利用的模式的标记、以及表示不利用所估计的所述模式的信息进行编码。
4.一种图像解码装置，其针对对输入信号进行块化并以该块单位将实施变换并量化后的变换系数进行一维地排列并编码后的编码数据，通过逆扫描部进行逆扫描，通过逆量化部进行逆量化，通过逆变换部进行逆变换，并根据由此得到的残差信号和由预测部根据已解码的信号所预测的预测信号，来对所述编码数据进行解码，所述图像解码装置的特征在于，具有可变长解码部，其根据所述编码数据，对变换系数以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记进行解码； 变换系数评价部，其基于所述变换系数的特征来计算评价值； 模式估计部，其根据所述评价值，来估计所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式；模式限制部，其根据所述评价值，对所述预测部或者所述逆变换部或者所述逆扫描部中所利用的可选择模式的范围进行限定；以及模式解码部，其在所限制的所述模式的个数为1个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为由所述模式估计部估计出的模式，另外， 在所限制的所述模式的个数为多个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记识别的模式，利用由所述模式解码部解码的模式，使所述预测部或者所述逆变换部或者所述逆扫描部进行动作，对所述编码数据进行解码。
5.一种图像解码装置，其针对对输入信号进行块化并以该块单位将实施变换并量化后的变换系数进行一维地排列并编码后的编码数据，通过逆扫描部进行逆扫描，通过逆量化部进行逆量化，通过逆变换部进行逆变换，并根据由此得到的残差信号和由预测部根据已解码的信号所预测的预测信号，来对所述编码数据进行解码，所述图像解码装置的特征在于，具有可变长解码部，其根据所述编码数据，对变换系数以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记进行解码；变换系数评价部，其基于所述变换系数的特征来计算评价值；模式限制部，其对所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的范围进行限定；模式解码部，其在所限定的所述模式的个数为1个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为由所述模式限制部限定的范围内的模式， 另外，在所限定的所述模式的个数为多个的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记识别的模式，利用由所述模式解码部解码的模式，使所述预测部或者所述逆变换部或者所述逆扫描部进行动作，对所述编码数据进行解码。
6.一种图像解码装置，其针对对输入信号进行块化并以该块单位将实施变换并量化后的变换系数进行一维地排列并编码后的编码数据，通过逆扫描部进行逆扫描，通过逆量化部进行逆量化，通过逆变换部进行逆变换，并将由此得到的残差信号和由预测部根据已解码的信号所预测的预测信号，来对所述编码数据进行解码，所述图像解码装置的特征在于，具有可变长解码部，其根据所述编码数据，对变换系数、表示是否利用所估计的模式的信息、以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记进行解码；变换系数评价部，其基于所述变换系数的特征来计算评价值；模式估计部，其根据所述评价值来估计所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式；以及模式解码部，其在表示利用所估计的模式的信息被解码的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为由所述模式估计部估计出的模式，另夕卜，在表示不利用所估计的模式的信息被解码的情况下，将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记识别的模式，利用由所述模式解码部解码的模式，使所述预测部或者所述逆变换部或者所述逆扫描部进行动作，对所述编码数据进行解码。
7.根据权利要求1、2、3中任意一项所述的图像编码装置或根据权利要求4、5、6中任意一项所述的图像解码装置，其特征在于，所述变换系数评价部的评价值为在表示是否有零以外的变换系数的值、零以外的变换系数的个数、变换系数的零所连续的长度、量化后的变换系数的大小、对变换系数进行编码时的编码成本、变换系数的偏差、基于量化后的变换系数的大小而计算出的编码效率以及表示最低阶数的变换系数是否为0的值中的任意一个；利用这些值来从规定的函数所计算出的值；或者模式估计或者模式限定中所使用的组合。
8.根据权利要求1或2所述的图像编码装置或根据权利要求4或5所述的图像解码装置，其特征在于，与所述评价值为规定的值以下的情况相比，所述模式限定部在所述评价值大于规定的值的情况下，将可选择模式的范围设定得较小。
9.根据权利要求1或2所述的图像编码装置或根据权利要求4或5所述的图像解码装置，其特征在于，所述模式限定部具有比第一规定值大的第二规定值，并与在所述评价值比所述第一规定值大且为所述第二规定值以下的情况下的可选择模式的范围相比，将在所述评价值为所述第一规定值以下的情况以及所述评价值比所述第二规定值大的情况下的可选择模式的范围设定得较小。
10.根据权利要求1或3所述的图像编码装置或根据权利要求4或6所述的图像解码装置，其特征在于，所述模式估计部在所述评价值为规定的值以下的情况下，基于已再生完成的块的模式或者已再生完成块的像素值来估计模式，在所述评价值比规定的值大的情况下，利用规定的模式。
全文摘要
提供一种利用变换系数的特征来谋求模式的估计精度的提高和编码效率的提高的图像编码装置。根据基于变换系数的特征所计算出的评价值，对估计的模式和可选择模式的范围进行限制，从所限制的模式的范围内的规定的模式中选择编码成本为最小的模式，在所限制的所述模式的个数为1个的情况下，不对用于识别模式的标记进行编码，另外，在为多个的情况下，对所选择的所述模式进行编码。由此，能够削减模式识别用的标记的编码成本量并以高的编码效率进行编码，模式的估计精度得以提高，而且削减标记的码量从而编码效率得以提高。
文档编号H04N7/50GK102484720SQ20108003776
公开日2012年5月30日 申请日期2010年7月30日 优先权日2009年8月26日
发明者猪饲知宏 申请人:夏普株式会社