图像编码装置及图像编码方法

图像编码装置及图像编码方法
【专利摘要】本发明提供一种图像编码装置及图像编码方法。图像分析器按照编码单位将输入图像划分为第一块，并且针对各第一块生成与所述输入图像的帧内预测相关联的分析信息。帧内预测器按照预测单位将所述输入图像划分为第二块，并且进行所述帧内预测以生成各第二块的预测残差。CODEC对所述第二块的所述预测残差或直流分量进行编码。编码控制器针对各第一块基于所述分析信息来估计所述CODEC的编码结果，并且基于所述估计来控制所述帧内预测器及所述CODEC。
【专利说明】图像编码装置及图像编码方法
【技术领域】
[0001]本发明涉及用于对运动图像编码的图像编码装置及图像编码方法。
【背景技术】
[0002]数字技术的发展使利用数字照相机或数字摄像机的数字运动图像拍摄变得普及。一般对数字运动图像进行压缩(编码)以便有效地记录在由半导体存储器代表的记录介质中。H.264/MPEG-4AVC (下文中称为“H.264”)广泛用作运动图像编码方法。
[0003]近来开始了针对继H.264后更为有效的编码方法的国际标准化活动，并且在ISO/IEC与ITU-T之间设立了 JCT-VC (视频编码联合协作组，Joint Collaborative Team onVideo Coding)。JCT-VC促进了高效视频编码(HEVC)的标准化。
[0004]为了提高编码效率，H.264和HEVC采用了用于利用帧内像素间的相关性来进行帧内预测的帧内预测编码、以及传统上使用的利用基于运动矢量的运动预测的帧间预测编码。
[0005]还已知自适应量化控制技术，该技术提取图像特征信息并且自适应地改变帧内的量化参数，以改善在压缩视频的比特率受限的情况下的主观图像质量。
[0006]在H.264中，存在三种类型的作为帧内预测单位的预测块大小。各预测块大小最大具有九种预测模式。在HEVC中，帧内预测中的可选择预测模式的数量以及预测块大小的数量与H.264相比有所增加。也就是说，在编码时，有必要搜索并决定众多预测模式中要用于编码的预测模式以及预测块大小。
[0007]然而，在实时编码视频的图像编码装置中，如果在许多候选中全面搜索预测模式和预测块大小，则增加电力消耗。此外，在图像编码装置中进行提取图像特征信息的上述处理时，电力消耗一般都会增加。
[0008]日本特开2008-154060号公报公开了一种技术，该技术在帧内预测或运动预测后评价预测残差(prediction residual),并且在预测残差的统计值等于或小于阈值的情况下，省略正交变换处理以削减电力消耗。然而，在该【背景技术】公开的技术中，由于能够省略的处理限于正交变换处理和量化处理，因此无法削减伴随大电力消耗的帧内预测以及利用运动矢量搜索的运动预测所消耗的电力。此外，该【背景技术】公开的技术无法削减提取图像特征信息所消耗的电力。

【发明内容】

[0009]根据本发明的一方面，提供了一种用于进行图像数据的预测编码的图像编码装置，所述图像编码装置包括:分析单元，其被构造为按照编码单位将输入图像划分为第一块，并且针对各第一块生成与所述输入图像的帧内预测相关联的分析信息；第一预测单元，其被构造为按照预测单位将所述输入图像划分为第二块，并且进行所述帧内预测以生成各第二块的预测残差；编码单元，其被构造为对所述第二块的所述预测残差或直流分量进行编码；以及控制单元，其被构造为针对各第一块、基于所述分析信息来估计所述编码单元的编码结果，并且基于所述估计来控制所述第一预测单元和所述编码单元。
[0010]根据本发明的另一方面，提供了一种进行图像数据的预测编码的图像编码方法，所述图像编码方法包括以下步骤:按照编码单位将输入图像划分为第一块；针对各第一块生成与所述输入图像的帧内预测相关联的分析信息；按照预测单位将所述输入图像划分为第二块；进行所述帧内预测以生成各第二块的预测残差；对所述第二块的所述预测残差或直流分量进行编码；针对各第一块、基于所述分析信息来估计在所述编码步骤中的编码结果；以及基于所述估计来控制所述帧内预测和所述编码。
[0011]根据这些方面，能够削减图像编码装置的电力消耗。
[0012]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【专利附图】

【附图说明】
[0013]图1是用于说明根据第一实施例的图像编码装置的配置的框图。
[0014]图2是用于说明CODEC的配置的框图。
[0015]图3是用于说明图像分析器的详细配置的框图。
[0016]图4是用于说明针对16X 16像素的各块的简单帧内预测的图。
[0017]图5A至图5C是示出帧内预测器支持的预测模式的示例的图。
[0018]图6是示出被划分为各自包括4X4像素的16个子块的16X16像素的块以及所述子块的索引的图。
[0019]图7是用于说明通过帧内预测器的帧内预测以及传送到编码控制器的输入帧的分析信息的时序图。
[0020]图8是示出根据由DC预测模式中的预测残差获得的分析信息来增加/减少赋予各图像的默认量化参数的算法的图。
[0021]图9是示出估计编码结果的算法的图。
[0022]图1OA至图1OC是用于说明图像分析器和编码器的编码处理的流程图。
[0023]图11是针对子块的预测编码及局部解码的流程图。
[0024]图12A至图12C是用于说明块大小扩大的图。
[0025]图13是示出通过HEVC的DC预测模式中的滤波处理生成的参照像素组的图。
[0026]图14是示出根据第三实施例的图像分析器的详细配置的框图。
[0027]图15是用于说明根据第四实施例的图像编码装置的配置的框图。
[0028]图16A至图16D是用于说明图像分析器和编码器的编码处理的流程图。
[0029]图17是用于说明帧间预测编码的流程图。
【具体实施方式】
[0030]现将参照附图来详细描述根据本发明的各实施例的图像编码装置及图像编码方法。注意，以下将说明其中针对包括16X16像素(B卩，水平方向上16像素，垂直方向上16像素)的各块进行编码的示例。此外，将描述其中通过利用帧内预测的帧内预测编码来对输A图像编码的不例。
[0031]第一实施例
[0032][装置的配置][0033]将参照图1的框图来描述根据第一实施例的图像编码装置的配置。图像编码装置包括图像分析器101和编码器102，如图1中所示。
[0034]在编码器102中，编码控制器103在编码处理开始前从装置外接收针对编码目标帧(帧图像)的默认量化参数。基于目标码量以及作为就到前一帧为止的编码的结果的生成码量来在装置外决定默认量化参数。编码控制器103利用默认量化参数为参照来进行稍后描述的自适应量化控制，并且将要在实际量化中使用的量化参数传送到编码器/解码器(CODEC) 105。
[0035]编码控制器103还控制，以例如设置进行编码器102的内部处理的帧内预测器104、C0DEC105、复用器(MUX) 106以及帧内补偿器107的参数，并且指示开始操作。编码控制器103还进行稍后描述的编码结果估计、编码块图案生成、以及编码块图案的熵编码。
[0036]编码处理开始时，帧内预测器104接收编码目标帧(帧图像)，将输入帧划分为各自具有4X4像素的预定块大小(预测单位)的图像块(预测目标块/第二块)，并且针对各预测目标块搜索预测模式。帧内预测器104从用于帧内预测的存储器108中读出邻接块的解码像素。帧内预测器104生成作为对应于搜索目标的预测模式的参照像素组的参照块，计算预测目标块与参照块之间的预测残差(差值)，并且计算预测残差的评价值。
[0037]为了计算评价值，使用作为通过将预测目标块中的表现为绝对值的预测残差合计而获得的值的SAD (绝对差的和)，或者稍后描述的活性(activity)。帧内预测器104将使评价值最小化的预测模式决定作为最小生成码量的预测模式。帧内预测器104将代表决定的预测模式的信息输出到MUX106和帧内补偿器107，并且将利用预测模式生成的预测残差输出到C0DEC105。
[0038]C0DEC105进行从帧内预测器104输出的预测残差的编码处理和局部解码处理。注意，尽管稍后描述细节，但通过预测残差的正交变换一量化一熵编码来进行“预测残差编码”，并且通过量化值的逆量化一逆正交变换来进行“局部解码”。
[0039]MUX106输出编码流，在该编码流中，从C0DEC105输出的编码数据、从帧内预测器104输出的预测模式、以及从编码控制器103输出的熵编码的块图案被复用。
[0040]帧内补偿器107将对应于预测模式的参照像素值与通过C0DEC105局部解码的预测残差(下文中称为“解码预测残差”)相加(补偿)，并且将经历了局部解码的像素(下文中称为“局部解码像素”)记录到用于帧内预测的存储器108中。使用存储器108中记录的局部解码像素来生成要用于后续块的帧内预测的参照块。
[0041].预测残差编码器/局部解码器
[0042]将参照图2的框图来描述C0DEC105的配置。
[0043]参照图2，正交变换单元201正交变换针对具有预定变换块大小4X4像素的各变换块的预测残差，并且将正交变换系数输出到量化单元202。量化单元202基于从编码控制器103输入的量化参数量化正交变换系数，并且将量化的正交变换系数(下文称为“量化值”)输出到熵编码单元203。
[0044]熵编码单元203将通过对量化值熵编码获得的编码数据输出到MUX106，并且针对各变换块将代表变换块中的全部量化值是否为O的编码结果传送到编码控制器103。
[0045]在下文中，代表变换块大小中的全部量化值为O的编码结果将被定义为“未编码”(Not Coded)，代表至少一个量化值不为O的编码结果将被定义为“已编码”(Coded)。此外，代表变换块或稍后描述的子块(其被合并为各16X16像素块)的编码结果的信息将被定义为“编码块图案”。
[0046]编码结果为“未编码”的变换块可以仅利用稍后描述的编码块图案来被解码。因此，熵编码单元203不将变换块的预测残差的编码数据输出到MUX106。
[0047]注意，可以仅对变换块中除了直流分量系数(下文中称为“DC系数”)以外的全部交流分量系数(下文中称为“AC系数”)定义编码结果。当仅对AC系数定义编码结果时，即使“未编码”，DC系数可以被熵编码以生成编码数据。在以下描述中，假设针对AC系数定义编码结果。
[0048]逆量化单元204对量化值逆量化，并且将通过逆量化获得的正交变换系数输出到逆正交变换单元205。逆正交变换单元205针对各变换块将通过正交变换系数的逆正交变换获得的解码预测残差输出到帧内补偿器107。
[0049].图像分析器
[0050] 如上所述， 帧内预测以及预测残差编码包括许多处理并且消耗大量电力。在第一实施例中，为了解决该问题，使用通过图1所示的图像分析器101计算的分析信息来削减帧内预测及预测残差编码的电力消耗。将参照图3的框图来描述图像分析器101的详细配置。
[0051]帧内预测器301将输入帧划分为各自具有16X16像素的编码单位的图像块(第一块)，并且进行简单的帧内预测。即，帧内预测器301仅具有数量上小于帧内预测器104中提供的预测模式，并且不需要复用器来生成参照块。将参照图4来说明针对16X16像素的各块的简单帧内预测。
[0052]帧内预测器301从位于块A的右边缘的局部解码像素ρ[-1，0]至p[_l，15]以及从位于块B的下边缘的局部解码像素ρ[0，-1]至p[15，-l]生成要用于预测目标图像块X的帧内预测的参照块。
[0053]图5A至图5C示出了帧内预测器301支持的预测模式的示例。注意，帧内预测器301仅需要支持图5A至图5C中所示的预测模式的至少一者。图5A示出了直流预测模式(下文中称为“DC预测模式”)，其中根据以下等式(I)利用图4中所示的块A和块B的局部解码像素来生成参照块。
[0054]pred[x, y] = (Σyρ[-1, y] + Σχρ[χ, -1]+16)/32 …(I)
[0055]这里X (O ≤ X ≤ 15)是代表16X 16像素块中的水平位置的变量，y(0 ^ y ^ 15)是代表16X16像素块中的垂直位置的变量，pred[x，y]是16X 16像素参照块中的像素的值。
[0056]图5B示出了垂直预测模式，其中根据以下等式(2)利用块B的局部解码像素来生成参照块。
[0057]pred[x, y]=p[x, -1]...(2)
[0058]图5C示出了水平预测模式，其中根据以下等式(3)利用块A的局部解码像素来生成参照块。
[0059]pred[x, y]=p[-l, y]...(3)
[0060]帧内预测器301将位于其中完成帧内预测的图像块的右边缘及下边缘的像素记录在用于帧内预测的存储器302中，以生成用于后续图像块的帧内预测的参照块。帧内预测器301计算图像块与参照块之间的预测残差(差分)作为预测残差块，并且将预测残差块传送到活性计算器303、梯度确定器304以及最大残差计算器305。
[0061]活性计算器303将预测残差块e [x, y]划分为各自包括4X4像素的预测残差子块eSUB[i，x，y]，并且针对各子块计算活性actSUB[i]。索引i(l≤i≤15)指示预测残差块中的各子块。图6示出被划分为各自包括4X4像素的16个子块的16X16像素的块以及所述子块的索引。
[0062]活性计算器303计算子块中的预测残差的平均值actAVE[i]。在子块中对计算出的平均值actAVE[i]与预测残差eSUB[i，x，y]之间的绝对差值进行合计，和被定义为子块的活性actSUB[i]，由以下等式(4)给出。
[0063]actSUB[i] = XiZxZyabs(eSUB[i, x, y]-actAVE[i])...(4)
[0064]这里，O≤i≤15，0≤X≤3，0≤y≤3，abs()是用于获得绝对值的函数。
[0065]梯度确定器304在不将16X 16像素的各预测残差块划分为子块的情况下针对其计算梯度信息gradBUi。使用等式(5)来计算垂直方向上的梯度gradv。通过对位于预测残差块的上边缘的像素的值与位于该块的下边缘的像素的值之间的差分绝对值合计获得的结果是垂直方向上的梯度gradv。
[0066]gradv= Σ xabs (e [x, 15] -e [x, 0])...(5)
[0067]这里0≤X≤15。
[0068]使用等式(6)来计算水平方向上的梯度gradH。通过对位于预测残差块的左边缘的像素的值与位于该块的右边缘的像素的值之间的差分绝对值合计获得的结果是水平方向上的梯度gradH。
[0069]gradH=Xyabs(e[15, y]-e[0, y])…(6)
[0070]这里O ≤ 15。
[0071]在计算垂直方向上的梯度gradv与水平方向上的梯度gradH之后，梯度确定器304将它们进行比较，并且输出较大值作为预测残差块的梯度值gradM。
[0072]gradBLK=max (gradv, gradH)...(7)
[0073]这里max ()是用于输出较大值的函数。
[0074]最大残差计算器305将16X16像素的预测残差块划分为各自包括4X4像素的子块，并且输出子块中的预测残差的最大绝对值作为最大残差maxKES[i]。
[0075]MUX306时分复用活性信息actSUB[i]、梯度信息gradBLK、以及最大残差maxKES[i]。活性信息actSUB[i]，、梯度信息gradM、以及最大残差maxKES [i]统称为“分析信息”。MUX306经由直接连接图像分析器101和编码控制器103的直接总线将输入帧的分析信息传送到编码控制器103。
[0076]将参照图7的时序图来描述通过帧内预测器301的帧内预测以及传送到编码控制器103的输入帧的分析信息。如图7中所示，当帧内预测器301进行DC预测模式时，预测残差块的分析信息被传送到编码控制器103。之后，针对垂直预测模式的分析信息以及针对水平预测模式的分析信息被顺序传送到编码控制器103。
[0077]注意，分析信息传送方法不限于利用直接总线的时分复用。例如，各分析信息可以被记录在图像分析器101的寄存器中，编码控制器103可以经由寄存器总线从寄存器中读出分析信息。在这种情况下，MUX306和编码控制器103需要通过寄存器总线相互连接。
[0078].编码控制器[0079]编码控制器103根据从图像分析器101接收的分析信息进行输入帧中的自适应量化控制以及编码结果估计。首先将说明自适应量化控制。
[0080]自适应量化控制
[0081 ] 在自适应量化控制中，根据分析信息中的、由DC预测模式中的预测残差计算出的活性信息actslB[i]和梯度信息gradBUi来增加/减少量化参数，由此改善主观图像质量。
[0082]在DC预测模式中，关于输入图像的空间频率或图像特征的信息未丢失。DC预测模式中的输入图像和预测残差具有相同的图像特征信息。由预测残差计算的统计信息作为图像特征信息可用于自适应量化控制。另一方面，在水平预测模式和垂直预测模式中，参照块本身具有空间频率特性。因此，预测残差中的图像特征信息可能改变，并且可能进行不适当的自适应量化控制。因此，使用由DC预测模式中的预测残差计算出的分析信息来控制量化参数。
[0083]考虑到人类视觉特性，在活性高的区域中量化引起的图像质量的劣化主观上不明显。另一方面，在活性低的区域(平坦区域)中，量化引起的图像质量劣化明显。此外，在帧中具有均匀梯度的区域中，量化引起的图像质量的劣化明显，与活性低的区域中一样。
[0084]图8示出根据由DC预测模式中的预测残差获得的分析信息来增加/减少赋予各图像的默认量化参数的算法。参照图8，actSUM是各预测残差子块的活性actSUB[0]至actSUB[15]的和，actthl和actth2 (actthl〈actth2)是用作活性的和actSUM的阈值的固定值。类似地，gradthl和gradth2 (gradthl〈gradth2)是用作梯度信息gradBLK的阈值的固定值。
[0085]如上所述，由于在活性“高”的区域中图像质量的劣化不明显，因此编码控制器103增加量化参数以减少码量(图8所示的示例中“+4”)。相反，由于在活性“低”的区域中对于主观图像质量的影响大，因此编码控制器103减少量化参数(图8所示的示例中“_4”)，由此尽管码量增加了，但能够抑制图像质量的劣化。
[0086]在活性为“中”的区域中，编码控制器103根据梯度信息gradBUi控制量化参数。即，在梯度小的区域中，增加量化参数(在图8所示的示例中“+2”)。在梯度大的区域中，减少量化参数(在图8所示的示例中“_2”)。在活性和梯度均为中的区域中，不改变量化参数(即 m “±0”)。
[0087]如上所述，编码控制器103根据人类视觉特性进行自适应量化控制，由此改善了在压缩视频的比特率受限的情况下的主观图像质量。
[0088]编码结果的估计
[0089]接着将描述编码结果的估计。编码控制器103基于分析信息和量化参数来估计编码结果是“已编码”还是“未编码”。
[0090]图9示出了估计编码结果的算法。编码结果估计算法使用包括4X4像素的预测残差子块的活性actSUB[i]以及最大残差maxKES[i]作为输入。
[0091]参照图1actqp是根据量化参数来决定的活性actslB[i]的阈值，reS(lp是根据量化参数来决定的最大残差maxKES[i]的阈值。如图9中所示，编码控制器103将活性actSUB[i]和最大残差maxKES[i]与通过量化参数决定的阈值相比较，并且估计编码结果是“已编码”还是“未编码”。
[0092]在活性actSUB[i]小的预测残差子块中，无需实际正交变换或量化，编码结果可以被估计为“未编码”。如果帧中仅一个像素具有大预测残差，则即使预测残差子块的活性actSUB[i]相对小，由于通过正交变换产生的大正交变换系数，编码结果可能为“已编码”。考虑到局部发生大预测残差的这种情况，使用活性actslB[i]和最大残差maxKES[i] 二者来估计编码结果，提高了编码结果估计精度。
[0093]如果量化参数大，则具有较大值的正交变换系数的数量为O。因此，量化参数越大，阈值aCtqp和reS(lp设置得越大，由此改善了编码结果估计结果。
[0094][编码处理]
[0095]将参照图1OA至图1OC的流程图来描述图像分析器101和编码器102的编码处理。注意，图1OA至图1OC例示了编码目标的一个帧的编码处理。
[0096]编码控制器103针对输入帧输入默认量化参数(S101)。基于上述的装置外的码量控制来决定默认量化参数。
[0097]接着，图像分析器101从输入帧获取16X16像素的块(S102)。帧内预测器301利用DC预测模式/垂直预测模式/水平预测模式来进行简单的帧内预测，并且计算该16 X 16像素的块的预测残差块(S103)。活性计算器303、梯度确定器304以及最大残差计算器305计算各预测模式的预测残差块的分析信息。MUX306将输入帧的分析信息传送到编码控制器103 (S104)。
[0098]编码控制器103利用DC预测模式中的分析信息来进行图8所示的自适应量化控制，以提高主观图像质量(S105)。此外，针对DC预测模式/垂直预测模式/水平预测模式，针对图9中所示的各预测残差子块估计编码结果，并且确定其中“未编码”的子块的数量Nn。被最大化的预测模式(S106)。在步骤S106中确定的预测模式在下文中称为确定的预测模式。
[0099]帧内预测器104从输入帧获取16 X 16像素的块(S107)。编码控制器103将在确定的预测模式中被估计为“未编码”的子块的数量Nic与预定阈值Nth比较(S108)。注意，使用阈值Nth来确定是否进行通常的帧内预测或低电力模式编码。
[0100]编码控制器103基于步骤S108中的比较结果来控制16X16像素块的帧内预测编码。如果在确定的预测模式中被估计为“未编码”的子块的数量等于或小于阈值(Nnc ( Nth)，则编码控制器103确定通过通常的帧内预测进行编码并且使处理进行到步骤S109。
[0101]在通常的帧内预测中，帧内预测器104在通过划分16X16像素块获得的各4X4像素子块中搜索全部预测模式并且决定预测模式(S109)。注意，可以基于确定的预测模式来搜索预测模式，而无需全面搜索全部预测模式。尽管将稍后描述细节，帧内预测器104、C0DEC105等执行4X4像素子块的预测编码和局部解码(S110)。当4X4像素子块的处理完成时，编码控制器103确定16 X 16像素块的全部子块的处理是否已完成(SI 11)。如果处理尚未完成，则处理返回到步骤S109。如果16X16像素块的全部子块的处理已完成，则处理进行到步骤S121。
[0102]另一方面，如果在确定的预测模式中被估计为“未编码”的子块的数量超过阈值(NNC>Nth)，则编码控制器103确定进行低电力模式编码。处理根据子块的编码结果的估计来分支(S112)。针对在确定的预测模式中被估计为“已编码”的子块，进行确定的预测模式中的预测编码及局部解码(SI 13 )。
[0103]针对在确定的预测模式下被估计为“未编码”的子块，编码控制器103仅向C0DEC105提供子块的DC系数，并且使其执行编码和局部解码(S114)。注意，可以通过参照actAVE[i]来获得子块的DC系数，actAVE[i]是活性计算中使用的预测残差的平均值。
[0104]即，在步骤S114中，C0DEC105进行子块的DC系数的量化和熵编码，并且对量化的DC系数进行逆量化以获得局部解码的预测残差。MUX106在编码流上复用量化的DC系数的编码数据。帧内补偿器107将子块的参照块与对应于DC系数的解码预测残差相加以生成局部解码像素，并且将局部解码像素的一部分记录在存储器108中。注意，由于即使在局部解码后在被估计为“未编码”的子块中的全部AC系数为0，因此仅DC系数被解码。
[0105]当4X4像素子块的处理已经完成时，编码控制器103确定16X16像素块的全部子块的处理是否已经完成(S115)。如果处理尚未完成，则处理返回到步骤S112。如果16X16像素块的全部子块的处理已经完成，则处理进行到步骤Sm。
[0106]当16X16像素块的处理已经完成时，编码控制器103综合步骤S110、S113及S114中计算的编码结果(在稍后描述的步骤S137中获得)，以生成编码块图案(S121)。编码块图案被熵编码，并且连同预测模式等一起作为头信息被传送到MUX106 (S122)。MUX106在编码流上复用头?目息(S123)。
[0107]为了生成编码块图案，编码控制器103不参照步骤S106中的估计结果，而是参照实际预测编码中获得的编码结果。这是因为即使在编码控制器103估计编码结果为“已编码”时，在某些情况下实际获得“未编码”。注意，在实际预测编码中获得的编码结果可以被传送到熵编码单元203 (参见图2)，熵编码单元203可以对编码块图案熵编码，并且编码的编码块图案可以被输出到MUX106。
[0108]接着，编码控制器103确定输入帧的全部16X16像素块的编码处理是否已完成(S124)。如果编码处理尚未完成，则处理返回到步骤S102以对下一 16X16像素块编码。如果输入帧的全部16 X 16像素块的编码处理已完成，则一帧的编码处理结束。
[0109].子块的预测编码及局部解码
[0110]将参照图11的流程图来描述子块的预测编码及局部解码(S110，S113)。
[0111]帧内预测器104从存储器108读出邻接块的解码像素，生成作为对应于预测模式的参照像素组的参照块，并且计算子块与参照块之间的预测残差(S131)。注意，这里使用的预测模式是在步骤S109中决定的预测模式或确定的预测模式。
[0112]C0DEC105通过正交变换单元201进行预测残差的正交变换(S132)，通过量化单元202进行正交变换系数的量化(S133)，并且通过熵编码单元203进行量化值的熵编码
(5134)，由此生成编码数据。此外，C0DEC105通过逆量化单元204进行量化值的逆量化
(5135)并且通过逆正交变换单元205进行通过逆量化获得的正交变换系数的逆正交变换
(5136)，由此生成局部解码的预测残差。
[0113]此时，量化单元202和逆量化单元204在经历了自适应量化控制后使用从编码控制器103输入的量化参数。熵编码单元203还确定子块的量化值的编码结果是“已编码”还是“未编码”，并且将确定结果传送到编码控制器103 (S137)。
[0114]MUX106在编码流上复用编码数据(S138)。帧内补偿器107基于预测模式生成子块的参照块，将参照块与解码预测残差相加以生成局部解码像素，并且将局部解码像素的一部分记录在存储器108中(S139)。
[0115]如果在步骤S109中通过帧内预测器104搜索的预测模式的候选是H.264，则候选的数量最大为9。当预测模式是HEVC时，候选的数量最大为34。因此，预测模式搜索消耗大量电力以及长的处理时间。此外，预测残差编码中的正交变换和量化因为使用了乘法器和除法器,也需要大量电力。
[0116]根据本实施例，在步骤S108中确定的用以进行低电力模式编码的16X16像素块的预测模式的搜索、或者被估计为“未编码”的子块的AC系数的预测残差编码可以被省略。由于处理消耗大量电力，因此，期望通过省略这些处理来大大削减电力消耗。
[0117]另一方面，图像分析器101中的帧内预测器301仅支持不需要乘法器来生成参照块并且消耗少量电力的几种预测模式，因此消耗少量电力。即使在小数量的预测模式中，图像一般包括被估计为“未编码”的区域(例如，平坦区域)。由于针对属于这种区域的块进行低电力模式编码，因此期望大大减少电力消耗。
[0118]实施例的变型
[0119]编码控制器103优选具有控制针对编码器102的内部处理的时钟信号的时钟控制功能。在被估计为“未编码”的子块的处理被省略的时间段中，提供给帧内预测器104和C0DEC105的时钟信号被停止，由此也大大削减了时钟信号消耗的电力。
[0120]为了提取用于自适应量化控制的图像特征信息，可以使用与用于编码结果估计的分析信息几乎相同的分析信息。因此，能够通过仅添加小处理来提取图像特征信息，并且能够在不存在大处理负荷(电力消耗的增加)的情况下通过自适应量化控制来实现高图像质量。
[0121]图1OA至图11中所示的处理可以被实现为要通过微处理器(CPU)执行的程序。当执行该程序时，针对要进行低电力模式编码的块，不需要预测模式搜索(S109)和预测残差编码处理(S110，S113)，处理能够加速。还能够在不存在处理负荷的情况下提取图像特征信息并且通过自适应量化控制来实现高图像质量。
[0122]注意，图1OA至图11中所示的处理假设了亮度分量的处理。一般地，图像包括色差分量连同亮度分量。针对色差分量，编码结果也可以通过图像分析器101和编码控制器103估计。帧内预测器104和C0DEC105可以在仅进行色差分量的处理的模式中启动。在后者情况下，当进行关注块的低电力模式编码时，从电力消耗削减的视角，优选使用接近亮度分量的帧内预测的预测模式作为色差分量的帧内预测的预测模式。
[0123]图像分析器101的操作说明以及图1OA至图11所示的处理假设4X4像素作为子块大小。然而，实施例不特别限于特定子块大小。例如，16X16像素块还可以被编码作为四个8X8像素子块。在这种情况下，基于各8X8像素子块来进行通过编码控制器103的编码结果估计以及通过帧内预测器104的帧内预测。
[0124]此外，作为编码单位的编码块大小不限于16X16像素。例如，编码器还可以应对在HEVC中定义的32X32像素或64X64像素的块大小。
[0125]在该实施例中，电力消耗的削减程度(或处理的加速)以及编码效率(生成的码量)具有折衷关系。在用于在图1OB的步骤S108中确定是否进行低电力模式编码的阈值Nth被使得小的情况下，省略预测模式搜索的子块的数量增加，电力消耗削减量增加。然而，如果阈值Nth太小，则各子块中的预测模式搜索难以进行，并且被估计为“已编码”的子块的码量趋于增加。相反，如果阈值Nth太大，则码量减少。然而，省略预测模式搜索的子块的数量减少，电力消耗削减效果降低。[0126]利用该折衷关系，包括图像编码装置的摄像设备等能够控制以使得阈值Nth在电池水平足够高时大或者使得阈值Nth在电池水平低时小。
[0127]在该实施例中，电力消耗的削减程度与图像质量也具有折衷关系。当图9中所示的阈值actqp和reSqp被使得大时，被估计为“未编码”的子块的数量Nic增加，进行低电力模式编码的块的数量增加。然而，如果本来应当被估计为“已编码”的子块被作为“未编码”处理，则图像质量劣化。当阈值Sctqp和reS(lp被使得大时，图像质量发生劣化的可能性增高。相反，当阈值ac^和reS(lp被使得小时，图像质量发生劣化的可能性降低。然而，被估计为“未编码”的子块的数量Nic降低，电力消耗削减效果降低。
[0128]即使针对电力消耗与图像质量之间的折衷关系，基于电池水平的上述控制也是可能的。即，当电池水平足够高时，阈值actqp和Msqp被使得小。当电池水平低时，阈值actqp和resqp被使得大。
[0129]帧内预测器104由邻接块的局部解码像素生成用于帧内预测的参照块。相反，图像分析器101中的帧内预测器301由邻接块的输入像素生成参照块。当量化参数小(高比特率)、并且输入像素与局部解码像素之间的差小时，输入像素的值与局部解码像素的值接近，并且对图像质量的影响小。然而，当量化参数大(低比特率)、并且输入像素与局部解码像素之间的差大时，当本来应当被估计为“已编码”的子块被估计为“未编码”时引起的图像质量的劣化变大。
[0130]低比特率的图像质量劣化的问题能够通过进行步骤S113的处理而被解决，无需针对被确定为进行步 骤S108中的低电力模式编码的全部子块进行步骤S112的确定。尽管电力消耗削减效果降低，但是与搜索大量预测模式的情况相比，电力消耗仍旧能大大削减。
[0131]被图像分析器101中的帧内预测器301使用的预测模式不限于上述三种预测模式，可使用任意预测模式。例如，当预先已知对于电力消耗削减有效的预测模式被添加时，电力消耗能够被有效降低。然而，如果不是那么有效的预测模式被添加时，电力消耗由于处理负荷而增加。
[0132]要通过图像分析器101计算的多条分析信息不限于上述活性、梯度以及最大残差。可使用任意统计信息，例如，可以使用方差来替代活性，并且可以使用经历了简单正交变换(例如，哈达玛变换)的正交变换系数。至于梯度计算，梯度信息理所当然也可以利用任意配置来被计算。其他类型的图像特征信息也能够容易地被添加到图像分析器101。
[0133]第二实施例
[0134]以下将描述根据本发明的第二实施例的图像编码装置及图像编码方法。注意，与第一实施例中相同的附图标记在第二实施例中表不相同的部分，并且将省略其详细描述。
[0135]在第一实施例中，描述了这样一种示例，其中针对包括4X4像素的各子块估计编码结果，并且通过综合针对各块的编码结果获得的编码块图案作为头信息在编码流上被复用。然而，在低比特率的编码中，包括编码块图案的头信息还优选具有尽可能小的信息量。在HEVC中，定义编码结果的变换块大小具有自由度，并且大小可以在编码中自适应地决定。为了削减头信息的码量，优选使得子块的大小大。在第二实施例中，将说明其中基于分析信息自适应地决定子块大小的示例。
[0136]根据第二实施例的编码控制器103确定处理目标块(16X16像素)中的全部子块(4X4像素或8X8像素)是否是“未编码”以及确定的预测模式是否是DC预测模式。如果全部子块是“未编码”，并且确定的预测模式是DC预测模式(下文中称为“扩大条件”)，则处理目标块中的像素很大可能具有几乎相同的值。如果处理目标块中的全部像素具有相同值，则即使当针对16X 16像素块进行变换时，全部AC系数为O。
[0137]因此，当满足扩大条件时，变换块大小被设置为16X 16像素。针对各16X 16像素块的编码结果被估计为“未编码”，并且生成编码块图案。作为结果，与其中针对各4X4像素子块定义编码结果的情况相比较，编码块图案的码量被削减。头信息的信息量的削减在低比特率的编码中尤其有效。
[0138]如果块是其中全部像素具有相同值的平坦块，则邻接块很可能也是平坦块。因此，处理目标块和周围块可以被合并，并且可以利用较大的块大小作为编码单位来进行编码。
[0139]将参照图12A至图12C来描述块大小扩大。编码控制器103确定图12A所示的状态下的扩大条件。如果满足扩大条件，则变换块大小首先被设置为16X 16像素，16X16像素块的编码结果被估计为“未编码”。
[0140]针对邻接块进行相同确定。如果在图12B中所示的全部四个16X16像素块中满足扩大条件，则编码单位和变换块大小被设置为32 X 32像素，并且32 X 32像素的编码结果被估计为“未编码”(图12C)。注意，图12B中所示的状态在帧的平坦部分中频繁发生。
[0141]当利用32X32像素为编码单位来生成编码块图案时,与其中编码单位是4X4像素的情况相比，编码块图案的码量可以被减少。即使在邻接块中不满足扩大条件，编码块图案的码量也可以通过将编码单位设置为16X16像素来被减少，如图12B中所示。
[0142]通过扩大块大小而减少的头信息不限于编码块图案。与预测模式相关联的头信息的码量也可以通过自适应地改变预测块大小来被减少。
[0143]当如HEVC中可以自适应地决定预测或变换的块大小时，头信息的码量能够通过基于编码结果估计自适应地决定块大小来大大降低。
[0144]上述变换块大小扩大可应用于任意块大小。例如，变换块大小扩大可应用于不是方形的诸如16X8像素或32 X 16像素的变换块大小或预测块大小。
[0145]第三实施例
[0146]以下将描述根据本发明的第三实施例的图像编码装置和图像编码方法。注意，与第一及第二实施例中相同的附图标记在第三实施例中表不相同的部分，将省略其详细描述。
[0147]在第三实施例中，将描述如下示例，其中组合DC预测模式中的滤波处理，以除了第一和第二实施例中描述的分析信息外，还在块边界处获取帧中包括的对象图像的边缘信息。注意，当针对各16X16像素块或4X4像素块获取分析信息时，无法提取位于16X16像素块的块边界处的对象图像的边缘信息。
[0148]图13示出了通过HEVC的DC预测中的滤波处理生成的参照像素组。在HEVC的DC预测中，通过对块的上下边缘的系数应用由以下等式表现的滤波处理来计算DC预测时的参照块。
[0149]DCval= (Σ yp [-1, y] + Σ yp [χ, -1] +16) /32 …(8)
[0150]pred[O, O] = (ρ [_1，O] +2 XDCVAL+p [0，-1] +2) /4...(9)
[0151]pred [χ, 0] = (ρ [χ, -1] +3 X DCVAL+2) /4...(10)
[0152]pred [O, y] = (ρ [-1, y] +3 X DCVAL+2) /4 …(11)[0153]pred[x, y] =DCval…(12)
[0154]这里0≤χ≤15，并且0≤y≤15。
[0155]等式(10)和(11)可以被重写为
[0156]pred [χ, O] = {4 X DCval- (DC胤-ρ [χ, —I] _2)} /4 …(13)
[0157]pred [0，y] = {4 X DCval-(DCVAL-p [-1，y]-2)}/4...(14)
[0158]在这种情况下，可以获得不利用乘法器的较简单的配置。
[0159]作为等式(13)和(14)的各个的中间结果的第二项代表参照块与邻接块(块A和块B)之间的块边界处的差值。对象图像的边缘通常具有连续性。如果在图13中在作为处理目标块的块X与块B之间的边界处存在对象图像的边缘，则块A的像素组与块B的像素组之间的差变大。当像素组之间的差变大时，作为等式(13)和(14)的各个的第二项的、块A与块B之间的平均的值DCm之间的差变大。因此能够使用第二项的值作为用于块边界检测的信息。
[0160]图14示出了根据第三实施例的图像分析器101的详细配置。帧内预测器1401利用等式(8)、(9)以及(12)至(14)来进行DC预测模式中的处理。注意，帧内预测器1401进行水平预测模式和垂直预测模式中的处理，与第一实施例中一样。根据DC预测模式，帧内预测器1401将等式(13)和(14)的各个的第二项的值(差值)作为邻接块与参照块之间的差值传送给边缘提取器1402。
[0161]边缘提取器1402计算等式(13)的第二项的和(水平方向上的差值的和)作为水平方向上的对象图像的边缘信息，以及等式(14)的第二项的和(垂直方向上的差值的和)作为垂直方向上的对象图像的边缘信息。边缘提取器1402将计算出的对象图像的边缘信息作为分析信息的一部分经由MUX306传送到编码控制器103。
[0162]编码控制器103通过参照对象图像的边缘信息来进行自适应量化控制，使得在劣化在主观上明显的对象图像的边缘处不发生图像质量的劣化。还能够决定变换块大小以不丢失边缘信息。
[0163]如上所述，通过滤波处理的中间结果的抽出和少量的处理添加到第一实施例的配置中，能够将对象图像的边缘信息添加到图像特征信息。这使得能够在实现如第一实施例中的电力消耗削减的同时通过自适应量化控制来实现更高的图像质量。
[0164]第四实施例
[0165]以下将描述根据本发明的第四实施例的图像编码。注意，与第一至第三实施例中相同的附图标记在第四实施例中表示相同的部分，将省略其详细描述。
[0166]在第一实施例中，描述了其中仅利用帧内预测来进行各块的编码的示例。在第四实施例中，将描述其中除了帧内预测外还利用运动预测来进行帧间预测编码的示例。
[0167][装置的配置]
[0168]将参照图15的框图来描述根据第四实施例的图像编码装置的配置。
[0169]运动预测器153通过预定的运动矢量搜索算法来计算运动矢量候选。注意，运动预测器153不仅可以使用特定运动矢量搜索算法，而且可以使用通常使用的任意运动矢量搜索算法。
[0170]接着，运动预测器153从用于运动预测的存储器159中读出对应于运动矢量候选的局部解码图像的像素，并且生成参照块。运动预测器153然后计算针对参照块与输入帧的块之间的预测残差的活性。
[0171]在计算针对通过运动矢量搜索算法计算的全部运动矢量候选的活性之后，运动预测器153决定具有最小活性的运动矢量候选作为要用于编码的运动矢量。运动预测器153对决定的运动矢量熵编码，将编码的运动矢量传送到MUX106，并且将决定的运动矢量中的输入帧的块与参照块之间的预测残差输出到选择器(SEL) 154。
[0172]编码控制器103接收由图像分析器101计算的活性，以及对应于由运动预测器153找到的运动矢量的活性。编码控制器103比较这两个活性，预测通过块的帧内预测编码生成的码量与通过块的帧间预测编码生成的码量的哪一者小。基于预测结果来控制SEL154和 SEL157。
[0173]在编码控制器103的控制下，SEL154将从帧内预测器104输出的预测残差或从运动预测器153输出的预测残差选择性地输出到C0DEC105。
[0174]如果编码控制器103选择了帧间预测编码，则MUX106输出编码流，在该编码流上除了通过预测残差的熵编码获得的编码数据以及编码的编码块图案外还复用有编码运动矢量。
[0175]运动补偿器156将通过将用于运动预测的参照块与从C0EDC105输出的局部解码的预测残差相加获得的局部解码图像输出到SEL157。在编码控制器103的控制下，SEL157将从帧内补偿器107输出的局部解码图像或从运动补偿器156输出的局部解码图像选择性地输出到后置滤波器158。
[0176]后置滤波器158针对局部解码图像进行诸如解块滤波的滤波处理以降低局部解码图像的图像质量劣化，并且将滤波处理后的局部解码图像记录在存储器159中。记录在存储器159中的局部解码图像用于生成要用于后续帧的运动预测的参照块。
[0177][编码处理]
[0178]将参照图16A至图16D的流程图来描述图像分析器101和编码器102的编码处理。注意，图16A至图16D例示了编码目标的一帧的编码处理。此外，步骤SlOl至S106的处理与图1OA中所不的第一实施例的处理相同,将省略其详细描述。
[0179]帧内预测器104和运动预测器153从输入帧获取16X 16像素块(S151)。编码控制器103将在确定的预测模式中被估计为“未编码”的子块的数量Nn。与预定阈值Nth比较
(5152)。注意，使用阈值Nth来确定是进行通常的帧内预测或是低电力模式编码。
[0180]当在步骤S152中确定在确定的预测模式中被估计为“未编码”的子块的数量超过阈值时(NNC>Nth)，预测码量通过16X 16像素块的帧内预测编码可被充分减少。因此，编码控制器103使处理进行到步骤S161以进行16X 16像素块的帧内预测编码。
[0181]另一方面，如果在确定的预测模式中要被估计为“未编码”的子块的数量等于或小于阈值(Nnc ( Nth)，则编码控制器103使处理进行到步骤S153以将帧内预测编码的码量与帧间预测编码的码量进行比较。运动预测器153决定16X16像素块的运动矢量，计算16X16像素块与对应于决定的运动矢量的参照块之间的预测残差，并且计算最小活性
(5153)。
[0182]接着，编码控制器103将通过运动预测器153计算出的最小活性与通过图像分析器101计算出的预测残差的最小活性进行比较，并且决定16X16像素块的编码方法
(5154)。注意，在步骤S104中进行通过图像分析器101的活性计算，编码控制器103使用活性的最小者用于比较。
[0183]如果通过图像分析器101计算的最小活性较小，则编码控制器103决定进行16X16像素块的帧内预测编码，并且进行如图1OB的步骤S109和SllO中相同的处理。编码控制器103确定16X16像素块的全部子块的处理是否已完成(S111)。如果处理尚未完成，则处理返回到步骤S109。如果16X16像素块的全部子块的处理已完成，则处理进行到步骤S163。另一方面，如果通过运动预测器153计算的最小活性较小，则编码控制器103决定进行16X 16像素块的帧间预测编码，并且使处理进行到步骤S155。
[0184]在帧间预测编码中，运动预测器153针对各4X4像素子块进行如步骤S151中的运动矢量搜索，并且决定各子块的运动矢量(S155)。一般利用步骤S153中决定的运动矢量作为搜索的起始点来进行子块的运动矢量搜索。尽管稍后将描述细节，运动预测器153、C0DEC105等执行4X4像素子块的帧间预测编码和局部解码(S156)。当4X4像素子块的处理已完成时，编码控制器103确定16X16像素块的全部子块的处理是否已完成(S157)。如果处理尚未完成，则处理返回到步骤S155。如果16X16像素块的全部子块的处理已完成，则处理进行到步骤S163。
[0185]另一方面，在NicMth的情况下，如果通过图像分析器101计算的最小活性较小，则编码控制器103确定进行帧内预测编码。处理根据关注子块的编码结果的估计分支(Siei)0针对被估计为“已编码”的子块，进行如图1OB的步骤S113中相同的处理。编码控制器103确定16X16像素块的全部子块的处理是否已完成(S162)。如果处理尚未完成，则处理返回到步骤S161。如果16 X 16像素块的全部子块的处理已完成，则处理进行到步骤S163。
[0186]针对在确定的预测模式中被估计为“未编码”的子块，进行与图1OB的步骤S114(仅DC系数的编码)相同的处理。编码控制器103确定16X16像素块的全部子块的处理是否已完成(S162)。如果处理尚未完成，则处理返回到步骤S161。如果16X16像素块的全部子块的处理已完成，则处理进行到步骤S163。
[0187]当16 X 16像素块的处理已完成时，编码控制器103使后置滤波器158进行局部解码图像的滤波处理，并且将经历了滤波处理的局部解码图像记录在存储器159中(S163)。后续处理与从图1OC的步骤S121至S124的处理相同，将省略其描述。
[0188].帧间预测编码
[0189]将参照图17的流程图描述帧间预测编码(S156)。
[0190]运动预测器153将决定的运动矢量编码，并且将编码运动矢量传送到MUX106
(5201)。运动预测器153从存储器159中读出对应于决定的运动矢量的局部解码图像的像素，生成参照块，计算该参照块与子块之间的预测残差，并且将该预测残差输出到SEL154
(5202)。
[0191]C0DEC105针对在步骤S202中计算出的预测残差进行与从图12的步骤S132到步骤S137相同的处理。即，C0DEC105进行正交变换(S132)、量化(S133)以及熵编码(S134)以生成编码数据，并且进行量化值的逆量化(S135)和逆正交变换(S136)以生成局部解码的预测残差。经历了自适应量化控制的量化参数用于量化。代表子块的各量化值的编码结果是“已编码”还是“未编码”的确定结果被传送到编码控制器103 (S137)。
[0192]MUX106在编码流上复用编码数据和编码运动矢量(S203)。运动补偿器156通过将局部解码的预测残差与步骤S153中使用的参照块相加来生成局部解码的图像(S204)。
[0193]由于运动预测器153利用不同时间的编码帧及局部解码帧作为参照图像来进行预测，因此存储器159需要累积一帧以上的解码图像。当编码器102被实现为LSI (大规模集成电路)时，考虑到成本，单位存储容量低成本的DRAM (动态随机存取存储器)芯片可以被安装在LSI外作为需要大尺寸的存储器159。然而，通过访问外部DRAM消耗的电力大于通过访问LSI中的存储器(例如，存储器108)消耗的电力。
[0194]为了搜索适当的运动矢量，运动矢量搜索范围需要远远大于块大小(例如，针对各16X16像素块的64X64像素)。由于在从DRAM中读出运动矢量搜索范围中的图像数据的同时需要对大量运动矢量候选的各个生成参照块，因此，运动矢量搜索处理一般消耗极其大的电力。利用运动矢量搜索的帧间预测编码一般比帧内预测编码消耗更多电力。
[0195]然而，通常，当帧内预测编码用作针对帧间预测编码的选择时，码量增加。在第四实施例中，码量的增加能够被抑制，因为在利用预先提取的分析信息确认码量能够被充分减少之后，进行简单的帧内预测。
[0196]如以上在第一实施例中所述，在输入帧的平坦区域中，通过借助图像分析器101的帧内预测处理，码量能够被充分减少，并且编码结果经常被估计为“未编码”。当针对被确定为进行低电力模式编码的块、进行具有低电力消耗的帧内预测编码来替代帧间预测编码时，在编码结果被估计为“未编码”的子块中电力消耗尤其能够大大削减。
[0197]第四实施例的变型
[0198]在第四实施例中，编码控制器103优选具有控制针对编码器102的内部处理的时钟信号的时钟控制功能，如第一实施例的变型中一样。当决定进行低电力模式编码时，编码控制器103除了停止第一实施例中的时钟信号以外，还停止针对针对运动预测器153的时钟信号，由此削减电力消耗。
[0199]至于图像特征信息，也可以通过仅添加小处理来提取图像特征信息，并且能够在不存在大处理负荷(电力消耗的增加)的情况下通过自适应量化控制来实现高图像质量，如
第一实施例中一样。
[0200]图16A至图17中所示的处理可以被实现作为要由CPU执行的程序，如第一实施例中一样。当执行该程序时，针对要进行对应于低电力模式的编码的块可以省略运动预测处理(S153)，处理能够加速。
[0201]作为运动预测单位的块大小不限于4X4像素或16X16像素。例如，HEVC中定义的诸如32X32像素或64X64像素的块大小也可用作运动预测单位。
[0202]在第四实施例中，电力消耗的削减程度(或处理的加速)以及编码效率(生成的码量)具有折衷关系。在图16B的步骤S152中的低电力模式编码的阈值Nth被使得小的情况下，省略运动预测的子块的数量增加，并且电力消耗削减量增加。然而，如果阈值Nth太小，则编码结果被估计为“已编码”的各子块中的运动预测难以进行，并且码量趋于增加。相反，如果阈值Nth太大，则码量减少。然而，要进行低电力模式编码的子块的数量减少，并且电力消耗削减效果降低。因此，如第一实施例中，包括图像编码装置的摄像设备等可以根据电池来实施控制。
[0203]如上所述，根据上述实施例，例如，能够通过在帧的平坦部分中进行利用简单帧内预测的帧内预测编码来削减帧内预测中的预测模式搜索或运动矢量搜索所消耗的电力。还能够在不大量增加电力消耗及电路规模的情况下提取图像特征信息。
[0204]其他实施例
[0205]本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
[0206]虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
【权利要求】
1.一种用于进行图像数据的预测编码的图像编码装置，所述图像编码装置包括: 分析单元，其被构造为按照编码单位将输入图像划分为第一块，并且针对各第一块生成与所述输入图像的帧内预测相关联的分析信息； 第一预测单元，其被构造为按照预测单位将所述输入图像划分为第二块，并且进行所述帧内预测以生成各第二块的预测残差； 编码单元，其被构造为对所述第二块的所述预测残差或直流分量进行编码；以及 控制单元，其被构造为针对各第一块、基于所述分析信息来估计所述编码单元的编码结果，并且基于所述估计来控制所述第一预测单元和所述编码单元。
2.根据权利要求1所述的图像编码装置，其中，所述分析单元包括: 第二预测单元，其被构造为进行所述帧内预测并且生成代表所述第一块的所述预测残差的预测残差块，并且 其中，所述分析单元根据所述预测残差块生成所述分析信息。
3.根据权利要求2所述的图像编码装置，其中，所述分析单元包括: 活性计算单元，其被构造为将所述预测残差块划分为子块，并且针对各子块、计算所述预测残差的平均值与所述预测残差的差分绝对值的和，作为所述分析信息的一部分。
4.根据权利要求2所述的图像编码装置，其中，所述分析单元包括: 梯度确定单元，其被构造为针对所述预测残差块计算所述预测残差在垂直方向上的梯度以及在水平方向上的梯度，作为所述分析信息的一部分。
5.根据权利要求2所述的图像编码装置，其中，所述分析单元包括: 最大残差计算单元，其被构造为将所述预测残差块划分为子块，并且计算所述子块的所述预测残差的最大绝对值，作为所述分析信息的一部分。
6.根据权利要求2所述的图像编码装置，其中，所述第二预测单元包括直流预测模式、垂直预测模式、以及水平预测模式中的至少一者，作为所述帧内预测的预测模式。
7.根据权利要求2所述的图像编码装置，其中，所述第二预测单元包括通过对所述第一块的边界应用滤波处理生成用于所述帧内预测的参照块的预测模式， 其中，所述分析单元基于所述滤波处理的中间结果来提取位于所述第一块的边界的对象图像的边缘信息，并且使用所述边缘信息作为所述分析信息的一部分。
8.根据权利要求1所述的图像编码装置，其中，所述控制单元根据由所述分析信息代表的所述输入图像的图像特征信息来控制所述编码单元使用的量化参数。
9.根据权利要求1所述的图像编码装置，其中，针对各第一块，所述控制单元基于所述分析信息来估计在进行帧内预测编码的情况下全部量化值变为O的所述第二块的数量，并且确定所估计的数量最大的所述帧内预测的预测模式。
10.根据权利要求9所述的图像编码装置，其中，所述控制单元基于所估计的数量以及所确定的预测模式来决定所述第一预测单元和所述编码单元中的所述第一块的大小。
11.根据权利要求9所述的图像编码装置，其中，所述第一预测单元基于所确定的预测模式来搜索用以进行所述帧内预测的预测模式。
12.根据权利要求9所述的图像编码装置，其中，所述控制单元基于所估计的数量来控制是否使所述第一预测单元搜索用以进行所述帧内预测的预测模式。
13.根据权利要求9所述的图像编码装置，其中，在所估计的数量超过预定阈值的情况下，所述控制单元控制所述第一预测单元和所述编码单元，使得对被估计为全部所述量化值变为O的块的所述第一块的、从所述分析信息获得的所述直流分量进行编码，并且利用所确定的预测模式对被估计为并非全部所述量化值变为O的块的所述第二块进行所述帧内预测编码。
14.根据权利要求1所述的图像编码装置，所述图像编码装置还包括: 运动预测单元，其被构造为进行运动预测并且生成所述第一块的所述预测残差， 其中，所述控制单元基于所述运动预测单元的预测结果以及所述分析信息，来控制所述编码单元对通过所述第一预测单元生成的所述预测残差或通过所述运动预测单元生成的所述预测残差进行编码。
15.一种进行图像数据的预测编码的图像编码方法，所述图像编码方法包括以下步骤: 按照编码单位将输入图像划分为第一块； 针对各第一块生成与所述输入图像的帧内预测相关联的分析信息； 按照预测单位将所述输入图像划分为第二块； 进行所述帧内预测以生成各第二块的预测残差； 对所述第二块的所述预 测残差或直流分量进行编码； 针对各第一块、基于所述分析信息来估计在所述编码步骤中的编码结果；以及 基于所述估计来控制所述帧内预测和所述编码。
【文档编号】H04N19/513GK103731668SQ201310485113
【公开日】2014年4月16日 申请日期:2013年10月16日 优先权日:2012年10月16日
【发明者】服部秀昭 申请人:佳能株式会社