图像处理装置和图像处理方法与流程

技术领域

本公开涉及图像处理装置和图像处理方法。

背景技术：

H.264/AVC作为图像编码方案的标准规范之一，以例如各自包含4×4像素的块为单位对块边界应用解块滤波，从而减轻由于编码图像时产生的块效应导致的图像质量劣化。解块滤波需要很大的计算量，并且在解码图像时会占用整个处理负载的例如50％。

根据JCTVC-A119，高效视频编码(HEVC)的标准作业作为下一代的图像编码方案，提出了以各自包含8×8像素或以上的块为单位应用解块滤波(参见非专利文献1)。JCTVC-A119中提出的技术增加了应用解块滤波的最小单位的块尺寸。该技术与H.264/AVC类似，也确定需要逐块应用解块滤波。

引证列表

非专利文献

非专利文献1：K.Ugur(Nokia),K.R.Andersson(LM Ericsson),A.Fuldseth(Tandberg Telecom),"JCTVC-A119:Video coding technology proposal by Tandberg,Nokia,and Ericsson",Documents of the first meeting of the Joint Collaborative Team on Video Coding(JCT-VC),Dresden,Germany,15-23April,2010.

技术实现要素：

技术问题

然而，由块效应引起的图像劣化未必在块内均匀呈现。换句话说，在被判定需要应用解块滤波的块的一部分内可能图像质量已经良好。类似地，在被判定无需应用解块滤波的块的一部分内可能图像质量实际上是劣化的。对具有良好图像质量的部分应用解块滤波事实上会损害该部分的图像质量。同时，如果不对图像质量劣化的部分应用解块滤波，那么将无法改善图像质量。

因此，期望提供一种能够更为恰当地判定应用解块滤波的范围的图像处理装置和图像处理方法。

所要解决的问题

根据一个实施方式，提供了一种图像处理装置，包括对编码流进行解码以生成图像的解码部；判定是否需要对在由解码部生成的图像内隔着边界相邻的邻接块内的、与该边界垂直的每个线应用解块滤波的线判定部；以及对线判定部判定为应用解块滤波的每个线应用解块滤波的滤波部。

图像处理装置可以典型地被实现为解码图像的图像解码设备。

根据另一个实施方式，提供了一种图像处理方法，包括对编码流进行解码以生成图像；判定是否需要对在生成的图像内隔着边界相邻的邻接块内的、与该边界垂直的每个线应用解块滤波；以及对被判定为应用解块滤波的每个线应用解块滤波。

此外，根据另一个实施方式，提供了一种图像处理装置，包括:线判定部，在编码待编码图像之时判定是否需要对在局部解码图像内隔着边界相邻的邻接块内的、与该边界垂直的每个线应用解块滤波；滤波部，对线判定部判定应用解块滤波的每个线应用解块滤波；以及编码部，通过使用由滤波部滤波的图像对待编码图像进行编码。

图像处理装置可以典型地被实现为编码图像的图像编码设备。

此外，根据另一个实施方式，提供了一种图像处理方法，包括:在编码待编码图像之时判定是否需要对在局部解码图像内隔着边界相邻的邻接块内的、与该边界垂直的每个线应用解块滤波；对被判定为应用解块滤波的每个线应用解块滤波；以及通过使用经滤波的图像对待编码图像进行编码。

本发明的有益效果

根据依据本公开的图像处理装置和图像处理方法，有可能更为恰当地判定应用解块滤波的范围。

附图说明

图1是例示了根据一个实施例的图像编码装置的示例性构成的框图。

图2是例示了根据一个实施例的图像解码装置的示例性构成的框图。

图3是例示了隔着边界相邻的像素的例子的说明图。

图4是解释在现有技术中滤波要否判定处理的说明图。

图5是解释在现有技术中滤波处理的说明图。

图6是例示了根据第一实施例的解块滤波器的示例性详细构成的框图。

图7是例示了由根据第一实施例的解块滤波器进行的处理的示例性流程的流程图。

图8是例示了根据第二实施例的解块滤波器的详细构成的框图。

图9是例示了由根据第二实施例的解块滤波器进行的处理的示例性流程的流程图。

图10是例示了根据第三实施例的解块滤波器的详细构成的框图。

图11A是用于解释在根据第三实施例的解块滤波器中进行的参数估计处理的第一个例子的说明图。

图11B是用于解释在根据第三实施例的解块滤波器中进行的参数估计处理的第二个例子的说明图。

图11C是用于解释在根据第三实施例的解块滤波器中进行的参数估计处理的第三个例子的说明图。

图12是例示了由根据第三实施例的解块滤波器进行的处理的示例性流程的流程图。

图13是例示了电视的概略构成的框图。

图14是例示了移动电话的概略构成的框图。

图15是例示了记录和回放装置的概略构成的框图。

图16是例示了成像装置的概略构成的框图。

具体实施方式

其后，将参考附图详细描述本公开的优选实施方式。注意到，在此说明书和附图中，具有基本相同功能和结构的元件由相同的参考编号所指示，并由此省略对其的重复解释。

描述将以如下顺序进行。

1.装置概要

1-1.图像编码装置

1-2.图像解码装置

2.现有技术

3.第一实施例

3-1.解块滤波器的构成例

3-2.处理流程

4.第二实施例

4-1.解块滤波器的构成例

4-2.处理流程

5.第三实施例

5-1.解块滤波器的构成例

5-2.处理流程

6.示例应用

7.结论

1.装置概要

参考图1和图2，随后将描述在本说明书中所公开技术可以应用的示例性装置的概要。在本说明书中公开的技术例如可以应用于图像编码装置和图像解码装置。

[1-1.图像编码装置]

图1是例示了根据一个实施例的图像编码装置10的示例性构成的框图。参见图1，图像编码装置10包括模数(A/D)转换部11、重定序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、解量化部21、逆正交变换部22、加法部23、解块滤波器24a、帧存储器25、选择器26、帧内预测部30、运动估计部40、以及模式选择部50。

A/D转换部11将以模拟格式输入的图像信号转换成数字格式的图像数据，并将数字图像数据序列输出到重定序缓冲器12。

重定序缓冲器12对从A/D转换部11输入的图像数据序列内包括的图像进行重新排序。在根据由编码处理给出的图片组(GOP)结构对图像进行重新排序之后，重定序缓冲器12将经重新排序的图像数据输出到减法部13、帧内预测部30和运动估计部40。

减法部13被供应有从重定序缓冲器12输入的图像数据以及由随后描述的模式选择部50选择的预测图像数据。减法部13计算作为从重定序缓冲器12输入的图像数据和从模式选择部50输入的预测图像数据之间的差异的预测误差数据，并将该计算出的预测误差数据输出至正交变换部14。

正交变换部14对从减法部13输入的预测误差数据执行正交变换。由正交变换部14执行的正交变换例如可以是离散余弦变换(DCT)或是Karhunen-Loeve变换。正交变换部14将通过正交变换处理获取的变换系数数据输出至量化部15。

量化部15被供应有从正交变换部14输入的正交系数数据以及来自随后描述的速率控制部18的速率控制信号。量化部15量化变换系数数据，并将经量化的正交系数数据(其后称为量化数据)输出至无损编码部16和解量化部21。同样地，量化部15基于来自速率控制部18的速率控制信号切换量化参数(量化标度)，藉此改变要被输入到无损编码部16中的量化数据的比特率。

无损编码部16被供应有从量化部15输入的量化数据、以及随后描述的与由帧内预测部30或运动估计部40生成并由模式选择部50选择的帧内预测或帧间预测有关的信息。与帧内预测有关的信息可以包括例如指示每个块的最优帧内预测模式的预测模式信息。同样地，与帧间预测有关的信息可以包括例如用于预测每个块的运动矢量的预测模式信息、差分运动矢量信息、参考图像信息等。

无损编码部16通过对量化数据执行无损编码处理生成编码流。由无损编码部16进行的无损编码例如可以是长度可变编码或算术编码。此外，无损编码部16可以将以上提及的与帧内预测有关的信息或与帧间预测有关的信息多路复用至编码流的头部(例如，块头部、片段头部等)。于是，无损编码部16将由此生成的编码流输出至累积缓冲器17。

累积缓冲器17临时缓冲从无损编码部16输入的编码流。随后，累积缓冲器17依据传输信道(或来自图像编码装置10的输出线)的带宽以一定速率输出所缓冲的编码流。

速率控制部18监视累积缓冲器17内的空闲容量。随后，速率控制部18依据累积缓冲器17内的空闲容量生成速率控制信号，并将生成的速率控制信号输出至量化部15。例如，当累积缓冲器17内没有什么空闲容量时，速率控制部18生成用于降低量化数据的比特率的速率控制信号。同样地，例如，当累积缓冲器17内有充足空闲容量时，速率控制部18生成用于提升量化数据的比特率的速率控制信号。

解量化部21对从量化部15输入的量化数据执行解量化处理。然后，解量化部21将通过解量化处理获取的变换系数数据输出至逆正交变换部22。

逆正交变换部22对从解量化部21输入的变换系数数据执行逆正交变换处理，藉此恢复预测误差数据。随后，逆正交变换部22将恢复的预测误差数据输出至加法部23。

加法部23将从逆正交变换部22输入的经恢复的预测误差数据与从模式选择部50输入的预测的图像数据相加，藉此生成解码图像数据。随后，加法部23将由此生成的解码图像数据输出至解块滤波器24a和帧存储器25。

解块滤波器24a执行滤波处理以减少在图像编码期间生成的块效应。更具体地，解块滤波器24a判定是否需要对从加法部23输入的解码图像数据内的每个块边界执行逐线滤波。解块滤波器24a随后对任何被判定为需要应用滤波的线应用解块滤波。在块边界是垂直边界的情况下，上述线等同于与垂直边界垂直的行。在块边界是水平边界的情况下，上述线等同于与水平边界垂直的列。除了来自加法部23的解码图像数据之外，还将用于判定是否需要滤波的信息(诸如模式信息、变换系数信息和运动矢量信息等)输入到解块滤波器24a内。其后，解块滤波器24a将块效应(blocking artifacts)被移除的经滤波的解码图像数据输出至帧存储器25。随后将详细描述由解块滤波器24a进行的处理。

帧存储器25存储从加法部23输入的解码图像数据以及从解块滤波器24a输入的滤波之后的解码图像数据。

选择器26从帧存储器25中读取要被用于帧内预测的未经滤波的解码图像数据，并将由此读取的解码图像数据作为参考图像数据供应至帧内预测部30。同样地，选择器26从帧存储器25中读取要被用于帧间预测的经滤波的解码图像数据，并将由此读取的解码图像数据作为参考图像数据供应至运动估计部40。

帧内预测部30基于从重定序缓冲器12输入的要被编码的图像数据以及经由选择器26供应的解码图像数据而在各个帧内预测模式下执行帧内预测处理。例如，帧内预测部30使用预先确定的成本函数评估每个帧内预测模式的预测结果。于是，帧内预测部30选择产生最小成本函数值的帧内预测模式(即，产生最高压缩率的帧内预测模式)作为最优帧内预测模式。此外，帧内预测部30还连同所预测的图像数据和成本函数值一起，把与帧内预测有关的信息输出给模式选择部50，该信息包括指示最优帧内预测模式的预测模式信息。

运动估计部40基于从重定序缓冲器12输入的要被编码的图像数据以及经由选择器26供应的解码图像数据而执行帧间预测处理(在多个帧之间的预测处理)。例如，运动估计部40使用预先确定的成本函数评估每个预测模式的预测结果。然后，运动估计部40选择产生最小成本函数值的预测模式(即，产生最高压缩率的预测模式)作为最优预测模式。运动估计部40根据该最优预测模式生成预测的图像数据。运动估计部40还连同所预测的图像数据和成本函数值一起，把与帧间预测有关的信息输出到模式选择部50，该信息包括指示最优帧间预测模式的预测模式信息。

模式选择部50将从帧内预测部30输入的有关帧内预测的成本函数值与从运动估计部40输入的有关帧间预测的成本函数值相比较。随后，模式选择部50在帧内预测和帧间预测之中选择具有较小成本函数值的预测方法。在选择帧内预测的情况下，模式选择部50将与帧内预测有关的信息输出至无损编码部16，并将预测图像数据输出至减法部13和加法部23。同样地，在选择帧间预测的情况下，模式选择部50将与上述帧间预测有关的信息输出至无损编码部16，并将预测图像数据输出至减法部13和加法部23。

[1-2.图像解码装置]

图2是例示了根据一个实施例的图像解码装置60的示例性构成的框图。参考图2，图像解码装置60包括累积缓冲器61、无损解码部62、解量化部63、逆正交变换部64、加法部65、解块滤波器24b、重定序缓冲器67、数模(D/A)转换部68、帧存储器69、选择器70和71、帧内预测部80和运动补偿部90。

累积缓冲器61临时缓冲经由传输信道输入的编码流。

无损解码部62根据在编码时使用的编码方法解码从累积缓冲器61输入的编码流。同样地，无损解码部62解码被多路复用至编码流头部区域内的信息。被多路复用至编码流头部区域内的信息可以包括例如在块头部内的与帧内预测有关的信息以及与帧间预测有关的信息。无损解码部62将与帧内预测有关的信息输出至帧内预测部80。同样地，无损解码部62将与帧间预测有关的信息输出至运动补偿部90。

解量化部63对已由无损解码部62解码的量化数据进行解量化。逆正交变换部64通过依据在编码时使用的正交变换方法对从解量化部63输入的变换系数数据执行逆正交变换来生成预测误差数据。随后，逆正交变换部64将生成的预测误差数据输出至加法部65。

加法部65将从逆正交变换部64输入的预测误差数据与从选择器71输入的预测图像数据相加，藉此生成解码图像数据。随后，加法部65将由此生成的解码图像数据输出至解块滤波器24b和帧存储器69。

解块滤波器24b执行滤波处理以减少在解码图像中出现的块效应。更具体地，解块滤波器24b判定是否需要对从加法部65输入的解码图像数据内的每个块边界执行逐线滤波。解块滤波器24b随后对任何被判定为需要应用滤波的线执行解块滤波。除了来自加法部65的解码图像数据之外，还将用于判定是否需要滤波的信息输入至解块滤波器24b内。其后，解块滤波器24b将块效应已被移除的由此被滤波的解码图像数据输出至重定序缓冲器67及帧存储器69。随后将详细描述由解块滤波器24b进行的处理。

重定序缓冲器67通过对从解块滤波器24b输入的图像进行重新排序而生成按时间顺序的图像数据序列。随后，重定序缓冲器67将生成的图像数据输出至D/A转换部68。

D/A转换部68将从重定序缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68就通过将模拟图像信号输入至例如连接至图像解码装置60的显示器(未示出)而实现图像的显示。

帧存储器69存储从加法部65输入的未经滤波的解码图像数据以及从解块滤波器24b输入的经滤波的解码图像数据。

选择器70根据由无损解码部62获取的模式信息为图像内的每个块在帧内预测部80和运动补偿部90之间选择来自帧存储器69的图像数据的输出目的地。例如，在帧内预测模式被指定的情况下，选择器70将从帧存储器69供应的未经滤波的解码图像数据作为参考图像数据输出至帧内预测部80。同样地，在帧间预测模式被指定的情况下，选择器70将从帧存储器69供应的经滤波的解码图像数据作为参考图像数据输出至运动补偿部90。

选择器71根据由无损解码部62获取的模式信息为图像内的每个块在帧内预测部80和运动补偿部90之间选择要被供应至加法部65的预测图像数据的输出源。例如，在帧内预测模式被指定的情况下，选择器71为加法部65供应从帧内预测部80输出的预测图像数据。在帧间预测模式被指定的情况下，选择器71为加法部65供应从运动补偿部90输出的预测图像数据。

基于与从无损解码部62输入的帧内预测有关的信息以及来自帧存储器69的参考图像数据，帧内预测部80执行像素值的图片内预测，并且生成预测图像数据。随后，帧内预测部80将由此生成的预测图像数据输出至选择器71。

基于从无损解码部62输入的与帧间预测有关的信息以及来自帧存储器69的参考图像数据，运动补偿部90执行运动补偿处理，并且生成预测图像数据。随后，运动补偿部90将由此生成的预测图像数据输出至选择器71。

2.现有技术

一般而言，在诸如H.264/AVC或HEVC的现有图像编码方案中使用解块滤波的处理包括两种类型的处理，即滤波必要性判定处理和滤波处理。随后将以HEVC为例描述这两种处理。

(1)滤波必要性判定处理

滤波必要性判定处理判定是否需要对输入图像内的各个块边界应用解块滤波。块边界包括水平邻接块之间的垂直边界以及垂直邻接块之间的水平边界。JCTVC-A119使用8×8像素的块尺寸作为最小处理单位。例如，16×16像素的宏块包括四个8×8像素的块。处理被应用至每个块的一个(左)垂直边界和一个(上)水平边界，即，四个边界加上四个边界，共八个边界。在本说明书中，术语宏块涵盖HEVC情境下的编码单位(CU)。

图3是例示了隔着边界相邻的两个块Ba和Bb中的像素的例子的说明图。在本说明书中，以此方式隔着边界彼此相邻的块被称为邻接块。虽然下文描述了垂直边界作为例子，但是在此描述的事项显然适用于水平边界。图3中的例子使用符号p_ij表示块Ba中的像素。在此符号中，i指示列下标，而j指示行下标。列下标i从最接近垂直边界的那一列起被顺序编号为0、1、2和3(从右到左)。行下标j则被从上到下地编号为0,1,2,...,7。应该注意到图中省略了块Ba的左半部分。同时，符号q_kj被用来表示块Bb中的像素。在此符号中，k指示列下标，而j指示行下标。列下标k从最接近垂直边界的那一列起被顺序编号为0、1、2和3(从左到右)。应该注意到图中省略了块Bb的右半部分。

如下条件可被用来判定是否要对图3中例示的块Ba和Bb之间的垂直边界应用解块滤波。

辉度分量(luma)的判定条件。如果条件A和B皆为真，则应用解块滤波。

条件A：

(A1)块Ba或Bb是帧内预测模式；

(A2)块Ba或Bb具有非零的正交变换系数；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

条件B：

|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|<β

条件A3以Qpel(四分之一像素)的精度假设块Ba的运动矢量为(MVAx,MVAy)而块Bb的运动矢量为(MVBx,MVBy)。在条件B中，β是边缘判定阈值。β的默认值则依据量化参数给出。β的值是可使用片段头部中的参数而由用户指定的。

颜色分量(chroma)的判定条件。如果条件A1为真，则应用解块滤波。

条件A1：块Ba或Bb是帧内预测模式。

换句话说，在针对垂直边界的典型滤波必要性判定处理中(更具体地，对辉度分量判定条件B的判定)，参照每个块的第二和第五行中的像素(以最上一行为第0行)，如图4中的虚线框L2和L5所指示的。解块滤波随后被应用于依据上述判定条件被判定为需要应用解块滤波的垂直边界的左右的块。类似地，在针对水平边界的滤波必要性判定处理中，参照每个块的第二和第五列中的像素(图4中未示出)。解块滤波随后被应用于依据上述判定条件被判定为需要应用解块滤波的水平边界的上下的块。

(2)滤波处理

如果判定需要向边界应用解块滤波，则对垂直边界左右的像素或对水平边界上下的像素执行滤波处理。对于辉度分量，则依据像素值在强滤波和弱滤波之间切换滤波强度。

辉度分量的滤波

选择强度。为每一行或列选择滤波强度。如果下述条件C1-C3全都满足，则选择强滤波。如果由任一条件未被满足，则选择弱滤波。

(C1)d<(β>>2)

(C2)(|p_3j-p_0j|+|q_0j-q_3j|)<(β>>3)

(C3)|p_0j-q_0j|<((5t_C+1)>>1)

其中j指示垂直边界的行下标或水平边界的列下标，而d则表示：

d＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|

弱滤波：

Δ＝Clip(-t_C,t_C,(13(q_0j-p_0j)+4(q_1j-p_1j)-5(q_2j-p_2j)+16)>>5))

p_0j＝Clip_0-255(p_0j+Δ)

q_0j＝Clip_0-255(q_0j-Δ)

p_1j＝Clip_0-255(p_1j+Δ/2)

q_1j＝Clip_0-255(q_1j-Δ/2)

强滤波：

p_0j＝Clip_0-255((p_2j+2p_1j+2p_0j+2q_0j+q_1j+4)>>3)

q_0j＝Clip_0-255((p_1j+2p_0j+2q_0j+2q_1j+q_2j+4)>>3)

p_1j＝Clip_0-255((p_2j+p_1j+p_0j+q_0j+2)>>2)

q_1j＝Clip_0-255((p_0j+q_0j+q_1j+q_2j+2)>>2)

p_2j＝Clip_0-255((2p_3j+3p_2j+p_1j+p_0j+q_0j+4)>>3)

q_2j＝Clip_0-255((p_0j+q_0j+q_1j+3q_2j+2q_3j+4)>>3)

在此，Clip(a,b,c)指示在范围a≤c≤b内裁剪值c的处理，而Clip_0-255(c)则指示在范围0≤c≤255内裁剪值c的处理。

颜色分量的滤波：

Δ＝Clip(-t_C,t_C,((((q_0j-p_0j)<<2)+p_1j-q_1j+4)>>3))

p_0j＝Clip_0-255(p_0j+Δ)

q_0j＝Clip_0-255(q_0j-Δ)

对块Ba和Bb的所有行或列(也就是说，针对所有整数j，其中0≤j≤7)进行颜色分量和辉度分量的滤波。换句话说，如果判定一垂直边界需要滤波，则如图5所示更新与该垂直边界垂直的所有线L0至L7上的一个或多个像素值。类似地，如果判定一水平边界需要滤波，则更新与该水平边界垂直的所有线L0至L7上的一个或多个像素值。

正如这些解释所例证的，现有技术需要对位于图像中两个邻接块之间的每个边界进行是否需要滤波的判定。在本说明书中，这一判定被称为逐块判定。对于一给定边界，并不判定是否是需要部分滤波。由此，能够做出的仅仅是滤波整个块或不滤波整个块的二元选择，即便在由块效应引起的图像质量劣化仅在块内的某些像素中出现的情况下亦是如此。这必将伴随有两类缺陷：由于对图像质量良好部分应用不必要的解块滤波而导致的图像质量降低，以及由于未对图像质量劣化的部分应用解块滤波而导致的图像质量改善机会的错失。于是，在下文描述的解块滤波的两个实施例中，以更为细化的粒度来判定应用解块滤波的范围，由此解决上述缺陷。

3.第一实施例

[3-1.解块滤波器的构成例]

该部分描述与图1中例示的图像编码装置10中的解块滤波器24a和图2中例示的图像解码装置60的解块滤波器24b相关的示例性构成。注意到解块滤波器24a和解块滤波器24b的构成可以享有共同的结构。于是，在其后的描述中，在不对解块滤波器24a和解块滤波器24b做出具体区分的情况下，解块滤波器24a和解块滤波器24b将被并称为解块滤波器24。

图6是例示了根据第一实施例的解块滤波器24的详细构成的框图。参见图6，解块滤波器24包括块判定部110、线判定部120、强度选择部130、滤波部140和判定控制部150。

(1)块判定部

块判定部110对逐块判定条件进行判定，作为线判定部120进行的逐线判定的预处理。逐块判定条件典型地基于边界任一侧的两个邻接块的变换系数和编码参数中的至少一种。变换系数例如可以是正交变换系数。编码参数则例如可以是预测模式和运动矢量之一或两者。逐块判定条件例如可以是在前讨论的现有技术中的来自辉度判定条件的判定条件A及颜色分量判定条件A1。

换句话说，块判定部110被供应有与隔着各个边界相邻的邻接块相关的判定信息。此处供应的判定信息例如可以包括模式信息、变换系数信息和运动矢量信息。随后，作为针对每个边界的逐块辉度分量判定，块判定部110判定以下条件A是否被满足。

条件A：

(A1)块Ba或Bb是帧内预测模式；

(A2)块Ba或Bb具有非零的正交变换系数；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

块判定部110随后使得线判定部120对满足条件A的边界额外进行逐线判定。另一方面，块判定部110使得线判定部120跳过对不满足条件A的边界的逐线判定。

同样地，作为针对每个边界的逐块颜色分量判定，块判定部110判定以下条件A1是否被满足。

条件A1：块Ba或Bb是帧内预测模式。

可以不对颜色分量进行由线判定部120执行的逐线判定。在此情况下，对于满足条件A1的边界，滤波部140对该边界处的所有线上的颜色分量进行滤波。对于不满足条件A1的边界，该边界处的所有线上的颜色分量不被滤波。

应该注意到，此处描述的块判定部110的逐块判定仅仅是一个例子。换句话说，也可以使用与上述讨论的判定条件不同的逐块判定条件。例如，可以省略判定条件A1至A3中的任意条件，并且还可以添加其他的条件。此外，接下来将描述的逐线判定也可以对颜色分量执行，而非被省略。

(2)线判定部

线判定部120为垂直于每个边界的每个线判定是否对隔着该边界相邻的两个邻接块应用解块滤波。逐线判定条件例如可以是下列的判定条件B’。

条件B':

d＝|p_2i-2p_1i+p_0i|+|q_2i-2q_1i+q_0i|

其中

d<(β>>1)

在这里，d是判定参数，而β是在前讨论的边缘判定阈值。同样地，i是线下标。如果每个块的块尺寸是8×8像素，则i是整数，其中0≤i≤7。

换句话说，当针对一具体线做出判定时，线判定部120遵循条件B’并且仅根据属于两个邻接块Ba和Bb中的该线的参考像素值计算判定参数d的值。线判定部120于是将算出的判定参数d的值与判定阈值(β>>1)相比较。以此方式，通过在针对当前线做出判定时仅参考该线，能够实现以相对简单的构成来顺序访问每个线的逐线判定。

针对例如满足条件B’的线，线判定部120使得强度选择部130选择滤波强度并使得滤波部140应用滤波。另一方面，针对不满足条件B’的线，线判定部120使得强度选择部130跳过滤波强度选择并使得滤波部140跳过滤波。

(3)强度选择部

强度选择部130为每个线选择滤波部140将对该线应用的解块滤波的强度。更具体地，强度选择部130为由线判定部120判定为需要解块滤波的每个线如下选择滤波强度。

选择所述强度。为每个线选择滤波强度。如果下述条件C1-C3全都满足，则选择强滤波。如果由任一条件未被满足，则选择弱滤波。

(C1')d<(β>>3)

(C2)(|p_3i-p_0i|+|q_0i-q_3i|)<(β>>3)

(C3)|p_0i-q_0i|<((5t_C+1)>>1)

在这里，d是在前讨论的条件B’判定过程中算出的判定参数。应该注意到，这类滤波强度选择可以仅对辉度分量进行。强度选择部130随后针对每个线将表达所选滤波强度的信息(诸如指示强滤波或弱滤波的标志)输出至滤波部140。

(4)滤波部

滤波部140依据来自块判定部110和线判定部120的判定结果，对隔着对应边界相邻的两个邻接块中的每个线应用解块滤波。滤波部140的滤波器构成可以与在前讨论的现有技术中的构成相类似。例如，滤波部140可以为由线判定部120判定为需要解块滤波的每个线如下计算经滤波的像素值。

辉度分量的滤波

选择弱滤波的情况下：

Δ＝Clip(-t_C,t_C,(13(q_0i-p_0i)+4(q_1i-p_1i)-5(q_2i-p_2i)+16)>>5))

p_0i＝Clip_0-255(p_0i+Δ)

q_0j＝Clip_0-255(q_0i-Δ)

p_1i＝Clip_0-255(p_1i+Δ/2)

q_1i＝Clip_0-255(q_1i-Δ/2)

选择强滤波的情况下：

p_0i＝Clip_0-255((p_2i+2p_1i+2p_0i+2q_0i+q_1i+4)>>3)

q_0i＝Clip_0-255((p_1i+2p_0i+2q_0i+2q_1i+q_2i+4)>>3)

p_1i＝Clip_0-255((p_2i+p_1i+p_0i+q_0i+2)>>2)

q_1i＝Clip_0-255((p_0i+q_0i+q_1i+q_2i+2)>>2)

p_2i＝Clip_0-255((2p_3i+3p_2i+p_1i+p_0i+q_0i+4)>>3)

q_2i＝Clip_0-255((p_0i+q_0i+q_1i+3q_2i+2q_3i+4)>>3)

颜色分量的滤波：

Δ＝Clip(-t_C,t_C,((((q_0i-p_0i)<<2)+p_1i-q_1i+4)>>3))

p_0i＝Clip_0-255(p_0i+Δ)

q_0i＝Clip_0-255(q_0i-Δ)

然后，滤波部140在输出来自输入图像的其他像素的像素值的同时，相继输出应用了滤波的像素的经滤波像素值，作为输出图像的像素值。

(5)判定控制部

判定控制部150控制对是否由块判定部110和线判定部120应用解块滤波的判定。例如，判定控制部150可以使得线判定部120跳过针对一个边界的全部线的判定，其中由块判定部110基于邻接块的变换系数或编码参数而被判定为不对该边界应用解块滤波。

另举一例，判定控制部150还可以动态切换判定粒度，或者换句话说，判定单位的大小。更具体地，判定控制部150可以仅使得块判定部110对给定图像进行逐块判定。同样地，判定控制部150可以使得线判定部120进行逐线判定，而不依赖于来自块判定部110的逐块判定结果。

在进行逐线判定的情况下，即使未经滤波的图像质量在块内是不均匀的并且在各线上是有差别的，也可以根据图像质量逐线地开关滤波。由此，滤波图像中的图像质量得到改善。另一方面，在仅进行逐块判定的情况下，避免了对未被滤波的边界的所有线的访问，由此降低了整体处理负载，潜在地改善了处理速度。结果，在处理速度优先的情况下，判定控制部150可以仅选择逐块判定。

判定控制部150还可以基于例如包括在顺序参数集、图片参数集或片段头部内的参数，动态切换判定粒度。例如，可以在上述头部内指定一个参数，该参数用于指定逐块判定或逐线判定。该参数还可以例如根据装置开发人员的单独要求而被指定。作为替换，判定控制部150还可以根据其他条件(诸如，输入图像的尺寸)来切换判定粒度。

[3-2.处理流程]

图7是例示了由根据第一实施例的解块滤波器24进行的示例性处理流程的流程图。对输入图像内的所有边界(包括垂直边界和水平边界)单独重复图7中步骤S102至步骤S112的处理。

首先，块判定部110判定要被处理的单个边界(其后称为当前边界)是否满足逐块判定条件(诸如在前讨论的判定条件A)(步骤S102)。在此处，如果逐块判定条件未被满足，则跳过后续处理步骤S104至S110。另一方面，如果逐块判定条件被满足，则处理行进至步骤S104。

为被判定满足逐块判定条件的各边界处的所有线单独重复从步骤S104至步骤S110的处理。在步骤S104，线判定部120判定要被处理的单个线(其后称为当前线)是否满足逐线判定条件(诸如在前讨论的判定条件B')(步骤S104)。在此，如果逐线判定条件未被满足，则跳过步骤S106和步骤S108中的后续处理。另一方面，如果逐线判定条件被满足，则处理行进至步骤S106。

在步骤S106，强度选择部130例如依据在前讨论的条件C1’至C3选择应用于当前线的滤波强度(步骤S106)。

滤波部140然后将解块滤波应用于当前线(步骤S108)。

其后，在当前边界处仍存在未经处理的线的情况下，设置新的当前线，并且处理返回到步骤S104(步骤S110)。同时，在当前边界处不存在未经处理的线的情况下，处理行进至步骤S112。

在步骤S112，在当前输入图像中仍存在未经处理的边界的情况下，设置新的当前边界，并且处理返回到步骤S102(步骤S112)。在不存在未经处理的边界的情况下，针对该输入图像的处理结束。

应该注意到，在仅进行逐块判定的情况下，图7流程图中的步骤S104可被省略。此外，对于彩色分量，图7流程图中的步骤S104和步骤S106则可被跳过。

4.第二实施例

[4-1.解块滤波器的构成例]

图8是例示了根据第二实施例的解块滤波器24的详细构成的框图。参见图8，解块滤波器24包括块判定部110、线判定组220、强度选择组230、滤波组240和判定控制部150。

(1)线判定组

由线判定组220进行的处理可以对在块判定部110中判定为满足逐块判定条件的每个边界做出。线判定组220包括多个线判定部222-1至222-n。在每个块的尺寸是8×8像素的情况下，n的值可以是n＝8(诸如n＝2或n＝4的值也是可接受的)。线判定部222-1至222-n可以并行处理单个边界。

第一线判定部222-1依据例如在前讨论的判定条件B’，判定是否需要向与一具体边界垂直的各线中的第一线应用解块滤波。然后，在判定第一线满足判定条件B’的情况下，第一线判定部222-1使得第一强度选择部232-1选择滤波强度，并且使得第一滤波部242-1对该第一线应用滤波。

类似地，第二线判定部222-2依据例如在前讨论的判定条件B’，判定是否需要向与一具体边界垂直的各线中的第二线应用解块滤波。于是，在判定第二线满足判定条件B’的情况下，第二线判定部222-2使得第二强度选择部232-2选择滤波强度，并且使得第二滤波部242-2对该第二线应用滤波。

类似地，第n线判定部222-n依据例如在前讨论的判定条件B’，判定是否需要向与一具体边界垂直的各线中的第n线应用解块滤波。于是，在判定第n线满足判定条件B’的情况下，第n线判定部222-n使得第n强度选择部232-n选择滤波强度，并且使得第n滤波部242-n对该第n线应用滤波。

(2)强度选择组

强度选择组230包括多个强度选择部232-1至232-n。每个强度选择部232依据例如在前讨论的条件C1’至C3，选择应用于对应线的解块滤波的强度。每个强度选择部232随后将表达所选滤波强度的信息(诸如指示强滤波或弱滤波的标志)输出至滤波组240中的对应滤波部242。强度选择部232-1至232-n可以并行处理单个边界。

(3)滤波组

滤波组240包括多个滤波部242-1至242-n。每个滤波部242依据来自块判定部110和对应线判定部222的判定结果，对隔着对应边界相邻的两个邻接块中的对应线应用解块滤波。每个滤波部242的滤波器构成可以与在前讨论的现有技术中的构成相类似。然后，每个滤波部242在输出来自输入图像的其他像素的像素值的同时，输出应用了滤波的像素的经滤波像素值，作为输出图像的像素值。滤波部242-1至242-n可以并行处理单个边界。

应该注意到，在第二实施例中，块判定部110和线判定组220对是否应用解块滤波的判定也可与第一实施例相似地由判定控制部150类似地控制。例如，判定控制部150可以控制线判定组220，以并行判定是否需要对邻接块中的多个线应用解块滤波。

[4-2.处理流程]

图9是例示了由根据第二实施例的解块滤波器24进行的示例性处理流程的流程图。为输入图像中的所有边界(包括垂直边界和水平边界)单独重复图9中步骤S202至步骤S212的处理。

首先，块判定部110判定当前边界是否满足逐块判定条件(诸如在前讨论的判定条件A)(步骤S202)。在此处，如果逐块判定条件未被满足，则跳过后续处理步骤S204至S208。另一方面，如果逐块判定条件被满足，则处理行进至步骤S204。

接下来，线判定部222-1至222-n判定当前边界处的每个线是否满足逐线判定条件(诸如在前讨论的判定条件B’)(步骤S204)。

接下来，强度选择部232-1至232-n依据例如在前讨论的条件C1’至C3，选择单独应用于当前边界处的多个线中由线判定部222-1至222-n判定为需要滤波的各线的解块滤波强度(步骤S206)。

滤波部242-1至242-n然后将解块滤波单独应用于当前边界处的多个线中由线判定部222-1至222-n判定为需要滤波的线(步骤S208)。

其后，在输入图像中仍存在未经处理的边界的情况下，设置新的当前边界，并且处理返回到步骤S202(步骤S212)。在不存在未经处理的边界的情况下，针对该输入图像的处理结束。

应该注意到，在仅进行逐块判定的情况下，图9流程图中的步骤S204可被省略。此外，对于彩色分量，图9流程图中的步骤S204和步骤S206则可被跳过。

5.第三实施例

[5-1.解块滤波器的构成例]

在前述的第一和第二实施例中，是否需要对每个线应用解块滤波是通过将根据属于该线(即，每一个待判定的线)的参考像素值计算出的参数值与判定阈值相比较来判定的。相比之下，在此部分描述的第三实施例引入了估计参数值的概念，由此降低与参数值的重复计算相关联的处理成本。在此实施例中，滤波强度选择可以类似地使用估计的参数值来进行。

图10是例示了根据第三实施例的解块滤波器24的详细构成的框图。参见图10，解块滤波器24包括块判定部110、线判定部320、强度选择部330、滤波部140、控制部350和参数估计部360。

(1)参数估计部

参数估计部360根据线判定部320进行逐线判定时使用的判定参数计算与每个边界垂直的至少一个线的判定参数的值。参数估计部360随后根据针对所述至少一个线计算出的值，估计剩余线的判定参数的值。此外，与判定参数类似，参数估计部360计算并估计在强度选择部330选择滤波强度时使用的强度选择参数的值。在随后的描述中，用作估计其他线的参数值的基础的所述至少一个线将被指定为基线(或多个基线)，而其参数值被估计的线则将被指定为估计线。依据基线而对估计线参数值的估计例如可以根据线的位置而通过线性或非线性内插或外插进行。其后，图11A-11C将被用于描述由参数估计部360进行的参数估计处理的三个例子。

(1-1)第一个例子

图11A例示了隔着边界相邻的两个块Ba和Bb。在图11A的例子中，基线是在边界中央部分中垂直于该边界的两个线L3和L4。估计线则是除基线之外的其他线，即L0、L1、L2、L5、L6和L7。

参数估计部360例如根据如下公式计算用于评估在前讨论的逐线判定条件B’的判定参数d1_i(其中i等于3或4)：

d1_i＝|p_2i-2p_1i+p_0i|+|q_2i-2q_1i+q_0i|

参数估计部360随后例如根据如下公式使用所计算的两个判定参数d1₃和d1₄的值来估计估计线的判定参数d1_j(其中j等于0-2及5-7)：

d1₀＝4d1₃-3d1₄

d1₁＝3d1₃-2d1₄

d1₂＝2d1₃-1d1₄

d1₅＝2d1₄-1d1₃

d1₆＝3d1₄-2d1₃

d1₇＝4d1₄-3d1₃

应该注意到，对于其估计值根据上述估计公式变为负值的估计线，为靠近该估计线的基线所计算的参数值可被直接用作估计值，以代替上述负值的估计值。

类似地，参数估计部360例如根据如下公式计算在先前讨论的滤波强度选择过程中的相应的评估条件C2和C3的参数d2_i和d3_i(其中i等于3或4)：

d2_i＝|p_3i-p_0i|+|q_0j-q_3j|

d3_i＝|p_0i-q_0i|

参数估计部360随后使用所计算的强度选择参数d2₃和d2₄的值为每个估计线估计参数值d2_j(其中j等于0-2和5-7)。此外，参数估计部360还使用所计算的强度选择参数d3₃和d3₄的值来估计每个估计线的估计参数值d3_j(其中j等于0-2和5-7)。

(1-2)第二个例子

在图11B的例子中，基线是每隔一条线设置的线L0、L2、L4和L6。估计线则是除基线之外的其他线，即L1、L3、L5和L7。

参数估计部360例如根据上述结合第一个例子的公式计算判定参数d1_i(其中i等于0、2、4或6)以评估在前讨论的逐线判定条件B’。参数估计部360随后通过使用所计算的判定参数值进行内插或外插来估计每个估计线的判定参数d1_j(其中j等于1、3、5或7)。参数估计部360类似地计算用于选择基线的滤波强度的参数d2_i和d3_i。参数估计部360随后通过使用所计算的强度选择参数值进行内插或外插来估计每个估计线的强度选择参数d2_j和d3_j。

(1-3)第三个例子

在图11C的例子中，基线是线L0、L3、L4和L7。估计线则是除基线之外的其他线，即L1、L2、L5和L6。

参数估计部360例如根据上述结合第一个例子讨论的公式计算判定参数d1_i(其中i等于0、3、4或7)以评估在前讨论的逐线判定条件B’。参数估计部360随后通过使用算出的判定参数值进行内插来估计每个估计线的判定参数d1_j(其中j等于1、2、5或6)。参数估计部360类似地计算用于选择基线的滤波强度的参数d2_i和d3_i。参数估计部360随后通过使用算出的强度选择参数值进行内插来估计每个估计线的强度选择参数d2_j和d3_j。

参数估计部360例如向线判定部320输出根据上述三个例子中的任一例算出和估计的判定参数值。此外，参数估计部360还例如向强度选择部330输出类似计算和估计的强度选择参数值。

此处，在第一个例子中设定的基线是在边界中央部分与边界垂直的线。属于这些基线的像素的像素值不会通过沿着与该边界相同方向上应用的解块滤波而更新。通过使用这类基线上的像素值计算或估计与边界垂直的各线的参数，就可以与用于其他边界的滤波处理并行地逐线判定是否进行滤波并选择滤波强度。此外，滤波要否判定和滤波强度选择也可以并行进行。同时，根据与第二个例子或第三个例子类似的基线设置，基线和估计线之间的线位置差较小，由此能够更为精确地估计参数值。根据第三个例子，因为最外的线被设为基线，所以通过仅用内插来估计估计线的参数值能够进一步地改善估计精度。

(2)线判定部

线判定部320为垂直于每个边界的每个线判定是否对隔着该边界相邻的两个邻接块应用解块滤波。在第三实施例中，线判定部320通过使用由参数估计部360计算和估计的判定参数来进行判定。逐线判定条件可以是与在前讨论的判定条件B’相类似的条件。

条件B':

d1_i<(β>>1)

如果每个块的块尺寸是8×8像素，则i是整数，其中0≤i≤7。

线判定部320还可以使得强度选择部330仅为例如满足条件B’的线选择滤波强度。作为替换，线判定部320进行的判定和强度选择部330进行的滤波强度选择还可以并行进行。线判定部320使得滤波部140跳过对不满足条件B’的线的滤波。

(3)强度选择部

强度选择部330为每个线选择滤波部140将应用至该线的解块滤波强度。在第三实施例中，线判定部330通过使用由参数估计部360计算和估计的强度选择参数来选择强度。如果如下条件C1’至C3都满足，则强度选择部330选择强滤波；如果任一条件不被满足，则选择弱滤波。

(C1')d1_i<(β>>3)

(C2)d2_i<(β>>3)

(C3)de_i<((5tC+1)>>1)

如条件C1’所例证的，上述判定参数d1_i在此情况下还是强度选择参数。

强度选择部330随后为每个线向滤波部140输出表达所选滤波强度的信息。

(5)控制部

控制部350除了如上关于第一和第二实施例的判定控制部150描述的控制之外，还控制由参数估计部360进行的参数估计处理。例如，控制部350识别待处理的线的线位置，标识每个线是基线还是估计线。此外，控制部350根据来自基线的像素值首先使得参数估计部360分别计算基线的判定参数d1的值并计算强度选择参数d2和d3的值。其后，控制部350使得参数估计部360根据针对基线计算的参数值分别估计估计线的判定参数d1的值以及估计线的强度选择参数d2和d3的值。

[5-2.处理流程]

图12是例示了由根据第三实施例的解块滤波器24进行的示例性处理流程的流程图。对输入图像中的所有边界(包括垂直边界和水平边界)单独重复图12中步骤S302至步骤S318的处理。

首先，块判定部110判定当前边界是否满足逐块判定条件(诸如在前讨论的判定条件A)(步骤S302)。在此，如果逐块判定条件未被满足，则跳过后续处理步骤S304至S316。另一方面，如果逐块判定条件被满足，则处理行进至步骤S304。

在步骤S304，参数估计部360使用属于基线(所述基线与当前边界垂直)的像素的像素值来为所述基线计算判定参数和强度选择参数。此处的基线可以是例如图11A至11C所示三个例子的任一例中所设定的一个或多个线。

针对每个当前线重复步骤S306至步骤S316的处理，其中与当前边界垂直的每个线都被单独作为当前线处理。在步骤S306，控制部350识别当前线的线位置，并且确定当前线是否是估计线(步骤S306)。随后，如果当前线是估计线，则参数估计部360就使用为基线算出的参数来分别估计当前线的判定参数和强度选择参数(步骤S308)。另一方面，如果当前线是基线，则跳过步骤S308中的处理。

接下来，线判定部320使用由参数估计部360计算或估计的判定参数来判定当前线是否满足逐线判定条件(诸如在前讨论的判定条件B’)(步骤S310)。在此，如果逐线判定条件未被满足，则跳过步骤S312和S314中的后续处理。另一方面，如果逐线判定条件被满足，则处理行进至步骤S312。

在步骤S312，强度选择部330使用由参数估计部360计算或估计的强度选择参数，依据例如在前讨论的条件C1’至C3来选择要应用于当前线的滤波强度(步骤S312)。

滤波部140随后以强度选择部330所选的滤波强度对当前线进行解块滤波(步骤S314)。

其后，在当前边界处仍存在未经处理的线的情况下，设置新的当前线，并且处理返回到步骤S306(步骤S316)。同时，在当前边界处不存在未经处理的线的情况下，处理行进至步骤S318。

在步骤S318，在当前输入图像中仍存在未经处理的边界的情况下，设置新的当前边界，并且处理返回到步骤S302(步骤S318)。在不存在未经处理的边界的情况下，针对该输入图像的处理结束。

6.应用例

根据上述实施方式的图像编码装置10和图像解码装置60可被应用于各种电子设备，诸如用于卫星广播、诸如有线电视的有线广播、因特网上的分发、经由蜂窝通信向客户机装置分发等的发射机和接收机；将图像记录在诸如光盘、磁盘或闪存的介质上的记录装置；以及从这类存储介质中回放图像的回放装置。如下将讨论四种应用示例。

[6-1.第一应用例]

图13是例示了采用上述实施方式的电视的概略构成的框图。电视900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。

调谐器902从经由天线901接收的广播信号中提取期望的频道的信号，并且解调所提取的信号。随后，调谐器902将通过解调获得的编码比特流输出至解复用器903。也就是说，调谐器902用作电视900接收图像被编码的编码流的传输装置。

解复用器903从编码的比特流分离出要被观看的节目的视频流和音频流，并将分离的流输出至解码器904。同样地，解复用器903从编码的比特流中提取诸如电子节目指南(EPG)的辅助数据，并将所提取的数据供应至控制部910。此外，解复用器903还可以在编码比特流被加扰的情况下执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。其后，解码器904将通过解码处理生成的视频数据输出至视频信号处理部905。其后，解码器904将通过解码处理生成的音频数据输出至音频信号处理部907。

视频信号处理部905回放从解码器904输入的视频数据，并使得显示部906显示所述视频。视频信号处理部905还使得显示部显示经由网络供应的应用屏幕。其后，视频信号处理部905可以根据设置对视频数据执行诸如噪声移除的附加处理。此外，视频信号处理部905可以生成诸如菜单、按钮或光标的图形用户界面(GUI)图像，并将所生成的图像叠加在输出图像上。

显示部906由驱动信号(由视频信号处理部905供应)驱动，并且在显示装置(例如液晶显示器、等离子显示器或OLED显示器)的视频屏幕上显示视频或图像。

音频信号处理部907对从解码器904输入的音频数据执行诸如D/A转换和放大的回放处理，并将音频输出到扬声器908。同样地，音频信号处理部907也对音频数据执行诸如噪声移除的附加处理。

外部接口909是用于将电视900连接至外部设备或网络的接口。例如，经由外部接口909接收到的视频流或音频流可由解码器904解码。也就是说，外部接口909用作电视900接收图像被编码的编码流的传输装置。

控制部910包括诸如中央处理单位(CPU)的处理器和诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储待由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等等。存储器中存储的程序例如在电视900启动时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口911输入的操作信号控制电视900的操作。

用户接口911连接至控制部910。用户接口911例如包括由用户使用以操作电视900的按钮和开关，以及遥控信号接收器。用户接口911检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部910。

总线912把调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910相互连接。

在以此方式构成的电视900中，解码器904用作根据上述实施方式的图像解码装置60。因此，当在电视900中解码图像时，同样能够更为恰当地确定应用解块滤波的范围并改善图像质量。

[6-2.第二应用例]

图14是例示了采用上述实施方式的移动电话的概略构成的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、相机部926、图像处理部927、多路复用/解复用(mux/demux)部928、记录和回放部929、显示部930、控制部931、可操作部932和总线933。

天线921连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。可操作部932连接至控制部931。总线933把通信部922、音频编解码器923、相机部926、图像处理部927、mux/demux部928、记录和回放部929、显示部930和控制部931相互连接。

移动电话920以包括音频通信模式、数据通信模式、成像模式和视频电话模式在内的各种操作模式执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像及记录数据的操作。

在音频通信模式中，由麦克风925生成的模拟音频数据被供应至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对经转换的音频数据进行A/D转换和压缩。随后，音频编解码器923将经压缩的音频数据输出至通信部922。通信部922对音频数据进行编码和调制，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站(未示出)。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收到的信号。随后，通信部922解调并解码接收到的信号，生成音频数据，并将生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行解压缩和D/A转换，并生成模拟音频信号。随后，音频编解码器923将生成的音频信号供应至扬声器924并使得音频被输出。

同样地，在数据通信模式中，控制部931根据例如用户经由可操作部932进行的操作而生成构成电子邮件的文本数据。此外，控制部931使得该文本在显示部930上显示。此外，控制部931根据用户经由可操作部932输入的发送指令生成电子邮件数据，并将生成的电子邮件数据输出至通信部922。通信部922编码并调制电子邮件数据，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站(未示出)。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收到的信号。随后，通信部922解调并解码接收到的信号，重构电子邮件数据，并将重构的电子邮件数据输出至控制部931。控制部931使得显示部930显示电子邮件的内容，并且还使得该电子邮件数据被存储在记录和回放部929的存储介质中。

记录和回放部929包括任意可读和可写存储介质。例如，存储介质可以是诸如RAM或闪存的内建存储介质，或者是诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡之类的外部安装的存储介质。

此外，在成像模式中，相机部926拍摄被摄体的图像，生成图像数据，并将生成的图像数据输出至例如图像处理部927。图像处理部927编码从相机部926输入的图像数据，并且使得编码流被存储在记录和回放部929的存储介质中。

此外，在视频电话模式中，mux/demux部928多路复用由图像处理部927编码的视频流以及从音频编解码器923输入的音频流，并且将经多路复用的流输出至例如通信部922。通信部922编码并调制所述流，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站(未示出)。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收到的信号。发送信号和接收到的信号可以包括经编码的比特流。随后，通信部922解调并解码接收到的信号，重构所述流，并将重构的流输出至mux/demux部928。mux/demux部928从输入流中分理出视频流和音频流，并将视频流输出至图像处理部927而将音频流输出至音频编解码器923。图像处理部927解码视频流并生成视频数据。视频数据被供应给显示部930，并由显示部930显示一系列图像。音频编解码器923对音频流进行解压缩和D/A转换，并生成模拟音频信号。随后，音频编解码器923将生成的音频信号供应至扬声器924并使得音频被输出。

在以此方式构成的移动电话920中，图像处理部927用作根据上述实施方式的图像编码装置10和图像解码装置60。因此，当在移动电话920中编码和解码图像时，同样能够更为恰当地确定应用解块滤波的范围并改善图像质量。

[6-3.第三应用例]

图15是例示了采用上述实施方式的记录和回放装置的概略构成的框图。记录和回放装置940对例如接收到的广播节目的音频数据和视频数据进行编码，并将其记录到记录介质上。记录和回放装置940还可以对例如从其他装置获取的音频数据和视频数据进行编码，并将其记录到记录介质上。此外，记录和回放装置940还根据例如来自用户的指令，经由监视器和扬声器回放在记录介质上记录的数据。在这些时刻，记录和回放装置940解码音频数据和视频数据。

记录和回放装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏上显示器(OSD)948、控制部949和用户接口950。

调谐器941从经由天线(未示出)接收的广播信号中提取期望的信道的信号，并且解调所提取的信号。随后，调谐器941将通过解调获得的编码比特流输出至选择器946。也就是说，调谐器941用作记录和回放装置940的传输装置。

外部接口942是用于将记录和回放装置940连接至外部设备或网络的接口。例如，外部接口942可以是IEEE 1394接口、网络接口、USB接口、闪存接口等。例如，由外部接口942接收到的视频数据和音频数据输入至编码器943。也就是说，外部接口942用作记录和回放装置940的传输装置。

在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对所述视频数据和音频数据进行编码。随后，编码器943将经编码的比特流输出至选择器946。

HDD 944将编码的比特流(作为经压缩的内容数据，诸如视频或音频、各种节目和其他数据)记录在内部硬盘上。同样地，HDD 944在回放视频和音频时从硬盘读取这些数据。

盘驱动器945相对插入的记录介质记录或读取数据。插入到盘驱动器945内的记录介质可以是DVD盘(诸如，DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+或DVD+RW盘)、蓝光(注册商标)盘等。

当记录视频和音频时，选择器946选择从调谐器941或从解码器943输入的编码比特流，并将所选的编码比特流输出至HDD 944或盘驱动器945。同样地，当回放视频和音频时，选择器946将从HDD 944或从盘驱动器945输入的编码比特流输出至解码器947。

解码器947解码经编码的比特流，并生成视频数据和音频数据。随后，解码器947将生成的视频数据输出至OSD 948。同样地，解码器904将生成的音频数据输出至外部扬声器。

OSD 948回放从解码器947输入的视频数据，并且显示视频。同样地，OSD 948可以将诸如菜单、按钮或光标的GUI图像叠加在所显示的视频上。

控制部949包括诸如CPU的处理器，以及诸如RAM或ROM的存储器。存储器存储要被CPU执行的程序、程序数据等。存储器中存储的程序例如在记录和回放装置940启动时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口950输入的操作信号控制记录和回放装置940的操作。

用户接口950连接至控制部949。用户接口950例如包括由用户使用以操作记录和回放装置940的按钮和开关，以及遥控信号接收器。用户接口950检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部949。

在以此方式构成的记录和回放装置940中，编码器943用作根据上述实施方式的图像编码装置10。同样地，解码器947用作根据上述实施方式的图像解码装置60。因此，当在记录和回放装置940中编码和解码图像时，同样能够更为恰当地确定应用解块滤波的范围并改善图像质量。

[6-4.第四应用例]

图16是例示了采用上述实施方式的成像装置的概略构成示例的框图。成像装置960拍摄被摄体的图像，生成图像，编码图像数据，并将图像数据记录到记录介质上。

成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD 969、控制部970、用户接口971和总线972。

光学块961连接至成像部962。成像部962连接至信号处理部963。显示部965连接至信号处理部964。用户接口971连接至控制部970。总线972把图像处理部964、外部接口966、存储器967、介质驱动器968、OSD 969和控制部970相互连接。

光学块961包括聚焦透镜和孔径光阑机构等。光学块961在成像部962的成像表面上形成被摄体的光学图像。成像部962包括诸如CCD或CMOS传感器的图像传感器，并将在成像表面上形成的光学图像光电转换成作为电信号的图像信号。随后，成像部962将图像信号输出至信号处理部963。

信号处理部963对从成像部962输入的图像信号执行各种相机信号处理，诸如拐点校正、伽马校正和颜色校正。信号处理部963将经处理的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码，并生成经编码的数据。随后，图像处理部964将由此生成的经编码数据输出至外部接口966或介质驱动器968。同样地，图像处理部964解码从外部接口966或介质驱动器968输入的经编码数据，并生成图像数据。随后，图像处理部964将生成的图像数据输出至显示部965。同样地，图像处理部964可以将从信号处理部963输入的图像数据输出至显示部965，并使得图像被显示。此外，图像处理部964可以将从OSD 969获取的显示数据叠加到要被输出至显示部965的图像上。

OSD 969生成诸如菜单、按钮或光标的GUI图像，并将生成的图像输出至图像处理部964。

外部接口966被构造成例如USB输入/输出端子。外部接口966在例如打印图像时将成像装置960连接至打印机。同样地，驱动器在需要时连接至外部接口966。诸如磁盘或光盘的可移动介质被插入驱动器，从可移除介质中读取的程序则可被安装在成像装置960内。此外，外部接口966还可被构造为用于连接诸如LAN或因特网的网络的网络接口。也就是说，外部接口966用作图像捕捉装置960的发送装置。

插入介质驱动器968的记录介质可以是任意的可读和可写的可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。同样地，记录介质可被永久性地安装在介质驱动器968内，由此构成诸如内部硬盘驱动器或固态驱动器(SSD)的非便携式存储部。

控制部970包括诸如CPU的处理器，以及诸如RAM或ROM的存储器。存储器存储要被CPU执行的程序、程序数据等。存储器中存储的程序例如在成像装置960启动时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口971输入的操作信号控制成像装置960的操作。

用户接口971连接至控制部970。用户接口971例如可包括用户用来操作成像装置960的按钮和开关等。用户接口971检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部970。

在以此方式构成的成像装置960中，图像处理部964用作根据上述实施方式的图像编码装置10和图像解码装置60。因此，在于图像捕捉装置960中编码和解码图像的情况下，能够更为恰当地确定应用解块滤波的范围并改善图像质量。

7.结论

前述使用图1-16详细描述了根据实施方式的图像编码装置10和图像解码装置60中的解块滤波的两个实施例。根据这两个实施例，以逐线为基础判定是否对在图像内隔着边界相邻的两个相邻块应用解块滤波，并且根据判定结果对各个线应用解块滤波。结果，相比于判定要逐块应用解块滤波的情况，能够以更为精细的粒度实现判定。于是就能够降低对已经具有良好图像质量的部分应用解块滤波而不对具有劣化图像质量的部分应用解块滤波的可能性。换句话说，能够改善经滤波的图像质量。

同样地，根据本实施方式，可以对逐块判定无需应用解块滤波的边界跳过逐线判定。这一配置避免了对总体无需滤波的边界处的所有线的访问，由此抑制了处理负载的增加。

此外，根据第一和第二实施例，如下判定是否对每一个线应用解块滤波：将根据仅属于该线的参考像素的值计算出的判定参数的值与判定阈值相比较。结果，就能够以顺序访问每个线的简单配置实现逐线判定。

同样地，根据第二实施例，可以对边界处的多个线并行判定是否需要应用解块滤波。结果，能够总体上缩短逐线判定所需的处理时间。

此外，根据第三实施例，根据针对一个或多个基线计算出的参数来估计用于为垂直于边界的多个线中的估计线判定是否要滤波或选择滤波强度的参数值。结果，能够降低与参数值的重复计算相关联的处理成本。在此，通过将在边界中央部分与该边界垂直的一个或多个线设置为基线，就能够与对其他边界的滤波处理并行地对边界逐线进行是否滤波的判定和滤波强度的选择。此外，使得基线和估计线之间的线位置差异更小能够实现更为精确的参数值估计。

此外，根据本实施方式，在指定逐线判定的参数被包括在顺序参数集、图片参数集或片段头部的情况下，可以逐线判定是否需要应用解块滤波。根据这一配置，装置开发人员就能够经由参数指定是更希望通过进行逐线判定改善图像质量，还是更希望通过进行逐块判定来实现快速处理。

虽然已经参考附图描述了本发明的优选实施方式，但是本发明显然不受上述例子所限。本领域技术人员可以在所附权利要求范围内发现各种修改和变更，并且应该理解这些修改和变更自然地位于本发明的技术范围内。

注意到解块滤波处理的单位大小和宏块大小不限于本说明书中描述的例子，并且还可以是其他尺寸。例如，尽管H.264/AVC宏块尺寸被固定为16×16像素，但是可以为每个序列动态指定HEVC编码单位的尺寸。HEVC编码单位还可被称为编码树块，其中具有最大尺寸的编码单位被称为最大编码单位(LCU)，具有最小尺寸的编码单位则被称为最小编码单位(SCU)。可用编码单位的尺寸范围则通过在形成图像压缩信息的一部分的顺序参数集中指定LCU和SCU尺寸来定义。此外，通过指定split_flag的值指定各个序列中使用的编码单位尺寸。应该注意到，编码单位的形状通常为方形，一个边的尺寸可被表达为2的幂。编码单位可被附加地分割成预测单位(PU)，其是用于帧内预测和帧间预测处理的单位。编码单位还可被分割成变换单位(TU)，其是用于正交变换处理的单位。在HEVC中，除了4×4像素和8×8像素之外，还可以使用具有16×16像素和32×32像素尺寸的变换单位。在本说明书中，术语块涵盖宏块、编码单位、预测单位、变换单位和各种其他单位的概念。块尺寸可以是固定的，但是也可以动态改变。

用于从编码侧到解码侧发送用于解块滤波处理的信息的技术不限于将信息多路复用至编码流头部的技术。例如，该信息可被发送或记录为与经编码比特流相关联的分离数据，而无需被多路复用至经编码比特流。术语“关联”指的是使得包含在比特流中的图像(或图像的一部分，诸如片段或块)与对应于该图像的信息在解码时链接的动作。即，该信息可以经由与图像(或比特流)所使用的不同的传输路径而被发送。该信息可被记录在与图像(或比特流)所使用的不同的记录介质(或相同记录介质的不同记录区域)上。信息和图像(或比特流)可以以诸如多个帧、单个帧、帧内一部分等的任意单位彼此关联。

虽然已经参考附图描述了本发明的优选实施方式，但是本发明显然不受上述例子所限。本领域技术人员可以在所附权利要求范围内发现各种修改和变更，并且应该理解这些修改和变更自然地位于本发明的技术范围内。

参考标记列表

10,60 图像处理装置

120,222-1至222-n,320 线判定部

130,232-1至232-n,330 强度选择部

140,242-1至242-n 滤波部

150,350 控制部

360 参数估计部