图像处理装置和图像处理方法与流程

图像处理装置和图像处理方法
1.本技术是中国申请号为201780079701.0，申请日为2017年11月30日，发明名称为“图像处理装置和图像处理方法”的发明专利申请的分案申请。
技术领域
2.本公开涉及图像处理装置和图像处理方法。


背景技术：

3.在h.265/hevc(标准图像编码方案规范之一)中，为了抑制图像编码期间发生的块伪影所引起的图像质量的劣化，例如将去块滤波应用于块边界(参见非专利文献1)。去块滤波包括强滤波器和弱滤波器，并且在块边界上使用针对各个滤波器的确定公式，以确定要应用哪个滤波器。
4.此外，目前，为了与h.265/hevc相比进一步提高编码效率，联合视频探索组(joint video exploration team，jvet)(itu-t和iso/iec的联合标准组织)正在进行被称为未来视频编码(future video coding，fvc)的下一代图像编码方案的标准工作(例如，参见非专利文献2)。
5.在fvc标准工作中，下面的非专利文献3提出在比h.265/hevc中的强滤波器更广泛的应用范围上应用去块滤波器。利用非专利文献3中提出的技术，通过将滤波器应用的范围设置为块边界附近的3个像素到7个像素，可以应用更强的滤波器。
6.引用列表
7.非专利文献
8.非专利文献1：recommendation itu-t h.265,(04/2015)"high efficiency video coding",2015年4月
9.非专利文献2：j.chen,e.alshina,g.j.sullivan,j.-r.ohm,j.boyce,"algorithm description of joint exploration test model 4",jvet-d1001_v3,joint video exploration team(jvet)of itu-t sg 16wp 3and iso/iec jtc 1/sc 29/wg 11第四次会议：中国成都，2016年10月15-21日
10.非专利文献3：k.kawamura,s.naito,"extended deblocking-filter decision for large block boundary",jvet-d0047,joint video exploration team(jvet)of itu-t sg 16wp 3and iso/iec jtc 1/sc 29/wg 11第四次会议：中国成都，2016年10月15-21日


技术实现要素：

11.技术问题
12.然而，利用现有技术的滤波器确定方法，存在着应用不适当的滤波器的风险。例如，在一些情况下，过度应用了强滤波器，并且通过应用去块滤波器极大地降低了峰值信噪比(peak signal-to-noise ratio，psnr)。
13.已经根据这种情况设计了本公开内容，并且使得可以在去块滤波处理中应用更合适的滤波器。
14.问题的解决方案
15.根据本公开，提供了一种图像处理装置，包括：解码部分，其被配置成对编码流进行解码以生成解码图像；确定部分，其被配置成根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于所述解码部分所生成的解码图像的块边界附近的像素，其中在所述扩展应用范围中，去块滤波器的应用范围被扩展；以及滤波部分，其被配置成将所述扩展强滤波器应用于所述确定部分确定要应用所述扩展强滤波器的像素。
16.另外，根据本公开，提供了一种图像处理方法，包括：对编码流进行解码以生成解码图像；根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于所生成的解码图像的块边界附近的像素，其中在所述扩展应用范围中，去块滤波器的应用范围被扩展；以及将所述扩展强滤波器应用于确定要应用所述扩展强滤波器的像素。
17.另外，根据本公开，提供了一种图像处理装置，包括：确定部分，其被配置成根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于本地解码的解码图像的块边界附近的像素，其中在所述扩展应用范围中，应用于所述解码图像的块边界附近的像素的去块滤波器的应用范围被扩展；滤波部分，其被配置成将所述扩展强滤波器应用于所述确定部分确定要应用所述扩展强滤波器的像素；以及编码部分，其被配置成使用所述滤波部分已应用了所述扩展强滤波器的解码图像对图像进行编码。
18.另外，根据本公开，提供了一种图像处理方法，包括：根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于本地解码的解码图像的块边界附近的像素，其中在所述扩展应用范围中，应用于所述解码图像的块边界附近的像素的去块滤波器的应用范围被扩展；将所述扩展强滤波器应用于确定要应用所述扩展强滤波器的像素；以及使用已应用了所述扩展强滤波器的解码图像对图像进行编码。
19.发明的有益效果
20.根据如上所述的本公开，可以在去块滤波处理中应用更合适的滤波器。
21.注意，上述效果不一定是限制性的。与上述效果一起或代替于上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中理解的其他效果。
附图说明
22.[图1]是用于说明hevc中的cu的递归块划分的概述的说明图。
[0023]
[图2]是用于说明cu中的pu的设置的说明图。
[0024]
[图3]是用于说明cu中的tu的设置的说明图。
[0025]
[图4]是用于说明cu/pu的扫描顺序的说明图。
[0026]
[图5]是说明qtbt中的cu、pu和tu的形状的图。
[0027]
[图6]是示出在垂直边界上相邻的两个块bp和bq内的像素的一个示例的说明图，
每个块包含4
×
4个像素。
[0028]
[图7]是用于说明hevc中的强滤波器确定处理的说明图。
[0029]
[图8]是示出应用了已经提出的滤波器的块边界的一个示例的说明图。
[0030]
[图9]是示出图8中所示的区域h10的放大的示意图。
[0031]
[图10]是示出图像编码装置10的配置的一个示例的框图，图像编码装置10是根据本公开的一个实施方式的图像处理装置的一个方面。
[0032]
[图11]是示出图像解码装置60的配置的一个示例的框图，图像解码装置60是根据该实施方式的图像处理装置的一个方面。
[0033]
[图12]是示出根据第一示例的去块滤波器24的详细配置的一个示例的框图。
[0034]
[图13]是用于说明用于确定是否应用扩展强滤波器的确定处理的说明图。
[0035]
[图14]是用于说明由滤波部分130应用的扩展强滤波器的一个示例的说明图。
[0036]
[图15]是用于说明在根据第一示例的滤波部分130所应用的扩展强滤波器的滤波系数的推导中的思路的说明图。
[0037]
[图16]是用于说明在根据第一示例的滤波部分130所应用的扩展强滤波器的滤波系数的推导中的思路的说明图。
[0038]
[图17]是示出根据第一实施方式的去块滤波器24的处理流程的一个示例的流程图。
[0039]
[图18]是根据修改的说明图。
[0040]
[图19]是根据修改的说明图。
[0041]
[图20]是用于说明用于确定是否应用扩展强滤波器的确定处理的说明图。
[0042]
[图21]是示出在修改中由滤波部分130应用的非对称去块滤波器的一个示例的说明图。
[0043]
[图22]是示出根据第二示例的去块滤波器24的处理流程的一个示例的流程图。
[0044]
[图23]是用于说明步骤s230中的处理的流程图。
[0045]
[图24]是根据修改的说明图。
[0046]
[图25]是根据修改的说明图。
[0047]
[图26]是示出计算机的主要配置示例的框图。
[0048]
[图27]是示出电视装置的示意性配置的示例的框图。
[0049]
[图28]是示出移动电话的示意性配置的示例的框图。
[0050]
[图29]是示出记录/再现装置的示意性配置的示例的框图。
[0051]
[图30]是示出成像装置的示意性配置的示例的框图。
[0052]
[图31]是示出视频设备的示意性配置的一个示例的框图。
[0053]
[图32]是示出视频处理器的示意性配置的一个示例的框图。
[0054]
[图33]是示出视频处理器的示意性配置的另一示例的框图。
[0055]
[图34]是示出网络系统的示意性配置的一个示例的框图。
具体实施方式
[0056]
在下文中，将参照附图详细描述本公开的一个或多个优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略
对这些结构元件的重复说明。
[0057]
注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件有时在相同的附图标记之后使用不同的字母彼此区分。然而，当不需要特别区分具有基本相同的功能和结构的结构元件时，仅附上相同的附图标记。
[0058]
在下文中，描述将按以下顺序进行。
[0059]
1.背景
[0060]
1-1.块结构
[0061]
1-2.现有的去块滤波器
[0062]
2.装置概述
[0063]
2-1.图像编码装置
[0064]
2-2.图像解码装置
[0065]
3.第一示例
[0066]
3-1.去块滤波器的示例性配置
[0067]
3-2.处理流程
[0068]
3-3.修改
[0069]
4.第二示例
[0070]
4-1.去块滤波器的示例性配置
[0071]
4-2.处理流程
[0072]
4-3.修改
[0073]
5.示例性硬件配置
[0074]
6.应用示例
[0075]
7.结论
[0076]
《1.背景》
[0077]
[1-1.块结构]
[0078]
利用诸如mpeg-2或h.264/avc的比较旧的图像编码方案，在称为宏块的处理单元中执行编码处理。宏块是具有16
×
16像素的均匀尺寸的块。相反，使用hevc，在称为编码单元(cu)的处理单元中执行编码处理。cu是具有可变尺寸的、通过递归地划分编码树单元(ctu)而形成的块。最大可选cu尺寸为64
×
64像素。最小可选cu尺寸为8
×
8像素。
[0079]
由于实现了具有可变尺寸的cu，因此使用hevc，可以根据图像内容自适应地调节图像质量和编码效率。在称为预测单元(pu)的处理单元中执行用于预测编码的预测处理。通过根据若干划分模式之一划分cu来形成pu。此外，在称为变换单元(tu)的处理单元中执行正交变换处理。通过将cu或pu划分至特定深度来形成tu。
[0080]
图1是用于说明hevc中的cu的递归块划分的概述的说明图。通过递归地重复将单个块划分成4(＝2
×
2)个子块来执行cu块划分，结果形成具有四叉树形状的树结构。一个完整的四叉树称为编码树块(ctb)，对应于ctb的逻辑单元称为ctu。在图1的上部，作为一个示例，示出了尺寸为64
×
64像素的cu c01。cu c01的划分深度等于零。这意味着cu c01对应于ctu的根。ctu或ctb的尺寸可以由序列参数集(sps)中编码的参数指定。cu c02是从cu c01划分的四个cu之一，并且具有32
×
32像素的尺寸。cu c02的划分深度等于1。cu c03是从cu c02划分的四个cu之一，并且具有16
×
16像素的尺寸。cu c03的划分深度等于2。cu c04是从
cu c03划分的四个cu之一，并且具有8
×
8像素的尺寸。cu c04的划分深度等于3。以这种方式，通过递归地划分要编码的图像来形成cu。划分深度是可变的。例如，在诸如蓝天的平坦图像区域中，可以设置较大尺寸(即，较小深度)的cu。另一方面，在包括许多边缘的陡峭图像区域中，可以设置较小尺寸(即，较大深度)的cu。另外，所设置的cu成为编码处理的处理单元。
[0081]
pu是包括帧内预测和帧间预测的预测过程的处理单元。通过根据若干划分模式之一划分cu来形成pu。图2是用于说明图1所示的cu中的pu的设置的说明图。图2的右侧示出了八种划分模式，称为2n
×
2n、2n
×
n、n
×
2n、n
×
n、2n
×
nu、2n
×
nd、nl
×
2n和nr
×
2n。在这些划分模式中，在帧内预测中，2n
×
2n和n
×
n这两种是可选择的(n
×
n仅对于scu是可选择的)。另一方面，在帧间预测中，在启用非对称运动划分的情况下，可以选择所有八种划分模式。
[0082]
tu是正交变换过程的处理单元。通过将cu(针对帧内cu，cu内的每个pu)划分至特定深度来形成tu。图3是用于说明图1所示的cu中的tu的设置的说明图。图3的右侧示出了可以在cu c02中设置的一个或更多个tu。例如，tu t01具有32
×
32像素的尺寸，并且tu划分的深度等于零。tu t02具有16
×
16像素的尺寸，并且tu划分的深度等于1。tu t03具有8
×
8像素的尺寸，并且tu划分的深度等于2。
[0083]
通常基于对控制编码效率的成本的比较来决定要执行什么类型的块划分以在图像中设置上述的诸如cu、pu和tu的块。编码器例如在一个2m
×
2m像素cu和四个m
×
m像素cu之间比较成本，并且如果通过设置四个m
×
m像素cu而使编码效率更高，则编码器决定将2m
×
2m像素cu划分成四个m
×
m像素cu。
[0084]
对图像进行编码时，将以光栅扫描顺序来扫描在图像(或条带、区块)内的网格中设置的ctb(或lcu)。在单个ctb内部，通过从左到右和从上到下跟随四叉树来扫描cu。当处理当前块时，关于上方和左侧相邻的块的信息被用作输入信息。图4是用于说明cu/pu的扫描顺序的说明图。图4的左上部分示出了可以包括在单个ctb中的四个cu c10、c11、c12和c13。每个cu的框内的数字表示处理顺序。以左上cu c10、右上cu c11、左下cu c12和右下cu c13的顺序执行编码处理。图4的右侧示出了可以在cu c11中设置的用于帧间预测的一个或更多个pu。图4的下部示出了可以在cu c12中设置的用于帧内预测的一个或更多个pu。由于这些pu的框内的数字指示，pu也通过从左到右和从上到下被扫描。
[0085]
以上描述了hevc中的块划分。接下来，将描述在jvet-c0024“ee21：四叉树加二叉树结构与jem工具的集成(quadtree plus binary tree structure integration with jem tools)”中描述的称为qtbt的块结构。图5是说明qtbt中的cu、pu和tu的形状的图。
[0086]
具体地，在cu块划分中，单个块不仅可以被划分为4(＝2
×
2)个子块，还可以被划分为2(＝1
×
2，2
×
1)个子块。换句话说，通过递归地重复将单个块划分成4个或2个子块来执行cu块划分，结果，形成在水平或垂直方向上具有四叉树形状或二叉树形状的树结构。如上所述，可以根据四叉树和二叉树的组合递归地划分块。
[0087]
结果，可能的cu形状不仅是正方形，而且是矩形的。例如，在编码树单元(ctu)尺寸为128
×
128的情况下，如图5所示，可能的cu尺寸(水平尺寸w
×
垂直尺寸h)不仅包括诸如128
×
128、64
×
64、32
×
32、16
×
16、8
×
8和4
×
4的方形尺寸，还包括诸如128
×
64、128
×
32、128
×
16、128
×
8、128
×
4、64
×
128、32
×
128、16
×
128、8
×
128、4
×
128、64
×
32、64
×
16、64
×
8、64
×
4、32
×
64、16
×
64、8
×
64、4
×
64、32
×
16、32
×
8、32
×
4、16
×
32、8
×
32、4
×
32、16
×
8、16
×
4、8
×
16、4
×
16、8
×
4和4
×
8的矩形尺寸。注意，在非专利文献2中，pu和tu与cu相同。然而，也可以想到cu、pu和tu块结构彼此独立的形式。本技术不仅适用于cu、pu和tu具有相同块结构的情况，而且适用于cu、pu和tu具有独立块结构的情况。
[0088]
注意，在本说明书中，在描述中使用“块”来指代图像(图片)的部分区域或某些情况下的处理单位(不是处理部分的块)。在这种情况下的“块”表示图片内的任何部分区域，该部分区域的尺寸，形状，特性等不受限制。换句话说，假设这种情况下的“块”包括任何部分区域(处理单位)，例如tu、pu、cu、ctu，ctb、区块(tile)或条带(slice)。
[0089]
此外，在本说明书中，块边界可以是上述任何块之间的边界，并且包括例如通过hevc中的块划分而划分的块之间的边界和通过上述qtbt中的块划分而划分的块之间的边界。此外，本技术还适用于jvet-d0117“multi-type-tree”中描述的块结构和块边界。
[0090]
[1-2.现有的去块滤波器]
[0091]
接下来，将描述现有的去块滤波器。在诸如hevc的现有图像编码方案中，由去块滤波器进行的处理包括滤波需求确定处理、滤波器强度确定处理和滤波处理。在下文中，将以hevc为例描述滤波需求确定处理、滤波器强度确定处理和滤波处理。
[0092]
(1)hevc滤波需求确定处理
[0093]
滤波需求确定处理是确定是否应该对输入图像中的块边界的每四条线(lines)应用去块滤波器的处理。在块边界是垂直边界的情况下，上述线对应于与垂直边界正交的行。此外，在块边界是水平边界的情况下，上述线对应于与水平边界正交的列。
[0094]
图6是示出在垂直边界上相邻的两个块bp和bq内的像素的一个示例的说明图，两个块bp和bq各自包含4
×
4个像素。尽管这里描述了垂直边界作为示例，但是显然本文中描述的内容同样适用于水平边界。在图6的示例中，块bp内的像素用符号pij表示，其中i是列索引，j是行索引。列索引i从垂直边界附近的列(从右到左)按顺序编号为0、1、2、3。行索引j从上到下编号为0、1、2、3。另一方面，块bq内的像素用符号qkj表示，其中k是列索引，j是行索引。列索引k从垂直边界附近的列(从左到右)按顺序编号为0、1、2、3。
[0095]
对于图6中所示的块bq和bq之间的垂直边界，可以根据如下条件来确定是否应该应用去块滤波器：
[0096]-确定条件
…
如果条件m和条件n都为真，则应用
[0097]
‑‑
条件m：
[0098]
(m1)块bp或bq处于帧内预测模式；
[0099]
(m2)块bq或bq具有非零正交变换系数，块bp和bq之间的边界是tu边界；
[0100]
(m3)块bp和bq的块运动矢量之差的绝对值是1个像素或更大；或
[0101]
(m4)块bp和bq具有用于块运动补偿的不同参考图像，或不同数量的运动矢量
[0102]
‑‑
条件n：
[0103]
|p2
0-2*p10+p00|+|p2
3-2q13+p03|+|p2
0-2q10+q00|+|q2
3-2*q13+q03|＜β
[0104]
注意，条件n中的β是边缘确定阈值。根据量化参数分配β的初始值。此外，β的值可以在条带头部内的参数中由用户指定。
[0105]
换句话说，如图6中的虚线框l11和l14所示，在滤波需求确定处理(特别是条件n的确定)中，参考每个块的第一条线和第四条线(取最上面一行作为第一条线)上的行中的像
素。类似地，在用于水平边界的滤波需求确定处理中，参考每个块的第一列和第四列(图6中未示出)中的像素。随后，对于根据上述确定条件确定应当应用去块滤波器的边界，执行上述滤波强度确定处理。
[0106]
(2)hevc滤波器强度确定处理
[0107]
如果确定应该将去块滤波器应用于特定边界，则执行确定要应用的滤波器的强度的处理。在hevc中，对强滤波器和弱滤波器中的每一个执行应用确定处理。
[0108]
与滤波需求确定处理类似，以四条线为单位执行强滤波器确定处理。例如，在图6所示的示例中，参考由虚线框l11和l14指示的每个块的第一条线和第四条线的行中的像素，以执行强滤波器确定处理。
[0109]
注意，在下文中，在适当的情况下将省略行索引(垂直边界的行索引和水平边界的列索引)，但是在描述以四条线为单位执行的确定处理的情况下，假设参考每个块的第一条线和第四条线的行中的像素。
[0110]
图7是用于说明hevc中的强滤波器确定处理的说明图。图7中所示的p0到p3和q0到q3分别是块bq和bq中的像素值的列。
[0111]
在hevc中的强滤波器确定处理中，使用以下条件a1、b1和c1。
[0112]
(a1)|p3-p0|+|q3-q0|＜(β＞＞3)
[0113]
(b1)|p1-2*p1+p0|+|q2-2*q1+q0|＜(β＞＞2)
[0114]
(c1)|p0-q0|＜((tc*5+1)＞＞1)
[0115]
由上述条件a1、b1和c1参考的像素范围分别对应于图7中所示的范围a1，b1和c1。如图7所示，使用块内的像素值确定条件a1和条件b1。更具体地，条件a1是确定块内的平坦度的条件。此外，条件b1是确定块内的连续性的条件。此外，条件c2使用与块边界相邻的像素值来确定块之间的变化量(间隙)。
[0116]
在第一条线和第四条线二者满足上述条件a1、b1和c1的情况下，强滤波器以四条线为单位应用于块边界，而在任何一个条件都不满足的情况下，对每一条线执行弱滤波器确定处理。
[0117]
hevc中的强滤波器表示如下。
[0118]
p0
′
＝clip3(p0-2*tc，p0+2*tc，(p2+2*p1+2*p0+2*q0+q1+4)＞＞3)
[0119]
q0
′
＝clip3(q0-2*tc，q0+2*tc，(p1+2p0+2q0+2q1+q2+4)＞＞3)
[0120]
p1
′
＝clip3(p1-2*tc，p1+2*tc，(p2+p1+p0+q0+2)＞＞2)
[0121]
q1
′
＝clip3(q1-2*tc，q1+2*tc，(p0+q0+q1+q2+2)＞＞2)
[0122]
p2
′
＝clip3(p2-2*tc，p2+2*tc，(2*p3+3*p2+p1+p0+q0+4)＞＞3)
[0123]
q2
′
＝clip3(q2-2*tc，q2+2*tc，(p0+q0+q1+3*q2+2*q3+4)＞＞3)
[0124]
注意，pi
′
和qk
′
是应用去块滤波器之后的像素值。另外，clip3(a，b，c)表示将值c限制在a≤c≤b的范围内的处理。
[0125]
然而，在平坦区域(区域内像素值变化很小的区域)中的大尺寸块的情况下容易发生块伪影，并且即使如上所述应用强滤波器，在一些情况下也不能充分地减少块伪影。另外，如上所述，在hevc中，可以选择比诸如mpeg-2或h.264/avc的先前图像编码方案中的宏块更大的块。此外，在上述qtbt中，可以选择甚至比hevc中的ctu尺寸更大的块。鉴于这种情况，需要更强的去块滤波器。
[0126]
例如，在非专利文献3中，为了进一步减少与大尺寸块相关联的块边界处的块伪影，提出了应用具有比上述强滤波器更宽的应用范围的滤波器。利用非专利文献3中提出的技术，每个块中的滤波器的应用范围从位于块边界附近的3个像素扩展到7个像素，使得可以应用更强的滤波器。
[0127]
非专利文献3中提出的滤波器(以下有时称为已提出的滤波器)表示如下。注意，下面表达的是在块bp侧应用滤波器之后的像素值。
[0128]
p6
′
＝clip3(p6-2*tc，p6+2*tc，(3*p7+5*p6+2*p5+p4+p3+p2+p1+p0+q0+8)＞＞4)
[0129]
p5
′
＝clip3(p5-2*tc，p5+2*tc，(p7+2*p6+5*p5+2*p4+p3+p2+p1+p0+q0+q1+8)＞＞4)
[0130]
p4
′
＝clip3(p4-2*tc，p4+2*tc，(p6+3*p5+3*p4+3*p3+p2+p1+p0+q0+q1+q2+8)＞＞4)
[0131]
p3
′
＝clip3(p3-2*tc，p3+2*tc，(p6+2*p5+2*p4+2*p3+2*p2+2*p1+p0+q0+q1+q2+q3+8)＞＞4)
[0132]
p2
′
＝clip3(p2-2*tc，p2+2*tc，(p5+2*p4+2*p3+2*p2+2*p1+2*p0+2*q0+q1+q2+q3+8)＞＞4)
[0133]
p1
′
＝clip3(p1-2*tc，p1+2*tc，(p5+p4+2*p3+2*p2+2*p1+2*p0+2*q0+2*q1+q2+q3+8)＞＞4)
[0134]
p0
′
＝clip3(p0-2*tc，p0+2*tc，(p4+2*p3+2*p2+2*p1+2*p0+2*q0+2*q1+2*q2+q3+8)＞＞4)
[0135]
如上所述，在已提出的滤波器中，滤波器应用范围变宽，此外，滤波期间参考的抽头范围也比hevc中的强滤波宽。
[0136]
此外，根据非专利文献3，已提出的滤波器应用于如下所有条件r1至r3都为真的情况。
[0137]
(r1)与块边界的任一侧上的两个块的块边界垂直的方向上的尺寸是预定阈值(在非专利文献3、16中)或更大
[0138]
(r2)满足应用hevc强滤波器的条件
[0139]
(r3)在块边界的任一侧上的两个块中，至少一个块处于帧内预测模式。
[0140]
在上述条件r1至r3中，仅r2是参考了像素值的确定条件。另外，如参照图7所述，在条件r2中应用强滤波器的条件仅参考每个块中位于块边界附近的4个像素，并且条件r2中的参考范围窄于非专利文献3中提出的滤波器的应用范围。因此，在使用上述确定条件r1至r3的情况下，存在着应用不适当滤波器的风险。
[0141]
图8是示出应用了已提出的滤波器的块边界的一个示例的说明图。图8示出了关于图像h1应用弱滤波器的弱滤波器应用边界、应用强滤波器的强滤波器应用边界、以及应用已提出的滤波器的已提出滤波器应用边界。
[0142]
图9是示出图8中所示的区域h10的放大的示意图。如图8所示，对于图9所示的区域h10中的块边界，确定将应用已提出的滤波器。注意，用于确定条件r2的参考范围是图9中所示的范围h11。如图9所示，由于区域h10的范围h11是像素值变化很小的平坦区域，因此在根据条件r2进行确定的情况下，容易应用强滤波器。
[0143]
然而，已提出的滤波器的应用范围是图9中所示的范围h12。这里，如图9所示，由于
包括在范围h12中的范围h13包括对象(图像的主体)与背景之间的边界，因此不希望将去块滤波器应用于范围h13。例如，如果将去块滤波器(已提出的滤波器)应用于包括范围h13的范围h12，则在某些情况下峰值信噪比(psnr)可能会大大降低。
[0144]
因此，着眼于上述情况导致创建了根据本公开的实施方式。利用根据本公开的实施方式，可以应用更合适的滤波器。
[0145]
《2.装置概述》
[0146]
将使用图10和图11来描述用作本说明书中公开的技术的一个可应用示例的装置的概述。例如，本说明书中公开的技术可应用于图像编码装置和图像解码装置。
[0147]
[2-1.图像编码装置]
[0148]
图10是示出图像编码装置10的配置的一个示例的框图，图像编码装置10是根据本公开的一个实施方式的图像处理装置的一个方面。
[0149]
参考图10，图像编码装置10设置有重新排序缓冲器11、控制部分12、减法部分13、正交变换部分14、量化部分15、无损编码部分16、累积缓冲器17、逆量化部分21、逆正交变换部分22、加法部分23、去块滤波器24a、sao滤波器25、帧存储器26、开关27、模式设置部分28、帧内预测部分30、以及帧间预测部分40。
[0150]
重新排序缓冲器11根据编码处理根据图像组(group of pictures，gop)结构，对要编码的视频中包括的一系列图像的图像数据进行重新排序。重新排序缓冲器11将重新排序的图像数据输出至控制部分12、减法部分13、帧内预测部分30和帧间预测部分40。
[0151]
控制部分12基于外部或预先指定的处理单元的块尺寸将图像数据划分为处理单元的块。例如，上面描述的qtbt块结构也可以由控制部分12的块划分形成。此外，控制部分12基于例如率失真优化(rate-distortion optimization，rdo)来决定与编码处理相关联的编码参数。所决定的编码参数被提供至每个部分。
[0152]
减法部分13计算预测误差数据，并将计算出的预测误差数据输出至正交变换部分14，该预测误差数据是从重新排序缓冲器11输入的图像数据与预测图像数据之间的差。
[0153]
正交变换部分14对每个区域内设置的一个或更多个变换块(tu)中的每一个执行正交变换处理。此时的正交变换可以是例如离散余弦变换、离散正弦变换等。更具体地，针对每个变换块，正交变换部分14将从减法部分13输入的预测误差数据从空间域中的图像信号变换为频域中的变换系数。随后，正交变换部分14将变换系数输出至量化部分15。
[0154]
量化部分15被提供以从正交变换部分14输入的变换系数数据和来自稍后描述的速率控制部分18的速率控制信号。量化部分15对变换系数数据进行量化，并将量化的变换系数数据(以下也称为量化数据)输出至无损编码部分16和逆量化部分21。量化部分15还通过基于来自速率控制部分18的速率控制信号切换量化尺度(quantization scale)，来改变输入至无损编码部分16中的量化数据的比特率。
[0155]
无损编码部分16通过对从量化部分15输入的量化数据进行编码来产生编码流。此外，无损编码部分16对解码器要参考的各种编码参数进行编码，并将经编码的编码参数插入到编码流中。由无损编码部分16编码的编码参数可以包括由上述控制部分12决定的编码参数。无损编码部分16将所生成的编码流输出至累积缓冲器17。
[0156]
累积缓冲器17使用诸如半导体存储器的存储介质来临时缓冲从无损编码部分16输入的编码流。随后，累积缓冲器17根据传输信道的带宽以一定速率将经缓冲的编码流输
出至未示出的发送部分(例如，与外围设备连接的通信接口或连接接口)。
[0157]
速率控制部分18监视累积缓冲器17中的空闲空间量。随后，速率控制部分18根据累积缓冲器17中的空闲空间量产生速率控制信号，并将所产生的速率控制信号输出至量化部分15。例如，当累积缓冲器17中没有太多空闲空间时，速率控制部分18产生用于降低量化数据的比特率的速率控制信号。另外，例如，当在累积缓冲器17中存在足够大的空闲空间量时，速率控制部分18产生用于提高量化数据的比特率的速率控制信号。
[0158]
逆量化部分21、逆正交变换部分22和加法部分23形成本地解码器。本地解码器具有根据编码数据本地解码解码图像数据的作用。
[0159]
逆量化部分21使用与量化部分15所使用的量化参数相同的量化参数对量化数据进行逆量化，并恢复变换系数数据。随后，逆量化部分21将恢复的变换系数数据输出至逆正交变换部分22。
[0160]
逆正交变换部分22通过对从逆量化部分21输入的变换系数数据执行逆正交变换处理来重建预测误差数据。随后，逆正交变换部分22将重建的预测误差数据输出至加法部分23。
[0161]
加法部分23将从逆正交变换部分22输入的恢复的预测误差数据与从帧内预测部分30或帧间预测部分40输入的预测图像数据相加，从而产生解码图像数据(重建图像)。然后，加法部分23将产生的解码图像数据输出至去块滤波器24a和帧存储器26。
[0162]
去块滤波器24a和sao滤波器25二者是环路滤波器，用于改善重建图像的图像质量。
[0163]
去块滤波器24a通过对从加法部分23输入的解码图像数据进行滤波来减少块伪影，并将经滤波的解码图像数据输出至sao滤波器25。注意，后面将详细描述去块滤波器24a的处理。
[0164]
sao滤波器25通过对从去块滤波器24a输入的解码图像数据应用边缘偏移处理或带偏移处理(band offset process)来去除噪声，并将经处理的解码图像数据输出至帧存储器26。
[0165]
帧存储器26将从加法部分23输入的未滤波的解码图像数据和从sao滤波器25输入的已经应用了环路滤波的解码图像数据存储在存储介质中。
[0166]
开关27读取从帧存储器26输出的要用于帧内预测的未滤波的解码图像数据，并将读取的解码图像数据作为参考图像数据提供至帧内预测部分30。此外，开关27读取从帧存储器26输出的要用于帧间预测的经滤波的解码图像数据，并将读取的解码图像数据作为参考图像数据提供至帧间预测部40。
[0167]
模式设置部分28基于对从帧内预测部分30和帧间预测部分40输入的成本的比较，为每个块设置预测编码模式。对于设置了帧内预测模式的块，模式设置部分28将由帧内预测部分30生成的预测图像数据输出至减法部分13和加法部分23，并且还将与帧内预测有关的信息输出至无损编码部分16。此外，对于设置了帧间预测模式的块，模式设置部分28将由帧间预测部分40生成的预测图像数据输出至减法部分13和加法部分23，并且还将与帧间预测相关的信息输出至无损编码部分16。
[0168]
帧内预测部分30基于原始图像数据和解码图像数据执行帧内预测处理。例如，帧内预测部分30基于预测误差和要为搜索范围内的每个预测模式候选生成的代码量来评估
成本。然后，帧内预测部分30选择使成本最小化的预测模式作为最佳预测模式。另外，帧内预测部分30根据所选择的最佳预测模式生成预测图像数据。然后，帧内预测部分30将关于帧内预测的信息输出至模式设置部分28，该关于帧内预测的信息包括指示最佳预测模式的预测模式信息、相应的成本和预测的图像数据。
[0169]
帧间预测部分40基于原始图像数据和解码图像数据执行帧间预测处理(运动补偿)。例如，帧间预测部分40基于预测误差和由hevc指定的搜索范围中包括的每个预测模式候选的生成码率来评估成本。接下来，帧间预测部分40选择产生最小成本的预测模式，或者换句话说，产生最高压缩比的预测模式，作为最佳预测模式。另外，帧间预测部分40根据所选择的最佳预测模式生成预测图像数据。随后，帧间预测部分40将与帧间预测、对应的成本和预测的图像数据有关的信息输出至模式设置部分28。
[0170]
[2-2.图像解码装置]
[0171]
接下来，将描述如上编码的编码数据的解码。图11是示出图像解码装置60的配置的一个示例的框图，图像解码装置60是根据本实施方式的图像处理装置的一个方面。参考图11，设置了累积缓冲器61、无损解码部分62、逆量化部分63、逆正交变换部分64、加法部分65、去块滤波器24b、sao滤波器67、重新排序缓冲器68、数模(d/a)转换部分69、帧存储器70、选择器71a和71b、帧内预测部分80和帧间预测部分90。
[0172]
累积缓冲器61使用存储介质来临时缓冲从图像编码装置10经由未示出的传输部分(例如，通信接口或与外围设备连接的连接接口)接收的编码流。
[0173]
无损解码部分62根据编码期间使用的编码方案，对从累积缓冲器61输入的编码流中的量化数据进行解码。无损解码部分62将解码的量化数据输出至逆量化部分63。
[0174]
此外，无损解码部分62对插入编码流的头部区域中的各种编码参数进行解码。例如，由无损解码部分62解码的参数可以包括与帧内预测有关的信息和与帧间预测有关的信息。无损解码部分62将与帧内预测有关的信息输出至帧内预测部分80。此外，无损解码部分62将与帧间预测有关的信息输出至帧间预测部分90。
[0175]
逆量化部分63以与编码期间所使用的量化步长相同的量化步长对从无损解码部分62输入的量化数据进行逆量化，并重建变换系数数据。逆量化部分63将重建的变换系数数据输出至逆正交变换部分64。
[0176]
逆正交变换部分64根据在编码期间使用的正交变换方案，通过对从逆量化部分63输入的变换系数数据执行逆正交变换来生成预测误差数据。逆正交变换部分64将所生成的预测误差数据输出至加法部分65。
[0177]
加法部分65通过将从逆正交变换部分64输入的预测误差数据与从选择器71b输入的预测图像数据相加来产生解码图像数据。然后，加法部分65将产生的解码图像数据输出至去块滤波器24b和帧存储器70。
[0178]
去块滤波器24b通过对从加法部分65输入的解码图像数据进行滤波来减少块伪影，并将经滤波的解码图像数据输出至sao滤波器67。注意，后面将详细描述去块滤波器24b的处理。
[0179]
sao滤波器67通过对从去块滤波器24b输入的解码图像数据应用边缘偏移处理或带偏移处理来去除噪声，并将经处理的解码图像数据输出至重新排序缓冲器68和帧存储器70。
[0180]
重新排序缓冲器68对从sao滤波器67输入的图像进行重新排序，从而生成一系列时间序列图像数据。然后，重新排序缓冲器68将所生成的图像数据输出至d/a转换部分69。
[0181]
d/a转换部分69将从重新排序缓冲器68输入的数字格式的图像数据转换为模拟格式的图像信号。随后，例如，d/a转换部分69将模拟图像信号输出至连接至图像解码装置60的显示器(未示出)，从而使得解码视频被显示。
[0182]
帧存储器70将从加法部分65输入的未滤波的解码图像数据和从sao滤波器67输入的经滤波的解码图像数据存储在存储介质中。
[0183]
选择器71a根据无损解码部分62获取的预测模式信息，针对图像中的每个块，使来自帧存储器70的图像数据的输出目的地在帧内预测部分80和帧间预测部分90之间切换。在指定了帧内预测模式的情况下，例如，选择器71a将从帧存储器70提供的未滤波的解码图像数据作为参考图像数据输出至帧内预测部分80。另外，在已经指定帧间预测模式的情况下，选择器71a将经滤波的解码图像数据作为参考图像数据输出至帧间预测部分90。
[0184]
选择器71b根据无损解码部分62获取的预测模式信息，使要提供至加法部分65的预测图像数据的输出源在帧内预测部分80和帧间预测部分90之间切换。在指定了帧内预测模式的情况下，例如，选择器71b将从帧内预测部分80输出的预测图像数据提供至加法部分65。此外，在指定了帧间预测模式的情况下，选择器71b将从帧间预测部分90输出的预测图像数据提供至加法部分65。
[0185]
帧内预测部分80基于与从无损解码部分62输入的帧内预测有关的信息和从帧存储器70输入的参考图像数据来执行帧内预测处理，从而生成预测图像数据。然后，帧内预测部分80将所生成的预测图像数据输出至选择器71b。
[0186]
帧间预测部分90基于与从无损解码部分62输入的帧间预测有关的信息和从帧存储器70输入的参考图像数据来执行帧间预测处理，从而生成预测图像数据。然后，帧间预测部分90将所生成的预测图像数据输出至选择器71b。
[0187]
《3.第一示例》
[0188]
[3-1.去块滤波器的示例性配置]
[0189]
该部分描述了与图10所示的图像编码装置10中的去块滤波器24a和图11所示的图像解码装置60中的去块滤波器24b的第一示例有关的配置的一个示例。注意，去块滤波器24a和去块滤波器24b可以共享公共配置。因此，在以下描述中，在不必区分这两者的情况下，将去块滤波器24a和去块滤波器24b统称为去块滤波器24。
[0190]
根据本示例的去块滤波器24将扩展强滤波器应用于已经被扩展的应用范围(扩展应用范围)中的像素，在该扩展强滤波器中，去块滤波器的应用范围已经被扩展超出上述hevc强滤波器。此外，根据本实施方式的去块滤波器24根据扩展应用范围确定是否应用扩展强滤波器。在下文中，描述了应用范围从位于块边界附近的3个像素扩展到7个像素的扩展强滤波器的示例，但是本示例不限于这样的示例，并且将在后面描述扩展强滤波器的其他示例。
[0191]
图12是示出根据第一示例的去块滤波器24的详细配置的一个示例的框图。参考图12，去块滤波器24包括应用需求确定部分110、滤波器强度确定部分120和滤波部分130。
[0192]
(1)应用需求确定部分
[0193]
应用需求确定部分110确定是否应将去块滤波器应用于块边界。例如，应用需求确
定部分110可以确定在上述现有技术中的条件m和条件n都为真的情况下应该应用去块滤波器。
[0194]
为了进行上述确定，向应用需求确定部分110提供与跨越每个块边界相邻的相邻块有关的确定信息。此时提供的确定信息包括例如模式信息、变换系数信息和运动矢量信息。随后，应用需求确定部分110确定是否满足以下条件，作为针对每个块边界以四条线为单位的确定。
[0195]-确定条件
…
如果条件m和条件n都为真，则应用
[0196]
‑‑
条件m：
[0197]
(m1)块bp或bq处于帧内预测模式；
[0198]
(m2)块bq或bq具有非零正交变换系数，并且块bp和bq之间的边界是tu边界；
[0199]
(m3)块bp和bq的块运动矢量之差的绝对值是1个像素或更大；或
[0200]
(m4)块bp和bq具有用于块运动补偿的不同参考图像，或不同数量的运动矢量
[0201]
‑‑
条件n：
[0202]
|p2
0-2*p10+p00|+|p2
3-2*q13+p03|+|p2
0-2*q10+q00|+|q2
3-2q13+q03|＜β
[0203]
另外，对于满足上述确定条件的块边界，应用需求确定部分110使滤波器强度确定部分120针对每个强度做出与滤波器应用有关的确定。另一方面，对于不满足上述确定条件的块边界，应用需求确定部分110使滤波器强度确定部分120针对每个强度跳过与滤波器应用有关的确定。
[0204]
注意，本文中描述的应用需求确定部分110的确定仅仅是一个示例。换句话说，也可以使用与上述确定条件不同的确定条件。例如，可以省略任何确定条件m1至m4以及n中的任何一个，并且还可以添加其他条件。
[0205]
(2)滤波器强度确定部分
[0206]
滤波器强度确定部分120确定是否将滤波器的每个强度应用于位于以下输入图像(解码图像)的块边界附近的像素：对于该输入图像，应用需求确定部分110已经确定应该应用去块滤波器。例如，滤波器强度确定部分120进行与弱滤波器、强滤波器、以及应用范围扩展超出强滤波器的扩展强滤波器的应用有关的确定。
[0207]
例如，首先，滤波器强度确定部分120可以以四条线为单位确定是否将扩展强滤波器应用于块边界。此外，对于确定不应用扩展强滤波器的块边界，滤波器强度确定部分120可以以四条线为单位确定是否应用强滤波器。另外，对于确定不应用强滤波器的块边界，滤波器强度确定部分120可以以一条线为单位确定是否应用弱滤波器。
[0208]
根据这样的配置，更强的滤波器更容易被应用于可应用更强滤波器的块边界。
[0209]
对于每一个确定的单位，在确定应用扩展强滤波器、强滤波器和弱滤波器中的任一者的情况下，滤波器强度确定部分120将指示滤波器强度的信息(例如，指示扩展强滤波器、强滤波器和弱滤波器之一的标志)输出至滤波部分130。
[0210]
另外，对于确定不应用扩展强滤波器、强滤波器和弱滤波器中的任一个的线，滤波器强度确定部分120使滤波部分130跳过去块滤波器的应用。
[0211]
可以使用与例如上述hevc中的应用强滤波器有关的确定条件a1、b1和c1来执行由滤波器强度确定部分120进行的与应用强滤波器有关的确定。此外，可以与例如hevc中的应用弱滤波器有关的确定类似地执行由滤波器强度确定部分120进行的与应用弱滤波器有关
的确定。
[0212]
在下文中，将描述滤波器强度确定部分120进行的与应用扩展强滤波器有关的确定处理。图13是说明用于确定是否应用扩展强滤波器的确定处理的说明图。根据本示例的扩展强滤波器的应用范围(扩展应用范围)是位于块边界附近的7个像素，对应于图13所示的像素中的p0到p6和q0到q6。
[0213]
根据本示例的滤波器强度确定部分120根据扩展强滤波器的应用范围(扩展应用范围)确定是否应用扩展强滤波器。例如，滤波器强度确定部分120可以通过参考比扩展应用范围更宽的范围上的像素来执行确定处理。
[0214]
根据这样的配置，例如，在要应用扩展强滤波器的范围中存在对象与背景等之间的边界的情况下，可以进行确定使得扩展强滤波器不太可能被应用，并且更可能应用更合适的去块滤波器。
[0215]
例如，滤波器强度确定部分120可以确定在满足以下条件v11的情况下应用扩展强滤波器。
[0216]
条件v11：如果以下所有条件a110、b111至b113、c110都为真，则为真
[0217]
(a110)|p7-p0|+|q7-q0|＜(beta＞＞3)
[0218]
(b111)|p2-2*p1+p0|+|q2-2*q1+q0|＜(beta＞＞2)
[0219]
(b112)|p4-2*p3+p2|+|q4-2*q3+q2|＜(beta＞＞2)
[0220]
(b113)|p6-2*p5+p4|+|q6-2*q5+q4|＜(beta＞＞2)
[0221]
(c110)|p0-q0|＜((tc*5+1)＞＞1)
[0222]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v12的情况下应用扩展强滤波器。
[0223]
确定条件v12：如果以下所有条件a110、b110和c110都为真，则为真
[0224]
(a110)|p7-p0|+|q7-q0|＜(beta＞＞3)
[0225]
(b110)|p2-2*p1+p0|+|q2-2*q1+q0|+|p4-2*p3+p2|+|q4-2*q3+q2|+|p6-2*p5+p4|+|q6-2*q5+q4|＜(3*beta＞＞2)
[0226]
(c110)|p0-q0|＜((tc*5+1)＞＞1)
[0227]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v13的情况下应用扩展强滤波器。
[0228]
条件v13：如果以下所有条件a110、b115和c110都为真，则为真
[0229]
(a110)|p7-p0|+|q7-q0|＜(beta＞＞3)
[0230]
(b115)|p6-2*p3+p0|+|q6-2*q3+q0|＜(beta＞＞2)
[0231]
(c110)|p0-q0|＜((tc*5+1)＞＞1)
[0232]
在上述条件v11至v13中，条件a110所参考的像素范围对应于图13所示的范围a11。此外，在上述条件v11中，条件b111至b113所参考的像素范围分别对应于图13所示的范围b11至b13。此外，在上述条件v12和v13中，条件b110和b115所参考的像素范围对应于图13所示的范围b11至b13。
[0233]
注意，在上述条件v11至v13中，条件a110是确定块内的平坦度的条件。此外，条件b110、b111至b113和b115是确定块内的连续性的条件。此外，条件c110使用与块边界相邻的像素值来确定块之间的变化量(间隙)。
[0234]
在本文中，在确定连续性的条件b110、b111至b113和b115中，与上述确定连续性的现有条件b1相比，所使用的像素被连续地扩展。换句话说，滤波器强度确定部分120根据在确定扩展应用范围中包括的像素值的连续性时使用的像素被连续地扩展的条件来执行连续性确定处理，该连续性确定处理确定扩展应用范围中包括的像素值的连续性。
[0235]
此外，在本说明书中，像素值的平坦度、像素值的连续性以及针对去块滤波器的应用范围或扩展应用范围中所包括的像素的像素值的变化量(间隙)这些状态被统称为应用范围中所包括的像素的状态或扩展应用范围中所包括的像素的状态。通过使用条件v11至v13中的一个，根据本示例的滤波器强度确定部分120根据包括在扩展应用范围中的像素的状态来确定是否应用扩展强滤波器。
[0236]
另外，滤波器强度确定部分120还可以确定是否以四条线为单位应用扩展强滤波器，并且还可以确定在第一条线和第四条线二者满足上述条件v11至v13之一的情况下应用扩展强滤波器。
[0237]
另外，滤波器强度确定部分120还可以通过将上述条件v11至v13之一与上述现有技术中的条件r1或条件r2组合，来确定是否应用扩展强滤波器。注意，在本示例中，条件r1的阈值不限于16，并且其他值也可以用作阈值。
[0238]
(3)滤波部分
[0239]
滤波部分130根据应用需求确定部分110和滤波强度确定部分120的确定结果，将去块滤波器应用于位于输入图像(解码图像)的块边界附近的像素。在滤波器强度确定部分120确定应用强滤波器或弱滤波器的情况下，例如可以应用hevc的强滤波器或弱滤波器。
[0240]
此外，滤波部分130将扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。在下文中，将描述由滤波部分130应用的扩展强滤波器的一个示例。
[0241]
图14是用于说明由滤波部分130应用的扩展强滤波器的一个示例的说明图。如图14所示，假设以下情况：在扩展强滤波器被应用的块边界处(在p0和q0之间)存在引起块伪影的间隙g，并且在块内的扩展应用范围(p0到p6和q0到q6)中像素值之间没有差异(像素值是平坦的)。在这种情况下，通过应用具有强低频特性的滤波器使得偏移量g＝p0q0根据距块边界的位置而改变，由此可以减少如图14所示的块伪影。
[0242]
例如，滤波部分130可以将具有如下的第一滤波系数的扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。
[0243]-第一滤波系数
[0244]
p6
′
＝clip3(p6-2*tc，p6+2*tc，(4*p7+8*p6+4*p5-p0+q0+8)＞＞4)
[0245]
p5
′
＝clip3(p5-2*tc，p5+2*tc，(4*p6+8*p5+4*p4-2*p0+2*q0+8)＞＞4)
[0246]
p4
′
＝clip3(p4-2*tc，p4+2*tc，(4*p5+8*p4+4*p3-3*p0+3*q0+8)＞＞4)
[0247]
p3
′
＝clip3(p3-2*tc，p3+2*tc，(4*p4+8*p3+4*p2-4*p0+4*q0+8)＞＞4)
[0248]
p2
′
＝clip3(p2-2*tc，p2+2*tc，(4*p3+8*p2+4*p1-5*p0+5*q0+8)＞＞4)
[0249]
p1
′
＝clip3(p1-2*tc，p1+2*tc，(4*p2+8*p1+4*p0-6*q0+6*q0+8)＞＞4)
[0250]
p0
′
＝clip3(p0-2*tc，p0+2*tc，(4*p1+5*p0+7*q0+8)＞＞4)
[0251]
q0
′
＝clip3(q0-2*tc，q0+2*tc，(7*p0+5*q0+4*q1+8)＞＞4)
[0252]
q1
′
＝clip3(q1-2*tc，q1+2*tc，(6*p0-6*q0+4*q0+8*q1+4*q2+8)＞＞4)
[0253]
q2
′
＝clip3(q2-2*tc，q2+2*tc，(5*p0-5*q0+4*q1+8*q2+4*q3+8)＞＞4)
[0254]
q3
′
＝clip3(q3-2*tc，q3+2*tc，(4*p0-4*q0+4*q2+8*q3+4*q4+8)＞＞4)
[0255]
q4
′
＝clip3(q4-2*tc，q4+2*tc，(3*p0-3*q0+4*q3+8*q4+4*q5+8)＞＞4)
[0256]
q5
′
＝clip3(q5-2*tc，q5+2*tc，(2*p0-2*q0+4*q4+8*q5+4*q6+8)＞＞4)
[0257]
q6
′
＝clip3(q6-2*tc，q6+2*tc，(p0-q0+4*q5+8*q6+4*q7+8)＞＞4)
[0258]
此外，滤波部分130可以将具有如下的第二滤波系数的扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。
[0259]
第二滤波系数
[0260]
p6
′
＝clip3(p6-2*tc，p6+2*tc，(6*p7+4*p6+4*p5+2*p4-p0+q0+8)＞＞4)
[0261]
p5
′
＝clip3(p5-2*tc，p5+2*tc，(2*p7+4*p6+4*p5+4*p4+2*p3-2*p0+2*q0+8)＞＞4)
[0262]
p4
′
＝clip3(p4-2*tc，p4+2*tc，(2*p6+4*p5+4*p4+4*p3+2*p2-3*p0+3*q0+8)＞＞4)
[0263]
p3
′
＝clip3(p3-2*tc，p3+2*tc，(2*p5+4*p4+4*p3+4*p2+2*p1-4*p0+4*q0+8)＞＞4)
[0264]
p2
′
＝clip3(p2-2*tc，p2+2*tc，(2*p4+4*p3+4*p2+4*p1+2*p0-5*q0+5*q0+8)＞＞4)
[0265]
p1
′
＝clip3(p1-2*tc，p1+2*tc，(2*p3+4*p2+4*p1+6*q0+8)＞＞4)
[0266]
p0
′
＝clip3(p0-2*tc，p0+2*tc，(2*p2+4*p1+3*p0+5*q0+2*q1+8)＞＞4)
[0267]
q0
′
＝clip3(q0-2*tc，q0+2*tc，(2*p1+5*p0+3*q0+4*q1+2*q2+8)＞＞4)
[0268]
q1
′
＝clip3(q1-2*tc，q1+2*tc，(6*p0+4*q1+4*q2+2*q3+8)＞＞4)
[0269]
q2
′
＝clip3(q2-2*tc，q2+2*tc，(5*p0-5*q0+2*q0+4*q1+4*q2+4*q3+2*q4+8)＞＞4)
[0270]
q3
′
＝clip3(q3-2*tc，q3+2*tc，(4*p0-4*q0+2*q1+4*q2+4*q3+4*q4+2*q5+8)＞＞4)
[0271]
q4
′
＝clip3(q4-2*tc，q4+2*tc，(3*p0-3*q0+2*q2+4*q3+4*q4+4*q5+2*q6+8)＞＞4)
[0272]
q5
′
＝clip3(q5-2*tc，q5+2*tc，(2*p0-2*q0+2*q3+4*q4+4*q5+4*q6+2*q7+8)＞＞4)
[0273]
q6
′
＝clip3(q6-2*tc，q6+2*tc，(p0-q0+2*q4+4*q5+4*q6+6*q7+8)＞＞4)
[0274]
图15和图16是用于说明在推导根据本示例的滤波部分130所应用的扩展强滤波器的滤波系数时的思路的说明图。
[0275]
上述第一滤波系数和第二滤波系数具有强的低频特性并且能够强平滑(strong smoothing)。因此，在如图14所示在块内部在块边界附近的像素的像素值几乎没有变化的情况下，根据第一滤波系数和第二滤波系数的扩展强滤波器有效地起作用。然而，例如，在如图15所示在块内部像素值发生变化的情况下，根据第一滤波系数和第二滤波系数应用扩展强滤波器会导致过平滑，并且存在着例如图像变得模糊不清的风险。
[0276]
此时，将考虑将图15所示的块边界附近的像素值分解为如图16所示的dc分量(低频分量)和ac分量(高频分量)。
[0277]
dc分量例如是用作块边界的任一侧上的每个块(pi和qi)的基础的信号值。例如，
在图15所示的示例中，最接近块边界的值，即p0和q0，被用作dc分量。注意，dc分量不限于这样的示例，也可以是每个块中的平均值(平均值(p0：pn)和平均值(q0：qn))，或每个块中的最小值(min(p0：pn)和min(q0：qn))。注意，根据扩展强滤波器的参考范围(抽头范围)确定n。
[0278]
此外，ac分量是通过减去块边界的任一侧上的每个块(pi和qi)中的上述dc分量而获得的残留信号值。在图15所示的示例中，通过减去p侧块中的p0而获得的值和通过减去q侧块中的q0而获得的值是ac分量。
[0279]
随后，将具有强低频特性的块伪影去除滤波器(例如，根据第一滤波器特性或第二滤波器特性的滤波器)应用于dc分量。另一方面，与上述不同的滤波器(例如，与块伪影去除滤波器不同的滤波器)也可以被应用于ac分量。例如，可以将具有弱低频特性的fir滤波器或双边滤波器应用于ac分量。此外，不是必须将滤波器应用于ac分量。
[0280]
例如，具有如下的第三滤波系数的滤波器可以应用于dc分量。
[0281]
第三滤波系数
[0282]
p0位置：p0-7/16*(p0-q0)＝p0-7*(p0-q0)＞＞4
[0283]
p1位置：p0-6/16*(p0-q0)＝p0-6*(p0-q0)＞＞4
[0284]
p2位置：p0-5/16*(p0-q0)＝p0-5*(p0-q0)＞＞4
[0285]
p3位置：p0-4/16*(p0-q0)＝p0-4*(p0-q0)＞＞4
[0286]
p4位置：p0-3/16*(p0-q0)＝p0-3*(p0-q0)＞＞4
[0287]
p5位置：p0-2/16*(p0-q0)＝p0-2*(p0-q0)＞＞4
[0288]
p6位置：p0-1/16*(p0-q0)＝p0-1*(p0-q0)＞＞4
[0289]
此外，具有如下第四滤波系数的滤波器可以应用于ac分量，该第四滤波系数具有以目标像素为中心的121个系数。
[0290]
第四滤波系数
[0291]
p0位置：{1*(p1-p0)+2*(p0-p0)+1*(q0-q0)}/4＝1*(p1-p0)＞＞2
[0292]
p1位置：{1*(p2-p0)+2*(p1-p0)+1*(p0-p0)}/4＝{1*(p2-p0)+2*(p1-p0)}＞＞2
[0293]
p2位置：{1*(p3-p0)+2*(p2-p0)+1*(p1-q0)}/4＝{1*(p3-p0)+2*(p2-p0)+1*(p1-q0)}＞＞2
[0294]
p3位置：{1*(p4-p0)+2*(p3-p0)+1*(p2-q0)}/4＝{1*(p4-p0)+2*(p3-p0)+1*(p2-q0)}＞＞2
[0295]
p4位置：{1*(p5-p0)+2*(p4-p0)+1*(p3-q0)}/4＝{1*(p5-p0)+2*(p4-p0)+1*(p3-q0)}＞＞2
[0296]
p5位置：{1*(p6-p0)+2*(p5-p0)+1*(p4-q0)}/4＝{1*(p6-p0)+2*(p5-p0)+1*(p4-q0)}＞＞2
[0297]
p6位置：{1*(p7-p0)+2*(p6-p0)+1*(p5-q0)}/4＝{1*(p7-p0)+2*(p6-p0)+1*(p5-q0)}＞＞2
[0298]
滤波部分130可以将具有如下所述通过将上述第三滤波系数和第四滤波系数组合获得的第五滤波系数的扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。
[0299]
第五滤波系数
[0300]
p0
′
＝clip3(p0-2*tc，p0+2*tc，1*(p1-p0)＞＞2+p0-7*(p0-q0)＞＞4+offset0)
[0301]
＝clip3(p0-2*tc，p0+2*tc，(4*p1+5*p0+7*q0+offset0)＞＞4)
[0302]
p1
′
＝clip3(p1-2*tc，p1+2*tc，{1*(p2-p0)+2*(p1-p0)}＞＞2+p0-6*(p0-q0)＞＞4+offset1)
[0303]
＝clip3(p1-2*tc，p1+2*tc，(4*p2+8*p1+4*p0-6*p0+6*q0+offset1)＞＞4))
[0304]
p2
′
＝clip3(p2-2*tc，p2+2*tc，{1*(p3-p0)+2*(p2-p0)+1*(p1-p0)}＞＞2+p0-5*(p0-q0)＞＞4+offset2)
[0305]
＝clip3(p2-2*tc，p2+2*tc，(4*p3+8*p2+4*p1-5*p0+5*q0+offset2)＞＞4)
[0306]
p3
′
＝clip3(p3-2*tc，p3+2*tc，{1*(p4-p0)+2*(p3-p0)+1*(p2-p0)}＞＞2+p0-4*(p0-q0)＞＞4+offset3)
[0307]
＝clip3(p3-2*tc，p3+2*tc，(4*p4+8*p3+4*p2-4*p0+4*q0+offset3)＞＞4)
[0308]
p4
′
＝clip3(p4-2*tc，p4+2*tc，{1*(p5-p0)+2*(p4-p0)+1*(p3-p0)}＞＞2+p0-3*(p0-q0)＞＞4+offset4)
[0309]
＝clip3(p4-2*tc，p4+2*tc，(4*p5+8*p4+4*p3-3*p0+3*q0+offset4)＞＞4)
[0310]
p5
′
＝clip3(p5-2*tc，p5+2*tc，1*(p6-p0)+2*(p5-p0)+1*(p4-p0)}＞＞2+p0-2*(p0-q0)＞＞4+offset5)
[0311]
＝clip3(p5-2*tc，p5+2*tc，(4*p6+8*p5+4*p4-2*p0+2*q0+offset5)＞＞4)
[0312]
p6
′
＝clip3(p6-2*tc，p6+2*tc，{1*(p7-p0)+2*(p6-p0)+1*(p5-p0)}＞＞2+p0-1*(p0-q0)＞＞4+offset6)
[0313]
＝clip3(p6-2*tc，p6+2*tc，(4*p7+8*p6+4*p5-p0+q0+offset6)＞＞4)
[0314]
此外，具有如下第六滤波系数的滤波器可以应用于ac分量，该第六滤波系数具有以目标像素为中心的12221个系数。
[0315]
第六滤波系数
[0316]
p0位置：{1*(p2-p0)+2*(p1-p0)+2*(p0-p0)+2*(q0-q0)+1*(q1-q0)}/8＝{1*(p2-p0)+2*(p1-p0)+1*(q1-q0)}＞＞3
[0317]
p1位置：{1*(p3-p0)+2*(p2-p0)+2*(p1-p0)+2*(p0-p0)+1*(q0-q0)}/8＝{1*(p3-p0)+2*(p2-p0)+2*(p1-p0)}＞＞3
[0318]
p2位置：{1*(p4-p0)+2*(p3-p0)+2*(p2-p0)+2*(p1-p0)+1*(p0-p0)}/8＝{1*(p4-p0)+2*(p3-p0)+2*(p2-p0)+2*(p1-p0)}＞＞3
[0319]
p3位置：{1*(p5-p0)+2*(p4-p0)+2*(p3-p0)+2*(p2-p0)+1*(p1-p0)}/8＝{1*(p5-p0)+2*(p4-p0)+2*(p3-p0)+2*(p2-p0)+1*(p1-p0)}＞＞3
[0320]
p4位置：{1*(p6-p0)+2*(p5-p0)+2*(p4-p0)+2*(p3-p0)+1*(p2-p0)}/8＝{1*(p6-p0)+2*(p5-p0)+2*(p4-p0)+2*(p3-p0)+1*(p2-p0)}＞＞3
[0321]
p5位置：{1*(p7-p0)+2*(p6-p0)+2*(p5-p0)+2*(p4-p0)+1*(p3-p0)}/8＝{1*(p7-p0)+2*(p6-p0)+2*(p5-p0)+2*(p4-p0)+1*(p3-p0)}＞＞3
[0322]
p6位置：{1*(p7-p0)+2*(p7-p0)+2*(p6-p0)+2*(p5-p0)+1*(p4-p0)}/8＝{3*(p7-p0)+2*(p6-p0)+2*(p5-p0)+1*(p4-p0)}＞＞3
[0323]
注意，在上面的第六滤波系数的p6位置中，最左边的参考像素是p8，但是由于在滤波器强度确定部分120的确定中所参考的像素仅达到p7，所以使用p7代替p8。
[0324]
滤波部分130可以将具有如下所述的通过将上述第三滤波系数和第六滤波系数组合而获得的第七滤波系数的扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。
[0325]
第七滤波系数
[0326]
p0
′
＝clip3(p0-2*tc，p0+2*tc，{1*(p2-p0)+2*(p1-p0)+1*(q1-q0)}＞＞3+p0-7*(p0-q0)＞＞4+offset0)
[0327]
＝clip3(p0-2*tc，p0+2*tc，(2*p2+4*p1+3*p0+5*q0+2*q1+offset0)＞＞4)
[0328]
p1
′
＝clip3(p1-2*tc，p1+2*tc，{1*(p3-p0)+2*(p2-p0)+2*(p1-p0)}＞＞3+p0-6*(p0-q0)＞＞4+offset1)
[0329]
＝clip3(p1-2*tc，p1+2*tc，(2*p3+4*p2+4*p1+6*q0+offset1)＞＞4)
[0330]
p2
′
＝clip3(p2-2*tc，p2+2*tc，{1*(p4-p0)+2*(p3-p0)+2*(p2-p0)+2*(p1-p0)}＞＞3
[0331]
+p0-5*(p0-q0)＞＞4+offset2)
[0332]
＝clip3(p2-2*tc，p2+2*tc，(2*p4+4*p3+4*p2+4*p1-3*p0+5*q0+offset2)＞＞4)
[0333]
p3
′
＝clip3(p3-2*tc，p3+2*tc，{1*(p5-p0)+2*(p4-p0)+2*(p3-p0)+2*(p2-p0)+1*(p1-p0)}＞＞3+p0-4*(p0-q0)＞＞4+offset3)
[0334]
＝clip3(p3-2*tc，p3+2*tc，(2*p5+4*p4+4*p3+4*p2+2*p1-4*p0+4*q0+offset3)＞＞4)
[0335]
p4
′
＝clip3(p4-2*tc，p4+2*tc，{1*(p6-p0)+2*(p5-p0)+2*(p4-p0)+2*(p3-p0)+1*(p2-p0)}＞＞3+p0-3*(p0-q0)＞＞4+offset4)
[0336]
＝clip3(p4-2*tc，p4+2*tc，(2*p6+4*p5+4*p4+4*p3+2*p2-3*p0+3*q0+offset4)＞＞4)
[0337]
p5’＝clip3(p5-2*tc，p5+2*tc，{1*(p7-p0)+2*(p6-p0)+2*(p5-p0)+2*(p4-p0)+1*(p3-p0)}＞＞3+p0-2*(p0-q0)＞＞4+offset5)
[0338]
＝clip3(p5-2*tc，p5+2*tc，(2*p7+4*p6+4*p5+4*p4+2*p3-2*p0+2*q0+offset5)＞＞4)
[0339]
p6’＝clip3(p6-2*tc，p6+2*tc，{3*(p7-p0)+2*(p6-p0)+2*(p5-p0)+1*(p4-p0)}＞＞3
[0340]
+p0-1*(p0-q0)＞＞4+offset6)
[0341]
＝clip3(p6-2*tc，p6+2*tc，(6*p7+4*p6+4*p5+2*p4-p0+q0+offset6)＞＞4)
[0342]
此外，不是必须将滤波器应用于ac分量。在这种情况下，滤波部分130可以将具有如下所述的通过将上述第三滤波系数和ac分量组合而获得的第八滤波系数的扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。
[0343]
第八滤波系数
[0344]
p0
′
＝clip3(p0-2*tc，p0+2*tc，0+p0-7*(p0-q0)＞＞4+offset0)
[0345]
＝clip3(p0-2*tc，p0+2*tc，(9*p0+7*q0+offset0)＞＞4)
[0346]
p1
′
＝clip3(p1-2*tc，p1+2*tc，p1-p0+p0-6*(p0-q0)＞＞4+offset1)
[0347]
＝clip3(p1-2*tc，p1+2*tc，(16*p1-6*p0+6*q0+offset1)＞＞4)
[0348]
p2
′
＝clip3(p2-2*tc，p2+2*tc，p2-p0+p0-5*(p0-q0)＞＞4+offset2)
[0349]
＝clip3(p2-2*tc，p2+2*tc，(16*p2-5*p0+5*q0+offset2)＞＞4)
[0350]
p3
′
＝clip3(p3-2*tc，p3+2*tc，p3-p0+p0-4*(p0-q0)＞＞4+offset3)
[0351]
＝clip3(p3-2*tc，p3+2*tc，(16*p3-4*p0+4*q0+offset3)＞＞4)
[0352]
p4
′
＝clip3(p4-2*tc，p4+2*tc，p4-p0+p0-3*(p0-q0)＞＞4+offset4)
[0353]
＝clip3(p4-2*tc，p4+2*tc，(16*p4-3*p0+3*q0+offset4)＞＞4)
[0354]
p5
′
＝clip3(p5-2*tc，p5+2*tc，p5-p0+p0-2*(p0-q0)＞＞4+offset5)
[0355]
＝clip3(p5-2*tc，p5+2*tc，(16*p5-2*p0+2*q0+offset5)＞＞4)
[0356]
p6
′
＝clip3(p6-2*tc，p6+2*tc，p6-p0+p0-1*(p0-q0)＞＞4+offset6)
[0357]
＝clip3(p6-2*tc，p6+2*tc，(16*p6-p0+q0+offset6)＞＞4)
[0358]
[3-2.处理流程]
[0359]
图17是示出根据本示例的去块滤波器24的处理流程的一个示例的流程图。在输入图像中以四条线为单位对每个块边界重复从图17中的步骤s110到步骤s180的处理。
[0360]
首先，对于要处理的单个边界(下文中称为目标边界)，应用需求确定部分110以四条线为单位确定是否满足去块滤波器的应用需求确定条件(s110)。此时，在不满足滤波器应用需求确定条件的情况下，跳过从步骤s120到步骤s170的后续处理。另一方面，在满足以边界为单位的确定条件的情况下，处理进行到步骤s120。
[0361]
在步骤s120中，滤波器强度确定部分120以四条线为单位根据扩展应用范围中包括的像素的状态来确定是否满足扩展强滤波器确定条件。在满足扩展强滤波器确定条件的情况下(s120中的“是”)，处理进行到步骤s130，并且滤波部分130应用扩展强滤波器。
[0362]
另一方面，在不满足扩展强滤波器确定条件的情况下(s120中的“否”)，处理进行到步骤s140，并且滤波器强度确定部分120以四条线为单位确定是否满足强滤波器确定条件。在满足强滤波器确定条件的情况下(s140中的“是”)，处理进行到步骤s150，并且滤波部分130应用强滤波器。
[0363]
另一方面，在不满足强滤波器确定条件的情况下(s140中的“否”)，处理进行到步骤s160，并且滤波器强度确定部120以一条线为单位确定是否满足弱滤波器确定条件。在满足弱滤波器确定条件的情况下(s160中的“是”)，处理进行到步骤s170，并且滤波部分130将弱滤波器应用于该行。
[0364]
在步骤s180中，在输入图像中保留有未处理的边界的情况下(步骤s180中的“是”)，设置新的目标边界，并且处理返回到步骤s110。在没有未处理边界的情况下，对于输入图像(解码图像)的处理结束。
[0365]
[3-3.修改]
[0366]
以上描述了第一示例，但是在本示例中应用的扩展强滤波器不限于上述示例。例如，还可以应用其应用范围从位于块边界附近的3个像素扩展到5个像素的扩展强滤波器。在下文中，作为本示例的修改，将参考图18和图19描述这种扩展强滤波器的应用确定和滤波系数。
[0367]
图18是用于说明根据本修改的用于确定是否应用扩展强滤波器的确定处理的说明图。根据本修改的扩展强滤波器的应用范围(扩展应用范围)是位于块边界附近的5个像素，对应于图18中所示的像素中的p0到p4和q0到q4。
[0368]
根据本修改的滤波器强度确定部分120根据扩展应用范围确定是否应用扩展强滤
波器。例如，滤波器强度确定部分120可以通过参考扩展应用范围中包括的像素来执行确定处理，或者可以通过参考比扩展应用范围更宽的范围中包括的像素来执行确定处理。
[0369]
例如，滤波器强度确定部分120可以确定在满足以下条件v21的情况下应用扩展强滤波器。
[0370]
条件v21：如果以下所有条件a210、b211、b212和c210都为真，则为真
[0371]
(a210)|p5-p0|+|q5-q0|＜(beta＞＞3)
[0372]
(b211)|p2-2*p1+p0|+|q2-2*q1+q0|＜(beta＞＞2)
[0373]
(b212)|p4-2*p3+p2|+|q4-2*q3+q2|＜(beta＞＞2)
[0374]
(c210)|p0-q0|＜((tc*5+1)＞＞1)
[0375]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v22的情况下应用扩展强滤波器。
[0376]
确定条件v22：如果以下所有条件a210、b210和c210都为真，则为真
[0377]
(a210)|p5-p0|+|q5-q0|＜(beta＞＞3)
[0378]
(b210)|p2-2*p1+p0|+|q2-2*q1+q0|+|p4-2*p3+p2|+|q4-2*q3+q2|＜(2*beta＞＞2)
[0379]
(c210)|p0-q0|＜((tc*5+1)＞＞1)
[0380]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v13的情况下应用扩展强滤波器。
[0381]
确定条件v23：如果以下所有条件a210、b215和c210都为真，则为真
[0382]
(a210)|p5-p0|+|q5-q0|＜(beta＞＞3)
[0383]
(b215)|p4-2*p2+p0|+|q4-2*q2+q0|＜(beta＞＞2)
[0384]
(c210)|p0-q0|＜((tc*5+1)＞＞1)
[0385]
在上述条件v21至v23中，条件a210所参考的像素范围对应于图18所示的范围a21。此外，在上述条件v21中，条件b211和b212所参考的像素范围分别对应于图18所示的范围b21和b22。此外，在上述条件v22和v23中，条件b210和b215所参考的像素范围分别对应于图18所示的范围b21和b22。
[0386]
注意，在上述条件v21至v23中，条件a210是确定块内部的平坦度的条件。此外，条件b210、b211、b212和b215是确定块内部的连续性的条件。此外，条件c210使用与块边界相邻的像素值来确定块之间的变化量(间隙)。
[0387]
接下来，将描述根据本修改的滤波系数的示例。图19是用于说明本修改中滤波部分130所应用的扩展强滤波器的一个示例的说明图。如图19所示，假设如下情况：在扩展强滤波器被应用的块边界处(p0和q0之间)存在引起块伪影的间隙g，并且在块内部的扩展应用范围(p0到p4和q0到q4)中的像素值之间没有差异(像素值是平坦的)。在这种情况下，通过应用具有强低频特性的滤波器使得偏移量g＝p0-q0根据距块边界的位置而改变，可以减少如图19所示的块伪影。
[0388]
例如，滤波部分130可以将具有如下的第九滤波系数的扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。
[0389]
第九滤波系数
[0390]
p4
′
＝clip3(p4-2*tc，p4+2*tc，(4*p5+8*p4+4*p3-2*p0+2*q0+8)＞＞4)
[0391]
p3
′
＝clip3(p3-2*tc，p3+2*tc，(4*p4+8*p3+4*p2-4*p0+4*q0+8)＞＞4)
[0392]
p2
′
＝clip3(p2-2*tc，p2+2*tc，(4*p3+8*p2+4*p1-5*p0+5*q0+8)＞＞4)
[0393]
p1
′
＝clip3(p1-2*tc，p1+2*tc，(4*p2+8*p1+4*p0-6*q0+6*q0+8)＞＞4)
[0394]
p0
′
＝clip3(p0-2*tc，p0+2*tc，(4*p1+5*p0+7*q0+8)＞＞4)
[0395]
q0
′
＝clip3(q0-2*tc，q0+2*tc，(7*p0+5*q0+4*q1+8)＞＞4)
[0396]
q1
′
＝clip3(q1-2*tc，q1+2*tc，(6*p0-6*q0+4*q0+8*q1+4*q2+8)＞＞4)
[0397]
q2
′
＝clip3(q2-2*tc，q2+2*tc，(5*p0-5*q0+4*q1+8*q2+4*q3+8)＞＞4)
[0398]
q3
′
＝clip3(q3-2*tc，q3+2*tc，(4*p0-4*q0+4*q2+8*q3+4*q4+8)＞＞4)
[0399]
q4
′
＝clip3(q4-2*tc，q4+2*tc，(2*p0-2*q0+4*q3+8*q4+4*q5+8)＞＞4)
[0400]
此外，滤波部分130可以将具有如下所述的第十滤波系数的扩展强滤波器应用于滤波器强度确定部分120确定要应用扩展强滤波器的像素。
[0401]
第十滤波系数
[0402]
p4
′
＝clip3(p4-2*tc，p4+2*tc，(2*p6+4*p5+4*p4+4*p3+2*p2-2*p0+2*q0+8)＞＞4)
[0403]
p3
′
＝clip3(p3-2*tc，p3+2*tc，(2*p5+4*p4+4*p3+4*p2+2*p1-4*p0+4*q0+8)＞＞4)
[0404]
p2
′
＝clip3(p2-2*tc，p2+2*tc，(2*p4+4*p3+4*p2+4*p1+2*p0-5*q0+5*q0+8)＞＞4)
[0405]
p1
′
＝clip3(p1-2*tc，p1+2*tc，(2*p3+4*p2+4*p1+6*q0+8)＞＞4)
[0406]
p0
′
＝clip3(p0-2*tc，p0+2*tc，(2*p2+4*p1+3*p0+5*q0+2*q1+8)＞＞4)
[0407]
q0
′
＝clip3(q0-2*tc，q0+2*tc，(2*p1+5*p0+3*q0+4*q1+2*q2+8)＞＞4)
[0408]
q1
′
＝clip3(q1-2*tc，q1+2*tc，(6*p0+4*q1+4*q2+2*q3+8)＞＞4)
[0409]
q2
′
＝clip3(q2-2*tc，q2+2*tc，(5*p0-5*q0+2*q0+4*q1+4*q2+4*q3+2*q4+8)＞＞4)
[0410]
q3
′
＝clip3(q3-2*tc，q3+2*tc，(4*p0-4*q0+2*q1+4*q2+4*q3+4*q4+2*q5+8)＞＞4)
[0411]
q4
′
＝clip3(q4-2*tc，q4+2*tc，(2*p0-2*q0+2*q2+4*q3+4*q4+4*q5+2*q6+8)＞＞4)
[0412]
注意，根据本修改的滤波系数不限于上述示例，并且例如还可以是通过组合如上所述的dc分量和ac分量而获得的滤波系数。
[0413]
以上描述了本示例的修改。如上所述，根据本实施方式的扩展强滤波器的应用范围(扩展应用范围)不受限制，只要该范围宽于块边界附近的3个像素即可，并且可以是各种范围。
[0414]
此外，根据上述本修改的扩展强滤波器可以与应用于块边界附近的7个像素的扩展强滤波器结合使用。在组合多个扩展强滤波器的情况下，首先例如可以确定是否应用具有更宽应用范围的扩展强滤波器，并且在不应用扩展强滤波器的情况下，接下来可以确定是否应用具有较窄应用范围的扩展强滤波器。
[0415]
《4.第二示例》
[0416]
[4-1.去块滤波器的示例性配置]
[0417]
接下来，将描述根据第二示例的去块滤波器24。根据本示例的去块滤波器24能够在基于块边界的一侧和另一侧应用具有不同滤波器强度(例如，应用范围)的去块滤波器(非对称去块滤波器)。注意，特别地，在由于仅在基于块边界的一侧上应用扩展强滤波器而导致抽头形状不对称的情况下的去块滤波器在一些情况下被称为非对称扩展强滤波器。
[0418]
根据本示例的去块滤波器24的基本配置可以类似于例如根据图12中示出的第一示例的去块滤波器24。然而，在根据本示例的去块滤波器24中，滤波器强度确定部分120和滤波部分130的功能与第一示例部分地不同。在下文中，将描述与第一示例不同的根据本示例的滤波器强度确定部分120和滤波部分130的功能，同时适当地省略与第一示例类似的功能。
[0419]
与根据第一示例的滤波器强度确定部分120类似，根据本示例的滤波器强度确定部分120进行与弱滤波器、强滤波器、和应用范围被扩展超出强滤波器的扩展强滤波器的应用有关的确定。
[0420]
然而，做出与扩展强滤波器有关的确定，根据本示例的滤波器强度确定部分120可以以四条线为单位确定块边界是否满足强滤波器确定条件。随后，在确定块边界满足强滤波器确定条件的情况下，还可以以四条线为单位确定是否在基于块边界的每一侧应用扩展强滤波器。
[0421]
根据这样的配置，例如，即使存在大块和小块相邻的边界，扩展强滤波器也更可能仅应用于大块。例如，即使在以下情况下，根据本示例，也可以将扩展强滤波器应用于大块侧的像素：使用现有的确定方法难以应用其应用范围被扩展超出强滤波器的滤波器，因为大块和小块彼此相邻，如图8所示的区域h20中一样。
[0422]
另外，即使在因为对象和背景之间的边界仅存在于基于块边界的一侧附近，所以不希望应用第一示例中描述的扩展强滤波器的情况下，也可以确定将扩展强滤波器应用于另一侧的附近像素。因此，可以进一步减少块伪影。
[0423]
另外，根据本示例的滤波器强度确定部分120可以确定将强滤波器应用于确定不应用扩展强滤波器(不满足扩展强滤波器确定条件)的一侧上的块。
[0424]
另外，类似于根据第一示例的滤波器强度确定部分120，根据本示例的滤波器强度确定部分120可以以一条线为单位确定是否将弱滤波器应用于被确定为不满足强滤波器确定条件的块边界。
[0425]
在下文中，将描述根据本示例的滤波器强度确定部分120进行的与应用扩展强滤波器有关的确定处理。图20是说明用于确定是否应用扩展强滤波器的确定处理的说明图。
[0426]
根据本示例的扩展强滤波器的应用范围是例如在一侧上在块边界附近的7个像素，对应于图20所示的像素中的p0至p6。
[0427]
根据本示例的滤波器强度确定部分120根据扩展强滤波器的应用范围，确定是否在基于块边界的每一侧应用扩展强滤波器。例如，滤波器强度确定部分120可以通过参考比扩展强滤波器的应用范围更宽的范围上的像素来执行确定处理。
[0428]
根据这样的配置，在例如要应用扩展强滤波器的范围中存在着对象与背景等之间的边界的情况下，可以进行确定使得扩展强滤波器不太可能被应用，并且更可能应用更合适的去块滤波器。
[0429]
例如，滤波器强度确定部分120可以确定在满足以下条件v31的情况下应用扩展强
滤波器。
[0430]
条件v31：如果以下所有条件a310、b311至b313、c310都为真，则为真
[0431]
(a310)|p7-p0|＜(beta＞＞4)
[0432]
(b311)|p2-2*p1+p0|＜(beta＞＞3)
[0433]
(b312)|p4-2*p3+p2|＜(beta＞＞3)
[0434]
(b313)|p6-2*p5+p4|＜(beta＞＞3)
[0435]
(c310)|p0-q0|＜((tc*5+1)＞＞1)
[0436]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v32的情况下应用扩展强滤波器。
[0437]
确定条件v32：如果以下所有条件a310、b310和c310都为真，则为真
[0438]
(a3110)|p7-p0|＜(beta＞＞4)
[0439]
(b310)|p2-2*p1+p0|+|p4-2*p3+p2|+|p6-2*p5+p4|＜(3*beta＞＞3)
[0440]
(c3110)|p0-q0|＜((tc*5+1)＞＞1)
[0441]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v33的情况下应用扩展强滤波器。
[0442]
条件v33：如果以下所有条件a310、b315和c310都为真，则为真
[0443]
(a310)|p7-p0|＜(beta＞＞4)
[0444]
(b315)|p6-2*p3+p0|＜(beta＞＞3)
[0445]
(c310)|p0-q0|＜((tc*5+1)＞＞1)
[0446]
在上述条件v31至v33中，条件a310所参考的像素范围对应于图20所示的范围a31。此外，在上述条件v31中，条件b311至b313所参考的像素范围分别对应于图20所示的范围b31至b33。此外，在上述条件v32和v33中，条件b310和b315所参考的像素范围对应于图20所示的范围b31至b33。
[0447]
注意，在上述条件v31至v33中，条件a310是确定块内部的平坦度的条件。此外，条件b310、b311至b313和b315是确定块内部的扩展应用范围中包括的像素值的连续性的条件。此外，条件c310使用与块边界相邻的像素值来确定块之间的变化量(间隙)。
[0448]
在本文中，确定像素值的连续性的条件b310、b311至b313和b315是基于块边界的一侧上的块中的独立条件。换句话说，根据本示例的滤波器强度确定部分120独立地执行确定扩展应用范围中所包括的像素值的连续性的连续性确定处理。注意，滤波器强度确定部分120还可以被配置成根据块边界的状态独立地执行连续性确定处理。
[0449]
特别地，在通过qtbt进行块划分时，例如由于相邻块的尺寸和形状(正方形，矩形)，所以不同块边界的长度、每个块边界的间隔等容易改变，并且与上述原因相关的块边界的变化情况在本说明书中称为块边界的状态。
[0450]
另外，滤波器强度确定部分120还可以以四条线为单位确定是否应用扩展强滤波器，并且还可以在第一条线和第四条线二者满足上述条件v31至v33之一的情况下确定应用扩展强滤波器。
[0451]
与第一示例类似，根据本示例的滤波部分130根据应用需求确定部分110和滤波器强度确定部分120的确定结果将去块滤波器应用于位于输入图像(解码图像)的块边界附近的像素。
[0452]
例如，根据本示例的滤波部分130应用由滤波强度确定部分120确定的滤波器。然而，根据本示例的滤波部分130能够在每一侧应用扩展强滤波器和强滤波器。
[0453]
图21是示出在本修改中由滤波部分130应用的非对称扩展强滤波器的一个示例的说明图。图21示出了滤波部分130将扩展强滤波器应用于p侧并且将强滤波器应用于q侧的示例。注意，应用于p侧的扩展强滤波器的滤波系数可以是例如第一示例中描述的滤波系数。此外，应用于q侧的强滤波器的滤波系数可以是hevc强滤波器的滤波系数。
[0454]
[4-2.处理流程]
[0455]
图22是示出根据本示例的去块滤波器24的处理流程的一个示例的流程图。在输入图像中以四条线为单位对每个块边界重复从图22中的步骤s210到步骤s260的处理。
[0456]
首先，对于要处理的单个边界(下文中称为目标边界)，应用需求确定部分110以四条线为单位确定是否满足去块滤波器的应用需求确定条件(s210)。此时，在不满足滤波器应用需求确定条件的情况下，跳过从步骤s220到步骤s250的后续处理。另一方面，在满足以边界为单位的确定条件的情况下，处理进行到步骤s220。
[0457]
在步骤s220中，滤波器强度确定部分120以四条线为单位确定是否满足强滤波器确定条件。在满足强滤波器确定条件的情况下(s220中的“是”)，处理进行到步骤s230，并且对基于块边界的每一侧执行确定和滤波器应用。注意，稍后将参考图23描述步骤s230中的处理。
[0458]
另一方面，在不满足强滤波器确定条件的情况下(s220中的“否”)，处理进行到步骤s2460，并且滤波器强度确定部分120以一条线为单位确定是否满足弱滤波器确定条件。在满足弱滤波器确定条件的情况下(s240中的“是”)，处理进行到步骤s250，并且滤波部分130将弱滤波器应用于所述线。
[0459]
在步骤s260中，在输入图像中保留有未处理的边界的情况下(步骤s260中的“是”)，设置新的目标边界，并且处理返回到步骤s260。在没有保留未处理边界的情况下，针对输入图像(解码图像)的处理结束。
[0460]
图23是用于说明图22的步骤s230中的处理的流程图。如图23所示，可以在基于块边界的每一侧(p侧，q侧)并行地执行处理。在步骤s231中，滤波器强度确定部分120以四条线为单位根据p侧的包括在扩展应用范围中的像素的状态来确定是否满足扩展强滤波器确定条件。在满足扩展强滤波器确定条件的情况下(s231中的“是”)，处理进行到步骤s232，并且滤波部分130将扩展强滤波器应用于p侧。另一方面，在不满足扩展强滤波器确定条件的情况下(s231中的“否”)，处理进行到步骤s233，并且滤波部分130将强滤波器应用于p侧。
[0461]
类似地，在q侧，在步骤s235中，滤波器强度确定部分120以四条线为单位根据q侧的包括在扩展应用范围中的像素的状态来确定是否满足扩展强滤波器确定条件。在满足扩展强滤波器确定条件的情况下(s235中的“是”)，处理进行到步骤s236，并且滤波部分130将扩展强滤波器应用于q侧。另一方面，在不满足扩展强滤波器确定条件的情况下(s235中的“否”)，处理进行到步骤s237，并且滤波部分130将强滤波器应用于q侧。
[0462]
[4-3.修改]
[0463]
以上描述了第二示例，但是在本示例中应用的扩展强滤波器不限于上述示例。例如，同样在本示例中，还可以应用扩展强滤波器，其应用范围从位于块边界附近的3个像素扩展到5个像素。在下文中，作为本示例的修改，将参考图24和图25描述这种扩展强滤波器
的应用确定和滤波系数。
[0464]
图24是说明用于确定是否将根据本修改的扩展强滤波器应用于基于块边界的一侧(p侧)上的像素的确定处理的说明图。根据本修改的扩展强滤波器的应用范围是位于块边界附近的5个像素，对应于例如图24所示的像素中的p0到p4。
[0465]
根据本修改的滤波器强度确定部分120根据扩展强滤波器的应用范围确定是否应用扩展强滤波器。例如，滤波器强度确定部分120可以通过参考比扩展强滤波器的应用范围更宽的范围上的像素来执行确定处理。
[0466]
例如，滤波器强度确定部分120可以确定在满足以下条件v61的情况下将扩展强滤波器应用于p侧的像素。
[0467]
条件v61：如果以下所有条件a610、b611、b612和c610都为真，则为真
[0468]
(a610)|p5-p0|＜(beta＞＞4)
[0469]
(b611)|p2-2*p1+p0|＜(beta＞＞3)
[0470]
(b612)|p4-2*p3+p2|＜(beta＞＞3)
[0471]
(c610)|p0-q0|＜((tc*5+1)＞＞1)
[0472]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v62的情况下将扩展强滤波器应用于p侧的像素。
[0473]
确定条件v62：如果以下所有条件a610、b610和c610都为真，则为真
[0474]
(a610)|p5-p0|＜(beta＞＞4)
[0475]
(b610)|p2-2*p1+p0|+|p4-2*p3+p2|＜(2*beta＞＞3)
[0476]
(c610)|p0-q0|＜((tc*5+1)＞＞1)
[0477]
此外，作为确定条件的另一示例，滤波器强度确定部分120可以确定在满足以下条件v63的情况下将扩展强滤波器应用于p侧的像素。
[0478]
确定条件v63：如果以下所有条件a610、b615和c610为真，则为真
[0479]
(a610)|p5-p0|＜(beta＞＞4)
[0480]
(b615)|p4-2*p2+p0|＜(beta＞＞3)
[0481]
(c610)|p0-q0|＜((tc*5+1)＞＞1)
[0482]
在上述条件v61至v63中，条件a610所参考的像素范围对应于图18所示的范围a61。此外，在上述条件v61中，条件b611和b612所参考的像素范围分别对应于图24所示的范围b61和b62。此外，在上述条件v62和v63中，条件b610和b615所参考的像素范围分别对应于图24所示的范围b61和b62。
[0483]
注意，在上述条件v61至v63中，条件a610是确定块内部的平坦度的条件。此外，条件b610、b611、b612和b615是确定块内部的连续性的条件。此外，条件c610使用与块边界相邻的像素值来确定块之间的变化量(间隙)。
[0484]
接下来，将描述根据本修改的非对称去块滤波器的示例。图25是用于说明本修改中的滤波部分130所应用的非对称去块滤波器的一个示例的说明图。图25示出了滤波部分130将根据本修改的扩展强滤波器应用于p侧并且将强滤波器应用于q侧的示例。注意，例如，应用于p侧的根据本修改的扩展强滤波器的滤波系数可以是在第一示例的修改中描述的滤波系数。此外，应用于q侧的强滤波器的滤波系数可以是hevc强滤波器的滤波系数。
[0485]
《5.示例性硬件配置》
[0486]
上述一系列处理可以由硬件执行，也可以用软件执行。在通过软件执行一系列处理的情况下，将形成软件的程序安装在计算机上。在本文中，术语计算机包括内置于专用硬件中的计算机、能够通过在其上安装各种程序来执行各种功能的计算机(例如，通用个人计算机)等。
[0487]
图26是示出根据程序执行上述一系列处理的计算机的示例性硬件配置的框图。
[0488]
在图26所示的计算机800中，中央处理单元(cpu)801、只读存储器(rom)802和随机存取存储器(ram)803通过总线804互连。
[0489]
另外，输入/输出接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。
[0490]
输入单元811包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元812包括例如显示器、扬声器、输出端子等。存储单元813包括例如硬盘、ram盘、非易失性存储器等。通信单元814包括例如网络接口。驱动器815驱动可移除介质821，例如磁盘、光盘、磁光盘或半导体存储器。
[0491]
在如上配置的计算机中，例如通过使cpu 801经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到ram 803中并执行该程序来执行上述一系列处理。另外，cpu 801执行各种处理等所需的数据也根据情况存储在ram 803中。
[0492]
例如，可以通过将计算机(cpu 801)执行的程序记录在可移除介质821(作为封装介质等的实例)上来应用该程序。在这种情况下，通过将可移除介质821插入驱动器815，可以经由输入/输出接口810将程序安装在存储单元813中。
[0493]
另外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。在这种情况下，程序可以由通信单元814接收并安装在存储单元813中。
[0494]
此外，程序也可以预先安装在rom 802或存储单元813中。
[0495]
《6.应用示例》
[0496]
根据上述实施方式的图像编码装置10和图像解码装置60可以应用于各种电子装置，例如：发送器或接收器，其用于卫星广播、诸如有线电视的有线广播、在因特网上的分发以及通过蜂窝通信对终端的分发；记录设备，其将图像记录在诸如光盘、磁盘和闪存的介质上；或者从上述存储介质再现图像的再现设备。
[0497]
(1)第一应用示例：电视接收器
[0498]
图27示出了应用上述实施方式的电视装置的示意性配置的示例。电视装置900具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(i/f)909、控制单元910、用户接口(i/f)911和总线912。
[0499]
调谐器902从经由天线901接收的广播信号中提取期望信道的信号，并对所提取的信号进行解调。然后，调谐器902将从解调获得的编码比特流输出至解复用器903。即，调谐器902起到电视装置900的传输部分的作用，该电视装置900接收图像被编码的编码流。
[0500]
解复用器903从编码流中解复用要观看的节目的视频流和音频流，并将解复用的流输出至解码器904。此外，解复用器903从诸如电子节目指南(epg)的辅助数据中提取辅助数据，并将所提取的数据提供至控制单元910。注意，在编码比特流被加扰的情况下，解复用器903可以执行解扰。
[0501]
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将从解码处理产生的视频数据输出至视频信号处理单元905。此外，解码器904将从解码处理产生的音频数据输出至音频信号处理单元907。
[0502]
视频信号处理单元905再现从解码器904输入的视频数据，以使显示单元906显示视频。另外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用程序画面。此外，视频信号处理单元905可以根据设置对视频数据执行附加处理，例如降噪。此外，视频信号处理单元905可以生成图形用户接口(gui)的图像(例如，菜单、按钮或光标)，并将生成的图像叠加在输出图像上。
[0503]
显示单元906被从视频信号处理单元905提供的驱动信号驱动，并在显示设备(例如，液晶显示器、等离子体显示器、有机电致发光显示器(oled)等)的视频面上显示视频或图像。
[0504]
音频信号处理单元907对从解码器904输入的音频数据执行包括d/a转换和放大的再现处理，并使扬声器908输出声音。另外，音频信号处理单元907可以对音频数据执行诸如去噪的附加处理。
[0505]
外部接口909是用于将电视装置900连接至外部装置或网络的接口。例如，经由外部接口909接收的视频流或音频流可以由解码器904解码。换句话说，外部接口909还起到电视装置900的传输部分的作用，该电视装置900接收图像被编码的编码流。
[0506]
控制单元910具有诸如cpu的处理器和诸如ram和rom的存储器。存储器存储由cpu执行的程序、程序数据、epg数据和经由网络获取的数据。存储在存储器中的程序在例如电视装置900的启动时被cpu读取和执行。cpu通过响应于例如从用户接口部分911输入的操作信号执行程序来控制电视装置900的操作。
[0507]
用户接口部分911连接至控制单元910。用户接口部分911包括例如用户操作电视装置900的按钮和开关、用于遥控信号的接收单元等。用户接口部分911通过检测用户经由任何上述组成元件的操作来产生操作信号，并将产生的操作信号输出至控制单元910。
[0508]
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。
[0509]
在以这种方式配置的电视装置900中，解码器904还可以包括上述图像解码装置60的功能。换句话说，解码器904可以被配置成根据在每个上述实施方式中描述的方法对编码数据进行解码。利用这种布置，电视装置900变得能够在去块滤波处理中应用更合适的滤波器。
[0510]
此外，在以这种方式配置的电视装置900中，视频信号处理单元905可以能够对从解码器904提供的图像数据进行编码，并使得到的编码数据通过外部接口909输出至电视装置900外部。另外，视频信号处理单元905还可以包括上述图像编码装置10的功能。换句话说，视频信号处理单元905可以被配置成根据在每个上述实施方式中描述的方法对从解码器904提供的图像数据进行编码。利用这种布置，电视装置900变得能够在去块滤波处理中应用更合适的滤波器。
[0511]
(2)第二应用示例：移动电话
[0512]
图28示出了应用上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处
理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
[0513]
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931相互连接。
[0514]
移动电话920以包括音频呼叫模式、数据通信模式、拍摄模式和可视电话模式的各种操作模式来执行动作，诸如发送/接收音频信号、发送/接收电子邮件或图像数据、捕捉图像以及记录数据。
[0515]
在音频呼叫模式中，由麦克风925产生的模拟音频信号被提供至音频编解码器923。音频编解码器923然后将模拟音频信号转换为音频数据，对转换的音频数据执行a/d转换，并压缩数据。音频编解码器923此后将压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以产生传输信号。然后，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，执行频率转换，并获取接收信号。此后，通信单元922对接收信号进行解调和解码以产生音频数据，并将产生的音频数据输出至音频编解码器923。音频编解码器923扩展音频数据，对数据执行d/a转换，并产生模拟音频信号。音频编解码器923然后将所生成的音频信号提供至扬声器924以使其输出音频。
[0516]
在数据通信模式中，例如，控制单元931根据通过操作单元932检测到的用户操作来生成构成电子邮件的字符数据。控制单元931还在显示单元930上显示字符。此外，控制单元931根据通过操作单元932从用户获得的发送指令来生成电子邮件数据，并将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。然后，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。通信单元922还放大通过天线921接收的无线电信号，执行频率转换，并获取接收信号。此后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并将恢复的电子邮件数据输出至控制单元931。控制单元931在显示单元930上显示电子邮件的内容，以及将电子邮件数据提供至记录/再现单元929的存储介质，以使数据记录在介质中。
[0517]
记录/再现单元929包括可读和可写的任意存储介质。例如，存储介质可以是内置存储介质，例如ram或闪存，或者可以是外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、磁盘、usb存储器或存储卡。
[0518]
在拍摄模式中，例如，相机单元926对对象进行成像以生成图像数据，并将所生成的图像数据输出至图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码，并将编码流提供至记录/再现单元929的存储介质，以使编码流记录在介质中。
[0519]
此外，在图像显示模式中，记录/再现单元929读出记录在存储介质上的编码流，并输出至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，将图像数据提供至显示单元930，并使图像被显示。
[0520]
在视频电话模式中，例如，复用/解复用单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并将经复用的流输出至通信单元922。通信单元922对流进行编码和调制以生成传输信号。然后，通信单元922通过天线921将所生成
的传输信号传输至基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，执行频率转换，并获取接收信号。传输信号和接收信号可以包括编码比特流。通信单元922因此解调和解码接收信号以恢复流，并将恢复的流输出至复用/解复用单元928。复用/解复用单元928从输入流中解复用视频流和音频流，并将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后视频数据被提供至显示一系列图像的显示单元930。音频编解码器923对音频流进行扩展并执行d/a转换以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供至扬声器924以使其输出音频。
[0521]
在以这种方式配置的移动电话920中，图像处理单元927可以包括例如上述图像编码装置10的功能。换句话说，图像处理单元927可以被配置成根据每个上述实施方式中描述的方法对图像数据进行编码。利用这种布置，移动电话920变得能够在去块滤波处理中应用更合适的滤波器。
[0522]
另外，在以这种方式配置的移动电话920中，图像处理单元927可以包括例如上述图像解码装置60的功能。换句话说，图像处理单元927可以被配置成根据每个上述实施方式中描述的方法对编码数据进行解码。利用这种布置，移动电话920变得能够在去块滤波处理中应用更合适的滤波器。
[0523]
(3)第三应用示例：记录/再现装置
[0524]
图29示出了应用上述实施方式的记录/再现装置的示意性配置的示例。例如，记录/再现装置940对接收的广播节目的音频数据和视频数据进行编码，并将数据记录到记录介质中。例如，记录/再现装置940还可以对从另一装置获取的音频数据和视频数据进行编码，并将数据记录到记录介质中。记录/再现装置940例如响应于用户指令，在监视器和扬声器上再现记录在记录介质中的数据。在这种情况下，记录/再现装置940对音频数据和视频数据进行解码。
[0525]
记录/再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(hdd)944、磁盘驱动器945、选择器946、解码器947、屏幕显示器(osd)948、控制单元949和用户接口950。
[0526]
调谐器941从通过天线(未示出)接收的广播信号中提取期望信道的信号，并解调提取的信号。然后，调谐器941将通过解调获得的编码比特流输出至选择器946。即，调谐器941在记录/再现装置940中具有作为传输装置的作用。
[0527]
外部接口942是将记录/再现装置940与外部设备或网络连接的接口。外部接口942可以是例如ieee 1394接口、网络接口、usb接口或闪存接口。例如，通过外部接口942接收的视频数据和音频数据被输入至编码器943。也就是说，外部接口942在记录/再现装置940中具有作为传输装置的作用。
[0528]
在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。之后，编码器943将编码比特流输出至选择器946。
[0529]
hdd 944将编码比特流(其中诸如视频和音频的内容数据被压缩)、各种程序和其他数据记录在内部硬盘中。当再现视频和音频时，hdd 944从硬盘读取这些数据。
[0530]
磁盘驱动器945将数据记录在附接至磁盘驱动器的记录介质中/从附接至磁盘驱动器的记录介质读取数据。附接至磁盘驱动器945的记录介质可以是例如dvd盘(例如，dvd
视频、dvd-ram、dvd-r、dvd-rw、dvd+r或dvd+rw)或blu-ray(注册商标)盘。
[0531]
选择器946选择在记录视频和音频时从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出至hdd 944或磁盘驱动器945。另一方面，当再现视频和音频时，选择器946将从hdd 944或磁盘驱动器945输入的编码比特流输出至解码器947。
[0532]
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器904将生成的视频数据输出至osd 948，并将生成的音频数据输出至外部扬声器。
[0533]
osd 948再现从解码器947输入的视频数据并显示视频。osd 948还可以将诸如菜单、按钮或光标的gui的图像叠加到所显示的视频上。
[0534]
控制单元949包括诸如cpu的处理器和诸如ram和rom的存储器。存储器存储由cpu执行的程序以及程序数据。例如，存储在存储器中的程序在记录/再现装置940启动时被cpu读取并执行。通过执行程序，cpu根据例如从用户接口950输入的操作信号来控制记录/再现装置940的操作。
[0535]
用户接口950连接至控制单元949。用户接口950包括用于用户操作记录/再现装置940的按钮和开关，以及例如接收遥控信号的接收部分。用户接口950通过这些部件检测用户操作以产生操作信号，并将产生的操作信号输出至控制单元949。
[0536]
在以这种方式配置的记录/再现装置940中，编码器943包括根据上述实施方式的图像编码装置10的功能。另外，解码器947包括根据上述实施方式的图像解码装置60的功能。利用这种布置，记录/再现装置940变得能够在去块滤波处理中应用更合适的滤波器。
[0537]
(4)第四应用示例：成像装置
[0538]
图30示出了应用上述实施方式的成像装置的示意性配置的示例。成像装置960对对象进行成像以生成图像，对图像数据进行编码，并将数据记录在记录介质中。
[0539]
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、osd 969、控制单元970、用户接口971和总线972。
[0540]
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、osd 969和控制单元970相互连接。
[0541]
光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像平面上形成对象的光学图像。成像单元962包括诸如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)的图像传感器，并执行光电转换以将在成像平面上形成的光学图像转换成作为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。
[0542]
信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将已经执行了相机信号处理的图像数据输出至图像处理单元964。
[0543]
图像处理单元964对从信号处理单元963输入的图像数据进行编码，并生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码，以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965，以使显示单元965
显示图像。此外，图像处理单元964可以将从osd 969获取的显示数据叠加到在显示单元965上输出的图像上。
[0544]
osd 969生成诸如菜单、按钮或光标的gui的图像，并将生成的图像输出至图像处理单元964。
[0545]
外部接口966例如被配置为usb输入/输出端子。外部接口966例如在打印图像时将成像装置960与打印机连接。此外，根据需要将驱动器连接至外部接口966。例如，诸如磁盘或光盘的可移除介质被附接至驱动器，使得从可移除介质读取的程序可以被安装到成像装置960。外部接口966也可以被配置为连接至诸如lan或因特网的网络的网络接口。也就是说，外部接口966在成像装置960中具有作为传输装置的作用。
[0546]
附接至介质驱动器968的记录介质可以是可读和可写的任意可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以以固定方式附接至介质驱动器968，从而例如配置不可移动存储单元，诸如内置硬盘驱动器或固态驱动器(ssd)。
[0547]
控制单元970包括诸如cpu的处理器和诸如ram和rom的存储器。存储器存储由cpu执行的程序以及程序数据。存储在存储器中的程序在成像装置960启动时被cpu读取然后执行。通过执行程序，cpu根据例如从用户接口971输入的操作信号来控制成像装置960的操作。
[0548]
用户接口971连接至控制单元970。用户接口971包括例如用于用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作以产生操作信号，并将产生的操作信号输出至控制单元970。
[0549]
在以这种方式配置的成像装置960中，图像处理单元964包括根据上述实施方式的图像编码装置10和图像解码装置60的功能。利用这种布置，成像装置960变得能够在去块滤波处理中应用更合适的滤波器。
[0550]
(5)第五应用示例：视频装置(video set)
[0551]
另外，本技术还可以实现为安装在任何设备中的任何种类的配置或包括在系统中的设备，例如，设置为大规模集成(lsi)芯片等的处理器、使用多个处理器等的模块、使用多个模块等的单元、向单元进一步添加其他功能的装置(即，设备的一部分的配置)等。图31示出了应用本技术的视频装置的示意性配置的一个示例。
[0552]
近来，电子设备变得更加多功能化，并且在这种电子设备的开发和制造中，在实现其部分配置以用于销售、出价等的情况下，不仅作为包括单个功能的配置而执行实现变得普遍，而且组合多个配置(包括相关功能)以及作为包括多个功能的单个装置而执行实现也变得普遍。
[0553]
图31中示出的视频装置1300是这样的多功能配置，并且是以下设备的组合：包括与图像编码和解码(一者或两者)相关的功能的设备，包括与这些功能相关的其他功能的设备。
[0554]
如图31所示，视频装置1300包括诸如视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314的模块组，以及包括相关功能的诸如连接部1321、相机1322和传感器1323的设备。
[0555]
模块是将几个相互关联的部分功能汇集到统一功能中的部分。具体的物理配置可以是任何配置，但是例如，可以想到将具有各自功能的多个处理器、诸如电阻器和电容器的
电子电路元件、其他器件等设置和集成到电路板等上。还可以想到将模块与另一模块、处理器等组合以创建新模块。
[0556]
在图31中的示例的情况下，视频模块1311是包括与图像处理有关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和rf模块1334。
[0557]
处理器将具有预定功能的配置集成到作为片上系统(soc)的半导体芯片中，并且还可以被指定为例如大规模集成(lsi)芯片等。具有预定功能的配置可以是逻辑电路(硬件配置)，但也可以是cpu、rom、ram等以及使用cpu、rom、ram等执行的程序(软件配置)，并且也可以是两者的组合。例如，处理器可以包括逻辑电路和cpu、rom、ram等，并且可以被配置成使用逻辑电路(硬件配置)实现功能的一个子集，同时使用在cpu上执行的程序(软件配置)实现其他功能。
[0558]
图31中的应用处理器1331是执行与图像处理有关的应用程序的处理器。为了实现预定功能，在应用处理器1331中执行的应用程序不仅能够执行计算处理，而且还能够例如在必要时控制视频模块1311(例如，视频处理器1332)内部和外部的配置。
[0559]
视频处理器1332是包括与图像编码/解码(一者或两者)相关的功能的处理器。
[0560]
宽带调制解调器1333执行数字调制等，以将通过诸如因特网或公共电话网络的宽带连接执行的有线或无线(或两者)宽带通信所传输的数据(数字信号)转换成模拟信号，并且还执行解调以将通过这种宽带通信接收的模拟信号转换成数据(数字信号)。宽带调制解调器1333处理任何类型的信息，例如由视频处理器1332处理的图像数据、图像数据被编码的流、应用程序和设置数据。
[0561]
rf模块1334是对通过天线发送和接收的射频(rf)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，rf模块1334通过对宽带调制解调器1333生成的基带信号执行频率转换等来生成rf信号。此外，例如，rf模块1334通过对经由前端模块1314接收的rf信号执行频率转换等来生成基带信号。
[0562]
注意，如图31中的虚线1341所示，应用处理器1331和视频处理器1332也可以统一，并配置为单个处理器。
[0563]
外部存储器1312是在视频模块1311外部设置的模块，其包括由视频模块1311使用的存储设备。外部存储器1312的存储设备可以通过任何种类的物理配置来实现，但是由于存储设备通常用于以帧为单位存储诸如图像数据的大量数据，因此期望实现具有相对便宜且高容量的半导体存储器(例如，动态随机存取存储器(dram))的存储设备。
[0564]
电源管理模块1313管理和控制对视频模块1311(视频模块1311内的每个配置)的供电。
[0565]
前端模块1314是向rf模块1334提供前端功能(天线侧发送/接收端口上的电路)的模块。如图31所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。
[0566]
天线单元1351包括发送和接收无线信号的天线，以及其外围配置。天线单元1351将从放大单元1353提供的信号作为无线信号进行发送，并将接收的无线信号作为电信号(rf信号)提供给滤波器1352。滤波器1352对通过天线单元1351接收的rf信号执行滤波处理等，并将经处理的rf信号提供至rf模块1334。放大单元1353将从rf模块1334提供的rf信号放大并提供至天线单元1351。
[0567]
连接部1321是包括与外部连接相关的功能的模块。连接部1321的物理配置可以是
任何配置。例如，连接部1321包括具有除宽带调制解调器1333、外部输入/输出端子等支持的通信标准之外的通信功能的配置。
[0568]
例如，连接部1321可以包括具有符合无线通信标准(例如，蓝牙(注册商标)、ieee 80211(例如，无线保真(wifi(注册商标)))、近场通信(nfc)或红外数据协会(irda))的通信功能的模块，以及发送和接收符合标准的信号的天线等。另外，例如，连接部1321可以包括具有符合有线通信功能(例如，通用串行总线(usb)或高清晰度多媒体接口(hdmi)(注册商标))的通信功能的模块，以及符合该通信功能的端口。此外，例如，连接部1321可以包括发送另一种数据(信号)的功能，例如模拟输入/输出端子。
[0569]
注意，连接部1321可以包括数据(信号)的传输目的地设备。例如，连接部1321可以包括关于记录介质(诸如磁盘、光盘、磁光盘或半导体存储器)的读取和写入数据的驱动器(不仅是用于可移除介质的驱动器，还包括硬盘、固态驱动器(ssd)、网络附接存储器(nas)等)。此外，连接部1321可以包括输出图像和声音的设备(例如，监视器和扬声器)。
[0570]
相机1322是具有对对象成像并获得对象的图像数据的功能的模块。通过相机1322的成像获得的图像数据被提供至例如视频处理器1332，并被编码。
[0571]
传感器1323是具有任何类型的传感器功能的模块，例如声音传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁场传感器、震动传感器或温度传感器。例如，传感器1323检测到的数据被提供至应用处理器1331，并被应用程序等使用。
[0572]
上面描述为模块的配置也可以实现为处理器，相反，描述为处理器的配置也可以实现为模块。
[0573]
在具有如上配置的视频装置1300中，本技术可以应用于稍后描述的视频处理器1332。因此，视频装置1300可以作为应用本技术的装置来实现。
[0574]
(视频处理器的示例性配置)
[0575]
图32示出了应用本技术的视频处理器1332(图31)的示意性配置的一个示例。
[0576]
在图32中的示例的情况下，视频处理器1332包括接收视频信号和音频信号的输入、并根据预定方法对这些信号进行编码的功能，以及对编码的视频数据和音频数据进行解码、并且再现和输出视频信号和音频信号的功能。
[0577]
如图32所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332包括编码/解码引擎1407、视频基本流(es)缓冲器1408a和1408b、以及音频es缓冲器1409a和1409b。另外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(mux)1412、解复用器(dmux)1413和流缓冲器1414。
[0578]
视频输入处理单元1401例如获取从连接部1321(图31)等输入的视频信号，并将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403对图像数据执行如下处理：根据通过视频输出处理单元1404输出到的目的地的格式来放大或缩小图像、与第一图像放大/缩小单元1402类似的格式转换和图像放大/缩小处理等。视频输出处理单元1404对图像数据执行转换成模拟信号等的格式转换，并将结果输出至连接部1321，例如作为再现视频信号。
[0579]
帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图
像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据的存储器。帧存储器1405例如被实现为诸如dram的半导体存储器。
[0580]
存储器控制单元1406从编码/解码引擎1407接收同步信号，并根据访问管理表1406a中写入的对帧存储器1405的访问的访问时间表来控制访问，以及对帧存储器1405进行读写。由存储器控制单元1406根据编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来更新访问管理表1406a。
[0581]
编码/解码引擎1407执行编码图像数据的处理以及解码视频流的处理，视频流是其中图像数据被编码的数据。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将编码数据连续地写入视频es缓冲器1408a作为视频流。另外，例如，编码/解码引擎1407连续地从视频es缓冲器1408b读取和解码视频流，并将解码的数据作为图像数据写入帧存储器1405。在该编码和解码期间，编码/解码引擎1407使用帧存储器1405作为工作区。此外，例如，编码/解码引擎1407在开始每个宏块的处理的时候向存储器控制单元1406输出同步信号。
[0582]
视频es缓冲器1408a缓冲由编码/解码引擎1407生成的视频流并，将其提供至复用器(mux)1412。视频es缓冲器1408b缓冲从解复用器(dmux)1413提供的视频流，并将其提供至编码/解码引擎1407。
[0583]
音频es缓冲器1409a缓冲由音频编码器1410生成的音频流，并将其提供至复用器(mux)1412。音频es缓冲器1409b缓冲从解复用器(dmux)1413提供的音频流，并将其提供至音频解码器1411。
[0584]
音频编码器1410例如对从连接部1321等输入的音频信号进行数字转换，并根据诸如mpeg音频方法或音频代码3(audiocode 3，ac3)方法的预定方法对音频信号进行编码。音频编码器1410连续地将音频流(其中音频信号被编码的数据)写入音频es缓冲器1409a。音频解码器1411例如对从音频es缓冲器1409b提供的音频流进行解码，执行到模拟信号的转换等，并将结果提供至连接部1321等，例如作为再现的音频信号。
[0585]
复用器(mux)1412对视频流和音频流进行复用。复用方法(即，通过复用产生的比特流的格式)可以是任何方法。另外，在该复用期间，复用器(mux)1412还能够将预定的头部信息等添加到比特流。换句话说，复用器(mux)1412能够通过复用来转换流的格式。例如，通过复用视频流和音频流，复用器(mux)1412将流转换为传输流，该传输流是用于传输的格式的比特流。另外，例如，通过复用视频流和音频流，复用器(mux)1412将流转换为用于记录的文件格式的数据(文件数据)。
[0586]
解复用器(dmux)1413根据与复用器(mux)1412的复用相对应的方法，对其中复用了视频流和音频流的比特流进行解复用。换句话说，解复用器(dmux)1413从由流缓冲器1414中读出的比特流中提取视频流和音频流(将视频流和音频流分开)。换句话说，解复用器(dmux)1413能够通过解复用(复用器(mux)1412的转换的逆转换)来转换流的格式。例如，解复用器(dmux)1413能够例如经由流缓冲器1414获取从连接部1321、宽带调制解调器1333等提供的传输流，并且通过解复用能够将传输流转换成视频流和音频流。另外，例如，解复用器(dmux)1413能够例如经由流缓冲器1414通过连接部1321获取从各种类型的记录介质中读出的文件数据，并且通过解复用能够将文件数据转换成视频流和音频流。
[0587]
流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从复用器(mux)1412提供的传
输流，并且在预定定时或者基于外部请求等，例如将传输流提供至连接部1321、宽带调制解调器1333等。
[0588]
另外，例如，流缓冲器1414缓冲从复用器(mux)1412提供的文件数据，并且在预定定时或者基于外部请求等，例如将文件数据提供至连接部1321等，并且使文件数据记录在各种类型的记录介质中的任一种上。
[0589]
此外，流缓冲器1414例如缓冲经由连接部1321、宽带调制解调器1333等获取的传输流，并且在预定定时或者基于外部请求等，将传输流提供至解复用器(dmux)1413。
[0590]
另外，流缓冲器1414例如缓冲在连接部1321等中从各种类型的记录介质中的任一种读出的文件数据，或者在预定的定时或者基于外部请求等，将文件数据提供至解复用器(dmux)1413。
[0591]
接下来，将描述具有这种配置的视频处理器1332的操作的示例。例如，从连接部1321等输入至视频处理器1332的视频信号在视频输入处理单元1401中被转换成预定格式(例如4：2：2y/cb/cr格式)的数字图像数据，并且被连续写入帧存储器1405。数字图像数据被读出至第一图像放大/缩小单元1402或第二图像放大/缩小单元1403，经历转换为预定格式(例如，4：2：0y/cb/cr等)的格式转换以及放大/缩小处理，并再次写入帧存储器1405。图像数据由编码/解码引擎1407编码，并作为视频流写入视频es缓冲器1408a。
[0592]
此外，从连接部1321等输入至视频处理器1332的音频信号由音频编码器1410编码，并作为音频流写入音频es缓冲器1409a。
[0593]
视频es缓冲器1408a中的视频流和音频es缓冲器1409a中的音频流由复用器(mux)1412读出并复用，并转换为传输流、文件数据等。由复用器(mux)1412生成的传输流在流缓冲器1414中缓冲，然后例如经由连接部1321、宽带调制解调器1333等输出至外部网络。此外，由复用器(mux)1412生成的文件数据在流缓冲器1414中缓冲，然后输出至例如连接部1321等，并被记录到各种类型的记录介质中的任一种。
[0594]
此外，从外部网络例如经由连接部1321、宽带调制解调器1333等输入至视频处理器1332的传输流在流缓冲器1414中缓冲，然后由解复用器(dmux)1413解复用。另外，在例如连接部1321等中从各种类型的记录介质中的任一种读出并输入至视频处理器1332中的文件数据被在流缓冲器1414中缓冲，然后由解复用器(dmux)1413解复用。换句话说，输入至视频处理器1332的传输流或文件数据被解复用器(dmux)1413分成视频流和音频流。
[0595]
音频流经由音频es缓冲器1409b被提供至音频解码器1411并被解码，并且再现音频信号。此外，视频流在被写入视频es缓冲器1408b之后被编码/解码引擎1407连续读出和解码，并被写入帧存储器1405。解码的图像数据经历第二图像放大/缩小单元1403的放大/缩小处理，并被写入帧存储器1405。然后，解码的图像数据被读出至视频输出处理单元1404，格式转换成预定的格式(例如，4：2：2y/cb/cr格式)，另外地被转换成模拟信号，并再现和输出视频信号。
[0596]
在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述实施方式的本技术应用于编码/解码引擎1407是足够的。换句话说，例如，编码/解码引擎1407可以包括上述图像编码装置10的功能或者图像解码装置60的功能，或者两者。利用这种布置，视频处理器1332能够获得与上面参考图1至图25描述的每个实施方式类似的效果。
[0597]
注意，在编码/解码引擎1407中，本技术(即，图像编码装置10的功能，图像解码装
置60的功能或两者)可以通过诸如逻辑电路等的硬件来实现，或者可以通过诸如嵌入式程序的软件来实现，或者可以通过上述两者来实现。
[0598]
(视频处理器的另一示例性配置)
[0599]
图33示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图33中的示例的情况下，视频处理器1332包括根据预定方法对视频数据进行编码/解码的功能。
[0600]
更具体地，如图33所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用器/解复用器(mux dmux)1518、网络接口1519和视频接口1520。
[0601]
控制单元1511控制视频处理器1332中的每个处理单元(例如，显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。
[0602]
如图33所示，控制单元1511包括例如主cpu 1531、子cpu 1532和系统控制器1533。主cpu 1531执行用于控制视频处理器1332中的每个处理单元的操作的程序等。主cpu 1531根据程序等产生控制信号，并将控制信号提供至每个处理单元(换句话说，控制每个处理单元的操作)。子cpu 1532履行对主cpu 1531的补充作用。例如，子cpu 1532执行由主cpu 1531执行的程序等的子进程、子例程等。系统控制器1533控制主cpu 1531和子cpu 1532的操作，例如指定要由主cpu 1531和子cpu1532执行的程序。
[0603]
显示接口1512在控制单元1511的控制下例如将图像数据输出至连接部1321等。例如，显示接口1512将数字图像数据转换成模拟信号并输出模拟信号，或者将数字图像数据作为再现视频信号直接输出至连接部1321的监视器装置等。
[0604]
显示引擎1513在控制单元1511的控制下例如对图像数据执行各种转换处理，例如格式转换、尺寸转换和色域转换，以匹配要显示图像的监视器装置等的硬件规格。
[0605]
图像处理引擎1514在控制单元1511的控制下对图像数据执行预定的图像处理，例如用于改善图像质量的滤波处理。
[0606]
内部存储器1515是设置在视频处理器1332内的存储器，并由显示引擎1513、图像处理引擎1514和编解码器引擎1516共享。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514或编解码器引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且根据需要(例如，响应于请求)，将数据提供至显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何类型的存储设备实现，但由于存储设备通常用于存储少量数据(例如，以块、参数等为单位的图像数据)，因此希望使用容量相对小(例如，与外部存储器1312相比较)但响应速度快的半导体存储器(例如，静态随机存取存储器(sram))来实现存储设备。
[0607]
编解码器引擎1516执行与图像数据的编码和解码有关的处理。编解码器引擎1516支持的编码/解码方法可以是任何方法，并且可以存在一个或多个这样的方法。例如，编解码器引擎1516可以被提供以用于多种编码/解码方法的编解码器功能，并且可以被配置成通过从多种方法中进行选择来对图像数据进行编码或解码。
[0608]
在图33所示的示例中，编解码器引擎1516例如包括mpeg2视频1541、avc/h.264 1542、hevc/h.265 1543、hevc/h.265(可缩放)1544、hevc/h.265(多视图)1545和mpeg-dash 1551，作为编解码器相关处理的功能块。
[0609]
mpeg-2视频1541是根据mpeg-2方法对图像数据进行编码和解码的功能块。avc/
h.264 1542是根据avc方法对图像数据进行编码和解码的功能块。hevc/h.265 1543是根据hevc方法对图像数据进行编码和解码的功能块。hevc/h.265(可缩放)1544是根据hevc方法对图像数据进行可扩展编码和可扩展解码的功能块。hevc/h.265(多视图)1545是根据hevc方法对图像数据进行多视图编码和多视图解码的功能块。
[0610]
mpeg-dash 1551是根据mpeg动态自适应http流传输(mpeg-dash)方法发送和接收图像数据的功能块。mpeg-dash是使用超文本传输协议(http)来流式传输视频的技术，其一个特征是从提前准备的具有不同分辨率的多组编码数据等中以段为单位选择和传输适当的编码数据。mpeg-dash 1551执行符合标准的流的生成、传输控制等，而对于图像数据的编码/解码，使用mpeg-2视频1541至hevc/h.265(多视图)1545。
[0611]
存储器接口1517是外部存储器1312的接口。从图像处理引擎1514和编解码器引擎1516提供的数据通过存储器接口1517提供至外部存储器1312。此外，从外部存储器1312读出的数据通过存储器接口1517提供至视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
[0612]
复用器/解复用器(mux dmux)1518复用和解复用各种图像相关数据，例如编码数据、图像数据、视频信号等的比特流。复用/解复用方法可以是任何方法。例如，当复用时，复用器/解复用器(mux dmux)1518不仅能够将多个数据汇集到单个数据中，而且还能够将预定的头部信息等添加到数据中。此外，当解复用时，复用器/解复用器(mux dmux)1518不仅能够将单个数据分成多个数据，而且还能够将预定的头部信息等添加到每个划分的数据中。换句话说，复用器/解复用器(mux dmux)1518能够通过复用/解复用来转换数据格式。例如，通过复用比特流，复用器/解复用器(mux dmux)1518能够将比特流转换成传输流，该传输流是用于传输的格式的比特流，或者转换成用于记录的文件格式的数据(文件数据)。显然，通过解复用，逆转换也是可以的。
[0613]
网络接口1519例如是用于宽带调制解调器1333、连接部1321等的接口。视频接口1520例如是用于连接部1321、相机1322等的接口。
[0614]
接下来，将描述这种视频处理器1332的操作的示例。例如，当通过连接部1321、宽带调制解调器1333等从外部网络接收传输流时，传输流通过网络接口1519被提供至复用器/解复用器(mux dmux)1518并被解复用，并且被编解码器引擎1516解码。通过编解码器引擎1516的解码得到的图像数据例如被图像处理引擎1514进行预定的图像处理，被显示引擎1513进行预定的转换，例如通过显示接口1512被提供至连接部1321等，并且图像被显示在监视器上。另外，例如，通过编解码器引擎1516的解码获得的图像数据被编解码器引擎1516重新编码，被复用器/解复用器(mux dmux)1518复用并转换为文件数据，例如通过视频接口1520输出至连接部1321等，并被记录在各种类型的记录介质中的任一种上。
[0615]
此外，例如，通过连接部1321等从未示出的记录介质读出的编码数据(其中图像数据被编码)的文件数据通过视频接口1520被提供至复用器/解复用器(mux dmux)1518并被解复用，并且被编解码器引擎1516解码。通过编解码器引擎1516的解码获得的图像数据被图像处理引擎1514进行预定的图像处理，被显示引擎1513进行预定的转换，例如通过显示接口1512被提供至连接部1321等，并且图像被显示在监视器上。另外，例如，通过编解码器引擎1516的解码获得的图像数据被编解码器引擎1516重新编码，被复用器/解复用器(mux dmux)1518复用并转换成传输流，例如通过网络接口1519被提供至连接部1321、宽带调制解
调器1333等，并被发送至另一未示出的装置。
[0616]
注意，例如，通过利用内部存储器1515和外部存储器1312来执行视频处理器1332内的每个处理单元之间的图像数据和其他数据的交换。另外，例如，电源管理模块1313控制对控制单元1511的电力供应。
[0617]
在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述实施方式的本技术应用于编解码器引擎1516是足够的。换句话说，例如，编解码器引擎1516足以包括上述图像编码装置10的功能或图像解码装置60的功能或两者。利用这种布置，视频处理器1332能够获得与上面参考图1至图25描述的每个实施方式类似的效果。
[0618]
注意，在编解码器引擎1516中，本技术(即，图像编码装置10的功能)可以通过诸如逻辑电路等的硬件来实现，可以通过诸如嵌入式程序的软件来实现，或者可以通过上述两者来实现。
[0619]
以上作为示例示出了视频处理器1332的两种配置，但是视频处理器1332的配置可以是任何配置，并且可以是除了上述两个示例之外的配置。另外，视频处理器1332可以被配置为单个半导体芯片，但是也可以被配置为多个半导体芯片。例如，堆叠多个半导体的三维堆叠lsi芯片是可以的。另外，由多个lsi芯片实现的配置是可以的。
[0620]
(装置的应用示例)
[0621]
视频装置1300可以嵌入到处理图像数据的各种类型的装置中的任一种中。例如，视频装置1300可以嵌入电视装置900(图27)、移动电话920(图28)、记录/再现装置940(图29)、成像装置960(图30)等。通过嵌入视频装置1300，该装置能够获得与上面参照图1至图25描述的每个实施方式类似的效果。
[0622]
注意，只要包括视频处理器1332，即使上述视频装置1300的每个配置的一部分也可以实现为应用本技术的配置。例如，可以仅实现视频处理器1332作为应用本技术的视频处理器。此外，例如，如上所述的由虚线1341示出的处理器、视频模块1311等可以作为应用本技术的处理器、模块等来实现。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314也可以组合，并作为应用本技术的视频单元1361来实现。利用这些配置中的任何配置，可以获得与上面参考图1至图25描述的每个实施方式类似的效果。
[0623]
换句话说，类似于视频装置1300的情况，只要包括视频处理器1332，任何类型的配置都可以嵌入到处理图像数据的各种类型的装置中。例如，视频处理器1332、虚线1341所示的处理器、视频模块1311或视频单元1361可以嵌入电视装置900(图27)、移动电话920(图28)、记录/再现装置940(图29)、成像装置960(图30)等。另外，类似于视频装置1300，通过嵌入应用本技术的任何配置，该装置能够获得与上面参考图1至图25描述的每个实施方式类似的效果。
[0624]
(6)第六应用示例：网络系统
[0625]
另外，本技术还适用于包括多个装置的网络系统。图34示出了应用本技术的网络系统的示意性配置的一个示例。
[0626]
图34所示的网络系统1600是设备通过网络彼此交换与图像(运动图像)有关的信息的系统。网络系统1600的云服务1601是向可通信地连接至云服务1601的终端(例如，计算机1611、视听(av)设备1612、移动信息处理终端1613、物联网(iot)设备1614)提供与图像(运动图像)有关的服务的系统。例如，云服务1601提供向终端提供图像(运动图像)内容的
服务，例如所谓的视频流(点播或直播流)。作为另一示例，云服务1601提供从终端接收和存储图像(运动图像)内容的备份服务。作为另一示例，云服务1601提供在终端之间调解图像(运动图像)内容的交换的服务。
[0627]
云服务1601的物理配置可以是任何配置。例如，云服务1601可以包括各种服务器，例如保存和管理运动图像的服务器、向终端传递运动图像的服务器、从终端获取运动图像的服务器、以及管理用户(终端)和付款的服务器，以及任何类型的网络如互联网或局域网。
[0628]
计算机1611包括信息处理装置，例如个人计算机、服务器或工作站。av设备1612包括图像处理装置，例如电视接收器、硬盘记录器、游戏机或照相机。移动信息处理终端1613包括移动信息处理装置，例如笔记本个人计算机、平板终端、移动电话或智能电话。物联网设备1614包括执行图像相关处理的任何对象，例如机器、电器、家具、其他物品、ic标签、或卡形装置。这些终端都包括通信功能，并且能够与云服务1601连接(建立会话)，并与云服务1601交换信息(即，与之通信)。此外，每个终端还能够与另一终端通信。终端之间的通信可以经过云服务1601来执行，或者可以在不经过云服务1601的情况下执行。
[0629]
当如上所述将本技术应用于网络系统1600，并且在终端之间或终端与云服务1601之间交换图像(运动图像)数据时，可以如以上在每个实施方式中所述的对图像数据进行编码/解码。换句话说，终端(从计算机1611到iot设备1614)和云服务1601各自可以包括上述图像编码装置10和图像解码装置60的功能。利用这种布置，可以在去块滤波处理中应用更合适的滤波器。
[0630]
《6.结论》
[0631]
如上所述，本公开的实施方式使得可以在去块滤波处理中应用更合适的滤波器。
[0632]
以上已经参考附图描述了本公开的优选实施方式，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种改变和修改，并且应该理解，它们将自然地落入本公开的技术范围内。
[0633]
例如，可以从编码侧向解码侧发送与上述实施方式中描述的与本技术有关的控制信息。例如，可以发送控制是否允许(或拒绝)上述本技术的应用的控制信息。此外，例如，可以发送以下控制信息：该控制信息指定允许(或拒绝)上述本技术的应用的块尺寸的上限、下限或两者。
[0634]
此外，前述实施方式描述了滤波器强度确定部分120确定是否以四条线为单位将扩展强滤波器应用于块边界的示例，但是本技术不限于这样的示例。例如，滤波器强度确定部分120可以以一条线为单位确定是否将扩展强滤波器应用于块边界。根据这种配置，更可能应用更合适的滤波器。特别地，由于扩展强滤波器是具有比现有滤波器更宽的应用范围的强大滤波器，因此通过以一条线为单位精确地做出确定，可以避免不适当地应用强大的扩展强滤波器。
[0635]
此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，并不是限制性的。也就是说，与上述效果一起或代替于上述效果，根据本公开的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。
[0636]
另外，本技术还可以如下配置。
[0637]
(1)一种图像处理装置，包括：
[0638]
解码部分，其被配置成对编码流进行解码以生成解码图像；
[0639]
确定部分，其被配置成根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于所述解码部分所生成的解码图像的块边界附近的像素，其中在所述扩展应用范围中，去块滤波器的应用范围被扩展，其中在所述扩展应用范围中，去块滤波器的应用范围被扩展；以及
[0640]
滤波部分，其被配置成将所述扩展强滤波器应用于所述确定部分确定要应用所述扩展强滤波器的像素。
[0641]
(2)根据(1)所述的图像处理装置，其中
[0642]
所述确定部分参考包括在所述扩展应用范围中的像素以确定是否应用所述扩展强滤波器。
[0643]
(3)根据(1)或(2)所述的图像处理装置，其中
[0644]
所述确定部分确定是否将具有比所述扩展强滤波器窄的应用范围的强滤波器应用于所述确定部分确定不应用所述扩展强滤波器的像素。
[0645]
(4)根据(1)或(2)所述的图像处理装置，其中
[0646]
所述确定部分确定是否在基于所述块边界的每一侧应用所述扩展强滤波器。
[0647]
(5)根据(4)所述的图像处理装置，其中
[0648]
在满足与具有比所述扩展强滤波器窄的应用范围的强滤波器有关的确定条件的情况下，所述确定部分确定是否在所述块边界的每一侧上应用所述扩展强滤波器。
[0649]
(6)根据(1)至(5)中任一项所述的图像处理装置，其中
[0650]
所述滤波部分应用具有滤波系数的所述扩展强滤波器，其中通过将与低频分量有关的滤波系数和与高频分量有关的滤波系数组合而获得所述滤波系数。
[0651]
(7)根据(6)所述的图像处理装置，其中
[0652]
与所述低频分量有关的滤波系数是具有强低频特性的滤波系数。
[0653]
(8)根据(1)所述的图像处理装置，其中
[0654]
所述滤波部分应用非对称扩展强滤波器，在所述非对称扩展强滤波器中，所述滤波器的抽头形状是不对称的。
[0655]
(9)根据(1)至(8)中任一项所述的图像处理装置，其中
[0656]
所述确定部分根据在确定所述扩展应用范围中包括的像素值的连续性时使用的像素被连续扩展的条件来执行连续性确定处理，所述连续性确定处理确定所述扩展应用范围中包括的像素值的连续性。
[0657]
(10)根据(8)所述的图像处理装置，其中
[0658]
所述确定部分根据所述块边界的状态独立地执行连续性确定处理，所述连续性确定处理确定所述扩展应用范围中包括的像素值的连续性。
[0659]
(11)根据(1)至(10)中任一项所述的图像处理装置，其中
[0660]
所述块边界是根据四叉树和二叉树的组合递归地划分的块之间的边界。
[0661]
(12)一种图像处理方法，包括：
[0662]
对编码流进行解码以生成解码图像；
[0663]
根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于所生成的解码图像的块边界附近的像素，其中在所述扩展应用范围中，去块滤波器的应用范围被扩展；以及
[0664]
将所述扩展强滤波器应用于确定要应用所述扩展强滤波器的像素。
[0665]
(13)一种图像处理装置，包括：
[0666]
确定部分，其被配置成根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于本地解码的解码图像的块边界附近的像素，其中在所述扩展应用范围中，应用于所述解码图像的块边界附近的像素的去块滤波器的应用范围被扩展；
[0667]
滤波部分，其被配置成将所述扩展强滤波器应用于所述确定部分确定要应用所述扩展强滤波器的像素；以及
[0668]
编码部分，其被配置成使用所述滤波部分已应用了所述扩展强滤波器的解码图像对图像进行编码。
[0669]
(14)一种图像处理方法，包括：
[0670]
根据包括在扩展应用范围中的像素的状态来确定是否将在所述扩展应用范围中应用的扩展强滤波器应用于本地解码的解码图像的块边界附近的像素，其中在所述扩展应用范围中，应用于所述解码图像的块边界附近的像素的去块滤波器的应用范围被扩展；
[0671]
将所述扩展强滤波器应用于确定要应用所述扩展强滤波器的像素；以及
[0672]
使用已应用了所述扩展强滤波器的解码图像对图像进行编码。
[0673]
附图标记列表
[0674]
10：图像编码装置
[0675]
11：重新排序缓冲器
[0676]
12：控制部分
[0677]
13：减法部分
[0678]
14：正交变换部分
[0679]
15：量化部分
[0680]
16：无损编码部分
[0681]
17：累积缓冲器
[0682]
18：速率控制部分
[0683]
21：逆量化部分
[0684]
22：逆正交变换部分
[0685]
23：加法部分
[0686]
24：去块滤波器
[0687]
25：sao滤波器
[0688]
26：帧存储器
[0689]
27：开关
[0690]
28：模式设置部分
[0691]
30：帧内预测部分
[0692]
40：帧间预测部分
[0693]
60：图像解码装置
[0694]
61：累积缓冲器
[0695]
62：无损解码部分
[0696]
63：逆量化部分
[0697]
64：逆正交变换部分
[0698]
65：加法部分
[0699]
67：sao滤波器
[0700]
68：重新排序缓冲器
[0701]
69：d/a转换部分
[0702]
70：帧存储器
[0703]
71：选择器
[0704]
80：帧内预测部分
[0705]
90：帧间预测部分
[0706]
110：应用需求确定部分
[0707]
120：滤波强度确定部分
[0708]
130：滤波部分。