图像处理设备和图像处理方法与流程

本公开涉及一种图像处理设备和图像处理方法，更具体地，涉及一种能够抑制图像质量劣化的图像处理设备和图像处理方法。

背景技术：

近年来，用于通过采用编码方案而对图像进行压缩和编码的设备已被广泛使用，在该编码方案中，图像信息被视为数字数据，并且此时，为了高效的信息传送和累积，通过使用对图像信息唯一的冗余性、通过诸如离散余弦变换和运动补偿的正交变换而执行压缩。编码方案包括例如mpeg(运动图片专家组)等。

具体地，mpeg-2(iso/iec13818-2)方案被定义为通用图像编码方案，并且是覆盖交织扫描图像和顺序扫描图像以及覆盖标准分辨率图像和高精度图像的标准。例如，mpeg-2方案被广泛用于专业用途和消费者用途的广泛范围的应用。通过使用mpeg2压缩方案，例如，4至8mbps的码量(比特率)被分配给具有标准分辨率720×480像素的交织扫描图像。另外，通过使用mpeg2压缩方案，例如，18至22mbps的码量(比特率)被分配给具有高分辨率1920×1088像素的交织扫描图像。因此，可实现高压缩率和良好图像质量。

mpeg-2主要应用于适合于广播的高图像质量编码，但是不对应于码量(比特率)低于mpeg1的码量(比特率)的编码方案，即，具有较高压缩率的编码方案。随着移动电话的普及，预期对编码方案的需要增加，因此，mpeg-4编码方案被标准化。关于图像编码方案，iso/iec14496-2标准在1998年12月被批准作为国际标准。

另外，近年来，为了用于电视会议的图像编码，促进了称为h.26l(itu-t(国际电信联盟电信标准化部门)q6/16vceg(视频编码专家组))的标准化。已知与诸如现有技术中的mpeg-2或mpeg-4的编码方案相比，在h.26l中，尽管需要大的计算量用于编码和解码，但是实现了较高的编码效率。另外，目前，作为mpeg-4的活动的一部分，基于h.26l并且并入h.26l中不支持的用于实现较高编码效率的功能的标准化被执行作为增强压缩视频编码的联合模型。

作为标准化的日程，标准在2003年3月被批准作为基于命名为h.264和mpeg-4部分10(高级视频编码，下文中称为avc)的国际标准。

另外，作为h.264/avc的扩展，在2005年2月完成了保真度范围扩展(frext)的标准化，包括rgb、诸如4:2:2或4:4:4的业务所需的编码工具、mpeg-2定义的8×8dct和量化矩阵。因此，h.264/avc变为能够以良好的质量表示包括在电影中的影片噪声的编码方案。因此，h.264/avc用于诸如蓝光盘(注册商标)的广泛范围的应用。

然而，近来，对于高压缩率编码的需要(例如，对为高清图像的四倍的大约4000×2000像素的图像进行压缩的需要或者用于在诸如因特网的有限传送速率环境中分发高清图像的需要)进一步增加。因此，在itu-t下的vceg中，继续研究编码效率的改进。

因此，目前，为了与avc相比进一步改进编码效率，作为itu-t和iso/iec的联合标准化体的联合协作组-视频编码(jctvc)促进了称为高效视频编码(hevc)的编码方案的标准化。关于hevc标准，在2012年2月发布了作为最初草案规范的协会草案(例如，参考非专利文献1)。

然而，在avc编码方案的帧内8×8预测模式中，对作为处理目标的当前块的邻近像素执行[121]/4滤波处理。在hevc中，根据块大小和预测模式而确定滤波处理的开/关。

另外，在hevc中，为了减小预测模式是dc模式、水平模式或垂直模式的情况的块失真，定义了边界值平滑处理。

另外，为了减少在图像的平坦部分看到轮廓的现象，提出了轮廓噪声应对处理(例如，参考非专利文献2)。

在非专利文献2中公开的方法中，通过执行阈值确定处理来识别作为处理目标的当前块的邻近像素的特征。在阈值确定处理的结果为真的情况下，即，在邻近像素具有预定特征的情况下，取代上述[121]/4滤波处理，执行双线性内插处理(称为双线性滤波处理)。

引用列表

非专利文献

非专利文献1：benjaminbross,woo-jinhan,jens-rainerohm,garyj.sullivan,thomaswiegand,"highefficiencyvideocoding(hevc)textspecificationdraft8",jctvc-h1003_d7,jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg11,10thmeeting:stockholm,se,2012年7月11日至20日

非专利文献2：tktan,y.suzuki,"contouringartefactandsolution",jctvc-k0139,jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1111thmeeting:shanghai,cn,2012年10月10日至19日

技术实现要素：

本发明要解决的问题

然而，在非专利文献2公开的方法中，阈值是固定的。即，与特征(例如，作为编码/解码处理的目标的图像数据的位深等)无关，相同的值被设置为阈值。因此，存在如下问题：其中，在选择帧内预测中对邻近像素的滤波处理时，没有选择适当的滤波器，从而使得图像质量不必要地劣化。

本公开是鉴于这样的情形而做出的，并且能够抑制图像质量的劣化。

问题的解决方案

根据本技术的一方面，提供了一种图像处理设备，该设备包括：阈值设置单元，其根据图像数据的位深而设置阈值，该阈值用于在对图像数据被编码的编码数据进行解码时的帧内预测处理中识别当前块的邻近像素的特征；以及滤波处理单元，其通过使用滤波器对邻近像素进行滤波处理，该滤波器基于通过使用阈值设置单元设置的阈值识别的邻近像素的特征。

阈值设置单元可以根据位深而对预先被确定为初始值的阈值进行位移。

在图像数据的位深为8位的情况下，阈值设置单元可以将阈值设置为8。

图像处理设备还可以包括确定单元，该确定单元确定图像数据的位深，并且阈值设置单元可以根据确定单元确定的位深来设置阈值。

图像处理设备还可以包括接收单元，该接收单元接收图像数据的位深，并且阈值设置单元可以根据接收单元接收的位深来设置阈值。

图像处理设备还可以包括接收单元，该接收单元接收根据图像数据的位深而设置的被发送的阈值，并且滤波处理单元通过使用滤波器来对邻近像素进行滤波处理，该滤波器基于通过使用接收单元接收的阈值识别的邻近像素的特征。

在表示邻近像素的特征的值超过阈值设置单元设置的阈值的情况下，滤波处理单元可以对邻近像素进行低通滤波处理。

在表示邻近像素的特征的值不超过阈值设置单元设置的阈值的情况下，滤波处理单元可以对邻近像素进行双线性滤波处理。

根据本技术的另一方面，提供了一种图像处理方法，该方法包括：根据图像数据的位深而设置阈值，该阈值用于在对图像数据被编码的编码数据进行解码时的帧内预测处理中识别当前块的邻近像素的特征；以及通过使用滤波器来对邻近像素进行滤波处理，该滤波器基于通过使用设置的阈值识别的邻近像素的特征。

在本技术的该方面中，根据图像数据的位深而设置阈值，该阈值用于在对图像数据被编码的编码数据进行解码时的帧内预测处理中识别当前块的邻近像素的特征，并且通过使用滤波器对邻近像素执行滤波处理，该滤波器基于通过使用所设置的阈值而识别的邻近像素的特征。

本发明的效果

根据本公开，可以对图像进行编码和解码。特别地，可以抑制图像质量的劣化。

附图说明

图1是示出编码单位的配置示例的图。

图2是示出角度预测的示例的图。

图3是示出平面预测的示例的图。

图4是示出最可能模式的示例的图。

图5是示出mdis(模式相关帧内预测)的示例的图。

图6是示出边界值平滑处理的示例的图。

图7是示出解码图像的示例的图。

图8是示出解码图像的另一示例的图。

图9是示出阈值确定处理的行为的示例的图。

图10是示出图像编码装置的主要配置示例的框图。

图11是示出阈值设置单元和滤波处理单元的主要配置示例的框图。

图12是示出编码处理的流程的示例的流程图。

图13是示出阈值设置处理的流程的示例的流程图。

图14是示出帧内预测处理的流程的示例的流程图。

图15是示出阈值设置处理的流程的另一示例的流程图。

图16是示出阈值设置处理的流程的又一示例的流程图。

图17是示出阈值设置单元和滤波处理单元的另一配置示例的框图。

图18是示出阈值设置处理的流程的又一示例的流程图。

图19是示出阈值设置单元和滤波处理单元的又一配置示例的框图。

图20是示出阈值设置处理的流程的又一示例的流程图。

图21是示出阈值设置处理的流程的又一示例的流程图。

图22是示出阈值设置处理的流程的又一示例的流程图。

图23是示出图像解码装置的主要配置示例的框图。

图24是示出阈值设置单元和滤波处理单元的主要配置示例的框图。

图25是示出解码处理的流程的示例的流程图。

图26是示出阈值设置处理的流程的示例的流程图。

图27是示出预测处理的流程的示例的流程图。

图28是示出帧内预测处理的流程的示例的流程图。

图29是示出阈值设置处理的流程的另一示例的流程图。

图30是示出阈值设置单元和滤波处理单元的另一配置示例的框图。

图31是示出阈值设置处理的流程的又一示例的流程图。

图32是示出阈值设置处理的流程的又一示例的流程图。

图33是示出阈值设置单元和滤波处理单元的又一配置示例的框图。

图34是示出阈值设置处理的流程的又一示例的流程图。

图35是示出阈值设置单元和滤波处理单元的又一配置示例的框图。

图36是示出阈值设置处理的流程的又一示例的流程图。

图37是示出多视点图像编码方案的示例的图。

图38是示出应用本技术的多视点图像编码装置的主要配置示例的图。

图39是示出应用本技术的多视点图像解码装置的主要配置示例的图。

图40是示出分层图像编码方案的示例的图。

图41是示出空间可伸缩编码的示例的图。

图42是示出时间可伸缩编码的示例的图。

图43是示出信噪比可伸缩编码的示例的图。

图44是示出应用本技术的分层图像编码装置的主要配置示例的图。

图45是示出应用本技术的分层图像解码装置的主要配置示例的图。

图46是示出计算机的主要配置示例的框图。

图47是示出电视机设备的示意配置示例的示例的框图。

图48是示出移动电话的示意配置示例的框图。

图49是示出记录/再现设备的示意配置示例的框图。

图50是示出成像设备的示意配置示例的框图。

图51是示出可伸缩编码的用途的示例的框图。

图52是示出可伸缩编码的用途的另一示例的框图。

图53是示出可伸缩编码的用途的又一示例的框图。

图54是示出视频机组(videoset)的示意配置示例的框图。

图55是示出视频处理器的示意配置示例的框图。

图56是示出视频处理器的另一示意配置示例的框图。

图57是示出内容再现系统的配置的图。

图58是示出内容再现系统中的数据流程的图。

图59是示出mpd的具体示例的描述图。

图60是示出内容再现系统的内容服务器的配置的功能框图。

图61是示出内容再现系统的内容再现设备的配置的功能框图。

图62是示出内容再现系统的内容服务器的配置的功能框图。

图63是示出无线通信系统中的每个设备的通信处理的示例的序列图。

图64是示出无线通信系统中的每个设备的通信处理的示例的序列图。

图65是示出在无线通信系统中的每个设备的通信处理中传送/接收的帧格式的配置示例的示意图。

图66是示出无线通信系统中的每个设备的通信处理的示例的序列图。

具体实施方式

在下文中，将描述用于实现本公开的实施例(在下文中，称为实施例)。另外，按以下顺序进行描述。

0.概况

1.第一实施例(图像编码装置)

2.第二实施例(图像解码装置)

3.第三实施例(多视点图像编码/多视点图像解码装置)

4.第四实施例(分层图像编码·分层图像解码装置)

5.第五实施例(计算机)

6.应用的示例

7.可伸缩编码的应用的示例

8.第六实施例(机组/单元/模块/处理器)

9.第七实施例(mpeg-dash的内容再现系统的应用的示例)

10.第八实施例(wi-fi标准的无线通信系统的应用的示例)

<0.概况>

<编码方案>

在下文中，将在本技术应用于hevc(高效视频编码)方案中的图像编码/解码的示例中描述本技术。

<编码单位>

在avc(高级视频编码)方案中，定义具有宏块和子宏块的分层结构。然而，16×16像素的宏块对于作为下一代编码方案的对象的称为uhd(超高清，4000×2000像素)的大图像帧不是最佳的。

另一方面，在hevc方案中，如图1所示，定义编码单位(cu)。

cu也称为编码树块(ctb)并且是以图片为单位的图像的局部区域，其具有与avc方案中的宏块相同的功能。宏块的大小固定为16×16像素，但是cu的大小不固定，而是在每个序列中在图像压缩信息中被指定。

例如，在包括在输出编码数据的序列参数集(sps)中，定义cu的最大大小(lcu(最大编码单位))和cu的最小大小(scu(最小编码单位))。

在每个lcu中，cu可以通过在cu的大小不小于scu的大小的范围内设置split_flag＝1而被分割成具有较小大小的cu。在图1的示例中，lcu的大小是128，并且最大分层深度是5。当split_flag的值是“1”时，大小为2n×2n的cu被分割成布置在低一级的层中的大小为n×n的cu。

另外，cu被分割成作为变为帧内或帧间预测的处理单位的区域(以图片为单位的图像的局部区域)的预测单位(pu)，或者cu被分割成作为变为正交变换的处理单位的区域(以图片为单位的图像的局部区域)的变换单位(tu)。目前，在hevc方案中，除了4×4正交变换和8×8正交变换之外，还可以使用16×16正交变换和32×32正交变换。

与上述hevc方案相同，在定义cu并且以cu为单位执行各种处理的编码方案中，认为avc方案中的宏块对应于lcu，并且块(子块)对应于cu。另外，认为avc方案中的运动补偿块对应于pu。然而，由于cu具有分层结构，因此最上层的lcu的大小(例如，128×128像素)一般被设置为大于avc方案的宏块的大小。

因此，在下文中，假设lcu包括avc方案中的宏块，并且假设cu包括avc方案的块(子块)。即，用于以下描述的“块”表示图片内的任意局部区域，并且其大小、形状、特征等不受限制。即，“块”包括例如tu、pu、scu、cu、lcu、子块、宏块或任意区域(处理单位)，诸如切片。另外，还包括其它局部区域(处理单位)。在需要限制大小、处理单位等的情况下，将进行其适当的描述。

<模式选择>

然而，为了在avc或hevc编码方案中实现更高的编码效率，重要的是选择适当的预测模式。

作为相关联的选择方案的示例，存在并入称为jm(联合模型)的h.264/mpeg-4avc的参考软件(在http://iphome.hhi.de/suehring/tml/index.htm中公开)中的方法。

在jm中，可以选择以下描述的高复杂度模式和低复杂度模式两种模式确定方法。在两种方法中，计算关于各个预测模式mode的成本函数值，并且选择其成本函数值最小化的预测模式作为用于相关联的块或宏块的最佳模式。

高复杂度模式下的成本函数由以下公式(1)来表示。

[数学式1]

cost(mode∈ω)＝d+λ*r...(1)

这里，ω表示用于对相关联的块或宏块进行编码的候选模式的总集合，并且d表示在以该预测模式进行编码的情况下解码图像与输入图像之间的差值能量。λ表示作为量化参数的函数而给出的拉格朗日乘数。r表示在以该模式进行编码的情况下的包括正交变换系数的总码量。

即，当期望执行高复杂度模式下的编码时，为了计算上述参数d和r，需要在每个候选模式中执行一次初步编码处理，从而需要较高的计算量。

低复杂度模式下的成本函数由以下公式(2)来表示。

[数学式2]

cost(mode∈ω)＝d+qp2quant(qp)*headerbit...(2)

这里，与高复杂度模式的情况不同，d变为预测图像与输入图像之间的差值能量。qp2quant(qp)被给出作为量化参数qp的函数，headerbit是关于包括在头部中的信息的码量，该头部不包括正交变换系数并且被称为运动矢量或模式。

即，在低复杂度模式下，尽管需要执行每个候选模式下的预测处理，但是由于不需要解码图像，因此不需要执行编码处理。因此，与高复杂度模式相比，可以以较低的计算量来实现。

<帧内预测>

在avc中，存在帧内4×4预测、帧内8×8预测和帧内16×16预测。在hevc中，如图2所示，角度预测被应用于4×4至64×64像素块。

即，在avc中，如图2的a所示，通过8-方向+dc预测来执行帧内预测处理。相比之下，在hevc中，如图2的b所示，通过32-方向+dc预测来执行帧内预测处理。因此，改进了预测精度。

另外，在hevc中，如图3所示，定义了平面预测。

在平面预测处理中，通过双线性内插根据作为处理目标的当前块的邻近像素(已编码的像素)来生成包括在当前块中的预测像素。平面预测处理可以改进对于存在等级(gradation)的区域的编码效率。

在hevc中，如图4所示，使用三个最可能的预测模式以帧内预测模式来执行编码处理。即，在当前块上方与当前块相邻的邻近块的帧内预测模式(上方)、在当前块左方与当前块相邻的邻近块的帧内预测模式(左方)和上述邻近块的帧内预测模式的组合(上方和左方)用作帧内预测模式的候选(有时称为候选模式)，并且在这三种候选模式当中，最佳模式被用作用于当前块的帧内预测模式。

如果用于当前块的预测模式等于任意最可能的模式，则传送索引号。如果不是，则通过5位的固定长度来传送预测块的模式信息。

<帧内预测中的滤波处理>

图5是描述在hevc中规定的mdis(模式相关帧内平滑)的图。

在avc的情况下，如图5所示，以帧内8×8预测模式对当前块的邻近像素执行[121]/4滤波处理。另一方面，在hevc中，根据块大小和预测模式来确定滤波处理的开/关(即，是否施加滤波处理)。

更具体地，在当前块的块大小为4×4的情况下，不施加滤波处理。在当前块的块大小是8×8的情况下，在45度方向的预测模式下，施加滤波处理。在当前块的块大小是16×16的情况下，在除靠近水平方向的3个方向和靠近垂直方向的3个方向之外的方向的预测模式下，施加滤波处理。在当前块的块大小是32×32的情况下，在除水平方向和垂直方向之外的方向的预测模式下，施加滤波处理。

此外，在hevc中，为了减小预测模式是dc模式、水平模式或垂直模式的情况下的块失真，规定图6所示的边界值平滑处理。

例如，在预测模式是dc模式的预测(dc预测)的情况下，对与作为处理目标的当前块的上侧(顶部)相邻的邻近像素和与当前块的左侧(左部)相邻的邻近像素两者执行图6所示的滤波处理(平滑处理)。另外，在预测模式是水平模式的预测(水平预测)的情况下，对与当前块的上侧(顶部)相邻的邻近像素执行图6所示的滤波处理(平滑处理)。在预测模式是垂直模式的预测(垂直预测)的情况下，对与当前块的左侧(左部)相邻的邻近像素执行图6所示的滤波处理(平滑处理)。

在通过上述帧间预测对图像进行编码/解码的情况下，在所获得的解码图像中，存在如图7的区域11所示的亮度、颜色、浓度等的改变平坦的部分，并且出现浓度不规则的条形(所谓的弯曲)，从而可能发生看到轮廓的现象。

因此，提出了在非专利文献2中公开的轮廓噪声应对处理。通过执行在非专利文献2中公开的轮廓噪声应对处理，如图8所示抑制了解码图像的区域11中发生的弯曲，从而可以获得平滑的等级。

更详细地描述了在非专利文献2中公开的轮廓噪声应对处理。图9是示出轮廓噪声应对处理的行为的示例的图。在轮廓噪声应对处理中，首先，通过使用图9所示的当前块的邻近像素来执行由以下公式(3)和(4)表示的阈值确定处理。

[数学式3]

interpolate_above＝abs(al+ar–2*ref[3n])<threshold_above...(3)

interpolate_left＝abs(bl+al–2*ref[n])<threshold_left...(4)

在公式(3)中，阈值threshold的值被设置为固定为8。通过阈值确定处理，确定当前块的邻近像素的特征。即，确定当前块的外围是否是亮度、颜色、浓度等的改变平坦从而可能发生弯曲的部分。在阈值确定处理的结果为真的情况下，即，在确定当前块的外围是亮度、颜色、浓度等的改变平坦从而可能发生弯曲的部分的情况下，取代参照图5描述的滤波处理，对图9所示的当前块的邻近像素执行由以下公式(5)至(9)表示的双线性内插处理。

[数学式4]

ref'[0]＝ref[0]...(5)

ref'[i]＝bl+i*(al–bl+n)/2n(i＝1to2n–1)...(6)

ref'[2n]＝ref[2n]...(7)

ref'[2n+i]＝al+i*(ar–al+n)/2n(i＝1to2n–1)...(8)

ref'[4n]＝ref[4n]...(9)

该处理仅被施加到32×32块，并且在序列参数集(sps)中规定表示是否施加处理的标志(开/关)。

然而，在非专利文献2公开的方法中，阈值被设置为固定。因此，存在如下问题：在选择帧内预测中对邻近像素的滤波处理时，没有执行适当的选择，从而使得图像质量不必要地劣化。

在阈值确定处理中，如公式(3)和(4)所表示的，将根据当前块的邻近像素的像素值计算的值与阈值彼此进行比较。然而，如果阈值被设置为固定，则在一些情况，认为该值对于例如图像数据的位深不合适。在该情况下，存在如下问题：作为上述阈值确定处理的结果，没有获得合适的确定结果，并且没有选择适当的滤波器，因此解码图像的图像质量不必要地劣化。

另外，考虑例如图像数据的位深在编码/解码时在内部计算中改变。在该情况下，类似地，存在如下问题：固定阈值不适合于内部计算中的位深，并且获得阈值确定处理的不合适结果，从而使得解码图像的图像质量不必要地劣化。

另外，解码图像的图像质量例如不能通过用户等调整阈值来调整。

因此，在本技术中，阈值被设置为可变的。例如，允许根据图像数据的位深来设置阈值。这样，可以抑制图像质量的劣化。另外，通过将阈值设置为可变的，可以调整解码图像的图像质量。

接下来，关于上述本技术，将描述对特定装置的应用示例。

<1.第一实施例>

<图像编码装置>

图10是示出作为应用本技术的一种图像处理设备的图像编码装置的配置示例的框图。图10所示的图像编码装置100通过使用例如hevc的预测处理或者相当于hevc的方案中的预测处理来对运动图像的图像数据进行编码。

如图10所示，图像编码装置100被配置成包括a/d转换器101、屏幕重排缓冲器102、算术单元103、正交变换单元104、量化单元105、无损编码单元106、累积缓冲器107、逆量化单元108和逆正交变换单元109。另外，图像编码装置100被配置成包括算术单元110、环路滤波器111、帧存储器112、帧内预测单元113、帧间预测单元114、预测图像选择单元115和速率控制单元116。

a/d转换器101对输入图像数据进行a/d转换，并且将转换后的图像数据(数字数据)提供到屏幕重排缓冲器102以存储转换后的图像数据。屏幕重排缓冲器102通过根据gop(图片组)使用用于编码的帧顺序对以所存储的用于显示的帧顺序的图像进行重排并且将其帧顺序被重排的图像提供到算术单元103。另外，屏幕重排缓冲器102还将其帧顺序被重排的图像提供到帧内预测单元113和帧间预测单元114。

算术单元103从自屏幕重排缓冲器102读取的图像减去通过预测图像选择单元115从帧内预测单元113或帧间预测单元114提供的预测图像，并且将其差别信息输出到正交变换单元104。例如，在对其执行帧内编码的图像的情况下，算术单元103从自屏幕重排缓冲器102读取的图像中减去从帧内预测单元113提供的预测图像。另外，例如，在对其执行帧间编码的图像的情况下，算术单元103从自屏幕重排缓冲器102读取的图像中减去从帧间预测单元114提供的预测图像。

正交变换单元104对从算术单元103提供的差别信息执行诸如离散余弦变换或卡洛变换的正交变换。正交变换单元104将其变换系数提供到量化单元105。

量化单元105对从正交变换单元104提供的变换系数执行量化。量化单元105基于关于从速率控制单元116提供的码量的目标值的信息而设置量化参数，并且执行其量化。量化单元105将量化后的变换系数提供到无损编码单元106。

无损编码单元106以任意编码方案对在量化单元105中量化的变换系数进行编码。由于在速率控制单元116的控制下对系数数据进行量化，因此码量变为由速率控制单元116设置的目标值(或者码量接近目标值)。

另外，无损编码单元106从帧内预测单元113获取表示帧内预测模式的信息等，并且从帧间预测单元114获取表示帧间预测模式的信息、差别运动矢量信息等。

无损编码单元106以任意编码方案对各种信息进行编码以用作编码数据(有时称为编码流)的头部信息的一部分。无损编码单元106将通过编码获得的编码数据提供到累积缓冲器107以累积编码数据。

无损编码单元106的编码方案包括例如可变长度编码、算术编码等。可变长度编码包括例如在h.264/avc方案中定义的cavlc(上下文自适应可变长度编码)等。算术编码包括例如cabac(上下文自适应二进制算术编码)等。

累积缓冲器107暂时存储从无损编码单元106提供的编码数据。累积缓冲器107在预定定时将所存储的编码数据输出到图像编码装置100的外部。即，累积缓冲器107还是传送编码数据的传送单元。

另外，在量化单元105中量化的变换系数也被提供到逆量化单元108。逆量化单元108以与量化单元105的量化对应的方法对量化后的变换系数执行逆量化。逆量化单元108将所获得的变换系数提供到逆正交变换单元109。

逆正交变换单元109以与正交变换单元104的正交变换处理对应的方法对从逆量化单元108提供的变换系数执行逆正交变换。逆正交变换后的输出(恢复的差别信息)被提供到算术单元110。

算术单元110将通过预测图像选择单元115从帧内预测单元113或帧间预测单元114提供的预测图像与作为从逆正交变换单元109提供的逆正交变换结果的所恢复的差别信息相加，以获得局部恢复图像(在下文中称为重构图像)。重构图像被提供到环路滤波器111或帧内预测单元113。

环路滤波器111对从算术单元110提供的重构图像适当地执行滤波处理，包括解块滤波、自适应滤波等。例如，环路滤波器111通过对重构图像执行解块滤波处理而去除重构图像的块失真。另外，例如，环路滤波器111通过使用维纳滤波器对解块滤波处理结果(去除了块失真的重构图像)执行环路滤波处理而改进图像质量。

另外，环路滤波器111还可对重构图像执行任何其它任意滤波处理。另外，如果需要，环路滤波器111可将诸如用于滤波处理的滤波器系数的信息提供到无损编码单元106，从而可对该信息进行编码。

环路滤波器111将滤波处理结果(下文中称为解码图像)提供到帧存储器112。

帧存储器112存储所提供的解码图像，并且在预定定时，帧存储器将所存储的解码图像作为参考图像提供到帧间预测单元114。

帧内预测单元113执行通过使用作为从算术单元110提供作为参考图像的重构图像的处理目标图片中的像素值而生成预测图像的帧内预测(屏幕内预测)。帧内预测单元113以多种预定帧内预测模式执行帧内预测。

帧内预测单元113以作为候选的所有帧内预测模式而生成预测图像，并且通过使用从屏幕重排缓冲器102提供的输入图像而评估每个预测图像的成本函数值以选择最佳模式。一旦帧内预测单元113选择了最佳帧内预测模式，帧内预测单元就将以最佳模式所生成的预测图像提供到预测图像选择单元115。

另外，如上所述，帧内预测单元113适当地将表示所选择的帧内预测模式的帧内预测模式信息等提供到无损编码单元106，以执行编码。

帧间预测单元114通过使用从屏幕重排缓冲器102提供的输入图像和从帧存储器112提供的参考图像而执行帧间预测处理(运动预测处理和运动补偿处理)。更具体地，帧间预测单元114根据通过执行作为帧间预测处理的运动预测而检测的运动矢量来执行运动补偿处理，以生成预测图像(帧间预测图像信息)。帧间预测单元114以多种预定帧间预测模式执行帧间预测。

帧间预测单元114以作为候选的所有帧间预测模式生成预测图像。帧间预测单元114通过使用从屏幕重排缓冲器102提供的输入图像、所生成的差别运动矢量的信息等而评估每个预测图像的成本函数值，以选择最佳模式。一旦帧间预测单元114选择了最佳帧间预测模式，帧间预测单元就将以最佳模式生成的预测图像提供到预测图像选择单元115。

帧间预测单元114将表示所选择的帧间预测模式的信息或者在对编码数据进行解码时以帧间预测模式执行处理所需的信息提供到无损编码单元106，以执行编码。所需的信息包括例如所生成的差别运动矢量的信息、作为预测运动矢量信息的表示预测运动矢量的索引的标志等。

预测图像选择单元115选择要提供到算术单元103或算术单元110的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元115选择帧内预测单元113作为预测图像的提供源，并且将从帧内预测单元113提供的预测图像提供到算术单元103或算术单元110。另外，例如，在帧间编码的情况下，预测图像选择单元115选择帧间预测单元114作为预测图像的提供源，并且将从帧间预测单元114提供的预测图像提供到算术单元103或算术单元110。

速率控制单元116基于累积在累积缓冲器107中的编码数据的码量而控制量化单元105的量化操作的速率，以使得不发生上溢或下溢。

图像编码装置100被配置成还包括阈值设置单元121和滤波处理单元122。

阈值设置单元121设置用于在滤波处理单元122中执行的对帧内预测的当前块的邻近像素的滤波处理的阈值，并且将表示所设置的阈值(更新后阈值)的阈值信息提供到滤波处理单元122。

例如，阈值设置单元121可根据作为编码目标的图像数据的位深而设置阈值。

在该情况下，例如，阈值设置单元121可获取作为从无损编码单元106作为序列参数集(sps)等传送到解码侧的参数的关于图像数据的位深的信息，基于关于位深的信息而确定图像数据的位深，并且根据位深而设置阈值。另外，例如，阈值设置单元121可从屏幕重排缓冲器102获取图像信息(图像数据或关于图像数据的信息)，基于图像信息(通过分析图像信息)确定图像数据的位深，并且根据位深而设置阈值。

另外，在该情况下，例如，阈值设置单元121可通过根据所确定的位深对预定阈值的初始值(例如，8)进行位移而更新阈值。此时，例如，适合于位深为8位的情况的值可预先确定作为初始值，并且阈值设置单元121可根据图像数据的实际位深与8位之间的位数差而对初始值进行位移。

另外，在该情况下，例如，阈值设置单元121可将表示更新后阈值的阈值信息提供到无损编码单元106，以使得序列参数集(sps)、图片参数集(pps)等可被传送到解码侧。此时，例如，阈值设置单元121可对阈值信息进行编码(例如，哥伦布编码(golomb-encode))，并且提供作为阈值编码信息。另外，例如，在阈值设置单元121基于图像信息确定图像数据的位深并且阈值设置单元将关于位深的信息提供到无损编码单元106的情况下，使得序列参数集(sps)、图片参数集(pps)等可被传送到解码侧。此时，例如，阈值设置单元121可对关于位深的信息进行编码(例如，哥伦布编码)，并且提供作为位深编码信息。

另外，在该情况下，例如，阈值设置单元121可生成表示阈值是否被更新(改变)的标志信息(阈值改变标志)，并且将阈值改变标志提供到无损编码单元106以将阈值改变标志传送到解码侧。这样，在解码侧(例如，图像解码装置)中，可以基于阈值改变标志的值而容易地识别阈值是否被更新(改变)。即，在解码侧(例如，图像解码装置)中，与编码侧(例如，图像编码装置100)类似，可以容易地控制是否执行更新(改变)阈值的处理。

另外，例如，阈值设置单元121可根据诸如用户指定的外部指定而设置阈值。在该情况下，用户等指定的值对应于上述更新后值。即，对应于该值的阈值被提供到滤波处理单元122。

在该情况下，例如，阈值设置单元121可将表示所设置的阈值的阈值信息提供到无损编码单元106，使得序列参数集(sps)、图片参数集(pps)等可被传送到解码侧。此时，例如，阈值设置单元121可对阈值信息进行编码(例如，哥伦布编码)，并且提供作为阈值编码信息。

另外，在该情况下，例如，阈值设置单元121可生成阈值改变标志，并且将阈值改变标志提供到无损编码单元106以将阈值改变标志传送到解码侧。

另外，例如，阈值设置单元121可根据作为编码目标的图像数据的位深而更新(改变)用户等在外部指定的阈值。

在该情况下，例如，阈值设置单元121可从无损编码单元106获取关于图像数据的位深的信息，并且基于关于位深的信息而确定图像数据的位深。另外，例如，阈值设置单元121可从屏幕重排缓冲器102获取图像信息，并且基于该图像信息而确定图像数据的位深。

另外，在该情况下，例如，阈值设置单元121可通过根据所确定的位深对用户等在外部指定的阈值进行位移而更新阈值。此时，例如，可指定适合于位深为8位的情况的阈值，并且阈值设置单元121可根据图像数据的实际位深与8位之间的位数差而对所指定的阈值进行位移。

例如，用户等在外部指定的阈值被定义为contouring_artefact_threshold。contouring_artefact_threshold被指定为与作为编码目标的图像数据的位深为8位的情况对应的值。在图像数据的实际位深为n位(n≥8)的情况下，阈值设置单元121可通过使用以下公式(10)而对contouring_artefact_threshold进行位移。

[数学式5]

contouring_artefact_threshold<<(n–8)...(10)

另外，在该情况下，例如，阈值设置单元121可将表示更新后阈值的阈值信息提供到无损编码单元106，使得序列参数集(sps)、图片参数集(pps)等可被传送到解码侧。此时，例如，阈值设置单元121可对阈值信息进行编码(例如，哥伦布编码)，并且提供作为阈值编码信息。

另外，在该情况下，例如，阈值设置单元121可将表示更新前阈值(由诸如用户的外侧指定的阈值)的阈值信息提供到无损编码单元106，使得序列参数集(sps)、图片参数集(pps)等可被传送到解码侧。此时，例如，阈值设置单元121可对阈值信息进行编码(例如，哥伦布编码)，并且提供作为阈值编码信息。

此时，另外，阈值设置单元121可将关于位深的信息提供到无损编码单元106，使得序列参数集(sps)、图片参数集(pps)等可被传送到解码侧。此时，例如，阈值设置单元121可对关于位深的信息进行编码(例如，哥伦布编码)，并且提供作为位深编码信息。

另外，在该情况下，例如，阈值设置单元121生成阈值改变标志并且将该阈值改变标志提供到无损编码单元106，使得序列参数集(sps)、图片参数集(pps)等可被传送到解码侧。

另外，阈值设置单元121可基于除位深之外的任意参数而执行阈值的设置(更新)。另外，尽管阈值的初始值是任意的，但是初始值可以是例如“8”。另外，通过将“0”设置为阈值，阈值设置单元121禁止施加双线性内插处理，使得可以施加参照图5描述的滤波处理。即，在阈值是“0”的情况下，禁止在非专利文献2中公开的方法。

滤波处理单元122从阈值设置单元121获取阈值信息，并且通过使用阈值对作为帧内预测处理的目标的当前块的邻近像素执行滤波处理。例如，滤波处理单元122可通过使用从阈值设置单元121获取的阈值而执行公式(3)和(4)表示的阈值确定处理，以识别当前块的邻近像素的特征。

另外，例如，在确定结果为假的情况下，即，在当前块的外围被确定为不是亮度、颜色、浓度等的改变平坦的部分的情况下，滤波处理单元122可对邻近像素执行参照图5描述的滤波处理(有时称为低通滤波处理)。

另外，例如，在确定结果为真的情况下，即，在当前块的外围被确定为亮度、颜色、浓度等平坦的部分的情况下，滤波处理单元122可取代低通滤波处理而执行如公式(5)至(9)表示的双线性内插处理(有时称为双线性滤波处理)。

一旦滤波处理单元122从帧内预测单元113获取到作为处理目标的当前块的邻近像素，滤波处理单元就对邻近像素执行上述滤波处理。接下来，滤波处理单元122将滤波处理后邻近像素提供到帧内预测单元113。帧内预测单元113通过使用滤波处理后邻近像素而执行帧内预测。这样，帧内预测单元113可生成反映滤波处理的结果的预测图像。

即，如上所述，由于阈值设置单元121可以根据图像数据的位深等而设置用于在对图像数据编码时帧内预测处理中识别当前块的邻近像素的特征的阈值，因此帧内预测单元113可以生成反映适合于图像数据的滤波处理的结果的预测图像。即，图像编码装置100可以抑制诸如解码图像中的弯曲的噪声的发生，并且可以抑制解码图像的图像质量的劣化。

另外，如上所述，由于阈值设置单元121可以根据诸如用户指定的外部指定而设置阈值，因此帧内预测单元113可以将图像质量的外部指定(诸如用户指定)反映在预测图像上。即，图像编码装置100可以控制解码图像的图像质量。

另外，如参照图5、公式(5)至(9)等描述的，可根据帧内预测模式(即，当前块的块大小)而控制滤波处理单元122对当前块的邻近像素施加滤波处理的方法。

另外，在图像数据的位深如例如8位一样小的情况下，显著地观察到图7所示的弯曲(轮廓失真)。然而，在位深如10位一样大的情况下，抑制了(视觉上不明显)弯曲。因此，可提供施加非专利文献2中公开的双线性滤波处理的位深的上限。例如，非专利文献2中公开的双线性滤波处理可仅应用于位深为8位的情况，并且双线性滤波处理可不应用于其它情况。

另外，非专利文献2中公开的双线性滤波处理可仅应用于亮度信号的处理。然而，双线性滤波处理可应用于色差信号的处理。即，本技术可应用于色差信号以及亮度信号。

另外，在输入信号是4:4:4或rgb并且独立地对每个颜色分量通道进行处理的情况下，本技术可独立地应用于每个通道。

另外，在执行分层图像编码(可伸缩编码)/分层图像解码(可伸缩解码)的情况下，例如，阈值、诸如位深的参数、标志等可允许仅被传送到基本层，并且在非基本层(增强层)中，可允许参考传送到基本层的参数、标志等。

<阈值设置单元/滤波处理单元>

图11是示出在图10的阈值设置单元121根据作为编码目标的图像数据的位深而设置阈值的情况下的阈值设置单元121和滤波处理单元122的主要配置示例的框图。

在图11的示例中，阈值设置单元121被配置成包括位深确定单元131、阈值位移单元132和编码单元133。

位深确定单元131确定作为编码目标的图像数据的位深，并且将表示位深的信息提供到阈值位移单元132。

例如，位深确定单元131从无损编码单元106获取关于图像数据的位深的信息，并且基于关于位深的信息而确定图像数据的位深。另外，例如，位深确定单元131从屏幕重排缓冲器102获取图像信息，并且基于图像信息而确定图像数据的位深。

另外，在将表示所确定的位深的信息传送到解码侧的情况下，位深确定单元131还将表示位深的信息提供到编码单元133。

阈值位移单元132通过根据从位深确定单元131提供的表示位深的信息对预先定义的预定阈值(初始值)进行位移而更新(改变)阈值。

例如，在阈值位移单元132中，适合于位深为8位的情况的值被预先设置为阈值的初始值。一旦阈值位移单元132从位深确定单元131获取到表示位深的信息，则阈值位移单元根据该信息表示的图像数据的位深与8位之间的位数差而对初始值进行位移。

阈值位移单元132将表示更新(改变)后阈值的信息(阈值信息)提供到滤波处理单元122的邻近像素确定单元142。

另外，在将表示更新(改变)后阈值的阈值信息传送到解码侧的情况下，阈值位移单元132还将阈值信息提供到编码单元133。

编码单元133对所提供的信息进行哥伦布编码，并且将所获得的哥伦布码提供到无损编码单元106以将该哥伦布码传送到解码侧。例如，在将表示位深的信息传送到解码侧的情况下，编码单元133从位深确定单元131获取表示位深的信息，并且对表示位深的信息执行哥伦布编码。编码单元133将所获得的表示位深的信息的哥伦布码(有时称为位深编码信息)提供到无损编码单元106以将该哥伦布码传送到解码侧。

另外，例如，在将表示更新(改变)后阈值的阈值信息传送到解码侧的情况下，编码单元133从阈值位移单元132获取表示更新(改变)后阈值的阈值信息，并且对该阈值信息进行哥伦布编码。编码单元133将所获得的阈值信息的哥伦布码(有时称为阈值编码信息)提供到无损编码单元106以将该哥伦布码传送到解码侧。

另外，编码单元133可生成表示阈值是否被更新(改变)的阈值改变标志，并且将该阈值改变标志提供到无损编码单元106以将该阈值改变标志传送到解码侧。

另外，如图11所示，滤波处理单元122被配置成包括模式/块大小缓冲器141、邻近像素确定单元142、滤波器确定单元143、低通滤波器单元144和双线性滤波器单元145。

模式/块大小缓冲器141从帧内预测单元113获取相对于作为候选的预测模式关于当前块的块大小和模式的信息(模式/块大小)，并且存储该信息。

在预定定时或者基于外部请求，模式/块大小缓冲器141将所存储的关于块大小的信息(块大小)提供到邻近像素确定单元142。另外，在预定定时或者基于外部请求，模式/块大小缓冲器141将所存储的关于模式的信息(模式)和所存储的关于块大小的信息(块大小)提供到滤波器确定单元143。

邻近像素确定单元142从帧内预测单元113获取相对于作为候选的预测模式与当前块的上侧和左侧相邻的邻近像素。另外，邻近像素确定单元142从阈值位移单元132获取阈值信息。另外，邻近像素确定单元142从模式/块大小缓冲器141获取关于块大小的信息(块大小)。

在当前块具有预定大小(例如，32×32)(或者预定范围内的大小)的模式的情况下，邻近像素确定单元142通过使用从阈值位移单元132获取的阈值信息，基于从模式/块大小缓冲器141获取的关于块大小的信息，对从帧内预测单元113获取的邻近像素执行用于选择要用于滤波处理的滤波器的阈值确定处理。即，邻近像素确定单元142确定邻近像素的特征(例如，确定是否为亮度、颜色、浓度等的改变平坦的部分的像素)。

邻近像素确定单元142将确定结果提供到滤波器确定单元143。另外，邻近像素确定单元142将从帧内预测单元113获取的当前块的邻近像素提供到低通滤波器单元144和双线性滤波器单元145。

滤波器确定单元143从模式/块大小缓冲器141获取关于模式的信息(模式)和关于块大小的信息(块大小)。另外，滤波器确定单元143从邻近像素确定单元142获取阈值确定处理的确定结果。滤波器确定单元143通过使用所获取的信息和结果而确定要执行的滤波处理的类型及其应用方法。例如，滤波器确定单元143确定低通滤波处理和双线性滤波处理中的任意一个是否被应用于当前块的邻近像素，如何执行滤波处理等。

滤波器确定单元143根据确定而将控制滤波处理的执行的控制信息提供到低通滤波器单元144和双线性滤波器单元145。即，滤波器确定单元143将指示如何执行滤波处理的控制信息提供到在低通滤波器单元144与双线性滤波器单元145之间选择的处理单元，并且将指示停止滤波处理的控制信息(即，指示不执行滤波处理的控制信息)提供到未选择的处理单元。

低通滤波器单元144根据从滤波器确定单元143提供的控制信息，对从邻近像素确定单元142提供的当前块的邻近像素执行参考图5描述的低通滤波处理。低通滤波器单元144将施加了低通滤波处理的邻近像素(滤波处理后邻近像素)提供到帧内预测单元113。

双线性滤波器单元145根据从滤波器确定单元143提供的控制信息，对从邻近像素确定单元142提供的当前块的邻近像素执行参照公式(5)至(9)描述的双线性滤波处理。双线性滤波器单元145将施加了双线性滤波处理的邻近像素(滤波处理后邻近像素)提供到帧内预测单元113。

这样，阈值设置单元121可以根据图像数据的位深而设置阈值(适合于位深)，滤波处理单元122可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器而对邻近像素执行滤波处理，并且帧内预测单元113可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。即，这样，图像编码装置100可以抑制解码图像的图像质量的劣化。

<编码处理的流程>

接下来，将参照图12的流程图描述图10所示的图像编码装置100执行的编码处理的流程的示例。

在步骤s101中，a/d转换器101对输入图像进行a/d转换。在步骤s102中，屏幕重排缓冲器102存储a/d转换后的图像并且执行从每个图片的显示顺序到编码顺序的重排。

在步骤s103中，阈值设置单元121设置用于在对图像数据编码时帧内预测处理中识别当前块的邻近像素的特征的阈值。

在步骤104中，帧内预测单元113以帧内预测模式执行帧内预测处理。这里，在一些情况下，滤波处理单元122通过使用在步骤s103中设置的阈值而对当前块的邻近像素执行滤波处理。在执行滤波处理的情况下，帧内预测单元113通过使用施加了滤波处理的邻近像素而执行帧内预测。

在步骤s105中，帧间预测单元114执行用于以帧间预测模式执行运动预测或运动补偿的帧间预测处理。

在步骤s106中，预测图像选择单元115基于从帧内预测单元113和帧间预测单元114输出的成本函数值而确定最佳模式。即，预测图像选择单元115选择帧内预测单元113生成的预测图像和帧间预测单元114生成的预测图像中的任一个。

在步骤s107中，算术单元103计算通过步骤s102的处理重排的图像与通过步骤s106的处理选择的预测图像之间的差。与原始图像数据的数据量相比，差别数据的数据量减小。因此，与在图像没有被处理的状态下对图像进行编码的情况相比，可以压缩数据量。

在步骤s108中，正交变换单元104对通过步骤s106的处理生成的差信息执行正交变换。在步骤s109中，量化单元105通过使用速率控制单元116计算的量化参数，对通过步骤s108的处理获得的正交变换系数执行量化。

在步骤s110中，逆量化单元108通过使用与量化单元105的特性对应的特性，对通过步骤s109的处理生成的量化后系数(有时称为量化系数)执行逆量化。在步骤s111中，逆正交变换单元109对通过步骤s110的处理获得的正交变换系数执行逆正交变换。

在步骤s112中，算术单元110将预测图像与局部解码的差别信息相加以生成局部解码图像(与算术单元103的输入对应的图像)。

在步骤s113中，环路滤波器111对通过步骤s112的处理生成的图像执行滤波处理。因此，去除了块失真。

在步骤s114中，帧存储器112存储通过步骤s113的处理施加了环路滤波处理的解码图像。

在步骤s115中，无损编码单元106对通过步骤s109的处理量化的系数进行编码。即，对与差别图像对应的数据执行诸如可变长度编码或算术编码的无损编码。

另外，此时，无损编码单元106对关于通过步骤s106的处理选择的预测图像的预测模式的信息进行编码，并且将该信息与通过对差别图像进行编码而获得的编码数据相加。即，无损编码单元106对从帧内预测单元113提供的最佳帧内预测模式信息进行编码，或者根据从帧间预测单元114提供的最佳帧间预测模式而对该信息进行编码，以将该信息与编码数据相加。

在步骤s116中，累积缓冲器107累积通过步骤s115的处理获得的编码数据。累积在累积缓冲器107中的编码数据被适当地读出并通过传送线或记录介质被传送到解码侧。

在步骤s117中，速率控制单元116基于通过步骤s116的处理累积在累积缓冲器107中的编码数据的码量(发生码量)而控制量化单元105的量化操作的速率，以使得不发生上溢或下溢。另外，速率控制单元116将表示量化参数的信息提供到量化单元105。

一旦步骤s117的处理结束，则编码处理结束。

<阈值设置处理的流程>

接下来，将参照图13的流程图描述在图11的示例的阈值设置单元121基于关于位深的信息而确定图像数据的位深的示例中在图12的步骤s103中执行的阈值设置处理的流程的示例。另外，在图13中，将描述表示更新后阈值的阈值编码信息和阈值改变标志被传送到解码侧的情况。

一旦阈值设置处理开始，则在步骤s131中，阈值位移单元132确定预定初始值是否被设置为阈值。在确定阈值被更新的情况下，过程进行到步骤s132。

在步骤s132中，位深确定单元131从无损编码单元106获取关于位深的信息。

在步骤s133中，位深确定单元131基于在步骤s132中获取的关于位深的信息而确定作为编码目标的图像数据的位深。

在步骤s134中，阈值位移单元132根据步骤s133的确定结果(所确定的位深)而对阈值(初始值)进行位移。阈值位移单元132将更新后阈值提供到滤波处理单元122的邻近像素确定单元142。

在步骤s135中，编码单元133对表示在步骤s134中生成的位移后(更新后)阈值的阈值信息进行编码。

在步骤s136中，编码单元133将通过步骤s135的处理获得的表示更新后阈值的阈值编码信息提供到无损编码单元106，以将阈值编码信息传送到解码侧。

一旦步骤s136的处理结束，则过程进行到步骤s137。另外，在步骤s131中确定初始值被设置为阈值的情况下，过程进行到步骤s137。

在步骤s137中，编码单元133设置表示阈值是否被更新(改变)的阈值改变标志。即，例如，在执行步骤s131至s136的处理的情况下，编码单元133设置表示阈值被更新(改变)的值的阈值改变标志。另外，例如，在步骤s131中确定初始值被设置为阈值的情况下，编码单元133设置表示阈值没有被更新(改变)的值的阈值改变标志。

在步骤s138中，编码单元133将在步骤s137中设置的阈值改变标志提供到无损编码单元106以将阈值改变标志传送到解码侧。

一旦步骤s138的处理结束，则阈值设置处理结束，并且过程返回到图12。

通过执行如上所述的阈值设置处理，阈值设置单元121可以根据图像数据的位深而设置阈值(适合于位深)。

另外，在阈值改变标志没有被传送到解码侧的情况下(即，在没有生成阈值改变标志的情况下)，可省略上述步骤s137和s138的处理。

另外，在表示更新后阈值的阈值编码信息没有被传送到解码侧的情况下(即，在没有生成阈值编码信息的情况下)，可省略上述步骤s135和s136的处理。

<帧内预测处理的流程>

接下来，将参照图14的流程图描述在图12的步骤s104中执行的帧内预测处理的流程的示例。

一旦帧内预测处理开始，则在步骤s151中，邻近像素确定单元142基于模式/块大小缓冲器141的块大小和从阈值位移单元132获取的阈值信息，确定从帧内预测单元113获取的当前块的邻近像素的特征(例如，关于当前块的外围是否是亮度、颜色、浓度等平坦的部分的特征)。

在步骤s152中，滤波器确定单元143基于从模式/块大小缓冲器141获取的模式和块大小以及步骤s151的确定结果而确定要用于当前块的邻近像素的滤波器。

在步骤s153中，通过步骤s152的处理在低通滤波器单元144和双线性滤波器单元145当中选择的滤波器单元对当前块的邻近像素执行滤波处理。例如，在步骤s152中选择低通滤波器的情况下，在步骤s153中，低通滤波器单元144以滤波器确定单元143确定的方法对邻近像素执行低通滤波处理。另外，例如，在步骤s152中选择双线性滤波器的情况下，在步骤s153中，双线性滤波器单元145以滤波器确定单元143确定的方法对邻近像素执行双线性滤波处理。

另外，在一些模式下可省略滤波处理。

在步骤s154中，帧内预测单元113通过使用在步骤s153中施加了滤波处理的邻近像素(在省略滤波处理的情况下，未施加滤波处理的邻近像素)而以多种模式执行帧内预测。

在步骤s155中，帧内预测单元113针对在步骤s154中执行的多种模式的帧内预测的结果而计算成本函数值。

在步骤s156中，帧内预测单元113基于在步骤s155中计算的模式的成本函数值而确定最佳帧内预测模式。

在步骤s157中，帧内预测单元113以在步骤s156中确定的最佳帧内预测模式而生成预测图像。

一旦步骤s157的处理结束，帧内预测处理结束，并且过程返回到图12。

通过执行上述帧内预测处理，滤波处理单元122可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器对邻近像素执行滤波处理，并且帧内预测单元113可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。

即，通过执行上述处理，图像编码装置100可以抑制解码图像的图像质量的劣化。

<阈值设置处理的流程>

接下来，将参照图15的流程图描述在图11的示例的阈值设置单元121基于图像信息确定图像数据的位深的示例中在图12的步骤s103中执行的阈值设置处理的流程的示例。另外，在图15中，将描述表示更新后阈值的阈值编码信息和阈值改变标志被传送到解码侧的情况。

在图15的示例的情况下，与图13的示例的步骤s131、s134至s138的处理类似地执行步骤s171、s174至s178的处理。

在图15的步骤s171中确定阈值被更新的情况下，过程进行到步骤s172。

在步骤s172中，位深确定单元131从屏幕重排缓冲器102获取图像信息。

在步骤s173中，位深确定单元131基于在步骤s172中获取的图像信息而确定作为编码目标的图像数据的位深。一旦步骤s173的处理结束，则过程进行到步骤s174。

一旦步骤s178的处理结束，则阈值设置处理结束，并且过程返回到图12。

这样，阈值设置单元121还可以根据图像数据的位深而设置阈值(适合于位深)。因此，在该情况下，图像编码装置100也可以抑制解码图像的图像质量的劣化。

另外，在阈值改变标志没有被传送到解码侧(即，没有生成阈值改变标志)的情况下，可省略步骤s177和s178的处理。

另外，在表示更新后阈值的阈值编码信息没有被传送到解码侧(即，没有生成阈值编码信息)的情况下，可省略步骤s175和s176的处理。

<阈值设置处理的流程>

接下来，将参照图16的流程图描述在图11的示例的阈值设置单元121基于图像信息确定图像数据的位深并且将所确定的位深传送到解码侧的示例中在图12的步骤s103中执行的阈值设置处理的流程的示例。另外，在图16中，将描述阈值改变标志也被传送到解码侧的情况。

在图16的示例的情况下，与图15的示例的步骤s171至s174、s177和s178的处理类似地执行步骤s191至s194、s197和s198的处理。

一旦图16的步骤s194的处理结束，则过程进行到步骤s195。

在步骤s195中，编码单元133对表示在步骤s193中确定的位深的信息进行编码。

在步骤s196中，编码单元133将通过步骤s195的处理获得的位深编码信息提供到无损编码单元106以将位深编码信息传送到解码侧。

一旦步骤s196的处理结束，则过程进行到步骤s197。

这样，阈值设置单元121还可以根据图像数据的位深而设置阈值(适合于位深)。因此，在该情况下，图像编码装置100也可以抑制解码图像的图像质量的劣化。

另外，在阈值改变标志没有被传送到解码侧(即，没有生成阈值改变标志)的情况下，可省略步骤s197和s198的处理。

另外，在位深编码信息没有被传送到解码侧(即，没有生成阈值编码信息)的情况下，可省略步骤s195和s196的处理。

<阈值设置单元/滤波处理单元>

图17是示出在图10的阈值设置单元121根据诸如用户指定的外部指定设置阈值的情况下的阈值设置单元121和滤波处理单元122的主要配置示例的框图。

在图17的示例中，阈值设置单元121被配置成包括阈值设置单元151和编码单元133。

阈值设置单元151接收阈值的外部指定(例如，用户指定)，并且根据该指定而设置阈值。阈值设置单元151将表示所设置的阈值的信息(阈值信息)提供到滤波处理单元122的邻近像素确定单元142。

另外，在将阈值信息传送到解码侧的情况下，阈值位移单元132还将阈值信息提供到编码单元133。

与图11的情况类似，编码单元133对所提供的信息进行哥伦布编码，并且将所获得的哥伦布码提供到无损编码单元106以将哥伦布码传送到解码侧。例如，在将表示所设置的阈值的阈值信息传送到解码侧的情况下，编码单元133从阈值设置单元151获取所提供的阈值信息并且对阈值信息进行哥伦布编码。编码单元133将所获得的阈值编码信息提供到无损编码单元106以将阈值信息传送到解码侧。

另外，与图11的情况类似，编码单元133可生成表示阈值是否被更新(改变)的阈值改变标志，并且将阈值改变标志提供到无损编码单元106以将阈值改变标志传送到解码侧。

另外，滤波处理单元122具有与图11的情况相同的配置，并且执行与图11的情况相同的处理。

这样，阈值设置单元121可以根据图像数据的位深而设置阈值(适合于位深)，滤波处理单元122可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器而对邻近像素执行滤波处理，并且帧内预测单元113可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。即，这样，图像编码装置100可以抑制解码图像的图像质量的劣化。

另外，在图17的示例的情况下，由于阈值设置单元121可以根据诸如用户指定的外部指定而设置阈值，因此帧内预测单元113可以将对图像质量的外部指定(诸如用户指定)反映在预测图像上。即，图像编码装置100可以控制解码图像的图像质量。

<阈值设置处理的流程>

接下来，将参照图18的流程图描述在图17的示例的阈值设置单元121中在图12的步骤s103中执行的阈值设置处理的流程的示例。另外，在图18中，将描述表示所设置的阈值的阈值编码信息和阈值改变标志被传送到解码侧的情况。

在图18的示例的情况下，与图13的示例的步骤s131、s137和s138的处理类似地执行步骤s211、s216和s217的处理。

在图18的步骤s211中确定阈值被更新的情况下，过程进行到步骤s212。

在步骤s212中，阈值设置单元151接收值的外部指定，例如，用户指定等。

在步骤s213中，阈值设置单元151将通过在步骤s212中接收的指定而指定的值设置为阈值。

在步骤s214中，编码单元133对在步骤s213中设置的阈值进行编码。

在步骤s215中，编码单元133将通过步骤s214的处理获得的阈值编码信息提供到无损编码单元106以将阈值编码信息传送到解码侧。

一旦步骤s215的处理结束，则过程进行到步骤s216。另外，在步骤s211中确定初始值被设置为阈值的情况下，过程进行到步骤s216。

接下来，一旦步骤s217的处理结束，则阈值设置处理结束，并且过程返回到图12。

通过执行上述阈值设置处理，阈值设置单元121可以根据图像数据的位深而设置阈值(适合于位深)。因此，图像编码装置100可以抑制解码图像的图像质量的劣化。

另外，在图18的示例的情况下，阈值设置单元121可以根据诸如用户指定的外部指定而设置阈值。即，图像编码装置100可以控制解码图像的图像质量。

<阈值设置单元/滤波处理单元>

图19是示出在图10的阈值设置单元121根据作为编码目标的图像数据的位深而更新(改变)由诸如用户的外侧指定的阈值的情况下的阈值设置单元121和滤波处理单元122的主要配置示例的框图。

在图19的示例中，阈值设置单元121被配置成包括位深确定单元131、阈值位移单元132、编码单元133和阈值设置单元151。

在该情况下，位深确定单元131和编码单元133执行与图11的情况相同的处理。另外，在该情况下，阈值设置单元151执行与图17的情况相同的处理。然而，阈值设置单元151将所设置的阈值提供到阈值位移单元132。

在该情况下，与图11的情况类似，阈值位移单元132通过根据从位深确定单元131提供的表示位深的信息对阈值进行位移而执行阈值的更新(改变)。然而，在该情况下，阈值位移单元132对从阈值设置单元151提供的阈值(即，基于例如诸如用户指定的外部指定而设置的阈值)进行位移。

阈值位移单元132将表示更新(改变)后阈值的信息(阈值信息)提供到滤波处理单元122的邻近像素确定单元142。

另外，在将表示更新(改变)后阈值(即，由阈值位移单元132位移后的阈值)的阈值信息传送到解码侧的情况下，阈值位移单元132还将阈值信息提供到编码单元133。

另外，阈值位移单元还可将表示更新(改变)前阈值(即，阈值设置单元151设置的阈值)的阈值信息提供到解码侧。在该情况下，阈值位移单元132将表示更新(改变)前阈值(即，阈值设置单元151设置的阈值)的阈值信息提供到编码单元133。在该情况下，编码单元133对表示更新(改变)前阈值(即，阈值设置单元151设置的阈值)的阈值信息进行编码，并且将所获得的阈值编码信息传送到无损编码单元106。

另外，滤波处理单元122具有与图11的情况相同的配置，并且执行与图11的情况相同的处理。

这样，阈值设置单元121可以根据诸如用户指定的外部指定而设置阈值，并且可以将阈值更新为根据图像数据的位深的值(适合于位深)。即，滤波处理单元122可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器而对邻近像素执行滤波处理，并且帧内预测单元113可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。即，图像编码装置100可以控制解码图像的图像质量，并且还抑制解码图像的图像质量的劣化。

<阈值设置处理的流程>

接下来，将参照图20的流程图描述在图19的示例的阈值设置单元121基于关于位深的信息而确定图像数据的位深并且将表示更新前阈值的阈值编码信息传送到解码侧的示例中在图12的步骤s103中执行的阈值设置处理的流程的示例。另外，在图20中，将描述阈值改变标志也被传送到解码侧的情况。

在图20的示例的情况下，与图18的示例的步骤s211至s213的处理类似地执行步骤s231至s233的处理。

另外，在图20的示例的情况下，与图13的步骤s132和s133的处理类似地执行步骤s234和s235的处理。

在步骤s236中，阈值位移单元132根据步骤s133的确定结果(所确定的位深)而对在步骤s233中设置的阈值进行位移。阈值位移单元132将更新后阈值提供到滤波处理单元122的邻近像素确定单元142。

在步骤s237中，编码单元133对表示在步骤s233中设置的阈值(即，位移前(更新前)阈值)的阈值信息进行编码。

在步骤s238中，编码单元133将在步骤s237中获得的表示更新前阈值的阈值编码信息提供到无损编码单元106以将该信息传送到解码侧。

一旦步骤s238的处理结束，则过程进行到步骤s239。另外，在步骤s231中确定初始值被设置为阈值的情况下，过程进行到步骤s239。

在图20的示例的情况下，与图13的示例的步骤s137和s138的处理类似地执行步骤s239和s240的处理。

一旦步骤s240的处理结束，则阈值设置处理结束，并且过程返回到图12。

通过执行上述阈值设置处理，阈值设置单元121可以根据图像数据的位深而设置阈值(适合于位深)。另外，阈值设置单元121可以根据诸如用户指定的外部指定而设置阈值。

另外，在阈值改变标志没有被传送到解码侧(即，没有生成阈值改变标志)的情况下，可省略上述步骤s239和s240的处理。

另外，在阈值设置单元121取代关于位深的信息而基于图像信息确定图像数据的位深的情况下，图20的步骤s234和s235的处理可由图15的步骤s172和s173的处理取代。

<阈值设置处理的流程>

接下来，将参照图21的流程图描述在图19的示例的阈值设置单元121基于图像信息确定图像数据的位深并且将表示更新前阈值的阈值编码信息和表示位深的信息传送到解码侧的示例中在图12的步骤s103中执行的阈值设置处理的流程的示例。另外，在图21中，将描述阈值改变标志也被传送到解码侧的情况。

在图21的示例的情况下，与图20的示例的步骤s231至s233的处理类似地执行步骤s251至s253的处理。

另外，在图21的示例的情况下，与图15的步骤s172和s173的处理类似地执行步骤s254和s255的处理。

另外，在图21的示例的情况下，与图20的示例的步骤s236至s238的处理类似地执行步骤s256至s258的处理。

另外，在图21的示例的情况下，与图16的步骤s195和s196的处理类似地执行步骤s259和s260的处理。

一旦步骤s260的处理结束，则过程进行到步骤s261。另外，在步骤s251中确定初始值被设置为阈值的情况下，过程进行到步骤s261。

另外，在图21的示例的情况下，与图20的示例的步骤s239和s240的处理类似地执行步骤s261和s262的处理。

一旦步骤s262的处理结束，则阈值设置处理结束，并且过程返回到图12。

通过执行上述阈值设置处理，阈值设置单元121可以根据图像数据的位深而设置阈值(适合于位深)。另外，阈值设置单元121可以根据诸如用户指定的外部指定而设置阈值。

另外，在阈值改变标志没有被传送到解码侧(即，没有生成阈值改变标志)的情况下，可省略上述步骤s261和s262的处理。

<阈值设置处理的流程>

接下来，将参照图22的流程图描述在图19的示例的阈值设置单元121基于关于位深的信息确定图像数据的位深并且将表示更新后阈值的阈值编码信息传送到解码侧的示例中在图12的步骤s103中执行的阈值设置处理的流程的示例。另外，在图22中，将描述阈值改变标志也被传送到解码侧的情况。

在图22的示例的情况下，与图20的示例的步骤s231至s236的处理类似地执行步骤s281至s286的处理。

在步骤s287中，阈值位移单元132对在步骤s286中获得的表示位移后(更新后)阈值的阈值信息进行编码。

在步骤s288中，编码单元133将在步骤s287中获得的表示更新后阈值的阈值编码信息提供到无损编码单元106以将该信息传送到解码侧。

一旦步骤s288的处理结束，则过程进行到步骤s289。另外，在步骤s281中确定初始值被设置为阈值的情况下，过程进行到步骤s289。

在图22的示例的情况下，与图20的示例的步骤s239和s240的处理类似地执行步骤s289和s290的处理。

一旦步骤s290的处理结束，则阈值设置处理结束，并且过程返回到图12。

通过执行上述阈值设置处理，阈值设置单元121可以根据图像数据的位深而设置阈值(适合于位深)。另外，阈值设置单元121可以根据诸如用户指定的外部指定而设置阈值。

另外，在阈值改变标志没有被传送到解码侧(即，没有生成阈值改变标志)的情况下，可省略上述步骤s289和s290的处理。

另外，在阈值设置单元121取代关于位深的信息而基于图像信息确定图像数据的位深的情况下，图22的步骤s284和s285的处理可由图15的步骤s172和s173的处理取代。

<2.第二实施例>

<图像解码装置>

接下来，将描述对如上所述编码的编码数据(编码流)的解码。图23是示出与图10的图像编码装置100对应的图像解码装置的主要配置示例的框图，其是一种应用本技术的图像处理设备。

图23所示的图像解码装置300以与编码方法对应的解码方法对图像编码装置100生成的编码数据进行解码。

如图23所示，图像解码装置300被配置成包括累积缓冲器301、无损解码单元302、逆量化单元303、逆正交变换单元304、算术单元305、环路滤波器306、屏幕重排缓冲器307和d/a转换器308。另外，图像解码装置300被配置成包括帧存储器309、帧内预测单元310、帧间预测单元311和预测图像选择单元312。

累积缓冲器301是接收所传送的编码数据的接收单元。累积缓冲器301接收所传送的编码数据并且存储该编码数据，并且在预定定时，累积缓冲器将编码数据提供到无损解码单元302。编码数据添加了预测模式信息等的解码所需的信息。无损解码单元302以与编码方案对应的解码方案对从累积缓冲器301提供的、由图10的无损编码单元106编码的信息进行解码。无损解码单元302将通过解码获得的差别图像的量化系数数据提供到逆量化单元303。

另外，无损解码单元302确定帧内预测模式和帧间预测模式中的哪一个被选作最佳预测模式，并且将关于最佳预测模式的信息提供到与该模式对应的被确定为要在帧内预测单元310和帧间预测单元311当中选择的预测单元。即，例如，在帧内预测模式被选作对于图像编码装置100最佳的最佳预测模式的情况下，关于最佳预测模式的信息被提供到帧内预测单元310。另外，例如，在帧间预测模式被选作对于图像编码装置100最佳的最佳预测模式的情况下，关于最佳预测模式的信息被提供到帧间预测单元311。

另外，无损解码单元302将逆量化所需的信息(例如，量化矩阵、量化参数等)提供到逆量化单元303。

逆量化单元303以与图10的量化单元105的量化方案对应的方案对通过在无损解码单元302中进行解码而获得的量化系数数据执行逆量化。另外，逆量化单元303是与图10的图像编码装置100的逆量化单元108相同的处理单元。即，逆量化单元303的描述可用于逆量化单元108。然而，数据输入/输出目的地等需要根据设备而适当地进行改变。

逆量化单元303将所获得的系数数据提供到逆正交变换单元304。

根据需要，逆正交变换单元304以与图10的正交变换单元104的正交变换方案对应的方案对从逆量化单元303提供的正交变换系数执行逆正交变换。另外，逆正交变换单元304是与图10的图像编码装置100的逆正交变换单元109相同的处理单元。即，逆正交变换单元304的描述可用于逆正交变换单元109。然而，数据输入/输出目的地等需要根据设备而适当地进行改变。

逆正交变换单元304通过逆正交变换处理获得与图像编码装置100中的正交变换之前的残差数据对应的解码残差数据。通过逆正交变换获得的解码残差数据被提供到算术单元305。另外，预测图像通过预测图像选择单元312从帧内预测单元310或帧间预测单元311被提供到算术单元305。

算术单元305将差别图像与预测图像相加以获得与图像编码装置100的算术单元103减去预测图像之前的图像对应的重构图像。算术单元305将重构图像提供到环路滤波器306和帧内预测单元310。

环路滤波器306对所提供的重构图像适当地执行环路滤波处理(包括解块滤波处理、自适应环路滤波处理等)以生成解码图像。例如，环路滤波器306通过对重构图像执行解块滤波处理而去除块失真。另外，例如，环路滤波器306通过使用维纳滤波器对解块滤波处理结果(去除了块失真的重构图像)执行环路滤波处理来改进图像质量。

另外，环路滤波器306执行的滤波处理的类型是任意的，并且可执行除上述滤波处理之外的任意滤波处理。另外，环路滤波器306可通过使用从图10的图像编码装置100提供的滤波器系数而执行滤波处理。

环路滤波器306将作为滤波处理结果的解码图像提供到屏幕重排缓冲器307和帧存储器309。

屏幕重排缓冲器307执行图像的重排。即，由图10的屏幕重排缓冲器102针对编码顺序而重排帧顺序被重排为原始显示顺序。d/a转换器308对从屏幕重排缓冲器307提供的图像进行d/a转换，并且将图像输出到显示器(未示出)以显示图像。

帧存储器309存储所提供的解码图像，并且在预定定时或者基于来自帧间预测单元311等的外部请求，帧存储器将所存储的解码图像作为参考图像提供到帧间预测单元311。

帧内预测单元310被适当地提供有来自无损解码单元302的通过对头部信息进行解码而获得的表示帧内预测模式的信息等。帧内预测单元310以在图10的帧内预测单元113中使用的帧内预测模式、通过使用从帧存储器309获取的参考图像而执行帧内预测以生成预测图像。帧内预测单元310将所生成的预测图像提供到预测图像选择单元312。

帧间预测单元311从无损解码单元302获取通过对头部信息进行解码而获得的信息(最佳预测模式信息、参考图像信息等)。

帧间预测单元311以从无损解码单元302获取的最佳预测模式信息所表示的帧间预测模式、通过使用从帧存储器309获取的参考图像而执行帧间预测以生成预测图像。

预测图像选择单元312将帧内预测单元310提供的预测图像或帧间预测单元311提供的预测图像提供到算术单元305。接下来，在算术单元305中，通过使用运动矢量而生成的预测图像和从逆正交变换单元304提供的解码残差数据(差别图像信息)相加，以对原始图像进行解码。即，帧间预测单元311、无损解码单元302、逆量化单元303、逆正交变换单元304和算术单元305也是通过使用运动矢量对编码数据进行解码并且生成原始图像的解码单元。

图像解码装置300被配置成还包括阈值设置单元321和滤波处理单元322。

阈值设置单元321执行与阈值设置单元121的处理基本上相同的处理。即，阈值设置单元321根据图像数据的位深，设置用于在对图像数据被编码的编码数据进行解码时帧内预测处理中识别当前块的邻近像素的特征的阈值，即，用于滤波处理单元322对帧内预测的当前块的邻近像素的执行的滤波处理的阈值。

然而，阈值设置单元321可通过使用从无损解码单元302提供的从编码侧传送的信息而设置阈值。阈值设置单元321将表示所设置的阈值(更新后阈值)的阈值信息提供到滤波处理单元322。

例如，阈值设置单元321可根据作为编码目标的图像数据的位深而设置阈值。

在该情况下，例如，阈值设置单元321可从无损解码单元302获取作为从编码侧传送作为序列参数集(sps)等的参数的关于图像数据的位深的信息，基于关于位深的信息而确定图像数据的位深，并且根据位深而设置阈值。另外，例如，阈值设置单元321可从帧存储器309等获取解码图像的图像信息(包括图像数据或关于图像数据的信息)，基于图像信息(通过分析图像信息)而确定图像数据的位深，并且根据位深而设置阈值。

另外，在该情况下，例如，阈值设置单元321可通过根据所确定的位深对预先定义的阈值的初始值(例如，8)进行位移而更新阈值。此时，例如，适合于位深为8位的情况的值可被预先设置为初始值，并且阈值设置单元321可根据图像数据的实际位深与8位之间的位数差而对初始值进行位移。

另外，在该情况下，例如，阈值设置单元321可获取从编码侧传送的阈值改变标志，并且基于阈值改变标志的值而确定阈值是否被更新。这样，图像解码装置300可以基于阈值改变标志的值而容易地识别阈值是否被更新(改变)。即，与编码侧(例如，图像编码装置100)类似，图像解码装置300可以容易地控制是否执行更新(改变)阈值的处理。

另外，例如，阈值设置单元321可根据从编码侧传送的信息而设置阈值。

在该情况下，例如，阈值设置单元321可从无损解码单元302获取从编码侧提供的位深编码信息，并且根据通过对位深编码信息进行解码获得的位深而更新阈值。此时，例如，阈值设置单元321可通过根据从编码侧传送的信息表示的位深对预定阈值的初始值(例如，8)进行位移而更新阈值。

另外，在该情况下，例如，阈值设置单元321还可从无损解码单元302获取表示从编码侧提供的更新前阈值的阈值编码信息，并且根据以相同方式获得的位深而更新通过对阈值编码信息进行解码获得的阈值。此时，类似地，可通过位移而执行阈值的更新。

另外，在该情况下，阈值设置单元321可基于从编码侧传送的阈值改变标志的值而确定阈值是否被更新。

另外，在该情况下，例如，阈值设置单元321可从无损解码单元302获取表示从编码侧共提供的更新后阈值的阈值编码信息，并且设置通过对阈值编码信息进行解码而获得的阈值。

另外，在该情况下，阈值设置单元321可基于从编码侧传送的阈值改变标志的值而确定阈值是否被更新。

另外，例如，阈值设置单元321可确定作为编码目标的图像数据的位深，并且根据位深而更新(改变)从编码侧传送的阈值。

在该情况下，例如，阈值设置单元321可从无损解码单元302获取表示从编码侧提供的更新前阈值的阈值编码信息，通过对阈值编码信息进行解码而获取表示更新前阈值的阈值信息，基于如上所述的从编码侧传送的关于位深的信息、从帧存储器309获得的解码图像的图像信息等而确定位深，并且根据位深而更新阈值。此时，类似地，可通过位移而执行阈值的更新。

另外，在该情况下，阈值设置单元321可基于从编码侧传送的阈值改变标志的值而确定阈值是否被更新。

与阈值设置单元121的情况类似，可例如通过上述公式(10)来执行阈值的位移。

另外，阈值设置单元321可对作为哥伦布码传送的参数或标志进行哥伦布解码。

另外，阈值设置单元321可基于除位深之外的任意参数而执行阈值的设置(更新)。另外，虽然上述阈值的初始值是任意的，但是初始值可被设置为例如“8”。另外，在“0”被设置为阈值的情况下，阈值设置单元321禁止施加双线性内插处理，以使得可以施加参照图5描述的滤波处理。即，在阈值是“0”的情况下，可禁止在非专利文献2中公开的方法。

滤波处理单元322执行帧内预测单元310的帧内预测，即，在对图像数据被编码的编码数据进行解码时关于帧内预测处理执行与滤波处理单元122相同的处理。即，滤波处理单元322从阈值设置单元321获取阈值信息，并且通过使用阈值而对作为帧内预测单元310的帧内预测处理的目标的当前块的邻近像素执行滤波处理。例如，滤波处理单元322可通过使用从阈值设置单元321获取的阈值而执行由公式(3)和(4)表示的阈值确定处理，以识别当前块的邻近像素的特征。

另外，例如，在确定结果为假的情况下，即，在确定当前块的外围不是亮度、颜色、浓度等的改变平坦的部分的情况下，滤波处理单元322可对邻近像素执行参照图5描述的滤波处理(有时称为低通滤波处理)。

另外，例如，在确定结果为真的情况下，即，在确定当前块的外围是亮度、颜色、浓度等的改变平坦的部分的情况下，滤波处理单元322可取代低通滤波处理而执行由公式(5)至(9)表示的双线性内插处理(有时称为双线性内插处理)。

一旦滤波处理单元322从帧内预测单元310获取到作为帧内预测处理的目标的当前块的邻近像素，滤波处理单元就对邻近像素执行上述滤波处理。接下来，滤波处理单元322将滤波处理后的邻近像素提供到帧内预测单元310。在该情况下，帧内预测单元310通过使用滤波处理后的邻近像素执行帧内预测。这样，帧内预测单元310可以生成反映滤波处理结果的预测图像。

即，如上所述，由于阈值设置单元321可以根据图像数据的位深等而设置用于在对图像数据进行解码时帧内预测处理中识别当前块的邻近像素的特征的阈值，因此帧内预测单元310可以生成反映适合于图像数据的滤波处理的结果的预测图像。即，图像解码装置300可以抑制解码图像中的诸如弯曲的噪声的发生，并且可以抑制解码图像的图像质量的劣化。

另外，如参照图5、公式(5)至(9)等描述的，可根据帧内预测模式(即，当前块的块大小)而控制滤波处理单元322对当前块的邻近像素施加滤波处理的方法。

另外，在图像解码装置300中，还可提供施加非专利文献2中公开的双线性滤波处理的位深的上限。例如，在非专利文献2中公开的双线性滤波处理可以仅在位深是8位的情况下被施加，并且在其它情况下不施加。

类似地，在图像解码装置300中，尽管在非专利文献2中公开的双线性滤波处理可仅应用于对于亮度信号的处理，但是双线性滤波处理可应用于对于色差信号的处理。即，本技术可以应用于色差信号以及亮度信号。

另外，在图像解码装置300中，在输入信号是4:4:4或rgb并且每个颜色分量通道是独立处理的情况下，本技术也可独立地应用于每个通道。

此外，另外，在图像解码装置300中，在执行分层图像编码(可伸缩编码)/分层图像解码(可伸缩解码)的情况下，例如，诸如位深、标志等的阈值或参数可仅被传送到基本层，并且关于非基本层(增强层)，可参考传送到基本层的参数或标志。

<阈值设置单元/滤波处理单元>

图24是示出在图23的阈值设置单元321根据解码图像数据的位深而设置阈值的情况下的阈值设置单元321和滤波处理单元322的主要配置示例的框图。

在图24的示例中，阈值设置单元321被配置成包括位深确定单元331和阈值位移单元332。

位深确定单元331确定图像数据的位深，并且将表示位深的信息提供到阈值位移单元332。

例如，位深确定单元331从无损解码单元302获取从编码侧(例如，图像编码装置100)作为例如序列参数集等传送的、关于图像数据的位深的信息，并且基于关于位深的信息而确定图像数据的位深。另外，例如，位深确定单元331从帧存储器309获取解码图像的图像信息，并且基于图像信息而确定图像数据的位深。

阈值位移单元332通过根据从位深确定单元331提供的表示位深的信息对预先定义的预定阈值(初始值)进行位移来更新(改变)阈值。

例如，在阈值位移单元332中，适合于位深为8位的情况的值(与编码侧(例如，图像编码装置100)设置的初始值相同的值)被预先设置为阈值的初始值。一旦阈值位移单元332从位深确定单元331获取到表示位深的信息，则阈值位移单元根据该信息表示的图像数据的位深与8位之间的位数差而对初始值进行位移。

阈值位移单元332将表示更新(改变)后阈值的信息(阈值信息)提供到滤波处理单元322的邻近像素确定单元342。

另外，如图11所示，滤波处理单元322被配置成包括模式/块大小缓冲器341、邻近像素确定单元342、滤波器确定单元343、低通滤波器单元344和双线性滤波器单元345。

滤波处理单元322是与滤波处理单元122相同的处理单元并且执行相同的处理。即，模式/块大小缓冲器341、邻近像素确定单元342、滤波器确定单元343、低通滤波器单元344和双线性滤波器单元345分别是与邻近像素确定单元142、滤波器确定单元143、低通滤波器单元144和双线性滤波器单元145相同的处理单元。

模式/块大小缓冲器341从帧内预测单元310获取对于作为候选的预测模式关于当前块的块大小和模式的信息(模式/块大小)并且存储该信息。

在预定定时或者基于外部请求，模式/块大小缓冲器341将所存储的关于块大小的信息(块大小)提供到邻近像素确定单元342。另外，在预定定时或者基于外部请求，模式/块大小缓冲器341将所存储的关于模式的信息(模式)和所存储的关于块大小的信息(块大小)提供到滤波器确定单元343。

邻近像素确定单元342从帧内预测单元310获取对于作为候选的预测模式与当前块的上侧和左侧相邻的邻近像素。另外，邻近像素确定单元342从阈值位移单元332获取阈值信息。另外，邻近像素确定单元342从模式/块大小缓冲器341获取关于块大小的信息(块大小)。

在当前块具有预定大小(例如，32×32)(或者在预定范围内的大小)的模式的情况下，邻近像素确定单元342通过使用从阈值位移单元332获取的阈值信息，基于从模式/块大小缓冲器341获取的关于块大小的信息，执行用于选择要用于对从帧内预测单元310获取的邻近像素的滤波处理的滤波器的阈值确定处理。即，邻近像素确定单元342确定邻近像素的特征(例如，确定是否为亮度、颜色、浓度等的改变平坦的部分的像素)。

邻近像素确定单元342将确定结果提供到滤波器确定单元343。另外，邻近像素确定单元342将从帧内预测单元310获取的当前块的邻近像素提供到低通滤波器单元344和双线性滤波器单元345。

滤波器确定单元343从模式/块大小缓冲器341获取关于模式的信息(模式)和关于块大小的信息(块大小)。另外，滤波器确定单元343从邻近像素确定单元342获取阈值确定处理的确定结果。滤波器确定单元343通过使用所获取的信息和结果而确定要执行的滤波处理的类型及其应用方法。例如，滤波器确定单元343确定低通滤波处理和双线性滤波处理中的任意是否被应用于当前块的邻近像素、如何执行滤波处理等。

滤波器确定单元343根据确定而将控制滤波处理的执行的控制信息提供到低通滤波器单元344和双线性滤波器单元345。即，滤波器确定单元343将指示如何执行滤波处理的控制信息提供到在低通滤波器单元344与双线性滤波器单元345之间选择的处理单元，并且将指示停止滤波处理的控制信息(即，指示不执行滤波处理的控制信息)提供到未选择的处理单元。

低通滤波器单元344根据从滤波器确定单元343提供的控制信息而对从邻近像素确定单元342提供的当前块的邻近像素执行参照图5描述的低通滤波处理。低通滤波器单元344将施加了低通滤波处理的邻近像素(滤波处理后的邻近像素)提供到帧内预测单元310。

双线性滤波器单元345根据从滤波器确定单元343提供的控制信息而对从邻近像素确定单元342提供的当前块的邻近像素执行参照公式(5)至(9)描述的双线性滤波处理。双线性滤波器单元345将施加了双线性滤波处理的邻近像素(滤波处理后的邻近像素)提供到帧内预测单元310。

这样，阈值设置单元321可以根据图像数据的位深而设置阈值(适合于位深)，滤波处理单元322可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器而对邻近像素执行滤波处理，并且帧内预测单元310可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。即，这样，图像解码装置300可以抑制解码图像的图像质量的劣化。

<解码处理的流程>

接下来，将参照图25的流程图描述上述图像解码装置300执行的解码处理的流程的示例。

一旦解码处理开始，则在步骤s301中，累积缓冲器301累积所传送的位流。在步骤s302中，无损解码单元302对从累积缓冲器301提供的位流(编码差别图像信息)进行解码。即，对由图10的无损编码单元106编码的i图片、p图片和b图片进行解码。此时，还对除包括在诸如头部信息的位流中的差别图像信息之外的各种类型的信息进行解码。

在步骤s303中，阈值设置单元321设置用于在对图像数据被编码的编码数据进行解码时帧内预测处理中识别当前块的邻近像素的特征的阈值。

在步骤s304中，逆量化单元303对通过步骤s302的处理获得的量化系数执行逆量化。

在步骤s305中，逆正交变换单元304对在步骤s304中逆量化的系数执行逆正交变换。

在步骤s306中，帧内预测单元310或帧间预测图像311执行预测处理并且生成预测图像。即，预测处理以在无损解码单元302中确定并且在编码时被应用的预测模式执行。更具体地，例如，在编码时应用帧内预测的情况下，帧内预测单元310以在编码时被认为最佳的帧内预测模式生成预测图像。另外，例如，在编码时应用帧间预测的情况下，帧间预测单元311以在编码时被认为最佳的帧间预测模式生成预测图像。

这里，在帧内预测单元310执行帧内预测的情况下，滤波处理单元322可通过使用在步骤s303中设置的阈值对当前块的邻近像素执行滤波处理。在执行滤波处理的情况下，帧内预测单元310通过使用施加了滤波处理的邻近像素而执行帧内预测。

在步骤s307中，算术单元305将在步骤s306中生成的预测图像与通过在步骤s305中执行逆正交变换而获得的差别图像信息相加。因此，对原始图像进行解码。

在步骤s308中，环路滤波器306对通过步骤s307的处理获得的重构图像适当地执行环路滤波处理，包括解块滤波处理、自适应环路滤波处理等。

在步骤s309中，屏幕重排缓冲器307对在步骤s308中施加了滤波处理的图像执行重排。即，由图像编码装置100的屏幕重排缓冲器102针对编码而重排的帧顺序被重排为原始显示顺序。

在步骤s310中，d/a转换器308对其帧顺序在步骤s309中被重排的图像进行d/a转换。图像被输出到显示器(未示出)，以显示该图像。

在步骤s311中，帧存储器309存储在步骤s308中施加了滤波处理的图像。

一旦步骤s311的处理结束，则解码处理结束。

<阈值设置处理的流程>

接下来，将参照图26的流程图描述在图24的示例的阈值设置单元321基于从编码侧作为序列参数集等传送的关于位深的信息而确定图像数据的位深的示例中在图25的步骤s303中执行的阈值设置处理的流程的示例。另外，在图26中，将描述阈值改变标志被传送到编码侧的情况。

一旦阈值设置处理开始，则在步骤s331中，位深确定单元331从无损解码单元302获取从编码侧(例如，图像编码装置100)传送的阈值改变标志。

在步骤s332中，位深确定单元331基于在步骤s331中获取的阈值改变标志的值而确定是否将预先准备的初始值设置为阈值。在确定阈值被更新的情况下，过程进行到步骤s333。

在步骤s333中，位深确定单元331从无损解码单元302获取从编码侧作为例如序列参数集(sps)等传送的关于位深的信息。

在步骤s334中，位深确定单元331基于在步骤s333中获取的关于位深的信息而确定图像数据的位深。

在步骤s335中，阈值位移单元332根据步骤s334的确定结果(所确定的位深)而对阈值(初始值)进行位移。阈值位移单元332将更新后的阈值提供到滤波处理单元332的邻近像素确定单元342。

一旦步骤s335的处理结束，则阈值设置处理结束，并且过程返回到图25。另外，在步骤s331中确定初始值被设置为阈值的情况下，阈值设置处理结束，并且过程返回到图25。

通过执行上述阈值设置处理，阈值设置单元321可以根据图像数据的位深而设置阈值(适合于位深)。

另外，在阈值改变标志没有被传送到编码侧的情况下，可省略上述步骤s331的处理。在该情况下，基于除阈值改变标志之外的信息(例如，关于位深的信息等)而执行步骤s332的确定。

<预测处理的流程>

接下来，将参照图27的流程图描述在图25的步骤s306中执行的预测处理的流程的示例。

一旦预测处理开始，则在步骤s351中，无损解码单元302基于从编码侧传送的最佳预测模式信息等而确定最佳预测模式是否是帧内预测模式。在确定最佳预测模式是帧内预测的情况下，过程进行到步骤s352。

在步骤s352中，帧内预测单元310执行帧内预测以生成预测图像。此时，在一些情况下，滤波处理单元322可通过使用在图25的步骤s303中设置的阈值而对当前块的邻近像素执行滤波处理。在执行了滤波处理的情况下，帧内预测单元310通过使用施加了滤波处理的邻近像素而执行帧内预测。一旦步骤s352的处理结束，则预测处理结束，并且过程返回到图25。

另外，在步骤s351中确定最佳预测模式是帧间预测的情况下，过程进行到步骤s353。

在步骤s353中，帧间预测单元311执行帧间预测以生成预测图像。即，帧间预测单元311通过使用从编码侧传送的运动矢量信息等而执行补偿处理等以生成预测图像。一旦步骤s353的处理结束，则预测处理结束，并且过程返回到图25。

<帧内预测处理的流程>

接下来，将参照图28的流程图描述在图27的步骤s352中执行的帧内预测处理的流程的示例。

一旦帧内预测处理开始，则在步骤s371中，帧内预测单元310从无损解码单元302获取从编码侧作为最佳预测模式信息传送的表示最佳帧内预测模式(所采用的帧内预测模式)的帧内预测模式信息。

在步骤s372中，邻近像素确定单元342基于从模式/块大小缓冲器341获取的块大小和从阈值位移单元332获取的阈值信息而确定从帧内预测单元310获取的当前块的邻近像素的特征(例如，当前块的外围是否是亮度、颜色、浓度等平坦的部分)。

在步骤s373中，滤波器确定单元343基于从模式/块大小缓冲器341获取的模式和块大小以及步骤s372的确定结果而确定要用于当前块的邻近像素的滤波器。

在步骤s374中，通过步骤s373的处理在低通滤波器单元344和双线性滤波器单元345当中选择的滤波器单元对当前块的邻近像素执行滤波处理。例如，在步骤s373中选择低通滤波器的情况下，在步骤s374中，低通滤波器单元344以滤波器确定单元343确定的方法对邻近像素执行低通滤波处理。另外，例如，在步骤s373中选择双线性滤波器的情况下，在步骤s374中，双线性滤波器单元345以滤波器确定单元343确定的方法对邻近像素执行双线性滤波处理。

另外，在一些模式下可省略这些滤波处理。

在步骤s375中，帧内预测单元310通过使用在步骤s374中施加了滤波处理的邻近像素(在省略滤波处理的情况下，未施加滤波处理的邻近像素)，以在步骤s351中获取的帧内预测模式信息中指定的最佳帧内预测模式执行帧内预测，以生成预测图像。

一旦步骤s375的处理结束，则帧内预测处理结束，并且过程返回到图27。

通过执行上述帧内预测处理，滤波处理单元322可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器而对邻近像素执行滤波处理，并且帧内预测单元310可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。

即，通过执行上述处理，图像解码装置300可以抑制解码图像的图像质量的劣化。

<阈值设置处理的流程>

接下来，将参照图29的流程图描述在图24的示例的阈值设置单元321基于图像信息而确定图像数据的位深的示例中在图25的步骤s303中执行的阈值设置处理的流程的示例。另外，在图29中，将描述阈值改变标志被传送到编码侧的情况。

在图29的示例的情况下，与图26的示例的步骤s331、s332和s335的处理类似地执行步骤s391、s392和s395的处理。

在图29的步骤s392中确定阈值被更新的情况下，过程进行到步骤s393。

在步骤s393中，位深确定单元331从帧存储器309获取解码图像的图像信息。

在步骤s394中，位深确定单元331基于在步骤s393中获取的图像信息而确定图像数据的位深。一旦步骤s394的处理结束，则过程进行到步骤s395。

一旦步骤s395的处理结束，则阈值设置处理结束，并且过程返回到图25。另外，在步骤s392中确定初始值被设置为阈值的情况下，阈值设置处理结束，并且过程返回到图25。

这样，阈值设置单元321可以根据图像数据的位深而设置阈值(适合于位深)。因此，在该情况下，图像解码装置300也可以抑制解码图像的图像质量的劣化。

另外，在阈值改变标志没有被传送到编码侧的情况下，可省略上述步骤s391的处理。在该情况下，基于除阈值改变标志之外的信息(例如，图像信息等)而执行步骤s392的确定。

<阈值设置单元/滤波处理单元>

图30是示出在图23的阈值设置单元321基于从编码侧传送的位深而设置阈值的情况下的阈值设置单元321和滤波处理单元322的主要配置示例的框图。

在图30的示例中，阈值设置单元321被配置成包括解码单元351和阈值位移单元332。

解码单元351获取从编码侧传送的位深编码信息并且对位深编码信息进行解码以获得表示位深的信息。例如，解码单元351对作为哥伦布码的位深编码信息进行哥伦布解码以获得表示位深的信息。解码单元351将表示所获得的位深的信息提供到阈值位移单元332。

阈值位移单元332根据从解码单元351提供的表示位深的信息而对预定阈值(初始值)进行位移。阈值位移单元332将表示位移后阈值(更新后阈值)的阈值信息提供到邻近像素确定单元342。

另外，解码单元351还可从无损解码单元302获取从编码侧传送的阈值改变标志，并且根据该值确定是否更新阈值。

另外，解码单元351还可获取从编码侧传送的阈值编码信息，并且对该阈值编码信息进行解码以获得表示更新前阈值的阈值信息。例如，解码单元351可对作为哥伦布码的阈值编码信息进行哥伦布解码以获得表示在编码侧设置的更新前阈值的阈值信息。在该情况下，解码单元351将所获得的阈值信息提供到阈值位移单元332。

在该情况下，阈值位移单元332根据从解码单元351提供的表示位深的信息而对从解码单元351提供的阈值信息表示的更新前阈值进行位移。阈值位移单元332将表示位移后阈值(更新后阈值)的阈值信息提供到邻近像素确定单元342。

另外，滤波处理单元322具有与图24的情况相同的配置，并且执行与图24的情况相同的处理。

这样，阈值设置单元321可以根据图像数据的位深而设置阈值(适合于位深)，滤波处理单元322可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器而对邻近像素执行滤波处理，并且帧内预测单元310可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。即，这样，图像解码装置300可以抑制解码图像的图像质量的劣化。

另外，在图30的示例的情况下，由于阈值设置单元321可以使用在编码侧设置的阈值，因此帧内预测单元310可以将编码侧对图像质量的指定反映在预测图像上。即，图像解码装置300可以将编码侧对图像质量的控制反映在解码图像上。

<阈值设置处理的流程>

接下来，将参照图31的流程图描述在图30的示例的阈值设置单元321基于在编码侧指定的位深而更新阈值的示例中在图25的步骤s303中执行的阈值设置处理的流程的示例。另外，在图31中，将描述阈值改变标志被传送到编码侧的情况。

在图31的示例的情况下，与图26的示例的步骤s331和s332的处理类似地执行步骤s411和s412的处理。

在图31的步骤s412中确定阈值被更新的情况下，过程进行到步骤s413。

在步骤s413中，解码单元351从无损解码单元302获取位深编码信息。

在步骤s414中，解码单元351对在步骤s413中获取的位深编码信息进行解码。

在步骤s415中，阈值位移单元332根据在步骤s414中获得的位深对预先准备的阈值(初始值)进行位移。

一旦步骤s415的处理结束，则阈值设置处理结束，并且过程返回到图25。另外，在步骤s412中确定初始值被设置为阈值的情况下，阈值设置处理结束，并且过程返回到图25。

这样，阈值设置单元321可以根据图像数据的位深而设置阈值(适合于位深)。因此，在该情况下，图像解码装置300也可以抑制解码图像的图像质量的劣化。

另外，在阈值改变标志被传送到编码侧的情况下，可省略上述步骤s411的处理。在该情况下，基于除阈值改变标志之外的信息(诸如位深编码信息)而执行步骤s412的确定。

<阈值设置处理的流程>

接下来，将参照图32的流程图描述在图30的示例的阈值设置单元321基于在编码侧指定的位深而更新在编码侧指定的阈值的示例中在图25的步骤s303中执行的阈值设置处理的流程的示例。另外，在图32中，将描述阈值改变标志被传送到编码侧的情况。

在图32的示例的情况下，与图31的示例的步骤s411至s414的处理类似地执行步骤s431至s434的处理。

一旦图32的步骤s434的处理结束，则过程进行到步骤s435。

在步骤s435中，解码单元351从无损解码单元302获取阈值编码信息。

在步骤s436中，解码单元351将在步骤s435中获取的阈值编码信息解码为表示更新前阈值的阈值信息。

在步骤s437中，阈值位移单元332根据在步骤s434中获得的位深而对在步骤s436中获得的更新前阈值进行位移。

一旦步骤s437的处理结束，则阈值设置处理结束，并且过程返回到图25。另外，在步骤s432中确定初始值被设置为阈值的情况下，阈值设置处理结束，并且过程返回到图25。

这样，阈值设置单元321可以根据图像数据的位深而设置阈值(适合于位深)。因此，在该情况下，图像解码装置300可以抑制解码图像的图像质量的劣化。

另外，阈值设置单元321可以使用在编码侧设置的阈值。因此，图像解码装置300可以将编码侧对图像质量的控制反映在解码图像上。

另外，在没有从编码侧传送阈值改变标志的情况下，可省略上述步骤s431的处理。在该情况下，基于除阈值改变标志之外的信息(例如，位深编码信息、阈值编码信息等)而执行步骤s432的确定。

<阈值设置单元/滤波处理单元>

图33是示出在图23的阈值设置单元321将从编码侧传送的更新后阈值设置为要在滤波处理单元322中使用的阈值的情况下的阈值设置单元321和滤波处理单元322的主要配置示例的框图。

在图33的示例中，阈值设置单元321被配置成包括解码单元361。

解码单元361获取从编码侧传送的阈值编码信息，并且对阈值编码信息进行解码以获得表示更新后阈值的阈值信息。例如，解码单元361对作为哥伦布码的阈值编码信息进行哥伦布解码以获得阈值信息。解码单元361将以此方式获得的表示更新后阈值的阈值信息提供到邻近像素确定单元342。

另外，解码单元361还可从无损解码单元302获取从编码侧传送的阈值改变标志，并且根据该值确定是否更新阈值。

另外，滤波处理单元322具有与图24的情况相同的配置，并且执行与图24的情况相同的处理。

这样，由于阈值设置单元321可以将在编码侧设置的阈值设置为要由滤波处理单元322使用的阈值，因此帧内预测单元310可以将编码侧对图像质量的指定反映在预测图像上。即，图像解码装置300可以将编码侧对图像质量的控制反映在解码图像上。

<阈值设置处理的流程>

接下来，将参照图34的流程图描述在图30的示例的阈值设置单元321将在编码侧更新的阈值设置为要由滤波处理单元322使用的阈值的示例中在图25的步骤s303中执行的阈值设置处理的流程的示例。另外，在图34中，将描述阈值改变标志被传送到编码侧的情况。

在图34的示例的情况下，与图32的示例的步骤s431和s432的处理类似地执行步骤s451和s452的处理。

在图34的步骤s452中确定更新后阈值被更新的情况下，过程进行到步骤s453。

在步骤s453中，解码单元361从无损解码单元302获取阈值编码信息。

在步骤s454中，解码单元361对在步骤s453中获取的阈值编码信息进行解码，并且获取表示在编码侧更新的阈值的阈值信息。

一旦步骤s454的处理结束，则阈值设置处理结束，并且过程返回到图25。另外，在步骤s452中确定初始值被设置为阈值的情况下，阈值设置处理结束，并且过程返回到图25。

这样，阈值设置单元321还可以使用在编码侧设置的阈值。因此，图像解码装置300可以将编码侧对图像质量的控制反映在解码图像上。

另外，在阈值改变标志没有被传送到编码侧的情况下，可省略上述步骤s451的处理。在该情况下，基于除阈值改变标志之外的信息(例如，阈值编码信息等)而执行步骤s452的确定。

<阈值设置单元/滤波处理单元>

图35是示出在图23的阈值设置单元321根据解码图像数据的位深对从编码侧传送的更新前阈值进行更新的情况下的阈值设置单元321和滤波处理单元322的主要配置示例的框图。

在图35的示例的情况下，阈值设置单元321被配置成包括位深确定单元331、阈值位移单元332和解码单元351。

位深确定单元331从无损解码单元302获取从编码侧(例如，图像编码装置100)例如作为序列参数集等传送的关于编码数据的位深的信息，并且基于关于位深的信息而确定图像数据的位深。另外，例如，位深确定单元331从帧存储器309获取解码图像的图像信息，并且基于该图像信息而确定图像数据的位深。位深确定单元331将表示以此方式确定的位深的信息提供到阈值位移单元332。

解码单元351获取从编码侧传送的阈值编码信息并且对阈值编码信息进行解码以获得表示更新前阈值的阈值信息。例如，解码单元351对作为哥伦布码的阈值编码信息进行哥伦布解码以获得阈值信息。解码单元351将以此方式获得的表示更新前阈值的阈值信息提供到阈值位移单元332。

阈值位移单元332通过根据从位深确定单元331提供的表示位深的信息对从解码单元351提供的更新前阈值进行位移而更新(改变)在编码侧设置的阈值。

例如，具有适合于位深为8位的情况的值的阈值被作为在编码侧设置的更新前阈值从解码单元351被提供到阈值位移单元332。一旦阈值位移单元332从位深确定单元331获取到表示位深的信息，则阈值位移单元根据由该信息表示的图像数据的位深与8位之间的位数差而对更新前阈值进行位移。

阈值位移单元332将表示更新(改变)后阈值的信息(阈值信息)提供到滤波处理单元332的邻近像素确定单元342。

另外，位深确定单元331还可从无损解码单元302获取从编码侧传送的阈值改变标志，并且根据该值确定是否更新阈值。

另外，滤波处理单元322具有与图24的情况相同的配置，并且执行与图24的情况相同的处理。

这样，阈值设置单元321可以根据图像数据的位深而更新在编码侧设置的阈值，滤波处理单元322可以选择适合于图像数据的位深的滤波器并且通过使用该滤波器而对邻近像素执行滤波处理，并且帧内预测单元310可以通过使用施加了适合于图像数据的位深的滤波处理的邻近像素而生成预测图像。即，这样，图像解码装置300可以抑制解码图像的图像质量的劣化。

<阈值设置处理的流程>

接下来，将参照图36的流程图描述在图35的示例的阈值设置单元321基于图像数据的位深而更新在编码侧设置的阈值的示例中在图25的步骤s303中执行的阈值设置处理的流程的示例。另外，在图36中，将描述阈值改变标志被传送到编码侧的情况。

在图36的示例的情况下，与图26的示例的步骤s331至s334的处理类似地执行步骤s471至s474的处理。

另外，在图36的示例的情况下，与图32的示例的步骤s435和s436的处理类似地执行步骤s475和s476的处理。

一旦图36的步骤s476的处理结束，则过程进行到步骤s477。

在步骤s477中，阈值位移单元332根据在步骤s474中获得的位深而对在步骤s476中获得的更新前阈值进行位移。

一旦步骤s477的处理结束，则阈值设置处理结束，并且过程返回到图25。另外，在步骤s472中确定初始值被设置为阈值的情况下，阈值设置处理结束，并且过程返回到图25。

这样，阈值设置单元321可以根据图像数据的位深而设置阈值(适合于位深)。因此，在该情况下，图像解码装置300也可以抑制解码图像的图像质量的劣化。

另外，阈值设置单元321可以使用在编码侧设置的阈值。因此，图像解码装置300可以将编码侧对图像质量的控制而反映在解码图像上。

另外，在阈值改变标志没有被传送到编码侧的情况下，可省略上述步骤s471的处理。在该情况下，基于除阈值改变标志之外的信息(例如，关于位深的信息、阈值编码信息等)而执行步骤s472的确定。

另外，在位深确定单元331基于图像信息确定位深的情况下，取代步骤s473和s474的处理，可执行图29的步骤s393和s394的处理。

如上所述，本技术可以应用于通过使用帧内预测对图像进行编码/解码的所有图像编码装置和所有图像解码装置。

另外，本技术可以应用于在通过诸如卫星广播、有线电视、因特网或移动电话的网络介质接收通过诸如离散余弦变换的正交变换和运动补偿压缩的图像信息(位流)时所使用的图像编码装置和图像解码装置，例如，如mpeg、h.26x等。另外，本技术可以应用于在对诸如光盘、磁盘和闪存的存储介质执行处理时所使用的图像编码装置和图像解码装置。另外，本技术可以应用于包括在图像编码装置、图像解码装置等中的帧内预测设备。

<3.第三实施例>

<对多视点图像编码/多视点图像解码的应用>

上述一系列处理可以应用于多视点图像编码/多视点图像解码。图37示出了多视点图像编码方案的示例。

如图37所示，多视点图像包括多个视点(视图)的图像。多视点图像的多个视图包括仅通过使用其自己的视图的图像而不使用其它视图的图像执行编码/解码的基本视图和通过使用其它视图的图像执行编码/解码的非基本视图。非基本视图可被定义为使用基本视图的图像或者可被定义为使用其它非基本视图的图像。

在对如图37所示的多视点图像进行编码/解码的情况下，对每个视图的图像进行编码/解码。然而，在每个视图的编码/解码中，可应用上述第一和第二实施例的方法。这样，可以抑制每个视图的图像质量的劣化。

另外，在每个视图的编码/解码中，可共享在上述第一和第二实施例的方法中使用的标志或参数。这样，抑制了冗余信息的传送，使得可以减少传送信息量(码量)(即，可以抑制编码效率的降低)。

更具体地，例如，可在每个视图的编码/解码中共享要用于选择在帧内预测中对当前块的邻近像素的滤波处理的阈值、图像数据的位深、表示阈值的改变的阈值改变标志等。

在每个视图的编码/解码中还可共享除上述信息之外的必要信息。

<多视点图像编码装置>

图38是示出执行上述多视点图像编码的多视点图像编码装置的图。如图38所示，多视点图像编码装置600被配置成包括编码单元601、编码单元602和复用器603。

编码单元601对基本视图图像进行编码以生成基本视图图像编码流。编码单元602对非基本视图图像进行编码以生成非基本视图图像编码流。复用器603对编码单元601生成的基本视图图像编码流和编码单元602生成的非基本视图图像编码流进行复用以生成多视点图像编码流。

图像编码装置100(图10)可以应用于多视点图像编码装置600的编码单元601和编码单元602。即，在每个视图的编码中，可以控制要用于选择帧内预测的滤波处理的阈值，以使得可以抑制每个视图的图像质量的劣化。另外，编码单元601和编码单元602可以通过使用同一标志或参数(例如，阈值、位深等)而执行帧内预测的滤波处理的控制等(即，可以共享标志或参数)，以使得可以抑制编码效率的降低。

<多视点图像解码装置>

图39是示出执行上述多视点图像解码的多视点图像解码装置的图。如图39所示，多视点图像解码装置610被配置成包括解复用器611、解码单元612和解码单元613。

解复用器611对基本视图图像编码流和非基本视图图像编码流被复用的多视点图像编码流进行解复用，以提取基本视图图像编码流和非基本视图图像编码流。解码单元612对解复用器611提取的基本视图图像编码流进行解码以获得基本视图图像。解码单元613对解复用器611提取的非基本视图图像编码流进行解码以获得非基本视图图像。

图像解码装置300(图23)可以应用于多视点图像解码装置610的解码单元612和解码单元613。即，在每个视图的解码中，可以控制要用于帧内预测的滤波处理的阈值，以使得可以抑制每个视图的图像质量的劣化。另外，解码单元612和解码单元613可以通过使用同一标志或参数(例如，阈值、位深等)而执行帧内预测的滤波处理的控制等(即，可以共享标志或参数)，以使得可以抑制编码效率的降低。

<4.第四实施例>

<对分层图像编码/分层图像解码的应用>

上述一系列处理可以应用于分层图像编码/分层图像解码(可伸缩编码/可伸缩解码)。图40示出了分层图像编码方案的示例。

分层图像编码(可伸缩编码)为图像配置多个层(对图像进行分层)以便相对于预定参数具有可伸缩功能，并且对每个层的图像数据进行编码。分层图像解码是与分层图像编码对应的解码(可伸缩解码)。

如图40所示，在图像分层中，通过使用具有可伸缩功能的预定参数作为参考而将一个图像划分成多个图像(层)。即，分层后的图像(分层图像)包括预定参数的值不同的多个层级(层)的图像。分层图像的多个层包括通过仅使用其自己层的图像而不使用其它层的图像执行编码/解码的基本层和通过使用其它层的图像执行编码/解码的非基本层(有时称为增强层)。非基本层可使用基本层的图像或者可使用其它非基本层的图像。

一般地，非基本层配置有其自己的图像与其它层的图像之间的差别图像的数据(差别数据)以减少冗余。例如，在一个图像被分层为基本层和非基本层(有时称为增强层)这两个层的情况下，通过仅使用基本层的数据来获得图像质量低于原始图像的图像质量的图像，并且通过组合基本层的数据和非基本层的数据来获得原始图像(即，高质量图像)。

以此方式，通过对图像进行分层，可以容易地获得根据情形而具有各种质量的图像。例如，对于具有低处理能力的终端(诸如移动电话)，仅传送基本层的图像压缩信息并且再现具有低空间时间分辨率或具有差图像质量的运动图像，并且对于具有高处理能力的终端(诸如电视机或个人计算机)，除了基本层之外，还传送增强层的图像压缩信息，并且再现具有高空间时间分辨率或具有良好图像质量的运动图像。因此，在没有执行译码处理的情况下，可以根据终端或网络的能力而从服务器传送图像压缩信息。

在对如图40的示例所示的分层图像进行编码/解码的情况下，对每个层的图像进行编码/解码。然而，在每个层的编码/解码中，可应用上述第一和第二实施例的方法。这样，可以抑制每个层的图像质量的劣化。

另外，在各个层的编码/解码中，可共享在上述第一和第二实施例的方法中使用的标志或参数。这样，抑制了冗余信息的传送，使得可以减少传送信息量(码量)(即，可以抑制编码效率的降低)。

更具体地，例如，在各个层的编码/解码中可共享要用于选择帧内预测中对当前块的邻近像素的滤波处理的阈值、图像数据的位深、表示阈值的改变的阈值改变标志等。

在各个层的编码/解码中还可共享除上述信息之外的必要信息。

<可伸缩参数>

在分层图像编码/分层图像解码(可伸缩编码/可伸缩解码)中，具有可伸缩功能的参数是任意的。例如，图41所示的空间分辨率可被视为参数(空间可伸缩性)。在空间可伸缩性的情况下，多个层的图像的分辨率是不同的。即，如图41所示，每个图像被分层为空间分辨率低于原始图像的基本层和与基本层的图像组合以获得原始图像(原始图像分辨率)的增强层这两个层。层的数量是示例性的，并且每个图片可被分层为任意数量的层。

另外，此外，作为提供可伸缩性的参数，例如，可应用图42所示的时间分辨率(时间可伸缩性)。在时间可伸缩性的情况下，帧速率在多个层之间是不同的。即，在该情况下，如图42所示，通过分层获得具有不同帧速率的层，并且通过将具有高帧速率的层与具有低帧速率的层相加来获得具有较高帧速率的运动图像，以使得可以通过将所有层相加来获得原始运动图像(原始帧速率)。层的数量是示例性的，并且每个图片可被分层为任意数量的层。

另外，作为提供可伸缩性的参数，例如，可应用信噪比(snr)(snr可伸缩性)。在snr可伸缩性的情况下，sn速率在多个层之间是不同的。即，在该情况下，如图43所示，每个图片被分层为snr低于原始图像的基本层和具有通过与基本层进行组合而获得的原始图像(原始snr)的增强层这两个层。即，对于基本层图像压缩信息，传送关于低psnr图像的信息，并且通过将增强层图像压缩信息与上述信息相加，可以重构高psnr图像。层的数量是示例性的，并且每个图片可被分层为任意数量的层。

提供可伸缩性的参数可以是除上述示例之外的参数。例如，存在位深可伸缩性：其中，基本层由8位图像构成，并且通过将增强层与基本层相加，获得10位图像。

另外，存在色度可伸缩性：其中，基本层由4:2:0格式的组成图像构成，并且通过将增强层与基本层相加，获得4:2:2格式的组成图像。

<分层图像编码装置>

图44是示出执行上述分层图像编码的分层图像编码装置的图。如图44所示，分层图像编码装置620被配置成包括编码单元621、编码单元622和复用器623。

编码单元621对基本层图像进行编码以生成基本层图像编码流。编码单元622对非基本层图像进行编码以生成非基本层图像编码流。复用器623对编码单元621生成的基本层图像编码流和编码单元622生成的非基本层图像编码流进行复用以生成分层图像编码流。

图像编码装置100(图10)可以应用于分层图像编码装置620的编码单元621和编码单元622。即，在各个层的编码中，可以控制要用于选择帧内预测的滤波处理的阈值，以使得可以抑制各个层的图像质量的劣化。另外，编码单元621和编码单元622可以通过使用同一标志或参数(例如，阈值、位深等)而执行帧内预测的滤波处理的控制等(即，可以共享标志或参数)，以使得可以抑制编码效率的降低。

<分层图像解码装置>

图45是示出执行上述分层图像解码的分层图像解码装置的图。如图45所示，分层图像解码装置630被配置成包括解复用器631、解码单元632和解码单元633。

解复用器631对基本层图像编码流和非基本层图像编码流被复用的分层图像编码流进行解复用，以提取基本层图像编码流和非基本层图像编码流。解码单元632对解复用器631提取的基本层图像编码流进行解码以获得基本层图像。解码单元633对解复用器631提取的非基本层图像编码流进行解码以获得非基本层图像。

图像解码装置300(图23)可以应用于分层图像解码装置630的解码单元632和解码单元633。即，在各个层的解码中，可以控制要用于选择帧内预测的滤波处理的阈值，使得可以抑制各个层的图像质量的劣化。另外，解码单元632和解码单元633可以通过使用同一标志或参数(例如，阈值、位深等)而执行帧内预测的滤波处理的控制等(即，可以共享标志或参数)，使得可以抑制解码效率的降低。

另外，本技术可以应用于通过诸如卫星广播、有线电视、因特网或移动电话而接收通过诸如离散余弦变换的正交变换和运动补偿所压缩的图像信息(位流)时所使用的图像编码装置和图像解码装置，例如，如mpeg、h.26x等。另外，本技术可以应用于在对诸如光盘、磁盘和闪存的存储介质执行处理时所使用的图像编码装置和图像解码装置。另外，本技术可以应用于包括在图像编码装置、图像解码装置等中的量化设备或逆量化设备。

<5.第五实施例>

<计算机>

上述一系列处理可以由硬件来执行或者可以由软件来执行。在一系列处理由软件执行的情况下，构成该软件的程序安装在计算机中。这里，计算机包括装配在专用硬件中的计算机、安装各种程序以执行各种功能的通用个人计算机等。

图46是示出通过程序执行上述一系列处理的计算机的硬件的主要配置示例的框图。

在图46所示的计算机800中，cpu(中央处理单元)801、rom(只读存储器)802和ram(随机存取存储器)803经由总线804连接到彼此。

输入/输出接口810也连接到总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接到输入/输出接口810。

输入单元811由例如键盘、鼠标、麦克风、触摸板、输入端口等构成。输出单元812由例如显示器、扬声器、输出端口等构成。存储单元813由例如硬盘、ram盘、非易失性存储器等构成。通信单元814由例如网络接口构成。驱动器815驱动诸如磁盘、光盘、光磁盘或半导体存储器的可拆卸介质821。

在具有上述配置的计算机中，例如，cpu801通过输入/输出接口810和总线804将存储在存储单元813中的程序加载到ram803上并且执行该程序，以执行上述一系列处理。ram803适当地存储cpu801执行各种处理所需的数据等。

计算机(cpu801)执行的程序可以以程序记录在可拆卸介质821(例如，封装介质)等中的方式来提供。另外，程序可以通过诸如局域网、因特网或数字卫星广播的有线或无线传送介质来提供。

在计算机中，可拆卸介质821安装在驱动器815上，以使得程序可通过输入/输出接口810安装在存储单元813中。另外，程序可由通信单元814通过有线或无线传送介质来接收以安装在存储单元813中。或者，程序可预先安装在rom802或存储单元813中。

另外，计算机执行的程序可以是根据说明书中描述的过程而以时间序列执行处理的程序，或者该程序可以是并行地或在必要的定时(诸如在进行调用时)执行处理的程序。

另外，在说明书中，描述记录在记录介质中的程序的步骤包括以所写顺序执行的处理和不一定以时间序列执行而是同时或独立地执行的处理。

另外，在该说明书中，系统表示多个部件(装置、模块(部分)等)的集合而与所有部件是否存在于同一壳体中无关。因此，容纳在分别的壳体中并且经由网络连接到彼此的多个设备和多个模块容纳在一个壳体中的单个设备均是系统。

另外，可允许对以上被描述为单个设备(或处理单元)的配置进行划分以被配置为多个设备(或处理单元)。另一方面，可允许对以上被描述为多个设备(或处理单元)的配置进行集合以被配置为单个设备(或处理单元)。另外，可允许每个设备(或每个处理单元)添加除上述配置之外的配置。另外，如果整个系统中的配置或操作基本上相同，则可允许设备(或处理单元)的配置的一部分包括在另一设备(或处理单元)的配置中。

尽管详细描述了以上参照附图公开的示例性实施例，但是所公开的技术范围不限于示例。显然，本领域技术人员可以在权利要求所公开的技术精神的范围内进行各种改变或修改，并且应理解，这些改变或修改包括在所公开的技术范围内。

例如，本技术可采用允许一个功能经由网络由多个设备共享并且共同执行的云计算配置。

另外，取代由单个设备执行，以上流程图中描述的每个步骤可由多个设备共享和执行。

另外，在多个处理包括在一个步骤中的情况下，取代由单个设备执行，包括在一个步骤中的多个处理可由多个设备共享和执行。

根据上述实施例的图像编码装置和图像解码装置可以应用于各种电子设备，例如，卫星广播、诸如有线tv的有线广播、因特网上的递送或者通过蜂窝通信到终端的递送中的发送机或接收机，将图像记录在诸如光盘、磁盘、闪存等的介质中的记录设备，或者再现来自这些存储介质的图像的再现设备。在下文中，将描述四个应用示例。

<6.应用示例>

<第一应用示例：电视机>

图47示出了应用上述实施例的电视机设备的示意配置示例。电视机设备900被配置成包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号而提取期望信道的信号并且对所提取的信号进行解调。接下来，调谐器902将通过解调获得的编码位流输出到解复用器903。即，调谐器902具有作为电视机设备900中的接收图像被编码的编码流的传送单元的功能。

解复用器903从编码位流分离要观看的节目的视频流和音频流，并且将分离后的流输出到解码器904。另外，解复用器903从编码位流提取诸如epg(电子节目指南)的辅助数据，并且将所提取的数据提供到控制单元910。另外，在编码位流被加扰的情况下，解复用器903可执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。接下来，解码器904将通过解码处理生成的视频数据输出到视频信号处理单元905。另外，解码器904将通过解码处理生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据以在显示单元906上显示视频。另外，视频信号处理单元905可在显示单元906上显示经由网络提供的应用屏幕。另外，视频信号处理单元905可根据设置而对视频数据执行诸如去噪的附加处理。另外，视频信号处理单元905可生成诸如菜单、按钮或光标的gui(图形用户界面)的图像，并且将所生成的图像与输出图像重叠。

显示单元906由从视频信号处理单元905提供的驱动信号来驱动，以在显示装置(例如，液晶显示器、等离子显示器、oeld(有机电致发光显示器)(有机el显示器)等)的视频屏幕上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行诸如d/a转换和放大的再现处理，以允许扬声器908输出音频。另外，音频信号处理单元907可对音频数据执行诸如去噪的附加处理。

外部接口909是用于将电视机设备900连接到外部装置或网络的接口。例如，通过外部接口909接收的视频流和音频流可由解码器904来解码。即，外部接口909还具有作为电视机设备900中的接收图像被编码的编码流的传送单元的功能。

控制单元910被配置成包括cpu等的处理器以及诸如ram和rom的存储器。存储器存储cpu执行的程序、程序数据、epg数据、通过网络获取的数据等。存储在存储器中的程序由cpu例如在启动电视机设备900时读出和执行。cpu执行该程序以例如根据从用户接口911输入的操纵信号而控制电视机设备900的操作。

用户接口911连接到控制单元910。用户接口911被配置成包括例如用于用户操纵电视机设备900的按钮和开关、用于远程控制信号的接收单元等。用户接口911通过这些部件检测用户的操纵以生成操纵信号，并且将所生成的操纵信号输出到控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910连接到彼此。

在具有上述配置的电视机设备900中，解码器904具有根据上述实施例的图像解码装置300(图23)的功能。因此，在电视机设备900中进行图像解码时，可以抑制图像质量的劣化。

<第二应用示例：移动电话>

图48示出了采用上述实施例的移动电话的示意配置示例。移动电话920被配置成包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操纵单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操纵单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931连接到彼此。

移动电话920以包括语音呼叫模式、数据通信模式、成像模式和tv电话模式的各种操作模式而执行音频信号的传送和接收、电子邮件或图像数据的传送和接收、图像捕获和数据记录等的操作。

在语音呼叫模式下，麦克风925生成的模拟音频信号被提供到音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对转换后的音频数据进行a/d转换和压缩。接下来，音频编解码器923将压缩后的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成传送信号。接下来，通信单元922通过天线921将所生成的传送信号传送到基站(未示出)。另外，通信单元922对通过天线921接收的无线信号进行放大和频率转换以获取接收信号。接下来，通信单元922对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压缩和d/a转换以生成模拟音频信号。接下来，音频编解码器923将所生成的音频信号提供到扬声器924，以输出音频。

另外，在数据通信模式下，例如，控制单元931根据通过操纵单元932的用户操纵而生成构成电子邮件的字符数据。另外，控制单元931在显示单元930上显示字符。另外，控制单元931根据通过操纵单元932来自用户的传送命令而生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传送信号。接下来，通信单元922通过天线921将所生成的传送信号传送到基站(未示出)。另外，通信单元922对通过天线921接收的无线信号进行放大和频率转换以获取接收信号。接下来，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，并且将所接收的电子邮件数据输出到控制单元931。控制单元931允许显示单元930显示电子邮件的内容，并且将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929由任意可读/可写存储介质构成。例如，存储介质可以是诸如ram或闪存的内置式存储介质，并且可以是诸如硬盘、磁盘、光磁盘、光盘、usb(通用串行总线)存储器或存储卡的外接式存储介质。

另外，在成像模式下，例如，摄像装置单元926捕获对象的图像以生成图像数据，并且将所生成的图像数据输出到图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码流存储在存储/再现单元929的存储介质中。

另外，在tv电话模式下，复用/分离单元928对图像处理单元297编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用后的流输出到通信单元922。通信单元922对该流进行编码和调制以生成传送信号。接下来，通信单元922通过天线921将所生成的传送信号传送到基站(未示出)。另外，通信单元922对通过天线921接收的无线信号进行放大和频率转换以获取接收信号。传送信号和接收信号包括在编码位流中。接下来，通信单元922对接收信号进行解码和解调以恢复流，并且将恢复后的流输出到复用/分离单元928。复用/分离单元928从输入流分离视频流和音频流，并且将视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供到显示单元930，以由显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩和d/a转换以生成模拟音频信号。接下来，音频编解码器923将所生成的音频信号提供到扬声器924以输出音频。

在具有上述配置的移动电话920中，图像处理单元927具有根据上述实施例的图像编码装置100(图10)和图像解码装置300(图23)的功能。因此，在移动电话920中对图像进行编码和解码时，可以抑制图像质量的劣化。

<第三应用示例：记录/再现设备>

图49示出了采用上述实施例的记录/再现设备的示意配置示例。记录/再现设备940对例如接收广播节目的音频数据和视频数据进行编码以将编码数据记录在记录介质中。另外，记录/再现设备940可对例如从其它设备获取的音频数据和视频数据进行编码以将编码数据记录在记录介质中。另外，记录/再现设备940例如根据用户的命令而在监视器或扬声器上再现记录在记录介质中的数据。此时，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940被配置成包括调谐器941、外部接口942、编码器943、hdd(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、osd(在屏显示)948、控制单元949和用户接口950。

调谐器941从通过天线(未示出)接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。接下来，调谐器941将通过解调获得的编码位流输出到选择器946。即，调谐器941具有作为记录/再现设备940中的传送单元的功能。

外部接口942是用于将记录/再现设备940连接到外部装置或网络的接口。外部接口942可以是例如ieee1394接口、网络接口、usb接口、闪存接口等。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。即，外部接口942具有作为记录/再现设备940中的传送单元的功能。

在从外部接口942输入的视频数据和音频数据没有被编码的情况下，编码器943对视频数据和音频数据进行编码。接下来，编码器943将编码位流输出到选择器946。

hdd944将视频、音频等的内容数据被压缩的编码位流、各种程序和其它数据记录在内置硬盘中。另外，在再现视频和音频时，hdd944从硬盘读出这些数据。

盘驱动器945对安装的记录介质执行数据记录和数据读取。安装在盘驱动器945上的记录介质可以是例如dvd盘(dvd-视频、dvd-ram、dvd-r、dvd-rw、dvd+r、dvd+rw等)、蓝光(注册商标)盘等。

在记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出到hdd944或盘驱动器945。另外，在再现视频和音频时，选择器946将从hdd944或盘驱动器945输入的编码位流输出到解码器947。

解码器947对编码位流进行解码以生成视频数据和音频数据。接下来，解码器947将所生成的视频数据输出到osd948。另外，解码器947将所生成的音频数据输出到外部扬声器。

osd948再现从解码器947输入的视频数据以显示视频。另外，osd948可将诸如菜单、按钮或光标的gui的图像与所显示的视频重叠。

控制单元949被配置成包括cpu等的处理器和诸如ram和rom的存储器。存储器存储cpu执行的程序、程序数据等。存储在存储器中的程序由cpu例如在启动记录/再现设备940时读出和执行。cpu执行该程序以例如根据从用户接口950输入的操纵信号而控制记录/再现设备940的操作。

用户接口950连接到控制单元949。用户接口950被配置成包括例如用于用户操纵记录/再现设备940的按钮和开关以及用于远程控制信号的接收单元等。用户接口950通过这些部件检测用户的操纵以生成操纵信号，并且将所生成的操纵信号输出到控制单元949。

在具有上述配置的记录/再现设备940中，编码器943具有根据上述实施例的图像编码装置100(图10)的功能。另外，解码器947具有根据上述实施例的图像解码装置300(图23)的功能。因此，在记录/再现设备940中对图像进行编码和解码时，可以抑制图像质量的劣化。

<第四应用示例：成像设备>

图50示出了采用上述实施例的成像设备的示意配置示例。成像设备960捕获对象的图像以生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。

成像设备960被配置成包括光学组件961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、osd969、控制单元970、用户接口971和总线972。

光学组件961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、osd969和控制单元970连接到彼此。

光学组件961被配置成包括聚焦透镜、光圈机构等。光学组件961将对象的光学图像聚焦在成像单元962的成像平面上。成像单元962由诸如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)的图像传感器构成，并且通过光电转换将聚焦在成像平面上的光学图像转换为作为电信号的图像信号。接下来，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行诸如膝点校正、伽马校正、颜色校正的各种摄像装置信号处理。信号处理单元963将施加了摄像装置信号处理的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成编码数据。接下来，图像处理单元964将所生成的编码数据输出到外部接口966或介质驱动器968。另外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。接下来，图像处理单元964将所生成的图像数据输出到显示单元965。另外，图像处理单元964将从信号处理单元963输入的图像数据输出到显示单元965以显示该图像。另外，图像处理单元964可将从osd969获取的用于显示的数据与输出到显示单元965的图像重叠。

osd969生成诸如菜单、按钮或光标的gui的图像，并且将所生成的图像输出到图像处理单元964。

外部接口966由例如usb输入/输出端口构成。例如，在打印图像时，外部接口966将成像设备960连接到打印机。另外，如果需要，驱动器连接到外部接口966。例如，诸如磁盘或光盘的可拆卸介质安装在驱动器上，并且从可拆卸介质读出的程序安装在成像设备960中。另外，外部接口966可由连接到网络(诸如lan或因特网)的网络接口构成。即，外部接口966具有作为成像设备960中的传送单元的功能。

安装在介质驱动器968上的记录介质可以是例如任意可读/可写可拆卸介质，诸如磁盘、光磁盘、光盘或半导体存储器。另外，记录介质固定安装在介质驱动器968上，并且记录介质可由例如非便携式存储介质(诸如内置硬盘驱动器或固态驱动器(ssd))构成。

控制单元970被配置成包括cpu等的处理器和诸如ram和rom的存储器。存储器存储cpu执行的程序、程序数据等。存储在存储器中的程序由cpu例如在启动成像设备960时读出和执行。cpu执行程序以例如根据从用户接口971输入的操纵信号而控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971被配置成包括例如用于用户操纵成像设备960的按钮和开关。用户接口971通过这些部件检测用户的操纵以生成操纵信号，并且将所生成的操纵信号输出到控制单元970。

在具有上述配置的成像设备960中，图像处理单元964具有根据上述实施例的图像编码装置100(图10)和图像解码装置300(图23)的功能。因此，在成像设备960中对图像进行编码和解码时，可以抑制图像质量的劣化。

<7.可伸缩编码的应用示例>

<第一系统>

接下来，将描述被可伸缩编码(分层(图像)编码)的可伸缩编码数据的具体使用示例。例如，如图51所示的示例，可伸缩编码用于选择要被传送的数据。

在图51所示的数据传输系统1000中，分发服务器1002读出存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，并且经由网络1003将可伸缩编码数据分发到终端装置，诸如个人计算机1004、av装置1005、平板装置1006和移动电话1007。

此时，分发服务器1002根据终端装置的能力、通信环境等而选择和传送具有适当质量的编码数据。尽管分发服务器1002不必传送具有高质量的数据，但是具有高图像质量的图像不一定在终端装置中获得，并且这可能是延迟或溢出的发生的原因。另外，通信频带会被不必要地占用，或者终端装置的负荷会不必要地增加。另一方面，尽管分发服务器1002不必传送具有低质量的数据，但是可能在终端装置中不能获得具有足够图像质量的图像。因此，分发服务器1002适当地读出存储在可伸缩编码数据存储单元1001中的可伸缩编码数据作为具有适合于终端装置的能力、通信环境等的质量的编码数据，并且传送该编码数据。

例如，可伸缩编码数据存储单元1001存储被可伸缩编码的可伸缩编码数据(bl+el)1011。可伸缩编码数据(bl+el)1011是包括基本层和增强层两者的编码数据以及通过对其进行解码获得基本层的图像和增强层的图像的数据。

分发服务器1002根据传送数据的终端装置的能力、通信环境等而选择适当的层，并且读出该层的数据。例如，对于具有高处理能力的个人计算机1004或平板装置1006，分发服务器1002从可伸缩编码数据存储单元1001读出具有高质量的可伸缩编码数据(bl+el)1011，并且在不进行改变的情况下传送可伸缩编码数据(bl+el)1011。另一方面，例如，对于具有低处理能力的av装置1005或移动电话1007，分发服务器1002从可伸缩编码数据(bl+el)1011提取基本层的数据，并且传送其质量低于可伸缩编码数据(bl+el)1011的可伸缩编码数据(bl)1012，但是可伸缩编码数据(bl)1012具有与可伸缩编码数据(bl+el)1011相同的内容。

由于以此方式使用可伸缩编码数据以使得可以容易地调整数据量，因此可以抑制延迟或溢出的发生或者抑制终端装置或通信介质的负荷的不必要增加。另外，在可伸缩编码数据(bl+el)1011中，由于层之间的冗余减少，因此与每个层的编码数据均被视为单独数据的情况相比，可以减少数据量。因此，可以有效地使用可伸缩编码数据存储单元1011的存储区域。

另外，与个人计算机1004或移动电话1007类似，由于各种装置可被应用于终端装置，因此终端装置的硬件性能在装置之间不同。另外，由于终端装置可执行各种应用，因此软件能力也不同。另外，由于包括有线通信网络、无线通信网络或者这两者的任意通信网络(诸如因特网或局域网(lan))可应用于作为通信介质的网络1003，因此数据传送能力不同。此外，数据传送能力可根据其它通信等而改变。

因此，在开始数据传送之前，分发服务器1002可与作为数据传送的目的地的终端装置进行通信，以获得关于终端装置的能力(诸如终端装置的硬件性能或者终端装置执行的应用(软件)的性能)的信息和关于通信环境(诸如网络1003的可用带宽)的信息。接下来，分发服务器1002可基于以上获得的信息而选择适当的层。

另外，可在终端装置中执行层提取。例如，个人计算机1004可对所传送的可伸缩编码数据(bl+el)1011进行解码以显示基本层的图像或者显示增强层的图像。另外，例如，个人计算机1004可从所传送的可伸缩编码数据(bl+el)1011提取基本层的可伸缩编码数据(bl)1012，以存储可伸缩编码数据(bl)1012，将可伸缩编码数据(bl)1012传送到其它装置，或者对可伸缩编码数据(bl)1012进行解码以显示基本层的图像。

当然，可伸缩编码数据存储单元1001的数量、分发服务器1002的数量、网络1003的数量和终端装置的数量是任意的。另外，尽管以上描述了分发服务器1002将数据传送到终端装置的示例，但是使用示例不限于此。数据传输系统1000可应用于任意系统：当数据传输系统1000将可伸缩编码的编码数据传送到终端装置时，其根据终端装置的能力、通信环境等而选择适当的层并且执行传送。

在图51所示的上述数据传输系统1000中，通过类似于应用将本技术应用于以上参照图40至图45描述的分层编码/分层解码，可以获得与以上参照图40至图45描述的效果相同的效果。

<第二系统>

另外，例如，如图52所示的示例，可伸缩编码用于经由多个通信介质的传送。

在图52所示的数据传输系统1100中，广播站1101通过地面广播1111传送基本层的可伸缩编码数据(bl)1121。另外，广播站1101经由由有线通信网络、无线通信网络或者这两者构成的任意网络1112而传送增强层的可伸缩编码数据(el)1122(例如，传送分组数据)。

终端装置1102具有对广播站1101广播的地面广播1111的接收功能，以接收通过地面广播1111传送的基本层的可伸缩编码数据(bl)1121。另外，终端装置1102还具有实现经由网络1112的通信的通信功能，以接收经由网络1112传送的增强层的可伸缩编码数据(el)1122。

终端装置1102例如根据用户指令等，通过对通过地面广播1111获取的基本层的可伸缩编码数据(bl)1121进行解码而获得基本层的图像，存储该数据或者传送数据。

另外，终端装置1102例如根据用户指令等，通过将通过地面广播1111获取的基本层的可伸缩编码数据(bl)1121和通过网络1112获取的增强层的可伸缩编码数据(el)1122进行组合而获得可伸缩编码数据(bl+el)，通过对该数据进行解码而获得增强层的图像，存储该数据，或者将该数据传送到其它装置。

以此方式，可伸缩编码数据可例如通过对于各个层的不同通信介质来传送。因此，可以分担负荷，使得可以抑制延迟或溢出的发生。

另外，可根据情形而针对每个层选择用于传送的通信介质。例如，具有相对大数据量的基本层的可伸缩编码数据(bl)1121可通过具有宽带宽的通信介质来传送，并且具有相对小数据量的增强层的可伸缩编码数据(el)1122可通过具有窄带宽的通信介质来传送。另外，例如，要通过其传送增强层的可伸缩编码数据(el)1122的通信介质可根据网络1112的可用带宽而在网络1112与地面广播1111之间切换。当然，同样适用于任意层的数据。

通过以此方式进行控制，可以进一步抑制数据传送的负荷的增加。

当然，层的数量是任意的，并且用于传送的通信介质的数量也是任意的。另外，作为数据分发的目的地的终端装置1102的数量也是任意的。另外，以上描述了从广播站1101进行广播的示例。然而，使用示例不限于此。数据传输系统1100可应用于任意系统，该系统以层为单位将可伸缩编码的编码数据分离成多个数据，并且通过多条通信线传送该数据。

在图52所示的上述数据传输系统1100中，通过类似于应用将本技术应用于以上参照图40至图45描述的分层编码/分层解码，可以获得与以上参照图40至图45描述的效果相同的效果。

<第三系统>

另外，例如，如图53所示的示例，可伸缩编码用于存储编码数据。

在图53所示的成像系统1200中，成像设备1201对通过捕获对象1211的图像而获得的图像数据执行可伸缩编码，并且将该数据作为可伸缩编码数据(bl+el)1221提供到可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202以根据情形的质量存储从成像设备1201提供的可伸缩编码数据(bl+el)1221。例如，在通常时段的情况下，可伸缩编码数据存储装置1202从可伸缩编码数据(bl+el)1221提取基本层的数据，并且以低质量将该数据存储作为具有小数据量的基本层的可伸缩编码数据(bl+el)1222。另一方面，例如，在注意时段的情况下，可伸缩编码数据存储装置1202以高质量存储具有大数据量的可伸缩编码数据(bl+el)1221。

这样，可伸缩编码数据存储装置1202可仅在必要时以高图像质量存储图像。因此，可以抑制数据量的增加，同时抑制由于图像质量劣化而导致的图像价值的降低，并且可以提高存储区域的利用效率。

例如，成像设备1202是监视摄像装置。在监视目标(例如，入侵者)没有出现在捕获图像上的情况下(在通常时段的情况下)，由于很可能捕获图像的内容不重要，因此优先减少数据量，并且以低质量存储图像数据(可伸缩编码数据)。另一方面，在监视目标在捕获图像上出现作为对象1211的情况下(在注意时段的情况下)，由于很可能捕获图像的内容重要，因此图像质量优先，并且以高质量存储图像数据(可伸缩编码数据)。

另外，可例如通过可伸缩编码数据存储装置1202分析图像而执行关于情形是处于通常时段还是注意时段的确定。另外，可由成像设备1201执行确定，并且确定结果可被传送到可伸缩编码数据存储装置1202。

另外，关于情形处于通常时段还是注意时段的确定的准则是任意的，并且被定义为确定准则的图像的内容是任意的。当然，除了图像内容之外的其它条件可被定义为确定的准则。例如，可根据记录音频的幅值、波形等而切换通常时段和注意时段；可每隔预定时间切换通常时段和注意时段；或者可根据诸如用户指令的外部指令而切换通常时段和注意时段。

另外，尽管以上描述了切换通常时段和注意时段这两个状态的示例，但是状态的数量是任意的。可切换例如通常时段、弱注意时段、注意时段、强注意时段等的三个或更多个状态。然而，切换状态的数量的上限与可伸缩编码数据的层的数量有关。

另外，成像设备1201可根据状态而确定可伸缩编码中的层的数量。例如，在通常时段的情况下，成像设备1201可以以低质量生成具有小数据量的基本层的可伸缩编码数据(bl)1222，并且将该数据提供到可伸缩编码数据存储装置1202。另外，例如，在注意时段的情况下，成像设备1201可以以高质量生成具有大数据量的基本层的可伸缩编码数据(bl+el)1221，并且将该数据提供到可伸缩编码数据存储装置1202。

尽管以上描述了监视摄像装置的示例，但是成像系统1200的应用是任意的，并且不限于监视摄像装置。

在图53所示的上述成像系统1200中，通过类似于应用将本技术应用于以上参照图40至图45描述的分层编码/分层解码，可以获得与以上参照图40至图45描述的效果相同的效果。

另外，本技术可以应用于例如http流送(streaming)(诸如mpegdash)，其中，在其准备分辨率等不同的多个编码数据当中以片段为单位来选择和使用适当的数据。即，可以在多个编码数据之间共享关于编码或解码的信息。

<8.第六实施例>

<实施例的其它示例>

以上描述了应用本技术的设备或系统的示例。然而，本技术不限于此，并且本技术可被实施为如下任何构成：其中，本技术安装在这样的设备或构成这样的系统的装置中，例如，作为系统lsi(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块的单元、其它功能被添加到单元的机组(即，装置的一些部件)。

<视频机组>

将参照图54描述本技术被用作机组的情况的示例。图54示出了应用本技术的视频机组的示意配置示例。

近年来，越来越多地提供了具有多种功能的电子装置。在电子装置的开发或生产中，在一些部件被实施用于销售、分发等的情况下，除了实施具有一种功能的部件的情况之外，在许多情况下，具有相关联的功能的多个部件被组合以被实施为具有多种功能的一个机组。

图54所示的视频机组1300具有上述多功能配置，并且是具有与图像的编码或解码(任意一个或两者)相关联的功能的装置和具有除上述功能之外的功能的装置的组合。

如图54所示，视频机组1300被配置成包括视频模块1311、外部存储器1312、电力管理模块1313、前端模块1314等的模块组以及与连接部件1321、摄像装置1322、传感器1323等相关联的功能的装置。

模块旨在为具有通过集合彼此相关的一些零件功能而获得的多种功能的零件。具体物理配置是任意的。然而，例如，考虑具有各种功能的多个处理器、诸如电阻器或电容器的电路元件或者其它装置被布置在布线基板上以被集成。另外，可考虑该模块与其它模块、处理器等组合以被视为新的模块。

在图54的示例的情况下，视频模块1311是具有与图像处理相关联的功能的配置的组合，并且被配置成包括应用处理器1331、视频处理器1332、宽带调制解调器1333和rf模块1334。

通过soc(片上系统)将具有预定功能的部件集成为半导体芯片来获得处理器，并且存在有时称为例如系统lsi(大规模集成)等的处理器。具有预定功能的部件可以是逻辑电路(硬件部件)，可以是cpu、rom、ram等和通过使用cpu、rom、ram等执行的程序(软件部件)，并且可以是两种部件的组合。例如，处理器可包括逻辑电路和cpu、rom、ram等，由逻辑电路(硬件部件)来实现一些功能，并且由在cpu中执行的程序(软件部件)来实现其它功能。

图54的应用处理器1331是执行与图像处理相关联的应用的处理器。应用处理器1331执行的应用执行算数处理以便实现预定功能，并且如果需要，应用还可控制视频模块1311内部和外部的部件(诸如视频处理器1332等)。

视频处理器1332是具有与图像编码和解码(一个或两者)相关的功能的处理器。

宽带调制解调器1333对要通过有线或无线(或者这两者)宽带通信传送的数据(数字信号)进行数字调制以转换为模拟信号，该有线或无线宽带通信是通过诸如因特网或公共电话网络的宽带线路执行的，或者宽带调制解调器1333对通过宽带通信接收的模拟信号进行解调以转换为数据(数字信号)。宽带调制解调器1333对任意信息进行处理，例如，视频处理器1332处理的图像数据、图像数据被编码的流、应用程序、设置数据等。

rf模块1334是对经由天线传送和接收的射频(rf)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，rf模块1334对宽带调制解调器1333生成的基带信号执行频率转换等以生成rf信号。另外，例如，rf模块1334对通过前端模块1314接收的rf信号执行频率转换等以生成基带信号。

另外，如图54中的虚线1341所示，应用处理器1331和视频处理器1332被集成以被配置为一个处理器。

外部存储器1312是包括安装在视频模块1311的外部以由视频模块1311使用的存储装置的模块。外部存储器1312的存储装置可由任何物理配置来实现。然而，一般地，由于存储装置主要用于存储大容量的数据(诸如以帧为单位的图像数据)，因此，优选地，存储装置可由相对便宜的大容量半导体存储器(诸如dram(动态随机存取存储器))来实现。

电力管理模块1313管理和控制对视频模块1311(视频模块1311内的配置)的供电。

前端模块1314是向rf模块1334提供前端功能(天线侧的传送/接收的电路)的模块。如图54所示，前端模块1314被配置成包括例如天线单元1351、滤波器1352和放大单元1353。

天线单元1351由传送/接收无线信号的天线和外围部件构成。天线单元1351传送从放大单元1353提供的信号作为无线信号，并且将所接收的无线信号作为电信号(rf信号)提供到滤波器1352。滤波器1352对通过天线单元1351接收的rf信号执行滤波处理等，并且将处理后的rf信号提供到rf模块1334。放大单元1353对从rf模块1334提供到天线单元1351的rf信号进行放大。

连接部件1321是具有与到外侧的连接相关联的功能的模块。连接部件1321的物理配置是任意的。例如，连接部件1321包括具有除与宽带调制解调器1333、外部输入/输出端口等对应的通信标准之外的通信功能的配置。

例如，连接部件1321可包括具有根据无线通信标准(诸如蓝牙(注册商标)、ieee802.11(例如，wi-fi(无线保真，注册商标)、nfc(近场通信)和irda(红外数据关联))的通信功能的模块、根据标准传送和接收信号的天线等。另外，例如，连接部件1321可包括具有根据有线通信标准(诸如usb(通用串行总线)和hdmi(注册商标)(高清多媒体接口))的通信功能的模块和根据标准的端口。另外，例如，连接部件1321可具有模拟输入/输出端口等的其它数据(信号)传送功能等。

另外，连接部件1321可包括数据(信号)传送目的地的装置。例如，连接部件1321可包括对诸如磁盘、光盘、光磁盘或半导体存储器的记录介质执行数据读取或写入的驱动器(包括用于可拆卸介质的驱动器、硬盘、固态驱动器(ssd)、网络连接存储(nas)等)。另外，连接部件1321可包括图像或音频的输出装置(监视器、扬声器等)。

摄像装置1322是具有捕获对象的图像以及获得对象的图像数据的功能的模块。通过摄像装置1322的成像所获得的图像数据被提供到例如视频处理器1332以被编码。

传感器1323是具有例如声音传感器、超声传感器、光学传感器、照明传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁图案识别传感器、冲击传感器、温度传感器等的任意感测功能的模块。传感器1323检测的数据被提供到例如应用处理器1331以由应用等使用。

以上被描述为模块的配置可被实现为处理器。另一方面，被描述为处理器的配置可被实现为模块。

在具有上述配置的视频机组1300中，如稍后所述，本技术可以应用于视频处理器1332。因此，视频机组1300可以被实施为应用本技术的机组。

<视频处理器的配置示例>

图55示出了应用本技术的视频处理器1332(图54)的示意配置示例。

在图55的示例的情况下，视频处理器1332具有接收视频信号和音频信号作为输入以及以预定方案对视频信号和音频信号进行编码的功能以及对编码后的视频数据和编码后的音频数据进行解码以及再现和输出视频信号和音频信号的功能。

如图55所示，视频处理器1332被配置成包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。另外，视频处理器1332被配置成包括编码/解码引擎1407、视频es(基本码流)缓冲器1408a和1408b以及音频es缓冲器1409a和1409b。另外，视频处理器1332被配置成包括音频编码器1410、音频解码器1411、复用器(mux)1412、解复用器(dmux)1413和流缓冲器1414。

视频输入处理单元1401获取例如从连接部件1321(图54)等输入的视频信号以被转换为数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403对图像数据执行根据通过视频输出处理单元1404输出的先前格式的图像放大/缩小处理，或者与第一图像放大/缩小单元1402类似对图像数据执行格式转换、图像放大/缩小处理等。视频输出处理单元1404对图像数据执行格式转换、到模拟信号的转换等，并且将数据作为再现视频信号输出到例如连接部件1321(图54)等。

帧存储器1405是用于由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码单元1407共同使用的图像数据的存储器。帧存储器1405被实现为例如诸如dram的半导体存储器。

存储器控制单元1406接收来自编码/解码引擎1407的同步信号，并且根据写在访问管理表1406a中的对帧存储器1405的访问安排而控制用于对帧存储器1405的读取/写入的访问。访问管理表1406a由存储器控制单元1406根据编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理而更新。

编码/解码引擎1407对图像数据执行编码处理并且对作为图像数据被编码的数据的视频流执行解码处理。例如，编码/解码引擎1407对从帧存储器1405读出的图像数据进行编码，以将图像数据作为视频流顺序地写在视频es缓冲器1408a中。另外，例如，编码/解码引擎从视频es缓冲器1408b顺序地读出视频流以对视频流进行解码，并且将视频流作为图像数据顺序地写在帧存储器1405中。编码/解码引擎1407利用帧存储器1405作为编码或解码中的工作区域。另外，编码/解码引擎1407例如在开始针对每个宏块的处理的定时而将同步信号输出到存储器控制单元1406。

视频es缓冲器1408a对编码/解码引擎1407生成的视频流执行缓存，并且将所缓存的流提供到复用器(mux)1412。视频es缓冲器1408b对从解复用器(dmux)1413提供的视频流执行缓存，并且将所缓存的流提供到编码/解码引擎1407。

音频es缓冲器1409a对音频编码器1410生成的音频流执行缓存，并且将所缓存的流提供到复用器(mux)1412。音频es缓冲器1409b对从解复用器(dmux)1413提供的音频流执行缓存，并且将所缓存的流提供到音频解码器1411。

音频编码器1410例如对从例如连接部件1321(图54)等输入的音频信号进行数字转换，并且以诸如mpeg音频方案或ac3(音频码编号3)方案的预定方案执行编码。音频编码器1410将作为音频信号被编码的数据的音频流顺序地写在音频es缓冲器1409a中。音频解码器1411对从音频es缓冲器1409b提供的音频流进行解码，执行例如到模拟信号的转换，并且将该信号作为再现音频信号提供到例如连接部件1321(图54)等。

复用器(mux)1412对视频流和音频流进行复用。复用的方法(即，通过复用生成的位流的格式)是任意的。另外，在复用期间，复用器(mux)1412可将预定头部信息等添加到位流。即，复用器(mux)1412可以通过复用对流的格式进行转换。例如，复用器(mux)1412对视频流和音频流进行复用，以将视频流和音频流转换为作为用于传送的格式的位流的输送流。另外，例如，复用器(mux)1412对视频流和音频流进行复用以将视频流和音频流转换成用于记录的文件格式的数据(文件数据)。

解复用器(dmux)1413通过与复用器(mux)1412的复用对应的方法对视频流和音频流被复用的位流进行解复用。即，解复用器(dmux)1413从自流缓冲器1414读出的位流提取视频流和音频流(分离视频流和音频流)。即，解复用器(dmux)1413可以通过解复用对流的格式进行转换(可以执行与复用器(mux)1412的转换对应的逆转换)。例如，解复用器(dmux)1413可以通过流缓冲器1414获取从例如连接部件1321、宽带调制解调器1333(两者均在图54中示出)等提供的输送流，并且对输送流进行解复用以将输送流转换成视频流和音频流。另外，例如，解复用器(dmux)1413可以通过流缓冲器1414获取例如连接部件1321(图54)从各种记录介质读出的文件数据，并且对文件数据进行解复用以将文件数据转换成视频流和音频流。

流缓冲器1414对位流进行缓存。例如，流缓冲器1414对从复用器(mux)1412提供的输送流执行缓存，并且在预定定时或者基于外部请求等，流缓冲器将所缓存的流提供到例如连接部件1321、宽带调制解调器1333(两者均在图54中示出)等。

另外，例如，流缓冲器1414对从复用器(mux)1412提供的文件数据进行缓存，并且在预定定时或者基于外部请求等，将文件数据提供到例如连接部件1321(图54)等以将文件数据记录在各种记录介质中。

另外，流缓冲器1414对通过例如连接部件1321、宽带调制解调器1333等(所有都在图54中示出)获取的输送流执行缓存，并且在预定定时或者基于外部请求等，流缓冲器将所缓存的流提供到解复用器(dmux)1413。

另外，流缓冲器1414对在诸如连接部件1321(图54)中从例如各种记录介质读取的文件数据执行缓存，并且在预定定时或者基于外部请求等，流缓冲器将所缓存的流提供到解复用器(dmux)1413。

接下来，将描述具有上述配置的视频处理器1332的操作的示例。例如，在视频输入处理单元1401中以诸如4:2:2y/cb/cr方案的预定方案将从连接部件1321(图54)等输入到视频处理器1332的视频信号转换为数字图像数据，并且将数字图像数据顺序地写在帧存储器1405中。数字图像数据被读出到第一图像放大/缩小单元1402或第二图像放大/缩小单元1403，并且以诸如4:2:0y/cb/cr方案的预定方案执行格式转换和放大/缩小处理，以使得数字图像数据再次写在帧存储器1405中。编码/解码引擎1407对图像数据进行编码，并且将其作为视频流写在视频es缓冲器1408a中。

另外，音频编码器1410对从连接部件1321(图54)等输入到视频处理器1332的音频信号进行编码，并且将其作为音频流写在音频es缓冲器1409a中。

视频es缓冲器1408a的视频流和音频es缓冲器1409a的音频流被读出到复用器(mux)1412，并且被复用以转换为输送流、文件数据等。复用器(mux)1412生成的输送流被缓存在流缓冲器1414中，此后，输送流通过例如连接部件1321、宽带调制解调器1333(两者均在图54中示出)等被输出到外部网络。另外，复用器(mux)1412生成的文件数据被缓存在流缓冲器1414中，此后，文件数据通过例如连接部件1321(图54)等被写在各种记录介质中。

另外，例如，通过例如连接部件1321、宽带调制解调器1333(两者均在图54中示出)等从外部网络输入到视频处理器1332的输送流被缓存在流缓冲器1414中，此后，解复用器(dmux)1413对输送流进行解复用。另外，在例如连接部件1321(图54)等中从各种记录介质读出的并且被输入到视频处理器1332的文件数据被缓存在流缓冲器1414中，并且此后，由解复用器(dmux)1413对文件数据进行解复用。即，解复用器(dmux)1413将输入到视频处理器1332的输送流或文件数据等分离成视频流和音频流。

音频流通过音频es缓冲器1409b被提供到音频解码器1411并且被解码，使得音频信号被再现。另外，在视频流被写在视频es缓冲器1408b中之后，由编码/解码引擎1407顺序地读出视频流以进行解码并且写在帧存储器1405中。解码后的图像数据由第二图像放大/缩小单元1403施加放大/缩小处理并且被写在帧存储器1405中。接下来，解码后的图像数据被读出到视频输出处理单元1404并且以诸如4:2:2y/cb/cr方案的预定方案施加格式转换以进一步被转换为模拟信号，使得再现和输出视频信号。

在本技术应用于具有上述配置的视频处理器1332的情况下，根据上述实施例的供应商终端可应用于编码/解码引擎1407。即，例如，编码/解码引擎1407可被配置成具有与根据上述实施例的图像编码装置或图像解码装置相同的功能。这样，视频处理器1332可以获得与以上参照图1至图36描述的效果相同的效果。

另外，在编码/解码引擎1407中，本技术(根据上述实施例的图像编码装置或图像解码装置的功能)可由诸如逻辑电路的硬件来实现，可由诸如嵌入式程序的软件来实现，或者可由硬件和软件这两者来实现。

<视频处理器的另一配置示例>

图56示出了应用本技术的视频处理器1332(图54)的另一示意配置示例。在图56的示例的情况下，视频处理器1332具有以预定方案对视频数据进行编码/解码的功能。

更具体地，如图56所示，视频处理器1332被配置成包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。另外，视频处理器1332被配置成包括编解码器引擎1516、存储器接口1517、复用器/解复用器(mux/dmux)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332中的处理单元(诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。

如图56所示，控制单元1511被配置成包括例如主cpu1531、辅cpu1532和系统控制器1533。主cpu1531执行用于控制视频处理器1332内的处理单元的操作的程序等。主cpu1531根据程序等生成控制信号，并且将该控制信号提供到各个处理单元(即，控制各个处理单元的操作)。辅cpu1532执行主cpu1531的辅助功能。例如，辅cpu1532执行由主cpu1531执行的程序等的子处理、子例程等。系统控制器1533控制主cpu1531和辅cpu1532的操作，诸如指定主cpu1531和辅cpu1532执行的程序的操作。

显示接口1512在控制单元1511的控制之下将图像数据输出到例如连接部件1321(图54)等。例如，显示接口1512将图像数据的数字数据转换成模拟信号，并且将该图像数据作为再现视频信号或者数字数据状态的图像数据输出到连接部件1321(图54)的监视器装置等。

显示引擎1513在控制单元1511的控制之下，根据显示图像的监视器装置的硬件规格而对图像数据执行各种转换处理，诸如格式转换、大小转换或颜色区域转换。

图像处理引擎1514在控制单元1511的控制之下对图像数据执行用于改进图像质量的预定图像处理(例如滤波处理)。

内部存储器1515是安装在视频处理器1332内的、由显示引擎1513、图像处理引擎1514和编解码器引擎1516共享的存储器。内部存储器1515用于例如在显示引擎1513、图像处理引擎1514和编解码器引擎1516当中执行的数据传送/接收。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且根据需要(例如，根据请求)将数据提供到显示引擎1513、图像处理引擎1514或编解码器引擎1516。尽管内部存储器1515可由任何存储装置来实现，但是一般地，由于内部存储器主要用于存储块单位的图像数据的和小容量的数据(诸如参数)，因此优选地，内部存储器可由例如具有相对(例如，与外部存储器1312相比)小容量和高响应速度的半导体存储器来实现，诸如静态随机存取存储器(sram)。

编解码器引擎1516执行与图像数据的编码或解码相关联的处理。与编解码器引擎1516对应的编码/解码方案是任意的，并且其数量可以是一个，或者数量可以是多个。例如，编解码器引擎1516具有多种编码/解码方案的编解码器功能，并且可通过使用其中所选择的一个方案而执行图像数据的编码或编码数据的解码。

在图56所示的示例中，编解码器引擎1516被配置成包括例如mpeg-2视频1541、avc/h.2641542、hevc/h.2651543、hevc/h.265(可伸缩)1544、hevc/h.265(多视图)1545和mpeg-dash1551作为与编解码器相关联的处理的功能块。

mpeg-2视频1541是以mpeg-2方案对图像数据进行编码或解码的功能块。avc/h.2641542是以avc方案对图像数据进行编码或解码的功能块。hevc/h.2651543是以hevc方案对图像数据进行编码或解码的功能块。hevc/h.265(可伸缩)1544是以hevc方案对图像数据进行可伸缩编码或可伸缩解码的功能块。hevc/h.265(多视图)1545是以hevc方案对图像数据进行多视点编码或多视点解码的功能块。

mpeg-dash1551是以mpeg-dash(mpeg-http动态自适应流媒体)方案传送或接收图像数据的功能块。mpeg-dash是通过使用http(超文本传输协议)执行视频流送的技术，并且其特性之一是以片段为单位在其准备分辨率等不同的多个编码数据当中选择适当的编码数据以及传送所选择的编码数据。mpeg-dash1551根据标准执行流的生成、对流的传送控制，并且在对图像数据进行编码/解码时，使用上述mpeg-2视频1541或hevc/h.265(多视图)1545。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据通过存储器接口1517被提供到外部存储器1312。另外，从外部存储器1312读出的数据通过存储器接口1517被提供到视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用器/解复用器(mux/dmux)1518执行与图像相关联的各种数据(诸如编码数据的位流、图像数据或视频信号)的复用或解复用。复用/解复用方法是任意的。例如，在复用期间，复用器/解复用器(mux/dmux)1518可将多个数据合并为一个数据，并且还可将预定头部信息等添加到该数据。另外，在解复用期间，复用器/解复用器(mux/dmux)1518可将一个数据划分为多个数据，并且还可将预定头部信息等添加到所划分的数据。即，复用器/解复用器(mux/dmux)1518可以通过复用/解复用对数据的格式进行转换。例如，复用器/解复用器(mux/dmux)1518可对位流进行复用以转换为作为用于传送的格式的位流的输送流或者转换为用于记录的文件格式的数据(文件数据)。还可以通过解复用进行逆转换。

网络接口1519是专用于例如宽带调制解调器1333或连接部件1321(两者均在图54中示出)的接口。视频接口1520是专用于例如连接部件1321或摄像装置1322(两者均在图54中示出)的接口。

接下来，将描述视频处理器1332的操作的示例。例如，一旦通过连接部件1321、宽带调制解调器1333(两者均在图54中示出)等从外部网络接收到输送流，则通过网络接口1519将输送流提供到复用器/解复用器(mux/dmux)1518以被解复用，并且由编解码器引擎1516对输送流进行解码。通过编解码器引擎1516的解码获得的图像数据例如由图像处理引擎1514施加了预定图像处理；图像数据经过显示引擎1513的预定转换；图像数据通过显示接口1512被提供到例如连接部件1321(图54)等；并且图像显示在监视器上。另外，例如，通过编解码器引擎1516的解码获得的图像数据由编解码器引擎1516重新进行编码；图像数据由复用器/解复用器(mux/dmux)1518进行复用以被转换为文件数据；图像数据通过视频接口1520被输出到例如连接部件1321(图54)等并且被记录在各种记录介质中。

另外，例如，由连接部件1321(图54)等从记录介质(未示出)读出的、图像数据被编码的编码数据的文件数据通过视频接口1520被提供到复用器/解复用器(mux/dmux)1518以被解复用并且由编解码器引擎1516进行解码。通过编解码器引擎1516的解码获得的图像数据由图像处理引擎1514施加了预定图像处理；图像数据经过显示引擎1513的预定转换；图像数据通过显示接口1512被提供到例如连接部件1321(图54)等，并且图像显示在监视器上。另外，例如，通过编解码器引擎1516的解码获得的图像数据由编解码器引擎1516进行重新编码；图像数据由复用器/解复用器(mux/dmux)1518进行复用以被转换为输送流；图像数据通过网络接口1519被提供到例如连接部件1321、宽带调制解调器1333(两者均在图54中示出)等并且被传送到其它设备(未示出)。

另外，例如通过使用内部存储器1515或外部存储器1312而执行视频处理器1332内的处理单元之间的图像数据或其它数据的传送和接收。另外，电力管理模块1313控制例如对控制单元1511的供电。

在本技术应用于具有上述配置的视频处理器1332的情况下，根据上述实施例的本技术可以应用于编解码器引擎1516。即，例如，编解码器引擎1516可具有用于实现根据上述实施例的图像编码装置或图像解码装置的功能块。这样，视频处理器1332可以获得与以上参照图1至图36描述的效果相同的效果。

另外，在编解码器引擎1516中，本技术(即，根据上述实施例的图像编码装置或图像解码装置的功能)可由诸如逻辑电路的硬件来实现，可由诸如嵌入式程序的软件来实现，或者可由硬件和软件两者实现。

以上描述了视频处理器1332的配置的两个示例。然而，视频处理器1332的配置是任意的，并且可采用除上述两个示例之外的配置。另外，视频处理器1332可由一个半导体芯片构成。然而，视频处理器可由多个半导体芯片构成。例如，可采用多个半导体堆叠的三维堆叠lsi。另外，视频处理器可由多个lsi实现。

<对设备的应用示例>

视频机组1300可以被并入对图像数据进行处理的各种设备中。例如，视频机组1300可以被并入电视机设备900(图47)、移动电话920(图48)、记录/再现设备940(图49)、成像设备960(图50)等中。通过并入视频机组1300，设备可以获得与以上参照图1至图36描述的效果相同的效果。

另外，视频机组1300可以被并入例如终端装置(诸如图51的数据传输系统1000中的个人计算机1004、av装置1005、平板装置1006、移动电话1007)，图52的数据传输系统1100中的广播站1101和终端装置1102，图53的成像系统1200中的成像设备1201和可伸缩编码数据存储装置1202等中。通过并入视频机组1300，设备可以获得与以上参照图1至图36描述的效果相同的效果。

另外，包括视频处理器1332的上述视频机组1300的每个配置的任何部分可被实施为应用本技术的配置。例如，仅视频处理器1332可被实施为应用本技术的视频处理器。另外，例如，如上所述，虚线1341指示的处理器、视频模块1311等可被实施为应用本技术的处理器或模块。另外，例如，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314的组合可被实现为应用本技术的视频单元1361。任意上述配置可以获得与以上参照图1至图36描述的效果相同的效果。

即，与视频机组1300的情况类似，包括视频处理器1332的任意配置可以被并入对图像数据进行处理的各种设备中。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或视频单元1361可以被并入电视机设备900(图47)，移动电话920(图48)，记录/再现设备940(图49)，成像设备960(图50)，终端装置(诸如图51的数据传输系统1000中的个人计算机1004、av装置1005、平板装置1006、移动电话1007等)，图52的数据传输系统1100中的广播站1101和终端装置1102，图53的成像系统1200中的成像设备1201、可伸缩编码数据存储装置1202等中。另外，与视频机组1300的情况类似，通过并入应用本技术的任意配置，设备可以获得与以上参照图1至图36描述的效果相同的效果。

<9.第七实施例>

<对mpeg-dash的应用的示例>

另外，本技术可以应用于例如http流送的wi-fi标准的无线通信系统或内容再现系统，诸如稍后描述的mpegdash，其中，在准备分辨率等不同的多个编码数据当中以片段为单位选择和使用适当的数据。

<内容再现系统的概况>

首先，将参照图57至图59简要地描述可以采用本技术的内容再现系统。

在下文中，首先，将参照图57和图58描述对实施例共同的基本配置。

图57是描述内容再现系统的配置的图。如图57所示，内容再现系统被配置成包括内容服务器1610和1611、网络1612和内容再现设备1620(客户端设备)。

内容服务器1610和1611以及内容再现设备1620经由网络1612连接到彼此。网络1612是用于从连接到网络1612的设备传送的信息的有线或无线传输线路。

例如，网络1612可包括诸如因特网、电话网络或卫星通信网络的公共网络，包括以太网(注册商标)的各种局域网(lan)和广域网(wan)等。另外，网络1612可包括诸如ip-vpn(因特网协议-虚拟私人网络)的专用网络。

内容服务器1610对内容数据进行编码以生成包括编码数据和编码数据的元信息的数据文件并且存储该数据文件。另外，在内容服务器1610生成mp4格式的数据文件的情况下，编码数据对应于“mdat”，并且元信息对应于“moov”。

另外，内容数据可以是诸如音乐、演讲和广播节目的音乐数据，诸如电影、电视节目、视频节目、图片、文档、绘图和图表的视频数据，游戏，软件等。

这里，内容服务器1610与相同的内容相关联，并且生成具有不同位率的多个数据文件。另外，对于来自内容再现设备1620的内容再现请求，内容服务器1611将在内容再现设备1620中添加到url的参数的信息并入到内容服务器1610的url的信息，并且将该信息传送到内容再现设备1620。在下文中，将参照图58详细描述相关联的细节。

图58是描述图57的内容再现系统中的数据流程的图。内容服务器1610以不同位率对相同的内容数据进行编码以生成如图58所示的例如具有2mbps的文件a、具有1.5mbps的文件b以及具有1mbps的文件c。相对而言，文件a具有高位率；文件b具有标准位率；并且文件c具有低位率。

另外，如图58所示，每个文件的编码数据被划分为多个片段。例如，文件a的编码数据被划分成由“a1”、“a2”、“a3”、…“an”表示的片段；文件b的编码数据被划分为由“b1”、“b2”、“b3”、…“bn”表示的片段；并且文件c的编码数据被划分成由“c1”、“c2”、“c3”、…“cn”表示的片段。

另外，每个片段可由来自以mp4的同步样本(例如，avc/h.264的视频编码中的idr图片)开始并且可以独立地进行再现的一个或两个或更多个视频编码数据和音频编码数据的配置样本构成。例如，在每秒具有30帧的视频数据以具有15帧固定长度的gop(图片组)编码的情况下，每个片段可以是与4个gop对应的2秒视频和音频编码数据，或者可以是与20个gop对应的10秒视频和音频编码数据。

另外，根据在每个文件中具有相同布置顺序的片段的再现范围(从内容的前端开始的时间位置的范围)是相同的。例如，片段“a2”、片段“b2”和片段“c2”的再现范围是相同的，并且在每个片段是2秒的编码数据的情况下，片段“a2”、片段“b2”和片段“c2”的再现范围是所有内容的2秒至4秒。

一旦内容服务器1610生成由多个片段构成的文件a至文件c，内容服务器存储文件a至文件c。接下来，如图58所示，内容服务器1610顺序地将构成不同文件的片段传送到内容再现设备1620，并且内容再现设备1620对所接收的片段进行流式再现。

这里，根据实施例的内容服务器1610将包括编码数据的位率信息和访问信息的播放列表文件(在下文中称为mpd：媒体呈现描述)传送到内容再现设备1620，并且内容再现设备1620基于mpd在多个位率当中选择位率，并且请求内容服务器1610传送与所选择的位率对应的片段。

尽管在图57中仅示出了一个内容服务器1610，但是本技术不限于相关联的示例。

图59是描述mpd的具体示例的图。如图59所示，mpd包括关于具有不同位率(带宽)的多个编码数据的访问信息。例如，图59所示的mpd包括表示存在具有256kbps、1.024mbps、1.384mbps、1.536mbps和2.048mbps的编码数据的、关于编码数据的访问信息。内容再现设备1620可以基于相关联的mpd而动态地改变要进行流式再现的编码数据的位率。

另外，尽管在图57中示出了移动终端作为内容再现设备1620的示例，但是内容再现设备1620不限于该示例。例如，内容再现设备1620可以是诸如个人计算机(pc)、家庭视频处理装置(dvd记录器、录像机等)、个人数字助理(pda)、家庭游戏机或家用电子设施的信息处理设备。另外，内容再现设备1620可以是诸如移动电话、个人手持电话系统(phs)、便携式音乐回放装置、便携式视频处理装置或便携式游戏装置的信息处理设备。

<内容服务器1610的配置>

以上参照图57至图59描述了内容再现系统的概况。随后，将参照图60描述内容服务器1610的配置。

图60是示出内容服务器1610的配置的功能框图。如图60所示，内容服务器1610被配置成包括文件生成单元1631、存储单元1632和通信单元1633。

文件生成单元1631被配置成包括编码器1641，其对内容数据进行编码并且生成具有相同内容具有不同位率的多个编码数据和上述mpd。例如，在文件生成单元1631生成具有256kbps、1.024mbps、1.384mbps、1.536mbps和2.048mbps的编码数据的情况下，文件生成单元生成图59所示的mpd。

存储单元1632存储文件生成单元1631生成的、具有不同位率的多个编码数据和mpd。存储单元1632可以是存储介质，诸如非易失性存储器、磁盘、光盘和mo(磁光)盘。非易失性存储器包括例如电可擦除可编程只读存储器(eeprom)和可擦除可编程rom(eprom)。另外，磁盘包括硬盘、盘式磁盘等。另外，光盘包括致密盘(cd)、数字多功能盘可记录(dvd-r)、蓝光盘(bd；注册商标)等。

通信单元1633是到内容再现设备1620的接口，并且经由网络1612与内容再现设备1620通信。更具体地，通信单元1633具有作为根据http与内容再现设备1620通信的http服务器的功能。例如，通信单元1633将mpd传送到内容再现设备1620，从存储单元1632提取根据http从内容再现设备1620基于mpd请求的编码数据，并且将编码数据作为http响应传送到内容再现设备1620。

<内容再现设备1620的配置>

以上描述了根据实施例的内容服务器1610的配置。随后，将参照图61描述内容再现设备1620的配置。

图61是示出内容再现设备1620的配置的功能框图。如图61所示，内容再现设备1620被配置成包括通信单元1651、存储单元1652、再现单元1653、选择单元1654和当前位置获取单元1656。

通信单元1651是到内容服务器1610的接口，并且请求内容服务器1610的数据以从内容服务器1610获取数据。更具体地，通信单元1651具有作为根据http与内容再现设备1620通信的http客户端的功能。例如，通信单元1651可以通过使用httprange从内容服务器1610选择性地获取mpd或编码数据的片段。

存储单元1652存储关于内容再现的各种类型的信息。例如，通信单元1651从内容服务器1610获取的片段被顺序地缓存。缓存在存储单元1652中的编码数据的片段以fifo(先入先出)的方式被顺序提供到再现单元1653。

另外，存储单元1652基于从稍后描述的内容服务器1611请求的将参数添加到在mpd中描述的内容的url的命令而将参数添加到通信单元1651中的url，并且存储用于访问url的定义。

再现单元1653顺序地再现从存储单元1652提供的片段。更具体地，再现单元1653执行片段解码、da转换、呈现(rendering)等。

选择单元1654顺序地选择与包括在mpd中的任何位率对应的编码数据的片段是否是在同一内容内获取的。例如，一旦选择单元1654根据网络1612的频带而顺序地选择片段“a1”、“b2”和“a3”，如图58所示，通信单元1651从内容服务器1610获取片段“a1”、“b2”和“a3”。

当前位置获取单元1656获取内容再现设备1620的当前位置。因此，例如，当前位置获取单元可由获取当前位置的模块(诸如gps(全球定位系统)接收器)构成。另外，当前位置获取单元1656可通过使用无线网络而获取内容再现设备1620的当前位置。

<内容服务器1611的配置>

图62是描述内容服务器1611的配置示例的图。如图62所示，内容服务器1611被配置成包括存储单元1671和通信单元1672。

存储单元1671将url信息存储在mpd中。mpd的url信息根据来自内容再现设备1620的请求内容再现的请求而从内容服务器1611传送到内容再现设备1620。另外，在将mpd的url信息提供到内容再现设备1620时，存储单元1671存储在内容再现设备1620中将参数添加到在mpd中描述的url时的定义信息。

通信单元1672是到内容再现设备1620的接口以经由网络1612与内容再现设备1620通信。即，通信单元1672从内容再现设备1620接收请求内容再现的对mpd的url信息的请求，并且将mpd的url信息传送到内容再现设备1620。从通信单元1672传送的mpd的url包括用于在内容再现设备1620中添加参数的信息。

在内容再现设备1620中要添加到mpd的url的参数可以被设置为由内容服务器1611和内容再现设备1620以各种方式共享的定义信息。作为示例，内容再现设备1620的当前位置、使用内容再现设备1620的用户的用户id、内容再现设备1620的存储器大小、内容再现设备1620的存储容量等的信息可以在内容再现设备1620中被添加到mpd的url。

在具有上述配置的内容再现系统中，通过应用以上参照图1至图36描述的本技术，可以获得与以上参照图1至图36描述的效果相同的效果。

即，内容服务器1610的编码器1641具有根据上述实施例的图像编码装置的功能。另外，内容再现设备1620的再现单元1653具有根据上述实施例的图像解码装置的功能。因此，可以抑制编码/解码所需的存储容量的增加。

另外，在内容再现系统中，通过传送/接收本技术的编码数据，可以抑制编码/解码所需的存储容量的增加。

<10.第八实施例>

<wi-fi标准的无线通信系统的应用示例>

将描述可以应用本技术的无线通信系统中的无线通信装置的基本操作。

<无线通信装置的基本操作的示例>

首先，执行无线分组传送/接收直到建立p2p(对等)连接并且操作特定应用为止。

接下来，在连接到第二层之前，在指定要使用的特定应用之后执行无线分组传送/接收，直到建立p2p连接并且操作特定应用为止。接下来，在连接到第二层之后，执行启动特定应用的情况的无线分组传送/接收。

<启动特定应用的操作时的通信示例>

图63和图64示出了直到建立上述p2p(对等)连接并且操作特定应用为止的无线分组传送/接收的示例，并且示出了作为无线通信的基础的每个通信设备的通信处理的示例的序列图。更具体地，示出了实现在wi-fi联盟中标准化的wi-fi直连标准的连接(有时称为wi-fip2p)的直接连接的建立的序列的示例。

这里，在wi-fi直连中，多个通信装置检测彼此(装置发现、服务发现)。接下来，一旦选择了连接装置，通过与wps(wi-fi保护设置)执行认证而在所选择的装置之间建立直接连接。另外，在wi-fi直连中，通过确定多个无线通信装置用作组所有者和客户端中的哪一个来形成通信通信组。

然而，在通信处理的示例中，在图示中省略了一些分组传送/接收。例如，在第一次连接时，如上所述，需要分组数据交换以使用wps，并且还需要分组数据交换以交换认证请求/响应等。然而，在图63和图64中，在图示中省略了分组数据交换，并且示出了第二次连接和以后的连接。

另外，尽管在图63和图64中示出了第一无线通信装置1701与第二无线通信装置1702之间的通信处理的示例，但是其它无线通信装置之间的通信处理是相同的。

首先，在第一无线通信装置1701与第二无线通信装置1702之间执行装置发现(1711)。首先，第一无线通信装置1701传送探测请求(响应请求信号)，并且接收来自第二无线通信装置1702的对探测请求的探测响应(响应信号)。因此，第一无线通信装置1701和第二无线通信装置1702可以发现彼此。另外，通过装置发现，可以获取对方的装置名称或类型(tv、pc、智能电话等)。

随后，在第一无线通信装置1701与第二无线通信装置1702之间执行服务发现(1712)。例如，第一无线通信装置1701传送用于查询与通过装置发现所发现的第二无线通信装置1702对应的服务的服务发现查询。接下来，第一无线通信装置1701接收来自第二无线通信装置1702的服务发现响应，以根据第二无线通信装置1702而获取服务。即，通过服务发现，可以获取对方可以执行的服务等。对方可以执行的服务是例如服务、协议(dlna(数字生活网络联盟)、dmr(数字媒体渲染器)等)。

随后，用户执行连接对方的选择操纵(连接对方选择操纵)(1713)。在一些情况下，连接对方选择操纵可仅发生在第一无线通信装置1701和第二无线通信装置1702的一个中。例如，连接对方选择屏幕显示在第一无线通信装置1701的显示单元上，并且在连接对方选择屏幕中，第二无线通信装置1702通过用户的操纵被选作连接对方。

一旦用户执行了连接对方选择操纵(1713)，则在第一无线通信装置1701与第二无线通信装置1702之间执行组所有者协商(1714)。图63和图64示出了如下示例：其中，作为组所有者协商的结果，第一无线通信装置1701变为组所有者1715，并且第二无线通信装置1702变为客户端1716。

随后，通过执行处理(1717至1720)，在第一无线通信装置1701与第二无线通信装置1702之间建立直接连接。即，顺序地执行关联(l2(第二层)链路建立)(1717)和安全链路建立(1718)。另外，顺序地执行ip地址分配(1719)和通过ssdp(简单服务发现协议)等在l3上的l4设立(1720)。另外，l2(层2)表示第二层(数据链路层)；l3(层3)表示第三层(网络层)；并且l4(层4)表示第四层(传输层)。

随后，由用户执行对特定应用的指定或启动操纵(应用指定/启动操纵)(1721)。在一些情况下，应用指定/启动操纵可发生在第一无线通信装置1701和第二无线通信装置1702的任一个中。例如，应用指定/启动操纵屏幕显示在第一无线通信装置1701的显示单元上，并且通过用户的操纵在应用指定/启动操纵屏幕中选择特定应用。

一旦用户执行了应用指定/启动操纵(1721)，就在第一无线通信装置1701与第二无线通信装置1702之间执行与应用指定/启动操纵对应的特定应用(1722)。

这里，假设在早于wi-fi直连标准的规范(ieee802.11标准化的规范)的范围内执行ap(接入点)与sta(站)之间的连接。在该情况下，在第二层中的连接之前(ieee802.11术语中的关联之前)，不能预先识别要连接哪个装置。

另一方面，如图63和图64所示，在wi-fi直连中，在装置发现或服务发现(可选)中发现连接对方的候选时，可以获取连接对方的信息。关于连接对方的信息是例如基本装置的类型、相应特定应用等。接下来，可以允许用户基于所获取的连接对方的信息而选择连接对方。

作为该结构的扩展，可以通过在连接到第二层之前指定特定应用、选择连接对方以及在选择之后自动启动特定应用来实现无线通信系统。图66中示出了该情况下的实现连接的序列的示例。另外，在图65中示出了在通信处理中传送/接收的帧格式的配置示例。

<帧格式的配置示例>

图65是示出作为本技术的基础的在每个设备的通信处理中传送/接收的帧格式的配置示例的示意图。即，图65示出了用于建立到第二层的连接的mac帧的配置示例。更具体地，该示例是用于实现图66所示的序列的关联请求/响应(1787)的帧格式的示例。

如图65所示，mac帧由帧控制(1751)至fcs(1758)构成，并且在其中，从帧控制(1751)到序列控制(1756)的分量构成mac头部。另外，在传送关联请求时，在帧控制(1751)中，设置b3b2＝“0b00”并且b7b6b5b4＝“0b0000”。另外，在封装关联响应时，在帧控制(1751)中，设置b3b2＝“0b00”并且b7b6b5b4＝“0b0001”。另外，“0b00”在二进制系统中表示“00”，“0b0000”在二进制系统中表示“0000”；并且“0b0001”在二进制系统中表示“0001”。

这里，图65所示的mac帧(帧主体(1757))基本上是ieee802.11-2007规范的章节7.2.3.4和7.2.3.5中公开的关联请求/响应帧格式。然而，mac帧的不同之处在于，mac帧包括其自己的扩展信息元素(下文中简称为ie)以及在ieee802.11规范中定义的ie(1759)。

另外，为了表示ie是供应商指定(vendorspecific)ie(1760)，ie类型(信息元素id(1761))在十进制系统中被设置为127。在该情况下，根据ieee802.11-2007规范的章节7.3.2.26，随后是长度字段(1762)和oui字段(1763)，并且此后布置供应商特定内容(1764)。

作为供应商特定内容(1764)的内容，首先，提供表示供应商特定ie的类型的字段(ie类型(1765))。接下来，此后，考虑可以存储多个子元素(1766)的配置。

考虑子元素(1766)的内容包括要使用的特定应用的名称(1767)或在特定应用操作时的装置的功能(1768)。另外，考虑子元素的内容包括特定应用或用于其控制的端口号等的信息(用于设立l4的信息)(1769)或者关于特定应用内的能力的信息(能力信息)(1770)。这里，例如，在要指定的特定应用是dlna的情况下，能力信息是用于指定与音频发出/再现的对应关系、与视频发出/再现的对应关系等的信息。

在具有上述配置的无线通信系统中，通过应用以上参照图1至图36描述的本技术，可以获得与以上参照图1至图36描述的效果相同的效果。即，可以抑制编码/解码所需的存储容量的增加。另外，在上述无线通信系统中，通过传送/接收本技术的编码数据，可以抑制编码/解码所需的存储容量的增加。

另外，在该说明书中，描述了各种信息与编码流进行复用以从编码侧传送到解码侧的示例。然而，传送这些种类的信息的方法不限于上述示例。例如，这些种类的信息可作为与编码流关联的而不与编码位流复用的单独数据被传送或记录。这里，术语“关联”表示包括在位流中的图像(或者图像的一部分，诸如切片或块)和与图像对应的信息在解码时彼此链接。即，信息可沿着与用于图像(或位流)的传输线路不同的传输线路来传送。另外，信息可被记录在与用于图像(或位流)的记录介质不同的记录介质(或者同一记录介质的不同记录区域)中。另外，信息和图像(或位流)可以以任意单位(例如，多帧、一帧、帧的一部分等)而彼此关联。

尽管以上详细描述了参照附图公开的示例性实施例，但是所公开的技术范围不限于示例。显然，本领域技术人员可以在权利要求公开的技术精神的范围内进行各种改变或变更，并且应理解，这些改变或变更包括在所公开的技术范围内。

另外，本技术可采用以下配置。

(1)一种图像处理设备，包括：

阈值设置单元，其根据图像数据的位深而设置阈值，所述阈值用于在对所述图像数据被编码的编码数据进行解码时的帧内预测处理中识别当前块的邻近像素的特征；以及

滤波处理单元，其通过使用滤波器对所述邻近像素进行滤波处理，该滤波器基于通过使用所述阈值设置单元设置的所述阈值识别的所述邻近像素的特征。

(2)根据(1)和(3)至(8)中任一项所述的图像处理设备，其中，所述阈值设置单元根据所述位深而对预先被确定为初始值的所述阈值进行位移。

(3)根据(1)、(2)和(4)至(8)中任一项所述的图像处理设备，其中，在所述图像数据的位深为8位的情况下，所述阈值设置单元将所述阈值设置为8。

(4)根据(1)至(3)和(5)至(8)中任一项所述的图像处理设备，还包括确定单元，所述确定单元确定所述图像数据的位深，

其中，所述阈值设置单元根据所述确定单元确定的位深来设置所述阈值。

(5)根据(1)至(4)和(6)至(8)中任一项所述的图像处理设备，还包括接收单元，所述接收单元接收所述图像数据的位深，

其中，所述阈值设置单元根据所述接收单元接收的位深来设置所述阈值。

(6)根据(1)至(5)、(7)和(8)中任一项所述的图像处理设备，还包括接收单元，所述接收单元接收根据所述图像数据的位深而设置的被发送的阈值，

其中，所述滤波处理单元使用滤波器来对邻近像素进行滤波处理，该滤波器基于通过使用所述接收单元接收的所述阈值识别的邻近像素的特征。

(7)根据(1)至(6)和(8)中任一项所述的图像处理设备，其中，在表示所述邻近像素的特征的值超过所述阈值设置单元设置的所述阈值的情况下，所述滤波处理单元对所述邻近像素进行低通滤波处理。

(8)根据(1)至(7)任一项所述的图像处理设备，其中，在表示所述邻近像素的特征的值不超过所述阈值设置单元设置的所述阈值的情况下，所述滤波处理单元对所述邻近像素进行双线性滤波处理。

(9)一种图像处理方法，包括：

根据图像数据的位深而设置阈值，所述阈值用于在对所述图像数据被编码的编码数据进行解码时的帧内预测处理中识别当前块的邻近像素的特征；以及

通过使用滤波器来对所述邻近像素进行滤波处理，该滤波器基于通过使用所设置的阈值识别的所述邻近像素的特征。

附图标记列表

100图像编码装置

121阈值设置单元

122滤波处理单元

131位深确定单元

132阈值位移单元

133编码单元

141模式/块大小缓冲器

142邻近像素确定单元

143滤波器确定单元

144低通滤波器单元

145双线性滤波器单元

151阈值设置单元

300图像解码装置

321阈值设置单元

322滤波处理单元

331位深确定单元

332阈值位移单元

341模式/块大小缓冲器

342邻近像素确定单元

343滤波器确定单元

344低通滤波器单元

345双线性滤波器单元

351解码单元

361解码单元