图像处理装置及方法与流程
本公开内容涉及图像处理装置及方法，并且更具体地，涉及能够抑制编码效率的降低的图像处理装置及方法。
背景技术：
近年来，为了使图像信息数字化并且同时高效地传送和累积信息，通过使用图像信息特定冗余采用下述编码方案来对图像进行编码和压缩的装置得到普及：该编码方案通过正交变换例如离散余弦变换和运动补偿来进行压缩。作为这样的编码方案，例如，存在动态图像专家组(MPEG)。
具体地，MPEG 2(国际标准化组织/国际电工委员会(ISO/IEC)13818-2)是被定义为通用图像编码方案的标准，并且覆盖隔行扫描图像、逐行扫描图像、标准分辨率图像和高清晰度图像。当前，MPEG 2被广泛用于宽范围的应用例如专业用途和消费者用途。使用MPEG 2压缩方案，例如，在具有720像素×480像素的标准分辨率的隔行扫描图像的情况下，分配有4Mbps至8Mbps的编码量(比特率)。另外，使用MPEG 2压缩方案，例如，在具有1920像素×1088像素的高分辨率的隔行扫描图像的情况下，分配有18Mbps至22Mbps的编码量(比特率)。因此，可以实现高压缩率和出色的图像质量。
MPEG 2主要用于适于播放的高清晰度编码，但是不支持编码量(比特率)比MPEG 1的编码量(比特率)低的编码方案，即，较高的压缩率的编码方案。随着移动终端的普及，认为未来会增大对这样的编码方案的需求，并且因此已经对MPEG 4编码方案进行了标准化。与图像编码方案相关联地，在1998年12月已经将图像编码方案的国际标准批准为ISO/IEC 14496-2。
另外，近年来，已经实施了对用于针对视频会议的图像编码的标准的标准化例如H.26L(国际电信联盟电信标准化部门Q6/16视频编码专家组(ITU-T Q6/16VCEG))。H.26L对于编码和解码而言比在现有编码方案例如MPEG 2或MPEG 4中需要较大的计算量，但是已知实现较高的编码效率。另外，当前，作为MPEG 4的活动之一，已经将结合了甚至在H.26L中不支持的功能并且基于H.26L实现较高的编码效率的标准化执行为增强的压缩视频编码的联合模型。
作为标准化日程，已经在2003年3月建立了称为H.264和MPEG-4Part10(在下文中，也称为“高级视频编码(AVC)”)的国际化标准。
此外，随着H.264/AVC的扩展，已经在2005年2月对包括专业用途所需要的编码引擎例如RGB或4:2:2或4:4:4或8×8DCT以及MPEG 2中指定的量化矩阵的保真度范围扩展(FRExt)进行了标准化。因此，H.264/AVC变成能够还表示包括在影片中的电影噪声的编码方案并且被用于宽范围的应用例如蓝光光盘(注册商标)中。
然而，近年来，存在对下述进一步的高压缩率编码的增长的需求：能够对为高清晰度图像的四倍高的约4000像素×2000像素的图像(也称为“4K图像”)进行压缩并且在受限传送能力环境例如因特网中传送高清晰度图像。为此，在ITU-T下提高编码效率一直在视频编码专家组(VCEG)的不断研究之中。
鉴于此，当前，为了将编码效率进一步提高至比在AVC中更高，由为ITU-T和ISO/IEC的联合标准化组织的联合协作团队视频编码(JCTVC)对称为高效视频编码(HEVC)的编码方案进行标准化。在HEVC标准中，在2012年2月发布了作为第一草案规范的委员会草案(参见非专利文献1)。
通常，在HEVC的情况下，从编码侧传送至解码侧的信息包括针对P切片(slice)和B切片的语法元素、即与画面间处理以及针对I切片的语法有关的语法元素。
同时，已经提出用作将HEVC用作静态图像编解码器的简档的静态图片简档(例如，参见非专利文献2)。
由于静态图片简档为用于对静态图像进行编码和解码的简档，所以当应用该简档时，与画面间处理有关的语法元素是不必要的。
引用列表
非专利文献
非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC)text specification draft 8,"JCTVC-H1003_d7,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,第10次会议:斯德哥尔摩,瑞典,2012年7月11日-20日；
非专利文献2：Kemal Ugur,Jani Lainema,Miska Hannuksela,"On still picture profile,"JCTVC-J0037,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,第10次会议:斯德哥尔摩,瑞典,2012年7月11日-20日。
技术实现要素：
本发明要解决的问题
然而，在非专利文献2中公开的方法的情况下，不进行对与画面间处理有关的语法元素的控制。换言之，与动态图像简档的情况相似，与画面间处理有关的语法元素被从编码侧传送至解码侧。因此，由于传送了不必要的信息，所以编码效率可能会降低。
鉴于上述内容作出本公开内容，并且期望能够抑制编码效率的降低。
问题的解决方案
根据本技术的一个方面的图像处理装置包括：限制单元，当基于用于对静态图像进行编码的简档进行编码处理时，该限制单元限制与图像间处理有关的语法元素的值；以及传送单元，该传送单元传送具有由限制单元限制的值的语法元素。
图像处理装置还可以包括编码单元，该编码单元使用由限制单元限制的语法元素来对图像数据进行编码并生成比特流，并且传送单元还可以传送由编码单元生成的比特流。
语法元素可以存储在比特流的序列参数集中。
语法元素可以为与参考图片有关的语法。
语法元素可以为与参考图片的数目有关的语法。
当基于对静态图像进行编码的简档进行编码处理时，限制单元可以将语法元素的值设置成预定值。
预定值可以为0。
根据本技术的一个方面的图像处理方法包括：当基于用于对静态图像进行编码的简档进行编码处理时，限制与图像间处理有关的语法元素的值；以及传送具有所限制的值的语法元素。
图像处理方法还可以包括：使用所限制的语法元素对图像数据进行编码；生成比特流；以及传送该比特流。
语法元素可以存储在比特流的序列参数集中。
语法元素可以为与参考图片有关的语法。
语法元素可以为与参考图片的数目有关的语法。
当基于对静态图像进行编码的简档进行编码处理时，可以将语法元素的值设置成预定值。
预定值可以为0。
在本技术的一个方面中，当基于用于对静态图像进行编码的简档进行编码处理时，限制与图像间处理有关的语法元素的值；并且由限制单元传送具有所限制的值的语法元素。
本发明的效果
根据本公开，可以对图像进行编码和解码。特别地，可以抑制编码效率的降低。
附图说明
图1是用于描述编码单元的示例性配置的图；
图2是用于描述区(tile)的图；
图3是示出示例性简档层次级别(Profile_tier_level)的图；
图4是示出示例性视频参数集(VPS)的图；
图5是示出示例性序列参数集(SPS)的图；
图6是继图5之后示出示例性序列参数集(SPS)的图；
图7是示出另一示例性简档层次级别(Profile_tier_level)的图；
图8是示出另一示例性视频参数集(VPS)的图；
图9是示出另一示例性序列参数集(SPS)的图；
图10是继图9之后示出另一示例性序列参数集(SPS)的图；
图11是示出又一示例性视频参数集(VPS)的图；
图12是示出又一示例性序列参数集(SPS)的图；
图13是继图12之后示出又一示例性序列参数集(SPS)的图；
图14是示出示例性图片参数集(PPS)的图；
图15是继图14之后示出示例性图片参数集(PPS)的图；
图16是示出示例性缩放列表数据(scaling_list_data())的图；
图17是示出尺寸ID(SizeID)的示例性语义的图；
图18是示出尺寸ID(SizeID)和矩阵ID(MatrixID)的示例性语义的图；
图19是示出另一示例性缩放列表数据(scaling_list_data())的图；
图20是示出示例性切片头部(slice_header())的图；
图21是继图20之后示出示例性切片头部(slice_header())的图；
图22是继图21之后示出示例性切片头部(slice_header())的图；
图23是示出nal_unit_type的示例性分配的图；
图24是用于描述示例性关注区域(ROI)的区域的图；
图25是示出图像编码装置的示例性主要配置的框图；
图26是示出无损编码单元的示例性主要配置的框图；
图27是用于描述编码处理的示例性流程的流程图；
图28是继图27之后用于描述编码处理的示例性流程的流程图；
图29是用于描述无损编码处理的示例性流程的流程图；
图30是用于描述语法元素设置处理的示例性流程的流程图；
图31是示出图像编码装置的另一示例性配置的框图；
图32是用于描述编码处理的另一示例性流程的流程图；
图33是继图32之后用于描述编码处理的另一示例性流程的流程图；
图34是示出图像解码装置的示例性主要配置的框图；
图35是示出无损解码单元的示例性主要配置的框图；
图36是用于描述解码处理的示例性流程的流程图；
图37是继图36之后用于描述解码处理的示例性流程的流程图；
图38是用于描述语法元素分析处理的示例性流程的流程图；
图39是示出图像解码装置的另一示例性配置的框图；
图40是示出无损解码单元的另一示例性配置的框图；
图41是用于描述解码处理的另一示例性流程的流程图；
图42是继图41之后用于描述解码处理的另一示例性流程的流程图；
图43是用于描述语法元素检查处理的示例性流程的流程图；
图44是示出示例性多视图图像编码方案的图；
图45是示出应用本技术的多视图图像编码装置的示例性主要配置的图；
图46是示出应用本技术的多视图图像解码装置的示例性主要配置的图；
图47是示出示例性可缩放图像编码方案的图；
图48是用于描述示例性空间可缩放编码的图；
图49是用于描述示例性时间可缩放编码的图；
图50是用于描述信噪比的示例性可缩放编码的图；
图51是示出应用本技术的可缩放图像编码装置的示例性主要配置的图；
图52是示出应用本技术的可缩放图像解码装置的示例性主要配置的图；
图53是示出计算机的示例性主要配置的框图；
图54是示出电视装置的示例性示意配置的框图；
图55是示出移动电话的示例性示意配置的框图；
图56是示出记录/再现装置的示例性示意配置的框图；
图57是示出成像装置的示例性示意配置的框图；
图58是示出可缩放编码的使用示例的框图；
图59是示出可缩放编码的另一使用示例的框图；
图60是示出可缩放编码的又一使用示例的框图；
图61是示出视频设置的示例性示意配置的框图；
图62是示出视频处理器的示例性示意配置的框图；
图63是示出视频处理器的另一示例性示意配置的框图；
图64是示出内容再现系统的配置的说明图；
图65是示出内容再现系统中的数据流动的说明图；
图66是示出MPD的具体示例的说明图；
图67是示出内容再现系统的内容服务器的配置的功能性框图；
图68是示出内容再现系统的内容再现装置的配置的功能性框图；
图69是示出内容再现系统的内容服务器的配置的功能性框图；
图70是示出由无线通信系统的装置进行的示例性通信处理的程序图；
图71是示出由无线通信系统的装置进行的示例性通信处理的程序图；
图72是示意性示出在由无线通信系统的装置进行的通信处理中收发的帧格式的示例性配置的图；以及
图73是示出由无线通信系统的装置进行的示例性通信处理的程序图。
具体实施方式
在下文中，将描述执行本公开内容的方式(在下文中，称为“实施方式”)。将按以下顺序进行描述。
0.概述
1.第一实施方式(图像编码装置)
2.第二实施方式(图像编码装置)
3.第三实施方式(图像解码装置)
4.第四实施方式(图像解码装置)
5.第五实施方式(多视图图像编码装置和多视图图像解码装置)
6.第六实施方式(可缩放图像编码装置和可缩放图像解码装置)
7.第七实施方式(计算机)
8.应用示例
9.可缩放编码的应用示例
10.第八实施方式(设置/单元/块/处理器)
11.第九实施方式(MPEG-DASH的内容再现系统的应用示例)
12.第十实施方式(Wi-Fi标准的无线通信系统的应用示例)
<0.概述>
<编码方案>
在下文中，将结合将HEVC方案应用于图像编码和图像解码来描述本技术。
<编码单元>
在AVC中，定义基于宏块和子宏块的分层结构。然而，对于用作下一代编码方案的目标的大图像帧例如超高清晰度(UHD)(4000像素×2000像素)而言，16像素×16像素的宏块不是最佳的。
另一方面，在HEVC中，如图1中所示定义编码单元(CU)。
CU也称为编码树块(CTB)，并且CU为承担AVC中的宏块的相同作用的图片单元的图像的部分区域。AVC的宏块固定为16像素×16像素的尺寸，但是HEVC的CU的尺寸不固定，并且在每个序列中的图像压缩信息中指定。
例如，在包括在要输出的编码数据中的序列参数集(SPS)中指定CU的最大编码单元(LCU)和最小编码单元(SCU)。
由于在其中每个LCU不小于SCU的范围内设置split_flag＝1，所以编码单元可以被划分成具有较小尺寸的CU。在图1的示例中，LCU的尺寸为128×128，并且最大可缩放深度为5。当split_flag的值为“1”时，尺寸为2N×2N的CU被划分成具有N×N的尺寸的CU，具有N×N的尺寸的CU用作更低一级的层级。
另外，CU被划分成预测单元(PU)，预测单元(PU)为用作帧内预测和帧间预测的处理单元的区域(图片单元的图像的部分区域)，并且CU被划分成变换单元(TU)，变换单元(TU)为用作正交变换的处理单元的区域(图片单元的图像的部分区域)。在HEVC中，4×4、8×8、16×16和32×32中的任何一个可以用作正交变换的处理单元。
在其中定义CU并且以CU为单位进行各种处理的编码方案例如HEVC的情况下，可以认为AVC中的宏块与LCU对应，并且可以认为块(子块)与CU对应。另外，可以认为AVC中的运动补偿块与PU对应。此处，由于CU具有分层结构，所以最顶层的LCU的尺寸通常设置成例如大于AVC中的宏块的尺寸，比如128像素×128像素。
因此，在下文中，假定LCU包括AVC中的宏块，并且假定CU包括AVC中的块(子块)。换言之，在以下描述中使用的“块”指示图片中的任意部分区域，并且例如，不限制块的尺寸、形状和特性。换言之，“块”包括任意区域(处理单元)例如TU、PU、SCU、CU、LCU、子块、宏块或切片。当然，“块”也包括任何其他部分区域(处理单元)。当需要限制尺寸、处理单元等时，将会适当地进行描述。
<模式选择>
同时，在编码方案例如AVC和HEVC中，为了实现更高的编码效率，重要的是选择合适的预测模式。
作为这样的选择方法的示例，存在于称为联合模型(JM)的H.264/MPEG-4AVC的参考软件(在http://iphome.hhi.de/suehring/tml/index.htm打开)中实现的方法。
在JM中，可以选择两种模式确定方法，即，下文中描述的高复杂模式和低复杂模式。在这两个模式中，计算与相应的预测模式有关的代价函数值，并且将具有最小的代价函数值的预测模式选择为针对用作处理目标的当前块的最佳模式。
将高复杂模式中的代价函数表示为以下公式(1)：
[数学公式1]
Cost(Mode∈Ω)＝D+λ*R ...(1)
此处，Ω指示用于对当前块进行编码的候选模式的全集，并且D指示当在对应的预测模式中进行编码时在解码图像与输入图像之间的差分能量。λ指示给出为量化参数的函数的拉格朗日不定乘子(Lagrange's undetermined multiplier)。R指示当在对应的预测模式中进行编码时包括正交变换系数的总编码量。
换言之，为了在高复杂模式中进行编码，需要由所有的候选模式一次进行临时编码处理，以计算参数D和参数R，并且因此需要较大的计算量。
在低复杂模式中的代价函数由以下公式(2)表示：
[数学公式2]
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit ...(2)
此处，D指示预测图像与输入图像之间的与高复杂模式不同的差分能量。QP2Quant(QP)被给出作为量化参数QP的函数，并且HeaderBit指示与属于头部的信息例如运动矢量或者不包括正交变换系数的模式有关的编码量。
换言之，在低复杂模式中，需要进行针对相应的候选模式的预测处理，但是由于不需要直到解码图像，所以不需要进行直到编码处理。因此，可以以比在高复杂模式中更小的计算量来实现。
<区>
同时，除在AVC中指定的切片之外，在HEVC中，将图2所示的区指定为并行处理的单位。
在图像压缩信息中指定每个区的宽度和高度，并且可以对每个区独立地进行解码处理。
<静态图片简档>
另外，在非专利文献2中，提出了用作下述简档的静态图片简档，所述简档用于将HEVC用作静态图像编解码器。
然而，通常，在HEVC的情况下，从编码侧传送至解码侧的信息包括针对P切片和B切片的语法元素，即与画面间处理以及针对I切片的语法有关的语法元素。
由于静态图片简档是用于对静态图像进行编码和解码的简档，因此当应用该简档时，与画面间处理有关的上述语法元素是不必要的。然而，在专利文献2中所公开的方法的情况下，不进行对与画面间处理有关的语法元素的控制。换言之，与动态图像简档的情况相似，与画面间处理有关的语法元素被从编码侧传送至解码侧。因此，由于传送了不必要的信息，所以编码效率可能会降低。
鉴于此，在本技术中，当基于用于对静态图像进行编码的简档进行编码处理时，限制与图像间处理有关的语法元素的值，并且抑制对不必要的信息的传送。因此，可以抑制编码效率的降低。
以下将描述限制的具体示例。
<0-1：对与子层有关的语法元素的限制>
图3是示出HEVC中的简档层次级别(profile_tier_level())的示例性语法的图。左侧的序号被给出为用于描述的行序号并且不包括在实际语法中。类似地，下文中描述的图4至图23中所示的左侧的序号被给出为用于描述附图的行序号并且不实际包括在语法中。
图3所示的简档层次级别(profile_tier_level())中的第5行所示的语法元素general_profile_idc指示处理目标的序列(当前序列)的简档为静态图片简档。
图3中的简档层次级别(profile_tier_level())被称为“视频参数集(VPS)”或者“序列参数集(SPS)”。
图4是示出HEVC中的示例性视频参数集(VPS)的图。图5和图6是示出HEVC中的示例性序列参数集(SPS)的图。
如图4所示，在视频参数集(VPS)中，调用第七行中的简档层次级别(profile_tier_level())。另外，如图5所示，在序列参数集(SPS)中，调用第5行中的简档层次级别(profile_tier_level())。
此处，当基于静态图片简档进行编码时，不存在时间层深度(也被称为“子层”)。换言之，与子层有关的语法元素是不必要的。
鉴于此，在图3的简档层次级别(profile_tier_level())中，在由语法元素general_profile_idc指定静态图片简档之前，可以将0指定为图4的视频参数集(VPS)中的与子层有关的参数vps_max_sub_layers_minus1(第6行)的值，并且可以将0指定为序列参数集(SPS)(图5和图6)中的与子层有关的参数sps_max_sub_layers_minus1(第3行)的值。
换言之，当图3的简档层次级别(profile_tier_level())中的语法元素general_profile_idc指定简档为静态图片简档时，可以将0指定为图4的视频参数集(VPS)中的与子层有关的参数vps_max_sub_layers_minus1(第6行)的值，并且可以将0指定为序列参数集(SPS)(图5和图6)中的与子层有关的参数sps_max_sub_layers_minus1(第3行)的值。
因此，可以防止读取简档层次级别(profile_tier_level())的不必要的部分。换言之，可以防止由读取引起的负荷的增大并且防止读取和传送不必要的参数。因此，可以抑制编码效率的降低。
另外，因此，不需要改变简档层次级别(profile_tier_level())、视频参数集(VPS)和序列参数集(SPS)的语法，并且可以通过语义的控制来抑制编码效率的降低。当语法被改变时，例如，可能难以保持与现有技术的不支持静态图片简档的编码器和解码器的语法兼容性。具体地，在由硬件实现编码器和解码器的情况下，存在难以更新语法的情况。语法兼容性的下降可能会降低多功能性。然而，如上所述，当由语义限制语法元素的值时，可以保持语法兼容性并且防止多功能性的减少。
另外，由于如上所述保持语法兼容性，所以即使对静态图像的编码和动态图像的编码二者也可以容易地应用共用语法，从而可以容易地实现通过共用电路来处理静态图像和动态图像二者的编码器和解码器。换言之，可以有助于减小装置的尺寸、抑制成本的增加等。
<0-2：对与调用简档层次级别有关的语法元素的限制>
此处，可以通过改变语法来实现这样的限制。
如上所述，当从视频参数集(VPS)或序列参数集(SPS)调用简档层次级别(profile_tier_level())时，与调用在调用时指定的简档层次级别有关的语法元素ProfilePresentFlag的值始终为1。
换言之，传送该语法元素是冗余的。另外，简档层次级别(profile_tier_level())的第2行的if(如果)语句也是不必要的。
鉴于此，图3的简档层次级别(profile_tier_level())的语法可以被如图7所示的示例中那样改变，图4的视频参数集(VPS)的语法可以被如图8所示的示例中那样改变，并且图5和图6的序列参数集(SPS)的语法可以被如图9和图10所示的示例中那样改变。
换言之，可以通过在不指定语法元素ProfilePresentFlag的情况下仅指定如图7的示例(第1行)、图8的示例(第7行)和图9的示例(第5行)的与子层有关的语法元素MaxNumSubLayersMinus1来指定简档层次级别(profile_tier_level())。
另外，如图7的第1行至第7行所示，在简档层次级别(profile_tier_level())中，可以省略使用语法元素ProfilePresentFlag的if语句。
因此，可以防止传送不必要的参数并且抑制编码效率的降低。另外，可以抑制读取简档层次级别(profile_tier_level())的处理中的由读取不必要的if语句而引起的负荷的增加。
换言之，与调用简档层次级别有关的语法元素ProfilePresentFlag的值可能要被固定为1。
<0-3.对与简档层次级别有关的语法元素的限制>
在以上方法中，当对与子层有关的语法元素max_sub_layers_minus1进行编码时，需要在检测对于是否基于静态图片简档进行编码的信息之后在随后的简档层次级别(profile_tier_level())中进行设置。
鉴于此，图4的视频参数集(VPS)的语法可以被如在图11的所示的示例中那样改变，并且图5和图6的序列参数集(SPS)的语法可以被如在图12和图13中所示的示例中那样被改变。
换言之，在视频参数集(VPS)中，如在第6行至第8行中(图11)，可以指定与简档层次级别有关的语法元素profile_tier_level(1,0)，可以指定与子层有关的语法元素vps_max_sub_layers_minus1的值，并且可以指定与简档层次级别有关的语法元素profile_tier_level(0,vps_max_sub_layers_minus1)。
类似地，在序列参数集(SPS)中，如在第3行至第6行(图12)中，可以指定与简档层次级别有关的语法元素profile_tier_level(1,0)，可以指定与子层有关的语法元素sps_max_sub_layers_minus1的值，并且可以指定与简档层次级别有关的语法元素profile_tier_level(0,sps_max_sub_layers_minus1)。
另外，例如，当语法元素所属的参数集不像vps_max_sub_layers_minus1和sps_max_sub_layers_minus1被区别时，参数集简称为max_sub_layers_minus1。换言之，vps_max_sub_layers_minus1为视频参数集(VPS)中的max_sub_layers_minus1，并且sps_max_sub_layers_minus1为序列参数集(SPS)中的max_sub_layers_minus1。假定其他语法元素具有相似的关系。
由于在指定与子层有关的语法元素max_sub_layers_minus1之前指定语法元素profile_tier_level(1,0)，所以传送与何时对图像数据的所有的时间层(temporal_layer)进行编码或解码有关的信息。
此处，当应用静态图片简档时，将0指定为与子层有关的语法元素max_sub_layers_minus1的值。
在对与子层有关的语法元素max_sub_layers_minus1进行编码之后，通过profile_tier_level(0,nax_sub_layers_minus1)传送与何时对图像数据的一些时间层(temporal_layer)进行编码或解码有关的信息。
通过改变上述语法，可以在指定该简档是否为静态图片简档之后指定与子层有关的语法元素max_sub_layers_minus1的值。
<0-4：对与虚拟参考解码器有关的语法元素的限制>
另外，当应用静态图片简档时，不需要控制虚拟参考解码器。鉴于此，如图4所示，可以将0指定为视频参数集(VPS)中与虚拟参考解码器有关的语法元素vps_num_hrd_parameters(第14行)的值。
换言之，当应用静态图片简档时，可能要将视频参数集(VPS)中与虚拟参考解码器有关的语法元素vps_num_hrd_parameters(第14行)的值固定为0。
与虚拟参考解码器有关的语法元素vps_num_hrd_parameters为由扩展哥伦布编码(Golomb coding)编码并且随后被传送的正值。因此，当该值为0或1时，编码量变成最小。换言之，由于将0指定为与虚拟参考解码器有关的语法元素vps_num_hrd_parameters的值，所以可以抑制编码效率的降低。
另外，由于将0指定为与虚拟参考解码器有关的语法元素vps_num_hrd_parameters的值，所以可以跳过第15行至第19行的循环处理(for语句)。从而，因此，可以抑制负荷的增加。另外，可以防止循环处理(for语句)中不必要的语法元素的传送并且抑制编码效率的降低。
另外，可以在不改变语法的情况下由语义限制语法元素的值并且抑制语法多功能性的减少。
另外，即使在视频参数集(VPS)为图8的示例或者图11的示例时也可以应用该限制。
<0-5：对与P切片和B切片有关的语法元素的限制>
另外，当应用静态图片简档时，既不存在P切片也不存在B切片。鉴于此，如图5所示，可以将0指定为序列参数集(SPS)中与P切片和B切片有关的语法元素restricted_ref_pic_lists_flag(第32行)的值。
换言之，当应用静态图片简档时，序列参数集(SPS)中的与P切片和B切片有关的语法元素restricted_ref_pic_lists_flag(第32行)的值可能要固定为0。
另外，由于将0指定为与P切片和B切片有关的语法元素restricted_ref_pic_lists_flag的值，所以可以跳过第33行至第44行。从而，因此，可以抑制负荷的增加。另外，可以防止第33行至第44行的不必要的语法元素的传送并且抑制编码效率的降低。
另外，可以在不改变语法的情况下由语义限制语法元素的值并且抑制语法多功能性的减少。
另外，即使在序列参数集(SPS)为图9和图10的示例或者图12和图13的示例时也可以应用该限制。
<0-6：对与短期有关的语法元素的限制>
另外，当应用该静态图片简档时，不存在时间的概念(不存在其他图片)。鉴于此，如图6所示，可以将0指定为序列参数集(SPS)中的与短期有关的语法元素num_short_term_ref_pic_sets(第56行)的值。
换言之，当应用该静态图片简档时，序列参数集(SPS)中的与短期有关的语法元素num_short_term_ref_pic_sets(第56行)的值可能要被固定为0。
与短期有关的语法元素num_short_term_ref_pic_sets为由扩展哥伦布编码进行编码并且然后被传送的正值。因此，当该值为0或1时，编码量变成最小。换言之，由于将0指定为与短期有关的语法元素num_short_term_ref_pic_sets的值，所以可以抑制编码效率的降低。
另外，由于将0指定为与短期有关的语法元素num_short_term_ref_pic_sets的值，所以可以跳过第57行和第58行。从而，因此，可以抑制负荷的增大。
另外，可以在不改变语法的情况下由语义限制语法元素的值并且抑制语法多功能性的减少。
另外，即使在序列参数集(SPS)为图9和图10的示例或者图12和图13的示例时也可以应用该限制。
<0-7：对与长期有关的语法元素的限制>
另外，当应用静态图片简档时，不存在时间的概念(不存在其他图片)。鉴于此，如图6所示，可以将0指定为序列参数集(SPS)中的与长期有关的语法元素long_term_ref_pics_present_flag(第59行)的值。
换言之，当应用静态图片简档时，序列参数集(SPS)中的与长期有关的语法元素long_term_ref_pics_present_flag(第59行)的值可能要被固定为0。
由于将0指定为与长期有关的语法元素long_term_ref_pics_present_flag的值，所以可以跳过第60行至第66行。从而，因此，可以抑制负荷的增加。另外，可以防止第60行至第66行中的不必要的语法元素的传送并且抑制编码效率的降低。
另外，可以在不改变语法的情况下由语义限制语法元素的值并且抑制语法多功能性的减少。
另外，即使在序列参数集(SPS)为图9和图10的示例或者图12和图13的示例时也可以应用该限制。
<0-8：对与运动矢量有关的语法元素的限制>
另外，当应用该静态图片简档时，不存在时间的概念(不存在其他图片)。鉴于此，如图6所示，可以将0指定为序列参数集(SPS)中的与运动矢量有关的语法元素sps_temporal_mvp_enable_flag(第67行)的值。
换言之，当应用静态图片简档时，序列参数集(SPS)中的与运动矢量有关的语法元素sps_temporal_mvp_enable_flag(第67行)的值可能要被固定为0。
由于将0指定为与运动矢量有关的语法元素sps_temporal_mvp_enable_flag的值，所以可以使得编码量最小，并且可以抑制编码效率的降低。
另外，可以在不改变语法的情况下由语义限制语法元素的值并且抑制语法多功能性的减少。
另外，即使在序列参数集(SPS)为图9和图10的示例或者图12和图13的示例时也可以应用该限制。
<0-9：对图片参数集的语法元素的限制>
图14和图15是示出HEVC中的示例性图片参数集(PPS)的图。
当应用静态图片简档时，不存在时间的概念(不存在其他图片)。鉴于此，如图14所示，可以将0或1指定为图片参数集(PPS)中的与L0有关的语法元素num_ref_idx_l0_default_active minus1(第6行)的值和与L1有关的语法元素num_ref_idx_l1_default_active minus1(第7行)的值二者。
换言之，当应用静态图片简档时，图片参数集(PPS)中的与L0有关的语法元素num_ref_idx_l0_default_active minus1(第6行)的值和与L1有关的语法元素num_ref_idx_l1_default_active minus1(第7行)的值二者可能要被固定为0或1。
语法元素为由扩展哥伦布编码进行编码并且然后被传送的正值。因此，当该值为0或1时，编码量变成最小。换言之，由于将0指定为与L0有关的语法元素num_ref_idx_l0_default_active minus1的值和与L1有关的语法元素num_ref_idx_l1_default_active minus1的值，所以可以抑制编码效率的降低。
另外，当应用静态图片简档时，不存在时间的概念(不存在其他图片)。鉴于此，如图15所示，可以将0指定为图片参数集(PPS)的指示当前切片头部中是否存在语法元素ref_pic_list_modification的语法元素(标记)lists_modification_present_flag(第49行)的值。
换言之，当应用静态图片简档时，图片参数集(PPS)的指示当前切片头部中是否存在语法元素ref_pic_list_modification的语法元素(标记)lists_modification_present_flag(第49行)的值可能要被固定为0。
当语法元素lists_modification_present_flag的值为1时，如图21的第53行和第54行所示，针对当前切片传送与参考图像列表有关的语法元素ref_pic_list_modification，但是在静态图片简档的情况下，该语法元素是不必要的。换言之，由于将0指定为语法元素lists_modification_present_flag的值，所以可以省略传送针对当前切片为不必要信息的参考图像列表的语法元素ref_pic_list_modification，并且可以抑制编码效率的降低。
另外，当应用静态图片简档时，不存在时间的概念(不存在其他图像)。鉴于此，如图15所示，可以将0指定为图片参数集(PPS)的指定预测处理中的合并模式和跳跃模式的并行处理水平的语法元素log2_parallel_merge_level_minus2(第50行)的值。
换言之，当应用静态图片简档时，图片参数集(PPS)的指定预测处理中的合并模式和跳跃模式的并行处理水平的语法元素log2_parallel_merge_level_minus2(第50行)的值可能要被固定为0。
该语法元素为由扩展哥伦布编码进行编码并且然后被传送的正值。因此，当该值为0时，编码量变成最小。换言之，由于将0指定为指定预测处理中的合并模式和跳跃模式的并行处理水平的语法元素log2_parallel_merge_level_minus2的值，所以可以抑制编码效率的降低。
另外，当应用静态图片简档时，不存在时间的概念(不存在其他图片)。鉴于此，如图14所示，可以将0指定为图片参数集(PPS)中的与P切片的加权预测有关的语法元素(标记)weighted_pred_flag(第18行)的值和与B切片的加权预测有关的语法元素(标记)weighted_bipred_flag(第19行)的值二者。
换言之，当应用静态图片简档时，图片参数集(PPS)中的与P切片的加权预测有关的语法元素(标记)weighted_pred_flag(第18行)的值和与B切片的加权预测有关的语法元素(标记)weighted_bipred_flag(第19行)的值二者可能要被固定为0。
当语法元素weighted_pred_flag的值或语法元素weighted_bipred_flag的值为1时，如图21的第65行至第68行所示，针对当前切片传送加权预测表等，但是在静态图片简档的情况下，该信息是不必要的。换言之，由于将0指定为语法元素weighted_pred_flag的值或语法元素weighted_bipred_flag的值，所以可以省略传送针对当前切片的不必要的信息，并且可以抑制编码效率的降低。
此处，如随后将描述，即使在将切切片类型限制成I切片时，也可以省略传送该信息，从而可以省略与语法元素weighted_pred_flag或weighted_bipred_flag有关的上述限制。
另外，可以在不改变语法的情况下由语义限制语法元素的值并且抑制语法多功能性的减少。
<0-10：对与缩放列表的预测模式有关的语法元素的限制>
同时，在图5和图6所示的序列参数集(SPS)中，调用缩放列表(scaling_list_data())(第49行)。相似地，即使在图14和图15所示的图片参数集(PPS)中，也调用缩放列表(scaling_list_data())(第48行)。
图16示出了示例性缩放列表(scaling_list_data())。在图16所示的缩放列表(scaling_list_data())中，尺寸ID(sizeID)的语义和矩阵ID(matrixID)的语义如图17和图18所示。
此处，当尺寸ID(sizeID)的值为0、1或2并且矩阵ID(matrixID)的值为3、4或5时，或者当尺寸ID(sizeID)的值为3并且矩阵ID(matrixID)的值为1时，在静态图片简档中，传送缩放列表是冗余的。
鉴于此，在这种情况下，可以将0指定为与缩放列表的预测模式有关的语法元素scaling_list_pred_mode_flag的值，并且可以将0或1指定为与缩放列表的预测矩阵有关的语法元素scaling_list_pred_matrix_id_delta的值。
换言之，当应用静态图片简档时，与缩放列表的预测模式有关的语法元素scaling_list_pred_mode_flag(第4行)的值可能要被固定为0，并且与缩放列表的预测矩阵有关的语法元素scaling_list_pred_matrix_id_delta(第6行)的值可能要被固定为0或1。
另外，由于将1指定为与缩放列表的预测矩阵有关的语法元素scaling_list_pred_matrix_id_delta的值，所以可以在使代码长度保持最小的情况下减少插入起始代码仿真防止的必要性。
<0-11：对与缩放列表的预测模式有关的语法的改变>
另外，替代如上所述由语义对语法元素的值的限制，可以如图19所示那样改变语法。
在图19的语法中，如第4行所示，使用如上所述的尺寸ID(sizeID)和矩阵ID(matrixID)来详细指定for语句的条件。
因此，可以获得相同的效果。
<0-12：对与切片类型有关的语法元素的限制>
图20至图22示出切片头部的示例性语法。
当应用静态图片简档时，切片类型为I切片。鉴于此，如图20所示，可以将指示I切片的值指定为与切片头部(slice_header())中的切片类型有关的语法元素slice_type(第11行)的值。
换言之，当应用静态图片简档时，与切片头部(slice_header())中的切片类型有关的语法元素slice_type(第11行)的值可能要被固定为I切片。
因此，可以跳过切片头部(slice_header())的第44行至第68行。从而，因此，可以抑制负荷的增加。另外，可以防止传送第44行至第68行的不必要的语法元素，并且可以抑制编码效率的降低。
另外，可以在不改变语法的情况下由语义限制语法元素的值并且抑制语法多功能性的减少。
<0-13：对与NAL单元类型有关的语法元素的限制>
同时，在图20至图22中，如以下公式(3)和公式(4)中那样基于nal_unit_type来计算IdrPicFlag和RapPicFlag。
[数学公式3]
IdrPicFlag＝(nal_unit_type＝＝IDR_W_LP||nal_unit_type＝＝IDR_N_LP)...(3)
RapPicFlag＝(nal_unit_type>＝7&&nal_unit_type<＝12)...(4)
此处，如图23中所示分配与NAL单元类型有关的语法元素nal_unit_type。
鉴于此，当应用静态图片简档时，可以将IDR_W_LP或IDR_N_LP指定为针对VCL的NAL单元类型(nal_unit_type)。
换言之，当应用静态图片简档时，针对VCL的NAL单元类型(nal_unit_type)可能要被固定为IDR_W_LP或IDR_N_LP。
通过进行以上处理，可以防止传送冗余的信息并且提高对当基于静态图片简档进行编码时要输出的图像压缩信息的编码效率。
另外，与其中当基于用于对静态图像进行编码的简档进行编码处理时对值进行限制的图像间处理有关的语法元素不限于以上示例。可以限制不同于上述语法元素的语法元素的值。此时，可以通过限制语义来改变语法。
另外，如图24所示，当在静态图像的一部分中存在关注区域(ROI)时，例如，当在静态图像的一部分中显示有人的脸时，可以将该图像划分成图2的区，用作ROI区域的区可以由元数据例如补充增强信息(SEI)指定，并且可以针对解码图像进行仅对ROI区域的解码处理。
接着，描述将本技术到具体装置的应用示例。
<1.第一实施方式>
<图像编码装置>
图25是示出作为应用本技术的图像处理装置的示例的图像编码装置的示例性配置的框图。例如，图25所示的图像编码装置100使用HEVC的预测处理或者基于HEVC的方案的预测处理来对动态图像的图像数据进行编码。
另外，图像编码装置100可以对静态图像的图像数据以及动态图像的图像数据进行编码。在这种情况下，将静态图像简档(例如，静态图片简档)设置到图像编码装置100。
如图25所示，图像编码装置100包括A/D转换器101、画面重新布置缓存器102、操作单元103、正交变换单元104、量化单元105、无损编码单元106、累积缓存器107、逆量化单元108和逆正交变换单元109。图像编码装置100还包括操作单元110、环路滤波器111、帧存储器112、帧内预测单元113、帧间预测单元114、预测图像选择单元115和速率控制单元116。
A/D转换器101对输入至图像编码装置100的输入图像的图像数据(模拟数据)进行A/D转换。A/D转换器101将经转换的图像数据(数字数据)提供至画面重新布置缓存器102。
画面重新布置缓存器102按顺序存储按显示顺序提供的输入图像的每个帧图像数据。画面重新布置缓存器102根据图片组(GOP)按照编码顺序重新布置输入图像的帧的顺序。换言之，画面重新布置缓存器102按照编码顺序读取按照显示顺序存储的帧的图像数据。画面重新布置缓存器102将读取的图像数据提供至操作单元103。另外，画面重新布置缓存器102还将读取的图像数据提供至帧内预测单元113以及帧间预测单元114。换言之，帧的图像数据被按照编码顺序提供至操作单元103、帧内预测单元113和帧间预测单元114。另外，当输入图像为静态图像时，由于不存在时间的概念(由于帧的数目为1)，所以省略重新布置。
操作单元103生成差分图像的图像数据，差分图像通过使用从画面重新布置缓存器102读取的输入图像的图像数据以及通过预测图像选择单元115从帧内预测单元113或帧间预测单元114提供的预测图像的图像数据来从输入图像中提取预测图像而获得。例如，在对其进行帧内编码的图像的情况下，操作单元103生成在输入图像与由帧内预测单元113生成的预测图像之间的差分图像。另外，例如，在对其进行帧间编码的图像的情况下，操作单元103生成在输入图像与由帧间预测单元114生成的预测图像之间的差分图像。操作单元103将生成的差分图像的图像数据输出至正交变换单元104。
正交变换单元104对从操作单元103提供的差分图像的图像数据进行正交变换例如离散余弦变换或者卡洛(Karhunen-Loeve)变换。正交变换单元104将所获得的变换系数提供至量化单元105。
量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于与从速率控制单元116提供的编码量的目标值有关的信息设置量化参数，并且进行量化。量化单元105将经量化的变换系数提供至无损编码单元106。
无损编码单元106根据任意编码方案对由量化单元105量化的变换系数进行编码，并且生成编码数据。由于在速率控制单元116的控制下对系数数据进行量化，所以编码数据的数据量(编码量)变成由速率控制单元116设置的目标值(或者接近该目标值)。
无损编码单元106获取例如指示来自帧内预测单元113的帧内预测模式的信息，并且获取例如指示来自帧间预测单元114的帧间预测模式和差分运动矢量信息的信息。无损编码单元106根据任意编码方案对各种信息进行编码，并且将经编码的信息设置(复用)成编码数据的头部信息的一部分。无损编码单元106提供所获得的编码数据以累积在累积缓存器107中。
无损编码单元106的编码方案的示例包括可变长度编码和算术编码。作为可变长度编码，例如，存在H.264/AVC中定义的上下文自适应可变长度编码(CAVLC)。作为算术编码，例如，存在上下文自适应二进制算术编码(CABAC)。
累积缓存器107暂时保存从无损编码单元106提供的编码数据。累积缓存器107以预定定时将所保存的编码数据输出至图像编码装置100的外部。换言之，累积缓存器107还用作传送编码数据的传送单元。
由量化单元105量化的变换系数还被提供至逆量化单元108。逆量化单元108通过与由量化单元105进行的量化对应的方法对经量化的变换系数进行逆量化。逆量化单元108将所获得的变换系数提供至逆正交变换单元109。
逆正交变换单元109通过与由正交变换单元104进行的正交变换处理对应的方法对从逆量化单元108提供的变换系数进行逆正交变换。由逆正交变换恢复差分图像的图像数据。逆正交变换单元109将恢复的差分图像的图像数据作为逆正交变换结果提供至操作单元110。
操作单元110生成通过下述获得的图像的图像数据：使用从逆正交变换单元109提供的逆正交变换结果以及通过预测图像选择单元115从帧内预测单元113或帧间预测单元114提供的预测图像的图像数据来将恢复的差分图像与预测图像相加。换言之，通过相加处理获得本地重构的图像(在下文中，称为“重构图像”)。操作单元110将重构图像的图像数据提供至环路滤波器111或帧内预测单元113。
环路滤波器111包括解块滤波器、自适应环路滤波器等，并且对从操作单元110提供的重构图像的图像数据进行适当的滤波处理。例如，环路滤波器111对重构图像的图像数据进行解块滤波处理，并且移除重构图像的块失真。另外，例如，环路滤波器111通过使用维纳滤波器对解块滤波处理结果(已经移除了块失真的重构图像的图像数据)进行环路滤波处理来提高重构图像的图像质量。
环路滤波器111可以对重构图像进行其他任意滤波处理。环路滤波器111可以根据需要将在滤波处理中使用的信息例如滤波系数提供至无损编码单元106，以使得可以对该信息进行编码。
环路滤波器111将进行了如上所述的滤波处理的重构图像(在下文中，称为“解码图像”)的图像数据提供至帧存储器112。
帧存储器112存储所提供的解码图像的图像数据。另外，帧存储器112以预定定时将所存储的解码图像的图像数据作为参考图像提供至帧间预测单元114。
帧内预测单元113对作为处理目标的帧的图像的当前图片进行预测处理，并且生成预测图像。帧内预测单元113以预测块为单位进行预测处理(将块用作处理单元)。换言之，帧内预测单元113生成当前块的预测图像，当前块用作当前图片的处理目标。此时，帧内预测单元113将从操作单元110提供的重构图像用作参考图像来进行预测处理(画面内预测(也称为帧内预测))。换言之，帧内预测单元113使用包括在重构图像中的与当前块相邻的像素的像素值生成预测图像。用于帧内预测的相邻像素的像素值为当前图片的先前处理的像素值。在帧内预测(即，在生成预测图像的方案中)中，预先准备多个方法(也称为“帧内预测模式”)作为候选。帧内预测单元113在预先准备的多个帧内预测模式下进行帧内预测。
帧内预测单元113在用作候选的所有帧内预测模式下生成预测图像，使用从画面重新布置缓存器102提供的输入图像来评估预测图像的代价函数值，并且选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元113将在最佳模式下生成的预测图像提供至预测图像选择单元115。
另外，如上所述，帧内预测单元113将例如指示所采用的帧内预测模式的帧内预测模式信息适当地提供至无损编码单元106，以使得对该信息进行编码。
帧间预测单元114对当前图片进行预测处理，并且生成预测图像。帧间预测单元114以预定块为单位进行预测处理(将块用作处理单元)。换言之，帧间预测单元114生成当前块的预测图像，该当前块用作当前图片中的处理目标。此时，帧间预测单元114将从画面重新布置缓存器102提供的输入图像的图像数据以及从帧存储器112提供的解码图像的图像数据用作参考图像来进行预测处理。解码图像为在当前图片之前处理的帧的图像(不同于当前图片的其他图片)。换言之，帧间预测单元114使用其他图片的图像进行生成预测图像的预测处理(画面间预测(也称为“帧间预测”))。
帧间预测包括运动预测和运动补偿。更具体地，帧间预测单元114使用输入图像和参考图像对当前块进行运动预测，并且检测运动矢量。然后，帧间预测单元114使用参考图像根据所检测的运动矢量来进行运动补偿处理，并且生成当前块的预测图像(帧间预测图像信息)。在帧间预测中(即，在生成预测图像的方案中)，预先准备多个方法(也称为“帧间预测模式”)作为候选。帧间预测单元114在预先准备的多个帧间预测模式下进行帧间预测。
帧间预测单元114在用作候选的所有帧间预测模式下生成预测图像。帧间预测单元114使用从画面重新布置缓存器102提供的输入图像、生成的差分运动矢量的信息等来评估预测图像的代价函数值，并且选择最佳模式。当选择最佳帧间预测模式时，帧间预测单元114将在最佳模式下生成的预测图像提供至预测图像选择单元115。
帧间预测单元114将指示所采用的帧间预测模式的信息、当对编码数据进行解码时在帧间预测模式中进行处理所需要的信息等提供至无损编码单元106，以使得对该信息进行编码。作为必要信息，存在生成的差分运动矢量的信息，并且作为预测运动矢量信息，存在指示预测运动矢量的索引的标记。
预测图像选择单元115选择要提供至操作单元103和操作单元110的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元115将帧内预测单元113选择为预测图像的提供源，并且将从帧内预测单元113提供的预测图像提供至操作单元103和操作单元110。另外，例如，在帧间编码的情况下，预测图像选择单元115将帧间预测单元114选择为预测图像的提供源，并且将从帧间预测单元114提供的预测图像提供至操作单元103和操作单元110。
速率控制单元116基于累积在累积缓存器107中的编码数据的编码量来控制量化单元105的量化操作的速率，以使得既不发生溢位也不发生下溢。
图像编码装置100还包括简档设置单元121。
简档设置单元121设置应用于对图像数据进行编码的简档。例如，当对静态图像进行编码时，简档设置单元121设置静态图片简档。例如，简档设置单元121根据外部指令例如用户指令来设置简档。当然，该方法为任意的，并且可以基于任何信息设置简档。当设置简档时，简档设置单元121将信息提供至无损编码单元106。
无损编码单元106根据由简档设置单元121设置的简档进行编码。例如，当由简档设置单元121设置静态图片简档时，无损编码单元106限制与图像间处理有关的语法元素的值。在<0.概述>中描述了该限制的具体示例。
<无损编码单元>
图26是示出图25的与语法元素设置有关的无损编码单元106的示例性主要配置的框图。如图25所示，无损编码单元106包括语法元素设置单元131和编码单元132。
语法元素设置单元131进行与语法元素设置有关的处理。例如，语法元素设置单元131设置各种NAL单元(nal_unit)例如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)和切片头部的语法元素。语法元素设置单元131根据需要获取来自图像编码装置100的处理单元例如帧内预测单元113和帧间预测单元114的必要信息，并且基于所获取的信息设置语法元素的值。
另外，语法元素设置单元131接收来自简档设置单元121的指定简档。语法元素设置单元131根据由简档设置单元121指定的简档来设置语法元素。
例如，当由简档设置单元121设置静态图片简档时，语法元素设置单元131限制与图像间处理有关的语法元素的值。在<0.概述>中描述了该限制的具体示例。
语法元素设置单元131将设置的语法元素提供至编码单元132。
例如，编码单元132获取来自量化单元105的图像数据的量化系数，根据算术编码等对所获取的量化系数进行编码，并且获得编码数据。编码单元132将所获得的编码数据提供至累积缓存器107。
另外，编码单元132还对不同于图像数据的信息进行编码，并且将经编码的信息提供至累积缓存器107。例如，编码单元132对由语法元素设置单元131设置的语法元素进行编码，并且将经编码的语法元素提供至累积缓存器107。
如上所述，当设置静态图片简档时，无损编码单元106限制与图像间处理有关的语法元素的值，并且生成编码数据。因此，图像编码装置100可以抑制冗余信息的传送并且抑制编码效率的降低。
此外，图像编码装置100可以通过减少编码数据的冗余信息来抑制解码处理中的不必要的负荷的增加。
另外，图像编码装置100可以切换简档并且通过单个电路对静态图像和动态图像二者容易地进行编码。
<编码处理的流程>
接着，将参照图27和图28的流程图描述由图25所示的由图像编码装置100进行的编码处理的示例性流程。
当编码处理开始时，在图27的步骤S101中，简档设置单元121根据要被编码的图像数据例如根据外部指令比如用户指令来设置简档。
在步骤S102中，无损编码单元106确定在步骤S101中设置的简档是否为静态图像简档(适用于对静态图像的图像数据进行编码的简档)。当确定设置的简档为动态图像简档(适用于对动态图像的图像数据进行编码的简档)时，处理进行至步骤S103。
当对动态图像的图像数据进行编码时，在步骤S103中，A/D转换器101对输入的动态图像的帧(图片)的图像进行A/D转换。
在步骤S104中，画面重新布置缓存器102存储在步骤S103中进行了A/D转换的图像，并且按照编码顺序对按照显示顺序布置的相应的图片进行重新布置。
在步骤S105中，帧内预测单元113进行帧内预测模式的帧内预测处理。
在步骤S106中，帧间预测单元114进行其中进行帧间预测模式的运动预测和运动补偿的帧间预测处理。
在步骤S107中，预测图像选择单元115基于代价函数值等选择预测图像。换言之，预测图像选择单元115选择步骤S105中由帧内预测生成的预测图像和步骤S106中由帧间预测生成的预测图像中之一。
在步骤S108中，操作单元103计算在其中由步骤S104的处理重新布置帧顺序的输入图像与由步骤S107的处理选择的预测图像之间的差异。换言之，操作单元103生成输入图像与预测图像之间的差分图像的图像数据。所获得的差分图像的图像数据在数据量上小于原始图像数据。因此，可以将数据量压缩成比在不进行改变的情况下对图像进行编码时更小。
在步骤S109中，正交变换单元104对由步骤S108的处理生成的差分图像的图像数据进行正交变换。
在步骤S110中，量化单元105使用由速率控制单元116计算的量化参数对由步骤S109的处理获得的正交变换系数进行量化。
在步骤S111中，逆量化单元108根据与量化单元105的特性对应的特性对由步骤S110的处理生成的经量化的系数(也称为“量化系数”)进行逆量化。
在步骤S112中，逆正交变换单元109对由步骤S111的处理获得的正交变换系数进行逆正交变换。
在步骤S113中，操作单元110通过将由步骤S107的处理选择的预测图像与由步骤S112的处理恢复的差分图像进行相加来生成重构图像的图像数据。
在步骤S114中，环路滤波器111对由步骤S113的处理生成的重构图像的图像数据进行环路滤波处理。因此，例如，移除重构图像的块失真。
在步骤S115中，帧存储器112存储由步骤S114的处理获得的解码图像。
在步骤S116中，无损编码单元106对由步骤S110的处理获得的经量化的系数进行编码。换言之，对与差分图像对应的数据进行无损编码例如可变长度编码或算术编码。
此时，无损编码单元106对与由步骤S107的处理选择的预测图像的预测模式有关的信息进行编码，并且将经编码的信息与通过对差分图像进行编码获得的编码数据相加。换言之，无损编码单元106还对从帧内预测单元113提供的最佳帧内预测模式信息、根据从帧间预测单元114提供的最佳帧间预测模式的信息等进行编码，并且将经编码的信息与编码数据进行相加。
另外，无损编码单元106还对各种NAL单元等的语法元素进行设置和编码，并且将经编码的语法元素与编码数据进行相加。
在步骤S117中，累积缓存器107对由步骤S115的处理获得的编码数据进行累积。累积在累积缓存器107中的编码数据被适当地读取，并且被经由传送路径或记录介质传送至解码侧。
在步骤S118中，速率控制单元116基于通过步骤S117的处理累积在累积缓存器107中的编码数据的编码量(生成的编码量)来控制量化单元105的量化操作的速率，以使得既不发生溢位也不发生下溢。另外，速率控制单元116将与量化参数有关的信息提供至量化单元105。当步骤S118的处理结束时，编码处理结束。
另外，当在步骤S102中确定步骤S101中设置的简档为静态图像简档(适用于对静态图像的图像数据进行编码的简档)时，处理进行至图28的步骤S121。
在这种情况下，在步骤S121至步骤S134中对输入的静态图像的图像数据进行与图27的相应的步骤中对动态图像进行的处理相似的处理。
此处，当对静态图像的图像数据进行编码时，由于图像数据没有时间的概念(存在单个图片)，所以省略步骤S106的帧间预测处理。因此，也省略步骤S107中的选择预测图像的处理。
换言之，图28的步骤S121至步骤S123的处理与图27的步骤S103至步骤S105的处理对应。另外，图28的步骤S124至步骤S134的处理与图27的步骤S108至步骤S118的处理对应。
此处，在图28的步骤S132的处理中，限制与图像间处理有关的语法元素的值。随后将描述该处理的细节。当图28的步骤S134的处理结束时，编码处理结束。
<无损编码处理的流程>
接着，将参照图29的流程图描述在图28的步骤S132中进行的无损编码处理的示例性流程。
当在对静态图像的编码中开始无损编码处理时，在步骤S151中，语法元素设置单元131基于针对静态图像的限制设置语法元素。例如，如以上在<0.概述>中所述，为了减少冗余信息的传送，当应用静态图片简档时，语法元素设置单元131限制与图像间处理有关的语法元素的值。
在步骤S152中，编码单元132对在步骤S151中设置的语法元素进行编码。
在步骤S153中，编码单元132对由量化单元105量化的正交变换系数进行编码。当步骤S153的处理结束时，无损编码处理结束，并且处理返回至图28。
<语法元素设置处理的流程>
接着，将参照图30的流程图描述在图29的步骤S151中进行的语法元素设置处理的示例性流程。
当语法元素设置处理开始时，在步骤S171中，语法元素设置单元131将视频参数集(VPS)的与子层有关的参数vps_max_sub_layers_minus1以及序列参数集(SPS)的与子层有关的参数sps_max_sub_layers_minus1设置为0。
在步骤S172中，语法元素设置单元131将简档层次级别(profile_tier_level())的语法元素general_profile_idc设置成指示静态图片简档的值。
在步骤S173中，语法元素设置单元131设置简档层次级别(profile_tier_level())的其他语法元素。
在步骤S174中，语法元素设置单元131将视频参数集(VPS)中的与虚拟参考解码器有关的语法元素vps_num_hrd_parameters的值设置为0。
在步骤S175中，语法元素设置单元131将序列参数集(SPS)中的与P切片和B切片有关的语法元素restricted_ref_pic_lists_flag的值设置为0。
在步骤S176中，语法元素设置单元131将序列参数集(SPS)中的与短期有关的语法元素num_short_term_ref_pic_sets的值设置为0。
在步骤S177中，语法元素设置单元131将序列参数集(SPS)中的与长期有关的语法元素long_term_ref_pics_present_flag的值设置为0。
在步骤S178中，语法元素设置单元131将序列参数集(SPS)中的与运动矢量有关的语法元素sps_temporal_mvp_enable_flag的值设置为0。
在步骤S179中，语法元素设置单元131将图片参数集(PPS)中的与L0有关的语法元素num_ref_idx_l0_default_active minus1的值以及与L1有关的语法元素num_ref_idx_l1_default_active minus1的值设置为0或1。
在步骤S180中，语法元素设置单元131将图片参数集(PPS)的指示在当前切片头部中是否存在语法元素ref_pic_list_modification的语法元素lists_modification_present_flag的值设置为0。
在步骤S181中，语法元素设置单元131将图片参数集(PPS)的指定预测处理中的合并模式和跳跃模式的并行处理水平的语法元素log2_parallel_merge_level_minus2的值设置为0。
在步骤S182中，语法元素设置单元131将与缩放列表(scaling_list_data())的预测模式有关的语法元素scaling_list_pred_mode_flag的值设置为0，并且将与缩放列表(scaling_list_data())的预测矩阵有关的语法元素scaling_list_pred_matrix_id_delta的值设置为0或1。
在步骤S183中，语法元素设置单元131将与切片头部(slice_header())中的切片类型有关的语法元素slice_type的值设置为指示I切片的值。
在步骤S184中，语法元素设置单元131将针对VCL的NAL单元类型(nal_unit_type)设置为IDR_W_LP或IDR_N_LP。
在步骤S185中，语法元素设置单元131设置其他语法元素。例如，在步骤S185中，语法元素设置单元131可以将图片参数集(PPS)中的与P切片的加权预测有关的语法元素(标记)weighted_pred_flag的值或者与B切片的加权预测有关的语法元素(标记)weighted_bipred_flag的值设置为0。当步骤S185的处理结束时，处理返回至图29。
当然，上述各个步骤的处理顺序是任意的，并且各个步骤的处理顺序可以变化，并且可以并行进行多个步骤的处理。特别地，如以上在<0-1>至<0-3>中所述，步骤S171至步骤S173的处理顺序是任意的。
另外，由于对语法元素的值的限制彼此独立，所以不需要限制语法元素组的所有的值，并且可以仅限制一些语法元素的值。换言之，在图30的语法元素设置处理中的上述步骤中，可以仅进行一些步骤的处理。
另外，由于其值被限制的语法元素不限于上述示例，所以可以在图30的语法元素设置处理中添加对上述未提及的语法元素的值进行限制的处理。
通过进行如上所述的各个处理，图像编码装置100可以抑制冗余信息的传送并且提高当基于用于对静态图像进行编码的简档进行编码时要输出的图像压缩信息的编码效率。
<2.第二实施方式>
<图像编码装置>
另外，期望根据输入的图像选择简档。鉴于此，可以确定输入图像是动态图像还是静态图像，并且可以根据确定结果设置合适的简档。
图31是示出在这种情况下的作为应用本技术的图像处理装置的示例的图像编码装置的示例配置的框图。例如，图31所示的图像编码装置200使用HEVC的预测处理或者基于HEVC的方案的预测处理对动态图像或静态图像的图像数据进行编码。
图像编码装置200与图像编码装置100具有基本相同的配置并且进行相同的处理。除图像编码装置100的配置之外，图像编码装置200包括确定单元211。
确定单元211获取来自画面重新布置缓存器102的图像信息、分析该图像信息以及确定编码目标的图像数据是动态图像还是静态图像。确定单元211将确定结果提供至简档设置单元121。
简档设置单元121根据从确定单元211提供的确定结果设置合适的简档。换言之，例如，当确定单元211确定编码目标的图像数据为动态图像时，简档设置单元121设置动态图像简档。另外，例如，当确定单元211确定编码目标的图像数据为静态图像时，简档设置单元121设置静态图像简档(例如，静态图片简档)。
当设置简档时，简档设置单元121将信息提供至无损编码单元106。无损编码单元106根据由简档设置单元121设置的简档来进行编码。
因此，图像编码装置200可以在没有来自外部例如用户的指定的情况下根据输入的图像数据来设置简档。换言之，图像编码装置200可以抑制冗余信息的传送并且在没有来自外部例如用户的指定的情况下提高要输出的图像压缩信息的编码效率。
此外，图像编码装置200可以通过减少编码数据的冗余信息来抑制解码处理中不必要的负荷的增加。
另外，图像编码装置200可以通过单个电路对静态图像和动态图像二者进行编码。
<编码处理的流程>
接着，将参照图32和图33的流程图来描述在这种情况下由图像编码装置200进行的编码处理的示例性流程。
当编码处理开始时，在图32的步骤S201中，确定单元211确定输入图像是否为静态图像。
在步骤S202中，简档设置单元121根据在步骤S201中获得的确定结果来设置简档。
此后，在图32的步骤S203至步骤S219中进行与在图27的步骤S102至步骤S118中相同的处理。
在图32的步骤S203中，当确定已经设置静态图像简档时，处理进行至图33的步骤S221。在图33的步骤S221至步骤S234中进行与在图28的步骤S121至步骤S134中相同的处理。
通过进行如上所述的各个处理，图像编码装置200可以在来自外部例如用户的指示的情况下根据输入图像数据设置简档、抑制冗余信息的传送并且提高对要输出的图像压缩信息的编码效率。
<3.第三实施方式>
<图像解码装置>
接着，以下将描述对如上所述已经被编码的编码数据进行解码。图34是示出作为应用本技术的图像处理装置的示例的与图25的图像编码装置100或图31的图像编码装置200对应的图像解码装置的示例性主要配置的框图。
图34所示的图像解码装置300根据与图像编码装置的编码方法对应的解码方法对由图像编码装置100或图像编码装置200生成的编码数据进行解码。
如图34所示，图像解码装置300包括累积缓存器301、无损解码单元302、逆量化单元303、逆正交变换单元304、操作单元305、环路滤波器306、画面重新布置缓存器307和D/A转换器308。图像解码装置300还包括帧存储器309、帧内预测单元310、帧间预测单元311和预测图像选择单元312。
累积缓存器301还用作接收所传送的编码数据的接收单元。累积缓存器301接收并且累积所传送的编码数据，并且以预定定时将编码数据提供至无损解码单元302。编码数据包括对例如预测模式信息进行解码所需要的信息。无损解码单元302根据与图像编码装置的编码方案对应的解码方案对从累积缓存器301提供的由无损编码单元106编码的信息进行解码。无损解码单元302将通过解码获得的差分图像的量化系数数据提供至逆量化单元303。
另外，无损解码单元302确定选择为最佳预测模式的模式是帧内预测模式还是帧间预测模式，并且将与最佳预测模式有关的信息提供至确定要选择的模式即帧内预测单元310或帧间预测单元311。换言之，例如，当将帧内预测模式选择为图像编码装置中的最佳预测模式时，与最佳预测模式有关的信息被提供至帧内预测模式310。另外，例如，当将帧间预测模式选择为图像编码装置中的最佳预测模式时，与最佳预测模式有关的信息被提供至帧间预测单元311。
另外，例如，无损解码单元302将逆量化所需要的信息例如量化矩阵和量化参数提供至逆量化单元303。
逆量化单元303根据与量化单元105的量化方案对应的方案对由无损解码单元302进行的解码获得的量化系数数据进行逆量化。逆量化单元303为与逆量化单元108相似的处理单元。换言之，对逆量化单元303的描述也可以应用于逆量化单元108。此处，需要根据装置来改变和读取例如数据的输入目的地和输出目的地。
逆量化单元303将获得的系数数据提供至逆正交变换单元304。
逆正交变换单元304根据与正交变换单元104的正交变换方案对应的方案对从逆量化单元303提供的正交变换系数进行逆正交变换。逆正交变换单元304是与逆正交变换单元109相似的处理单元。换言之，对逆正交变换单元304的描述也可以应用于逆正交变换单元109。此处，需要根据装置改变和读取例如数据的输入目的地和输出目的地。
由逆正交变换处理恢复差分图像的图像数据。所恢复的差分图像的图像数据与在图像编码装置中进行正交变换之前的差分图像的图像数据对应。在下文中，由逆正交变换单元304的逆正交变换处理获得的恢复的差分图像的图像数据也称为“解码残留数据”。逆正交变换单元304将解码残留数据提供至操作单元305。另外，操作单元305被经由预测图像选择单元312提供有来自帧内预测单元310或帧间预测单元311的预测图像的图像数据。
操作单元305获得重构图像的图像数据，重构图像通过使用解码残留数据和预测图像的图像数据将差分图像和预测图像进行相加而获得。重构图像与在预测图像被操作单元103相减之前的输入图像对应。操作单元305将重构图像提供至环路滤波器306和帧内预测单元310。
环路滤波器306对所提供的重构图像适当地进行环路滤波处理例如解块滤波处理或自适应环路滤波处理，并且生成解码图像。例如，环路滤波器306对重构图像进行解块滤波处理，并且移除块失真。另外，例如，环路滤波器306通过使用维纳滤波器对解块滤波处理结果(已经移除了块失真的重构图像)进行环路滤波处理。
由环路滤波器306进行的滤波处理的类型是任意的，并且可以进行任何其他滤波处理。另外，环路滤波器306可以使用从图像编码装置提供的滤波系数进行滤波处理。
环路滤波器306将用作滤波处理结果的解码图像提供至画面重新布置缓存器307和帧存储器309。
画面重新布置缓存器307对解码图像进行帧顺序重新布置。换言之，画面重新布置缓存器307按原始显示顺序对由画面重新布置缓存器307按编码顺序布置的各个帧的图像进行重新布置。换言之，画面重新布置缓存器307按编码顺序对按编码顺序提供的相应的帧的解码图像的图像数据进行存储，按显示顺序对按编码顺序存储的相应的帧的解码图像的图像数据进行读取，并且将读取的图像数据提供至D/A转换器308。D/A转换器308对从画面重新布置缓存器307提供的相应的帧的解码图像(数字数据)进行D/A转换，并且输出经转换的图像以作为模拟数据显示在显示器(未示出)上。
帧存储器309存储提供的解码图像，并且以预定定时或者基于来自外部例如帧间预测单元311的请求将所存储的解码图像作为参考图像提供至帧间预测单元311。
帧内预测单元310被适当地提供有例如指示通过对来自无损解码单元302的头部信息进行解码所获得的帧内预测模式的信息。帧内预测单元310在帧内预测单元113使用的帧内预测模式(最佳帧内预测模式)下进行帧内预测，并且生成预测图像。此时，帧内预测单元310使用从操作单元305提供的重构图像的图像数据进行帧内预测。换言之，帧内预测单元310将重构图像用作参考图像(相邻像素)。帧内预测单元310将所生成的预测图像提供至预测图像选择单元312。
帧间预测单元311获取通过对来自无损解码单元302的头部信息进行解码获得的信息(最佳预测模式信息、参考图像信息等)。
帧间预测单元311在由从无损解码单元302获取的最佳预测模式信息指示的帧间预测模式(最佳帧间预测模式)下使用从帧存储器309获取的参考图像进行帧间预测。
预测图像选择单元312将从帧内预测单元310接收的预测图像或者从帧间预测单元311接收的预测图像提供至操作单元305。然后，操作单元305将预测图像与从逆正交变换单元304提供的解码残留数据(差分图像信息)进行相加，并且获取重构图像。
图像解码装置300还包括简档确定单元321。
简档确定单元321获取与来自无损解码单元302的包括在从编码侧(例如，图像编码装置100或图像编码装置200)传送的编码数据(比特流)中的编码数据的简档有关的信息，并且基于所获取的信息确定在编码侧(例如，图像编码装置100或图像编码装置200)设置的简档。
例如，简档确定单元321确定是否已经设置静态图像简档(例如，静态图片简档)。
简档确定单元321将确定结果提供至无损解码单元302。无损解码单元302根据从简档确定单元321提供的简档确定结果对编码数据进行解码。例如，当简档确定单元321确定已经设置静态图像简档(例如，静态图片简档)时，无损解码单元302对与在其中值被限制的状态中的图像间处理有关的语法元素进行分析。以上在<0.概述>中描述了限制语法元素的值的方法的具体示例。
<无损解码单元>
图35是示出图34的与语法元素分析有关的无损解码单元302的示例性主要配置的框图。如图35所示，无损解码单元302包括解码单元331和语法元素分析单元332。
解码单元331对从累积缓存器301提供的编码数据进行解码。解码单元331将例如与通过对编码数据进行解码获得的简档有关的信息提供至简档确定单元321。
简档确定单元321如上所述确定设置的简档，并且将指定简档的信息提供至语法元素分析单元332。
另外，例如，解码单元331将通过对编码数据进行解码获得的经量化的正交变换系数提供至逆量化单元303。此外，例如，解码单元331将通过对编码数据进行解码获得的语法元素提供至语法元素分析单元332。
语法元素分析单元332对从解码单元331提供的各种语法进行分析，并且根据分析结果控制图像解码装置300的相应的处理单元例如帧内预测单元310和帧间处理单元331的操作。
语法元素分析单元332根据从简档确定单元321提供的确定结果分析语法元素。例如，当确定已经设置了静态图像简档(例如，静态图片简档)时，语法元素分析单元332对与在值被限制的状态中的图像间处理有关的语法元素进行分析。以上在<0.概述>中描述了限制语法元素的值的方法的具体示例。
因此，语法元素分析单元332可以根据设置的简档省略对不必要的语法元素的分析(可以跳过该语法元素)。换言之，即使当解码目标的编码数据中包括不必要的信息时，图像解码装置300也可以根据设置的简档跳过不必要的信息，并且抑制解码处理中的不必要的负荷增加。
另外，图像解码装置300可以通过单个电路对静态图像的编码数据和动态图像的编码数据二者进行解码。
<解码处理的流程>
接着，将参照图36和图37的流程图描述由图像解码装置300进行的解码处理的示例性流程。
当解码处理开始时，在步骤S301中，无损解码单元302对简档进行解码。
在步骤S302中，简档确定单元321基于在步骤S301中解码的简档确定编码数据中设置的简档是否为静态图像简档。当确定已经设置了动态图像简档时，处理进行至步骤S303，并且如下那样进行对动态图像的编码数据的解码的各种处理(步骤S303至步骤S313的处理)。
在步骤S303中，无损解码单元302的语法元素分析单元332对从编码数据获得的语法元素进行分析并且设置用于解码的各种参数。
在步骤S304中，累积缓存器301累积所传送的比特流(编码数据)。在步骤S305中，无损解码单元302对从累积缓存器301提供的比特流(编码数据)进行解码。换言之，例如，对由无损编码单元106编码的I图片、P图片和B图片的图像数据进行解码。此时，也对包括在比特流中的不同于图像数据的各种信息例如头部信息进行解码。
在步骤S306中，逆量化单元303对由步骤S305的处理获得的量化系数进行逆量化。
在步骤S307中，逆正交变换单元304对在步骤S306中逆量化的系数进行逆正交变换。
在步骤S308中，帧内预测单元310或帧间预测单元311进行预测处理，并且生成预测图像。换言之，在无损解码单元302中在确定在进行编码时应用了的预测模式下进行预测处理。更具体地，例如，当在编码时应用帧内预测时，帧内预测单元310在当编码时识别为最佳的帧内预测模式下生成预测图像。另外，例如，当在编码时应用帧间预测时，帧间预测单元311在当编码时识别为最佳的帧间预测模式下生成预测图像。
在步骤S309中，操作单元305将在步骤S308中生成的预测图像与在步骤S307中由逆正交变换获得的差分图像进行相加。因此，获得重构图像的图像数据。
在步骤S310中，环路滤波器306对由步骤S309的处理获得的重构图像的图像数据适当地进行环路滤波处理例如解块滤波处理或自适应环路滤波处理。
在步骤S311中，画面重新布置缓存器307对在步骤S310中进行了滤波处理的重构图像的帧进行重新布置。换言之，按照原始显示顺序重新布置在编码时重新布置的帧的顺序。
在步骤S312中，D/A转换器308对其中在步骤S311中已经重新布置帧的顺序的图像进行D/A转换。将图像输出至显示器(未示出)，以使得对图像进行显示。
在步骤S313中，帧存储器309存储已经进行了步骤S310中的滤波处理的图像。
当步骤S313的处理结束时，解码处理结束。
另外，当确定已经在步骤S302中设置了静态图像简档(适用于对静态图像的图像数据进行编码的简档)时，处理进行至图37的步骤S321。
在这种情况下，在步骤S321至步骤S331中，对输入的静态图像的图像数据进行与在图36的相应的步骤中对输入的动态图像进行的处理相同的处理。
换言之，图37的步骤S321至步骤S331的处理与图36的步骤S303至步骤S313的处理对应。
此处，当对静态图像的图像数据进行编码时，由于图像数据没有时间的概念(存在单个图片)，在步骤S326中，通过帧内预测生成预测图像。
另外，在步骤S321的处理中，在其中与图像间处理有关的语法元素的值被限制的状态下对语法元素进行分析。随后将描述该处理的细节。
当步骤S331的处理结束时，解码处理结束。
<语法元素分析处理的流程>
接着，将参照图38的流程图描述在图37的步骤S321中进行的语法元素分析处理的示例性流程。
当语法元素分析处理开始时，在步骤S351中，语法元素分析单元332确定视频参数集(VPS)的与子层有关的参数vps_max_sub_layers_minus1以及序列参数集(SPS)的与子层有关的参数sps_max_sub_layers_minus1为0。
在步骤S352中，语法元素分析单元332确定简档层次级别(profile_tier_level())的语法元素general_profile_idc为指示静态图片简档的值。
在步骤S353中，语法元素分析单元332确定简档层次级别(profile_tier_level())的其他语法元素。
在步骤S354中，语法元素分析单元332确定视频参数集(VPS)中的与虚拟参考解码器有关的语法元素vps_num_hrd_parameters的值为0。
在步骤S355中，语法元素分析单元332确定序列参数集(SPS)中的与P切片和B切片有关的语法元素restricted_ref_pic_lists_flag的值为0。
在步骤S356中，语法元素分析单元332确定序列参数集(SPS)中的与短期有关的语法元素num_short_term_ref_pic_sets的值为0。
在步骤S357中，语法元素分析单元332确定序列参数集(SPS)中的与长期有关的语法元素long_term_ref_pics_present_flag的值为0。
在步骤S358中，语法元素分析单元332确定序列参数集(SPS)中的与运动矢量有关的语法元素sps_temporal_mvp_enable_flag的值为0。
在步骤S359中，语法元素分析单元332确定图片参数集(PPS)中的与L0有关的语法元素num_ref_idx_l0_default_active minus1的值以及与L1有关的语法元素num_ref_idx_l1_default_active minus1的值二者为0或1。
在步骤S360中，语法元素分析单元332确定图片参数集(PPS)的指示在当前切片头部中是否存在语法元素ref_pic_list_modification的语法元素lists_modification_present_flag的值为0。
在步骤S361中，语法元素分析单元332确定图片参数集(PPS)的指示预测处理中的合并模式和跳跃模式的并行处理水平的语法元素log2_parallel_merge_level_minus2的值为0。
在步骤S362中，语法元素分析单元332确定与缩放列表(scaling_list_data())的预测模式有关的语法元素scaling_list_pred_mode_flag的值为0，并且确定与缩放列表(scaling_list_data())的预测矩阵有关的语法元素scaling_list_pred_matrix_id_delta的值为0或1。
在步骤S363中，语法元素分析单元332确定与切片头部(slice_header())中的切片类型有关的语法元素slice_type的值为指示I切片的值。
在步骤S364中，语法元素分析单元332确定针对VCL的NAL单元类型(nal_unit_type)为IDR_W_LP或IDR_N_LP。
在步骤S365中，语法元素分析单元332确定其他语法元素。例如，在步骤S365中，语法元素分析单元332可以确定图片参数集(PPS)中的与P切片的加权预测有关的语法元素(标记)weighted_pred_flag的值或者与B切片的加权预测有关的语法元素(标记)weighted_bipred_flag的值为0。当步骤S365的处理结束时，处理返回至图37。
当然，上述各个步骤的处理顺序是任意的，并且可以改变各个步骤的处理顺序，并且可以并行进行多个步骤的处理。特别地，如以上在<0-1>至<0-3>中所述，步骤S351至步骤S353的处理顺序是任意的。
另外，由于对语法元素的值的限制彼此独立，所以不需要在语法元素组的所有值被限制的状态下进行分析，并且可以在仅限制一些语法元素的值的状态下进行分析。换言之，在图38的语法元素分析处理中的上述步骤中，可以仅进行一些步骤的处理。
另外，由于其值被限制的语法元素不限于上述示例，所以在图38的语法元素分析处理中可以添加在以上未提及的语法元素的值被限制的状态下进行分析的处理。
通过进行如上所述的相应的处理，当对基于用于对静态图像进行编码的简档进行编码的编码数据进行解码时，图像解码装置300可以抑制不必要的负荷增加。
<4.第四实施方式>
<图像解码装置>
另外，图像解码装置可以检查是否针对在编码数据中设置的简档适当地设置了语法的值。
图39是示出在这种情况下作为应用本技术的图像处理装置的示例的图像解码装置的示例性配置的框图。图39所示的图像解码装置400是与图像编码装置100或图像编码装置200对应的图像解码装置，与图像解码装置300相似，并且使用HEVC的预测处理或者基于HEVC的方案的预测处理对其中动态图像的图像数据和静态图像的图像数据被编码的编码数据进行解码。
图像解码装置400与图像解码装置300具有基本相同的配置，并且进行相同的处理。除图像解码装置300的配置之外，图像解码装置400包括异常处理单元411。
无损解码单元302检查是否针对由简档确定单元321确定的简档适当地设置了语法元素。当通过检查检测到异常时，即，当语法元素的设置不合适时，例如，当设置不必要的语法元素时，异常的通知被给到异常处理单元411。
当从无损解码单元302通知发生异常时，异常处理单元411进行预定异常处理。例如，异常处理单元411使得在监视器上显示警报图像，并且使得从扬声器等输出警报声音。异常处理的内容是任意的。例如，为了安全起见，异常处理单元411可以控制图像解码装置400的相应的部件，以使得解码处理停止或强制关闭。
<无损解码单元>
图40是示出图39的与语法元素分析有关的无损解码单元302的示例性主要配置的框图。如图40所示，在这种情况下，除图35的配置之外，无损解码单元302包括语法元素检查单元421。
简档确定单元321如上所述基于从解码单元331提供的信息确定设置的简档，并且将指定简档的信息提供至语法元素检查单元421。
另外，解码单元331将通过对编码数据进行解码获得的语法元素提供至语法元素检查单元421。
语法元素检查单元421根据从简档确定单元321提供的确定结果检查从解码单元331提供的各种语法元素的值。当语法元素正常时，语法元素检查单元421将所检查的语法元素提供至语法元素分析单元332。
另外，当由语法元素检查检测到异常时，例如，当设置错误的语法元素时或者当语法元素被设置错误的值时，语法元素检查单元421将检测到异常通知给异常处理单元411。
异常处理单元411根据如上所述的通知进行异常处理。
因此，图像解码装置400可以检测语法元素的设置是否合适并且更安全地进行解码处理。另外，图像解码装置400可以将检测结果用于对编码数据进行检查和分析。换言之，可以将图像解码装置400用作编码数据分析器来根据需要促进例如重建编码数据。
另外，图像解码装置400可以通过单个电路对静态图像的编码数据和动态图像的编码数据二者进行解码。
<编码处理的流程>
接着，将参照图41和图42的流程图描述在这种情况下由图像解码装置400进行的解码处理的示例性流程。
当解码处理开始时，图像解码装置400在图41的步骤S401至步骤S413中进行与在图36的步骤S301至步骤S313中的处理相同的处理。当步骤S413的处理结束时，解码处理结束。
另外，当在步骤S402中确定已经设置了静态图像简档时，处理进行至图42的步骤S421。
在图42的步骤S421中，无损解码单元302的语法元素检查单元421基于由静态图像简档做出的限制来检查语法元素。
在步骤S422中，语法元素检查单元421基于步骤S421的检查结果确定在语法元素中是否存在违规。当确定不存在违规时，处理进行至步骤S423。
在图42的步骤S423至步骤S433中，进行与在图37的步骤S321至步骤S331中的处理相同的处理。当步骤S433的处理结束时，解码处理结束。
另外，当在图42的步骤S422中确定存在违规时，处理进行至步骤S434。
在步骤S434中，异常处理单元411进行异常处理。当步骤S434的处理结束时，解码处理结束。
<语法元素分析处理的流程>
接着，将参照图43的流程图描述在图42的步骤S421中进行的语法元素检查处理的示例性流程。
当语法元素检查处理开始时，在步骤S451中，语法元素检查单元421确定视频参数集(VPS)的与子层有关的参数vps_max_sub_layers_minus1和序列参数集(SPS)的与子层有关的参数sps_max_sub_layers_minus1是否为0。当确定结果为真时，即，当确定视频参数集(VPS)的与子层有关的参数vps_max_sub_layers_minus1和序列参数集(SPS)的与子层有关的参数sps_max_sub_layers_minus1为0时，处理进行至步骤S452。
在步骤S452中，语法元素检查单元421确定简档层次级别(profile_tier_level())的语法元素general_profile_idc是否具有指示静态图片简档的值。当确定结果为真时，即，当确定简档层次级别(profile_tier_level())的语法元素general_profile_idc具有指示静态图片简档的值时，处理进行至步骤S453。
在步骤S453中，语法元素检查单元421确定视频参数集(VPS)中的与虚拟参考解码器有关的语法元素vps_num_hrd_parameters的值是否为0。当确定结果为真时，即，当确定视频参数集(VPS)中的与虚拟参考解码器有关的语法元素vps_num_hrd_parameters的值为0时，处理进行至步骤S454。
在步骤S454中，语法元素检查单元421确定序列参数集(SPS)中的与P切片和B切片有关的语法元素restricted_ref_pic_lists_flag的值是否为0。当确定结果为真时，即，当确定序列参数集(SPS)中的与P切片和B切片有关的语法元素restricted_ref_pic_lists_flag的值为0时，处理进行至步骤S455。
在步骤S455中，语法元素检查单元421确定序列参数集(SPS)中的与短期有关的语法元素num_short_term_ref_pic_sets的值是否为0。当确定结果为真时，即，当确定序列参数集(SPS)中的与短期有关的语法元素num_short_term_ref_pic_sets的值为0时，处理进行至步骤S456。
在步骤S456中，语法元素检查单元421确定序列参数集(SPS)中的与长期有关的语法元素long_term_ref_pics_present_flag的值是否为0。当确定结果为真时，即，当确定序列参数集(SPS)中的与长期有关的语法元素long_term_ref_pics_present_flag的值为0时，处理进行至步骤S457。
在步骤S457中，语法元素检查单元421确定序列参数集(SPS)中的与运动矢量有关的语法元素sps_temporal_mvp_enable_flag的值是否为0。当确定结果为真时，即，当确定序列参数集(SPS)中的与运动矢量有关的语法元素sps_temporal_mvp_enable_flag的值为0时，处理进行至步骤S458。
在步骤S458中，语法元素检查单元421确定图片参数集(PPS)中的与L0有关的语法元素num_ref_idx_l0_default_active minus1的值以及与L1有关的语法元素num_ref_idx_l1_default_active minus1的值二者是否为0或1。当确定结果为真时，即，当确定图片参数集(PPS)中的与L0有关的语法元素num_ref_idx_l0_default_active minus1的值以及与L1有关的语法元素num_ref_idx_l1_default_active minus1的值二者为0或1时，处理进行至步骤S459。
在步骤S459中，语法元素检查单元421确定图片参数集(PPS)中的指示在当前切片头部中是否存在语法元素ref_pic_list_modification的语法元素lists_modification_present_flag的值是否为0。当确定结果为真时，即，当确定图片参数集(PPS)中的指示在当前切片头部中是否存在语法元素ref_pic_list_modification的语法元素lists_modification_present_flag的值为0时，处理进行至步骤S460。
在步骤S460中，语法元素检查单元421确定图片参数集(PPS)中的指定预测处理中的合并模式和跳跃模式的并行处理水平的语法元素log2_parallel_merge_level_minus2的值是否为0。当确定结果为真时，即，当确定图片参数集(PPS)中的指定预测处理中的合并模式和跳跃模式的并行处理水平的语法元素log2_parallel_merge_level_minus2的值为0时，处理进行至步骤S461。
在步骤S461中，语法元素检查单元421确定与缩放列表(scaling_list_data())的预测模式有关的语法元素scaling_list_pred_mode_flag的值是否为0，并且确定与缩放列表(scaling_list_data())的预测矩阵有关的语法元素scaling_list_pred_matrix_id_delta的值是否为0或1。当确定结果为真时，即，当确定与缩放列表(scaling_list_data())的预测模式有关的语法元素scaling_list_pred_mode_flag的值为0并且确定与缩放列表(scaling_list_data())的预测矩阵有关的语法元素scaling_list_pred_matrix_id_delta的值为0或1时，处理进行至步骤S462。
在步骤S462中，语法元素检查单元421确定与切片头部(slice_header())的切片类型有关的语法元素slice_type的值是否为指示I切片的值。当确定结果为真时，即，当确定与切片头部(slice_header())的切片类型有关的语法元素slice_type的值为指示I切片的值时，处理进行至步骤S463。
在步骤S463中，语法元素检查单元421确定针对VCL的NAL单元类型(nal_unit_type)是否为IDR_W_LP或IDR_N_LP。当确定结果为真时，即，当确定针对VCL的NAL单元类型(nal_unit_type)为IDR_W_LP或IDR_N_LP时，处理进行至步骤S464。
在步骤S464中，语法元素检查单元421确定语法元素正常。当步骤S464的处理结束时，语法元素检查处理结束，并且处理返回至图42。
另外，当在图43的步骤S451至步骤S463中的任何步骤中确定出确定结果为假时，处理进行至步骤S465。
在步骤S465中，语法元素检查单元421确定语法元素异常。当步骤S465的处理结束时，语法元素检查处理结束，并且处理返回至图42。
当然，上述各个步骤的处理顺序是任意的，并且可以改变各个步骤的处理顺序，并且可以并行进行多个步骤的处理。
另外，由于相应的检查的条件(对语法元素的值的限制)彼此独立，所以不需要对上述语法元素组的所有语法元素进行检查，并且可以仅检查一些语法元素。换言之，在图43的语法元素检查处理的上述步骤中，可以仅进行一些步骤的处理。
此外，可以添加对不包括在上述示例中的语法元素的检查。
通过进行如上所述的各个处理，图像解码装置400可以检测语法元素的设置是否合适，并且更安全地进行解码处理。
如上所述，本技术可以应用于对图像进行编码和解码的所有的图像编码装置和图像解码装置。
例如，本技术可以应用于在下述时所使用的图像编码装置和图像解码装置：当经由网络介质例如卫星传播、有线电视、因特网或移动电话接收由正交变换例如离散余弦变换和如在MPEG和H.26x中的运动补偿来压缩的图像信息(比特流)时。另外，本技术可以应用于当在存储介质例如光盘、磁盘或闪存上进行处理时所使用的图像编码装置和图像解码装置。另外，本技术甚至可以应用于包括在图像编码装置、图像解码装置等中的帧内预测装置。
<5.第五实施方式>
<应用于多视图图像编码和多视图图像解码>
上述一系列处理可以应用于多视图图像编码和多视图图像解码。图44示出了示例性多视图图像编码方案。
如图44所示，多视图图像包括多个视图的图像。多视图图像的多个视图包括其中在不使用其他视图的图像的情况下使用其自身视图的图像进行编码和解码的基本视图以及其中使用其他视图的图像进行编码和解码的非基本视图。作为非基本视图，可以使用基本视图的图像，并且可以使用其他非基本视图的图像。
当对图44的多视图图像进行编码或解码时，对每个视图的图像进行编码或解码，但是可以将根据第一实施方式至第四实施方式的方法应用于对每个视图的编码或解码。因此，可以抑制每个视图的编码效率的降低。
另外，可以在对每个视图进行编码和解码时共享在根据第一实施方式至第四实施方式的方法中所使用的标记或参数。因此，可以抑制冗余信息的传送并且减小要传送的信息的量(编码量)(即，可以抑制编码效率的降低)。
更具体地，例如，在对每个视图进行编码和解码时可以共享序列参数集、简档层次级别、图片参数集和切片头部的语法元素。
当然，在对每个视图进行编码和解码时也可以共享任何其他必要的信息。
<多视图图像编码装置>
图45是示出进行多视图图像编码的多视图图像编码装置的图。如图45所示，多视图图像编码装置600包括编码单元601、编码单元602和复用器603。
编码单元601对基本视图图像进行编码，并且生成经编码的基本视图图像流。编码单元602对非基本视图图像进行编码，并且生成经编码的非基本视图图像流。复用器603将在编码单元601中生成的经编码的基本视图图像流与在编码单元602中生成的经编码的非基本视图图像流进行复用，并且生成经编码的多视图图像流。
图像编码装置100(图25)或图像编码装置200(图31)可以应用于多视图图像编码装置600的编码单元601和编码单元602。换言之，当在对每个视图进行编码时基于用于对静态图像进行编码的简档进行编码处理时，可以限制与图像间处理有关的语法元素的值，并且可以抑制每个视图的编码效率的降低。另外，编码单元601和编码单元602可以使用相同的标记或相同的参数(例如，与图像间处理有关的语法元素等)进行编码(也就是说，可以共享标记或参数)，并且因此可以抑制编码效率的降低。
<多视图图像解码装置>
图46是示出对多视图图像进行解码的多视图图像解码装置的图。如图46所示，多视图图像解码装置610包括解复用器611、解码单元612和解码单元613。
解复用器611对通过将经编码的基本视图图像流和经编码的非基本视图图像流进行复用获得的经编码的多视图图像流进行解复用，并且提取经编码的基本视图图像流和经编码的非基本视图图像流。解码单元612对由解复用器611提取的经编码的基本视图图像流进行解码，并且获得基本视图图像。解码单元613对由解复用器611提取的经编码的非基本视图图像流进行解码，并且获得非基本视图图像。
图像解码装置300(图34)或图像解码装置400(图39)可以应用于多视图图像解码装置610的解码单元612和解码单元613。换言之，当基于在对每个视图进行编码时用于对静态图像进行编码的简档进行编码处理时，可以在值被限制的状态下对所接收的与图像间处理有关的语法元素进行分析。另外，解码单元612和解码单元613可以使用相同的标记或相同的参数(例如，与图像间处理有关的语法元素等)进行解码(即，可以共享标记或参数)，并且因此可以抑制编码效率的降低。
<6.第六实施方式>
<应用于可缩放图像编码和可缩放图像解码>
上述一系列处理可以应用于可缩放图像编码和可缩放图像解码(可缩放编码和可缩放解码)。图47示出了示例性可缩放图像编码方案。
在可缩放图像编码(可缩放编码)中，图像被划分(分层)成多个层，以使得预定参数具有缩放功能，并且针对每个层对图像数据进行编码。可缩放图像解码(可缩放解码)为与可缩放图像编码对应的解码。
如图47所示，在图像的分层中，一个图像被基于具有缩放功能的预定参数划分成多个图像(层)。换言之，分层图像(可缩放图像)包括预定参数的值彼此不同的多个层的图像。可缩放图像的多个层包括其中在不使用其他层的图像的情况下仅使用其自身层的图像进行编码和解码的基本层以及其中使用其他层的图像进行编码和解码的非基本层(也称为“增强层”)。作为非基本层，可以使用基本层的图像，并且可以使用任何其他非基本层的图像。
通常，非基本层被配置有其自身图像与其他层的图像之间的差分图像的数据(差分数据)，以使得减少冗余。例如，当一个图像被分层为两个层即基本层和非基本层(也称为“增强层”)时，当仅使用基本层的数据时获得比原始图像质量更低的图像，并且当对基本层的数据和非基本层的数据进行组合时获得原始图像(即，高质量图像)。
由于图像被如上所述那样分层，所以可以根据情况获得各种质量的图像。例如，对于具有低处理能力的终端例如移动电话，仅传送基本层的图像压缩信息，并且对低空间分辨率和时间分辨率或者低质量的动态图像进行再现，对具有高处理能力的终端例如电视或个人计算机，传送增强层以及基本层的图像压缩信息，并且对高空间分辨率和高时间分辨率或者高质量的动态图像进行再现。换言之，在不进行代码转换处理的情况下，可以从服务器传送根据终端或网络的能力的图像压缩信息。
当如在图47的示例中那样对可缩放图像进行编码或解码时，对每个层的图像进行编码或解码，但是根据第一实施方式至第四实施方式的方法可以应用于对每个层进行编码或解码。因此，可以抑制每个层的编码效率的降低。
另外，在对每个层进行编码和解码时，可以共享在根据第一实施方式至第四实施方式的方法中所使用的标记或参数。因此，可以抑制冗余信息的传送并且减少要传送的信息的量(编码量)(即，可以抑制编码效率的降低)。
更具体地，例如，可以在对每个层进行编码和解码时共享序列参数集、简档层次级别、图像参数集和切片头部的语法元素。
当然，在对每个层进行编码和解码时也可以共享任何其他必要的信息。
<可缩放参数>
在可缩放图像编码和可缩放图像解码(可缩放编码和可缩放解码)中，具有缩放功能的参数是任意的。例如，图48所示的空间分辨率可以用作参数(空间缩放)。在空间缩放的情况下，各个层具有不同的分辨率。换言之，如图48所示，每个图片被分层为两层，即空间分辨率低于原始图像的基本层以及与基本层的图像进行组合以获得原始图像(原始空间分辨率)的增强层。当然，层的数目为示例，并且每个图片可以被分层为任意数目的层。
作为具有这样的缩放性的其他参数，例如，存在如图49所示的时间分辨率(时间缩放)。在时间缩放的情况下，各个层具有不同的帧速率。换言之，在这种情况下，每个图片被分层为具有不同的帧速率的层，可以通过将高帧速率的层与低帧速率的层进行组合来获得高帧速率的动态图像，并且可以通过组合如图49所示的所有层来获得原始动态图像(原始帧速率)。层的数目为示例，并且每个图片可以被分层为任意数目的层。
另外，作为具有这样的缩放性的其他参数，例如，存在信噪比(SNR)(SNR缩放)。在SNR缩放的情况下，各个层具有不同的SN比。换言之，在这种情况下，如图50所示，每个图片被分层为两个层，即SNR低于原始图像的基本层以及与基本层的图像进行组合以获得原始图像(原始SNR)的增强层。换言之，对于基本层图像压缩信息而言，传送与低PSNR的图像有关的信息，并且可以通过将该信息与增强层图像压缩信息进行组合来重构高PSNR图像。当然，层的数目为示例，并且每个图片可以被分层为任意数目的层。
不同于上述示例的参数可以用作具有缩放性的参数。例如，存在比特深度缩放，其中，基本层包括8比特图像，并且可以通过将增强层与基本层进行相加来获得10比特图像。
另外，存在色度缩放，其中，基本层包括4:2:0格式的组成图像，并且可以通过将增强层与基本层进行相加来获得4:2:2格式的组成图像。
<可缩放图像编码装置>
图51是示出进行可缩放图像编码的可缩放图像编码装置的图。如图51所示，可缩放图像编码装置620包括编码单元621、编码单元622和复用器623。
编码单元621对基本层图像进行编码，并且生成经编码的基本层图像流。编码单元622对非基本层图像进行编码，并且生成经编码的非基本层图像流。复用器623对在编码单元621中生成的经编码的基本层图像流与在编码单元622中生成的经编码的非基本层图像流进行复用，并且生成经编码的可缩放图像流。
图像编码装置100(图25)或图像编码装置200(图31)可以应用于可缩放图像编码装置620的编码单元621和编码单元622。换言之，当在对每个层进行编码时基于用于对静态图像进行编码的简档进行编码处理时，可以限制与图像间处理有关的语法元素的值，并且可以抑制每个层的编码效率的降低。另外，例如，编码单元621和编码单元622可以使用相同的标记或相同的参数(例如，与图像间处理有关的语法元素等)控制帧内预测的滤波处理(即，可以共享标记或参数)，并且因此可以抑制编码效率的降低。
<可缩放图像解码装置>
图52是示出进行可缩放图像解码的可缩放图像解码装置的图。如图52所示，可缩放图像解码装置630包括解复用器631、解码单元632和解码单元633。
解复用器631对通过将经编码的基本层图像流和经编码的非基本层图像流进行复用而获得的经编码的可缩放图像流进行解复用，并且提取经编码的基本层图像流和经编码的非基本层图像流。解码单元632对由解复用器631提取的经编码的基本层图像流进行解码，并且获得基本层图像。解码单元633对由解复用器631提取的经编码的非基本层图像流进行解码，并且获得非基本层图像。
图像解码装置300(图34)或图像解码装置400(图39)可以应用于可缩放图像解码装置630的解码单元632和解码单元633。换言之，当在对每个层进行解码时基于用于对静态图像进行编码的简档进行解码处理时，可以在值被限制的状态下对所接收的与图像间处理有关的语法元素进行分析，并且可以抑制每个层的编码效率的降低。另外，解码单元612和解码单元613可以使用相同的标记或者相同的参数(例如，与图像间处理有关的语法元素等)进行解码(即，可以共享标记或参数)，并且因此可以抑制编码效率的降低。
例如，本技术可以应用于在下述时所使用的图像编码装置和图像解码装置：当经由网络介质例如卫星广播、有线电视、因特网或移动电话接收由正交变换例如离散余弦变换和如在MPEG和H.26x中的运动补偿来压缩的图像信息(比特流)时。另外，本技术可以应用于当在存储介质例如光盘、磁盘或闪存上进行处理时所使用的图像编码装置和图像解码装置。此外，本技术甚至可以应用于包括在图像编码装置、图像解码装置中的量化装置或逆量化装置等。
<7.第七实施方式>
<计算机>
可以由硬件或软件执行上述一系列处理。当由软件执行一系列处理时，构成软件的程序安装在计算机中。此处，计算机的示例包括结合至专用硬件中的计算机以及包括安装在其中的各种程序并且能够执行各种功能的通用个人计算机。
图53是示出通过程序执行上述一系列处理的计算机的示例性硬件配置的框图。
在图53所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804彼此连接。
输入/输出(I/O)接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。
例如，输入单元811包括键盘、鼠标、麦克风、触摸面板、输入终端等。例如，输出单元812包括显示器、扬声器、输出终端等。例如，存储单元813包括硬盘、RAM盘、非易失性存储器等。例如，通信单元814包括网络接口。驱动器815驱动可移除介质821例如磁盘、光盘、磁光盘或半导体存储器。
在具有以上配置的计算机中，CPU 801例如通过将存储在存储单元813中的程序通过输入/输出接口810和总线804加载至RAM 803上并且执行该程序来执行上述一系列处理。RAM 803也适当地存储例如当CPU 801执行各种处理时所需要的数据。
例如，由计算机(CPU 801)执行的程序可以被记录在可移除介质821例如封装介质等中并且被应用。另外，可以通过有线传送介质或无线传送介质例如局域网(LAN)、因特网或数字卫星传播来提供程序。
在计算机中，可移除介质821安装至驱动器815，并且然后可以通过输入/输出接口810将程序安装在存储单元813中。另外，可以由通信单元814经由有线传送介质或无线传送介质接收程序并且然后将程序安装在存储单元813中。此外，可以将程序预先安装在ROM 802或存储单元813中。
另外，程序可以是其中按照本说明书中所描述的顺序按时间顺序进行处理的程序或者可以为其中并行或在需要时例如调用时进行处理的程序。
另外，在本说明书中，描述记录在记录介质中的程序的步骤不仅包括根据所述顺序按时间顺序进行的处理，而且还包括不需要按时间顺序处理而是并行或独立进行的处理。
此外，在本说明书中，系统意味着两个或更多个配置元件(装置、块(部件)等)的组，而与所有的配置元件是否被布置在单个壳体中无关。因此，容纳在单独的壳体中并且经由网络连接的多个装置以及其中多个模块容纳在单个壳体中的单个装置二者均为系统。
另外，被描述为一个装置(或处理单元)的配置可以被划分成多个装置(或处理单元)。反之，被描述为多个装置(或处理单元)的配置可以被集成至一个装置(或处理单元)中。另外，不同于上述配置的配置可以添加至每个装置(或每个处理单元)的配置。此外，当整个系统中的配置或操作基本相同时，特定装置(或处理单元)的配置的一部分可以包括在其他装置(或其他处理单元)的配置中。
以上参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于以上示例。本公开内容的领域的技术人员可以发现在所附权利要求范围内的各种修改和变型，并且应当理解，这些修改和变型自然地落入本公开内容的技术范围中。
例如，本技术可以具有云计算的配置，在云计算的配置中，多个装置经由网络共享和处理一个功能。
另外，以上流程图中所述的步骤可以由单个装置执行或者可以由多个装置共享和执行。
另外，当单个步骤中包括多个处理时，包括在单个步骤中的多个处理可以由单个装置执行或者可以由多个装置共享和执行。
根据以上实施方式的图像编码装置和图像解码装置可以应用于卫星广播、有线广播例如有线电视、在因特网上传递或者由蜂窝通信传递至终端的传送器或接收器、将图像记录在介质例如光盘、磁盘或闪存中的记录装置或者各种电子装置例如对来自存储介质的图像进行再现的再现装置。以下将描述四个应用示例。
<8.应用示例>
<第一应用示例：电视接收器>
图54示出了应用以上实施方式的电视装置的示例性示意配置。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从通过天线901接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。另外，调谐器902将通过解调获得的编码比特流输出至解复用器903。换言之，调谐器902接收包括编码图像的经编码的流，并且用作电视装置900的传送单元。
解复用器903对来自编码比特流的观看目标的节目的视频流和音频流进行解复用，并且将每个解复用的流输出至解码器904。另外，解复用器903从编码比特流中提取辅助数据例如电子节目指南(EPG)，并且将所提取的数据提供至控制单元910。另外，当编码比特流被扰码时，解复用器903可以进行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。另外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905对从解码器904输入的视频数据进行再现，并且使得视频显示在显示单元906上。另外，视频信号处理单元905可以使得经由网络提供的应用画面显示在显示单元906上。视频信号处理单元905可以根据设置对视频数据进行另外的处理例如减噪处理。视频信号处理单元905可以生成图形用户接口(GUI)例如菜单、按钮或光标的图像并且使得所生成的图像叠加在输出图像上。
显示单元906被从视频信号处理单元905提供的驱动信号驱动，并且将视频或图像显示在显示装置(例如，液晶显示器(LCD)、等离子显示器或者有机电致发光显示器(OLED)(有机EL显示器))的视频板上。
音频信号处理单元907对从解码器904输入的音频数据进行再现处理例如D/A转换和放大，并且通过扬声器908输出声音。音频信号处理单元907可以对音频数据进行另外的处理例如减噪处理。
外部接口909为用于将电视装置900与外部装置或网络连接的接口。例如，可以由解码器904对通过外部接口909接收的视频流或音频流进行解码。换言之，外部接口909还用作电视装置900的接收包括编码图像的经编码的流的传送单元。
控制单元910包括处理器例如CPU和存储器例如RAM或ROM。例如，存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。例如，当电视装置900被激活时，由CPU读取和执行存储在存储器中的程序。CPU执行程序并且例如根据从用户接口911输入的操作信号控制电视装置900的操作。
用户接口911与控制单元910连接。例如，用户接口911包括在用户操作电视装置900时所使用的按钮和开关以及接收远程控制信号的接收单元。用户接口911通过部件检测用户的操作、生成操作信号并且将生成的操作信号输出至控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910彼此连接。
在具有以上配置的电视装置900中，解码器904具有根据以上实施方式的图像解码装置300(图34)或图像解码装置400(图39)的功能。因此，当在电视装置900中对图像进行解码时，可以抑制编码效率的降低。
<第二应用示例：移动电话>
图55示出了应用以上实施方式的移动电话的示例性示意配置。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。
移动电话920进行操作例如在各种操作模式例如语音呼叫模式、数据通信模式、拍摄模式和视频通话模式中的对音频信号的传送和接收、对电子邮件或图像数据的传送和接收、图像成像以及数据记录。
在语音呼叫模式中，由麦克风925生成的模拟音频信号被提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对经转换的音频数据进行A/D转换和压缩。然后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制，并且生成传送信号。然后，通信单元922通过天线921将生成的传送信号传送至基站(未示出)。另外，通信单元922将通过天线921接收的无线信号进行放大、进行频率变换并且获取接收信号。然后，通信单元922对接收信号进行解调和解码、生成音频数据并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行解压缩、进行D/A转换并且生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924，以使得声音被输出。
另外，在数据通信模式中，例如，控制单元931根据用户通过操作单元932执行的操作来生成构成电子邮件的文本数据。控制单元931使得文本显示在显示单元930上。控制单元931根据用户通过操作单元932给出的传送指令生成电子邮件数据，并且将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制，并且生成传送信号。然后，通信单元922通过天线921将生成的传送信号传送至基站(未示出)。另外，通信单元922对通过天线921接收的无线信号进行放大、进行频率变换并且获取接收信号。然后，通信单元922对接收信号进行解调和解码、恢复电子邮件数据并且将恢复的电子邮件数据输出至控制单元931。控制单元931使得电子邮件的内容显示在显示单元930上，并且将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括任意的可读/可写存储介质。例如，存储介质可以为内置存储介质例如RAM或闪存或者可移除存储介质例如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储卡。
在拍摄模式中，例如，摄像装置单元926对对象进行成像、生成图像数据并且将生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码并且将经编码的流存储在记录/再现单元929的存储介质中。
在视频通话模式中，例如，复用/分离单元928对由图像处理单元927进行编码的视频流和从音频编解码器923输入的音频流进行复用，并且将经复用的流输出至通信单元922。通信单元922对流进行编码和调制，并且生成传送信号。然后，通信单元922通过天线921将生成的传送信号传送至基站(未示出)。另外，通信单元922对通过天线921接收的无线信号进行放大、进行频率变换并且获取接收信号。传送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码，恢复流，并且将所恢复的流输出至复用/分离单元928。复用/分离单元928对来自输入流的视频流和音频流进行分离，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码，并且生成视频数据。视频数据被提供至显示单元930，并且由显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩、进行D/A转换并且生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924，使得声音被输出。
在具有以上配置的移动电话920中，图像处理单元927具有根据以上实施方式的图像编码装置100(图25)、图像编码装置200(图31)、图像解码装置300(图34)或图像解码装置400(图39)的功能。因此，当移动电话920对图像进行编码和解码时，可以抑制编码效率的降低。
<第三应用示例：记录/再现装置>
图56示出了应用以上实施方式的记录/再现装置的示例性示意配置。例如，记录/再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并且将编码数据记录在记录介质中。例如，记录/再现装置940可以对从其他装置获取的音频数据和视频数据进行编码并且将编码数据记录在记录介质中。例如，记录/再现装置940根据用户指令通过监视器和扬声器对存储在记录介质中的数据进行再现。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、在屏显示器(OSD)948、控制单元949和用户接口950。
调谐器941从通过天线(未示出)接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调获得的编码比特流输出至选择器946。换言之，调谐器941用作记录/再现装置940中的传送单元。
外部接口942为用于将记录/再现装置940与外部装置或网络进行连接的接口。例如，外部接口942可以为IEEE1394接口、网络接口、USB接口或闪存接口。例如，经由外部接口942接收的视频数据和音频数据被输入至编码器943。换言之，外部接口942用作记录/再现装置940中的传送单元。
当从外部接口942输入的视频数据和音频数据没有被编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出至选择器946。
HDD 944其中内容数据例如视频或声音被压缩的编码比特流、各种程序以及其他数据记录在内部硬盘中。当再现视频或声音时，HDD 944读取来自硬盘的数据。
盘驱动器945将数据记录在安装的记录介质中或者从安装的记录介质中读取数据。例如，安装在盘驱动器945中的记录介质可以为DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。
当记录视频或声音时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出至HDD 944或盘驱动器945。另外，当再现视频或声音时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码，并且生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD 948。解码器947将生成的音频数据输出至外部扬声器。
OSD 948对从解码器947输入的视频数据进行再现，并且显示视频。例如，OSD 948可以使得GUI的图像例如菜单、按钮或光标叠加在显示的视频上。
控制单元949包括处理器例如CPU和存储器例如RAM或ROM。存储器存储由CPU执行的程序、程序数据等。例如，当记录/再现装置940被激活时，由CPU读取和执行存储在存储器中的程序。CPU执行程序，并且例如根据从用户接口950输入的操作信号控制记录/再现装置940的操作。
用户接口950与控制单元949连接。例如，用户接口950包括当用户操作记录/再现装置940时所使用的按钮和开关以及接收远程控制信号的接收单元。用户接口950通过部件检测用户的操作、生成操作信号并且将生成的操作信号输出至控制单元949。
在具有以上配置的记录/再现装置940中，编码器943具有根据以上实施方式的图像编码装置100(图25)或图像编码装置200(图31)的功能。解码器947具有根据以上实施方式的图像解码装置300(图34)或图像解码装置400(图39)的功能。因此，当记录/再现装置940对图像进行编码和解码时，可以抑制编码效率的降低。
<第四应用示例：成像装置>
图57示出应用以上实施方式的成像装置的示例性示意配置。成像装置960对对象进行成像、生成图像、对图像数据进行编码并且将图像数据记录在记录介质中。
成像装置960包括光学块960、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970彼此连接。
光学块961包括聚焦透镜、快门机构等。光学块961在成像单元962的成像平面上形成对象的光学图像。成像单元962包括电荷耦合装置(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器等，并且通过光电转换将形成在成像平面上的光学图像转换成用作电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号进行各种摄像装置信号处理例如拐点校正、伽马校正和颜色校正。信号处理单元963将已经进行摄像装置信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且生成编码数据。然后，图像处理单元964将生成的编码数据输出至外部接口966或介质驱动器968。另外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。然后，图像处理单元964将生成的图像数据输出至显示单元965。图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965，使得图像被显示。图像处理单元964可以使得从OSD 969获取的显示数据叠加在输出至显示单元965的图像上。
OSD 969生成GUI的图像例如菜单、按钮或光标，并且将生成的图像输出至图像处理单元964。
例如，外部接口966被配置为USB I/O端子。例如，当对图像进行打印时，外部接口966将成像装置960与打印机连接。另外，驱动器根据需要连接至外部接口966。例如，可移除介质例如磁盘或光盘可以安装在驱动器中，并且从可移除介质读取的程序可以安装在成像装置960中。另外，外部接口966可以被配置为连接至网络例如LAN或因特网的网络接口。换言之，外部接口966用作成像装置960中的传送单元。
安装在介质驱动器968中的记录介质可以为任意的可读/可写可移除介质例如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以固定地安装在介质驱动器968中，并且例如，可以配置非暂态存储单元例如内置硬盘驱动器或固态驱动器(SSD)。
控制单元970包括处理器例如CPU以及存储器例如RAM或ROM。例如，存储器存储由CPU执行的程序、程序数据等。例如，当成像装置960被激活时，由CPU读取和执行存储在存储器中的程序。CPU执行程序，并且例如根据从用户接口971输入的操作信号控制成像装置960的操作。
用户接口971与控制单元970连接。例如，用户接口971包括当用户操作成像装置960时所使用的按钮、开关等。用户接口971通过部件检测用户的操作、生成操作信号并且将生成的操作信号输出至控制单元970。
在具有以上配置的成像装置960中，图像处理单元964具有根据以上实施方式的图像编码装置100(图25)、图像编码装置200(图31)、图像解码装置300(图34)或图像解码装置400(图39)的功能。因此，当成像装置960对图像进行编码和解码时，可以抑制图像质量的下降。
<9.可缩放编码的应用示例>
<第一系统>
接着，将描述由可缩放(图像)编码生成的可缩放的编码数据的实际应用示例。例如，如图58所示，可缩放编码用于选择要传送的数据。
在图58所示的数据传送系统1000中，传递服务器1002读取存储在可缩放编码数据存储单元1001中的可缩放编码数据，并且经由网络1003将可缩放编码数据传递至终端装置例如个人计算机1004、AV装置1005、平板电脑装置1006和移动电话1007。
此时，传递服务器1002根据终端装置的能力、通信环境等选择合适的高质量编码数据，并且传送所选择的高质量编码数据。虽然传递服务器1002不必要地传送高质量数据，但是终端装置不一定获得高质量图像，并且可能发生延迟或溢位。另外，可能不必要地占用通信频带，并且可能不必要地增加终端装置的负荷。另一方面，虽然传递服务器1002不必要地传送低质量数据，但是终端装置不可能获得足够质量的图像。因此，传递服务器1002读取存储在可缩放编码数据存储单元1001中的可缩放编码数据作为适于终端装置的能力或通信环境的质量的编码数据，并且然后传送所读取的数据。
例如，可缩放编码数据存储单元1001假定存储通过可缩放编码进行编码的可缩放编码数据(BL+EL)1011。可缩放编码数据(BL+EL)1011为包括基本层和增强层二者的编码数据，并且可以通过对可缩放编码数据(BL+EL)1011进行解码来获得基本层的图像和增强层的图像二者。
传递服务器1002根据向其传送数据的终端装置的能力、通信环境等来选择合适的层，并且读取所选择的层的数据。例如，针对具有高处理能力的个人计算机1004或平板电脑装置1006，传递服务器1002从可缩放编码数据存储单元1001读取高质量可缩放编码数据(BL+EL)1011，并且在没有改变的情况下传送可缩放编码数据(BL+EL)1011。另一方面，例如，针对具有低处理能力的AV装置1005或移动电话1007，传递服务器1002从可缩放编码数据(BL+EL)1011中提取基本层的数据，并且传送可缩放编码数据(BL)1012，可缩放编码数据(BL)1012为内容与可缩放编码数据(BL+EL)1011相同但是质量低于可缩放编码数据(BL+EL)1011的数据。
如上所述，可以使用可缩放编码数据容易地调整数据的量，从而可以防止发生延迟或溢位并且防止终端装置或通信介质的负荷不必要地增加。另外，可缩放编码数据(BL+EL)1011在层之间的冗余减少，从而可以将数据的量减小至比当将单独的数据用作每个层的编码数据时更小。因此，可以更高效地使用可缩放编码数据存储单元1001的存储器区域。
另外，各种装置例如个人计算机1004至移动电话1007均可用作终端装置，并且因此终端装置的硬件性能根据每个装置而不同。另外，由于各种应用可以由终端装置执行，所以软件具有各种能力。此外，包括有线网络和无线网络中之一或二者的所有的通信线网络例如因特网或LAN可以用作用于通信介质的网络1003，并且因此可以提供各种数据传送能力。此外，可以由其他通信等来进行改变。
鉴于此，传递服务器1002可以被配置成在开始数据传送之前与用作数据的传送目的地的终端装置进行通信，并且获得与终端装置的能力例如终端装置的硬件性能或者由终端装置执行的应用(软件)的性能有关的信息以及与通信环境例如网络1003的可用带宽有关的信息。然后，传递服务器1002可以基于所获得的信息选择合适的层。
另外，可以在终端装置中进行层的提取。例如，个人计算机1004可以对传送的可缩放编码数据(BL+EL)1011进行解码并且显示基本层的图像或者增强层的图像。另外，例如，个人计算机1004可以从传送的可缩放编码数据(BL+EL)1011中提取基本层的可缩放编码数据(BL)1012、存储基本层的可缩放编码数据(BL)1012、将基本层的可缩放编码数据(BL)1012传输至其他装置、对基本层的可缩放编码数据(BL)1012进行解码并且显示基本层的图像。
当然，可缩放编码数据存储单元1001的数目、传递服务器1002的数目、网络1003的数目以及终端装置的数目是任意的。结合其中传递服务器1002将数据传送至终端装置的示例进行了以上描述，但应用示例不限于该示例。数据传送系统1000可以应用于下述任何系统：其中，当由可缩放编码生成的编码数据被传送至终端装置时，根据终端装置的能力或通信环境选择合适的层，并且传送编码数据。
在图58的数据传送系统中，可应用本技术，与应用于以上参照图47至图52所描述的可缩放编码和可缩放解码相似，并且因此可以获得与以上参照图47至图52所描述的效果相同的效果。
<第二系统>
例如，如图59所示，可缩放编码用于使用多个通信介质的传送。
在图59所示的数据传送系统1100中，广播站1101通过地面广播1111传送基本层的可缩放编码数据(BL)1121。另外，广播站1101经由被配置有包括有线网络和无线网络中之一或二者的通信网络的任意网络1112传送增强层的可缩放编码数据(EL)1122(例如，对可缩放编码数据(EL)1122进行打包并且然后传送得到的包)。
终端装置1102具有接收由广播站1101广播的地面广播1111的接收功能，并且接收通过地面广播1111传送的基本层的可缩放编码数据(BL)1121。终端装置1102还具有经由网络1112进行通信的通信功能，并且接收经由网络1112传送的增强层的可缩放编码数据(EL)1122。
终端装置1102例如根据用户指令等对通过地面广播1111获取的基本层的可缩放编码数据(BL)1121进行解码、获得基本层的图像、存储所获得的图像并且将所获得的图像传送至其他装置。
另外，终端装置1102例如根据用户指令等将通过地面广播1111获取的基本层的可缩放编码数据(BL)1121与通过网络1112获取的增强层的可缩放编码数据(EL)1122进行组合、获得可缩放编码数据(BL+EL)、对可缩放编码数据(BL+EL)进行解码以获得增强层的图像、存储所获得的图像并且将所获得的图像传送至其他装置。
如上所述，可以例如通过不同的通信介质传送相应的层的可缩放编码数据。因此，可以分散负载，并且可以防止发生延迟或溢位。
另外，可以能够根据情况来选择用于每个层的传送的通信介质。例如，可以通过具有大带宽的通信介质传送具有相对大的数据量的基本层的可缩放编码数据(BL)1121，并且可以通过具有小带宽的通信介质传送具有相对小的数据量的增强层的可缩放编码数据(EL)1122。另外，例如，可以根据网络1112的可用带宽在网络1112和地面广播1111之间切换用于传送增强层的可缩放编码数据(EL)1122的通信介质。当然，该情况同样应用于任意层的数据。
由于如上所述进行控制，所以可以进一步抑制数据传送中的负荷的增加。
当然，层的数目是任意的，并且用于传送的通信介质的数目也是任意的。另外，用作数据传递目的地的终端装置1102的数目也是任意的。以上结合来自广播站1101的广播的示例描述了以上描述，但是应用示例不限于该示例。数据传送系统1100可以应用于下述任何系统：其中，由可缩放编码生成的编码数据被划分成两个或更多个层单位并且被通过多条线路传送。
在图59的数据传送系统1100中，应用了本技术，与以上参照图47至图52所述的应用于可缩放编码和可缩放解码相似，并且因此可以获得与以上参照图47至图52所描述的效果相同的效果。
<第三系统>
例如，如图60所示，可缩放编码用于存储编码数据。
在图60所示的成像系统1200中，成像装置1201对通过对对象1211成像获得的图像数据进行可缩放编码，并且将可缩放编码数据(BL+EL)1221提供至可缩放编码数据存储装置1202。
可缩放编码数据存储装置1202以根据情况的质量对从成像装置1201提供的可缩放编码数据(BL+EL)1221进行存储。例如，在正常时间期间，可缩放编码数据存储装置1202从可缩放编码数据(BL+EL)1221中提取基本层的数据，并且将所提取的数据以低质量存储作为具有小的数据量的基本层的可缩放编码数据(BL)1222。另一方面，例如，在观察时间期间，可缩放编码数据存储装置1202在没有改变的情况下以高质量存储具有大的数据量的可缩放编码数据(BL+EL)1221。
因此，可缩放编码数据存储装置1202可以仅在需要时以高质量存储图像，并且因此可以抑制数据量的增大，并且在抑制由质量劣化而引起的图像的值的减小的情况下提高存储器区域的使用效率。
例如，假定成像装置1201为监视摄像装置。当在拍摄的图像(在正常时间期间)上没有显示监视目标(例如，侵入者)时，拍摄的图像的内容可能没有意义，因此优先减小数据量，并且以低质量存储图像数据(可缩放编码数据)。另一方面，当在拍摄的图像(在观察时间期间)上显示监视目标例如对象1211时，拍摄的图像的内容可能是有意义的，因此优先图像质量，并且以高质量存储图像数据(可缩放编码数据)。
可以例如通过经由可缩放编码数据存储装置1202对图像进行分析来确定是正常时间还是观察时间。另外，成像装置1201可以进行确定并且将确定结果传送至可缩放编码数据存储装置1202。
另外，对于是正常时间还是观察时间的确定准则是任意的，并且用作确定准则的图像的内容是任意的。当然，不同于图像内容的条件可以为确定准则。例如，可以根据记录的声音的幅度或波形来进行切换，可以以预定时间间隔进行切换，或者可以根据外部指令例如用户指令来进行切换。
结合其中在正常时间和观察时间的两个状态之间进行切换的示例描述了以上描述，但状态的数目是任意的。例如，可以在三个或更多个状态例如正常时间、低水平观察时间、观察时间、高水平观察时间等中进行切换。此处，要切换的状态的上限数目取决于可缩放编码数据的层的数目。
另外，成像装置1201可以根据状态确定用于可缩放编码的层的数目。例如，在正常时间期间，成像装置1201可以以低质量生成具有小的数据量的基本层的可缩放编码数据(BL)1222，并且将基本层的可缩放编码数据(BL)1222提供至可缩放编码数据存储装置1202。另外，例如，在观察时间期间，成像装置1201可以以高质量生成具有大的数据量的基本层的可缩放编码数据(BL+EL)1221，并且将基本层的可缩放编码数据(BL+EL)1221提供至可缩放编码数据存储装置1202。
结合监视摄像装置的示例进行了以上描述，但成像系统1200的目的是任意的并且不限于监视摄像装置。
在图60的成像系统1200中，应用了本技术，与以上参照图47至图52所描述的应用于可缩放编码和可缩放解码相似，并且因此可以获得与以上参照图47至图52所描述的效果相同的效果。
另外，本技术也可以应用于其中从预先准备的具有不同分辨率的多个编码数据中选择合适的编码数据并且使用合适的编码数据的HTTP流送例如MPEG DASH。换言之，多个编码数据可以共享与编码或解码有关的信息。
<10.第八实施方式>
<其他实施方式>
结合根据本技术的装置、系统等的示例描述了以上实施方式，但本技术不限于以上示例并且可以被实现为安装在装置中的任何部件或者构成系统的装置，例如用作系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、其中还将任何其他功能添加至单元的设置(即，装置的一些部件)等。
<视频设置>
将参照图61描述将本技术实现为设置的示例。图61示出应本技术的视频设置的示例性示意配置。
近年来，电子装置的功能已经变得多样化，并且当一些部件在研发或制造中被实现为出售、提供等时，存在具有相关功能的多个部件被组合并实现为具有多个功能的设置的情况以及实现被进行为具有单个功能的部件的情况。
图61所示的视频设置1300为其中具有与图像编码和/或图像解码有关的功能的装置和具有与该功能有关的任何其他功能的装置进行组合的多功能配置。
如图61所示，视频设置1300包括模块组例如视频模块1311、外部存储器1312、功率管理模块1313和前端模块以及具有相关功能的装置例如连接器1321、摄像装置1322和传感器1323。
模块为具有集成有若干相关部件功能的多个功能的部件。实际物理配置是任意的，但是，例如，模块被配置成使得具有相应的功能的多个处理器、电子电路元件例如电阻器和电容器及其他装置被布置并且集成在布线基板上。另外，可以通过将其他模块或处理器与模块组合来获得新的模块。
在图61的示例的情况下，视频模块1311为具有与图像处理有关的功能的部件的组合，并且包括应用处理器1331、视频处理器1332、宽带调制解调器1333和射频(RF)模块1334。
处理器是其中具有预定功能的配置被通过片上系统(SoC)集成至半导体芯片上的一个处理器，并且也称为例如系统LSI等。具有预定功能的配置可以为逻辑电路(硬件配置)，可以为CPU、ROM、RAM和使用CPU、ROM和RAM执行的程序(软件配置)，并且可以为软件配置和硬件配置的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，可以通过逻辑电路(硬件配置)实现一些功能，并且可以通过由CPU执行的程序(软件配置)实现其他功能。
图61的应用处理器1331为执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用可以不仅进行计算处理还根据需要控制视频模块1311的内部和外部的部件例如视频处理器1332，以便实现预定功能。
视频处理器1332为具有与图像编码和/或图像解码有关的功能的处理器。
宽带调制解调器1333对要通过经由宽带线路例如因特网或公共电话线路进行的有线宽带通信和/或无线宽带通信传送的数据(数字信号)进行数字调制并且将数据转换成模拟信号，或者对通过宽带通信接收的模拟信号进行解调并且将模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333处理任意信息例如由视频处理器1332处理的图像数据、包括编码图像数据的流、应用程序或设置数据。
RF模块1334是对通过天线接收的RF信号进行频率变换处理、调制/解调处理、放大处理、滤波处理等的模块。例如，RF模块1334对由宽带调制解调器1333生成的基带信号进行例如频率变换，并且生成RF信号。另外，例如，RF模块1334对通过前端模块1314接收的RF信号进行例如频率变换，并且生成基带信号。
另外，如由图61的虚线1341所指示，应用处理器1331和视频处理器1332可以集成在单个处理器中。
外部存储器1312安装在视频模块1311外部，并且是具有视频模块1311所使用的存储装置的模块。外部存储器1312的存储装置可以由任何物理配置实现，但是通常用于存储大容量数据例如以帧为单位的图像数据，并且因此期望使用相对便宜的大容量半导体存储器例如动态随机存取存储器(DRAM)实现外部存储器1312的存储装置。
功率管理模块1313管理和控制视频模块1311(视频模块1311中的相应的部件)的供电。
前端模块1314为对RF模块1334提供前端功能的模块(天线侧的收发端的电路)的模块。如图61所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。
天线单元1351包括收发无线电信号的天线以及天线的外周配置。天线单元1351传送从放大单元1353提供的作为无线电信号的信号，并且将所接收的无线电信号作为电信号(RF信号)提供至滤波器1352。滤波器1352对通过天线单元1351接收的RF信号进行例如滤波处理，并且将经处理的RF信号提供至RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大，并且将经放大的RF信号提供至天线单元1351。
连接器1321是具有与外部的连接有关的功能的模块。连接器1321的物理配置是任意的。例如，连接器1321包括具有与由宽带调制解调器1333、外部I/O端子等支持的通信标准不同的通信功能的配置。
例如，连接器1321可以包括具有基于无线通信标准例如蓝牙(注册商标)、IEEE 802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)、红外数据关联(IrDA)、收发满足标准的信号的天线等的通信功能的模块。另外，例如，连接器1321可以包括具有基于有线通信标准例如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)的通信功能的模块或者满足标准的端子。此外，例如，连接器1321可以包括任何其他数据(信号)传送功能等例如模拟I/O端子。
另外，连接器1321可以包括数据(信号)的传送目的地的装置。例如，连接器1321可以包括从记录介质例如磁盘、光盘、磁光盘或半导体存储器读取数据或者将数据记录在记录介质中的驱动器(包括硬盘、SSD、网络附接存储(NAS)等以及可移除介质的驱动器)。另外，连接器1321可以包括输出图像或声音的输出装置(监视器、扬声器等)。
摄像装置1322为具有拍摄对象并且获得对象的图像数据的功能的模块。例如，通过摄像装置1322的拍摄获得的图像数据被提供至视频处理器1332并且由视频处理器1332编码。
传感器1323为具有任意传感器功能的模块，例如声音传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、振动传感器或温度传感器。例如，由传感器1323检测的数据被提供至应用处理器1331并且被应用等使用。
以上被描述为模块的配置可以实现为处理器，并且被描述为处理器的配置可以实现为模块。
在具有以上配置的视频设置1300中，本技术可以应用于随后要描述的视频处理器1332。因此，视频设置1300可以实现为应用本技术的设置。
<视频处理器的示例性配置>
图62示出应用本技术的视频处理器1332(图61)的示例性示意配置。
在图62的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且根据预定方案对视频信号和音频信号进行编码的功能，以及对经编码的视频数据和经编码的音频数据进行解码并且对视频信号和音频信号进行再现和输出的功能。
如图62所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。视频处理器1332还包括编码/解码引擎1407、视频基本流(ES)缓存器1408A和视频基本流(ES)缓存器1408B以及音频ES缓存器1409A和1409B。视频处理器1332还包括音频编码器1410、音频解码器1411、复用器(复用器(MUX))1412、解复用器(解复用器(DMUX))1413和流缓存器1414。
例如，视频输入处理单元1401获取从连接器1321(图61)等输入的的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据进行例如格式转换处理和图像放大/缩小处理。第二图像放大/缩小单元1403根据图像数据被通过视频输出处理单元1404输出至的目的地的格式对图像数据进行图像放大/缩小处理，或者对图像数据进行与第一图像放大/缩小单元1402的那些相同的格式转换处理和图像放大/缩小处理。视频输出处理单元1404对图像数据进行格式转换并将图像数据转换成模拟信号，并且将再现的视频信号输出至例如连接器1321(图61)等。
帧存储器1405为由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据存储器。帧存储器1405被实现为例如半导体存储器例如DRAM。
存储器控制单元1406接收来自编码/解码引擎1407的同步信号，并且根据写入在访问管理表1406A中的针对帧存储器1405的访问计划来控制对帧存储器1405的写入/读取访问。访问管理表1406A被根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理通过存储器控制单元1406进行更新。
编码/解码引擎1407进行对图像数据进行编码的编码处理以及对作为通过对图像数据进行编码获得的数据的视频流进行解码的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将编码图像数据作为视频流按顺序写入视频ES缓存器1408A中。另外，例如，编码/解码引擎1407按顺序读取来自视频ES缓存器1408B的视频流，按顺序对视频流进行解码并且将解码图像数据按顺序写入帧存储器1405中。编码/解码引擎1407在编码或解码时将帧存储器1405用作工作区域。另外，编码/解码引擎1407例如在开始每个宏块的处理时将同步信号输出至存储器控制单元1406。
视频ES缓存器1408A对由编码/解码引擎1407生成的视频流进行缓存，并且然后将视频流提供至复用器(MUX)1412。视频ES缓存器1408B对从解复用器(DMUX)1413提供的视频流进行缓存，并且然后将视频流提供至编码/解码引擎1407。
音频ES缓存器1409A对由音频编码器1410生成的音频流进行缓存，并且然后将音频流提供至复用器(MUX)1412。音频ES缓存器1409B对从解复用器(DMUX)1413提供的音频流进行缓存，并且然后将音频流提供至音频解码器1411。
例如，音频编码器1410将从例如连接器1321(图61)等输入的音频信号转换成数字信号，并且根据预定方案例如MPEG音频方案或音频代码数目3(AC3)方案对数字信号进行编码。音频编码器1410将作为通过对音频信号进行编码获得的数据的音频流按顺序写入音频ES缓存器1409A中。音频解码器1411对从音频ES缓存器1409B提供的音频流进行解码、进行例如至模拟信号的转换并且将再现的音频信号提供至例如连接器1321(图61)等。
复用器(MUX)1412对视频流和音频流进行复用。复用方法(即，通过复用生成的比特流的格式)是任意的。另外，在复用时，复用器(MUX)1412可以将预定头部信息等添加至比特流。换言之，复用器(MUX)1412可以通过复用对流格式进行转换。例如，复用器(MUX)1412对要转换成作为传输格式的比特流的传输流的视频流和音频流进行复用。另外，例如，复用器(MUX)1412对要转换成记录文件格式的数据(文件数据)的视频流和音频流进行进行复用。
解复用器(DMUX)1413通过与由复用器(MUX)1412进行的复用对应的方法对通过对视频流和音频流进行复用获得的比特流进行解复用。换言之，解复用器(DMUX)1413提取来自从流缓存器1414读取的比特流的视频流和音频流(将视频流和音频流进行分离)。换言之，解复用器(DMUX)1413可以通过解复用对流的格式进行转换(由复用器(MUX)1412进行的转换的逆转换)。例如，解复用器(DMUX)1413可以通过流缓存器1414获取从例如连接器1321或宽带调制解调器1333(二者均参见图61)提供的传输流，并且通过解复用将传输流转换成视频流和音频流。另外，例如，解复用器(DMUX)1413可以通过流缓存器1414获取例如通过连接器1321(图61)从各种记录介质读取的文件数据，并且通过解复用将文件数据转换成视频流和音频流。
流缓存器1414对比特流进行缓存。例如，流缓存器1414对从复用器(MUX)1412提供的传输流进行缓存，并且以预定定时或基于外部请求等将传输流提供至例如连接器1321或宽带调制解调器1333(均参见图61)。
另外，例如，流缓存器1414对从复用器(MUX)1412提供的文件数据进行缓存，以预定定时或基于外部请求等将文件数据提供至例如连接器1321(图61)等并且使得文件数据记录在各种记录介质中。
另外，流缓存器1414对通过例如连接器1321或宽带调制解调器1333(均参见图61)获取的传输流进行缓存，并且以预定定时或基于外部请求等将传输流提供至解复用器(DMUX)1413。
另外，流缓存器1414将从各种记录介质读取的文件数据缓存在例如连接器1321(图61)等中，并且以预定定时或者基于外部请求等将文件数据提供至解复用器(DMUX)1413。
接着，将描述具有以上配置的视频处理器1332的操作。例如从连接器1321(图61)等输入至视频处理器1332的视频信号被根据视频输入处理单元1401中的预定方案例如4:2:2Y/Cb/Cr方案转换成数字图像数据并且被按顺序写入帧存储器1405中。数字图像数据被读出至第一图像放大/缩小单元1402或第二图像放大/缩小单元1403、经受进行至预定方案例如4:2:2Y/Cb/Cr方案的格式转换的格式转换处理以及放大/减小处理，并且被再次写入帧存储器1405中。图像数据被编码/解码引擎1407编码，并且被作为视频流写入视频ES缓存器1408A中。
另外，从连接器1321(图61)等输入至视频处理器1332的音频信号被音频处理器1410编码，并且被作为音频流写入音频ES缓存器1409A中。
视频ES缓存器1048A的视频流和音频ES缓存器1409A的音频流被读出至复用器(MUX)1412并由复用器(MUX)1412复用，并且被转换成传输流、文件数据等。由复用器(MUX)1412生成的传输流被缓存在流缓存器1414中，并且然后被通过例如连接器1321或宽带调制解调器1333(均参见图61)输出至外部网络。另外，由复用器(MUX)1412生成的文件数据被缓存在流缓存器1414中，然后被输出至例如连接器1321(图61)等并且被记录在各种记录介质中。
另外，通过例如连接器1321或宽带调制解调器1333(二者均参见图61)从外部网络输入至视频处理器1332的传输流被缓存在流缓存器1414中并且然后被解复用器(DMUX)1413解复用。另外，从各种记录介质读入至例如连接器1321(图61)等中并且然后被输入至视频处理器1332的文件数据被缓存在流缓存器1414中并且然后被解复用器(DMUX)1413解复用。换言之，输入至视频处理器1332的传输流或文件数据通过解复用器(DMUX)1413解复用成视频流和音频流。
音频流被通过音频ES缓存器1409B提供至音频解码器1411并且被解码，并且因此音频信号被再现。另外，视频流被写入视频ES缓存器1408B中、按顺序读出至编码/解码引擎1407并被编码/解码引擎1407解码并且被写入帧存储器1405中。解码图像数据进行由第二图像放大/缩小单元1403进行的放大/减小处理，并且被写入帧存储器1405中。然后，解码图像数据被读出至视频输出处理单元1404、经受进行至预定方案例如4:2:2Y/Cb/Cr方案的格式转换的格式转换处理并且被转换成模拟信号，并且因此视频信号被再现。
当将本技术应用于具有以上配置的视频处理器1332时，优选的是，将本技术的以上实施方式应用于编码/解码引擎1407。换言之，例如，编码/解码引擎1407优选地具有根据实施方式的图像编码装置和图像解码装置的功能。因此，视频处理器1332可以获得与以上参照图1至图43描述的效果相同的效果。
另外，在编码/解码引擎1407中，本技术(即，根据以上实施方式的图像编码装置和图像解码装置的功能)可以由硬件例如逻辑电路或软件例如嵌入程序中之一或二者来实现。
<视频处理器的另一示例性配置>
图63示出应用本技术的视频处理器1332(图61)的另一示例性示意配置。在图63的示例的情况下，视频处理器1332具有根据预定方案对图像数据进行编码和解码的功能。
更具体地，如图63所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332还包括编解码引擎1516、存储器接口1517、复用器/解复用器(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的每个处理单元例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。
如图63所示，控制单元1511包括例如主CPU 1531、子CPU 1532和系统控制器1533。主CPU 1531执行例如用于控制视频处理器1332中的每个处理单元的操作的程序。主CPU 1531例如根据程序生成控制信号并且将控制信号提供至每个处理单元(即，控制每个处理单元的操作)。子CPU 1532承担主CPU 1531的辅助作用。例如，子CPU 1532执行由主CPU 1531执行的程序的子处理或子程序。系统控制器1533控制主CPU 1531的操作并且子CPU 1532例如指定由主CPU 1531和子CPU 1532执行的程序。
显示接口1512在控制单元1511的控制下将图像数据输出至例如连接器1321(图61)等。例如，显示接口1512将数字数据的图像数据转换成模拟信号，并且将模拟信号作为再现的视频信号输出至例如连接器1321(图61)的监视器装置，或者将数字数据的图像数据输出至例如连接器1321(图61)的监视器装置。
显示引擎1513在控制单元1511的控制下对图像数据进行各种转换处理例如格式转换处理、尺寸转换处理和色域转换处理，以遵从例如显示图像的监视器装置的硬件规范。
图像处理引擎1514在控制单元1511的控制下对图像数据进行用于提高图像质量的预定图像处理例如滤波处理。
内部存储器1515是安装在视频处理器1332中并且由显示引擎1513、图像处理引擎1514和编解码引擎1516共享的存储器。内部存储器1515用于在例如显示引擎1513、图像处理引擎1514和编解码引擎1516之间进行的数据传输。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据，并且根据需要(例如，根据请求)将数据提供至显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以由任何存储装置实现，但是由于内部存储器1515多用于存储小容量数据例如块单元的图像数据或参数，所以期望使用容量相对小(例如，与外部存储器1312相比)并且响应速度快的半导体存储器例如静态随机存取存储器(SRAM)来实现内部存储器1515。
编解码引擎1516进行与图像数据的编码和解码有关的处理。由编解码引擎1516支持的编码/解码方案是任意的，并且编解码引擎1516可以支持一个或更多个方案。例如，编解码引擎1516可以具有支持多个编码/解码方案的编解码功能并且使用选自所述方案中的方案进行图像数据的编码或编码数据的解码。
在图63所示的示例中，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视图)1545和MPEG-DASH 1551作为与编解码有关的处理的功能块。
MPEG-2视频1541是根据MPEG-2方案对图像数据进行编码或解码的功能块。AVC/H.2641542是根据AVC方案对图像数据进行编码或解码的功能块。HEVC/H.2651543是根据HEVC方案对图像数据进行编码或解码的功能块。HEVC/H.265(可缩放)1544是根据HEVC方案对图像数据进行可缩放编码或可缩放解码的功能块。HEVC/H.265(多视图)1545是根据HEVC方案对图像数据进行多视图编码或多视图解码的功能块。
MPEG-DASH 1551是根据HTTP上的MPEG动态自适应流送(MPEG-Dynamic Adaptive Streaming，MPEG-DASH)传送和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HyperText Transfer Protocol，HTTP)来流送视频的技术，并且具有特征：从以片段为单位在先前准备的分辨率等不同的多条编码数据中选择合适的一个数据并且传送所选择的一个数据。MPEG-DASH 1551进行遵从标准的流的生成、流的传送控制等，并且使用用于对图像数据进行编码和解码的MPEG-2视频1541至HEVC/H.265(多视图)1545。
存储器接口1517为针对外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516提供的数据被通过存储器接口1517提供至外部存储器1312。另外，从外部存储器1312读取的数据被通过存储器接口1517提供至视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用器/解复用器(MUX DMUX)1518对与图像有关的各种数据例如编码数据的比特流、图像数据和视频信号进行复用/解复用。复用/解复用方法是任意的。例如，在复用时，复用器/解复用器(MUX DMUX)1518可以不仅将多条数据组合成一条数据并且还将预定头部信息等添加至数据。另外，在解复用时，复用器/解复用器(MUX DMUX)1518可以不仅将一条数据划分成多条数据而且还将预定头部信息等添加至每个划分出的数据。换言之，复用器/解复用器(MUX DMUX)1518可以通过复用和解复用转换数据格式。例如，复用器/解复用器(MUX DMUX)1518可以对要转换成用作传输格式的比特流或记录文件格式的数据(文件数据)的传输流的比特流进行复用。当然，也可以通过解复用进行逆转换。
网络接口1519是用于例如宽带调制解调器1333或连接器1321(二者均参见图61)的接口。视频接口1520是用于例如连接器1321或摄像装置1322(二者均参见图61)的接口。
接着，将描述视频处理器1332的示例性操作。例如，当通过例如连接器1321或宽带调制解调器1333(二者均参见图61)从外部网络接收传输流时，传输流被通过网络接口1519提供至复用器/解复用器(MUX DMUX)1518、被解复用并且然后被编解码引擎1516解码。通过编解码引擎1516的解码获得的图像数据进行例如由图像处理引擎1514进行的预定图像处理、进行由显示引擎1513进行的预定转换并且被通过显示接口1512提供至例如连接器1321(图61)等，并且因此图像被显示在监视器上。另外，例如，通过编解码引擎1516的解码获得的图像数据再次被编解码引擎1516编码、被复用器/解复用器(MUX DMUX)1518复用以转换成文件数据、通过视频接口1520输出至例如连接器1321(图61)等并且然后被记录在各种记录介质中。
此外，例如，通过对通过连接器1321(图61)等从记录介质(未示出)读取的图像数据进行编码获得的编码数据的文件数据被通过视频接口1520提供至复用器/解复用器(MUX DMUX)1518并被解复用，并且被编解码引擎1516解码。通过编解码引擎1516的解码获得的图像数据进行由图像处理引擎1514进行的预定图像处理、进行由显示引擎1513进行的预定转换、并且通过显示接口1512提供至例如连接器1321(图61)等，并且因此图像被显示在监视器上。另外，例如，通过编解码引擎1516的解码获得的图像数据再次被编解码引擎1516编码、被复用器/解复用器(MUX DMUX)1518复用以转换成传输流、通过网络接口1519提供至例如连接器1321或宽带调制解调器1333(二者均参见图61)并且被传送至其他装置(未示出)。
另外，例如使用内部存储器1515或外部存储器1312进行图像数据或其他数据在视频处理器1332中的处理单元之间的传输。此外，功率管理模块1313控制例如控制单元1511的供电。
当将本技术应用于具有以上配置的视频处理器1332时，期望将本技术的以上实施方式应用于编解码引擎1516。换言之，例如，优选的是，编解码引擎1516具有实现根据实施方式的图像编码装置和图像解码装置的功能块。此外，例如，视频处理器1332可以具有与以上参照图1至图43描述的效果相同的效果。
另外，在编解码引擎1516中，可以由硬件例如逻辑电路或软件例如嵌入程序中之一或二者来实现本技术(即，根据以上实施方式的图像编码装置或图像解码装置的功能)。
以上描述了视频处理器1332的两个示例性配置，但视频处理器1332的配置是任意的并且可以具有与以上两个示例性配置不同的任何配置。另外，视频处理器1332可以被配置有单个半导体芯片或者可以被配置有多个半导体芯片。例如，视频处理器1332可以被配置有其中堆叠有多个半导体的三维堆叠LSI。另外，视频处理器1332可以由多个LSI来实现。
<对装置的应用示例>
视频设置1300可以结合至处理图像数据的各种装置中。例如，视频设置1300可以结合至电视装置900(图54)、移动电话920(图55)、记录/再现装置940(图56)、成像装置960(图57)等中。由于结合了视频设置1300，装置可以具有与以上参照图1至图43描述的效果相同的效果。
另外，视频设置130也可以结合至：终端装置例如图58的数据传送系统1000中的个人计算机1004、AV装置1005、平板电脑装置1006或移动电话1007；图59的数据传送系统1100中的广播站1101或终端装置1102；或者图60的成像系统1200中的成像装置1201或可缩放编码数据存储装置1202。由于结合了视频设置1300，所以装置可以具有与以上参照图1至图43描述的效果相同的效果。
另外，当部件包括视频处理器1332时，甚至视频设置1300的每个部件可以被实现为应用本技术的部件。例如，仅有视频处理器1332可以被实现为应用本技术的视频处理器。另外，例如，上述由虚线1341指示的处理器、视频模块1311等可以被实现为例如应用本技术的处理器或模块。另外，例如，视频模块1311、外部存储器1312、功率管理模块1313和前端模块1314的组合可以被实现为应用本技术的视频单元1361。这些配置可以具有与以上参照图1至图43描述的效果相同的效果。
换言之，与视频设置1300的情况相似，包括视频处理器1332的配置可以结合至处理图像数据的各种装置中。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以结合至电视装置900(图54)、移动电话920(图55)、记录/再现装置940(图56)、成像装置960(图57)、终端装置等中，终端装置比如图58的数据传送系统1000中的个人计算机1004、AV装置1005、平板电脑装置1006或移动电话1007；图59的数据传送系统1100中的广播站1101或终端装置1102；图60的成像系统1200中的成像装置1201或可缩放编码数据存储装置1202。另外，由于应用本技术的配置，与视频设置1300相似，装置可以具有与以上参照图1至图43描述的效果相同的效果。
<11.第九实施方式>
<MPEG-DASH的应用示例>
本技术也可以应用于从以片段为单位预先准备的具有不同分辨率的多条编码数据中选择合适的数据并且使用所选择的数据的系统，例如，随后将要描述的HTTP流送的内容再现系统或者Wi-Fi标准例如MPEG DASH的无线通信系统。
<内容再现系统的概述>
首先，将参照图64至图66示意地描述可应用本技术的内容再现系统。
以下将参照图64和图65描述实施方式中共用的基本配置。
图64是示出内容再现系统的配置的说明图。如图64所示，内容再现系统包括内容服务器1610和内容服务器1611、网络1612以及内容再现装置1620(客户端装置)。
内容服务器1610和内容服务器1611经由网络1612与内容再现装置1620连接。网络1612为从连接至网络1612的装置传送的信息的有线传送路径或无线传送路径。
例如，网络1612可以包括公共线路网络例如因特网、电话线路网络或卫星通信网络、各种LAN例如以太网(注册商标)、广域网(WAN)等。另外，网络1612可以包括专用线路网络例如因特网协议-虚拟个人网络(IP-VPN)。
内容服务器1610对内容数据进行编码，并且生成和存储包括编码数据的元信息和编码数据的数据文件。当内容服务器1610生成MP4格式的数据文件时，编码数据与“mdat.”对应，并且元信息与“moov.”对应。
另外，内容数据可以为：音乐数据例如音乐、演讲或收音节目；视频数据例如电影、电视节目、视频节目；照片、文档、绘画以及图表、游戏、软件等。
此处，内容服务器1610以不同比特率针对相同内容生成多个数据文件。另外，响应于从内容再现装置1620接收的内容再现请求，内容服务器1611包括内容服务器1610的URL信息中的被内容再现装置1620添加至对应的URL的参数的信息，并且将得到的信息传送至内容再现装置1620。以下将参照图65描述详细内容。
图65是示出图64的内容再现系统中的数据流动的说明图。内容服务器1610以不同比特率对相同的内容进行编码，并且生成例如如图65所示的2Mbps的文件A、1.5Mbps的文件B以及1Mbps的文件C。相对而言，文件A为高比特率，文件B为标准比特率，并且文件C为低比特率。
另外，如图65所示，每个文件的编码数据被划分成多个片段。例如，文件A的编码数据被划分成片段例如“A1”、“A2”、“A3”……以及“An”，文件B的编码数据被划分成片段例如“B1”、“B2”、“B3”……以及“Bn”，并且文件C的编码数据被划分成片段例如“C1”、“C2”、“C3”……以及“Cn”。
另外，每个片段可以被配置有配置样本而非一条或更多条经编码的视频数据或经编码的音频数据，配置样本从MP4的下沉(sink)样本(例如，AVC/H.264的视频编码中的IDR-图片)开始并且可被独立再现。例如，当由具有15帧的固定长度的GOP对30帧每秒的视频数据进行编码时，每个片段可以为与4GOP对应的2秒的经编码的视频数据或音频数据或者可以为与20GOP对应的10秒的经编码的视频数据或音频数据。
另外，在每个文件中的布置顺序相同的片段具有相同再现范围(从内容的头的时间位置开始的范围)。例如，片段“A2”、片段“B2”和片段“C2”的再现范围是相同的，并且当每个片段为2秒的编码数据时，片段“A2”、片段“B2”和片段“C2”的再现范围是2秒至4秒的内容。
当生成配置有多个片段的文件A至文件C时，内容服务器1610存储文件A至文件C。另外，如图65所示，内容服务器1610将构成不同文件的片段按顺序传送至内容再现装置1620，并且内容再现装置1620对所接收的片段进行流送再现。
此处，根据本实施方式的内容服务器1610将包括每个编码数据的比特率信息和访问信息的显示列表文件(在下文中，“媒体呈现描述(MPD)”)传送至内容再现装置1620，并且内容再现装置1620基于MPD选择多个比特率中的任何比特率，并且请求内容服务器1610传送与所选择的比特率对应的片段。
图64示出了仅一个内容服务器1610，但本公开内容不限于本示例。
图66是示出MPD的具体示例的说明图。如图66所示，MPD包括与具有不同比特率(带宽)的多条编码数据有关的访问信息。例如，图66所示的MPD指示存在256Kbps的编码数据、1.024Mbps的编码数据、1.384Mbps的编码数据、1.536Mbps的编码数据以及2.048Mbps的编码数据，并且包括与每个编码数据有关的访问信息。内容再现装置1620可以基于MPD动态地改变进行流送再现的编码数据的比特率。
另外，图64示出了作为内容再现装置1620的示例的移动终端，但内容再现装置1620不限于本示例。例如，内容再现装置1620可以为信息处理装置例如个人计算机(PC)、家庭视频处理装置(DVD刻录机、盒式录像机(VCR))、个人数字助理(PDA)、家用游戏机或家用电器)。另外，内容再现装置1620可以为信息处理装置例如移动电话、个人手持电话系统(PHS)、便携式音乐播放器、便携式视频处理装置或便携式游戏机。
<内容服务器1610的配置>
以上参照图64至图66描述了内容再现系统的概述。接着，将参照图67描述内容服务器1610的配置。
图67是示出内容服务器1610的配置的功能框图。如图67所示，内容服务器1610包括文件生成单元1631、存储单元1632和通信单元1633。
文件生成单元1631包括对内容数据进行编码的编码器1641，并且针对相同内容生成具有不同比特率的多条编码数据和MPD。例如，当生成256Kbps的编码数据、1.024Mbps的编码数据、1.384Mbps编码数据、1.536Mbps编码数据以及2.048Mbps编码数据时，文件生成单元1631生成图66所示的MPD。
存储单元1632存储具有不同比特率的多条编码数据和由文件生成单元1631生成的MPD。存储单元1632可以是存储介质例如非易失性存储器、磁盘、光盘或磁光(MO)盘。非易失性存储器的示例包括电可擦除可编程只读存储器(EEPROM)和可擦除可编程ROM(EPROM)。作为磁盘，存在硬盘、盘式磁盘等。另外，作为光盘，存在压缩盘(CD)、数字多功能可刻录盘(DVD-R)、蓝光盘(BD)(注册商标)等。
通信单元1633为与内容再现装置1620的接口，并且经由网络1612与内容再现装置1620通信。更详细地，通信单元1633具有根据HTTP与内容再现装置1620通信的HTTP服务器的功能。例如，通信单元1633将MPD传送至内容再现装置1620，根据来自存储单元1632的HTTP基于来自内容再现装置1620的MPD提取编码数据，并且将编码数据作为HTTP响应传送至内容再现装置1620。
<内容再现装置1620的配置>
以上描述了根据本实施方式的内容服务器1610的配置。接着，将参照图68描述内容再现装置1620的配置。
图68是示出内容再现装置1620的配置的功能框图。如图68所示，内容再现装置1620包括通信单元1651、存储单元1652、再现单元1653、选择单元1654和当前位置获取单元1656。
通信单元1651为与内容服务器1610的接口，请求内容服务器1610传送数据，并且获取来自内容服务器1610的数据。更详细地，通信单元1651具有根据HTTP与内容再现装置1620通信的HTTP客户端的功能。例如，通信单元1651可以使用HTTP范围选择性地获取来自内容服务器1610的MPD以及编码数据的片段。
存储单元1652存储与内容的再现有关的各种多条信息。例如，按顺序缓存由通信单元1651从内容服务器1610获取的片段。缓存在存储单元1652中的编码数据的片段被以先入先出(FIFO)的方式按顺序提供至再现单元1653。
另外，存储单元1652基于下述指令通过通信单元1651将参数添加至URL：将参数添加至随后将描述的在MPD中描述并且从内容服务器1611请求的内容的URL，并且存储单元1652存储用于访问URL的定义。
再现单元1653按顺序再现从存储单元1652提供的片段。具体地，再现单元1653进行片段解码、DA转换、渲染等。
选择单元1654按顺序选择是否在相同的内容中获取与包括在MPD中的比特率中的任何比特率对应的编码数据的片段。例如，如图65所示，当选择单元1654根据网络1612的频带频率按顺序选择片段“A1”、“B2”和“A3”时，通信单元1651按顺序获取来自内容服务器1610的片段“A1”、“B2”和“A3”。
当前位置获取单元1656可以被配置有获取内容再现装置1620的当前位置例如获取全球定位系统(GPS)接收器的当前位置等的模块。另外，当前位置获取单元1656可以使用无线网络获取内容再现装置1620的当前位置。
<内容服务器1611的配置>
图69是用于描述内容服务器1611的示例性配置的图。如图69所示，内容服务器1611包括存储单元1671和通信单元1672。
存储单元1671存储MPD的URL信息。MPD的URL信息被根据从请求内容再现的内容再现装置1620接收的请求从内容服务器1611传送至内容再现装置1620。另外，当MPD的URL信息被提供至内容再现装置1620时，存储单元1671存储当内容再现装置1620将参数添加至MPD中所描述的URL时所使用的定义信息。
通信单元1672是与内容再现装置1620的接口，并且经由网络1612与内容再现装置1620通信。换言之，通信单元1672接收来自请求内容的再现的内容再现装置1620的用于请求MPD的URL信息的请求，并且将MPD的URL信息传送至内容再现装置1620。被从通信单元1672传送的MPD的URL包括参数被通过内容再现装置1620添加至其的信息。
可以基于由内容服务器1611和内容再现装置1620共享的定义信息通过内容再现装置1620对要添加至MPD的URL的参数进行各种设置。例如，可以通过内容再现装置1620将信息例如内容再现装置1620的当前位置、使用内容再现装置1620的用户的用户ID、内容再现装置1620的存储器大小以及内容再现装置1620的存储容量添加至MPD的URL。
在具有以上配置的内容再现系统中，由于应用了以上参照图1至图43所描述的本技术，所以可以获得与以上参照图1至图43描述的效果相同的效果。
换言之，内容服务器1610的编码器1641具有根据以上实施方式的图像编码装置的功能。另外，内容再现装置1620的再现单元1653具有根据以上实施方式的图像解码装置的功能。因此，可以抑制编码和解码所需要的存储容量的增大。
另外，在内容再现系统中，由于传送和接收了根据本技术编码的数据，所以可以抑制编码和解码所需要的存储容量的增大。
<12.第十实施方式>
<Wi-Fi标准的无线通信系统的应用示例>
将描述可应用本技术的无线通信系统中的无线通信装置的基本操作示例。
<无线通信装置的基本操作示例>
首先，传送和接收无线数据包直到建立对等(P2P)连接为止，并且操作具体应用。
然后，在通过第二层建立连接之前，传送和接收无线数据包，直到指定要使用的具体应用为止，然后建立P2P连接，并且操作具体应用。此后，在通过第二层建立连接之后，传送和接收用于激活具体应用的无线数据包。
<当开始操作具体应用时的通信的示例>
图70和图71是示出作为无线数据包的传送和接收直到建立P2P连接为止并且操作具体应用的示例的由用作无线通信基础的装置进行的示例性通信处理的程序图。具体地，示出了在Wi-Fi联盟中标准化的Wi-Fi直连标准(也称为“Wi-Fi P2P”)中的建立连接的示例性直接连接建立处理。
此处，在Wi-Fi直连中，多个无线通信装置检测其他方的无线通信装置的存在(装置发现和服务发现)。另外，当进行连接装置选择时，通过Wi-Fi保护设置(WPS)在所选择的装置之间进行装置认证，并且然后建立直接连接。在Wi-Fi直连中，多个无线通信装置决定用作主装置(组所有者)或辅装置(客户端)，并且形成通信组。
此处，在本示例性通信处理中，未示出一些数据包的传送和接收。例如，在第一连接时，如上所述需要用于使用WPS的包交换，并且在认证请求/响应等的交换中也需要包交换。然而，在图70和图71中，未示出这样的包交换，并且仅示出第二连接及随后的连接。
另外，在图70和图71中，示出第一无线通信装置1701与第二无线通信装置1702之间的示例性通信处理，但这同样应用于其他无线通信装置之间的通信处理。
首先，在第一无线通信装置1701与第二无线通信装置1702之间进行装置发现(1711)。例如，第一无线通信装置1701传送探测请求(响应请求信号)，并且接收来自第二无线通信装置1702的对探测请求的探测响应(响应信号)。因此，第一无线通信装置1701和第二无线通信装置1702可以发现另一方的存在。另外，通过装置发现，可以获取另一方的装置名称或装置类型(TV、PC、智能电话等)。
然后，在第一无线通信装置1701与第二无线通信装置1702之间进行服务发现(1712)。例如，第一无线通信装置1701传送询问通过装置发现而发现的第二无线通信装置1702所支持的服务的服务发现询问。然后，第一无线通信装置1701可以通过接收来自第二无线通信装置1702的服务发现响应来获取由第二无线通信装置1702支持的服务。换言之，通过服务发现，可以获取例如可由另一方执行的服务。例如，可由另一方执行的服务为服务或协议(数字生活网络联盟(DLNA)、数字媒体播放器(DMR)等)。
然后，用户进行选择连接搭档的操作(连接搭档选择操作)(1713)。连接搭档选择操作可以仅在第一无线通信装置1701和第二无线通信装置1702中的一个装置中进行。例如，连接搭档选择画面显示在第一无线通信装置1701的显示单元上，并且根据用户操作在连接搭档选择画面上选择第二无线通信装置1702作为连接搭档。
当用户进行连接搭档选择操作(1713)时，在第一无线通信装置1701与第二无线通信装置1702之间进行组所有者协商(1714)。在图70和图71所示的示例中，作为组所有者协商的结果，第一无线通信装置1701变成组所有者1715，并且第二无线通信装置1702变成客户端1716。
然后，在第一无线通信装置1701与第二无线通信装置1702之间进行处理(1717至1720)，并且因此建立直接连接。换言之，按顺序进行关联(L2(第二层)链接建立)(1717)和安全链接建立(1718)。另外，按顺序进行由简单服务发现协议(SSDP)在L3上的IP地址分配(1719)和L4设置(1720)。另外，L2(层2)指示第二层(数据链接层)，L3(层3)指示第三层(网络层)，并且L4(层4)指示第四层(传输层)。
然后，用户进行具体应用指定操作或者激活操作(应用指定/激活操作)(1721)。应用指定/激活操作可以仅在第一无线通信装置1701和第二无线通信装置1702中的一个装置中进行。例如，应用指定/激活操作画面显示在第一无线通信装置1701的显示单元上，并且根据用户操作在应用指定/激活操作画面上选择具体应用。
当用户进行应用指定/激活操作(1721)时，在第一无线通信装置1701与第二无线通信装置1702(1722)之间执行与应用指定/激活操作对应的具体应用。
此处，认为在Wi-Fi直连标准之前的规范(IEEE802.11中标准化的规范)的范围内的访问点站(AP-STA)之间进行连接。在这种情况下，难以在通过第二层建立连接之前(在IEEE802.11的术语中进行关联之前)预先检测要连接的装置。
另一方面，如图70和图71中所示，在Wi-Fi直连中，当通过装置发现或服务发现(选项)查找连接搭档候选时，可以获取连接搭档的信息。连接搭档的信息的示例包括基础装置的类型以及所支持的具体应用。另外，可以使用户基于所获取的连接搭档的信息来选择连接搭档。
通过对本说明书进行扩展，也可以实现其中在通过第二层建立连接之前指定具体应用、选择连接搭档并且在选择之后自动激活具体应用的无线通信系统。图73示出了在这种情况下建立连接的序列的示例。另外，在图72中示出了在通信处理中收发的帧格式的示例性配置。
<帧格式的示例性配置>
图72是示意性示出在由用作本技术的基础的装置进行的通信处理中收发的帧格式的示例性配置的图。换言之，图72示出用于通过第二层建立连接的MAC帧的示例性配置。具体地，示出了用于实现图73所示的序列的关联请求/响应(1787)的帧格式的示例。
如图72所示，MAC帧包括帧控制(1751)至FCS(1758)，并且将从帧控制(1751)至序列控制(1756)的部分用作MAC头部。另外，当传送关联请求时，在帧控制(1751)中设置B3B2＝“0b00”和B7B6B5B4＝“0b0000”。另外，当封装关联响应时，在帧控制(1751)中设置B3B2＝“0b00”和B7B6B5B4＝“0b0001”。另外，“0b00”在二进制计数中为“00”，“0b0000”在二进制计数中为“0000”，并且“0b0001”在二进制计数中为“0001”。
此处，图70所示的MAC帧(帧主体(1757))基本为在IEEE802.11-2007规范的第7.2.3.4和7.2.3.5部分中所描述的关联请求/响应帧格式。此处，不同在于包括独立扩展的信息元素(在下文中，缩写为“IE”)以及在IEEE802.11规范中定义的IE(1759)。
另外，为了指示供应商特定IE(1760)，作为十进制数的127被设置成IE类型(信息元素ID(1761))。在这种情况下，通过IEEE802.11-2007规范的第7.3.2.26部分，长度字段(1762)和OUI字段(1763)是接连的，并且随后布置供应商特定内容(1764)。
作为供应商特定内容(1764)的内容，首先设置指示供应商特定IE的类型的字段(IE类型(1765))。随后，考虑给出能够存储多个子元素(1766)的配置。
作为子元素(1766)的内容，认为包括要使用的具体应用的名称(1767)以及当操作具体应用时的装置角色(1768)。另外，认为包括具体应用、用于控制具体应用的端口号等的信息(用于L4设置的信息)(1769)以及与具体应用中的能力有关的信息(能力信息)(1770)。此处，例如，当所指定的具体应用为DLNA时，能力信息为用于指定是否支持音频传送/再现、是否支持视频传送/再现等的信息。
在具有以上配置的无线通信系统中，由于应用了以上参照图1至图43所述的本技术，所以可以获得与以上参照图1至图43所描述的效果相同的效果。换言之，可以抑制编码和解码所需要的存储容量的增大。另外，在无线通信系统中，由于进行根据本技术的编码数据的传送和接收，所以可以抑制编码和解码所需要的存储容量的增大。
在本说明书中，结合其中各种多条信息被复用至经编码的流中并且被从编码侧传送至解码侧的示例进行描述。然而，传送信息的技术不限于本示例。例如，在不被复用成编码比特流的情况下，信息可以被传送并记录为与编码比特流关联的单独的数据。此处，术语“关联”意味着在解码时包括在比特流中的图像(或图像的一部分例如切片或块)可以与和图像对应的信息链接。换言之，信息可以通过与图像(或比特流)不同的传送路径传送。另外，信息可以记录在与图像(或比特流)不同的记录介质(或者相同记录介质的不同的记录区域)中。此外，例如，信息和图像(或比特流)可以以任意单位例如以多个帧为单位、以帧为单位或以帧的一部分为单位彼此关联。
以上参照附图描述了本公开内容的优选实施方式，但本公开内容不限于以上示例。本领域的技术人员可以发现所附权利要求范围内的各种修改和变型，并且应当理解，这些修改和变型将自然落入本公开内容的技术范围内。
本技术也可以具有以下配置。
(1)一种图像处理装置，包括：
限制单元，当基于用于对静态图像进行编码的简档进行编码处理时，所述限制单元限制与图像间处理有关的语法元素的值；以及
传送单元，所述传送单元传送具有由所述限制单元限制的值的所述语法元素。
(2)根据(1)和(3)至(7)中任意一项所述的图像处理装置，还包括：
编码单元，所述编码单元使用由所述限制单元限制的所述语法元素对图像数据进行编码，并且生成比特流，
其中，所述传送单元还传送由所述编码单元生成的所述比特流。
(3)根据(1)、(2)和(4)至(7)中任意一项所述的图像处理装置，
其中，所述语法元素被存储在所述比特流的序列参数集中。
(4)根据(1)至(3)和(5)至(7)中任意一项所述的图像处理装置，
其中，所述语法元素为与参考图片有关的语法。
(5)根据(1)至(4)、(6)和(7)中任意一项所述的图像处理装置，
其中，所述语法元素为与参考图片的数目有关的语法。
(6)根据(1)至(5)和(7)中任意一项所述的图像处理装置，
其中，当基于对静态图像进行编码的简档进行编码处理时，所述限制单元将所述语法元素的值设置成预定值。
(7)根据(1)至(6)中任意一项所述的图像处理装置，
其中，所述预定值为0。
(8)一种图像处理方法，包括：
当基于用于对静态图像进行编码的简档进行编码处理时，限制与图像间处理有关的语法元素的值；以及
传送具有所限制的值的所述语法元素。
(9)根据(8)和(10)至(14)中任意一项所述的图像处理方法，还包括：
使用所限制的所述语法元素对图像数据进行编码；生成比特流；并且传送所述比特流。
(10)根据(8)、(9)和(11)至(14)中任意一项所述的图像处理方法，
其中，所述语法元素被存储在所述比特流的序列参数集中。
(11)根据(8)至(10)和(12)至(14)中任意一项所述的图像处理方法，
其中，所述语法元素为与参考图片有关的语法。
(12)根据(8)至(11)、(13)和(14)中任意一项所述的图像处理方法，
其中，所述语法元素为与参考图片的数目有关的语法。
(13)根据(8)至(12)和(14)中任意一项所述的图像处理方法，
其中，当基于对静态图像进行编码的简档进行编码处理时，将所述语法元素的值设置成预定值。
(14)根据(8)至(13)中任意一项所述的图像处理方法，
其中，所述预定值为0。
附图标记列表
100 图像编码装置
106 无损编码单元
121 简档设置单元
131 语法元素设置单元
132 编码单元
200 图像编码装置
211 确定单元
300 图像解码装置
302 无损解码单元
321 简档确定单元
331 解码单元
332 语法元素分析单元
400 图像解码装置
411 异常处理单元
421 语法元素检查单元
- 还没有人留言评论。精彩留言会获得点赞！