图像处理装置的制作方法

本公开内容涉及图像处理装置及方法，更具体地，涉及能够精确地再现图像的动态范围的图像处理装置及方法。

背景技术

近年来，如下装置正在普及：其将图像信息处理为数字信息，并且在这种情况下通过采用利用对图像信息而言唯一的冗余的编码技术和通过正交变换(如离散余弦变换或运动补偿)执行压缩来对图像进行压缩和编码，以发送和累积高效的信息。该编码技术是例如mpeg(运动图片专家组)、h.264或mpeg-4部分10(高级视频编码，其在下文中被称作“avc”)。

目前，为了实现比h.264/avc的编码效率更高的编码效率，被称作hevc(高效视频编码)的编码技术正由jctvc(联合合作组-视频编码)开发为标准，jctvc(联合合作组-视频编码)是itu-t和iso/iec的联合标准组织(参见非专利文献1)。

在当前时间点的hevc的草案中，以图1中示出的sei(补充增强信息)发送色调映射信息。

该色调映射信息的内容与以图2中示出的avc标准化的内容相同(参见非专利文献2)。

[引用列表]

非专利文献

非专利文献1：berijaminbross、woo-jinhan、jens-rainerohm、garyj.sullivan、thomaswiegand，“highefficiencyvideocoding(hevc)textspecificationdraft7(高效视频编码(hevc)文本规范草案7)”，jctvc-i1003版本5，2012年6月12日

非专利文献2：d.1.24推荐.itu-th.264|iso/iec14496-10

技术实现要素：

[技术问题]

最近，相机和显示器可以捕获或显示高动态范围的图像。

在这样的情形下，尽管要求加宽解码图像的动态范围来显示各种动态范围的图像，但是在非专利文献1中未定义解码图像的动态范围。

鉴于这种情形，本公开内容可以精确地再现图像的动态范围。

[问题的解决方案]

根据本公开内容的第一方面的图像处理装置具有：编码单元，其对图像执行编码操作并且生成比特流；设置单元，其给捕获图像设置表示要分配给显影图像的动态范围的特征的动态范围特征信息；以及发送单元，其发送由编码单元生成的比特流和由设置单元设置的动态范围特征信息。

设置单元可以给捕获图像设置表示要分配给显影图像的动态范围的代码的代码信息作为动态范围特征信息。

设置单元可以给捕获图像的白电平设置表示要分配给显影图像的代码的代码信息作为动态范围特征信息。

设置单元可以给捕获图像的白电平设置表示要分配给显影图像的代码的白电平代码信息作为动态范围特征信息。

设置单元可以设置表示要分配给显影图像的白电平的代码的最大值的最大白电平代码信息作为动态范围特征信息。

设置单元可以设置表示显影图像的黑电平的代码的黑电平代码信息作为动态范围特征信息。

设置单元可以设置表示显影图像的灰电平的代码的灰电平代码信息作为动态范围特征信息。

设置单元可以设置表示捕获图像的白电平的最大值的最大白电平信息作为动态范围特征信息。

设置单元可以设置表示通过对比特流执行解码操作所获得的图像的感兴趣区域的亮度的范围的信息作为动态范围特征信息。

设置单元可以设置表示通过对比特流执行解码操作所获得的图像的感兴趣区域的位置和偏移的信息作为动态范围特征信息。

发送单元可以发送动态范围特征信息作为用于显示通过对比特流执行解码操作所获得的图像的辅助信息。

发送单元可以发送动态范围特征信息作为通过扩展现有的辅助信息所获得的扩展辅助信息。

发送单元可以发送动态范围特征信息作为色调映射信息sei(补充增强信息)。

发送单元可以通过针对色调映射信息sei对用于发送动态范围特征信息的model_id(“模型_id”)进行扩展，并且发送动态范围特征信息作为sei。

发送单元可以发送动态范围特征信息作为通过序列表示图像的可用性的vui(视频可用性信息)。

编码单元可以根据符合avc/h.264的编码技术对图像执行编码操作。

根据本公开内容的第一方面的图像处理方法包括：对图像执行编码操作并且生成比特流；给捕获图像设置表示要分配给显影图像的动态范围的特征的动态范围特征信息；以及发送所生成的比特流和所设置的动态范围特征信息。

根据本公开内容的第二方面的图像处理装置具有：解码单元，其对比特流执行解码操作并且生成图像；以及图像调整单元，其将表示要分配给显影图像的动态范围的特征的动态范围特征信息用于捕获图像，并且对由解码单元生成的图像的动态范围进行调整。

图像处理装置还具有接收单元，该接收单元接收比特流和特征信息，并且解码单元可以对由接收单元接收的比特流执行解码操作，以及图像调整单元可以利用由接收单元接收的动态范围特征信息和对由解码单元生成的图像的动态范围进行调整。

根据本公开内容的第二方面的图像处理方法包括：对比特流执行解码操作并且生成图像；以及将表示要分配给显影图像的动态范围的特征的动态范围特征信息用于捕获图像，并且对所生成的图像的动态范围进行调整。

在本公开内容的第一方面中，对图像执行编码操作并且生成比特流，以及给捕获图像设置表示要分配给显影图像的动态范围的特征的动态范围特征信息。此外，发送所生成的比特流和所设置的动态范围特征信息。

在本公开内容的第二方面中，对比特流执行解码操作并且生成图像。此外，将表示要分配给显影图像的动态范围的特征的动态范围特征信息用于捕获图像，并且对所生成的图像的动态范围进行调整。

另外，上述图像处理装置可以是独立装置，或者可以是形成一个图像编码装置或图像解码装置的内部块。

根据一个实施例，提供一种图像处理装置，包括至少一个处理器，其被配置成：对图像数据进行解码以产生解码图像数据；当表示与图像数据相关联的动态范围特征信息的存在/不存在的标记表示存在时，获取动态范围特征信息，动态范围特征信息包括：表示相对于假设以cd/m2为单位的白色内容而创建的白电平的最大图像白电平信息、图像数据的亮度动态范围和表示白电平的参考显示亮度的参考显示信息；以及基于动态范围特征信息调整解码图像数据的动态范围。

根据一个实施例，提供一种图像处理装置，包括至少一个处理器，其被配置成：对图像数据进行编码以产生编码图像数据；以及当表示与图像数据相关联的动态范围特征信息的存在/不存在的标记表示存在时，提供动态范围特征信息，动态范围特征信息包括：表示相对于假设以cd/m2为单位的白色内容而创建的白电平的最大图像白电平信息、图像数据的亮度动态范围和表示白电平的参考显示亮度的参考显示信息。

根据一个实施例，提供一种图像处理装置，包括至少一个处理器，其被配置成：对图像数据进行解码以产生解码图像数据；当表示与图像数据相关联的动态范围特征信息的存在/不存在的标记表示存在时，获取动态范围特征信息，动态范围特征信息包括表示以cd/m2为单位的内容的最大图像白电平信息；以及基于动态范围特征信息调整解码图像数据的动态范围。

[发明的有益效果]

根据本公开内容的第一方面，可以对图像进行编码。具体地，可以精确地再现图像的动态范围。

根据本公开内容的第二方面，可以对图像进行解码。具体地，可以精确地再现图像的动态范围。

附图说明

[图1]图1是示出了sei语法的示例的图。

[图2]图2是示出了色调映射sei语法的示例的图。

[图3]图3是示出了应用本技术的编码装置的第一实施方式的示例结构的框图。

[图4]图4是示出了图1中的编码单元的示例结构的框图。

[图5]图5是用于说明动态范围的特征信息的图。

[图6]图6是用于说明动态范围的特征信息的图。

[图7]图7是用于说明动态范围的特征信息的图。

[图8]图8是示出了色调映射sei语法的示例的图。

[图9]图9是示出了色调映射sei语法的另一示例的图。

[图10]图10是示出了由相机灵敏度和曝光指数表示的指示符的含义的表格的图。

[图11]图11是示出了亮度动态范围sei语法的示例的图。

[图12]图12是示出了vui语法的示例的图。

[图13]图13是示出了vui语法的另一示例的图。

[图14]图14是示出了vui语法的另一示例的图。

[图15]图15是用于说明动态范围的特征信息的语法的图。

[图16]图16是用于说明图3中的编码装置的生成操作的流程图。

[图17]图17是用于说明图16中的编码操作的细节的流程图。

[图18]图18是用于说明图16中的编码操作的细节的流程图。

[图19]图19是示出了应用本技术的解码装置的第一实施方式的示例结构的框图。

[图20]图20是示出了图19中的解码单元的示例结构的框图。

[图21]图21是用于说明图19中的解码装置的显示操作的流程图。

[图22]图22是用于说明图21中的解码操作的细节的流程图。

[图23]图23是示出了应用本技术的编码装置的第二实施方式的示例结构的框图。

[图24]图24是示出了图23中的编码单元的示例结构的框图。

[图25]图25是示出了应用本技术的解码装置的第二实施方式的示例结构的框图。

[图26]图26是示出了图25中的解码单元的示例结构的框图。

[图27]图27是示出了多视图图像编码技术的示例的图。

[图28]图28是示出了应用本公开内容的多视图图像编码装置的主要示例结构的图。

[图29]图29是示出了应用本公开内容的多视图图像编码装置的主要示例结构的图。

[图30]图30是示出了分层图像编码技术的示例的图。

[图31]图31是示出了应用本公开内容的分层图像编码装置的主要示例结构的图。

[图32]图32是示出了应用本公开内容的分层图像解码装置的主要示例结构的图。

[图33]图33是示出了计算机的主要示例结构的框图。

[图34]图34是示出了电视装置的示意性结构的示例的框图。

[图35]图35是示出了便携式电话装置的示意性结构的示例的框图。

[图36]图36是示出了记录/再现装置的示意性结构的示例的框图

[图37]图37是示出了成像装置的示意性结构的示例的框图。

具体实施方式

下面是用于执行本技术的模式的描述(在下文中被称作实施方式)。将按照下面的顺序进行说明。

1.第一实施方式(根据hevc技术的编码/解码装置)

2.第二实施方式(根据avc技术的编码/解码装置)

3.第三实施方式(多视图图像编码/多视图图像解码装置)

4.第四实施方式(分层图像编码/分层图像解码装置)

5.第五实施方式(计算机)

6.应用示例

<第一实施方式>

[编码装置的第一实施方式的示例结构]

图3是示出了根据作为应用本技术的图像处理装置的编码装置的第一实施方式的示例结构的框图。

图3中的编码装置1具有编码单元2、设置单元3和发送单元4，并且根据hevc技术对图像如捕获图像进行编码。

更具体地，编码装置1的编码单元2接收诸如基于帧的捕获图像的图像的输入作为输入信号。编码单元2根据hevc技术对该输入信号进行编码，并且将所得到的编码数据提供给设置单元3。

设置单元3对sps(序列参数集合)、pps(图片参数集合)、sei(补充增强信息)以及每序列表示与编码数据对应的图像的特征(可用性)的vui(视频可用性信息)进行设置。设置单元3根据所设置的sps、pps、vui和sei以及从编码单元2提供的编码数据来生成编码流。设置单元3将编码流提供给发送单元4。

发送单元4将从设置单元3提供的编码流发送至下面将描述的解码装置。

[编码单元的示例结构]

图4是示出了图3中的编码单元2的示例结构的框图。

图4中的编码单元2包括a/d转换器11、画面重排缓冲器12、算术运算单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17、逆量化单元18、逆正交变换单元19、加法单元20、去块滤波器21、帧存储器22、开关23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26和速率控制单元27。

此外，在去块滤波器21与帧存储器22之间还设置有自适应偏移滤波器41和自适应环路滤波器42。

具体地，编码单元2的a/d转换器11对作为输入信号输入的基于帧的图像执行a/d转换，并且将该图像输出和存储至画面重排缓冲器12。画面重排缓冲器12对以显示顺序存储的图像的帧进行重，排使得根据gop(图片组)结构以编码顺序布置图像的帧，并且将重排后的基于帧的图像输出至算术运算单元13、帧内预测单元24和运动预测/补偿单元25。

算术运算单元13计算从预测图像选择单元26提供的预测图像与从画面重排缓冲器12输出的编码目标图像之间的差异来执行编码。具体地，算术运算单元13通过从从画面重排缓冲器12输出的编码目标图像中减去从预测图像选择单元26提供的预测图像来执行编码。算术运算单元13将所得到的图像作为残差信息输出至正交变换单元14。当未从预测图像选择单元26提供任何预测图像时，算术运算单元13将从画面重排缓冲器12读取的图像作为残差信息输出至正交变换单元14。

正交变换单元14对从算术运算单元13提供的残差信息执行正交变换，并且将由正交变换的结果而获得的系数提供给量化单元15。

量化单元15对从正交变换单元14提供的系数进行量化。经量化的系数被输入至无损编码单元16。

无损编码单元16从帧内预测单元24获得表示最佳帧内预测模式的信息(在下文中，被称作“帧内预测模式信息”)。此外，无损编码单元16从运动预测/补偿单元25获得表示最佳帧间预测模式的信息(在下文中，被称作“帧间预测模式信息”)、运动矢量和用于指定参考图像的信息。此外，无损编码单元16从自适应偏移滤波器41获得存储标志、索引或偏移和类型信息作为偏移滤波器信息，并且从自适应环路滤波器42获得滤波器系数。

无损编码单元16对从量化单元15提供的经量化的系数执行无损编码，如可变长度编码(例如cavlc(上下文自适应可变长度编码))或算术编码(cabac(上下文自适应二进制算术编码))。

此外，无损编码单元16对作为与编码有关的编码信息的帧内预测模式信息或帧间预测模式信息、运动矢量、用于指定参考图像的信息、偏移滤波器信息以及滤波器系数执行无损编码。无损编码单元16将经历无损编码的编码信息和系数作为编码数据提供和存储至累积缓冲器17。另外，经历无损编码的编码信息可以是经历无损编码的系数的报头信息。

累积缓冲器17临时存储从无损编码单元16提供的编码数据。此外，累积缓冲器17将所存储的编码数据提供给图3中的设置单元3。

此外，从量化单元15输出的经量化的系数还被输入至逆量化单元18，并且在逆量化之后，被提供给逆正交变换单元19。

逆正交变换单元19对从逆量化单元18提供的系数执行逆正交变换，并且将所得到的残差信息提供给加法单元20。

加法单元20将作为解码目标图像从逆正交变换单元19提供的残差信息与从预测图像选择单元26提供的预测图像相加，并且获得局部解码图像。另外，如果不存在从预测图像选择单元26提供的预测图像，则加法单元20将从逆正交变换单元19提供的残差信息设置为局部解码图像。加法单元20将局部解码图像提供给去块滤波器21，并且将局部解码图像提供给帧存储器22。

去块滤波器21对从加法单元20提供的局部解码图像执行滤波，以消除块失真。去块滤波器21将所得到的图像提供给自适应偏移滤波器41。

在由去块滤波器21执行的自适应去块滤波操作之后，自适应偏移滤波器41执行主要从图像中消除振铃的自适应偏移滤波(sao：样本自适应偏移)操作。

更具体地，自适应偏移滤波器41每lcu(largestcodingunit)确定自适应偏移滤波操作的类型，并且计算用于该自适应偏移滤波操作的偏移，lcu(largestcodingunit)是最大编码单元。自适应偏移滤波器41使用所计算的偏移，并且根据经历自适应去块滤波操作的图像对所确定的类型执行自适应偏移滤波操作。此外，自适应偏移滤波器41将经历自适应偏移滤波操作的图像提供给自适应环路滤波器42。

此外，自适应偏移滤波器41具有存储偏移的缓冲器。自适应偏移滤波器41每lcu决定用于自适应去块滤波操作的偏移是否已经被存储在缓冲器中。

当确定用于自适应去块滤波操作的偏移已经被存储在缓冲器中时，自适应偏移滤波器41将表示偏移是否被存储在缓冲器中的存储标志设置成表示偏移被存储在缓冲器中的值(在这种情况下1)。

此外，自适应偏移滤波器41每lcu将被设置成1的存储标志、表示偏移在缓冲器中的存储位置的索引以及表示所执行的自适应偏移滤波操作的类型的类型信息提供给无损编码单元16。

同时，当用于自适应去块滤波操作的偏移还未被存储在缓冲器中时，自适应偏移滤波器41随后将该偏移存储在缓冲器中。此外，自适应偏移滤波器41将存储标志设置成表示偏移未被存储在缓冲器中的值(在这种情况下0)。此外，自适应偏移滤波器41每lcu将被设置成0的存储标志、偏移和类型信息提供给无损编码单元16。

自适应环路滤波器42例如每lcu对从自适应偏移滤波器41提供的、经历自适应偏移滤波操作的图像执行自适应环路滤波(alf：自适应环路滤波)。例如，对于自适应环路滤波操作，使用利用例如二维维纳滤波器的操作。不言而喻，也可以使用除了维纳滤波器之外的滤波器。

更具体地，自适应环路滤波器42每lcu计算用于自适应环路滤波操作的滤波器系数，使得作为从画面重排缓冲器12输出的图像的原始图像与自适应环路滤波操作之后的图像之间的残差最小。此外，自适应环路滤波器42每lcu使用所计算的滤波器系数对经历自适应偏移滤波操作的图像执行自适应环路滤波操作。

自适应环路滤波器42将经历自适应环路滤波操作的图像提供给帧存储器22。此外，自适应环路滤波器42将滤波器系数提供给无损编码单元16。

另外，虽然每lcu执行自适应环路滤波操作，但是自适应环路滤波操作的处理单元不限于lcu。同时，通过对自适应偏移滤波器41和自适应环路滤波器42的处理单元进行集成，可以有效地执行操作。

然后，存储在帧存储器22中的图像作为参考图像通过开关23被输出至帧内预测单元24或运动预测/补偿单元25。

帧内预测单元24使用通过开关23从帧存储器22读取且未由去块滤波器21滤波的参考图像、以片和片段为单位执行所有候选帧内预测模式的帧内预测操作。

此外，帧内预测单元24基于从画面重排缓冲器12读取的图像以及作为帧内预测操作结果生成的预测图像来计算所有候选帧内预测模式的代价函数值(下文将描述其细节)。此外，然后，帧内预测单元24将具有最小代价函数值的帧内预测模式确定为最佳帧内预测模式。

帧内预测单元24将在最佳帧内预测模式下生成的预测图像和相应的代价函数值提供给预测图像选择单元26。当由预测图像选择单元26通知选择在最佳帧内预测模式下生成的预测图像时，帧内预测单元24将帧内预测模式信息提供给无损编码单元16。

应当注意的是，代价函数值也称作rd(速率失真)代价，并且通过如由jm(联合模型)中所指定的、例如为h.264/avc中的参考软件的高复杂度模式或低复杂度模式的技术来计算。

具体地，在高复杂度模式用作计算代价函数值的方法的情况下，对所有候选预测模式临时执行以无损编码结束的操作，并且对于每种预测模式计算由下面的等式(1)表达的代价函数值。

成本(模式)＝d+λ·r…(1)

d表示原始图像与解码图像之间的差异(失真)，r表示包括正交变换系数的比特生成速率，以及λ表示给定量化参数qp的函数下的拉格朗日乘法器。

另一方面，在低复杂度模式用作计算代价函数值的方法的情况下，生成解码图像，并且在所有候选预测模式下计算报头比特(如表示预测模式的信息)。然后，对于每种预测模式计算由下面的等式(2)表达的代价函数值。

成本(模式)＝d+qptoquant(qp)·报头_比特…(2)

d表示原始图像与解码图像之间的差异(失真)，报头_比特(header_bit)表示与预测模式对应的报头比特，以及qptoquant是作为量化参数qp下的函数给定的函数。

在低复杂度模式下，在所有预测模式下简单地生成解码图像，并且无需执行无损编码。因此，计算量小。

运动预测/补偿单元25以片和片段为单位在所有候选帧间预测模式下执行运动预测/补偿操作。更具体地，运动预测/补偿单元25基于从画面重排缓冲器12提供的图像和通过开关23从帧存储器22读取的经滤波的参考图像，以片和片段为单位检测所有候选帧间预测模式的运动矢量。此外，运动预测/补偿单元25基于该运动矢量以片和片段为单位对参考图像执行补偿操作，并且生成预测图像。

在这种情况下，运动预测/补偿单元25基于从画面重排缓冲器12提供的图像和预测图像来计算所有候选帧间预测模式的代价函数值，并且将最小代价函数值的帧间预测模式确定为最佳帧间预测模式。此外，运动预测/补偿单元25将最佳帧间预测模式的代价函数值和相应的预测图像提供给预测图像选择单元26。当由预测图像选择单元26通知选择在最佳帧间预测模式下生成的预测图像时，运动预测/补偿单元25将帧间预测模式信息、相应的运动矢量和用于指定参考图像的信息输出至无损编码单元16。

预测图像选择单元26基于从帧内预测单元24和运动预测/补偿单元25提供的代价函数值将最佳帧内预测模式和最佳帧间预测模式中的较小的代价函数值的预测模式确定为最佳预测模式。此外，然后预测图像选择单元26将最佳预测模式下的预测图像提供给算术运算单元13和加法单元20。预测图像选择单元26还向帧内预测单元24或运动预测/补偿单元25通知选择最佳预测模式下的预测图像。

基于存储在累积缓冲器17中的编码数据，速率控制单元27对量化单元15的量化操作速率进行控制，以便不导致上溢或下溢。

[动态范围的特征信息的示例]

接下来，将参照图5对由图3中的设置单元3设置的动态范围的特征信息进行描述。另外，图5中的垂直轴和水平轴上的值是示例性的，且不限于这些值。

在图5的示例中，水平轴表示捕获图像的白电平。垂直轴表示被分配给显影图像的数字代码。显影图像是其灰度由比特数表示的图像。

水平轴上的800％是相机灵敏度和最佳曝光(在图像捕获时和在显影时)以及图像捕获时的最大亮度的值。该值作为camera_iso_sensitivity(相机_iso_灵敏度)和max_image_white_level(最大_图像_白_电平)被设置和发送，camera_iso_sensitivity和max_image_white_level是动态范围的特征信息中的特征信息。

另外，虽然相机灵敏度和最佳曝光以及图像捕获时的最大亮度的值在该示例中是相同的值，但是在一些情况下这些值是不同的。

垂直轴上的对应于该最大白电平的值(940)是被分配给显影图像的最大白电平的数字值，该值作为max_white_level_code_value(最大_白_电平_代码_值)被设置和发送至解码侧，max_white_level_code_value是动态范围的特征信息之一。

水平轴上的100％是显示器的参考值(白电平)。垂直轴上的对应于该白电平的值是被分配给显影图像的白电平(白色100％)的数字值，该值作为white_level_code_value(白_电平_代码_值)被设置和发送至解码侧，white_level_code_value是动态范围的特征信息之一。

水平轴上的20％是通常用作表示灰色并且在很多情况下被设置在相机侧的参考曝光的电平(灰电平)。垂直轴上的对应于该灰电平的值是被分配给显影图像的灰电平(白色20％)的数字值，该值作为gray_level_code_value(灰_电平_代码_值)被设置和发送至解码侧，gray_level_code_value是动态范围的特征信息之一。

水平轴上的0％是黑电平。垂直轴上的对应于该黑电平的值(64)是被分配给显影图像的黑电平(白色0％)的数字值，该值作为black_level_code_value(黑_电平_代码_值)被设置和发送至解码侧，black_level_code_value是动态范围的特征信息之一。

如上所述，表示要被分配给显影图像的动态范围的代码的代码信息作为动态范围的特征信息被设置给捕获图像，并且被发送至解码侧。也就是说，表示要分配给显影图像的动态范围的特征信息的动态范围的特征信息被设置给捕获图像，并且被发送至解码侧。

动态范围的特征信息由内容创建侧表示，并且作为表示内容质量的信息(其表示这样的信息：与表示例如动态范围比现有内容的动态范围宽的白电平有关的图像的信息的高质量或表示内容的高潜力)被发送至显示侧(解码侧)。

内容创建侧具有提供创建者想要的图像(的状态)的动机。显示侧基于该信息执行加宽(增加)或收窄(减小)动态范围的操作。此外，通过参照该信息，显示侧可以精确地执行下面的操作。

当例如接收具有相比显示侧的显示能力而言较高的动态范围的图像的输入时，显示侧可以根据显示侧的显示能力使用例如色调映射来执行减小范围的操作。

相反，当接收具有相比显示侧的显示能力而言较低的动态范围的图像的输入时，显示侧可以根据显示侧的显示能力使用例如色调映射来执行增大范围的操作。

尽管，当未提供该信息时，显示侧需要对解码图像进行分析和执行色调映射，但是通过发送动态范围的特征信息，其不需要对解码图像进行分析和精确地调整动态范围。

另外，如图6中所示，除了white_level_code_value以外，还可以设置和发送在black_level_code_value与max_white_level_code_value之间的多个white_level_code_value。

图6示出了white_level_code_value_0至white_level_code_value_4作为捕获图像的白电平被设置在0％与800％之间并且被发送的示例。

此外，尽管在上面的描述中已经描述了其中max_white_level_code_value、white_level_code_value和black_level_code_value被设置为值的示例，但是，max_white_level_code_value、white_level_code_value和black_level_code_value可以被设置为范围并且被发送。

图7是示出了动态范围的特征信息的示例的图。

动态范围的特征信息包括camera_iso_sensitivity、output_exposure_index(输出_曝光_指数)、screen_lw(画面_亮度)、black_level_code_value、gray_level_code_value、white_level_code_value和max_white_level_code_value。

如上面参照图5所描述的，camera_iso_sensitivity由捕获图像时的相机灵敏度表示。output_exposure_index表示被设置成用于对图像进行显影的处理中的曝光指数(即，显影时的曝光指数)。ref_screen_lw(“参考_画面_亮度”)表示被设置成用于对图像进行显影的处理中的白电平的参考显示亮度。

如上面参照图5所描述的，black_level_code_value、gray_level_code_value、white_level_code_value和max_white_level_code_value表示给其分配黑电平、灰电平、白电平和最大白电平的亮度的代码数据。

也就是说，动态范围的特征信息期望地包括图像捕获时的(捕获图像的)最大亮度、图像捕获时的最佳曝光值、显影时的(显影图像的)最佳曝光值、在显影之后被分配给最大白电平的数字值、在显影之后被分配给白电平(白100％)的数字值、在显影之后被分配给灰电平的数字值、在显影之后被分配给黑电平的数字值以及在显影之后白色100％与最大白色0％之间的数字值。

根据下面将描述的发送方法1至4中之一将动态范围的这些特征信息片段发送至解码侧。

首先，参照图8将通过扩展现有的sei(补偿增强信息)来发送动态范围的特征信息的示例描述为发送方法1。图8是示出了色调映射sei(tone_mapping_information(色调_映射_信息)sei)的示例的图。sei是用于显示通过对编码流执行解码操作所获得的图像的辅助信息。

如图8中的图框所示，通过在色调映射sei中扩展模型id(model_id)＝4，动态范围的上述特征信息被设置成色调映射sei并且被发送。

另外，在图框中，未画阴影的camera_iso_sensitivity和output_exposure_index是作为相机的设置参数的现有信息(现有技术)。同时，将这些信息片段包括在编码比特流中并且发送编码比特流或者使用这些信息片段并且调整动态范围与现有技术不同。

另一方面，在图框中，画阴影的ref_screen_lw、max_image_white_level、black_level_code_value、white_level_code_value和max_white_level_code_value由参数最新设置，并且与相关技术不同。

同时，虽然在过去的色调映射sei中每rgb使用不同的分量，但是动态范围的特征信息将解码图像的亮度分量设置为应用目标。

此外，tbd是要被确定的值，并且表示预先设置的值或当创建内容时设置的参数。

图9是示出了色调映射sei的另一示例的图。

还在图9的示例中，如图框中所表示的，通过在色调映射sei中扩展模型id(model_id)＝4，动态范围的上述特征信息被设置成色调映射sei并且被发送。

camera_iso_sensitivity_idc(相机_iso_灵敏度_idc)表示由相机获得的灵敏度的代码。在下面将描述的图10中的表格中表示了该代码的含义。当camera_iso_sensitivity_idc指代extended_iso(扩展_iso)时，下一行中的camera_iso_sensitivity表示iso_number(iso_数量)。即，通过将camera_iso_sensitivity_idc设置为extended_iso，可以将camera_iso_sensitivity_idc设置成期望的值。

exposure_index_idc(曝光_指数_idc)表示这样的代码：该代码表示图像捕获时的曝光指数。在下面将描述的图10中的表格中表示了该代码的含义。当exposure_index_idc指代extended_iso时，下一行中的exposure_index_rating(曝光_指数_比率)表示iso_number(iso_数量)。即，通过将exposure_index_idc设置为extended_iso，可以将exposure_index_idc设置成期望的值。

sign_image_exposure_value(标记_图像_曝光_值)表示显影时的曝光相对于图像捕获时的曝光值的相对代码。image_exposure_value0(图像_曝光_值0)表示显影时的曝光相对于图像捕获时的曝光值的相对值的分子值。image_exposure_value1(图像_曝光_值1)表示显影时的曝光相对于图像捕获时的曝光值的相对值的分母值。

也就是说，通过使用显影时相对于图像捕获时的sign_image_exposure_value、image_exposure_value0和image_exposure_value1表示曝光值减小多少的相对值，可以得到显影时的曝光值(图8中的output_exposure_index)。通过这种方式，可以将显影时的曝光值表示为十进制数。

ref_screen_lw是假定以多少cd/m²(烛光米)由白色显示时所创建的内容，并且表示该内容需要由白色显示。

max_image_white_level表示参照参考白电平被显示为整数的百分比的图像的亮度的动态范围。

类似于图8中的示例，black_level_code_value、white_level_code_value和max_white_level_code_value表示给其分配黑电平、白电平和最大白电平的亮度的代码数据。

另外，类似于图8的示例，还在图9的示例中，在图框中，未画阴影的camera_iso_sensitivity、exposure_index_idc、sign_image_exposure_value、image_exposure_value0和image_exposure_value1是作为相机设置参数的现有信息(现有技术)。将这些信息片段包括在编码比特流中并且发送该编码比特流或使用这些信息片段并且调整动态范围与现有技术不同。

另一方面，在图框中，画阴影的ref_screen_lw、max_image_white_level、black_level_code_value、white_level_code_value和max_white_level_code_value由参数最新设置，并且与现有技术不同。

图10是示出了由相机灵敏度表示的指示符和由曝光指数表示的指示符的含义的表格。

当例如指示符是0时，未具体地表示iso数量。当指示符是1是，将10表示为iso数量。当指示符是2至30时，尽管未示出，但是表示了iso数量。

当指示符是31至254时，保留iso数量。当指示符是255时，将extended_iso表示为iso数量。当iso数量是extended_iso时，camera_iso_sensitivity_idc和exposure_index_idc两者可以如上面参照图9所描述地表示期望的值。

接下来，参照图11将设置新的(专用的)sei和发送动态范围的特征信息的方法描述为发送方法2。图11是示出了亮度动态范围sei(luminance_dynamic_range_informationsei)的示例的图。

也就是说，如图11中所示，最新设置亮度动态范围sei(luminance_dynamic_range_info)。此外，如图11的图框中所示，动态范围的上述特征信息被设置成该亮度动态范围sei并且被发送。另外，图11的图框中的动态范围特征信息与上面参照图8所描述的动态范围特征信息基本上相同，并且将不再重复描述。

此外，发送方法3是通过将上述发送方法1和2与vui(视频可用性信息)参数相关联来发送动态范围特征信息的方法。vui是以序列为单位表示图像的可用性的信息。

图12是与发送方法1相关联的vui语法的示例的图。在图12的示例中，tone_mapping_flag(色调_映射_标志)是表示存在/不存在信息的标志，存在/不存在信息表示是否存在色调映射sei。1表示指示存在色调映射sei的色调映射标志，而0表示不存在色调映射sei。

图13是示出了与发送方法2相关联的vui语法的示例的图。在图13的示例中，luminance_dynamic_range_flag(亮度动态范围标志)是表示存在/不存在信息的标志，存在/不存在信息表示是否存在亮度动态范围sei。1表示指示存在亮度动态范围sei的亮度动态范围标志，而0表示不存在亮度动态范围sei。

最后，发送方法4可以发送动态范围特征信息作为上述vui参数。也就是说，在这种情况下，代替图12或13中示出的标志(或除了标志以外)，动态范围特征信息本身作为vui参数被发送。

同时，当动态范围特征信息被包括在sei中时，动态范围特征信息不仅可应用于hevc技术而且也可应用于avc技术。同时，vui包括在显示侧上所使用的很多值，使得当动态范围特征信息被包括在vui中时可以对信息进行组合。

图14是示出了发送方法4的情况下的vui语法的示例的图。

在图14的vui语法中，在图框的顶部，描述了图12中的tone_mapping_flag(色调映射标志)，以及当立即描述动态范围特征信息时色调映射标志是1(只要其被包括在vui中，则可以不立即描述动态范围特征信息)，而当不描述动态范围特征信息时色调映射标志是0。

因此，当色调映射标志是1时，解码侧参照图14的图框中示出的动态范围特征信息。

另外，图14中示出的动态范围特征信息与上面参照图9所描述的动态范围特征信息相同，并且将不再重复描述。

图15是示出了动态范围特征信息的示例的图。另外，动态范围特征信息是色度映射sei中所描述的信息、上述亮度动态范围sei或vui，以及在图15中的示例中，在语法的报头处描述“xxxxx()”，以便不指定描述位置。

在下面添加表示感兴趣区域的亮度的范围和/或感兴趣区域的位置和偏移的信息，图15中的动态范围特征信息中的max_white_level_code_value不同于图9中的动态范围特征信息。

也就是说，roi_luminance_range_flag(roi_亮度_范围_标志)是表示是否描述了表示感兴趣区域的亮度的范围和/或感兴趣区域的位置和偏移的信息的标志。

当roi_luminance_range_flag是1时，在使用黑色填充的部分中表示min_roi_luminance_range(最小_roi_亮度_范围)、max_roi_luminance_range(最大_roi_亮度_范围)、roi_region_x(roi_区域_x)、roi_region_y(roi_区域_y)、roi_region_x_offset(roi_区域_x_偏置)和roi_region_y_offset(roi_区域_y_偏置)。

min_roi_luminance_range表示感兴趣区域的亮度范围的最小值。max_roi_luminance_range表示感兴趣区域的亮度范围的最大值。roi_region_x和roi_region_y分别表示感兴趣区域中的左上角x坐标和y坐标。

roi_region_x_offset(roi_区域_x_偏置)和roi_region_y_offset(roi_区域_y_偏置)表示与左上角roi_region_x和roi_region_y的偏移的值。通过这种方式，可以表示自roi_region_x和roi_region_y的感兴趣区域。

如上所述，感兴趣区域的亮度范围和(或)感兴趣区域的位置和偏移被包括在动态范围特征信息中，使得可以通知编码侧需要执行与感兴趣区域匹配的色度映射。

另外，可以添加例如电影内容中的强调低亮度范围的黑色强度标志或电视内容中的强调高亮度范围的白色强调标志代替感兴趣区域的亮度范围。

尽管在过去可以由显示器表示的分辨率低，因此内容创建者不需要包括等于或大于100％的白色，但是，最近出现了可以再现较高分辨率的显示器。

因此，如上所述，给具有仅100％白色的视频图像提供等于或大于100％的白色，并且显示能力变化，以及在该显示器中提供将视频图像转换成与显示器匹配的视频图像的信息。

通过这种方式，显示侧可以精确地再现动态范围。

[编码装置的操作的描述]

图16是用于说明图3中的编码装置1的生成操作的流程图。另外，在图16的示例中，将描述上述发送方法3的示例。

在图16的步骤s1中，编码装置1的编码单元2执行根据hevc技术对从外部输入为输入信号的图像(如基于帧的捕获图像)进行编码的编码操作。下文将参照图17和图18详细地描述该编码操作。

在步骤s2中，设置单元3设置sps。在步骤s3中，设置单元3设置pps。在步骤s4中，设置单元3基于例如未示出的输入单元的用户操作来决定编码目标图像是否是hdr(高动态范围)图像。另外。下文将包括上述动态范围的特征信息的图像称作“hdr图像”。

当在步骤s4中确定编码目标图像是hdr图像时，在步骤s5中，设置单元3将包括1的vui设置为hdr图像标志。在步骤s6中，设置单元3设置sei如hdr图像sei，并且将操作移动到步骤s8。

同时，hdr图像标志是上面参照图12所描述的tone_mapping_flag或上面参照图13所描述的luminance_dynamic_range_flag。此外，hdr图像sei是上面参照图8所描述的色调映射sei或上面参照图11所描述的亮度动态范围sei。

同时，当在步骤s4中确定编码目标图像不是hdr图像时，在步骤s7中，设置单元3将包括0的vui设置为hdr图像标志。此外，如果需要，设置单元3设置除了hdr图像sei之外的sei，并且将操作移动到步骤s8。

在步骤s8中，设置单元3根据所设置的sps、pps、vui和sei以及从编码单元2提供的编码数据来生成编码流。设置单元3将编码流提供给发送单元4。

在步骤s9中，发送单元4将从设置单元3提供的编码流发送至下面将描述的解码装置，并且完成该操作。

图17和图18是用于说明图16中的步骤s1中的编码操作的细节的流程图。

在图17的步骤s11中，编码单元2的a/d转换器11对作为输入信号输入的基于帧的图像执行a/d转换，并且将该图像输出和存储到画面重排缓冲器12中。

在步骤s12中，画面重排缓冲器12对以显示顺序存储的图像的帧进行重排，使得根据gop(图片组)结构以编码顺序布置图像的帧。画面重排缓冲器12将重排的基于帧的图像提供给算术运算单元13、帧内预测单元24和运动预测/补偿单元25。应当注意的是，以例如cu(编码单元)为单位执行下面将描述的步骤s13至s31的操作。

在步骤s13中，帧内预测单元24在所有候选帧内预测模式下执行帧内预测操作。此外，帧内预测单元24基于从画面重排缓冲器12读取的图像和作为帧内预测操作结果生成的预测图像，来计算所有候选帧内预测模式的代价函数值。此外，然后，帧内预测单元24将具有最小代价函数值的帧内预测模式确定为最佳帧内预测模式。帧内预测单元24将在最佳帧内预测模式下生成的预测图像和相应的代价函数值提供给预测图像选择单元26。

此外，运动预测/补偿单元25在所有候选帧间预测模式下执行运动预测/补偿操作。此外，运动预测/补偿单元25基于从画面重排缓冲器12提供的图像和预测图像来计算所有候选帧间预测模式的代价函数值，并且将具有最小代价函数值的帧间预测模式确定为最佳帧间预测模式。更进一步，运动预测/补偿单元25将最佳帧间预测模式的代价函数值和相应的预测图像提供给预测图像选择单元26。

在步骤s14中，预测图像选择单元26根据步骤s13中的操作、基于从帧内预测单元24和运动预测/补偿单元25提供的代价函数值，将最佳帧内预测模式和最佳帧间预测模式中的较小的代价函数值的预测模式确定为最佳预测模式。此外，然后，预测图像选择单元26将最佳预测模式下的预测图像提供给算术运算单元13和加法单元20。

在步骤s15中，预测图像选择单元26确定最佳预测模式是否是最佳帧间预测模式。当在步骤s15中确定最佳预测模式是最佳帧间预测模式时，预测图像选择单元26通知运动预测/补偿单元25选择在最佳帧间预测模式下生成的预测图像。

此外，在步骤s16中，运动预测/补偿单元25将帧间预测模式信息、相应的运动矢量和用于指定参考图像的信息提供给无损编码单元16。此外，然后，操作移动到步骤s18。

同时，当在步骤s15中确定最佳预测模式不是最佳帧间预测模式时，即，当最佳预测模式是最佳帧内预测模式时，预测图像选择单元26向帧内预测单元24通知选择在最佳帧内预测模式下生成的预测图像。

此外，在步骤s17中，帧内预测单元24将帧内预测模式信息提供给无损编码单元16。此外，然后，操作移动到步骤s18。

在步骤s18中，算术运算单元13通过从从画面重排缓冲器12提供的图像中减去从预测图像选择单元26提供的预测图像来执行编码。算术运算单元13将所得到的图像作为残差信息输出至正交变换单元14。

在步骤s19中，正交变换单元14对从算术运算单元13提供的残差信息执行正交变换，并且将所得到的系数提供给量化单元15。

在步骤s20中，量化单元15对从正交变换单元14提供的系数进行量化。经量化的系数被输入至无损编码单元16和逆量化单元18。

在步骤s21中，逆量化单元18对从量化单元15提供的经量化的系数进行逆量化。

在步骤s22中，逆正交变换单元19对从逆量化单元18提供的系数执行逆正交变换，并且将所得到的残差信息提供给加法单元20。

在步骤s23中，加法单元20将从逆正交变换单元19提供的残差信息与从预测图像选择单元26提供的预测图像相加，并且获得局部解码图像。加法单元20将所得到的图像提供给去块滤波器21和帧存储器22。

在步骤s24中，去块滤波器21对从加法单元20提供的局部解码图像执行去块滤波操作。去块滤波器21将所得到的图像提供给自适应偏移滤波器41。

在步骤s25中，自适应偏移滤波器41每lcu对从去块滤波器21提供的图像执行自适应偏移滤波操作。自适应偏移滤波器41将所得到的图像提供给自适应环路滤波器42。此外，自适应偏移滤波器41每lcu将存储标志、索引或偏移以及类型信息提供给无损编码单元16。

在步骤s26中，自适应环路滤波器42每lcu对从自适应偏移滤波器41提供的图像执行自适应环路滤波操作。自适应环路滤波器42将所得到的图像提供给帧存储器22。此外，自适应环路滤波器42将用于自适应环路滤波操作的滤波器系数提供给无损编码单元16。

在步骤s27中，帧存储器22存储滤波之前和之后的图像。更具体地，帧存储器22存储从加法单元20提供的图像和从自适应环路滤波器42提供的图像。然后，存储在帧存储器22中的图像作为参考图像通过开关23被输出至帧内预测单元24或运动预测/补偿单元25。

在步骤s28中，无损编码单元16对作为编码信息的帧内预测模式信息或帧间预测模式信息、运动矢量、用于指定参考图像的信息、偏移滤波器信息和滤波器系数执行无损编码。

在步骤s29中，无损编码单元16对从量化单元15提供的经量化的系数执行无损编码。此外，无损编码单元16在步骤s28的操作中、根据经历无损编码的编码信息和经历无损编码的系数来生成编码数据。

在步骤s30中，无损编码单元16将编码数据提供和存储在累积缓冲器17中。

在步骤s31中，累积缓冲器17将所存储的编码数据输出至图3中的设置单元3中。此外，操作返回至图16中的步骤s1，然后移动至步骤s2。

另外，虽然为了描述方便在图17和图18中的编码操作中始终执行帧内预测操作和运动预测/补偿操作，但是取决于例如图片类型精确地执行帧内预测操作和运动预测/补偿操作中的仅一种操作。

如上所示，编码装置1设置hdr图像sei(色调映射sei或亮度动态范围sei)和hdr图像标志(tone_mapping_flag或luminance_dynamic_range_flag)，并且连同编码数据一起发送hdr图像。

因此，当hdr图像标志是1时，对hdr图像的编码流进行解码和显示的解码装置可以优选地使用hdr图像sei可靠地再现和显示hdr图像的动态范围。因此，当对hdr图像的编码流进行解码和显示时，编码装置1可以生成hdr图像的编码流，使得可以可靠地再现和显示hdr图像的动态范围。

[解码装置的第一实施方式的示例结构]

图19是示出了作为应用本技术并且对从图3中的编码装置1发送的编码流进行解码的图像处理装置的、解码装置的第一实施方式的示例结构的框图。

图19中的解码装置50具有接收单元51、解复用单元52、解码单元53、图像调整单元54、显示控制单元55和显示单元56。

解码装置50的接收单元51接收从图3中的编码装置1发送的编码流，并且将编码流提供给解复用单元52。解复用单元52对例如sps、pps、vui、sei和来自从接收单元51提供的编码流的编码数据进行解复用。解复用单元52将编码数据提供给解码单元53。此外，如果需要，解复用单元52还将sps、pps、vui、sei提供给解码单元53和图像调整单元54。

如果需要，解码单元53参照例如从解复用单元52提供的sps、pps、vui和sei，并且根据hevc技术对从解复用单元52提供的编码数据进行解码。解码单元53将图像(如由解码所得到的hdr图像)作为输出信号提供给图像调整单元54。

如果需要，图像调整单元54基于例如从解复用单元52提供的sps、pps、vui和sei对作为输出信号从解码单元53提供的hdr图像的动态范围进行调整。例如，图像调整单元54根据显示动态范围对图像的动态范围进行调整。此外，图像调整单元54将hdr图像作为输出信号提供给显示控制单元55。

显示控制单元55基于从图像调整单元54提供的hdr图像来生成显示图像(如果需要，从显示单元56通知的显示方法)。显示控制单元55通过将显示图像提供给显示单元56来显示所生成的显示图像。

显示单元56显示从显示控制单元55提供的显示图像。此外，显示单元56给显示控制单元55通知预先设置的显示方法或预先设置且由用户指定的显示方法。

[解码单元的示例结构]

图20是示出了图19中的解码单元53的示例结构的框图。

图20中的解码单元53包括累积缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、画面排序缓冲器107、d/a转换器108、帧存储器109、开关110、帧内预测单元111、运动补偿单元112和开关113。

此外，在去块滤波器106、画面重排缓冲器107与帧存储器109之间，还设置有自适应偏移滤波器141和自适应环路滤波器142。

解码单元53的累积缓冲器101接收和存储来自图19中的解复用单元52的编码数据。累积缓冲器101将所存储的编码数据提供给无损解码单元102。

无损解码单元102通过对来自累积缓冲器101的编码数据执行无损解码(如可变长度解码或算术解码)来获得经量化的系数和编码信息。无损解码单元102将经量化的系数提供给逆量化单元103。此外，无损解码单元102将帧内预测模式信息作为编码信息提供给帧内预测单元111，并且将运动矢量、用于指定参考图像的信息和帧间预测模式信息提供给运动补偿单元112。此外，无损解码单元102将帧内预测模式信息或帧间预测模式信息作为编码信息提供给开关113。

无损解码单元102将偏移滤波器信息作为编码信息提供给自适应偏移滤波器141，并且将滤波器系数提供给自适应环路滤波器142。

逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、帧存储器109、开关110、帧内预测单元111和运动补偿单元112执行与图4中的逆量化单元18、逆正交变换单元19、加法单元20、去块滤波器21、帧存储器22、开关23、帧内预测单元24和运动预测/补偿单元25相同的操作，以便对图像进行解码。

具体地，逆量化单元103对来自无损解码单元102的经量化的系数进行逆量化，并且将所得到的系数提供给逆正交变换单元104。

逆正交变换单元104对来自逆量化单元103的系数执行逆正交变换，并且将所得到的残差信息提供给加法单元105。

加法单元105将作为解码目标图像从逆正交变换单元104提供的残差信息与从开关113提供的预测图像相加以进行解码。加法单元105将作为解码结果所获得的图像提供给去块滤波器106，并且还将图像提供给帧存储器109。另外，在不存在从开关113提供的预测图像的情况下，加法单元105将这样的图像作为解码结果所获得的图像提供给去块滤波器106：其为从逆正交变换单元104提供的残差信息，并且还将该图像提供和存储到帧存储器109中。

去块滤波器106对从加法单元105提供的图像执行滤波，以消除块失真。去块滤波器106将所得到的图像提供给自适应偏移滤波器141。

自适应偏移滤波器141具有连续地存储从无损解码单元102提供的偏移的缓冲器。此外，自适应偏移滤波器141基于从无损解码单元102提供的偏移滤波器信息，每lcu对经历由去块滤波器106执行的自适应去块滤波操作的图像执行自适应偏移滤波操作。

更具体地，如果包括在偏移滤波器信息中的存储标志是0，则自适应偏移滤波器141通过使用包括在该偏移滤波器信息中的偏移、以lcu为单位对经历去块滤波操作的图像执行由类型信息表示的类型的自适应偏移滤波操作。

同时，如果包括在偏移滤波器信息中的存储标志是1，则自适应偏移滤波器141以lcu为单位从经历去块滤波操作的图像读取存储在由包括在该偏移滤波器信息中的索引表示的位置处的偏移。此外，自适应偏移滤波器141使用所读取的偏移执行由类型信息表示的类型的自适应偏移滤波操作。自适应偏移滤波器141将经历自适应偏移滤波操作的图像提供给自适应环路滤波器142。

自适应环路滤波器142使用从无损解码单元102提供的滤波器系数每lcu对从自适应偏移滤波器141提供的图像执行自适应环路滤波操作。自适应环路滤波器142将所得到的图像提供给帧存储器109和画面重排缓冲器107。

存储在帧存储器109中的图像通过开关110被读取作为参考图像，并且被提供给运动补偿单元112或帧内预测单元111。

画面重排缓冲器107通过帧来存储从去块滤波器106提供的图像。画面重排缓冲器107以原始的显示顺序代替以编码顺序对所存储的图像的帧进行重排，并且将重排后的图像提供给d/a转换器108。

d/a转换器108对从画面重排缓冲器107提供的基于帧的图像执行d/a转换，并且将该图像作为输出信号输出至图19中的图像调整单元54。

帧内预测单元111使用通过开关110从帧存储器109读取且未由去块滤波器106滤波的参考图像，以片和片段为单位在由从无损解码单元102提供的帧内预测模式信息表示的帧内预测模式下执行帧内预测操作。帧内预测单元111将所得到的预测图像提供给开关113。

运动补偿单元112基于从无损解码单元102提供的用于指定参考图像的信息，以片和片段为单位从帧存储器109中读取由去块滤波器106滤波的参考图像。运动补偿单元112在由帧间预测模式信息指定的最佳帧间预测模式下使用运动矢量和参考图像来执行运动补偿操作。运动补偿单元112将所得到的预测图像提供给开关113。

当从无损解码单元102提供帧内预测模式信息时，开关113将从帧内预测单元111提供的预测图像提供给加法单元105。同时，当从无损解码单元102提供帧间预测模式信息时，开关113将从运动补偿单元112提供的预测图像提供给加法单元105。

[解码装置的操作的描述]

图21是用于说明图19中的解码装置50的显示操作的流程图。

在图21中的步骤s50中，解码装置50的接收单元51接收从图3中的编码装置1发送的编码流，并且将编码流提供给解复用单元52。

在步骤s51中，解复用单元52对例如sps、pps、vui、sei和来自从接收单元51提供的编码流的编码数据进行解复用。解复用单元52将编码数据提供给解码单元53。此外，如果需要，解复用单元52还将sps、pps、vui和sei提供给解码单元53和图像调整单元54。

在步骤s52中，如果需要，解码单元53执行参照例如从解复用单元52提供的sps、pps、vui和sei的解码操作，并且根据hevc技术对从解复用单元52提供的编码数据进行解码。下文将参照图22详细描述该解码操作。

在步骤s53中，图像调整单元54确定包括在从解复用单元52提供的vui中的hdr图像标志是否是1。如上面参照图16所描述的，hdr图像标志是图12中示出的tone_mapping_flag或图13中示出的luminance_dynamic_range_flag。当hdr图像标志在步骤s53中被确定为1时，图像调整单元54确定从解码单元53提供的输出信号是hdr图像。

此外，在步骤s54中，图像调整单元54获得包括在从解复用单元52提供的hdr图像sei中的动态范围特征信息。更具体地，如上面参照图16所描述的，从图8中示出的色调映射sei或图11中示出的亮度动态范围sei获得动态范围特征信息。

在步骤s55中，图像调整单元54基于在步骤s54中所获得的动态范围特征信息将图像的动态范围调整成显示动态范围。该动态范围的调整操作包括例如色调映射操作。图像调整单元54将经调整的图像提供给显示控制单元55。

另外，尽管在步骤s55中大致存在对图像进行调整的两种方法，但是两种操作均是将图像调整成该方法的显示能力的操作。

根据第一方法，当输入比该方法的显示能力高的动态范围的图像时，执行根据该方法的显示能力来减小图像的动态范围的操作。

根据第二方法，当输入比该方法的显示能力低的动态范围的图像时，执行根据该方法的显示能力来增大图像的动态范围的操作。

同时，当在步骤s53中确定hdr图像标志不是1时，跳过步骤s54和s55，并且该操作移动到步骤s56。也就是说，在这种情况下，图像调整单元54将来自解码单元53的图像照原样提供给显示控制单元55。

在步骤s56中，显示控制单元55基于从图像调整单元54提供的hdr图像来生成显示图像，以及将所生成的显示图像提供给显示单元56以在显示单元56上显示该显示图像，并且完成该操作。

图22是用于说明图21中的步骤s52中的解码操作的细节的流程图。

在图22中的步骤s11中，解码单元53的累积缓冲器101接收和存储来自图19中的解复用单元52的基于帧的编码数据。累积缓冲器101将所存储的编码数据提供给无损解码单元102。应当注意的是，以例如cu为单位执行下面将描述的步骤s112至s124的操作。

在步骤s112中，无损解码单元102通过对来自累积缓冲器的编码数据执行无损解码来获得经量化的系数和编码信息。无损解码单元102将经量化的系数提供给逆量化单元103。此外，无损解码单元102将帧内预测模式信息作为编码信息提供给帧内预测单元11，并且将运动矢量、帧间预测模式信息和用于指定参考图像的信息提供给运动补偿单元112。此外，无损解码单元102将帧内预测模式信息或帧间预测模式信息作为编码信息提供给开关113。

更进一步，无损解码单元102将偏移滤波器信息作为编码信息提供给自适应偏移滤波器141，并且将滤波器系数提供给自适应环路滤波器142。

在步骤s113中，逆量化单元103对来自无损解码单元102的经量化的系数进行逆量化，并且将所得到的系数提供给逆正交变换单元104。

在步骤s114中，运动补偿单元112确定是否从无损解码单元102提供帧间预测模式信息。当在步骤s114中确定提供帧间预测模式信息时，该操作移动到步骤s115。

在步骤s115中，运动补偿单元112读取由去块滤波器106滤波的参考图像，并且基于从无损解码单元102提供的运动矢量、帧间预测模式信息和用于指定参考图像的信息来执行运动补偿操作。运动补偿单元112将所得到的预测图像通过开关113提供给加法单元105，并且将该操作移动到步骤s117。

同时，当在步骤s114中确定未提供帧间预测模式时，也就是说，当将帧内预测模式信息提供给帧内预测单元111时，该操作移动至步骤s116。

在步骤s116中，帧内预测单元11使用通过开关110从帧存储器109读取且未由去块滤波器106滤波的参考图像。在由帧内预测模式信息表示的帧内预测模式下执行帧内预测操作。帧内预测单元111通过开关113将作为帧内预测操作的结果而所生成的预测图像提供给加法单元105，并且将操作移动至步骤s117。

在步骤s117中，逆正交变换单元104对来自逆量化单元103的系数执行逆正交变换，并且将所得到的残差信息提供给加法单元。

在步骤s118中，加法单元105将从逆正交变换单元104提供的残差信息与从开关113提供的预测图像相加。加法单元105将所得到的图像提供给去块滤波器106，并且还将该图像提供给帧存储器109。

在步骤s119中，去块滤波器106对从加法单元106提供的图像执行滤波，以消除块失真。去块滤波器106将所得到的图像提供给自适应偏移滤波器41。

在步骤s120中，自适应偏移滤波器41基于从无损解码单元102提供的偏移滤波器信息，每lcu对经历由去块滤波器106执行的去块滤波操作的图像执行自适应偏移滤波操作。自适应偏移滤波器141将经历自适应偏移滤波操作的图像提供给自适应环路滤波器142。

在步骤s121中，自适应环路滤波器142使用从无损解码单元102提供的滤波器系数，每lcu对由自适应偏移滤波器141提供的图像执行自适应环路滤波操作。自适应环路滤波器142将所得到的图像提供给帧存储器109和画面重排缓冲器107。

在步骤s122中，帧存储器109存储还未被滤波且从加法单元105提供的图像以及从去块滤波器106提供的经滤波的图像。存储在帧存储器109中的图像作为参考图像通过开关110被提供给运动补偿单元112或帧内预测单元111。

在步骤s123中，画面重排缓冲器107通过帧来存储由去块滤波器106提供的图像，以原始的显示顺序代替编码顺序对所存储的图像的帧进行重排，并且将经重排的图像提供给d/a转换器108。

在步骤s124中，d/a转换器108对从画面重排缓冲器107提供的基于帧的图像执行d/a转换，并且将该图像作为输出信号输出至图19中的图像调整单元54。此外，操作返回至图21中的步骤s52，然后移动至步骤s53。

如上所述，解码装置50可以对编码数据进行解码并且生成图像，以及当hdr图像标志是1时优选地使用hdr图像sei可靠地再现和显示hdr图像的动态范围。

另外，hdr图像标志可以被包括在另外的nal单位如sps代替vui中。

尽管hevc技术基本上用于上述编码技术，但是该技术是用于显示图像的技术，并且不限于编码技术。因此，该技术不限于hevc技术，并且可以采用其他的编码技术/解码技术。例如，下面将描述的avc技术也可应用于执行编码/解码操作的装置。

<第二实施方式>

[编码装置的第二实施方式的示例结构]

图23是示出了根据作为应用本技术的图像处理装置的编码装置的第二实施方式的示例结构的框图。

在图23中示出的结构中，与图3中的部件相同的部件由与图3中的附图标记相同的附图标记表示。将不再重复已经进行的说明。

图23中的编码装置201的结构与图3中的结构的不同之处在于包括编码单元211代替编码单元2。编码装置201的结构在设置单元3和发送单元4方面与图3中的结构相同。

编码装置201的编码单元211接收例如基于帧的捕获图像的图像的输入作为输入信号。编码单元211根据avc技术对该输入信号进行编码，并且将所得到的编码数据提供给设置单元3。

设置单元3以与avc技术的标准匹配的格式设置图像的动态范围的特征信息。设置单元3根据所设置的特征信息和从编码单元211提供的编码数据生成编码流。设置单元3将该编码流提供给发送单元4。

也就是说，编码装置201与图3中的编码装置的不同之处在于根据avc技术执行编码操作。

[编码单元的示例结构]

图24是示出了图23中的编码单元211的示例结构的框图。

在图24中示出的结构中，与图4中的部件相同的部件由与图4中的附图标记相同的附图标记表示。将不再重复已经进行的说明。

图24中示出的编码单元211包括a/d转换器11、画面重排缓冲器12、算术运算单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17、逆量化单元18、逆正交变换单元19、加法单元20、去块滤波器21、帧存储器22、开关23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26和速率控制单元27。

也就是说，图24中的编码单元211的结构与图4中的结构的不同之处仅在于移除自适应偏移滤波器41和自适应环路滤波器42以及根据avc技术而非hevc技术由无损编码单元16执行编码。因此，编码单元211以块为单位代替以cu为单位执行编码操作。

除了自适应偏移滤波器和自适应环路滤波器的参数以外，无损编码单元16的编码操作目标基本上与图4中的无损编码单元16的编码操作目标相同。即，类似于图4中的无损编码单元16，无损编码单元16从帧内预测单元24获得帧内预测模式信息。此外，无损编码单元16从运动预测/补偿单元25获得帧间预测模式信息、运动矢量和用于指定参考图像的信息。

类似于图4中的无损编码单元16，无损编码单元16对从量化单元15提供的经量化的系数执行无损编码，如可变长度编码(例如cavlc(上下文自适应可变长度编码))或算术编码(cabac(上下文自适应二进制算术编码))。

此外，类似于图4中的无损编码单元16，无损编码单元16对作为与编码有关的编码信息的帧内预测模式信息或帧间预测模式信息、运动矢量、用于指定参考图像的信息、偏移滤波器信息以及滤波器系数执行无损编码。无损编码单元16将经历无损编码的编码信息和系数作为编码数据提供和存储至累积缓冲器17。另外，经历无损编码的编码信息可以是经历无损编码的系数的报头信息。

去块滤波器21对从加法单元20提供的局部解码图像执行滤波，以消除块失真。去块滤波器21将所得到的图像提供和存储至帧存储器22。

然后，存储在帧存储器22中的图像作为参考图像通过开关23被输出至帧内预测单元24或运动预测/补偿单元25。

该技术也可应用于基于avc技术的编码装置201。

[解码装置的第二实施方式的示例结构]

图25是示出了作为应用本技术并且对从图23中的编码装置201发送的编码流进行解码的图像处理装置的解码装置的第二实施方式的示例结构的框图。

在图25中示出的结构中，与图19中的部件相同的部件由与图19中的附图标记相同的附图标记表示。将不再重复已经进行的说明。

图25中的解码装置251的结构与图19中的结构的不同之处在于包括解码单元261代替解码单元53。解码装置251的结构在包括接收单元51、解复用单元52、图像调整单元54、显示控制单元55和显示单元56方面与图19中的结构相同。

接收单元51接收从图23中的编码装置201发送和根据avc技术编码的编码流，并且将该编码流提供给解复用单元52。解复用单元52对例如根据avc技术的标准所设置的动态范围的特征信息和来自从接收单元51提供的编码流的编码数据进行解复用。解复用单元52将编码数据提供给解码单元261。此外，如果需要，解复用单元52还将动态范围的特征信息提供给解码单元261和图像调整单元54。

如果需要，解码单元261参照例如从解复用单元52提供的sps、pps、vui和sei，并且根据avc技术对从解复用单元52提供的编码数据进行解码。解码单元261将如由解码所获得的hdr图像的图像作为输出信号提供给图像调整单元54。

如果需要，图像调整单元54基于从解复用单元52提供的动态范围的特征信息对作为输出信号从解码单元261提供的hdr图像的动态范围进行调整。此外，图像调整单元54将hdr图像作为输出信号提供给显示控制单元55。

也就是说，解码装置251与图19中的解码装置50的不同之处仅在于在根据avc技术执行解码操作。

[解码单元的示例结构]

图26是示出了图25中的解码单元261的示例结构的框图。

在图26中示出的部件中，与图20中的部件相同的部件由与图20中的附图标记相同的附图标记表示。将不再重复已经进行的说明。

图26中的解码单元261包括累积缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、画面重排缓冲器107、d/a转换器108、帧存储器109、开关110、帧内预测单元111、运动补偿单元112和开关113。

图26中的解码单元261的结构与图20中的结构的不同之处仅在于移除自适应偏移滤波器141和自适应环路滤波器142和根据avc技术代替hevc技术在无损解码单元102中执行解码。因此，解码单元261以块为单位代替以cu为单位执行解码操作。

除了自适应偏移滤波和自适应环路滤波器的参数以外，无损解码单元102的解码操作目标基本上与图20中的无损解码单元102的解码操作目标相同。即，类似于图20中的无损解码单元102，无损解码单元102通过对来自累积缓冲器101的编码数据执行无损解码(如可变长度解码或算术解码)来获得经量化的系数和编码信息。无损解码单元102将经量化的系数提供给逆量化单元103。

此外，类似于图20中的无损解码单元102，无损解码单元102将帧内预测模式信息作为编码信息提供给帧内预测单元111，并且将运动矢量、帧间预测模式信息和用于指定参考图像的信息提供给运动补偿单元112。此外，无损解码单元102将帧内预测模式信息或帧间预测模式信息作为编码信息提供给开关113。

去块滤波器106对从加法单元105提供的图像执行滤波，以消除块失真。去块滤波器106将所得到的图像提供给帧存储器109和画面重排缓冲器107。

该技术也可应用于基于avc技术的解码装置251。

另外，本公开内容可以被应用于当经由网络介质(如卫星广播、有线电视、因特网或便携式电话装置)接收如以例如hevc技术通过正交变换(如离散余弦变换和运动补偿)所压缩的图像信息(比特流)时所使用的图像编码装置和图像解码装置。此外，本技术也可应用于在存储介质(如光盘或磁盘或闪速存储器)上所使用的图像编码装置和图像解码装置。

<第三实施方式>

[对多视图图像编码/多视图图像解码的应用]

上述一系列操作可应用于多视图图像编码/多视图图像解码。图27是示出了多视图图像编码技术的示例的图。

如图27中所示，多视图图像包括来自多个视图的图像，并且来自多个视图中的一个预定视图的图像被指定为基本视图图像。除了基本视图图像以外的每个视图图像用作非基本视图图像。

当执行图27中的多视图图像编码时，可以在每个视图(相同的视图)中设置动态范围的特征信息。此外，在每个视图(不同的视图)中，还可以共享设置在其他视图中的动态范围的特征信息。

在这种情况下，设置在基本视图中的动态范围的特征信息用于至少一个非基本视图中。可替代地，例如，设置在非基本视图(view_id(视图_id)＝i)中的动态范围的特征信息用于基本视图和非基本视图(view_id＝j)中的至少一个视图中。

通过这种方式，可以精确地再现图像的动态范围。

[多视图图像编码装置]

图28是示出了执行上述多视图图像编码的多视图图像编码装置的图。如图28中所示，多视图图像编码装置600具有编码单元601、编码单元602和复用单元603。

编码单元601对基本视图图像进行编码，并且生成基本视图图像编码流。编码单元602对非基本视图图像进行编码，并且生成非基本视图图像编码流。复用单元603对由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流进行复用，并且生成多视图图像编码流。

编码装置1(图3)和编码装置201(图23)可应用于该多视图图像编码装置600的编码单元601和编码单元602。在这种情况下，多视图图像编码装置600对由编码单元601设置的动态范围的特征信息和由编码单元602设置的动态范围的特征信息进行设置和发送。

另外，如上所述，由编码单元601设置的动态范围的特征信息可以被设置成在编码单元601与编码单元602之间共享并且被发送。另外，由编码单元602整体地设置的动态范围的特征信息可以被设置成在编码单元601与编码单元602之间共享并且被发送。

[多视图图像解码装置]

图29是执行上述多视图图像解码的多视图图像解码装置的图。如图29中所示，多视图图像解码装置610具有逆复用单元611、解码单元612和解码单元613。

逆复用单元611对通过对基本视图图像编码流和非基本视图图像编码流进行复用而获得的多视图图像编码流进行逆复用，并且对基本视图图像编码流和非基本视图图像编码流进行解复用。解码单元612对从逆复用单元611解复用的基本视图图像编码流进行解码，并且获得基本视图图像。解码单元613对从逆复用单元611解复用的非基本视图图像编码流进行解码，并且获得非基本视图图像。

解码装置50(图19)和解码装置251(图25)可应用于该多视图图像解码装置610的解码单元612和解码单元613。在这种情况下，多视图图像解码装置610使用由编码单元601设置且由解码单元612解码的动态范围的特征信息以及由编码单元602设置且由解码单元613解码的动态范围的特征信息来执行操作。

另外，如上所述，由编码单元601(或编码单元602)设置的动态范围的特征信息可以被设置成在编码单元601与编码单元602之间共享并且被发送。在这种情况下，多视图图像解码装置610使用由编码单元601(或编码单元602)设置且由解码单元612(或解码单元613)解码的动态范围的特征信息来执行操作。

<6.第四实施方式>

[对分层图像编码/分层图像解码的应用]

上述一系列操作可应用于分层图像编码/分层图像解码。图30示出了多视图图像编码技术的示例。

如图30中所示，分层图像包括多个层(分辨率)的图像，并且多个分辨率中的一个预定的层的图像被指定为基本层图像。除了基本层图像以外的每个层图像用作非基本层图像。

当执行如图30中的分层图像编码(空间可伸缩性)时，可以在每个层(相同的层)中设置动态范围的特征信息。此外，在每个层(不同的层)中，可以共享设置在另外的层中的动态范围的特征信息。

在这种情况下，设置在基本层中的动态范围的特征信息用于至少一个非基本层中。可替代地，例如，设置在非基本层(layer_id(层_id)＝i)中的动态范围的特征信息用于基本层和非基本层(layer_id＝j)中的至少一个层中。

通过这种方式，可以精确地再现图像的动态范围。

[分层图像编码装置]

图31是示出了执行上述分层图像编码的分层图像编码装置的图。如图31中所示，分层图像编码装置620具有编码单元621、编码单元622和复用单元623。

编码单元621对基本层图像进行编码，并且生成基本层图像编码流。编码单元622对非基本层图像进行编码，并且生成非基本层图像编码流。复用单元623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行复用，并且生成分层图像编码流。

编码装置1(图3)和编码装置201(图23)可应用于该分层图像解码装置620的编码单元621和编码单元622。在这种情况下，分层图像编码装置620对由编码单元621设置的动态范围的特征信息和由编码单元602设置的动态范围的特征信息进行设置和发送。

另外，如上所述，由编码单元621设置的动态范围的特征信息可以被设置成在编码单元621与编码单元622之间共享并且被发送。相对地，由编码单元622设置的动态范围的特征信息可以被设置成在编码单元621与编码单元622之间共享并且被发送。

[分层图像解码装置]

图32是示出了执行上述分层图像解码的分层图像解码装置的图。如图32中所示，分层图像解码装置630具有逆复用单元631、解码单元632和解码单元633。

逆复用单元631对通过对基本层图像编码流和非基本层图像编码流进行复用所获得的分层图像编码流进行逆复用，并且对基本层图像编码流和非基本层图像编码流进行解复用。解码单元632对由逆复用单元631解复用的基本层图像编码流进行解码，并且获得基本层图像。解码单元633对由逆复用单元631提取的非基本层图像编码流进行解码，并且获得非基本层图像。

解码装置50(图19)和解码装置251(图25)可应用于该分层图像解码装置630的解码单元632和解码单元633。在这种情况下，分层图像解码装置630使用由编码单元621设置且由解码单元632解码的动态范围的特征信息以及由编码单元622设置且由解码单元633解码的动态范围的特征信息来执行操作。

另外，如上所述，由编码单元621(或编码单元622)设置的动态范围的特征信息可以被设置成在编码单元621与编码单元622之间共享并且被发送。在这种情况下，分层图像解码装置630使用由编码单元621(或编码单元622)设置且由解码单元632(或解码单元633)解码的动态范围的特征信息来执行操作。

<第五实施方式>

[计算机的示例结构]

上述一系列操作可以由硬件执行，并且也可以由软件执行。当该一系列操作由软件执行时，形成该软件的程序被安装在计算机中。在此，计算机可以是合并到专用硬件的计算机，或者可以是当其中安装各种程序时可以执行各种功能的通用个人计算。

图33是示出了根据程序执行上述一系列操作的计算机的硬件的示例结构的框图。

在计算机800中，cpu(中央处理单元)801、rom(只读存储器)802和ram(随机存取存储器)803通过总线804相互连接。

输入/输出接口805还连接至总线804。输入单元806、输出单元807、存储单元808、通信单元809和驱动器810连接至输入/输出接口805。

输入单元806由键盘、鼠标、麦克风等形成。输出单元807由显示器、扬声器等形成。存储单元808由硬盘、非易失性存储器等形成。通信单元809由网络接口等形成。驱动器810驱动可移动介质811，如磁盘、光盘、磁光盘或半导体存储器。

在具有上述结构的计算机中，cpu801经由输入/输出接口805和总线804将存储在存储单元808中的程序加载到ram803中并且执行该程序，使得执行上述一系列操作。

待由计算机800(cpu801)执行的程序可以被记录在例如作为要设置的封装介质的可移动介质811上。可替代地，可以经由有线/无线传输介质如局域网、因特网或数字卫星广播来提供程序。

在该计算机中，程序可以通过将可移动介质811附接至驱动器810而经由输入/输出接口805被安装在存储单元808中。此外，程序可以通过有线或无线传输介质由通信单元809接收，并且被安装在存储单元808中。另外，程序可以被预先安装在rom802和存储单元808中。

待由计算机执行的程序可以是用于根据在该说明书中所描述的次序按时间顺序执行处理的程序，或者是用于并行或如有必要时如响应于调用来执行处理的程序。

在该说明书中，在要记录在记录介质中的程序中书写的步骤包括：如不必须按时间顺序而并行或彼此独立地被执行的操作以及根据本文中所描述的次序按时间顺序被执行的操作。

在此，在该说明书中，系统表示由多个装置形成的整体设备。

此外，在上述示例中，被描述为一个装置(或一个处理单元)的任何结构可以被划分成两个或更多个装置(或处理单元)。相对地，被描述为两个或更多个装置(或处理单元)的任何结构可以被组合以形成一个装置(或一个处理单元)。此外，当然可以将除了上述结构以外的结构添加到装置中的任何装置(或处理单元中的任何处理单元)的结构中。此外，只要整体系统的结构和功能基本上保持相同，则装置(或处理单元)的结构的一部分可以被合并到另外的装置(另外的处理单元)中。也就是说，本技术的实施方式不限于上述实施方式，并且在不偏离本技术的范围的情况下，可以对其进行各种修改。

根据上述实施方式的图像编码装置和图像解码装置可以被应用于各种电子装置如用于卫星广播、有线电视的有线广播、因特网上的分发以及通过蜂窝通信到终端的分发的发射器和接收器；在介质如光盘、磁盘和闪存中记录图像的记录装置或从这些存储介质再现图像的再现装置。在下文中，将描述四个应用示例。

<应用示例>

[第一应用示例：电视接收器]

图34示出了应用上述实施方式的电视装置的示意性结构的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从在天线901处接收的广播信号提取期望的信道信号并且对所提取的信号进行解调。然后，调谐器902将作为解调结果而获取的编码比特流输出至解复用器903。即，调谐器902具有接收编码图像的编码流的、电视装置900中的发射器的作用。

解复用器903从编码比特流中分离要观看的节目的视频流和音频流，并且将每个分离流输出至解码器904。解复用器903还从编码比特流提取辅助数据如epg(电子节目指南)并且将所提取的数据提供给控制单元910。另外，当编码比特流被扰乱时，解复用器903可以执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。此外，解码器904将通过解码操作所生成的视频数据输出至视频信号处理单元905。另外，解码器904将通过解码操作所生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并且将视频图像显示在显示单元906上。此外，视频信号处理单元905还可以在显示单元906上显示通过网络提供的应用画面。此外，视频信号处理单元905还可以根据设置对视频数据执行另外的操作如去噪。更进一步，视频信号处理单元905可以生成gui(图形用户界面)图像如菜单、按钮或光标，并且将所生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905提供的驱动信号驱动，并且在显示装置(如液晶显示器、等离子体显示器或oeld(有机电致发光显示器)(有机el显示器))的显示屏幕上显示视频图像或图像。

音频信号处理单元907对从解码器904输入的音频数据执行再现操作如d/a转换和放大，并且从扬声器908输出音频。音频信号处理单元907还可以对音频数据执行另外的操作如去噪。

外部接口909是将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。这表示：外部接口909具有接收编码图像的编码流的、电视装置900的发射器的作用。

控制单元910包括例如cpu的处理器以及例如ram和rom的存储器。存储器存储由cpu执行的程序、程序数据、epg数据以及通过网络所获取的数据。存储在存储器中的程序在电视装置900启动时由cpu读取和执行。通过执行该程序，cpu根据例如从用户接口911输入的操作信号来控制电视装置900的操作。

用户接口911连接至控制单元910。用户接口911具有例如用户用于操作电视装置900的按钮和开关以及接收远程控制信号的接收单元。用户接口911通过这些部件来检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。

在具有该结构的电视装置900中，解码器904具有根据上述实施方式的图像解码装置的功能。通过这种方式，当电视装置900对图像进行解码时，可以精确地再现图像的动态范围。

[第二应用示例：便携式电话装置]

图35示出了应用上述实施方式的便携式电话装置的示意性结构的示例。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931相互连接。

便携式电话装置920执行各种操作，诸如例如语音通信模式、数据通信模式、图像捕获模式和视频电话模式的各种模式下的发送/接收音频信号、发送/接收电子邮件和图像数据、捕获图像和记录数据。

在音频通信模式下，在麦克风925处生成的模拟音频信号被提供给音频编解码器923。然后，音频编解码器923将模拟音频信号转换成音频数据，以及对转换后的音频数据执行a/d转换和压缩。此外，音频编解码器923将压缩后的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制，并且生成传输信号。此外，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922对通过天线921接收的无线电信号进行放大和执行频率转换，并且获得接收信号。更进一步，通信单元922对接收信号进行解调和解码，生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923将音频数据解压缩和对其执行d/a转换，并且生成模拟音频信号。此外，音频编解码器923将所生成的音频信号提供给扬声器924，并且输出音频。

此外，在数据通信模式下，例如，控制单元931根据通过操作单元932的用户操作来生成配置电子邮件的文本数据。更进一步，控制单元931还将文本显示在显示单元930上。此外，控制单元931根据通过操作单元932的来自用户的传输指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制，并且生成传输信号。此外，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922还对通过天线921接收的无线电信号进行放大和执行频率转换，并且获得接收信号。更进一步，通信单元922对接收信号进行解调和解码，恢复电子邮件数据并且将已恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示单元930上，并且将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括任意可读且可写的存储介质。例如，存储介质可以是内置存储介质如ram或闪存，并且可以是外部附接的存储介质如硬盘、磁盘、磁光盘、光盘、usb(通用串行总线)存储器或存储卡。

此外，在图像捕获模式下，例如，相机单元926捕获对象的图像，生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码，并且将编码流存储在记录/再现单元929的存储介质中。

此外，在视频电话模式下，例如，复用/分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信单元922。通信单元922对该流进行编码和调制，并且生成传输信号。此外，通信单元922将所生成的传输信号通过天线921发送至基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大和执行频率转换，并且获得接收信号。这些传输信号和接收信号可以包括编码比特流。此外，通信单元922对接收信号进行解调和解码，对流进行恢复，并且将已恢复的流输出至复用/分离单元928。复用/分离单元928从输入流分离视频流和音频流，并且将视频流和音频流输出至图像处理单元927和将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码，并且生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩和执行d/a转换，并且生成模拟音频信号。此外，音频编解码器923将所生成的音频信号提供给扬声器924，并且输出音频。

在具有该结构的便携式电话装置920中，图像处理单元927具有根据上述实施方式的图像编码装置和图像解码装置的功能。通过这种方式，当在便携式电话装置920中对图像进行编码和解码时，可以精确地再现图像的动态范围。

[第三应用示例：记录/再现装置]

图35示出了应用上述实施方式的记录/再现装置的示意性结构的示例。记录/再现装置940对例如接收的广播节目的音频数据和视频数据进行编码并且将该数据记录在记录介质中。此外，记录/再现装置940还可以对例如从另外的装置获得的音频数据和视频数据进行编码，并且将该数据记录在记录介质中。此外，记录/再现装置940根据例如用户指令在监视器和扬声器上再现记录在记录介质中的数据。在这种情况下，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、hdd(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、osd(屏幕上显示)单元948、控制单元949和用户接口950。

调谐器941从在天线(未示出)处接收的广播信号提取期望的信道信号，并且对所提取的信号进行解调。此外，调谐器941将通过解调所获取的编码比特流输出至选择器946。即，调谐器941在记录/再现装置940中具有发射器的作用。

外部接口942是将记录/再现装置940与外部装置或网络连接的接口。外部接口942由ieee1394接口、网络接口单元、usb接口或闪存接口等形成。例如，通过外部接口942接收的视频数据和音频数据被输入至编码器943。即，外部接口942在记录/再现装置940中具有发射器的作用。

当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。此外，编码器943将编码比特流输出至选择器946。

hdd944将通过对内容数据如视频图像和音频进行压缩所获得的编码比特流、各种程序和其他数据记录在内置硬盘中。此外，当再现视频图像和音频时，hdd944从硬盘读取这些数据项。

盘驱动器945将数据记录在附接的记录介质中以及从附接的记录介质读取数据。附接至盘驱动器945的记录介质是例如dvd光盘(如dvd-视频、dvd-ram、dvd-r、dvd-rw、dvd+r和dvd+rw)或蓝光(注册商标)光盘。

在记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出至hdd944或盘驱动器945。此外，当再现视频和音频时，选择器946将从hdd944或盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码并且生成视频数据和音频数据。此外，解码器947将所生成的视频数据输出至osd948。此外，解码器947将所生成的音频数据输出至外部扬声器。

osd948再现从解码器947输入的视频数据并且显示视频图像。osd948还可以将gui图像如菜单、按钮或光标叠加在要显示的视频图像上。

控制单元949具有例如cpu的处理器以及例如ram和rom的存储器。存储器存储由cpu执行的程序以及程序数据。例如，在记录/再现装置904启动时，存储在存储器中的程序由cpu读取和执行。通过执行该程序，cpu根据例如从用户接口950输入的操作信号来控制记录/再现装置940的操作。

用户接口950连接至控制单元949。用户接口950具有例如用户用于操作记录/再现装置940的按钮和开关以及接收远程控制信号的接收单元。用户接口950通过这些部件来检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元949。

在具有该结构的记录/再现装置940中，编码器943具有根据上述实施方式的图像编码装置的功能。另外，解码器947具有根据上述实施方式的图像解码装置的功能。通过这种方式，当在记录/再现装置940中对图像进行编码和解码时，可以精确地再现图像的动态范围。

[第四应用示例：成像装置]

图37示出了应用上述实施方式的成像装置的示意性结构的示例。成像装置960捕获对象的图像，生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、osd969、控制单元970、用户接口971和总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、osd969和控制单元970相互连接。

光学块961具有聚焦透镜、光圈等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962具有图像传感器如ccd(电荷藕合器件)或cmos(互补金属氧化物半导体)，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。此外，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号操作如拐点校正、伽马校正和色彩校正。信号处理单元963将经历相机信号操作的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且生成编码数据。此外，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。此外，图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。更进一步，图像处理单元964将所生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965，并且显示图像。另外，图像处理单元964可以将从osd969获取的显示数据叠加在要输出至显示单元965的图像上。

osd969生成gui图像如菜单、按钮或光标，并且将所生成的图像输出至图像处理单元964。

外部接口966被形成为例如usb输入/输出终端。例如，当打印图像时，外部接口966将成像装置960与打印机连接。此外，当需要时，将驱动器连接至外部接口966。将驱动器与可移除介质如磁盘或光盘附接，并且从可移除介质读取的程序可以被安装在成像装置960中。此外，外部接口966包括连接至网络如lan或因特网的网络接口。即，外部接口966在成像装置960中具有发射器的作用。

附接至介质驱动器968的记录介质可以是任意可读/可写的可移除介质如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以被附接至介质驱动器968并且被固定，并且非便携式存储单元如内置盘驱动器或ssd(固态驱动器)可以被形成。

控制单元970包括例如cpu的处理器以及例如ram和rom的存储器。存储器存储由cpu执行的程序和程序数据。在例如成像装置960启动时，存储在存储器中的程序由cpu读取和执行。通过执行该程序，cpu根据例如从用户接口971输入的操作信号来控制成像装置960的操作。

用户接口971连接至控制单元970。用户接口971具有例如用户用于操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，生成操作信号，并且将所生成的操作信号输出至控制单元970。

在具有该结构的成像装置960中，图像处理单元964具有根据上述实施方式的图像编码装置和图像解码装置的功能。通过这种方式，当在成像装置960中对图像进行编码和解码时，可以精确地再现图像的动态范围。

应当注意的是，本技术的实施方式不限于上述实施方式，并且在不脱离本发明的范围的情况下，可以对其进行各种修改。

例如，图19的显示控制单元55和显示单元56可以被设置在解码装置50外部。

此外，本技术可以采用在多个装置之间通过网络共享一个功能并且协作地执行操作的云计算的配置。

此外，上述流程图中所描述的每个步骤可以由一个装置执行或者可以在多个装置之间被共享并且被执行。

更进一步，当一个步骤包括多个操作时，包括在该一个步骤中的多个操作可以由一个装置执行或者在多个装置之间被共享并且被执行。

另外，在该说明书中已经对其中多种信息片段(如动态范围的特征信息)被与编码流复用并且被从编码侧发送到解码侧的示例进行了描述。然而，发送这些信息片段的方法不限于该示例。例如，这些信息片段可以在不与编码比特流复用的情况下被发送或记录为与编码比特流相关联的不同的数据。同时，术语“关联”表示在解码时将包括在比特流中的图像(或图像的一部分如片段或块)和与该图像相关联的信息关联。即，该信息可以在与图像(或比特流)的传输信道不同的传输信道上被发送。此外，信息可以被记录在与图像(或比特流)的记录介质不同的记录介质(或单个记录介质的另外的记录区域)中。此外，可以以任意单位(如多个帧、一个帧或帧的一部分)将信息与图像(或比特流)彼此相关联。

更进一步，在本实施方式中，标志不限于二选一如存在或不存在(0或1)，并且包括使得能够从多个选项中识别具体项的信息。

虽然已经参照附图详细描述了本公开内容的适当的实施方式，但是本公开内容不限于这些示例。显然，本公开内容所属的技术领域中的具有常识的人可以在权利要求所描述的技术思想的范围内做出各种修改示例和校正示例，并且这些示例当然也属于本公开内容的技术范围。

另外，本技术还可以采用下面的结构。

(1)一种图像处理装置，具有：

编码单元，对图像执行编码操作并且生成比特流；

设置单元，给捕获图像设置表示要分配给显影图像的动态范围的特征的动态范围特征信息；以及

发送单元，发送由编码单元生成的比特流和由设置单元设置的动态范围特征信息。

(2)根据上述(1)所述的图像处理装置，其中，设置单元给捕获图像设置表示要分配给显影图像的动态范围的代码的代码信息作为动态范围特征信息。

(3)根据上述(1)或(2)所述的图像处理装置，其中，设置单元给捕获图像的白电平设置表示要分配给显影图像的代码的代码信息作为动态范围特征信息。

(4)根据上述(1)至(3)中任一项所述的图像处理装置，其中，设置单元给捕获图像的白电平设置表示要分配给显影图像的代码的白电平代码信息作为动态范围特征信息。

(5)根据上述(1)至(4)中任一项所述的图像处理装置，其中，设置单元设置表示要分配给显影图像的白电平的代码的最大值的最大白电平代码信息作为动态范围特征信息。

(6)根据上述(1)至(5)中任一项所述的图像处理装置，其中，设置单元设置表示显影图像的黑电平的代码的黑电平代码信息作为动态范围特征信息。

(7)根据上述(1)至(6)中任一项所述的图像处理装置，其中，设置单元设置表示显影图像的灰电平的代码的灰电平代码信息作为动态范围特征信息。

(8)根据上述(1)至(7)中任一项所述的图像处理装置，其中，设置单元设置表示捕获图像的白电平的最大值的最大白电平信息作为动态范围特征信息。

(9)根据上述(1)至(8)中任一项所述的图像处理装置，其中，设置单元设置表示通过对比特流执行解码操作所获得的图像的感兴趣区域的亮度的范围的信息作为动态范围特征信息。

(10)根据上述(1)至(9)中任一项所述的图像处理装置，其中，设置单元设置表示通过对比特流执行解码操作所获得的图像的感兴趣区域的位置和偏移的信息作为动态范围特征信息。

(11)根据上述(1)至(10)中任一项所述的图像处理装置，其中，发送单元发送动态范围特征信息作为用于显示通过对比特流执行解码操作所获得的图像的辅助信息。

(12)根据上述(1)至(10)中任一项所述的图像处理装置，其中，发送单元发送动态范围特征信息作为通过对现有辅助信息进行扩展所获得的扩展辅助信息。

(13)根据上述(1)至(10)中任一项所述的图像处理装置，其中，发送单元发送动态范围特征信息作为tone_mapping_information(“色调_映射_信息”)sei(补偿增强信息)。

(14)根据上述(1)至(10)中任一项所述的图像处理装置，其中，发送单元通过针对“色调_映射_信息”sei对用于发送动态范围特征信息的model_id(“模型_id”)进行扩展，并且发送动态范围特征信息作为sei。

(15)根据上述(1)至(10)中任一项所述的图像处理装置，其中，发送单元发送动态范围特征信息作为通过序列表示图像的可用性的vui(视频可用性信息)。

(16)根据上述(1)至(15)中任一项所述的图像处理装置，其中，编码单元根据符合avc/h.264的编码技术对图像执行编码操作。

(17)一种图像处理方法，包括：

对图像执行编码操作并且生成比特流；

给捕获图像设置表示要分配给显影图像的动态范围的特征的动态范围特征信息；以及

发送所生成的比特流和所设置的动态范围特征信息。

(18)一种图像处理装置，具有：

接收单元，接收比特流和表示通过对比特流执行解码操作所获得的图像的动态范围的特征的动态范围特征信息；

解码单元，对由接收单元接收的比特流执行解码操作并且生成图像；以及

图像调整单元，利用由接收单元接收的动态范围特征信息，并且对由解码单元生成的图像的动态范围进行调整。

(19)根据上述(18)所述的图像处理装置，其还具有接收单元，该接收单元接收比特流和动态范围特征信息，并且

解码单元对由接收单元接收的比特流执行解码操作，以及图像调整单元利用由接收单元接收的动态范围特征信息并且对由解码单元生成的图像的动态范围进行调整。

(20)一种图像处理方法，包括：

接收比特流和表示通过对比特流执行解码操作所获得的图像的动态范围的特征的动态范围特征信息；

对所接收的比特流执行解码操作，并且生成图像；以及

利用所接收的动态范围特征信息，并且对所生成的图像的动态范围进行调整。

本公开内容包括与于2012年8月22日提交日本专利局的日本优先权专利申请jp2012-183164和于2012年6月29日提交日本专利局的日本优先权专利申请jp2012-147885中所公开的主题相关的主题，其全部内容在此通过引用合并到本文中。

[附图标记列表]

1编码装置

2编码单元

3设置单元

4发送单元

50解码装置

51接收单元

52解复用单元

53解码单元

54图像调整单元

55显示控制单元

56显示单元

201编码装置

211编码单元

251解码装置

261解码单元