解码装置和编码装置的制作方法

本发明申请是申请日期为2013年3月27日、申请号为“201380018043.6”、发明名称为“解码装置和解码方法以及编码装置和编码方法”的发明专利申请的分案申请。

本技术涉及解码装置和解码方法以及编码装置和编码方法，并且具体地涉及如下的解码装置和解码方法以及编码装置和编码方法，当其中包装多个图像的包装图像的编码流被解码并显示时，使得构成包装图像的各图像能够被可靠地显示。

背景技术：

在传统的高级视频(avc)标准中，为了指示要编码的图像是其中多个图像被包装在一帧图像中的包装图像，使用了帧包装布置补充增强信息(sei)。然而，在avc标准中，作为与编码相关的附加信息的sei是提供情报的信息。因此是否使用sei执行处理取决于解码装置。

例如，当通过将两个图像中的一个布置在左半部分并且将另一个布置在右半部分来执行包装的并排系统所包装的3d(三维)显示包装图像的编码流被解码时，使用sei的2d(二维)显示解码装置基于帧包装布置sei对3d显示包装图像的画面进行划分。随后解码装置通过显示布置在画面的左半部分的左眼图像或右眼图像来执行2d显示。

此外，使用sei的3d显示解码装置基于帧包装布置sei对3d显示包装图像的画面进行划分。解码装置随后通过将布置在画面的左半部分的图像显示为左眼图像或右眼图像来执行3d显示，并且显示布置在画面的右半部分的图像作为另一图像。

然而，不使用sei的2d显示解码装置不能确定编码图像是否是包装图像，并且按原样显示3d显示包装图像。结果，显示如下2d图像，其中左眼图像或右眼图像中的一个布置在画面的左半部分上，并且另一图像布置在画面的右半部分上。

因此，在不使用sei的2d显示解码装置中，为了仅显示构成包装图像的左眼图像或右眼图像中的一个，已提出了一种使用裁切的技术。

在该技术中，例如，指示是否针对包装图像执行裁切的帧裁切标志(frame_cropping_flag)以及包括作为裁切位置的左眼图像的位置的裁切信息被包括在序列参数集合(sps)等中，并且被传送到解码装置。

在该情况下，2d显示解码装置基于裁切信息从包装图像裁切并显示左眼图像，从而执行2d显示，而与是否使用sei无关。

然而，裁切信息包括在sps中，并且sps是标准上的强制信息。因此，甚至使用sei的3d显示解码装置需要基于裁切信息从包装图像裁切左眼图像。结果，甚至使用sei的3d显示解码装置仅显示左眼图像，并且不能执行3d显示。

因此，使用sei的3d图像解码装置已被开发。3d解码装置在根据帧包装布置sei已认识到要编码的图像是包装图像时忽略裁切信息并且基于帧包装布置sei裁切构成包装图像的图像。该解码装置可以通过将裁切图像分别显示为左眼图像和右眼图像来执行3d显示。

然而，忽略sps中包括的裁切信息的处理是违反标准的处理，并且因此不能确保3d显示。

同时，当前，为了从h.264/avc进一步提高编码效率，称为高效视频编码(hevc)的编码系统的标准化正在被作为itu-t和iso/iec的联合标准化实体的联合协作团队-视频编码(jctvc)推进。对于hevc标准，作为首个草案规范的委员会草案已于2012年2月发布(例如，参见非专利文献1)。

引用文献列表

非专利文献

非专利文献1：benjaminbross,woo-jinhan,jens-rainerohm,garyj.sullivan,thomaswiegand,"highefficiencyvideocoding(hevc)textspecificationdraft6",jctvc-h1003ver.20,2012.2.17

技术实现要素：

本发明要解决的问题

如上文所述，在传统标准下，使用sei的2d显示解码装置和不使用sei的2d显示解码装置在不违反标准的情况下使用3d显示包装图像来执行2d显示，并且使用sei的3d显示解码装置不能使用3d显示包装图像来执行3d显示。就是说，在传统下，当解码并显示包装图像的编码流时，解码装置不能可靠地显示构成包装图像的期望图像。

考虑到前述内容实现了本技术，并且本技术使得当在解码并显示包装图像的编码流时能够可靠地显示构成包装图像的图像。

对问题的解决方案

根据本技术的第一方面的一种解码装置包括：解码单元，被配置成对编码数据进行解码，编码数据是其中多个图像被包装的编码的包装图像，并且解码单元被配置成生成包装图像；以及控制单元，被配置成基于与包装相关的包装信息来识别构成解码单元生成的包装图像的每个图像，当显示包装图像时优先使用包装信息。

根据本技术的第一方面的解码方法与根据本技术的第一方面的解码装置对应。

在本技术的第一方面中，基于与包装相关的包装信息识别构成包装图像的图像，当通过对其中多个图像被包装的包装图像进行编码而获得的编码数据被解码并且生成包装图像时，优先使用包装信息，并且显示包装图像。

根据本技术的第二方面的一种编码装置包括：编码单元，被配置成对其中包装多个图像的包装图像进行编码，并且生成编码数据；设定单元，被配置成设定与包装相关的包装信息，当显示包装图像时优先使用包装信息；以及传送单元，被配置成传送编码单元生成的编码数据以及设定单元设定的包装信息。

根据本技术的第二方面的编码方法与根据本技术的第二方面的编码装置对应。

在本技术的第二方面中，设定与包装相关的包装信息，当其中多个图像被包装的包装图像被编码并且生成编码数据时优先使用包装信息，并且显示包装图像，并且传送编码数据和包装信息。

注意，第一方面的解码装置和第二方面的编码装置可以通过计算机执行程序来实现。

此外，为了实现第一方面的解码装置和第二方面的编码装置，可以通过经由传送介质进行传送或者记录在记录介质上来提供计算机执行的程序。

此外，第一方面的解码装置和第二方面的编码装置可以是独立的装置，或者可以是构成单个装置的内部模块。

此外，根据本技术提供了一种解码装置，包括：接收单元，被配置成接收包括编码图像数据和包装信息的编码数据，包装信息与其中多个图像被包装的编码包装图像相关；以及解码单元，被配置成对编码数据解码并且生成包装图像，其中，解码装置被配置成基于包装信息确定通过裁切包装图像的图像来获得包括多个图像中的一个图像的图像还是通过裁切包装图像的图像来获得包括多个图像的图像。

此外，根据本技术还提供了一种编码装置，包括：编码单元，被配置成对其中多个图像被包装的包装图像进行编码，并且生成包括编码图像数据和与编码包装图像相关的包装信息的编码数据；设定单元，被配置成设定包装信息；以及传送单元，被配置成传送编码单元生成的编码数据。

本发明的效果

根据本技术的第一方面，当解码和显示包装图像的编码流时，可以可靠地显示构成包装图像的图像。

根据本技术的第二方面，可以生成包装图像的编码流，使得当解码和显示包装图像的编码流时，可以可靠地显示构成包装图像的图像。

附图说明

图1是图示被应用本技术的编码装置的第一实施例的配置示例的框图。

图2是图示图1的编码单元的配置示例的框图。

图3是图示vui的语法的示例的示图。

图4是图示帧包装sei的语法的示例的示图。

图5是描述图4的模式信息的示图。

图6是描述图4的类型信息的示图。

图7是描述图4的位置信息的示图。

图8是图示裁切区域的位置的示图。

图9是图示位置信息的语法的另一示例的示图。

图10是描述图9的位置信息的示例的示图。

图11是图示位置信息的语法的又一示例的示图。

图12是描述图11的位置信息的示例的示图。

图13是图示帧包装sei的语法的另一示例的示图。

图14是图示sps的语法的一部分的示例的示图。

图15是描述图1的编码装置的生成处理的流程图。

图16是描述图15的步骤s1的编码处理的细节的流程图。

图17是描述图15的编码处理的细节的流程图。

图18是图示被应用本技术的解码装置的第一实施例的配置示例的框图。

图19是图示图18的解码单元的配置示例的框图。

图20是描述图18的解码装置的显示处理的流程图。

图21是描述图20的解码处理的细节的流程图。

图22是图示被应用本技术的编码装置的第二实施例的配置示例的框图。

图23是图示图22的编码单元的配置示例的框图。

图24是图示2d兼容帧包装sei的语法的示例的示图。

图25是描述2d兼容帧包装sei的改变原因的示图。

图26是描述图24的位置信息的示图。

图27是描述图22的编码装置的生成处理的流程图。

图28是描述图27的编码处理的细节的流程图。

图29是描述图27的编码处理的细节的流程图。

图30是图示被应用本技术的解码装置的第二实施例的配置示例的框图。

图31是图示图30的解码单元的配置示例的框图。

图32是描述2d兼容帧包装sei的应用时段的示图。

图33是描述2d兼容帧包装sei中可描述的信息的示图。

图34是描述图30的解码装置的显示处理的流程图。

图35是描述图34的解码处理的细节的流程图。

图36是图示计算机的硬件的配置示例的框图。

图37是被应用本技术的电视装置的示意性配置示例的示图。

图38是被应用本技术的移动电话装置的示意性配置示例的示图。

图39是被应用本技术的记录再现装置的示意性配置示例的示图。

图40是被应用本技术的成像装置的示意性配置示例的示图。

具体实施方式

<第一实施例>

(编码装置的第一实施例的配置示例)

图1是图示被应用本技术的编码装置的第一实施例的配置示例的框图。

图1的编码装置1由编码单元2、设定单元3和传送单元4构成，并且对hevc系统中的诸如包装图像的图像进行编码。

具体地，以帧为单位的诸如包装图像的图像作为输入信号被输入到编码装置1的编码单元2。编码单元2在hevc系统中对输入信号编码，并且将作为编码结果获得的编码数据提供给设定单元3。

设定单元3设定sps、图片参数集合(pps)、指示与每个序列的编码数据对应的图像特性(可用性)的视频可用性信息(vui)、sei等。设定单元3从设定的sps、pps、vui和sei以及从编码单元2提供的编码数据生成编码流。设定单元3将编码流提供给传送单元4。

传送单元4将从设定单元3提供的编码流传送到下文描述的解码装置。

(编码单元的配置示例)

图2是图示图1的编码单元2的配置示例的框图。

图2的编码单元2由a/d转换单元11、画面重排缓冲器12、计算单元13、正交变换单元14、量化单元15、无损编码单元16、积累缓冲器17、逆量化单元18、逆正交变换单元19、加法单元20、解块滤波器21、帧存储器22、开关23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26以及速率控制单元27构成。

具体地，编码单元2的a/d转换单元11对作为输入信号输入的、以帧为单位的图像应用a/d转换，将经转换的图像输出到画面重排缓冲器12并且将图像存储在画面重排缓冲器12中。画面重排缓冲器12根据图片组(gop)结构将以帧为单位按显示顺序存储的图像重排为用于编码的顺序，并且将经重排的图像输出到计算单元13、帧内预测单元24和运动预测/补偿单元25。

计算单元13通过计算从预测图像选择单元26提供的预测图像和从画面重排缓冲器12输出的要编码的图像之间的差来执行编码。具体地，计算单元13通过从画面重排缓冲器12输出的要编码的图像中减去从预测图像选择单元26提供的预测图像来执行编码。计算单元13将作为编码结果的图像输出到正交变换单元14作为残差信息。注意，当未从预测图像选择单元26提供预测图像时，计算单元13将从画面重排缓冲器12读取的图像原样输出到正交变换单元14作为残差信息。

正交变换单元14对来自计算单元13的残差信息应用正交变换，并且将作为正交变换的结果而获得的系数提供给量化单元15。

量化单元15对从正交变换单元14提供的系数进行量化。经量化的系数被输入到无损编码单元16。

无损编码单元16从帧内预测单元24获取指示最优帧内预测模式的信息(以下称为帧内预测模式信息)。此外，无损编码单元16从运动预测/补偿单元25获取指示最优帧间预测模式的信息(以下称为帧间预测模式信息)、运动向量、用于识别参考图像的信息等。

无损编码单元16针对从量化单元15提供的经量化的系数执行无损编码，诸如可变长度编码(例如，上下文自适应可变长度编码(cavlc))或算术编码(例如，上下文自适应二进制算术编码(cabac))。

此外，无损编码单元16针对帧内预测模式信息、帧间预测模式信息、运动向量、用于识别参考图像的信息等执行无损编码，作为与编码相关的编码信息。无损编码单元16将经无损编码的编码信息和系数提供给积累缓冲器17作为编码数据，并且在其中存储编码数据。注意，经无损编码的编码信息可以用作经无损编码的系数的报头信息。

积累缓冲器17临时存储从无损编码单元16提供的编码数据。此外，积累缓冲器17将所存储的编码数据提供给图1的设定单元3。

此外，从量化单元15输出的经量化的系数也被输入到逆量化单元18、被逆量化，并且随后被提供给逆正交变换单元19。

逆正交变换单元19对从逆量化单元18提供的系数应用逆正交变换，并且将作为逆正交变换的结果而获得的残差信息提供给加法单元20。

加法单元20使作为从逆正交变换单元19提供的要解码的图像的残差信息与从预测图像选择单元26提供的预测图像相加以获得局部解码图像。注意，当未从预测图像选择单元26提供预测图像时，加法单元20采用从逆正交变换单元19提供的残差信息作为局部解码图像。加法单元20将局部解码图像提供给解块滤波器21，并且将局部解码图像提供给帧存储器22并且在其中积累图像。

解块滤波器21通过对从加法单元20提供的局部解码图像进行滤波来去除块失真。解块滤波器21将作为滤波的结果而获得的图像提供给帧存储器22，并且在其中积累图像。在帧存储器22中积累的图像通过开关23被输出到帧内预测单元24或运动预测/补偿单元25作为参考图像。

帧内预测单元24使用没有在解块滤波器21中进行滤波并且通过开关23从帧存储器22读取的参考图像，以码块和码片为单位在所有帧内预测模式中执行帧内预测处理。

此外，帧内预测单元24基于从画面重排缓冲器12读取的图像和作为帧内预测处理的结果而生成的预测图像，计算所有候选帧内预测模式的成本函数值(下文将描述细节)。帧内预测单元24随后将具有最小成本函数值的帧内预测模式确定为最优帧内预测模式。

帧内预测单元24将在最优帧内预测模式中生成的预测图像和相应的成本函数值提供给预测图像选择单元26。当被预测图像选择单元26通知在最优帧内预测模式中生成的预测图像的选择时，帧内预测单元24将帧内预测模式信息提供给无损编码单元16。

注意，成本函数值也被称为速率失真(rd)成本，并且基于例如在联合模型(jm)中定义的高复杂度模式或低复杂度模式的技术来计算，jm是h.264/avc系统中的参考软件。

具体地，当采用高复杂度模式作为计算成本函数值的技术时，在所有候选预测模式中临时执行直到无损编码的处理，并且针对每个预测模式(mode)计算由下式(1)表示的成本函数(cost())值。

cost(mode)＝d+λ·r...(1)

d是原始图像和解码图像之间的差(失真)，r是包含直到正交变换的系数的所生成的码量，并且λ是作为量化参数qp的函数给出的拉格朗日乘数。

同时，当采用低复杂度模式作为计算成本函数值的技术时，针对所有候选预测模式执行解码图像的生成以及诸如指示预测模式的信息的报头位的计算，并且针对所有预测模式计算由下式(2)表示的成本函数。

cost(mode)＝d+qptoquant(qp)·header_bit...(2)

在式(2)中，d是原始图像和解码图像之间的差(失真)，header_bit是关于预测模式的报头位，并且qptoquant是作为量化参数qp的函数给出的函数。

在低复杂度模式中，针对所有预测模式仅生成解码图像是足够的，并且不必执行无损编码。因此，需要较小的计算量。

运动预测/补偿单元25以码块和码片为单位在所有候选帧间预测模式中执行运动预测/补偿处理。具体地，运动预测/补偿单元25基于从画面重排缓冲器12提供的图像以及通过开关23从帧存储器22读取的经滤波的参考图像以码块和码片为单位检测所有候选帧间预测模式的运动向量。运动预测/补偿单元25随后基于运动向量以码块和码片为单位对参考图像应用补偿处理，并且生成预测图像。

此时，运动预测/补偿单元25基于从画面重排缓冲器12提供的图像和预测图像计算所有候选帧间预测模式的成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最优帧间预测模式。运动预测/补偿单元25随后将最优帧间预测模式的成本函数值和相应的预测图像提供给预测图像选择单元26。此外，当被预测图像选择单元26通知在最优帧间预测模式中生成的预测图像的选择时，运动预测/补偿单元25将帧间预测模式信息、相应的运动向量、识别参考图像的信息等输出到无损编码单元16。

预测图像选择单元26基于从帧内预测单元24和运动预测/补偿单元25提供的成本函数值将具有较小的相应的成本函数值的最优帧内预测模式或最优帧间预测模式确定为最优预测模式。预测图像选择单元26随后将最优预测模式的预测图像提供给计算单元13和加法单元20。此外，预测图像选择单元26向帧内预测单元24或运动预测/补偿单元25通知最优预测模式的预测图像的选择。

速率控制单元27基于在积累缓冲器17中积累的编码数据来控制量化单元15的量化操作的速率，使得不会引起上溢或下溢。

(vui的语法的示例)

图3是图示图1的设定单元3设定的vui的语法的示例的示图。

如图3的第6行中所示，vui包括作为指示帧包装sei的存在/不存在的存在/不存在信息的帧包装标志(frame_packing_arrangement_flag)，帧包装sei是与包装相关的包装信息的sei。当指示存在帧包装sei时，帧包装标志是1，而当指示不存在帧包装sei时，帧包装标志是0。

(帧包装sei的语法的示例)

图4是图示图1的设定单元3设定的帧包装sei的语法的示例的示图。

如图4的第2行中所示，帧包装sei(frame_packing_arrangement)包括作为优先级信息的裁切忽略标志(frame_cropping_override_flag)，其指示当显示包装图像时是否优先使用帧包装sei。当指示在显示包装图像时优先使用帧包装sei时，裁切忽略标志是1，而当在显示包装图像时不优先使用帧包装sei时，裁切忽略标志是0。

注意，在第一实施例中，裁切忽略标志总是1。因此，可以这样说，帧包装标志自身是指示在显示包装图像时是否优先使用帧包装sei的信息(包装优先级信息)。

此外，如图4的第3行中所示，帧包装sei包括指示包装图像的包装模式的模式信息(frame_packing_arrangement_id)。下文将参照图5描述该模式信息的细节。

此外，如图4的第6行中所示，帧包装sei包括指示构成包装图像的图像的特性的类型信息(content_interpretation_type)。下文将参照图6描述该类型信息的细节。

此外，如图4的第7行中所示，帧包装sei包括指示构成包装图像的图像的数目的图像数目信息(num_of_picture_minus1)。此外，如图4的第8至14行中所示，帧包装sei包括指示构成包装图像的图像在包装图像中的位置的位置信息。

在图4的示例中，位置信息是针对构成包装图像的每个图像进行描述的信息，包括指示图像的左端位置的左端信息(picture_left_offset)、指示图像的右端位置的右端信息(picture_right_offset)、指示图像的上端位置的上端信息(picture_top_offset)、指示图像的下端位置的下端信息(picture_bottom_offset)和图像的图片id。

下文将参照图7描述左端信息、右端信息、上端信息和下端信息的细节。图片id是对于构成包装图像的每个图像唯一的id。

(模式信息的描述)

图5是描述图4的模式信息的示图。

如图5中所示，当包装模式是其中在并排系统中执行包装的并排模式时，模式信息(frame_packing_arrangement_id)是0。此外，当包装模式是其中通过将两个图像中的一个布置在上半部分，并且将另一个布置在下半部分来执行包装的顶底模式时，模式信息是1。此外，当包装模式既不是并排模式也不是顶底模式时，模式信息是2。

这里，包装模式是并排模式、顶底模式和其他模式。然而，包装模式不限于此。例如，作为包装模式，可以存在包装三个或更多个图像的模式。此外，模式信息可以包括在sei中而非帧包装sei中，或者可以包括在另一网络抽象层(nal)单元中，诸如vui。

(类型信息的描述)

图6是描述图4的类型信息的示图。

如图6中所示，当类型信息(content_interpretation_type)指示不存在图像之间的特殊关系作为构成包装图像的图像的特性时，类型信息是0。此外，当类型信息指示具有图片id0的图像是3d图像的左眼图像并且具有图片id1的图像是3d图像的右眼图像作为构成包装图像的图像的特性时，类型信息是1。

此外，当类型信息指示具有图片id0的图像是3d图像的右眼图像并且具有图片id1的图像是3d图像的左眼图像作为构成包装图像的图像的特性时，类型信息是1。

(位置信息的描述)

图7是描述图4的位置信息的示图。

左端信息(picture_left_offset)是通过从左端到包装图像的左端的像素数目表示构成包装图像的图像的左端位置的信息。右端信息(picture_right_offset)、上端信息(picture_top_offset)和下端信息(picture_bottom_offset)与左端信息相似。

如图7中所示，当在并排系统中包装的包装图像的左半图像的图片id是0，而右半图像的图片id是1时，并且当以像素为单位的包装图像的左上位置是(0，0)时，以像素为单位的具有图片id0的图像的左上位置是(0，0)。此外，以像素为单位的具有图片id0的图像的右上、左下和右下位置分别是(宽度/2，0)、(0，高度)、(宽度/2，高度)，其中水平方向上的包装图像的像素数目是宽度(width)，并且竖直方向上的包装图像的像素数目是高度(height)。

因此，包括0作为图片id的位置信息的左端信息、右端信息、上端信息和下端信息分别是0(＝0-0)、宽度/2(＝宽度-宽度/2)、0(＝0-0)、0(＝高度-高度)。

同时，以像素为单位的具有图片id1的图像的左上、右上、左下和右下位置分别是(宽度/2，0)、(宽度，0)、(宽度/2，高度)和(宽度，高度)。因此，包括1作为图片id的位置信息的左端信息、右端信息、上端信息和下端信息是宽度/2(＝宽度/2-0)、0(＝宽度-宽度)、0(＝0-0)和0(＝高度-高度)。

注意，当亮度分量和色差分量的像素数目不同时，由左端信息、右端信息、上端信息和下端信息指示的像素数目是具有较小的像素数目的分量的像素数目。因此，例如，当包装图像是yuv420或yuv422时，由左端信息、右端信息、上端信息和下端信息指示的像素数目是色差分量的像素数目。此外，当包装图像是yuv444时，由左端信息、右端信息、上端信息和下端信息指示的像素数目是与色差分量和亮度分量相同的像素数目。此外，当包装图像是yuv400时，由左端信息、右端信息、上端信息和下端信息指示的像素数目是亮度分量的像素数目。

因此，在下文描述的解码装置中，当基于左端信息、右端信息、上端信息和下端信息对构成包装图像的期望图像进行裁切时，裁切区域的位置如图8中所示。

就是说，如图8中所示，当以像素为单位的包装图像的左上位置是(0，0)时，以像素为单位的包装图像上的裁切区域的左上位置是(cropunitx*picture_left_offset，cropunity*picture_top_offset)，并且以像素为单位的包装图像上的右下位置是(width-cropunitx*picture_right_offset+1，cropunity*picture_bottom_offset+1)。

这里，cropunitx和cropunity是基于由sps中包括的要解码的图像的格式信息指示的yuv400、yuv420、yuv422和yuv444等来确定的值。具体地，当格式信息指示yuv400或yuv444时，cropunitx和cropunity两者均为1。当格式信息指示yuv420时，cropunitx和cropunity两者均为2。当格式信息指示yuv422时，cropunitx是2而cropunity是1。

(位置信息的另一示例)

图9是图示图4的帧包装sei中包括的位置信息的语法的另一示例的示图。

在图9的示例中，位置信息是以码块为单位指示构成包装图像的图像在包装图像上的位置的信息，码块是hevc标准中的并行编码处理单位。具体地，图9的位置信息是指示对于每个行在行方向(水平方向)上与码块对应的图像的图片id的信息。

例如，如图10中所示，当包装图像被分成四个码块，使得两个码块均布置在水平方向和竖直方向上，并且包装图像是并排系统中的包装图像时，位置信息如下。

即，按光栅扫描顺序向每个码块给出作为针对sps或pps设定的码块的唯一id的码块id。因此，被给出0作为码块id的码块是左上码块。因此，与具有码块id0的码块对应的图像的图片id是包装图像的左半图像的图片id(在图10的示例中是0)。此外，被给出1作为码块id的码块是右上码块。因此，与具有码块id1的码块对应的图片id是包装图像的右半图像的图片id(在图10的示例中是1)。

此外，被给出2作为码块id的码块是左下码块。因此，与具有码块id2的码块对应的图像的图片id是包装图像的左半图像的图片id(在图10的示例中是0)。此外，被给出3作为码块id的码块是右下码块。因此，与具有码块id3的码块对应的图片id是包装图像的右半图像的图片id(在图10的示例中是1)。

因此，位置信息是指示包装图像的左半图像的图片id作为与具有码块id0和2的码块对应的图像的图片id，并且指示包装图像的右半图像的图片id作为与具有码块id1和3的码块对应的图像的图片id的信息。

(位置信息的又一示例)

图11是图示图4的帧包装sei中包括的位置信息的语法的又一示例的示图。

在图11的示例中，位置信息是以码片为单位指示构成包装图像的图像在包装图像上的位置的信息。具体地，图11的位置信息是指示关于每个码片的码片的图像的图片id的信息。

例如，如图12中所示，当包装图像被分成四个码片，并且包装图像是在顶底系统中包装的图像时，位置信息如下。

就是说，从顶部起的第一和第二码片的图像的图片id是包装图像的上半图像的图片id(在图12的示例中是0)。此外，从顶部起的第三和第四码片的图像的图片id是包装图像的下半图像的图片id(在图12的示例中是1)。

因此，位置信息是指示包装图像的上半图像的图片id作为从顶部起第一和第二码片的图像的图片id，并且指示包装图像的下半图像的图片id作为从顶部起第三和第四码片的图像的图片id的信息。

(帧包装sei的语法的另一示例)

图13是图示由图1的设定单元3设定的帧包装sei的语法的另一示例的示图。

在图13的示例中，帧包装sei是如下获得的帧包装sei，第2行中的裁切忽略标志(frame_cropping_override_flag)被加到avc标准中的帧包装sei(frame_packing_arrangement)。

(sps的语法的示例)

图14是图示由图1的设定单元3设定的sps的语法的一部分的示例的示图。

如图14的第13至18行中所示，指示在显示相应的图像时裁切的裁切区域的裁切信息可以包括在sps中。裁切信息是指示裁切区域的左端位置的裁切左端信息(pic_crop_left_offset)、指示右端位置的裁切右端信息(pic_crop_right_offset)、指示上端位置的裁切上端信息(pic_crop_top_offset)和指示下端位置的裁切下端信息(pic_crop_bottom_offset)。

(编码装置的处理的描述)

图15是描述图1的编码装置1的生成处理的流程图。

在图15的步骤s1中，编码装置1的编码单元2执行在hevc系统中对诸如作为输入信号从外部输入的以帧为单位的包装图像的图像进行编码的编码处理。下文将参照图16和17描述编码处理的细节。

在步骤s2中，设定单元3设定包括裁切信息的sps。在步骤s3中，设定单元3设定pps。在步骤s4中，设定单元3基于用户对输入单元(未示出)的操作等确定要编码的图像是否是包装图像。

当在步骤s4中确定要编码的图像是包装图像时，在步骤s5中，设定单元3设定包括1作为帧包装标志的vui。在步骤s6中，设定单元3设定诸如帧包装sei的sei，并且使处理前进到步骤s8。

同时，当在步骤s4中确定要编码的图像不是包装图像时，在步骤s7中，设定单元3设定包括0作为帧包装标志的vui。此外，设定单元3在必要时设定帧包装sei以外的sei，并且使处理前进到步骤s8。

在步骤s8中，设定单元3从所设定的sps、pps、vui和sei以及从编码单元2提供的编码数据生成编码流。设定单元3将编码流提供给传送单元4。

在步骤s9中，传送单元4将从设定单元3提供的编码流传送到下文描述的解码装置，并且终止处理。

图16和17是描述图15的步骤s1的编码处理的细节的流程图。

在图16的步骤s11中，编码单元2的a/d转换单元11对作为输入信号输入的以帧为单位的图像应用a/d转换，并且将经转换的图像输出到画面重排缓冲器12并且存储在其中。

在步骤s12中，画面重排缓冲器12根据gop结构将按显示顺序存储的帧的图像重排为用于编码的顺序。画面重排缓冲器12以帧为单位将经重排的图像提供给计算单元13、帧内预测单元24和运动预测/补偿单元25。注意，下文的步骤s13至s28的处理以编码单位(cu)来执行。

在步骤s13中，帧内预测单元24执行所有候选帧内预测模式的帧内预测处理。此外，帧内预测单元24基于从画面重排缓冲器12读取的图像和作为帧内预测处理的结果而生成的预测图像，计算所有候选帧内预测模式的成本函数值。帧内预测单元24随后将具有最小成本函数值的帧内预测模式确定为最优帧内预测模式。帧内预测单元24将在最优帧内预测模式中生成的预测图像和相应的成本函数值提供给预测图像选择单元26。

此外，运动预测/补偿单元25执行所有候选帧间预测模式的运动预测/补偿处理。此外，运动预测/补偿单元25基于从画面重排缓冲器12提供的图像和预测图像计算所有候选帧间预测模式的成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最优帧间预测模式。运动预测/补偿单元25随后将最优帧间预测模式的成本函数值和相应的预测图像提供给预测图像选择单元26。

在步骤s14中，预测图像选择单元26基于通过步骤s13的处理从帧内预测单元24和运动预测/补偿单元25提供的成本函数值将具有较小的成本函数值的最优帧内预测模式或最优帧间预测模式确定为最优预测模式。预测图像选择单元26随后将最优预测模式的预测图像提供给计算单元13和加法单元20。

在步骤s15中，预测图像选择单元26确定最优预测模式是否是最优帧间预测模式。当在步骤s15中确定最优预测模式是最优帧间预测模式时，预测图像选择单元26向运动预测/补偿单元25通知在最优帧间预测模式中生成的预测图像的选择。据此，运动预测/补偿单元25将帧间预测模式信息、相应的运动向量和用于识别参考图像的信息输出到无损编码单元16。

随后，在步骤s16中，无损编码单元16对作为编码信息从运动预测/补偿单元25提供的帧间预测模式信息、运动向量和用于识别参考图像的信息应用无损编码。处理随后前往步骤s18。

同时，当在步骤s15中确定最优预测模式不是最优帧间预测模式，即最优预测模式是最优帧内预测模式时，预测图像选择单元26向帧内预测单元24通知在最优帧内预测模式中生成的预测图像的选择。据此，帧内预测单元24将帧内预测模式信息提供给无损编码单元16。

随后，在步骤s17中，无损编码单元16对作为编码信息从帧内预测单元24提供的帧内预测模式信息应用无损编码。处理随后前往步骤s18。

在步骤s18中，计算单元13通过从画面重排缓冲器12提供的图像中减去从预测图像选择单元26提供的预测图像来执行编码。计算单元13将作为编码结果而获得的图像输出到正交变换单元14作为残差信息。

在步骤s19中，正交变换单元14对来自计算单元13的残差信息应用正交变换，并且将作为正交变换的结果而获得的系数提供给量化单元15。

在步骤s20中，量化单元15对从正交变换单元14提供的系数进行量化。经量化的系数被输入到无损编码单元16和逆量化单元18。

在步骤s21中，无损编码单元16针对从量化单元15提供的经量化的系数应用无损编码。无损编码单元16随后从在步骤s16和s17的处理中的经无损编码的编码信息和经无损编码的系数生成编码数据。

在图17的步骤s22中，无损编码单元16将编码数据提供给积累缓冲器17并且在其中积累编码数据。

在步骤s23中，积累缓冲器17将积累的编码数据输出到图1的设定单元3。

在步骤s24中，逆量化单元18对从量化单元15提供的经量化的系数进行逆量化。

在步骤s25中，逆正交变换单元19对从逆量化单元18提供的系数应用逆正交变换，并且将作为逆正交变换的结果而获得的残差信息提供给加法单元20。

在步骤s26中，加法单元20使从逆正交变换单元19提供的残差信息与从预测图像选择单元26提供的预测图像相加，并且获得局部解码图像。加法单元20将所获得的图像提供给解块滤波器21和帧存储器22。

在步骤s27中，解块滤波器21通过对从加法单元20提供的局部解码图像进行滤波来去除块失真，并且将图像提供给帧存储器22。

在步骤s28中，帧存储器22积累滤波之前和之后的图像。具体地，帧存储器22积累从加法单元20提供的图像以及从解块滤波器21提供的图像。在帧存储器22中积累的图像通过开关23被输出到帧内预测单元24或运动预测/补偿单元25作为参考图像。随后处理返回图15的步骤s1，并且前往步骤s2。

注意，为了简化描述，在图16和17的编码处理中，总是执行帧内预测处理和运动预测/补偿处理。然而，事实上，根据图片类型等可以仅执行它们中的一个。

如上文所述，编码装置1设定帧包装sei和帧包装标志，并且连同编码数据一起传送包装图像。因此，当帧包装标志是1，即裁切忽略标志是1时，解码并显示包装图像的编码流的解码装置可以优先使用帧包装sei并且显示构成包装图像的期望图像。因此，可以这样说，编码装置1可以生成包装图像的编码流以便在解码并显示包装图像的编码流时可靠地显示构成包装图像的期望图像。

(解码装置的第一实施例的配置示例)

图18是图示被应用本技术的解码装置的第一实施例的配置示例的框图，该解码装置对从图1的编码装置1传送的编码流进行解码。

图18的解码装置50由接收单元51、提取单元52、解码单元53、控制单元54、显示控制单元55和显示单元56构成。

解码装置50的接收单元51接收从图1的编码装置1传送的编码流，并且将编码流提供给提取单元52。提取单元52从接收单元51提供的编码流中提取sps、pps、vui、sei、编码数据等。提取单元52将编码数据提供给解码单元53。此外，提取单元52还按照需要将sps、pps、vui、sei等提供给解码单元53和控制单元54。

解码单元53按照需要引用从提取单元52提供的sps、pps、vui、sei等，并且在hevc系统中对从提取单元52提供的编码数据进行解码。解码单元53将作为解码的结果而获得的诸如包装图像的图像提供给控制单元54作为输出信号。

控制单元54按照需要基于从提取单元52提供的sps、pps、vui、sei等识别构成从解码单元53提供的包装图像的图像作为输出信号。控制单元54随后将作为输出信号的包装图像以及识别构成包装图像的图像的信息提供给显示控制单元55。控制单元54随后将并非包装图像的作为输出信号的图像以及sps中包括的裁切信息提供给显示控制单元55。

显示控制单元55基于从控制单元54提供的识别构成包装图像的图像的信息以及从显示单元56通知的显示方法，执行作为输出信号从控制单元54提供的包装图像的裁切、放大、缩小等，并且生成显示图像。此外，显示控制单元55基于从控制单元54提供的裁切信息，执行作为输出信号从控制单元54提供的非包装图像的裁切、放大、缩小等，并且生成显示图像。显示控制单元55将所生成的显示图像提供给显示单元56，并且在其中显示图像。

显示单元56显示从显示控制单元55提供的显示图像。此外，显示单元56向显示控制单元55通知预先设定的显示方法或者由预先设定的显示方法的用户指定的显示方法。

(解码单元的配置示例)

图19是图示图18的解码单元53的配置示例的框图。

图19的解码单元53由积累缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、解块滤波器106、画面重排缓冲器107、d/a转换单元108、帧存储器109、开关110、帧内预测单元111、运动补偿单元112和开关113构成。

解码单元53的积累缓冲器101从图18的提取单元52接收编码数据并且积累编码数据。积累缓冲器101将积累的编码数据提供给无损解码单元102。

无损解码单元102对来自积累缓冲器101的编码数据应用无损解码，诸如可变长度解码和算术解码，以获得经量化的系数和编码信息。无损解码单元102将经量化的系数提供给逆量化单元103。此外，无损解码单元102将作为编码信息的帧内预测模式信息等提供给帧内预测单元111，并且将运动向量、用于识别参考图像的信息、帧间预测模式信息等提供给运动补偿单元112。此外，无损解码单元102将作为编码信息的帧内预测模式信息或帧间预测模式信息提供给开关113。

逆量化单元103、逆正交变换单元104、加法单元105、解块滤波器106、帧存储器109、开关110、帧内预测单元111和运动补偿单元112分别执行与图2的逆量化单元18、逆正交变换单元19、加法单元20、解块滤波器21、帧存储器22、开关23、帧内预测单元24和运动预测/补偿单元25相似的处理，从而对图像解码。

具体地，逆量化单元103对来自无损解码单元102的经量化的系数进行逆量化，并且将作为逆量化的结果而获得的系数提供给逆正交变换单元104。

逆正交变换单元104对来自逆量化单元103的系数应用逆正交变换，并且将作为逆正交变换的结果而获得的残差信息提供给加法单元105。

加法单元105通过使作为从逆正交变换单元104提供的要解码的图像的残差信息与从开关113提供的预测图像相加来执行解码。加法单元105将作为解码的结果而获得的图像提供给解块滤波器106，并且提供给帧存储器109。注意，当未从开关113提供预测图像时，加法单元105将作为从逆正交变换单元104提供的残差信息的图像提供给解块滤波器106当作作为解码的结果而获得的图像，并且提供给帧存储器109并在其中积累图像。

解块滤波器106通过对从加法单元105提供的图像进行滤波来去除块失真。解块滤波器106将作为滤波的结果而获得的图像提供给帧存储器109并且在其中积累图像，并且将图像提供给画面重排缓冲器107。通过开关110读取在帧存储器109中积累的图像作为参考图像，并且将其提供给运动补偿单元112或帧内预测单元111。

画面重排缓冲器107以帧为单位存储从解块滤波器106提供的图像。画面重排缓冲器107将以帧为单位按照编码顺序存储的图像重排为原始显示顺序，并且将图像提供给d/a转换单元108。

d/a转换单元108对从画面重排缓冲器107提供的以帧为单位的图像应用d/a转换，并且将图像输出到图18的控制单元54作为输出信号。

帧内预测单元111使用通过开关110从帧存储器109读取的没有在解块滤波器106中滤波的参考图像，以码块和码片为单位在从无损解码单元102提供的帧内预测模式信息指示的帧内预测模式中执行帧内预测处理。帧内预测单元111将作为帧内预测处理的结果而生成的预测图像提供给开关113。

运动补偿单元112以码块和码片为单位，基于从无损解码单元102提供的用于识别参考图像的信息，通过开关110从帧存储器109读取在解块滤波器106中滤波的参考图像。运动补偿单元112使用运动向量和参考图像在帧间预测模式信息指示的最优帧间预测模式中执行运动补偿处理。运动补偿单元112将作为运动补偿处理的结果而生成的预测图像提供给开关113。

当从无损解码单元102提供帧内预测模式信息时，开关113将从帧内预测单元111提供的预测模式提供给加法单元105。同时，当从无损解码单元102提供帧间预测模式信息时，开关113将从运动补偿单元112提供的预测模式提供给加法单元105。

(解码装置的处理的描述)

图20是描述图18的解码装置50的显示处理的流程图。

在图20的步骤s50中，解码装置50的接收单元51接收从图1的编码装置1传送的编码流，并且将编码流提供给提取单元52。

在步骤s51中，提取单元52从接收单元51提供的编码流中提取sps、pps、vui、sei、编码数据等。提取单元52将编码数据提供给解码单元53。此外，提取单元52还按照需要将sps、pps、vui、sei等提供给解码单元53和控制单元54。

在步骤s52中，解码单元53按照需要引用从提取单元52提供的sps、pps、vui、sei、编码数据等，并且对从提取单元52提供的编码数据应用在hevc系统中执行解码的解码处理。将参照下文描述的图21描述解码处理的细节。

在步骤s53中，控制单元54确定从提取单元52提供的vui中包括的帧包装标志是否是1。当在步骤s53中确定帧包装标志是1时，控制单元54确定从解码单元53提供的输出信号是包装图像。

随后，在步骤s54中，控制单元54确定从提取单元52提供的帧包装sei中包括的裁切忽略标志是否是1。当在步骤s54中确定裁切忽略标志是1时，在步骤s55中，控制单元54基于帧包装sei中包括的类型信息和位置信息识别构成包装图像的图像。控制单元54随后将识别构成包装图像的图像的信息和输出信号提供给显示控制单元55。

在步骤s56中，显示控制单元55获取从显示单元56通知的显示方法。在步骤s57中，显示控制单元55基于显示方法和识别构成包装图像的图像的信息，裁切构成包装图像的图像中的期望图像并且按照需要执行放大、缩小等，并且获得显示图像。

例如，当输出信号是3d显示包装图像时，控制单元54基于帧包装sei中包括的类型信息、位置信息等识别构成包装图像的左眼图像和右眼图像。当显示方法是2d显示时，显示控制单元55例如从包装图像裁切左眼图像，并且采用该图像作为显示图像。同时，当显示方法是3d显示时，显示控制单元55从包装图像裁切左眼图像和右眼图像，并且采用这些图像作为显示图像。处理随后前往步骤s59。

同时，当在步骤s53中确定帧包装标志不是1时，或者当在步骤s54中确定裁切忽略标志不是1时，控制单元54确定输出信号不是包装图像。控制单元54随后将输出信号和sps中包括的裁切信息提供给显示控制单元55。在步骤s58中，显示控制单元55基于裁切信息对图像进行裁切作为输出信号，按照需要执行放大、缩小等，并且采用该图像作为显示图像。处理随后前往步骤s59。

在步骤s59中，显示控制单元55通过将所生成的显示图像提供给显示单元56在显示单元56中对显示图像进行显示。

图21是描述图20的步骤s52的解码处理的细节的流程图。

在图21的步骤s101中，解码单元53的积累缓冲器101从图18的提取单元52以帧为单位接收编码数据，并且积累编码数据。积累缓冲器101将积累的编码数据提供给无损解码单元102。注意，从步骤s102至s110的处理以cu为单位执行。

在步骤s102中，无损解码单元102对来自积累缓冲器101的编码数据应用无损解码，并且获得经量化的系数和编码信息。无损解码单元102将经量化的系数提供给逆量化单元103。此外，无损解码单元102将作为编码信息的帧内预测模式信息等提供给帧内预测单元111，并且将运动向量、帧间预测模式信息、用于识别参考图像的信息等提供给运动补偿单元112。此外，无损解码单元102将作为编码信息的帧内预测模式信息或帧间预测模式信息提供给开关113。

在步骤s103中，逆量化单元103对来自无损解码单元102的经量化的系数进行逆量化，并且将作为逆量化的结果而获得的系数提供给逆正交变换单元104。

在步骤s104中，运动补偿单元112确定是否已从无损解码单元102提供帧间预测模式信息。当在步骤s104中确定已提供帧间预测模式信息时，处理前往步骤s105。

在步骤s105中，运动补偿单元112基于从无损解码单元102提供的运动向量、帧间预测模式信息和用于识别参考图像的信息，读取在解块滤波器106中滤波的参考图像，并且执行运动补偿处理。运动补偿单元112将作为运动补偿处理的结果而生成的预测图像通过开关113提供给加法单元105，并且使处理前往步骤s107。

同时，当在步骤s104中确定未提供帧间预测模式信息时，就是说，当帧内预测模式信息已被提供给帧内预测单元111时，处理前往步骤s106。

在步骤s106中，帧内预测单元111使用通过开关110从帧存储器109读取的没有在解块滤波器106中滤波的参考图像，在帧内预测模式信息指示的帧内预测模式中执行帧内预测处理。帧内预测单元111将作为帧内预测处理的结果而生成的预测图像通过开关113提供给加法单元105，并且使处理前往步骤s107。

在步骤s107中，逆正交变换单元104对来自逆量化单元103的系数应用逆正交变换，并且将作为逆正交变换的结果而获得的残差信息提供给加法单元105。

在步骤s108中，加法单元105使从逆正交变换单元104提供的残差信息与从开关113提供的预测图像相加。加法单元105将作为加法的结果而获得的图像提供给解块滤波器106，并且提供给帧存储器109。

在步骤s109中，解块滤波器106对从加法单元105提供的图像进行滤波以去除块失真。解块滤波器106将经滤波的图像提供给帧存储器109。

在步骤s110中，帧存储器109积累从加法单元105提供的滤波之前的图像，以及从解块滤波器106提供的滤波之后的图像。在帧存储器109中积累的图像通过开关110被提供给运动补偿单元112或帧内预测单元111作为参考图像。

在步骤s111中，画面重排缓冲器107以帧为单位存储从解块滤波器106提供的图像，将按照编码顺序存储的图像重排为原始显示顺序，并且将图像提供给d/a转换单元108。

在步骤s112中，d/a转换单元108对从画面重排缓冲器107提供的以帧为单位的图像应用d/a转换，并且将图像提供给图18的控制单元54作为输出信号。随后处理返回图20的步骤s52，并且前往步骤s53。

如上文所述，解码装置50对编码数据解码以生成包装图像，并且当帧包装标志是1时，即当裁切忽略标志是1时，基于帧包装sei识别构成包装图像的图像。因此，在解码并显示包装图像的编码流时，解码装置50可以可靠地显示构成包装图像的期望图像。

此外，解码装置50可以识别构成包装图像的图像。因此，解码装置50侧可以根据显示方法等确定要显示的期望图像。

注意，在帧包装sei中可以不包括裁切忽略标志。在该情况下，当帧包装标志是1时，解码装置忽略裁切信息，并且基于帧包装sei识别构成包装图像的图像。

此外，当帧包装标志是1时，不使用sei的解码装置基于裁切信息执行裁切。注意，当帧包装标志是1时，不使用sei的解码装置可以引用帧包装sei。在该情况下，没有必要在sps中包括裁切信息。

帧包装标志可以包括在另一nal单元中，诸如sps，而非vui。此外，构成包装图像的图像的数目可以是3或更多。例如，包装图像可以是电视会议系统中的会议参与者的图像的包装图像。

此外，当帧包装sei中包括的位置信息是图9和11中所示的位置信息时，可以不设定图像数目信息。

<第二实施例>

(编码装置的第二实施例的配置示例)

图22是图示被应用本技术的编码装置的第二实施例的配置示例的框图。

图22中所示的配置中的与图1的配置相同的配置由相同的附图标记表示。适当地省略了重叠描述部分的描述。

图22的编码装置120的配置与图1的配置的不同之处在于，提供编码单元121代替编码单元2，并且提供设定单元122代替设定单元3。编码装置120生成包装图像的编码流，使得包装图像的编码流包括2d兼容帧包装sei，其是用于包括与2d图像的编码流的兼容性的帧包装sei。

该2d兼容帧包装sei是在解码装置中显示包装图像时在裁切信息之前应用的sei，并且是指示要忽略裁切信息的sei。就是说，2d兼容帧包装sei是在显示包装图像时较之裁切信息优先使用的sei。

诸如以帧为单位的包装图像的图像等被输入到编码装置120的编码单元121作为输入信号。编码单元121在hevc系统中对输入信号编码，并且将作为编码的结果而获得的编码数据提供给设定单元122。注意，尽管下文将描述细节，但是编码单元2和编码单元121具有应用于局部解码图像的不同的滤波类型。

设定单元122设定sei，诸如图14中所示的sps、pps、2d兼容帧包装sei等。设定单元122从sps、pps、sei等以及从编码单元121提供的编码数据生成编码流。设定单元122将编码流提供给传送单元4。

(编码单元的配置示例)

图23是图示图22的编码单元121的配置示例的框图。

图23中所示的配置中的与图2的配置相同的配置由相同的附图标记表示。适当地省略了重叠描述部分的描述。

图23的编码单元121的配置与图2的配置的不同之处在于，新提供了自适应偏移滤波器141和自适应环路滤波器142，并且提供无损编码单元143代替无损编码单元16。

编码单元121不仅利用解块滤波器21将滤波(以下称为自适应解块滤波处理)应用于局部解码图像，而且还利用自适应偏移滤波器141和自适应环路滤波器142将滤波应用于局部解码图像。

具体地，自适应偏移滤波器141将主要去除振铃效应的自适应偏移滤波(样本自适应偏移(sao))处理应用于解块滤波器21的自适应解块滤波处理之后的图像。

具体地，自适应偏移滤波器141确定关于作为最大的编码单位的每个最大编码单位(lcu)的自适应偏移滤波处理的类型，并且获得用于自适应偏移滤波处理的偏移。自适应偏移滤波器141使用所获得的偏移将所确定的类型的自适应偏移滤波处理应用于自适应解块滤波处理之后的图像。自适应偏移滤波器141随后将自适应偏移滤波处理之后的图像提供给自适应环路滤波器142。

此外，自适应偏移滤波器141包括存储偏移的缓冲器。自适应偏移滤波器141针对每个lcu确定自适应解块滤波处理中使用的偏移是否已存储在缓冲器中。

当确定自适应解块滤波处理中使用的偏移已存储在缓冲器中时，自适应偏移滤波器141将指示偏移已被存储在缓冲器中的存储标志设定为指示偏移已被存储在缓冲器中的值(这里是1)。

随后自适应偏移滤波器141针对每个lcu将设定为1的存储标志、指示偏移在缓冲器中的存储位置的索引、以及指示所应用的自适应偏移滤波处理的类型的类型信息提供给无损编码单元143。

同时，当自适应解块滤波处理中使用的偏移未存储在缓冲器中时，自适应偏移滤波器141按照顺序将偏移存储在缓冲器中。此外，自适应偏移滤波器141将存储标志设定为指示偏移未被存储在缓冲器中的值(这里是0)。随后自适应偏移滤波器141针对每个lcu将设定为0的存储标志、偏移、类型信息提供给无损编码单元143。

例如，自适应环路滤波器142针对每个lcu将自适应环路滤波(alf)处理应用于从自适应偏移滤波器141提供的经自适应偏移滤波处理之后的图像。作为自适应环路滤波处理，使用利用二维维纳(wiener)滤波器的处理。显然，可以使用维纳滤波器以外的滤波器。

具体地，针对每个lcu，自适应环路滤波器142计算在自适应环路滤波处理中使用的滤波器系数，使得作为从画面重排缓冲器12输出的图像的原始图像和自适应环路滤波处理之后的图像之间的残差最小。随后自适应环路滤波器142针对每个lcu使用所计算的滤波器系数将自适应环路滤波处理应用于自适应偏移滤波处理之后的图像。

自适应环路滤波器142将自适应环路滤波处理之后的图像提供给帧存储器22。此外，自适应环路滤波器142将滤波器系数提供给无损编码单元143。

注意，这里，针对每个lcu执行自适应环路滤波处理。然而，自适应环路滤波处理的处理单位不限于lcu。注意，通过使自适应偏移滤波器141和自适应环路滤波器142的处理单位均匀，可以高效地执行处理。

与图2的无损编码单元16相似，无损编码单元143从帧内预测单元24获取帧内预测模式信息，并且从运动预测/补偿单元25获取帧间预测模式信息、运动向量、用于识别参考图像的信息等。此外，无损编码单元143从自适应偏移滤波器141获取存储标志、索引或偏移以及类型信息，作为偏移滤波器信息，并且从自适应环路滤波器142获取滤波器系数。

与无损编码单元16相似，无损编码单元143对从量化单元15提供的经量化的系数应用无损编码。此外，无损编码单元143针对帧内预测模式信息或帧间预测模式信息、运动向量、用于识别参考图像的信息、偏移滤波器信息和滤波器系数应用无损编码，作为编码信息。无损编码单元16将经无损编码的编码信息和系数提供给积累缓冲器17作为编码数据，并且在其中积累数据。注意，经无损编码的编码信息可以用作经无损编码的系数的报头信息。

(2d兼容帧包装sei的语法的示例)

图24是图示图22的设定单元122设定的2d兼容帧包装sei的示例的示图。

图24的第2至4行的描述对应于avc标准中的帧包装sei，即图13的帧包装sei中的图13的第3至5行的描述，其中没有第2行的描述。

此外，图24的第5行的2dcomp_fpa_type对应于avc标准中的帧包装sei中的frame_packing_arrangement_type(图13的第6行)。注意，如下文所述，可描述为2dcomp_fpa_type的模式信息是可描述为frame_packing_arrangement_type的模式信息的一部分。

图24的第6至11行的描述对应于avc标准中的帧包装sei中的图13的第8、第9和第13至20行的描述。在图24的第12至15行中描述了位置信息。

在图24的示例中，位置信息由针对构成包装图像的每个图像描述的图像的上端信息(top_position_frame)、图像的左端信息(left_position_frame)、图像的下端信息(bottom_position_frame)和图像的右端信息(right_position_frame)构成。

图24的第17至21行的描述对应于图13的第21至25行。

如上文所述，图24的2d兼容帧包装sei与avc系统中的帧包装sei的不同之处在于，frame_packing_arrangement_type变为2dcomp_fpa_type，quincunx_sampling_flag(图13的第7行)、field_pictures_flag(field_view_flag)(图13的第11行)和current_frame_is_frame0_flag(图13的第12行)未被描述。

(2d兼容帧包装sei的改变原因的描述)

图25是描述2d兼容帧包装sei相对于avc系统中的帧包装sei的改变原因的示图。

注意，图25中的标有十字的方形表示左眼图像的像素，并且标有圆形的方形表示右眼图像的像素。此外，在图25的示例中，包装图像和显示图像由12×8个像素构成。

这里，作为avc系统中的模式信息，除了并排模式、顶底模式之外，存在棋盘模式、交错模式、帧顺序模式。

棋盘模式是用于通过在行方向上和列方向上交替排列左眼像素和右眼像素在棋盘系统中执行包装的模式。交错模式是用于通过隔行或隔列排列左眼像素和右眼像素在交错系统中执行包装的模式。帧顺序模式是用于通过以时分方式交替包装左眼图像和右眼图像在帧顺序系统中执行包装的模式。

如图25中的a中所示，当包装模式是并排模式时，解码装置可以通过裁切位于包装图像的左半部分的左眼图像将左眼图像显示为2d显示图像，并且使图像具有高分辨率(放大)。

此外，尽管省略了说明，但是当包装模式是顶底模式时，与并排模式相似，解码装置可以通过裁切和实现高分辨率来显示2d显示图像。

然而，如图25中的b中所示，当包装模式是棋盘模式时，解码装置不能通过裁切和实现高分辨率来显示2d显示图像。此外，尽管省略了说明，但是当包装模式是交错模式或帧顺序模式时，与棋盘模式相似，解码装置不能通过裁切和实现高分辨率来显示2d显示图像。

因此，编码装置120仅处理在顶底模式或并排模式中包装的包装图像，并且解码装置通过裁切和实现高分辨率来显示2d显示图像。因此，模式信息是指示并排模式或顶底模式的信息。

此外，包装模式是顶底模式或并排模式，作为关于棋盘模式的描述的quincunx_sampling_flag未包括在2d兼容帧包装sei中。相似地，作为关于交错模式的描述的field_pictures_flag(field_view_flag)以及作为关于帧顺序的描述的current_frame_is_frame0_flag未包括在2d兼容帧包装sei中。

(位置信息的描述)

图26是描述图24的位置信息的示图。

在图26的示例中，通过并排系统对包装图像150进行包装。包装图像150的左半图像151的图片id是0，并且右半图像152的图片id是1。

在该情况下，如图26中所示，图像151的上端信息(top_position_frame[0])、左端信息(left_position_frame[0])、下端信息(bottom_position_frame[0])和右端信息(right_position_frame[0])被描述为位置信息。

此外，图像152的上端信息(top_position_frame[1])、左端信息(left_position_frame[1])、下端信息(bottom_position_frame[1])和右端信息(right_position_frame[1])被描述为位置信息。

这里，上端信息(top_position_frame)是通过从其上端到包装图像150的上端的像素数目表示构成包装图像150的图像151(152)的上端位置的信息。左端信息(left_position_frame)、下端信息(bottom_position_frame)和右端信息(right_position_frame)与上端信息相似。

注意，与第一实施例相似，当亮度分量和色差分量的像素数目不同时，由左端信息、右端信息、上端信息和下端信息指示的像素数目是具有较小的图像数目的分量的像素数目。

可以基于该位置信息识别包装图像150的图像151和152。包装图像150的尺寸是lcu的整数倍。然而，构成包装图像150的图像151(152)的尺寸不一定是lcu的整数倍。因此，如图26中所示，在包装图像150中存在除了构成包装图像150的图像151和152以外的空白区域153。

注意，与图9相似，位置信息可以是以码块为单位指示图像151(152)在包装图像150上的位置的信息，或者与图11相似，可以是以码片为单位指示位置的信息。

此外，这里，位置信息由图像151(152)的上端信息、左端信息、下端信息和右端信息构成。然而，位置信息不限于以上示例，只要信息指示图像151(152)在包装图像150上的位置即可。

例如，当图像151(152)的水平方向上的像素数目和竖直方向上的像素数目相同时，位置信息可以由图像151(152)的上端信息和左端信息构成，并且水平方向上的像素数目和竖直方向上的像素数目对于图像151(152)而言是共同的。

在该情况下，构成位置信息的信息数目变为6，并且需要数目较少的信息。相反，当位置信息由图像151(152)的上端信息、左端信息、下端信息和右端信息构成时，构成位置信息的信息数目变为8。

此外，构成包装图像150的图像151和152的所有位置信息可以不包括在2d兼容帧包装sei中。例如，与图像151和152的sps中包括的裁切信息指示的裁切区域对应的图像151(152)以外的图像152(151)的上端信息、左端信息、下端信息和右端信息可以被包括作为位置信息。在该情况下，解码装置基于裁切信息识别与位置信息对应的图像152(151)以外的图像151(152)。此外，在该情况下，构成位置信息的信息数目变为4，并且因此需要数目较少的信息。

此外，当图像151(152)的水平方向上的像素数目和竖直方向上的像素数目相同时，与图像151和152的裁切信息指示的裁切区域对应的图像151(152)以外的图像152(151)的上端信息和左端信息可以被包括作为位置信息。在该情况下，解码装置基于裁切信息识别与位置信息对应的图像152(151)以外的图像151(152)。解码装置随后基于图像151(152)的水平方向上的像素数目和竖直方向上的像素数目、上端信息和下端信息来识别与位置信息对应的图像152(151)。在该情况下，构成位置信息的信息数目变为2，并且因此需要数目较少的信息。

(编码装置的处理的描述)

图27是描述图22的编码装置120的生成处理的流程图。

在图27的步骤s131中，编码装置120的编码单元121执行在hevc系统中对诸如作为输入信号从外部输入的包装图像的图像进行编码的编码处理。下文将参照图28和29描述编码处理的细节。

在步骤s132中，设定单元122设定包括裁切信息的sps(图14)。在步骤s133中，设定单元122设定pps。在步骤s134中，设定单元122基于用户对输入单元(未示出)的操作等确定要编码的图像是否是包装图像。

当在步骤s134中确定要编码的图像是包装图像时，在步骤s135中，设定单元122设定sei等，诸如图24的2d兼容帧包装sei，并且使处理前进到步骤s136。

同时，当在步骤s134中确定要编码的图像不是包装图像时，设定单元122按照需要设定2d兼容帧包装sei以外的sei，并且使处理前进到步骤s136。

在步骤s136中，设定单元122从所设定的sps、pps和sei以及从编码单元121提供的编码数据生成编码流。设定单元122将编码流提供给传送单元4。

在步骤s137中，传送单元4将从设定单元122提供的编码流传送到下文描述的解码装置，并且终止处理。

图28和29是描述图27的步骤s131的编码处理的细节的流程图。

图28的步骤s151至s155的处理与图16的步骤s11至s15的处理相似，并且因此省略了描述。

当在步骤s155中确定最优预测模式是最优帧间预测模式时，预测图像选择单元26向运动预测/补偿单元25通知在最优帧间预测模式中生成的预测图像的选择。

随后，在步骤s156中，运动预测/补偿单元25将帧间预测模式信息、相应的运动向量和用于识别参考图像的信息提供给无损编码单元143。处理随后前往步骤s158。

同时，当在步骤s155中确定最优预测模式不是最优帧间预测模式时，即当最优预测模式是最优帧内预测模式时，预测图像选择单元26向帧内预测单元24通知在最优帧内预测模式中生成的预测图像的选择。

随后，在步骤s157中，帧内预测单元24将帧内预测模式信息提供给无损编码单元143。处理随后前往步骤s158。

步骤s158至s163的处理与图16的步骤s18至s20以及图17的步骤s24至s26的处理相似，并且因此省略了描述。

在步骤s164中，解块滤波器21对从加法单元20提供的局部解码图像应用解块滤波处理。解块滤波器21将作为解块滤波处理的结果而获得的图像提供给自适应偏移滤波器141。

在步骤s165中，自适应偏移滤波器141针对每个lcu将自适应偏移滤波处理应用于从解块滤波器21提供的图像。自适应偏移滤波器141将作为自适应偏移滤波处理的结果而获得的图像提供给自适应环路滤波器142。此外，自适应偏移滤波器141针对每个lcu将存储标志、索引或偏移以及类型信息提供给无损编码单元143作为偏移滤波器信息。

在步骤s166中，自适应环路滤波器142针对每个lcu将自适应环路滤波处理应用于从自适应偏移滤波器141提供的图像。自适应环路滤波器142将作为自适应环路滤波处理的结果而获得的图像提供给帧存储器22。此外，自适应环路滤波器142将在自适应环路滤波处理中使用的滤波器系数提供给无损编码单元143。

在步骤s167中，帧存储器22积累滤波之前和之后的图像。具体地，帧存储器22积累从加法单元20提供的图像以及从自适应环路滤波器142提供的图像。在帧存储器22中积累的图像通过开关23被输出到帧内预测单元24或运动预测/补偿单元25作为参考图像。

在步骤s168中，无损编码单元143对帧内预测模式信息或帧间预测模式信息、运动向量、用于识别参考图像的信息、偏移滤波器信息和滤波器系数应用无损编码，作为编码信息。

在步骤s169中，无损编码单元143将无损编码应用于从量化单元15提供的经量化的系数。无损编码单元143随后从在步骤s168的处理中的经无损编码的编码信息和经无损编码的系数生成编码数据。

步骤s170和s171的处理与图17的步骤s22和s23的处理相似，并且因此省略了描述。在步骤s171的处理之后，处理返回图27的步骤s131，并且前往步骤s132。

如上文所述，编码装置120设定2d兼容帧包装sei，其在裁切信息之前被应用并且指示要忽略裁切信息，并且编码装置120连同作为编码包装图像的编码数据一起传送2d兼容帧包装sei。

因此，解码并显示包装图像的编码流的解码装置在编码流包括2d兼容帧包装sei时优先使用2d兼容帧包装sei并且识别构成包装图像的图像。因此，解码装置可以可靠地显示构成包装图像的期望图像。

因此，可以这样说，编码装置120可以生成包装图像的编码流，以便在解码并显示包装图像的编码流时可靠地显示构成包装图像的期望图像。

(解码装置的第二实施例的配置示例)

图30是图示被应用本技术的解码装置的第二实施例的配置示例的框图，该解码装置对从图22的编码装置120传送的编码流解码。

图30中所示的配置中的与图18的配置相同的配置由相同的附图标记表示。适当地省略了重叠描述部分的描述。

图30的解码装置160的配置与图18的配置的不同之处在于提供解码单元161、控制单元162和显示控制单元163代替解码单元53、控制单元54和显示控制单元55。当编码流包括2d兼容帧包装sei时，解码装置160优先使用2d兼容帧包装sei来生成显示图像。

具体地，解码装置160的解码单元161按照需要引用从提取单元52提供的sps、pps、sei等，并且在hevc系统中对从提取单元52提供的编码数据进行解码。解码单元161将作为解码的结果而获得的诸如包装图像的图像提供给控制单元162作为输出信号。注意，尽管下文将描述细节，但是解码单元53和解码单元161具有应用于局部解码图像的不同类型的滤波。

当从提取单元52提供2d兼容帧包装sei时，即当输出信号是包装图像时，控制单元162基于2d兼容帧包装sei中包括的位置信息来识别构成包装图像的图像。控制单元162随后忽略裁切信息，并且将作为输出信号的包装图像以及用于识别构成包装图像的图像的信息提供给显示控制单元163。

同时，当未从提取单元52提供2d兼容帧包装sei时，即当输出信号是并非包装图像的图像时，控制单元162将作为输出信号的并非包装图像的图像以及sps中包括的裁切信息提供给显示控制单元163。

显示控制单元163裁切包装图像，使得包装图像具有高分辨率(放大)等，包装图像是从控制单元162作为输出信号提供的，并且显示控制单元163基于从控制单元162提供的识别构成包装图像的图像的信息以及从显示单元56通知的显示方法来生成显示图像。此外，显示控制单元163裁切非包装图像，使得非包装图像具有高分辨率(放大)等，非包装图像是从控制单元162作为输出信号提供的，并且显示控制单元163基于从控制单元162提供的裁切信息生成显示图像。显示控制单元163将所生成的显示图像提供给显示单元56，并且在其中显示图像。

(解码单元的配置示例)

图31是图示图30的解码单元161的配置示例的框图。

图31中所示的配置中的与图19的配置相同的配置由相同的附图标记表示。适当地省略了重叠描述部分的描述。

图31的解码单元161的配置与图19的配置的不同之处在于提供无损解码单元181代替无损解码单元102，并且新提供自适应偏移滤波器182和自适应环路滤波器183。解码单元161不仅应用自适应解块滤波处理，而且还通过自适应偏移滤波器182和自适应环路滤波器183将滤波应用于局部解码图像。

具体地，与图19的无损解码单元102相似，无损解码单元181对来自积累缓冲器101的编码数据应用无损解码，诸如可变长度解码和算术解码，以获得经量化的系数和编码信息。与无损解码单元102相似，无损解码单元181将经量化的系数提供给逆量化单元103。

此外，与无损解码单元102相似，无损解码单元181将作为编码信息的帧内预测模式信息等提供给帧内预测单元111。与无损解码单元102相似，无损解码单元181将运动向量、用于识别参考图像的信息、帧间预测模式信息等作为编码信息提供给运动补偿单元112。

此外，与无损解码单元102相似，无损解码单元181将作为编码信息的帧内预测模式信息或帧间预测模式信息提供给开关113。无损解码单元181将作为编码信息的偏移滤波器信息提供给自适应偏移滤波器182，并且将滤波器系数提供给自适应环路滤波器183。

自适应偏移滤波器182包括缓冲器，其中按照顺序存储从无损解码单元181提供的偏移。此外，自适应偏移滤波器182针对每个lcu基于从无损解码单元181提供的偏移滤波器信息将自适应偏移滤波处理应用于解块滤波器106的自适应解块滤波处理之后的图像。

具体地，当偏移滤波器信息中包括的存储标志是0时，自适应偏移滤波器182使用偏移滤波器信息中包括的偏移以lcu为单位将类型信息指示的类型的自适应偏移滤波处理应用于解块滤波处理之后的图像。

同时，当偏移滤波器信息中包括的存储标志是1时，自适应偏移滤波器182以lcu为单位针对解块滤波处理之后的图像读取偏移滤波器信息中包括的索引指示的位置中存储的偏移。随后自适应偏移滤波器182使用所读取的偏移执行类型信息指示的类型的自适应偏移滤波处理。自适应偏移滤波器182将自适应偏移滤波处理之后的图像提供给自适应环路滤波器183。

自适应环路滤波器183针对每个lcu使用从无损解码单元181提供的滤波器系数将自适应环路滤波处理应用于从自适应偏移滤波器182提供的图像。自适应环路滤波器183将作为自适应偏移滤波处理的结果而获得的图像提供给帧存储器109和画面重排缓冲器107。

(2d兼容帧包装sei的应用时段的描述)

图32是描述2d兼容帧包装sei的应用时段的示图。

如图32中所示，解码装置160首先确定接收到的编码流中是否包括2d兼容帧包装sei。当包括2d兼容帧包装sei时，解码装置160应用2d兼容帧包装sei，并且忽略裁切信息。

如上文所述，2d兼容帧包装sei在裁切信息之前应用，并且指示忽略裁切信息。因此，当编码流中包括2d兼容帧包装sei时，解码装置160仅应用2d兼容帧包装sei。

同时，当编码流中不包括2d兼容帧包装sei时，解码装置160应用sps中包括的裁切信息。

相反，传统avc系统中的帧包装sei在裁切信息之后应用，并且不是指示忽略裁切信息的sei。因此，当传统avc系统中的帧包装sei包括在编码流中时，在应用裁切信息之后应用帧包装sei。

因此，当裁切信息指示左眼图像或右眼图像中的任一个的区域作为裁切区域时，使用sei的3d显示解码装置不能显示其他图像。

此外，当传统avc系统中的帧包装sei包括在编码流中时，使用sei的3d显示解码装置能够通过忽略裁切信息基于帧包装sei显示3d图像。然而，传统avc系统中的帧包装sei不是指示忽略裁切信息的sei。因此，忽略作为关于标准的强制信息的sps中包括的裁切信息违反标准。

(2d兼容帧包装sei中可描述的信息的描述)

图33是描述2d兼容帧包装sei中可描述的信息的示图。

在图33的示例中，包装图像通过并排系统进行包装，包装图像的左半图像是构成3d图像的左眼图像(左视图)，并且右半图像是右眼图像(右视图)。

在该情况下，2d兼容帧包装sei在裁切信息之前应用，并且因此构成包装图像的左眼图像和右眼图像可以被描述。

相反，传统avc系统中的帧包装sei在裁切信息之后应用。因此，当裁切信息指示左眼图像或右眼图像中的任一个的区域(图33的示例中的左眼图像)时，仅一个图像(图33的示例中的左眼图像)可以被描述。

(解码装置的处理的描述)

图34是描述图30的解码装置160的显示处理的流程图。

图34的步骤s190和s191的处理与图20的步骤s50和s51的处理相似，并且因此省略了描述。

在步骤s192中，解码单元161按照需要引用从提取单元52提供的sps、pps、sei等，并且对从提取单元52提供的编码数据应用在hevc系统中执行解码的解码处理。将参照下文描述的图35描述解码处理的细节。

在步骤s193中，控制单元162确定在编码流中是否包括2d兼容帧包装sei，即是否已从提取单元52提供2d兼容帧包装sei。当在步骤s193中确定包括2d兼容帧包装sei时，控制单元162确定从解码单元161提供的输出信号是包装图像。

随后，在步骤s194中，控制单元162基于2d兼容帧包装sei中包括的位置信息等识别构成包装图像的图像。控制单元162随后将识别构成包装图像的图像的信息以及输出信号提供给显示控制单元163。

在步骤s195中，显示控制单元163获取从显示单元56通知的显示方法。在步骤s196中，显示控制单元163基于显示方法和识别构成包装图像的图像的信息裁切构成包装图像的图像中的期望图像。

例如，当输出信号是3d显示包装图像时，控制单元162基于2d兼容帧包装sei中包括的位置信息等识别构成包装图像的左眼图像和右眼图像。当显示方法是2d显示时，显示控制单元163例如从包装图像裁切左眼图像。同时，当显示方法是3d显示时，显示控制单元163从包装图像裁切左眼图像和右眼图像。处理随后前往步骤s198。

同时，当在步骤s193中确定不包括2d兼容帧包装sei时，控制单元162确定输出信号不是包装图像。控制单元162随后将从提取单元52提供的sps中包括的裁切信息和输出信号提供给显示控制单元163。

随后，在步骤s197中，显示控制单元163基于从控制单元162提供的裁切信息裁切图像作为输出信号，并且处理前往步骤s198。

在步骤s198中，显示控制单元163使在步骤s196或s197中裁切的图像具有高分辨率(放大)，并且采用该图像作为显示图像。在步骤s199中，显示控制单元163通过将显示图像提供给显示单元56在显示单元56中显示图像，并且终止处理。

图35是描述图34的步骤s192的解码处理的细节的流程图。

图35的步骤s211至s218的处理与图21的步骤s101至s108的处理相似，并且因此省略了描述。

在步骤s219中，解块滤波器106对从加法单元105提供的图像应用解块滤波处理以去除块失真。解块滤波器106将作为解块滤波处理的结果而获得的图像提供给自适应偏移滤波器182。

在步骤s220中，自适应偏移滤波器182针对每个lcu基于从无损解码单元181提供的偏移滤波器信息将自适应偏移滤波处理应用于解块滤波器106的解块滤波处理之后的图像。自适应偏移滤波器182将自适应偏移滤波处理之后的图像提供给自适应环路滤波器183。

在步骤s221中，自适应环路滤波器183针对每个lcu使用从无损解码单元181提供的滤波器系数将自适应环路滤波处理应用于从自适应偏移滤波器182提供的图像。自适应环路滤波器183将作为自适应偏移滤波处理的结果而获得的图像提供给帧存储器109和画面重排缓冲器107。

步骤s222至s224的处理与图21的步骤s110至s112的处理相似，并且因此省略了描述。

如上文所述，解码装置160对编码数据进行解码以生成包装图像，并且当2d兼容帧包装sei包括在编码流中时，解码装置160应用2d兼容帧包装sei，并且忽略裁切信息。具体地，解码装置基于2d兼容帧包装sei识别构成包装图像的图像。因此，当解码并显示包装图像的编码流时，解码装置160可以可靠地显示构成包装图像的期望图像。

此外，解码装置160可以识别构成包装图像的图像，并且因此解码装置160侧可以根据显示方法等确定要显示的期望图像。

注意，不使用sei的解码装置基于裁切信息执行裁切。因此，当裁切信息指示构成包装图像的左眼图像或右眼图像中的任一个的区域作为裁切区域时，不使用sei的解码装置可以显示一个图像作为2d图像。

此外，在第二实施例中，新设定2d兼容帧包装sei。然而，传统avc系统中的帧包装sei可以被扩展以具有2d兼容帧包装sei的功能。

在该情况下，传统avc系统中的帧包装sei的frame_packing_arrangement_extension_flag被用作指示是否应用裁切信息的标志。随后，当frame_packing_arrangement_extension_flag指示未应用裁切信息时，用于设定quincunx_sampling_flag、field_pictures_flag(field_view_flag)和current_frame_is_frame0_flag禁用的信息以及位置信息在扩展帧包装sei中被描述。

使用sei的解码装置在应用裁切信息之前读取扩展帧包装sei。当frame_packing_arrangement_extension_flag指示未应用裁切信息时，使用sei的解码装置基于扩展帧包装sei的位置信息识别图像，并且忽略裁切信息。同时，当frame_packing_arrangement_extension_flag指示应用裁切信息时，使用sei的解码装置基于裁切信息执行裁切。

如上文所述，使用sei的解码装置基于frame_packing_arrangement_extension_flag，较之裁切信息优先使用扩展帧包装sei来识别图像，以及基于裁切信息执行裁切而不优先使用扩展帧包装sei。因此，可以这样说，frame_packing_arrangement_extension_flag是指示在显示包装图像时是否优先使用扩展帧包装sei的信息(包装优先级信息)。

<第三实施例>

(被应用本技术的计算机)

上述系列处理可以通过硬件或软件来执行。当通过软件执行上述系列处理时，将构成软件的程序安装在计算机中。这里，计算机包括并入到专用硬件中的计算机，或者可以通过安装各种程序来执行各种功能的通用个人计算机等。

图36是图示通过程序执行系列处理的计算机的硬件的配置示例的框图。

在计算机中，中央处理单元(cpu)201、只读存储器(rom)202和随机存取存储器(ram)203通过总线204相互连接。

总线204还连接到输入/输出接口205。输入/输出接口205连接到输入单元206、输出单元207、存储单元208、通信单元209和驱动器210。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质211。

在如上所述配置的计算机中，执行上述系列处理，使得cpu201例如将存储单元208中存储的程序通过输入/输出接口205和总线204加载到ram203中，并且执行程序。

计算机(cpu201)执行的程序可以记录在作为套装介质的可移除介质211上，并且可以被提供。此外，可以通过诸如局域网、互联网和数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，可以通过将可移除介质211附接到驱动器210通过输入/输出接口205将程序安装到存储单元208。此外，程序可以由通信单元209通过有线或无线传输介质接收，并且安装到存储单元208。替选地，程序可以预先安装到rom202或存储单元208。

注意，计算机执行的程序可以是根据本说明书中描述的顺序按时间序列执行处理的程序，或者是并行地或者在诸如执行读出时的必要定时执行处理的程序。

<第四实施例>

(电视装置的配置示例)

图37是被应用本技术的电视装置的示意性配置的示图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口(i/f)单元909。此外，电视装置900包括控制单元910、用户接口单元911等。

调谐器902从天线901接收的广播信号中选择期望的频道并执行解调，并且将获得的编码位流输出至解复用器903。

解复用器903从编码位流提取作为要观看的对象的电视节目，并且将提取的分组的数据输出至解码器904。此外，解复用器903将诸如电子节目指南(epg)的数据分组提供给控制单元910。注意，当执行加扰时，解复用器903执行加扰的释放，等等。

解码器904执行分组的解码处理，并且将通过解码处理生成的视频数据输出至视频信号处理单元905，并且将音频数据输出至音频信号处理单元907。

视频信号处理单元905根据针对视频数据的用户设定应用噪声去除或视频处理。视频信号处理单元905基于通过网络提供的应用生成显示在显示单元906中的电视节目的视频数据，或者图像数据。此外，视频信号处理单元905生成用于显示诸如项目的选择的菜单画面的视频数据，并且将该视频数据叠加在电视节目的视频数据上。视频信号处理单元905基于所生成的视频数据生成驱动信号以驱动显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号驱动显示装置(例如，液晶显示元件等)以显示电视节目的视频。

音频信号处理单元907对音频数据应用诸如噪声去除的预定处理，对预定处理之后的音频数据应用d/a转换处理和放大处理，并且将音频数据提供给扬声器908以输出音频输出。

外部接口单元909是用于连接到外部装置或网络的接口，并且执行诸如视频数据和音频数据的数据的传送/接收。

用户接口单元911连接至控制单元910。用户接口单元911由操作开关、遥控信号接收单元等构成，并且根据用户操作将操作信号提供给控制单元910。

控制单元910由中央处理单元(cpu)、存储器等构成。存储器存储cpu执行的程序以及cpu执行处理所需的各种类型的数据、epg数据、通过网络获取的数据等。在预定定时，诸如在电视装置900启动时，cpu读出存储器中存储的程序并且执行该程序。cpu控制各单元，使得电视装置900通过执行程序根据用户操作执行操作。

注意，总线912设置在电视装置900中，用于将控制单元910与调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接。

在这样配置的电视装置中，解码器904设置有本申请的解码装置(解码方法)。因此，当解码并显示包装图像的编码流时，可以可靠地显示构成包装图像的期望图像。

<第五实施例>

(移动电话装置的配置示例)

图38是被应用本技术的移动电话装置的示意性配置的示图。移动电话装置920包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/解复用单元928、记录再现单元929、显示单元930和控制单元931。这些单元通过总线933相互连接。

此外，天线921连接至通信单元922，并且扬声器924和麦克风925连接至音频编解码器923。此外，操作单元932被连接至控制单元931。

移动电话装置920在诸如音频呼叫模式和数据通信模式的各种模式中执行各种操作，诸如传送/接收音频信号，传送/接收电子邮件或图像数据，拍摄图像以及记录数据。

在音频呼叫模式中，在麦克风925中生成的音频信号在音频编解码器923中被转换成音频数据并且被应用数据压缩，并且被提供给通信单元922。通信单元922对音频数据应用调制处理和频率转换处理以生成传输信号。此外，通信单元922将传输信号提供给天线921以将该信号传送至基站(未示出)。此外，通信单元922对在天线921处接收的接收信号应用放大、频率转换处理和调制处理，并且将获得的音频数据提供给音频编解码器923。音频编解码器923执行音频数据的数据解压缩并且将其转换成模拟音频信号，并且将模拟音频信号提供给扬声器924。

此外，当在数据通信模式中传送电子邮件时，控制单元931接收通过操作单元932的操作输入的字符数据，并且将输入的字符显示在显示单元930上。此外，控制单元931基于操作单元932中的用户指令等生成邮件数据，并且将邮件数据提供给通信单元922。通信单元922执行邮件数据的调制处理和频率转换处理，并且将所获得的传输信号通过天线921传送。此外，通信单元922对通过天线921接收的接收信号执行放大、频率转换处理和解调处理，并且重建邮件数据。通信单元922将邮件数据提供给显示单元930，并且显示邮件数据的内容。

注意，移动电话装置920可以允许记录再现单元929将接收到的邮件数据存储在存储介质中。该存储介质是任何可重写的存储介质。例如，该存储介质是可移除介质，诸如半导体存储器，诸如ram，或者内建型闪速存储器、硬盘、磁盘、磁光盘、光盘、usb存储器或存储卡。

当在数据通信模式中传送图像数据时，在相机单元926中生成的图像数据被提供给图像处理单元927。图像处理单元927执行图像数据的编码处理以生成编码数据。

复用/解复用单元928在预定系统中对在图像处理单元927中生成的编码数据以及从音频编解码器923提供的音频数据进行复用，并且将数据提供给通信单元922。通信单元922执行复用数据的调制处理、频率转换处理等，并且将所获得的传输信号通过天线921传送。此外，通信单元922执行通过天线921接收的接收信号的放大、频率转换处理、解调处理等，并且重建复用数据。复用数据被提供给复用/解复用单元928。复用/解复用单元928执行复用数据的分离，并且将编码数据提供给图像处理单元927并将音频数据提供给音频编解码器923。图像处理单元927执行编码数据的解码处理以生成图像数据。图像处理单元927将图像数据提供给显示单元930，并且显示接收到的图像。音频编解码器923将音频数据转换成模拟音频信号，并且将模拟音频信号提供给扬声器924以输出接收到的音频。

在这样配置的移动电话装置中，图像处理单元927设置有编码装置和解码装置(编码方法和解码方法)的功能。因此，可以生成包装图像的编码流，使得当解码并显示包装图像的编码流时，可以可靠地显示构成包装图像的期望图像。此外，当解码并显示包装图像的编码流时，可以可靠地显示构成包装图像的期望图像。

<第六实施例>

(记录再现装置的配置示例)

图39是被应用本技术的记录再现装置的示意性配置的示图。记录再现装置940将接收到的广播节目的音频数据和视频数据记录在记录介质上，并且在根据用户指令的定时向用户提供记录的数据。此外，记录再现装置940可以从例如另一装置获取音频数据和视频数据，并且将数据记录在记录介质上。此外，记录再现装置940通过解码并输出记录介质上记录的音频数据和视频数据使得监控装置等能够执行图像显示和音频数据。

记录再现装置940包括调谐器941、外部接口单元942、编码器943、硬盘驱动器(hdd)单元944、盘驱动器945、选择器946、解码器947、同屏显示(osd)单元948、控制单元949以及用户接口单元950。

调谐器941从通过天线(未示出)接收到的广播信号中选择期望的频道。调谐器941将通过对期望频道的接收信号解调而获得的编码位流输出至选择器946。

外部接口单元942由ieee1394接口、网络接口单元、usb接口、闪速存储器接口中的至少之一构成。外部接口942是用于与外部装置、网络、存储卡等连接的接口，并且执行诸如要记录的视频数据和音频数据的数据的传送/接收。

当从外部接口单元942提供的视频数据和音频数据未被编码时，编码器943在预定系统中对这些数据进行编码，并且将编码位流输出至选择器946。

hdd单元944将诸如视频或音频的数据、各种程序和其他数据记录在内建硬盘中，并且在再现时从硬盘读出该数据。

盘驱动器945执行所安装的光盘上的信号的记录和再现。该光盘是例如dvd盘(dvd-video、dvd-ram、dvd-r、dvd-rw、dvd+r、dvd+rw等)或blu-ray(注册商标)盘等。

在记录视频和音频时，选择器946从调谐器941或编码器943选择编码位流，并且将编码位流提供给hdd单元944或盘驱动器945。此外，在再现视频和音频时，选择器946将从hdd单元944或盘驱动器945输出的编码位流提供给解码器947。

解码器947执行编码位流的解码处理。解码器947将通过解码处理生成的视频数据提供给osd单元948。此外，解码器947输出通过解码处理生成的音频数据。

osd单元948生成用于显示诸如项目的选择的菜单画面的视频数据，将该视频数据叠加在从解码器947输出的视频数据上，并且输出叠加的数据。

用户接口单元950连接至控制单元949。用户接口单元950由操作开关、遥控信号接收单元等构成，并且根据用户操作将操作信号提供给控制单元949。

控制单元949由cpu、存储器等构成。存储器存储cpu执行的程序以及cpu执行处理所需的各种类型的数据。在预定定时，诸如在记录再现装置940启动时，cpu读出存储器中存储的程序并且执行该程序。cpu控制各单元，使得记录再现装置940通过执行程序根据用户操作执行操作。

在这样配置的记录再现装置中，解码器947设置有本申请的解码装置(解码方法)。因此，当解码并显示包装图像的编码流时，可以可靠地显示构成包装图像的期望图像。

<第七实施例>

(成像装置的配置示例)

图40是被应用本技术的成像装置的示意性配置的示图。成像装置960对对象成像，将对象的图像显示在显示单元中，并且将图像记录在记录介质上作为图像数据。

成像装置960包括光学模块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、osd单元969和控制单元970。此外，用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、osd单元969、控制单元970等通过总线972连接。

光学模块961由聚焦透镜、光圈机构等构成。光学模块961在成像单元962的成像表面上对物体的光学图像聚焦。成像单元962由电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)图像传感器构成，并且根据光学图像通过光电转换生成电信号，并且将该电信号提供给相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号应用各种类型的相机信号处理，诸如拐点校正、伽马校正以及颜色校正。相机信号处理单元963将相机信号处理之后的图像数据提供给图像数据处理单元964。

图像数据处理单元964执行从相机信号处理单元963提供的图像数据的编码处理。图像数据处理单元964将通过编码处理生成的编码数据提供给外部接口单元966和介质驱动器968。此外，图像数据处理单元964执行从外部接口单元966或介质驱动器968提供的编码数据的解码处理。图像数据处理单元964将通过解码处理生成的图像数据提供给显示单元965。此外，图像数据处理单元964将从相机信号处理单元963提供的图像数据提供给显示单元965，并且将从osd单元969获取的显示数据叠加在图像数据上并将经叠加的数据提供给显示单元965。

osd单元969生成由符号、字符和图表构成的显示数据、菜单画面和图标，并且将显示数据输出至图像数据处理单元964。

外部接口单元966由例如usb输入/输出端子构成，并且在打印图像时与打印机连接。此外，驱动器按照需要连接至外部接口单元966，并且适当地安装诸如磁盘或光盘的可移除介质，并且按照需要安装从其读取的计算机程序。此外，外部接口单元966包括连接至诸如lan或互联网的预定网络的网络接口。控制单元970可以例如根据来自用户接口单元971的指令从存储器单元967读出编码数据，并且将来自外部接口单元966的编码数据通过网络提供给另一装置。此外，控制单元970可以通过外部接口单元966获取通过网络从另一装置提供的编码数据或图像数据，并且将该数据提供给图像数据处理单元964。

作为由介质驱动器968驱动的记录介质，例如使用任何可读/可写的可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以采用任何类型的可移除介质，并且可以是带装置、盘或存储卡。显然，可以采用非接触ic等。

此外，介质驱动器968和记录介质被集成，并且可以由非便携存储介质构成，诸如内建型硬盘驱动器或固态驱动器(ssd)。

控制单元970由cpu、存储器等构成。存储器存储cpu执行的程序、cpu执行处理所需的各种类型的数据等。在预定定时，诸如在成像装置960启动时，cpu读出存储器中存储的程序并且执行该程序。cpu控制各单元，使得成像装置960通过执行程序根据用户操作执行操作。

在这样配置的成像装置中，图像数据处理单元964设置有本申请的编码装置和解码装置(编码方法和解码方法)。因此，可以生成包装图像的编码流，使得当解码并显示包装图像的编码流时，可以可靠地显示构成包装图像的期望图像。此外，当解码并显示包装图像的编码流时，可以可靠地显示构成包装图像的期望图像。

注意，本技术的实施例不限于上述实施例，并且在不偏离本技术的精神的情况下可以进行各种改变。

例如，图18的显示控制单元55和显示单元56可以设置在解码装置50外部。

此外，本技术具有云计算的配置，其中一个功能通过网络由多个装置共享并且协作地处理。

此外，流程图中描述的步骤可以由多个装置共享并执行，而非由单个装置执行。

此外，当在一个步骤中包括多个处理时，一个步骤中包括的所述多个处理可以由多个装置共享并执行，而非由单个装置执行。

此外，本技术可以采用以下配置。

(1)一种解码装置，包括：

解码单元，被配置成对编码数据进行解码，所述编码数据是其中多个图像被包装的编码的包装图像，并且所述解码单元被配置成生成所述包装图像；以及

控制单元，被配置成基于与包装相关的包装信息来识别构成所述解码单元生成的所述包装图像的每个图像，当显示所述包装图像时优先使用所述包装信息。

(2)根据(1)所述的解码装置，进一步包括：

接收单元，被配置成接收作为补充增强信息sei的所述包装信息。

(3)根据(1)所述的解码装置，进一步包括：

接收单元，被配置成接收与所述包装图像的一部分相关的图像信息。

(4)根据(3)所述的解码装置，其中所述图像信息包括指示所述包装图像的一部分的位置的位置信息。

(5)根据(4)所述的解码装置，其中当显示所述包装图像时，相对于所述图像信息优先使用所述包装信息。

(6)根据(1)至(5)中任一项所述的解码装置，其中所述包装信息包括指示构成所述包装图像的各图像在所述包装图像中的位置的位置信息。

(7)根据(1)至(6)中任一项所述的解码装置，其中所述包装信息包括包装模式。

(8)根据(1)至(7)中任一项所述的解码装置，其中所述控制单元将所识别的图像显示在被配置成显示图像的显示单元中。

(9)根据(1)至(8)中任一项所述的解码装置，其中所述解码单元按编码单位cu对所述编码数据进行解码。

(10)一种解码方法，包括步骤：

通过解码装置，

对编码数据进行解码，所述编码数据是其中多个图像被包装的编码的包装图像，并且生成所述包装图像；以及

通过基于与包装相关的包装信息识别构成通过解码处理生成的所述包装图像的每个图像来执行控制，当显示所述包装图像时优先使用所述包装信息。

(11)一种编码装置，包括：

编码单元，被配置成对其中包装多个图像的包装图像进行编码，并且生成编码数据；

设定单元，被配置成设定与包装相关的包装信息，当显示所述包装图像时优先使用所述包装信息；以及

传送单元，被配置成传送所述编码单元生成的所述编码数据以及所述设定单元设定的所述包装信息。

(12)根据(11)所述的编码装置，其中所述传送单元传送作为补充增强信息sei的所述包装信息。

(13)根据(11)或(12)所述的编码装置，其中所述传送单元传送与所述包装图像的一部分相关的图像信息。

(14)根据(13)所述的编码装置，其中所述图像信息包括指示所述包装图像的一部分的位置的位置信息。

(15)根据(14)所述的编码装置，其中当显示所述包装图像时，相对于所述图像信息优先使用所述包装信息。

(16)根据(11)至(15)中任一项所述的编码装置，其中所述包装信息包括指示构成所述包装图像的各图像在所述包装图像中的位置的位置信息。

(17)根据(11)至(16)中任一项所述的编码装置，其中所述包装信息包括包装模式。

(18)根据(11)至(17)中任一项所述的编码装置，其中所述编码单元按编码单位cu对所述包装图像进行编码。

(19)一种编码方法，包括步骤：

通过编码装置，

对其中包装多个图像的包装图像进行编码，并且生成编码数据；

设定与包装相关的包装信息，当显示所述包装图像时优先使用所述包装信息；以及

传送通过编码处理生成的所述编码数据以及通过设定处理设定的所述包装信息。

附图标记列表

1编码装置

2编码单元

3设定单元

4传送单元

50解码装置

51接收单元

53解码单元

54控制单元

55显示控制单元

56显示单元

120编码装置

121编码单元

122设定单元

160解码装置

161解码单元

162控制单元

163显示控制单元