图像处理设备和图像处理方法与流程

技术领域

本发明涉及一种图像处理设备和方法，更具体地，涉及一种能够抑制操作时间增加的图像处理设备和方法。

背景技术：

近年来，将图像信息作为数字信息进行处理的设备扩展到从广播站分发信息并在家里接收信息，在这种情况下，该设备遵循使用针对图像信息的冗余、通过正交变换例如离散余弦变换或运动补偿来进行压缩的MPEG(动态画面专家组)的标准，来传输和累积高效信息。

具体地，MPEG2(ISO(国际标准化组织)/IEC(国际电工委员会)13818-2)被定义为通用编码方法，且根据覆盖隔行扫描图像和逐行扫描图像两者的标准以及标准分辨率图像和高清图像的标准，当前将MPEG2用于大范围的专业用途和消费者用途的应用中。根据MPEG2压缩标准，例如，通过将比特率4Mbps至8Mbps分配给具有标准分辨率720×480像素的隔行扫描图像，并将比特率18Mbps至22Mbps分配给具有1920×1088像素的高分辨率隔行扫描图像，可以实现高压缩比和出色的图像质量。

虽然MPEG2以主要匹配广播的高图像质量编码为目标，但MPEG2不支持比MPEG1的比特率低的比特率也就是较高压缩比的编码标准。随着移动终端的普及，对这种编码标准的需求预计在不久的将来将增大，因此对MPEG4编码标准进行了标准化以满足该需求。在1998年12月，图像编码标准被批准为ISO/IEC 14496-2作为国际标准。

此外，在开发用于图像编码的被称为H.26L的标准(ITU-T(国际电信联盟电信标准化组织)Q6/16VCEG(视频编码专家组))以最初用于视频会议中。与传统的编码技术例如MPEG2和MPEG4相比，H.26L在编码和解码中需要更大的计算量，但已知的是能够实现较高的编码效率。此外，作为MPEG4领域的一部分，当前正在开发基于H.26L的用于实现更高编码效率但也采用不被H.26L支持的功能的标准作为增强压缩视频编码的联合模型。

在2003年3月，该标准已经以H.264和MPEG第10部分的名称被设置为国际标准(在下文中，称为AVC(高级视频编码))。

然而，令人担忧的是，提供16×16像素宏块大小的这个标准对于图像帧例如作为目标下一代编码标准的UHD(超高清；4000×2000像素)不是最佳的。

现在，为了实现比AVC的编码效率高的编码效率，由JCTVC(联合协作组-视频编码)开发了被称为HEVC(高效视频编码)的图像编码技术作为标准，JCTVC是ITUT-T和ISO/IEC的联合标准化组织(例如，参见非专利文献1)。

根据该HEVC编码标准，将编码单元(CU)定义为与根据AVC的宏块相同的操作单元。在该CU中，不像根据AVC的宏块那样将大小固定为16×16像素，而是在每个序列中的压缩图像信息中指定该大小。

同时，为了改进在AVC中使用中值预测的运动矢量的编码，提出了自适应地使用除了在AVC中定义并由中值预测计算的“空间预测器”外的“时间预测器”和“空间-时间预测器”中的一个作为预测运动矢量信息(例如，参见非专利文献2)。

在图像信息编码设备中，通过使用关于各个块的预测的运动矢量信息来计算各个块的代价函数，并选择最佳的预测运动矢量信息。通过压缩的图像信息，针对每个块来传输表明已经使用了哪个预测运动矢量信息的信息的标记。

此外，作为运动信息编码标准之一，提出了被称为运动分区合并的方法(在下文中，也称为“合并模式”)(例如，参见非专利文献3)。在该方法中，当相关块的运动信息与周围块的运动信息相同时，仅传输标记信息，在解码时，使用周围块的运动信息来重构相关块的运动信息。

另外，为图像编码标准例如上述AVC和HEVC预备了将图像划分成多个片并处理每个片的方法以例如进行并行处理。此外，除了这些片外还提出了熵片。

熵片是用于熵编码操作和熵解码操作的处理单元。就是说，当进行熵编码操作和熵解码操作时，尽管画面被划分成多个熵片并且每个熵片地进行处理，但当预测操作时，不应用此片划分来处理每个画面。

引用列表

非专利文献

非专利文献1：“Test Mode1under Consideration”,JCTVC-B205,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG112nd Meeting:Geneva,CH,21-28July,2010

非专利文献2：Joel Jung,Guillaume Laroche,“Competition-Based Scheme for Motion Vector Selection and Coding”,VCEG-AC06,ITU-Telecommunications Standardization Sector STUDY GROUP 16Question 6Video Coding Experts Group(VCEG)29th Meeting:Klagenfurt,Austria,17-18July,2006

非专利文献3：Martin Winken,Sebastian Bosse,Benjamin Bross,Philipp Helle,Tobias Hinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,Simon Oudin,Matthias Preiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and Thomas Wiegand,“Description of video coding technology proposed by Fraunhofer HHI”,JCTVC-A116,April,2010

技术实现要素：

本发明解决的问题

然而，如上所述，在合并模式的情况下，需要参考周围块的运动信息来处理操作目标相关块的运动信息。因此，当画面被划分成多个片(还包括熵片)并每片地处理时，可能需要依据相关块的位置参考另一片的块。

在这种情况下，在没有完成周围块的处理之前不能处理相关块，不能并行地处理每个片，且令人担忧的是吞吐量显著下降。

根据这种情况，本公开内容的目的是，通过将图像划分成多个片且并行地处理每个片，即使当应用合并模式时也能抑制操作时间的增加。

问题的解决方案

本公开内容的一个方面是图像处理设备，该图像处理设备包括：编码控制单元，当对用于将画面划分成多个画面的每个片独立地进行编码时，该编码控制单元基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息采用将操作目标的相关区域与位于相关区域周围的周围区域进行合并的合并模式；以及编码单元，该编码单元在编码控制单元的控制下以合并模式或不同于合并模式的模式对相关区域进行编码。

编码控制单元可以进行控制以使得当属于相关片的周围区域中的至少一个周围区域包括运动信息时采用合并模式。

编码控制单元可以包括：计算单元，该计算单元对属于相关片的周围区域的运动信息的数量进行计算；确定单元，该确定单元确定由计算单元计算的周围区域的运动信息的数量是否大于0；以及控制单元，当确定单元确定周围区域的运动信息的数量大于0时，该控制单元进行控制以使得采用合并模式。

计算单元可以包括：位置确定单元，该位置确定单元确定每个周围区域是否属于相关片；类型确定单元，该类型确定单元确定被位置确定单元确定为属于相关片的周围区域的预测类型；以及更新单元，当类型确定单元确定周围区域的预测类型并且确定周围区域包括运动信息时，该更新单元更新用于对周围区域的运动信息的数量进行计数的参数的值。

图像处理设备还可以包括预测操作单元，该预测操作单元对每个片独立地进行生成预测图像的预测操作。

片可以是仅将由编码单元针对画面进行的编码操作划分成多个处理的熵片。

本公开内容的一个方面是图像处理设备的图像处理方法，该图像处理方法包括：在编码控制单元处，当对用于将画面划分成多个画面的每个片独立地进行编码时，基于属于相关区域所属相关片的周围区域的信息，控制是否对运动信息控制将操作目标的相关区域与位于相关区域周围的周围区域进行合并的合并模式；以及在编码单元处，在该控制下以合并模式或不同于合并模式的模式对相关区域进行编码。

本公开内容的另一方面是图像处理设备，该图像处理设备包括：解码控制单元，当对用于将画面划分成多个画面的每个片独立地进行解码时，该解码控制单元基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息控制将操作目标的相关区域与位于相关区域周围的周围区域进行合并的合并模式；以及解码单元，该解码单元在解码控制单元的控制下以合并模式或不同于合并模式的模式对相关区域进行解码。

解码控制单元可以进行控制以使得当属于相关片的周围区域中的至少一个周围区域包括运动信息时采用合并模式。

解码控制单元可以包括：计算单元，该计算单元对属于相关片的周围区域的运动信息的数量进行计算；确定单元，该确定单元确定由计算单元计算的周围区域的运动信息的数量是否大于0；以及控制单元，当确定单元确定周围区域的运动信息的数量大于0时，该控制单元进行控制以使得采用合并模式。

计算单元可以包括：位置确定单元，该位置确定单元确定每个周围区域是否属于相关片；类型确定单元，该类型确定单元确定被位置确定单元确定为属于相关片的周围区域的预测类型；以及更新单元，当类型确定单元确定周围区域的预测类型并且确定周围区域包括运动信息时，该更新单元更新用于对周围区域的运动信息的数量进行计数的参数的值。

图像处理设备还可以包括预测操作单元，该预测操作单元对每个片独立地进行生成预测图像的预测操作。

片可以是仅将由解码单元针对画面进行的解码操作划分成多个处理的熵片。

本公开内容的另一方面是图像处理设备的图像处理方法，该图像处理方法包括：在解码控制单元处，当对用于将画面划分成多个画面的每个片独立地进行解码时，基于属于相关区域所属相关片的周围区域的信息，控制是否对运动信息控制将操作目标的相关区域与位于相关区域周围的周围区域进行合并的合并模式；以及，在解码单元处，在该控制下以合并模式或不同于合并模式的模式对相关区域进行解码。

根据本公开内容的一个方面，当对用于将画面划分成多个画面的每个片独立地进行编码时，基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息控制将操作目标的相关区域与位于相关区域周围的周围区域进行合并的合并模式，以及，在该控制下以合并模式或不同于合并模式的模式对相关区域进行编码。

根据本公开内容的另一方面，当对用于将画面划分成多个画面的每个片独立地进行解码时，基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息采用将操作目标的相关区域与位于相关区域周围的周围区域进行合并的合并模式，以及，在该控制下以合并模式或不同于合并模式的模式对相关区域进行解码。

根据一个实施例，一种图像处理设备包括：编码控制单元，当对用于将画面划分成多个画面的每个片进行编码时，编码控制单元基于与目标预测单元邻近的邻近预测单元是否属于目标预测单元所属的片来控制邻近预测单元的合并候选；以及编码单元，其基于编码控制单元所控制的合并候选对目标预测单元进行编码。

根据另一个实施例，一种图像处理设备的图像处理方法包括：当对用于将画面划分成多个画面的每个片进行编码时，基于与目标预测单元邻近的邻近预测单元是否属于目标预测单元所属的片来控制邻近预测单元的合并候选；以及基于所控制的合并候选对目标预测单元进行编码。

发明的效果

根据本公开内容，可以处理图像。特别地，可以抑制操作时间的增加。

附图说明

图1是示出图像编码设备的典型示例结构的框图；

图2是用于说明多个片的视图；

图3是用于说明编码单元的视图；

图4是用于说明片和编码单元之间关系的视图；

图5是示出片和编码单元之间关系的视图；

图6是用于说明合并模式的视图；

图7是示出合并模式的相关区域和多个片的周围区域的位置的示例的视图；

图8是示出合并模式的相关区域和多个片的周围区域的位置的另一示例的视图；

图9是示出合并模式的相关区域和多个片的周围区域的位置的又一示例的视图；

图10是示出合并模式的相关区域和多个片的周围区域的位置的再一示例的视图；

图11是示出编码单元的语法的示例的视图；

图12是示出预测单元的语法的示例的视图；

图13是示出无损编码单元和编码控制单元的典型示例结构的框图；

图14是示出NMC设置单元的典型示例结构的框图；

图15是用于说明编码操作流程的示例的流程图；

图16是用于说明无损编码操作流程的示例的流程图；

图17是用于说明CU编码操作流程的示例的流程图；

图18是用于说明接在图17后的CU编码操作流程的示例的流程图；

图19是用于说明NumMergeCandidates设置操作流程的示例的流程图；

图20是示出图像解码设备的典型示例结构的框图；

图21是示出无损解码单元和解码单元的典型示例结构的框图；

图22是示出NMC设置单元的典型示例结构的框图；

图23是用于说明解码操作流程的流程图；

图24是用于说明无损解码操作流程的流程图；

图25是用于说明CU解码操作流程的流程图；

图26是用于说明接在图25后的CU解码操作流程的流程图；

图27是示出个人计算机的典型示例结构的框图；

图28是示出电视设备的示意性配置的示例的框图；

图29是示出移动电话设备的示意性配置的示例的框图；

图30是示出记录/再现设备的示意性配置的示例的框图；以及

图31是示出成像设备的示意性配置的示例的框图。

具体实施方式

下面是对实施本发明的方式的描述(在下文中，称为实施方式)。以下面的顺序进行说明。

1.第一实施方式(图像编码设备)

2.第二实施方式(图像解码设备)

3.第三实施方式(个人计算机)

4.第四实施方式(电视接收机)

5.第五实施方式(移动电话设备)

6.第六实施方式(记录/再现设备)

7.第七实施方式(成像设备)

<1.第一实施方式>

[图像编码设备]

图1是示出图像编码设备的典型示例结构的框图。

图1示出的图像编码设备100使用类似于H.264和MPEG(动态画面专家组)4第10部分(AVC(高级视频编码))编码标准的预测操作对图像数据进行编码。

如图1所示，图像编码设备100包括：A/D转换器101、画面重排缓冲器102、算术运算单元103、正交变换单元104、量化单元105、无损编码106和累积缓冲器107。图像编码设备100还包括：逆量化单元108、逆正交变换单元109、算术运算单元110、环路滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116和速率控制单元117。

图像编码设备100还包括编码控制单元121。

A/D转换器101对输入的图像数据进行A/D转换，并将转换的图像数据(数字数据)提供并存储到画面重排缓冲器102中。画面重排缓冲器102对以显示顺序存储的图像的帧进行重排，以使得图像的帧能够按照GOP(画面组)结构以编码顺序排列，并将重排的基于帧的图像提供给算术运算单元103。此外，画面重排缓冲器102也将重排的基于帧的图像提供给帧内预测单元114和运动预测/补偿单元115。

算术运算单元103通过预测图像选择单元116把从画面重排缓冲器102读取的图像减去从帧内预测单元114或运动预测/补偿单元115提供的预测的图像，并将差信息输出到正交变换单元104。

在图像待进行帧间编码的情况下，算术运算单元103把从画面重排缓冲器102读取的图像减去从运动预测/补偿单元115提供的预测的图像。

正交变换单元104对从算术运算单元103提供的差信息进行正交变换例如离散余弦变换或卡忽南拉维(Karhunen Loeve)变换。另外，该正交变换方法是任意的。正交变换单元104将变换系数提供给量化单元105。

量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于与从速率控制单元117提供的比特率的目标值有关的信息来设置量化参数，并进行量化。另外，该量化方法是任意的。量化单元105将量化的变换系数提供给无损编码单元106。

无损编码单元106根据任意编码标准对由量化单元105量化的变换系数进行编码。系数数据在速率控制单元117的控制下被量化，且该比特率变成由速率控制单元117设置的目标值(或接近目标值)。

此外，无损编码单元106从帧内预测单元114获得指示帧内预测模式的信息，且从运动预测/补偿单元115获得指示帧间预测模式和运动矢量信息的信息。此外，无损编码单元106获得例如由环路滤波器111使用的滤波器系数。

无损编码单元106根据任意编码标准对各条信息进行编码(多路复用)作为编码数据的报头信息的一部分。无损编码单元106将由编码而获得的编码数据提供且存储到累积缓冲器107中。

无损编码单元106的编码标准例如是可变长度编码或算术编码。例如，可变编码是由例如H.264/AVC标准定义的CAVLC(上下文自适应可变长度编码)。算术编码例如是CABAC(上下文自适应二进制算术编码)。

累积缓冲器107临时地存储从无损编码单元106提供的编码数据。累积缓冲器107在预定时间将存储的编码数据提供给例如没有示出的后续的记录设备(记录介质)或通道。

此外，由量化单元105量化的量化系数也被提供给逆量化单元108。逆量化单元108根据支持量化单元105的量化方法对量化的变换系数进行逆量化。该逆量化方法可以是任何方法，只要该方法支持量化单元105的量化处理即可。逆量化单元108将获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109根据支持正交变换单元104的正交变换操作的方法对从逆量化单元108提供的变换系数进行逆正交变换。该逆正交变换方法可以是任何方法，只要该方法支持正交变换单元104的正交变换操作即可。经过逆正交变换的输出(恢复的差信息)被提供给算术运算单元110。

算术运算单元110将通过预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测的图像增加到从逆正交变换单元109提供的逆正交变换结果即恢复的差信息，并获得局部解码图像(解码图像)。该解码图像被提供给环路滤波器111或帧存储器112。

环路滤波器111包括例如去块效应滤波器或自适应环路滤波器，且充分地对从算术运算单元110提供的解码图像进行滤波操作。例如，环路滤波器111对解码图像进行去块效应滤波操作以去除块失真。此外，例如，环路滤波器111使用维纳(wiener)滤波器对该去块效应滤波操作结果(块失真已经去除的解码图像)进行环路滤波操作以改进图像质量。

另外，环路滤波器111可以对解码图像进行任意滤波操作。此外，必要时，环路滤波器111可以将信息例如用于滤波操作的滤波器系数提供给无损编码单元106，并对该信息进行编码。

环路滤波器111将滤波操作结果(经过滤波操作的解码图像)提供给帧存储器112。另外，如上所述，可以将从算术运算单元110输出的解码图像不经过环路滤波器111而提供给帧存储器112。就是说，可以省略环路滤波器111的滤波操作。

帧存储器112存储提供的解码图像，并在预定时间将存储的解码图像提供给选择单元113作为基准图像。

选择单元113选择从帧存储器112提供的基准图像的提供目的地。在例如帧间预测的情况下，选择单元113将从帧存储器112提供的基准图像提供给运动预测/补偿单元115。

帧内预测单元114使用作为通过选择单元113从帧存储器112提供的基准图像的操作目标图像中的像素值，主要在预测单元(PU)的处理单元中进行生成预测图像的帧内预测(画面内预测)。帧内预测单元114以预先准备的多种模式(帧内预测模式)进行该帧内预测。

帧内预测单元114以所有候选的帧内预测模式生成预测图像，使用从画面重排缓冲器102提供的输入图像来估计每个预测图像的代价函数值，并选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元114将以该最佳模式生成的预测图像提供给预测图像选择单元116。

此外，如上所述，帧内预测单元114充分地对例如指示所采用的帧内预测模式的帧内预测模式信息进行编码，并将该帧内预测模式信息提供给无损编码单元106。

运动预测/补偿单元115使用从画面重排缓冲器102提供的输入图像和通过选择单元113从帧存储器112提供的基准图像，主要在PU的处理单元中进行运动预测(帧间预测)，根据检测的运动矢量进行运动补偿操作，并生成预测图像(帧间预测图像信息)。运动预测/补偿单元115以预先准备的多种模式(帧间预测模式)进行该帧间预测。

运动预测/补偿单元115以所有候选的帧间预测模式生成预测图像，估计每个预测图像的代价函数值，并选择最佳模式。当选择最佳帧间预测模式时，运动/补偿单元115将以该最佳模式生成的预测图像提供给预测图像选择单元116。

此外，当对指示所采用的帧间预测模式的信息或编码数据进行解码时，运动预测/补偿单元115提供例如为了以该帧间预测模式进行处理而需要的信息，并将该信息提供给无损编码单元106。

预测图像选择单元116选择待提供到算术运算单元103和算术运算单元110的预测图像的提供源。例如在帧间编码的情况下，预测图像选择单元116选择运动预测/补偿单元115作为预测图像的提供源，并将从运动预测/补偿单元115提供的预测图像提供给算术运算单元103和算术运算单元110。

基于存储在累积缓冲器107中的编码数据的比特率，速率控制单元117控制量化单元105的量化操作速率以使得不引起上溢或下溢。

编码控制单元121控制无损编码单元106的编码操作。在这种情况下，编码控制单元121确定是否以合并模式进行编码。当进行该确定时，编码控制单元121设置用于该确定的参数NumMergeCandidates。NumMergeCandidates是与位于操作目标相关区域周围的周围区域的运动矢量和有可能在合并模式中参考的运动矢量有关的参数。当设置该参数时，编码控制单元121检查在被划分成多个片的操作目标的图像(相关图像)中，周围区域是否被包括在与相关区域相同的片(相关片)中。

就是说，编码控制单元121通过考虑有可能在合并模式中参考的周围区域是否可用，来确定是否进入合并模式，以控制无损编码单元106的编码操作，并基于该确定结果控制合并模式。此外，编码控制单元121控制用于为不同于合并模式的模式例如跳过模式、帧内预测模式、帧间预测模式和直接模式的编码操作。

无损编码单元106以由编码控制单元121选择的模式进行无损编码操作。

[多个片]

根据图像编码标准例如MPEG2或AVC，将一个图像划分成多个片，且可以并行(多个片)处理每个片。

在MPEG2的情况下，如图2中的示例A示出的，片的最大尺寸是一个宏块线，且形成B图像的片都需要是B片。

与MPEG2相比，在AVC的情况下，如图2中的示例B示出的，片可以大于一个宏块线，片边界可以不是宏块线的右端(画面中的右端)或者单个图像可以使用不同类型的片进行配置。

在AVC的情况下，去块效应滤波操作可以跨片边界执行。同时，使用邻近信息的操作例如帧内预测、CABAC、CAVLC和运动矢量预测不能跨片边界执行。

换言之，可以对每个片独立地进行编码操作以使得可以将一个图像划分成多个片并且并行地对每个片进行编码。就是说，这种片划分实现了减少编码操作时间(编码操作的较高速度)。

[编码单元]

同时，根据AVC编码标准，宏块或通过将该宏块划分成多个块而获得的子宏块是预测操作和编码操作的处理单元。然而，提供16×16像素宏块大小的该标准对于大图像帧例如作为目标下一代编码标准的UHD(超高清；4000×2000像素)不是最佳的。

现在，为了实现比AVC的编码效率高的编码效率，由JCTVC(联合协作组-视频编码)开发了被称为HEVC(高效视频编码)的编码技术作为标准，JCTVC是ITUT-T(国际电信联盟电信标准化组织)和ISO(国际标准化组织)/IEC(国际电工委员会)的联合标准化组织。

在AVC中定义了宏块和子宏块的层次结构，而在HEVC中定义了编码单元(CU)，如图3所示。

CU也被称为“编码树块(CTB)”，且是基于画面的图像部分区域，该基于画面的图像部分区域与AVC中的宏块的区域起相同的作用。虽然宏块固定为16×16像素的尺寸，但是CU的尺寸不固定且在每个序列中的压缩图像信息中确定。

例如，在被包括在作为输出的编码数据中的序列参数集(SPS)中，定义了CU的最大尺寸(LCU(最大编码单元))和最小尺寸(SCU(最小编码单元))。

此外，在每个LCU中，在不小于SCU尺寸的范围内设置split-flag＝1，以使得能够将每个LCU划分成更小尺寸的CU。在图3的示例中，LCU的尺寸是128，且最大层次深度是5。当split_flag的值是“1”时，具有2N×2N尺寸的CU在下面一层中被划分成具有N×N尺寸的CU。

此外，CU被划分成作为帧内或帧间预测的处理单元的区域(基于画面的图像部分区域)的预测单元(PU)，并且该CU被划分成作为正交变换的处理单元的区域(基于画面的图像部分区域)的变换单元(TU)。现在，在HEVC中，除了4×4和8×8的正交变换外可以使用16×16和32×32的正交变换。

与上述HEVC类似，在定义了CU且在CU单元中进行各种操作的编码标准情况下，AVC中的宏块对应于LCU。然而，CU采用了如图3所示的层次结构，因此，在最上层的LCU的尺寸通常被设置为大于AVC的宏块的尺寸，就是说，设置为128×128像素。

本公开内容也适用于使用这些CU、PU和TU而不是宏块的编码标准。就是说，用于进行预测操作的处理单元可以是任意的区域。就是说，预测操作的操作目标区域(也称为“相关区域”或“关注区域”)和位于该相关区域周围的周围区域不仅包括这些宏块和子宏块，也包括例如CU、PU和TU。

上述LCU(CU、PU和TU)是通过将片区域划分成多个片而获得的，且属于下层的片。就是说，在如参考图2所述的多个片的情况下，LCU被包括在如图4示出的多个片的一个片中。

如图5所示，根据相对于每个片报头的相对位置来确定LCU的报头地址。为LCU中的每个区域(CU、PU和TU)确定识别信息和尺寸。就是说，可以从这些信息确定每个区域的位置(例如，报头地址)。因此，可以从这些信息容易地确定相关区域和周围区域的位置和相关片的范围。换言之，可以容易地确定周围区域是否属于相关片(周围区域是可用的还是不可用的)。

另外，也可以在PU单元中设置片边界。就是说，可以有位于跨多个片的LCU。此外，在这种情况下，对应于每个运动矢量例如PU的区域(预测操作单元中的区域)被包括在多个片之一中。

[运动分区的合并]

作为运动信息编码标准之一，如图6所示，提出了被称为运动分区合并的方法(合并模式)。在该方法中，对两个标记Merge_Flag和Merge_Left_Flag作为与合并模式有关的合并信息进行传输。

Merge_Flag＝1表示相关区域X的运动信息与周围区域T或周围区域L的运动信息相同，该周围区域T与相关区域X相邻且在相关区域X的上侧，该周围区域L在相关区域X的左侧。在这种情况下，Merge_Left_Flag被包括在合并信息中且被传输。Merge_Flag＝0表示相关区域X的运动信息不同于周围区域T和周围区域L两者的运动信息。在这种情况下，对相关区域X的运动信息进行传输。

当相关区域X的运动信息与周围区域L的运动信息相同时，保存Merge_Flag＝1和Merge_Left_Flag＝1。当相关区域X的运动信息与周围区域T的运动信息相同时，保存Merge_Flag＝1和Merge_Left_Flag＝0。

[多个片的合并模式]

如上所述，在合并模式中参考周围区域的运动信息。然而，在上述的多个片的情况下，有可能在合并模式中参考的周围区域L和周围区域T可能位于与相关区域X不同的片中。

图7至图10示出了合并模式中多个片和相关区域之间的位置关系的示例。

图7示出了相关区域(CU_X)、邻接于相关区域(CU_X)且在相关区域(CU_X)上侧的周围区域(PU_T)以及邻接于相关区域(CU_X)且在相关区域(CU_X)左侧的周围区域(PU_L)都位于一个片(片1)(属于相关片)中。

在这种情况下，可以参考周围区域(PU_T)和周围区域(PU_L)两者(意指可用)。

图8示出了，相关区域(CU_X)和周围区域(PU_L)位于片1(属于相关片)中时，周围区域(PU_T)位于片0(不属于相关片)中。

在这种情况下，虽然可以参考周围区域(PU_L)时(意指可用)，而不能参考周围区域(PU_T)(意指不可用)。

图9示出了，相关区域(CU_X)位于片1(属于相关片)中时，周围区域(PU_T)和周围区域(PU_L)位于片0(不属于相关片)中。

在这种情况下，不可以参考周围区域(PU_T)和周围区域(PU_L)两者(意指不可用)。

图10示出了，相关区域(CU_X)和周围区域(PU_T)位于片1(属于相关片)中时，周围区域(PU_L)位于片0(不属于相关片)中。

在这种情况下，虽然可以参考周围区域(PU_T)时(意指可用)，而不能参考周围区域(PU_L)(意指不可用)。

另外，片边界除了包括片间边界外还包括画面端。重要的是周围区域是否可用，就是说，周围区域是否包括在相关片中。因此，周围区域不可用的状态包括：周围区域属于另一片和周围区域不存在(位于画面外)。

在图6中，当如上所述周围区域L和周围区域T不可用时，直到周围区域L和周围区域T的操作完成时才能进行相关区域X的操作。因此，尽管在参考多个片和周围区域的情况下对每个片并行地进行操作，但令人担忧的是因此并行操作变得困难且操作时间增加。

[语法]

此外，不但当在合并模式中实际参考周围区域的运动信息时，而且当确定是否采用合并模式时，也需要周围区域的运动信息。

图11示出了CU语法的示例。图12示出了PU语法的示例。图11和图12中每行左端的编号是为便于描述而分配的行号。

例如，如在图11中的第7行和图12中的第12行指示的，使用NumMergeCandidates的参数值来确定是否采用合并模式。该参数指示在合并模式中有可能与相关区域合并的周围区域(待与相关区域合并的候选区域)的运动矢量的计数值(总和)。

图1中的编码控制单元121将该NumMergeCandidates大于0视为采用合并模式的条件之一。NumMergeCandidates是0指示在待与相关区域合并的候选区域中一个包括运动信息的区域也不存在。在这种情况下，不能进行合并，因此，编码控制单元121进行控制以采用不同于合并模式的模式。

换言之，当NumMergeCandidates大于0时，在待与相关区域合并的候选区域中至少存在一个包括运动信息的区域，因此，编码控制单元121确定与合并模式相关的其他条件。

为了准确地计算该NumMergeCandidates，必须检查所有作为待与相关区域合并的候选区域的周围区域的运动信息。就是说，当确定是否采用合并模式时，该NumMergeCandidates是必需的，且必须参考周围区域的运动信息来计算该值。因此，如上所述，当存在不可用的周围区域时，令人担忧的是确定是否采用合并模式时并行操作变得困难并且发生延迟。

[编码控制单元的NumMergeCandidates计算]

因此，编码控制单元121仅确定在包括运动矢量的相关片中是否存在周围区域，并计算NumMergeCandidates。就是说，仅当相关片中存在周围区域且包括运动矢量时，编码控制单元121对这些周围区域进行计数(NumMergeCandidates增大)。

通过这样做，首先，不需要参考不属于相关片的周围区域的运动矢量以确定是否采用合并模式。此外，从待与相关区域合并的候选区域除去了不属于相关片的周围区域。换言之，待与相关区域合并的候选区域仅是属于相关区域的周围区域。因此，即使当采用合并模式时，仅将属于相关片的周围区域与相关区域合并，使得无需参考不属于相关片的周围区域的运动矢量。

因此，编码控制单元121和无损编码单元106仅需要参考相关片中的运动信息，而不需要等到完成其他片的操作。因此，图像编码设备100可以实现并行地对每个片操作，并抑制了因发生了对于与合并模式相关的操作所不必要的延迟时间而引起的操作时间的增加。

另外，编码控制单元121仅需要如上所述计算NumMergeCandidates，而不需要改变语法。因此，容易开发，且不需要担忧比特率增加或通用性降低。

另外，上述片仅需要是通过将画面划分而获得的处理单元，且可以并行处理。因此，该片除了包括正常片外还包括例如熵片。自然地，片的形状、数量和位置是任意的。就是说，画面的划分位置和划分数量是任意的。

此外，尽管片1是相关片，但即使当任何一个片是相关片时也同样适用。例如，在图4的示例中，当片0和片2中的区域是相关区域时也同样适用。

另外，如上所述，即使当画面的左端或上端不存在周围区域时，也与在另一片中存在周围区域的情况类似，编码控制单元121跳过参考该周围区域的运动矢量，且不增加NumMergeCandidates。

[无损编码单元和编码控制单元]

图13是示出无损编码单元106和编码控制单元121的典型示例结构的框图。

如图13所示，无损编码单元106包括：NAL(网络抽象层)编码单元131和CU数据编码单元132。

NAL编码单元131对NAL数据例如序列参数集(SPS)、画面参数集(PPS)和片报头进行编码。CU数据编码单元132对CU层或下面的层的数据(VCL(视频编码层))进行编码。

CU数据编码单元132包括：跳过标记编码单元141、跳过模式编码单元142、合并标记编码单元143和合并模式编码单元144。此外，CU数据编码单元132包括：PredMode编码单元145、帧内编码单元146、帧间编码单元147和直接模式编码单元148。

跳过标记编码单元141在编码控制单元121的控制下生成指示是否采用跳过模式的跳过标记，并对该跳过标记进行编码。跳过模式编码单元142在编码控制单元121的控制下以跳过模式进行编码操作。

合并标记编码单元143在编码控制单元121的控制下生成指示是否采用合并模式的合并标记(MergeFlag)，并对该合并标记进行编码。合并模式编码单元144在编码控制单元121的控制下以合并模式进行编码操作。

PredMode编码单元145在编码控制单元121的控制下对PredMode进行编码，该PredMode是指示预测模式的参数。帧内编码单元146在编码控制单元121的控制下进行与对使用帧内预测生成的差分图像的编码相关的操作。帧间编码单元147在编码控制单元121的控制下进行与对使用帧间预测生成的差分图像的编码相关的操作。直接模式编码单元148在编码控制单元121的控制下进行与对使用直接模式生成的差分图像的编码相关的操作。

此外，如图13所示，编码控制单元121包括：片确定单元161、跳过标记确定单元162、NMC(NumMergeCandidates)设置单元163、NMC确定单元164、合并标记确定单元165和PredMode确定单元166。

片确定单元161确定相关片的类型，并将该确定结果提供给跳过标记编码单元141、以及PredMode编码单元145或跳过标记确定单元162。跳过标记确定单元162确定由跳过标记编码单元141生成(或没有生成)的跳过标记的值(或存在)，并将确定结果提供给跳过模式编码单元142或NMC确定单元164。

NMC设置单元163计算(设置)参数NumMergeCandidates的值，并将该值提供给NMC确定单元164。NMC确定单元164确定NumMergeCandidates的值，并将该确定结果提供给合并标记编码单元143或合并标记确定单元165。

合并标记确定单元165确定由合并标记编码单元143生成(或没有生成)的合并标记的值(或存在)，并将该确定结果提供给合并模式编码单元144或片确定单元161。

PredMode确定单元166确定由PredMode编码单元145生成(或没有生成)的PredMode的值(或存在)，并将该确定结果提供给帧内编码单元146、帧间编码单元147或直接模式编码单元148。

[NMC设置单元]

图14是示出NMC设置单元163的典型示例结构的框图。

如图14所示，NMC设置单元163包括：NMC重置单元181、位置确定单元182、类型确定单元183、NMC更新单元184和NMC保存单元185。

NMC重置单元181将在NMC保存单元185中保存的参数NumMergeCandidates的值重置为0。

当从NMC重置单元181接收重置通知、从NMC更新单元184接收NumMergeCandidates的值的更新通知或从类型确定单元183获得确定结果时，位置确定单元182从NAL编码单元131获得与相关区域X的片和位置有关的信息，计算相关区域X的位置，根据该相关区域X的位置计算周围区域T和周围区域L的位置，并确定相关片中是否存在这些区域。位置确定单元182将确定结果提供给类型确定单元183。

当从位置确定单元182获得确定结果时，类型确定单元183确定存在于来自CU数据编码单元132的相关片中的周围区域L和周围区域T的预测类型。就是说，类型确定单元183确定周围区域L或周围区域T是否包括运动信息。类型确定单元183将该确定结果提供给位置确定单元182或NMC更新单元184。

当从类型确定单元183获得确定结果时，NMC更新单元184增加(加1)在NMC保存单元185中保存的参数NumMergeCandidates的值。就是说，当位于相关片中的周围区域包括运动信息时，NMC更新单元184将增加(加1)在NMC保存单元185中保存的参数NumMergeCandidates的值。

NMC保存单元185在预定时间或响应于来自NMC确定单元164的请求，将保存的参数NumMergeCandidates的值提供给NMC确定单元164。

[编码操作流程]

接下来，将描述由上述图像编码设备100执行的每个操作的流程。首先，将参考图15中的流程图描述编码操作流程。

在步骤S101中，A/D转换器101对输入的图像进行A/D转换。在步骤S102中，画面重排缓冲器102存储经过A/D转换的图像，以编码顺序而不是显示顺序对各个画面进行重排。

在步骤S103中，帧内预测单元114以帧内预测模式进行帧内预测操作。在步骤S104中，运动预测/补偿单元115以帧间预测模式进行运动预测或运动补偿的帧间运动预测操作。

在步骤S105中，预测图像选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的相应代价函数值确定最佳模式。就是说，预测图像选择单元116从由帧内预测单元114生成的预测图像和由运动预测/补偿单元115生成的预测图像中选择一个。

在步骤S106中，算术运算单元103计算由步骤S102中的操作重排的图像和由步骤S105中的操作选择的预测图像之间的差。与原始图像数据相比，差数据的量降低了。因此，与照原样对图像进行编码而获得的数据相比，可以压缩数据的量。

在步骤S107中，正交变换单元104对由步骤S106中的操作生成的差信息进行正交变换。具体地，进行正交变换例如离散余弦变换或卡忽南-拉维变换，并输出变换系数。

在步骤S108中，量化单元105对由步骤S107中的操作而获得的正交变换系数进行量化。

对由步骤S108中的操作量化的差信息如下地进行局部解码。就是说，在步骤S109中，逆量化单元108根据与量化单元105的特性匹配的特性对由步骤S108中的操作生成的正交变换系数(也称为“量化系数”)进行逆量化。在步骤S110中，逆正交变换单元109根据与正交变换单元104的特性匹配的特性对由步骤S107中的操作获得的正交变换系数进行逆正交变换。

在步骤S111中，算术运算单元110将预测图像加到局部解码的差信息，并生成局部解码图像(与到算术运算单元103的输入相对应的图像)。在步骤S112中，环路滤波器111对由步骤S111中的操作获得的局部解码图像充分地进行包括去块效应滤波操作和自适应环路滤波操作的环路滤波操作。

在步骤S113中，帧存储器112对经过了由步骤S112的操作进行的环路滤波操作的解码图像进行存储。另外，帧存储器112还从算术运算单元110接收所提供的没有经过由环路滤波器111进行的滤波操作的图像，并存储该图像。

在步骤S114中，无损编码单元106对由步骤S108中的操作量化的变换系数进行编码。就是说，对差分图像进行无损编码例如可变长度编码或算术编码。

另外，无损编码单元106对步骤S108中计算的量化参数进行编码，并将该量化参数添加到编码数据。此外，无损编码单元106对与由步骤S105中的操作选择的预测图像的预测模式有关的信息进行编码，并将该信息添加到通过对差分图像进行编码而获得的编码数据。就是说，无损编码单元106也对从帧内预测单元114提供的最佳帧内预测模式信息或与从运动预测/补偿单元115提供的最佳帧间预测模式匹配的信息进行编码，并将该信息添加到编码数据。

在步骤S115中，累积缓冲器107对由步骤S114中的操作而获得的编码数据进行存储。充分地读取在累积缓冲器107中存储的编码数据，并通过通道或记录介质将该编码数据传输给解码方。

在步骤S116中，基于由步骤S115中的操作而在累积缓冲器107中存储的编码数据的比特率(生成的比特率)，速率控制单元117控制量化单元105的量化操作速率以使得不引起上溢或下溢。

当步骤S116中的操作完成时，完成了编码操作。

另外，在步骤S114中，无损编码单元106在编码控制单元121的控制下进行编码操作。

[无损编码操作流程]

接下来，将参考图16中的流程图描述在图15的步骤S114中执行的无损编码操作流程的示例。如图16所示，对图像每层进行无损编码操作。

就是说，NAL编码单元131在步骤S121中生成SPS并对该SPS进行编码，在步骤S122中生成PPS并对该PPS进行编码，且在步骤S123中生成片报头并对该片报头进行编码。在步骤S124中，CU数据编码单元132对操作目标的相关CU进行编码。

CU数据编码单元132针对操作目标的相关片中的所有CU重复步骤S124中的操作。在步骤S125中，当确定相关片中不存在还没有经过操作的CU时，CU数据编码单元132将操作移至步骤S126。

NAL编码单元131针对操作目标的相关画面中的所有片重复步骤S123至步骤S125中的操作。在步骤S126中，当确定相关画面中不存在还没有经过操作的片时，NAL编码单元131将操作移至步骤S127。

NAL编码单元131针对操作目标的相关序列中的所有画面重复步骤S122至步骤S126中的操作。在步骤S127中，当确定相关序列中不存在还没有经过操作的画面时，NAL编码单元131完成了无损编码操作，操作返回到图15。

[CU编码操作流程]

接下来，将参考图17和图18中的流程图描述在图16的步骤S124中执行的CU编码操作流程的示例。

当CU编码操作开始时，在步骤S131中，片确定单元161基于由NAL编码单元131生成的NAL数据确定相关片的类型，并确定相关片是否是I片。仅当相关片不是I片(是P片或B片)时，跳过标记编码单元141在步骤S132中生成跳过标记并对该跳过标记进行编码。

在步骤S133中，当跳过标记确定单元162确定跳过标记的值是1时，从跳过标记确定单元162获得确定结果的跳过模式编码单元142在步骤S134中以跳过模式对CU数据进行编码。当编码完成时，CU编码操作完成了，操作返回到图16。

此外，在图17的步骤S133中，当跳过标记确定单元162确定跳过标记的值是0或跳过标记不存在时，跳过标记确定单元162将操作移至步骤S135。在这种情况下，不以跳过模式进行编码。

在步骤S135中，NMC设置单元163对NumMergeCandidates进行设置。

在步骤S136中，仅当NMC确定单元164确定在步骤S135中设置的NumMergeCandidates的值大于0时，合并标记编码单元143在步骤S137中生成合并标记，并对该合并标记进行编码。

在步骤S138中，当合并标记确定单元165确定合并标记的值是1时，从合并标记确定单元165获得该确定结果的合并模式编码单元144在步骤S139中以合并模式对CU数据进行编码。当编码完成时，完成了CU编码操作，操作返回到图16。

此外，在图17的步骤S138中，当合并标记确定单元165确定合并标记的值是0或合并标记不存在时，将操作移至图18中的流程图，并进行与采用的预测模式匹配的编码。

就是说，仅当片确定单元161在图18的步骤S141中确定操作目标的相关片不是I片时，PredMode编码单元145在步骤S142中生成pred_mode并对该pred_mode进行编码，该pred_mode是指示相关片的预测模式类型的参数。

在步骤S143中，当PredMode确定单元166参考PredMode并确定相关区域的预测模式是帧内预测模式时，帧内编码单元146在步骤S144中对帧内预测模式的CU数据进行编码。就是说，例如，对差分图像信息(量化的正交变换系数)和与帧内预测模式有关的信息进行编码。当编码完成时，完成了CU编码操作，操作返回到图16。

此外，当PredMode确定单元166确定相关区域的预测模式不是帧内预测模式而是帧间预测模式时(步骤S143和步骤S145)，帧间编码单元147在步骤S146中对帧间预测模式的CU数据进行编码。就是说，例如，对差分图像信息(量化的正交变换系数)和与帧间预测模式有关的信息进行编码。当编码完成时，完成了CU编码操作，操作返回到图16。

此外，当PredMode确定单元166确定相关区域的预测模式既不是帧内预测模式也不是帧间预测模式时(步骤S143和步骤S145)，直接模式编码单元148在步骤S147中对直接预测模式的CU数据进行编码。当编码完成时，完成了CU编码操作，操作返回到图16。

[NumMergeCandidates设置操作流程]

接下来，将参考图19中的流程图描述NumMergeCandidates设置操作流程的示例。

当NumMergeCandidates设置操作开始时，在步骤S151中，NMC重置单元181将NMC保存单元185中保存的参数NumMergeCandidates重置为初始值“0”。

仅当位置确定单元182在步骤S152中确定相关片中存在周围区域PU_L且类型确定单元183在步骤S153中确定周围区域PU_L的预测模式不是帧内预测模式时，NMC更新单元184在步骤S154中增加(加1)在NMC保存单元185中保存的参数NumMergeCandidates的值。

与此相反，当位置确定单元182在步骤S152中确定相关片中不存在周围区域PU_L或类型确定单元183在步骤S153中确定周围区域PU_L的预测模式是帧内预测时，不增加(加1)参数NumMergeCandidates的值。

对周围区域PU_T进行相同的操作(步骤S155至步骤S157)。

在步骤S158中，NMC保存单元185将保存的NumMergeCandidates的值提供给NMC确定单元164。当输出NumMergeCandidates的值时，完成了NumMergeCandidates设置操作，操作返回到图17。

通过进行如上所述的各种操作，图像编码设备100可以实现并行地对每个片操作，并抑制了因发生对于与合并模式有关的操作所不必要的延迟时间而引起的操作时间的增加。

<2.第二实施方式>

[图像解码设备]

图20是示出图像解码设备的典型示例结构的框图。图20示出的图像解码设备200根据支持图像编码设备的编码方法的解码方法对由图像编码设备100生成的编码数据进行解码。另外，与图像编码设备100类似，图像解码设备200对每个任意区域(例如，预测单元(PU))进行预测操作。

如图20所示，图像解码设备200包括：累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、算术运算单元205、环路滤波器206、画面重排缓冲器207和D/A转换器208。图像解码设备200还包括：帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。

此外，图像解码设备200包括解码控制单元221。

累积缓冲器201对传输的编码数据进行存储，并在预定时间将该编码数据提供给无损解码单元202。无损解码单元202根据支持无损编码单元106的编码标准的标准对从累积缓冲器201提供的且由图1中的无损编码单元106编码的信息进行解码。无损解码单元202将通过对作为解码结果的差分图像进行量化而获得的系数数据提供给逆量化单元203。

此外，无损解码单元202确定是将帧内预测模式还是将帧间预测模式选择为最佳预测模式，并将与该最佳预测模式有关的信息提供给被确定为待选择的帧内预测单元211或运动预测/补偿单元212的模式。就是说，例如，当在图像编码设备100中将帧间预测模式选择为最佳预测模式时，与该最佳预测有关的信息被提供给运动预测/补偿单元212。

逆量化单元203根据支持图1中的量化单元105的量化标准的标准对通过由无损解码单元202解码而获得的量化系数数据进行逆量化，并将获得的系数数据提供给逆正交变换单元204。

逆正交变换单元204根据支持图1中的正交变换单元104的正交变换标准的标准对从逆量化单元203提供的系数数据进行逆正交变换。根据该逆正交变换操作，逆正交变换单元204获得与在图像编码设备100中还没有经过正交变换的残留数据相对应的解码的残留数据。

逆正交变换得到的解码的残留数据被提供给算术运算单元205。此外，算术运算单元205通过选择单元213从帧内预测单元211或运动预测/补偿单元212接收提供的的预测图像。

算术运算单元205将该解码的残留数据加上预测图像，并获得与还没有由图像编码设备100的算术运算单元103从其减去预测图像的图像数据相对应的解码图像数据。算术运算单元205将该解码图像数据提供给环路滤波器206。

环路滤波器206对提供的解码图像充分地进行包括去块效应滤波操作或自适应环路滤波操作的环路滤波操作，并将该解码图像提供给画面重排缓冲器207。

环路滤波器206包括例如去块效应滤波器或自适应滤波器，且对从算术运算单元205提供的解码图像充分地进行滤波操作。例如，环路滤波器206对解码图像进行去块效应滤波操作以去除块失真。此外，例如，环路滤波器206使用维纳滤波器对该去块效应滤波操作结果(已经去除块失真的解码图像)进行环路滤波操作以改进图像质量。

另外，环路滤波器206对解码图像可以进行任意的滤波操作。此外，环路滤波器206可以使用从图1中的图像编码设备100提供的滤波系数进行滤波操作。

环路滤波器206将滤波操作结果(经过滤波操作的解码图像)提供给画面重排缓冲器207和帧存储器209。另外，可以将从算术运算单元205输出的解码图像不经过环路滤波器206而提供给画面重排缓冲器207和帧存储器209。就是说，可以跳过环路滤波器206的滤波操作。

画面重排缓冲器207进行图像重排。具体地，将以由图1的画面重排缓冲器102进行的以编码的顺序重排的帧顺序以原始的显示顺序进行重排。D/A转换器208对从画面重排缓冲器207提供的图像进行D/A转换，并将图像输出到没有示出的显示器以显示图像。

帧存储器209对提供的解码图像进行存储，并在预定时间或响应于来自外部例如帧内预测单元211或运动预测/补偿单元212的响应，将存储的解码图像作为基准图像提供给选择单元210。

选择单元210选择从帧存储器209提供的基准图像的提供目的地。当对经过帧内编码的图像进行解码时，选择单元210将从帧存储器209提供的基准图像提供给帧内预测单元211。此外，当对经过帧间编码的图像进行解码时，选择单元210将从帧存储器209提供的基准图像提供给运动预测/补偿单元212。

帧内预测单元211从无损解码单元202充分地接收提供的例如通过对报头信息进行解码而获得的且指示帧内预测模式的信息。帧内预测单元211以在图1的帧内预测单元114中使用的帧内预测模式、使用从帧存储器209获得的基准图像进行帧内预测，并生成预测图像。帧内预测单元211将生成的预测图像提供给选择单元213。

运动预测/补偿单元212从无损解码单元202获得通过对报头信息(最佳预测模式信息的代码编号、差信息和预测运动矢量信息)进行解码而获得的信息。

运动预测/补偿单元212以在图1的运动预测/补偿单元115中使用的帧间预测模式、使用从帧存储器209获得的基准图像进行帧间预测，并生成预测图像。

解码控制单元221控制无损解码单元202的解码操作。无损解码单元202根据支持图1中的无损编码单元106的方法主要进行解码操作，因此，解码控制单元221的控制方法基本与图1中的编码控制单元121的控制方法相同。通过协调编码侧和解码侧的控制方法，解码控制单元221可以选择支持由编码控制单元121选择的编码方法的解码方法，并进行控制以使得能够准确地进行解码操作。

就是说，解码控制单元221确定是否以合并模式进行解码。当进行该确定时，解码控制单元221设置参数NumMergeCandidates。当设置该参数时，解码控制单元221检查周围区域是否像多个片的相关画面的相关区域那样被包括在相关片中。

就是说，解码控制单元221通过考虑有可能以合并模式被参考的周围区域是否可用，来确定是否进入合并模式，以控制无损解码单元202的解码操作，并基于该确定结果控制合并模式。此外，解码控制单元221以不同于合并模式的模式例如跳过模式、帧内预测模式、帧间预测模式和直接模式控制解码操作。

无损解码单元202以由解码控制单元221选择的模式进行无损解码操作。

通过这样做，解码控制单元221和无损解码单元202仅需要参考相关片中的运动信息，且因此不需要等到完成其他片的操作。因此，图像解码设备200可以实现并行地对每个片操作，并抑制了因发生了对于与合并模式相关的操作所不必要的延迟时间而引起的操作时间的增加。

[无损解码单元和解码控制单元]

图21是示出无损解码单元202和解码控制单元221的典型示例结构的框图。

如图21所示，无损解码单元202包括：NAL解码单元231和CU数据解码单元232。

NAL解码单元231对NAL数据例如序列参数集、画面参数集和片报头进行解码。CU数据解码单元232对CU层或更少的层的编码数据进行解码。

CU数据解码单元232包括：跳过标记解码单元241、跳过模式解码单元242、合并标记解码单元243和合并模式解码单元244。CU数据解码单元232还包括：PredMode解码单元245、帧内解码单元246、帧间解码单元247和直接模式解码单元248。

跳过标记解码单元241在解码控制单元221的控制下对跳过标记进行解码。跳过模式解码单元242在解码控制单元221的控制下以跳过模式进行解码操作。

合并标记解码单元243在解码控制单元221的控制下对合并标记(MergeFlag)进行解码。合并模式解码单元244在解码控制单元221的控制下以合并模式进行解码操作。

PredMode解码单元245在解码控制单元221的控制下对PredMode进行解码。帧内解码单元246在解码控制单元221的控制下进行对与使用帧内预测生成的差分图像的编码数据的解码有关的操作。帧间解码单元247在解码控制单元221的控制下进行对与使用帧间预测生成的差分图像的编码数据的解码有关的操作。直接模式解码单元248在解码控制单元221的控制下进行对与使用直接模式生成的差分图像的编码数据的解码有关的操作。

此外，解码控制单元221进行与编码控制单元121基本相同的控制。就是说，如图21所示，解码控制单元221包括：片确定单元261、跳过标记确定单元262、NMC设置单元263、NMC确定单元264、合并标记确定单元265和PredMode确定单元266。

片确定单元261至PredMode确定单元266进行与编码控制单元121的片确定单元261至PredMode确定单元166基本相同的操作。

[NMC设置单元]

图22是示出NMC设置单元263的典型示例结构的框图。

NMC设置单元263进行与NMC设置单元163基本相同的操作。就是说，如图22所示，NMC设置单元263包括：NMC重置单元281、位置确定单元282、类型确定单元283、NMC更新单元284和NMC保存单元285。

NMC重置单元281至NMC保存单元285进行与NMC重置单元181至NMC 185基本相同的操作。

[解码操作流程]

接下来，将描述由上述的图像解码设备200执行的每个操作的流程。首先，参考图23中的流程图描述解码操作流程。

当解码操作开始时，累积缓冲器201在步骤S201中对传输的码流进行存储。在步骤S202中，无损解码单元202对从累积缓冲器201提供的码流进行解码。就是说，图1中的无损编码单元106对编码的I画面、P画面和B画面进行解码。此外，也对包括在码流中的除差分图像信息之外的各种信息例如差分运动信息、预测运动矢量的代码编号和合并信息进行解码。

在步骤S203中，逆量化单元203对由步骤S202中的操作获得的量化的正交变换系数进行逆量化。在步骤S204中，逆正交变换单元204对在步骤S203中经过了逆量化的变换正交系数进行逆正交变换。

在步骤S205中，帧内预测单元211或运动预测/补偿单元212使用提供的信息进行预测操作。在步骤S206中，选择单元213选择在步骤S205中生成的预测图像。在步骤S207中，算术运算单元205将在步骤S206中选择的预测图像添加到在步骤S204中由逆正交变换获得的差分图像信息。以此方式，获得了解码图像。

在步骤S208中，环路滤波器206对步骤S207中获得的解码图像充分地进行包括去块效应滤波操作和自适应环路滤波操作的环路滤波操作。

在步骤S209中，画面重排缓冲器207对在步骤S208中经过了滤波操作的图像进行重排。就是说，由图像编码设备100的画面重排缓冲器102为了编码而重排的帧的顺序被以原始的显示顺序进行重排。

在步骤S210中，D/A转换器208对在步骤S209中通过对帧的顺序进行重排而获得的图像进行D/A转换。将该图像输出到显示器(未示出)并显示该图像。

在步骤S211中，帧存储器209对在步骤S208中经过了滤波操作的图像进行存储。在步骤S205中将该图像用作基准图像以生成预测图像。

当步骤S211中的操作完成时，完成了解码操作。

[无损解码操作流程]

接下来，将参考图24中的流程图描述在图23的步骤S202中执行的无损解码操作流程的示例。

与无损编码操作类似，对图像的每层进行该无损解码操作。

就是说，NAL解码231在步骤S221中对SPS的编码数据进行解码，在步骤S222中对PPS的编码数据进行解码，并且在步骤S223中对片报头的编码数据进行解码。在步骤S224中，CU数据解码单元232对操作目标的相关CU进行解码。

CU数据解码单元232在步骤S224中针对操作目标的相关片中的所有CU重复该操作。在步骤S225中，当确定相关片中不存在还没有经过操作的CU时，CU数据解码单元232将操作移至步骤S226。

NAL解码单元231在步骤S223中针对操作目标的相关画面中的所有片重复该操作。在步骤S226中，当确定相关画面中不存在还没有经过操作的片时，NAL解码单元231将操作移至步骤S227。

NAL解码单元231在步骤S222到步骤S226中针对操作目标的相关序列中的所有画面重复操作。在步骤S227中，当确定相关序列中不存在还没有经过操作的画面时，NAL解码单元231完成了无损解码操作，并将操作返回到图23。

[CU解码操作]

接下来，将参考图25和图26中的流程图描述在图24的步骤S224中执行的CU解码操作流程的示例。

当CU解码操作开始时，在步骤S231中，片确定单元261基于由NAL解码单元231解码的NAL数据确定相关片的类型，并确定相关片是否是I片。

当相关片不是I片(相关片是P片或B片)时，跳过标记解码单元241对步骤S232中的跳过标记进行解码。当确定相关片是I片时，不对跳过标记进行编码，因此，该操作被跳过。

当跳过标记确定单元262在步骤S233中确定跳过标记存在且跳过标记的值是1时，跳过模式解码单元242在步骤S234中以跳过模式对CU数据进行解码。当对CU数据进行解码时，跳过模式解码单元242完成了CU解码操作，并将操作返回到图24。

当跳过标记确定单元262在步骤S233中确定跳过标记不存在或跳过标记的值是0时，NMC设置单元263在步骤S235中对NumMergeCandidates进行设置。进行如参考图19中的流程图描述的NumMergeCandidates设置操作，因此，将不详细描述该NumMergeCandidates设置操作。

当对NumMergeCandidates进行了设置且NMC确定单元264在步骤S236中确定NumMergeCandidates的值大于0时，合并标记解码单元243在步骤S237中对合并标记进行解码。当确定NumMergeCandidates的值是0时，不对合并标记进行编码，因此，该操作被跳过。

在步骤S238中，当合并标记确定单元265确定合并标记存在且合并标记的值是1时，合并标记解码单元244在步骤S239中以合并模式对CU数据进行解码。当对CU数据进行解码时，合并模式解码单元244完成了CU解码操作，并将操作返回到图24。

在步骤S238中，当合并标记确定单元265确定合并标记不存在或合并标记的值是0时，将操作移至图26。

在这种情况下，根据与预测模式匹配的方法对CU数据进行解码。就是说，当片确定单元261在图26的步骤S241中确定相关片不是I片时，PredMode解码单元245在步骤S242中对pred_mode进行解码。当确定相关片是I片时，不对pred_mode进行编码，因此，该操作被跳过。

当PredMode确定单元266在步骤S243中确定相关区域的预测模式是帧内预测模式时，帧内解码单元246在步骤S244中以帧内预测模式进行解码(根据适当的方法对以帧内预测模式编码的CU数据进行解码)。当对CU数据进行解码时，帧内解码单元246完成了CU解码操作，并将操作返回到图24。

此外，当PredMode确定单元266在步骤S243中确定相关区域的预测模式不是帧内预测模式且在步骤S245中确定预测模式是帧间预测模式时，帧间解码单元247在步骤S246中以帧间预测模式进行解码(根据适当的方法对以帧间预测模式编码的CU数据进行解码)。当对CU数据进行解码时，帧间解码单元247完成了CU解码操作，并将操作返回到图24。

此外，当PredMode确定单元266在步骤S243中确定相关区域的预测模式不是帧内预测模式且在步骤S245中确定预测模式不是帧间预测模式时，直接模式解码单元248在步骤S247中以直接预测模式进行解码(根据适当的方法对以直接预测模式编码的CU数据进行解码)。当对CU数据进行解码时，直接模式解码单元248完成了CU解码操作，并将操作返回到图24。

如上所述，通过进行各种操作，解码控制单元221和无损解码单元202仅需要参考相关片中的运动信息，因此，不需要等到完成其他片的操作。因此，图像解码设备200可以实现并行地对每个片操作，并抑制了因发生了对于与合并模式相关的操作所不必要的延迟时间而引起的操作时间的增加。

另外，可以将本技术应用于当经由网络介质例如卫星广播、有线电视、因特网或便携式电话设备接收通过正交变换例如离散余弦变换和如以MPEG或H.26x压缩进行运动补偿的图像信息(比特流)时所使用的图像编码设备和图像解码设备。此外，还可以将本技术应用于当在存储介质例如光盘、磁盘或闪存上处理压缩的图像信息时所使用的图像编码设备和图像解码设备。此外，本技术还适用于包括在这些图像编码设备和图像解码设备中的运动预测/补偿设备。

<3.第三实施方式>

[个人计算机]

可以由硬件进行上述系列操作，也可以由软件进行上述系列操作。当由软件进行系列操作时，将形成软件的程序安装在计算机中。这里，计算机可以是由专用硬件组成的计算机，或可以是当安装各种程序时能够执行各种功能的通用个人计算机。

在图27中，个人计算机500的CPU(中央处理单元)根据存储在ROM(只读存储器)502中的程序或从存储单元513加载到RAM(随机访问存储器)503的程序执行各种处理。需要时，也可以将CPU 501为进行各种处理所需的数据存储在RAM 503中。

CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口510也与总线504连接。

输入/输出接口510与由键盘、鼠标等形成的输入单元511、由显示器例如CRT(阴极射线管)或LCD(液晶显示器)和扬声器形成的输出单元512、由硬盘等形成的存储单元513和由调制解调器形成的通信单元514连接。通信单元514经由包括因特网的网络进行通信。

必要的情况下，驱动器515还与输入/输出接口510连接，将可移除介质521例如磁盘、光盘、磁光盘或半导体存储器适当地安装到驱动器上，需要时，将从可移除介质521读取的计算机程序安装在存储单元513中。

在由软件进行上述系列操作的情况下，从网络或记录介质安装形成软件的程序。

例如，如图27所示，该记录介质不仅由用于将程序从在其上记录程序的下述设备独立地递送给用户的可移除介质521例如磁盘(包括软盘)、光盘(包括CD-ROM(压缩光盘只读存储器))或DVD(数字化视频光盘)、磁光盘(包括MD(小型光盘))或半导体存储器形成，而且由其中记录有程序的ROM 502或包括在存储单元513中的硬盘形成。

由计算机执行的程序可以是根据本说明书中描述的顺序以时间顺序执行处理的程序或并行地执行处理或任何必要时例如响应于调用的程序。

此外，在本说明书中，待记录在记录介质中的程序中所写的步骤包括在不必按照时间顺序的情况下待并行进行的操作或者彼此独立进行的操作，也包括根据本文描述的顺序以时间顺序进行的操作。

在本说明书中，系统指的是由多个设备形成的整体设备。

此外，在上述的示例中，任何被描述成一个设备(或操作单元)结构都可以被分成多个设备(或操作单元)。反之，任何被描述成多个设备(或操作单元)结构都可以被组合以形成一个设备(或操作单元)。此外，当然可以将不同于上述结构的结构添加到任何设备的结构(或任何操作单元)。此外，只要整体系统的结构和功能保持相同，可以将设备(或操作单元)的结构的一部分合并到另一设备(或另一操作单元)中。就是说，本技术的实施方式不限于上述的实施方式，且在不偏离于本技术的范围的情况下可以对上述的实施方式做出各种修改。

可以将根据上述实施方式的图像编码设备和图像解码设备应用到各种电子设备，例如用于卫星广播、有线广播例如有线电视、通过因特网的分发和借助于蜂窝通信对终端进行的分发的发送器或接收器；在介质例如光盘、磁盘和闪存中记录图像的记录设备；和从这些存储介质再现图像的再现设备。将描述四个应用示例。

<4.第四实施方式>

[第一应用示例：电视接收机]

图28示出应用了上述实施方式的电视设备的示意性配置的示例。电视设备900包括：天线901、调谐器902、多路信号分离器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号提取期望的信道信号，并对提取的信号进行解调。此外，调谐器902将由解调获得的编码比特流输出到多路信号分离器903。就是说，调谐器902起到接收通过对图像进行编码而获得的编码流电视设备900的发送器的作用。

多路信号分离器903将待观看的节目的视频流和音频流从编码比特流中分离出来，并将每个分离的流输出到解码器904。此外，多路信号分离器903从编码比特流提取辅助数据例如EPG(电子节目指南)，并将提取的数据提供给控制单元910。另外，当编码比特流被加扰时，多路信号分离器903可以进行解扰。

解码器904对从多路信号分离器903输入的视频流和音频流进行解码。此外，解码器904将由解码操作生成的视频数据输出到视频信号处理单元905。此外，解码器904将由解码操作生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并在显示单元906上显示视频图像。此外，视频信号处理单元905可以在显示单元906上显示通过网络提供的应用画面。此外，视频信号处理单元905可以根据设置对视频数据进行附加的操作例如去除噪声。另外，视频信号处理单元905可以生成GUI(图形用户接口)图像例如菜单、按钮和光标，并将生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905提供的驱动信号驱动，并将视频图像或图像显示在显示设备(例如，液晶显示器、等离子显示器或OELD(有机电致发光显示器)(有机EL显示器))的显示屏幕上。

音频信号处理单元907对从解码器904输入的音频数据进行再现操作例如D/A转换和放大，并从扬声器908输出音频。此外，音频信号处理单元907可以对音频数据进行附加的操作例如去除噪声。

外部接口909是连接电视设备900和外部设备或网络的接口。例如，可以由解码器904解码通过外部接口909接收的视频流或音频流。就是说，外部接口909也起到接收编码图像的编码流的电视设备900中的发送器的作用。

控制单元910具有处理器例如CPU和存储器例如RAM和ROM。存储器存储待由CPU执行的程序、程序数据、EPG数据和通过网络获得的数据。存储在存储器中的程序由CPU在电视设备900启动时读取并执行。通过执行程序，CPU根据例如从用户接口911输入的操作信号控制电视设备900的操作。

用户接口911与控制单元910连接。用户接口911包括：例如用户用来操作电视设备900的按钮和开关、以及接收遥控信号的接收单元。用户接口911通过这些部件检测用户的操作，生成操作信号，并将生成的操作信号输出到控制单元910。

总线912与调谐器902、多路信号分离器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。

在具有该结构的电视设备900中，解码器904具有根据上述实施方式的图像解码设备的功能。因此，当对电视设备900中图像的解码时，可以实现并行地对每个片操作，并抑制了因发生了对于与合并模式相关的操作所不必要的延迟时间而引起的操作时间的增加。

<5.第五实施方式>

[第二应用示例：移动电话设备]

图29示出了应用上述实施方式的移动电话设备的示意性结构的示例。移动电话设备920包括：天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921与通信单元922连接。扬声器924和麦克风925连接至音频编解码器923。操作单元932与控制单元931连接。总线933与通信单元922、音频编解码器923、摄像单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930和控制单元931相互连接。

移动电话设备920以各种模式例如语音通信模式、数据通信模式、图像拍摄模式和视频电话模式进行操作，例如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像拍摄和数据记录。

在语音通信模式中，麦克风925生成的模拟语音信号被提供给音频编解码器923。音频编解码器923将模拟语音信号转换成音频数据，并对转换的音频数据进行A/D转换和压缩。此外，音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制，并生成发送信号。此外，通信单元922通过天线921将生成的发送信号发送到基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大和频率转换，并获得接收的信号。并且，通信单元922对接收的信号进行解调和解码，生成音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压缩和D/A转换，并生成模拟音频信号。此外，音频编解码器923将生成的音频信号提供给扬声器924，并输出音频。

此外，例如在数据通信模式中，控制单元931通过操作单元930根据用户的操作生成配置电子邮件的文本数据。并且，控制单元931在显示单元930上显示文本。此外，控制单元931通过操作单元932根据来自用户的发送指令生成电子邮件数据，并将生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，并生成发送信号。此外，通信单元922通过天线921将生成的发送信号发送到基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大和频率转换，并获得接收的信号。并且，通信单元922对接收的信号进行解调和解码，恢复电子邮件数据，并将恢复的电子邮件数据输出到控制单元931。控制单元931在显示单元930上显示电子邮件的内容，并将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括任意可读/可写的存储介质。例如，存储介质可以是内置的存储介质例如RAM或闪存，且可以是外部附接的存储介质例如硬盘、磁盘、磁光盘、光盘、USB(未分配的空间位图)存储器或存储卡。

此外，例如在图像拍摄模式中，摄像单元926拍摄对象的图像，生成图像数据，并将生成的图像数据输出到图像处理单元927。图像处理单元927对从摄像单元926输入的图像数据进行编码，并将编码的流存储在记录/再现单元929的存储介质中。

此外，例如在视频电话模式中，多路复用/分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行多路复用，并将多路复用的流输出到通信单元922。通信单元922对流进行编码和调制，并生成发送信号。此外，通信单元922通过天线921将生成的发送信号发送到基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大和频率转换，并获得接收的信号。这些发送信号和接收的信号可以包括编码比特流。此外，通信单元922对接收的信号进行解调和解码，对流进行恢复，并将恢复的流输出到多路复用/分离单元928。多路复用/分离单元928从输入的流中分离视频流和音频流，将视频流输出到图像处理单元927，将音频流输出到音频编解码器923。图像处理单元927对视频流进行解码，并生成视频数据。视频数据被提供给显示单元930，显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩和D/A转换，并生成模拟音频信号。此外，音频编解码器923将生成的音频信号提供给扬声器924，并输出音频。

在具有该结构的移动电话设备920中，图像处理单元927具有根据上述实施方式的图像编码设备和图像解码设备的功能。因此，当在移动电话设备920中对图像进行编码和解码时，可以实现并行地对每个片操作，并抑制了因发生了对于与合并模式相关的操作所不必要的延迟时间而引起的操作时间的增加。

<6.第六实施方式>

[第三应用示例：记录/再现设备]

图30示出了应用上述实施方式的记录/再现设备的示意性结构的示例。记录/再现设备940对例如接收的广播节目的音频数据和视频数据进行编码，并将数据记录在记录介质中。此外，记录/再现设备940例如对从另一设备获得的音频数据和视频数据进行编码，并将数据记录在记录介质中。此外，记录/再现设备940根据例如用户的指令对记录在监控器和扬声器上的记录介质中的数据进行再现。在这种情况下，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940包括：调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示)单元948、控制单元949和用户接口950。

调谐器941从在天线(未示出)处接收的广播信号中提取期望的信道信号，并对提取的信号进行解调。此外，调谐器941将通过解调而获得的编码比特流输出到选择器946。就是说，调谐器941起到记录/再现设备940中的发送器的作用。

外部接口942是连接记录/再现设备940和外部设备或网络的接口。外部接口942由IEEE1394接口、网络接口单元、USB接口、闪存接口等组成。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。就是说，外部接口942起到记录/再现设备940中的发送器的作用。

当对从外部接口942输入的视频数据和音频数据进行编码时，编码器943对视频数据和音频数据进行编码。此外，编码器943将编码比特流输出到选择器946。

HDD 944对通过对内容数据例如硬盘内的视频图像和音频、各种程序和其他数据进行压缩而获得的编码比特流进行记录。此外，HDD 944在再现视频图像和音频时从硬盘读取这些数据项。

盘驱动器945将数据记录到附接的记录介质，并从附接的记录介质读取数据。附接到盘驱动器945的记录介质是例如DVD盘(例如DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW)或蓝光(注册商标)光盘。

在对视频和音频进行记录时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将选择的编码比特流输出到HDD 944或盘驱动器945。此外，选择器946在对视频和音频进行再现时将从HDD 944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码，并生成视频数据和音频数据。解码器947还将生成的视频数据输出到OSD 948。此外，解码器904将生成的音频数据输出到外部扬声器。

OSD 948对从解码器947输入的视频数据进行再现，并显示视频图像。此外，OSD 948可以将GUI图像例如菜单、按钮或光标叠加到待显示的视频图像上。

控制单元949包括：处理器，例如CPU；以及存储器，例如RAM和ROM。存储器存储待由CPU执行的程序和程序数据。存储在存储器中的程序由CPU在例如记录/再现设备940启动时读取并执行。通过执行程序，CPU根据例如从用户接口950输入的操作信号控制记录/再现设备940的操作。

用户接口950与控制单元949连接。用户接口950包括例如用户用来操作记录/再现设备940的按钮和开关、以及接收遥控信号的接收单元。用户接口950通过这些部件检测用户的操作，生成操作信号，并将生成的操作信号输出到控制单元949。

在具有该结构的记录/再现设备940中，编码器943具有根据上述实施方式的图像编码设备的功能。此外，解码器947具有根据上述实施方式图像解码设备的功能。因此，在对记录/再现设备940中图像编码和解码时，可以实现并行地对每个片操作，并抑制了因发生了对于与合并模式相关的操作所不必要的延迟时间而引起的操作时间的增加。

<7.第七实施方式>

[第四应用示例：成像设备]

图31示出了应用上述实施方式的成像设备的示意性结构的示例。成像设备960捕获对象的图像，生成图像，对图像数据进行编码，并将图像数据记录在记录介质中。

成像设备960包括：光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。

光学块961与成像单元962连接。成像单元962与信号处理单元963连接。显示单元965与图像处理单元964连接。用户接口971与控制单元970连接。总线972与图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970相互连接。

光学块961包括聚焦镜头、光圈等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)，并通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。此外，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号进行各种摄像信号操作，例如拐点校正、伽玛校正和色彩校正。信号处理单元963将经过了摄像信号操作的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并生成编码数据。此外，图像处理单元964将生成的编码数据输出到外部接口966或介质驱动器968。此外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码，并生成图像数据。并且，图像处理单元964将生成的图像数据输出到显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示单元965，并显示图像。此外，图像处理单元964可以将从OSD 969获得的显示数据叠加到待输出到显示单元965的图像上。

OSD 969生成GUI图像例如菜单、按钮或光标，并将生成的图像输出到图像处理单元964。

外部接口966由例如USB输入/输出端子组成。外部接口966在例如打印图像时与成像设备960和打印机连接。此外，必要时外部接口966与驱动器连接。驱动器与可移除介质例如磁盘或光盘附接，且可以将从可移除介质读取的程序安装在成像设备960中。此外，外部接口966包括与网络例如LAN或因特网连接的网络接口。就是说，外部接口966起到成像设备960中的发送器的作用。

附接到介质驱动器968的记录介质可以是可读/可写的可移除的介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质被附接到介质驱动器968并固定，可以形成非便携式存储单元例如内置硬盘驱动器或SSD(固态驱动器)。

控制单元970包括：处理器，例如CPU；以及存储器，例如RAM和ROM。存储器存储待由CPU执行的程序和程序数据。存储在存储器中的程序由CPU在例如成像设备960启动时读取并执行。通过执行程序，CPU根据例如从用户接口971输入的操作信号控制成像设备960的操作。

用户接口971与控制单元970连接。用户接口971包括例如用户用来操作成像设备960的按钮和开关。用户接口971通过这些部件检测用户的操作，生成操作信号，并将生成的操作信号输出到控制单元970。

在具有该结构的成像设备960中，图像处理单元964具有根据上述实施方式的图像编码设备和图像解码设备的功能。因此，当对成像设备960中图像进行编码和解码时，可以实现并行地对每个片操作，并抑制了因发生了对于与合并模式相关的操作所不必要的延迟时间而引起的操作时间的增加。

另外，在本说明书中已经描述了如下示例：各种预测模式信息和合并信息在编码的流的报头上被多路复用，且被从编码方发送到解码方。然而，发送这些信息的方法不限于该示例。例如，可以在不与编码比特流进行多路复用的情况下将这些信息作为与编码比特流相关联的不同的数据进行发送或记录。同时，术语“关联”意指在解码时将包括在比特流中的图像(或图像的一部分，例如片或块)或与该图像相关联的信息联接起来。就是说，信息可以在与图像(或比特流)的信道不同的信道上传输。此外，信息可以被记录在与图像(或比特流)的记录介质不同的记录介质(或单个记录介质的另一记录区域)中。此外，信息和图像(或比特流)可以以任意单位例如多个帧、一个帧或帧中的一部分而彼此关联。

尽管参考附图详细地描述了本公开内容的适合的实施方式，但是本公开内容不限于这些示例。明显地，属于本公开内容的技术领域中的普通技术人员在权利要求中描述的技术构思的范围内可以得出各种修改示例和改正示例，这些示例自然属于本公开内容的技术范围。

另外，本技术还可以采用以下结构。

(1)一种图像处理设备，包括：编码控制单元，当对用于将画面划分成多个画面的每个片独立地进行编码时，所述编码控制单元基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息采用将操作目标的所述相关区域与位于所述相关区域周围的周围区域进行合并的合并模式；以及

编码单元，所述编码单元在所述编码控制单元的控制下以所述合并模式或不同于所述合并模式的模式对所述相关区域进行编码。

(2)在(1)中描述的所述图像处理设备中，所述编码控制单元进行控制以使得当属于所述相关片的所述周围区域中的至少一个周围区域包括运动信息时采用所述合并模式。

(3)在(1)或(2)中描述的所述图像处理设备中，所述编码控制单元包括：

计算单元，所述计算单元对属于所述相关片的所述周围区域的运动信息的数量进行计算；

确定单元，所述确定单元确定由所述计算单元计算的所述周围区域的运动信息的数量是否大于0；以及

控制单元，当所述确定单元确定所述周围区域的运动信息的数量大于0时，所述控制单元进行控制以使得采用所述合并模式。

(4)在(3)中描述的所述图像处理设备中，所述计算单元包括：

位置确定单元，所述位置确定单元确定每个周围区域是否属于所述相关片；

类型确定单元，所述类型确定单元确定被所述位置确定单元确定为属于所述相关片的周围区域的预测类型；以及

更新单元，当所述类型确定单元确定所述周围区域的所述预测类型并且确定所述周围区域包括所述运动信息时，所述更新单元更新用于对所述周围区域的运动信息的数量进行计数的参数的值。

(5)在(1)至(4)中任一项中描述的所述图像处理设备，还包括预测操作单元，所述预测操作单元对所述每个片独立地进行生成预测图像的预测操作。

(6)在(1)至(4)中任一项中描述的所述图像处理设备中，所述片是仅将由所述编码单元针对所述画面进行的所述编码操作划分成多个处理的熵片。

(7)一种图像处理设备的图像处理方法，包括：

在编码控制单元处，当对用于将画面划分成多个画面的每个片独立地进行编码时，基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息采用将操作目标的所述相关区域与位于所述相关区域周围的周围区域进行合并的合并模式；以及

在编码单元处，在所述控制下以所述合并模式或不同于所述合并模式的模式对所述相关区域进行编码。

(8)一种图像处理设备，包括：解码控制单元，当对用于将画面划分成多个画面的每个片独立地进行解码时，所述解码控制单元基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息采用将操作目标的所述相关区域与位于所述相关区域周围的周围区域进行合并的合并模式；以及

解码单元，所述解码单元在所述解码控制单元的控制下以所述合并模式或不同于所述合并模式的模式对所述相关区域进行解码。

(9)在(8)中描述的所述图像处理设备中，所述解码控制单元进行控制以使得当属于所述相关片的所述周围区域中的至少一个周围区域包括运动信息时采用所述合并模式。

(10)在(8)或(9)中描述的所述图像处理设备中，所述解码控制单元包括：

计算单元，所述计算单元对属于所述相关片的所述周围区域的运动信息的数量进行计算；

确定单元，所述确定单元确定由所述计算单元计算的所述周围区域的运动信息的数量是否大于0；以及

控制单元，当所述确定单元确定所述周围区域的运动信息的数量大于0时，所述控制单元进行控制以使得采用所述合并模式。

(11)在(10)中描述的所述图像处理设备中，所述计算单元包括：

位置确定单元，所述位置确定单元确定每个周围区域是否属于所述相关片；

类型确定单元，所述类型确定单元确定被所述位置确定单元确定为属于所述相关片的周围区域的预测类型；以及

更新单元，当所述类型确定单元确定所述周围区域的所述预测类型并且确定所述周围区域包括所述运动信息时，所述更新单元更新用于对所述周围区域的运动信息的数量进行计数的参数的值。

(12)在(8)至(11)中任一项中描述的所述图像处理设备，还包括预测操作单元，所述预测操作单元对所述每个片独立地进行生成预测图像的预测操作。

(13)在(8)至(11)中任一项中描述的所述图像处理设备中，所述片是仅将由所述解码单元针对所述画面进行的所述解码操作划分成多个处理的熵片。

(14)一种图像处理设备的图像处理方法，包括：

在解码控制单元处，当对用于将画面划分成多个画面的每个片独立地进行解码时，基于属于相关区域所属的相关片的周围区域的信息，控制是否对运动信息采用将操作目标的所述相关区域与位于所述相关区域周围的周围区域进行合并的合并模式；以及

在解码单元处，在所述控制下以所述合并模式或不同于所述合并模式的模式对所述相关区域进行解码。

附图标记列表

100图像编码设备、106无损编码单元、121编码控制单元、143合并标记编码单元、144合并模式编码单元、163NMC设置单元、164NMC确定单元、165合并标记确定单元、181NMC重置单元、182位置确定单元、183类型确定单元、184NMC更新单元、185NMC保存单元、200图像解码设备、202无损解码单元、221解码控制单元、243合并标记解码单元、244合并模式解码单元、263NMC设置单元、264NMC确定单元、265合并标记确定单元、281NMC重置单元、282位置确定单元、283类型确定单元、284NMC更新单元、以及285NMC保存单元。