图像处理装置和图像处理方法与流程

本公开内容涉及图像处理装置和图像处理方法，并且更具体地，涉及可以在扩展帧内预测以提高预测精度时降低编码处理的开销的图像处理装置和图像处理方法。

背景技术：

在高效视频编码(hevc)中，在帧内预测中参考第0行。注意，在本说明书中，行是与作为当前处理目标的当前块具有相同距离的像素组。此外，行编号对于每一行是唯一的，并且以从0开始的升序针对每个当前块分配行编号，其中0被给予最接近当前块的行。

另一方面，在根据国际电信联盟电信标准化部门(itu-t)搜索下一代视频编码的联合视频探索小组(jvet)中，建议将在帧内预测中称为行(下文中称为参考行)的候选扩展到0至3行(例如，参见非专利文献1和非专利文献2)。

在非专利文献1中描述的发明中，仅在帧内预测模式是除了平面预测模式和dc预测模式之外的指示参考方向的帧内预测模式的情况下，参考行候选被扩展到行0至3。在非专利文献2中描述的发明中，参考行候选在所有帧内预测模式下被扩展到行0至3。

此外，根据jvet，还提出了将帧内预测模式的候选从35个帧内预测模式扩展到67个帧内预测模式。

如上所述，在帧内预测中扩展参考行或帧内预测模式的候选的情况下，提高了预测精度。

引文列表

专利文献

非专利文献1：yao-jenchang,po-hanlin,chun-lung,“arbitraryreferencetierforintradirectionalmodes”,jvet-c0043,2016年5月26日至6月1日

非专利文献2：jiahaoli,“multipleline-basedintraprediction”,jvet-c00712016年5月26至6月1日

技术实现要素：

技术问题

然而，由于参考行和帧内预测模式的候选数目增加，因此根据在编码处理中执行的速率失真优化(rdo)等增加选择参考行和帧内预测模式的处理负荷。因此，增加了诸如编码处理的负荷和编码处理所需的时间之类的编码处理的开销。

鉴于这样的情况做出了本公开内容，并且旨在扩展帧内预测以提高预测精度时降低编码处理的开销。

技术问题的解决方案

根据本公开内容的第一方面的图像处理装置是下述图像处理装置，该图像处理装置包括：

选择单元，根据第一帧内预测模式和第二帧内预测模式选择帧内预测模式以及在当前块的帧内预测期间参考的参考行，

其中将距当前块距离相同的像素组作为行，第一帧内预测模式是参考最接近当前块的第一行时的帧内预测模式，并且第二帧内预测模式是参考不同于第一行的第二行时的帧内预测模式，以及

图像处理装置还包括：

预测单元，基于由选择单元选择的参考行和帧内预测模式来对当前块执行帧内预测，其中

第二帧内预测模式是第一帧内预测模式的一部分。

根据本公开内容的第一方面的图像处理方法与根据本公开内容的第一方面的图像处理装置对应。

根据本公开内容的第一方面，

根据第一帧内预测模式和第二帧内预测模式选择帧内预测模式以及在当前块的帧内预测期间参考的参考行，

其中将距当前块距离相同的像素组作为行，第一帧内预测模式是参考最接近当前块的第一行时的帧内预测模式，并且第二帧内预测模式是参考不同于第一行的第二行时的帧内预测模式，以及

基于所选择的参考行和帧内预测模式来对当前块执行帧内预测。注意，第二帧内预测模式是第一帧内预测模式的一部分。

根据本公开内容的第二方面的图像处理装置包括：预测单元，基于扩展信息来对当前块执行帧内预测，所述扩展信息指示帧内预测的扩展是由帧内预测模式指示的参考方向上的扩展还是在当前块的帧内预测中参考的参考行的扩展，其中将距当前块距离相同的像素组作为行。

根据本公开内容的第二方面的图像处理方法与根据本公开内容的第二方面的图像处理装置对应。

根据本公开内容的第二方面，基于扩展信息来对当前块执行帧内预测，所述扩展信息指示帧内预测的扩展是由帧内预测模式指示的参考方向上的扩展还是在当前块的帧内预测中参考的参考行的扩展，其中距当前块距离相同的像素组作为行。

注意，可以通过使计算机执行程序来实现根据第一方面和第二方面的图像处理装置。

此外，为了实现根据第一方面和第二方面的图像处理装置，可以通过经由传输介质传输程序或通过将程序记录在记录介质上来提供由计算机执行的程序。

本发明的效果

根据本公开内容的第一方面和第二方面，可以在扩展帧内预测以提高预测精度时降低编码处理的开销。

注意，本文中描述的效果并不是限制性的，并且可以获得本公开内容中公开的任何一种效果。

附图说明

图1是示出形成cu的方法的图。

图2是示出作为应用本公开内容的图像处理装置的图像编码装置的第一实施方式的配置示例的框图。

图3是用于说明用作参考行候选的行的图。

图4是示出基本帧内预测模式的示例的图。

图5是示出扩展的帧内预测模式的第一示例的图。

图6是示出扩展的帧内预测模式的第二示例的图。

图7是示出在对行编号的语法值进行编码之后的比特串的示例的图。

图8是用于说明图像编码处理的流程图。

图9是示出作为应用本技术的图像处理装置的图像解码装置的第一实施方式的配置示例的框图。

图10是用于说明图像解码处理的流程图。

图11是示出扩展标志与角度帧内预测模式和参考行的候选之间的示例关系的图。

图12是示出hevc中的35个帧内预测模式的图。

图13是示出计算机的配置示例的框图。

图14是示意性地示出电视设备的配置示例的框图。

图15是示意性地示出移动电话的配置示例的框图。

图16是示意性示出记录/再现设备的配置示例的框图。

图17是示意性地示出成像设备的配置示例的框图。

图18是示意性地示出视频设备的配置示例的框图。

图19是示意性示出视频处理器的示例配置的框图。

图20是示意性示出视频处理器的另一示例配置的框图。

图21是示意性示出网络系统的示例配置的框图。

具体实施方式

下面将描述用于执行本公开内容的方式(在下文中称为实施方式)。注意按照以下顺序给出描述：

1.第一实施方式：图像编码装置和图像解码装置(图1至图10)

2.第二实施方式：图像编码装置和图像解码装置(图11至图12)

3.第三实施方式：计算机(图13)

4.第四实施方式：电视设备(图14)

5.第五实施方式：移动电话(图15)

6.第六实施方式：记录与再现设备(图16)

7.第七实施方式：成像设备(图17)

8.第八实施方式：视频设备(图18至图20)

9.第九实施方式：网络系统(图21)

<第一实施方式>

(形成cu的方法的描述)

在诸如运动图像专家组2(mpeg2(iso/iec13818-2))和mpeg-4part10(高级视频编码，在下文中称为avc)的传统图像编码方法中，对被称为宏块的处理单元执行编码处理。宏块是具有16×16像素的均匀尺寸的块。另一方面，在hevc中，对被称为编码单元(cu)的处理单元(编码单元)执行编码处理。cu是通过对作为最大编码单元的最大编码单元(lcu)进行递归地划分而形成的具有可变尺寸的块。可选择的cu的最大尺寸是64×64像素。可选择的cu的最小尺寸是8×8像素。最小尺寸的cu被称为最小编码单元(scu)。注意，cu的最大尺寸不限于64×64像素，并且可以是更大块的尺寸，例如128×128像素或256×256像素。

以该方式，作为采用具有可变尺寸的cu的结果，hevc可以根据图像的内容自适应地调整图像质量和编码效率。在被称为预测单元(pu)的处理单元中执行用于预测编码的预测处理。pu是通过使用若干划分模式之一划分cu来形成的。此外，pu由被称为用于每个亮度(y)和色差(cb、cr)的预测块(pb)的处理单元形成。此外，在被称为变换单元(tu)的处理单元中执行正交变换处理。tu是通过将cu或pu划分为特定深度而形成的。此外，tu由被称为用于每个亮度(y)和色差(cb、cr)的变换块(tb)的处理单元(转换块)形成。

在以下中，可以通过使用“块”作为图像(图片)的部分区域或处理单位(不是处理单元的块)来给出描述。在该情况下的“块”指示图片中的任意部分区域，并且块的尺寸、形状、特性等不受限制。也就是说，在该情况下的“块”包括例如任意部分区域(处理单元)例如tb、tu、pb、pu、scu、cu、lcu(ctb)、子块、宏块、区块和切片。

图1是用于说明形成cu的方法的图。

通过jvet-c0024，“ee2.1:quadtreeplusbinarytreestructureintegrationwithjemtools”中描述的称为四叉树加二叉树(qt+bt)的技术来形成第一实施方式中的cu。

具体地，在hevc中，通过将一个块划分成4(＝2×2)个片段来形成cu。然而，在第一实施方式中，将一个块分成4(＝2×2)或2(＝1×2，2×1)个片段以形成cu。也就是说，在第一实施方式中，通过递归地重复将一个块划分为四个或两个子块来执行cu的形成，从而形成四叉树形状或二叉树(二叉树)树结构。注意，在第一实施方式中，pu和tu与cu相同。

(图像编码装置的配置示例)

图2是示出作为应用本公开内容的图像处理装置的图像编码装置的第一实施方式的配置示例的框图。图2中的图像编码设备100是诸如avc和hevc的对图像与图像的预测图像之间的预测残差进行编码的装置。例如，图像编码装置100包括hevc技术和根据jvet提出的技术。

注意，图2仅示出了主要组成部件，例如处理单元和数据流，并且处理项不限于图2所示的那些。也就是说，图像编码装置100可以包括未示出为图2中的块的其他处理单元，或者可以存在图2中未通过箭头等示出的处理流程或数据流。

图2的图像编码装置100包括控制单元101、计算单元111、变换单元112、量化单元113、编码单元114、逆量化单元115、逆变换单元116、计算单元117、帧存储器118和预测单元119。图像编码装置100针对作为输入帧单元的移动图像的图片执行用于每个cu的编码。

具体地，图像编码装置100的控制单元101由选择单元101a和设置单元101b形成。控制单元101的选择单元101a根据rdo等选择编码参数的一部分(例如，报头信息hinfo、预测信息pinfo、变换信息tinfo等)。设置单元101b设置由选择单元101a选择的编码参数的一部分，并且基于外部输入等设置编码参数的其他部分。

具体地，报头信息hinfo包括例如视频参数集(vps)、序列参数集(sps)、图片参数集(pps)、切片报头(sh)等的信息。例如，报头信息hinfo包括定义例如图像尺寸(宽度picwidth、高度picheight)、比特深度(亮度bitdepthy、色差bitdepthc)和cu尺寸的最大值maxcusize/最小值mincusize的信息。当然，报头信息hinfo可以包括任何内容，并且除了上述示例之外的任何信息可以被包括在报头信息hinfo中。设置单元101b基于外部输入等设置报头信息。

此外，预测信息pinfo包括例如指示pu(cu)的预测模式是帧内预测模式还是帧间预测模式的预测模式信息、pb的尺寸等。此外，如果pu的预测模式是帧内预测模式，则预测信息pinfo包括作为指示pu的帧内预测模式的帧内预测模式信息的帧内预测模式编号、作为指示pu的参考行的参考行信息的行编号等。帧内预测模式编号是帧内预测模式唯一的编号。

另一方面，如果pu的预测模式是帧间预测模式，则预测信息pinfo包括运动矢量等。当然，预测信息pinfo可以包括任何内容，并且除了上述示例之外的任何信息可以被包括在预测信息pinfo中。

选择单元101a根据rdo选择模式信息和pb的尺寸，并且设置单元101b设置所选择的模式信息和pb的尺寸。此外，在选择指示帧内预测模式的信息作为模式信息的情况下，选择单元101a根据rdo、根据具有行编号0的行的基本帧内预测模式和具有行编号1或后续至1的行的扩展的帧内预测模式选择参考行和帧内预测模式。

基本帧内预测模式(第一帧内预测模式)是在第一实施方式中当第0行被设置为参考行时的帧内预测模式。扩展的帧内预测模式(第二帧内预测模式)是在第一实施方式中当行1随后的行被设置为参考行时的帧内预测模式，并且被提供作为基本帧内预测模式的一部分。

设置单元101b设置所选择的帧内预测模式的帧内预测模式编号。此外，在所选择的帧内预测模式是基本帧内预测模式和扩展的帧内预测模式两者公共的帧内预测模式的情况下，设置单元101b设置所选择的参考行的行编号。

另一方面，在选择指示帧间预测模式的信息作为模式信息的情况下，选择单元101a根据rdo选择运动矢量。设置单元101b设置所选择的运动矢量。

变换信息tinfo包括作为指示tb的尺寸的信息的tb尺寸tbsize等。当然，变换信息tinfo可以包括任何内容，并且除了上述示例之外的任何信息可以被包括在变换信息tinfo中。选择单元101a根据rdo选择tb尺寸tbsize等，并且设置单元101b设置所选择的tb尺寸tbsize等。

基于所设置的编码参数，选择单元101a将输入至图像编码装置100的图片划分为cu(pu、tu)，并且将所划分的cu(pu、tu)顺序地设置为要编码的cu(pu、tu)。选择单元101a将要编码的cu(pu、tu)的图像i提供给计算单元111。

此外，设置单元101b将所设置的编码参数提供给每个块。例如，设置单元101b将报头信息hinfo提供给每个块。此外，设置单元101b将预测信息pinfo提供给预测单元119和编码单元114，并且将变换信息tinfo提供到变换单元112、量化单元113、编码单元114、逆量化单元115和逆变换单元116中。

计算单元111从图像i中减去与从预测单元119提供的图像i对应的pu的预测图像p以获得预测残差d，并且将预测残差d提供给变换单元112。

变换单元112基于从设置单元101b提供的变换信息tinfo对从计算单元111提供的预测残差d执行例如正交变换，并且导出变换系数coeff。变换单元112将变换系数coeff提供给量化单元113。

量化单元113基于从设置单元101b提供的变换信息tinfo对从变换单元112提供的变换系数coeff进行缩放(量化)，并且导出经量化的变换系数级别level。量化单元113将经量化的变换系数级别level提供给编码单元114和逆量化单元115。

编码单元114通过预定方法对从量化单元113提供的经量化的变换系数级别level和从设置单元101b提供的编码参数进行编码。例如，编码单元114根据语法表的定义将编码参数和经量化的变换系数级别level转换为每个语法元素的语法值。然后，编码单元114对每个语法值进行编码(例如，诸如基于上下文的自适应二进制算术编码(cabac)、一元编码等的算术编码)。

编码单元114例如复用作为编码结果而获得的每个语法值的比特串的编码数据，并且作为编码流输出经复用的数据。

基于从设置单元101b提供的变换信息tinfo，逆量化单元115缩放(逆量化)从量化单元113提供的经量化的变换系数级别level的值，并且导出逆量化之后的变换系数coeff_iq。逆量化单元115将变换系数coeff_iq提供给逆变换单元116。由逆量化单元115执行的逆量化是由量化单元113执行的量化的逆处理。

基于从设置单元101b提供的变换信息tinfo，逆变换单元116对从逆量化单元115提供的变换系数coeff_iq执行逆正交变换等，并且导出预测残差d'。逆变换单元116将预测残差d'提供给计算单元117。由逆变换单元116执行的逆正交变换是由变换单元112执行的正交变换的逆处理。

计算单元117将从逆变换单元116提供的预测残差d'和与从预测单元119提供的预测残差d'对应的pu的预测图像p相加以生成局部解码图像rec。计算单元117将局部解码图像rec提供给帧存储器118。

帧存储器118使用从计算单元117提供的局部解码图像rec来重建用于每个图片单元的解码图像，并且将解码图像存储到帧存储器118中的缓冲器中。帧存储器118从缓冲器中读取由预测单元119指定的解码图像作为参考图像，并且将所读取的解码图像提供给预测单元119。此外，帧存储器118可以将与解码图像的生成有关的报头信息hinfo、预测信息pinfo、变换信息tinfo等存储在帧存储器118中的缓冲器中。

基于从设置单元101b提供的预测信息pinfo，预测单元119获取在帧存储器118中存储的解码图像作为参考图像，并且使用参考图像对要编码的pu(当前块)执行帧内预测或帧间预测。预测单元119将作为预测处理结果而生成的预测图像p提供给计算单元111和117。

(作为参考行的候选的行的说明)

图3是用于说明可以作为参考行的候选的行的图。

在图3中，最小的正方形代表像素。此外，在图3的示例中，当前块130的像素为4个像素(水平)×4个像素(垂直)。

在该情况下，包括当前块130上方的8个像素、左侧上的8个像素和左上方的1个像素的总共17个像素作为第0行140，其中每个像素与当前块130具有1个像素的距离。

此外，包括当前块130上方的8个像素，左侧上的8个像素以及左上方的3个像素的总共19个像素作为第一行141，其中每个像素与当前块130具有2个像素的距离。

此外，包括当前块130上面的8个像素、左侧上的8个像素和左上方的5个像素的总共21个像素作为第2行142，其中每个像素与当前块130具有3个像素的距离。

此外，包括当前块130上方的8个像素、左侧上的8个像素和左上方的7个像素的总共23个像素作为第3行143，其中每个像素与当前块130具有4个像素的距离。

在第一实施方式中，候选参考行的数目是4。因此，如上所述配置的行140至143变为当前块130的参考行的候选。

(基本帧内预测模式的示例)

图4是示出基本帧内预测模式的示例的图。

图4中的基本帧内预测模式是由jvet提出的67个帧内预测模式。具体地，帧内预测模式编号为0的基本帧内预测模式是平面预测模式，并且帧内预测模式编号为1的基本帧内预测模式是dc预测模式。

此外，具有从2至66的帧内预测模式编号的65个帧内预测模式是指示不同角度处的参考方向的帧内预测模式(下文中称为角度帧内预测模式)。

图4示出了由当前块160的各个角度帧内预测模式指示的参考方向，其中每个箭头从当前块160的中心前进到用于预测的虚拟像素的位置。此外，在一些箭头的尖端处，指示与每个箭头对应的角度帧内预测模式的帧内预测模式编号。这也适用于稍后描述的图5和图12。

(扩展的帧内预测模式的第一示例)

图5示出了扩展的帧内预测模式的第一示例。

如图5所示，扩展的帧内预测模式是在每个预定编号处选择基本帧内预测模式的角度帧内预测模式的模式，以便包括指示水平方向、垂直方向和倾斜方向作为参考方向的帧内预测模式。

具体地，如图5的a所示，扩展的帧内预测模式可以由例如通过从67个基本帧内预测模式中选择出65个角度帧内预测模式的每隔一个模式而获得的33个帧内预测模式形成。33个扩展的帧内预测模式的帧内预测模式编号是2、4、6、……、66。此外，由33个扩展的帧内预测模式指示的参考方向与由hevc的角度帧内预测模式指示的参考方向相同。

此外，如图5的b所示，扩展的帧内预测模式可以由例如通过从67个基本帧内预测模式中选择出65个角度帧内预测模式的每隔三个模式而获得的17个帧内预测模式形成。17个扩展的帧内预测模式的帧内预测模式编号是2、6、10、……、66。

此外，如图5的c所示，扩展的帧内预测模式可以由例如通过从67个基本帧内预测模式中选择出65个角度帧内预测模式的每隔七个模式而获得的9个帧内预测模式形成。9个扩展的帧内预测模式的帧内预测模式编号是2、10、18、……、66。

此外，如图5的d所示，扩展的帧内预测模式可以由例如通过从67个基本帧内预测模式中选择出65个角度帧内预测模式的每隔15个模式而获得的5个帧内预测模式形成。5个扩展的帧内预测模式的帧内预测模式编号是2、18、34、50和66。

图5的a至d所示的扩展的帧内预测模式包括指示水平方向(hor)作为参考方向的帧内预测模式编号18的帧内预测模式。此外，图5的a至d所示的扩展的帧内预测模式包括指示垂直方向(ver)作为参考方向的帧内预测模式编号50的帧内预测模式。此外，图5的a至d所示的扩展的帧内预测模式包括分别指示左下方向、左上方向和右上方向作为参考方向的帧内预测模式编号2、34和66的帧内预测模式。

如上所述，扩展的帧内预测模式的数目小于基本帧内预测模式的数目。因此，与根据所有行的基本帧内预测模式选择参考行和帧内预测模式的情况相比，可以减小选择参考行和帧内预测模式的处理负荷。

此外，根据申请人的实验，已经发现，存在高可能性的是：即使当根据rdo选择任何行作为参考行时，根据rdo所选择的帧内预测模式也指示水平方向、垂直方向和倾斜方向作为参考方向。因此，如图5的a至d所示，当扩展的帧内预测模式包括包含水平方向、垂直方向和倾斜方向作为参考方向的帧内预测模式时，可以提高所选择的帧内预测模式的适当性。因此，可以使通过将具有行编号1或随后至1的行的帧内预测模式的候选从基本帧内预测模式减少到扩展的帧内预测模式而引起的预测精度的劣化最小化。

(扩展的帧内预测模式的第二示例)

图6是用于说明扩展的帧内预测模式的第二示例的图。

在图6的示例中，当前块180的扩展的帧内预测模式是当前块180的最可能模式(mpm)。

当前块180的mpm根据以降序的优先级以非重叠方式登记帧内预测模式、平面预测模式和dc预测模式的六个模式，该降序的优先级包括作为当前块180的左侧上的pu的块l、当前块180顶部上的pu的块a、当前块180的左下方pu的块bl、当前块180的右上方的pu的块ar以及当前块180的左上方pu的块al。

优先级顺序为以降序的块l的帧内预测模式、块a的帧内预测模式、平面预测模式、dc预测模式、块bl的帧内预测模式、块ar的帧内预测模式和块al的帧内预测模式。

在如上所述在当前块180的mpm中登记的帧内预测模式的数目小于6的情况下，具有仅比已经在mpm中登记的角度帧内预测模式编号更大或更小一个编号的帧内预测模式编号的其他帧内预测模式被另外登记在mpm中。在当前块180的mpm中登记的帧内预测模式的得到的编号小于6的情况下，附加地顺序登记未登记在mpm中并且指示垂直、水平和倾斜方向作为参考方向的帧内预测模式。

如上所述，在图6的示例中，当前块180的扩展的帧内预测模式是当前块180的mpm，使得扩展的帧内预测模式对于每个pu(cu)不同。

此外，存在高可能性的是：选择当前块180的mpm作为当前块180的帧内预测模式。此外，可以通过将当前块180的扩展的帧内预测模式设置成当前块180的mpm来使通过将具有行编号1或随后至1的行的帧内预测模式的候选从基本帧内预测模式减少到扩展的帧内预测模式而引起的预测精度的劣化最小化。

注意，在第一实施方式中，扩展的帧内预测模式仅包括角度帧内预测模式，但是还可以包括平面预测模式和dc预测模式。

(对行编号的语法值进行编码之后的比特串)

图7示出了在对行编号的语法值进行编码之后的比特串的示例。

如图7所示，在行编号为0至3的情况下，编码之前的行编号的语法值是0至3。编码单元114执行该行编号的语法值的一元编码。因此，编码之前的行编号的语法值“0”、“1”、“2”和“3”在编码之后分别变为比特串“0”、“10”、“110”、“111”。

如上所述，图像编码装置100分配行编号使得较小的行编号指示与当前块的较小距离，并且执行该行编号的语法值的一元编码。因此，编码之后的行编号的语法值的比特串的比特数随着行编号变小而变小。换句话说，比特串的比特数随着与当前块的距离变小而变小，并且被容易选择作为参考行。因此，可以减少编码之后的行编号的语法值的数据量。

(图像编码装置的处理的描述)

图8是示出图2的图像编码装置100的图像编码处理的流程图。

在图8的步骤s100中，控制单元101的选择单元101a根据rdo等选择编码参数的一部分(例如，报头信息hinfo、预测信息pinfo和变换信息tinfo)。例如，选择单元101a根据rdo来选择模式信息。此外，在选择指示帧内预测模式的信息作为模式信息的情况下，选择单元101a根据rdo、根据具有行编号0的行的基本帧内预测模式和具有行编号1或随后至1的行的扩展的帧内预测模式选择参考行和帧内预测模式。

在步骤s101中，设置单元101b设置在步骤s100中由选择单元101a选择的编码参数的一部分，并且基于外部输入等来设置编码参数的其他部分。例如，设置单元101b将通过步骤s100的处理而选择的参考行的行编号和帧内预测模式的帧内预测模式编号设置为预测信息pinfo。

在步骤s102中，预测单元119基于在步骤s101中设置的预测信息pinfo来获取在帧存储器118中存储的解码图像作为参考图像，并且使用参考图像对要编码的pu执行帧内预测或帧间预测。

在步骤s103中，计算单元111计算输入图像与作为步骤s102中的处理的结果而生成的预测图像p之间的差。也就是说，计算单元111生成输入图像与预测图像p之间的预测残差d。与原始图像数据的数据量相比以该方式获得的预测残差d具有减少的数据量。因此，与在直接编码图像的情况相比，可以压缩数据量。

在步骤s104中，变换单元112基于由步骤s101中的处理设置的变换信息tinfo对在步骤s103的处理中生成的预测残差d执行例如正交变换，并且导出变换系数coeff。

在步骤s105中，量化单元113基于通过步骤s101的处理设置的变换信息tinfo对通过步骤s104的处理获得的变换系数coeff进行量化，并且导出经量化的变换系数级别level。

在步骤s106中，逆量化单元115基于通过步骤s101的处理设置的变换信息tinfo对具有与步骤s105中的量化特征对应的量化特征的、通过步骤s105中的处理生成的经量化的变换系数级别level执行逆量化。因此，逆量化单元115导出变换系数coeff_iq。

在步骤s107中，逆变换单元116基于通过步骤s101中的处理设置的变换信息tinfo通过与步骤s104中的正交变换等对应的方法来对在步骤s106中的处理中获得的变换系数coeff_iq执行例如逆正交变换。因此，逆量化单元116导出预测残差d'。

在步骤s108中，计算单元117将由步骤s102中的处理获得的预测图像p与由步骤s107中的处理导出的预测残差d'相加，从而获得被局部解码的解码图像rec。

在步骤s109中，帧存储器118使用通过步骤s108中的处理获得的局部解码图像rec来重建用于每个图片单元的解码图像，并且将解码图像存储在帧存储器118中的缓冲器中。

在步骤s110中，编码单元114对通过步骤s105中的处理获得的经量化变换系数级别level和步骤s101中设置的编码参数进行编码。例如，编码单元114对编码参数的参考行的行编号执行一元编码。编码单元114对作为编码结果而获得的编码数据进行复用，并且将复用数据作为编码流输出到图像编码装置100的外部。该编码流经由例如传输线或记录介质被传送至解码侧。

在步骤s110中的处理完成时，图像编码处理结束。

如上所述，图像编码装置100根据第0行的基本帧内预测模式和第一行和随后行的扩展的帧内预测模式选择参考行和帧内预测模式。

因此，与参考行的唯一候选是第0行的情况相比，可以提高预测精度。此外，即使当任何行被选择为参考行时，与帧内预测模式的候选是基本帧内预测模式的情况相比，可以减小选择参考行和帧内预测模式的处理负荷。因此，可以减少诸如编码处理的负荷和编码处理所需的时间之类的开销。

此外，图像编码装置100仅在选择了基本帧内预测模式和扩展的帧内预测模式公共的帧内预测模式的情况下传送参考行的行编号。换句话说，在选择基本帧内预测模式和扩展的帧内预测模式中不公共的帧内预测模式的情况下，参考行始终是第0行，从而不传送行编号。因此，与非专利文献1和2中描述的技术不同，与不管所选择的帧内预测模式如何始终传送参考行的行编号的情况相比，可以减少编码流的数据量并且提高编码效率。此外，可以减少图像编码装置100以及稍后描述的图像解码装置200的处理量。

(图像解码装置的配置示例)

图9是示出作为应用本技术以对由图2中的图像编码装置100生成的编码流进行解码的的图像处理装置的图像解码装置的第一实施方式的配置示例的框图。图9中的图像解码装置200通过与图像编码装置100中的编码方法对应的解码方法对由图像编码装置100生成的编码流进行解码。例如，在图像解码装置200中实现由hevc提出的技术或由jvet提出的技术。

注意，在图9中，示出了诸如处理单元和数据流的主要处理项，并且图9中示出的主要处理项不限于所有内容。也就是说，图像解码装置200可以包括未示出为图9中的块的其他处理单元，或者可以存在图9中未通过箭头等示出的处理流程或数据流。

图9中的图像解码装置200包括解码单元210、选择单元211、逆量化单元212、逆变换单元213、计算单元214、帧存储器215和预测单元216。图像解码装置200针对每个cu对由图像编码装置100生成的编码流进行解码。

具体地，图像解码装置200的解码单元210通过与编码单元114中的编码方法对应的预定解码方法来对由图像编码装置100生成的编码流进行解码。因此，解码单元210生成编码参数(报头信息hinfo、预测信息pinfo、变换信息tinfo等)和经量化的变换系数级别level。

解码单元210基于所生成的编码参数来设置要解码的cu(pu、tu)。此外，解码单元210将编码参数提供给每个块。例如，解码单元210将预测信息pinfo提供给选择单元211、将变换信息tinfo提供给逆量化单元212和逆变换单元213以及将报头信息hinfo提供给每个块。解码单元210将经量化的变换系数级别level提供给逆量化单元212。

选择单元211基于从解码单元210提供的预测信息pinfo的模式信息来从帧内预测模式和帧间预测模式中选择要解码的pu(当前块)的预测模式。

在选择帧内预测模式作为要解码的pu的预测模式的情况下，选择单元211基于预测信息pinfo中的帧内预测模式编号来根据第0行的基本帧内预测模式和第一行和随后行的扩展的帧内预测模式选择帧内预测模式编号的帧内预测模式作为要解码的pu的帧内预测模式。

此外，在预测信息pinfo中的帧内预测模式编号是基本帧内预测模式和扩展的帧内预测模式公共的帧内预测模式的帧内预测模式编号(下文中称为公共编号)的情况下，选择单元211基于预测信息pinfo的行编号来选择来自第0行至第4行的行的行作为参考行。

另一方面，在预测信息pinfo中的帧内预测模式编号不是公共编号的情况下，选择单元211选择来自行0至4的第0行作为参考行，因为在预测信息pinfo中不包括行编号。

此外，在选择帧间预测模式作为要解码的pu的预测模式的情况下，选择单元211选择预测信息pinfo中的运动矢量等作为要解码的pu的运动矢量等。

选择单元211将所选择的预测模式、帧内预测模式的帧内预测模式编号和参考行的行编号、运动矢量等提供给预测单元216。

基于从解码单元210提供的变换信息tinfo，逆量化单元212缩放(逆量化)从解码单元210提供的经量化的变换系数级别level的值，并且导出变换系数coeff_iq。该逆量化是与由图像编码装置100的逆量化单元115(图2)执行的逆量化类似。逆量化单元212将变换系数coeff_iq提供给逆变换单元213。

基于从解码单元210提供的变换信息tinfo，逆变换单元213对从逆量化单元212提供的变换系数coeff_iq执行逆正交变换等，并且导出预测残差d'。该逆正交变换等与由图像编码装置100的逆变换单元116(图2)执行的逆正交变换等类似。逆变换单元213将预测残差d'提供给计算单元214。

计算单元214将从逆变换单元213提供的预测残差d'和与预测残差d'对应的预测图像p相加并且导出局部解码图像rec。计算单元214使用所获得的局部解码图像rec来重建每个图片单元的解码图像并且将因此获得的解码图像输出至图像解码装置200的外部。此外，计算单元214还将局部解码图像rec提供给帧存储器215。

帧存储器215使用从计算单元214提供的局部解码图像rec来重建每个图片单元的解码图像，并且将解码图像存储在帧存储器215中的缓冲器中。帧存储器215从缓冲器中读出由预测单元216指定的解码图像作为参考图像，并且将因此读取的解码图像提供给预测单元216。此外，帧存储器215可以将与解码图像的生成有关的报头信息hinfo、预测信息pinfo、变换信息tinfo等存储在帧存储器215中的缓冲器中。

在从选择单元211提供的预测模式是帧间预测模式的情况下，预测单元216在帧存储器215中指定与当前块不同的图片的解码图像，并且从帧存储器215中获取解码图像作为参考图像。预测单元216基于使用参考图像的运动矢量来执行帧间预测。预测单元216将作为其结果而生成的预测图像p提供给计算单元214。

此外，在从选择单元211提供的预测模式是帧内预测模式的情况下，预测单元216在帧存储器215中指定与的当前块相同的图片的解码图像，并且从帧存储器215获取所指定的图像作为参考图像。使用参考图像，预测单元216基于从选择单元211提供的参考行编号和帧内预测模式编号来执行帧内预测。预测单元216将作为其结果而生成的预测图像p提供给计算单元214。

(图像解码装置的处理的描述)

图10是示出图9中的图像解码装置200的图像解码处理的流程图。

在图10的步骤s201中，解码单元210对提供至图像解码装置200的编码流进行解码并且获得编码参数(例如，报头信息hinfo、预测信息pinfo和变换信息tinfo)以及经量化的变换系数级别level。

在步骤s202中，逆量化单元212对通过步骤s201的处理而获得的经量化的变换系数级别level进行逆量化，并且导出变换系数coeff_iq。该逆量化是在图像编码处理的步骤s105(图8)中执行的量化的逆处理，并且是与图像编码处理的步骤s106(图8)中执行的逆量化类似的处理。

在步骤s203中，逆变换单元213对步骤s202中的处理中获得的变换系数coeff_iq执行逆正交变换等，并且导出预测残差d'。该逆变换是在图像编码处理的步骤s104(图8)中执行的变换处理的逆处理，并且是在图片编码处理的步骤s107(图8)中执行的逆变换类似的处理。

在步骤s204中，选择单元211从帧内预测模式和帧间预测模式中选择由预测信息pinfo中的模式信息指示的预测模式作为要解码的pu(当前块)的预测模式。

在步骤s205中，选择单元211确定在步骤s204中选择的预测模式是否是帧内预测模式。在步骤s205中确定模式是帧内预测模式的情况下，处理进行到步骤s206。

在步骤s206中，选择单元211根据来自第0行的基本帧内预测模式和第一行和随后行的扩展的帧内预测模式的预测信息pinfo选择出帧内预测模式编号的帧内预测模式作为要编码的pu的帧内预测模式。

在步骤s207中，选择单元211确定在步骤s206中选择的帧内预测模式的帧内预测模式编号是否是公共编号。在步骤s207中确定编号是公共编号的情况下，处理进行到步骤s208。

在步骤s208中，选择单元211根据来自参考行0至4中的预测信息pinfo选择出行编号的行作为参考行，并且使处理前进到步骤s211。

另一方面，在步骤s207中确定编号不是公共编号的情况下，处理进行到步骤s209。在步骤s209中，选择单元211从第0行至第4行中选择第0行作为参考行，并且使处理前进到步骤s211。

此外，在步骤s205中确定模式不是帧内预测模式的情况下，处理进行到步骤s210。在步骤s210中，选择单元211选择预测信息pinfo中的运动矢量等作为要解码的pu的运动矢量等，并且使处理前进到步骤s211。

在步骤s211中，预测单元216基于在步骤s204中选择的预测模式等执行与在编码中执行的预测相同的预测，并且生成预测图像p。

具体地，在步骤s204中选择的预测模式是帧内预测模式的情况下，预测单元216基于在步骤s206中选择的帧内预测模式的帧内预测模式编号以及在步骤s208或步骤s209中选择的参考行的行编号来执行帧内预测并且生成预测图像p。另一方面，在步骤s204中选择的预测模式是帧间预测模式的情况下，预测单元216基于在步骤s210中选择的运动矢量等执行帧间预测以生成预测图像p。

在步骤s212中，计算单元214将在步骤s203中的处理中获得的预测残差d'与在步骤s211中的处理中获得的预测图像p相加，并且导出局部解码图像rec。计算单元214使用所获得的局部解码图像rec来重建每个图片单元的解码图像并且将因此获得的解码图像输出至图像解码装置200的外部。

在步骤s213中，帧存储器215使用在步骤s212中导出的局部解码图像rec来重建每个图片单元的解码图像，并且将解码图像存储在帧存储器215中的缓冲器中。

在步骤s213的处理完成时，图像解码处理结束。

如上所述，图像解码装置200基于由图像编码装置100设置的帧内预测模式编号来根据第0行的基本帧内预测模式和第一行和随后行的扩展的帧内预测模式选择参考行和帧内预测模式。因此，与参考行的唯一候选是第0行的情况相比，可以提高预测精度。

<第二实施方式>

(扩展标志与角度帧内预测模式和参考行的候选之间的关系的示例)

应用本公开内容的图像编码装置和图像解码装置的第二实施方式与第一实施方式的不同之处在于：在sps中设置指示帧内预测的扩展类型的1比特扩展标记，并且基于扩展标志改变帧内预测模式和参考行的候选。

具体地，除了设置单元101b设置扩展标志以及除了选择单元101a基于扩展标志来改变帧内预测模式和参考行的候选之外，应用本公开内容的图像编码装置的第二实施方式的配置与图2中的图像编码装置100的配置相同。此外，除了解码单元210解码扩展标志以及除了选择单元211基于扩展标志来改变帧内预测模式和参考行的候选之外，应用本公开内容的图像解码装置的第二实施方式的配置与图9中的图像解码装置200的配置相同。因此，在以下描述中，将适当地省略除了扩展标志与帧内预测模式和参考行的候选之间的关系之外的说明。

图11是示出扩展标志与角度帧内预测模式和参考行的候选之间的关系的示例的图。

如图11所示，设置单元101b基于外部输入等将扩展标志设置为0或1。在扩展标志(扩展信息)被设置为0的情况下，扩展标志指示帧内预测的扩展是在由帧内预测模式指示的参考方向上的扩展。此外，在扩展标志被设置为1的情况下，扩展标志指示帧内预测的扩展是参考行的扩展。

在扩展标志为0的情况下，具有第0行作为参考行的角度帧内预测模式的候选从hevc中的33个角度帧内预测模式扩展到由jvet提出的65个角度帧内预测模式。然而，在该情况下，如在hevc中那样参考行的候选仅是第0行。因此，在该情况下角度帧内预测模式的候选的数目是65(＝1×65)。

换句话说，选择单元101a根据行0的由jvet提出的67个帧内预测模式选择帧内预测模式，并且选择行0作为参考行。因此，在所选择的帧内预测模式是角度帧内预测模式的情况下，与由设置单元101b设置的帧内预测有关的帧内预测信息是从由选择单元101a选择的帧内预测模式2至66中的帧内预测模式编号之一。

另一方面，在扩展标志为1的情况下，参考行候选从作为参考行候选的第0行扩展到hevc中的第0行至第3行。然而，在该情况下，行0至3的角度帧内预测模式的候选被包括作为具有扩展标志为0的第0行的角度帧内预测模式的候选的部分。

具体地，例如，当第0行是参考行时的角度帧内预测模式的候选与在与图5的a中的参考方向相同的参考方向上的hevc中的33个帧内预测模式相同。此外，当行1至3用作参考行时的角度帧内预测模式的候选是当第0行是参考行时的角度帧内预测模式的候选的全部或部分。

例如，当行1至3均被设置为参考行时的角度帧内预测模式的候选的第一图案是在与图5的a中指示的参考方向相同的参考方向上的hevc中的33个帧内预测模式。此外，第二图案是通过提取第一图案的33个角度帧内预测模式的每隔一个角度帧内预测模式而获得的、与图5的b中指示的参考方向相同的参考方向的17个角度帧内预测模式。第三图案是通过提取第二图案的17个角度帧内预测模式的每隔一个角度帧内预测模式而获得的、与图5的c中指示的参考方向相同的参考方向的9个角度帧内预测模式。第四图案是通过提取第三图案的9个角度帧内预测模式的每隔一个角度帧内预测模式而获得的、与图5的d中指示的参考方向相同的参考方向的5个角度帧内预测模式。

此外，第五图案是图6中描述的6个mpm。在第六图案中，当使用第一、第二和第三行作为参考行时的角度帧内预测模式的候选分别是第二、第三和第四模式。

在角度帧内预测模式的候选图案是第一图案的情况下，当第一至第三行是每个参考行时，角度帧内预测模式的候选数目是132(＝4×33)，以及在第二图案中为84(＝1×33+3×17)。此外，角度帧内预测模式的候选数目在第三图案的情况下是60(＝1×33+3×9)以及在第四图案的情况下是48(＝1×33+3×5)。

角度帧内预测模式的候选数目在第五图案的情况下是51(＝1×33+3×6)以及在第六图案的情况下是64(＝1×33+1×17+1×9+1×5)。换句话说，在第六图案的情况下，角度帧内预测模式的候选数目等于或小于扩展标志为0的情况下的角度帧内预测模式的候选数目。

在扩展标志为1的情况下，选择单元101a根据第0行的33个角度帧内预测模式、第0行的平面预测模式和dc预测模式和第一至第三行的角度帧内预测模式选择参考行和帧内预测模式。

因此，在所选择的帧内预测模式是角度帧内预测模式，并且角度帧内预测模式的候选是当第一至第三行中的每一个是参考行时的第一模式的情况下，由设置单元101b设置的帧内预测信息包括由选择单元101a选择的参考行的行编号0至3中的任何一个和作为帧内预测模式2至34之一的帧内预测模式编号。

此外，在第二至第五图案的情况下，在所选择的角度帧内预测模式是第0至第3行公共的角度帧内预测模式的情况下，由设置单元101b设置的帧内预测信息包括作为0至3中的任何一个的参考行的行编号和帧内预测模式编号。另一方面，在所选择的角度帧内预测模式不是行0至3公共的角度帧内预测模式的情况下，由设置单元101b设置的帧内预测信息仅是帧内预测模式编号。

此外，在第六图案的情况下，由设置单元101b设置的帧内预测信息包括由选择单元101a选择的参考行和帧内预测模式的扩展的帧内预测模式编号。扩展的帧内预测模式编号是作为每个行和每个角度帧内预测模式唯一的编号的、针对每个行和角度帧内预测模式分配的编号。

如上所述，由于在第六图案的情况下的角度帧内预测模式的候选数目为64，因此针对每个行和角度帧内预测模式分配的扩展的帧内预测模式数目为2至65。因此，例如，通过将扩展的帧内预测模式编号为66的帧内预测模式设置为保留模式，可以使扩展的帧内预测模式编号的可能值等于由jvet提出的67个帧内预测模式编号。因此，可以提高与其中67个帧内预测模式是候选的由jvet提出的编码方案的兼容性。

注意，在图11的示例中，帧内预测模式是从hevc中的帧内预测模式扩展的，但是帧内预测模式可以是从高级视频编码(avc)中的帧内预测模式扩展的。

(hevc中的帧内预测模式)

图12是示出hevc中的35个帧内预测模式的图。

如图12所示，hevc中的35个帧内预测模式包括帧内预测模式编号为0的平面预测模式、其中帧内预测模式编号为1的dc预测模式以及其中帧内预测模式编号从2至34的33个角度帧内预测模式。

33个角度帧内预测模式与图5中的a的33个扩展的帧内预测模式的不同之处在于：帧内预测模式编号是2至34的连续值。

如上所述，在第二实施方式中，图像编码装置100和图像解码装置200基于扩展标记对当前块执行帧内预测。因此，例如，图像编码装置100和图像解码装置200基于扩展标记来扩展帧内预测模式的候选，并且可以基于选自扩展的候选和参考行中的帧内预测模式来执行帧内预测。

在该情况下，可以优化帧内预测模式和参考行候选。因此，与第0至第3行的67个帧内预测模式是候选的情况相比，可以减少根据rdo选择帧内预测模式和参考行的处理的负荷。因此，可以减少诸如编码处理的负荷和用于编码处理所需的时间之类的开销。此外，与帧内预测模式和参考行候选总是固定的情况相比，提高了所选择的帧内预测模式和参考行的适当性，并且提高了预测精度。

例如，在行1至3的角度帧内预测模式的图案是第六图案的情况下，与第0行的67个帧内预测模式是候选的情况相比，选择帧内预测模式和参考行的处理的负荷不会增加。然而，基于扩展标记，根据第0行的67个帧内预测模式和包括第六图案的第1至第3行的角度帧内预测模式的第0至第3行的帧内预测模式选择更合适的模式作为候选。此外，与总是选择帧内预测模式和参考行中的任一个作为候选的情况相比，提高了所选择的帧内预测模式和参考行的适当性，并且提高了预测精度。

此外，由于根据第二实施方式的图像编码装置100针对每个序列设置扩展标记，因此可以更适当地设置扩展类型。换句话说，考虑到帧内预测的最佳扩展的类型针对每个序列是不同的。因此，图像编码装置100可以通过针对每个序列设置扩展标志来设置更合适的扩展类型。

注意，在第二实施方式中，针对每个序列设置扩展标志并且将扩展标志包括在sps中，但是也可以针对每个图片单元设置扩展标志并且将扩展标记包括在pps中。

此外，行1至3的角度帧内预测模式的候选图案可以被预先确定或者可以是可选择的进行。在行1至3的角度帧内预测模式的候选图案是可选择进行的情况下，由图像编码装置100设置指示图案的信息并且将该信息传送到图像解码装置200。

<第三实施方式>

<应用本公开内容的计算机的描述>

以上描述的一系列处理可以由硬件执行或者可以由软件执行。在通过软件执行一系列处理步骤的情况下，在计算机中安装构成该软件的程序。此处，计算机包括结合在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的计算机，例如通用个人计算机等。

图13是示出根据程序执行以上描述的一系列处理步骤的计算机的硬件的配置示例的框图。

在计算机800中，中央处理单元(cpu)801、只读存储器(rom)802和随机存取存储器(ram)803经由总线804彼此连接。

此外，输入/输出接口810连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。

输入单元811包括键盘、鼠标、麦克风等。输出单元812包括显示器、扬声器等。存储单元813包括硬盘、非易失性存储器等。通信单元814包括网络接口等。驱动器815对诸如磁盘、光盘、磁光盘或半导体存储器可移除介质821进行驱动。

在如上所述配置的计算机800中，cpu801例如经由输入/输出接口810和总线804将在存储单元813中存储的程序加载到ram803中并且执行该程序。因此，执行以上描述的一系列处理步骤。

可以通过将在作为封装介质等的可移除介质821中进行记录来提供要由计算机800(cpu801)执行的程序。此外，该程序还可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。

在计算机800中，可以通过将可移动介质821插入到驱动器815中来经由输入/输出接口810将程序安装到存储单元813中。此外，程序可以由通信单元814经由有线或无线传输介质接收并安装在存储单元813中。此外，可以将程序预先安装在rom802或存储单元813中。

注意，由计算机800执行的程序可以是按照本说明书中描述的顺序以时间序列执行处理步骤的程序或者可以是并行执行处理步骤或在例如被调用时的适当定时处执行处理步骤的程序。

<第四实施方式>

图14示出了应用上述实施方式的电视设备的示意性配置的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(i/f)单元909、控制单元910、用户接口(i/f)单元911和总线912。

调谐器902从经由天线901接收到的广播信号中提取期望的信道的信号并且对所提取的信号进行解调。然后，调谐器902将通过解调获得的经编码的比特流输出至解复用器903。也就是说，调谐器902在电视设备900中具有作为接收其中图像被编码的编码流的传输单元的作用。

解复用器903从经编码的比特流中分离要观看的节目的视频流和音频流，并且将所分离的流输出至解码器904。此外，解复用器903从经编码的比特流中提取辅助数据例如电子节目指南(epg)，并且将所提取的数据提供至控制单元910。注意，在经编码的比特流被加扰的情况下，解复用器903可以是解扰的。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据并且将视频显示在显示单元906上。此外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用画面。此外，视频信号处理单元905可以根据设置执行附加的处理，例如对视频数据的噪声移除。此外，视频信号处理单元905可以生成例如图形用户界面(gui)图像，例如菜单、按钮或光标并且将所生成的图像叠加在输出图像上。

显示单元906通过从视频信号处理单元905提供的驱动信号来驱动并且将视频或图像显示在显示设备(例如，液晶显示器、等离子显示器或有机电致发光显示器(oeld)(例如有机el显示器))的视频面上。

音频信号处理单元907对从解码器904输入的音频数据执行再现处理例如如d/a转换和放大，并且从扬声器908输出音频。此外，音频信号处理单元907可以对音频数据执行附加的处理例如噪声移除。

外部接口单元909是用于将电视设备900与外部设备或网络连接的接口。例如，可以通过解码器904对经由外部接口单元909接收到的视频流或音频流进行解码。换句话说，外部接口单元909还用作接收其中图像被编码的编码流的电视设备900中的传输单元。

控制单元910包括诸如cpu的处理器和诸如ram和rom的存储器。存储器存储由cpu执行的程序、程序数据、epg数据、通过网络获取的数据等。例如在启动电视设备900时，由cpu读取并执行由存储器存储的程序。通过执行该程序，cpu根据例如从用户接口单元911输入的操作信号来控制电视设备900的操作。

用户接口单元911连接至控制单元910。用户接口单元911具有例如用于用户操作电视设备900的按钮和开关、远程控制信号的接收单元等。用户接口单元911检测由用户经由这些部件进行的操作、生成操作信号以及将所生成的操作信号输出至控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910相互连接。

在如上所述配置的电视设备900中，解码器904可以具有以上描述的图像解码装置200的功能。也就是说，解码器904可以通过上述实施方式中描述的方法对编码数据进行解码。通过这样做，电视设备900可以获得与以上参照图1至图12描述的实施方式的效果类似的效果。

此外，在如上所述配置的电视设备900中，视频信号处理单元905可以对例如从解码器904提供的图像数据进行编码，并且将获得的编码数据提供给外部接口单元909以输出到电视设备900的外部。然后，视频信号处理单元905可以具有以上描述的图像编码装置100的功能。也就是说，视频信号处理单元905可以通过上述实施方式中描述的方法对从解码器904提供的图像数据进行编码。通过这样做，电视设备900可以获得与以上参照图1至图12描述的实施方式的效果类似的效果。

<第五实施方式>

图15示出了应用上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930和控制单元931相互连接。

移动电话920在包括语音呼叫模式、数据通信模式、成像模式以及视频电话模式的各种操作模式下执行诸如传输和接收音频信号、传输和接收电子邮件或图像数据、图像的成像以及记录数据的各种操作。

在语音呼叫模式下，通过麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且执行对经转换的音频数据的a/d转换和压缩。然后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对语音数据进行编码和调制，并且生成传输信号。然后，通信单元922经由天线921将所生成的传输信号传送至基站(未示出)。此外，通信单元922放大经由天线921接收到的无线信号并且转换频率，并且获取接收到的信号。然后，通信单元922对接收到的信号进行解调和解码以生成语音数据，并且将所生成的语音数据输出至音频编解码器923。音频编解码器923对音频数据进行解压缩并且执行对音频数据的d/a转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。

此外，在数据通信模式下，控制单元931根据用户经由操作单元932进行的操作来生成例如构成电子邮件的字符数据。此外，显示控制单元931将字符显示在显示单元930上。此外，控制单元931响应于经由操作单元932来自用户的传输指令来生成电子邮件数据，以及将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制，并且生成传输信号。然后，通信单元922经由天线921将所生成的传输信号传送至基站(未示出)。此外，通信单元922放大经由天线921接收到的无线电信号并且转换频率，并且获取接收到的信号。然后，通信单元922对接收到的信号进行解调和解码以恢复电子邮件数据，以及将所恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件数据的内容，并且还将电子邮件数据提供至记录/再现单元929以将电子邮件数据写入存储介质中。

记录/再现单元929具有可以读取和写入的任意存储介质。例如，存储介质可以是内置存储介质，例如ram和闪速存储器，或者可以是外部安装的存储介质例如硬盘、磁盘、磁光盘、光盘、通用串行总线(usb)存储器和存储卡。

此外，在成像模式下，例如，摄像装置单元926捕获对象的图像、生成图像数据以及将所生成的图像数据输出至图像显示单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码、将编码流提供给记录/再现单元929以及将编码流写入到存储介质上。

此外，在图像显示模式下，记录/再现单元929读取在存储介质中记录的编码流并且将编码流输出至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码、将图像数据提供给显示单元930以显示图像。

此外，在视频电话模式下，例如，解复用单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流提供给通信单元922。通信单元922对该流进行编码和调制，并且生成传输信号。然后，通信单元922经由天线921将所生成的传输信号传送至基站(未示出)。此外，通信单元922放大经由天线921接收到的无线电信号并且转换频率，并且获取接收到的信号。这些传输信号和接收到的信号可以包括经编码的比特流。然后，通信单元922对接收到的信号进行解调和解码以恢复流，并且将已恢复的流输出至解复用单元928。解复用单元928从输入流中分离视频流和音频流，并且将视频流输出至图像处理单元927而将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码并且生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩并且执行对音频流的d/a转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。

在如上所述配置的移动电话920中，图像处理单元927例如可以具有上述图像编码装置100的功能。也就是说，图像处理单元927可以通过上述实施方式中描述的方法来对图像数据进行编码。通过这样做，移动电话920可以获得以上与参照图1至图12描述的实施方式的效果类似的效果。

此外，在如上所述配置的移动电话920中，图像处理单元927例如可以具有以上描述的图像解码装置200的功能。也就是说，图像处理单元927可以通过上述实施方式中描述的方法来对编码数据进行解码。通过这样做，移动电话920可以获得以上与参照图1至图12描述的实施方式的效果类似的效果。

<第六实施方式>

图16示出了应用上述实施方式的记录/再现设备的示意性配置的示例。例如，记录/再现设备940对接收到的广播节目的音频数据和视频数据进行编码，并且将编码音频数据和编码视频数据记录在记录介质中。此外，记录/再现设备940可以例如对从其他装置获取的音频数据和视频数据进行编码，并且将编码音频数据和编码视频数据记录在记录介质中。此外，记录/再现设备940例如响应于来自用户的指令在监视器和扬声器上再现在记录介质中记录的数据。此时，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940包括调谐器941、外部接口(i/f)单元942、编码器943、硬盘驱动器(hdd)单元944、磁盘驱动器945、选择器946、解码器947、屏上显示器(osd)单元948、控制单元949以及用户接口(i/f)单元950。

调谐器941从经由天线(未示出)接收到的广播信号中提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调获得的经编码的比特流输出至选择器946。换句话说，调谐器941用作记录/再现设备940中的传输单元。

外部接口单元942是用于将记录/再现设备940与外部设备或网络连接的接口。外部接口单元942可以是例如电气和电子工程师协会(ieee)1394接口、网络接口、usb接口、闪速存储器接口等。例如，经由外部接口单元942接收到的视频数据和音频数据被输入至编码器943。换句话说，外部接口单元942用作记录/再现设备940中的传输单元。

在从外部接口单元942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将经编码的比特流输出至选择器946。

hdd单元944将经编码的比特流、各种程序以及其他数据记录在内部硬盘中，在经编码的比特流中诸如视频和音频的内容数据被压缩。此外，hdd单元944在再现视频和音频时从硬盘读取这些数据。

盘驱动器945执行将数据记录到装载的记录介质中并且从装载的记录介质中读取数据。在盘驱动器945上布置的记录介质的示例包括数字多功能盘(dvd)(dvd-视频、dvd-随机存取存储器(dvd-ram)、dvd-可记录(dvd-r)、dvd-可重写(dvd-rw)、dvd+可记录(dvd+r)、dvd+可重写(dvd+rw)等)、或蓝光(注册商标)盘。

在记录视频和音频时选择器946选择从调谐器941或编码器943输入的经编码的比特流，并且将所选择的经编码的比特流输出至hdd944或盘驱动器945。此外，在再现视频和音频时选择器946将从hdd944或盘驱动器945输入的经编码的比特流输出至解码器947。

解码器947对经编码的比特流进行解码并且生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至osd单元948。此外，解码器947将所生成的音频数据输出至外部扬声器。

osd单元948再现从解码器947输入的视频数据并且显示视频。此外，osd单元948可以将例如gui图像例如菜单、按钮或光标叠加到要显示的视频上。

控制单元949包括诸如cpu的处理器和诸如ram和rom的存储器。存储器存储由cpu执行的程序、程序数据等。例如在启动记录/再现设备940时，由cpu读取并执行由存储器存储的程序。通过执行该程序，cpu基于例如从用户接口单元950输入的操作信号来控制记录/再现设备940的操作。

用户接口单元950连接至控制单元949。用户接口单元950具有例如用于用户操作记录/再现设备940的按钮和开关等、远程控制信号的接收单元等。用户接口单元950检测用户经由这些部件进行的操作、生成操作信号以及将所生成的操作信号输出至控制单元949。

在如上所述配置的记录/再现设备940中，编码器943例如可以具有以上描述的图像编码装置100的功能。也就是说，编码器943可以通过在上述实施方式中描述的方法对图像数据进行编码。通过这样做，记录/再现设备940可以获得与以上参照图1至图12描述的实施方式的效果类似的效果。

此外，在如上所述配置的记录/再现设备940中，解码器947例如可以具有以上描述的图像解码装置200的功能。也就是说，解码器947可以通过上述实施方式中描述的方法对编码数据进行解码。通过这样做，记录/再现设备940可以获得与以上参照图1至图12描述的实施方式的效果类似的效果。

<第七实施方式>

图17示出了应用上述实施方式的成像设备的示意性配置的示例。成像设备960捕捉对象的图像、生成图像、对图像数据进行编码以及将编码图像数据记录到记录介质中。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(i/f)单元966、存储器单元967、介质驱动器968、osd单元969、控制单元970、用户接口(i/f)单元971以及总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971连接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、osd单元969和控制单元970相互连接。

光学块961具有聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962具有图像传感器例如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将摄像装置信号处理之后的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。此外，图像处理单元964可以将从osd单元969获取的显示数据叠加到待输出至显示单元965的图像上。

osd单元969生成gui图像例如菜单、按钮或光标，并且将所生成的图像输出至图像处理单元964。

外部接口单元966被配置为例如usb输入/输出端子。在打印图像时外部接口单元966连接例如成像设备960和打印机。此外，根据需要将驱动器连接至外部接口单元966。例如，诸如磁盘或光盘的可移除介质被装载到驱动器中，并且从可移除介质中读取的程序可以被安装在成像设备960中。此外，外部接口单元966可以被配置为与网络例如lan或因特网连接的网络接口。换句话说，外部接口单元966用作成像设备960中的传输单元。

在介质驱动器968中装载的记录介质可以是例如可以读取和写入的任何可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质以固定方式附接至介质驱动器968，并且可以配置非便携式存储单元，例如内置硬盘驱动器和固态驱动器(ssd)。

控制单元970包括诸如cpu的处理器和诸如ram和rom的存储器。存储器存储由cpu执行的程序、程序数据等。例如在启动成像设备960时，由cpu读取并执行在存储器中存储的程序。通过执行该程序，cpu例如根据从用户接口单元971输入的操作信号来控制成像设备960的操作。

用户接口单元971连接至控制单元970。用户接口单元971具有例如用于用户操作成像设备960的按钮和开关。用户接口单元971检测用户经由这些部件进行的操作、生成操作信号以及将所生成的操作信号输出至控制单元970。

在如上所述配置的成像设备960中，例如，图像处理单元964可以具有上述图像编码装置100的功能。也就是说，图像处理单元964可以通过上述实施方式中描述的方法来对图像数据进行编码。通过这样做，成像设备960可以获得与以上参照图1至图12描述的实施方式的效果类似的效果。

此外，在如上所述配置的成像设备960中，图像处理单元964例如可以具有上述图像解码装置200的功能。也就是说，图像处理单元964可以通过上述实施方式中的每一个中描述的方法来对编码数据进行解码。通过这样做，成像设备960可以获得与以上参照图1至图12描述的实施方式的效果类似的效果。

<第八实施方式>

此外，本技术还可以被应用到要安装在构成任意装置或系统的装置上任何配置，所述任意装置或系统是例如，作为系统lsi(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、具有附加的其他功能并且被实现为设备等的单元(即，装置的一部分的配置)。图18示出了应用本技术的视频设备的示意性配置的示例。

在电子设备的多功能性的最近进展中，这样的电子设备的开发和制造经常涉及，在配置的一部分被实现用于例如零售和供应目的的情况下，不仅作为具有一个功能的配置来实现，还作为具有多个功能作为集合的多个配置组合来实现。

图18中示出的视频设备1300具有这样的多功能配置，其中将具有与图像的编码或解码(编码和解码中的一者或两者)有关的功能的设备与具有与上述功能有关的其他功能的设备组合。

如图18所示，视频设备1300包括模块，例如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314以及具有有关功能的设备，例如连接部1321、摄像装置1322和传感器1323。

模块是形成为具有相干功能的部分的有关部分的功能集合。例如，尽管特定配置可以在物理上变化，但是可以想到这样的配置，其中分别具有功能的多个处理器，诸如电阻器和电容器的电子电路元件以及其他设备被设置并集成在布线基板等上。此外，还可以想到将模块与其他模块、处理器等组合以形成新的模块

在图18的示例的情况下，视频模块1311与和图像处理有关的功能的部件组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和rf模块1334。

处理器具有通过片上系统(soc)而集成在半导体芯片上具有预定功能的配置，并且一些被称为例如系统lsi(大规模集成)等。具有该预定功能的配置可以是逻辑电路(硬件配置)，或者可以是包括cpu、rom、ram等连同使用这些部件执行的程序的配置(软件配置)、或者可以是二者配置的组合。例如，处理器包括逻辑电路以及cpu、rom、ram等，并且其部分功能由逻辑电路(硬件配置)来实现，而其他功能由cpu中执行的程序(软件配置)来实现。

图18中的应用处理器1331是执行与图像处理有关的应用的处理器。由应用处理器1331执行的该应用不仅可以执行算术处理，还可以根据需要对视频模块1311，例如视频处理器1332内部和外部进行控制以实现预定功能。

视频处理器1332是具有与图像的编码和解码(其中一个或两者)有关的功能的处理器。

宽带调制解调器1333将要经由通过宽带线路(例如因特网或公共电话线网络)执行的有线或无线(或有线和无线)宽带通信传送的数据(数字信号)数字调制为例如模拟信号，或者通过解调由宽带通信接收到的模拟信号来将由宽带通信接收到的模拟信号转换为数据(数字信号)。宽带调制解调器1333处理例如任意信息，例如由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序以及设置数据。

rf模块1334是对经由天线传送或接收到的射频(rf)信号执行频率转换、调制/解调、放大、滤波等的模块。例如，rf模块1334对通过宽带调制解调器1333生成的基带信号执行频率转换等以生成rf信号。此外，例如，rf模块1334对经由前端模块1314接收到的rf信号执行频率转换等以生成基带信号。

注意，如由图18中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成到单个处理器中。

外部存储器1312是被设置在视频模块1311的外部并且具有由视频模块1311使用的存储设备的模块。外部存储器1312的存储设备可以以任何物理配置形成，但是典型地，它通常用于存储大容量数据，例如每帧的图像数据。因此，希望使用相对便宜和大容量的半导体存储器，例如动态随机存取存储器(dram)来形成存储设备。

电力管理模块1313管理并控制对视频模块1311(视频模块1311中的每个部件)的电力供应。

前端模块1314是向rf模块1334提供前端功能(在天线侧上的传送与接收端的电路)的模块。如图18所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。

天线单元1351具有用于传送和接收无线电信号的天线和其外围配置。天线单元1351将从放大单元1353提供的信号作为无线电信号进行传送，以及将接收到的无线电信号作为电信号(rf信号)提供给滤波器1352。滤波器1352对经由天线单元1351接收到的rf信号执行滤波处理等，以及将处理后的rf信号提供给rf模块1334。放大单元1353将从rf模块1334提供的rf信号进行放大并且将经放大的信号提供给天线单元1351。

连接部1321是具有与和外部连接有关的功能的模块。可以以任何物理配置提供连接部1321。例如，连接部1321具有包括除与宽带调制解调器1333对应的通信标准之外的通信功能的配置、外部输入/输出端子等。

例如，连接部1321可以包括具有符合无线通信标准例如蓝牙(注册商标)、ieee802.11(例如，无线保真(wi-fi，注册商标))、近场通信(nfc)、或红外数据协会(irda))的通信功能的模块、传送/接收符合这样的标准的信号的天线等。此外，连接部1321可以包括例如具有符合有线通信标准，例如通用串行总线(usb)或高清晰度多媒体接口(hdmi，注册商标)的通信功能的模块和符合这样的标准的端子。此外，连接部1321可以包括例如其他数据(信号)传输功能，例如模拟输入/输出端子等。

注意，连接部1321可以包括传送数据(信号)去往的设备。例如，连接部1321可以包括从记录介质例如磁盘、光盘、磁光盘中读取数据或者将数据记录在记录介质中的驱动器(包括硬盘、固态驱动器(ssd)、网络附接存储装置(nas)等以及可移除介质的驱动器)。此外，连接部1321可以包括图像或声音输出设备(例如，监视器和扬声器)。

摄像装置1322是具有对对象进行成像并且获得该对象的图像数据的功能的模块。通过摄像装置1322的成像而获得的图像数据被提供给例如视频处理器1332并且对该图像数据进行编码。

传感器1323可以是例如具有下述任何传感器功能的模块：例如音频传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、冲击传感器或温度传感器。通过传感器1323检测到的数据被提供给例如应用处理器1331并且被应用等使用。

在上述中被描述为模块的配置可以被实现为处理器，或者相反，被描述为处理器的配置可以被实现为模块。

在如上所述配置的视频设备1300中，本技术可以应用于稍后描述的视频处理器1332。因此，视频设备1300可以被实现为应用本技术的设备。

(视频处理器的配置示例)

图19示出了应用本技术的视频处理器1332(图18)示例的示意性配置。

在图19的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且以预定方式对视频信号和音频信号进行编码的功能，以及具有对经编码的视频数据和经编码的音频数据进行解码并且对视频信号和音频信号进行再现并输出的功能。

如图19所示，视频处理器1332包括视频输入处理单元1401、第一图像缩放单元1402、第二图像缩放单元1403、视频输出处理单元1404、帧存储器1405、存储器控制单元1406。此外，视频处理器1332包括编码/解码引擎1407、视频基本流(es)缓冲器1408a和1408b以及音频es缓冲器1409a和1409b。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用单元(复用器(mux))1412、解复用单元(解复用器(dmux))1413和流缓冲器1414。

视频输入处理单元1401获取例如从连接部1321(图18)等输入的视频信号并且将视频信号转换成数字图像数据。第一图像缩放单元1402对图像数据执行格式转换、图像缩放处理等。第二图像缩放单元1403例如基于经由视频输出处理单元1404要输出的格式对图像执行缩放处理，或者与第一图像缩放单元1402类似地对图像执行格式转换和缩放处理。视频输出处理单元1404对图像数据执行例如格式转换和转换为模拟信号，并且将模拟信号作为再现视频信号输出至例如连接部1321等。

帧存储器1405是用于由视频输入处理单元1401、第一图像缩放单元1402、第二图像缩放单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据的存储器。帧存储器1405被实现为例如诸如dram半导体存储器。

存储器控制单元1406从编码/解码引擎1407接收同步信号并且根据写入在访问管理表1406a中的、对帧存储器1405的访问计划来控制对帧存储器1405的写入/读取访问。访问管理表1406a由存储器控制单元1406根据由编码/解码引擎1407、第一图像缩放单元1402、第二图像缩放单元1403等执行的处理进行更新。

编码/解码引擎1407执行对图像数据的编码处理以及执行对作为经编码的图像数据的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405中读取的图像数据进行编码并且将经编码的图像数据作为视频流顺序地写入视频es缓冲器1408a中。此外，视频流例如从视频es缓冲器1408b中顺序地读取并被解码，并且顺序地将其作为图像数据写入帧存储器1405中。编码/解码引擎1407在编码/解码中使用帧存储器1405作为工作区。此外，编码/解码引擎1407在开始对每个宏块进行处理时将例如同步信号输出至存储器控制单元1406。

视频es缓冲器1408a对由编码/解码引擎1407生成的视频流进行缓冲并且将所缓冲的视频流提供给复用单元(mux)1412。视频es缓冲器1408b对从解复用单元(dmux)1413提供的视频流进行缓冲并且将所缓冲的视频流提供给编码/解码引擎1407。

音频es缓冲器1409a对由音频编码器1410生成的音频流进行缓冲并且将所缓冲的音频流提供给复用单元(mux)1412。音频es缓冲器1409b对从解复用单元(dmux)1413提供的音频流进行缓冲并且将所缓冲的音频流提供给音频解码器1411。

音频编码器1410例如对从连接部1321等输入的音频信号进行数字转换，并且通过预定方法例如mpeg音频方法或音频编码3(ac3)系统例如对音频信号进行编码。音频编码器1410将作为其中音频信号被编码的数据的音频流顺序地写入音频es缓冲器1409a中。音频解码器1411对从音频es缓冲器1409b提供的音频流进行解码、将音频流转换成例如模拟信号以及将音频流作为再现的音频信号提供给例如连接部1321等。

复用单元(mux)1412对视频流和音频流进行复用。可以通过任何复用方法(即，通过复用生成的比特流格式)来执行复用。此外，在复用时，复用单元(mux)1412可以将预定报头信息等添加至比特流。也就是说，复用单元(mux)1412可以通过复用来转换流的格式。例如，复用单元(mux)1412对视频流和音频流进行复用以将该视频流和音频流转换成作为传送格式的比特流的传输流。此外，复用单元(mux)1412以文件记录格式将例如视频流和音频流复用成数据(文件数据)。

解复用单元(dmux)1413以与通过复用单元(mux)1412进行复用对应的方法来对其中视频流和音频流被复用的比特流进行解复用。也就是说，解复用单元(dmux)1413从流缓冲器1414中读取的比特流中提取视频流和音频流(将视频流和音频流分离)。也就是说，解复用单元(dmux)1413可以通过逆复用(通过复用部(mux)1412的转换的逆转换)来转换流的格式。例如，解复用单元(dmux)1413可以经由流缓冲器1414获取例如从连接部1321、宽带调制解调器1333等提供的传输流，并且对该传输流进行解复用以生成视频流和音频流。此外，例如，解复用单元(dmux)1413可以经由流缓冲器1414获取例如通过连接部1321从各种记录介质中读取的文件数据，并且将该文件数据解复用成视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用单元(mux)1412提供的传输流进行缓冲并且在预定定时处，或者响应于来自外部的请求等将传输流提供给连接部1321、宽带调制解调器1333等。

此外，例如，流缓冲器1414缓冲从复用单元(mux)1412提供的文件数据，并且在预定定时处、响应于来自外部的请求等将文件数据提供给例如连接部1321等以将所缓冲的文件数据记录在各种记录介质中。

此外，流缓冲器1414对经由例如连接部1321、宽带调制解调器1333等获取的传输流进行缓冲，并且在预定定时处或响应于来自外部的请求等将所缓冲的传输流提供给解复用单元(dmux)1413。

此外，流缓冲器1414对从例如连接部1321等中的各种记录介质中读取的文件数据进行缓冲，并且在预定的定时处、或响应于来自外部的请求等将所缓冲的文件数据提供给解复用单元(dmux)1413。

接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，从连接部1321等输入至视频处理器1332的视频信号被视频输入处理单元1401转换成诸如4:2:2y/cb/cr系统的预定系统的数字图像数据并且将其顺序地写入帧存储器1405中。该数字图像数据由第一图像缩放单元1402或第二图像缩放单元1403读取、被转换成预定系统，例如4：2：0y/cb/cr系统、经受缩放处理，以及然后被再次写入帧存储器1405中。该图像数据由编码/解码引擎1407编码并且被作为视频流写入视频es缓冲器1408a中。

此外，从连接部1321等输入至视频处理器1332的音频信号由音频编码器1410编码并且被作为音频流写入音频es缓冲器1409a中。

视频es缓冲器1408a的视频流和音频es缓冲器1409a的音频流由复用单元(mux)1412读取、被复用以及被转换成传输流、文件数据等。由复用单元(mux)1412生成的传输流被缓冲在流缓冲器1414中，并且然后经由例如连接部1321、宽带调制解调器1333等被输出至外部网络。此外，由复用单元(mux)1412生成的文件数据被缓冲在流缓冲器1414中并且然后被输出至例如连接部1321等，并且被记录在各种记录介质中。

此外，经由连接部1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的传输流被缓冲在流缓冲器1414中并且然后由解复用单元(dmux)1413进行解复用。此外，从连接部1321等中的各种记录介质中方读取并输入至视频处理器1332的文件数据被缓冲在例如流缓冲器1414中并且然后由解复用单元(dmux)1413进行解复用。也就是说，输入至视频处理器1332的传输流或文件数据由解复用单元(dmux)1413分离成视频流和音频流。

音频流经由音频es缓冲器1409b被提供至音频解码器1411并且被解码，并且再现音频信号。此外，在写入视频es缓冲器1408b中之后，视频流被编码/解码引擎1407顺序读出、解码并且被写入帧存储器1405中。解码图像数据由第二图像缩放单元1403缩放处理并且被写入帧存储器1405中。然后，解码图像数据由视频输出处理单元1404读取、经受格式转换成预定格式，例如4：2：2y/cb/cr系统，并且还被转换成允许再现和输出视频信号的模拟信号。

在将本技术应用于如上所述配置的视频处理器1332的情况下，根据上述实施方式的本技术可以应用于编码/解码引擎1407。也就是说，编码/解码引擎1407可以具有例如以上描述的图像编码设备100的功能、图像解码装置200的功能或两者功能。通过这样做，视频处理器1332可以获得与以上参照图1至图12描述的实施方式中获得的效果类似的效果。

注意，在编码/解码引擎1407中，本技术(即，图像编码装置100的功能、图像解码装置200的功能或两者的功能)可以通过硬件(例如逻辑电路)、软件(例如内置程序)或硬件和软件两者来实现。

(视频处理器的另一配置示例)

图20示出了应用本技术的视频处理器1332的另一示例的示意性配置。在图20的示例的情况下，视频处理器1332具有以预定格式对视频数据进行编码和解码的功能。

更具体地，如图20所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332还包括编解码器引擎1516、存储器接口1517、复用/解复用单元(muxdmux)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332中的处理单元，例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的操作。

如图20所示，控制单元1511包括例如主cpu1531、次cpu1532和系统控制器1533。主cpu1531执行用于控制视频处理器1332中的处理单元的操作的程序等。主cpu1531根据程序等生成控制信号，并且将控制信号提供给处理单元(即，控制处理单元的操作)。次cpu1532起到主cpu1531的辅助作用。例如，次cpu1532执行由主cpu1531执行的程序等的子处理、子例程等。系统控制器1533控制主cpu1531和次cpu1532的操作，例如指定要由主cpu1531和次cpu1532执行的程序。

显示接口1512在控制单元1511的控制下将图像数据输出至例如连接部1321等。例如，显示接口1512将数字数据的图像数据转换成模拟信号，并且将模拟信号作为再现视频信号输出至连接部1321的监视器设备等或者在数字数据的图像数据未被转换的情况下输出至连接部1321的监视器设备等。

显示引擎1513在控制单元1511的控制下对图像数据执行各种转换处理，例如格式转换和尺寸转换、色域转换以便允许图像数据符合显示图像的监视器设备等的硬件规格。

图像处理引擎1514在控制单元1511的控制下对图像数据执行例如用提高图像质量的预定图像处理，例如滤波处理。

内部存储器1515是设置在视频处理器1332内部并且由显示引擎1513、图像处理引擎1514以及编解码器引擎1516共享的存储器。内部存储器1515例如用于在显示引擎1513、图像处理引擎1514与编解码器引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且根据需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。虽然该内部存储器1515可以由任何存储设备实现，但是它通常用于存储诸如以块为单元的图像数据和参数的小容量数据。因此，优选地，内部存储器1515(例如，当与外部存储器1312相比时)由具有相对小的容量但是响应速度高的半导体存储器，例如静态随机存取存储器(sram)来实现。

编解码器引擎1516执行与图像数据的编码和解码有关的处理。编解码器引擎1516可以与任何编码/解码方案对应，并且可以使用一个或更多数目的方案。例如，编解码器引擎1516可以具有多个编码/解码方案的编解码器功能，并且可以选择那些编码/解码方案中的任何一个来编码图像数据或解码编码数据。

在图20所示的示例中，编解码器引擎1516包括例如，mpeg-2视频1541、avc/h.2641542、hevc/h.2651543、hevc/h.265(可缩放)1544、hevc/h.265(多视图)1545和mpeg-dash1551作为与编解码器有关的处理的功能块。

mpeg-2视频1541是根据mpeg-2方案对图像数据进行编码和解码的功能块。avc/h.2641542是根据avc方案对图像数据进行编码和解码的功能块。hevc/h.2651543是根据hevc方案对图像数据进行编码和解码的功能块。hevc/h.265(可缩放)1544是用于根据hevc方案对图像数据进行可缩放编码或可缩放解码的功能块。hevc/h.265(多视图)1545是根据hevc方案对图像数据执行多视点编码或多视点解码的功能块。

mpeg-dash1551是根据mpeg-基于http的动态自适应流传输(mpeg-dash)方案来传送和接收图像数据的功能块。mpeg-dash是用于使用具有以下特性的使用超文本传输协议(http)的流传输视频技术，其中从各个以不同的分辨率等预先准备的多条编码数据中选择适当的编码数据并且将所选择的编码数据以段为单位传送。例如，mpeg-dash1551生成符合流的标准和传输控制的流，并且使用以上描述的mpeg-2视频1541至hevc/h.265(多视图)1545用于对图像数据进行编码/解码。

存储器接口1517是外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据经由存储器接口1517被提供至外部存储器1312。此外，从外部存储器1312读取的数据经由存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用/解复用单元(muxdmux)1518对与图像有关的各种类型的数据，例如编码数据的比特流、图像数据以及视频信号进行复用和解复用。可以使用用于进行复用/解复用的任何方法。例如，在进行复用时，复用/解复用单元(muxdmux)1518不仅可以将多条数据聚集成一个还可以将预定的报头信息等添加至数据。此外，在进行解复用时，复用/解复用单元(muxdmux)1518不仅将一个数据划分成多条数据还将特定报头信息等添加至所划分的数据中的每一条。也就是说，复用/解复用单元(muxdmux)1518可以通过进行复用/解复用来转换数据的格式。例如，复用/解复用单元(muxdmux)1518对比特流进行复用从而以转换作为传输格式下的比特流的流或者转换在记录文件格式下的数据(文件数据)。当然，通过进行解复用也可以进行反向转换。

网络接口1519是针对例如宽带调制解调器1333、连接部1321等的接口。视频接口1520是用于例如连接部1321、摄像装置1322等的接口。

接下来，描述这样的视频处理器1332的操作的示例。例如，当经由连接部1321、宽带调制解调器1333等从外部网络接收传输流时，传输流经由网络接口1519被提供给复用/解复用单元(muxdmux)1518并且被复用，并且由编解码器引擎1516进行解码。通过由编解码器引擎1516解码而获得的图像数据经受例如由图像处理引擎1514进行的预定图像处理、由显示引擎1513进行的预定转换，以及经由显示接口1512将其提供给例如连接部1321等以在监视器上显示图像。此外，通过编解码器引擎1516进行解码而获得的图像数据例如由编解码器引擎1516重新编码、由复用/解复用单元(muxdmux)1518进行复用、被转换成文件数据、经由视频接口1520被输出至例如连接部1321等，并且被记录在各种记录介质中。

此外，由连接部1321等从记录介质((未示出)中读取的、通过对图像数据进行编码而获取的编码数据的文件数据经由视频接口1520被提供给例如复用/解复用单元(muxdmux)1518、被解复用以及由编解码器引擎1516进行解码。通过编解码器引擎1516进行解码而获得的图像数据经受由图像处理引擎1514进行的预定图像处理、由显示引擎1513进行的预定转换，以及经由显示接口1512被提供给例如连接部1321等以在监视器上显示图像。此外，通过编解码器引擎1516进行解码而获得的图像数据例如由编解码器引擎1516重新编码、由复用/解复用单元(muxdmux)1518进行复用、被转换成传输流、经由网络接口1519提供给例如连接部1321、宽带调制解调器1333等并且被传送至其他设备(未示出)。

注意，使用例如内部存储器1515和外部存储器1312在视频处理器1332中的处理单元之间交换图像数据和其他数据。此外，电力管理模块1313控制例如对控制单元1511的电力供应。

在将本技术应用于以该方式配置的视频处理器1332的情况下，根据上述实施方式的本技术可以应用于编解码器引擎1516。也就是说，编解码器引擎1516例如可以具有图像编码装置100的功能、图像解码装置200的功能或两者功能。通过这样做，视频处理器1332可以获得与以上参照图1至图12描述的实施方式中获得的效果类似的效果。

注意，在编解码器引擎1516中，本技术(即，图像编码装置100的功能)可以由硬件(例如逻辑电路)、软件(例如内置程序)，或者硬件和软件两者来实现。

尽管上面已经描述了视频处理器1332的两个示例配置，但是视频处理器1332的配置不限于此，并且也可以是除了上述两种配置之外的其他配置。此外，尽管视频处理器1332可以被配置为一个半导体芯片，但是还可以被配置为多个半导体芯片。例如，视频处理器1332可以被配置为其中可以使用多个半导体被堆叠的三维堆叠lsi。此外，多个lsi可以用于实现方式。

(设备的应用示例)

视频设备1300可以被结合在处理图像数据的各种设备中。例如，视频设备1300可以被结合在电视设备900(图14)、移动电话920(图15)、记录/再现设备940(图16)、成像设备960(图17)等中。设备可以通过结合视频设备1300来实现与以上参照图1至图12描述的实施方式的效果类似的效果。

注意，即使以上所述的视频设备1300的每个配置的一部分也可以实现为应用本技术的配置，只要其包括视频处理器1332即可。例如，仅视频处理器1332可以被实现为应用本技术的视频处理器。此外，例如，如上所述，由虚线1341指示的处理器、视频模块1311等可以被实现为应用本技术的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314可以被组合并被实现为应用本技术的视频单元1361。在任何配置中，可以获得与上面参照图1至图12描述的实施方式的效果类似的效果。

也就是说，与视频设备1300的情况下类似，无论配置如何只要其包括视频处理器1332，就可以被结合到处理图像数据的各种装置中。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以被结合到电视设备900(图14)、移动电话920(图15)、记录/再现设备940(图16)、成像设备960(图17)等中。然后，通过结合应用本技术的任何配置，与视频设备1300的情况一样，设备获得与以上参照图1至图12描述实施方式的效果类似的效果。

<第九实施方式)

此外，本技术还可以应用于由多个设备组成的网络系统。图21示出了应用本技术的网络系统的示例的示意性配置。

图21所示的网络系统1600是其中设备经由网络交换与图像(运动图像)有关的信息的系统。网络系统1600中的云服务1601是将与图像(运动图像)有关的服务提供给可通信地连接至云服务1601的终端(例如计算机1611、视听(av)设备1612、便携式数子助理1613以及物联网(iot)设备1614)的系统。例如，云服务1601向终端提供图像(运动图像)的内容供应服务，例如所谓的电影分发(按需或实时分发)。此外，云服务1601提供例如用于接收和存储来自终端的图像(移动图像)的内容的后备服务。此外，云服务1601提供例如用于调解图像(运动图像)的内容在终端之间的传输的服务。

云服务1601的物理配置是任意的。例如，云服务1601可以包括网络，例如诸如存储和管理运动图像的服务器、将运动图像分发到终端的服务器、从终端获取运动图像的服务器、管理用户(终端)和计费的服务器的各种类型的服务器、任意网络，例如因特网或lan。

计算机1611由例如信息处理设备例如个人计算机、服务器或工作站构成。av设备1612由诸如电视接收器、硬盘记录器、游戏设备或摄像装置的图像处理装置构成。便携式数字助理1613包括便携式信息处理设备，例如笔记本个人计算机、平板终端、移动电话和智能电话。iot设备1614包括执行与图像有关的处理的任意对象，例如机器、家用电器、家具、其他对象、ic标签和卡片型设备。每个终端具有连接至云服务1601(建立会话)的通信功能，并且与云服务1601交换(即，通信)信息。此外，每个终端还可以与其他终端进行通信。终端之间的通信可以经由云服务1601来执行，或者可以在不经过云服务1601的的情况下执行。

在将本技术应用于如上所述的网络系统1600以在终端之间或终端与云服务1601之间交换图像(运动图像)的数据的情况下，如上述实施方式中描述的可以对图像数据进行编码/解码。也就是说，终端(计算机1611至iot设备1614)和云服务1601各自可以具有上述图像编码设备100或图像解码设备200的功能。通过这样做，交换图像数据的终端(计算机1611至iot设备1614)和云服务1601可以获得与上面参照图1至图12描述的实施例的效果类似的效果。

注意，与编码数据(比特流)有关的各种信息可以被复用到编码数据中并被传送或记录，或者可以作为在不被复用到编码数据的情况下与编码数据关联的分离数据被传送或记录。如本文中所使用的，术语“关联”意味着，例如，在处理其他数据时使一个数据可用(可链接)。也就是说，彼此关联的数据可以被收集为一个数据或者可以是单独数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)关联的信息。此外，与编码数据(图像)关联的信息可以被记录在例如与编码数据(图像)不同的记录介质(或同一记录介质的分离记录区域)中。注意，可以对一部分数据而不是整个数据执行“关联”。例如，图像和与该图像对应的信息可以以任意单位例如以多个帧、一个帧或帧内的一部分为单位彼此关联。

此外，本说明书中记载的效果仅作为示例效果而非限制性方式给出，并且还可以提供附加的效果。

此外，本公开内容的实施方式不限于以上提及的实施方式，并且可以在不脱离本公开内容的精神的情况下进行各种变化。

例如，本公开内容可以被配置为云计算配置，其中单个功能经由功能网络在多个设备中共享并且被协作地处理。

此外，以上提及的流程图中描述的步骤可以由单个装置执行，或者可以由多个装置以分布式方式执行。

此外，在单个步骤包括多个处理步骤的情况下，在单个步骤中包括的多个处理步骤可以由单个装置执行，或者可以由多个装置以分布式方式执行。

本公开内容可以具有以下配置。

(1)一种图像处理装置，包括：

选择单元，根据第一帧内预测模式和第二帧内预测模式选择帧内预测模式以及当前块的帧内预测期间参考的参考行，

其中将距当前块距离相同的像素组作为行，所述第一帧内预测模式是参考最接近所述当前块的第一行时的帧内预测模式，并且所述第二帧内预测模式是参考不同于所述第一行的第二行时的帧内预测模式；以及

预测单元，基于由所述选择单元选择的参考行和帧内预测模式来对所述当前块执行帧内预测，其中

所述第二帧内预测模式是所述第一帧内预测模式的一部分。

(2)根据上述(1)所述的图像处理装置，其中，

所述第二帧内预测模式包括指示水平方向、垂直方向和倾斜方向作为参考方向的帧内预测模式。

(3)根据上述(2)所述的图像处理装置，其中，

所述第二帧内预测模式通过在每个预定编号处选择所述第一帧内预测模式来配置。

(4)根据上述(1)所述的图像处理装置，其中，

所述第二帧内预测模式是所述当前块周围的块的帧内预测模式。

(5)根据上述(1)至(4)中任一项所述的图像处理装置，还包括

设置单元，设置指示由所述选择单元选择的帧内预测模式的帧内预测模式信息，其中

所述设置单元被配置成：在由所述选择单元选择的帧内预测模式是所述第一帧内预测模式和所述第二帧内预测公共的帧内预测模式的情况下，设置指示由所述选择单元选择的参考行的参考行信息。

(6)根据上述(1)至(4)中任一项所述的信息处理装置，其中，

所述选择单元基于指示帧内预测模式的帧内预测模式信息来选择帧内预测模式。

(7)根据上述(6)所述的图像处理装置，其中，

在由所述帧内预测模式信息指示的帧内预测模式是所述第一帧内预测模式和所述第二帧内预测模式公共的帧内预测模式的情况下，所述选择单元基于指示参考行的参考行信息来选择参考行，以及

在由所述帧内预测模式信息指示的帧内预测模式不是所述第一帧内预测模式和所述第二帧内预测模式公共的帧内预测模式的情况下，所述选择单元选择所述第一行作为参考行。

(8)一种图像处理方法，所述图像处理方法使图像处理装置执行：

根据第一帧内预测模式和第二帧内预测模式选择帧内预测模式以及在当前块的帧内预测期间参考的参考行的选择步骤，

其中将距所述当前块距离相同的像素组作为行，所述第一帧内预测模式是参考最接近所述当前块的第一行时的帧内预测模式，并且所述第二帧内预测模式是参考不同于所述第一行的第二行时的帧内预测模式；以及

基于由所述选择步骤的处理而选择的参考行和帧内预测模式来对所述当前块执行帧内预测的预测步骤，其中

所述第二帧内预测模式是所述第一帧内预测模式的一部分。

(9)一种图像处理装置，包括

预测单元，基于扩展信息来对当前块执行帧内预测，所述扩展信息指示帧内预测的扩展是由帧内预测模式指示的参考方向上的扩展还是作为在所述当前块的帧内预测中要参考的行的参考行的扩展，其中将距所述当前块距离相同的像素组作为行。

(10)根据上述(9)所述的图像处理装置，还包括

选择单元，在所述扩展信息指示参考行的扩展的情况下，根据在参考多个行中的每个行时的第一数目的帧内预测模式选择帧内预测模式和参考行，其中，

所述预测单元被配置成基于由所述选择单元选择的参考行和帧内预测模式来对所述当前块执行帧内预测。

(11)根据上述(10)所述的图像处理装置，还包括

设置单元，其被配置成设置指示由所述选择单元选择的参考行和帧内预测模式的信息。

(12)根据上述(10)所述的图像处理装置，其中，

在所述扩展信息指示参考方向上的扩展的情况下，所述选择单元根据最接近所述当前块的最近行的第二数目的帧内预测模式选择帧内预测模式，并且选择所述最近行作为参考行，所述第二数目大于所述第一数目，以及

所述第二数目的帧内预测模式包括所述第一数目的帧内预测模式。

(13)根据上述(12)所述的图像处理装置，其中，

所述多个行的所述第一数目的帧内预测模式的总数等于或小于所述第二数目。

(14)根据上述(13)所述的图像处理装置，还包括

设置单元，对每个行和每个帧内预测模式分配唯一的信息并且设置由所述选择单元选择的参考行和帧内预测模式的信息。

(15)根据上述(9)、(10)、(12)至(13)中任一项所述的图像处理装置，还包括

设置所述扩展信息的设置单元。

(16)一种图像处理方法，所述图像处理方法使图像处理装置执行：

基于扩展信息来对当前块执行帧内预测的帧内预测步骤，所述扩展信息指示帧内预测的扩展是由帧内预测模式指示的参考方向上的扩展还是在所述当前块的帧内预测中参考的参考行的扩展，其中，将距所述当前块距离相同的像素组作为行。

参考标记列表

100图像编码装置

101a选择器

101b设置单元

119预测单元

130当前块

140至143行

200图像解码装置

211选择器