影像处理设备和影像处理方法与流程

本公开涉及影像处理设备和影像处理方法，更具体地，涉及能够在使用画面内的相关性执行预测时提高编码效率的影像处理设备和影像处理方法。

背景技术：

近年来，下述设备已经普及：所述设备处理作为数字的影像信息，并且此时，出于高效信息传输和累积的目的，采用利用影像信息特有的冗余通过正交变换和运动补偿如离散余弦变换而进行压缩的编码系统来对影像执行压缩编码。该编码系统的示例包括mpeg(运动图像专家组)、h.264和mpeg-4第10部分(高级视频编码，在下文中被描述为avc)。

现在，为了比h.264/avc更加提高编码效率，jctvc(联合合作团队-视频编码)正在进行被称作hevc(高效视频编码)的编码系统的标准化，jctvc是由itu-t(国际电信联盟电信标准化部门)和iso/iec(国际标准化组织/国际电工委员会)构成的联合标准化组织。

此外，在hevc中，已经研究了范围扩展(hevc范围扩展)以支持高阶格式，例如，像4:2:2和4:4:4这样的色差信号格式的影像、用于画面内容的简档(参见例如非专利文献1)。

顺便提及，帧内块拷贝(intrabc)是通过使用画面内的相关性并且执行在画面内的运动补偿来执行预测的编码工具。intrabc被认为是有助于提高人工影像如计算机画面和cg影像的编码效率的工具。

然而，intrabc的技术在上述hevc范围扩展(hevcrangeextension)扩展中未被采用，而是针对画面内容编码(scc)扩展的标准化被持续研究(参见例如非专利文献2)。

从2014年12月起，在hevcscc扩展的标准化中，正在讨论将intrabc和帧间编码(intercoding)共通化(commonalize)。在intrabc和帧间编码被共通化的情况下，预测向量(mv预测器)的选择、参考图像的索引(refidx)的传输、当前运动向量与预测向量之间的差分向量(mvd)的传输等必须共通化。

引用列表

非专利文献

非专利文献1：jillboyce,etal.“drafthighefficiencyvideocoding(hevc)version2,combinedformatrangeextensions(rext),scalability(shvc),andmulti-view(mv-hevc)extensions”,jctvc-r1013_v6,2014.10.1

非专利文献2：rajanjoshi,etal.“highefficiencyvideocoding(hevc)screencontentcoding:draft1”,jctvc-r1005-v3,2014.9.27

技术实现要素：

技术问题

然而，在以下情况下，差分向量会变大，并且编码效率降低：在对intrabc中使用的运动向量进行编码时，使用参考帧间编码中使用的运动向量生成的预测向量。

鉴于如上所述的情况而做出了本公开，并且本公开能够在使用画面内的相关性执行预测时提高编码效率。

问题的解决方案

根据本公开的第一方面的影像处理设备是以下影像处理设备，其包括：预测向量生成部，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行编码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，所述预测向量生成部将候选块设置为不可用，并且通过使用参考运动向量生成当前运动向量的预测向量，所述参考运动向量在生成当前运动向量的预测向量时被参考；以及差分向量生成部，所述差分向量生成部生成当前运动向量与由预测向量生成部生成的预测向量之间的差分向量。

根据本公开的第一方面的影像处理方法对应于根据本公开的第一方面的影像处理设备。

在本公开的第一方面中，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行编码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，将候选块设置成不可用，通过使用参考运动向量来生成当前运动向量的预测向量，并且生成当前运动向量与预测向量之间的差分向量，所述参考运动向量在生成当前运动向量的预测向量时被参考。

根据本公开的第二方面的影像处理设备是以下影像处理设备，包括：预测向量生成部，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行解码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，所述预测向量生成部将候选块设置成不可用，并且通过使用参考运动向量生成当前运动向量的预测向量，所述参考运动向量在生成当前运动向量的预测向量时被参考；以及

运动向量生成部，所述运动向量生成部将当前运动向量与预测向量之间的差分向量和由预测向量生成部生成的预测向量相加，并且生成当前运动向量。

根据本公开的第二方面的影像处理方法对应于根据本公开的第二方面的影像处理设备。

在本公开的第二方面中，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行解码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，将候选块设置成不可用，通过使用参考运动向量来生成当前运动向量的预测向量，将当前运动向量与预测向量之间的差分向量和预测向量相加，并且生成当前运动向量，所述参考运动向量在生成当前运动向量的预测向量时被参考。

应当注意，可以通过使计算机执行程序来实现根据第一方面和第二方面的影像处理设备。

此外，可以通过经由传输介质的传输或者记录在记录介质上来提供为了实现根据第一方面和第二方面的影像处理设备而由计算机执行的程序。

根据第一方面和第二方面的影像处理设备可以是独立的设备，或者可以是构成一个设备的内部块。

本发明的有益效果

根据本公开的第一方面，可以对影像进行编码。此外，根据本公开的第一方面，能够在使用画面内的相关性执行预测时提高编码效率。

根据本公开的第二方面，可以对编码流进行解码。此外，根据本公开的第二方面，能够在使用画面内的相关性执行预测时对具有提高的编码效率的编码流进行解码。

应当注意，本文所描述的效果不一定受限制，并且可以产生本文所描述的效果中的任意效果。

附图说明

【图1】图1是用于描述intrabc的图。

【图2】图2是用于描述intrabc与帧间编码之间的差异的图。

【图3】图3是用于描述hevc中的参考图像的类型的图。

【图4】图4是示出hevc中的候选块的设置的示例的图。

【图5】图5是示出hevc中的候选块的设置的示例的图。

【图6】图6是用于描述参考运动向量的候选的图。

【图7】图7是示出第一实施例中的候选块的设置的示例的图。

【图8】图8是示出第一实施例中的候选块的设置的示例的图。

【图9】图9是示出hevc中的参考图像的候选的示例的图。

【图10】图10是用于描述hevc中的参考图像列表创建处理的图。

【图11】图11是示出第一实施例中的参考图像的候选的示例的图。

【图12】图12是用于描述第一实施例中的参考图像列表创建处理的图。

【图13】图13是示出应用本公开的编码设备的第一实施例的构造示例的框图。

【图14】图14是示出图13的编码部的构造示例的框图。

【图15】图15是用于描述图13的编码设备的流生成处理的流程图。

【图16】图16是用于描述图15的编码处理的细节的流程图。

【图17】图17是用于描述图15的编码处理的细节的流程图。

【图18】图18是用于描述图16的参考图像创建处理的细节的流程图。

【图19】图19是用于描述图16的预测向量列表生成处理的细节的流程图。

【图20】图20是示出应用本公开的解码设备的第一实施例的构造示例的框图。

【图21】图21是示出图20的解码部的构造示例的框图。

【图22】图22是用于描述图20的解码设备的影像生成处理的流程图。

【图23】图23是用于描述图22的解码处理的细节的流程图。

【图24】图24是用于描述第二实施例中的预测向量列表生成方法的图。

【图25】图25是用于描述第二实施例中的预测向量列表生成方法的图。

【图26】图26是用于描述第二实施例中的预测向量列表生成方法的图。

【图27】图27是示出第二实施例中的候选块的设置的示例的图。

【图28】图28是用于描述第二实施例中的参考图像创建处理的细节的流程图。

【图29】图29是用于描述第二实施例中的预测向量列表生成处理的细节的流程图。

【图30】图30是用于描述第三实施例中的参考图像列表创建处理的图。

【图31】图31是用于描述第三实施例中的参考图像列表创建处理的细节的流程图。

【图32】图32是示出计算机硬件的构造示例的框图。

【图33】图33是示出应用本公开的电视设备的示意性构造示例的图。

【图34】图34是示出应用本公开的移动电话的示意性构造示例的图。

【图35】图35是示出应用本公开的记录/再现设备的示意性构造示例的图。

【图36】图36是示出应用本公开的成像设备的示意性构造示例的图。

【图37】图37示出了应用本公开的视频套组的示意性构造示例。

【图38】图38示出了应用本公开的视频处理器的示意性构造示例。

【图39】图39示出了应用本公开的视频处理器的另一示意性构造示例。

具体实施方式

在下文中，将描述本公开的前提和用于执行本公开的方式(在下文中，被称为实施例)。应当注意，将按照下面的顺序给出描述。

0.本公开的前提(图1和图2)

1.第一实施例：编码设备和解码设备(图3至图23)

2.第二实施例：编码设备和解码设备(图24至图29)

3.第三实施例：编码设备和解码设备(图30和图31)

4.第四实施例：计算机(图32)

5.第五实施例：电视设备(图33)

6.第六实施例：移动电话(图34)

7.第七实施例：记录/再现设备(图35)

8.第八实施例：成像设备(图36)

9.第九实施例：视频套组(图37至图39)

<本公开的前提>

关于intrabc的描述

图1是用于描述帧内块拷贝(intrabc)的图。

如图1中所示，在intrabc中，用于预测图像10内的pu(预测单元)11的参考图像是图像10。因此，与pu11包含在同一图像10内并且与pu11具有高相关性的块12被设置为pu11的参考块，并且pu11与pu12之间的向量13被检测为运动向量。

(关于intrabc与帧间编码之间的差异的描述)

图2是用于描述intrabc与帧间编码之间的差异的图。

如图2中所示，intrabc中的运动向量的精度是整数像素精度，而帧间编码中的运动向量的精度是1/4像素精度。此外，在intrabc中，由于同一画面内的编码块被设置为参考块，所以运动向量的沿纵向方向的长度和沿横向方向的长度中的至少一个长度较长。然而，在帧间编码中，由于不同画面内的编码块被设置为参考块，所以运动向量的长度取决于画面之间的运动。

此外，在intrabc中，使用经受滤波处理之前的图像作为参考图像，但是在帧间编码中，使用经受滤波处理之后的图像作为参考图像。通常，将经受滤波处理之前的图像存储在高速缓冲存储器中，而将经受滤波处理之后的图像存储在dram(动态随机存取存储器)中。

如上所述，intrabc与帧间编码之间的运动向量的精度和长度是不同的。因此，如果intrabc和帧间编码被共通化，并且在对intrabc的运动向量进行编码时使用参考帧间编码的运动向量生成的预测向量，则差分向量变大，并且编码效率降低。应当注意，生成预测向量时所参考的运动向量在下文中被称为参考运动向量。

此外，用于存储参考图像的目的地在intrabc与帧间编码之间是不同的。因此，在intrabc和帧间编码被共通化的情况下，高速缓冲存储器和dram被混合作为存储参考图像的目的地。然而，由于解码设备不识别其存储参考图像的目的地，所以解码设备徒劳无益地访问dram。因此，增大了dram的访问带宽。

<第一实施例>

(第一实施例的概要)

首先，将参照图3至图12来描述第一实施例的概要。

图3是用于描述hevc(高效视频编码)中的参考图像的类型的图。

如图3中所示，在hevc中，与当前要处理的图像(在下文中，被称为当前图像)的poc(图像序列号)具有小差分的参考图像的类型被设置为strp(短期参考图像)。此外，与当前图像(currentpic)的poc具有大差分的参考图像的类型被设置为ltrp(长期参考图像)。

如图4和图5中所示，在以下情况下，将候选块设置成不可用：当前图像内的当前要处理的pu(在下文中，被称为当前块)的参考图像与对应于参考运动向量的候选的pu(在下文中，候选块)的参考图像在类型上彼此不同。

例如，如图3中所示，在以下情况下，将候选块22设置成不可用：当前块21的参考图像的类型是strp，并且与当前运动向量(目标mv)的参考运动向量的候选(pmv)对应的候选块22的参考图像的类型是ltrp。因此，候选块22的运动向量被从参考运动向量的候选中排除，并且不用于生成预测向量。

应当注意，候选块是在一天的相同时刻在当前块的左、左上、左下、上和右上与当前块相邻的pu、以及在一天的不同时刻与当前块位于相同位置的pu和在当前块的右下与当前块相邻的pu。在下文中，在特别区分与当前块处于一天的相同时刻的候选块和其他候选块的情况下，与当前块处于一天的相同时刻的候选块被称为空间方向候选块，并且在特别区分与当前块处于一天的不同时刻的候选块与其他候选块的情况下，与当前块处于一天的不同时刻的候选块被称为时间方向候选块。

此外，如图4和图5中所示，在当前块的参考图像的类型与候选块的参考图像的类型彼此相同的情况下，候选块被设置成可用。因此，将候选块的运动向量设置为参考运动向量的候选。

在以下情况下，通过基于当前块的参考图像与候选块的参考图像之间的poc的差分按比例缩放参考运动向量来生成预测向量：在当前块的参考图像的类型和候选块的参考图像的类型两者为strp时，选择候选块的运动向量作为参考运动向量。

同时，在以下情况下，在不改变(不按比例缩放)的情况下将参考运动向量设置为预测向量：在当前块的参考图像的类型和候选块的参考图像的类型两者为ltrp时，选择候选块的运动向量作为参考运动向量。

应当注意，在现在的hevc中，intrabc和帧间编码未被共通化，因此如图5中所示，未假定除ltrp和strp以外的参考图像的类型。因此，在以下情况下，候选块的设置不确定：参考图像的类型是“intrabc”，“intrabc”是intrabc中所使用的参考图像的类型。

在intrabc和帧间编码被简单共通化的情况下，intrabc中所使用的参考图像的类型与实际类型不同，并且被设置为strp。因此，如图6中所示，当前块31的intrabc中所使用的当前运动向量(目标mv)的参考运动向量的候选中包括候选块32的运动向量(pmv)，该候选块32的参考图像的实际类型是strp。

然而，如图2中所示，intrabc与帧间编码之间的运动向量的精度和长度不同。因此，如果选择候选块32的运动向量作为当前块31的当前运动向量的参考运动向量，则当前运动向量与预测向量之间的差分向量变大。因此，编码效率降低。

关于这一点，在第一实施例中，将intrabc中所使用的参考图像的类型(即实际类型为“intrabc”的参考图像的类型)设置为ltrp。具体地，将当前图像新定义为参考图像的候选，(如果intra_block_copy_enabled_flag等于1，则以下适用。refpiccurr＝currpic)。然后，添加新定义的当前图像作为参考图像的候选，该参考图像的类型被设置为ltrp(将refpiccurr、refpicsetltcurr和refpicsetltfoll中包括的所有参考图像标记为“用于长期参考”。)。

因此，将当前图像添加至参考图像列表，并且标记为“用于长期参考”，该参考图像列表是参考图像的候选的列表。因此，与对于其参考图像的实际类型为ltrp的当前块的候选块的设置类似地执行对于其参考图像的实际类型为“intrabc”的当前块的候选块的设置。

具体地，如图7和图8中所示，在当前块的参考图像的实际类型和候选块的参考图像的实际类型中的任一实际类型是“intrabc”并且另一实际类型是strp的情况下，将候选块设置成不可用。因此，将候选块的运动向量从参考运动向量的候选中排除，并且候选块的运动向量不用于生成预测向量。

此外，如图7和图8中所示，在当前块的参考图像的实际类型和候选块的参考图像的实际类型两者为“intrabc”或ltrp的情况下，将候选块设置成可用。因此，将候选块的运动向量设置为参考运动向量的候选。

如上所述，在当前块的参考图像的实际类型和候选块的参考图像的实际类型中的任一实际类型是“intrabc”并且另一实际类型是strp的情况下，候选块的运动向量不用于生成预测向量，并且提高了编码效率。

图9是示出hevc中的参考图像的候选的示例的图。

如图9中所示，在hevc中，按显示顺序在当前图像(c)之前并且与当前图像的poc具有小差分的图像(short-termbeforecurr)是参考图像的候选。此外，按显示顺序在当前图像(c)之后并且与当前图像的poc具有小差分的图像(short-termaftercurr)是参考图像的候选。

此外，按显示顺序在当前图像(c)之前并且与当前图像的poc具有大差分的图像(long-term)是参考图像的候选。此外，按显示顺序与当前图像(c)相同但是视点、位数、空间分辨率、s/n、帧率、色差信号格式等不同的图像(inter-layer)是参考图像的候选。

图10是用于描述登记图9的参考图像的候选的参考图像列表创建处理的图。

如图10中所示，在参考图像列表创建处理中，首先，针对参考图像的候选的每一种类创建单独的列表，在单独的列表中，登记用于识别参考图像的候选图像的信息(在下文中，被称为图像识别信息)。换言之，创建refpicsetstcurrbefore列表，其中，按照与当前图像的poc的差分由小到大的顺序来登记图像(short-termbeforecurr)中的每个图像的图像识别信息。

类似地创建图像(short-termaftercurr)的refpicsetstcurrafter列表和图像(long-term)的refpicsetltcurr列表。此外，创建refpicsetivcurr列表，其中，按照预定的顺序来登记图像(inter-layer)中的每个图像的图像识别信息。

对于refpicsetstcurrbefore列表、refpicsetstcurrafter列表和refpicsetltcurr列表中登记的每条图像识别信息，可以设置used_by_curr。used_by_curr指示是否使用由该图像识别信息识别的图像作为当前图像的参考图像的候选。当used_by_curr指示使用图像作为当前图像的参考图像的候选时，used_by_curr为1，并且当used_by_curr指示不使用图像时，used_by_curr为0。

在图10的示例中，将refpicsetstcurrbefore列表和refpicsetstcurrafter列表的第一条图像识别信息和第二条图像识别信息以及refpicsetltcurr列表的第一条图像识别信息的used_by_curr设置为1。

接下来，基于单独的列表来创建两个暂时列表即refpiclisttemp0列表和refpiclisttemp1列表，refpiclisttemp0列表优先登记按显示顺序在当前图像之前的参考图像的候选，并且refpiclisttemp1列表优先登记按显示顺序在当前图像之后的参考图像的候选。

具体地，创建refpiclisttemp0列表，其按顺序登记used_by_curr被设置为1的refpicsetstcurrbefore列表的图像识别信息、refpicsetivcurr列表中登记的图像识别信息、used_by_curr被设置为1的refpicsetstcurrafter列表的图像识别信息、以及used_by_curr被设置为1的refpicsetltcurr列表的图像识别信息。

此外，创建refpiclisttemp1列表，其按顺序登记used_by_curr被设置为1的refpicsetstcurrafter列表的图像识别信息、used_by_curr被设置为1的refpicsetstcurrbefore列表的图像识别信息、used_by_curr被设置为1的refpicsetltcurr列表的图像识别信息、以及refpicsetivcurr列表中登记的图像识别信息。

接下来，根据需要来改变refpiclisttemp0列表和refpiclisttemp1列表中登记的图像识别信息的顺序(参考重排序)。

最后，创建参考图像列表refpiclist0，其中，refpiclisttemp0列表中登记的从开头起算预定数目(图10的示例中为五个)的图像识别信息被从开头起按顺序登记。

此外，创建参考图像列表refpiclist1，其中，refpiclisttemp1列表中登记的从开头起算预定数目(图10的示例中为四个)的图像识别信息被从开头起按顺序登记。

应当注意，通过从参考图像列表refpiclist0(refpiclist1)中登记的图像识别信息的数目中减去1而获得的值作为num_ref_idx_l0_active_minus1(num_ref_idx_l1_active_minus1)布置在切片(slice)首部中。

如图11中所示，在intrabc和帧间编码被共通化的情况下，必须添加作为intrabc中的参考图像的当前图像(currpic)，作为参考图像的候选。

在第一实施例中，如上所述，由于将当前图像定义为参考图像的候选，所以可以在参考图像列表创建处理中创建登记有当前图像的图像识别信息的当前图像列表(refpiccurr)。因此，在参考图像列表中登记当前图像的图像识别信息。

然而，在intrabc和帧间编码被简单共通化的情况下，不知道当前图像的图像识别信息被登记在参考图像列表的哪个位置。

同时，如图2中所示，intrabc与帧间编码之间用于存储参考图像的目的地是不同的。因此，为了不徒劳无益地访问dram，当解码设备从编码设备获取参考图像列表内的参考图像的图像识别信息的索引时，解码设备需要识别参考图像是intrabc和帧间编码中的哪一者中的参考图像。换言之，解码设备需要识别参考图像是当前图像和与当前图像不同的图像中的哪一者。

关于这一点，在第一实施例中，如图12中所示，在两个参考图像列表(refpiclisttemp0列表和refpiclisttemp1列表)的开头中登记当前图像列表中登记的当前图像的图像识别信息。

因此，在解码设备从编码设备中获取参考图像列表的开头中的索引的情况下，解码设备可以识别参考图像是当前图像，即intrabc中的参考图像。因此，解码设备可以从高速缓冲存储器中读取当前图像作为参考图像而不访问dram。

应当注意，可以仅在refpiclist0列表中登记当前图像的图像识别信息。此外，除了开头以外，还可以将登记当前图像的图像识别信息的位置设置为提前确定的任意预定位置如末尾端。

(编码设备的第一实施例的构造示例)

图13是示出作为应用本公开的影像处理设备的编码设备的第一实施例的构造示例的框图。

图13的编码设备50包括设置部51、编码部52和传输部53，并且通过根据hevc的系统来对图像进行编码。

编码的单元是具有递归层次结构的编码单元(cu)。具体地，通过将图像划分成具有固定尺寸的ctu(编码树单元)并且将ctu沿水平方向和竖直方向以任意次数划分为2来设置cu。cu的最大尺寸是lcu(最大编码单元)，并且cu的最小尺寸是scu(最小编码单元)。此外，将cu划分成pu或tu(变换单元)。

编码设备50的设置部51设置参数集，如sps(序列参数集)、pps(图像参数集)、vui(视频可用信息)和sei(补充增强信息)。sps包括指定lcu和scu的尺寸的信息、用于创建参考图像列表的参考图像列表信息等。

参考图像列表信息由例如指定单独列表和当前图像列表中登记的图像识别信息的信息、used_by_curr等构成。设置部51将所设置的参数集供给至编码部52。

对编码部52输入以帧为单位的图像。编码部52通过根据hevc的系统对所输入的图像进行编码。此时，根据需要来使用从设置部51供给的参数集。编码部52根据编码而获得的编码数据和从设置部51供给的参数集来生成编码流，并且将编码流供给至传输部53。

传输部53将从编码部52供给的编码流传输至稍后将描述的解码设备。

(编码部的构造示例)

图14是示出图13的编码部52的构造示例的框图。

图14的编码部52包括a/d转换部71、画面排序缓冲器72、计算部73、正交变换部74、量化部75、无损编码部76、累积缓冲器77、生成部78、逆量化部79、逆正交变换部80和相加部81。此外，编码部52包括滤波器82、帧存储器85、开关86、帧内预测部87、列表创建部88、运动预测/补偿部89、预测向量生成部90、差分向量生成部91、预测影像选择部92和速率控制部93。

编码部52的a/d转换部71对作为编码对象而输入的以帧为单位的图像执行a/d转换。a/d转换部71将作为转换后的数字信号的图像输出至画面排序缓冲器72以将其存储在画面排序缓冲器72中。

画面排序缓冲器72根据gop(图像组)结构将按照显示顺序存储的以帧为单位的图像排序成编码顺序。画面排序缓冲器72将所排序的图像中的每个图像作为当前图像输出至计算部73、帧内预测部87和运动预测/补偿部89。

计算部73通过从由画面排序缓冲器72供给的当前图像中减去由预测影像选择部92供给的预测影像来执行编码。计算部73将所得的图像作为残差信息而输出至正交变换部74。应当注意，在不从预测影像选择部92供给预测影像的情况下，计算部73在不改变从画面排序缓冲器72读取的当前图像的情况下将其作为残差信息而输出至正交变换部74。

正交变换部74以tu为单位对来自计算部73的残差信息执行正交变换。正交变换部74将作为正交变换结果所获得的正交变换系数供给至量化部75。

量化部75对从正交变换部74供给的正交变换系数进行量化。量化部75将经量化的正交变换系数供给至无损编码部76。

无损编码部76从帧内预测部87获取指示最佳帧内预测模式的帧内预测模式信息。此外，无损编码部76从运动预测/补偿部89获取指示最佳帧间预测模式的帧间预测模式信息、参考图像的索引等，并且从差分向量生成部91获取运动向量信息。此外，无损编码部76从滤波器82获取关于自适应偏移滤波处理的偏移滤波信息。

无损编码部76对从量化部75供给的经量化的正交变换系数执行无损编码，如可变长编码(例如，cavlc(上下文自适应可变长编码)等)和算术编码(例如，cabac(上下文自适应二进制算术编码)等)。

此外，无损编码部76将帧内预测模式信息或帧间预测模式信息、运动向量信息、参考图像的索引、偏移滤波信息等作为关于编码的编码信息而对其执行无损编码。无损编码部76将经无损编码的编码信息、通过从参考图像列表的登记数中减去1而获得的预定数(num_ref_idx_lo_minus1,num_ref_idx_lo_minus1)等布置在切片首部等中。

无损编码部76将切片首部添加至从量化部75供给的正交变换系数中，并且然后将所得的数据作为编码数据供给至累积缓冲器77。

累积缓冲器77暂时存储从无损编码部76供给的编码数据。此外，累积缓冲器77将所存储的编码数据供给至生成部78。

生成部78根据从图13的设置部51供给的参数集和从累积缓冲器77供给的编码数据来生成编码流，并且将编码流供给至图13的传输部53。

此外，从量化部75输出的经量化的正交变换系数也被输入至逆量化部79。逆量化部79通过与量化部75的量化方法对应的方法对由量化部75量化的正交变换系数进行逆量化。逆量化部79将作为逆量化结果而获得的正交变换系数供给至逆正交变换部80。

逆正交变换部80以tu为单位通过与正交变换部74的正交变换方法对应的方法对从逆量化部79供给的正交变换系数执行逆正交变换。逆正交变换部80将所得的残差信息供给至相加部81。

相加部81将从逆正交变换部80供给的残差信息和从预测影像选择部92供给的预测影像相加，以对当前图像进行局部解码。应当注意，在不从预测影像选择部92供给预测影像的情况下，相加部81将从逆正交变换部80供给的残差信息设置为解码结果。相加部81将局部解码的当前图像供给至帧存储器85。此外，相加部81将所有区域都被解码的当前图像作为编码图像供给至滤波器82。

滤波器82对从相加部81供给的编码图像执行滤波处理。具体地，滤波器82依次执行去块滤波处理和自适应偏移滤波(sao(采样自适应偏移))处理。滤波器82将经受滤波处理之后的编码图像供给至帧存储器85。此外，滤波器82将指示所执行的自适应偏移滤波处理的偏移和种类的信息作为偏移滤波信息供给至无损编码部76。

帧存储器85由例如高速缓冲存储器和dram构成。帧存储器85将从相加部81供给的当前图像存储在高速缓冲存储器中，并且将从滤波器82供给的编码图像存储在dram中。将与高速缓冲存储器中存储的当前图像中的当前块相邻的像素设置为周边像素，并且经由开关86供给至帧内预测部87。

此外，将高速缓冲存储器中存储的当前图像和dram中存储的编码图像设置为参考图像并且经由开关86输出至运动预测/补偿部89。

帧内预测部87通过使用经由开关86从帧存储器85读取的周边像素来在所有候选帧内预测模式下对当前块执行帧内预测处理。

此外，帧内预测部87基于从画面排序缓冲器72读取的当前图像和作为帧内预测处理的结果生成的预测影像来计算所有候选帧内预测模式的代价函数值(稍后将描述其细节)。然后，帧内预测部87将代价函数值最小的帧内预测模式确定为最佳帧内预测模式。

帧内预测部87将在最佳帧内预测模式下生成的预测影像以及相应的代价函数值供给至预测影像选择部92。在预测影像选择部92向帧内预测部87通知选择在最佳帧内预测模式下生成的预测影像的情况下，帧内预测部87将帧内预测模式信息供给至无损编码部76。

应当注意，代价函数值也被称为rd(速率失真)代价，并且例如基于如jm(联合模型)中所确定的高复杂度模式或低复杂度模式的技术来计算，jm是h.264/avc系统中的参考软件。应当注意，h.264/avc系统中的参考软件被公开于http://iphome.hhi.de/suehring/tml/index.htm。

具体地，在采用高复杂度模式作为计算代价函数值的技术的情况下，所有候选预测模式暂时经受至解码的处理，并且针对每个预测模式计算由下式(1)表示的代价函数值。

[数学式1]

cost(mode)＝d+λ·r…(1)

d表示原始影像与解码影像之间的差分(失真)，r表示也包括正交变换系数的生成代码的量，并且λ表示作为量化参数qp的函数而给出的拉格朗日乘数。

同时，在采用低复杂度模式作为计算代价函数值的技术的情况下，针对所有候选预测模式执行预测影像的生成和编码信息的代码量的计算，并且针对每个预测模式计算由下式(2)表示的代价函数cost(mode)。

[数学式2]

cost(mode)＝d+qptoquant(qp)·header_bit…(2)

d表示原始影像与预测影像之间的差分(失真)，header_bit表示编码信息的代码量，并且qptoquant表示作为量化参数qp的函数而给出的函数。

在低复杂度模式下，仅需生成所有预测模式的预测影像，而不必生成解码影像。这导致较小的计算量。

列表创建部88基于由图13的设置部51设置的sps中所包含的参考图像列表信息、布置在切片首部中的信息等，例如以切片为单位来执行上述参考图像列表创建处理。

换言之，列表创建部88基于参考图像列表信息、布置在切片首部中的信息等依次执行单独列表的创建、暂时列表的创建、暂时列表中登记的图像识别信息的顺序的重新排列，以创建参考图像列表。然后，列表创建部88在参考图像列表的开头中登记当前图像的图像识别信息。

此外，列表创建部88为参考图像列表中登记的每条图像识别信息设置srtp或lrtp作为由该图像识别信息识别的图像的参考图像的类型。例如，列表创建部88(设置部)为当前图像的图像识别信息设置ltrp(用于长期参考)作为当前图像的类型。列表创建部88保存参考图像列表，并且还将参考图像列表供给至运动预测/补偿部89。

运动预测/补偿部89在所有候选帧间预测模式下对当前块执行运动预测/补偿处理。具体地，基于从列表创建部88供给的参考图像列表，运动预测/补偿部89经由开关86从帧存储器85读取由该参考图像列表中登记的图像识别信息识别的图像作为参考图像的候选。

基于来自画面排序缓冲器72的当前图像和作为参考图像的候选而读取的当前图像，运动预测/补偿部89以整数像素精度在所有候选帧间预测模式下检测当前块的intrabc的运动向量。此外，基于来自画面排序缓冲器72的当前图像和除了作为参考图像的候选而读取的当前图像以外的图像，运动预测/补偿部89以分数像素精度在所有候选帧间预测模式下检测当前块的帧间编码的运动向量。

然后，运动预测/补偿部89基于所检测的运动向量对参考图像的候选执行补偿处理，并且生成预测影像。应当注意，帧间预测模式是指示当前块的尺寸等的模式。

此外，运动预测/补偿部89基于从画面排序缓冲器72供给的当前图像和预测影像来计算所有候选帧间预测模式的代价函数值和参考图像的候选。运动预测/补偿部89将代价函数值最小的帧间预测模式确定为最佳帧间预测模式。然后，运动预测/补偿部89将最小代价函数值和相应的预测影像供给至预测影像选择部92。

在预测影像选择部92向运动预测/补偿部89通知选择在最佳帧间预测模式下生成的预测影像的情况下，运动预测/补偿部89将与该预测影像对应的当前块的运动向量确定为当前运动向量，并且将运动向量供给至差分向量生成部91。此外，运动预测/补偿部89将与该预测影像对应的参考图像的候选确定为参考图像，并且将与该参考图像的图像识别信息在参考图像列表中的位置对应的索引供给至预测向量生成部90和无损编码部76。此外，运动预测/补偿部89将帧间预测模式信息供给至无损编码部76。

预测向量生成部90基于从运动预测/补偿部89供给的索引对登记有参考图像的每个参考图像列表生成当前运动向量的预测向量列表。

具体地，预测向量生成部90基于索引从保存在列表创建部88中的参考图像列表读取与该索引对应的参考图像的类型，并且保存该类型。预测向量生成部90按照预定顺序将空间方向候选块设置为要处理的候选块，并且按照预定顺序将时间方向候选块设置为要处理的候选块。

预测向量生成部90将保存在其中的要处理的候选块的参考图像的类型与从列表创建部88读取的当前块的参考图像的类型进行比较。在那些类型彼此匹配的情况下，预测向量生成部90将要处理的候选块设置成可用。在那些类型彼此不匹配的情况下，预测向量生成部90将要处理的候选块设置成不可用。

在将要处理的候选块设置成可用的情况下，预测向量生成部90通过使用作为要处理的候选块的运动向量的参考运动向量的候选来生成当前运动向量的预测向量。然后，预测向量生成部90生成预测向量列表，该预测向量列表登记预定数目的空间方向候选块和时间方向候选块的所生成的预测向量。应当注意，所生成的预测向量的数目未达到预定数目，将零向量等登记在预测向量列表中。预测向量生成部90将预测向量列表供给至差分向量生成部91。

差分向量生成部91生成预定数目的预测向量中的每个预测向量之间的差分向量和当前运动向量以对当前运动向量执行预测编码，该预定数目的预测向量登记在从预测向量生成部90供给的预测向量列表中。差分向量生成部91将差分向量的最小值和与相应预测向量在预测向量列表中的位置对应的索引供给至无损编码部76。

基于从帧内预测部87和运动预测/补偿部89供给的代价函数值，预测影像选择部92将在最佳帧内预测模式和最佳帧间预测模式中具有最小相应代价函数值的模式确定为最佳预测模式。然后，预测影像选择部92将最佳预测模式的预测影像供给至计算部73和相加部81。此外，预测影像选择部92向帧内预测部87或运动预测/补偿部89通知最佳预测模式的预测影像的选择。

速率控制部93基于在累积缓冲器77中累积的编码数据来控制量化部75的量化操作的速率，使得不会发生上溢或下溢。

(关于编码设备的处理的描述)

图15是用于描述图13的编码设备50的流生成处理的流程图。

在图15的步骤s11中，编码设备50的设置部51设置参数集。设置部51将所设置的参数集供给至编码部52。

在步骤s12中，编码部52通过根据hevc的系统对从外部输入的以帧为单位的编码图像执行编码处理。将参照稍后将描述的图16和图17来描述编码处理的细节。

在步骤s13中，编码部52的生成部78(图14)根据从设置部51供给的参数集和所累积的编码数据来生成编码流，并且将编码流供给至传输部53。

在步骤s14中，传输部53将从设置部51供给的编码流传输至稍后将描述的解码设备，并且然后终止处理。

图16和图17是用于描述图15的步骤s12中的编码处理的细节的流程图。

在图16的步骤s31中，编码部52的a/d转换部71对作为编码对象而输入的以帧为单位的图像执行a/d转换，并且将作为转换后的数字信号的图像输出至画面排序缓冲器72以将其存储在画面排序缓冲器72中。

在步骤s32中，画面排序缓冲器72根据gop结构将按照显示顺序存储的以帧为单位的图像排序成编码顺序。画面排序缓冲器72将排序后的以帧为单位的图像中的每个图像作为当前图像供给至计算部73、帧内预测部87和运动预测/补偿部89。

在步骤s33中，列表创建部88基于sps中所包含的参考图像列表信息、布置在切片首部中的信息等，例如以切片为单位来执行参考图像列表创建处理。将参照图18来描述参考图像列表创建处理的细节。

在步骤s34中，帧内预测部87通过使用经由开关86从帧存储器85读取的周边像素在所有候选帧内预测模式下对当前块执行帧内预测处理。此外，帧内预测部87基于来自画面排序缓冲器72的当前图像和作为帧内预测处理的结果生成的预测影像来计算所有候选帧内预测模式的代价函数值。然后，帧内预测部87将代价函数值最小的帧内预测模式确定为最佳帧内预测模式。帧内预测部87将在最佳帧内预测模式下生成的预测影像以及相应的代价函数值供给至预测影像选择部92。

此外，运动预测/补偿部89基于从列表创建部88供给的参考图像列表在所有候选帧间预测模式下对当前块执行运动预测/补偿处理。此外，运动预测/补偿部89基于从画面排序缓冲器72供给的当前图像和作为运动预测/补偿处理的结果生成的预测影像来计算所有候选帧间预测模式的代价函数值和参考图像。运动预测/补偿部89将代价函数值最小的帧间预测模式确定为最佳帧间预测模式。然后，运动预测/补偿部89将最小代价函数值和相应的预测影像供给至预测影像选择部92。

在步骤s35中，预测影像选择部92基于从帧内预测部87和运动预测/补偿部89供给的代价函数值将在最佳帧内预测模式和最佳帧间预测模式中具有最小代价函数值的模式确定为最佳预测模式。然后，预测影像选择部92将最佳预测模式的预测影像供给至计算部73和相加部81。

在步骤s36中，预测影像选择部92确定最佳预测模式是否为最佳帧间预测模式。在确定步骤s36中的最佳预测模式是最佳帧间预测模式的情况下，预测影像选择部92向运动预测/补偿部89通知选择在最佳帧间预测模式下生成的预测影像。

运动预测/补偿部89根据该通知将与预测影像对应的当前块的运动向量确定为当前运动向量，并且将当前运动向量供给至差分向量生成部91。此外，运动预测/补偿部89将与预测影像对应的参考图像的候选确定为参考图像，并且将与该参考图像的图像识别信息在参考图像列表中的位置对应的索引供给至预测向量生成部90。

在步骤s37中，预测向量生成部90基于从运动预测/补偿部89供给的索引执行生成当前运动向量的预测向量列表的预测向量列表生成处理。稍后将参照图19来描述预测向量列表生成处理的细节。

在步骤s38中，差分向量生成部91生成预定数目的预测向量中的每个预测向量和当前运动向量之间的差分向量以对当前运动向量执行预测编码，该预定数目的预测向量登记在从预测向量生成部90供给的预测向量列表中。然后，差分向量生成部91生成差分向量的最小值和与相应预测向量在预测向量列表中的位置对应的索引作为运动向量信息。

在步骤s39中，运动预测/补偿部89将帧间预测模式信息和参考图像的索引供给至无损编码部76，并且差分向量生成部91将运动向量信息供给至无损编码部76。然后，处理前进至步骤s41。

同时，在步骤s36中确定最佳预测模式不是最佳帧间预测模式的情况下，也就是说，在最佳预测模式是最佳帧内预测模式的情况下，预测影像选择部92向帧内预测部87通知选择在最佳帧内预测模式下生成的预测影像。在步骤s40中，帧内预测部87将帧内预测模式信息供给至无损编码部76，并且处理前进至步骤s41。

在步骤s41中，计算部73通过从由画面排序缓冲器72供给的当前图像中减去由预测影像选择部92供给的预测影像来执行编码。计算部73将所得的图像作为残差信息而输出至正交变换部74。

在步骤s42中，正交变换部74以tu为单位对来自计算部73的残差信息执行正交变换，并且将所得的正交变换系数供给至量化部75。

在步骤s43中，量化部75对从正交变换部74供给的正交变换系数进行量化，并且将经量化的正交变换系数供给至无损编码部76和逆量化部79。

在图17的步骤s44中，逆量化部79对由量化部75供给的经量化的系数进行逆量化，并且将所得的正交变换系数供给至逆正交变换部80。

在步骤s45中，逆正交变换部80以tu为单位对从逆量化部79供给的正交变换系数执行逆正交变换，并且将所得的残差信息供给至相加部81。

在步骤s46中，相加部81将从逆正交变换部80供给的残差信息和从预测影像选择部92供给的预测影像相加，以对当前图像进行局部解码。相加部81将局部解码的当前图像供给至帧存储器85。此外，相加部81将所有区域都被解码的当前图像作为编码图像供给至滤波器82。

在步骤s47中，滤波器82对从相加部81供给的编码图像执行去块滤波处理。

在步骤s48中，滤波器82针对每个lcu对经受去块滤波处理之后的编码图像执行自适应偏移滤波处理。滤波器82将所得的编码图像供给至帧存储器85。此外，滤波器82针对每个lcu将偏移滤波信息供给至无损编码部76。

在步骤s49中，帧存储器85将从相加部81供给的当前图像存储在高速缓冲存储器中，并且将从滤波器82供给的编码图像存储在dram中。将与高速缓冲存储器中存储的当前图像中的当前块相邻的像素设置为周边像素，并且经由开关86供给至帧内预测部87。此外，将高速缓冲存储器中存储的当前图像和dram中存储的编码图像设置为参考图像并且经由开关86输出至运动预测/补偿部89。

在步骤s50中，无损编码部76对作为编码信息的帧内预测模式信息或帧间预测模式信息、运动向量信息、参考图像的索引、偏移滤波信息等执行无损编码。

在步骤s51中，无损编码部76对从量化部75供给的经量化的正交变换系数执行无损编码。然后，无损编码部76根据通过步骤s50的处理而无损编码的编码信息和无损编码的正交变换系数来生成编码数据，并且将编码数据供给至累积缓冲器77。

在步骤s52中，累积缓冲器77暂时累积从无损编码部76供给的编码数据。

在步骤s53中，速率控制部93基于在累积缓冲器77中累积的编码数据来控制量化部75的量化操作的速率，使得不会发生上溢或下溢。

在步骤s54中，累积缓冲器77将所存储的编码数据输出至生成部78。然后，处理返回至图15的步骤s12，并且前进至步骤s13。

应当注意，出于简化描述的目的，在图16和图17的编码处理中恒定地执行帧内预测处理和运动预测/补偿处理，但是实际上，在一些情况下，取决于图像类型等执行所述处理中的任意处理。

图18是用于描述图16的步骤s33中的参考图像列表创建处理的细节的流程图。

在图18的步骤s71中，列表创建部88针对参考图像的候选的每一种类创建4个单独的列表，即refpicsetstcurrbefore列表、refpicsetstcurrafter列表、refpicsetltcurr列表和refpicsetivcurr列表。在每个单独列表的图像识别信息中，设置由该图像识别信息识别的图像的参考图像的类型。此外，针对refpicsetstcurrbefore列表、refpicsetstcurrafter列表和refpicsetltcurr列表的每条图像识别信息设置used_by_curr。

在步骤s72中，列表创建部88创建下述当前图像列表：在该当前图像列表中登记有参考图像的类型被设置为ltrp的当前图像的图像识别信息。

在步骤s73中，列表创建部88基于单独列表的图像识别信息和used_by_curr来创建两个暂时列表，即refpiclisttemp0列表和refpiclisttemp1列表。

在步骤s74中，列表创建部88基于布置在切片首部中的ref_pic_list_modification来重新排列图像识别信息在暂时列表中的顺序，并且指定图像识别信息在暂时列表中的顺序。

在步骤s75中，列表创建部88基于每个暂时列表来创建参考图像列表，在参考图像列表中，在暂时列表中登记的从开头起算预定数目的图像识别信息被从开头起按顺序登记。

在步骤s76中，列表创建部88将当前图像列表中登记的当前图像的图像识别信息登记在参考图像列表的开头中。然后，处理返回至图16的步骤s33并且前进至步骤s34。

图19是用于描述图16的步骤s37中的预测向量列表生成处理的细节的流程图。针对登记有参考图像的每个参考图像列表来执行预测向量列表生成处理。

在图19的步骤s91中，预测向量生成部90将预定的候选块确定为要处理的候选块。在步骤s91的第一处理中，将预定的空间方向候选块确定为要处理的候选块。

在步骤s92中，预测向量生成部90基于从运动预测/补偿部89供给的索引从参考图像列表中读取与该索引对应的当前块的参考图像的类型，并且保存该类型。然后，预测向量生成部90确定当前块的参考图像的所读取的类型是否为strp。

在步骤s92中确定当前块的参考图像的类型是strp的情况下，处理前进至步骤s93。在步骤s93中，预测向量生成部90确定保存在其中的要处理的候选块的参考图像的类型是否为strp。

在步骤s93中确定要处理的候选块的参考图像的类型是strp的情况下，也就是说，在当前块的参考图像的类型和候选块的参考图像的类型均为strp的情况下，处理前进至步骤s94。

在步骤s94中，预测向量生成部90将要处理的候选块设置成可用。在步骤s95中，预测向量生成部90基于当前块的参考图像与候选块的参考图像之间的poc的差分对作为要处理的候选块的运动向量的参考运动向量的候选执行按比例缩放，并且生成预测向量。然后，预测向量生成部90将该预测向量登记在预测向量列表中，并且处理前进至步骤s100。

同时，在步骤s92中确定当前块的参考图像的类型不是strp的情况下，也就是说，在当前块的参考图像的类型是ltrp的情况下，处理前进至步骤s96。

在步骤s96中，与步骤s93中的处理类似，预测向量生成部90确定要处理的候选块的参考图像的类型是否为strp。在步骤s96中确定要处理的候选块的参考图像的类型是strp的情况下，也就是说，在当前块的参考图像的类型是ltrp并且候选块的参考图像的类型是strp的情况下，处理前进至步骤s97。

在步骤s97中，预测向量生成部90将要处理的候选块设置成不可用，并且处理前进至步骤s100。

同时，在步骤s93中确定要处理的候选块的参考图像的类型不是strp的情况下，也就是说，在当前块的参考图像的类型是strp并且候选块的参考图像的类型是ltrp的情况下，处理前进至步骤s97。因此，将要处理的候选块设置成不可用。

此外，在步骤s96中确定要处理的候选块的参考图像的类型不是strp的情况下，也就是说，在当前块的参考图像的类型和候选块的参考图像的类型均为ltrp的情况下，处理前进至步骤s98。

在步骤s98中，预测向量生成部90将要处理的候选块设置成可用。在步骤s99中，预测向量生成部90将作为要处理的候选块的运动向量的参考运动向量的候选在不改变的情况下生成为预测向量。然后，预测向量生成部90将该预测向量登记在预测向量列表中，并且处理前进至步骤s100。

在步骤s100中，预测向量生成部90确定预定数目的预测向量是否登记在预测向量列表中。在步骤s100中确定尚未登记预定数目的预测向量的情况下，处理返回至步骤s91。将尚未被确定为要处理的候选块的预定的空间方向候选块或时间方向候选块确定为要处理的候选块，并且执行后续处理。

同时，在步骤s100中确定登记了预定数目的预测向量的情况下，预测向量生成部90将预测向量列表供给至差分向量生成部91。然后，处理返回至图16的步骤s37，并且前进至步骤s38。

如上所述，在对intrabc中使用的当前运动向量进行编码时，在当前块的参考图像的实际类型和候选块的参考图像的实际类型彼此不同的情况下，编码设备50将候选块设置成不可用。因此，其参考图像的实际类型与当前块的参考图像的实际类型不同的候选块的运动向量不用于生成预测向量。因此，差分向量变小，并且提高了编码效率。

此外，编码设备50将其实际类型为“intrabc”的当前块的参考图像的类型设置为ltrp。因此，在候选块的参考图像的实际类型是strp的情况下，编码设备50将候选块设置成不可用。因此，能够提高intrabc和帧间编码被共通化的情况下的编码效率，而不必大大地改变intrabc和帧间编码未被共通化的情况下的hevc。

此外，编码设备50将当前图像的图像识别信息登记在当前块的参考图像列表的预定位置中。因此，稍后将描述的解码设备可以基于与参考图像的图像识别信息在参考图像列表中的位置对应的索引来知道参考图像是否为当前图像。因此，在参考图像是当前图像的情况下，能够防止发生对dram的徒劳无益的访问。

(解码设备的第一实施例的构造示例)

图20是示出作为应用本公开的影像处理设备的解码设备的第一实施例的构造示例的框图，解码设备对从图13的编码设备50传输的编码流进行解码。

图20的解码设备110由接收部111、提取部112和解码部113构成。

解码设备110的接收部111接收从图13的编码设备50传输的编码流，并且将编码流供给至提取部112。

提取部112从由接收部111供给的编码流中提取参数集和编码数据，并且将参数集和编码数据供给至解码部113。

解码部113通过根据hevc的系统对从提取部112供给的编码数据进行解码。此时，解码部113还根据需要来参考从提取部112供给的参数集。解码部113输出作为解码结果获得的图像。

(解码部的构造示例)

图21是示出图20的解码部113的构造示例的框图。

图21的解码部113包括累积缓冲器131、无损解码部132、逆量化部133、逆正交变换部134、相加部135、滤波器136和画面排序缓冲器139。此外，解码部113包括d/a转换部140、帧存储器141、开关142、帧内预测部143、预测向量生成部144、运动向量生成部145、列表创建部146、运动补偿部147和开关148。

解码部113的累积缓冲器131从图20的提取部112接收编码数据，并且累积编码数据。累积缓冲器131将所累积的编码数据作为当前图像的编码数据供给至无损解码部132。

无损解码部132对来自累积缓冲器131的编码数据执行与图14的无损编码部76的无损编码对应的无损解码，如可变长解码和算术解码，以获得经量化的正交变换系数和编码信息。无损解码部132将经量化的正交变换系数供给至逆量化部133。此外，无损解码部132将帧内预测模式信息等作为编码信息供给至帧内预测部143。无损解码部132将参考图像的索引供给至预测向量生成部144，将运动向量信息供给至运动向量生成部145，并且将帧间预测模式信息和参考图像的索引供给至运动补偿部147。

此外，无损解码部132将帧内预测模式信息或帧间预测模式信息作为编码信息供给至开关148。无损解码部132将偏移滤波信息作为编码信息供给至滤波器136。

逆量化部133、逆正交变换部134、相加部135、滤波器136、帧存储器141、开关142、帧内预测部143、预测向量生成部144、列表创建部146和运动补偿部147分别执行与逆量化部79、逆正交变换部80、相加部81、滤波器82、帧存储器85、开关86、帧内预测部87、预测向量生成部90、列表创建部88和运动预测/补偿部89类似的处理。因此，图像被解码。

具体地，逆量化部133对从无损解码部132供给的经量化的正交变换系数进行逆量化，并且将所得的正交变换系数供给至逆正交变换部134。

逆正交变换部134以tu为单位对从逆量化部133供给的正交变换系数执行逆正交变换。逆正交变换部134将作为逆正交变换的结果获得的残差信息供给至相加部135。

相加部135将从逆正交变换部134供给的残差信息和从开关148供给的预测影像相加，以对当前图像进行局部解码。应当注意，在不从开关148供给预测影像的情况下，相加部135将从逆正交变换部134供给的残差信息设置为解码结果。相加部135将作为解码结果获得的局部解码的当前图像供给至帧存储器141。此外，相加部135将所有区域都被解码的当前图像作为解码图像供给至滤波器136。

滤波器136对从相加部135供给的解码图像执行滤波处理。具体地，滤波器136首先对解码图像执行去块滤波处理。接着，滤波器136通过使用由来自无损解码部132的偏移滤波信息指示的偏移来针对每个lcu对经受去块滤波处理之后的解码图像执行自适应偏移滤波处理，该自适应偏移滤波处理的种类由偏移滤波信息来指示。滤波器136将经受自适应偏移滤波处理之后的解码图像供给至帧存储器141和画面排序缓冲器139。

画面排序缓冲器139以帧为单元存储从滤波器136供给的解码图像。画面排序缓冲器139将按照编码顺序存储的以帧为单位的解码图像排序成原始的显示顺序，并且将那些图像供给至d/a转换部140。

d/a转换部140对从画面排序缓冲器139供给的以帧为单位的解码图像执行d/a转换，并且输出那些图像。

帧存储器141由例如高速缓冲存储器和dram构成。帧存储器141将从相加部135供给的当前图像存储在高速缓冲存储器中，并且将从滤波器136供给的解码图像存储在dram中。将与高速缓冲存储器中存储的当前图像中的当前块相邻的像素设置为周边像素，并且经由开关142供给至帧内预测部143。

此外，将高速缓冲存储器中存储的当前图像或dram中存储的解码图像设置为参考图像并且经由开关142输出至运动补偿部147。

帧内预测部143通过使用经由开关142从帧存储器141读取的周边像素来对当前块执行最佳帧内预测模式的帧内预测处理，该最佳帧内预测模式由从无损解码部132供给的帧内预测模式信息来指示。帧内预测部143将所得的预测影像供给至开关148。

与图14的预测向量生成部90类似，预测向量生成部144基于从无损解码部132供给的索引和列表创建部146中保存的参考图像列表来生成当前运动向量的预测向量列表。预测向量生成部144将预测向量列表供给至运动向量生成部145。

运动向量生成部145基于从无损解码部132供给的运动向量信息中的索引从由预测向量生成部144供给的预测向量列表中读取与该索引对应的预测向量。运动向量生成部145将预测向量和在运动向量信息中的差分向量相加，以对当前运动向量执行预测解码。运动向量生成部145将所得的当前运动向量供给至运动补偿部147。

与图14的列表创建部88类似，列表创建部146基于由图20的提取部112提取的sps中所包含的参考图像列表信息、布置在切片首部中的信息等来执行参考图像列表创建处理。列表创建部146保存所得的参考图像列表，并且将其供给至运动补偿部147。

运动补偿部147基于来自无损解码部132的帧间预测模式信息、参考图像的索引和来自运动向量生成部145的当前运动向量来对当前块执行运动补偿处理。

具体地，运动补偿部147在列表创建部146中所保存的图像列表中登记的图像识别信息中，读取参考图像的索引的图像识别信息。运动补偿部147经由开关142从帧存储器141读取由所读取的图像识别信息识别的参考图像。运动补偿部147通过使用参考图像和当前运动向量、在由帧间预测模式信息指示的最佳帧间预测模式下对当前块执行运动补偿处理。运动补偿部147将所得的预测影像供给至开关148。

在从无损解码部132供给帧内预测模式信息的情况下，开关148将从帧内预测部143供给的预测影像供给至相加部135。同时，在从无损解码部132供给帧间预测模式信息的情况下，开关148将从运动补偿部147供给的预测影像供给至相加部135。

(解码设备的处理的描述)

图22是用于描述图20的解码设备110的影像生成处理的流程图。

在图22的步骤s111中，解码设备110的接收部111接收从图13的编码设备50传输的编码流，并且将编码流供给至提取部112。

在步骤s112中，提取部112从由接收部111供给的编码流中提取编码数据和参数集，并且将编码数据和参数集供给至解码部113。

在步骤s113中，解码部113通过根据需要而使用从提取部112供给的参数集、通过根据hevc的系统来执行对从提取部112供给的编码数据进行解码的解码处理。将参照稍后将描述的图23来描述解码处理的细节。因此，处理终止。

图23是用于描述图22的步骤s113中的解码处理的细节的流程图。

在图23的步骤s131中，解码部113的累积缓冲器131(图21)从提取部112接收以帧为单位的编码数据，并且累积编码数据。累积缓冲器131将所累积的编码数据作为当前图像的编码数据供给至无损解码部132。

在步骤s132中，无损解码部132对来自累积缓冲器131的编码数据执行无损解码，并且获得经量化的正交变换系数和编码信息。无损解码部132将经量化的正交变换系数供给至逆量化部133。

此外，无损解码部132将帧内预测模式信息等作为编码信息供给至帧内预测部143。无损解码部132将参考图像的索引供给至预测向量生成部144，将运动向量信息供给至运动向量生成部145，并且将帧间预测模式信息和参考图像的索引供给至运动补偿部147。

此外，无损解码部132将帧内预测模式信息或帧间预测模式信息作为编码信息供给至开关148。无损解码部132将偏移滤波信息作为编码信息供给至滤波器136。

在步骤s133中，列表创建部146基于由提取部112提取的sps中所包含的参考图像列表信息、布置在切片首部中的信息等来执行与图18的参考图像创建处理类似的参考图像列表创建处理。

在步骤s134中，逆量化部133对从无损解码部132供给的经量化的正交变换系数进行逆量化，并且将所得的正交变换系数供给至逆正交变换部134。

在步骤s135中，逆正交变换部134对从逆量化部133供给的正交变换系数执行逆正交变换，并且将所得的残差信息供给至相加部135。

在步骤s136中，运动补偿部147确定是否从无损解码部132供给帧间预测模式信息。在步骤s136中确定供给帧间预测模式信息的情况下，处理前进至步骤s137。

在步骤s137中，预测向量生成部144基于从无损解码部132供给的索引和列表创建部146中保存的参考图像列表来执行与图19的预测向量列表生成处理类似的预测向量列表生成处理。

在步骤s138中，运动向量生成部145基于运动向量信息中的索引从预测向量列表中读取与该索引对应的预测向量。运动向量生成部145将预测向量和在运动向量信息中的差分向量相加，以对当前运动向量执行预测解码。运动向量生成部145将所得的当前运动向量供给至运动补偿部147。

在步骤s139中，运动补偿部147基于来自无损解码部132的帧间预测模式信息和参考图像的索引以及来自运动向量生成部145的当前运动向量来对当前块执行运动补偿处理。运动补偿部147将所得的预测影像供给至开关148，并且处理前进至步骤s141。

同时，在步骤s136中确定未供给帧间预测模式信息的情况下，也就是说，在将帧内预测模式信息供给至帧内预测部143的情况下，处理前进至步骤s140。

在步骤s140中，帧内预测部143通过使用经由开关142从帧存储器141读取的周边像素来对当前块执行最佳帧内预测模式的帧内预测处理，该最佳帧内预测模式由帧内预测模式信息来指示。帧内预测部143将作为帧内预测处理的结果生成的预测影像经由开关148供给至相加部135，并且处理前进至步骤s141。

在步骤s141中，相加部135将从逆正交变换部134供给的残差信息和从开关148供给的预测影像相加，以对当前图像进行局部解码。相加部135将作为解码结果获得的局部解码的当前图像供给至帧存储器141。此外，相加部135将所有区域都被解码的当前图像作为解码图像供给至滤波器136。

在步骤s142中，滤波器136对从相加部135供给的解码图像执行去块滤波处理，以去除块失真。

在步骤s143中，滤波器136基于从无损解码部132供给的偏移滤波信息来针对每个lcu对经受去块滤波处理之后的解码图像执行自适应偏移滤波处理。滤波器136将经受自适应偏移滤波处理之后的图像供给至画面排序缓冲器139和帧存储器141。

在步骤s144中，帧存储器141将从相加部81供给的当前图像存储在高速缓冲存储器中，并且将从滤波器136供给的解码图像存储在dram中。将与高速缓冲存储器中存储的当前图像中的当前块相邻的像素设置为周边像素，并且经由开关142供给至帧内预测部143。此外，将高速缓冲存储器中存储的当前图像或dram中存储的解码图像设置为参考图像并且经由开关142输出至运动补偿部147。

在步骤s145中，画面排序缓冲器139以帧为单元存储从滤波器136供给的解码图像，将按照编码顺序存储的以帧为单位的图像排序成原始的显示顺序，并且将那些图像供给至d/a转换部140。

在步骤s146中，d/a转换部140对从画面排序缓冲器139供给的以帧为单位的图像执行d/a转换，并且输出图像。然后，处理返回至图22的步骤s133，并且终止。

如上所述，在对intrabc中使用的当前运动向量进行解码时，在当前块的参考图像的实际类型和候选块的参考图像的实际类型彼此不同的情况下，解码设备110将候选块设置成不可用。因此，其参考图像的实际类型与当前块的参考图像的实际类型不同的候选块的运动向量不用于生成预测向量。

因此，参考图像的实际类型与当前块的参考图像的实际类型不同的候选块的参考运动向量不用于生成预测向量，并且因此，可以将具有提高的编码效率的编码流解码。

此外，解码设备110将其实际类型为“intrabc”的当前块的参考图像的类型设置为ltrp。因此，在候选块的参考图像的实际类型是strp的情况下，解码设备110将候选块设置成不可用。因此，能够将在intrabc和帧间编码被共通化的情况下的具有提高的编码效率的编码流解码，而不必大大地改变intrabc和帧间编码未被共通化的情况下的hevc。

然而，解码设备110将当前图像的图像识别信息登记在当前块的参考图像列表的预定位置中。因此，解码设备110可以基于与参考图像的图像识别信息在参考图像列表中的位置对应的索引来知道参考图像是否为当前图像。因此，在参考图像是当前图像的情况下，能够防止发生对dram的徒劳无益的访问。

<第二实施例>

(第二实施例的概要)

首先，将参照图24至图27来描述第二实施例的概要。

在第二实施例中，intrabc和帧间编码被共通化的情况下的编码效率不是通过将作为intrabc中的参考图像的当前图像的类型设置为ltrp来提高的，而是通过在参考图像的实际类型为“intrabc”的情况下改变生成预测向量列表的方法来提高的。

图24至图26是用于描述在第二实施例中参考图像的实际类型为“intrabc”的情况下生成预测向量列表的方法的图。

应当注意，diffpicordercnt(x,y)表示图像x与图像y之间的poc的差分(x-y)。此外，refpiclistx[refidxlx]和lx[refidxlx](x＝0或x＝1)分别表示在用于对包括当前块的切片进行编码的参考图像列表refpiclistx中登记的图像识别信息中，由当前块的参考图像的索引refidxlx的图像识别信息识别的参考图像。

此外，currpic表示当前图像，并且colpic表示时间方向候选块的图像。此外，xnbak和ynbak分别表示与当前块的左、左上或左下相邻的空间方向候选块(在下文中，被称为左候选块)在x方向上的位置和y方向上的位置。xnbbk和ynbbk分别表示与当前块的上、右上相邻的空间方向候选块(在下文中，被称为上候选块)在x方向上的位置和y方向上的位置。

listcol[refidxcol]表示在用于对包括时间方向候选块的切片进行编码的参考图像列表refpiclistx中登记的图像识别信息中，由时间方向候选块的参考图像的索引refidxcol的图像识别信息识别的参考图像。

如图24中所示，在第二实施例中，在要处理的候选块是左候选块的情况下，当diffpicordercnt(refpiclistx[refidxlx],currpic)＝0并且当diffpicordercnt(refpiclistx[refidxlx],currpic)和diffpicordercnt(refpiclistx[refidxlx[xnbak][ynbak]],currpic)彼此相等时，将要处理的候选块设置成可用。

换言之，在当前图像的参考图像和左候选块的参考图像分别是当前图像的情况下，也就是说，在当前图像的参考图像的实际类型和左候选块的参考图像的实际类型是“intrabc”的情况下，将左候选块设置成可用。然后，将作为左候选块的运动向量的参考运动向量的候选在不改变的情况下生成为预测向量。

类似地，在第二实施例中，如图25中所示，在要处理的候选块是上候选块的情况下，当diffpicordercnt(refpiclistx[refidxlx],currpic)＝0并且当diffpicordercnt(refpiclistx[refidxlx],currpic)和diffpicordercnt(refpiclistx[refidxlx[xnbbk][ynbbk]],currpic)彼此相等时，将要处理的候选块设置成可用。

换言之，在当前图像的参考图像的实际类型和上候选块的参考图像的实际类型是“intrabc”的情况下，将上候选块设置成可用。然后，将作为上候选块的运动向量的参考运动向量的候选在不改变的情况下生成为预测向量。针对登记有参考图像的参考图像列表中的每一个参考图像列表来执行预测向量的生成。

此外，在第二实施例中，如图26中所示，在要处理的候选块是时间方向候选块的情况下，当diffpicordercnt(lx[refidxlx],currpic)＝0并且当diffpicordercnt(lx[refidxlx],currpic)和针对colpb的diffpicordercnt(listcol[refidxcol],colpic)彼此相等时，将要处理的候选块设置成可用。

换言之，在当前图像的参考图像的实际类型和时间方向候选块的参考图像的实际类型是“intrabc”的情况下，将时间方向候选块设置成可用。然后，将作为时间方向候选块的运动向量的参考运动向量的候选在不改变的情况下生成为预测向量。

因此，如图27中所示，在当前图像的参考图像的实际类型是“intrabc”的情况下，并且仅在候选块的参考图像的实际类型是“intrabc”的情况下，将候选块的运动向量在不改变的情况下生成为预测向量。同时，在除了上述以外的情况下，将候选块设置成不可用。应当注意，将其实际类型为“intrabc”的参考图像的候选的类型设置为strp。

除了在列表创建部88和列表创建部146中执行的参考图像列表创建处理以及在预测向量生成部90和预测向量生成部144中执行的预测向量列表生成处理以外，第二实施例的编码设备和解码设备的构造与图13的编码设备50和图20的解码设备110的构造类似。因此，在下文中，将使用图13的编码设备50和图20的解码设备110的各部作为第二实施例中的编码设备和解码设备的各部，并且将仅描述参考图像列表创建处理和预测向量生成处理。

(关于编码设备的处理的描述)

图28是用于描述第二实施例中的编码设备50的列表创建部88的参考图像列表创建处理的流程图。

在图28的步骤s161中，列表创建部88与图18中的步骤s71的处理类似地创建四个单独的列表。针对每个单独的列表的图像识别信息设置strp或ltrp。

在步骤s162中，列表创建部88创建下述当前图像列表：在该当前图像列表中登记有其参考图像的类型被设置为strp的当前图像的图像识别信息。

步骤s163至s166中的处理与图18的步骤s73至s76中的处理类似，因此将省略其描述。

应当注意，虽然在附图中未示出，但是也与图28的参考图像列表创建处理类似地执行第二实施例中的解码设备110的列表创建部146的参考图像列表创建处理。

图29是用于描述第二实施例中的编码设备50的预测向量生成部90的预测向量列表生成处理的细节的流程图。针对其中登记有参考图像的每个参考图像列表来执行预测向量列表生成处理。

图29的步骤s181至s183中的处理与图19的步骤s91至s93中的处理类似，因此将省略其描述。在步骤s183中确定要处理的候选块的参考图像的类型是strp的情况下，处理前进至步骤s184。

在步骤s184中，预测向量生成部90确定当前块的参考图像的实际类型和候选块的参考图像的实际类型两者是否为strp。具体地，例如，预测向量生成部90确定当前块的参考图像与当前图像之间的poc的差分以及候选块的参考图像与候选块的图像之间的poc的差分是否均为1或更大。

在预测向量生成部90确定当前块的参考图像与当前图像之间的poc的差分以及候选块的参考图像与候选块的图像之间的poc的差分均为1或更大的情况下，预测向量生成部90确定当前块的参考图像的实际类型和候选块的参考图像的实际类型两者为strp，并且处理前进至步骤s185。

步骤s185和s186中的处理与图19的步骤s94和s95中的处理类似，因此将省略其描述。

同时，在当前块的参考图像与当前图像之间的poc的差分以及候选块的参考图像与候选块的图像之间的poc的差分中的至少一个差分为0的情况下，预测向量生成部90在步骤s184中确定当前块的参考图像的实际类型和候选块的参考图像的实际类型中的至少一个实际类型不是strp。

在步骤s187中，预测向量生成部90确定当前块的参考图像的实际类型和候选块的参考图像的实际类型两者是否为“intrabc”。具体地，预测向量生成部90确定当前块的参考图像与当前图像之间的poc的差分以及候选块的参考图像与候选块的图像之间的poc的差分是否为0。

在预测向量生成部90确定当前块的参考图像与当前图像之间的poc的差分以及/或者候选块的参考图像与候选块的图像之间的poc的差分不是0的情况下，预测向量生成部90确定当前块的参考图像的实际类型和候选块的参考图像的实际类型中的任一实际类型不是“intrabc”，并且处理前进至步骤s188。

换言之，在当前块的参考图像是当前图像但是候选块的图像与候选块的参考图像彼此不同的情况下，以及在候选块的图像与候选块的参考图像相同但是当前块的参考图像不是当前图像的情况下，预测向量生成部90确定当前块的参考图像的实际类型与候选块的参考图像的实际类型彼此不同，并且处理前进至步骤s188。

在步骤s188中，预测向量生成部90将要处理的候选块设置成不可用。

此外，在步骤s182中确定当前块的参考图像的类型不是strp的情况下，也就是说，在当前块的参考图像的类型是ltrp的情况下，处理前进至步骤s189。

在与步骤s183的处理类似的步骤s189中，预测向量生成部90确定要处理的候选块的参考图像的类型是否为strp。在步骤s189中确定要处理的候选块的参考图像的类型是strp的情况下，也就是说，在当前块的参考图像的类型是ltrp并且候选块的参考图像的类型是strp的情况下，处理前进至步骤s188。因此，将要处理的候选块设置成不可用。

同时，在步骤s189中确定要处理的候选块的参考图像的类型不是strp的情况下，也就是说，在当前块的参考图像的类型和候选块的参考图像的类型两者是ltrp的情况下，处理前进至步骤s190。步骤s190和s191中的处理与图19的步骤s98和s99中的处理类似，因此将省略其描述。

同时，在预测向量生成部90确定当前块的参考图像与当前图像之间的poc的差分以及候选块的参考图像与候选块的图像之间的poc的差分均是0的情况下，预测向量生成部90在步骤s187中确定当前块的参考图像的实际类型和候选块的参考图像的实际类型是“intrabc”。

然后，预测向量生成部90将处理前进至步骤s190。因此，将要处理的候选块设置成可用，并且将要处理的候选块的参考运动向量的候选生成为预测向量。

在步骤s186、s188或s191的处理之后，处理前进至步骤s192。步骤s192的处理与图19中的步骤s100的处理类似，因此将省略其描述。

应当注意，虽然在附图中未示出，但是也与图29的预测向量列表生成处理类似地执行第二实施例中的解码设备110的预测向量生成部144的预测向量列表生成处理。

<第三实施例>

(第三实施例的概要)

在第三实施例中，当前图像的图像识别信息登记在暂时列表的开头中，而不是参考图像列表中。

换言之，在第三实施例中，如图30中所示，在基于图10的单独列表创建两个暂时列表即refpiclisttemp0和refpiclisttemp1之后，将当前图像的图像识别信息登记在每个暂时列表的开头中。

接下来，根据需要来改变refpiclisttemp0列表和refpiclisttemp1列表中登记的图像识别信息的顺序(参考记录)。然而，禁止改变当前图像的图像识别信息的顺序。

最后，创建参考图像列表refpiclist0，其中，refpiclisttemp0列表中登记的开头的图像识别信息以及通过对num_ref_idx_l0_active_minus1加1而获得的数目(图30的示例中为五个)的图像识别信息被从开头起按顺序登记。

此外，创建参考图像列表refpiclist1，其中，refpiclisttemp1列表中登记的开头的图像识别信息以及通过对num_ref_idx_l1_active_minus1加1而获得的数目(图30的示例中为四个)的图像识别信息被从开头起按顺序登记。

除了在列表创建部88和列表创建部146中执行的参考图像列表创建处理以外，第三实施例的编码设备和解码设备的构造与图13的编码设备50和图20的解码设备110的构造类似。因此，在下文中，将使用图13的编码设备50和图20的解码设备110的各部作为第三实施例中的编码设备和解码设备的各部，并且将仅描述参考图像列表创建处理。

(关于编码设备的处理的描述)

图31是用于描述第三实施例中的编码设备50的列表创建部88的参考图像列表创建处理的流程图。

图31的步骤s201至s203中的处理与图18的步骤s71至s73中的处理类似，因此将省略其描述。

在步骤s204中，列表创建部88将当前图像列表中登记的当前图像的图像识别信息登记在暂时列表的开头中。

在步骤s205中，列表创建部88基于布置在切片首部中的ref_pic_list_modification来重新排列除当前图像的图像识别信息以外的图像识别信息在暂时列表中的顺序。

在步骤s206中，列表创建部88基于每个暂时列表来创建参考图像列表。换言之，列表创建部88创建下述参考图像列表：在该参考图像列表中，暂时列表中登记的开头的图像识别信息以及通过对布置在切片首部中的num_ref_idx_l0_active_minus1(num_ref_idx_l1_active_minus1)加1而获得的数目的图像识别信息被从开头起按顺序登记。

应当注意，虽然在附图中未示出，但是也与图31的参考图像列表创建处理类似地执行第三实施例中的解码设备110的列表创建部146的参考图像列表创建处理。

<第四实施例>

(关于应用本公开的计算机的描述)

以上所描述的一系列处理可以通过硬件或软件来执行。在通过软件来执行该一系列处理的情况下，构成软件的程序安装在计算机中。此处，计算机包括合并在专用硬件中的计算机以及例如可以通过在其中安装各种程序来执行各种功能的通用个人计算机。

图32是示出通过程序来执行上述一系列处理的计算机的硬件构造示例的框图。

在计算机中，cpu(中央处理器)201、rom(只读存储器)202和ram(随机存取存储器)203经由总线204彼此连接。

此外，输入/输出接口205连接至总线204。输入部206、输出部207、存储部208、通信部209和驱动器210连接至输入/输出接口205。

输入部206由键盘、鼠标、麦克风等构成。输出部207由显示器、扬声器等构成。存储部208由硬盘、非易失性存储器等构成。通信部209由网络接口等构成。驱动器210驱动可移除介质211如磁盘、光盘、磁光盘或半导体存储器。

在如上所述构造的计算机中，cpu201经由输入/输出接口205和总线204将存储在例如存储部208中的程序加载至ram203，并且执行程序以执行上述一系列处理。

由计算机(cpu201)执行的程序可以通过例如将其记录在如封装介质等的可移除介质211中来提供。此外，可以经由有线或无线传输介质如局域网、因特网和数字卫星广播来提供程序。

在计算机中，当将可移除介质211安装至驱动器210时，可以经由输入/输出接口205将程序安装在存储部208中。此外，可以经由有线或无线传输介质通过通信部209来接收程序，并且将其安装在存储部208中。此外，可以将程序预先安装在rom202中或存储部208中。

应当注意，由计算机执行的程序可以是按照本说明中描述的顺序而按时间顺序处理的程序，或者可以是并行处理的或在必要的时刻如当执行调用时处理的程序。

<第五实施例>

(电视设备的构造示例)

图33例示了应用本公开的电视设备的示意性构造。电视设备900包括天线901、调谐器902、多路分离器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908和外部接口部909。此外，电视设备900包括控制部910、用户接口部911等。

调谐器902从由天线901接收的广播信号中选择期望的频道以用于解调，并且将所获得的编码比特流输出至多路分离器903。

多路分离器903从编码比特流中提取要观看的节目的视频或音频分组，并且将所提取的分组的数据输出至解码器904。此外，多路分离器903将数据分组如epg(电子节目指南)供给至控制部910。应当理解，在执行扰频的情况下，通过多路分离器等来解扰。

解码器904执行分组解码处理，并且将通过解码处理而生成的视频数据输出至视频信号处理部905以及将通过解码处理而生成的音频数据输出至音频信号处理部907。

视频信号处理部905对视频信号执行噪音去除、与用户设置对应的视频处理等。视频信号处理部905生成要在显示部906上显示的节目的视频数据、基于经由网络供给的应用而处理的影像数据等。此外，视频信号处理部905生成用于显示菜单画面的视频数据以选择项目等，并且将这样的视频数据叠加在节目的视频数据上。视频信号处理部905基于所生成的视频数据来生成驱动信号，并且驱动显示部906。

显示部906基于来自视频信号处理部905的驱动信号来驱动显示装置(例如，液晶显示元件)以显示节目的视频等。

音频信号处理部907对音频数据执行预定的处理如噪音去除，对经处理的音频数据执行d/a转换处理或放大处理，并且将这样的音频数据供给至扬声器908以执行音频输出。

外部接口部909是用于与外部装置或网络连接的接口，并且发送和接收数据如视频数据和音频数据。

用户接口部911连接至控制部910。用户接口部911由操作开关、远程控制信号接收部等构成，并且将与用户操作对应的操作信号供给至控制部910。

控制部910由cpu(中央处理单元)、存储器等构成。存储器存储由cpu执行的程序、cpu执行处理所必需的各种类型的数据、epg数据、经由网络获取的数据等。在预定的时刻如启动电视设备900时由cpu读取并执行存储在存储器中的程序。cpu执行程序以控制各部，使得电视设备900根据用户操作而操作。

应当注意，在电视设备900中，设置总线912以将调谐器902、多路分离器903、视频信号处理部905、音频信号处理部907、外部接口部909等连接至控制部910。

在所构造的电视设备中，解码器904设置有本申请的解码设备(解码方法)的功能。这使得能够在使用画面内的相关性执行预测时将具有提高的编码效率的编码流进行解码。

<第六实施例>

(移动电话的构造示例)

图34例示了应用本公开的移动电话的示意性构造。移动电话920包括通信部922、音频编解码器923、相机部926、影像处理部927、多路复用/多路分离部928、记录/再现部929、显示部930和控制部931。那些部件经由总线933彼此连接。

此外，天线921连接至通信部922，并且扬声器924和麦克风925连接至音频编解码器923。此外，操作部932连接至控制部931。

移动电话920在各种模式如语音通信模式和数据通信模式下执行各种操作，如发送和接收音频信号、发送和接收电子邮件或影像数据、成像和数据记录。

在语音通信模式下，在音频编解码器923中在麦克风925中生成的音频信号转换成音频数据或经受数据压缩，然后供给至通信部922。通信部922对音频数据执行调制处理、频率转换处理等以生成发送信号。此外，通信部922将发送信号供给至天线921以将其发送至图中未示出的基站。此外，通信部922对在天线921中接收到的接收信号执行放大、频率转换处理、解调处理等，并且将所获得的音频数据供给至音频编解码器923。音频编解码器923对音频数据执行数据解压缩或者将其转换成模拟音频信号，并且将所得的信号输出至扬声器924。

此外，在以数据通信模式发送邮件的情况下，控制部931接收通过操作部932的操作而输入的字符数据，并且在显示部930上显示输入的字符。此外，控制部931基于操作部932中的用户指示等来生成邮件数据，并且将邮件数据供给至通信部922。通信部922对邮件数据执行调制处理、频率转换处理等，并且从天线921发送所获得的发送信号。此外，通信部922对在天线921中接收到的接收信号执行放大、频率转换处理、解调处理等以恢复邮件数据。将邮件数据供给至显示部930以显示邮件内容。

应当理解，移动电话920还使得记录/再现部929将所接收的邮件数据存储在存储介质中。存储介质是任意可擦写的存储介质。例如，存储介质是半导体存储器如ram和内置闪存、硬盘或可移除介质如磁盘、磁光盘、光盘、usb(通用串行总线)存储器和存储卡。

在以数据通信模式发送影像数据的情况下，将在相机部926中生成的影像数据供给至影像处理部927。影像处理部927对影像数据执行编码处理，并且生成编码数据。

多路复用/多路分离部928通过预定的系统来多路复用在影像处理部927中生成的编码数据和从音频编解码器923供给的音频数据，并且将所得的数据供给至通信部922。通信部922对多路复用数据执行调制处理、频率转换处理等，并且从天线921发送所获得的发送信号。此外，通信部922对在天线921中接收到的接收信号执行放大、频率转换处理、解调处理等以恢复多路复用数据。将多路复用数据供给至多路复用/多路分离部928。多路复用/多路分离部928对多路复用数据进行多路分离，并且将编码数据供给至影像处理部927以及将音频数据供给至音频编解码器923。影像处理部927对编码数据执行解码处理，以生成影像数据。将影像数据供给至显示部930，以显示所接收的影像。音频编解码器923将音频数据转换成模拟音频信号，并且将模拟音频信号供给至扬声器924，以输出所接收的音频。

在所构造的移动电话装置中，影像处理部927设置有本申请的编码设备和解码设备(编码方法和解码方法)的功能。这使得能够在使用画面内的相关性执行预测时提高编码效率。此外，能够在使用画面内的相关性执行预测时将具有提高的编码效率的编码流进行解码。

<第七实施例>

(记录/再现设备的构造示例)

图35例示了应用本公开的记录/再现设备的示意性构造。记录/再现设备940在记录介质上记录例如所接收的广播节目的音频数据和视频数据，并且在与用户指示对应的时刻将所记录的数据提供至用户。此外，记录/再现设备940还可以从另外的设备获取例如音频数据和视频数据，并且将那些数据记录在记录介质上。此外，记录/再现设备940对记录在记录介质上的音频数据和视频数据进行解码和输出，以使得监测设备等能够执行影像显示或音频输出。

记录/再现设备940包括调谐器941、外部接口部942、编码器943、hdd(硬盘驱动)部944、盘驱动器945、选择器946、解码器947、osd(屏上显示)部948、控制部949和用户接口部950。

调谐器941从由图中未示出的天线接收的广播波信号中选择期望的频道。调谐器941将通过解调所接收的期望频道的信号而获得的编码比特流输出至选择器946。

外部接口部942由ieee1394接口、网络接口部、usb接口、闪存接口等中的至少任一者构成。外部接口部942是用于与外部装置、网络、存储卡等连接的接口，并且接收如要记录的视频数据或音频数据等数据。

当未对从外部接口部942供给的视频数据或音频数据编码时，编码器943通过预定的系统执行编码，并且将编码比特流输出至选择器946。

hdd部944将内容数据如视频和音频、各种程序和其他数据记录在内置硬盘中，并且在再现等时从硬盘读取那些数据。

盘驱动器945对所安装的光盘进行记录和再现信号。光盘是例如dvd盘(dvd-video、dvd-ram、dvd-r、dvd-rw、dvd+r、dvd+rw等)或蓝光(注册商标)盘。

在记录视频或音频时，选择器946从调谐器941或编码器943中选择任意编码比特流，并且将编码比特流供给至hdd部944和盘驱动器945中的任一者。此外，在再现视频或音频时，选择器946将从hdd部944或盘驱动器945输出的编码比特流供给至解码器947。

解码器947对编码比特流执行解码处理。解码器947将通过解码处理而生成的视频数据供给至osd部948。此外，解码器947输出通过解码处理而生成的音频数据。

osd部948生成用于显示菜单画面的视频数据以选择项目等，并且将这样的视频信号叠加在从解码器947输出的视频数据上以将其输出。

用户接口部950连接至控制部949。用户接口部950由操作开关、远程控制信号接收部等构成，并且将与用户操作对应的操作信号供给至控制部949。

控制部949由cpu、存储器等构成。存储器存储由cpu执行的程序和cpu执行处理所必需的各种类型的数据。在预定的时刻如启动记录/再现设备940时由cpu读取并执行存储在存储器中的程序。cpu执行程序以控制各部，使得记录/再现设备940根据用户操作而操作。

在所构造的记录/再现设备中，编码器943设置有本申请的编码设备(编码方法)的功能，并且解码器947设置有本申请的解码设备(解码方法)的功能。这使得能够在使用画面内的相关性执行预测时提高编码效率。此外，能够在使用画面内的相关性执行预测时将具有提高的编码效率的编码流进行解码。

<第八实施例>

(成像设备的构造示例)

图36例示了应用本公开的成像设备的示意性构造。成像设备960对对象进行成像，并且然后在显示部上显示对象的影像或者将这样的影像数据记录在记录介质上。

成像设备960包括光学块961、成像部962、相机信号处理部963、影像数据处理部964、显示部965、外部接口部966、存储部967、媒体驱动器968、osd部969和控制部970。此外，用户接口部971连接至控制部970。此外，影像数据处理部964、外部接口部966、存储部967、媒体驱动器968、osd部969、控制部970等经由总线972彼此连接。

光学块961由聚焦透镜、光圈机构等构成。光学块961在成像部962的成像表面上形成对象的光学影像。成像部962由ccd或cmos影像传感器构成，并且通过光电转换生成与光学影像对应的电信号，并且将电信号供给至相机信号处理部963。

相机信号处理部963对从成像部962供给的电信号执行各种类型的相机信号处理，如拐点校正、伽马校正和色彩校正。相机信号处理部963将经受相机信号处理之后的影像数据供给至影像数据处理部964。

影像数据处理部964对从相机信号处理部963供给的影像数据执行编码处理。影像数据处理部964将通过编码处理而生成的编码数据供给至外部接口部966或媒体驱动器968。此外，影像数据处理部964对从外部接口部966或媒体驱动器968供给的编码数据执行解码处理。影像数据处理部964将通过解码处理而生成的影像数据供给至显示部965。此外，影像数据处理部964执行将从相机信号处理部963供给的影像数据供给至显示部965的处理，或者将从osd部969获取的显示数据叠加在影像数据上，并且将这样的显示数据供给至显示部965。

osd部969生成由符号、字符和图形、图标等构成的菜单画面的显示数据，并且将显示数据输出至影像数据处理部964。

外部接口部966由例如usb输入和输出终端构成，并且在打印影像的情况下连接至打印机。此外，根据需要将驱动器连接至外部接口部966，并且适当地安装可移除介质如磁盘和光盘，以便根据需要来安装从其中读取的计算机程序。此外，外部接口部966包括连接至预定网络如lan(局域网)和因特网的网络接口。控制部970可以例如根据来自用户接口部971的指示来从媒体驱动器968读取编码数据，并且可以将来自外部接口部966的编码数据供给至经由网络而连接的另一设备。此外，控制部970可以经由外部接口部966来获取经由网络而从另一设备供给的编码数据或影像数据，并且将数据供给至影像数据处理部964。

使用例如任意可读可写的可移除介质如磁盘、磁光盘、光盘和半导体存储器作为由媒体驱动器968驱动的记录介质。此外，记录介质可以是任意类型的记录介质如可移除介质，并且可以是磁带装置、光碟或存储卡。当然，记录介质可以是非接触式ic(集成电路)卡等。

此外，媒体驱动器968和记录介质可以被集成，并且由非便携式存储介质如内置硬盘驱动器和ssd(固态驱动器)构成。

控制部970由cpu构成。存储部967存储由控制部970执行的程序、控制部970执行处理所必需的各种类型的数据等。在预定的时刻如启动成像设备960时由控制部970读取并执行存储在存储部967中的程序。控制部970执行程序以控制各部，使得成像设备960根据用户操作而操作。

在所构造的成像设备中，影像数据处理部964设置有本申请的编码设备和解码设备(编码方法和解码方法)的功能。这使得能够在使用画面内的相关性执行预测时提高编码效率。此外，能够在使用画面内的相关性执行预测时将具有提高的编码效率的编码流进行解码。

<第九实施例>

(实施例的其它示例)

在上文中已经描述了应用本公开的设备、系统等的示例，但是本公开不限于此，并且可以被实施为要安装至构成上述设备或系统的设备的任何其他构造，例如，作为系统lsi(大规模集成)的处理器等、使用多个处理器的模块等、使用多个模块的单元等、通过向单元进一步添加另外的功能而获得的套组等(即，设备的部分的构造)。

(视频套组的构造示例)

将参照图37来描述将本公开实施为套组的情况的示例。图37示出了应用本公开的视频套组的示意性构造的示例。

近年来，电子设备的多功能性已经取得进步，并且在其开发和制造中，通过销售、提供等来实施其构造的一部分的情况下，不仅会频繁地发现该部分被实施为具有一个功能的构造的情况，而且会频繁地发现通过组合具有相关联的功能的多个构造而将该部分实施为具有多个功能的一个套组的情况。

图37中所示的视频套组1300具有这样的多功能化的构造，并且是具有影像编码和解码(任一者或它们两者)功能的装置和具有与该功能相关联的另一功能的装置的组合。

如图37中所示，视频套组1300包括：模块组，该模块组包括视频模块1311、外部存储器1312、电力管理模块1313、前端模块1314等；以及具有相关联的功能的装置如连接件1321、相机1322和传感器1323。

将模块假定为下述组件：在该组件中，将彼此相关联的数个组件类功能整合以具有连贯的功能。具体的物理构造是任意的，但是将构造假定成例如通过在用于集成的布线基板等上布置具有相应功能的多个处理器、诸如电阻器和电容器等电子电路元件、其他装置等而获得的构造。此外，也设想可以将模块与另一模块、处理器等组合以成为新模块。

在图37的示例的情况下，视频模块1311是具有影像处理的功能的构造的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和rf(射频)模块1334。

处理器是通过soc(片上系统)将具有预定功能的构造集成在半导体芯片中的部件，并且可以被称为例如系统lsi(大规模集成)。具有预定功能的这样的构造可以是逻辑电路(硬件构造)、cpu、rom、ram等、以及通过使用以上构造而执行的程序(软件构造)，或者可以是上述构造两者的组合。例如，处理器可以包括逻辑电路、cpu、rom、ram等，并且可以通过逻辑电路(硬件构造)来实现功能的一部分以及通过由cpu执行的程序(软件构造)来实现其他功能。

图37的应用处理器1331是执行关于影像处理的应用的处理器。由应用处理器1331执行的应用不仅可以执行计算处理，而且还可以根据需要来控制视频模块1311内部和外部的构造如视频处理器1332以实现预定功能。

视频处理器1332是具有影像编码/解码(一者或它们两者)的功能的处理器。

宽带调制解调器1333是对经由宽带连接如因特网和公用电话网络而执行的有线或无线(或它们两者)宽带通信执行处理的处理器(或模块)。例如，宽带调制解调器1333例如对要发送的数据(数字信号)执行数字调制以将其转换成模拟信号，或者对所接收的模拟信号进行解调以将其转换成数据(数字信号)。例如，宽带调制解调器1333可以对任意信息如由视频处理器1332处理的影像数据、影像数据被编码的流、应用程序和设置数据执行数字调制/解调。

rf模块1334是对经由天线发送和接收的rf(射频)信号执行频率转换、调制和解调、放大、滤波处理等的模块。例如，rf模块1334对由宽带调制解调器1333生成的基带信号执行频率转换等，并且生成rf信号。此外，例如，rf模块1334对经由前端模块1314接收的rf信号执行频率转换等，并且生成基带信号。

应当注意，如由图37中的虚线1341所表示的，可以将应用处理器1331和视频处理器1332集成并且构成为一个处理器。

外部存储器1312是设置在视频模块1311外部的模块，并且包括由视频模块1311使用的存储装置。可以通过任意物理构造来实现外部存储器1312的存储装置。通常，由于存储装置频繁地被用于存储大量的数据如以帧为单位的影像数据，所以存储装置期望通过例如相对不贵并且具有大容量的半导体存储器如dram(动态随机存取存储器)来实现。

电力管理模块1313管理和控制对视频模块1311(视频模块1311内的构造)的电力供给。

前端模块1314是向rf模块1334提供前端功能(在天线侧的发送和接收端处的电路)的模块。如图37中所示，前端模块1314包括例如天线部1351、滤波器1352和放大部1353。

天线部1351包括发送和接收无线电信号的天线及其外围构造。天线部1351将从放大部1353供给的信号作为无线电信号进行发送，并且将所接收的无线电信号作为电信号(rf信号)供给至滤波器1352。滤波器1352对经由天线部1351接收的rf信号执行滤波处理等，并且将经处理的rf信号供给至rf模块1334。放大部1353将从rf模块1334供给的rf信号放大，并且将所得的信号供给至天线部1351。

连接件1321是具有外部连接功能的模块。连接件1321的物理构造是任意的。例如，连接件1321包括具有除了与宽带调制解调器1333、外部输入/输出端子等对应的通信标准以外的通信功能的构造。

例如，连接件1321可以包括具有根据无线通信标准如蓝牙(注册商标)、ieee802.11(例如，wi-fi(无线保真，注册商标))、nfc(近场通信)和irda(红外数据组织)的通信功能的模块、根据这样的标准来发送和接收信号的天线等。此外，例如，连接件1321可以包括具有根据有线通信标准如usb(通用串行总线)和hdmi(注册商标)(高清晰多媒体接口)的通信功能的模块、以及根据这样的标准的端子。此外，例如，连接件1321可以具有另外的数据(信号)传送功能等，如模块输入/输出端子。

应当注意，连接件1321可以包括作为数据(信号)传送目的地的装置。例如，连接件1321可以包括对记录介质如磁盘、光盘、磁光盘和半导体存储器读取和写入数据的驱动器(不仅包括可移除介质的驱动器，还包括硬盘、ssd(固态驱动器)、nas(网络附加存储))等。此外，连接件1321可以包括影像或音频输出装置(监测器、扬声器等)。

相机1322是具有对对象进行成像并且获取对象的影像数据的功能的模块。通过相机1322的成像而获得的影像数据被例如供给至视频处理器1332并且被编码。

传感器1323是具有任意传感器例如音频传感器、超声传感器、光学传感器、照度传感器、红外传感器、影像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性识别传感器、振动传感器和温度传感器的功能的模块。由传感器1323检测的数据例如被供给至应用处理器1331，并且被应用等使用。

以上作为模块而描述的构造可以被实现为处理器，并且反之，作为处理器而描述的构造可以被实现为模块。

在如上所述构造的视频套组1300中，本公开可以应用于稍后将描述的视频处理器1332。因此，视频套组1300可以被实施为应用本公开的套组。

(视频处理器的构造示例)

图38示出了应用本公开的视频处理器1332(图37)的示意性构造的示例。

在图38的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且通过预定系统对那些信号进行编码的功能以及对编码的视频信号和音频信号进行解码并且再现和输出视频信号和音频信号的功能。

如图38中所示，视频处理器1332包括视频输入处理部1401、第一影像缩放部1402、第二影像缩放部1403、视频输出处理部1404、帧存储器1405和存储器控制部1406。此外，视频处理器1332包括编码/解码引擎1407、视频es(基本流)缓冲器1408a和1408b以及音频es缓冲器1409a和1409b。此外，视频处理器1332包括音频编码器1410、音频解码器1411、多路复用部(mux(多路复用器)1412)、多路分离部(dmux(多路分离器))1413和流缓冲器1414。

视频输入处理部1401获取从例如连接件1321(图37)输入的视频信号，并且将视频信号转换成数字影像数据。第一影像缩放部1402对影像数据执行格式转换、图像缩放处理等。第二影像缩放部1403根据用于经由视频输出处理部1404输出的目的地的格式对影像数据执行图像缩放处理，或者对影像数据执行与第一影像缩放部1402类似的格式转换、图像缩放处理等。视频输出处理部1404对影像数据执行格式转换、转换成模拟信号等，并且将数据作为再现的视频信号输出至例如连接件1321(图37)。

帧存储器1405是用于与视频输入处理部1401、第一影像缩放部1402、第二影像缩放部1403、视频输出处理部1404和编码/解码引擎1407共享的影像数据的存储器。将帧存储器1405实现为半导体存储器如dram。

响应于来自编码/解码引擎1407的同步信号，存储器控制部1406根据访问管理表1406a中所写入的访问帧存储器1405的进度表来控制对写入和读取帧存储器1405的访问。由存储器控制部1406根据在编码/解码引擎1407、第一影像缩放部1402、第二影像缩放部1403等中执行的处理来更新访问管理表1406a。

编码/解码引擎1407对影像数据执行编码处理，并且对其中影像数据是编码数据的视频流执行解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的影像数据进行编码，并且随后将影像数据作为视频流写入视频es缓冲器1408a中。此外，例如，编码/解码引擎1407随后从视频es缓冲器1408b读取视频流以用于解码，并且随后将解码的视频流作为影像数据写入帧存储器1405中。在编码和解码中，编码/解码引擎1407使用帧存储器1405作为工作区域。此外，例如，在开始基于宏块的处理时，编码/解码引擎1407将同步信号输出至存储器控制部1406。

视频es缓冲器1408a缓冲由编码/解码引擎1407生成的视频流，并且将视频流供给至多路复用部(mux)1412。视频es缓冲器1408b缓冲从多路分离部(dmux)1413供给的视频流，并且将视频流供给至编码/解码引擎1407。

音频es缓冲器1409a缓冲由音频编码器1410生成的音频流，并且将音频流供给至多路复用部(mux)1412。音频es缓冲器1409b缓冲从多路分离部(dmux)1413供给的音频流，并且将音频流供给至音频解码器1411。

音频编码器1410对从例如连接件1321(图37)输入的音频信号执行例如数字转换，并且通过预定的系统如mpeg音频系统和ac3(音频编码3)系统对所得的信号进行编码。音频编码器1410随后将音频流写入音频es缓冲器1409a中，该音频流是其中音频信号被编码的数据。音频解码器1411对从音频es缓冲器1409b供给的音频流进行解码，执行转换成例如模拟信号，并且将模拟信号作为再现的音频信号供给至例如连接件1321(图37)。

多路复用部(mux)1412对视频流和音频流进行多路复用。多路复用方法(即，通过多路复用而生成的比特流的格式)是任意的。此外，在多路复用时，多路复用部(mux)1412还可以将预定的首部信息等添加至比特流。换言之，多路复用部(mux)1412通过多路复用来转换流的格式。例如，多路复用部(mux)1412对视频信号和音频信号进行多路复用以将那些流转换成传输流，该传输流是具有用于传输的格式的比特流。此外，例如，多路复用部(mux)1412对视频信号和音频信号进行多路复用以将那些流转换成具有用于记录的文件格式的数据(文件数据)。

多路分离部(dmux)1413通过与多路复用部(mux)1412的多路复用对应的方法对其中视频流和音频流被多路复用的比特流进行多路分离。换言之，多路分离部(dmux)1413从自流缓冲器1414读取的比特流中提取视频流和音频流(将视频流和音频流彼此分离)。换言之，多路分离部(dmux)1413可以通过多路分离(多路复用部(mux)1412的转换的逆转换)来转换流的格式。例如，多路分离部(dmux)1413可以获取经由流缓冲器1414从例如连接件1321或宽带调制解调器1333(它们中的每一个均在图37中示出)供给的传输流，并且对传输流进行多路分离以将传输流转换成视频流和音频流。此外，例如，多路分离部(dmux)1413可以获取通过例如连接件1321(图37)、经由流缓冲器1414从各种记录介质读取的文件数据，并且对文件数据进行多路分离以将文件数据转换成视频流和音频流。

流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从多路复用部(mux)1412供给的传输流，并且在预定时刻或基于来自外界等的请求将传输流供给至例如连接件1321或宽带调制解调器1333(它们中的每一个均在图37中示出)。

此外，例如，流缓冲器1414缓冲从多路复用部(mux)1412供给的文件数据，在预定时刻或基于来自外界等的请求将文件数据供给至例如连接件1321(图37)，并且将文件数据记录在各种记录介质上。

此外，流缓冲器1414缓冲经由例如连接件1321或宽带调制解调器1333(它们中的每一个均在图37中示出)而获得的传输流，并且在预定时刻或基于来自外界等的请求将传输流供给至多路分离部(dmux)1413。

此外，流缓冲器1414在例如连接件1321(图37)中缓冲从各种记录介质读取的文件数据，并且在预定时刻或基于来自外界等的请求将文件数据供给至多路分离部(dmux)1413。

接着，将描述具有这样的构造的视频处理器1332的操作示例。例如，在视频输入处理部1401中，从连接件1321(图37)等输入至视频处理器1332的视频信号被转换成预定系统如4:2:2y/cb/cr系统的数字影像数据，并且随后被写入帧存储器1405中。数字影像数据被第一影像缩放部1402或第二影像缩放部1403读取，经受格式转换成预定系统如4:2:0y/cb/cr系统和缩放处理，并且被再次写入帧存储器1405中。影像数据被编码/解码引擎1407编码，并且作为视频流写入视频es缓冲器1408a中。

此外，从连接件1321(图37)等输入至视频处理器1332的音频信号被音频编码器1410编码，并且作为音频流写入音频es缓冲器1409a中。

视频es缓冲器1408a的视频流和音频es缓冲器1409a的音频流被多路复用部(mux)1412读取和多路复用，并且被转换成传输流、文件数据等。由多路复用部(mux)1412生成的传输流被流缓冲器1414缓冲，然后经由例如连接件1321或宽带调制解调器1333(它们中的每一个均在图37中示出)输出至外部网络。此外，由多路复用部(mux)1412生成的文件数据被流缓冲器1414缓冲，然后输出至连接件1321(图37)，并且被记录在各种记录介质上。

此外，经由例如连接件1321或宽带调制解调器1333(它们中的每一个均在图37中示出)从外部网络输入至视频处理器1332的传输流在流缓冲器1414中被缓冲，然后被多路分离部(dmux)1413多路分离。此外，在例如连接件1321(图37)中从各种记录介质读取的并且输入至视频处理器1332的文件数据在流缓冲器1414中被缓冲，然后被多路分离部(dmux)1413多路分离。换言之，输入至视频处理器1332的传输流或文件数据被多路分离部(dmux)1413分离成视频流和音频流。

音频流经由音频es缓冲器1409b被供给至音频解码器1411，并且被解码以再现音频信号。此外，视频流被写入视频es缓冲器1408b中，随后被编码/解码引擎1407读取、解码并写入帧存储器1405中。经解码的影像数据经受第二影像缩放部1403的缩放处理，并且被写入帧存储器1405中。然后，经解码的影像数据被视频输出处理部1404读取，经受预定系统如4:2:2y/cb/cr系统的格式转换，并且被转换成模拟信号以再现和输出视频信号。

在本公开应用于如上所述构造的视频处理器1332的情况下，仅需要将根据上述每个实施例的本公开应用于编码/解码引擎1407。换言之，例如，编码/解码引擎1407仅需要具有根据第一至第三实施例的编码设备或解码设备的功能。这使得视频处理器1332能够获得与以上参照图1至图31所描述的效果类似的效果。

应当注意，在编码/解码引擎1407中，本公开(即根据上述每个实施例的编码设备或解码设备的功能)可以通过硬件如逻辑电路来实现，可以通过软件如嵌入式程序来实现，或者可以通过它们两者来实现。

(视频处理器的另一构造示例)

图39示出了应用本公开的视频处理器1332(图37)的示意性构造的另一示例。在图39的示例的情况下，视频处理器1332具有通过预定系统来编码/解码视频数据的功能。

更具体地，如图39中所示，视频处理器1332包括控制部1511、显示接口1512、显示引擎1513、影像处理引擎1514和内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、多路复用/多路分离部(muxdmux)1518、网络接口1519和视频接口1520。

控制部1511控制视频处理器1332内的相应处理部如显示接口1512、显示引擎1513、影像处理引擎1514和编解码器引擎1516的操作。

如图39中所示，控制部1511包括例如主cpu1531、副cpu1532和系统控制器1533。主cpu1531执行用于控制视频处理器1332内的相应处理部的操作的程序。主cpu1531根据该程序等来生成控制信号，并且将控制信号供给至处理部(即控制相应处理部的操作)。副cpu1532扮演主cpu1531的辅助角色。例如，副cpu1532执行由主cpu1531等执行的程序的子处理、子例程等。系统控制器1533控制主cpu1531和副cpu1532的操作如指定由主cpu1531和副cpu1532执行的程序。

显示接口1512在控制部1511的控制下将影像数据输出至例如连接件1321(图37)等。例如，显示接口1512将数字数据的影像数据转换成模拟信号，并且将模拟信号作为再现的视频信号或在不改变的情况下将数字数据的影像数据输出至连接件1321(图37)的监控设备等。

显示引擎1513在控制部1511的控制下对影像数据执行各种类型的转换处理如格式转换、尺寸转换和色域转换，以将其与显示影像数据的影像的监视设备等的硬件规格相匹配。

影像处理引擎1514在控制部1511的控制下对影像数据执行预定的影像处理如滤波处理以用于例如提高影像质量。

内部存储器1515是设置在视频处理器1332内部并且与显示引擎1513、影像处理引擎1514和编解码器引擎1516共享的存储器。内部存储器1515用于例如在显示引擎1513、影像处理引擎1514和编解码器引擎1516之间给予和接收数据。例如，内部存储器1515存储从显示引擎1513、影像处理引擎1514或编解码器引擎1516供给的数据，并且根据需要(例如，响应于请求)将数据供给至显示引擎1513、影像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何存储装置来实现。通常，由于内部存储器1515频繁地用于存储少量数据如以块为单位的影像数据和参数，所以内部存储器1515期望由具有相对(与例如外部存储器1312相比)小的容量但具有高速响应的半导体存储器如sram(静态随机存取存储器)实现。

编解码器引擎1516对影像数据执行编码或解码的处理。与编解码器引擎1516对应的编码/解码系统是任意的，并且其数目可以是一个或多于一个。例如，编解码器引擎1516可以具有多个编码/解码系统的编解码器功能，并且通过选自上述功能的功能来执行影像数据的编码或编码数据的解码。

在图39所示的示例中，编解码器引擎1516包括例如mpeg-2视频1541、avc/h.2641542、hevc/h.2651543、hevc/h.265(可按比例缩放)1544、hevc/h.265(多视点)1545和mpeg-dash1551作为关于编解码器的处理的功能块。

mpeg-2视频1541是用于通过mpeg-2系统对影像数据进行编码和解码的功能块。avc/h.2641542是用于通过avc系统对影像数据进行编码和解码的功能块。hevc/h.2651543是用于通过hevc对影像数据进行编码和解码的功能块。hevc/h.265(可按比例缩放)1544是用于通过hevc对影像数据进行可按比例缩放的编码和可按比例缩放的解码的功能块。hevc/h.265(多视点)1545是用于通过hevc对影像数据进行多视点编码和多视点解码的功能块。

mpeg-dash1551是用于通过mpeg-dash(mpeg-基于http的动态自适应流媒体)系统来发送和接收影像数据的功能块。mpeg-dash是使用http(超文本传输协议)的视频流技术，并且其特征之一是从预先准备的分辨率等不同的编码数据中以片段为单位选择并传送适当的编码数据。mpeg-dash1551根据标准来执行流的生成、流的传输和控制等，并且使用以上提到的mpeg-2视频1541至hevc/h.265(多视点)1545以用于影像数据的编码/解码。

存储器接口1517是用于外部存储器1312的接口。经由存储器接口1517将从影像处理引擎1514或编解码器引擎1516供给的数据供给至外部存储器1312。此外，经由存储器接口1517将从外部存储器1312读取的数据供给至视频处理器1332(影像处理引擎1514或编解码器引擎1516)。

多路复用/多路分离部(muxdmux)1518对关于影像的各种类型的数据如编码数据的比特流、影像数据和视频信号进行多路复用或多路分离。多路复用/多路分离方法是任意的。例如，在多路复用时，多路复用/多路分离部(muxdmux)1518不仅可以将几条数据整合成一条数据，而且可以将预定的首部信息等添加至该数据中。此外，在多路分离时，多路复用/多路分离部(muxdmux)1518不仅可以将一条数据划分成几条数据，而且可以将预定的首部信息等添加至所划分的数据中。换言之，多路复用/多路分离部(muxdmux)1518可以通过多路复用/多路分离来转换数据格式。例如，多路复用/多路分离部(muxdmux)1518可以通过多路复用比特流来将比特流转换成传输流或具有用于记录的文件格式的数据(文件数据)，该传输流是具有用于传输的格式的比特流。当然，还可以通过多路分离来执行其逆转换。

网络接口1519是用于例如宽带调制解调器1333、连接件1321(它们中的每一个均在图37中示出)等的接口。视频接口1520是用于例如连接件1321、相机1322(它们中的每一个均在图37中示出)等的接口。

接下来，将描述如上所述的视频处理器1332的操作示例。例如，当经由连接件1321、宽带调制解调器1333(它们中的每一个均在图37中示出)等从外部网络接收传输流时，经由网络接口1519将传输流供给至多路复用/多路分离部(muxdmux)1518，并且传输流被多路分离，然后被编解码器引擎1516解码。通过编解码器引擎1516的解码而获得的影像数据例如经受影像处理引擎1514的预定影像处理，经受显示引擎1513的预定转换，并且经由显示接口1512被供给至例如连接件1321(图37)等，使得其影像显示在监视器上。此外，例如，通过编解码器引擎1516的解码而获得的影像数据被编解码器引擎1516再次编码，被多路复用/多路分离部(muxdmux)1518多路复用并转换成文件数据，经由视频接口1520被输出至例如连接件1321(图37)等，并且被记录在各种记录介质上。

此外，例如，经由视频接口1520将编码数据的文件数据供给至多路复用/多路分离部(muxdmux)1518，并且文件数据被多路分离，然后被编解码器引擎1516解码，在编码数据的文件数据中影像数据被编码并且编码数据的文件数据通过连接件1321(图37)等从记录介质(图中未示出)中读取。通过编解码器引擎1516的解码而获得的影像数据经受影像处理引擎1514的预定影像处理，经受显示引擎1513的预定转换，并且经由显示接口1512被供给至例如连接件1321(图37)等，使得其影像显示在监视器上。此外，例如，通过编解码器引擎1516的解码而获得的影像数据被编解码器引擎1516再次编码，被多路复用/多路分离部(muxdmux)1518多路复用并转换成传输流，经由网络接口1519被供给至例如连接件1321、宽带调制解调器1333(它们中的每一个均在图37中示出)等，并且被传送至图中未示出的另一设备。

应当注意，通过使用例如内部存储器1515或外部存储器1312来执行在视频处理器1332的处理部之间给予和接收影像数据或其他数据。此外，例如，电力管理模块1313控制对控制部1511的电力供给。

在本公开应用于如上所述构造的视频处理器1332的情况下，仅需要将根据上述每个实施例的本公开应用于编解码器引擎1516。换言之，例如，编解码器引擎1516仅需要包括实现根据第一至第三实施例的编码设备或解码设备的功能块。在具有所构造的编解码器引擎1516的情况下，视频处理器1332能够获得与以上参照图1至图31所描述的效果类似的效果。

应当注意，在编解码器引擎1516中，本公开(即根据上述每个实施例的编码设备或解码设备的功能)可以通过硬件如逻辑电路来实现，可以通过软件如嵌入式程序来实现，或者可以通过它们两者来实现。

以上已经描述了视频处理器1332的构造的两个示例，但是视频处理器1332的构造是任意的，并且可以是除上述两个示例以外的其他构造。此外，视频处理器1332可以被构造成一个半导体芯片，还可以被构造成多个半导体芯片。例如，视频处理器1332可以是堆叠多个半导体的三维堆叠lsi。此外，视频处理器1332可以通过多个lsi来实现。

(应用于设备的示例)

可以将视频套组1300合并到处理影像数据的各种设备中。例如，可以将视频套组1300合并到电视设备900(图33)、移动电话920(图34)、记录/再现设备940(图35)、成像设备960(图36)等中。通过在设备中合并视频套组1300，设备能够获得与以上参照图1至图31所描述的效果类似的效果。

应当理解，如果上述视频套组1300的每个构造的部分包括视频处理器1332，则可以将该部分实施为应用本公开的构造。例如，仅可以将视频处理器1332实施为应用本公开的视频处理器。此外，例如，如上所述，可以将由虚线1341指示的处理器、视频模块1311等实施为应用本公开的处理器、模块等。此外，例如，还能够将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314组合以将其实施为应用本公开的视频单元1361。在任意构造的情况下，能够获得与以上参照图1至图31所描述的效果类似的效果。

换言之，与视频套组1300的情况类似，可以将包括视频处理器1332的任意构造合并在处理影像数据的各种设备中。例如，可以将视频处理器1332、由虚线1341指示的处理器、视频模块1311或视频单元1361合并在电视设备900(图33)、移动电话920(图34)、记录/再现设备940(图35)、成像设备960(图36)等中。与视频套组1300的情况类似，通过合并应用本公开的任意构造，这样的设备能够获得与以上参照图1至图31所描述的效果类似的效果。

应当理解，在本说明书中已经描述了下述示例：各种类型的信息被多路复用成编码数据并且从编码侧传送至解码侧。然而，传送那些信息的技术不限于这样的示例。例如，可以在不将那些信息多路复用成编码数据的情况下，将那些信息作为与编码数据相关联的单独数据进行传送或记录。此处，术语“相关联的”意味着包括在比特流中的影像(其可以是影像的部分如片和块)和与该影像对应的信息可以在解码时彼此链接。换言之，可以通过与用于编码数据的传送路径不同的传送路径来传送信息。此外，可以将信息记录在与用于编码数据的记录介质不同的记录介质(或同一记录介质的另一记录区域)上。此外，可以以例如多个帧、一个帧或帧的部分的任意单元将信息和编码数据彼此相关联。

本公开可以应用于用于下述情况的编码设备或解码设备：如在mpeg、h.26x等中，经由如卫星广播、电缆tv、因特网和移动电话等网络介质来接收通过正交变换如离散余弦变换和运动补偿而压缩的比特流，或者在如光盘、磁盘和闪存等存储介质上处理该比特流。

此外，在本说明书中，系统意指多个组成元件(设备、模块(部件)等)的集合，而不管是否所有的组成元件都包括在同一壳体中。因此，容纳在分离的壳体中并且经由网络彼此连接的多个设备是系统，并且在一个壳体中包括多个模块的一个设备也是系统。

此外，本说明书中所描述的效果仅仅是示例性的效果而不是限制性的效果，并且可以产生任何其他效果。

此外，本公开的实施例不限于以上所描述的实施例，并且可以在不偏离本公开的要旨的情况下对其进行不同的修改。

例如，在第一和第二实施例中，可以不固定参考图像列表中所登记的当前图像的图像识别信息的位置。此外，在第一和第三实施例中，在参考图像列表中所设置的当前图像的图像类型可以是strp。

此外，在第二实施例中，如在第三实施例中那样，当前图像的图像识别信息可以不登记在参考图像列表中，而是登记在暂时列表中。

此外，在第三实施例中，如在第二实施例中那样，通过在当前图像的参考图像的类型是intrabc的情况下改变生成预测向量列表的方法，可以提高intrabc和帧间编码被共通化的情况下的编码效率。

此外，例如，本公开可以具有云计算的构造，在云计算中，多个设备共享一个功能并且经由网络来协作以执行处理。

此外，在上述流程图中描述的步骤可以由一个设备来执行，或者可以由多个设备共享和执行。

此外，在一个步骤包括多个处理步骤的情况下，一个步骤中的多个处理步骤可以由一个设备来执行，或者可以由多个设备共享和执行。

本公开还可以具有下面的构造。

(1)一种影像处理设备，包括：

预测向量生成部，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行编码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，预测向量生成部将候选块设置为不可用，并且通过使用参考运动向量生成当前运动向量的预测向量，参考运动向量在生成当前运动向量的预测向量时被参考；以及

差分向量生成部，差分向量生成部生成当前运动向量与由预测向量生成部生成的预测向量之间的差分向量。

(2)根据(1)所述的影像处理设备，还包括：

设置部，设置部将当前块的参考图像的类型设置为长期参考图像。

(3)根据(1)所述的影像处理设备，其中，

在候选块的图像与候选块的参考图像彼此不同的情况下，预测向量生成部确定当前块的参考图像的类型与候选块的参考图像的类型彼此不同。

(4)根据(1)至(3)中的任一项所述的影像处理设备，还包括：

列表创建部，列表创建部将当前块的图像登记在当前块的参考图像的候选的列表的预定位置中。

(5)根据(4)所述的影像处理设备，其中，

预定位置是开头。

(6)根据(4)或(5)所述的影像处理设备，其中，

列表创建部在登记当前块的图像之前，重新排列参考图像的候选在列表中的顺序。

(7)根据(4)或(5)所述的影像处理设备，其中，

列表创建部在登记当前块的图像之后，重新排列除了当前块的图像以外的参考图像的候选在列表中的顺序。

(8)一种用于影像处理设备的影像处理方法，该影像处理方法包括：

预测向量生成步骤，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行编码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，预测向量生成步骤将候选块设置为不可用，并且通过使用参考运动向量生成当前运动向量的预测向量，参考运动向量在生成当前运动向量的预测向量时被参考；以及

差分向量生成步骤，差分向量生成步骤生成当前运动向量与通过预测向量生成步骤的处理而生成的预测向量之间的差分向量。

(9)一种影像处理设备，包括：

预测向量生成部，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行解码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，预测向量生成部将候选块设置成不可用，并且通过使用参考运动向量生成当前运动向量的预测向量，参考运动向量在生成当前运动向量的预测向量时被参考；以及

运动向量生成部，运动向量生成部将当前运动向量与预测向量之间的差分向量和由预测向量生成部生成的预测向量相加，并且生成当前运动向量。

(10)根据(9)所述的影像处理设备，还包括：

设置部，设置部将当前块的参考图像的类型设置为长期参考图像。

(11)根据(9)所述的影像处理设备，其中，

在候选块的图像与候选块的参考图像彼此不同的情况下，预测向量生成部确定当前块的参考图像的类型与候选块的参考图像的类型彼此不同。

(12)根据(9)至(11)中的任一项所述的影像处理设备，还包括：

列表创建部，列表创建部将当前块的图像登记在当前块的参考图像的候选的列表的预定位置中。

(13)根据(12)所述的影像处理设备，其中，

预定位置是开头。

(14)根据(12)或(13)所述的影像处理设备，其中，

列表创建部在登记当前块的图像之前，重新排列参考图像的候选在列表中的顺序。

(15)根据(12)或(13)所述的影像处理设备，其中，

列表创建部在登记当前块的图像之后，重新排列除了当前块的图像以外的参考图像的候选在列表中的顺序。

(16)一种用于影像处理设备的影像处理方法，该影像处理方法包括：

预测向量生成步骤，在对使用画面内的相关性进行预测所使用的当前块的当前运动向量进行解码时，在当前块的参考图像的类型与对应于参考运动向量的候选的候选块的参考图像的类型彼此不同的情况下，预测向量生成步骤将候选块设置成不可用，并且通过使用参考运动向量生成当前运动向量的预测向量，参考运动向量在生成当前运动向量的预测向量时被参考；以及

运动向量生成步骤，运动向量生成步骤将当前运动向量与预测向量之间的差分向量和通过预测向量生成步骤的处理而生成的预测向量相加，并且生成当前运动向量。

附图标记列表

50编码设备

88列表创建部

90预测向量生成部

91差分向量生成部

110解码设备

144预测向量生成部

145运动向量生成部

146列表创建部