图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及图像处理设备和图像处理方法，尤其涉及提高多视点图像编码的编码效率。
背景技术：
最近，把图像信息处理为数字数据，并在把图像信息处理为数字数据的时候，高效地保存或传送所述信息的设备，例如利用诸如离散余弦变换之类的正交变换处理和运动补偿进行压缩的，遵照诸如MPEG(运动图像专家组)之类系统的设备已开始在广播电台和一般家庭中普及。特别地，MPEG-2 (IS0/IEC13818-2)被定义为通用图像编码系统，现在广泛用在专业用途和消费用途的各种应用之中。此外，与MPEG-2编码系统相比，需要更大量的编码和解码计算，但是能够实现更高编码效率的H. 264和MPEG-4Part 10 (下面记为“H. 264/ AVC(高级视频编码)”)图像编码系统已标准化。这种图像编码系统通过降低时间方向和空间方向的冗余性，压缩信息量。例如， 就对其进行意图降低空间冗余性的画面内预测编码的I画面来说，利用像素之间的相关性生成预测图像。就对其进行意图降低时间冗余性的画面间预测编码的P画面来说，以称为前向图像的块单元检测运动向量，并利用检测的运动向量生成预测图像。此外，就B画面来说，以称为前向画面和后向画面的块单元检测运动向量，并利用检测的运动向量生成预测图像。顺便提及，就B画面来说，第一参考画面被称为LO预测的参考画面，第二参考画面被称为Ll预测的参考画面。H. ^4/AVC系统允许从多个已编码画面中选择参考画面。另外，用参考索引管理选择的参考画面。参考索引被用作指示检测的运动向量所涉及的画面，并与指示检测的运动向量的信息一起被编码。0以上的数值被设定为参考索引。另外，参考索引的数值越小，在参考索引的编码之后的信息量(代码量)越小。此外，可以随意向参考画面分配参考索引。从而，向大量的运动向量所涉及的参考画面分配较小数目的参考索引，能够减少当编码参考索引时的代码量，从而提高编码效率。另外，在日本专利公开No. 2010-63092中，当对隔行扫描系统的2D图像进行场编码时，向时间上接近编码对象画面的参考画面分配小数值的参考索引。

发明内容
在帧连续(FS) -AVC和多视点视频编码(MVC)中，不仅进行利用时间方向的图像之间的相关性的时间预测，而且进行利用不同视点的图像之间的相关性的视差预测。图1表示当编码三个视点的移动图像数据时的预测参考关系。顺便提及，假定 CamO表示左侧的视点的图像数据，Caml表示中央视点的图像数据，Cam2表示右侧的视点的图像数据。另外，假定Caml的图像数据是利用CamO和Cam2的图像数据作为参考画面的图像数据编码的从属视图的图像数据。此外，当编码从属视图的图像数据时所涉及的图像数据被称为基本视图的图像数据。另夕卜，Caml的图像数据中的B画面把在前向预测中所涉及的Caml的P画面和在视差预测中所涉及的CamO的Bs画面之一设定为LO预测(ListJ))中的参考画面，如点划线箭头所示。另外，所述B画面把在后向预测中所涉及的Caml的P画面和在视差预测中所涉及的Cam2的Bs画面之一设定为Ll预测(List_l)中的参考画面，如虚线箭头所示。LIST_X(X为0或1)中可用的两个画面是用参考索引ref_idx的编号管理的，并被赋予0以上的值。另外，参考索引ref_idx是变长编码的，包括在编码之后的图像数据中。顺便提及，图1图解说明参考索引ref_idx = 0被分配给时间预测用参考画面，参考索引refjdx = 1被分配给视差预测用参考画面。另外，参考索引ref_idx的变长编码使参考索引ref_idx = 0的代码长度短于参考索引ref_idx = 1的代码长度。这种参考索引的分配通常在整个序列内是固定的。从而，在作为从属视图的Caml 的图像数据的编码中，当频繁使用代码长度较长的参考索引的参考画面时，参考索引的信息量增大，从而不能获得高的编码效率。从而，理想的是提供一种能够提高多视点图像的编码中的编码效率的图像处理设备和图像处理方法。按照本发明的第一实施例，提供一种图像处理设备，包括用于生成特征量的特征量生成部分，所述特征量用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准；和参考索引分配部分，所述参考索引分配部分根据特征量生成部分生成的特征量，向在预测中使用的参考画面分配参考索引。在这种技术中，用通过预测获得的信息，或者例如运动向量和视差向量，或编码对象块和参考块之间的误差，生成用作判定利用时间方向的图像之间的相关性的时间预测， 和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准的特征量。根据特征量，在占优势的预测中使用的参考画面被分配代码长度比分配给在另一种预测中使用的参考画面的参考索引短的参考索引。另外，进行图像切换位置的检测，例如，场景变化的检测，或者从多视点图像到另一个图像的图像切换的检测。当检测到场景变化时，或者检测到从多视点图像到另一个图像的切换时，在视差预测中使用的参考画面被分配代码长度比分配给在时间预测中使用的参考画面的参考索引短的参考索引。此外，如果在LO预测和Ll预测的每个中，用于时间预测和视差预测的参考画面都被分配参考索引，那么在时间预测和视差预测每个之中分配相同的参考索引。按照本发明的第二实施例，提供一种图像处理方法，包括生成特征量，所述特征量用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准；和根据生成的特征量，向在预测中使用的参考画面分配参考索引。按照本发明，生成用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准的特征量，根据特征量，向在预测中使用的参考画面分配参考索引。例如，在占优势的预测中使用的参考画面被分配代码长度比分配给在另一种预测中使用的参考画面的参考索引短的参考索引。从而，能够减少参考索引的代码量，能够提高多视点图像的编码中的编码效率。


图1是表示当编码三视点的运动图像数据时的预测参考关系的示图
图2是表示编码系统的结构例子的示图3是表示第一实施例的结构的示图4是表示第一实施例的操作的流程图5是表示第二实施例的结构的示图6是图解说明使用复杂度作为特征量的情况的示图7是表示第二实施例的操作的流程图8是表示第三实施例的结构的示图9是表示第三实施例的操作的流程图10是表示第四实施例的结构的示图11是表示第四实施例的操作的流程图12是图解说明计算机设备的结构的示图。
具体实施例方式下面说明本发明的优选实施例。顺便提及，将按照下述顺序进行说明。1.编码系统的结构的例子2.第一实施例(在预处理中生成特征量的情况)3.第二实施例(使用反馈信息作为特征量的情况)4.第三实施例(使用场景变化检测结果作为特征量的情况)5.第四实施例(使用2D图像检测结果作为特征量的情况)6.第五实施例(考虑双向预测的情况)7.在用软件处理进行图像编码的情况下的结构<1.编码系统的结构的例子〉图2是表示应用本发明的编码系统的结构的例子的示图。编码系统10具有左视点图像生成设备11L，右视点图像生成设备11R，中央视点图像生成设备11C，和多视点编码设备20。左视点图像生成设备IlL是生成左视点图像的图像数据的成像设备或图像数据生成设备。右视点图像生成设备IlR是生成右视点图像的图像数据的成像设备或图像数据生成设备。中央视点图像生成设备IlC是生成中央视点图像的图像数据的成像设备或图像数据生成设备。左视点图像生成设备11L，右视点图像生成设备IlR和中央视点图像生成设备IlC彼此同步工作。多视点编码设备20被供给左视点图像生成设备IlL生成的左视点图像的图像数据，右视点图像生成设备IlR生成的右视点图像的图像数据，和中央视点图像生成设备IlC 生成的中央视点图像的图像数据。多视点编码设备20对左视点图像的图像数据，右视点图像的图像数据和中央视点图像的图像数据编码，多路复用作为结果的编码数据，并以一个比特流的形式输出多路复用数据。多视点编码设备20具有对作为基本视图的图像数据，从左视点图像生成设备IlL 输入的左视点图像的图像数据编码的图像处理设备。另外，多视点编码设备20具有对作为基本视图的图像数据，从右视点图像生成设备IlR输入的右视点图像的图像数据编码的图像处理设备。此外，多视点编码设备20具有按照本发明的对作为从属视图的图像数据，从中央视点图像生成设备IlC输入的中央视点图像的图像数据编码的图像处理设备。顺便提及，对基本视图的图像数据进行时间预测，而不利用另一个视点的图像作为参考画面，对从属视图的图像数据进行时间预测和利用基本视图的图像作为参考画面的视差预测。<2.第一实施例>下面说明按照本发明的图像处理设备。顺便提及，在本实施例和后面说明的其它实施例中，将说明每个视点的图像数据独立，对从属视图的图像数据编码的图像处理设备从对基本视图的图像数据编码的图像处理设备获得用于视差预测等的参考画面的图像数据的情况。在第一实施例中，当编码从属视图的图像数据时，生成特征量，所述特征量被用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像内占优势的判定标准。此外，参考索引的分配是根据生成的特征量确定的。另外，第一实施例举例说明通过对编码对象画面进行预处理，生成特征量的情况。[第一实施例的结构]图3表示第一实施例的结构。图像编码设备20dv_l是对从属视图的图像数据编码的图像处理设备。图像编码设备20dv-l包括模数转换部分(A/D转换部分)21，画面重排缓冲器22，减法部分23，正交变换部分M，量化部分25，可逆编码部分沈，存储缓冲器27，和速率控制部分观。图像编码设备20dv-l还包括逆量化部分31，逆正交变换部分32，加法部分33，去块滤波器34和帧存储器35。图像编码设备20dv-l还包括特征量生成部分41_1， 参考索引分配部分45-1，帧内预测部分51，运动和视差预测补偿部分52，及预测图像和最佳模式选择部分53。A/D转换部分21把模拟图像信号转换成数字图像数据，并把数字图像数据输出给画面重排缓冲器22。画面重排缓冲器22重排从A/D转换部分21输出的各帧图像数据。画面重排缓冲器22按照编码处理中涉及的GOP (画面组)结构，重排各帧，并把重排后的图像数据输出给减法部分23，特征量生成部分41-1，帧内预测部分51，及运动和视差预测补偿部分52。减法部分23被供给从画面重排缓冲器22输出的图像数据，和由后面说明的预测图像和最佳模式选择部分53选择的预测图像数据。减法部分23计算指示从画面重排缓冲器22输出的图像数据，与从预测图像和最佳模式选择部分53供给的预测图像数据之间的差的预测误差数据。减法部分23把预测误差数据输出给正交变换部分M。正交变换部分M对从减法部分23输出的预测误差数据进行正交变换处理，比如离散余弦变换(DCT) ,Karhunen-Loeve变换等等。正交变换部分M把通过进行正交变换处理而获得的变换系数数据输出给量化部分25。量化部分25被供给从正交变换部分M输出的变换系数数据，和来自后面说明的速率控制部分观的速率控制信号。量化部分25量化变换系数数据，并把量化数据输出给可逆编码部分26和逆量化部分31。另外，量化部分25根据来自速率控制部分观的速率控制信号，改变量化参数(量化位阶)，从而改变量化数据的比特率。可逆编码部分沈被供给从量化部分25输出的量化数据，和来自后面说明的帧内预测部分51，运动和视差预测补偿部分52，及预测图像和最佳模式选择部分53的预测模式信息。顺便提及，预测模式信息包括指示编码对象块的块大小的宏块类型，预测模式，参考索引等等。可逆编码部分26利用变长编码或算术编码，对量化数据进行编码处理，从而生成编码流，并把编码流输出给存储缓冲器27。另外，可逆编码部分沈可逆地编码预测模式信息，并把编码的预测模式信息添加到例如编码流的报头信息中。存储缓冲器27保存来自可逆编码部分沈的编码流。另外，存储缓冲器27以对应于传输线路的传输速度输出保存的编码流。速率控制部分观监视存储缓冲器27的自由空间，按照自由空间生成速率控制信号，并把速率控制信号输出给量化部分25。例如，速率控制部分观从存储缓冲器27获得指示自由空间的信息。当自由空间减少时，速率控制部分观根据速率控制信号，使量化数据的比特率降低。当存储缓冲器27具有足够大的自由空间时，速率控制部分观根据速率控制信号，使量化数据的比特率升高。逆量化部分31对从量化部分25供给的量化数据进行逆量化处理。逆量化部分31 把通过进行逆量化处理而获得的变换系数数据输出给逆正交变换部分32。逆正交变换部分32把通过对从逆量化部分31供给的变换系数数据进行逆正交变换处理而获得的数据输出给加法部分33。加法部分33通过相加从逆正交变换部分32供给的数据，和从预测图像和最佳模式选择部分53供给的预测图像数据，生成参考画面的图像数据。加法部分33把图像数据输出给去块滤波器34和帧内预测部分51。去块滤波器34进行滤波处理，以减少在图像编码时发生的块失真。去块滤波器34 进行滤波处理，以从供给自加法部分33的图像数据中消除块失真。去块滤波器34把滤波处理后的图像数据输出给帧存储器35。帧存储器35保持从去块滤波器34供给的滤波处理之后的图像数据，和从进行基本视图的编码的图像编码设备20bv供给的参考画面的图像数据。特征量生成部分41-1生成特征量。特征量是用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像内占优势，即，在编码从属视图的图像数据时，更频繁进行所述时间预测和视差预测中的哪一个的判定标准的信息。特征量生成部分41-1用通过进行时间预测和视差预测而获得的信息生成特征量。特征量生成部分41-1利用参考画面，检测每个编码对象块的运动向量和视差向量，并把检出向量的长度的图像内平均值或方差设定为特征量。例如，特征量生成部分41-1 把从画面重排缓冲器22输出的图像数据中，在时间方向上不同于编码对象画面的图像的图像数据设定为将用在时间预测中的参考画面的图像数据。特征量生成部分41-1通过利用时间预测用参考画面，检测每个编码块的运动向量，并把所检出运动向量的长度的图像内平均值或方差设定为特征量。另外，特征量生成部分41-1把从图像编码设备20dv供给的另一个视点的图像数据设定为将用在视差预测中的参考画面的图像数据。特征量生成部分41-1通过利用视差预测用参考画面，检测每个编码对象块的视差向量，并把所检出视差向量的长度的图像内平均值或方差设定为特征量。特征量生成部分41-1还可把当检测运动向量或视差向量时，编码对象画面的块 (编码对象块)和参考画面的块(参考块)之间的误差的图像内合计值(例如SAD 绝对差值和)或者平均值设定为特征量。例如，特征量生成部分41-1通过把从画面重排缓冲器22 输出的图像数据用作将用在时间预测中的参考画面的图像数据，检测每个编码对象块的运动向量。特征量生成部分41-1把当检测运动向量时，编码对象块和参考块之间的误差的图像内合计值或平均值设定为特征量。另外，特征量生成部分41-1利用从图像编码设备20dv 供给的另一个视点的图像数据，检测每个编码对象块的视差向量。特征量生成部分41-1把当检测视差向量时，编码对象块和参考块之间的误差的图像内合计值或平均值设定为特征量。特征量生成部分41-1从而生成特征量，并把生成的特征量输出给参考索引分配部分45-1。根据在特征量生成部分41-1中生成的特征量，参考索引分配部分45-1向保存在帧存储器35中的参考画面分配参考索引。根据特征量，参考索引分配部分45-1向在占优势的预测中使用的参考画面，分配代码长度比分配给在另一种预测中使用的参考画面的参考索引短的参考索引。当生成向量(运动向量和视差向量)的图像内平均值作为特征量时，参考索引分配部分45-1比较当使用时间预测用参考画面时的平均值，和当使用视差预测用参考画面时的平均值。参考索引分配部分45-1向平均值较小的参考画面分配代码长度较短的参考索引。另外，当生成向量的图像内方差作为特征量时，参考索引分配部分45-1比较当使用时间预测用参考画面时的方差，和当使用视差预测用参考画面时的方差。参考索引分配部分45-1向方差较小的参考画面分配代码长度较短的参考索引。此外，当生成参考块和编码对象画面的每个块之间的误差作为特征量时，参考索引分配部分45-1比较当使用时间预测用参考画面时的误差，和当使用视差预测用参考画面时的误差。参考索引分配部分45-1 向误差较小的参考画面分配代码长度较短的参考索引。帧内预测部分51利用从画面重排缓冲器22输出的编码对象画面的图像数据，和从加法部分33供给的图像数据，按作为候选者的所有帧内预测模式进行帧内预测处理。此外，帧内预测部分51计算每种帧内预测模式的成本函数值，并选择计算的成本函数值最小的帧内预测模式，即，获得最佳的编码效率的帧内预测模式，作为最佳帧内预测模式。帧内预测部分51把用最佳帧内预测模式生成的预测图像数据，关于最佳帧内预测模式的预测模式信息，和最佳帧内预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。 另外，为了获得在成本函数值的计算中使用的生成代码量，在按每种帧内预测模式的帧内预测处理中，帧内预测部分51把关于帧内预测模式的预测模式信息输出给可逆编码部分 26。顺便提及，在成本函数值的生成方面，可以列举用称为JM(联合模型)的HJ64/AVC参考软件实现的方法。运动和视差预测补偿部分52对编码对象块的每个块大小，进行运动和视差预测补偿处理。对于从画面重排缓冲器22读出的图像中的每个编码对象块的每个图像，运动和视差预测补偿部分52利用从帧存储器35读取的去块滤波处理之后的图像数据，检测运动向量，并利用基本视图的图像数据，检测视差向量。此外，运动和视差预测补偿部分52根据检出的向量，进行参考画面补偿处理，从而生成预测图像。另外，运动和视差预测补偿部分52生成编码对象块的每个块大小和每个参考画面的成本函数值，并选择使成本函数值最小的块大小和参考画面作为最佳帧间预测模式。 运动和视差预测补偿部分52把按最佳帧间预测模式生成的预测图像数据，关于最佳帧间预测模式的预测模式信息，和最佳帧间预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。另外，为了获得在成本函数值的生成中使用的生成代码量，在每个块大小的帧间预测处理中，运动和视差预测补偿部分52把关于帧间预测模式的预测模式信息输出给可逆编码部分26。预测图像和最佳模式选择部分53比较从帧内预测部分51供给的成本函数值，和从运动和视差预测补偿部分52供给的成本函数值，并选择较小的成本函数值作为其中获得最佳编码效率的最佳模式。另外，预测图像和最佳模式选择部分53把按最佳模式生成的预测图像数据输出给减法部分23和加法部分33。此外，预测图像和最佳模式选择部分53 把最佳模式的预测模式信息(宏块类型，预测模式，参考索引等等)输出给可逆编码部分 26。顺序提及，预测图像和最佳模式选择部分53以画面为单位，或者以切片为单位进行帧内预测或帧间预测。顺便提及，当其中以帧为单位切换不同视点的图像的帧连续-AVC系统的图像数据被编码时，特征量生成部分41-1利用其图像数据提取自输入图像数据的另一个视点的图像数据，生成特征量。另外，其图像数据提取自输入图像数据的其他视点的图像数据， 或者通过对其他视点的图像数据编码而生成的参考画面的图像数据被保存在帧存储器35 中。通过进行这样的处理，也可编码FS(帧连续)系统的图像数据。[第一实施例的操作]图4是表示第一实施例的操作的流程图。在步骤ST1，图像编码设备20dv_l判定编码对象画面是否是从属视图的画面。当编码对象画面是从属视图的画面时，图像编码设备20dv-l进入步骤ST2，当编码对象画面是基本视图的画面时，图像编码设备20dv-l进入步骤STll。在步骤ST2，图像编码设备20dv_l判定编码对象画面是否涉及视差或时间的多个平面。当编码对象画面涉及视差和/或时间的多个平面时，图像编码设备20dv-l进入步骤 ST6。当编码对象画面只涉及一个参考画面时，图像编码设备20dv-l进入步骤ST11。在步骤ST6，图像编码设备20dv_l生成特征量。图像编码设备20dv_l中的特征量生成部分41-1生成利用不同视点的参考画面，对于每个块检测的视差向量的图像内平均值，和利用时间方向的参考画面，对于每个块检测的运动向量的图像内平均值，并把这些平均值设定为特征量。另外，特征量生成部分41-1可把图像内的向量的方差设定为特征量。 此外，特征量生成部分41-1可对每个块进行时间预测和视差预测，并生成编码对象块和参考块之间的误差的图像内合计值或平均值，作为特征量。特征量生成部分41-1如此生成特征量，随后进入步骤ST7。在步骤ST7，图像编码设备20dv_l确定参考索引分配方法。图像编码设备20dv_l 中的参考索引分配部分45-1根据在步骤ST6中生成的特征量，确定参考索引分配方法，随后进入步骤ST8。参考索引分配部分45-1确定分配方法，以致向当计算平均值较小或者方差较小的向量时使用的参考画面分配代码长度较短的参考索引。另外，参考索引分配部分 45-1确定分配方法，以致向在时间预测和视差预测之中的误差较小者中使用的参考画面分配代码长度较短的参考索引。在步骤ST8，图像编码设备20dv_l判定是否需要改变分配方法。当在步骤ST7中确定的分配方法不同于当前分配方法时，图像编码设备20dv-l进入步骤ST9。当在步骤ST7 中确定的分配方法和当前分配方法相同时，图像编码设备20dv-l进入步骤ST10。在步骤ST9，图像编码设备20dv_l发出RPLR(参考画面列表重排序)命令。图像编码设备20dv-l中的参考索引分配部分45-1发出RPLR命令，以致即使当参考索引的分配被改变时，图像解码设备也能够根据参考索引，使用正确的参考画面。具体地说，参考索引分配部分45-1把RPLR作为语法元素提供给可逆编码部分沈，以把RPLR包括在例如图像数据的编码流的报头中，随后进入步骤ST10。在步骤ST10，图像编码设备20dv_l执行对编码对象画面编码的处理。另外，在编码处理中，参考索引分配部分45-1用在步骤ST7中确定的关于后续画面的分配方法，设定参考索引。在步骤ST11，图像编码设备20dv_l用预先设定的分配方法分配参考索引，并在编码对象画面是基本视图的画面时，和当编码对象画面涉及一个参考画面时，进行编码处理。 例如，如图1中所示，参考索引ref_idx = 0被分配给时间预测用参考画面，参考索引ref_ idx= 1被分配给视差预测用参考画面。另外，当编码对象画面是基本视图的画面时，在整个序列内，参考索引分配是固定的。对每个编码画面重复这样的处理。按照第一实施例，当在对于从属视图的编码处理中，进行时间预测或视差预测时， 能够向在频繁执行的预测方式中使用的参考画面分配代码长度较短的参考索引。于是能够提高从属视图的编码效率。<3.第二实施例>在第一实施例中，说明了利用对编码对象画面的预处理，生成特征量的情况。在第二实施例中，将说明把在预测图像的生成过程中生成的信息用作特征量来分配参考索引的情况。[第二实施例的结构]图5表示第二实施例的结构。顺便提及，与按照第一实施例的图像编码设备 20dv-l对应的部分用相同的附图标记识别。图像编码设备20dv_2是对从属视图的图像数据编码的图像处理设备。图像编码设备20dv-2包括模数转换部分(A/D转换部分)21，画面重排缓冲器22a，减法部分23，正交变换部分24，量化部分25，可逆编码部分沈，存储缓冲器27，和速率控制部分观。图像编码设备20dv-2还包括逆量化部分31，逆正交变换部分32，加法部分33，去块滤波器34和帧存储器35。图像编码设备20dv-2还包括特征量生成部分41-2，参考索引分配部分45_2，帧内预测部分51，运动和视差预测补偿部分52a，及预测图像和最佳模式选择部分53。A/D转换部分21把模拟图像信号转换成数字图像数据，并把数字图像数据输出给画面重排缓冲器22a。画面重排缓冲器2 重排从A/D转换部分21输出的各帧图像数据。画面重排缓冲器2 按照编码处理中涉及的G0P(画面组)结构，重排各帧，并把重排后的图像数据输出给减法部分23，帧内预测部分51，及运动和视差预测补偿部分52a。减法部分23被供给从画面重排缓冲器2 输出的图像数据，和由后面说明的预测图像和最佳模式选择部分53选择的预测图像数据。减法部分23计算指示从画面重排缓冲器2 输出的图像数据，与从预测图像和最佳模式选择部分53供给的预测图像数据之间的差的预测误差数据。减法部分23把预测误差数据输出给正交变换部分M。正交变换部分M对从减法部分23输出的预测误差数据进行正交变换处理，比如离散余弦变换(DCT) ,Karhunen-Loeve变换等等。正交变换部分M把通过进行正交变换处理而获得的变换系数数据输出给量化部分25。量化部分25被供给从正交变换部分M输出的变换系数数据，和来自后面说明的速率控制部分观的速率控制信号。量化部分25量化变换系数数据，并把量化数据输出给可逆编码部分26和逆量化部分31。另外，量化部分25根据来自速率控制部分观的速率控制信号，改变量化参数(量化位阶)，从而改变量化数据的比特率。可逆编码部分沈被供给从量化部分25输出的量化数据，和来自后面说明的帧内预测部分51，运动和视差预测补偿部分52a，及预测图像和最佳模式选择部分53的预测模式信息。顺便提及，预测模式信息包括指示编码对象块的块大小的宏块类型，预测模式，参考索引等等。可逆编码部分26利用变长编码或算术编码，对量化数据进行编码处理，从而生成编码流，并把编码流输出给存储缓冲器27。另外，可逆编码部分沈可逆地编码预测模式信息，并把编码的预测模式信息添加到例如编码流的报头信息中。存储缓冲器27保存来自可逆编码部分沈的编码流。另外，存储缓冲器27以对应于传输线路的传输速度输出保存的编码流。速率控制部分观监视存储缓冲器27的自由空间，按照自由空间生成速率控制信号，并向量化部分25输出速率控制信号。例如，速率控制部分观从存储缓冲器27获得指示自由空间的信息。当自由空间减少时，速率控制部分观根据速率控制信号，使量化数据的比特率降低。当存储缓冲器27具有足够大的自由空间时，速率控制部分观根据速率控制信号，使量化数据的比特率升高。逆量化部分31对从量化部分25供给的量化数据进行逆量化处理。逆量化部分31 把通过进行逆量化处理而获得的变换系数数据输出给逆正交变换部分32。逆正交变换部分32把通过对从逆量化部分31供给的变换系数数据进行逆正交变换处理而获得的数据输出给加法部分33。加法部分33通过相加从逆正交变换部分32供给的数据，和从预测图像和最佳模式选择部分53供给的预测图像数据，生成参考画面的图像数据。加法部分33把图像数据输出给去块滤波器34和帧内预测部分51。去块滤波器34进行滤波处理，以减少在图像编码时发生的块失真。去块滤波器34 进行滤波处理，以从供给自加法部分33的图像数据中消除块失真。去块滤波器34把滤波处理后的图像数据输出给帧存储器35。帧存储器35保持从去块滤波器34供给的滤波处理之后的图像数据，和从进行基本视图的编码的图像编码设备20bv供给的参考画面的图像数据。特征量生成部分41-2生成特征量。特征量是用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像内占优势，即，在编码从属视图的图像数据时，更频繁进行所述时间预测和视差预测中的哪一个的判定标准的信息。特征量生成部分41-2用通过进行运动和视差预测补偿而获得的信息生成特征量。特征量生成部分41-2把用运动和视差预测检测的运动向量和视差向量的长度的图像内平均值或方差，和/或当检测运动向量(视差向量)时，编码对象块和参考块之间的误差的图像内合计值或平均值设定为特征量。另外，特征量生成部分41-2可把成本函数值，图像复杂度，指示编码画面中的参考索引的比例的统计量等之一设定为特征量。当向量的长度的图像内平均值或方差被用作特征量时，特征量生成部分41-2利用为在运动和视差预测补偿部分52a中进行时间预测而检测的每个块的运动向量，计算所述平均值或方差。另外，特征量生成部分41-2利用为在运动和视差预测补偿部分52a中进行视差预测而检测的每个块的视差向量，计算图像内的视差向量的长度的平均值或方差， 并把所述平均值或方差设定为特征量。顺便提及，对于每个宏块或预测模式的每个块大小检测的运动向量(视差向量)被用作运动向量(视差向量)。当编码对象块和参考块之间的误差被用作特征量时，特征量生成部分41-2使用当在运动和视差预测补偿部分52a中，用利用时间预测用参考画面的运动检测，检测运动向量时，编码对象块和参考块之间的误差。另外，特征量生成部分41-2把当在运动和视差预测补偿部分52a中，利用视差预测用参考画面检测视差向量时，编码对象块和参考块之间的误差的屏幕内合计值设定为特征量。当成本函数值被用作特征量时，特征量生成部分41-2把当在运动和视差预测补偿部分52a中进行时间预测时的成本函数值的图像内合计值或平均值，和当在运动和视差预测补偿部分52a中进行视差预测时的成本函数值的图像内合计值或平均值设定为特征量。当编码画面的复杂度被用作特征量时，特征量生成部分41-2根据等式(1)-(3)， 计算编码画面的复杂度，并把编码画面的复杂度设定为特征量。Xi = SiQi . . . (1)Xp = SpQp . . . (2)Xb = SbQb . . . (3)在等式(1)中，Si表示I画面的生成代码量，Qi表示在I画面的编码时的平均量化位阶代码(量化参数)。类似地，在等式0)-(3)中，Sp和Sb表示P画面和B画面的生成代码量，Qp和Qb表示在P画面和B画面的编码时的平均量化位阶代码(量化参数)。另外，假定在从属视图的画面中，使用基本视图的I画面作为单一参考画面的P画面的复杂度为 XpcL当指示参考索引的比例的统计量被用作特征量时，特征量生成部分41-2计算指示对画面类型与编码对象画面相同的编码画面的每个块设定的参考索引的比例的统计量， 并把所述统计量设定为特征量。特征量生成部分41-2从而生成特征量，并把生成的特征量输出给参考索引分配部分45-2。根据在特征量生成部分41-2中生成的特征量，参考索引分配部分45-2向保存在帧存储器35中的参考画面分配参考索引。根据特征量，参考索引分配部分45-2向在占优势的预测中使用的参考画面分配代码长度比分配给在另一种预测中使用的参考画面的参考索引短的参考索引。当生成向量的图像内平均值作为特征量时，参考索引分配部分45-2比较当使用时间预测用参考画面时的平均值，和当使用视差预测用参考画面时的平均值。参考索引分配部分45-2向平均值较小的参考画面分配代码长度较短的参考索引。另外，当生成向量的图像内方差作为特征量时，参考索引分配部分45-2比较当使用时间预测用参考画面时的方差，和当使用视差预测用参考画面时的方差。参考索引分配部分45-2向方差较小的参考画面分配代码长度较短的参考索引。另外，当对于每个编码对象块生成误差，作为特征量时，参考索引分配部分45-2比较当使用时间预测用参考画面时的误差，和当使用视差预测用参考画面时的误差。参考索引分配部分45-2向误差较小的参考画面分配代码长度较短的参考索引。另外，当生成成本函数值作为特征量时，参考索引分配部分45-2比较当使用时间预测用参考画面时的成本函数值，和当使用视差预测用参考画面时的成本函数值。参考索引分配部分45-2向成本函数值较小的参考画面分配代码长度较短的参考索引。此外，当生成复杂度作为特征量时，参考索引分配部分45-2按照时间复杂度之间的比率与视差间复杂度之间的比率的比较结果，分配参考索引。如图6中所示，复杂度之间的比率(Xi/Xp)和复杂度之间的比率(XiAb)指示时间难度，复杂度之间的比率(Xi/Xpd) 指示视差间难度。顺便提及，复杂度Xi指示I画面(Ibl)的复杂度；复杂度Xp指示P画面 (Pbl)的复杂度；复杂度胁指示B画面(Bsbl)的复杂度；和复杂度Xpd指示P画面(Pdvl) 的复杂度。从而，参考索引分配部分45-2比较时间难度和视差间难度，并向复杂度较低的参考画面分配代码长度较短的参考索引。例如，在把复杂度Xp的P画面0 和复杂度Xpd 的P画面(Pdvl)作为参考画面的P画面(Pdv3)被编码的情况下，当比率(Xi/Xpd)高于比率(Xi/Xp)时，认为复杂度Xpd低于复杂度Xp。例如假设关于P画面(Pdv3)的视差预测在难度方面与关于P画面(Pdvl)的视差预测相同，和关于P画面(PdU)的时间预测在难度方面与关于P画面(Pb3)的时间预测相同。这种情况下，估计与当使用时间预测时相比，当使用视差预测时，P画面(PdU)的复杂度较低。从而，参考索引分配部分45-2向用于视差预测的参考画面分配代码长度较短的参考索引。另外，就B画面(BdW)来说，可根据比率 (Xi/Xpd)和比率(XiAb)，像在P画面(Pdv3)的情况下一样地按照复杂度分配参考索引。 例如，当复杂度Xpd低于复杂度胁时，参考索引分配部分45-2向用于视差预测的参考画面分配代码长度较短的参考索引。此外，当指示参考索引的比例的统计量被用作特征量时，参考索引分配部分45-2 向在比例较高的预测中使用的参考画面分配代码长度较短的参考索引。例如，当在编码对象画面的图像内，指示在时间预测中使用的参考画面的参考索引的比例高于在视差预测中使用的参考画面的比例，参考索引分配部分45-2向在时间预测中使用的参考画面分配代码长度较短的参考索引。帧内预测部分51利用从画面重排缓冲器2 输出的编码对象画面的图像数据，和从加法部分33供给的图像数据，按作为候选者的所有帧内预测模式进行帧内预测处理。此外，帧内预测部分51计算每种帧内预测模式的成本函数值，并选择计算的成本函数值最小的帧内预测模式，即，获得最佳编码效率的帧内预测模式，作为最佳帧内预测模式。帧内预
14测部分51把用最佳帧内预测模式生成的预测图像数据，关于最佳帧内预测模式的预测模式信息，和最佳帧内预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。另外，为了获得在成本函数值的计算中使用的生成代码量，在按每种帧内预测模式的帧内预测处理中，帧内预测部分51把关于帧内预测模式的预测模式信息输出给可逆编码部分26。 顺便提及，在成本函数值的计算方面，可以列举用称为JM(联合模型)的H. 264/AVC参考软件实现的方法。运动和视差预测补偿部分5 对编码对象块的每个块大小，进行运动和视差预测补偿处理。对于从画面重排缓冲器2 读出的图像中的每个编码对象块的每个图像，运动和视差预测补偿部分5 利用从帧存储器35读取的去块滤波处理之后的图像数据和基本视图的图像数据，检测运动向量和视差向量。此外，运动和视差预测补偿部分5 根据检出的运动向量和检出的视差向量，进行参考画面补偿处理，从而生成预测图像。另外，运动和视差预测补偿部分5 计算编码对象块的每个块大小和每个参考画面的成本函数值，并选择使成本函数值最小的块大小和参考画面作为最佳帧间预测模式。 运动和视差预测补偿部分5 把按最佳帧间预测模式生成的预测图像数据，关于最佳帧间预测模式的预测模式信息，和最佳帧间预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。另外，为了获得在成本函数值的计算中使用的生成代码量，在每个块大小的帧间预测处理中，运动和视差预测补偿部分5 把关于帧间预测模式的预测模式信息输出给可逆编码部分26。此外，运动和视差预测补偿部分5 把用于生成特征量的信息输出给特征量生成部分41-2。用于生成特征量的信息是检出的运动向量和检出的视差向量，或者当检测运动向量和视差向量时，编码对象块和参考块之间的误差。另外，成本函数值，生成代码量和量化位阶代码，与按最佳帧间预测模式进行时间预测和视差预测的各个块有关的信息等等可用作用于生成特征量的信息。预测图像和最佳模式选择部分53比较从帧内预测部分51供给的成本函数值，和从运动和视差预测补偿部分5 供给的成本函数值，并选择较小的成本函数值作为其中获得最佳编码效率的最佳模式。另外，预测图像和最佳模式选择部分53把按最佳模式生成的预测图像数据输出给减法部分23和加法部分33。此外，预测图像和最佳模式选择部分53 把最佳模式的预测模式信息(宏块类型，预测模式，参考索引等等)输出给可逆编码部分 26。顺便提及，预测图像和最佳模式选择部分53以画面为单位，或者以切片为单位进行帧内预测或帧间预测。顺便提及，当帧连续-AVC系统的图像数据被编码时，特征量生成部分41-2利用当在运动和视差预测补偿部分52a中生成从属视图的图像数据的预测图像时的信息，生成特征量。另外，其图像数据提取自输入图像数据的另一个视点的图像数据，或者通过对另一个视点的图像数据编码而生成的参考画面的图像数据被保存在帧存储器35中。通过进行这样的处理，也可编码帧连续-AVC系统的图像数据。[第二实施例的操作]图7是表示第二实施例的操作的流程图。在步骤ST21，图像编码设备20dv_2判定编码对象画面是否是从属视图的画面。当编码对象画面是从属视图的画面时，图像编码设备20dv-2进入步骤ST22，当编码对象画面是基本视图的画面时，图像编码设备20dv-2进入步骤ST28。在步骤ST22，图像编码设备20dv_2判定编码对象画面是否涉及视差或时间的多个平面。当编码对象画面涉及视差和/或时间的多个平面时，图像编码设备20dv-2进入步骤ST23。当编码对象画面只涉及一个参考画面时，图像编码设备20dv-2进入步骤ST28。例如，在图6的从属视图的图像数据中，第一 P画面只使用基本视图的图像数据的I画面作为参考画面，于是，图像编码设备20dv-2进入步骤SD8。在第一 P画面之后的B画面和P画面使用多个参考画面，于是，图像编码设备20dv-2进入步骤ST23。在步骤ST23，图像编码设备20dv_2确定参考索引分配方法。图像编码设备20dv_2 中的参考索引分配部分45-2根据在已关于编码对象画面执行的编码处理中生成的信息， 确定参考索引分配方法，随后进入步骤STM。参考索引分配部分45-2确定分配方法，以致向由其获得向量的长度的较小平均值或较小方差的参考画面，或者在时间预测或视差预测中，由其获得较小误差的参考画面，分配代码长度较短的参考索引。另外，参考索引分配部分45-2确定分配方法，以致向从其获得较小成本函数值的参考画面分配代码长度较短的参考索引。在步骤STM，图像编码设备20dv_2判定是否需要改变分配方法。当在步骤ST23 中确定的分配方法不同于当前分配方法时，图像编码设备20dv-2进入步骤ST25。当在步骤 ST23中确定的分配方法和当前分配方法相同时，图像编码设备20dv-2进入步骤SD6。在步骤ST25，图像编码设备20dv_2发出RPLR(参考画面列表重排序)命令。图像编码设备20dv-2中的参考索引分配部分45-2发出RPLR命令，以致即使当参考索引的分配被改变时，图像解码设备也能够根据参考索引，使用正确的参考画面。具体地说，参考索引分配部分45-2把RPLR作为语法元素提供给可逆编码部分26，以把RPLR包括在例如图像数据的编码流的报头中，随后进入步骤SD6。在步骤SD6，图像编码设备20dv_2执行对编码对象画面编码的处理。另外，在编码处理中，参考索引分配部分45-2用在步骤ST23中确定的分配方法，设定参考索引。在步骤ST27，图像编码设备20dv_2生成特征量。图像编码设备20dv_2中的特征量生成部分41-2根据在步骤SD6的编码处理中生成的信息，例如向量(运动向量和视差向量)，编码对象块和参考块之间的误差等等，生成特征量。在步骤ST28，图像编码设备20dv_2用预先设定的分配方法分配参考索引，并在编码对象画面是基本视图的画面时，和当视差和时间的多个平面未被用作参考画面时，进行编码处理。例如，如图1中所示，参考索引ref_idx = 0被分配给时间预测用参考画面，参考索引ref_idx = 1被分配给视差预测用参考画面。另外，当编码对象画面是基本视图的画面时，在整个序列内，参考索引分配是固定的。对每个编码对象画面重复这样的处理。按照第二实施例，当在对于从属视图的编码处理中，进行时间预测或视差预测时， 能够向在频繁执行的预测方式中使用的参考画面分配代码长度较短的参考索引。于是能够和第一实施例中一样地提高从属视图的编码效率。另外，第二实施例不需要像第一实施例中的特征量生成部分中的运动检测，从而能够容易地分配参考索引。<4.第三实施例〉下面说明第三实施例。当在移动图像数据中进行图像切换时，在图像切换之前的图像和图像切换之后的图像之间存在较大的图像差异，从而时间预测的性能显著降低。例如，当在移动图像数据中产生场景变化时，在场景变化之前的图像和场景变化之后的图像之间存在较大的图像差异，从而时间预测的性能显著降低。从而，当发生图像切换时，选择视差预测，以避免预测性能大大降低。即，图像切换的检测结果对应于用作在判定时间预测和视差预测中的哪一个在图像内占优势的判定标准的特征量。从而，在第三实施例中，将说明场景变化检测结果被用作特征量的情况。[第三实施例的结构]图8表示第三实施例的结构。顺便提及，图8图解说明对第一实施例设置当检测到场景变化时，把预先指定的方法设定为参考索引分配方法的功能的情况。顺便提及，在图 8中，与按照第一实施例的图像编码设备20dv-l对应的部分用相同的附图标记识别。图像编码设备20dv_3是对从属视图的图像数据编码的图像处理设备。图像编码设备20dv-3包括模数转换部分(A/D转换部分)21，画面重排缓冲器22，减法部分23，正交变换部分24，量化部分25，可逆编码部分沈，存储缓冲器27，和速率控制部分观。图像编码设备20dv-3还包括逆量化部分31，逆正交变换部分32，加法部分33，去块滤波器34和帧存储器35。图像编码设备20dv-3还包括特征量生成部分41-3，场景变化检测部分42，参考索引分配部分45-3，帧内预测部分51，运动和视差预测补偿部分52，及预测图像和最佳模式选择部分53。A/D转换部分21把模拟图像信号转换成数字图像数据，并把数字图像数据输出给画面重排缓冲器22。画面重排缓冲器22重排从A/D转换部分21输出的各帧图像数据。画面重排缓冲器22按照编码处理中涉及的GOP (画面组)结构，重排各帧，并把重排后的图像数据输出给减法部分23，特征量生成部分41-3，帧内预测部分51，及运动和视差预测补偿部分52。减法部分23被供给从画面重排缓冲器22输出的图像数据，和由后面说明的预测图像和最佳模式选择部分53选择的预测图像数据。减法部分23计算指示从画面重排缓冲器22输出的图像数据，与从预测图像和最佳模式选择部分53供给的预测图像数据之间的差的预测误差数据。减法部分23把预测误差数据输出给正交变换部分M。正交变换部分M对从减法部分23输出的预测误差数据进行正交变换处理，比如离散余弦变换(DCT) ,Karhunen-Loeve变换等等。正交变换部分M把通过进行正交变换处理而获得的变换系数数据输出给量化部分25。量化部分25被供给从正交变换部分M输出的变换系数数据，和来自后面说明的速率控制部分观的速率控制信号。量化部分25量化变换系数数据，并把量化数据输出给可逆编码部分26和逆量化部分31。另外，量化部分25根据来自速率控制部分观的速率控制信号，改变量化参数(量化位阶)，从而改变量化数据的比特率。可逆编码部分沈被供给从量化部分25输出的量化数据，和来自后面说明的帧内预测部分51，运动和视差预测补偿部分52，及预测图像和最佳模式选择部分53的预测模式信息。顺便提及，预测模式信息包括指示编码对象块的块大小的宏块类型，预测模式，参考索引等等。可逆编码部分26利用变长编码或算术编码，对量化数据进行编码处理，从而生成编码流，并把编码流输出给存储缓冲器27。另外，可逆编码部分沈可逆地编码预测模式信息，并把编码的预测模式信息添加到例如编码流的报头信息中。存储缓冲器27保存来自可逆编码部分沈的编码流。另外，存储缓冲器27以对应于传输线路的传输速度输出保存的编码流。速率控制部分观监视存储缓冲器27的自由空间，按照自由空间生成速率控制信号，并把速率控制信号输出给量化部分25。例如，速率控制部分观从存储缓冲器27获得指示自由空间的信息。当自由空间减少时，速率控制部分观根据速率控制信号，使量化数据的比特率降低。当存储缓冲器27具有足够大的自由空间时，速率控制部分观根据速率控制信号，使量化数据的比特率升高。逆量化部分31对从量化部分25供给的量化数据进行逆量化处理。逆量化部分31 把通过进行逆量化处理而获得的变换系数数据输出给逆正交变换部分32。逆正交变换部分32把通过对从逆量化部分31供给的变换系数数据进行逆正交变换处理而获得的数据输出给加法部分33。加法部分33通过相加从逆正交变换部分32供给的数据，和从预测图像和最佳模式选择部分53供给的预测图像数据，生成参考画面的图像数据。加法部分33把图像数据输出给去块滤波器34和帧内预测部分51。去块滤波器34进行滤波处理，以减少在图像编码时发生的块失真。去块滤波器34 进行滤波处理，以从供给自加法部分33的图像数据中消除块失真。去块滤波器34把滤波处理后的图像数据输出给帧存储器35。帧存储器35保持从去块滤波器34供给的滤波处理之后的图像数据，和从进行基本视图的编码的图像编码设备20bv供给的参考画面的图像数据。特征量生成部分41-3生成特征量。特征量是用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像内占优势，即，在编码从属视图的图像数据时，更频繁进行所述时间预测和视差预测中的哪一个的判定标准的信息。特征量生成部分41-3用通过进行时间预测和视差预测而获得的信息生成特征量。特征量生成部分41-3利用参考画面，检测每个编码对象块的运动向量和视差向量，并把检出向量的长度的图像内平均值或方差设定为特征量。例如，特征量生成部分41-3 把从画面重排缓冲器22输出的图像数据中，在时间方向上不同于编码对象画面的图像的图像数据设定为将用在时间预测中的参考画面的图像数据。特征量生成部分41-3通过利用时间预测用参考画面，检测每个编码块的运动向量，并把所检出运动向量的长度的图像内平均值或方差设定为特征量。另外，特征量生成部分41-3把从图像编码设备20dv供给的另一个视点的图像数据设定为将用在视差预测中的参考画面的图像数据。特征量生成部分41-3通过利用视差预测用参考画面，检测每个编码对象块的视差向量，并把所检出视差向量的长度的图像内平均值或方差设定为特征量。特征量生成部分41-3还可把当检测运动向量或视差向量时，编码对象画面的块 (编码对象块)和参考画面的块(参考块)之间的误差的图像内合计值(例如SAD 绝对差值和)或者平均值设定为特征量。例如，特征量生成部分41-3通过把从画面重排缓冲器22 输出的图像数据用作将用在时间预测中的参考画面的图像数据，生成每个编码对象块的运动向量。特征量生成部分41-3把当检测运动向量时，编码对象块和参考块之间的误差的图像内合计值或平均值设定为特征量。另外，特征量生成部分41-3利用从图像编码设备20dv 供给的另一个视点的图像数据，检测每个编码对象块的视差向量。特征量生成部分41-3把当检测视差向量时，编码对象块和参考块之间的误差的图像内合计值或平均值设定为特征量。特征量生成部分41-3从而生成特征量，并把生成的特征量输出给参考索引分配部分45-3。场景变化检测部分42进行场景变化检测，并把检测结果输出给参考索引分配部分 45-3。根据在特征量生成部分41-3中生成的特征量，参考索引分配部分45-3向保存在帧存储器35中的参考画面分配参考索引。根据特征量，参考索引分配部分45-3向在占优势的预测中使用的参考画面，分配代码长度比分配给在另一种预测中使用的参考画面的参考索引短的参考索引。当生成向量(运动向量和视差向量)的图像内平均值作为特征量时，参考索引分配部分45-3比较当使用时间预测用参考画面时的平均值，和当使用视差预测用参考画面时的平均值。参考索引分配部分45-3向平均值较小的参考画面分配代码长度较短的参考索引。另外，当生成向量的图像内方差作为特征量时，参考索引分配部分45-3比较当使用时间预测用参考画面时的方差，和当使用视差预测用参考画面时的方差。参考索引分配部分45-3向方差较小的参考画面分配代码长度较短的参考索引。此外，当生成编码对象画面的每个块和参考块之间的误差作为特征量时，参考索引分配部分45-3比较当使用时间预测用参考画面时的误差，和当使用视差预测用参考画面时的误差。参考索引分配部分45-3 向误差较小的参考画面分配代码长度较短的参考索引。另外，参考索引分配部分45-3按照来自场景变化检测部分42的场景变化检测结果，设定参考索引分配方法。当检测到场景变化时，参考索引分配部分45-3向在视差预测中使用的参考画面，分配代码长度比分配给在时间预测中使用的参考画面的参考索引短的参考索引。帧内预测部分51利用从画面重排缓冲器22输出的编码对象画面的图像数据，和从加法部分33供给的图像数据，按作为候选者的所有帧内预测模式进行帧内预测处理。此外，帧内预测部分51计算每种帧内预测模式的成本函数值，并选择计算的成本函数值最小的帧内预测模式，即，获得最佳的编码效率的帧内预测模式，作为最佳帧内预测模式。帧内预测部分51把用最佳帧内预测模式生成的预测图像数据，关于最佳帧内预测模式的预测模式信息，和最佳帧内预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。 另外，为了获得在成本函数值的计算中使用的生成代码量，在按每种帧内预测模式的帧内预测处理中，帧内预测部分51把关于帧内预测模式的预测模式信息输出给可逆编码部分 26。顺便提及，在成本函数值的生成方面，可以列举用称为JM(联合模型)的HJ64/AVC参考软件实现的方法。运动和视差预测补偿部分52对编码对象块的每个块大小，进行运动和视差预测补偿处理。对于从画面重排缓冲器22读出的图像中的每个编码对象块的每个图像，运动和视差预测补偿部分52利用从帧存储器35读取的去块滤波处理之后的图像数据，检测运动向量，并利用基本视图的图像数据，检测视差向量。此外，运动和视差预测补偿部分52根据检出的向量，进行参考画面补偿处理，从而生成预测图像。另外，运动和视差预测补偿部分52生成编码对象块的每个块大小和每个参考画面的成本函数值，并选择使成本函数值最小的块大小和参考画面作为最佳帧间预测模式。 运动和视差预测补偿部分52把按最佳帧间预测模式生成的预测图像数据，关于最佳帧间预测模式的预测模式信息，和最佳帧间预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。另外，为了获得在成本函数值的生成中使用的生成代码量，在每个块大小的帧间预测处理中，运动和视差预测补偿部分52把关于帧间预测模式的预测模式信息输出给可逆编码部分26。预测图像和最佳模式选择部分53比较从帧内预测部分51供给的成本函数值，和从运动和视差预测补偿部分52供给的成本函数值，并选择较小的成本函数值作为其中获得最佳编码效率的最佳模式。另外，预测图像和最佳模式选择部分53把按最佳模式生成的预测图像数据输出给减法部分23和加法部分33。此外，预测图像和最佳模式选择部分53 把最佳模式的预测模式信息(宏块类型，预测模式，参考索引等等)输出给可逆编码部分 26。顺序提及，预测图像和最佳模式选择部分53以画面为单位，或者以切片为单位进行帧内预测或帧间预测。[第三实施例的操作]图9是表示第三实施例的操作的流程图。顺便提及，在图9中，与第一实施例的处理对应的处理用相同的附图标记识别。在步骤ST1，图像编码设备20dv_3判定编码对象画面是否是从属视图的画面。当编码对象画面是从属视图的画面时，图像编码设备20dv-3进入步骤ST2，当编码对象画面是基本视图的画面时，图像编码设备20dv-l进入步骤STl 1。在步骤ST2，图像编码设备20dv_3判定编码对象画面是否涉及视差或时间的多个平面。当编码对象画面涉及视差和/或时间的多个平面时，图像编码设备20dv-3进入步骤 ST3。当编码对象画面只涉及一个参考画面时，图像编码设备20dv-3进入步骤ST11。在步骤ST3，图像编码设备20dv_3判定是否检测到场景变化。当图像编码设备 20dv-3中的场景变化检测部分42检测到场景变化，并且判定和编码对象画面是场景变化之后的第一图像时，图像编码设备20dv-3进入步骤ST5。当判定和编码对象画面不是场景变化之后的第一图像时，图像编码设备20dv-3进入步骤ST6。在步骤ST5，图像编码设备20dv_3把预先指定的方法，即，向视差预测分配代码长度较短的参考索引的方法设定为参考索引分配方法，随后进入步骤ST8。在步骤ST6，图像编码设备20dv_3生成特征量。图像编码设备20dv_3中的特征量生成部分41-3生成利用不同视点的参考画面，对于每个块检测的视差向量的图像内平均值，和利用时间方向的参考画面，对于每个块检测的运动向量的图像内平均值，并把这些平均值设定为特征量。另外，特征量生成部分41-3可把图像内的向量的方差设定为特征量。 此外，特征量生成部分41-3可对每个块进行时间预测和视差预测，并生成编码对象块和参考块之间的误差的图像内合计值或平均值，作为特征量。特征量生成部分41-3如此生成特征量，随后进入步骤ST7。在步骤ST7，图像编码设备20dv_3确定参考索引分配方法。图像编码设备20dv_3 中的参考索引分配部分45-3根据在步骤ST6中生成的特征量，确定参考索引分配方法，随后进入步骤ST8。参考索引分配部分45-3确定分配方法，以致向当计算平均值较小或者方差较小的向量时使用的参考画面分配代码长度较短的参考索引。另外，参考索引分配部分45-3确定分配方法，以致向在时间预测和视差预测之中的误差较小者中使用的参考画面分配代码长度较短的参考索引。在步骤ST8，图像编码设备20dv_3判定是否需要改变分配方法。当在步骤ST5或步骤ST7中确定的分配方法不同于当前分配方法时，图像编码设备20dv-3进入步骤ST9。 当在步骤ST5或步骤ST7中确定的分配方法和当前分配方法相同时，图像编码设备20dv-3 进入步骤STlO。在步骤ST9，图像编码设备20dv_3发出RPLR(参考画面列表重排序)命令。图像编码设备20dv-3中的参考索引分配部分45-3发出RPLR命令，以致即使当参考索引的分配被改变时，图像解码设备也能够根据参考索引，使用正确的参考画面。具体地说，参考索引分配部分45-3把RPLR作为语法元素提供给可逆编码部分26，以把RPLR包括在例如图像数据的编码流的报头中，随后进入步骤ST10。在步骤ST10，图像编码设备20dv_3执行对编码对象画面编码的处理。另外，在编码处理中，参考索引分配部分45-3用在步骤ST5或步骤ST7中确定的关于后续画面的分配方法，设定参考索引。在步骤ST11，图像编码设备20dv_3用预先设定的分配方法分配参考索引，并在编码对象画面是基本视图的画面时，和当编码对象画面涉及一个参考画面时，进行编码处理。 对每个编码对象画面重复这样的处理。按照第三实施例，当在对于从属视图的编码中，进行时间预测或视差预测时，能够向在频繁执行的预测方式中使用的参考画面分配代码长度较短的参考索引。于是，能够提高从属视图的编码效率。此外，当检测到场景变化时，选择视差预测，以防止预测性能的显著降低，从而向在视差预测中使用的参考画面分配代码长度较短的参考索引。从而，即使当在从属视图中发生场景变化时，也能够提高从属视图的编码效率。<5.第四实施例〉下面说明第四实施例。移动图像数据不仅能够代表多视点图像，而且能够代表相同视点的图像OD图像)。当从属视图和基本视图是相同视点的图像时，与时间预测相比， 视差预测的性能非常高，于是，选择视差预测。即，从多视点图像到另一个图像OD图像) 的图像切换的检测结果是可用于判定在图像内，更频繁地进行时间预测和视差预测中的哪一个的特征量。从而，在第四实施例中，将说明图像切换检测结果被用作特征量的情况。[第四实施例的结构]图10表示第四实施例的结构。顺便提及，图10图解说明第一实施例具备当检测到从多视点图像到另一个图像的切换时，把预先指定的方法设定为参考索引分配方法的功能的情况。顺便提及，在图10中，与按照第一实施例的图像编码设备20dv-l对应的部分用相同的附图标记识别。图像编码设备20dv_4是对从属视图的图像数据编码的图像处理设备。图像编码设备20dv-4包括模数转换部分(A/D转换部分)21，画面重排缓冲器22，减法部分23，正交变换部分24，量化部分25，可逆编码部分沈，存储缓冲器27，和速率控制部分观。图像编码设备20dv-4还包括逆量化部分31，逆正交变换部分32，加法部分33，去块滤波器34和帧存储器35。图像编码设备20dv-4还包括特征量生成部分41-4，2D图像检测部分43，参考索引分配部分45-4，帧内预测部分51，运动和视差预测补偿部分52，及预测图像和最佳模式选择部分53。A/D转换部分21把模拟图像信号转换成数字图像数据，并把数字图像数据输出给画面重排缓冲器22。画面重排缓冲器22重排从A/D转换部分21输出的各帧图像数据。画面重排缓冲器22按照编码处理中涉及的GOP结构，重排各帧，并把重排后的图像数据输出给减法部分 23，特征量生成部分41-4，2D图像检测部分43，帧内预测部分51，及运动和视差预测补偿部分52。减法部分23被供给从画面重排缓冲器22输出的图像数据，和由后面说明的预测图像和最佳模式选择部分53选择的预测图像数据。减法部分23计算指示从画面重排缓冲器22输出的图像数据，与从预测图像和最佳模式选择部分53供给的预测图像数据之间的差的预测误差数据。减法部分23把预测误差数据输出给正交变换部分M。正交变换部分M对从减法部分23输出的预测误差数据进行正交变换处理，比如离散余弦变换(DCT) ,Karhunen-Loeve变换等等。正交变换部分M把通过进行正交变换处理而获得的变换系数数据输出给量化部分25。量化部分25被供给从正交变换部分M输出的变换系数数据，和来自后面说明的速率控制部分观的速率控制信号。量化部分25量化变换系数数据，并把量化数据输出给可逆编码部分26和逆量化部分31。另外，量化部分25根据来自速率控制部分观的速率控制信号，改变量化参数(量化位阶)，从而改变量化数据的比特率。可逆编码部分沈被供给从量化部分25输出的量化数据，和来自后面说明的帧内预测部分51，运动和视差预测补偿部分52，及预测图像和最佳模式选择部分53的预测模式信息。顺便提及，预测模式信息包括指示编码对象块的块大小的宏块类型，预测模式，参考索引等等。可逆编码部分26利用变长编码或算术编码，对量化数据进行编码处理，从而生成编码流，并把编码流输出给存储缓冲器27。另外，可逆编码部分沈可逆地编码预测模式信息，并把编码的预测模式信息添加到例如编码流的报头信息中。存储缓冲器27保存来自可逆编码部分沈的编码流。另外，存储缓冲器27以对应于传输线路的传输速度输出保存的编码流。速率控制部分观监视存储缓冲器27的自由空间，按照自由空间生成速率控制信号，并把速率控制信号输出给量化部分25。例如，速率控制部分观从存储缓冲器27获得指示自由空间的信息。当自由空间减少时，速率控制部分观根据速率控制信号，使量化数据的比特率降低。当存储缓冲器27具有足够大的自由空间时，速率控制部分观根据速率控制信号，使量化数据的比特率升高。逆量化部分31对从量化部分25供给的量化数据进行逆量化处理。逆量化部分31 把通过进行逆量化处理而获得的变换系数数据输出给逆正交变换部分32。逆正交变换部分32把通过对从逆量化部分31供给的变换系数数据进行逆正交变换处理而获得的数据输出给加法部分33。加法部分33通过相加从逆正交变换部分32供给的数据，和从预测图像和最佳模式选择部分53供给的预测图像数据，生成参考画面的图像数据。加法部分33把图像数据输出给去块滤波器34和帧内预测部分51。去块滤波器34进行滤波处理，以减少在图像编码时发生的块失真。去块滤波器34进行滤波处理，以从供给自加法部分33的图像数据中消除块失真。去块滤波器34把滤波处理后的图像数据输出给帧存储器35。帧存储器35保持从去块滤波器34供给的滤波处理之后的图像数据，和从进行基本视图的编码的图像编码设备20bv供给的参考画面的图像数据。特征量生成部分41-4生成特征量。特征量是用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像内占优势，即，在编码从属视图的图像数据时，更频繁进行所述时间预测和视差预测中的哪一个的判定标准的信息。特征量生成部分41-4用通过进行时间预测和视差预测而获得的信息生成特征量。特征量生成部分41-4利用参考画面，检测每个编码对象块的运动向量和视差向量，并把检出向量的长度的图像内平均值或方差设定为特征量。例如，特征量生成部分41-4 把从画面重排缓冲器22输出的图像数据中，在时间方向上不同于编码对象画面的图像的图像数据设定为将用在时间预测中的参考画面的图像数据。特征量生成部分41-4通过利用时间预测用参考画面，检测每个编码块的运动向量，并把所检出运动向量的长度的图像内平均值或方差设定为特征量。另外，特征量生成部分41-4把从图像编码设备20dv供给的另一个视点的图像数据设定为将用在视差预测中的参考画面的图像数据。特征量生成部分41-4通过利用视差预测用参考画面，检测每个编码对象块的视差向量，并把所检出视差向量的长度的图像内平均值或方差设定为特征量。特征量生成部分41-4还可把当检测运动向量或视差向量时，编码对象画面的块 (编码对象块)和参考画面的块(参考块)之间的误差的图像内合计值(例如SAD 绝对差值和)或者平均值设定为特征量。例如，特征量生成部分41-4通过把从画面重排缓冲器22 输出的图像数据用作将用在时间预测中的参考画面的图像数据，生成每个编码对象块的运动向量。特征量生成部分41-4把当检测运动向量时，编码对象块和参考块之间的误差的图像内合计值或平均值设定为特征量。另外，特征量生成部分41-4利用从图像编码设备20dv 供给的另一个视点的图像数据，检测每个编码对象块的视差向量。特征量生成部分41-4把当检测视差向量时，编码对象块和参考块之间的误差的图像内合计值或平均值设定为特征量。特征量生成部分41-4从而生成特征量，并把生成的特征量输出给参考索引分配部分45-4。2D图像检测部分43判定编码对象画面是否是2D图像。例如，2D图像检测部分43 判定基本视图的图像数据和编码对象画面的图像数据是否相同。当基本视图的图像数据和编码对象画面的图像数据不相同时，2D图像检测部分43判定编码对象画面是多视点图像。 当基本视图的图像数据和编码对象画面的图像数据相同时，2D图像检测部分43判定编码对象画面是2D图像。2D图像检测部分43把检测结果输出给参考索引分配部分45-4。在用作为图像数据的属性信息的标记等，指示编码对象画面是2D图像还是多视点图像的情况下，2D图像检测部分43可使用该属性信息作为检测结果。根据在特征量生成部分41-4中生成的特征量，参考索引分配部分45-4向保存在帧存储器35中的参考画面分配参考索引。根据特征量，参考索引分配部分45-4向在占优势的预测中使用的参考画面，分配代码长度比分配给在另一种预测中使用的参考画面的参考索引短的参考索引。当生成向量(运动向量和视差向量)的图像内平均值作为特征量时，参考索引分配部分45-4比较当使用时间预测用参考画面时的平均值，和当使用视差预测用参考画面时的平均值。参考索引分配部分45-4向平均值较小的参考画面分配代码长度较短的参考索引。另外，当生成向量的图像内方差作为特征量时，参考索引分配部分45-4比较当使用时间预测用参考画面时的方差，和当使用视差预测用参考画面时的方差。参考索引分配部分45-4向方差较小的参考画面分配代码长度较短的参考索引。此外，当生成编码对象画面的每个块和参考块之间的误差作为特征量时，参考索引分配部分45-5比较当使用时间预测用参考画面时的误差，和当使用视差预测用参考画面时的误差。参考索引分配部分45-4 向误差较小的参考画面分配代码长度较短的参考索引。另外，参考索引分配部分45-4按照来自2D图像检测部分43的检测结果，设定参考索引分配方法。当检测到从多视点图像到另一个图像的切换时，参考索引分配部分45-4 向在视差预测中使用的参考画面，分配代码长度比分配给在时间预测中使用的参考画面的参考索引短的参考索引。帧内预测部分51利用从画面重排缓冲器22输出的编码对象画面的图像数据，和从加法部分33供给的图像数据，按作为候选者的所有帧内预测模式进行帧内预测处理。此外，帧内预测部分51计算每种帧内预测模式的成本函数值，并选择计算的成本函数值最小的帧内预测模式，即，获得最佳的编码效率的帧内预测模式，作为最佳帧内预测模式。帧内预测部分51把用最佳帧内预测模式生成的预测图像数据，关于最佳帧内预测模式的预测模式信息，和最佳帧内预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。 另外，为了获得在成本函数值的计算中使用的生成代码量，在按每种帧内预测模式的帧内预测处理中，帧内预测部分51把关于帧内预测模式的预测模式信息输出给可逆编码部分 26。顺便提及，在成本函数值的生成方面，可以列举用称为JM(联合模型)的HJ64/AVC参考软件实现的方法。运动和视差预测补偿部分52对编码对象块的每个块大小，进行运动和视差预测补偿处理。对于从画面重排缓冲器22读出的图像中的每个编码对象块的每个图像，运动和视差预测补偿部分52利用从帧存储器35读取的去块滤波处理之后的图像数据，检测运动向量，并利用基本视图的图像数据，检测视差向量。此外，运动和视差预测补偿部分52根据检出的向量，进行参考画面补偿处理，从而生成预测图像。另外，运动和视差预测补偿部分52生成编码对象块的每个块大小和每个参考画面的成本函数值，并选择使成本函数值最小的块大小和参考画面作为最佳帧间预测模式。 运动和视差预测补偿部分52把按最佳帧间预测模式生成的预测图像数据，关于最佳帧间预测模式的预测模式信息，和最佳帧间预测模式下的成本函数值输出给预测图像和最佳模式选择部分53。另外，为了获得在成本函数值的生成中使用的生成代码量，在每个块大小的帧间预测处理中，运动和视差预测补偿部分52把关于帧间预测模式的预测模式信息输出给可逆编码部分26。预测图像和最佳模式选择部分53比较从帧内预测部分51供给的成本函数值，和从运动和视差预测补偿部分52供给的成本函数值，并选择较小的成本函数值作为其中获得最佳编码效率的最佳模式。另外，预测图像和最佳模式选择部分53把按最佳模式生成的预测图像数据输出给减法部分23和加法部分33。此外，预测图像和最佳模式选择部分53 把最佳模式的预测模式信息(宏块类型，预测模式，参考索引等等)输出给可逆编码部分 26。顺序提及，预测图像和最佳模式选择部分53以画面为单位，或者以切片为单位进行帧内预测或帧间预测。[第四实施例的操作]图11是表示第四实施例的操作的流程图。顺便提及，在图11中，与第一实施例的处理对应的处理用相同的附图标记识别。在步骤ST1，图像编码设备20dv_4判定编码对象画面是否是从属视图的画面。当编码对象画面是从属视图的画面时，图像编码设备20dv-4进入步骤ST2，当编码对象画面是基本视图的画面时，图像编码设备20dv-4进入步骤STl 1。在步骤ST2，图像编码设备20dv_4判定编码对象画面是否涉及视差或时间的多个平面。当编码对象画面涉及视差和/或时间的多个平面时，图像编码设备20dv-4进入步骤 ST4。当编码对象画面只涉及一个参考画面时，图像编码设备20dv-4进入步骤STl 1。在步骤ST4，图像编码设备20dv_4判定是否检测到编码对象画面是2D图像。当检测到编码对象画面是2D图像时，图像编码设备20dv-4进入步骤ST5。当未检测到编码对象画面是2D图像时，即，当检测到编码对象画面是多视点图像时，图像编码设备20dv-4进入步骤ST6。在步骤ST5，图像编码设备20dv_4把预先指定的方法，即，向在视差预测中使用的参考画面分配代码长度较短的参考索引的方法设定为参考索引分配方法，随后进入步骤 ST8。在步骤ST6，图像编码设备20dv_4生成特征量。图像编码设备20dv_4中的特征量生成部分41-4生成利用不同视点的参考画面，对于每个块检测的视差向量的图像内平均值，和利用时间方向的参考画面，对于每个块检测的运动向量的图像内平均值，并把这些平均值设定为特征量。另外，特征量生成部分41-4可把图像内的向量的方差设定为特征量。 此外，特征量生成部分41-4可对每个块进行时间预测和视差预测，并生成编码对象块和参考块之间的误差的图像内合计值或平均值，作为特征量。特征量生成部分41-4如此生成特征量，随后进入步骤ST7。在步骤ST7，图像编码设备20dv_4确定参考索引分配方法。图像编码设备20dv_4 中的参考索引分配部分45-4根据在步骤ST6中生成的特征量，确定参考索引分配方法，随后进入步骤ST8。参考索引分配部分45-4确定分配方法，以致向当计算平均值较小或者方差较小的向量时使用的参考画面分配代码长度较短的参考索引。另外，参考索引分配部分 45-4确定分配方法，以致向在时间预测和视差预测之中的误差较小者中使用的参考画面分配代码长度较短的参考索引。在步骤ST8，图像编码设备20dv_4判定是否需要改变分配方法。当在步骤ST5或步骤ST7中确定的分配方法不同于当前分配方法时，图像编码设备20dv-4进入步骤ST9。 当在步骤ST5或步骤ST7中确定的分配方法和当前分配方法相同时，图像编码设备20dv-4 进入步骤STlO。在步骤ST9，图像编码设备20dv_4发出RPLR(参考画面列表重排序)命令。图像编码设备20dv-4中的参考索引分配部分45-4发出RPLR命令，以致即使当参考索引的分配
25被改变时，图像解码设备也能够根据参考索引，使用正确的参考画面。具体地说，参考索引分配部分45-4把RPLR作为语法元素提供给可逆编码部分26，以把RPLR包括在例如图像数据的编码流的报头中，随后进入步骤ST10。在步骤ST10，图像编码设备20dv_4执行对编码对象画面编码的处理。另外，在编码处理中，参考索引分配部分45-4用在步骤ST5或步骤ST7中确定的关于后续画面的分配方法，设定参考索引。在步骤ST11，图像编码设备20dv_4用预先设定的分配方法分配参考索引，并在编码对象画面是基本视图的画面时，和当编码对象画面涉及一个参考画面时，进行编码处理。 对每个编码对象画面重复这样的处理。按照第四实施例，当在对于从属视图的编码处理中，进行时间预测或视差预测时， 能够向在频繁执行的预测方式中使用的参考画面分配代码长度较短的参考索引。于是，能够提高从属视图的编码效率。此外，即使当进行从多视点图像到2D图像的切换时，就2D图像来说，代码长度较短的参考索引被分配给在视差预测中使用的参考画面。从而，即使当从属视图被切换成2D图像时，也能够提高从属视图的编码效率。<6.第五实施例〉和图1中的Caml的B画面中一样，当LO预测(LIST_0)和Ll预测(LIST_1)各自指示时间预测用参考画面和视差预测用参考画面，并且向每个列表独立分配参考索引时， LO预测和Ll预测中被分配相同参考索引的参考画面可被用于不同的预测方式。例如，参考索引ref_idx = 0可被分配给LO预测(LIST_0)中的时间预测用参考画面，ref_idx = 0 可被分配给Ll预测(LIST_1)中的视差预测用参考画面。另外，在B画面的双向预测中，使用LO预测(LIST_0)和Ll预测(LIST_1)中的相同参考索引的参考画面，所述参考画面的平均值被设定为预测图像。从而，当在B画面的双向预测中，把相同的参考索引用于不同的预测方式时，编码效率会被降低。例如，当在基本视图和从属视图之间存在亮度差时，亮度差的影响出现在预测图像中，以致编码效率会被降低。另外，例如，当发出闪光，从而从属视图的亮度随着时间的过去而变化时，发出闪光的影响出现在预测图像中，以致编码效率会被降低。因此，上述参考索引分配部分45-1 45-4分配参考索弓丨，以致当LO预测 (LIST_0)和Ll预测(LIST_1)各自指示时间预测用参考画面和视差预测用参考画面时，相同参考索引的画面代表相同预测方式的参考画面。这可避免当在双向预测中，利用相同参考索引的参考画面生成预测图像时，由不同预测方式的参考画面的使用而引起的编码效率的降低。<在用软件处理执行图像编码的情况下的结构>此外，图像处理设备可以是利用程序执行上述一系列处理的计算机设备。图12是图解说明用程序执行上述一系列处理的计算机设备的结构的示图。计算机设备60的CPU (中央处理器)61按照保存在ROM(只读存储器)62或记录部分68中的计算机程序，执行各种处理。RAM(随机存取存储器)63适当保存由CPU 61执行的计算机程序，数据等等。CPU 61、ROM 62和RAM 63由总线64互连。CPU 61还经总线64与输入输出接口 65连接。输入输出接口 65与由触摸面板、键盘、鼠标、麦克风等构成的输入部分66，和由显示器等构成的输出部分67连接。CPU 61响应从输入部分66输入的命令，执行各种处理。CPU 61随后把处理结果输出给输出部分67。与输入输出接口 65连接的记录部分68由硬盘或SSD(固态驱动器)构成。CPU 61执行的计算机程序和各种数据记录在记录部分68中。通信部分69经有线或无线通信介质，比如包括因特网和局域网的网络，数字广播等等，与外部设备通信。另外，计算机设备 60可经通信部分69获得计算机程序，和把计算机程序记录在ROM 62或记录部分68中。当诸如磁盘、光盘、磁光盘、半导体存储器之类的可拆卸介质72被装入驱动器70 中时，驱动器70驱动这些可拆卸介质72，获得记录在可拆卸介质72上的计算机程序、数据等。必要时，获得的计算机程序和数据被传给ROM 62、RAM 63或者记录部分68。CPU 61读出和运行执行上述一系列处理的计算机程序，并对记录在记录部分68 或可拆卸介质72中的多视点图像的图像数据，或者经通信部分69供给的多视点图像的图像数据编码。注意，本发明不应被解释成局限于上述实施例。例如，多视点图像并不局限于三个图像，相反可以是两个视点的图像。本发明的实施例以举例说明的形式公开了本发明的技术，显然本领域的技术人员能够做出实施例中的修改和替换，而不脱离本发明的精神。艮口， 为了确定本发明的精神，应参考权利要求部分。在按照本发明的实施例的图像处理设备和图像处理方法中，生成用作判定利用时间方向的图像之间的相关性的时间预测，和利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准的特征量，根据所述特征量，向预测中使用的参考画面分配参考索引。例如，在优势预测中使用的参考画面被分配与分配给用于另一种预测的参考画面的参考索引相比，代码长度较短的参考索引。从而，能够减少参考索引的代码量，能够提高多视点图像编码的编码效率。从而，本发明适用于生成和编码多视点图像的成像设备，编辑和编码多视点图像的编辑设备，编码多视点图像并把多视点图像记录在记录介质上的记录设备，等等。本发明包含与在2010年7月16日向日本专利局提交的日本优先权专利申请JP 2010-161303中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
权利要求
1.一种图像处理设备，包括配置成生成特征量的特征量生成部分，所述特征量用作判定利用时间方向的图像之间的相关性的时间预测以及利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准；和参考索引分配部分，所述参考索引分配部分被配置成根据所述特征量生成部分生成的特征量，向在所述预测中使用的参考画面分配参考索引。
2.按照权利要求1所述的图像处理设备，其中所述参考索引分配部分向在占优势的预测中使用的参考画面分配代码长度比分配给在另一种预测中使用的参考画面的参考索引短的参考索引。
3.按照权利要求2所述的图像处理设备，其中所述特征量生成部分根据用所述预测获得的信息，生成所述特征量。
4.按照权利要求3所述的图像处理设备，其中所述特征量生成部分进行图像切换位置的检测，并把检测结果用作所述特征量。
5.按照权利要求3所述的图像处理设备，其中所述特征量生成部分在编码对象画面的编码之前利用编码对象画面和参考画面，检测运动向量和视差向量，并根据检测的向量、或者当检测向量时编码对象块和参考块之间的误差，生成所述特征量。
6.按照权利要求3所述的图像处理设备，其中所述特征量生成部分根据用在编码对象画面的编码之前进行的图像编码中所述预测获得的信息，生成所述特征量。
7.按照权利要求6所述的图像处理设备，其中所述特征量生成部分用利用编码对象画面和参考画面检测的运动向量和视差向量、当检测向量时编码对象块和参考块之间的误差、成本函数值和指示参考索引的比例的统计量中的一个，生成所述特征量。
8.按照权利要求4所述的图像处理设备，其中 所述特征量生成部分进行场景变化检测，作为所述图像切换位置的检测，并把检测结果用作所述特征量，和当检测到场景变化时，所述参考索引分配部分向在视差预测中使用的参考画面分配代码长度比分配给在时间预测中使用的参考画面的参考索引短的参考索引。
9.按照权利要求4所述的图像处理设备，其中所述特征量生成部分进行从多视点图像到另一个图像的图像切换的检测，作为所述图像切换位置的检测，并把检测结果用作所述特征量，和当检测到从多视点图像到另一个图像的图像切换时，所述参考索引分配部分向在视差预测中使用的参考画面分配代码长度比分配给在时间预测中使用的参考画面的参考索引短的参考索引。
10.按照权利要求2所述的图像处理设备，其中当所述参考索引分配部分向在LO预测和Ll预测每一个中的时间预测和视差预测中使用的参考画面分配参考索引时，所述参考索引分配部分在时间预测和视差预测每个之中分配相同的参考索引。
11. 一种图像处理方法，包括生成特征量，所述特征量用作判定利用时间方向的图像之间的相关性的时间预测以及利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准；和根据生成的特征量，向在所述预测中使用的参考画面分配参考索引。
全文摘要
本发明提供一种图像处理设备和图像处理方法。所述图像处理设备包括配置成生成特征量的特征量生成部分，所述特征量用作判定利用时间方向的图像之间的相关性的时间预测以及利用不同视点的图像之间的相关性的视差预测中的哪一个在图像编码中占优势的判定标准，和参考索引分配部分，所述参考索引分配部分被配置成根据所述特征量生成部分生成的特征量，向在所述预测中使用的参考画面分配参考索引。
文档编号H04N7/50GK102340666SQ20111018997
公开日2012年2月1日 申请日期2011年7月8日 优先权日2010年7月16日
发明者北村卓也, 铃木辉彦, 高桥良知 申请人:索尼公司