参考图像选择方法以及装置的制作方法

专利名称：参考图像选择方法以及装置的制作方法
技术领域：
本发明涉及能使用于所有的多媒体编码中，尤其使用于与隔行扫描视频源(interlace video source)的运动预测场编码用的多个参考图对应的视 频编码中。
背景技术：
未被压縮的视频源能以逐行扫描或者隔行扫描的扫描格式中的任一 个格式来进行捕获。逐行扫描的扫描格式中在相同的时刻捕获所有的取样 线(sample line)。另一方面，在隔行扫描的扫描格式中在不同的时刻交 替地捕获取样线。图l是表示场图对(field picture pair)的说明图。如图 l所示，在较早的时刻t所捕获的取样线构成前场图(top field picture)。 在较晚的时刻t+l所捕获的取样线构成后场图(bottom field picture)。将 前场图和与该前场图对应的后场图称为场图对。未被压縮的场图能采用帧 编码或者场编码(field coding)来进行编码。在帧编码中，将前场图和后 场图2个作为1枚图进行编码。在场编码中将前场图作为与后场图不同的 图来进行编码。须指出的是，以下将场图简称为场。一般而言，ISO/IEC14496—2Part 10 International Standard等视频编码 算法的大部分主要采用2种编码类型。帧内编码(intra picture coding)中在l个图内不使用其他图而进行。因而，只包含帧内编码后的取样像素的 图被称为帧内图(intra picture)或者被简称为I图。另一方面，帧间编码 (interpicture coding)中，通过参考来自其他图的取样像素，来使用视频 图间的时间相关。单预测帧间图(single-predictive inter picture)(以下称 为P图)是根据其他1枚图来预测的，而双预测帧间图(bi-predictiveinter picture)(以下成为B图)是根据2枚其他图来预测的。通过视频编码器，根据用途的需求，灵活地利用3种图类型(帧内、单预测、双预测)。编码以及解码处理的顺序(以下称为编码顺序)，通 常不与用于源图的捕获顺序和显示的自解码器输出的顺序(以下称为显示 顺序)相同。排列编码顺序，以使帧间图的编码以及解码处理，在该编码以及解码处理中所参考的其他编码完毕的图(以下称为参考图(reference picture))之后进行的方式，。非特許文献1: ISO/正C14496—2Part 10 International Standard然而，在H.264 (MPEG—4AVC)中为了改善帧间编码的编码效率， 在编码处理中能使用更多的参考图。也就是，在MPEG—2中作为参考图 可使用的图是I图以及P图，与此对应，在H.264中除了I图以及P图之 外还可以将B图也用作参考图。另外，编码器在对图内的不同的块进行编 码时，也可以使用不同的参考图。"块"这样的语言表示作为像素的集合 的矩形，具有4x4、 8x4以及8x16等块尺寸。编码器通过从很多可使用的 参考图中按每个块选择最佳的参考图，能提高编码效率。然而，调查可使用的所有参考图，并且按每个块选择最佳的参考图， 从编码效率的观点出发是理想的，但是从处理量的观点出发不理想的。尤 其在隔行扫描的扫描格式中，第2个以后的B图、也就是可参考编码完毕 的B图(尤其后场)的B图，具有多个可参考的图，所以选择最佳的参考 图的处理量大，为此的参考存储器的管理也复杂。图2A表示图的编码顺序的一个例子。图2B表示该相同的图的显示 顺序。场对200以及206是I图或者P图之一。场对212以及218是B图。 在这些场中，在后场222的编码中可参考的场的数量比之前编码的场202、 204、 '"216、 220更多。在后场222的各块的编码中，能将场202、 204、 214、 216或者220中的1个用于第1方向的参考，并且能将场208或者 210中的1个用于第2方向的参考。视频编码器在后场222的编码处理中， 选择l枚参考场(单预测编码的情况下)、或者2枚参考场(双预测编码 的情况下)作为各块的预测参考。后场222的编码中的参考图的选择，必须维持良好的视频画质的同时 使编码效率成为最適。作为该选择的方法之一有如上所述那样调查可使用 的所有参考图的方法。可惜的是该方法中重复动作或存储器访问很多，非 常复杂。因而，从处理量的观点以及参考存储器的管理的观点出发，应用该方法是不太理想的。为了减少处理量，有通过编码器，仅仅调查所有的可利用的参考图中 的1个适当的子集的方法。将属于该子集的图以下称为参考图候补(reference picture candidate)。例如，如图2B所示，将从可用作编码对 象的后场222的参考图的所有的图中除去前场220后的子集作为参考图候 补。通过这样，能降低用于选择最佳的参考图的处理量。然而，反过来如 果除去的图是最佳的参考图，则无法充分地提高编码效率。仅仅调查子集 的方法从减少处理量的观点出发是理想的，但是从编码效率的观点出发是 不太理想的。发明内容本发明目的在于提供一种减少确定参考图的处理量，而且，达到与没 有参考图候补的限制的情况相同程度的编码效率的参考图选择方法、以及 装置。为了上述课题，本发明的参考图选择方法，在隔行扫描视频的编码中 选择用于编码对象的后场的参考图，采用在编码顺序上所述编码对象的后 场之前的特定场，预测所述编码对象的后场的运动的大小，根据所预测的 运动的大小，设定适合对所述编码对象的后场进行编码的参考图候补，从 所设定的参考图候补中选择所述编码对象的后场的参考图。根据该构成，第一，不需要调査可参考的所有的图，只要仅仅调查参 考图候补即可，所以，能减少用于确定参考图的处理量。第二，根据所预 测的运动的大小，设定适合对编码对象的后场进行编码的参考图候补，所 以，能达到与没有参考图候补的限制的情况相同程度的编码效率。这里，也可以在所述参考图候补的设定中，根据所述运动的大小的预 测结果，使时间上邻近场(temporally nearest field)以及空间上邻近场 (spatially nearest field)中的一方包含在所述参考图候补中，所述时间上 邻近场也可以是与所述编码对象场相同的场对内的前场，所述空间上邻近 场也可以是在编码顺序上所述编码对象场的往前第一个双预测编码场对 内的后场。根据该构成，能根据运动的大小，将时间上邻近场以及空间上邻近场自适应地设定为参考图候补。这里，所述特定场也可以是在编码顺序上所述编码对象的后场之前的 场对内的后场，第1参考图也可以是与所述特定场相同的场对内的前场， 第2参考图也可以是在编码顺序上所述特定场的往前第一个场对内的后 场，在所述运动的大小的预测中，也可以在所述特定场的编码中，对采用 了所述第1参考图的块的个数即第1计数数目和采用了所述第2参考图的块的个数即第2计数数目进行计数，也可以计算所述第1计数数目与所述 第2计数数目之比或者之差分，作为所述编码对象的后场的运动的大小。根据该构成，通过根据从特定场(这里，在编码顺序上所述编码对象 的后场之前的场对内的后场)的编码的过程中可容易取得的信息(表示参考图的信息)来计数第1以及第2计数数目，从而能以简单的处理预测编 码对象的后场的运动的大小。将运动的大小作为第1计数数目与第2计数 数目之比(或者差分)、也就是参考了第1参考图的次数与参考了第2参 考图的次数之比(或者差分)，能适当地预测。也就是，该比或者差分越 大，则预测为运动越大。这里，也可以在所述参考图候补的设定中，将所述第l计数数目与所 述第2计数数目之比或者之差分与阈值进行比较，根据所述比较结果，使 时间上邻近场以及空间上邻近场中的一方包含在所述参考图候补中。根据该构成，通过采用了阈值的比较处理这样的简单的处理，能适当 地设定参考图候补。这里，所述特定场也可以是在编码顺序上从所述编码对象的后场所属 的场对起往前第N个场对内的后场，所述N也可以从1至3中选出。根据该构成，通过采用在编码顺序上从编码对象的后场所属的场对起 往前第N个场对内的后场，从而能简单地预测编码对象的后场的运动。这里，所述特定场是在编码顺序上所述编码对象的后场之前的前场， 在所述运动的大小的预测中，也可以在所述特定场的编码中，对帧内编码 后的块的个数即第1计数数目和在帧内以外编码后的块的个数即第2计数 数目进行计数，计算所述第1计数数目与所述第2计数数目之比或者之差 分，作为所述编码对象的后场的运动的大小。根据该构成，通过根据从特定场(这里，在编码顺序上所述编码对象的后场之前的前场)的编码的过程中可容易取得的信息(表示是否是帧内 编码的信息)来计数第1以及第2计数数目，从而能以简单的处理预测编 码对象的后场的运动的大小。将运动的大小作为第1计数数目与第2计数 数目之比(或者差分)、也就是帧内编码后的块的个数与不是帧内编码后 的块的个数之比(或者差分)，能适当地预测。这里，也可以在所述参考图候补的设定中，将所述第l计数数目与所 述第2计数数目之比或者之差分与阈值进行比较，根据所述比较结果，使 时间上邻近场以及空间上邻近场中的一方包含在所述参考图候补中。根据该构成，根据该构成，通过采用了阈值的比较处理这样的简单的 处理，能适当地设定参考图候补。这里，所述特定场也可以是在编码顺序上从所述编码对象的后场所属的场对起往前第N个场对内的后场，所述N也可以从0至3中选出。根据该构成，通过采用在编码顺序上从编码对象的后场所述的场对起 往前第N个前的场对内的前场，能简单地预测编码对象的后场的运动。这里，所述特定场也可以是第1场、第2场之一，所述第1场也可以 是在编码顺序上所述编码对象的后场之前的场对内的后场，所述第2场也 可以是该场对内的前场，也可以在所述运动的大小的预测中，计算第l以 及第2相关性，作为所述运动的大小，第1相关性是所述编码对象的后场 与所述第1场之间的相关性，第2相关性是所述编码对象的后场与所述第 2场之间的相关性，也可以在所述参考图候补的设定中，根据第l相关性 与第2相关性之比或者之差分，设定为所述参考图候补。根据该构成，通过计算第1相关性和第2相关性，能预测编码对象的 后场的运动的大小。这里，也可以在所述参考图候补的设定中，根据第1相关性与第2相 关性之比或者之差分，使时间上邻近场以及空间上邻近场中的一方包含在 所述参考图候补中。根据该构成，通过2个相关性的比较这样的简单的处理，能适当地设 定参考图候补。这里，所述特定场也可以是第l场、第2场之一，所述第l场也可以 是在编码顺序上所述编码对象的后场之前的场对内的前场，所述第2场也可以是该场对内的后场，也可以在所述运动的大小的预测中，生成所述第 l场、所述第2场和所述编码对象的后场各自的縮小图像，采用縮小图像， 检测出编码对象的后场相对于所述第l场的运动，采用縮小图像，检测出 编码对象的后场相对于所述第2场的运动。根据该构成，通过采用第l、第2场以及所述编码对象的后场各自的 縮小图像进行检测，从而能预测编码对象的后场的运动的大小。这里，也可以在所述参考图候补的设定中，基于所检测出的2个运动，使时间上邻近场以及空间上邻近场中的一方包含在所述参考图候补中。 根据该构成，通过从縮小图像中所得到的运动的比较这样的简单的处理，能适当地设定参考图候补。这里，所述编码对象的后场也可以属于可参考双预测帧间编码后的图的场对，也可以在所述参考图候补的设定中，根据所预测的运动，选择由从可参考的所有的图中选出的参考图候补构成的第1子集以及第2子集中的一方，所述第1子集包含时间上邻近场而不包含空间上邻近场，所述第2子集包含空间上邻近场而不包含时间上邻近场，所述时间上邻近场是与 所述编码对象场相同的场对内的前场，所述空间上邻近场是在编码顺序上 所述编码对象场的往前第一个双预测编码场对的后场。根据该构成，根据所预测的运动，能从第1子集和第2子集中将更适 合的子集自适应地设定为参考图候补。这里，所述参考图选择方法，进一步，当在参考图候补中包含时间上 邻近场时，向该时间上邻近场赋予以最小的位数表示的参考索引，当在参 考图候补中包含空间上邻近场时，向该空间上邻近场赋予以最小的位数表 示的参考索引。根据该构成，在参考图候补中可能最常用的时间上邻近场或者空间上 邻近场，被分配最小位数的参考索引，所以能提高编码效率。另外，本发明的图像编码方法、程序、半导体装置、图像编码装置、 流数据与上述同样地构成，能产生同样的作用效果。发明效果根据本发明，能减少用于确定隔行扫描视频的编码中参考图的处理 量，而且，能达到与没有参考图候补的限制的情况相同程度的编码效率。


图1是表示场图对的说明图。图2A表示图的编码顺序的一个例子。 图2B表示图2A的图的显示顺序。图3A是表示由参考图候补构成的第1子集的一个例子的图。 图3B是表示由参考图候补构成的第2子集的一个例子的图。 图3C是表示在第2子集中从参考图候补中排除的图的一个例子的图。 图4是表示实施方式1中的图像编码装置的主要部分的构成的方框图。 图5是表示与参考图选择方法以及图像编码装置相关的图(编码顺序) 的例子的图。图6是表示图像编码装置中的编码以及参考图设定处理的流程图。图7是详细地表示图6中的分析处理的流程图。图8是详细地表示图6中的参考图候补设定处理的流程图。图9是表示在实施方式2中图像编码装置中的编码以及参考图设定处理的流程图。图IO是详细地表示图9中的分析处理的流程图。图11是表示在实施方式3中图像编码装置中的编码以及参考图设定处理的流程图。图12'是详细地表示图11中的参考图候补设定处理的流程图。 图13是表示实施方式4中的编码以及参考图设定处理的流程图。 图14A是表示被赋予了空间上邻近场的参考索引(index) refjdx的 例子的图。图14B是表示被赋予了时间上邻近场的参考索引refjdx的例子的图。 图15是表示图13中的参考索引设定处理的细节的流程图。 图16是表示实施方式4中的编码以及参考图设定处理的其他例子的 流程图。图17是表示实施方式4中的编码以及参考图设定处理的另外其他例 子的流程图。图18表示实施方式5中的参考图选择方法以及图像编码方法中所采用的编码顺序的图的一个例子。图19是表示在实施方式5中图像编码装置中的编码以及参考图设定 处理的流程图。图20是表示在实施方式6中图像编码装置中的编码以及参考图设定处理的流程图。图21表示在实施方式7中参考图选择方法以及图像编码方法中所采 用的编码顺序的图的 一个例子。图22是表示在实施方式7中图像编码装置中的编码以及参考图设定 处理的流程图。图23是表示在实施方式8中图像编码装置中的编码以及参考图设定 处理的流程图。图24表示在实施方式9中参考图选择方法以及图像编码方法中所采 用的编码顺序的图的一个例子。图25是表示在实施方式9中图像编码装置中的编码以及参考图设定 处理的流程图。图26是表示在实施方式10中图像编码装置中的编码以及参考图设定 处理的流程图。符号的说明
101输入图存储器 102减法器103正交变换兼量化部104可变长度编码部107正交反变换兼反量化部108参考图生成部109参考图存储器110帧间预测部111控制部304、 298、 292第1参考图 308、 302、 296第2参考图 310空间上邻近场314时间上邻近场316编码对象后场具体实施方式
(实施方式1)在本发明的参考图选择方法中，采用在编码顺序上编码对象的后场之 前的特定场，来预测编码对象的后场的运动的大小，根据所预测的运动的 大小，设定适合对编码对象的后场进行编码的参考图候补，从所设定的参 考图候补中选择出编码对象的后场的参考图。在选择参考图的处理中，不 需要调查可参考的所有的图，只要仅仅调査参考图候补即可。由此，能减 少用于确定参考图的处理量。另外，根据所预测的运动的大小，来设定适 合对编码对象的后场进行编码的参考图候补，所以能达到与没有参考图候 补的限制的情况相同程度的编码效率。上述特定场根据实施方式而被定义不同的图。在实施方式1中，特定场是指在编码顺序上编码对象的后场之前的场对内的后场。例如，在图5 的后场316是编码对象场的情况下，后场310是特定场。将与所述特定场 相同的场对内的前场称为第2参考图。将在编码顺序上特定场的往前第一 个场对内的后场称为第1参考图。例如，在图5的后场310是特定场的情 况下，前场308是第2参考图，而后场304是第1参考图。另外，上述编码对象的后场的运动的大小的预测是间接地进行。也就 是，在上述预测中，在特定场的编码中对采用了第l参考图的块的个数即 第l计数数目、和采用了所述第2参考图的块的个数即第2计数数目进行 计数，并且作为编码对象的后场的运动的大小，计算出所述第l计数数目 与所述第2计数数目之比或者之差分。该比或者差分越小，则意味着运动 越大。须指出的是，图5中的第1、第2参考图的称呼与权利要求中的第1、 第2参考图反过来。在该情况下，应注意第l计数数目与第2计数数目之 比或者之差分的含义反过来的这一点。也就是，由于使第l、第2参考图 的称呼反过来，因此比或者差分越大，运动越小还是越大变得不同。即使 使第l、第2参考图的称呼反过来，在能预测运动的这一点上能产生相同的效果。图3A、图3B是表示由参考图候补构成的第1、第2子集的一个例子 的图。在图3A中实线的箭头线表示由编码对象的后场316的编码中所采 用的参考图候补构成的第1子集。图3B中实线的箭头线表示由编码对象 的后场316的编码中所采用的参考图候补构成的第2子集。在上述参考图 候补的设定中根据所预测的运动的大小，设定了第1子集或者第2子集。前场314是在时间上与编码对象的后场316最接近的场(称为时间上 邻近场)。当所预测的运动大时，优选将时间上邻近场作为参考图的候补。 后场310是在空间上与编码对象的后场316最接近的场(称为空间上邻近 场)。当所预测的运动小时，优选将空间上邻近场作为参考图的候补。在图3A、图3B的例子中，第1子集包含空间上邻近场而不包含时间 上邻近场。第2子集包含时间上邻近场而不包含空间上邻近场。须指出的 是，图3A、图3B中虚线的箭头线表示由前场314的编码中所采用的参考 图候补构成的子集。如图3A、图3B所示，前场3M的编码用的子集也可 以与后场的第1、第2子集协调地选择。图3C是表示从第2子集中参考图候补中排除的图的一个例子的图。 图中的标注NG的实线的箭头线意味着优选从第2子集中排除场308、310。 由此，在编码对象的后场的编码中，场对306已不需要作为参考图，所以 能从参考图存储器中删除该场对306。另外，图中的标注NG的虚线的箭 头线也可以从前场314的编码用的子集中排除场308、 310。通过这样，在 前场314的编码中也能从参考图存储器中删除削除场对306。须指出的是，第1、第2子集中的参考图候补的数量也可以2个以上。 另外，也可以使空间上邻近场包含在双方的子集中、而且使时间上邻近场 包含在一方的子集中。以下，对实施方式1中的实现参考图选择方法的图像编码装置进行说明。图4是表示实施方式1中的图像编码装置的主要部分的构成的方框 图。如图4所示，图像编码装置具有输入图存储器101、减法器102、正 交变换兼量化部103、可变长度编码部104、正交反变换兼反量化部107、 参考图生成部108、参考图存储器109、帧间预测部IIO和控制部111。输入图存储器101被输入隔行扫描视频信号，暂时保存至少1个场对。减法器102求得来自输入图存储器101的编码对象块与来自帧间预测 部110的预测图像之间的差分，并且将该差分作为预测残差输出到正交变 换兼量化部103。正交变换兼量化部103通过对来自减法器102的预测残差进行正交变 换，求得由频率系数构成的系数块，并进一步量化系数块。可变长度编码部104通过对量化后的系数块进行可变长度编码，输出 视频流。正交反变换兼反量化部107通过对量化后的系数块进行反量化以及正 交反变换，求得预测残差。参考图生成部108通过将来自正交反变换兼反量化部107和帧间预测 部110的预测图像相加，重构编码对象图。参考图存储器109将重构后的编码对象图作为参考图暂时存储。帧间预测部IIO对编码对象图按每块通过采用了参考图109中的参考 图的单预测或者双预测来生成预测图像。此时，帧间预测部110从采用上 述参考图选择方法由控制部111设定的参考图候补中，按每块选择1个或 者2个参考图。控制部111对图像编码装置整体进行控制，尤其设定基于参考图选择 方法的参考图的候补。图5是表示与参考图选择方法以及图像编码装置相关的图(编码顺序) 的例子的图。场对300、 306、 312以及318是单预测或者双预测图。例如， 场对300、 306、 312以及318的编码类型是P、 B、 B、 B。假设场对300 以及306是编码完毕、且作为参考图己经存放在参考图存储器109的场对。 假设场对312是当前编码对象。在场对300以及306之间、或者场对306 以及312之间也可以存在1以上的非参考场对。为了间接预测编码对象场的运动的大小，对来自在编码顺序上往前第 一个参考场对306的后场310的预测信息进行分析。该分析结果表示编码 对象场的运动的大小，并且用于确定在空间上邻近场与时间上邻近场中哪 一个更适合对对象场对312的后场316进行编码。在往前第一个参考场对306的后场310的编码中，假设以下的第1、第2参考图可用作参考图候补编码顺序上往前第一个参考场对306之前的参考场对300的后场304 (第l参考图)；以及，往前第一个参考场对 306的前场308 (以下称为第2参考图)。上述的空间上一时间上确定， 为了作为用于对象场对312的后场316的编码的参考图候补，包含或者除 去对象场对312的前场314而使用。须指出的是，也可以为了在编码顺序上对象场对312后面的场对(场 对318等)的编码，因而在以后使用上述确定。图6是表示图像编码装置中的编码以及参考图设定处理的流程图。在 图6中表示图5所示的场308、 310、 314、 316的编码处理、以及间接预 测编码对象场的运动来设定参考图候补的处理。首先，模块400对在编码顺序上往前第一个场对306的前场308进行 编码。接下来，模块402采用第1以及第2参考图作为参考图候补，对在 编码顺序上往前第一个场对306的后场310进行编码。后场310的预测信 息从编码模块402被递交到分析模块404。该预测信息也可以在各宏块编 码后、各片(slice)编码后、或者全场编码后被递交。在模块404中进行对在空间上邻近场和时间上邻近场中哪一个更适合 的空间上一时间上确定。基于模块404的空间上一时间上确定，模块406 包含或者除去对象场对312的前场314 (也即时间上邻近场)作为用于编 码对象场对312的后场316的参考图候补。而且，模块406采用所设定的 参考图候补，在模块408中对对象场对312的前场314进行编码，另一方 面，模块410对对象场对312的后场316进行编码。在该编码中，从参考 图候补中按每块选择最佳的参考图。图7是详细地表示图6中的模块404的分析处理流程图。首先，模块500将第1参考计数器以及第2参考计数器的值设为零。 接下来，模块504判断所输入的片/图的各宏块的编码类型。当编码类型不 是帧间编码的情况下，模块518所示，继续进行图中的下一个宏块的循环 处理。当编码类型是帧间编码的情况下(单预测或者双预测的情况下)， 判断宏块内的每块中所采用的参考图。如4x4或者8x8的固定尺寸作为块 的尺寸所选择。在模块508中判断是否根据第1参考场预测块。如果是，则模块510使第l参考计数器加一，继续进行宏块内的下一个块的循环处理。另一方 面，如果块不是根据第l参考图预测的，则模块512判断是否根据第2参考图预测该块。如果是，模块514使第2参考计数器加一，继续进行宏块 内的下一个块的循环处理。模块518所示，本判断处理针对所输入的片/ 图的多个宏块内的所有的块重复进行。如果判断所有的宏块，则模块520将第1参考计数器的值相对第2参 考计数器的值的比率与阈值(称为第1阈值)进行比较。该比率意味着编 码对象后场的运动的大小的预测结果。也即，比率越小，预测为编码对象 后场的运动越大，比率越大，预测为编码对象后场的运动越小。当比率小 于第1阈值的情况下，确定为时间上邻近场比空间上邻近场更适合作为参 考图候补。另一方面，当比率在第l阈值以上的情况下，确定为空间上邻 近场比时间上邻近场更适合作为参考图候补。在本确定后，结束分析处理。须指出的是，模块520中代替上述比率，也可以采用第l参考计数器 的值与第2参考计数器的值之间的差分。在该情况下，差分越小，预测为 编码对象后场的运动越大，差分越大，预测为编码对象后场的运动越小。 当差分小于第2阈值(与上述比率用的第1阈值不同)的情况下，确定为 时间上邻近场比空间上邻近场更适合作为参考图候补。另一方面，当差分 在第2阈值以上的情况下，确定为空间上邻近场比时间上邻近场更适合作 为参考图候补。另外，在上述模块520中，代替第1参考计数器的值相对第2参考计 数器的值的比率，也可以采用第2参考计数器的值相对第1参考计数器的 值的比率。在该情况下，只要在(第2参考计数器的值/第1参考计数器的 值)的比率大于规定的阈值的情况下，确定为时间上邻近场更适合，在小 于规定的阈值的情况下，确定为空间上邻近场更适合即可。图8是详细地表示图6中的模块406的参考图候补设定处理的流程图。 首先，模块600将在编码顺序上往前第一个场对306的后场310 (也 即空间上邻近场)，设定为用于编码对象场对312的后场316的默认的参 考图候补。在对象场对312的往前第一个场对不是参考场对时(如表示为 图5例的场对306)，将在编码顺序上对象场对312的往前第一个最近的 参考场对的后场视为空间上邻近场，模块600设定为默认的参考图候补。接下来，在模块602中判断空间上一时间上确定。当时间上邻近场不 是更适合的情况下，结束参考用图选择方法。否则(时间上邻近场更适合
的情况下)，对象场对312的前场314 (也即时间上邻近场)在模块604 中被设定为参考图候补。
而且，模块606从图像处理装置的规格、处理能力或者设定上的观点 出发，判断空间上邻近场以及时间上邻近场双方能否同时作为参考图候 补。如果是，则结束参考图选择方法。否则，模块608将在编码顺序上往 前第一个场对306的后场310 (也即空间上邻近场)从参考图候补的子集 中除去，结束参考图候补设定方法。
如上所述，根据本实施方式中的参考图选择方法，通过根据从特定场 (这里，在编码顺序上所述编码对象的后场之前的场对内的后场)的编码 的过程中可容易取得的预测信息(表示参考图的信息)来计数第1以及第 2计数数目，从而能以简单的处理预测编码对象的后场的运动的大小。
作为第1计数数目与第2计数数目之比(或者差分)、也就是参考了 第1参考图的次数与参考了第2参考图的次数之比(或者差分)，能适当 地预测运动的大小。也就是，该比或者差分越小，则意味着运动越大。另 外，通过采用了阈值的比较处理这样的简单的处理，能适当地设定参考图 候补。
由此，能减少参考图选择的处理量，而且能实现与没有参考图候补的 限制的情况相同程度的编码效率。
须指出的是，在图6的模块406中也可以设定图3A、图3B所示的第 l子集或者第2子集。
另外，也可以使图5中的第1参考图与第2参考图反过来。也就是， 也可以将前场308作为第1参考图、将后场3042作为第2参考图。此时， 只要使图7所示的模块520的Y与N反过来即可。该情况下，如果模块 520的比率(第1参考计数器的值/第2参考计数器的值)越大，则被预测 为编码对象后场的运动大，如果比率越小，则被预测为编码对象后场的运 动小。
(实施方式2)
在本实施方式中，与实施方式l进行比较，不同点在于，特定场是不同的图、以及预测信息是不同的信息。省略对相同点的说明，以下以不同 点为中心进行说明。
本实施方式中的特定场是指编码对象的后场的往前第一个场对中所 属的前场。另外，在实施方式1中预测信息是表示在特定场的各块的编码
中参考图是第1/第2参考图中的哪一个的信息，而在实施方式2中预测信
息是采用了用于表示在特定场的各块的编码中是否进行了帧内编码的信
息o
实施方式2的图像编码装置的概略构成与图4相同。另外，与实施方 式1同样，图5中表示自适应参考图选择方法以及图像编码装置中所采用 的编码顺序的图的一个例子。为了间接预测对象场对312的后场316的运 动的大小，对在编码顺序上前面的参考场对306的前场308 (也就是特定 场)的编码过程中所得到的预测信息进行分析。该预测信息表示在特定场 的各块的编码中是否进行了帧内编码。分析结果用于间接表示编码对象后 场的运动的大小，并且利用于空间上一时间上(spatial—temporal)确定。 该空间上一时间上确定，用于判定是否包含对象场对312的前场314 (也 就是时间上邻近场)，作为用于下一次编码对象场对312的后场316的参 考图候补。须指出的是，同一确定也可以以后用于在编码顺序上对象场对 312之后的场对(例如，场对318)的编码中。
图9是表示实施方式2中的图像编码装置中的编码以及参考图设定处 理的流程图。图9表示图5所示的场308、 310、 314、 316的编码处理、 和间接预测编码对象场的运动来设定参考图候补的处理。模块400、 402、 406、 408、以及410，与实施方式l的图6所示的相同。
首先，模块400对在编码顺序上前面的场对306的前场308进行编码。 前场308的预测信息从编码模块400转发到分析模块700。该预测信息表 示在特定场的各块的编码中是否进行了帧内编码，也可以按每个宏块、按 每片、或者在场整体的编码后转发。模块700进行关于空间上邻近场和时 间上邻近场的哪一个更适合的空间上一时间上确定。基于模块700的空间 上一时间上确定，模块406确定是否包含对象场对312的前场314 (也就 是，时间上邻近场)，作为用于编码对象场对312的后场316的参考图候 补，依照确定，设定参考图候补(或者如图3A、 3B的子集)。在模块402中对在编码顺序上前面的场对306的后场310进行编码， 在模块408中对对象场对312的前场314进行编码。最后，模块410采用 由模块406所设定的参考图候补，对对象场对312的后场316进行编码。图10是详细地表示图9中的模块700的分析处理的流程图。首先，模块800将第1计数器以及第2计数器的值设定为零。接下来， 在模块806中确认输入片/图中的宏块的各块的编码类型。选择4X4或8x8 这样的固定尺寸作为块尺寸。当编码类型是帧内编码的情况下，模块808 使第l计数器加一，如模块812所示，继续进行宏块中的下一个块的块循 环处理。当编码类型不是帧内编码的情况下，模块810是第1计数器加一， 如模块812所示，继续进行宏块中的下一个块的块循环处理。在针对宏块 的所有的块进行确认处理之后，如模块814所示，继续进行片/图中的下一 个宏块的循环处理。在针对所有的宏块进行确认处理之后，模块816对第 1计数器与第2计数器的比率、与阈值(成为第3阈值)进行比较。该比 率意味着编码对象后场的运动的大小的预测结果。也即，比率越大，预测 为编码对象后场的运动越大，比率越小，预测为编码对象后场的运动越小。 第3阈值是与实施方式1中的模块520的第1阈值不同的值。当比率大于 第3阈值的情况下，判定为时间上邻近场比空间上邻近场更适合。另一方 面，当比率在第3阈值以下的情况下，判定为空间上邻近场比时间上邻近 场更适合。在判定结果出来之后，结束分析处理。须指出的是，模块816中，取代上述比率，也可以采用第l计数器的 值与第2计数器的值之间的差分。该差分意味着编码对象后场的运动的大 小的预测结果。也就是，差分越大，预测为编码对象后场的运动越大，差 分越小，预测为编码对象后场的运动越小。当差分大于第4阈值(上述比 率用的第3阈值不同)的情况下，确定为时间上邻近场比空间上邻近场更 适合作为参考图候补。另一方面，当差分在第4阈值以下的情况下，确定 为空间上邻近场比时间上邻近场更适合作为参考图候补。如上所述，根据本实施方式中的参考图选择方法，利用在特定场(这 里，编码对象的后场的往前第一个场对内的前场)的编码的过程中可容易 利用的预测信息(表示是否是帧内编码的信息)，间接预测编码对象的后 场的运动的大小。由此，以简单的处理能适当地设定参考图候补。(实施方式3)在本实施方式中，与实施方式2相比，不同点在于，特定场是不同的 图。对相同点省略说明，以下以不同点为中心进行说明。本实施方式中的特定场是指属于与编码对象的后场相同的场对的前场。实施方式3的图像编码装置的概略构成与图4相同。另外，与实施方 式1、 2同样，图5表示自适应参考图选择方法以及图像编码装置中所采 用的编码顺序的图的一个例子。为了间接预测编码对象的后场316的运动的大小，对对象参考场对 312的前场314 (也就是特定场)的编码过程中所得到的预测信息进行分 析。预测信息表示在特定场的各块的编码中是否进行了帧内编码。分析结 果用于间接表示编码对象的后场316的运动的大小，并且利用于空间上邻 近场和时间上邻近场中的哪一个更适合作为参考图候补的判定(空间上一 时间上确定)中。须指出的是，同一确定也可以用于以后在编码顺序上对象场对312之 后的场对(例如，场对318)的编码中。图11是表示实施方式3中的图像编码装置中的编码以及参考图设定 处理的流程图。在同11中表示图5所示的场314、 316的编码处理、以及 间接预测编码对象场的运动来设定参考图候补的处理。模块408以及410 与实施方式l以及2的图6以及9所示的相同。模块700与实施方式2的 图9、图IO相同。首先，在模块408中对对象场对312的前场314进行编码。前场314 的预测信息从编码模块408转发到分析模块700。该预测信息也可以按每 个宏块、按每片、或者在场整体的编码后转发。模块700进行关于空间上邻近场和时间上邻近场中的哪一个更适合的 空间上一时间上确定。基于模块700的空间上一时间上确定，模块900包 含或不包含对象场对312的前场314 (也就是，时间邻近场)，作为用于 编码对象场对312的后场316的前场314。接下来，模块410采用由模块 900所设定的参考图候补，对对象场对312的后场316进行编码。图12是详细地表示图11的模块900的参考图候补设定处理的流程图。首先，模块600将在编码顺序上前面的场对306的后场310 (也就是， 空间上邻近场)设定为用于对象场对312的后场316的编码的参考图候补。 当对象场对312的往前第一个场对不是参考场对(图5的例子中表示为场 对306)的情况下，将在编码顺序上对象场对312的往前第一个最近的参 考场对的后场视为空间上邻近场，在模块600中设定为参考图候补。接下来，模块602中确认空间上一时间上确定。当时间上邻近场不适 合的情况下，结束参考图选择处理。否则(时间上邻近场适合的情况下)， 模块604将对象场对312的前场314 (也就是，时间上邻近场)设定为参 考图候补。然后，结束参考图候补设定处理。模块600、 602以及604，与 实施方式1的图8中所记载的内容相同。图12与图8不同，由于不执行 模块606以及608，所以不从参考图候补中除去空间上邻近图。因此，最 终的参考图候补在包含还是除去时间上邻近图上不同。须指出的是，在图11的模块900中，取代图12的处理，也可以进行 与图8相同的处理。根据如上所述本实施方式中的参考图选择方法，利用在特定场(这里， 与编码对象的后场相同的场对内的前场)的编码的过程中可容易利用的预 测信息(表示是否是帧内编码的信息)，间接预测编码对象的后场的运动 的大小。由此，以简单的处理能适当地设定参考图候补。 (实施方式4)在本实施方式中，说明对实施方式1至3的各个参考图选择方法还追 加了赋予参考索引的处理的构成。这里，参考索引是指被分配到可参考的 图的全部或者参考图候补的全部中的码，为了指定流中作为参考图实际采 用的图而使用。另外，参考索引能按每个编码对象的图，被分配到可参考 的图的全部或者参考图候补的全部中。在赋予参考索引的处理中，当在参考图候补中包含时间上邻近场时， 向该时间上邻近场赋予以最小的位数表示的参考索引，当参考图候补中包 含空间上邻近场时，向该空间上邻近场赋予以最小的位数表示的参考索 引。也就是，在参考图候补中作为参考图最常用的时间上邻近场或者空间 上邻近场中分配最小位数的参考索引。流包含用于指向各块的参考图的参 考索引，所以能縮短流的位数并进一步提高编码效率。图13是表示实施方式4中的编码以及参考图设定处理的流程图，针对实施方式1的图6追加了参考索引赋予处理的流程图。图13与图6相 比，不同点在于，追加了模块1100。对相同点省略说明，以不同点为中心 进行说明。在设定参考图候补后，模块1100分别向编码对象后场的参考 图候补的每一个赋予参考索引。此时，在参考图候补中时间上邻近场或者 空间上邻近场中赋予以最小的位数表示的参考索引。图14A、图14B是表示所赋予的参考索引ref一idx的例子的图。在图 14A中，编码对象的后场316的参考图候补中空间上邻近场310被分配了 ref—idx=0。在该例中ref—idx=0是以最小的位数表示的参考索引。空间上 邻近场310以外的参考图候补被分配其他值refjdx-l、 2、等。与此对应， 在图14B中，编码对象的后场316的参考图候补中时间上邻近场314被分 酉己了 ref—idx=0。图15是表示图13的模块1100中的参考索引设定处理的细节的流程图。首先，模块1400中确认空间上一时间上确定。当时间上邻近图适合 的情况下，模块1402变更或者重新配置多个参考图候补的参考索引，以 使最小位数的参考索引指向时间上邻近图(也就是，对象场对312的前场 314)(例如图14B)。当时间上邻近图不适合的情况下，模块1404变更 或重新配置如在编码顺序上前面的参考场对306的后场310这样的多个参 考图候补的索引，以使最小位数的参考索引参考空间上邻近图(例如图 14A)。图16是表示实施方式4中的编码以及参考图设定处理的其他例子的 流程图，是在实施方式2的图9中追加了参考索引赋予处理的流程图。图 16与图9相比，不同点在于，追加了模块IIOO。模块1100如同上述。图17是表示实施方式4中的编码以及参考图设定处理的另外其他例 子的流程图，是在实施方式3的图11中追加了参考索引赋予处理的流程 图。图17与图11相比，不同点在于，追加了模块IIOO。模块1100如同 上述。如上所述，根据本实施方式中的参考图选择方法，在作为参考图候补 中参考图能最常用的时间上邻近场或者空间上邻近场被分配最小位数的参考索引。流包含用于指向各块的参考图的参考索引，所以能縮短流的位 数并且能进一步提高编码效率。 (实施方式5)在本实施方式中，与实施方式l相比，不同点在于，特定场是不同的 图。对相同点省略说明，以下以不同点为中心进行说明。本实施方式中的特定场是指编码对象的后场的往前第二个(2个前) 场对中所属的后场。本实施方式的图像编码装置的概略构成与图4相同。图18表示实施方式5中的参考图选择方法以及图像编码方法中所采 用的编码顺序的图的一个例子。场对294、 300、 306、 312是例如按顺序I 或者P图、P图、B图、B图。相对于编码对象的后场316，特定场成为 后场304。与特定场相同的场对内的前场302被称为第2参考图。在编码 顺序上特定场304的往前第一个场对294内的后场298被称为第1参考图。图19是表示图像编码装置中的编码以及参考图设定处理的流程图。 图19表示图18所示的场302、 304、 308、 310、 314、 316的编码处理、 和间接预测编码对象场的运动来设定参考图候补的处理。图19与图6所 示的实施方式l的参考图设定处理相比，不同点在于，记载了模块396、 398，而模块404从模块398取得预测信息。图19的模块400 410进行 与图6相同的处理。以下，对相同点省略而以不同点为中心进行说明。在模块396中进行往前第二个(2个前)场对300内的前场302的编 码。在模块398中进行往前第二个(2个前)场对300内的后场304的编 码。后场304的预测信息从编码模块398转发到分析模块404。该预测信 息是表示按每块的实际编码中所采用的参考图的信息，也可以按每个宏 块、按每片、或者在场整体的编码后转发。模块404分析从模块398所得到的预测信息。对模块404、 406的细 节而言，与已说明的图7、 8相同。如上所述，根据本实施方式中的参考图选择方法，与实施方式1同样， 通过根据从特定场(这里，在编码顺序上所述编码对象的后场之前的场对 内的后场304)的编码的过程中可容易取得的预测信息(表示参考图的信 息)来计数第l以及第2计数数目，从而能以简单的处理预测编码对象的后场316的运动的大小。将运动的大小作为第1计数数目与第2计数数目之比(或者差分)、 也就是、参考了第1参考图的次数与参考了第2参考图次数之比(或者差 分)，能适当地预测。该比或者差分越小，则意味着运动越大。另外，通 过采用了阈值的比较处理这样的简单的处理，能适当地设定参考图候补。由此，能减少参考图选择的处理量，而且能实现与没有参考图候补的 限制的情况相同程度的编码效率。 (实施方式6)在本实施方式中，与实施方式2相比，不同点在于，特定场是不同的 图。对相同点省略说明，以下以不同点为中心进行说明。本实施方式中的特定场是指属于编码对象的后场的往前第二个(2个 前)场对的前场。本实施方式的图像编码装置的概略构成与图4相同。本实施方式中也 采用图18所示的编码顺序的图的一个例子进行说明。图20是表示实施方式6中的图像编码装置中的编码以及参考图设定 处理的流程图。图20表示图18所示的场302、 304、 308、 310、 314、 316 的编码处理、和间接预测编码对象场的运动来设定参考图候补的处理。图 20与图9所示的实施方式2的参考图设定处理相比，不同点在于，记载了 模块396、 398，而模块700从模块396取得预测信息。图20的模块400 410、 700进行与图9相同的处理。以下，对相同点省略而以不同点为中心 进行说明。模块396进行往前第二个(2个前)的场对300内的前场302的编码。 前场302的预测信息从编码模块398转发到分析模块700。该预测信息是 表示是否按每块进行了帧内编码的信息，也可以按每个宏块、按每片、或 者在场整体的编码后转发。模块398进行往前第二个(2个前)的场对300 内的后场302的编码。模块700分析从模块396所得到的预测信息。对模块700、 406的细 节而言，与已说明的图IO、 8相同。如上所述，根据本实施方式中的参考图选择方法，与实施方式2同样， 通过根据从特定场(这里，在编码顺序上所述编码对象的后场之前的场对内的前场302)的编码的过程中可容易取得的预测信息(表示是否是帧内 编码块的信息)来计数第1以及第2计数数目，从而能以简单的处理预测 编码对象的后场316的运动的大小。将运动的大小作为第1计数数目与第2计数数目之比(或者差分)、 也就是参考了第1参考图的次数与参考了第2参考图的次数之比(或者差 分)，能适当地预测。该比或者差分越小，则意味着运动越大。另外，通 过采用了阈值的比较处理这样的简单的处理，能适当地设定参考图候补。由此，能减少参考图选择的处理量，而且能实现与没有参考图候补的 限制的情况相同程度的编码效率。 (实施方式7)在本实施方式中，与实施方式5相比，不同点在于，特定场是不同的 图。对相同点省略说明，以下以不同点为中心进行说明。本实施方式中的特定场是指属于编码对象的后场的往前第三个(3个 前)场对的后场。图21表示实施方式7中的参考图选择方法以及图像编码方法中所采 用的编码顺序的图的一个例子。场对288、 294、 300、 306、 312，例如依 次是I或者P图、P图、P图、B图、B图。相对于编码对象的后场316, 特定场成为后场298。与特定场298相同的场对294内的前场296被称为 第2参考图。在编码顺序上特定场298的往前第一个场对288内的后场292 被称为第l参考图。图22是表示实施方式7中的图像编码装置中的编码以及参考图设定 处理的流程图。图22表示图21所示的场290、 292、 302、 304、 308、 310、 314、 316的编码处理、和间接预测编码对象场的运动来设定参考图候补的 处理。图22与图19所示的实施方式5的参考图设定处理相比，不同点在 于，记载了模块392、 394，而模块404从模块394取得预测信息。图22 的模块396 410进行与图19相同的处理。以下，对相同点省略而以不同 点为中心进行说明。后场298的预测信息从编码模块394转发到分析模块404。该预测信 息是表示按每块的实际编码中所采用的参考图的信息，也可以按每个宏 块、按每片、或者在场整体的编码后转发。模块404分析从模块394所得到的预测信息。对模块404、 406的细 节而言，与已说明的图7、 8相同。如上所述，根据本实施方式中的参考图选择方法，能采用不同的特定 场可得到与上述各实施方式同样的效果。 (实施方式8)在本实施方式中，与实施方式6相比，不同点在于，特定场是不同的 图。对相同点省略说明，以下以不同点为中心进行说明。本实施方式中的特定场是指属于编码对象的后场的往前第三个(3个 前)场对的前场。在本实施方式中也采用图21所示的图例进行说明。图23是表示实施方式8中的图像编码装置中的编码以及参考图设定 处理的流程图。图23与图20所示的实施方式2的参考图设定处理相比、 不同点在于，记载了模块392、 394，而模块700从模块392取得预测信息。 除此之外，与实施方式6同样。如上所述，根据本实施方式中的参考图选择方法，采用不同的特定场 可得到与上述各实施方式同样的效果。 (实施方式9)在上述各实施方式中采用特定场的预测信息来间接简易地预测或者 推定编码对象后场的运动的大小。与此对应，在本实施方式中，对通过调 查编码对象后场与时间上邻近场以及空间上邻近场中的哪一个的相关性 更高，来预测编码对象后场的运动的大小的参考图选择方法进行说明。图24表示实施方式9中的参考图选择方法以及图像编码方法中所采 用的编码顺序的图的一个例子。场对306、 312，例如依次是B图。编码 对象后场316与时间上邻近场314之间的相关性能根据它们的差分简易地 计算。同样，编码对象后场316与空间上邻近场310之间的相关性能根据 它们的差分简易地计算。图25是表示实施方式9中的图像编码装置中的编码以及参考图设定 处理流程图。图25表示图24所示的场308、 310、 314、 316的编码处理、 以及间接预测编码对象场的运动来设定参考图候补的处理(模块720 724、 406)。模块400、 402、 406、 408、以及410与实施方式1的图6 所示的相同。模块720计算往前第一个后场(空间上邻近场)310与编码对象后场 316之间的相关性(以下称为空间上相关性)。这里，计算在2个场间所 对应的像素之间的差分，并且计算它们的总和作为相关性。在进行该计算 的时候，从输入图存储器101读出编码对象后场316的各像素值，而从参 考图存储器109或者输入图存储器101读出空间上邻近场310的各像素值。 空间上相关性表示上述差分的总和越小变得越高的相关性。模块722计算出前场(时间上邻近场)314与编码对象后场316之间 的相关性(以下称为时间上相关性)。该计算与模块720同样。空间上相 关性表示差分的总和越小变得越高的相关性。模块724根据2个相关性，进行空间上一时间上确定。也即，当空间 上相关性比时间上相关性高的情况下，确定为空间上邻近场比时间上邻近 场更适合作为参考图候补。相反，当时间上相关性比空间上相关性高的情 况下，确定为时间上邻近场比空间上邻近场更适合作为参考图候补。模块406如图中已说明的那样，根据模块724的确定，设定空间上邻 近场或者空间上邻近场作为参考图候补。如上所述，通过求得空间上相关性和时间上相关性，能预测本实施方 式的参考图选择方法中的编码对象后场的运动的大小。而且，还能通过求 得差分的总和这样的简易的计算来实现。 (实施方式10)在实施方式9通过计算出2个相关性，来预测了编码对象后场的运动 的大小。与此对应，在本实施方式中，对通过调查编码对象后场与时间上 邻近场以及空间上邻近场中的哪一个的相关性更高，来预测编码对象后场 的运动的大小的参考图选择方法进行说明对通过调查编码对象后场的縮小图像的运动在时间上邻近场的縮小 图像以及空间上邻近场的縮小图像中对哪一个大，来预测编码对象后场的 运动的大小的参考图选择方法进行说明。图26是表示实施方式10中的图像编码装置中的编码以及参考图设定 处理的流程图。图26表示图24所示的场308、 310、 314、 316的编码处 理、以及间接预测编码对象场的运动来设定参考图候补处理(模块730 734、 406)。模块400、 402、 406、 408、以及410与实施方式1的图6所示的相同。模块730生成往前第一个后场(空间上邻近场)310的縮小图像，并且生成编码对象后场316的縮小图像，根据2个縮小图像预测编码对象后 场316的运动的大小(以下称为第l运动的大小)。縮小图像，例如也可 以是纵横各1/2、 1/3、 1/4'"等。在运动的大小的预测中，可以按縮小图 像中的每块检测出运动矢量，或者、可以采样一些代表块来检测出运动矢 量。根据这样检测出的多个块的运动矢量的总和、或者运动矢量的绝对值 的总和，来预测"运动的大小"。模块732生成往前第一个前场(时间上邻近场)314的縮小图像，根 据该縮小图像和编码对象后场316的縮小图像，预测编码对象后场316的 运动的大小(以下称为第2运动的大小)。运动的预测可以与上述相同。模块734根据第1以及第2运动的大小，进行空间上一时间上确定。 也即，当第1运动的大小比第2运动的大小大的情况下，确定为空间上邻 近场比时间上邻近场更适合作为参考图候补。相反，当第2运动的大小比 第1运动的大小大的情况下，确定为时间上邻近场比空间上邻近场更适合 作为参考图候补。模块406如图8中已说明，根据模块734的确定，设定空间上邻近场 或者空间上邻近场作为参考图候补。如上所述，在本实施方式中的参考图选择方法中，通过采用縮小图像， 能适当地预测编码对象后场的运动的大小。而且，还能通过縮小图像的运 动矢量的検出这样的简易的计算来实现。须指出的是，上述各实施方式所示的块图的各功能块以及流程图的各 模块典型的是作为集成电路装置即LSI来实现。该LSI也可以单芯片化， 也可以多芯片化(例如存储器以外的功能块也可以当芯片化)。这里，作 为LSI，但是还有时根据集成度的不同而称为IC、系统LSI、 super LSI、 ultra LSI 。集成电路化的方法不限于LSI，还可以通过专用电路或者通用处理器 实现。在LSI制造后，也可以利用可编程的FPGA(Field Programmable Gate Array)、可重构LSI内部的电路单元的连接和设定的可重新配置处理器。当然，只要伴随半导体技术的进步或者派生的另一技术而出现能取代LSI的集成电路化的技术，也可以采用该技术来进行功能块的集成化。能 实现生物技术上的适应。另外，在各功能块中仅仅将用于存放数据的单元不进行单芯片化，而也可以作为记录介质、DRAM等另外的构成。须指出的是，上述各实施方式所示的流程图中主要的部分还可以通过 处理器以及程序来实现。这样，能将上述实施方式中所示的图像编码方法或者图像解码方法使 用于上述的任一个机器和系统中，通过这样，能得到上述实施方式中说明 的效果。另外，本发明不限于上述实施方式，在不脱离本发明的范围内，能进 行各种变形或者修正。须指出的是，在实施方式5至10的各参考图设定处理中，还可以追 加向参考图候补中时间上邻近场或者空间上邻近场赋予以最小的位数表 示的参考索引的参考索引设定处理(图15)。在上述各实施方式的参考图选择方法中，设定了编码对象的后场的参 考图候补，但是除此以外，还可以进行编码对象前场的参考图候补的设定。 例如，也可以根据编码对象前场的运动的大小，设定以图3A的虚线箭头 所示的参考图候补的子集和以图3B的虚线箭头所示的参考图候补的子集 任一个。在上述实施方式1、 4、 5、 7中，图7所示的模块404对采用了第1 参考图的块的个数即第1计数数目和采用了所述第2参考图的块的个数即 第2计数数目进行计数(模块508 514)，取而代之，也可以对帧内编码 后的块的个数即第2计数数目和在帧内以外编码后的块的个数即第1计数 数目进行计数。在上述实施方式2、 3、 4、 6中、图10所示的模块700中对帧内编码 后的块的个数即第1计数数目和在帧内以外编码后的块的个数即第2计数 数目进行计数(模块816 810)，取而代之，也可以对采用了第l参考图 的块的个数即第1计数数目和采用了所述第2参考图的块的个数即第2计 数数目进行计数。在该情况下，只要将第1参考图设为位于特定场之前的 后场，将第2参考图设为位于与第l参考图相同的场对内的前场即可。另外，也可以使图18、图21中的第1参考图与第2参考图反过来。 也就是，将前场302、 296作为第1参考图，将后场298、 292作为第2参 考图。此时，只要使图7所示的模块520的Y与N反过来即可。该情况 下的模块520的比率(第1参考计数器的值/第2参考计数器的值的)越大， 则预测为编码对象后场的运动大，比率越小，则预测为编码对象后场的运 动小。工业实用性本发明能适合于对图像进行编码或者解码的编码装置、解码装置，并 且适合于进行运动图像分发的web服务器，接收该运动图像的网络终端、 能记录再生运动图像的数码相机、附带相机的移动电话机、DVD录像/播 放机、PDA、个人计算机等中。
权利要求
1、一种参考图选择方法，在隔行扫描视频的编码中选择用于编码对象的后场的参考图，采用在编码顺序上所述编码对象的后场之前的特定场，预测所述编码对象的后场的运动的大小，根据所预测的运动的大小，设定适合对所述编码对象的后场进行编码的参考图候补，从所设定的参考图候补中选择所述编码对象的后场的参考图。
2、 根据权利要求1所述的参考图选择方法，其特征在于，在所述参考图候补的设定中，根据所述运动的大小的预测结果，使时 间上邻近场以及空间上邻近场中的一方包含在所述参考图候补中， 所述时间上邻近场是与所述编码对象场相同的场对内的前场， 所述空间上邻近场是在编码顺序上所述编码对象场的往前第一个双 预测编码场对内的后场。
3、 根据权利要求2所述的参考图选择方法，其特征在于， 所述特定场是在编码顺序上所述编码对象的后场之前的场对内的后场，第1参考图是与所述特定场相同的场对内的前场，第2参考图是在编码顺序上所述特定场的往前第一个场对内的后场，在所述运动的大小的预测中，在所述特定场的编码中，对采用了所述第1参考图的块的个数即第1 计数数目和采用了所述第2参考图的块的个数即第2计数数目进行计数，计算所述第1计数数目与所述第2计数数目之比或者之差分，作为所 述编码对象的后场的运动的大小。
4、 根据权利要求3所述的参考图选择方法，其特征在于， 在所述参考图候补的设定中，将所述第1计数数目与所述第2计数数目之比或者之差分与阈值进行 比较，根据所述比较结果，使时间上邻近场以及空间上邻近场中的一方包含 在所述参考图候补中。
5、 根据权利要求4所述的参考图选择方法，其特征在于，所述特定场是在编码顺序上从所述编码对象的后场所属的场对起往 前第N个场对内的后场，所述N从1至3中选出。
6、 根据权利要求2所述的参考图选择方法，其特征在于， 所述特定场是在编码顺序上所述编码对象的后场之前的前场， 在所述运动的大小的预测中，在所述特定场的编码中，对帧内编码后的块的个数即第1计数数目和 在帧内以外编码后的块的个数即第2计数数目进行计数，计算所述第1计数数目与所述第2计数数目之比或者之差分，作为所 述编码对象的后场的运动的大小。
7、 根据权利要求6所述的参考图选择方法，其特征在于，在所述参考图候补的设定中，将所述第1计数数目与所述第2计数数目之比或者之差分与阈值进行 比较，根据所述比较结果，使时间上邻近场以及空间上邻近场中的一方包含 在所述参考图候补中。
8、 根据权利要求7所述的参考图选择方法，其特征在于， 所述特定场是在编码顺序上从所述编码对象的后场所属的场对起往前第N个场对内的后场，所述N从0至3中选出。
9、 根据权利要求2所述的参考图选择方法，其特征在于， 所述特定场是第1场、第2场之一，所述第1场是在编码顺序上所述编码对象的后场之前的场对内的后场，所述第2场是该场对内的前场，在所述运动的大小的预测中，计算第1以及第2相关性，作为所述运动的大小，第1相关性是所述编码对象的后场与所述第1场之间的相关性，第2 相关性是所述编码对象的后场与所述第2场之间的相关性， 在所述参考图候补的设定中，根据第1相关性与第2相关性之比或者之差分，设定为所述参考图候
10、 根据权利要求9所述的参考图选择方法，其特征在于，在所述参考图候补的设定中，根据第1相关性与第2相关性之比或者之差分，使时间上邻近场以及 空间上邻近场中的一方包含在所述参考图候补中。
11、 根据权利要求2所述的参考图选择方法，其特征在于， 所述特定场是第1场、第2场之一，所述第1场是在编码顺序上所述编码对象的后场之前的场对内的前场，所述第2场是该场对内的后场， 在所述运动的大小的预测中，生成所述第1场、所述第2场和所述编码对象的后场各自的縮小图像， 采用縮小图像，检测出编码对象的后场相对于所述第1场的运动， 采用縮小图像，检测出编码对象的后场相对于所述第2场的运动。
12、 根据权利要求ll所述的参考图选择方法，其特征在于， 在所述参考图候补的设定中，基于所检测出的2个运动，使时间上邻近场以及空间上邻近场中的一 方包含在所述参考图候补中。
13、 根据权利要求1所述的参考图选择方法，其特征在于， 所述编码对象的后场属于可参考双预测帧间编码后的图的场对， 在所述参考图候补的设定中，根据所预测的运动，选择由从可参考的所有的图中选出的参考图候补 构成的第1子集以及第2子集中的一方，所述第1子集包含时间上邻近场而不包含空间上邻近场， 所述第2子集包含空间上邻近场而不包含时间上邻近场， 所述时间上邻近场是与所述编码对象场相同的场对内的前场，所述空间上邻近场是在编码顺序上所述编码对象场的往前第一个双 预测编码场对的后场。
14、 根据权利要求1所述的参考图选择方法，其特征在于， 所述参考图选择方法，进一步，当在参考图候补中包含时间上邻近场时，向该时间上邻近场赋予以最 小的位数表示的参考索引，当在参考图候补中包含空间上邻近场时，向该空间上邻近场赋予以最 小的位数表示的参考索引。
15、 一种图像编码方法，包括权利要求l所述的参考图选择方法。
16、 一种程序，使计算机执行权利要求1所述的参考图选择方法。
17、 一种图像编码装置，对隔行扫描视频进行编码，所述图像编码装置具有-预测机构，其采用在编码顺序上编码对象的后场之前的特定场，预测所述编码对象的后场的运动的大小；设定机构，其根据所预测的运动的大小，设定适合对所述编码对象的 后场进行编码的参考图候补；选择机构，其从所设定的参考图候补中选择所述编码对象的后场的参 考图；和编码机构，其采用所选择的参考图，对编码对象的后场进行编码。
18、 一种半导体装置，对隔行扫描视频进行编码， 所述半导体装置具有预测机构，其采用在编码顺序上编码对象的后场之前的特定场，预测 所述编码对象的后场的运动的大小；设定机构，其根据所预测的运动的大小，设定适合对所述编码对象的 后场进行编码的参考图候补；选择机构，其从所设定的参考图候补中选择所述编码对象的后场的参 考图；禾口编码机构，其采用所选择的参考图，对编码对象的后场进行编码。
19、 一种流数据，该流数据是表示编码后的隔行扫描视频的计算机可 读取的流数据，所述流数据包含表示场对内的前场的码和表示后场的码；和表示被分配到所述后场可参考的多个图的多个参考索引的索引信息， 在可参考双预测帧间编码后的图的后场用的多个参考索引中，将最小的位数的参考索引必须分配给时间上邻近场以及空间上邻近场中的一方， 所述时间上邻近场是与所述编码对象场相同的场对内的前场， 所述空间上邻近场是在编码顺序上所述编码对象场的往前第一个双预测编码场对的后场。
全文摘要
本发明的参考图选择方法，在隔行扫描视频的编码中选择用于编码对象的后场的参考图；采用在编码顺序上所述编码对象的后场之前的特定场，预测所述编码对象的后场的运动的大小；根据所预测的运动的大小，设定适合对所述编码对象的后场进行编码的参考图候补，从所设定的参考图候补中选择所述编码对象的后场的参考图。
文档编号H04N7/32GK101283600SQ20068003704
公开日2008年10月8日 申请日期2006年10月2日 优先权日2005年10月5日
发明者林宗顺, 柴原阳司, 维克托·瓦哈达尼阿, 角野真也 申请人:松下电器产业株式会社