动态图像编码方法

专利名称：动态图像编码方法
技术领域：
本发明涉及对图像进行编码的图像编码方法。
背景技术：
近些年来，迎来了对声音、图像及其他象素值综合处理的多媒体时代， 将传统的信息媒体，即报纸、杂志、电视、广播、电话等信息向人传达的 方法都可以作为多媒体的对象。
一般来说，所谓多媒体不仅只是文字，而且是将图形、声音、特别是图 像等同时相关联进行表示，但是在将上述现有的信息媒体作为多媒体对象 时，必须的条件是将该信息以数字形式表示。
然而，当将上述各信息媒体持有的信息量以数字信息量估计观察，字符 的情况下每l字符的信息量为1 2字节，与此相比，声音的情况下每l秒 钟需要64Kbits (电话质量)，而动态图像的情况下每1秒钟需要100Mbits (现行电视接收质量)以上的信息量，将上述信息媒体的庞大信息用数字 形式原样处理是不现实的，例如，电视电话通过具有64Kbits/s 1.5Mbits/s 传输速度的综合业务数字网(ISDN: Integrated Services Digital Network)已 经实用化了，但是不可能将电视/摄像机的影像原样通过ISDN传输。
为此需要信息的压縮技术，例如电视电话的情况下，采用了 ITU-T (国 际电气通信联盟电气通信标准化部门)推荐的H.261及H.263标准的动 态图像压縮技术。另外，当用MPEG-1标准的信息压縮技术时，也可以在 通常的音乐用的CD (光盘)上加入声音信息并且加入图像信息。
此处，MPEG (Moving Picture Experts Group:运动图像专家组)是由 ISO/IEC (国际标准化机构国际电气标准会议)进行标准化的动态图像信号压縮的国际标准，MPEG-1是将动态图像信号压縮到1.5Mbps,即将电视 信号的信息压縮到约100分之1的标准。在MPEG-1标准中，作为对象的 质量为，在传输速度主要为1.5Mbps下可实现的程度的中等程度的质量， 在应满足更高质量要求而标准化的MPEG-2中，以2 15Mbps对动态图像 信号实现TV广播质量。现状是通过MPEG-1、 MPEG-2和推进标准化的工 作组(ISO/IEC JTC1/SC29/WG11)，对达到了超过MPEG-1 、 MPEG-2的 压縮率，再以物体单位(物体単位)可以进行编码/解码/操作，实现多媒体 时代所需要的新功能的MPEG4进行了标准化。MPEG-4当初是以低比特 率的编码方法的标准化为目标进行的，但是现在扩充到也包括隔行扫描的 高比特率的更为通用的编码。进而，现在ISO/IEC和ITU-T正在共同进行 更高压缩率的下一代图像编码方式的MPEG-4 AVC及ITU H.264的标准化 活动。2002年8月的时候，发布了被称为委员会草案(CD: committee draft) 的下一代图像编码方式。
一般来说动态图像的编码，通过削减时间方向及空间方向的冗余性进行 信息量的压缩。为此以时间冗余性削减为目的的帧间预测编码，是参照前 方或后方的图像，以块为单位进行运动检测及生成预测图像，对所得到的 预测图像和编码对象图像间的差值进行编码。此处图像(picture)是表示一 个帧的用语，在逐行扫描图像中意味着帧，而在隔行扫描图像中表示帧或 场。此处隔行扫描图像是1个帧由时刻不同的2个场构成的图像。在隔行 扫描图像的编码及解码处理中，可以对1个帧原样进行帧处理、按2个场 处理、以及按帧内的每个块以帧结构或场结构进行处理。
将不具有参照图像而在帧内进行预测编码的称为I图像(I-picture)。 将只参照一个图像在帧间进行预测编码的称为P图像(P-picture)。而将可 以同时参照2个图像在帧间进行预测编码的称为B图像(B-picture) 。 B 图像的显示时间可以从前方或后方以任意组合参照2个图像。参照图像可 以按每个作为编码及解码基本单位的块进行指定，但是在进行编码的比特
流中，区分为在前描述的参照图像作为第1参照图像，而在后描述的参照 图像作为第2参照图像。但是，作为对这些图像进行编码及解码时的条件， 必须是参照的图像已经被编码及解码。
在P图像或B图像的编码中，采用了运动补偿帧间预测编码。运动补偿帧间预测编码是指在帧间预测编码中使用了运动补偿的编码方式。运动 补偿并不是简单地从参照图像的象素值进行预测，而是检测图像内的各部 分的运动量(以下将其称为运动矢量)，通过进行考虑了该运动矢量的预 测，提高预测精度，并且减少数据量的方式。例如，检测出编码对象图像 的运动矢量，通过对仅偏移了该运动矢量部分的预测值与编码对象图像间 的预测残差进行编码，减少数据量。这种方式的情况下，由于解码时需要 运动矢量的信息，所以运动矢量也进行编码以记录或传输。
运动矢量以块为单位被检测出来，具体来说是固定编码对象图像一侧的 块，使参照图像一侧的块在检索范围内移动，通过找出与基准块最相似的 参照块的位置，检测出运动矢量。
图l是表示现有图像编码装置构成的方框图。
图像编码装置900，按每个图像对图像信号Vin进行编码，以输出比特 流化的图像编码信号(以下简称为流)Str9，包括运动检测部903、运动 补偿部905、减法器906、正交变换部907、量化部908、反量化部910、反 正交变换部911、加法器912、图像存储器904、开关913、可变长度编码 部909、及存取点决定部902。而且这样的运动检测部903等的各构成要素， 以构成图像的块为单位或以宏块为单位执行以下的处理。
减法器906计算图像信号Vin和预测图像Pre之间的差，将该差值输出 给正交变换部907。正交变换部907将该差值变换成频率系数后输出给量化 部908。量化部908对该频率系数进行量化后，将量化值输出给可变长度编 码部909。反量化部910对该量化值进行反量化，还原成频率系数，将该频 率系数输出给反正交变换部911 。
反正交变换部911 ，将从反量化部910输出的频率系数反频率变换成象 素差值，输出给加法器912。加法器912对从反正交变换器911输出的象素 差值和从运动补偿部905输出的预测图像Pre相加，生成解码图像。开关 913使加法器912和图像存储器904之间相连接，使由加法器912所生成的 解码图像保存在图像存储器904中，此处，保存在图像存储器中的解码图 像以下简称为图像。
运动检测部903将存储在图像存储器904中的图像作为参照图像进行参 照，从该参照图像中确定最接近图像信号Vin的图像区域。然后，运动检测部903检测出指示该图像区域位置的运动矢量MV。
进一步，运动检测部903通过采用用于指定参照图像的识别号(相对索 引Idx)，在多个参照图像的备选中指定哪一个参照图像接近图像信号Vin。
运动补偿部905采用运动矢量MV及相对索引Idx，从图像存储器904 所存储的图像中取出最适合于预测图像Pre的图像区域。然后运动补偿部 905由该取出的图像区域生成预测图像Pre。
存取点决定部902指示运动检测部903及运动补偿部905，以便按每个 预定单位(随机存取单元)以预定的图像为特别的图像进行编码(帧内编 码)。此处的特别图像是指从流Str9的该图像时刻起可以解码的图像。存 取点决定部902将表示是该特别图像的存取点标识符rapp输出给可变长度 编码部909。
可变长度编码部909对从外部取得的参数集PS、运动矢量MV、量化 值、相对索引Idx、及存取点标识符rapp进行编码，生成将编码后的参数集 PS只配置在前头一侧的流Str9，并输出该流Str9。
图2是表示现有的图像编码装置900输出的流Str9的结构的结构图。
在流Str9中，从前头开始依次包括同步信号sync、参数集PS、及多个 随机存取单元RAU9。这样的流Str9现在对应于ITU-T和ISO/IEC共同进 行标准化过程中的JVT (H.264/MPEG-4AVC)。
参数集PS是相当于报头的共同数据，在该参数集PS中，包括相当于 图像报头的图像参数集PPS、及相当于随机存取单元RAU9以上单位的报 头的序列参数集SPS。此处，在序列参数集SPS中包含最大可参照的图像 数及图像尺寸等，在图像参数集PPS中包含可变长度编码的类型(霍夫曼 编码和算术编码的转换)、及量化步骤的初始值、参照图像数等。
另夕卜，在随机存取单元RAU9中，从前头开始依次包含同步信号sync、 及编码后的多个图像pic。这种随机存取单位RAU9是包含流Str9中的多个 图像的一个单位，其中包含不依赖其他图像可以解码的上述特别的图像。 即，随机存取单元RAU9是按每个包含特别图像的多个图像集合对流Str9 分割后而得到的。
在图像pic中，从前头开始依次包含同步信号sync、参数集标识符PSID、 及多个象素数据pix。参数集标识符PSID用于指示该图像pic参照参数集PS中的哪个序列参 数集SPS及图像参数集PPS。
另外，在流Str9的前头及随机存取单元RAU9的前头以及图像pic的前 头所包含的同步信号sync，分别表示流Str9及随机存取单元RAU9以及图 像pic的单位的分割。
艮P，在现有的图像编码装置900对图像信号Vin进行编码后，生成流 Str9的图像编码方法中，以对参数集PS汇总后迸行编码，配置在流Str9的 前头，并且在该参数集PS的后面，跟随着不包含图像参数集PPS及序列参 数集SPS的多个随机存取单元RAU9的方式，生成流Str9。
这样的流Str9在由图像解码装置解码时，图像解码装置参照由图像pic 的参数集标识符PSID所表示的参数集PS中的序列参数集SPS及图像参数 集PPS，对该图像pic进行解码。
另一方面，现有的MPEG-2的流，具有与流Str9不同的结构。
图3是表示现有的MPEG-2流的结构的结构图。
在MPEG-2的流Str8中，从前头开始依次包含同步信号sync、作为 流Str8的共同数据的报头hed、及多个图像组(Group Of Picture) GOP。
在图像组GOP中，从前头开始依次包含同步信号sync、作为图像组 GOP的共同数据的报头hed、及编码的多个图像pic。
这样的图像组GOP是编码处理的基本单位，动态图像的编辑及随机存 取以该单位进行。另外，图像组GOP中所包含的图像pic是I图像、P图像 或B图像。
在图像pic中，从前头开始依次包含同步信号sync、作为图像pic的 共同数据的报头hed、及多个象素数据pix。
艮P，在对现有的图像信号Vin进行编码，以生成流Str8的MPEG-2的 图像编码方法中，在流Str8的前头一侧、各图像组GOP的前头一侧、及各 图像pic的前头一侧，分别包括图像pic解码所需要的报头hed，以生成流 Str8。
但是，在上述现有的图像编码装置900的图像编码方法中，由于将参数 集PS汇总配置在流Str9的前头一侧，所以即使图像解码装置要从流Str9 中途的随机存取单元RAU9的前头、即、从随机存取点开始解码(随机存取)，例如在由于从中途取入了流Str9而不能取得参数集PS的情况下，也 存在图像解码装置不能进行随机存取的问题。即，即使图像解码装置要对 图像pic进行解码，也由于没有与其对应的图像参数集PPS及序列参数集 SPS,所以不能对该图像pic进行正确解码。
具体来说，在依次连续发送流Str9以进行广播/发送的状况下，当图像 解码装置中途取入了该流Str9时，不能从中途对流Str9进行解码。
另外，在将流Str9写入磁带及盘等记录媒体上的情况下，图像解码装置 即使要对该记录媒体上的流Str9开始随机存取，图像解码装置也必须首先 读入配置在记录媒体上的流Str9的前头侧的参数集PS，然后才能开始从随 机存取点起的流Str9的读入。即，图像解码装置必须使数据的读出位置从 流Str9的前头向随机存取点移动，该移动时间成为随机存取等待时间，存 在无法迅速存取的问题。
当记录媒体是磁带时，该等待时间非常长是很清楚的，即使是可以高速 读入的盘，该等待时间也有数秒钟，并不是可以忽略的程度。
另一方面，对通过MPEG-2图像编码方法生成的流Str8来说，图像解 码装置通过采用图像组GOP的报头hed及各图像pic的报头hed，可以以图 像组GOP为单位对流Str8进行随机存取。
但是，生成这样的流Str8的图像编码方法中，由于在图像组GOP中所 包含的全部图像pic的每一个中都分别包含报头hed，所以在这些报头hed 中，具有与其他报头hed相同值的报头hed很多，流Str8的压縮率很低。 即，生成该流Str8的图像编码方法，在能够生成可以随机存取的流Str8的 同时，却存在使编码效率降低的问题。

发明内容
为此，本发明鉴于这样的问题而做出，其目的在于提供一种图像编码方 法，在对图像进行编码时，在不降低编码效率的情况下，可以迅速进行随 机存取。
为了达到上述目的，根据本发明的一个方面，提供了一种动态图像编码 方法，将前头图像为I图像的多个图像作为一个存取单位进行处理，对上述 存取单位中包含的图像和上述图像所参照的图像参数集进行编码，以生成编码流，其特征在于，该动态图像编码方法包括第1编码步骤、第2编 码步骤、编码流生成步骤，在对上述存取单位中包含的、且位于上述存取 单位的前头的I图像之后的编码对象图像进行编码时，上述第1编码步骤进 行上述编码对象图像所参照的图像参数集的编码；上述第2编码步骤根据 上述图像参数集中包含的内容，进行上述编码对象图像的编码；以及上述 编码流生成步骤生成编码流，以使得上述I图像未使用的上述图像参数集在 上述存取单位中位于上述I图像之前。
根据本发明的另一个方面，提供了一种动态图像解码方法，对编码流进 行解码，该编码流是将前头图像为I图像的多个图像作为一个存取单位进行 处理，对上述存取单位中包含的图像和上述图像所参照的图像参数集进行 编码而生成的编码流，其特征在于，该动态图像解码方法包括抽出步骤， 抽出在上述存取单位中位于上述I图像之前的图像参数集；第1解码步骤， 进行所抽出的上述图像参数集的解码；以及第2解码步骤，使用解码后的 上述图像参数集，进行位于上述I图像之后、且包含于上述存取单位中的图 像的解码。
根据本发明的又一个方面，提供了一种动态图像编码装置，将前头图像 为I图像的多个图像作为一个存取单位进行处理，对上述存取单位中包含的 图像和上述图像所参照的图像参数集进行编码，以生成编码流，其特征在 于，该动态图像编码装置包括第1编码单元、第2编码单元、编码流生 成单元，在对上述存取单位中包含的、且位于上述存取单位的前头的I图像 之后的编码对象图像进行编码时，上述第1编码单元进行上述编码对象图 像所参照的图像参数集的编码；上述第2编码单元根据上述图像参数集中 包含的内容，进行上述编码对象图像的编码；以及上述编码流生成单元生 成编码流，以使得上述I图像未使用的上述图像参数集在上述存取单位中位 于上述I图像之前。
根裾本发明的又一个方面，提供了一种动态图像解码装置，对编码流进 行解码，该编码流是将前头图像为I图像的多个图像作为一个存取单位进行 处理，对上述存取单位中包含的图像和上述图像所参照的图像参数集进行 编码而生成的编码流，其特征在于，该动态图像解码装置包括抽出单元， 抽出在上述存取单位中位于上述I图像之前的图像参数集；第1解码单元，进行所抽出的上述图像参数集的解码；以及第2解码单元，使用解码后的 上述图像参数集，进行位于上述I图像之后、且包含于上述存取单位中的图 像的解码。
根据本发明的又一个方面，提供了一种记录方法，向记录媒体记录编码 流，该编码流是将前头图像为I图像的多个图像作为一个存取单位进行处 理，对上述存取单位中包含的图像和上述图像所参照的图像参数集进行编 码而生成的编码流，其特征在于，该记录方法包括:第1编码步骤、第2 编码步骤、编码流生成步骤、记录步骤，在对上述存取单位中包含的、且 位于上述存取单位的前头的I图像之后的编码对象图像进行编码时，上述第 1编码步骤进行上述编码对象图像所参照的图像参数集的编码；上述第2编 码步骤根据上述图像参数集中包含的内容，进行上述编码对象图像的编码； 上述编码流生成步骤生成编码流，以使得上述I图像未使用的上述图像参数 集在上述存取单位中位于上述I图像之前；以及上述记录步骤向记录媒体记 录所生成的上述编码流。
根据本发明的又一个方面，提供了一种动态图像解码系统，包括记录有 编码流的记录媒体、和从上述记录媒体中读出编码流并对动态图像进行解 码的动态图像解码装置，该编码流是将前头图像为I图像的多个图像作为一 个存取单位进行处理，对上述存取单位中包含的图像和上述图像所参照的 图像参数集进行编码而生成的编码流，其特征在于，上述编码流具有如下 结构，即包含于上述存取单位中的、且被位于上述存取单位的前头的I 图像之后的图像所参照的图像参数集，在上述存取单位中位于上述I图像之 前；上述动态图像解码装置包括抽出单元，抽出在上述存取单位中位于 上述I图像之前的图像参数集；第1解码单元，进行所抽出的上述图像参数 集的解码；以及第2解码单元，使用解码后的上述图像参数集，进行位于 上述I图像之后、且包含于上述存取单位中的图像的解码。
本发明的图像编码方法，按每个图像对图像信号进行编码，生成编码流， 其特征在于，包括编码步骤，将多个图像作为一个存取单位进行处理， 对上述存取单位中所包含的全部图像的解码所使用的参数集进行编码；及 参数集配置步骤，将由上述编码步骤所编码的参数集，按上述每个存取单 位配置在上述编码流中。例如，其特征在于上述参数集配置步骤中，在上述编码流中的上述存取单位内，在任一个图像之前配置上述参数集。
这样，由于参数集在编码流中包含在每个存取单位内，所以图像解码 装置即使是在中途取得了这样的编码流时，也可以采用取得的最初存取单 位中所包含的参数集，对在该存取单位中所包含的图像进行解码，结果是 可，可以从该存取单位对编码流进行正确解码。另外，这样的编码流被记 录在记录媒体上，即使是图像解码装置在对该编码流进行随机存取的情况， 图像解码装置也可不必像现有技术例那样，使数据的读出位置从编码流的 前头移动到随机存取的开始位置，而可以迅速开始随机存取。进一步，由 于在编码流中的每个图像中没有配置用于该图像解码的信息，所以可以抑 制编码流的冗余性，防止编码效率降低。
此处，上述图像编码方法，其特征在于，还可以包括结构识别信息生 成步骤，生成表示上述参数集的配置结构的内容的结构识别信息。
这样，通过在结构识别信息中表示参数集的配置结构，图像解码装置可 以参照该结构识别信息，把握能以存取单位对编码流正确而迅速的随机存 取，并可执行随机存取。
另外，其特征在于上述参数集的构成也可以包括多个上述图像参数集， 上述参数集配置步骤中，在上述编码流中的上述存取单位内，除了已经配 置完成的图像参数集之外，在图像之前配置对应于上述图像的图像参数集。
这样，由于将编码后的图像参数集配置在与其对应的图像之前，所以可 以对各图像参数集进行编码，依次配置，不必事前存储已编码的多个图像 参数集，就可以简单地构成图像编码装置。
另外，其特征在于也可以在上述编码步骤中，对上述各图像参数集的 任一个或全部进行多次编码，以生成编码的多个同样的图像参数集，并且 在上述参数集配置步骤中，也可以将由上述编码步骤所编码的多个同样的 图像参数集，配置在同一存取单位内。
这样，由于在存取单位内包含多个同样的图像参数集，所以在对这样的 编码后的编码流进行解码时，可以防止错误的发生地进行解码。
另外，本发明所涉及的图像编码方法，按每个图像对图像信号进行编 码，生成编码流，其特征在于，包括编码步骤，将多个图像作为一个存 取单位进行处理，在上述存取单位中所包含的图像中，参照位于其他存取单位中的图像，对随机存取时未显示的图像以外的全部图像的解码中所使
用的参数集进行编码；及参数集配置步骤，将由上述编码步骤所编码的参 数集，按上述每个存取单位配置在上述编码流中。
这样，由于参数集在编码流中包含在每个存取单位内，所以图像解码 装置即使是在中途取得了这样的编码流的情况下，也可以釆用在取得的最 初存取单位中所包含的参数集，对在该存取单位中所包含的成为显示对象 的图像进行解码，结果是，可以从该存取单位对编码流进行正确解码。另 外，这样的编码流被记录在记录媒体上，即使是图像解码装置在对该编码 流进行随机存取的情况，图像解码装置也可不必像现有技术例那样，使数 据的读出位置从编码流的前头移动到随机存取的开始位置，而可以迅速开 始随机存取。进一步，由于在编码流中的每个图像中没有配置用于该图像 解码的信息，所以可以抑制编码流的冗余性，防止编码效率降低。
本发明也可以实现为采用上述图像编码方法的图像编码装置及程序，以 及通过该图像编码方法生成的编码流。


图l是表示现有图像编码装置的结构的方框图。 图2是表示同上的图像编码装置输出的流的结构的结构图。 图3是表示同上的MPEG-2流的结构的结构图。 图4是表示本发明第1实施方式中的图像编码装置的结构的方框图。 图5是表示同上的图像编码装置输出的图像编码信号的结构的结构图。 图6是表示同上的图像编码方法的流程图。 图7是用于说明从同上的图像编码装置输出的信息的说明图。 图8是表示同上的包括结构识别信息的流Str的结构的结构图。 图9是表示同上的第1变形例所涉及的图像编码装置输出的流的结构的 结构图。
图10是表示同上的第1变形例中的图像编码装置的动作的流程图。 图11是表示同上的第2变形例所涉及的图像编码装置输出的流的结构 的结构图。
图12是表示同上的第2变形例所涉及的图像编码装置的动作的流程图。图13是表示同上的第3变形例所涉及的图像编码装置输出的流的结构 的结构图。
图14是在本发明第2实施方式中，存储有用于通过计算机系统实现实 施方式I的图像编码方法的程序的记录媒体的说明图。
图15是表示本发明第3实施方式中实现内容发送服务的内容供给系统 的整体结构的方框图。
图16是表示采用同上的实施方式1中说明的图像编码方法的手提电话 的图。
图17是表示同上的手提电话内部结构的方框图。 图18是表示同上的数字广播系统的结构的结构图。
具体实施例方式
下面参照附图对本发明的实施方式进行说明。 (实施方式l)
图4是表示本发明第1实施方式中的图像编码装置的结构的方框图。 本实施方式中的图像编码装置IOO对图像进行编码，可以使编码效率不
降低、迅速随机存取，具体来说是按每个图像对图像信号进行编码，输出
流Str。
该图像编码装置100包括运动检测部103、运动补偿部105、减法器 106、正交变换部107、量化部108、反量化部IIO、反正交变换部lll、加 法器112、图像存储器104、开关113、可变长度编码部109、存取点决定 部102、及PS存储器lOl。而且，这样的运动检测部103等的各构成要素， 以构成图像的块或宏块为单位执行以下的处理。
减法器106，取得图像信号Vin，并且从运动补偿部105取得预测图像 Prc，计算图像信号Vin和预测图像Pre的差。然后减法器106将该差值输 出给正交变换部107。
正交变换部107将差值变换成频率系数，将该频率系数输出给量化部 108。
量化部108对从正交变换部107取得的频率系数进行量化，将量化值输 出给可变长度编码部109。反量化部110对从量化部108取得的量化值进行反量化，复原成频率系 数，将该频率系数输出给反正交变换部lll。
反正交变换部111，将从反量化部110输出的频率系数反频率变换成象 素差值，将该象素差值输出给加法器112。
加法器112，对从反正交变换器111输出的象素差值和从运动补偿部105 输出的预测图像Pre相加，生成解码图像。
开关U3在指示保存由加法器112所生成的解码图像B寸，使加法器112 和图像存储器104之间相连接，使由加法器112所生成的解码图像保存在 图像存储器中，这里，保存在图像存储器中的解码图像以下简称为图像。
运动检测部103以宏块为单位取得图像信号Vin。取得了图像信号Vin 的运动检测部103将存储在图像存储器104中的图像作为参照图像进行参 照，从该参照图像中确定最接近所取得的图像信号Vin的图像区域。然后， 运动检测部103检测指示该图像区域位置的运动矢量MV。
此处，运动检测部103以将宏块进一步分割后的块为单位对这样的运动 矢量MV进行检测。然后，运动检测部103通过按每个块采用用于指定参 照图像的识别号(相对索引Idx)，与图像存储器104中的各图像所具有的 图像号相对应，在多个参照图像的备选中指定参照哪个参照图像。
运动补偿部105采用由上述处理所检测出的运动矢量MV及相对索引 Idx，从图像存储器104所存储的图像(解码图像)中取出最适于预测图像 Pre的图像区域。然后，运动补偿部105由该取出的图像区域生成预测图像 Pre。
存取点决定部102指示运动检测部103及运动补偿部105，以便按每个 预定单位(随机存取单元)以预定的图像为特别的图像进行编码(帧内编 码)。进而，存取点决定部102将表示是该特别图像的存取点标识符rapp 输出给可变长度编码部109。
PS存储器101取得参数集PS后进行暂时保存。然后PS存储器101根 据存取点决定部102发出的指示，从其暂时保存的参数集PS中，将符合于 上述指示的图像的图像参数集及序列参数集输出给可变长度编码部109。
可变长度编码部109对从外部取得的参数集PS、运动矢量MV、量化 值、相对索引Idx、及存取点标识符rapp进行编码，然后，可变长度编码部109将编码的参数集PS中所包含的序列参数集及序列参数集按每个随机存 取单元进行配置，以生成流Str，并输出该流Str。
图5是表示本实施方式的图像编码装置100输出的流Str的结构的结构图。
在流Str中，从前头开始依次包括同步信号sync、参数集PS、及多个随 机存取单元rau。
在参数集PS中，包括多个序列参数集SPS、及多个图像参数集PPS。
在随机存取单元RAU中，从前头开始依次包括同步信号sync、 l个 序列参数集SPS、多个图像参数集PPS、及编码的多个图像pic。艮P，在这 样的随机存取单元RAU中，包含此处包括的全部图像pic解码所需要的全 部序列参数集SPS及图像参数集PPS。另外，各图像参数集PPS，其值相 互不同，任意l个图像参数集PPS被多个图像pic参照，用于它们的解码。
在图像pic中，从前头开始依次包含同步信号sync、参数集标识符PSID、 及对应于图像象素的代码字的象素数据pix。
参数集标识符PSID在该随机存取单元RAU中所包含的各参数集SPS、 PPS中，指示该图像参照的参数集SPS、 PPS。
图6是表示本实施方式的图像编码装置100的图像编码方法的流程图。
首先，图像编码装置100判断编码对象的图像是否是随机存取点，艮卩， 是否是随机存取单元RAU的最初的图像(步骤S100)。
在此，当图像编码装置100判断是随机存取点时(步骤S100的是)， 则对序列参数集SPS进行编码(步骤S102)，再对与随机存取单元RAU 的全部图像中的每一个相对应的各图像参数集PPS进行编码(步骤S103)。 然后，图像编码装置100汇总所编码的序列参数集SPS及多个图像参数集 PPS，配置在随机存取单元RAU的前头(步骤S104)。
另外，在步骤S104中配置序列参数集SPS及图像参数集PPS之后，或 者在步骤S100中判断不是随机存取点时(步骤S100的否)，图像编码装 置100对该编码对象图像进行编码(步骤S106)。此处图像编码装置100 在上述序列参数集SPS及图像参数集PPS的后面，配置已编码的编码对象 图像。即，当图像编码装置100在步骤S104中配置上述参数集SPS、 PPS 时，在随机存取单元RAU内将该参数集PSS、 PPS配置在任意一个图像pic之前。另外，图像编码装置100在对编码对象图像进行编码时，在已编码 的编码对象图像(图像pic)中，在对应于图像的象素的代码字(象素数据 pix)之前，配置指示该图像pic解码所需要的图像参数集PPS的参数集标 识符PSID。
然后，图像编码装置100判断在取得的图像信号Vin中是否有未编码的 图像(步骤S108)，当判断有未编码的图像时(步骤S108的是)，重复执 行从步骤S100开始的操作，当判断没有未编码的图像，即已对全部图像进 行了编码时(步骤S108的否)，结束编码的处理。通过这样的图像编码方 法，生成流Str。
这样，在本实施方式的图像编码方法中，由于随机存取单元RAU中所 包含的全部图像的解码(编码)所需要的序列参数集SPS及图像参数集PPS 配置在该随机存取单元RAU中，生成流Str,所以图像解码装置即使在中 途取得了该流Str时，也可以从所取得的流Str中所包含的随机存取单元 RAU的前头参照序列参数集SPS及图像参数集PPS,开始正确的解码，即 开始随机存取。另外，图像编码装置即使在从记录媒体读出该流Str进行随 机存取时，也不必使读出位置从流Str的前头移动到随机存取点，可以省去 随机存取的等待时间，迅速开始随机存取。
另外，本实施方式中的图像编码方法，由于在各随机存取单元RAU中 生成包含序列参数集SPS及图像参数集PPS的流Str，所以尽管生成比现有 的流Str9的图像编码方法比特数多的流，但是由于没有像现有的MPEG-2 图像编码方法那样，按每个图像配置解码需要的报头，所以比现有的 MPEG-2图像编码方法更能提高编码效率。
在本实施方式的图像编码装置100中也可以生成表示流Str的结构的结 构识别信息。
图7是用于说明从图像编码装置IOO输出的信息的说明图。 如该图7中所示，图像编码装置100以附带在流Str上的形式，生成并
输出结构识别信息sid。
该结构识别信息sid，表示在流SU的全部随机存取单元RAU中包含序
列参数集SPS及图像参数集PPS，即可以从流Str的任意随机存取单元RAU
随机存取。通过使这样的结构识别信息sid从图像编码装置100付随流Str输出， 取得了流Str及结构识别信息sid的图像解码装置，根据该结构识别信息sid， 很容易把握所取得的流Str可以从任意的随机存取单元RAU中进行解码， 并可执行随机存取。
另夕卜，也可以使结构识别信息sid包含在流Str中，从图像编码装置100 输出。
图8是表示包括结构识别信息sid的流Str的结构的结构图。 如该图8中所示，图像编码装置100以在同步信号sync和参数集PS之 间配置结构识别信息sid的方式生成并输出流Str。 (变形例1)
下面，对上述本实施方式的图像编码装置第1变形例进行说明。
第1变形例所涉及的图像编码装置，涉及图像参数集PPS的配置，输出
与上述本实施方式中的图像编码装置lOO输出的流Str不同的流。
图9是表示本变形例所涉及的图像编码装置输出的流的结构的结构图。 本变形例所涉及的图像编码装置，输出从前头依次包括同步信号sync、
参数集PS和多个随机存取单元RAU1的流Strl 。
在随机存取单元RAU1中，例如从前头开始依次包括同步信号sync、
序列参数集SPS、图像参数集PPS (PPS1) 、 2个图像picl、 pic2、图像参
数集PPS (PPS2)、及图像pic3。
此处，该图像参数集PPSl是2个图像picl、 pic2解码所需要的，分别
被它们共同参照。而图像参数集PPS2是上述图像picl、 pic2解码所不需要
的，不对其进行参照。艮卩，图像参数集PPS2对图像pic3是需要的，对于该
图像pic3被参照。
为此，图像参数集PPS2对于图像pic3被参照，但是由于对于图像picl、 pic2不被参照，所以没必要配置在图像picl、 pic2之前。
另外，由于对于图像picl、 pic2被参照的图像参数PPSl已经配置在图 像picl之前了，所以不必再配置在图像pic2之前。
艮P，本变形例所涉及的图像编码装置所生成的流Strl,参照预定图像的 图像参数集PPS除了已经配置的情况之外，配置在预定的图像之前。
图10是表示本变形例中的图像编码装置的图像编码方法的流程图。首先，图像编码装置判断编码对象的图像是否是随机存取点，即是否是
随机存取单元RAU1的最初图像(步骤S200)。
在此，当图像编码装置判断是随机存取点时(步骤S200的是)，对序 列参数集SPS进行编码(步骤S202),将该序列参数集SPS配置在随机存 取单元RAU1的前头(步骤S203)。进一步，图像编码装置对对应于编码 对象图像的图像参数集PPS进行编码(步骤S204)，将该图像参数集PPS 配置在随机存取单元RAU1的序列参数集SPS之后(步骤S205)。
另一方面，当图像编码装置判断为不是随机存取点时(步骤S200的否)， 进一步判断编码对象图像的图像参数集PPS是否在随机存取点之后己经编 码了 (步骤S206)。
当在步骤S206判断未编码时(步骤S206的否)，则图像编码装置对编 码对象图像的图像参数集PPS迸行编码、配置(步骤S204、 S205)。
在步骤S205配置图像参数集PPS之后，或者在步骤S206判断己经编 码时(步骤S206的是)，图像编码装置对该编码对象图像进行编码(步骤 S208)。这里，图像编码装置在步骤S205配置了图像参数集PPS之后，对 编码对象图像已进行了编码时，将所编码的编码对象图像(图像pic)配置 在与其对应的图像参数集PPS之后。g卩，当图像编码装置100在步骤S205 配置图像参数集PPS时，在随机存取单元RAU内，在编码的编码对象图像 (图像pic)之前配置图像参数集PPS。另外，当图像编码装置对编码对象 图像进行编码时，在编码的编码对象图像(图像pic)中，在对应于图像象 素的代码字(象素数据pk)之前，配置指示该图像pic解码所需要的图像 参数集PPS的参数集标识符PSID。
然后，图像编码装置判断在取得的图像信号Vin中是否有未编码的图像 (步骤S210)，当判断有未编码的图像时(步骤S210的是)，重复执行从 步骤S200开始的操作，当判断没有未编码的图像、即对全部图像进行了编 码时(歩骤S210的否)，结束编码的处理。通过这样的图像编码方法，生 成流Strl。
另一方面，在上述图像编码装置100的图像编码方法中，由于以随机存 取单元RAU为单位，决定各图像解码所需要的全部图像参数集PPS之后， 对这些图像参数集PPS进行汇总编码，配置在随机存取单元RAU的前头，所以需要对该决定的多个图像参数pps进行暂时蓄积。
对此，本变形例所涉及的图像编码方法中，当以随机存取单元RAU1 为单位，依次决定图像解码所需要的图像参数集PPS时，由于对该图像参 数集PPS进行编码，以配置在随机存取单元中，所以不必像上述那样进行 蓄积，可以使本变形例所涉及的图像编码装置的结构比图像编码装置100 的结构更简单。
在本实施方式及本变形例中，由于序列参数集SPS可以以随机存取单元 RAU以上的单位进行变更，所以随机存取单元RAU只要配置1次就足够 了。
(变形例2)
下面对上述本实施方式的图像编码装置的第2变形例进行说明。 第2变形例所涉及的图像编码装置，涉及序列参数集SPS的配置，输出 与上述本实施方式的图像编码装置100输出的流Str不同的流。
图11是表示本变形例所涉及的图像编码装置输出的流的结构的结构图。
本实施方式所涉及的图像编码装置，输出从前头依次包括同步信号 sync、参数集PS和多个随机存取单元群GRAU的流Str2。
在随机存取单元群GRAU中，从前头开始依次包括序列参数集SPS、 及多个随机存取单元RAU2。 g卩，随机存取单元群GRAU为使记录及传输 方便，而以多个随机存取单元RAU2汇总为单位构成。
此处，由于序列参数集SPS是可以以随机存取单元RAU2以上为单位 进行变更的参数，所以不一定要以随机存取单元RAU2为单位进行变更。 另外，通常序列参数集SPS大多在流中不要很多个，只用l个就够了。
为此，本实施方式的图像编码装置不是以随机存取单元RAU2为单位配 置序列参数集SPS，而是以随机存取单元群GRAU为单位，即在各随机存 取单元群GRAU的前头配置1个序列参数集SPS。
另外，由于在随机存取单元群GRAU中，包含此处所包含的全部图像 解码所需要的序列参数集SPS及图像参数PPS，所以从这一点看，该随机 存取单元群GRAU与上述实施方式及变形例1中的随机存取单元RAU、 RAU1是相同的。而且，在这样的随机存取单元群GRAU中所包含的RAU2，可以看成随机存取单元群GRAU被分割后的小单位。
图12是表示本变形例中的图像编码装置的动作的流程图。
首先，图像编码装置判断编码对象的图像是否是随机存取单元群GRAU 的最初图像(步骤S300)。
此处，当图像编码装置判断是最初的图像时(步骤S300的是)，则对 序列参数集SPS进行编码(步骤S302)，将该序列参数集SPS配置在随机 存取单元群GRAU的前头(步骤S303)。图像编码装置进一步对对应于编 码对象图像的图像参数集PPS进行编码(步骤S304)，并将该图像参数集 PPS配置在随机存取单元RAU2的前头(步骤S305)。
另一方面，当图像编码装置判断编码对象图像不是随机存取单元群 GRAU的最初的图像时(步骤S300的否)，进一步判断编码对象图像的图 像参数集PPS是否在随机存取点(随机存取单元RAU2的最初)之后已经 编码了 (步骤S306)。当在步骤S306中判断未编码时(步骤S306的否)，则图像编码装置对 编码对象图像的图像参数集PPS进行编码、配置(步骤S304、 S305)。
在步骤S305中配置了图像参数集PPS之后、或者在步骤S306中判断 了已经编码时(步骤S306的否)，图像编码装置对该编码对象图像进行编 码(步骤S308)。
然后，图像编码装置判断在取得的图像信号Vin中是否有未编码的图像 (步骤S310)，当判断有未编码的图像时(步骤S310的是)。则重复执行 从步骤S300的操作，而当判断没有未编码的图像，即对全部图像已编码时 (步骤S310的否)，结束编码处理。通过这样的图像编码方法，生成在各 随机存取单元组GRAU中只包含一个序列参数集SPS的流Str2。
这样，由于本变形例所涉及的图像编码装置，生成对多个随机存取单元 RAU2配置1个序列参数集SPS的流Str2,所以可以使流Str2中所包含的 比特数，比上述图像编码装置100的流Str中所包含的比特数更为削减。
在本实施方式及变形例l、 2中，将编码的参数集PS配置在流的前头， 但是由于编码的参数集PS (PPS、 SPS)只配置对随机存取单元RAU需要 的部分，所以也可以在流的前头不配置编码的参数集PS。 (变形例3)下面，对上述本实施方式的图像编码装置的第3变形例进行说明。 第3变形例所涉及的图像编码装置，生成并输出与上述实施方式中的图 像编码装置100输出的流Str不同的流。
图13是表示本变形例所涉及的图像编码装置输出的流的结构的结构图。
本变形例所涉及的图像编码装置，输出从前头依次包括同步信号sync、 及多个随机存取单元RAU (RAU0、 RAU1、 RAU2…)的流Str3。
在随机存取单元RAU1中，从前头开始依次包括同步信号sync、参 数集PS(PS1)、图像picl、图像pic2、及图像pic3。在随机存取单元RAU2 中，从前头开始依次包括同步信号sync、随机存取点信息RPS、参数集 PS (PS2)、图像pic4、图像pic5、及图像pic6。
例如，图像picl是帧内编码的I图像，图像pic2是参照图像picl进行 编码的P图像。图像pic3是参照picl、 pic2进行编码的B图像。而图像pic4 是帧内编码的I图像，图像pic5是参照图像pic2、 pic4进行编码的B图像。 而图像pic6是参照图像pic4和随机存取单元RAU02的其他图像进行编码 的B图像。
此处，在参数集PS1中，包含序列参数集、对应于图像pic2、 pic3的 图像参数集、及对应于随机存取单元RAU02的图像pic5的图像参数集。
艮口，当流Str3从随机存取单元RAU01被随机存取时，随机存取单元 RAU01的图像pic2参照参数集PS1和图像picl而被解码，而图像pic3参 照参数集PS1和图像picl、 pic2被解码。而且随机存取单元RAU02的图像 pic5，参照参数集PS1和图像pic2、 pic4被解码，而图像pic6参照参数集 PS2、图像pic4、及随机存取单元RAU02的其他图像被解码。
另一方面，当流Str3从随机存取单元RAU02被随机存取时，图像pic5 既不被解码也不被显示，图像pic4、 pic6依次进行解码显示。
艮P，在作为随机存取单元RAU02的B图像的图像pic5解码中，由于需 要参照前面的随机存取单元RAU01的图像，所以没必要将对图像pic5所需 要的图像参数集，配置在随机存取单元RAU02内。另外，由于即使是流 Str3从随机存取单元RAU02被随机存取的情况，图像pic5也不被解码，所 以与上述一样，不必将对图像pic5所需要的图像参数集配置在随机存取单元RAU02内。
在上述实施方式及变形例1 3中，在流中以图像为单位包含了参数集 标识符PSID，但是在图像由多个切片(slice)构成时，也可以以切片为单 位包含参数集标识符PSID。
另外，上述实施方式及变形例1 3中所示的随机存取单元不一定是包 含JVT的特别类型图像的多个图像的集合，由于参数集PS仅以需要的部分 按每个随机存取单元RAU进行配置，所以也可以是在前头只单独包含帧内 编码的图像(I图像)的多个图像的集合。
另外，在上述实施方式及变形例1 3中，按每个随机存取单元RAU或 随机存取单元群GRAU，对一个序列参数集SPS、及相互不同的多个图像 参数集PPS只进行了 l次编码配置，但是也可以对它们进行多次编码，将 所编码的同样多个序列参数集SPS和所编码的同样多个图像参数集PPS， 按每个随机存取单元RAU或随机存取单元群GRAU进行配置。这样，例 如可以防止在解码时发生错误。 (实施方式2)
进一步，通过将用于实现上述实施方式中所示的图像编码方法的程序， 记录在软盘等记录媒体中，可以使上述各实施方式中所示的处理，在独立 的计算机系统中简单地实施。
图14是存储有用于通过计算机系统实现实施方式1的图像编码方法的 程序的记录媒体的说明图。
图14中的(b)表示软盘FD从正面及侧面看的外观、及作为记录媒体 本体的磁盘本体FD1从正面看的外观，图14中的(a)表示磁盘本体FD1 的物理格式的例子。
磁盘本体FD1内置于外壳F内，在磁盘本体FD1的表面，以同心圆状 从外周向内周形成多个磁道Tr，各磁道在角度方向分割成16个扇区Se。 从而，存储了上述程序的软盘FD中，在上述磁盘本体FD1上所分配的区 域中，记录有作为上述程序的图像编码方法。
另外，图14中的(c)表示用于在软盘FD上进行上述程序的记录重放 的结构。
当在软盘FD上记录上述程序时，计算机系统Cs通过软盘驱动器FDD写入作为上述程序的图像编码方法。另外，当通过软盘FD内的程序在计算 机系统Cs中构筑上述图像编码方法时，通过软盘驱动器FDD从软盘FD读 出程序，传输给计算机系统Cs。
在上述说明中，采用软盘FD作为记录媒体进行了说明，但是同样也可 以采用光盘进行。另夕卜，记录媒体并不限于此，IC卡、ROM盒(cassette) 等只要能记录程序同样可以实施。 (实施方式3)
下面再说明上述实施方式中所示的图像编码方法的应用例及采用该应 用例的系统。
图15是表示实现内容发送服务的内容供给系统ex100整体结构的方框 图。将通信服务的提供区域分割成所希望的大小，在各蜂窝内，分别设置 作为固定无线站的基站exl07 ex110。
该内容供给系统ex100，例如通过互联网服务提供商exl02、电话网 exl04、及基站exl07 ex110，将计算机exlll、 PDA(个人数字助理)ex112、 照相机exl13、手提电话exl14、及带照相机的手提电话exl15等各种设备 连接至互联网ex101。
但是，内容供给系统exlOO并不限于图15的组合，也可以将任意一个 进行组合连接。另外，也可以不通过作为固定无线站的基站exl07 ex110， 而是各设备与电话阿ex104直接连接。
照相机exl13是数字式摄像机等可以拍摄动态图像的设备。手提电话是 PDC (Personal Digital Communications:个人数字通信)方式、CDMA (码 分多址)方式、W-CDMA宽带码分多址)方式、或GSM (全球移动通信 系统)方式的手提电话机，或者PHS (个人手提电话系统)等，哪一种都 可以。
另外，流服务器exl03从照相机exll3通过基站ex109、电话网exl04 连接，采用照相机ex113，可以根据用户发送的编码处理的数据进行实况发 送等。拍摄的数据编码处理既可以由照相机exl13进行，也可以由进行数 据发送处理的服务器等进行。另外，由照相机exl16拍摄的动态图像数据 也可以通过计算机exlll发送给流服务器exl03。照相机exl16是数码相机 等可以拍摄静止图像、动态图像的设备。这种情况下，动态图像数据的编码既可以由照相机exll6进行，也可以由计算机exlll进行。另外，编码处 理在计算机exlll及照相机exl16具有的LSI exl17中进行处理。也可以将 图像编码/解码用的软件装入作为通过计算机exlll等可以读取的记录媒体 的某种存储媒体(CD-ROM、软盘、硬盘等)中。另外，也可以用带照相 的手提电话exl15发送动态图像数据。这时的动态图像数据是由手提电话 exl 15具有的LSI进行编码处理的数据。
该内容供给系统exl00种，用户用照相机ex113、照相机exll6等拍摄 的内容(例如拍摄了音乐实况的影像等)，与上述实施方式一样进行编码 处理后，发送给流服务器ex103，另一方面，流服务器exl03对有要求的客 户机，流发送上述内容数据。客户机是指可以对上述编码处理后的数据进 行解码的计算机exlll、 PDA exl12、照相机exl13、手提电话exll4等。 这样，内容供给系统ex100也可以是在客户机上接收重放编码的数据，再 通过在客户机上实时进行接收后解码、并重放，实现个人广播的系统。
在构成该系统的各设备的编码、解码中，可以采用上述实施方式中所示 的图像编码装置。
下面以手提电话为例进行说明。
图16是表示采用了上述实施方式中说明的图像编码方法的手提电话 exll5的图。手提电话exl15的构成中包括在与基站exl10之间进行接收 发送电波的天线ex201、 CCD照相机等可以拍摄影像、静止图像的照相机 部ex203、显示由照相机部ex203拍摄的影像、及由天线ex201接收的影像 等解码后的数据的液晶显示器等显示部ex202、由操作键ex204群构成的本 体、进行声音输出的扬声器等声音输出部ex208、进行声音输入的话筒等声 音输入部ex205、为保存拍摄的动态图像或静止图像的数据、接收的邮件的 数据、动态图像数据或静止图像数据等编码的数据或解码的数据的记录媒 体ex207、以及可在手提电话exl 15上安装记录媒体ex207的插槽部ex206。 记录媒体ex207是在SD卡等塑料壳内装放作为可电改写及消除的非易失性 存储器的EEPROM (可电擦除可编程只读存储器)的一种的闪速存储元件。
下面再用图17对手提电话exl15进行说明。手提电话exl15对于具有 显示部ex202及操作键ex204的本体部各部分进行统一控制的主控制部 ex311，通过同步总线ex313，使电源电路部ex310、操作输入控制部ex304、图像编码部ex312、照相机接口部ex303、 LCD (液晶显示器)控制部ex302、 图像解码部ex309、多重分离部ex308、记录重放部ex307、调制解调电路 部ex306及声音处理部ex305相互连接。
当通过用户操作使通话结束、及电源键处于接通状态时，电源电路部 ex310，从电池包对各部供给电力，由此将带有照相机的数字手提电话ex115 启动至可操作状态。
手提电话exl15，根据由CPU、 ROM及RAM等构成的主控制部ex3U 的控制，在声音通话模式时，将由声音输入部ex205拾音的声音信号通过 声音处理部ex305变换成数字声音数据，由调制解调电路部ex306对其进行 频谱扩散处理，并由发送接收电路部ex301进行数字模拟变换处理及频率 变换处理后，通过天线ex201发送。另外手提电话机exl15在声音通话模式 时，对由天线ex201接收的接收数据进行放大后，进行频率变换处理及模 拟数字变换处理，并由调制解调电路部ex306进行频谱反扩散处理，并通 过声音处理部ex305变换成模拟声音数据后，通过声音输出部ex208将其输 出。
另外，在数据通信模式时，当发送电子邮件时，通过本体部的操作键 ex204的操作输入的电子邮件的文本数据通过操作输入控制部ex304被送出 至主控制部ex311 。主控制部ex311通过调制解调电路部ex306将文本数据 进行频谱扩散处理，并通过发送接收电路部ex301进行数字模拟变换处理 及频率变换处理后，通过天线ex201向基站exllO发送。
在数据通信模式时，当发送图像数据时，通过照相机接口部ex303将由 照相机部ex203拍摄的图像数据供给图像编码部ex312。另外，当不发送图 像数据时，也可以将由照相机部ex203拍摄的图像数据，通过照相机接口 部ex303及LCD控制部ex302直接显示在显示部ex202上。
图像编码部ex312为具有本发明中已说明的图像编码装置的结构，对从 照相机部ex203供给的图像数据，通过上述实施方式中所示的图像编码装 置中所用的编码方法进行压縮编码，由此变换成编码图像数据，并将其传 输给多重分离部ex308 。另外，与此同时，手提电话机exl 15将照相机部ex205 进行拍摄过程中由声音输入部ex205拾音的声音通过声音处理部ex305作为 数字声音数据传输给多重分离部ex308。多重分离部ex308用预定的方式对从图像编码部ex312供给的编码图像 数据和从声音处理部ex305供给的声音数据进行多重处理，由调制解调电 路部ex306对该结果所得到的多重化数据进行频谱扩散处理，并由发送接 收电路部ex301进行数字模拟变换处理及频率变换处理之后通过天线ex201 发送。
在数据通信模式时，当接收被链接至主页等的动态图像文件的数据时， 由调制解调电路部ex306对通过天线ex201从基站exl 10接收的接收数据进 行频谱反扩散处理，将该结果所得到的多重化数据传输给多重分离部 ex308。
另外，对通过天线ex201接收的多重化数据进行解码时，多重分离部 ex308通过将多重化数据进行分离，分成图像数据的比特流和声音数据的比 特流，通过同步总线ex313将该编码图像数据供给图像解码部ex309，并且 将该声音数据供给声音处理部ex305。
另外，图像解码部ex309为具有本发明中已说明的图像解码装置的结 构，并通过用与上述实施方式所示的编码方法相对应的解码方法对图像数 据的比特流进行解码，从而生成重放动态图像数据，并通过LCD控制部 ex302将其供给显示部ex202，由此，可显示例如被链接至主页等的动态图 像文件中所包含的动态图像数据。与此同时，声音处理部ex305将声音数 据变换成模拟声音数据后，将其供给声音输出部ex208，这样，例如被链接 至主页的动态图像文件中所包含的声音数据被重放。
并不限于上述系统的例子，最近通过卫星、地波的数字广播正成为一个 话题，如图18中所示，在数字广播系统上，也可以装入上述实施方式的图 像编码装置或图像解码装置中的任意一个。具体来说，在广播台ex409中， 将影像信息的比特流通过电波传输给通信或广播卫星ex410。接收了该信息 的广播卫星ex410发送广播电波，由具有卫星广播接收设备的家庭的天线 ex406接收该电波，通过电视(接收机)ex401或机顶盒(STB) ex407等 装置，对比特流解码，使其重放。另外，也可以在对作为记录媒体的CD 及DVD等存储媒体ex402上记录的比特流进行读取、解码的重放装置ex403 上，安装上述实施方式所示的图像解码装置。这时，重放的影像信号可在 监视器ex404上显示。另外也可以考虑在与有线电视的电缆ex405或卫星/地波广播的天线ex406相连接的机顶盒ex407内，安装图像解码装置，由电 视的监视器ex408对其重放。这时，也可以不是机顶盒，而是将图像解码 装置装入电视机内。另外，还可以在具有天线ex411的汽车ex412内从卫星 ex410或从基站exl07等接收信号，在汽车ex412具有的汽车导航设备ex413 等的显示装置上重放动态图像。
还可以由上述实施方式所示的图像编码装置对图像信号进行编码，记录 在记录媒体上。具体例子有，在DVD盘ex421上记录图像信号的DVD记 录器、及记录在硬盘上的磁盘记录器等的记录器ex420。还可以记录在SD 卡ex422上。如果记录器ex420具有上述实施方式所示的图像解码装置，则 可以重放在DVD盘ex421及SD卡ex422上记录的图像信号，由监视器 ex408进行显示。
汽车导航设备ex413的构成，可以考虑例如在图17中所示的构成中去 掉照相机部ex203、照相机接口部ex303、及照相编码部ex312的结构，这 一点同样也可以在计算机exlll及电视(接收机)ex401等上考虑。
另外，上述手提电话exl 14等终端，除了编码器/解码器二者都有的发 送接收型的终端之外，也可以考虑只有编码器的发送终端、只有解码器的 接收终端等3种安装形式。
这样，可以将上述实施方式中所示的图像编码方法应用在上述的任一种 设备/系统中，这样，可以得到上述实施方式中说明的效果。
另外，本发明并不限于所涉及的上述实施方式，只要不脱离本发明的范 围可以进行种种变形或修改。
产业上利用的可能性
本发明所涉及的图像编码方法，可以以在不降低编码效率的情况下迅速 地进行随机存取的方式，对图像进行编码，可以适用于用本图像编码方法 对图像进行编码的例如摄像机或带录像功能的手提电话等图像编码装置。
权利要求
1、一种动态图像编码方法，将前头图像为I图像的多个图像作为一个存取单位进行处理，对上述存取单位中包含的图像和上述图像所参照的图像参数集进行编码，以生成编码流，其特征在于，该动态图像编码方法包括第1编码步骤、第2编码步骤、编码流生成步骤，在对上述存取单位中包含的、且位于上述存取单位的前头的I图像之后的编码对象图像进行编码时，上述第1编码步骤进行上述编码对象图像所参照的图像参数集的编码；上述第2编码步骤根据上述图像参数集中包含的内容，进行上述编码对象图像的编码；以及上述编码流生成步骤生成编码流，以使得上述I图像未使用的上述图像参数集在上述存取单位中位于上述I图像之前。
2、 一种动态图像解码方法，对编码流进行解码，该编码流是将前头图 像为I图像的多个图像作为一个存取单位进行处理，对上述存取单位中包含 的图像和上述图像所参照的图像参数集进行编码而生成的编码流，其特征 在于，该动态图像解码方法包括抽出步骤，抽出在上述存取单位中位于上述I图像之前的图像参数集； 第1解码步骤，进行所抽出的上述图像参数集的解码；以及 第2解码步骤，使用解码后的上述图像参数集，进行位于上述I图像之 后、且包含于上述存取单位中的图像的解码。
3、 一种动态图像编码装置，将前头图像为I图像的多个图像作为一个 存取单位进行处理，对上述存取单位中包含的图像和上述图像所参照的图 像参数集进行编码，以生成编码流，其特征在于，该动态图像编码装置包括第1编码单元、第2编码单元、编码流生成 单元，在对上述存取单位中包含的、且位于上述存取单位的前头的I图像之后 的编码对象图像进行编码时，上述第1编码单元进行上述编码对象图像所参照的图像参数集的编码； 上述第2编码单元根据上述图像参数集中包含的内容，进行上述编码对象图像的编码；以及上述编码流生成单元生成编码流，以使得上述I图像未使用的上述图像 参数集在上述存取单位中位于上述I图像之前。
4、 一种动态图像解码装置，对编码流进行解码，该编码流是将前头图 像为I图像的多个图像作为一个存取单位进行处理，对上述存取单位中包含 的图像和上述图像所参照的图像参数集进行编码而生成的编码流，其特征 在于，该动态图像解码装置包括抽出单元，抽出在上述存取单位中位于上述I图像之前的图像参数集；第1解码单元，进行所抽出的上述图像参数集的解码；以及第2解码单元，使用解码后的上述图像参数集，进行位于上述I图像之 后、且包含于上述存取单位中的图像的解码。
5、 一种记录方法，向记录媒体记录编码流，该编码流是将前头图像为 I图像的多个图像作为一个存取单位进行处理，对上述存取单位中包含的图 像和上述图像所参照的图像参数集进行编码而生成的编码流，其特征在于，该记录方法包括第1编码步骤、第2编码步骤、编码流生成步骤、记录步骤，在对上述存取单位中包含的、且位于上述存取单位的前头的I图像之后 的编码对象图像进行编码时，上述第1编码步骤进行上述编码对象图像所参照的图像参数集的编码； 上述第2编码步骤根据上述图像参数集中包含的内容，进行上述编码对 象图像的编码；上述编码流生成步骤生成编码流，以使得上述I图像未使用的上述图像 参数集在上述存取单位中位于上述I图像之前；以及 上述记录步骤向记录媒体记录所生成的上述编码流。
6、 一种动态图像解码系统，包括记录有编码流的记录媒体、和从上述 记录媒体中读出编码流并对动态图像进行解码的动态图像解码装置，该编 码流是将前头图像为I图像的多个图像作为一个存取单位进行处理，对上述 存取单位中包含的图像和上述图像所参照的图像参数集进行编码而生成的 编码流，其特征在于，上述编码流具有如下结构，即包含于上述存取单位中的、且被位于上述存取单位的前头的I图像之后的图像所参照的图像参数集，在上述存取单 位中位于上述I图像之前；上述动态图像解码装置包括抽出单元，抽出在上述存取单位中位于上述I图像之前的图像参数集； 第1解码单元，进行所抽出的上述图像参数集的解码；以及 第2解码单元，使用解码后的上述图像参数集，进行位于上述I图像之 后、且包含于上述存取单位中的图像的解码。
全文摘要
本发明的动态图像编码方法，将前头图像为I图像的多个图像作为一个存取单位进行处理，对上述存取单位中包含的图像和上述图像所参照的图像参数集进行编码，以生成编码流，其特征在于，该动态图像编码方法包括第1编码步骤、第2编码步骤、编码流生成步骤，在对上述存取单位中包含的、且位于上述存取单位的前头的I图像之后的编码对象图像进行编码时，上述第1编码步骤进行上述编码对象图像所参照的图像参数集的编码；上述第2编码步骤根据上述图像参数集中包含的内容，进行上述编码对象图像的编码；以及上述编码流生成步骤生成编码流，以使得上述I图像未使用的上述图像参数集在上述存取单位中位于上述I图像之前。
文档编号H04N7/24GK101540914SQ200910138119
公开日2009年9月23日 申请日期2003年12月9日 优先权日2003年1月17日
发明者能登屋阳司, 角野真也 申请人:松下电器产业株式会社