专利名称：图像解码装置、图像编码装置、图像解码电路以及图像解码方法
技术领域：
本发明涉及图像解码装置、图像编码装置、图像解码电路以及图像解码方法。
背景技术：
近年来，有一种已被广泛利用的图像压缩技术的标准规格。例如，有ITU_T(国际电信联盟电信标准化部门)的H. 261及H. ^3、IS0/IEC(国际标准化组织国际电工委员会) 的 MPEG(Moving Picture Experts Group 运动图像专家组)-1、MPEG2 及 MPEG4 等以及作为 ITU-T 和 MPEG 之联合的 JVT(Joint Video iTeam:联合视频组)的 H.洸4 (MPEG4-AVC)等。 再者，下一代的图像压缩技术正在由ITU-T或IS0/IEC等研究。作为图像压缩技术的重要因素，有一种用于削减空间方向的冗余度的正交变换。 这里，所谓正交变换是指，利用在图像信号中相邻的像素间的相关性强、若利用适当的正交变换基来进行正交变换则变换后的系数的能量中产生误差的性质来进行比特的分配，由此降低传送比特量的方法。例如，在 H. 261、H. 263、MPEGU MPEG2、MPEG4、H. 264(MPEG4-AVC) 等的图像压缩规格中，作为正交变换而利用离散余弦变换(以下，也称作“DCT”)。对于DCT 而言，已知尤其针对自然图像信号得到与作为最佳变换的Karhimen Loeve变换(以下，也称作“KLT” )接近的性能，其具有对于自然图像，在低频上能量集中，在高频上能量几乎没有的性质。另一方面，在由ITU-T及IS0/IEC等在下一代的图像压缩技术中提出的正交变换中，为了实现更好的编码效率，提出了将作为最佳变换的Karhimen Loeve变换利用为正交变换(非专利文献1)。一般，在正交变换中利用Karhunen Loeve变换的情况下，正交变换基依赖于编码对象的图像，因此必须传输正交变换基的信息。因此，与不需要传输基的信息的DCT等的正交变换相比，需要传输正交变换基的信息，相应地信息量变多。另外，正交变换基与正交变换矩阵为同义，也可以称为正交变换基矩阵。针对于此，在专利文献1中公开了编码流中不包括正交变换基的信息、从运动补偿时的参照图像中导出基的信息，从而提高编码效率的方法。此外，在专利文献1中公开了如下方法按编码流中包含的帧内预测的预测模式的每一个模式，定义在正交变换的解码中利用的正交变换基，根据帧内预测的预测模式来切换在解码中利用的正交变换基，由此减少必须传输的正交变换基的信息量。图34是表示专利文献1所记载的以往的图像解码装置的结构的框图。图34所示的图像解码装置1010具备运动补偿部1207、逆量化部1215、逆正交变换部1216、可变长度解码部1220、帧存储器1222以及变换基积蓄部1251。在该图像解码装置1010中，若接收到图像编码流1214，则由可变长度解码部1220检测出表示图像编码流1214中包含的各帧的开头的同步字。并且，在可变长度解码部1220中，按每个宏块单位复原在各个正交变换单位中使用的正交变换基ID信息1250、运动矢量1205以及量化正交变换系数1221。
运动矢量1205被发送到运动补偿部1207。这里，运动补偿部1207从帧存储器 1222中取出移动了运动矢量1205的量的图像部分作为预测图像1206。量化正交变换系数 1221经逆量化部1215、逆正交变换部1216解码之后，与预测图像1206相加而成为最终的解码图像1217。变换基积蓄部1251中保存有与图像编码装置侧相同的正交变换基集Ai，基于正交变换基ID信息1250选择正交变换基1219，将该选择的正交变换基1219发送至逆正交变换部1216。逆正交变换部1216利用被选择的正交变换基1219对正交变换系数进行逆变换，从而恢复到图像空间上的信号。解码图像1217在规定的显示定时输出到显示设备，再现影像。像这样利用KLT编码而得到的图像编码流的解码中，需要对变换基积蓄部1251保存正交变换基、从变换基积蓄部1251读出正交变换基。因此，由于正交变换基信息的读出以及保存等的访问，变换基积蓄部的存储器频带及存储器访问延迟变得非常大。现有技术文献专利文献专利文献1 日本专利第3887178号公报非专利文献非专禾0 文献 1 kai Zhang et al 著 “Improved Inter Coding"ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) document VCEG-AGl1, Oct 2007
发明概要发明要解决的问题但是，在上述以往的结构中没有记载保存了在下一代的图像压缩技术中所提出的正交变换中使用的正交变换基的存储器的存储器访问，具有以下问题难以缩减使用了正交变换的情况的保存了正交变换基的存储器的存储器频带以及减少存储器访问延迟。
发明内容
本发明用于解决上述以往的问题，其目的是提供一种能够缩减保存了进行正交变换时使用的正交变换基的存储器的存储器频带、以及减少存储器访问延迟的图像解码装置、图像编码装置、图像解码电路以及图像解码方法。用于解决问题的手段为了解决上述以往的问题，本发明的运动图像解码装置是进行编码流的解码的图像解码装置，具备解码部，从上述编码流将确定信息进行解码，该确定信息用于确定在逆正交变换中利用的正交变换基；积蓄部，用于保存在上述编码流的逆正交变换中利用的多个正交变换基；存储部，用于保存上述积蓄部中保存的多个正交变换基之中、进行上述逆正交变换时需要的至少一个正交变换基；逆正交变换部，利用保存在上述存储部中、且由上述确定信息确定的正交变换基，进行逆正交变换；以及传送控制部，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。根据该结构，能够实现可缩减存放了进行正交变换时使用的正交变换基的存储器
7的存储器频带以及可减小存储器访问延迟的图像解码装置。此外，为了解决上述以往的问题，本发明的运动图像编码装置是生成编码流的图像编码装置，具备生成部，生成在正交变换中利用的正交变换基以及用于确定上述正交变换基的确定信息；积蓄部，用于保存由上述生成部生成的多个上述正交变换基；存储部，用于保存上述积蓄部中保存的多个正交变换基中的、进行上述正交变换时需要的至少一个正交变换基；正交变换部，利用保存在上述存储部中、且由上述确定信息确定的正交变换基进行正交变换；以及传送控制部，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。另外，本发明不仅可以作为装置来实现，还可以作为具备这种装置所具备的处理单元的集成电路来实现，或者作为以构成该装置的处理单元为步骤的方法来实现。发明效果根据本发明，能够实现可缩减存放了进行正交变换时使用的正交变换基的存储器的存储器频带以及可减少存储器访问延迟的图像解码装置、图像编码装置、图像解码电路以及图像解码方法。
图1是表示本发明实施方式1的解码装置的结构的框图。图2A是表示按照运动图像压缩技术的标准规格编码后的编码流的概要的图。图2B是按照运动图像压缩技术的标准规格编码后的编码流的概要的图。图2C是表示本发明的编码流的一例的图。图3是本发明的正交变换基存储状态管理表所保存的信息的一例。图4是表示本发明实施方式1的解码装置的解码处理动作的流程图。图5是本发明实施方式1的解码装置的最小结构的框图。图6是本发明实施方式2的解码装置的结构的框图。图7A是本发明的正交变换基参照履历管理表所保存的信息的一例。图7B是本发明的正交变换基参照履历管理表所保存的信息的一例。图8是本发明实施方式2的解码装置的解码处理动作的流程图。图9是本发明实施方式3的解码装置的结构的框图。图10是本发明的正交变换基统计信息管理表所保存的信息的一例。图11是本发明的正交变换基统计信息管理表所保存的信息的一例。图12A是表示根据本发明的正交变换基统计信息管理表来更新正交变换基存储部的正交变换基的状况的图。图12B是表示根据本发明的正交变换基统计信息管理表来更新正交变换基存储部的正交变换基的状况的图。图13A是表示根据本发明的正交变换基统计信息管理表来更新正交变换基存储部的正交变换基的状况的图。图1 是表示根据本发明的正交变换基统计信息管理表来更新正交变换基存储部的正交变换基的状况的图。图14是表示本发明实施方式3的解码装置的解码处理动作的流程图。
图15是表示本发明实施方式3的解码装置的最小结构的框图。图16是表示本发明实施方式4的解码装置的结构的框图。图17是表示本发明实施方式4的解码装置的解码处理动作的流程图。图18是表示本发明实施方式5的编码装置的结构的框图。图19是正交变换基存储状态管理表所保存的信息的一例。图20是用于说明正交变换部决定正交变换基ID的方法的图。图21是表示本发明实施方式5的编码装置的编码处理动作的流程图。图22是表示本发明实施方式6的编码装置的结构的框图。图23是表示本发明实施方式6的编码装置的编码处理动作的流程图。图M是表示本发明实施方式7的编码装置的结构的框图。图25是表示本发明实施方式7的编码装置的编码处理动作的流程图。图沈是实现内容分发服务的内容供给系统的整体结构图。图27是数字广播用系统的整体结构图。图观是表示电视的结构例的框图。图四是表示向作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。图30是表示作为光盘的记录介质的构造例的图。图31是表示实现各实施方式的图像编码方法以及图像解码方法的集成电路的结构例的框图。图32是表示通过集成电路实现的各实施方式的图像编码处理的框图。图33是表示通过集成电路实现的各实施方式的运动图像解码处理的框图。图34是表示以往例的解码装置的结构的框图。
具体实施例方式以下参照
本发明的实施方式。(实施方式1)图1是表示本发明实施方式1的解码装置的结构的框图。图2A及图2B是表示按照运动图像压缩技术的标准规格编码后的编码流的概要的图。图2C是表示本发明的编码流的一例的图。图3是本发明的正交变换基存储状态管理表所保存的信息的一例。图1所示的解码装置100是进行编码流的解码的图像解码装置，所述编码流包括用于确定在逆正交变换中利用的正交变换基(正交变换基矩阵)的确定信息。该解码装置 100具备解码部101、正交变换基传送控制部102、正交变换基存储部103、正交变换基存储状态管理表104、参照图像传送控制部105、参照图像存储部106、预测图像生成部107、加法运算器108、存储器109、正交变换基积蓄部110、逆量化部111以及逆正交变换部112。解码部101从编码流将确定信息进行解码，该确定信息用于确定在逆正交变换中利用的正交变换基。具体而言，解码部101具有对按照图像压缩技术的标准规格编码后的流进行解码、至少输出头信息和量化系数的功能。这里，对于按照运动图像压缩技术的标准规格编码后的流，利用图2A及图2B进行说明。如图2A所示，在编码流中，一系列的图像(运动图像)具有分层级的结构。例如，有将多个图片作为1组的序列(或者称为GOP(Group Of Pictures 图片组))。构成序列的各图片具有被分割为切片(slice)、再分割为由16x16像素构成的宏块的结构。另外，还有不将图片分割为切片的情况。并且，解码装置100以切片或宏块为单位进行解码动作。此外，在编码流中，如图2B所示，它们被分层级地进行了编码，由控制序列的序列头、控制图片的图片头、控制切片的切片头以及宏块数据等构成。宏块数据还分为宏块种类、帧内预测(内部预测)模式、运动矢量信息、量化参数等的编码信息以及与各像素数据对应的系数信息。另外，在H. 264规格中，将序列头称为SPSGequence Parameter Set 序列参数集)，将图片头称为PPS (Picture Parameter set:图片参数集)。以下设为在GOP或者序列的头中，包含有全部的在该GOP或者序列的图片中利用于逆正交变换的正交变换基(正交变换矩阵)、以及用于确定(表示)在逆正交变换时使用哪个正交变换基的信息(以下也称为“正交变换基ID”)。并且，作为图片的编码单位，例如在宏块中仅包含对该宏块进行逆正交变换时使用的正交变换基ID。另外，也可以不是以GOP或者序列单位包含正交变换基和正交变换基ID，而是以图片单位包含。此外，也可以是，在GOP或者序列的头中仅包含有在该GOP或者序列中的多个图片中利用的所有正交变换基ID，在多个图片的各个宏块(编码单位)的头中，仅包含有在该宏块(编码单位)中使用的正交变换基ID。此外，如图2C所示，也可以设为仅将正交变换基ID以图片单位包含，而不是以GOP或者序列单位包含，在多个图片的各个宏块(编码单位)的头中仅包含有在该宏块(编码单位)中使用的正交变换基ID。同样，既可以以上述的某个组合为单位，也可以以其他的组合为单位。正交变换基传送控制部102相当于本发明的传送控制部，从正交变换基积蓄部 110向正交变换基存储部103传送由确定信息(正交变换基ID)确定的正交变换基。正交变换基传送控制部102仅在正交变换基存储部103未保存由用于确定在逆正交变换中利用的正交变换基的确定信息确定的正交变换基的情况下，从正交变换基积蓄部 110向正交变换基存储部103传送由确定信息(正交变换基ID)确定的正交变换基。具体而言，正交变换基传送控制部102具有将在编码流中定义并且在逆正交变换中使用的正交变换基写入到正交变换基积蓄部110中的功能。此外，正交变换基传送控制部102具有如下功能根据解码部101所解码的头信息中包含的、表示在逆正交变换中使用哪个正交变换基的信息即正交变换基ID，来参照正交变换基存储状态管理表104的信息。并且，正交变换基传送控制部102根据正交变换基存储状态管理表104的信息，确认正交变换基ID所表示的正交变换基是否保存在正交变换基存储部103中。例如，正交变换基传送控制部102在确认出正交变换基ID所表示正交变换基未保存在正交变换基存储部103中的情况下，从正交变换基积蓄部110读出正交变换基ID所表示的正交变换基，并向正交变换基存储部103写入(传送)。另一方面，正交变换基传送控制部102在确认出正交变换基ID所表示的正交变换基保存(存储)在正交变换基存储部 103中的情况下，不从正交变换基积蓄部110读出正交变换基(不传送)。另外，也可以是，正交变换基传送控制部102仅将向正交变换基积蓄部110写入正交变换基的命令发给解码部101，由解码部101将正交变换基写入正交变换基积蓄部110 中。同样，也可以是，正交变换基传送控制部102仅将从正交变换基积蓄部110读出正交变换基ID所表示的正交变换基的命令发给正交变换基存储部103，由正交变换基存储部103从正交变换基积蓄部110读出正交变换基ID所表示的正交变换基，并加以保存。正交变换基存储部103相当于本发明的存储部，用于保存正交变换基积蓄部110 中所保存的多个正交变换基之中、进行逆正交变换时需要的正交变换基。具体而言，正交变换基存储部103具有保存至少1种以上的从正交变换基积蓄部110传送的正交变换基的功能、和对逆正交变换部112设定正交变换基ID所表示的正交变换基的功能。正交变换基存储状态管理表104相当于本发明的存储状态管理部，管理表示正交变换基存储部103是否保存着由确定信息(正交变换基ID)确定的正交变换基的信息。具体而言，正交变换基存储状态管理表104具有以正交变换基ID为输入，向正交变换基存储部103输出是否保存着正交变换基ID所表示的正交变换基的信息的功能。正交变换基存储状态管理表104例如保存着如图3所示的信息。即，正交变换基存储状态管理表104将解码部101解码的编码流的例如序列头或图片头等的头信息中包含的所有正交变换基ID作为正交变换基ID来保存。并且，保存由各个正交变换基ID确定的正交变换基是否存储在正交变换基存储部103中，来作为存储状态。参照图像传送控制部105具有根据解码部101输出的预测模式、运动矢量以及参照画面信息等的头信息，从存储器109读出预测图像生成中需要的参照像素，写入参照图像存储部106中的功能。 另外，参照图像传送控制部105也可以根据包含解码部101输出的运动矢量以及参照画面信息等的头信息，向参照图像存储部106仅发出从存储部109读出预测图像生成中需要的参照像素的命令，参照图像存储部106从存储部109读出并保存预测图像生成中需要的参照像素。参照图像存储部106具有保存从存储器109传送的参照像素的功能。预测图像生成部107具有取得解码部101输出的预测模式以及正交变换基ID等的头信息、以及参照图像存储部106所保存的预测图像生成所需要的参照像素的功能。并且，预测图像生成部107具有利用这些生成预测图像，并输出给加法运算器108的功能。加法运算器108具有将逆正交变换部112输出的预测误差信号和预测图像生成部 107输出的预测图像相加并作为解码图像输出的功能、以及将该解码图像输送(输出)给存储器109的功能。存储器109具有保存预测图像生成部107所参照的参照画面的功能。正交变换基积蓄部110相当于本发明的积蓄部，用于保存在编码流的逆正交变换中利用的多个正交变换基。具体而言，正交变换基积蓄部110具有保存逆正交变换部112 在逆正交变换处理中利用的正交变换基的功能。另外，正交变换基积蓄部110设为了与存储器109不同的存储单元，但正交变换基积蓄部110与存储器109也可以为相同的存储单兀。逆量化部111具有对由解码部101输出的量化系数进行逆量化，输出正交变换系数的功能。逆正交变换部112利用保存在正交变换基存储部103中、并且由确定信息(正交变换基ID)确定的正交变换基进行逆正交变换。具体而言，逆正交变换部112具有如下功能利用正交变换基存储部103所输出的正交变换基，对由逆量化部111输出的正交变换系数进行逆正交变换，输出预测误差信号。
接着，对如以上那样构成的解码装置100的解码处理动作进行说明。图4是表示本发明实施方式1的解码装置的解码处理动作的流程图。如图4所示，在解码装置100中，首先，接收到编码流的解码部101将构成编码流的头信息进行解码(SlOl)，作为头信息至少输出正交变换基。并且，正交变换基传送控制部102将在SlOl中由解码部101解码的正交变换基全部写入正交变换基积蓄部110中 (S102)。接着，解码部101将构成编码流的多个图片(或构成多个图片的宏块)的头信息和量化系数进行解码(S104)，作为头信息至少输出正交变换基ID。接着，正交变换基传送控制部102参照正交变换基存储状态管理表104，检查正交变换基存储部103是否保存着在S104中解码的正交变换基ID所表示的正交变换基 (S105)。正交变换基传送控制部102在正交变换基存储部103未保存正交变换基ID所表示的正交变换基的情况下(S105的否的情况)，从正交变换基积蓄部110读出正交变换基 ID所表示的正交变换基。并且，写入到正交变换基存储部103中例如存储着最早从正交变换基积蓄部110读出的正交变换基的区域(S106)。接着，正交变换基传送控制部102更新正交变换基存储状态管理表104 (S107)。具体而言，正交变换基传送控制部102在正交变换基存储状态管理表104中将读出的正交变换基的存储状态变更为“保存”，将删除的正交变换基的存储状态变更为“未保存”。另一方面，正交变换基传送控制部102在正交变换基存储部103保存着正交变换基ID所表示的正交变换基的情况下(S105的是的情况)，不从正交变换基积蓄部110读出正交变换基，前进到S108。接着，逆量化部111将由解码部101输出的图片(或构成图片的宏块)的量化系数进行逆量化，输出正交变换系数(S108)。接着，逆正交变换部112读出正交变换基存储部103所保存着的正交变换基，并将读出的正交变换基设定为用于逆正交变换的正交变换基(S109)。逆正交变换部112利用设定的正交变换基，将逆量化部111输出的图片(或构成图片的宏块)的正交变换系数进行逆正交变换(SllO)，将预测误差信号输出给加法运算器108。此外，预测图像生成部107生成预测图像(Slll)。具体而言，参照图像传送控制部 105基于在S104中由解码部101解码并输出的预测模式、运动矢量以及参照画面信息等的头信息，根据需要从存储器109读出利用于预测图像生成的参照图像，写入到参照图像存储部106。预测图像生成部107设定在S104中由解码部101解码并输出的预测模式以及运动矢量，根据需要读出参照图像存储部106所保存着的参照图像，进行帧内预测或帧间预测来生成预测图像。预测图像生成部107将生成的预测图像输出给加法运算器108。接着，加法运算器108将在Slll中预测图像生成部107输出的预测图像与在SllO 中逆正交变换部112输出的预测残差信号相加并输出(Si 12)。接着，解码部101判断是否将编码流全部进行了解码(S113)，如果是已全部解码 (S113的是的情况)，则完成解码。反之，存在尚未解码的编码流的情况下(S113的否的情况)，返回S104重复处理。如以上那样，解码装置100进行解码处理动作。
另外，解码装置100在将序列或GOP中包含的图像(图片)进行解码的最开始时， 在S102中将在SlOl中由解码部101解码的正交变换基全部写入正交变换基积蓄部110中， 但是不写入正交变换基存储状态管理表104中。然后，通过反复S104 Sl 13的处理，在正交变换基存储部103中保存正交变换基的一部分。以上，根据本实施方式，在参照正交变换基存储状态管理表104的结果为，正交变换基存储部103中存在正交变换基ID所表示的正交变换基的情况下，不从正交变换基积蓄部110读出该正交变换基。因此，能够减少对正交变换基积蓄部110的访问次数。由此，能够缩减与正交变换基积蓄部110有关的存储器频带及减少存储器访问延迟。另外，在本实施方式中，在正交变换基存储部103未保存正交变换基ID所表示的正交变换基的情况下，正交变换基传送控制部102从正交变换基积蓄部110读出正交变换基ID所表示的正交变换基。并且，假设写入到正交变换基存储部103的存储着最早从正交变换基积蓄部110读出的正交变换基的区域，但不限于此。例如既可以写入到存储着最新从正交变换基积蓄部110读出的正交变换基的区域，也可以随机选择存储着正交变换基的区域来进行写入。只要是能够减少对正交变换基积蓄部110的访问、并且还能够减小正交变换基存储部103的容量的方法，选择哪一种都可以。此外，在本实施方式中，正交变换基积蓄部110设为了与存储器109不同的存储单元，但正交变换基积蓄部110与存储器109也可以是相同的存储单元。此外，在本实施方式中，假设正交变换基包含在编码流内来进行了说明，但不限于此。也可以是，在编码流内仅包含正交变换基ID，正交变换基预先设定在编码装置和解码装置之间，预先设定的正交变换基保存在正交变换基积蓄部110中。此外，在本实施方式中，解码装置100具备解码部101、正交变换基传送控制部 102、正交变换基存储部103、正交变换基存储状态管理表104、参照图像传送控制部105、参照图像存储部106、预测图像生成部107、加法运算器108、存储器109、正交变换基积蓄部 110、逆量化部111以及逆正交变换部112，但不限于此。如图5所示，作为解码装置100的最小结构，只要具备解码装置部10即可。即，只要具备下述解码装置部10即可，该解码装置部10具有解码部101、正交变换基传送控制部102、正交变换基存储部103、正交变换基积蓄部110以及逆正交变换部112。更具体而言，该解码装置部10是进行包含确定信息(正交变换基ID)的编码流的解码的图像解码装置，上述确定信息用于确定在逆正交变换中利用的正交变换基，该解码装置部10只要具备如下各部即可，即解码部101，从编码流解码确定信息(正交变换基 ID)；正交变换基积蓄部110，用于保存在编码流的逆正交变换中利用的多个正交变换基； 正交变换基存储部103，用于保存正交变换基积蓄部110所保存着的多个正交变换基之中、 在进行逆正交变换时需要的正交变换基；逆正交变换部112，利用保存在正交变换基存储部103中、并且由确定信息(正交变换基ID)确定的正交变换基，进行逆正交变换；以及正交变换基传送控制部102，仅在正交变换基存储部103未保存由确定信息(正交变换基ID) 确定的正交变换基的情况下，从正交变换基积蓄部110向正交变换基存储部103传送由确定信息(正交变换基ID)确定的正交变换基。解码装置100至少具备解码装置部10来作为最小结构，因此正交变换基传送控制部102将存储于正交变换基积蓄部110中并且在逆正交变换中使用的正交变换基的至少一
13部分传送给正交变换基存储部103加以保存。由此，能够减少对正交变换基积蓄部110直接访问的次数。(实施方式2)图6是表示本发明实施方式2的解码装置的结构的框图。图7A及图7B是正交变换基参照履历管理表所保存的信息的一例。在图6中，对于与图1相同的结构要素使用相同的符号，并省略说明。图6所示的解码装置200具备解码部101、正交变换基传送控制部102、正交变换基存储部103、正交变换基存储状态管理表104、参照图像传送控制部105、参照图像存储部 106、预测图像生成部107、加法运算器108、存储器109、正交变换基积蓄部110、逆量化部 111、逆正交变换部112以及正交变换基参照履历管理表201。图6所示的解码装置200相对于实施方式1的解码装置100，其结构的不同之处在于具备正交变换基参照履历管理表 201。正交变换基参照履历管理表201相当于本发明的参照履历管理部，对每个正交变换基的表示从解码开始被参照的次数的利用履历信息进行管理。具体而言，正交变换基参照履历管理表201具有以正交变换基ID为输入，输出在正交变换基存储部103中正交变换基ID所表示的正交变换基从解码开始被参照的次数的功能。正交变换基参照履历管理表 201例如保存着如图7A所示的信息。即，正交变换基参照履历管理表201保存着由解码部 101解码的编码流的例如头信息中包含的正交变换基ID。并且，将由各个正交变换基ID确定的正交变换基从解码开始被参照的次数作为此前的流中的参照次数来保存。另外，正交变换基参照履历管理表201也可以具有以正交变换基ID为输入，输出表示在正交变换基存储部103中正交变换基ID所表示的正交变换基在逆正交变换部112 当前进行的逆正交变换的几次之前被参照过的次数的功能。在该情况下，正交变换基参照履历管理表201例如保存如图7B所示的信息。即，正交变换基参照履历管理表201将由解码部101解码的编码流的例如头信息中包含的正交变换基ID作为正交变换基来保存着。并且，将表示正交变换基ID所示的正交变换基在逆正交变换部112进行的逆正交变换处理的几次前被参照过的信息(次数)，保存为在几次前被参照过。下面，对如以上构成的解码装置200的解码处理动作进行说明。图8是表示本发明实施方式2的解码装置的解码处理动作的流程图。如图8所示，在解码装置200中，首先，接收到编码流的解码部101对构成编码流的头信息进行解码(S201)，作为头信息而至少输出正交变换基。并且，正交变换基传送控制部102将在S201中由解码部101解码的正交变换基全部写入正交变换基积蓄部110中 (S202)。接着，解码部101对构成编码流的多个图片(或者构成多个图片的宏块)的头信息和量化系数进行解码(S204)，作为头信息至少输出正交变换基ID。接着，正交变换基传送控制部102参照正交变换基存储状态管理表104，检查正交变换基存储部103是否保存着在S204中解码的正交变换基ID所表示的正交变换基 (S205)。正交变换基传送控制部102在正交变换基存储部103未保存正交变换基ID所表示的正交变换基的情况下(S205的否的情况)，从正交变换基积蓄部110读出正交变换基ID所表示的正交变换基。并且，写入正交变换基存储部103中例如存储着此前参照次数最少的正交变换基的区域中(S206)。这里，正交变换基传送控制部102参照正交变换基参照履历管理表201，确定参照次数最少的正交变换基。接着，正交变换基传送控制部102更新正交变换基参照履历管理表201 (S207)。 即，正交变换基传送控制部102曾加正交变换基参照履历管理表201的、所参照的正交变换基的参照次数。此外，正交变换基传送控制部102更新正交变换基存储状态管理表104 (S208)。具体而言，正交变换基传送控制部102将正交变换基存储状态管理表104的读出的正交变换基的存储状态变更为“保存”，将删除的正交变换基的存储状态变更为“未保存”。另一方面，正交变换基传送控制部102在正交变换基存储部103保存着正交变换基ID所表示的正交变换基的情况下(S205的是的情况)，不从正交变换基积蓄部110读出正交变换基，前进到S209。接着，逆量化部111将解码部101输出的图片(或者构成图片的宏块)的量化系数进行逆量化，输出正交变换系数(S209)。接着，逆正交变换部112读出正交变换基存储部103保存着的正交变换基，将读出的正交变换基设定为在逆正交变换中使用的正交变换基(S210)。逆正交变换部112使用所设定的正交变换基对由逆量化部111输出的图片(或者构成图片的宏块)的正交变换系数进行逆正交变换(S211)，将预测误差信号输出给加法运算器108。此外，预测图像生成部107生成预测图像(S21 。具体而言，参照图像传送控制部 105根据在S204中由解码部101解码并输出的预测模式、运动矢量以及参照画面信息等的头信息，根据需要从存储器109读出在预测图像生成中利用的参照图像，写入参照图像存储部106中。预测图像生成部107设定在S204中由解码部101解码并输出的预测模式以及运动矢量，根据需要读出参照图像存储部106保存着的参照图像，进行帧内预测或帧间预测而生成预测图像。预测图像生成部107将生成的预测图像输出给加法运算器108。接着，加法运算器108将在S212中预测图像生成部107输出的预测图像和在S211 中逆正交变换部112输出的预测残差信号相加并输出(S212)。接着，解码部101判断是否将编码流全部进行了解码(S214)，如果全部进行了解码(S214的是的情况)，则完成解码。相反，在还有尚未解码的编码流的情况下(S214的否的情况)，返回S204重复处理。如以上那样，解码装置200进行解码处理动作。以上，根据本实施方式，通过参照正交变换基参照履历管理表201，来确定参照次数最少的正交变换基。并且，正交变换基传送控制部102向正交变换基存储部103写入时， 写入到存储着此前参照次数最少的正交变换基的区域中。由此，被参照的可能性低的正交变换基不保存在正交变换基存储部103中，而能够在正交变换基存储部103中保存被频繁参照的可能性高的正交变换基。其结果，能够减少对正交变换基积蓄部110的访问次数。由此，能够缩减与正交变换基有关的存储器的存储器频带以及存储器访问延迟。另外，在本实施方式中，在正交变换基存储部103未保存正交变换基ID所表示的正交变换基情况下，通过参照正交变换基参照履历管理表201，确定参照次数最少的正交变换基。并且，正交变换基传送控制部102从正交变换基积蓄部110读出正交变换基ID所表示的正交变换基，写入到正交变换基存储部103的存储着此前参照次数最少的正交变换基的区域中，但不限于此。例如，既可以写入到存储着最近(从当前到规定期间的过去)最不常使用的正交变换基的区域中，也可以写入到存储着最近最常使用的正交变换基的区域中，也可以写入到存储着此前参照次数最多的正交变换基的区域中。只要是能够减少对正交变换基积蓄部110的访问、且还能够减少正交变换基存储部103的容量的方法，选择哪一种都可以。此外，在本实施方式中，正交变换基积蓄部110设为了与存储器109不同的存储单元，但正交变换基积蓄部110和存储器109也可以是相同的存储单元。即，既可以是正交变换基积蓄部110包含存储器109的结构，也可以是正交变换基积蓄部110包含于存储器109 中的结构。此外，在本实施方式中，设为正交变换基包含于编码流内来进行了说明，但不限于此。也可以是，在编码流内仅包含正交变换基ID，正交变换基预先设定在编码装置与解码装置之间，将预先设定的正交变换基保存在正交变换基积蓄部110中。(实施方式3)图9是表示本发明实施方式3的解码装置的结构的框图。图10及图11是正交变换基统计信息管理表所保存的信息的一例。在图9中，对于与图1相同的结构要素使用相同的符号，省略其说明。图9所示的解码装置300具备解码部101、正交变换基传送控制部102、正交变换基存储部103、正交变换基存储状态管理表104、参照图像传送控制部105、参照图像存储部 106、预测图像生成部107、加法运算器108、存储器109、正交变换基积蓄部110、逆量化部 111、逆正交变换部112、预解码部301、正交变换基统计信息管理表302。图9所示的解码装置300相对于实施方式1的解码装置100，不同的结构是具备预解码部301以及正交变换基统计信息管理表302。预解码部301比解码部101先行从编码流至少解码确定信息(正交变换基ID)的一部分。具体而言，预解码部301与解码部101相比至少提前1比特以上，来对根据图像压缩技术的标准规格来编码而得到的编码流的一部分或全部进行解码。这里，预解码部301 具有至少输出正交变换基ID的功能。另外，预解码部301也可以构成为解码装置300另外具备的例如将 CABAC (Context-based Adaptive Binary Arithmetic Coding :基于上下文自适应二进制算术编码)等的算术代码进行解码的CABAC解码部。此外，也可以设置于解码部101的前面。 即，预解码部301只要是不解码到图像、比解码部101至少提前1比特以上来从编码流中将正交变换基ID进行解码并输出给正交变换基统计信息管理表302的结构即可。正交变换基统计信息管理表302相当于本发明的统计信息管理部，管理由通过预解码部301解码、且通过解码部101此后解码的确定信息(正交变换基ID)确定的每个正交变换基的利用状况。具体而言，正交变换基统计信息管理表302具有以预解码部301输出的正交变换基ID为输入，输出解码部101此后(以后或者今后)解码的编码流中包含的每个正交变换基ID的正交变换基的利用次数的功能。正交变换基统计信息管理表302例如保存着如图10所示的信息。即，正交变换基统计信息管理表302保存着预解码部301解码的编码流的头信息中包含的正交变换基ID。此外，正交变换基统计信息管理表302将由正交变换基ID确定的正交变换基在解码部101 的解码中被参照之前的次数作为今后的流中的参照次数来保存着。此外，正交变换基统计信息管理表302例如也可以保存如图11所示的信息。即，正交变换基统计信息管理表302 也可以保存着预解码部301所解码的编码流的头信息中包含的正交变换基ID。此外，正交变换基统计信息管理表302也可以将由正交变换基ID确定的正交变换基在解码部101的解码中被参照之前的次数作为表示在今后的流中在几块后被参照的信息来保存。如以上构成的解码装置300通过由正交变换基统计信息管理表302管理解码部 101此后解码的正交变换基ID的出现频率，能够预先知道此后解码部101要解码的正交变换基ID出现的概率。因此，能够使正交变换基存储部103保存此后出现概率高的正交变换基，废弃此后出现概率低的正交变换基。由此不仅能够削减对正交变换基积蓄部110的访问次数，而且能够缩减正交变换基存储部103的存储器频带。这里，对于在图10所示的表示在今后的流中几块后被参照的信息和图11所示的表示在今后的流中的参照次数的效果差异，举例进行说明。图12A及图12B以及图13A及图1 是表示根据正交变换基统计信息管理表来更新正交变换基存储部的正交变换基的状况的图。这里，图13A及图13B与图12A及图12B 在时间上连续，表示由解码部101进行与图12A及图12B相比1个宏块之后的解码时的状况。另外，预解码部301对于编码流，比解码部101提前例如2个宏块的量进行解码。此外，正交变换基存储部103是仅能保存两个正交变换基的结构。预解码部301如图12A所示，对于编码流，比解码部101提前例如3个宏块的量进行解码，在正交变换基统计信息管理表302中保存着图12B所示的信息。例如，正交变换基统计信息管理表302保存着预解码部301对于编码流此前进行了解码的正交变换基ID (0， 1,2)和表示它们在今后的流中在几块后被参照的信息(⑴，2，1)。这里，在图12B中，⑴表示在预解码部301先于解码部101进行了解码的2个宏块后没有正交变换基ID为0的信息。相对于此，正交变换基ID为1的信息表示解码部101此后(1个块之后)解码时进行参照。同样，正交变换基ID为2的信息表示解码部101在2个块之后解码时进行参照。因此，正交变换基传送控制部102参照正交变换基统计信息管理表302和正交变换基存储状态管理表104，变更对正交变换基存储部103所保存的与正交变换基ID (0，1)对应的正交变换基之中、与正交变换基ID为0对应的正交变换基进行存储的区域。即，正交变换基传送控制部102将正交变换基存储部103所保存的与正交变换基ID = 0对应的正交变换基变更为与正交变换基ID = 2对应的正交变换基。并且，图13A及图1 所示的情况也相同。具体而言，正交变换基传送控制部102 参照正交变换基统计信息管理表302和正交变换基存储状态管理表104，决定应该变更正交变换基存储部103所保存的与正交变换基ID(2，1)对应的正交变换基之中的哪一个。这里，通过参照正交变换基统计信息管理表302，能够判断出应该变更存储与正交变换基ID 为2对应的正交变换基的区域。但是，正交变换基传送控制部102通过参照正交变换基存储状态管理表104，能够确认在正交变换基存储部103中保存着与正交变换基ID = 1对应的正交变换基。因此，正交变换基传送控制部102判断为对于正交变换基存储部103不需要进行变更，对于正交变换基存储部103什么都不做(不传送)。这样，由于预先知道此后解码部101要解码的正交变换基ID出现的概率，因此能
17够削减对正交变换基积蓄部110的访问次数。接着，说明如以上那样构成的解码装置300的解码处理动作。图14是表示本发明实施方式3的解码装置的解码处理动作的流程图。如图14所示，在解码装置300中，首先，接收到编码流的解码部101对构成编码流的头信息进行解码(S301)，作为头信息至少输出正交变换基。并且，正交变换基传送控制部102将在S301中由解码部101解码的正交变换基全部写入正交变换基积蓄部110中 (S302)。接着，预解码部301比解码部101先行进行编码流的解码(S304)，更新正交变换基统计信息管理表302 (S305)。具体而言，预解码部301比解码部101先行进行编码流的解码，将尚未由解码部101解码的编码流内的正交变换基ID的出现概率写入正交变换基统计信息管理表302中。接着，解码部101对构成编码流的多个图片(或者构成多个图片的宏块)的头信息和量化系数进行解码，作为头信息至少输出正交变换基信息ID(S306)。接着，正交变换基传送控制部102参照正交变换基存储状态管理表104，检查正交变换基存储部103是否保存着在S306中由解码部101解码的正交变换基ID所表示的正交变换基(S307)。正交变换基传送控制部102在正交变换基存储部103未保存着正交变换基ID所表示的正交变换基情况下(S307的否的情况)，从正交变换基积蓄部110读出正交变换基 ID所表示的正交变换基。并且，写入正交变换基存储部103中例如存储着此后参照次数最少的正交变换基的区域中(S308)。这里，正交变换基传送控制部102参照正交变换基统计信息管理表302，确定解码部101今后解码时参照次数最少的正交变换基。接着，正交变换基传送控制部102更新正交变换基存储状态管理表104 (S309)。具体而言，正交变换基传送控制部102将正交变换基存储状态管理表104的读出的正交变换基的存储状态变更为“保存”，将删除的正交变换基的存储状态变更为“未保存”。另一方面，正交变换基传送控制部102在正交变换基存储部103保存着正交变换基ID所表示的正交变换基的情况下(S307的是的情况)，正交变换基传送控制部102不从正交变换基积蓄部110读出正交变换基(不传送)，前进到S310。另外，S310 S315的处理与S209 S214相同，因此省略说明。如以上那样，解码装置300进行解码处理动作。以上，根据本实施方式，预解码部301比解码部101先行对编码流进行解码，由正交变换基统计信息管理表302管理解码部101此后要解码的正交变换基ID的出现频率。由此，能够预先知道解码部101此后要解码的正交变换基ID所出现的概率。然后，通过使正交变换基存储部103保存此后的出现概率高的正交变换基，能够削减对正交变换基积蓄部 110的访问次数。由此，能够缩减与正交变换基有关的存储器的存储器频带以及减小存储器访问延迟。另外，在本实施方式中，在正交变换基存储部103未保存正交变换基ID所表示的正交变换基的情况下，通过参照正交变换基统计信息管理表302，来确定今后参照次数最少的正交变换基。然后，正交变换基传送控制部102从正交变换基积蓄部110读出正交变换基ID所表示的正交变换基，写入正交变换基存储部103的存储着今后参照次数最少的正交变换基的区域中，但不限于此。例如，也可以写入存储着今后不太使用的、即今后规定的期间内参照次数少的正交变换基的区域中。像这样，只要是能够减少对正交变换基积蓄部110 的访问、并且还能够减少正交变换基存储部103的容量的方法，选择哪一种都可以。此外，在本实施方式中，正交变换基积蓄部110设为了与存储器109不同的存储单元，但是正交变换基积蓄部110和存储器109也可以是相同的存储单元。即，既可以是正交变换基积蓄部110包括存储器109的结构，也可以是正交变换基积蓄部110包含于存储器 109中的结构。此外，在本实施方式中，设为正交变换基包含于编码流内来进行了说明，但不限于此。也可以是，在编码流内仅包含正交变换基ID，正交变换基预先设定于编码装置与解码装置之间，将预先设定的正交变换基保存在正交变换基积蓄部110中。此外，上述的解码装置300具备解码部101、正交变换基传送控制部102、正交变换基存储部103、正交变换基存储状态管理表104、参照图像传送控制部105、参照图像存储部106、预测图像生成部107、加法运算器108、存储器109、正交变换基积蓄部110、逆量化部111、逆正交变换部112、预解码部301、正交变换基统计信息管理表302，但不限于此。也可以如图15所示，作为解码装置300的最小结构而具备解码装置部350即可。S卩，只要具备下述的解码装置部350即可，该解码装置部350具有解码部101、正交变换基传送控制部 102、正交变换基存储部103、正交变换基积蓄部110以及预解码部301。这里，图15是表示本发明实施方式3的解码装置的最小结构的框图。具体而言，该解码装置部350只要具备如下各部即可，所述各部包括解码部101， 从编码流解码用于确定在逆正交变换中利用的正交变换基的信息的确定信息；预解码部 301，比解码部101先行从编码流至少解码确定信息(正交变换基ID)的一部分；正交变换基积蓄部110，用于保存被解码的编码流的逆正交变换中利用的多个正交变换基；正交变换基存储部103，用于保存正交变换基积蓄部110所保存的多个正交变换基中的、进行逆正交变换时需要的正交变换基；以及正交变换基传送控制部102，从正交变换基积蓄部110向正交变换基存储部103传送由确定信息(正交变换基ID)确定的正交变换基。图15所示的解码装置至少具备解码装置部350作为最小结构，由此利用由预解码部301解码的确定信息(正交变换基ID)进行预读分析，来将在逆正交变换中利用的多个正交变换基的一部分保存在正交变换基存储部103中。由此，在保存在正交变换基存储部 103中的情况下，能够通过使用正交变换基存储部103所保存的正交变换基，来减少对正交变换基积蓄部110直接访问的次数这样的效果。(实施方式4)图16是表示本发明实施方式4的解码装置的结构的框图。在图16中，对与图1 相同的结构要素使用相同的符号，并省略其说明。图16所示的解码装置400具备解码部101、正交变换基传送控制部102、正交变换基存储部103、参照图像传送控制部105、参照图像存储部106、预测图像生成部107、加法运算器108、存储器109、正交变换基积蓄部110、逆量化部111、逆正交变换部112、可逆编码部 401、可逆解码部402。这里，图16所示的解码装置400相对于实施方式1的解码装置100， 其结构的不同之处在于具备可逆编码部401以及可逆解码部402，而不具备正交变换基存储状态管理表104。可逆编码部401对编码流中包含的在逆正交变换中利用的多个正交变换基进行可逆编码。具体而言，可逆编码部401具有对由解码部101解码的正交变换基进行可逆编码(可逆压缩)，并写入正交变换基积蓄部110中的功能。可逆解码部402对由可逆编码部401可逆编码后的多个正交变换基中的、由确定信息(正交变换基ID)确定的正交变换基进行可逆解码，并经由正交变换基传送控制部 102，将可逆解码后的正交变换基写入正交变换基积蓄部110中。具体而言，可逆解码部402 具有读出正交变换基积蓄部110中存放的正交变换基、进行可逆解码、并经由正交变换基传送控制部102写入正交变换基存储部103中的功能。另外，可逆解码部402也可以不经由正交变换基传送控制部102，而写入正交变换基存储部103中。接着，说明如上构成的解码装置400的解码处理动作。图17是表示本发明实施方式4的解码装置的解码处理动作的流程图。如图17所示，在解码装置400中，首先，接收到编码流的解码部101对构成编码流的头信息进行解码(S401)，作为头信息至少输出正交变换基。接着，可逆编码部401对由解码部101解码后的正交变换基进行可逆编码(可逆压缩)(S40》。接着，正交变换基传送控制部102将由可逆编码部401进行可逆编码后的正交变换基写入正交变换基积蓄部110中 (S403)。接着，解码部101对构成编码流的多个图片(或者构成多个图片的宏块)的头信息和量化系数进行解码，作为头信息至少输出正交变换基信息ID、运动矢量信息以及量化系数(S405)。另夕卜，S408 S413的处理与S108 S113相同，因此省略说明。如以上那样，解码装置400进行解码处理动作。以上，根据本实施方式，通过由可逆编码部401压缩正交变换基，能够减小向正交变换基积蓄部110存放的正交变换基的数据大小。由此，能够削减与正交变换基有关的存储器的存储器容量。另外，图16所示的解码装置400也可以至少具备上述正交变换基存储状态管理表 104，并具备正交变换基参照履历管理表201或正交变换基统计信息管理表。在该情况下， 不仅能够削减与正交变换基有关的存储器的存储器容量，还能够如上述那样缩减存储器频带以及减少存储器访问延迟，所以更加优选。此外，在本实施方式中，说明了由解码部101 —次解码正交变换基，并由可逆编码部401重新进行编码而存放到正交变换基积蓄部110中，由可逆解码部402解码的情况，但不限于此。例如，也可以是，不由解码部101解码编码流内的正交变换基，而将编码流内的正交变换基部分存放到正交变换基积蓄部110中，由可逆解码部402解码。此外，在可逆编码部401中利用的编码算法只要是可逆且使输出大小比输入大小小的编码方法，则任何方法都可以。此外，在本实施方式中，正交变换基积蓄部110设为了与存储器109不同的存储单元，但正交变换基积蓄部Iio与存储器109也可以是相同的存储单元。即，既可以是正交变换基积蓄部110包含存储器109的结构，也可以是正交变换基积蓄部110包含于存储器109 的结构。
此外，在本实施方式中，设为正交变换基包含在编码流内中来进行了说明，但不限于此。也可以是，在编码流内仅包含正交变换基ID，正交变换基预先设定于编码装置与解码装置之间，将预先设定的正交变换基保存在正交变换基积蓄部110中。(实施方式5)图18是表示本发明的实施方式5的编码装置的结构的框图。图18所示的编码装置500是生成包含确定信息的编码流的图像编码装置，所述确定信息用于确定在逆正交变换中利用的正交变换基(正交变换基矩阵)。该编码装置500 具备编码部501、正交变换基传送控制部502、正交变换基存储部503、正交变换基存储状态管理表504、参照图像传送控制部505、参照图像存储部506、预测图像生成部507、加法运算器508、存储器509、正交变换基积蓄部510、逆量化部511、逆正交变换部512、减法运算器 513、正交变换部514、量化部515、正交变换基生成部516。编码部501具有如下功能至少以由量化部515输出的量化系数、正交变换基ID 以及正交变换基为输入，依据图像压缩技术的标准规格对它们进行编码，并输出编码流。正交变换基传送控制部502相当于本发明的传送控制部，仅在正交变换基存储部 503没有保存由确定信息(正交变换基ID)确定的正交变换基的情况下，从正交变换基积蓄部510向正交变换基存储部503传送由确定信息(正交变换基ID)确定的正交变换基。具体而言，正交变换基传送控制部502具有将由正交变换基生成部516生成且在正交变换中使用的正交变换基向正交变换基积蓄部510写入的功能。此外，具有根据表示在预测图像生成部507所生成的预测图像的正交变换中使用哪个正交变换基的确定信息(正交变换基 ID)，参照正交变换基存储状态管理表504的信息的功能。正交变换基传送控制部502根据正交变换基存储状态管理表504的信息，能够确认正交变换基ID所表示的正交变换基是否保存在正交变换基存储部503中。例如，正交变换基传送控制部502在确认了正交变换基ID所表示的正交变换基未保存在正交变换基存储部503中的情况下，从正交变换基积蓄部510读出正交变换基ID所表示的正交变换基，向正交变换基存储部503写入(传送)。另一方面，正交变换基传送控制部502在确认了正交变换基ID所表示的正交变换基保存在正交变换基存储部503中的情况下，不从正交变换基积蓄部510读出正交变换基(不传送)。另外，正交变换基传送控制部502也可以仅将向正交变换基积蓄部510写入正交变换基的命令发给预测图像生成部507，由预测图像生成部507将正交变换基写入正交变换基积蓄部510中。同样，正交变换基传送控制部502也可以仅将从正交变换基积蓄部510 读出正交变换基ID所表示的正交变换基的命令发给正交变换基存储部503，由正交变换基存储部503从正交变换基积蓄部510读出正交变换基ID所表示的正交变换基并进行保存。正交变换基存储部503相当于本发明的存储部，用于保存正交变换基积蓄部510 所保存的多个正交变换基中的、进行正交变换时所需要的正交变换基。具体而言，正交变换基存储部503具有至少保存一种以上的从正交变换基积蓄部510传送的正交变换基的功能、以及对正交变换部514以及逆正交变换部512设定正交变换基ID所表示的正交变换基的功能。另外，也可以是，正交变换基存储部503保存正交变换基ID所表示的正交变换基， 正交变换基传送控制部502对正交变换部514以及逆正交变换部512设定正交变换基ID 所表示的正交变换基。
正交变换基存储状态管理表504相当于本发明的存储状态管理部，管理表示正交变换基存储部503是否保存着由确定信息(正交变换基ID)确定的正交变换基的信息。具体而言，正交变换基存储状态管理表504具有以正交变换基ID为输入，输出表示正交变换基存储部503是否保存着正交变换基ID所表示的正交变换基的信息的功能。正交变换基存储状态管理表504例如上述图3所示，将表示正交变换基ID所表示的正交变换基是否保存在正交变换基存储部503中的存储状态作为表(信息)来进行保存。参照图像传送控制部505具有至少根据编码对象块的位置信息，从存储器509读出由预测图像生成部507生成预测图像时所需要的参照像素，并写入参照图像存储部506 中的功能。参照图像存储部506具有保存从存储器509传送的参照像素的功能。预测图像生成部507以编码图像以及参照图像为输入，根据需要使用参照图像存储部506中保存的、预测图像生成所需要的参照像素，实施帧间预测、帧内预测或其他的预测来生成预测图像。并且，预测图像生成部507具有将生成的预测图像输出给减法运算器 513及加法运算器508的功能、以及将预测模式等的编码信息输出给编码部501的功能。此外，预测图像生成部507具有将编码信息和根据需要将编码图像、参照图像以及预测图像输出给正交变换基生成部516的功能。加法运算器508具有将逆正交变换部512输出的预测误差信号与预测图像生成部 507输出的预测图像相加并作为解码图像来输出的功能、以及将该解码图像向存储器509 传送(输出)的功能。存储器509具有保存预测图像生成部507所参照的参照画面的功能。正交变换基积蓄部510相当于本发明的积蓄部，具有保存正交变换部514的正交变换处理以及逆正交变换部512的逆正交变换处理中利用的正交变换基的功能。逆量化部511具有对量化部515输出的量化系数进行逆量化，输出正交变换系数的功能。逆正交变换部512具有使用由正交变换基存储部503输出的正交变换基对由逆量化部511输出的正交变换系数进行逆正交变换，并输出预测误差信号的功能。减法运算器513具有从编码对象图像中减去预测图像生成部507输出的预测图像，将预测误差信号输出给正交变换部514的功能。正交变换部514利用保存在正交变换基存储部503中、且由确定信息(正交变换基ID)确定的正交变换基进行正交变换。具体而言，正交变换部514具有利用由正交变换基存储部503输出的正交变换基对由减法运算器513输出的预测误差信号进行正交变换， 并将正交变换后的正交变换系数输出给量化部515的功能。量化部515具有对由正交变换部514输出的正交变换系数进行量化，并将量化系数输出给编码部501以及逆量化部511的功能。正交变换基生成部516相当于本发明的生成部，生成正交变换基、以及确定正交变换基的确定信息(正交变换基ID)。具体而言，正交变换基生成部516具有在编码图像以及参照图像的基础上还根据需要以预测图像为输入，生成正交变换基和正交变换基ID，并输出给编码部501及正交变换基传送控制部502的功能。这里，举出一例来说明正交变换部514决定正交变换基ID的方法。图19是正交
22变换基存储状态管理表所保存的信息的一例。图20是用于说明正交变换部决定正交变换基ID的方法的图。另外，这里如图19所示，设正交变换基存储状态管理表保存着正交变换基ID(0 100)、和与它们对应的正交变换基在正交变换基存储部503中的存储状态。此外，设正交变换基存储部503中存储着与正交变换基ID70 79对应的正交变换基。进而，设正交变换基存储部503仅能保存20个正交变换基。即，正交变换基存储部503如图20(a)所示，保存着10个与正交变换基ID70 79对应的正交变换基，并具有还能保存10个正交变换基的区域。在该情况下，正交变换部514如以下这样决定表示在正交变换中利用的正交变换基的种类的正交变换基ID。首先，正交变换部514如图20 (b)所示，使正交变换基传送控制部502将与正交变换基IDO 9对应的正交变换基写入正交变换基存储部503中，并确认是否是在正交变换中利用的正交变换基ID。接着，正交变换部514同样如图20 (c)所示，使正交变换基传送控制部502将与正交变换基IDlO 19对应的正交变换基写入正交变换基存储部503中，并确认是否是在正交变换中利用的正交变换基ID。同样，正交变换部514将与正交变换基IDO 69以及80 100对应的正交变换基写入正交变换基存储部503中，并确认是否是在正交变换中利用的正交变换基ID。另一方面，与正交变换基ID70 79对应的正交变换基预先保存在正交变换基存储部503中。因此，正交变换基传送控制部502不传送与正交变换基ID70 79对应的正交变换基。这样，能够缩减与正交变换基有关的存储器频带以及减少存储器访问延迟。另外，作为由正交变换部514决定正交变换基ID的方法而在上面说明的方法是一例，当然也可以是其他的方法。此外，对于逆正交变换部512，由于与正交变换部514相同， 因此省略说明。编码装置500如以上那样构成。接着，说明如以上那样构成的编码装置500的编码处理动作。图21是表示本发明实施方式5的编码装置的编码处理动作的流程图。如图21所示，首先，接收到编码图像的编码装置500使正交变换基生成部516以编码图像、参照图像以及根据需要还以预测图像为输入，生成在以后的编码中利用的正交变换基(S501)，并向编码部501以及正交变换基传送控制部502输出。接着，正交变换基传送控制部502将在S501中由正交变换基生成部516生成的全部正交变换基写入正交变换基积蓄部510中(S502)。接着，预测图像生成部507生成预测图像(S504)。具体而言，参照图像传送控制部 505根据需要从存储器509读出在预测图像生成中利用的参照图像所需要的参照像素，并写入参照图像存储部506中。并且，预测图像生成部507以编码图像及参照图像为输入，生成与编码图像的相关性高的预测图像及其编码信息，并将生成的预测图像输出给减法运算器513以及加法运算器508。此外将用于生成预测图像的编码信息输出给编码部501。此外，预测图像生成部507向正交变换基生成部516输出编码信息、以及根据需要输出编码图像、参照图像和/或预测图像(S504)。
接着，减法运算器513进行减法运算处理650 。具体而言，减法运算器513对编码图像和预测图像生成部507所输出的预测图像进行减法运算，并向正交变换部514输出。接着，正交变换基生成部516决定正交变换基ID (S506)。具体而言，正交变换基生成部516以预测图像生成部507所输出的编码信息、以及根据需要还以输入图像、参照图像以及预测图像为输入，决定(生成)在正交变换中利用的正交变换基，并将该正交变换基 ID向编码部501以及正交变换基传送控制部502输出。接着，正交变换基传送控制部502参照正交变换基存储状态管理表504，检查正交变换基存储部503是否保存着在S506中确定的正交变换基ID所表示的正交变换基 (S507)。接着，正交变换基传送控制部502在S507中正交变换基存储部503未保存正交变换基ID所表示的正交变换基的情况下(S507的否的情况)，从正交变换基积蓄部510读出正交变换基ID所表示的正交变换基。然后，写入正交变换基存储部503中例如存储着最早从正交变换基积蓄部510读出的正交变换基的区域中(S508)。接着，正交变换基传送控制部502更新正交变换基存储状态管理表504 (S509)。具体而言，正交变换基传送控制部502 将正交变换基存储状态管理表504的读出的正交变换基的存储状态变更为“保存”，将删除的正交变换基的存储状态变更为“未保存”(S509)。另一方面，正交变换基传送控制部502在S507中正交变换基存储部503保存着正交变换基ID所表示的正交变换基的情况下(S507的是的情况)，不从正交变换基积蓄部 510读出正交变换基(不传送)，而前进到S510。接着，正交变换部514读出正交变换基存储部503所保存着的正交变换基并进行设定(S510)。然后，对由运算器513输出的预测误差信号进行正交变换(S511)，并向量化部515输出正交变换系数。接着，量化部515对由正交变换部514输出的正交变换系数进行量化，并将量化系数输出给编码部501以及逆量化部511 (S512)。接着，编码部501进行编码处理(S514)。具体而言，编码部501被输入由量化部 515输出的量化系数、以及由正交变换基生成部516输出的正交变换基ID，依据图像压缩技术的标准规格对它们进行编码，并输出生成的编码流。接着，逆量化部511对由量化部515输出的量化系数进行逆量化，将正交变换系数输出给逆正交变换部512 (S515)。接着，逆正交变换部512读出正交变换基存储部503中保存着的正交变换基，对由逆量化部511输出的正交变换系数进行逆正交变换，将预测误差信号输出给加法运算器 508(S516)。接着，加法运算器508将在S504中由预测图像生成部507输出的预测图像和在 S516中由逆正交变换部512输出的预测误差信号相加，并输出给存储器509 (S517)。接着，编码装置500判断是否将编码图像全部进行了编码(S518)，如果全部进行了编码(S518的是的情况)，则完成编码。相反，存在尚未编码的编码图像的情况下，重复 S504 至 S518 的处理(S518)。如以上那样，编码装置500进行编码处理动作。另外，在本实施方式中，举出编码流的GOP或者序列的编码图像为例进行了说明，但不限于此。即，也可以将编码图像作为编码图像的编码对象块，将编码流的GOP或者序列作为编码图像。以上，根据本实施方式，参照正交变换基存储状态管理表504的结果为，正交变换基存储部503中存在正交变换基ID所表示的正交变换基的情况下，S507中不从正交变换基积蓄部510读出正交变换基(不传送)。因此，能够减少对正交变换基积蓄部510的访问次数。由此，能够缩减与正交变换基有关的存储器频带以及减小存储器访问延迟。另外，在本实施方式中，正交变换基存储部503未保存正交变换基ID所表示的正交变换基的情况下，正交变换基传送控制部502从正交变换基积蓄部510读出(传送)正交变换基ID所表示的正交变换基。并且，说明了写入到正交变换基存储部503的存储着最早从存储器读出的正交变换基的区域中的情况，但不限于此。例如，也可以写入到存储着最新从存储器读出的正交变换基的区域中，也可以随机选择存放着正交变换基的区域来进行写入。只要是能够减少对正交变换基存储部503的访问、并且还能够减少正交变换基存储部103的容量的方法，选择哪一种都可以。此外，在本实施方式中，正交变换基积蓄部510设为了与存储器509不同的存储单元，但正交变换基积蓄部510与存储器509也可以是相同的存储单元。即，既可以是正交变换基积蓄部510包含存储器509的结构，也可以是正交变换基积蓄部510包含于存储器509 中的结构。此外，在本实施方式中记载了正交变换基由正交变换基生成部516生成，但不限于此。正交变换基也可以预先设定于编码装置500及其解码装置之间，并分别加以保持。此外，在本实施方式中设为了编码装置500具备编码部501、正交变换基传送控制部502、正交变换基存储部503、正交变换基存储状态管理表504、参照图像传送控制部505、 参照图像存储部506、预测图像生成部507、加法运算器508、存储器509、正交变换基积蓄部 510、逆量化部511、逆正交变换部512、减法运算器513、正交变换部514、量化部515、正交变换基生成部516，但不限于此。只要作为编码装置500的最小结构，具备正交变换基传送控制部502、正交变换基存储部503、正交变换基积蓄部510、正交变换部514以及正交变换基生成部516即可。更具体而言，编码装置500是一种图像编码装置，生成包含确定信息的编码流，该确定信息用于确定在逆正交变换中利用的正交变换基，并且该编码装置只要具备如下各部即可，所述各部包括正交变换基生成部516，生成正交变换基以及用于确定上述正交变换基的确定信息(正交变换基ID)；正交变换基积蓄部510，用于保存由正交变换基生成部 516生成的多个正交变换基；正交变换基存储部503，用于保存正交变换基积蓄部510所保存的多个正交变换基中的、进行正交变换时所需要的正交变换基；正交变换部514，利用保存在正交变换基存储部503中、并且由确定信息(正交变换基ID)确定的正交变换基进行正交变换；正交变换基传送控制部502，仅在正交变换基存储部503未保存由确定信息确定的正交变换基的情况下，从正交变换基积蓄部510向正交变换基存储部503传送由确定信息(正交变换基ID)确定的正交变换基。根据该最小结构，在正交变换基存储部503中存在正交变换基ID所表示的正交变换基的情况下，能够不从正交变换基积蓄部510读出正交变换基。因此，能够减少对正交变换基积蓄部510的访问次数。由此，能够缩减与正交变换基有关的存储器频带以及减少存储器访问延迟。(实施方式6)图22是表示本发明的实施方式6的编码装置的结构的框图。在图22中，对与图 18相同的结构要素使用相同的符号，并省略说明。图22所示的编码装置600具备编码部501、正交变换基传送控制部502、正交变换基存储部503、正交变换基存储状态管理表504、参照图像传送控制部505、参照图像存储部506、预测图像生成部507、加法运算器508、存储器509、正交变换基积蓄部510、逆量化部511、逆正交变换部512、减法运算器513、正交变换部514、量化部515、正交变换基生成部 516以及正交变换基参照履历管理表601。这里，图22所示的编码装置600相对于实施方式5的编码装置500，其结构的不同之处为具备正交变换基参照履历管理表601。正交变换基参照履历管理表601相当于本发明的参照管理部，对每个正交变换基的、表示从正交变换开始起被参照的次数的利用履历信息进行管理。具体而言，具有以正交变换基ID为输入、向正交变换基存储部503输出正交变换基ID所表示的正交变换基从编码开始起被参照的次数的功能。另外，正交变换基参照履历管理表601所保存的信息由于与图7A及图7B所示的内容相同，因此省略说明。接着，说明如以上那样构成的编码装置600的编码处理动作。图23是表示本发明的实施方式6的编码装置的编码处理动作的流程图。如图23所示，首先，接收到编码图像的编码装置600使正交变换基生成部516以编码图像、以及参照图像为输入、根据需要还以预测图像为输入，生成在以后的编码中利用的正交变换基(S601)，并输出给编码部501以及正交变换基传送控制部502。另外，S602至S607的处理由于与S502 S507相同，因此省略说明。接着，在S607中，正交变换基传送控制部502在正交变换基存储部503未保存正交变换基ID所表示的正交变换基的情况下(S607的否的情况下)，从正交变换基积蓄部 510读出正交变换基ID所表示的正交变换基。然后，写入到在正交变换基存储部503中例如存储着此前参照次数最少的正交变换基的区域中(S608)。这里，正交变换基传送控制部 502参照正交变换基参照履历管理表601，确定参照次数最少的正交变换基。接着，正交变换基传送控制部502更新正交变换基参照履历管理表601 (S609)。具体而言，正交变换基传送控制部502在正交变换基参照履历管理表601中增加所参照的正交变换基的参照次数。接着，正交变换基传送控制部502更新正交变换基存储状态管理表504 (S610)。具体而言，正交变换基传送控制部502在正交变换基存储状态管理表504中将读出的正交变换基的存储状态变更为“保存”，将删除的正交变换基的存储状态变更为“未保存”。另一方面，正交变换基传送控制部502在正交变换基存储部503保存着正交变换基ID所表示的正交变换基的情况下(S607的是的情况)，不从正交变换基积蓄部510读出正交变换基(不传送)，前进到S611。正交变换部514读出正交变换基存储部503所保存着的正交变换基(S611)，对由减法运算器513输出的预测误差信号进行正交变换(S612)，输出正交变换系数。另外，S613 S619的处理由于与S510 S519相同，因此省略说明。如以上那样，编码装置600进行编码处理动作。
以上，根据本实施方式，通过参照正交变换基参照履历管理表601，确定参照次数最少的正交变换基。并且，当正交变换基传送控制部502向正交变换基存储部503进行写入时，写入到存储着此前参照次数最少的正交变换基的区域中。由此，被参照的可能性低的正交变换基不保存在正交变换基存储部503中，而能够将频繁被参照的可能性高的正交变换基保存在正交变换基存储部503中。其结果，能够减少对正交变换基积蓄部510的访问次数。这样，能够缩减与正交变换基有关的存储器频带以及减少存储器访问延迟。另外，在本实施方式中，在正交变换基存储部503未保存正交变换基ID所表示的正交变换基的情况下，通过参照正交变换基参照履历管理表601，确定参照次数最少的正交变换基。然后，说明了正交变换基传送控制部502从正交变换基积蓄部510读出正交变换基ID所表示的正交变换基，写入到正交变换基存储部503的存储着此前参照次数最少的正交变换基的区域中的情况，但不限于此。也可以写入到例如存储着最近最不常使用的正交变换基的区域中，也可以写入到存储着最近最常使用的正交变换基的区域中，也可以写入到存储着此前参照次数最多的正交变换基的区域中。只要是能够减少对正交变换基存储部 503的访问、并且还能够减小正交变换基存储部103的容量的方法，选择哪一种都可以。此外，在本实施方式中，正交变换基积蓄部510设为了与存储器509不同的存储单元，但正交变换基积蓄部510和存储器509也可以是相同的存储单元。即，既可以是正交变换基积蓄部510包含存储器509的结构，也可以是正交变换基积蓄部510包含于存储器509 中的结构。此外，在本实施方式中记载了正交变换基由正交变换基生成部516生成，但不限于此。正交变换基也可以预先设定于编码装置600及其解码装置之间，并分别加以保存。(实施方式7)图M是表示本发明的实施方式7的编码装置的结构的框图。在图M中，对于与图18相同的结构要素使用相同的符号，并省略说明。图M所示的编码装置700具备编码部501、正交变换基传送控制部502、正交变换基存储部503、正交变换基存储状态管理表504、参照图像传送控制部505、参照图像存储部506、预测图像生成部507、加法运算器508、存储器509、正交变换基积蓄部510、逆量化部511、逆正交变换部512、减法运算器513、正交变换部514、量化部515、正交变换基生成部 516、编码部501、可逆编码部701以及可逆解码部702。这里，图M所示的编码装置700相对于实施方式5的编码装置500，结构上的不同之处在于不具备正交变换基存储状态管理表504，而具备可逆编码部701以及可逆解码部702。可逆编码部701对在逆正交变换中利用的多个正交变换基进行可逆编码。具体而言，可逆编码部701具有对由正交变换基生成部516生成的正交变换基进行可逆编码，并写入正交变换基积蓄部510中的功能。可逆解码部702对由可逆编码部701可逆编码后的多个正交变换基中的、由确定信息确定的正交变换基进行可逆解码，并经由正交变换基传送控制部502将可逆解码后的正交变换基写入正交变换基积蓄部510中。具体而言，可逆解码部702具有读出正交变换基积蓄部510中存放的正交变换基，进行可逆解码，并写入正交变换基存储部503中的功能。 另外，可逆解码部702也可以不经由正交变换基传送控制部502而写入正交变换基存储部 503 中。
27
接着，说明如以上那样构成的编码装置700的编码处理动作。图25是表示本发明的实施方式7的编码装置的编码处理动作的流程图。如图25所示，首先，接收到编码对象图像的正交变换基生成部516生成在以后的编码中利用的正交变换基(S701)并进行输出。接着，可逆编码部701对由正交变换基生成部516生成的正交变换基进行可逆编码(可逆压缩)(S702)。接着，正交变换基传送控制部502将在S702中由可逆编码部701可逆编码后的正交变换基写入正交变换基积蓄部510中(S703)。另夕卜，S705至S707的处理由于与S503 S506相同，因此省略说明。接着，在S707中，正交变换基传送控制部502从正交变换基积蓄部510读出正交变换基ID所表示的可逆编码后的正交变换基(S708)。接着，可逆解码部702对可逆编码后的正交变换基进行可逆解码(S709)，写入正交变换基存储部503中。接着，正交变换部514读出正交变换基存储部503所保存着的正交变换基并进行设定(S710)。然后，对由减法运算器513输出的预测误差信号进行正交变换(S711)，输出正交变换系数。另外，S712至S718的处理由于与S511 S518相同，因此省略说明。如以上那样，编码装置700进行编码处理动作。以上，根据本实施方式，通过由可逆编码部701对正交变换基进行压缩，能够缩小向正交变换基积蓄部510存放的正交变换基的数据大小。由此，能够减小与正交变换基有关的存储器容量。另外，图对所示的编码装置700也可以至少具备上述正交变换基存储状态管理表 504，并具备正交变换基参照履历管理表601。在该情况下，不仅能够削减与变换基有关的存储器容量，还能够缩减存储器频带以及减少存储器访问延迟，是更加优选的。此外，在本实施方式中，说明了由正交变换基生成部516生成正交变换基，由可逆编码部701进行编码并存放在正交变换基积蓄部510中，由可逆解码部702进行解码的情况，但不限于此。例如，也可以是将由编码部501编码到编码流内的正交变换基部分存放到正交变换基积蓄部510中，由可逆解码部702进行解码。此外，在本实施方式中，正交变换基积蓄部510设为了与存储器509不同的存储单元，但正交变换基积蓄部510和存储器509也可以是相同的存储单元。即，既可以是正交变换基积蓄部510包含存储器509的结构，也可以是正交变换基积蓄部510包含于存储器509 中的结构。此外，在本实施方式中记载了正交变换基由正交变换基生成部516生成，但不限于此。正交变换基也可以预先设定于编码装置600及其解码装置之间，并分别加以保存。(实施方式8)在上述各实施方式中说明的运动图像编码装置、运动图像解码装置、运动图像编码方法或运动图像解码方法还能够作为应用加以利用。例如，通过将用于实现上述各实施方式中所示的图像编码方法或图像解码方法的结构的程序记录于存储介质中，能够在独立的计算机系统中简单地实现上述各实施方式中所示的处理。另外，存储介质可以是磁盘、光盘、光磁盘、IC卡及半导体存储器等的任意一个，只要是能够记录程序的设备即可。下面，说明上述各实施方式中所示的图像编码方法及图像解码方法等的应用例及使用该应用例的系统。图沈是表示实现内容分发服务的内容提供系统exlOO整体结构的图。在图沈所示的内容提供系统exlOO中，将通信服务的提供区域分割为期望的大小，在各单元内分别设置了作为固定无线电台的基站exl07 exllO。在内容提供系统exlOO中，在因特网exlOl上经由因特网服务提供商exl02、电话网 exl04 及基站 exl07 exllO，连接有计算机 exl 11、PDA (Personal Digital Assistant 个人数字助理)exll2、摄像机(Camera)ex113、移动电话exll4及游戏机exll5等各设备。另外，内容提供系统exlOO不限定于如图沈的结构，也可以组合任一个的要件进行连接。另外，内容提供系统exlOO也可以不经由作为固定无线电台的基站exl07 exllO， 而在电话网exl04上直接连接各设备。另外，各设备也可以通过短距离无线等直接相互连接。例如，摄像机exll3是数字视频摄像机等能够进行运动图像摄影的设备。另外，摄像机exll6是数字摄像机等能够进行静止图像摄影、运动图像摄影的设备。移动电话exl 14 是使用 GSM(Global System for Mobile Communications 全球移动通信系统)方式、CDMA (Code Division Multiple Access :码分多址)方式、 W-CDMA(Wideband-Code Division Multiple Access :宽带码分多址)方式或者 LTE (Long Term Evolution :长期演进)方式、HSPA (High Speed Packet Access :高速分组接入)的移动电话机或PHS(Personal Handyphone System 个人手持电话系统)等，任一种都可以。在内容提供系统exlOO中，摄像机exl 13等通过基站exl09、电话网exl04连接于流服务器exl03上，由此能够实现实时分发等。具体而言，在实时分发中，对于由用户使用摄像机exll3拍摄的内容(例如音乐会实况的影像等)实施上述各实施方式中所说明的编码处理，发送给流服务器exl03。另一方面，流服务器exl03对于发出过请求的客户端，将所发送的内容数据进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、摄像机exll3、移动电话exll4及游戏机exll5等。通过接收到所分发的数据的各设备，对接收到的数据进行解码处理并再现。另外，拍摄到的数据的编码处理由摄像机exll3进行，也可以由进行数据发送处理的流服务器exl03进行，还可以由它们相互分担加以实施。同样，所分发的数据的解码处理既可以由客户端进行，也可以由流服务器exl03进行，还可以相互分担加以实施。此外，也可以不限于摄像机exll3，而将由摄像机exll6拍摄到的静止图像数据及 /或运动图像数据，经由计算机exlll发送给流服务器exl03。此时的编码处理既可以由摄像机exl 16、计算机exl 11、流服务器exl03的任一个实施，也可以相互分担加以实施。这些编码/解码处理一般在计算机exlll或各设备具有的LSIex500中进行处理。 这里，LSIex500既可以是单芯片，也可以是由多个芯片组成的结构。另外，也可以将图像编码/解码用的软件装入能够由计算机exlll等读取的某个记录媒体(⑶-ROM、软盘、硬盘等)中，使用该软件来进行编码/解码处理。再者，在移动电话exll4附带摄像机的情况下，也可以发送由该摄像机所取得的运动图像数据。此时的运动图像数据是由移动电话exll4 具有的LSIex500进行编码处理后的数据。此外，流服务器exl03也可以是多个服务器或多个计算机，用于将数据分散而进行处理或记录，并进行分发。如同上面那样，在内容提供系统exlOO中，可以由客户端接收并再现编码后的数据。这样，在内容提供系统exlOO中，可以由客户端实时接收用户所发送的信息，进行解码及再现，即便是没有特殊权利及设备的用户也可以实现个人广播。另外，作为上述各实施方式的至少装入图像编码装置及图像解码装置中的某一个的例子，不限于内容提供系统exlOO的例子。如图27所示，也可以在数字广播用系统ex200 中至少装入图像编码装置及图像解码装置中的某一个。下面，使用该系统进行说明。图27 是表示数字广播用系统ex200的整体结构的图。具体而言，在广播站ex201中，影像信息的比特流经由电波传输到通信或者广播卫星ex202。该比特流是采用上述各实施方式中所说明的图像编码方法来编码后的编码比特流。广播卫星ex202接收该比特流并发出广播用的电波。天线ex204是能够进行卫星广播接收的家用天线，接收来自天线ex204、广播卫星 ex202的广播用电波。电视机(接收机)ex300或者机顶盒(STB) ex217等的装置将从天线ex204接收到的广播用电波中包含的比特流解码并进行再现。读出器/记录器ex218能够读取DVD、BD等记录媒体ex215中所记录的编码比特流并进行解码。另外，还能够将影像信号编码而写入记录媒体ex215中。这里，读出器/记录器ex218安装上述各实施方式中所示的图像解码装置或者图像编码装置。该情况下，由读出器/记录器ex218再现的影像信号可以显示于监视器ex219上，通过记录有编码比特流的记录媒体ex215，能够在其他的装置或系统中再现影像信号。另外，机顶盒ex217也可以连接于有线电视用的电缆ex203或者卫星/地面波广播的天线ex204上，也可以在本装置内安装图像解码装置，将其在电视机的监视器ex219上进行显示。另外，不只是机顶盒ex217，还可以在电视机ex300内装入图像解码装置。图28是表示电视机ex300结构例的框图。电视机ex300使用了上述各实施方式中所说明的图像解码方法及图像编码方法。 电视机ex300具备调谐器ex301，经由接收上述广播的天线ex204或者电缆ex203等，取得或者输出影像信号的比特流；调制/解调部ex302，对接收到的编码数据进行解调，或者调制为向外部发送的编码数据；以及多路复用/分离部ex303，将解调后的影像数据、声音数据分离，或者将编码后的影像数据、声音数据多路复用。另外，电视机ex300具有信号处理部ex306，具有将声音数据及影像数据分别解码，或者将各个信息编码的声音信号处理部ex304及影像信号处理部ex305 ；以及输出部ex309，具有输出解码后的声音信号的扬声器ex307及显示解码后的影像信号的显示器等显示部ex308。再者，电视机eX300具有接口部ex317，该接口部ex317具有受理用户操作的输入的操作输入部ex312等。再者，电视机 ex300具有统一控制各部的控制部ex310和给各部供应电力的电源电路部ex311。
另外，接口部ex317除操作输入部ex312之外，还可以具有电桥ex313，与读出器 /记录器ex218等的外部设备连接；插槽部ex314，用于能够安装SD卡等记录媒体ex216 ； 驱动器ex315，用于与硬盘等的外部记录媒体连接；以及调制解调器ex316等，该调制解调器ex316与电话网连接。另外，记录媒体ex216能够通过存放的非易失性/易失性的半导体存储元件电气地记录信息。电视机ex300的各部经由同步总线相互连接。接着，首先说明电视机ex300将通过天线ex204等从外部取得的数据解码并再现的结构。电视机ex300接受来自遥控器ex220等的用户操作，根据具有CPU等的控制部 ex310的控制，通过多路复用/分离部ex303分离由调制/解调部ex302解调后的影像数据、声音数据。再者，电视机ex300由声音信号处理部ex304将所分离的声音数据解码，由影像信号处理部ex305使用上述各实施方式中所说明的解码方法，将所分离的影像数据解码。解码后的声音信号、影像信号分别被从输出部ex309朝向外部输出。当输出时，可以在缓存器ex318、ex319等中暂时积蓄这些信号，以便声音信号和影像信号同步进行再现。另外，电视机ex300不只是从广播等，还可以从磁/光盘、SD卡等的记录媒体 ex215、ex216读出编码后的编码比特流。下面，说明电视机ex300将声音信号或影像信号编码，向外部发送或者写入记录媒体等中的结构。电视机ex300接受来自遥控器ex220等的用户操作，根据控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305使用上述各实施方式中所说明的编码方法，将影像信号编码。编码后的声音信号、影像信号由多路复用/分离部 ex303进行多路复用，向外部输出。当进行多路复用时，可以在缓存器ex320、ex321等中暂时积蓄这些信号，以便使声音信号和影像信号同步。还有，缓存器ex318 ex321既可以如图所示具备多个，也可以是共用1个以上的缓存器的结构。再者，除了图示之外，例如还可以作为在调制/解调部ex302及多路复用/分离部ex303之间等也避免系统的上溢、下溢的缓冲器件，而在缓存器中积蓄数据。此外，电视机ex300也可以具备除了从广播等或记录媒体等取得声音数据、影像数据之外，还受理麦克或摄像机的AV输入的结构，针对从它们取得的数据进行编码处理。另外，这里电视机ex300设为可以实施上述编码处理、多路复用及外部输出的结构进行了说明，但也可以是不能进行这些处理，而仅仅能够实施上述接收、解码处理及外部输出的结构。此外，在由读出器/记录器ex218从记录媒体读出编码比特流或者进行写入的情况下，上述解码处理或者编码处理既可以由电视机ex300、读出器/记录器ex218的任一个进行，也可以由电视机ex300和读出器/记录器ex218相互分担来进行。作为一例，在图四中表示从光盘进行数据的读入或者写入时的信息再现/记录部 ex400的结构。图四是表示对作为光盘的记录媒体进行信息读写的信息再现/记录部的结构例的框图。图四所示的信息再现/记录部ex400具备下面说明的要素ex401 ex407。光头ex401对作为光盘的记录媒体ex215的记录面照射激光点而写入信息，检测来自记录媒体ex215记录面的反射光，读入信息。
调制记录部ex402电气驱动光头ex401中内置的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403通过光头401中内置的光电探测器将电气检测到了来自记录面的反射光的再现信号放大，分离记录媒体ex215中记录的信号成分并进行解调，再现需要的信息。缓存器ex404暂时保存用于记录到记录媒体ex215中的信息及从记录媒体ex215 再现出的信息。盘电机ex405使记录媒体ex215旋转。伺服控制部ex406 —边控制盘电机ex405的旋转驱动，一边使光头ex401沿规定的信息轨道移动，进行激光点的跟踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述读出或写入的处理以如下方式实现系统控制部ex407禾Ij用缓存器ex404中保存的各种信息，或者根据需要进行新的信息生成/添加，并且，一边使调制记录部ex402、再现解调部ex403及伺服控制部ex406进行协同动作，一边通过光头ex401进行信息的记录再现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行那些处理。另外，在上面假设光头ex401照射激光点来进行了说明，但是也可以是使用近场光进行更高密度的记录的结构。图30是表示作为光盘的记录媒体的结构例的图。在图30中，表示出作为光盘的记录媒体ex215的示意图。在记录媒体ex215的记录面上，引导槽(groove 沟槽)形成为螺旋状，在信息轨道ex230上，预先利用沟槽的形状变化记录有表示盘片上的绝对位置的地址信息。该地址信息包含用于确定记录块ex231的位置的信息，该记录块是记录数据的单位。可以通过在进行记录或再现的装置中，再现信息轨道ex230，读取该地址信息，来确定记录块。另外，记录媒体ex215包含数据记录区域ex233、内周区域ex232和外周区域ex234。用于记录用户数据的区域是数据记录区域ex233，从数据记录区域ex233配置到内周或者外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400针对这种记录媒体ex215的数据记录区域ex233，进行编码后的声音数据、影像数据或者将这些数据多路复用后的编码数据的读写。还有，在上面举出1层的DVD、BD等光盘为例进行了说明，但是并不限于这些，也可以是多层结构并且能够在表面以外进行记录的光盘。另外，也可以是在盘片的同一部位使用各种各样不同波长的色光来记录信息，或者从各种各样的角度记录不同信息的层等，来进行多维记录/再现的结构的光盘。此外，在数字广播用系统ex200中，还能够由具有天线ex205的汽车ex210从广播卫星ex202等接收数据，在汽车ex210具有的汽车导航仪ex211等的显示装置上再现运动图像。还有，汽车导航仪ex211的结构例如考虑在图观所示的结构之中加上GPS接收部而成的结构，同样的情况在计算机exlll及移动电话exll4等中也可以考虑。另外，上述移动电话exll4等的终端与电视机ex300相同，除了具有编码器/解码器双方的收发型终端之外，还要考虑只有编码器的发送终端、只有解码器的接收终端这样的3种安装形式。这样，就能够将上述各实施方式中所示的图像编码方法或者图像解码方法用于上述任一个设备/系统中，如此一来，就可以获得上述各实施方式中所说明的效果。另外，本发明并不限定于所涉及的上述实施方式，在不脱离本发明范围的状况下能够进行各种变形或者修改。(实施方式9)上述各实施方式中所示的图像编码方法及装置、图像解码方法及装置典型的是， 由作为集成电路的LSI来实现。作为一例，在图31中表示单芯片化后的LSIex500的结构。 这里，图31是表示实现各实施方式的图像编码方法及图像解码方法的集成电路的结构例的框图。LSIex500具备下面说明的要素ex501 ex509，各要素经由总线ex510连接。电源电路部ex505通过在电源为接通状态时对各部供应电力，而启动为可工作的状态。例如在进行编码处理时，LSIex500根据具有CP&X502、存储器控制器ex503及流控制器ex504等的控制部ex501的控制，通过AV I/0ex509从麦克exll7或摄像机exll3 等输入AV信号。所输入的AV信号被暂时积蓄于SDRAM等外部的存储器ex511中。基于控制部ex501的控制，所积蓄的数据根据处理量或处理速度适当分为多次等，向信号处理部 ex507传送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是上述各实施方式中所说明的编码处理。在信号处理部ex507中还根据情况的不同，实施将编码后的声音数据和编码后的影像数据多路复用等的处理，从流I/ 0ex506向外部输出。该输出的比特流朝向基站exl07进行发送，或者写入记录媒体ex215 中。还有，当进行多路复用时可以暂时在缓存器ex508中积蓄数据以便同步。图32是简单表示这里的编码处理的框图。也就是说，图32是表示由集成电路实现的各实施方式的图像编码处理的框图。如图32所示，首先，作为输入信号和预测信号之间的差分的预测误差信号通过变换部ex601进行变换，由量化部ex602进行量化。量化系数由熵编码部ex606进行熵编码，输出编码信号。该输出如同在图28中举出电视机ex300 为例所说明的那样，也可以是为了和编码后的声音数据进行多路复用而暂时积蓄于缓存器 ex508或存储器ex511中的结构。逆量化部ex604、逆变换部ex605及预测部ex608作为延迟部进行工作，该延迟部能够对对象信号和根据其以前的信号生成的预测信号进行比较。另外，在LSIex500上，可以作为缓冲器件将量化系数积蓄于一端内部的缓存器 ex508或存储器ex511中等，以不引起处理的上溢、下溢的方式进行调整。除量化系数之外， 还可以根据处理量或处理速度，将数据分为多个而并行进行处理，一边在内部或外部的存储器等的记录部中适当积蓄处理中的数据一边调整处理。上面的处理根据控制部ex501的控制进行。此外，例如在进行解码处理时，LSIex500根据控制部ex501的控制，将通过流I/ 0ex506经由基站exl07，或者从记录媒体ex215读出而得到的编码数据暂时积蓄于存储器 ex511等中。基于控制部ex501的控制，所积蓄的数据根据处理量或处理速度适当分为多次等，向信号处理部ex507传送，在信号处理部ex507中进行声音数据的解码及/或影像数据的解码。这里，影像信号的解码处理是上述各实施方式中所说明的解码处理。再者，可以根据情况的不同，为了能够同步再现解码后的声音信号和解码后的影像信号而将各个信号暂时积蓄于缓存器ex508等中。解码后的输出信号虽然适当经过存储器ex511，但是从移动电话ex 114、游戏机exll5及电视机ex300等的各输出部输出。
33
图33是简单表示这里的解码处理的框图。也就是说，图33是表示由集成电路实现的各实施方式的图像解码处理的框图。如图33所示，首先所输入的编码信号由熵解码部ex701进行熵解码。通过熵解码而得到的量化系数由逆量化部ex703进行逆量化，通过逆变换部ex704进行逆变换。这里的逆变换意味着是解码处理中的变换，并不一定限定于编码处理中的变换的逆向处理。解码变换输入加上预测信号，作为解码信号向外部输出。存储器ex511作为积蓄解码信号、并能够在后续的编码信号的解码中进行参照的延迟部工作。预测部ex705根据存储器ex511 中积蓄的已解码的解码信号，生成预测信号。当进行向外部的输出时，如同在图观中举出电视机ex300为例所说明的那样，也可以是为了与解码后的声音信号同步显示，而暂时积蓄于缓存器ex508或外部的存储器ex511中的结构。这里，也可以将量化系数积蓄于缓存器ex508或存储器ex511中等，以不引起处理的上溢、下溢的方式一边分割为规定的处理单位，一边并行地进行处理。上面的处理基于控制部ex501的控制进行。另外，在上面说明了存储器ex511作为LSIex500的外部的结构，但也可以是包含于LSIex500的内部的结构。缓存器ex508也不限于1个，也可以具备多个缓存器。此外， LSIex500既可以进行单芯片化，也可以进行多芯片化。此外，这里虽然设为LSI，但是也有时根据集成度的不同，称呼为IC、系统LSI、超级LSI和特级LSI。此外，集成电路化的方法并不限于LSI，也可以由专用电路或通用处理器实现。在 LSI制造后，也可以利用可编程的FPGA(Field Programmable Gate Array 可现场编程门阵列)或下述可重构处理器，该可重构处理器能够重新构成LSI内部电路单元的连接及设定。再者，如果由半导体技术的进步或者派生的其他技术替换LSI的集成电路化的技术出现，则当然也可以使用该技术进行功能块的集成化。生物技术的应用等是有可行性的。如上，上述各实施方式中所说明的图像编码装置、图像解码装置、图像编码方法或者图像解码方法也可以作为应用加以利用。另外，在实施方式1中构成图1所示的解码装置100的各功能块典型的是作为集成电路的LSI来实现。它们既可以进一步如解码电路、外部存储器那样分别进行芯片化，也可以包含一部分或者全部而单芯片化，也就是说在单个的LSI内作为综合的系统来实现。此外，同样在实施方式2中构成图6所示的解码装置200的各功能块典型的是作为集成电路的LSI来实现。它们既可以进一步如解码电路、外部存储器那样分别进行芯片化，也可以包含一部分或者全部而单芯片化，也就是说作为在单个的LSI内集成的系统来实现。此外，同样在实施方式3中构成图9所示的解码装置300的各功能块典型的是作为集成电路的LSI来实现。它们既可以进一步如解码电路、外部存储器那样分别进行芯片化，也可以包含一部分或者全部而单芯片化，也就是说作为在单个的LSI内集成的系统来实现。此外，同样在实施方式4中构成图16所示的解码装置400的各功能块典型的是作为集成电路的LSI来实现。它们既可以进一步如解码电路、外部存储器那样分别进行芯片化，也可以包含一部分或者全部而单芯片化，也就是说作为在单个的LSI内集成的系统来实现。
此外，同样在实施方式5中构成图17所示的编码装置500的各功能块典型的是作为集成电路的LSI来实现。它们既可以进一步如解码电路、外部存储器那样分别进行芯片化，也可以包含一部分或者全部而单芯片化，也就是说作为在单个的LSI内集成的系统来实现。此外，同样在实施方式6中构成图22所示的编码装置600的各功能块典型的是作为集成电路的LSI来实现。它们既可以进一步如解码电路、外部存储器那样分别进行芯片化，也可以包含一部分或者全部而单芯片化，也就是说在单个的LSI内作为综合的系统来实现。此外，同样在实施方式7中构成图M所示的编码装置700的各功能块典型的是作为集成电路的LSI来实现。它们既可以进一步如解码电路、外部存储器那样分别进行芯片化，也可以包含一部分或者全部而单芯片化，也就是说作为在单个的LSI内集成的系统来实现。此外，在实施方式1 7中，正交变换基积蓄部110、正交变换基积蓄部510、存储器109以及存储器509既可以由DRAM构成，也可以由SRAM构成，也可以由触发器构成。也就是说，只要由可存储的元件来构成即可。再者，在实施方式1 7中，存储器109、存储器509、正交变换基积蓄部110、正交变换基积蓄部510、正交变换基存储部103以及正交变换基存储部503典型的是由DDR构成，但是不需要必须由DDR构成，既可以由SRAM构成，也可以由触发器构成。也就是说，只要由可存储的元件来构成即可。此时，优选的是，正交变换基积蓄部110及正交变换基积蓄部510由低速存储元件构成，正交变换基存储部103及正交变换基存储部503由高速存储元件构成。此外，在实施方式1 7中，由逆正交变换部112、逆正交变换部512以及正交变换部514进行的正交变换只要是例如Karhunen Loeve变换等、正交变换基可变的正交变换即可。以上，根据实施方式说明了本发明的图像解码装置、图像编码装置、图像解码电路及图像解码方法，，但是本发明并不限定于该实施方式。在不脱离本发明宗旨的范围内，将本领域技术人员联想到的各种变形施加到本实施方式中的方式或者组合不同的实施方式中的结构要素来构建的方式都包含于本发明的范围内。工业实用性本发明能够利用于图像解码装置、图像编码装置、图像解码电路以及图像解码方法，尤其在移动电话、DVD装置、BD装置、个人计算机、电视机电话、机顶盒、数字电视、汽车及安全系统等对构成图像的图片进行解码或显示的设备中有用。符号说明100解码装置101 解码部102、502正交变换基传送控制部103、503 正交变换基存储部104、504正交变换基存储状态管理表105、505参照图像传送控制部
35106、506参照图像存储部
107、507预测图像生成部
108、508加法运算器 109,509存储器
110、510正交变换基积蓄部
111.511.1215逆量化部
112.512.1216逆正交变换部 201,601正交变换基参照履历管理表 301预解码部
302正交变换基统计信息管理表
401、701可逆编码部
402、702可逆解码部 501编码部
513减法运算器
514正交变换部
515 量化部
516正交变换基生成部
1222帧存储器
exlOO内容供给系统
exlOl 因特网
exl02因特网服务提供商
exl03流服务器
exl04 电话网
exl06、exl07、exl08、exl09、exllO 基站
exlll 计算机
exll2 PDA
exll3摄像机
ex 114 移动电话
exll5游戏机
ex 116摄像机
exll7 麦克
ex200数字广播用系统
ex201 广播站
ex202广播卫星
ex203 电缆
ex204、ex205 天线
ex210 汽车
ex211汽车导航仪
ex212再现装置
ex213监视器
ex215、ex216 记录媒体
ex217机顶盒
ex218读出器/记录器
ex219监视器
ex230信息轨道
ex231记录块
ex232内周区域
ex233数据记录区域
ex234外周区域
ex300电视机
ex301调谐器
ex302调制/解调部
ex303多路复用/分离-
ex304声音信号处理部
ex305影像信号处理部
ex306信号处理部
ex307扬声器
ex308显示部
ex309输出部
ex310控制部
ex311电源电路部
ex312操作输入部
ex313电桥
ex314插槽部
ex315驱动器
ex316调制解码器
ex317接口部
ex318、ex319缓存器
ex400信息再现/记录-
ex401光头
ex402调制记录部
ex403再现解调部
ex404缓存器
ex405盘电机
ex406伺服控制部
ex407系统控制部
ex500LSI
ex501控制部
ex502CPU
ex503存储器控制器
ex504流控制器
ex505电源电路部
ex506流I/O
ex507信号处理部
ex508缓存器
ex509AV I/O
ex510总线
ex511存储器
ex601变换部
ex602量化部
ex604逆量化部
ex605逆变换部
ex606熵编码部
ex608预测部
ex701熵解码部
ex703逆量化部
ex704逆变换部
ex705预测部
权利要求
1.一种图像解码装置，进行编码流的解码，具备解码部，从上述编码流将确定信息进行解码，该确定信息用于确定在逆正交变换中利用的正交变换基；积蓄部，用于保存在上述编码流的逆正交变换中利用的多个正交变换基；存储部，用于保存上述积蓄部中保存的多个正交变换基中的、进行上述逆正交变换时需要的至少一个正交变换基；逆正交变换部，利用保存于上述存储部中、且由上述确定信息确定的正交变换基，进行逆正交变换；以及传送控制部，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
2.如权利要求1所述的图像解码装置，上述传送控制部仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下， 从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
3.如权利要求2所述的图像解码装置，上述积蓄部预先保存在上述编码流的逆正交变换中利用的多个正交变换基；上述图像解码装置还具备存储状态管理部，该存储状态管理部管理表示上述存储部是否保存着由上述确定信息确定的正交变换基的信息；上述传送控制部根据上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
4.如权利要求2所述的图像解码装置，上述解码部从上述编码流至少将在正交变换中利用且在逆正交变换中利用的多个正交变换基、以及用于确定所需要的上述正交变换基的确定信息进行解码；上述图像解码装置还具备存储状态管理部，该存储状态管理部管理表示上述存储部是否保存着由上述确定信息确定的正交变换基的信息；上述传送控制部根据上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
5.如权利要求3或4所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的上述正交变换基的情况下，将由上述确定信息确定的正交变换基从上述积蓄部向如下区域传送，该区域是存储着上述正交变换基的上述存储部的区域、且是存储着从上述积蓄部最早传送的正交变换基的区域。
6.如权利要求3或4所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，将由上述确定信息确定的正交变换基从上述积蓄部向如下区域传送，该区域是存储着正交变换基的上述存储部的区域、且是存储着从上述积蓄部最新传送的正交变换基的区域。
7.如权利要求3或4所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，随机选择上述存储部的存储着正交变换基的区域， 并从上述积蓄部向所选择的上述区域传送由上述确定信息确定的正交变换基。
8.如权利要求3或4所述的图像解码装置，上述图像解码装置还具备参照履历管理部，该参照履历管理部管理每个正交变换基的、表示从解码开始起被参照的次数的利用履历信息；上述传送控制部根据上述存储状态管理部管理的上述信息和上述参照履历管理部管理的上述利用履历信息，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
9.如权利要求8所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的上述正交变换基的情况下，参照上述利用履历信息，将由上述确定信息确定的正交变换基从上述积蓄部向如下区域传送，该区域是存储着上述正交变换基的上述存储部的区域、且是存储着参照次数最少的正交变换基的区域。
10.如权利要求8所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，参照上述利用履历信息，将由上述确定信息确定的正交变换基从上述积蓄部向如下区域传送，该区域是存储着正交变换基的上述存储部的区域、且是存储着从当前起的规定期间的过去最不常利用的正交变换基的区域。
11.如权利要求8所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，参照上述利用履历信息，将由上述确定信息确定的正交变换基从上述积蓄部向如下区域传送，该区域是存储着正交变换基的上述存储部的区域、且是存储着从当前起的规定期间的过去最常利用的正交变换基的区域。
12.如权利要求8所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，参照上述利用履历信息，将由上述确定信息确定的正交变换基从上述积蓄部向如下区域传送，该区域是存储着正交变换基的上述存储部的区域、且是存储着此前参照次数最多的正交变换基的区域。
13.如权利要求3或4所述的图像解码装置， 上述图像解码装置还具备预解码部，比上述解码部先从上述编码流将上述确定信息的至少一部分进行解码；以及统计信息管理部，管理由通过上述预解码部解码、且通过上述解码部此后要解码的上述确定信息确定的每个正交变换基的利用状况；上述传送控制部根据上述存储状态管理部管理的信息和上述统计信息管理部管理的利用状况，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
14.如权利要求13所述的图像解码装置，上述传送控制部参照上述存储状态管理部管理的信息，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，参照上述利用状况，将由上述确定信息确定的正交变换基从上述积蓄部向如下区域传送，该区域是存储着正交变换基的上述存储部的区域、 且是存储着今后参照次数最少的正交变换基的区域。
15.如权利要求1 14中任一项所述的图像解码装置， 上述图像解码装置还具备可逆编码部，对在上述逆正交变换中利用的多个正交变换基进行可逆编码；以及可逆解码部，对由上述可逆编码部可逆编码后的上述多个正交变换基中的、由上述确定信息确定的正交变换基进行可逆解码，并经由上述传送控制部将可逆解码后的上述正交变换基写入上述积蓄部。
16.一种图像编码装置，生成编码流，具备生成部，生成在正交变换中利用的正交变换基、以及用于确定上述正交变换基的确定 fn息；积蓄部，用于保存由上述生成部生成的多个上述正交变换基； 存储部，用于保存上述积蓄部中保存的多个正交变换基中的、进行上述正交变换时需要的至少一个正交变换基；正交变换部，利用保存于上述存储部中、且由上述确定信息确定的正交变换基，进行正交变换；以及传送控制部，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
17.如权利要求16所述的上述图像编码装置，还具备存储状态管理部，该存储状态管理部管理表示上述存储部是否保存着由上述确定信息确定的正交变换基的信息；上述传送控制部根据上述存储状态管理部管理的信息，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
18.如权利要求16所述的图像编码装置，上述图像编码装置还具备参照管理部，该参照管理部管理每个正交变换基的、表示从上述正交变换的开始起被参照的次数的利用履历信息；上述传送控制部根据上述存储状态管理部管理的上述信息和上述参照履历管理部管理的上述利用履历信息，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
19.如权利要求16 18中任一项所述的图像编码装置， 上述图像编码装置还具备可逆编码部，对在上述正交变换中利用的多个正交变换基进行可逆编码；以及可逆解码部，对由上述可逆编码部可逆编码后的上述多个正交变换基中的、由上述确定信息确定的正交变换基进行可逆解码，并经由上述传送控制部，将可逆解码后的上述正交变换基写入上述积蓄部；上述传送控制部从上述积蓄部读出由上述确定信息确定、且被编码的正交变换基，传送给上述可逆解码部。
20.一种图像解码电路，进行编码流的解码，具备解码部，从上述编码流将确定信息进行解码，该确定信息用于确定在正交变换中利用的正交变换基；积蓄部，用于保存在上述编码流的逆正交变换中利用的多个正交变换基； 存储部，用于保存上述积蓄部中保存的多个正交变换基中的、进行上述逆正交变换时需要的至少一个正交变换基；逆正交变换部，利用保存于上述存储部中、且由上述确定信息确定的正交变换基，进行逆正交变换；以及传送控制部，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下，从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
21.—种图像解码方法，进行编码流的解码，包括解码步骤，从上述编码流将确定信息进行解码，该确定信息用于确定在逆正交变换中利用的正交变换基；积蓄步骤，用于将在上述编码流的逆正交变换中利用的多个正交变换基保存于积蓄部；存储步骤，用于将上述积蓄步骤中保存的多个正交变换基中的、进行上述逆正交变换时需要的至少一个正交变换基保存于存储部；逆正交变换步骤，利用保存于上述存储部中、且由上述确定信息确定的正交变换基，进行逆正交变换；以及传送控制步骤，仅在上述存储部未保存由上述确定信息确定的正交变换基的情况下， 从上述积蓄部向上述存储部传送由上述确定信息确定的正交变换基。
22.—种图像解码装置，具备解码部，从上述编码流将确定信息进行解码，该确定信息用于确定在逆正交变换中利用的正交变换基；预解码部，比上述解码部先从上述编码流将上述确定信息进行解码； 积蓄部，用于保存在上述编码流的逆正交变换中利用的多个正交变换基； 存储部，用于保存上述积蓄部中保存的多个正交变换基中的、进行上述逆正交变换时需要的至少一个正交变换基；控制部，根据由上述预解码部解码后的上述确定信息，使上述存储部保存上述至少一个正交变换基。
全文摘要
本发明的解码装置(100)，具备；解码部(101)，从上述编码流将确定信息进行解码，该确定信息用于确定在正交变换中利用的正交变换基；正交变换基积蓄部(110)，用于保存在逆正交变换中利用的多个正交变换基；正交变换基存储部(103)，保存被保存的多个正交变换基中的，逆正交变换所需要的正交变换基；逆正交变换部(112)，利用保存在正交变换基存储部(103)中、且由确定信息确定的正交变换基进行逆正交变换；以及正交变换基传送控制部(102)，仅在正交变换基存储部(103)未保存被确定的正交变换基的情况下，从正交变换基积蓄部(110)向正交变换基存储部(103)传送被确定的正交变换基。根据该结构，能够缩减存放了正交变换基的存储器的存储器频带以及减少存储器访问延迟。
文档编号H04N7/30GK102439977SQ20118000216
公开日2012年5月2日 申请日期2011年3月16日 优先权日2010年3月24日
发明者天野博史, 林宙辉, 桥本隆, 田中健 申请人:松下电器产业株式会社