专利名称：图像映射装置和图像映射方法、以及图像生成装置和图像生成方法
技术领域：
本发明涉及这样一种图像映射装置和这样一种图像映射方法，它们通过解码对图像执行迭代变换编码所获得的代码字来恢复图像，并对所恢复的图像施加具有三维形状的多边形的映射(所谓的纹理贴图)；并且本发明还涉及一种生成用于图像映射的图像的图像生成装置和图像生成方法。
背景技术：
当前，作为一种通常的代表性的图像压缩技术，所公知的是由ISO标准化的所谓JPEG(联合图像专家组)技术。在JPEG制式下，所公知的是，当采用DCT(离散余弦变换)来分配相对较多位数时能够提供令人满意的编码/解码图像。然而，当要编码的数据位数减少到一定程度时，DCT带来的块失真就变得较明显，这使得观看效果变差。
除此之外，近年来，采用迭代函数方法的图像压缩方法开始引起重视。在该方法中，当从整个画面中取出部分画面时，若在该画面中存在不同尺寸的与该取出画面相近似的另一幅画面时，则该方法会自动使用图像的自身相似性。这种反复变换方式使得在上述JPEG中的块失真不明显，而且，由于在画面内不同尺寸的块之间采用了自身相似性，所以有不依赖于解码时分辨率的优点。这种反复变换编码也被称作部分编码(fractal encoding)作为其另一个名字，并希望将这种编码方式应用于各种领域。
例如，在游戏机中采用一种公知的技术，例如能够通过较少的部分信息量来恢复画面的功能。这种技术将参照图1来说明。
图1中所示的游戏机具有这样的结构，即包括CPU50、工作RAM51、ROM52、外部I/F(接口)53、部分画面绘制部55、GDC(图形显示控制器)57和KB(键盘)I/F60，它们连接到系统总线62上，并且通过外部I/F53从游戏ROM54读出数据。此外，VRAM56连接到部分画面绘制部55和GDC57，CRT59通过图形I/F58连接到GDC57，键盘61连接到KB(键盘)I/F60。
其操作将在下面说明。
游戏ROM54被安装在外部接口53上。当操作电源开关接通电源时，CPU50从游戏ROM54中读出预定量的游戏软件引导部分，将其存储在工作RAM51中，以将其中包含的初始画面传送到GDC57。GDC57展开已传送到VRAM56的初始画面，并以固定周期读出这种画面，将其传送到图形接口58，从而将其输出到CRT59。当CPU50从键盘接口60接收到用户通过键盘61输入的命令时，它按照该命令从工作RAM51读出相应的图形数据，并将其传送到GDC57，或者产生显示图形的移动命令并传送到GDC57，以更新显示画面。
在通过外部接口53从游戏ROM54中读出并存入工作RAM51的游戏软件中，包含除常规控制程序或图形数据之外的部分画面绘制命令。这种部分画面绘制命令由确定图形产生规则的代数表达式(算法)和与生成图形的起始位置等有关的初始值构成。CPU50的操作使得在按照从键盘61输入的命令等从工作RAM51中读出的数据不是图形数据而是部分画面绘制命令时，它就将这种命令传送到部分画面绘制部55而不是GDC57。在接收该命令的部分画面绘制部55中，按照初始值和代数表达式依次产生诸如线段等的图形元素，将它们展开到VRAM56上，从而绘制各种图形，如山脉、树林或树叶等自然物或者角色等的图形。如上所述，能够按照较小数据量的部分画面绘制命令绘制较大数据量的复杂图形。
另外，在上述背景技术中，由于输出的是画面绘制命令部分，所以限制了能够绘制的图形。而且，由于上述背景技术没有压缩/恢复一般自然图像的功能，所以存在限制了能够表示的图像的问题。
此外，与上述技术不同，现在在进行游戏机或个人计算机中经常对物体形状使用的纹理映射中，作为纹理(图像)的压缩(编码)技术，采用了JPEG制式。由于这个原因，出现的问题是，因在物体形状缩放处理时改进纹理的可视分辨率，而使图像的劣化变得明显和/或损失图像锐度使图像变得模糊。
本发明概述在这样的实际情况下，提出了本发明，其目的是提供一种图像映射装置和图像映射方法，其中，在映射有一般自然图像纹理的物体形状在缩放处理中变形等时，纹理图像质量很难劣化，并且提供一种采用这种映射生成图像的图像生成装置和图像生成方法。
为了实现上述目的，本发明的特征是，对已经受反复变换编码的图像数据实施定标(scaling)同时进行反复变换解码，针对定标而获得的物体形状对上述反复变换解码图像实施映射。
即，按照本发明的图像映射装置和图像映射方法的特征在于，对已经受反复变换编码的图像数据进行反复变换解码同时对其实施定标，将来自反复变换解码部的解码图像临时保存在缓冲存储器，以便执行预定物体形状的定标来计算定标的物体形状，针对定标后的物体形状对解码图像实施映射。
而且，在按照本发明的图像映射装置和图像映射方法中，已经过反复变换编码的图像数据由指示块位置的块编号和变换参数组成，并且通过下面步骤来生成解码图像根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生已通过定标的块(因情况要求有时简称为定标块)；针对所述定标块对块图像实施对应于所述变换参数的变换处理；执行预定次数的变换解码操作。
而且，在按照本发明的图像映射装置和图像映射方法中，经反复变换编码的图像数据由指示块位置的块编号和变换参数组成，并且通过下面步骤来生成解码图像根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生定标块；针对所述定标块对块图像实施对应于所述变换参数的变换处理；判断在执行反复变换解码得到的当前解码图像和在所述当前解码图像之前已经解码的解码图像之间的收敛度，以根据判断结果反复执行变换解码操作。
而且，在按照本发明的图像映射装置和图像映射方法中，在缓冲存储器中临时保存由执行反复变换解码而最终得到的解码图像。
此外，在按照本发明的图像映射装置和图像映射方法中，在执行反复变换解码时，在缓冲存储器中临时依次保存由各个变换解码操作得到的各个解码图像，以便依次对来自缓冲存储器的由各个变换解码操作获得的各个解码图像执行针对定标后物体形状的映射。
附图的简要说明图1是表示一例使用按照现有技术的部分编码数据解码图像绘制的图像的游戏机的方框图；图2是表示本发明第一实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；
图3是用于说明一例纹理映射基本操作的示意图；图4是用于说明一例采用常规技术的解码图像的纹理映射的示意图；图5是用于说明一例按照本发明第一实施例的解码图像的纹理映射的示意图；图6是说明块间映射变换的示意图；图7是表示本发明第二实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；图8是表示本发明第三实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；图9是表示本发明第四实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；图10是表示本发明第五实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；图11是表示本发明第六实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；图12是表示本发明第七实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；图13是表示本发明第八实施例的用于反复变换解码图像的纹理映射装置的结构的方框图；图14是表示本发明第九实施例的用于反复变换解码图像的纹理映射装置的结构的方框图。
实施本发明的最佳方式下面将参照
本发明的优选实施例。
图2是表示本发明第一实施例的用于反复变换解码图像的纹理映射装置的简要结构的方框图。
在图2中，用于反复变换解码图像的纹理映射装置的结构，包括解码/多路分离部1，用于将多路代码字分离成各个代码字，以分别进行解码操作；反复变换解码部20，用于对已经受反复变换编码(例如部分编码)的图像数据实施反复变换解码同时对其进行定标；缓冲部9，用于临时保存来自反复变换解码部20的解码图像；形状信息计算部12，用于对物体形状实施定标以计算定标后的物体形状；图像映射部10，用于针对形状信息计算部12输出的定标后的物体形状，对来自缓冲部9的解码图像实施映射；以及，映射控制部11，其功能是输出用于控制定标和映射的控制信号。此外，应情况要求，还设置了显示部13，用于显示最终从图像映射部10获得的映射图像。
反复变换解码部20具有这种结构，它包括变换原始块再现部2，用于根据来自解码/多路分离部1的块编号再现变换原始块，以再现位于预定位置的块；定标部3，用于按照外部信号执行块定标；初始图像输入部4，用于传送初始图像；图像变换/生成部6，用于利用来自解码/多路分离部1的变换参数对块图像实施预定的变换处理；图像存储部7，用于一次一个画面地存储变换的块图像；控制部8，用于控制解码循环的执行次数；以及，切换器5，用于选择在循环内的初始图像或解码图像。
下面将说明其操作。
在图2中，在经受反复变换编码后得到的代码字100以多路复用的状态被输入解码/多路分离部1。解码/多路分离部1允许多路代码字100经受多路分离处理，以进一步对每个分离的代码字执行解码处理。通常，为了减少编码的位数量并便于处理数据，在与此解码器相对应的编码器中，多路复用代码字以从该编码器发送多路复用的代码字。然而，在设备的结构上，若编码器没有采取多路复用代码字以发送它的形式，则可以省略这种解码/多路分离部1。解码/多路分离部1输出已经过多路分离并解码的块编号101的块图像以及变换参数102。块编号101输入到变换源块再现部2。在本例中，变换原始块再现部2计算块编号101在整个画面内的块位置，并输出作为计算结果的块位置信息104。块位置信息104被输入到定标部3。这样，定标部3根据下述的映射控制部11输出的定标信息115，对块位置信息104定标。
例如，若假设块位置信息104具有四点位置坐标A(XA，YA)、B(XB，YB)、C(XC，YC)、D(XD，YD)的信息，这些信息足够表示块的位置，若定标信息115表示扩大倍率R倍，则定标后的块位置信息105将具有新的四点位置坐标A’(RXA，RYA)、B’(RXB，RYB)、C’(RXC，RYC)、D’(RXD，RYD)的信息。
向图像变换/生成部6提供定标后的块位置信息105和变换参数102，以及从切换器5提供循环内的初始图像或解码图像。图像变换/生成部6对位于块位置信息指定位置上的块图像执行预定的变换处理，如旋转、平移、放大或缩小，以生成变换的块图像并输出它。在本例中，切换器5的切换使得，首先，当反复变换解码开始时从初始图像输入部4向图像变换/生成部6传送初始图像，随后，再向图像变换/生成部6传送循环内的解码图像。来自初始图像输入部4的初始图像可以是任意的图像。这是因为利用了反复变换解码操作的特征的“无论反复变换解码从何种初始图像开始，其最终收敛的图像是相同的”的性质。
下面将详细说明变换处理的具体例子。
上述操作是针对一幅画面来进行的。在将一幅块图像109存储/保存在图像存储部7中之后，变换图像110被输入控制部8。正如本例中所指出的，控制部8位于解码环路的一端，并用于对解码循环的执行次数进行计数。进一步，在执行次数到达预定值的时刻，该解码循环的解码操作结束。即，若在该解码循环内解码操作继续进行，则从控制部8输出解码图像，作为循环内的变换图像108，并将其输入到切换器5。另一方面，若上述解码循环的操作结束，则解码图像被输入到缓冲部9，作为解码图像111。
按照上述方式，说明了本装置中相应于解码的部分，即反复变换解码部20。
下面将说明解码图像的纹理映射部。
按照来自映射控制部11的读出数据指示信号113，读出缓冲部9存储/保持的解码图像111，并将其作为解码图像112输出。此时按照(本装置与另一个装置等相连的场合下输出的)映射指示信号114，已经接收例如来自外部的控制信号118的映射控制部11解码控制信号118的内容，以进行将预定控制信号发送到组成本装置的各部分的操作。从外部将物体的形状信息117输入到形状信息计算部12。当读出数据指示信号113被传送到形状信息计算部12时，根据上述的定标信息115重新计算形状信息117。于是，新的形状信息116被输出到图像映射部10。已接收了读出数据指示信号113的缓冲部9，向图像映射部10输出存储/保持的解码图像112。接收到来自映射控制部11的映射指示信号114的图像映射部10，针对由展开新的形状信息116而得到的物体形状，对解码图像112实施映射。作为映射结果的映射图像119被显示在显示部13上。
在本例中，可以理解，作为上述实施例中物体的形状信息117，例如物体形状的三维数据由如光学读取部(三维数字化仪)来收集，或由计算机上的图形工具来制备多边形数据等。
下面将参照
图2的上述图像映射部10如何执行到图像的物体形状上的纹理映射。
首先，图3示出了典型纹理映射处理的示意图，并示出了其中纹理(图像)201被映射到(贴到)多边形(多面体)202某一侧表面上的处理。应注意，为了方便说明，在图3中将纹理按等间隔量度分区，来说明将纹理按像素单元映射到多边形上的状态。
图4是用于说明利用公知定标的纹理映射处理的示意图。在图4中，(A)执行从编码位流211到纹理212的解码，(B)令纹理212经受针对多边形的映射，从而制备纹理映射后的多边形213，以及(C)对已经受纹理映射的多边形213定标，以制备定标后的多边形214。作为在本例中使用的纹理编码/解码技术的代表，有所提到的JPEG。在实际上，为了压缩作为用于执行常规纹理映射的源的纹理，在大多数情况下采用的是JPEG。这种情况的问题如下，要对最初已进行了纹理映射的整个多边形定标，特别是由扩大而新生成的像素要在纹理像素之间通过线性内插来计算。由于这个原因，图像的纹理(质地)变得粗糙，结果引起图像质量显著劣化，或者损失了图像的锐度(sharpness)，使得显示的图像模糊。在本例中，像素间的线性内插方法是典型的现有技术。
此外，虽然在图4中示出了定标已经受纹理映射的多边形的例子，但即使执行操作以允许已经受定标的纹理经受上述方式的纹理映射，这种操作与图像内的像素值的处理完全相同。在所得到的纹理映射的图像之间没有差别。
相针对，在图2所示的本发明第一实施例的反复变换解码图像的纹理映射装置中，已经受反复变换编码(特别是，本实施例中的块)的纹理，可能要在经受反复变换解码的同时实施定标，以针对定标后的多边形执行解码图像的映射。
即，在图5中，所采用的方法是，读出已经受反复变换编码的纹理代码字的位流211，(A)以执行具有反复变换解码功能的反复变换，同时定标已经受反复变换编码的纹理，以恢复纹理222。而且，(B)对多边形223定标，(C)以按上述方式定标多边形同时对恢复的纹理222实施映射，从而得到已定标的纹理映射后的多边形224。在此情况下，得到的作为上述操作(A)结果的解码图像是反复变换解码直到一个像素级而恢复成的图像。因此，与利用线性内插JPEG图像而产生的图像相比，此操作的特征在于，分辨率高，图像质量令人满意。
上面已说明了第一实施例的基本操作。按照第一实施例，由于经映射的图像是进行定标的同时通过反复变换解码而解码的图像，所以，即使在定标是缩放处理的情况下，反复变换解码也呈现这样的特征，即解码图像的恢复与分辨率无关，以及与现有方式相比，具有大大减少了图像质量劣化的有益效果。此外，由于“缩放+反复变换解码”和“物体形状的缩放”可以并行处理，所以具有能够高速执行处理的有益效果。
在本例中，下面将参照图6说明反复变换编码／解码的基本原理，它是本发明实施例的基本技术之一。
此技术的内容是，在反复变换编码中，对组成画面的所有局域块反复执行从广域块(domain block)到局域块(range block)的通常收缩映射操作，以便执行图像编码。此时，能够很好地编码最接近各局域块的广域块的位置信息和/或变换参数。
在图6中，RK表示局域块，DK表示广域块。在本例中，RK的块尺寸为m×n，DK的块尺寸为M×N。在图5中，表明存在L×L个局域块。局域块和广域块的块尺寸是显著影响编码效率的因素。因此，尺寸的确定是重要的。
而且，在图像变换/生成部6的块图像变换是从DK到RK的变换。若假定到块K的映射函数为WK，执行整个画面的映射变换所需的广域块块数目为P，则画面f通过下面表示的整个画面的映射函数W来映射W(f)=w1(f)∪w2(f)∪…∪wP(f)……(1)因此，W通过下面的公式来表示。
W=∪Pk＝1wk……(2)在本例中，作为上述的映射函数W，可以使用任意的收敛函数。许多情况下，收缩映射常常被用于确保收敛性。而且，为了简化处理，常使用仿射变换(Affine transform)。若利用实际的变换函数Vi来公式化利用仿射变换将DK映射成RK的情况，则可得到下面的公式。Vi(x,y)=aibicidixy+eifi……(3)]]>利用公式(3)能够表示所有在两个块之间的诸如旋转、平移、收缩和扩大的变换操作。在图像变换生成部6中包括，例如，用于执行由公式(3)表示的旋转、平移、收缩和/或扩大等的电路，以便使用公式(3)的变换参数102来实施变换处理，从而在经过变换操作之后得到块图像109。在图6中，示出了在屏幕画面右下角的DK接受针对画面左上角RK的映射变换的状态。
下面参照图7来说明本发明第二实施例的用于反复变换解码图像的纹理映射装置。
图7中所示的第二实施例的用于反复变换解码图像的纹理映射装置的结构，包括解码/多路分离部1，用于将多路代码字分离成各个代码字，以分别进行解码操作；反复变换解码部20，用于对已经受反复变换编码的图像数据执行反复变换解码同时对其进行定标；缓冲部9，用于临时保存最终得到的解码图像；形状信息计算部12，用于对物体形状实施定标以计算定标后的物体形状；图像映射部10，用于针对形状信息计算部12输出的定标后的物体形状，对来自缓冲部9的解码图像实施映射；以及，映射控制部11，其功能是输出用于控制定标和映射的控制信号。此外，应情况要求，还设置了显示部13，用于显示最终从图像映射部10获得的映射图像。
反复变换解码部20具有这种结构，它包括变换原始块再现部2，用于根据来自解码/多路分离部1的块编号再现变换原始块，以再现位于预定位置的块；定标部3，用于按照外部信号执行块定标；初始图像输入部4，用于提供初始图像；图像变换/生成部6，用于利用来自解码/多路分离部1的变换参数对块图像实施预定的变换处理；图像存储部7，用于一次一个画面地存储接受变换后的块图像；帧存储器15，用于存储/保持一个循环开始前的解码图像；收敛度计算/控制部14，用于计算解码图像的收敛度以控制解码循环；以及，切换器5，用于选择在循环内的初始图像或解码图像。
下面将说明图7所示的第二实施例的操作。由于第二实施例的基本操作与图2的第一实施例的操作相同，所以省略了对其基本操作的说明。
在图7中，一个画面所对应的变换后的块图像109被存储或保存在图像存储部7，然后解码图像121被输出到帧存储器15。帧存储器15仅在一个循环周期内保存解码图像121，直到下一个解码循环开始执行。而且，在收敛度计算/控制部14，比较当前循环的解码图像110和从帧存储器15读出的前一个循环的解码图像120，来测量解码图像的收敛度。结果是，若收敛度满足预定条件，则结束解码循环，输出最终的解码图像111。若将上述操作公式化，则有下面的关系表达式if(|dec(n)-dec(n-1)|＜Th)then
{completion of decode loop}else{start of next decode loop}在本例中，dec(n)表示在第n个解码循环的解码图像，Th表示结束解码循环的收敛度阈值。
按照第二实施例，计算解码图像的收敛度，若收敛度达到预定值，则结束解码循环，以输出解码图像。因此，具有缩短了在快速收敛时的处理时间的有益效果，同时具有第一实施例的优点。
下面参照图8来说明本发明第三实施例的用于反复变换解码图像的纹理映射装置。
图8中所示的第三实施例的用于反复变换解码图像的纹理映射装置的各个组成单元，与图2的第一实施例的相应单元相同。图8的实施例与第一实施例的不同之处在于，反复变换解码部20输出的解码图像是从图像存储部7输出的。
即，在图8所示的用于反复变换解码图像的纹理映射装置中，从反复变换解码部20的图像存储部7输出的解码图像，被直接送到缓冲部9，从而通过缓冲部9将每个循环执行期间在解码循环内得到的解码图像输出到图像映射部10，以便将纹理施加到物体形状上。
下面将说明第三实施例的操作。在本例中，由于第三实施例的基本操作与图2的上述第一实施例的基本操作相同，所以省略了对其基本操作的说明。
在图8的反复变换解码部20，在解码循环内从图像存储部读出的解码图像110输出给控制部8，并直接输入到缓冲部9。接收到读出数据指示信号113的缓冲部9将存储/保持的解码图像112输出给图像映射部10。从映射控制部11接收到映射指示信号114的图像映射部10，针对通过展开形状信息116得到的物体形状，执行解码图像112的映射操作。作为映射结果得到的映射图像119被显示在显示部13上。
在图8所示的第三实施例中，在解码循环内得到的解码图像随时会输出到缓冲部9，并在其中存储/保持。而且，按照读出数据指示信号113，对此解码图像进行纹理映射，以提供物体形状。因此，与图2的第一实施例中在解码循环结束之前不执行纹理映射的情况不同，所采取的是顺序显示的形式，其中显示的是在各个解码循环更新的解码图像的映射图像。例如，对于在解码循环内的解码图像收敛前要等待很长时间的情况，这是非常有效的，因为，从最初就显示要接受解码图像纹理映射的图像。例如，若将这种顺序023显示形式应用于象因特网等的线路速度低的环境下，则由于显示了处理过程，所以具有减轻了用户因等待时间而引起的焦急程度或不适感的优点。
下面参照图9来说明本发明第四实施例的用于反复变换解码图像的纹理映射装置。
图9中所示的第四实施例的用于反复变换解码图像的纹理映射装置的基本结构与图2的上述第一实施例的相应结构相同。在图9的实施例中，反复变换解码部20通过通信路径/传输路径/记录介质126与其它部件相连。即，图9所示的第四实施例的用于反复变换解码图像的纹理映射装置包括解码/多路分离部1，用于将多路代码字分离成各个代码字，以分别进行解码操作；反复变换解码部20，用于对已经受反复变换编码的图像数据执行反复变换解码同时对其进行定标；以及纹理映射部30，用于针对经过定标的物体形状映射解码图像。并且，反复变换解码部20和纹理映射部30通过通信路径、传输路径或记录介质126相连。
反复变换解码部20包括变换原始块再现部2，用于根据来自解码/多路分离部1的块编号再现变换原始块，以再现位于预定位置的块；定标部3，用于按照外部信号执行块定标；图像变换/生成部6，用于利用来自解码/多路分离部1的变换参数对块图像实施预定的变换处理；图像存储部7，用于一次一个画面地存储经过变换操作的块图像；控制部8，用于控制解码循环的执行次数；以及，切换器5，用于选择在循环内的初始图像或解码图像。而且，纹理映射部30包括缓冲部9，用于临时保存最终得到的解码图像；形状信息计算部12，用于对物体形状实施定标以计算定标后的物体形状；图像映射部10，用于针对形状信息计算部12输出的定标后的物体形状，对来自缓冲部9的解码图像实施映射；以及，映射控制部11，其功能是输出用于控制定标和映射的控制信号。并且，纹理映射部30最终得到的映射图像被传送到显示部13来显示。通过这样的结构组成了第四实施例的用于反复变换解码图像的纹理映射装置。
在本例中，通信路径/传输路径/记录介质126可以采用通信路径、传输路径和记录介质之中的任一个，而记录介质可以是，例如，CD-ROM、CD-R、硬盘等，以及传输路径可以是现有的电话线路、ISDN(综合业务数字网)、无线线路、专用线路或所谓的因特网等。通信路径/传输路径/记录介质126包括用于在反复解码器内的控制部8输出的解码图像111的输入端122、以及到纹理映射装置的缓冲部9的输出端123。此外，通信路径/传输路径/记录介质126还包括用于纹理映射装置内的映射控制部11输出的定标信息的输入端124、以及到反复解码器的定标部3的输出端125。
应注意，在图9所示的第四实施例的例子中，为了便于说明，在通信路径/传输路径/记录介质126上用于信号传送的输入/输出端分成两对(即，122和123、124和125)。显然，信号可以通过在实际的通信路径/传输路径/记录介质126上的同样的路由。
第四实施例的基本操作与参照图2说明的上述第一实施例的基本操作相同。在第四实施例中，假定反复变换解码部和纹理映射部分别处于通过通信路径、传输路径和记录介质间隔连接状态的场合。此外，反复变换解码部获得的解码图像被记录在诸如CD-ROM等的记录介质上，并被直接或通过通信路径和传输路径读出，这样就能够通过和执行纹理映射场合下的同样结构来实现这种功能。
由于第四实施例的装置具有独立的反复变换解码部和纹理映射部，所以，能够减少硬件和有效利用网络资源。
下面参照图10来说明本发明第五实施例的用于反复变换解码图像的纹理映射装置。
图10中所示的第五实施例的用于反复变换解码图像的纹理映射装置的基本结构与图2的上述第一实施例和图9的上述第四实施例的相应结构相同。相针对，图10的实施例与所述两个实施例的不同之处在于，将反复变换解码部20输出的解码图像的差值，例如帧差值送往通信路径/传输路径/记录介质126，而且在通过通信路径/传输路径/记录介质126传输的解码图像的传送/接收侧包含帧存储器18、19，以传送或接收解码图像的差值图像，来执行纹理映射。
即，从反复变换解码部20的控制部8将在结束执行的解码循环之后最终输出的解码图像111输入到差分器16，并在帧存储器18中存储/保持。此外，差分器16取得已在帧存储器18中存储/保持的解码图像127和当前解码图像111之间的差值，并向通信路径/传输路径/记录介质126的输入端122输出差值图像128。一方面，从通信路径/传输路径/记录介质126的输出端123发出差值图像128并输入到加法器17。加法器17将已经在帧存储器19存储/保持的解码图像129和差值图像128相加，并将相加得到的解码图像130输出到缓冲部9，而且再次将这样的解码图像输出到帧存储器19来存储和保持。除了上述之外的处理与已经说明的处理相同。
第五实施例具有能够处理用于运动图像的反复变换解码图像的纹理映射的结构。即，在反复变换解码部20，按帧单元依次读出通过允许运动图像接受反复变换编码而获得的编码位流100，以便得到上述操作的解码图像。另外，差分器16得到的与前一帧解码图像对应的差值图像被发送到通信路径/传输路径/记录介质126。因此，该实施例的特征在于，与图9的上述第四实施例所示的技术相比，能够大大减少要传输的解码图像的信息量。
此外，图11是表示本发明第六实施例的用于反复变换解码图像的纹理映射装置的结构的方框图。图11所示的第六实施例的用于反复变换解码图像的纹理映射装置包括解码/多路分离部1，用于将多路代码字分离成各个代码字，以分别进行解码操作；反复变换解码部20，用于对已经受反复变换编码的图像数据执行反复变换解码同时对其进行定标；以及纹理映射部30，用于针对经过定标的物体形状映射解码图像。并且，反复变换解码部20和纹理映射部30通过通信路径、传输路径或记录介质126相连。
反复变换解码部20包括变换原始块再现部2，用于根据来自解码/多路分离部1的块编号再现变换原始块，以再现位于预定位置的块；定标部3，用于按照外部信号执行块定标；图像变换/生成部6，用于利用来自解码/多路分离部1的变换参数对块图像实施预定的变换处理；图像存储部7，用于一次一个画面地存储经过变换操作的块图像；帧存储器15，用于存储/保持在一个循环开始前的解码图像；收敛度计算/控制部14，用于计算解码图像的收敛度以控制解码循环；以及，切换器5，用于选择在循环内的初始图像或解码图像。而且，纹理映射部30包括缓冲部9，用于临时保存最终得到的解码图像；形状信息计算部12，用于对物体形状实施定标以计算定标后的物体形状；图像映射部10，用于针对形状信息计算部12输出的定标后的物体形状，对来自缓冲部9的解码图像实施映射。并且，纹理映射部30最终得到的映射图像被传送到显示部13以显示其图像。通过这样的结构组成了第六实施例的用于反复变换解码图像的纹理映射装置。
第六实施例的反复变换解码部20的操作与图7的上述第二实施例的反复变换解码部20的操作相同。反复变换解码部20的收敛度计算/控制部14输出的解码图像111从通信路径/传输路径/记录介质126的输入端122输入，然后从通信路径/传输路径/记录介质126的输出端123将之发送到纹理映射部30的缓冲部9。另一方面，作为映射控制部11输出信号的定标信息115从通信路径/传输路径/记录介质126的输入端124输入，然后从通信路径/传输路径/记录介质126的输出端125将之输出到反复变换解码器的定标部3。
按照第六实施例，与上述第二实施例相同，具有在图像收敛快的情况下缩短处理时间的有益效果，并且，与上述第四实施例相同，能够获得诸如减少硬件或有效利用网络资源的效果。
图12是表示本发明第七实施例的用于反复变换解码图像的纹理映射装置的结构的方框图。
图12所示的第七实施例的结构是如下结构，即，在图11的第六实施例的上述装置上，帧存储器18、19分别设置在反复变换解码部20的输出端和纹理映射部30的输入端，来进行差值解码图像的传输，从而能够处理运动图像的用于反复变换解码图像的纹理映射。
在图12中，收敛度计算/控制部14输出的解码图像111输出到减法器16和帧存储器18。而且，减法器16取得帧存储器18中所存储/保持的解码图像127和当前解码图像111之间的差值，然后将差值解码图像128发送到通信路径/传输路径/记录介质126的输入端122。
差值图像128从通信路径/传输路径/记录介质126的输出端123发出并输入到加法器17。加法器17将帧存储器19所存储/保持的解码图像129和差值图像128相加，然后将相加得到的解码图像130输出到缓冲部9，并且还输出到帧缓冲器19来存储/保存。由于除了上述处理以外的其它处理与已经说明的图11的第六实施例相同，所以省略了其解释。
在本例中，图12中解码回路内的帧存储器15、连接到解码回路外的减法器16的帧存储器18、连接到加法器17的帧存储器19可以是具有相同结构/功能的存储器。
按照第七实施例，除了具有图11的上述第六实施例的效果以外，由于差分器16得到的与前一帧解码图像对应的差值图像被按照图10的第五实施例所述的方法发送到通信路径/传输路径/记录介质126，能够大大减少要传输的解码图像的信息量。
下面将参照图13说明本发明第八实施例的用于反复变换解码图像的纹理映射装置。
图13所示的第八实施例是图8所示的上述第三实施例和图9所示的上述第四实施例的结合，其中的反复变换解码部20的操作和结构与图8的上述第三实施例的反复变换解码部20的操作和结构相同。从图12的反复变换解码部20的图像存储部7读出解码循环内的解码图像110之后，将其输入到通信路径/传输路径/记录介质126的输入端122，然后通过通信路径/传输路径/记录介质126的输出端123输出到纹理映射部30的缓冲部9。另一方面，作为映射控制部11输出信号的定标信息115从通信路径/传输路径/记录介质126的输入端124输入，然后从通信路径/传输路径/记录介质126的输出端125输出到反复变换解码器的定标部3。
按照图13的第八实施例，显示方式是顺序显示形式，其中显示在各个解码循环所更新的解码图像的映射图像。此外，还具有相对于通信路径/传输路径/记录介质126间隔单独设置的反复变换解码部20和纹理映射部30。因此，具有能够减少硬件和有效利用网络资源的有益效果。
此外，图14是表示本发明第九实施例的用于反复变换解码图像的纹理映射装置的结构的方框图。
图14所示的第九实施例就是在图13的第八实施例的上述装置上，将帧存储器18、19分别设置在反复变换解码部20的输出端和纹理映射部30的输入端，来进行差值解码图像的传输，从而能够处理运动图像的反复变换解码图像的纹理映射。
在图14中，图像存储部7输出的解码循环内的解码图像110输出到减法器16和帧存储器18。而且，减法器16取得帧存储器18中所存储/保持的解码图像127和当前解码图像110之间的差值，然后将差值图像128发送到通信路径/传输路径/记录介质126的输入端122。差值图像128从通信路径/传输路径/记录介质126的输出端123发出然后输入到加法器17。加法器17将帧存储器19所存储/保持的解码图像129和差值图像128相加，然后将相加得到的解码图像130输出到缓冲部9，并且再次输出到帧缓冲器19来存储/保存。由于除了上述处理以外的其它处理与前面说明的图8的第三实施例相同，所以省略了其解释。
按照图14的第九实施例，除了具有图13的上述第八实施例的有益效果以外，由于差分器16得到的与前一帧解码图像对应的差值图像被按照前述图10的第五实施例所述的方法发送到通信路径/传输路径/记录介质126，结果是具有能够大大减少要传输的解码图像的信息量的有益效果。因此，在纹理映射部侧，能够非常高速地显示经过纹理映射的图像。
应注意，本发明不限于上述实施例。例如，为了编码/解码纹理图像，除了上述反复变换编码/解码以外，还可以利用分级编码/解码或多重分辨率编码/解码来获得定标后的解码图像。
另外，虽然本发明利用方框图中所示的结构来实现本发明的实施例，但本发明不仅限于上述实施例，它可以采用CPU或存储器等按相关的方法通过软件来实现。
应注意，在不脱离本发明主旨的范围内，可以进行各种修改和/或应用。因此，本发明的主旨不限于上述实施例。
按照本发明，采用了这样的手段来对反复变换编码后的解码图像进行反复变换解码同时对其实施定标，以便针对定标后的物体形状对反复变换解码后的解码图像进行映射，从而在执行定标的同时通过反复变换解码来解码映射画面图像。因此，具有这样的有益效果，即，甚至在定标是缩放的场合，也能够展现作为反复变换解码特征的与分辨率无关地恢复解码图像的特征。所以，与常规方法相比，大大降低的图像质量劣化。
另外，“缩放+反复变换解码”和“物体形状的缩放”可以并行处理，故而具有能够高速执行处理的有益效果。
另外，由于利用在反复变换解码循环中在一次循环之前的解码图像来计算解码图像收敛度，以便控制解码循环，借此，当收敛度到达一预定值时，结束解码循环处理，从而能够输出解码图像。因此，在图像收敛快的场合下，能够缩短处理时间。
此外，这里的显示方式是顺序显示形式，即，在反复变换解码循环内得到的各个循环的每个解码图像临时保存在缓冲部，以便在图像映射部1进行针对形状信息计算部输出的物体形状的解码图像的映射，以便显示在各个解码循环更新的解码图像画面的映射画面图像。因此，这样的显示方式在诸如因特网等线路速度低的环境下是有益的。
另外，由于反复变换解码部和纹理映射部是通过通信路径/传输路径/记录介质间隔连接来进行解码图像传输的，所以这些部件可以单独设置。因此，能够减少硬件和有效利用网络资源。
此时，由于传输的是差值解码图像例如帧差值，所以能够处理运动图像的反复变换解码图像的纹理映射。另外，由于差分器得到的与前一帧解码图像对应的差值图像被发送到通信路径/传输路径/记录介质，所以具有能够大大减少要传输的解码图像信息量的有益效果。
此外，由于解码循环内的各个循环的每个解码图像的差值图像在通过通信路径/传输路径/记录介质间隔的状态下随时传输，所以在纹理映射部能够非常高速地显示纹理映射后的图像。
工业适用性本发明的应用领域可以是，例如，利用用于将各种图形和图像(自然图像或角色等)映射(所谓的纹理映射)到具有三维形状的多边形的技术的游戏机、个人计算机、计算机图形设备或CAD/CAM(计算机辅助设计/计算机辅助制造)。
标号说明1…解码/多路分离部、2…变换原始块再现部、3…定标部、4…初始图像输入部、5…切换器、6…图像变换生成部、7…图像存储部、8…控制部、9…缓冲部、10…图像映射部、11…映射控制部、12…形状信息计算部、13…显示部、14…收敛度计算/控制部、15，18，19…帧存储器、16…差分器、17…加法器、20…反复变换解码部。
权利要求
1.一种图像映射装置，用于针对预定物体映射图像，该装置包括反复变换解码部，用于对反复变换编码的图像数据进行反复变换解码同时对其实施定标；缓冲存储器，用于临时保存来自反复变换解码部的解码图像；形状信息计算部，用于对预定物体形状进行定标以计算定标后的物体形状；映射部，用于针对定标后的物体形状映射所述解码图像；以及，控制部，用于控制定标和映射操作。
2.如权利要求1所述的图像映射装置，其中，所述反复变换编码的图像数据由指示块位置的块编号和变换参数组成，以及其中所述反复变换解码部包括变换原始块再现部，用于根据所述块编号再现变换原始块，以再现位于预定位置的块；定标部，用于执行块定标以产生定标块；图像变换/生成部，用于针对所述定标块对块图像实施对应于所述变换参数的变换处理；次数控制部，用于控制反复执行的变换解码操作的次数。
3.如权利要求1所述的图像映射装置，其中，所述缓冲存储器临时存储由所述反复变换解码部反复解码而最终得到的解码图像。
4.如权利要求1所述的图像映射装置，其中，在所述反复变换解码部执行变换解码时，所述缓冲存储器用于临时依次存储各个变换解码操作得到的各个解码图像；以及其中，所述映射部对来自所述缓冲存储器的各个变换解码操作得到的各个解码图像依次执行针对定标后物体形状的映射。
5.如权利要求1所述的图像映射装置，其中，已经过反复变换编码的图像数据由指示块位置的块编号和变换参数组成；以及其中，所述反复变换解码部包括变换原始块再现部，用于根据所述块编号再现变换原始块，以再现位于预定位置的块；定标部，用于执行块定标以产生定标块；图像变换/生成部，用于针对所述定标块对块图像实施对应于所述变换参数的变换处理；收敛度计算/控制部，用于判断在执行反复变换解码得到的当前解码图像和在所述当前解码图像之前已经解码的解码图像之间的收敛度，以根据判断结果控制变换解码操作的反复执行。
6.一种图像生成装置，用于生成针对预定物体映射图像的图像，该装置包括反复变换解码部，用于对已经过反复变换编码的图像数据进行反复变换解码同时对其实施定标；以及输出部，用于输出解码图像以便它能够被映射部使用，来针对定标后的物体形状映射图像。
7.如权利要求6所述的图像生成装置，其中，所述输出部用于输出由所述反复变换解码部反复地执行解码操作而最终得到的解码图像。
8.如权利要求6所述的图像生成装置，其中，在所述反复变换解码部执行变换解码操作时，所述输出部用于临时依次输出各个变换解码操作得到的各个解码图像；以及其中，映射部依次针对已通过定标的物体形状来映射所输出的各个解码图像。
9.如权利要求6所述的图像生成装置，还包括运算部，用于执行由执行反复变换解码操作而得到的当前解码图像和在所述当前解码图像之前已解码的解码图像之差的运算操作，其中，所述输出部输出表示该差值的数据。
10.一种图像映射装置，用于针对预定物体映射图像，该装置包括形状信息计算部，用于对预定物体形状进行定标以计算定标后的物体形状；映射部，用于针对定标后的物体形状映射解码图像；以及，控制部，用于控制定标操作和映射操作，其中，所述解码图像是通过对已经过反复变换编码的图像数据执行反复变换解码操作同时对其实施定标而得到的解码图像。
11.如权利要求10所述的图像映射装置，其中，所述解码图像是由执行变换解码而最终得到的解码图像。
12.如权利要求10所述的图像映射装置，其中，所述解码图像是在执行变换解码时由各个变换解码操作得到的各个解码图像；以及其中，所述映射部依次对各个解码图像执行针对定标后物体形状的映射。
13.如权利要求10所述的图像映射装置，其中，所述解码图像被作为由执行反复变换解码操作而得到的当前解码图像和在所述当前解码图像之前已解码的解码图像之间的差值数据来传送；所述装置还包括运算部，用于将已传送的解码图像和所述差值数据相加从而产生解码图像。
14.一种图像映射方法，用于针对预定物体映射图像，该方法包括反复变换解码步骤，用于对反复变换编码操作的图像数据进行反复变换解码同时对其实施定标；临时存储步骤，用于临时在缓冲存储器保存反复变换解码步骤得到的解码图像；定标步骤，用于对预定物体形状进行定标以计算定标后的物体形状；以及映射步骤，用于针对定标后的物体形状映射所述解码图像。
15.如权利要求14所述的图像映射方法，其中，所述已经过反复变换编码的图像数据由指示块位置的块编号和变换参数组成，以及其中，所述反复变换解码步骤包括下列子步骤根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生定标块；针对所述定标块对块图像实施对应于所述变换参数的变换处理。
16.如权利要求14所述的图像映射方法，其中，在所述缓冲存储器中临时存储由所述反复变换解码步骤执行的反复变换解码操作而最终得到的解码图像。
17.如权利要求14所述的图像映射方法，其中，在所述反复变换解码步骤执行变换解码时，在所述缓冲存储器中临时依次存储各个变换解码操作得到的各个解码图像；以及其中，在所述映射步骤，采取一过程来对来自所述缓冲存储器的各个变换解码操作得到的各个解码图像依次执行针对定标后物体形状的映射。
18.如权利要求14所述的图像映射方法，其中，已经过反复变换编码的图像数据由指示块位置的块编号和变换参数组成；所述反复变换解码步骤包括下列子步骤根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生定标块；针对所述定标块对块图像实施对应于所述变换参数的变换处理；判断在执行反复变换解码得到的当前解码图像和在所述当前解码图像之前已经解码的解码图像之间的收敛度，以根据判断结果反复执行变换解码操作。
19.一种图像生成方法，用于生成针对预定物体映射图像的图像，该方法包括反复变换解码步骤，用于对已经过反复变换编码的图像数据进行反复变换解码同时对其实施定标；以及输出步骤，用于输出解码图像以便它能够被映射部使用，来针对定标后的物体形状映射图像。
20.如权利要求19所述的图像生成方法，其中，已经过反复变换编码的图像数据由指示块位置的块编号和变换参数组成；所述反复变换解码步骤包括下列子步骤根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生定标块；针对所述定标块对块图像实施对应于所述变换参数的变换处理。
21.如权利要求19所述的图像生成方法，其中所述输出步骤输出在所述反复变换解码步骤执行反复变换解码而最终得到的解码图像。
22.如权利要求19所述的图像生成方法，其中，在执行反复变换解码时，所述输出步骤临时依次输出各个变换解码操作得到的各个解码图像；以及其中，在所述映射步骤依次针对已通过定标的物体形状来映射所输出的各个解码图像。
23.如权利要求19所述的图像生成方法，其中，已经过反复变换编码的图像数据由指示块位置的块编号和变换参数组成；所述反复变换解码步骤包括下列子步骤根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生定标块；针对所述定标块对块图像实施对应于所述变换参数的变换处理；判断在执行反复变换解码得到的当前解码图像和在所述当前解码图像之前已经解码的解码图像之间的收敛度，以根据判断结果反复执行变换解码操作。
24.如权利要求19所述的图像生成方法，还包括运算步骤，用于计算由执行反复变换解码而得到的当前解码图像和在所述当前解码图像之前已解码的解码图像之差；以及其中，所述输出步骤输出表示该差值的数据。
25.一种图像映射方法，用于针对预定物体映射图像，该装置包括定标步骤，用于对预定物体形状进行定标以计算定标后的物体形状；以及映射步骤，用于针对定标后的物体形状映射解码图像；其中，所述解码图像是通过对已经过反复变换编码的图像数据执行反复变换解码同时对其实施定标而得到的解码图像。
26.如权利要求25所述的图像映射方法，其中，经反复变换编码的图像数据由指示块位置的块编号和变换参数组成；其中，所述解码图像由下列子步骤生成根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生定标块；针对所述定标块对块图像实施对应于所述变换参数的变换处理；反复执行变换解码操作。
27.如权利要求25所述的图像映射方法，其中所述解码图像是由执行反复解码而最终得到的解码图像。
28.如权利要求25所述的图像映射方法，其中，所述解码图像是在执行反复变换解码时由各个变换解码操作得到的各个解码图像；以及其中，在所述映射步骤，采取一过程依次对各个解码图像执行针对定标后物体形状的映射。
29.如权利要求25所述的图像映射方法，其中，经反复变换编码的图像数据由指示块位置的块编号和变换参数组成；以及其中，按下列步骤来获得所述解码图像根据所述块编号再现变换原始块，以再现位于预定位置的块；执行块定标以产生定标块；针对所述定标块对块图像实施对应于所述变换参数的变换处理；判断在执行反复变换解码得到的当前解码图像和在所述当前解码图像之前已经解码的解码图像之间的收敛度，以根据判断结果反复执行变换解码操作。
30.如权利要求25所述的图像映射方法，其中，所述解码图像被作为由执行反复变换解码而得到的当前解码图像和在所述当前解码图像之前已解码的解码图像之间的差值数据来传送；所述方法还包括运算步骤，用于将已传送的解码图像和所述差值数据相加从而产生解码图像。
全文摘要
在反复变换解码部20对已经过反复变换编码(例如部分编码)的图像数据进行反复变换解码同时对其进行定标,临时将这样得到的解码图像保存在缓冲部9。在形状信息计算部12,采用了一种手段来计算物体形状同时对其实施定标,然后将这样获得的物体形状(例如多边形)发送到图像映射部10,以便对来自缓冲部9的解码图像实施映射。于是实现了一种纹理映射装置,其中即使当发生变形例如缩放时,也很难使纹理图像质量劣化。
文档编号G06T11/40GK1231101SQ98800952
公开日1999年10月6日 申请日期1998年6月1日 优先权日1997年5月30日
发明者福原隆浩 申请人:索尼公司