专利名称：用于表示3维情景中基于图像的绘制信息的方法
技术领域：
本发明涉及一种用于使能够在动画框架扩展(AFX)技术中使用基于图像的绘制(reder)(IBR)技术的方法。
背景技术：
自3维(3D)图形研究之初，实现如真实图像的生动性已成为该领域研究者的目标。因此，使用多面模型的传统绘制技术的研究已得到开展并且其结果使建模和绘制技术得以足够发展以提供非常生动的3D环境。但是，用于生成复杂模型的过程需要专家的大量努力及花费很长时间。并且生动和复杂的环境需要巨量信息并导致存储和传输的较低效率。
发明内容
为解决上述问题，本发明的目的是提供一种用于使用3D情景中基于图像的绘制(IBR)技术表示3D情景中的对象的方法。
为实现本发明的目的，提供一种使用3D情景中基于图像的绘制(IBR)技术表示3维(3D)情景中的对象的方法，该方法包括使用图像信息和图像的每个点上的深度信息表示对象的步骤。
为定义一个平面，最好包括用于定义观看该平面的视觉位置，观看该平面的方向和视场的宽度与长度的域(field)。
为实现本发明的目的，还提供一种用于使用3D情景中基于图像的绘制(IBR)技术表示3维(3D)情景中的对象的方法，该方法包括表示模型几何信息的步骤，其中如果存在包含该模型的立方体，该立方体由一个节点表达，并且在将该立方体平均划分成八个立方体后，将每个划分后的立方体处理为子节点，并且将包含该模型一部分的子节点平均划分成八个节点，并且重复该过程直到节点的尺寸足够小为止。
通过参考附图对本发明优选实施例的详细说明，本发明的上述目的和优点将变得更加清楚，其中图1是在箱式纹理(box texture)中使用的图像信息的例子的示意图；图2是在箱式纹理中使用的深度信息的例子的示意图；图3是将每个点进行投影以在浮雕式纹理上生成信息的例子的示意图；图4是将每个点进行投影以在分层深度图像上生成信息的例子的示意图；图5是其中将每个点进行投影以在分层深度图像上生成信息的例子的示意图；图6是说明八分树(Octree)中子节点的顺序的示意图；图7是说明应用于正交投影的深度图像(DepthImage)节点的每个域的示意图；图8是说明应用于透视投影的深度图像节点的每个域的示意图；图9是使用箱式纹理信息的绘制例子的示意图；图10是八分树结构的局部视图；以及图11是说明用于八分树结构信息的绘制方法的示意图。
具体实施例方式
最近，通过使用真实图像或画面能够生成生动情景的基于图像的绘制(IBR)技术得到了积极的研究。IBR技术通过使用事先获得的多个图像能够在多个方向观看对象。因此，与传统绘制中的信息量和计算量随着情景中模型的复杂性而增加不同，IBR技术能够用与复杂性无关的信息和计算重现生动情景。
国际标准化组织，国际标准化组织/国际电工技术委员会(ISO/IEC)属下的JTC1/SC29/WG11组已建立了使能够表示3D情景的标准，MPEG-4系统(14496-1)。为扩展该标准，由MPEG SNHC子组对动画框架扩展(AFX)进行的标准化工作已在进行中。
IBR技术以各种方式实现。首先，为在一个位置从多个方向进行观看，从一个位置对情景的所有方向进行拍摄，然后将拍摄的情景连接为全景图像并提供用于观察。为观看沿多个位置的移动，在该多个位置的每个位置对情景的所有方向进行拍摄。但是，这种方法需要太多的图像数据。为解决该问题，已研究了一种一起使用几何数据和图像数据的技术。
在IBR技术中有使用几何表示的各种技术。其中，表面光场技术或视觉依赖纹理技术支持高画面质量但需要复杂的几何信息。同时，浮雕式纹理(RT)技术通过使用图像和该图像每个点上的深度信息提供具有立体效果的纹理。当将RT技术应用于立方体时，该技术指的是箱式纹理(BT)。在这种情况下，使用如图1中所示的对应于立方体六个表面的六个图像以及如图2中所示的对应于每个图像的深度信息。当将BT应用于任意数目的平面而不是立方体时，该技术可以指通用箱式纹理(Generalized Box Texture)(GBT)。如果用一般图像压缩技术对这些技术(RT，BT，或GBT)的图像信息和深度信息进行压缩，可以减小信息量。但是，由于这些技术仅使用从一个平面可以看到的点上的信息，如图3中所示，将会丢失从该平面不能看到的位置上的信息。
为解决该问题，可以使用分层深度图像(Layered Depth Image)(LDI)技术。在LDI技术中，如图4中所示，将投影到平面上的点的所有点的颜色和距离进行存储。因此，如图5中所示，生成了对应于平面上每个点的多个点的信息。虽然LDI技术比RT或BT技术需要更多的信息，但LDI技术保存了所有点上的信息。
在其它不使用深度信息的方法中，有一种将几何信息存储在八分树结构中的方法。在八分树结构中，立方体由节点表达，并且在将该立方体平均划分为八个立方体后，将每个划分后的立方体处理为子节点。当立方体包含模型时，将表达该立方体的节点平均划分为八个立方体，然后在该多个子节点中，再次将包含该模型一部分的节点平均划分为八个立方体。如果重复该划分过程直到划分后节点的尺寸足够小为止，可以由八分树表达该模型的几何信息。IBR技术使用八分树结构存储几何信息的一个例子为二元测容积八分树(Binary Volumetric Octree)(BVO)技术。
在本发明中，作为使用几何信息的IBR技术中的简单技术，GBT、LDI、及八分树的表达方法方法如下面定义进行使用，并且可以应用到MPEG-4AFX中。
两者都使用深度信息的GBT和LDI可以互相一起使用。GBT和LDI使用将深度信息元素处理为组的深度图像组(DepthImageGroup)节点。表1说明了深度图像组节点的定义。深度图像组在名为深度图像(depthImage)的数组中处理深度图像(DepthImage)节点。
表1
表2说明了深度图像节点的定义。深度图像节点处理平面上的图像信息以及包括在预定范围内的深度信息。
表2
首先，为定义一个平面，定义观看该平面的视觉位置和观看该平面的方向，并且定义视场(fieldOfView)的宽度和长度。然后为定义深度信息的范围，定义从视点到近边界平面(nearPlane)的距离和从视点到远边界平面(farPlane)的距离。在使用这些信息元素的投影方法中，有两种投影，正交投影和透视投影，并且正交信息为用于确定投影方法的参数。当正交信息为真时，将fieldOfView域的宽度值和长度值分别用做边界平面的宽度尺寸和长度尺寸。当正交信息为假时，将fieldOfView域的宽度值和长度值分别用做视场宽度的角度和视场长度的角度。深度图像纹理(diTexture)也具有图像信息和深度信息。
对于具有图像信息和深度信息的diTexture域，可以使用三种IBR纹理节点(简单纹理(SimpleTexture)、分层纹理(LayeredTexure)、以及点纹理(PointTexture))之一。简单纹理节点具有一个图像信息元素(Texture)和一个深度信息元素(depth)。
表3说明了简单纹理节点的定义。这可以表达一个RT信息元素。
表3
分层纹理节点可以具有多个图像信息元素(Textures[])以及与图像信息元素相同数目的深度信息元素(depth[])。表4说明了分层纹理节点的定义。这可以表达一个LDT信息元素。对于简单纹理节点和分层纹理节点，可以使用在MPEG-4中使用的纹理节点(图像纹理(ImageTexture)、电影纹理(MovieTexture)、像素纹理(PixelTexture)、等)。当使用如电影纹理的运动画面信息时，可以使IBR信息变为动画。
表4
点纹理节点具有投影到平面上每个点的所有点上的深度信息数组(depth[])及每个点上的颜色数组(color[])。表5说明了点纹理节点的定义。深度信息数组存储投影到该平面上每个点的空间点的数目，然后存储每个相应的深度信息元素。
表5
可以将能够处理八分树信息的节点定义为表6的八分树图像(OctreeImage)节点。
表6
在Octreelevel域中，定义了树结构的最高级。例如，Octreelevel的值为8，可以将八分树结构构建成分层的八个级别。因此，沿着立方体的一边，可以生成最多256个叶节点。Octreeimage[]表示深度图像节点的数组。此时，在深度图像节点的diTexture域中，应该使用简单纹理节点，并且不使用深度图像节点的nearPlane和farPlane域以及简单纹理节点的depth域。Octreesize域指明了立方体一边的长度。为了放置立方体，将坐标系的原点置于立方体的中心。
Octree域具有指明八分树内部节点结构的数组。每个节点包含长度为1字节的子节点的信息。如果第i位为1，则该节点具有子节点。子节点的顺序可以如图6中所示定义。八分树数组中每个节点的排列顺序为宽度(breadth)优先搜索顺序。即，在最高级节点上的信息元素后，放置第二最高级节点上的信息元素，然后排列下一级节点的信息元素。可以选择性地使用Octreenormal[]域和Octreecolor[]域，并且可以分别存储每个八分树节点的普通信息和颜色信息。
为了在IBR中表达几何信息，存在使用深度信息的方法(GBT，LDI)及使用结构信息的方法(Octree)。根据本发明的优选实施例，定义一个节点从而可以在MPEG-4 AFX中使用几何信息。
图7说明了应用到正交投影的如表2所定义的深度图像节点每个域的意义。图8说明了应用到透视投影的深度图像节点每个域的意义。深度图像节点为定义在由图7或8中粗线标出的六面体内的对象、处理投影到靠近视点的近平面的点上的信息。图9说明了由使用将IBR应用到立方体的箱式纹理技术的程序获得的结果。
图10是八分树结构的局部视图。为表达做为八分树的立方体内的对象，将包含该对象的表面的节点重复进行划分。对节点划分的次数越多，越能够精确地表示该对象。在将对象显示到屏幕时，以节点的放置离屏幕最远的距离的顺序显示各节点，如图11中所示。
根据本发明，使用3D情景中基于图像的绘制技术，提供一种用于表示3D情景中对象的方法和装置。特别是，在ISO/IEC 14496(MPEG-4)或虚拟现实建模语言(VRML)中，使用3D情景中基于图像的绘制技术，可以表示3D情景中的对象。这里，使用GBT技术、LDI技术或BVO技术，可以绘制3D情景中的对象。
本发明可以嵌入到在计算机可读记录介质上能够由计算机读取的代码中。计算机可读记录介质包括在其上存储计算机可读数据的各种记录装置。计算机可读记录介质包括比如磁存储媒体(例如，ROM、软盘、硬盘、等)、光可读媒体(例如，CD-ROM、DVD、等)的存储媒体以及载波(例如，互联网上的传输)。计算机可读记录介质还可以分散在通过网络连接的计算机系统中，并且可以以分布式模式存储和执行计算机可读代码。执行根据本发明的方法所需的数据结构或数据库还可以记录在如上所述的记录介质中，并且通过操作计算机程序，可以获得预期功能和效果。
如上所述，在本发明中，通过为具有几何信息的IBR技术中的简单方法GBT、LDI、和八分树定义表达方法，可以将它们使用在MPEG-4 AFX中。在本发明中定义的IBR表达简单并且容易使用，并且如果与由MPEG-4提供的图像压缩技术一起使用，可以对数据进行有效压缩和传输。并且，当使用运动画面时，IBR技术可以使能动画。用本发明中定义的节点，IBR可以使用在用于表达比如VRML和MPEG-4的3D情景的方法中。本发明提供一种用于表达IBR技术的方法和装置从而可以在MPEG-4 AFX中使用IBR技术。
权利要求
1.一种方法，用于使用3D情景中基于图像的绘制(IBR)技术表示3维(3D)情景中的对象，该方法包括下面步骤使用图像信息和图像的每个点上的深度信息表示对象。
2.如权利要求1所述的方法，其中为定义一个平面，包括用于定义观看该平面的视觉位置，观看该平面的方向和视场的宽度与长度的域(field)。
3.如权利要求1所述的方法，其中为定义深度信息的范围，包括用于定义从视点到近边界平面的距离和从视点到远边界平面的距离的域。
4.如权利要求1所述的方法，其中包括用于指明投影方法为正交投影或透视投影的域。
5.如权利要求2所述的方法，其中在正交投影方法中，视场的宽度值和长度值指明边界平面的宽度尺寸和长度尺寸，并且在透视投影方法中，视场的宽度值和长度值分别指明视场宽度和视场长度的角度。
6.一种方法，用于使用3D情景中基于图像的绘制(IBR)技术表示3维(3D)情景中的对象，该方法包括下面步骤使用图像信息、投影到图像平面每个点上的所有点的深度信息数组、以及每个点的颜色信息数组表示对象。
7.如权利要求6所述的方法，其中为定义一个平面，包括用于定义观看该平面的视觉位置，观看该平面的方向和视场的宽度与长度的域。
8.如权利要求6所述的方法，其中为定义深度信息的范围，包括用于定义从视点到近边界平面的距离和从视点到远边界平面的距离的域。
9.如权利要求6所述的方法，其中包括用于指明投影方法为正交投影或透视投影的域。
10.如权利要求7所述的方法，其中在正交投影方法中，视场的宽度值和长度值指明边界平面的宽度尺寸和长度尺寸，并且在透视投影方法中，视场的宽度值和长度值分别指明视场宽度和视场长度的角度。
11.一种方法，用于使用3D情景中基于图像的绘制(IBR)技术表示3维(3D)情景中的对象，该方法包括下面步骤表示模型的几何信息，其中如果存在包含该模型的立方体，该立方体由一个节点表达，并且在将该立方体平均划分成八个立方体后，将每个划分后的立方体处理为子节点，并且将包含该模型一部分的子节点平均划分成八个节点，并且重复该过程直到节点的尺寸足够小为止。
12.如权利要求11所述的方法，其中节点包括Octreelevel域，用于定义树结构的最高级别；Octreesize域，用于指明立方体一边的长度；以及Octree域，为用于指明八分树内部节点结构的数组。
13.一种计算机可读介质，其上嵌入了用于权利要求1、7和11中任何一个的方法的计算机程序。
全文摘要
提供一种能够在动画框架扩展(AFX)技术中使用基于图像的绘制(IBR)技术的方法。在用于使用3D情景中IBR技术表示3D情景中的对象的方法中，使用图像信息和该图像每个点上的深度信息，或使用图像信息和投影到该图像平面每个点上的所有点的深度信息数组或每个点的颜色信息数组。在该方法中，通过为具有几何信息的IBR技术中的简单方法GBT、LDI、以及八分树(Octree)定义表达方法，这些方法可以用于在MPEG－4 AFX中。
文档编号G06T19/00GK1396564SQ02140150
公开日2003年2月12日 申请日期2002年7月4日 优先权日2001年7月9日
发明者韩万镇, 亚历克西·伊格内坦科 申请人:三星电子株式会社