专利名称：互动虚拟现实系统的基于模型的景像外推的制作方法
技术领域：
本发明与互动网技术有关，具体地说，与服务机以互动方式向客户机提供虚拟现实世界的视像的网络有关。
与基于文本的媒体不同，图像必需以可预测的同步方式发送，要求有保证的服务质量，以及有保证的带宽和有保证的对诸如处理延迟和抖动之类的其他特性的限制。支持有保证的服务质量的连接的协议即将由基于ATM的网络或诸如FDDI和高速以太网提供。这样的协议在一个发送装置(多媒体服务机)和一个接收装置(客户机)之间建立一个虚拟连接，如果沿途能保留足以支持这个连接所需的最低服务值质量的资源的话。
摄影逼真虚拟现实应用与基于电视图像的实时应用类似，但提供了全互动操作方式。在许多虚拟现实系统中，用户必需真正感受所要探索和发现的环境，与环境顺当地交流互动。在互动web系统的情况下，客户机带有虚拟摄像机遨游于虚拟环境中。服务机不断接收有关客户机的摄像机的位置和朝向以及它的可以修改虚拟环境的种种活动的情况。所有涉及整体设置的信息都保存在服务机内。按照客户机的运动，服务机用能产生新景像的必需数据对客户机进行更新。
时间滞后和质量差的图像是现实感不足的主要原因。高保真性和摄影真实性可以利用全纹理化(摄影映射)环境来达到。今天，我们正目睹在世界范围的web系统上用虚拟现实模型化语言(VRML)描述的3D虚拟世界的迅速增加的情况。然而，在web系统上与远地虚拟环境互动仍受很大限制。普通的方法是首先将整个VRML 3D世界下载给客户机，然后客户机在本机恢复场景。这种方法只要环境不过于复杂是相当成功的，否则下载时间会过长。这妨碍了为达到摄影逼真效果而必需的摄影纹理的使用。应强调的是，下载时间对于每次会话改变都是需要的，例如，在电视购物应用中用户走到上一层或在电视游戏中用户移动到另一个行星时。
为了避免上述缺点，业已提出另一方法，服务机计算出新的景像，将它们压缩后发给客户机。虽然每个图像都是经压缩的(例如JPEG)，但传输量仍相当大，需要昂贵的带宽，否则图像质量就比较差。诸如MPEG之类的利用时序数据冗余的电视图像压缩技术是根据帧间的相关性，可以进行在线压缩，但有时间滞后，不能实时反馈。
因此，普遍认为如果能开发出一种可以在互动服务机-客户机系统的客户机上快到足以保持虚拟现实幻觉地提供远地复杂虚拟现实世界景像的方法，那将是十分有益的。
在地标领航(visual navigation)应用中，始终需要在图像质量和帧率之间进行折衷。在互动实时系统中，要求维护用户规定的最低帧率。T.A.Funkhouser和C.H.Sequin在“复杂虚拟环境可视化期间互动帧率的自适应显示算法”(Adaptive display algorithm for interactiveframe rates during visualization of complex virtual environments.Computer Graphics(SIGGRAPH’93 Proceedings)，pp.247-254，August 1993)中提出一种通过按照估计的绘制成本选择细致级别和绘制算法自适应地调整图像的算法。P.W.C.Maciel和P.Shirley在“利用纹理化群的大环境地标领航”(Visual navigation of largeenvironments using textured clusters，1995 Symposium on Interactive3D Graphics，pp.95-102，Appril 1995)中提出利用顶替处理(imposture)以速度换取质量。经顶替处理后的绘制必需比真实模型快，而在视觉上与真实图像相像。纹理映射为简化模型就是一种普通的顶替处理形式。J.Shade，D.Lischinski，D.H.Salesin，J.Snyder和T.Derose在“快速巡视复杂环境的分层图像高速缓冲存储”(Hierarchicalimage caching for accelerated walkthroughs of complex environments，computer Graphics(SIGGRAPH′96 Proceedings)中，G.Schauffler和W.Sturzlinger在“虚拟现实的三维图像高速缓冲存储器”(A threedimensional image cache for virtual reality，Eurographics′96，Computer Graphics Forum Vol.15 No.3 pp.227-235，1996)中，以及D.G.Aliaga在“利用基于纹理的动态简化显示复杂模型景像”(Visualization of complex models using dynamic texture-basedsimplification，Proceedings of Visualization 96)中，都用了一种单纹理多边形。这些基于图像的图元与景像有关，形成一种紧凑的表示，因此它们具有可以更适合一些也必需支持用户所规定的通信带宽的应用的潜力。
S.Eric Chen和L.Williams在“图像综合的景像内插”(Viewinterpolation for image synthesis，Computer Graphics(SIGGRAPH′93Proceedings)，pp.279-288，August 1993)中，以及T.Kaneko和S.Okamoto在“领航应用中带距离数据的景像内插”(View interpolationwith range data for navigation applications，Computer GraphicsInternational，pp.90-95，June 1996)中，通过“景像内插”根据一系列预先计算得出的基准图像产生一些新的图像。除了图像，相应的地图也是必要的，这样可以使一个图像同态化成另一个图像。用户可以漫步通过相继连接存储有预先计算好的景像的位置的受限路径，感受到所提供的沿途连接的各中间景像。
景像内插和任何基于图像的绘制技术的优点是产生一个新的图像与场景的复杂性无关。这种技术给出了比在一个电视图像序列内前后漫步更多的自由。然而，它只能在相邻图像描绘的是从不同视点看到的同一对象时才工作得比较好。内插的景像可能会有某些失真，因为线性内插并不保证得到自然或物理真实的中间图像。近来，S.M.Seitz和C.R.Dyer在“景像同态处理”(View morphing，ComputerGraphics(SIGGRAPH′96 Proceedings))中提出了一种称为“景像同态处理”的新方法，较好地维护了中间形态的外观。基于图像的方法通常并不考虑基本的3D模型，因此需要改善一些称为孔洞和交叠之类的固有问题。在前面所引用的Kaneko和Okamoto的论文中，将从距离扫描器获取的充分的距离数据分别与各基准图像联系起来。确切的距离简化了产生中间图像的处理。不需要通信联系，用Z缓存处理很容易解决交叠问题。P.E.Debevec，C.J.Taylor和J.Malik在“根据照片建模绘制技术，一种基于几何和图像的混合方法”(Modeling andrendering architecture from photographsa hybrid geometry-andimage-based approach，Computer Graphics(SIGGRAPH′96Proceedings))中，利用一组视点近似3D模型，通过与景像有关的纹理映射技术根据任选的视点绘制新的景像。
本发明为服务机与客户机协同绘制一个虚拟世界的多个各与一个视点相应的景像的系统提供的实时产生这些景像的方法包括下列步骤(a)向客户机发送一个第一基准景像；(b)向客户机发送一个模型的至少一个部分；(c)根据所述模型的所述部分对所述第一基准景像进行外推，得出一个外推景像；(d)向客户机发送至少一个校正数据集；以及(e)根据所述至少一个校正数据集校正所述外推景像，从而得出至少一个第二基准景像。
按照本发明，为服务机与客户机协同绘制一个虚拟世界的多个景像的系统提供了一种实时更新这些景像的方法，所述方法包括下列步骤(a)向客户机发送一个第一基准景像；(b)对所述第一基准景像进行外推，得出一个外推景像；(c)向客户机发送至少一个校正数据集；以及(d)根据所述至少一个校正数据集校正所述外推景像，得出至少一个第二基准景像。其中，所述外推在所述校正前至少进行两次。
本发明是建立在一种在诸如世界范围的web网那样的网络上利用客户机和服务机双方同时与复杂的虚拟世界进行互动的新范型的基础上的。客户根据本地可得到的数据产生(外推)出新的景像，而服务机发送的只是防止误差积累所必需的数据。由Marc Levoy在“综合图像的多边形辅助JPEG和MPEG压缩”(Polygon-assisted JPEGand MPEG compressin of synthetic images，Computer Graphics(SIGGRAPH′95 Proceedings)，pp.21-28，August 1995)中所提出的“多边形辅助”压缩早先就建议在服务机与客户机之间划分绘制任务。客户机绘制低质量图像，从服务机接收经压缩的高质量图像与低质量图像之差。这要求为每个帧都传输一个差图像。相反，在本发明中，客户机可以自主地产生多个帧。
本发明利用了上面引述的景像内插原理。这使用户可以得到沿途虚拟世界的平滑经历。然而，本发明不是在预先计算好的景像之间进行内插，而是对最后构成的基准景像进行外推得出新的景像。
下面将结合附图举例说明本发明的情况。在这些附图中
图1为基于模型的外推方案的流程图；以及图2为新景像产生的流程图。
本发明所提出的是一种在任何互动客户机-服务机网(从世界范围的web网到甚至是一个简单的通信线路)的客户机上快到足以保持虚拟真实性幻觉地绘制一个虚拟真实世界的景像的方法。
考虑用户在一个远地虚拟环境内漫游的互动web系统。按照本发明，客户机根据本地可得到的数据进行外推，得到新的景像。这些数据包括以前的图像、摄像机位置和距离数据。由于客户机不能外推出确切的新景像，因此需要由服务机向客户机发送一个校正数据集，例如一个差图像，表示客户机的近似景像与确切新景像之差。校正数据集最好是经压缩的，以减少网络的传输量。此外，服务机不需要每个帧都对客记机的外推景像进行校正，而是以比客户机的帧频低的频率进行校正，从而进一步降低了对网络的要求。一个新景像R+i是一个基标景像R的外推。为了改善外推景像的质量，保证基准景像充分接近当前帧，服务机需要发送相应的校正数据集。由于所发送的数据不一定重构当前景像，因此不会发生处理延迟。
新景像的外推是根据基于模型的背投影技术进行的。ManeeshAgrawala，Andrew Beers和Navin Chaddha在“对于综合动画的基于模型的运动估计”(Model-based motion estimation for syntheticanimations，Proc.ACM Multlimeidia′95)中，以及D.S.Wallach，S.Kunapalli和M.F.Cohen在“动态多边形景像的快速MPEG压缩”(Accelerated MPEG compression of dynamic polygonal scenes，Computer Graphics(SIGGRAPH′94 Proceedings)，pp.193-197，July1994)中，对于综合动画利用基于模型的技术为基于块的电视图像压缩算法进行运动补偿。这些技术表明，基于模型的方法明显地改善了帧间相关性的利用。在景像外推方案中，运动补偿由客户机计算，不需要发送。需要发送的只是差值。就网络要求来看，这保证了较高的比特率压缩(较低的带宽要求)或较高的图像质量。
虚拟环境包括在服务机存储的纹理化模型。有关部分的模型按在取景器内的相对位置发送给客户机。所发送的模型只包括它的几何关系而不包括纹理(应强调的是，纹理空间可能明显地大于几何空间)。所发送的模型可以包括全部或只是部分的真实模型的几何关系，也可以是全部或部分的真实模型的几何关系的一个近似。3D模型不需要不断地发送到网上，但可以以增量形式发送，而由客户机加以动态变换。服务机只是在新模型进入视场时或者在对现有模型的细致程度另有要求时才发送模型数据。
下面参见附图，图1是本发明的基于模型的外推方案的方框图。这个方案的初始化是，服务机向客户机传输恢复从客户机的初始视点看到的虚拟现实世界的景像所需的模型部分M和从这个视点看到的一个确切的基准景像R。用户通过输入新的视点的座标在这个虚拟现实世界内漫游。客户机和服务机双方都将模型M变换到新的视点。经变换的模型M与基准景像R如以下面所述那样合并后，得到一个外推景像W。这也由客户机和服务机双方完成。此外，服务机还利用完全模型和纹理T计算出与新的视点相应的确切景像V。按需要，服务机计算出校正数据集发送给客户机。客户机利用校正数据集校正基准景像R。按照图1所示的本发明的这个实施例，校正数据集为确切景像V与相应的外推景像W之差D，即D＝V-W。D发送给客户机与W合成(在本实施例中即将D与W相加)，得到一个经更新的基准景像R。同样，这样的合成也由客户机和服务机双方完成，使得服务机始终知道客户机的状态。或者，如图1所示，服务机可以将D压缩成一个压缩的差图像D′后再传输给客户机。如果使用的是诸如JPEG那样的有损压缩，那么新的基准景像只是V的一个近似。如果使用的是无损压缩，那么新的R就与V一致。
在需要的时候，模型的其他部分也从服务机发送给客户机。这样，客户机始终具有外推到新的视点所需的模型的各部分。
本发明的外推方案在某种意义上与MPEG压缩技术类似。一个MPEG电视图像流包括帧内压缩帧(I)、预测帧(P)和内插帧(B)。I帧是独立编码的，与序列内任何其他帧无关，而P帧和B帧利用运动估计和内插加以编码的。P帧和B帧大大小于I帧。P帧的运动估计是根据前面的帧和后继的帧得出的。按照本发明，后继的帧不是现有的，因此使用的是外推帧W而不是P帧和B帧。
图2为按本发明产生一个新的景像的流程图。这以三个步骤来实现。第一步是绘制模型M，建立一个Z图。第二步是通过反/投影到基准景像R上产生外推景像。第三步是利用所发送的包括校正数据集的数据校正失真的景像W。如前面所指出的那样，第三个步骤只是有需要的时才执行，不必每个循环都执行。
这里列举的本发明的这个实施例只用一个基准景像来进行景像外推，而用一个差图像作为校正数据集。可以理解，这些不是本发明的固有限制。本发明的专利保护范围包括其他类型的校正数据集和根据几个基准景像进行外推，对于熟悉该技术领域的人员来说这是显而易见的。
虽然本发明是以不多的几个实施例来加以说明的，但可以理解本发明可以作出许多变动、修改，以及应用于其他一些领域。
权利要求书按照条约第19条的修改1.一种用于服务机与客户机协同绘制一个虚拟世界的多个各与视点相应的景像的系统中的实时产生这些景像的方法，所述方法包括下列步骤(a)向客户机发送一个第一基准景像；(b)向客户机发送一个模型的至少一个部分；(c)根据所述模型的所述部分对所述第一基准景像进行外推，得出一个外推景像；(d)向客户机发送至少一个校正数据集；以及(e)根据所述至少一个校正数据集校正所述外推景像，得出至少一个第二基准景像。
2.权利要求1的方法，其中所述外推步骤由下列步骤实现(i)将所述模型变换到所述外推景像的视点；(ii)绘制所述模型；以及(iii)将所述模型反投影到所述第一基准景像上。
3.权利要求1的方法，所述方法还包括下列步骤(f)服务机绘制一个确切景像；以及(g)从所述确切景像中减去所述外推景像，得出一个差图像，用作所述至少一个校正数据集之一。
4.权利要求3的方法，所述方法还包括下列步骤(h)压缩所述差图像。
5.权利要求1的方法，所述方法还包括下列步骤(f)将所述第一基准景像用所述至少一个第二基准景像之一代替。
6.权利要求1的方法，其中所述校正数据集包括一个差图像。
7.权利要求1的方法，其中所述对所述第一基准景像的外推进行多次，从而得出多个外推景像，而其中所述校正只对所述多个外推景像中的一部分进行。
8.一种用于绘制多个各与视点有关的景像的系统中的重建至少多个景像之一的方法，所述方法包括下列步骤(a)提供一个含有至少一个基准景像的集合；(b)提供距离数据；(c)根据所述距离数据和根据至少一个视点对所述含有至少一个基准景像的集合进行外推，得出至少一个外推景像；(d)提供至少一个校正数据集；以及(e)根据所述至少一个校正数据集校正所述至少一个外推景像，得出至少一个新的基准景像。
9.权利要求8的方法，其中，对于至少所述至少一个基准景像之一，所述外推进行多次，得出多个外推景像，而所述校正只对所述多个外推景像中的一部分进行。
10.权利要求8的方法，其中所述距离数据作为一个几何模型的一部分提供。
11.权利要求8的方法，所述方法还包括下列步骤(f)将所述新的基准景像加到所述含有至少一个基准景像的集合中。
12.权利要求8的方法，其中所述外推包括运动补偿。
13.权利要求12的方法，其中所述运动补偿包括反投影。
14.权利要求8的方法，其中所述校正数据集包括一个确切景像与这外推图像之差。
15.权利要求14的方法，所述方法还包括下列步骤(f)根据一个虚拟现实世界绘制所述确切景像。
16.权利要求8的方法，所述方法还包括下列步骤(f)压缩所述校正数据集。
17.权利要求16的方法，其中所述压缩采用有损压缩。
18.权利要求17的方法，其中所述有损压缩是JPEG。
19.权利要求8的方法，其中所述距离数据足以用来进行所述外推。
20.权利要求8的方法，其中所述多个景像由一个发送方和一个接收方协同绘制。
21.权利要求20的方法，其中所述提供所述含有所述至少一个基准景像的集合、所述提供所述距离数据和所述提供所述至少一个校正数据集是通过从所述发送方向所述接收方发送所述含有所述至少一个基准景像的集合、所述距离数据和所述至少一个校正数据集来实现的。
22.权利要求20的方法，其中所述外推和所述校正是由所述发送方和所述接收方双方实现的。
23.权利要求20的方法，其中所述接收方包括一个具有一个虚拟摄像机的客户机，所述至少一个视点由所述虚拟摄像机提供，所述距离数据按所述至少一个视点得出。
24.权利要求23的方法，其中所述数据包括在从所述发送方向所述接收方发送的一个几何模型的一个部分内，所述几何模型的所述部分按照所述至少一个视点选择。
25.权利要求23的方法，其中所述距离数据包括在从所述发送方向所述接收方发送的一个几何模型的一个部分内，所述几何模型的所述部分按照所要求的细致程度选择。
26.权利要求20的方法，其中所述发送方包括一个服务机，而其中所述接收方包括一个客户机，所述服务机与所述客户机通过一个网络连接。
27.权利要求26的方法，所述方法还包括下列步骤(f)由所述客户机确立至少一个视点。
28.权利要求27的方法，所述方法还包括下列步骤(g)由所述客户机向所述服务机提供所述至少一个视点；以及(h)由所述服务机根据所述至少一个视点确定所述至少一个校正数据集。
29.权利要求27的方法，其中所述确立所述至少一个视点是按照用户漫游情况实现的。
权利要求
1.一种用于服务机与客户机协同绘制一个虚拟世界的多个各与视点相应的景像的系统中的实时产生这些景像的方法，所述方法包括下列步骤(a)向客户机发送一个第一基准景像；(b)向客户机发送一个模型的至少一个部分；(c)根据所述模型的所述部分对所述第一基准景像进行外推，得出一个外推景像；(d)向客户机发送至少一个校正数据集；以及(e)根据所述至少一个校正数据集校正所述外推景像，得出至少一个第二基准景像。
2.权利要求1的方法，其中所述外推步骤由下列步骤实现(i)将所述模型变换到所述外推景像的视点；(ii)绘制所述模型；以及(iii)将所述模型反投影到所述第一基准景像上。
3.权利要求1的方法，所述方法还包括下列步骤(f)服务机绘制一个确切景像；以及(g)从所述确切景像中减去所述外推景像，得出一个差图像，用作所述至少一个校正数据集之一。
4.权利要求3的方法，所述方法还包括下列步骤(h)压缩所述差图像。
5.权利要求1的方法，所述方法还包括下列步骤(f)将所述第一基准景像用所述至少一个第二基准景像之一代替。
6.权利要求1的方法，其中所述校正数据集包括一个差图像。
7.一种用于服务机与客户机协同绘制一个虚拟世界的多个景像的系统中的实时更新这些景像的方法，所述方法包括下列步骤(a)向客户机发送一个第一基准景像；(b)对所述第一基准景像进行外推，得出一个外推景像；(c)向客户机发送至少一个校正数据集；以及(d)根据所述至少一个校正数据集校正所述外推景像，得出至少一个第二基准景像，其中，所述外推在所述校正前至少进行两次。
8.权利要求7的方法，所述方法还包括下列步骤(e)由服务机绘制一个确切景像；以及(f)从所述确切景像中减去所述外推景像，得出一个差图像，用作所述至少一个校正数据集之一。
9.权利要求8的方法，所述方法还包括下列步骤(g)压缩所述差图像。
10.权利要求7的方法，所述方法还包括下列步骤(e)将所述第一基准景像用所述至少一个第二基准景像之一代替。
11.权利要求1的方法，其中所述校正数据集包括一个差图像。
全文摘要
本发明提供了一种客户机与服务机协同绘制客户机用户所漫游的虚拟现实世界内的景像的方法。根据用户的虚拟运动,服务机向客户机发送一个基准景像(R)和一个用来外推基准景像的模型。客户机向服务机发送用户的虚拟运动的记录(M)。客户机和服务机双方执行对基准景像进行的基于模型的外推。服务机还执行对基准景像的确切外推。在外推的基准景像偏离更新的基准景像过大时,服务机向客户机发送外推与更新的景像之差(D),使客户机可以更新它的基准景像。
文档编号G06T15/70GK1242851SQ97181116
公开日2000年1月26日 申请日期1997年11月30日 优先权日1997年11月30日
发明者丹尼尔·科恩－奥 申请人:网上冲浪有限公司