3d图像生成和显示系统的制作方法

专利名称：3d图像生成和显示系统的制作方法
技术领域：
本发明涉及3D图像的生成和显示系统，该系统生成用于以三 维(3D)显示各种照片图像和计算机图形模型的3D对象，以及用 于编辑和处理用于在网络浏览器上绘制和显示3D场景的3D对象。
背景技术：
在用于创建用在3D显示中的3D对象的领域中存在各种已知 系统。使用用于建4莫和显示3D对象的3D扫描仪的一种这样的技 术是该领域中已知的光切法(通过才殳影光的狭缝(slit)来实现)等。 这种方法使用CCD相机捕获由激光束或其他光源投影到对象上的 光的点或线并利用三角测量原理测量与相才几的距离来#1行3D建 模。
图13 (a)是示出利用光切法的传统3D建模装置的示意图。
当将光的狭缝从光源投影到对象上时，CCD相机捕获图像。通 过扫描,皮测量的整个对象同时逐渐改变光源^:影光狭缝的方向，获 ^f寻i者如图13 (b)所示的图4象。#4居三角测量方法，由光源和相才几 的已知位置测量3D形状凄t据。然而，由于不能用光切法以三维渲 染对象的整个外围，所以如图14所示，有必要4是供多个相才几来收 集对象登个外围周围的图像，使得没有隐藏区域地对该对象进行成 像。 止匕外，通过这些方法创建的3D ^j"象此后必须经受用于4艮l居期 望用途显示3D图像的各种效果应用和动画处理以及需要在网络浏
览器上三维地显示对象的各种数据处理。例如，需要通过减小文件 大小等来优化图^f象，以适应通信线的质量。
3D图像显示器的一种类型是用在游戏控制台等中的液晶面板 或显示器，以显示对象好像要跳出屏幕的3D图像。这种技术利用 了特殊的眼镜，例如在左和右透镜上具有不同偏振方向的偏振镜。 在这种3D图像显示装置中，当以左眼和右眼观看时从相同的位置 捕获左和右图像，并且使用偏振，使得只以左眼观看左图像以及只 以右眼观看右图像。其他实例包括使用反射镜或棱镜的装置。然而， 这些3D图像显示器具有需要观看者佩戴眼镜等的复杂因素。因此， 使用柱面镜、视差屏障或允许不戴眼镜观看3D图像的其他装置的 3D图像显示系统已经被开发并被商品化。 一个这种装置是在专利 文献l (日本未审查专利申请公开第H10-271533号)中公开的"3D iamge signal generator"。该装置通过在用于显示二维图{象的普通 LCD系统上显示3D图4象而改进了在美囯专利5，410,345( 1995年4 月25日)中^>开的3D图^象显示。
图15是示出该3D图像信号的发生器的示意图。该3D图像信 号发生器包括背光1,包括以侧向照明的方法设置在侧面的光源 12;柱面镜15,能够在前后方向上移动；扩散体5，用于轻樣t地扩 散入射光；以及LCD 6,用于显示图l象。在如图16中的立体显示 图像20所示，LCD 6具有本领域中众所周知的结构，其中，以条 紋图样配置显示颜色R、 G和B中的每个颜色的^f象素P。由水平配 置RGB的三个子^f象素来组成单个i象素Pk (k=0-n)。通过在加色 处理中混合由每个子像素显示的三种原色显示该像素的颜色。
当通过图15所示的背光1显示3D图像时，柱面镜15使由右 眼11观察的LCD 6上的子像素阵列看起来与由左眼10观察的于像
素不同。为了基于图16的立体显示图像20来描述这种现象，左眼 10只能看到偶^:列0， 2, 4，...的子i象素，而右眼ll只能看到奇 数列1， 3, 5…的子像素。因此，为了显示3D图像，3D图像信号 生成器根据在左眼和右眼位置处捕获的左图像和右图像的图像信 号生成3D图像信号，并将这些信号提供给LCD 6。
如图16所示，通过将来自左图像21和右图像22的RGB信号 进行交错来生成立体显示图像20。用这种方法，3D图像信号生成 器根据左图像信号中像素PO的r和b分量和右图像信号中像素PO 的g分量组成3D图像信号中像素PO的rgb分量，以及根据左图像 信号中像素P1的g分量和右图像信号中像素Pl的r和b分量组成 3D图像信号中像素Pl的rgb分量(中间列)。通过这种交错处理， 通常由左图像信号中第k个像素的r和b分量和右图像信号中第k 个像素的g分量组成3D图像信号中第k个像素(k为1, 2,…) 的rgb分量，以及由左图像信号中第k+ 1个像素的g分量和右图像 信号中第k+l个像素的r和b分量组成3D图像信号中第k+l个 像素的rgb分量。
在这种方法中生成的3D图像信号可显示压缩为与原始图像中 像素数相同的像素数的3D图像。由于左眼只能看到显示在偶数列 中的LCD 6中的子像素，而右眼只能看到显示在奇数列中的子像 素，所以如图18所示，可显示3D图像。另外，通过调整柱面镜 15的4立置，可在3D和2D显示之间切4奂显示。
虽然图15中的上述实例具有配置在LCD 6的后表面上的4主面 镜15，但在专利文献2(日本未审查专利申请公开第H11-72745号) 中7>开的"stereoscopic image display device"纟合出了西己置在LCD的前 表面上的柱面镜的实例。如图19所示，该立体图像显示装置具有 设置在LCD 25的前表面上的视差屏障(还可以是柱面镜)26。在 该装置中，由通过右眼的图像信号驱动的右眼像素(Rr, Gr和Br)
和通过左眼的图4象信号驱动的左眼像素(RL， GL和BL )的像素对 形成^f象素组27R、 27G和27B。通过配置左和右两个相才几以在与只见 察者的左眼和右眼相对应的左和右观察点处拍摄对象，产生两个视 差信号。图20 (a)和20 (b)中的实例示出了为相同颜色产生的R 和L信号。如图20 (c)所示，用于压缩和合成这些信号的装置被 用于以交替模式(R, L, R, L...)重新配置这些R和L信号，以 形成单个立体图^象。由于合成的左和右信号必须压缩一半，所以如 图20 (d)所示，由左眼和右眼的不同颜色的图像数据对组成用于 形成单个立体图像的实际信号。在该实例中，通过切换浮见差屏障中 的狭缝位置来在2D和3D之间切换显示。
专利文献1:曰本未审查专利申请公开第H10-271533号
专利文献2:曰本未审查专利申请公开第Hll-72745号

发明内容
然而，图13和图14中示出的3D扫描方法^f吏用大量^:据并且 必须进行许多计算，需要较长时间来生成3D对象。另外，该装置 复杂且昂贵。该装置还需要用于将各种效果和动画应用于3D对象 的特别昂贵的软件。
因此，本发明的一个目的是提供3D图像生成和显示系统，其 中，代替通过设置在对象外围周围的多个相机收集照片数据的方 法，使用采用用于旋转对象的扫描台方法的3D扫描仪，从而在较 短的时间内以及通过简单的结构基于多个不同的图^象生成^l青确的 3D对象。为了迅速地在网络浏览器上绘制和显示3D场景，该3D 生成和显示系统4吏用商业软件编辑和处理3D对象的主要部分来生 成网络特定的3D对象。
在图15至图20所示的立体图像装置中，当显示装置的格式不 同时，左和右^见差4言号的才各式不同，例如，在图15所示当通过移 动柱面镜使用相同的液晶面板时用于在2D和3D显示之间切换的 系统以及图19所示用于固定一见差屏障的系统。以相同的方式，对 于具有不同格式的所有显示装置(例如，各种显示面板、CRT屏幕、 3D和投影仪)，左和右视差信号的格式不同。
当使用不同图像信号格式时，左和右视差信号的格式也不同， 例如VGA方法或交错-一见频4言号的方法。
此外，在如图15至图20所示的传统冲支术中，通过由与左眼和
差信号。然而，当原始图像数据的格式不同时，例如当直接使用通 过拍摄对象而产生的左和右视差数据和通过计算机图形建模等产 生的特征图像来创建左和右视差信号时，生成左和右纟见差数据的格 式禾口方法不同。
因此，本发明的另一个目的是提供3D图像生成和显示系统， 用于创建统一 (generalize )左和右一见差信号4各式的3D图像，其中， 可以创建可同化各种输入图像和这些输入图像的信号格式的差异， 以及各种显示装置的差异的普通平台，以及用于在网络浏览器上显 示这些3D图<象。
为了达到这些目的，根据权利要求1的3D图像生成和显示系 统组成用于生成用于在网络浏览器上显示三维(3D)图像的3D对 象的计算枳,系统，该3D图像生成和显示系统包括3D对象生成装 置，用于由多个不同的图像和/或计算机图形模型创建3D图像以及 用于由具有故理和属性凄t据的这些图^f象生成3D对象；3D描述文件 输出装置，用于转换由3D对象生成装置生成的3D对象的格式， 以及根据3D图形描述语言输出作为用于显示3D图像的3D描述文
件的数据；3D对象处理装置，用于从3D描述文件中提取3D对象， i殳置各种属性数据，编辑和处理3D对象以引入动画等，以及输出 结果^:据再次作为3D描述文件或作为用于i殳置属性的临时文件； 紋理处理装置，用于/人3D描述文件中纟是耳又紋理，编辑和处理紋理 以减少颜色数等，以及输出结果数据再次作为3D描述文件或作为 紋理文件；3D效果应用装置，用于从3D描述文件中提取3D对象， 处理3D对象并分配i者如照明和材利-特性的各种效果，以及l餘出结 果数据再次作为3D描述文件或作为用于分配效果的临时文件；网 络3D对象生成装置，用于从3D描述文件、紋理文件、用于设置 属性的临时文件和用于分配效果的临时文件中提取用于在网络浏 览器中渲染3D图像所需的各种要素，以及用于生成具有被压缩以 显示在网络浏览器上的紋理和属性数据的各种基于网络的3D对 象；行为数据生成装置，用于通过控制3D对象的属性和分配效果 生成行为数据以通过动画在网络浏览器上显示3D场景；以及可执 行文件生成装置，用于基于行为数据和由上述装置生成、编辑和处 理的网络3D对象生成可执行文件，其中，可执行文件包括网页和 包4舌用于在网络浏览器上利用由通过指定^L差分配的多个合成图 像生成的立体图像绘制和显示3D场景的脚本、插件程序和小程序 的一个或多个禾呈序。
此外，根据权利要求2的3D对象生成装置包括转台，其上 安装有对象，并且水平或垂直地旋转对象；^t码相才几，用于捕获安 装在转台上的对象的图像，并创建图像的数字图像文件；转台控制 装置，用于旋转转台到指定位置；拍摄装置，使用数码相机来拍摄 通过转台控制装置设置在指定位置中的对象；连续图像创建装置， 用于使用转台控制装置和拍摄装置连续创建多个图像文件；以及3D 对象合成装置，用于基于由连续图像创建装置创建的多个图像文件 生成3D图像，以及由用于以3D显示图像的3D图像生成具有紋理 和属性凄t据的3D对象。此外，根据权利要求3的3D对象生成装置一艮据廓影法 (silhouette mothod )生成3D图像，其中，由于对象在转台上净皮旋 转，所以^吏用来自由该对象的整个外围周围的单个相才几拍才聂的多个 图^^的^^廊凄t据估计该对象的三维形状。
此外，根据权利要求4的3D对象生成装置生成单个3D图像 作为通过合成各种图像数据获得的合成场景，其中，各种图像数据 包括由相机拍摄的图像、由计算机图形建模产生的图像、由扫描仪 扫描的图像、手绘图像、存储在其他存储介质中的图像数据等。
此外，4艮据权利要求5的可纟丸行文件生成装置包括自动左和 右视差数据生成装置，用于基于从指定相机位置分配视差的左眼图 像和右眼图像，根据渲染功能自动生成用于绘制和显示立体图像的 左和右浮见差数据；视差数据压缩装置，用于压缩由自动左和右视差 数据生成装置生成的每个左和右视差数据；视差数据合成装置，用 于合成压缩的左和右视差数据；视差数据扩展装置，用于将合成的 左和右^L差凄t据分成左部分和右部分，以及扩展凄欠才居以显示在立体 图像显示装置上；以及显示数据转换装置，用于根据立体图像显示 装置的纟见角(纵横比)转换将被显示的数据。
此外，4艮据一又利要求6的自动左和右一见差生成装置基于由渲染 功能设置的虚拟相机，自动生成与由3D对象生成装置生成的3D 图l象相对应的左和右一见差数据。
此外，根据权利要求7的视差数据压缩装置通过跳过(skip) 像素压缩左和右视差数据的像素数据。
此外，根据权利要求8的立体显示装置使用CRT屏幕、液晶 面板、等离子显示器、EL显示器和投影仪中的至少一个。
此外，根据权利要求9的立体显示装置显示当观看者佩戴立体 眼镜时可看到的立体图像或显示当观看者不佩戴眼镜时可看到的 立体图像。
本发明的3D图像生成和显示系统可配置生成将净皮显示在3D 显示器上的3D对象的计算^L系统。该3D图像生成和显示系统具 有简单结构，其中，当转台旋转时，通过以单个相机在对象的整个 外围周围收集图像，使用扫描台系统来建模放置在扫描台上的对 象。此外，3D图像生成和显示系统通过利用商业销售的普通软件 而利于生成3DS于象。
3D图像生成和显示系统还可以通过安装用于在网络浏览器上 绘制和显示3D场景的特殊插件程序或通过生成用于在网络浏览器 上有效显示3D图^f象的小程序来在网络浏览器上显示动画。
3D图i象生成和显示系统还可以组成能够才艮据LR 一见差图l象数 据、不在观看者处"跳出，，的这种3D图像和相同显示装置上的2D 图^f象显示立体图Y象的显示程序。


在附图中
图1是示出通过4艮据本发明第一实施例的3D图^f象生成和显示 系统执行的处理中步骤的流程图2是示出图1中描述的3D图像生成和显示系统的3D对象 生成装置的示意图3是示出在网络浏览器中从3D对象的生成到3D场景的绘 制和显示的处理的流,呈图4是作为3D对象实例的打印机的透视图5是示出4艮据本发明第二实施例的3D对象生成和显示系统 的示意图6是示出图5的具有2至n台相机的3D图像生成器的示意
图7是示出在图5的渲染器中设置相机位置的方法的示例图8是示出用于创建简单立体图像的处理的示例图9是VGA显示中的LR数据处理电路的框图10是示出用于放大和缩小、移动和旋转3D图像的操作的示 例图11是示出视频信号型显示器的LR数据处理电路的框图12是示出使用投影仪的立体显示系统的示意图13 (a)是传统3D建模显示装置的示意图13 (b)是示出狭缝图像的创建的示例图14是示出示意多个相机的传统3D建模装置的框图15是传统3D图像信号生成器的示意图16是示出图15的信号生成器的LR数据的示例图17是示出用于压缩图16中的LR数据的处理的示例图18是示出在图15的显示装置上显示LR数据的方法的示例
图19是另一个传统立体图像显示装置的示意图；以及
图20是示出在图19的显示装置上显示的LR数据的示例图。 具体实施例
接下来，当参考附图描述本发明的优选实施例。
图1是示出通过才艮据本发明第一实施例的3D图^象生成和显示 系统执行的处理中的步骤的流程图。
在以下描述的图1的处理中，稍后描述的3D扫描^f义用于形成 多个3D图像。由3D图像生成3D对象，并将其转换成标准虚拟现 实造型语言(VRML:用于描述3D图形的语言)格式。输出VRML 文件中的转换3D对象经受用于产生网络3D对象和可在网络浏览 器上#1行的程序文件的各种处理。
首先，例如， -使用凌t码相才几的3D对象生成装置的3D扫描4义 捕获真实对象的图像，获得以15度的变化角度拍摄的24个3D图 像(SIOI)。 3D对象生成装置由这些图像生成3D对象，并且3D 描述文件输出装置将3D对象临时转换为VRML格式(S102 )。 3D SCanWare (产品名)或类似程序可用于创建3D图像，生成3D对 象，以及产生VRML文^牛。
从VRML文件中提取用3D设计软件(例如下面提到的软件) 生成的3D对象，并经受3D对象处理装置的各种编辑和处理 (S103)。商业产品"3dsmax，，(产品名)或其他软件用于分析3D 对象的必要区域以提取紋理图像，设置用于动画处理和生成各种3D
对象所需的属性，以及根据需要设置各种动画特征。在经过编辑和
处理后，3D对象^皮再次4呆存作为VRML才各式的3D描述文件，或 者被临时存储在存储装置或存储器的区域中作为用于设置属性的 临时文4牛。在动画i殳置中，可以以特定帧凄t的间隔在用于移动3D 场景中提供的对象的关键帧中设置帧数或时间。还可以使用这种技 术作为用于创建^各径的^各径动画和角色工作室来创建动画，例如 Nurbs CV曲线，乂于象沿该曲线移动。 -使用紋理处理装置，用户在 VRML文件中提取应用于各种对象的紋理图像，编辑颜色、紋理映 射等的紋理图像，减少颜色数，修改应用紋理的区域和定位/位置， 或执行其他处理，以及将结果数据保存为紋理文件(S104)。使用 商业图〗象编辑l欠件(例如Photoshop (产品名))可以进4亍紋理编辑 和处理。
3D效果应用装置用于从VRML文件中提取各种3D对象以及 使用々是耳又对象与3dsmax或类似软件和各种插件程序结合，从而处 理3D对象并应用诸如照明和材枓特性的各种效果。结果数据被重 新存储为VRML格式的3D描述文件或被保存为用于应用效果的临 时文件(S105)。在以上描述中，3D对象经过了在网页上显示为动 画的处理和用于减小文件大小的处理作为紋理图^f象处理等中的预 处理。以下步-骤覆盖了用于减小和优化对象大小和文件大小的处 理，以在网络浏览器上实际显示对象。
网络3D对象生成装置从在编辑和处理期间创建的VRML和临 时文件中提取3D对象、紋理图像、属性、动画数据和其他渲染要 素，并生成用于在网络上显示3D图像的网络3D对象(S106)。同 时，行为数据生成装置生成行为数据作为用于将网络3D对象显示 为动画的情节(S107)。最后，基于用于显示3D图像的以上数据， 可执行文件生成装置生成用于网络浏览器的插件程序软件或结合
Java小程序、Jave脚本等形式的可执行文件，以在网络浏览器上绘 制和显示图像(S108)。
通过使用由大多数3D软件程序支持的VRML格式，可以使用 通用商业软件程序编辑和处理3D图像。系统还可基于通信线的传 送率优化用在网络上的图像，或者当在本地计算机的网络浏览器上 显示图像时，可以根据显示环境适当地编辑和处理图像，从而在显 示环境中控制图#>渲染有效并实现优化质量。
图2是示出上面参罩图1描述的3D图像生成和显示系统的3D 对象生成装置的示意图。
图2中的网络3D对象生成装置包括转台31，其支持对象33 (对应于权利要求部分中的"对象"，并在该说明书中称为"对象"或 "真实对象")，并旋转360度用于扫描对象33;单个原色的背景面 板32,例如绿色或蓝色；数码相机34,例如CCD;照明设备35; 台旋转控制器36,通过伺服控制旋转转台31;拍摄装置37,用于 控制和校准数码相机34和照明设备35,执行图像数据的伽马校正 和其他图像处理并捕荻对象33的图像；以及连续图像创建装置38， 用于控制台旋转的角度，并以指定角度采样和收集图像。这些部件 组成采用扫描台和用于生成从多个角度观看 一 系列图像的单个相 机的3D建模装置。在这一点上，使用诸如AutoCAD和STL (产品 名)的商业编辑软件，根据需要修改图像。3D对象合成装置39从 一系列图像中提取轮廓，并使用廓影法等估计3D形状来创建3D 图像，从而生成3D对象数据。
接下来，将描述3D图像生成和显示系统的操作。
在廓影法中，通过计算例如世界坐标系统、相才几坐标系统和图 ^象坐标系统之间的关系来校准相机。为了在软件中处理图^象，将图 <象坐标系统中的点4争^奐为世界坐标系统中的点。
在完成校准之后，连续图像生成装置38与台旋转控制器36相
配合以控制用于指定扫描数(例如，36次扫描的每10度扫描图像 和72次扫描的每5度扫描图像)的转台的旋转角度，同时拍摄装 置37捕获对象33的图像。通过荻得背景差从捕获图像中获取对象 33的轮廓数据，其中，背景差是以前拍摄的背景面板32的图像和 当前相机图像之间的区别。从背景差和通过校准获得的相机参数中 得到对象的轮廓图像。然后，例如，通过在三维空间中放置具有递 归/V进制杉t结构的立方体以及在只于象的4仑廓中确定交集来只于4仑廓 图像执行3D建模。
图3是才艮据图1所示用于转换3D图像的处理中的步骤给出更 明确/具体的实例的流程图，使得可更好/进一步解释图1所示的步 骤。图3中的处理通过可在网络浏览器中显示3D图像的Java小程 序来实现，而不用为》见察器安装插件程序，例如Live 3D。在该实 例中，在网络服务器上提供用于显示交互3D场景所需的所有数据。 当从运行在客户计算才几上的网络浏览器访问服务器时，显示3D场 景。通常，在创建3D对象之后，3dsmax等一皮用于在生成的3D对 象中修改运动、相机、照明和材料特性等。然而，在该优选实施例 中，3D对象或整个场景首先一皮转换成VRML格式(S202)。
将结果VRML文件输入到3DA系统中(S203:这里，3DA描 述了使用Java小程序在网络浏览器上被显示为动画的3D图像，并 且包括用于网络相关的编辑和处理的设计软件的整个系统被称为 3DA系统)。定制3D场景，并提供用于以3DA小程序渲染图像的 数据，用于在网络浏览器上绘制和显示3D场景(S205)。所有3D 场景数据被同时压缩并被保存为压缩3DA文件(S206 )。 3DA系统
生成用于交互#:作的工具栏文件和HTML文件，其中，HTML页 面将工具栏文件读入网络浏览器，使得工具栏文件^皮执行，并在网 络浏览器中显示3D场景(S207)。
新网页(HTML文档)包:fe用于调用3DA小禾呈序的小禾呈序标 记。可将用于访问3DA小程序的Java脚本代码添力口到HTML文档 中以改进才乘作和交互性(S209 )。将用于显示如上所述创建的3D场 景所需的所有文件传送至服务器。这些文件包括控制用于调用3DA 小程序的小程序标记的网页(HTML文档)、作为选项的交互操作 的工具栏文件、紋理图像文件、3DA场景文件、以及用于绘制和显 示3D场景的3DA小禾呈序(S210 )。
当网络浏览器随后连接至网络服务器并请求3DA小程序时， 网络浏览器从网络服务器下载3DA小程序并执行该小程序(S211 )。 一旦执行3DA小程序，小程序就显示用户可执行交互操作的3D场 景，并且网络浏览器可不取决于网络服务器持续显示3D场景 (S212 )。
在描述到这一点的处理中，在将3D对象转换成基于网络的 VRML文件之后生成3DA Java小程序文件，并且网络浏览器下载 3DA文件和3DA小程序。然而，除生成3DA文件之外，当然可以 为7见察器安装插件程序，例如Live3D (产品名)并直4妾处理VRML 3D描迷文件。通过优选实施例的3D图像生成和显示系统，公司可 容易地^使用三维和移动电子商务等的产品的显示创建网站。
作为电子商务产品的实例，下列描述覆盖开始打印机的商业网 站，例3口图4所示的。
首先，将公司产品(作为对象33的打印机60)放置在图2所 示的转台31上并旋转，同时拍摄装置37以指定采样角度捕获图像。
连续图像创建装置38设置采样的图像数，使得拍摄装置37捕获36 个图像，其中，假定10度的采样角(360度/10度=36)。 3D对象合 成装置39计算相机位置和先前拍摄的背景面板32之间的背景差， 并通过世界坐标、相机坐标和图像位置中的坐标转换将由连续图像 创建装置38创建的打印机的36个图像中每一个的图像数据转换成 世界坐标。用于提取对象轮廓的廓影法用于建模打印机的外形并生 成打印才几的3D对象。将该对象作为VRML文件临时输出。此时， 创建将在网络上显示的所有3D图像，包括后面的操作屏幕、左和 右侧^L图、顶一见和底—见图、前面的才乘作屏幕等。
孑妾下来，如图1中所描述的，3D对象处理装置、紋理处理装 置和3D效果应用装置从VRML文件中提取生成的3D图像婆t据， 分析数据的相关部分，生成3D对象，应用各种属性，执行动画处 理，以及通过颜色、材津牛和紋理映射特性应用各种效果和其j也处理， 例如照明和表面形成。将结果数据保存为紋理文件、属性的临时文 件和效果的临时文件。接下来，行为数据生成装置生成用在打印机 网站上的所有3D描述文件中运动所需的数据。具体地，行为数据 生成装置生成用于在设置向导等中激活实际操作屏幕的文件。
通过在网络浏览器中为观察器安装插件程序，例如Live 3D, 可在网络浏览器中显示上面创建的3D场景数据。还可以Y吏用用于 只在网络浏览器中而不使用观察器处理3D场景数据的方法。在这 种情况下，如上所述，Java小程序的3D文件被下载至网络浏览器 用于绘制和显示从VRML文件中提取的3D场景数据。
当观察以上创建的显示打印机3D图像的网站时，用户可操作 鼠标来点击显示在浏览器的设置向导菜单中的项目，从而显示3D 的动画序列。该动画可示出旋转打印4几60的盖62上的按4丑63以 拆离盖62并安装USB连接器66的一系列操作。
当用户点击菜单中的"安装粉盒"时，将播放整个打印机被旋转 以示出其前表面的3D动画序列(图中未示出)。打开打印才几60的
顶盖61,并且打印机60内的一个粉盒保持器移动到中间位置。将 黑色和彩色墨盒插入到该粉盒保持器中，然后关闭顶盖61。
此外，如果用户点击"维修屏幕"，则显示去除所有的塑料外壳 以露出打印机的内部机构的3D图像(未示出)。以这种方式，用户 可以以三维清楚地看到驱动模块、扫描机构，墨盒等之间的空间关 系，方便维修操作。
通过以这种方式显示具有3D动画的纟喿作窗口，用户可以以在 在零售商店实际才乘作打印才几时的相同真实感觉4企查产品。
以上描述是用于^见看打印枳4喿作的实例，3D图^f象生成和显示 系统还可用于其4也应用，例如试穿衣月良。例如，3D生成和显示系 统可使用户试穿来自女子服装店等的一套衣服。用户可点击模特穿 的一套衣力良；改变衣力良的尺寸和颜色；从前面、后面和侧面y见看建 才莫的衣月良；《奮改纽扣的形状、大小和颜色；以及甚至通过电子邮件 订购这件衣月良。还可以以比二维图^象更逼真的三维图^f象显示各种商 品，例如，拍卖的雕塑或其他美术品和日用品。
接下来，将参考附图描述本发明的第二实施例。
图5是示出根据本发明第二实施例的3D图像生成和显示系统 的示意图。第二实施例进一步扩展3D图像生成和显示系统以允许 使用其它3D显示装置将在第一实施例中生成并显示在网页上的3D 图像显示为立体图像。
图5中的3D图像生成和显示系统包括转台型3D对象生成器 71,其与图2所示第一实施例的3D对象生成装置相同。当对象在
转台上被旋转时，该3D对象生成器71通过合成由单个相机拍摄的 对象的图像来生成3D图像。第二实施例的3D图像生成和显示系 统还包括多个相机3D对象生成器72。不同于转台型3D对象生成 器71， 3D对象生成器72通过在固定对象周围配置,人与左眼和右眼 的位置相对应的2个立体相机到n个相机(不具体限定为任意数量， 用大量的相机可实现更详细的图像)的多个相机生成3D对象。该 3D图像生成和显示系统还包括计算才几图形建才莫3D对象生成器73， 用于在通过程序(例如3ds max)的图形界面执行计算机图形模式 的同时生成3D对象。3D对象生成器73是可将场景与计算机图形、 照片或其他数据结合的计算机图形建模器。
在才丸4亍在第一实施例的图1中描述的处理S103至S107以将由 3D只于象生成器71至73产生的3D对象临时^f呆存为通用VRML文 件之后，使用网络设计工具(例如YAPPA 3D工作室(产品名)) 从VRML文件中捐j又3D场景数据。该设计软件用于编辑和处理3D 对象和紋理；添加动画；应用、设置和处理其他效果，例如相才几和 照明效果；以及生成网络3D对象和它们的行为数据用于在网络浏 览器中绘制和显示交互3D图像。在图3的S202至S210中描述了 用于创建网络3D文件的实例。
装置75至79是用在图1的S108中的应用用于显示立体图像 的左和右视差数据的可纟丸行文件生成装置。渲染器75应用渲染功 能以生成显示立体图像所需的左和右视差图像(LR数据)。LR数 据压缩/合成装置76压缩由渲染器75生成的LR数据，在合成处理 中重新配置数据并在显示帧緩沖器中存储数据。当显示LR数据时， LR数据分离/扩展装置77分离并扩展左和右数据。由向下变换器等 组成的数据转换装置78调整用于显示立体图像的视角(纵横比等)， 使得LR数据与各种3D显示装置兼容。立体显示装置79基于LR 数据并使用各种显示装置(例如，液晶面板、CRT屏幕、等离子显
示器、EL (电致发光)显示器或投影仪快门型显示眼镜)显示立体 图像，并包括各种显示格式，例如，用在个人计算机显示器等中的
普通VGA格式和用于电视的视频格式。
接下来，将描述根据第二实施例的3D图像生成和显示系统的 操作。
首先，将简要描述由3D对象生成器71至73 #1行的3D对象 生成处理。3D对象生成器71与图1中描述的3D对象生成装置相 同。将形成3D图像的3D对象33放置在转台31上。台旋转控制 器36调整转台31的旋转，同时控制数码相机34和照明设备35以 通过拍摄装置37相对于单色屏幕(例如，作为背景的蓝色屏幕(背 景面板32))拍摄釆样照片。然后，连续图像创建装置38执行合成 采样图像的处理。基于结果合成图像，3D对象合成装置39提取对 象的轮廓(外形)，并使用廓影法等估计对象的三维形状来生成3D 只十象。例^口， 4吏用以下等式冲丸4于该方法。
等式1
<formula>formula see original document page 23</formula>使用点P的相机坐标Pfp和世界坐标Sp执行坐标转换(校准)， 以将3D图像顶点处的三維坐标转换成世界坐标系统[x,y，z,r,g,b]。各 种建模程序一皮用于建才莫结果坐标。由该处理生成的3D数据^皮保存 在图像数据库(未示出)中。
3D对象生成器72是通过在对象周围放置多个相机来捕获对象 图像的系统。例如，如图6所示，在对象周围设置6个相机(第一 至第六相机)。控制计算机经由USB集线器从相机获得照片数据，
并在第一和第二投影仪上实时再生对象的3D图像。3D对象生成器 72不限于6个相机，而是可以用任意数量的相机捕获图像。该系统 从由这些相机荻得的多个重叠照片在世界坐标系统中生成3D图 {象，并归入基于图j象的渲染(IBR)的种类。因此，该系统的结构 和处理与3D对象生成器71相比相当复杂。通过3D对象生成器71， 将生成的^:据保存在^t据库中。
3D对象生成器73主要集中在使用建才莫软件(例如3ds max和 YAPPA 3D工作室)的计算才几图形建才莫，其中，YAPPA 3D工作室 对划分的—见区中的四个^L图的每一个分配"上"、"左"、"右"、"前"、 "透—见图"、和"相才几"，在显示屏幕上建立与图形顶点相对应的4册才各 并使用存储在库中的各种对象、形状和其他数据来建模图像。这些 建^f莫程序可将计算才几图形^:据与用3D对象生成器71和72创建的 照片或图像数据结合起来。通过调整相机的视角、照片数据和计算 机图形数据的位图中的渲染图像的纵横比，可容易地实现这种结 合。
可在用于设置或修改合成场景的观点的任意位置处创建相机 (虛拟相才几)。例如，为了将默认设置为前面的相才凡位置(用户的 观点)改变为左或右偏移30度的位置，可通过使用[X， Y, Z， W] i殳置相才几角度和位置的坐标在从前面偏移场景30度的位置处显示 合成图像。此外，可被创建的虚拟相机包括可被自由旋转并移动到 任意位置的自由相机以及可围绕对象旋转的目标相机。当用户想改 变合成图^^场景等的^L点时，用户可通过"i殳置新特性来实现。通过 透4竟功能等，用户可通过在从WIDE到TELE的大约10个虚拟透 镜的组中进行选择或切换触摸按钮迅速地改变观点。也可以通过可 应用于渲染图像的各种功能以同样的方式改变照明设置。生成的所 有数据被保存在数据库中。
接下来，将描述用于通过渲染和LR数据(视差图像)生成装 置75生成左和右视差图像的处理。可使用上述建模软件程序的相
机位置设置功能容易地获取对应于左眼和右眼的视差信号的LR数 据。接下来，参照图7描迷用于在这种情况下计算左眼和右眼的相 机位置的具体实例。如图7(a)所示，每个相机位置的坐标由垂直 于建模对象(该实例中为电话)的向量表示。这里，相机位置的坐 标i殳置为O;相才几的调焦方向i殳置为向量OT;以及向量OU i殳置 为/人相才几向上的方向并与向量OT正交。为了用左眼和右眼的位置 实现立体显示，4艮据以下等式(2)计算左眼和右眼(L, R)的位 置，其中，e是左眼和右眼(L, R)的倾斜角，d是距离左眼和右 眼之间零视差的收敛点P的距离。
等式2
<formula>formula see original document page 25</formula>(2)
这里，(0<d， 09 < 180)
用于计算上述位置的方法不限于这种方法，而是可以是实现相 同效果的4壬意计算方法。例如，由于将默i人相扭4立置i殳置为前面， 所以明显地，可使用上述研究相机(虚拟相才几)位置的方法直接输 入坐标[X，Y,Z,w]。
在相机功能中设置从上述方法中找到的眼睛位置(相机位置) 之后，用户在显示场景的窗口工具栏中选4奪"渲染器"等将3D场景 转换和渲染为二维图像，从而荻得立体显示的左和右视差图像。
LR数据不限于使用合成图像场景，而是还可以被创建用于由
3D对象生成器71和72拍摄的照片图像。通过设置对应于左眼和 右眼位置的相才几位置(虚拟相才几)的坐标[X、 Y， Z， w]，可渲染 照片图像，保存在整个外围周围拍摄的对象的图像数据以获得左和 右视差图像的LR数据。还可以由以对从通过3D对象生成器73建 模的计算机图像图像等中得到的3D对象相同的方式保存的对象外 围周围拍摄的图像数据创建LR数据。可通过渲染各种合成场景容 易地创建LR数据。
在实际渲染处理中，将世界坐标系统中多边形的每个顶点的坐 标转换成2维屏幕坐标系统。因此，通过用于将相^^几坐标转换成3 维坐标的等式1的反向转换纟丸行3D/2D转换。除计算相机位置外， 需要计算由于来自光源的虚拟光照射的阴影(亮度)。例如，可使 用以下转换矩阵等式3计算说明材料颜色Mr、 Mg和Mb的光源数 据Cnr、 Cng，和Cnb。
等式3
<formula>formula see original document page 26</formula>这里，Cnr、 Cng、 Cnb、 Pnr、 Png、和Pnb表示第n个顶点。
通过基于光源数据计算相机位置的坐标和阴影自动生成通过 该渲染处理荻得的左和右视差图像的LR信号。还同时执行各种过
滤处理，但从该描述中被省略。在显示装置内，向上/向下变换器等 在显示图像之前将图像数据转换成位数据并调节纵横比。
接下来，将自动生成简单LR数据的方法描述为本发明的另一 实例。图8是示出生成简单的左和右视差图像的方法的示例图。如 图8的实例所示，已经为左眼创建了字符"A"的LR数据。如果对象 左右对称，则仅通过反转左眼的视差数据将右眼的视差图像创建为 左眼LR数据的镜像。可使用下列等式4计算这种反转。
等式4
<formula>formula see original document page 27</formula>(4)
这里，X表示X坐标，Y表示Y坐标，以及X'和Y'表示镜像 中的新坐标。Rx和Ry等于-l。当图像数据中存在少量变化时，该 简单处理充分^f吏用，并且可大大减少存储消^4口处理时间。
接下来，将描述使用在上述处理中找到的LR数据在各种显示 装置上显示实际3D图^f象的实例。
为了简单，该描述将覆盖LR数据被输入图19所示传统显示装 置中以显示3D图像的情况。图19所示的显示装置是用在个人计算 机等中的液晶面板(LCD)，并采用使用连续显示技术的VGA显示 系统。图9是示出视差图像信号处理电路的框图。当根据本发明自 动生成的LR数据被提供给这种类型的显示装置时，将图20 (a) 和20( b )所示的左和右视差图像的LR数据输入压缩器/合成器80。 如图20(c)所示，压缩器/合成器80重新配置具有交替R和L数 据的图〗象凄t据，以及如图20 (d)所示，通过跳过^f象素将图像压缩 一半。将结果LR合成信号输入分离器81。分禹器81反向执行相
同的处理，如图20(c)所示，通过分离R和L行重新配置图像数 据。该数据被扩展器82和83解压缩和扩展，并被提供给显示驱动 器以调节纵横比等。驱动器显示只能被左眼看到的L信号和只能被 右眼看到的R信号，实现立体显示。由于压缩期间跳过的像素被丢 失并且不能被再生，所以使用内插等调整图像数据。该数据可用在 笔记本个人计算才几、液晶面板、直视游戏控制台等中的显示器上。 对这些情况下LR ft据的信号格式没有特殊的限制。
诸如YAPPA 3D工作室的网络3D设计工具被配置为根据Java 小程序处理将图像数据转换成LR数据。诸如在图10中所示的操作 按钮可通过将工具栏文件附加到一个Java小程序以及通过将来自 网络服务器的数据(3d场景数据、Java小程序和HTML文件)经 由网络下载到网络浏览器被显示在网络浏览器的屏幕上。通过选择 按钮，用户可操作显示在网络浏览器上的立体图像(在这种情况下 是汽车)，以放大和缩小、移动或旋转图像等。在变换矩阵中表示 用于》文大和缩小、移动和S走转等的才喿作的处理细节。例如，可由下 面的等式5表示移动。其他4喿作可类似;也^皮表示。
等式
|xri|=|;m|x
i o o
0 1 0
这里，X'和Y'是新坐标，X和Y是原始坐标，以及Dx和Dy 是分别在水平和垂直方向上移动的距离。
接下来，将描述在诸如电视屏幕的交错型显示器上显示图像的 实例。市场上出卖各种转换器作为用于将图像数据转换成普通的 TV和浮见频图像的、个人计算机等中的显示装置。该实例使用这种
转换器以在网络浏览器上显示立体图像。将不再描述转换器本身的 结构和操作。
以下实例使用用于再生视频信号的、图19所示的液晶面板(或
CRT屏幕等)。用于显示立体图像的视差屏障、透镜片等被安装在
显示装置的前表面。将使用示出视差图像的信号处理电路的图11
中的框图描述显示处理。将左和右视差图像的LR数据(例如，根 据本发明的自动生成方法所生成的图20 (a)和20 (b)所示出的) 分别输入至压缩器90和91。压缩器卯和91通过在^L频信号中跳 过每隔一个像素来压缩图像。如图20 (c)和20 (d)所示，合成 器92合成并压缩左和右LR数据。由该合成LR数据组成的视频信 号蜂皮传输至4妾收才几或在记录介质(例如，DVD)上^皮记录和再生。 如图20 (c)和20 (d)所示，分禹器93反向执行相同的操作，将 合成LR数据分成左和右信号。扩展器94和95将左和右图像数据 扩展为图20 (a)和20 (b)所示的原始形式。可将立体图像显示 如图19所示的显示器等上，这是因为显示数据在水平扫描线上以 交替左视频数据和右视频数据并以R、 G和B的顺序被配置。例如， 将R (红色)信号配置为"R0 (左)R0 (右)、R2 (左)R2 (右)、 R4 (左)R4 (右)…"。将G (绿色)配置为"G0 (左)G0 (右)、 G2(左)G2(右)、G4(左)G4(右)…"。将B(蓝色)配置为"BO (左)B0 (右)、B2 (左)B2 (右)…"。此外，通过将视差图像 信号的LR数据分成奇数段和偶数段并同时处理这两个数据段，可 使用具有液晶快门等的快门眼镜作为显示装置来以相同的方式实 现立体显示。
接下来，将给出用于表演或作为家庭影院等的投影仪上显示立 体图像的描述。
图12是家庭影院的框图，其包括投影仪屏幕101，其表面经 过光学处理(例如应用银金属涂覆)；两个投影仪106和107，设置
在投影仪屏幕101的前面；以及偏振滤光片108和109，分别设置 在每个4更影4义106和107的前面。通过控制器103控制家庭影院的 每个部件。如果才殳影仪106被提供用于右眼，而投影4义107用于左 眼，则滤光片109是垂直偏振光的类型，而滤光片108是水平偏振 光的类型。才殳影仪的类型可以是使用DMD(数字微镜设备)的MLP (经络无损封装)液晶投影仪。家庭影院还包括支持DVD或其他 介质(当然，装置还可通过建模生成图像)的3D图像记录器104, 以及基于从3D图像记录器104输入的3D图像数据利用本发明的 显示驱动器自动生成LR信号的左和右视差图像生成器105。由左 和右视差图像生成器105生成的LR数据的纵横比被向下变换器等 调节并被提供给对应的左和右投影仪106和107。投影仪106和107 通过分别水平和垂直偏振图像的偏振滤光片108和109来才史影图 像。观看者戴上具有用于右眼的垂直偏振滤光片和用于左眼的水平 偏冲展滤光片的偏4展眼镜102。因此，当观看冲更影在才殳影仪屏幕101 上的图像时，观看者就可看到立体图像，这是因为由投影仪106投 影的图像只能用右眼看到，而由投影仪107投影的图像只能用左眼 看到.
工业应用
通过以这种方式使用用于显示3D图像的网络浏览器，仅需要 具有浏览器的电子装置，而不是专用的3D图像显示装置，并且可 在各种电子装置上支持3D图像。本发明还更加用户友好，因为不 需要为每种不同类型的硬件(例如，个人计算机、电视、游戏控制 台、液晶显示器、快门眼镜和投影仪)提供不同的立体显示软件(例 如，立体驱动器等)。
权利要求
1.一种3D图像生成和显示系统，由用于生成用于在网络浏览器上显示三维(3D)图像的3D对象的计算机系统配置，所述3D图像生成和显示系统包括3D对象生成装置，用于由多个不同的图像和/或计算机图形建模创建3D图像，以及用于由具有纹理和属性数据的这些图像生成3D对象；3D描述文件输出装置，用于转换由所述3D对象生成装置生成的所述3D对象的格式，以及根据3D图形描述语言输出作为用于显示3D图像的3D描述文件的数据；3D对象处理装置，用于从所述3D描述文件中提取3D对象，设置各种属性数据，编辑和处理所述3D对象以引入动画等，以及输出结果数据再次作为3D描述文件或作为用于设置属性的临时文件；纹理处理装置，用于从所述3D描述文件中提取纹理，编辑和处理纹理以减少颜色数等，以及输出结果数据再次作为3D描述文件或作为纹理文件；3D效果应用装置，用于从所述3D描述文件中提取3D对象，处理所述3D对象并分配诸如照明和材料特性的各种效果，以及输出结果数据再次作为3D描述文件或作为用于分配效果的临时文件；网络3D对象生成装置，用于从所述3D描述文件、纹理文件、用于设置属性的临时文件和用于分配效果的临时文件中提取用于在网络浏览器中渲染3D图像所需的各种要素，以及用于生成具有被压缩以显示在网络浏览器上的纹理和属性数据的各种基于网络的3D对象；行为数据生成装置，用于通过控制所述3D对象的属性和分配效果生成行为数据以通过动画在网络浏览器上显示3D场景；以及可执行文件生成装置，用于基于所述行为数据和由上述装置生成、编辑和处理的网络3D对象生成可执行文件，其中，所述可执行文件包括网页和包括用于在网络浏览器上利用由通过指定视差分配的多个合成图像生成的立体图像绘制和显示3D场景的脚本、插件程序和小程序的一个或多个程序。
2. 根据权力利要求1所述的3D图像生成和显示系统，其中，所述 3D对象生成装置包括转台，其上安装有对象，并且水平或垂直地旋转所述对象；数码相机，用于捕获安装在所述转台上的所述对象的图 像，并创建所述图像的数字图像文件；转台控制装置，用于转动所述转台到指定位置；拍摄装置，使用数码相机来拍摄通过所述转台控制装置 设置在指定位置中的对象；连续图像创建装置，用于使用所述转台控制装置和所述 拍摄装置连续创建多个图像文件；以及3D对象合成装置，用于基于由所述连续图像创建装置创 建的所述多个图像文件生成3D图像，以及由用于以3D显示 图像的3D图像生成具有紋理和属性数据的3D对象。
3. 根据权利要求2所述的3D图像生成和显示系统，其中，所述 3D对象生成装置#4居廓影法生成3D图^f象，其中，由于所述 对象在所述转台上^皮旋转，所以使用来自由对象的整个外围周围的单个相机拍摄的多个图像的轮廓数据估计所述对象的三 维形状。
4. 根据权利要求1所述的3D图像生成和显示系统，其中，所述 3D对象生成装置生成单个3D图像作为通过合成各种图像数 据获得的合成场景，其中，各种图像数据包括由相机拍摄的图 像、由计算机图形建模产生的图像、由扫描仪扫描的图像、手 绘图像、存储在其他存储介质中的图像数据等。
5. 根据权利要求1所述的3D图像生成和显示系统，其中，所述 可执行文件生成装置包括自动左和右视差数据生成装置，用于基于从指定相机位 置分配—见差的左眼图^f象和右眼图〗象，才艮据渲染功能自动生成用 于绘制和显示立体图像的左一见差数据和右视差数据；视差数据压缩装置，用于压缩由所述自动左和右视差数 据生成装置生成的所述左视差数据和所述右视差数据的每一个；一见差数据合成装置，用于合成所压缩的左一见差lt据和右 一见差数据；视差数据扩展装置，用于将所合成的左视差数据和右视 差数据分成左部分和右部分，并扩展数据以显示在立体图像显 示装置上；以及显示数据转换装置，用于根据所述立体图像显示装置的 视角(纵横比)转换将被显示的数据。
6. 根据权利要求5所述的3D图像生成和显示系统，其中，所述 自动左和右一见差数据生成装置基于由渲染功能设置的虚拟相 机，自动生成与由所述3D对象生成装置生成的3D图像相对 应的左一见差数据和右视差数据。
7. 根据权利要求5所述的3D图像生成和显示系统，其中，所述 视差数据压缩装置通过跳过像素压缩左视差数据和右视差数 据的像素数据。
8. 根据权利要求5所述的3D图像生成和显示系统，其中，所述 立体显示装置使用CRT屏幕、液晶面板、等离子显示器、EL 显示器和投影仪中的至少 一个。
9. 根据权利要求5所述的3D图像生成和显示系统，其中，所述 立体显示装置显示当观看者佩戴立体眼镜时可看到的立体图 像或显示当观看者不佩戴眼镜时可看到的立体图像。
全文摘要
一种易于在网络浏览器上显示高质量图像的3D图像生成和显示系统，包括用于由多个不同的图像和计算机图形建模创建3D图像以及由具有纹理和属性数据的这些图像生成3D对象的装置；用于转换和输出3D对象作为使用3D图形描述语言的3D描述文件的装置；用于从3D描述文件中提取3D对象和纹理，设置各种属性数据，以及编辑和处理3D对象以引入动画等以及分配各种效果的装置；用于由以上生成的被压缩以使其显示在网络浏览器上的3D数据文件生成各种基于网络的3D对象以及生成行为数据以通过动画在网络浏览器上显示3D场景的装置；以及用于生成包括网页和诸如用于在网络浏览器上绘制和显示3D场景的脚本程序、插件程序、和小程序的基于网络的程序的可执行文件的装置。
文档编号G06T15/00GK101189643SQ200580049839
公开日2008年5月28日 申请日期2005年4月25日 优先权日2005年4月25日
发明者伊藤正裕 申请人:株式会社亚派