图像处理方法和图像处理设备的制作方法

专利名称：图像处理方法和图像处理设备的制作方法
技术领域：
本发明涉及一种通过将虚拟空间的图像叠加于现实空间上而向 观察者呈现该图像的技术。
背景技术：
混合实境(MR)系统为用户提供一种通过将现实空间的图^^与 虛拟空间的图像组合在 一起而获得的混合实境空间图像，所述虛拟空 间图像是依照用户的视点的位置、朝向等信息生成的。MR系统可以 向观察者呈现仿佛虚拟对象存在于现实空间 一样的情形，并且能^f吏观 察者以实际尺寸以及高于常规虚拟现实(VR)系统的真实性的感觉进 行观察。另一方面，在设计和制造领域中，使用三维(3D) CAD的设计 (形状和设计)已成为主流。在这种情况下，作为一种用于对借助 3D-CAD设计的对象进行评估的方法，目前流行使用一种在计算机屏 幕上将借助3D-CAD创建的数据(立体格式)显示为3D-CG并对其 进行虚拟评估的系统， 一种通过快速原型化设备或类似设备来生成简 单原型并通过触觉对其进行评估的方法，以及其他类似的方法。但是，对在计算机屏幕上将3D-CAD数据显示为3D-CG的方法 来说，评估是在虚拟空间上进行的，并且该对象是无法被评估为具有 现实空间上的实际尺寸的感觉。此外，借助快速原型化设备或类似设 备来创建简单原型(简单的实体模型)的方法或类似的方法在识别粗 略形状方面是非常有效的，但是由于加工精度、材料等限制，这种方 法无法再现基于3D-CAD而设计的详细信息，例如细节、颜色以及类 似的i殳计细节。为了在更接近成品的情况下评估设计数据，目前提出了如下方
法。即，使用MR系统将通过转换3D-CAD数据创建的3D数据叠加 在由快速原型化设备或类似设备基于3D-CAD数据而创建的简单原型 (筒单的实体模型)上，同时将位置和朝向相匹配。由此，视觉和触 觉评估同时实现，并且设计数据可以在一种更接近成品对象的状态下 被评估。此外，还提出了这样一种方法，其中该方法在简单原型上布置索 引、从作为图像数据输入的现实空间的图像信息中检测所布置的索引， 并且使用检测到的索引的位置和朝向信息来校正现实空间与虚拟空间 之间的配准。但是，常规方法只能处理作为刚体的简单原型。更具体的说，当 简单原型具有可移动部分时，无法在依照可移动部分的移动来移动 3D-CG数据的同时将3D-CG数据叠加在简单原型上。此外，无法使 用布置在可移动部分上的索引的位置和朝向信息来校正现实空间与虚 拟空间之间配准。发明内容本发明是鉴于上述问题而做出的，并且本发明的目的是提供一种 用于在简单原型具有可移动部分时，将3D-CG数据叠加在简单原型之 上，同时依照所述可移动部分的移动来移动3D-CG数据的技术。为了实现本发明的目标，例如，本发明的图像处理方法包括以下过程。即， 一种用于生成和输出虚拟空间的图像的图像处理方法，其特 征在于包括第一获取步骤，获取观察者的视点的位置和朝向； 第二获取步骤，获取具有可移动部分的现实对象的位置和朝向； 用于获取可移动部分的移动量的获取步骤； 移动步骤，根据所述移动量来移动代表现实对象的虚拟对象中 的、与可移动部分相对应的部分；生成步骤，根据观察者的视点的位置和朝向以及现实对象的位置
和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虛拟^w，以及输出步骤，输出在所述生成步骤中生成的图像。 为了实现本发明的目标，例如，本发明的图像处理设备包括以下配置。即， 一种用于生成和输出虛拟空间的图像的图像处理设备，其特征在于包括第一获取单元，用于获取观察者的视点的位置和朝向； 第二获取单元，用于获取具有可移动部分的现实对象的位置和朝向；用于获取可移动部分的移动量的获取单元；移动单元，用于根据所述移动量来移动代表现实对象的虚拟对象 中的、与可移动部分相对应的部分；生成单元，用于根据观察者的视点的位置和朝向以及现实对象的 位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述以及输出单元，用于输出由所述生成单元生成的图像。 通过以下结合附图的描述，本发明的其他特征和优点将变得显而 易见，其中，在整个附图中相同的参考字符表示相同或相似的部分。


被引入并构成说明书一部分的附图例示了本发明的实施例，并且 与说明书一起用于说明本发明的原理。图l是示出根据本发明第一实施例的依照现实对象的可移动部分 的移动来移动虚拟对象中的可移动部分的系统的设备外观的视图；图2是示出HMD 100的具体结构的视图；图3是示出计算机400的功能配置的框图4是示出依照本发明第一实施例的、向观察者的右眼和左眼呈 现MR空间上的图像的处理序列的示意图，其中该MR空间上的图像 是依照其位置和朝向来观看的；图5是示出根据本发明第二实施例的、依照现实对象的可移动部 分的移动来移动虚拟对象的可移动部分的系统的外观的视图；图6是示出根据本发明第二实施例的计算机400的功能配置的框图；图7是示出根据本发明第二实施例的向观察者的右眼和左眼呈现 MR空间上的图像的处理序列的示意图，其中该MR空间上的图像是 根据其位置和朝向来观看的；图8是示出根据本发明第三实施例的依照现实对象的可移动部分视图；图9是示出根据本发明第三实施例的向观察者的右眼和左眼呈现 MR空间上的图像的处理序列的示意图，其中该MR空间上的图像是 依照其位置和朝向来观看的；图10是示出根据本发明第四实施例的依照现实对象的可移动部视图；— 一 、， 一 0- p ' ;- 、,图11是示出根据本发明第四实施例的向观察者的右眼和左眼呈 现M R空间上的图像的处理序列的示意图，其中该M R空间上的图像 是根据其位置和朝向来观看的；图12是示出计算机400的基本配置的框图；图13示出了在本发明第一实施例中使用的筒单原型300的可移 动部分301的移动模式；图14示出了用于管理索引的位置和朝向信息的数据结构的示例；以及图15是用于计算观察者(用户)的位置和朝向的处理流程图。
具体实施方式
现在依照附图来详细描述本发明的优选实施例。 [第一实施例j图l是示出系统的外观的视图，其中在向观察者(用户)显示通过将虚拟空间叠加于现实空间之上所获取的MR空间的处理中，当将 代表具有可移动部分的现实对象(简单原型)叠加于该现实对象上时，分相对应的部分。参考图1，参考数字200表示用于生成磁场的发射机。参考数字 IOO表示头戴式显示器(在下文中将其称为HMD)，该头戴式显示器 安装在观察者的头部上，以便向眼部之前的位置呈现通过组合现实空 间和虚拟空间所形成的图像。HMD 100包括摄像机102R和102L、显 示设备101R和101L以及磁性接收机201。摄像机102R和102L分别连续捕捉从佩戴HDM100的观察者的 右眼和左眼看到的现实空间，并且将所捕捉的画面图像输出到计算机 400。显示设备IOIR和101L附接到HMD 100，由此当观察者将HMD 100佩戴在头部上时，所述显示设备位于右眼和左眼前方，并且根据 计算机400输出的图像信号来显示图像。由此，计算机400生成的图 像被呈现给观察者右眼和左眼之前的位置。磁性接收机201检测发射机200所生成的磁场中的变化，并且向 位置和朝向测量设备205输出检测结果信号。该检测结果信号表示磁 场变化，其中该变化是依照磁性接收机201在一个坐标系(下文中称 为传感器坐标系)上的位置和朝向而被检测的，所述坐标系将发射机 200的位置作为原点，并且将在该原点位置处相互垂直的三个轴作为 x-、 y-和z-轴。位置和朝向测量设备205根据这个信号而获取在传感器坐标系中 的磁性接收机201的位置和朝向，并且向计算机400输出用以表示所 获取的位置和朝向的数据。
图2示出了 HMD 100的具体结构。参考数字101表示视频显示设备，它包括大小为0.5到几英寸的 小型液晶显示设备。参考数字103表示雕刻面棱镜，它用作放大坤见频 显示设备101的图像的透镜。借助这种配置，显示在视频显示设备101 上的图像被作为与大小为90英寸的图像等价的图像而呈现到例如观 察者前方2米的位置。参考数字102 ( 102R, 102L)表示视频输入设备，该视频输入设 备包含诸如CCD摄像机、CMOS摄像机等成像设备。参考数字104 表示成像系统棱镜，该成像系统棱镜用作用于将现实空间上的光会聚 到视频输入设备102的透镜。由于成像系统透镜104被设置在雕刻面 棱镜103的外部，以使得它们的光轴相互一致，视频输入设备102输 入的图像与视频显示设备101显示的图像之间的视差被移除，由此非 常自然地再现现实空间的图像。回过来参考图1，参考数字300表示现实对象(在下文中将其称 为筒单原型)。该简单原型300具有可移动部分301，其中如图1的 箭头所示，当操作者手动所述可移动部分301时，所述可移动部分301 自由地围绕轴体302移动。轴体302用作可移动部分301可绕其移动 的轴。用于测量可移动部分301的移动量的旋转编码器201附接于简 单原型300，并且向计算机400输出用以表示测得的移动量的信号。参考数字350表示在观测简单原型300时用作为支撑物的工作参考数字400表示计算机，其中该计算机生成要输出到HMD 100 的显示设备101R和101L的图像信号，接收和管理来自位置朝向测量 设备205的数据以及基于来自旋转编码器210的信号的数据等。例如， 该计算机通常包括PC (个人计算机)、WS (工作站)等。图12是 示出计算机400的基本配置的框图。参考数字1201表示CPU，该CPU使用存储在RAM 1202和ROM 1203中的程序和数据来控制整个计算机500，并且对与I/F 1207相连 的外部设备的数据通信进行控制。此外，CPU 1201执行那些由计算机
400执行的稍后描述的处理。参考数字1202表示RAM,它具有用于临时存储从外部存储i殳备 1205加载的程序和数据的区域，以及在CPU 1201执行各种处理时需 要的工作区域。参考数字1203表示ROM,它存储引导程序、计算机400的设置数据等。参考数字1204表示操作单元，其包括键盘、鼠标、摇杆等，并 且可以向CPU 1201输入各种指令。参考数字1205表示外部存储设备，该设备用作大容量信息存储 设备，例如硬盘驱动器设备等。该外部存储设备1205存储OS (操作 系统)、使CPU 1201执行稍后描述的处理的程序、数据等。在CPU 1201的控制下，某些或所有这些程序和数据被加栽到RAM 1202。此 外，在这个外部存储设备1205中还保存有后续描述中给出的数据(信 息)(或者稍后描述的处理中所需的数据)，并且这些数据在需要时 在CPU 1201的控制下被加载到RAM 1202上。参考数字1206表示显示单元，该显示单元包括CRT、液晶显示 器等，并且它可以借助于图像和字符来显示各种信息。参考数字1207表示与位置和朝向测量设备205、 HMD 100、旋 转编码器210等相连的I/F。经由该I/F 207,计算机400可以与位置 和朝向测量设备205、 HMD 100、旋转编码器210等进行数据通信。参考数字1208表示用于互连上述单元的总线。计算机400捕捉那些从摄像机102R和102L获取的现实空间的 图像，并且根据从磁性接收机201获得的位置和朝向以及简单原型300 的预定位置和朝向来生成将要从摄像机102R和102L看到的虚拟对象 的图像。该计算机400将所生成的图像叠加到先前捕捉的现实空间的 图像上，并且将重叠的图像输出到显示设备101R和IOIL。通过这种 方式，与双眼的位置和朝向相对应的MR图1象被显示在位于头戴HMD 100的观察者的右眼和左眼前方的位置。图3是示出该计算机400的功能配置的框图。在该实施例的以下 描述中，假设图3所示的各个单元是由软件实现的。应该指出的是， CPU 1201进行软件执行处理。但是，图3所示的某些或所有单元可以 由硬件实现。参考数字401R和401L表示视频捕捉单元，这些单元分别捕捉 从摄像机102R和102L作为数字信号输入的图像。参考数字404表示位置和朝向信息输入单元，该单元提取那些从 位置和朝向测量设备205输出的数据。这些数据表示磁性接收机201 在传感器坐标系上的位置和朝向。参考数字406表示代表简单原型300并被用于生成叠加在该简单 原型300上的虛拟对象的图像的3D-CG渲染数据。该3D-CG渲染数 据包括用以指示虛拟对象的几何形状以及颜色的数据、紋理数据等。 此外，该3D-CG渲染数据包括用以指示简单原型300在传感器坐标系 中的位置和朝向的数据(包括可移动部分301的初始位置和朝向数 据)。参考数字3405表示位置和朝向计算单元，该单元使用从位置和 朝向信息输入单元404输入的用以表示磁性接收机201在传感器坐标 系中的位置和朝向的数据，以及用以表示简单原型300在传感器坐标 系中的位置和朝向的数据，来计算相对于磁性接收机201的位置和朝 向而言的简单原型300的位置和朝向。参考数字420表示旋转量信息输入单元，该单元接收来自旋转编 码器210的信号，将其转换成数字数据，并且将该数字数据输出到旋 转角度计算单元421。参考数字421表示旋转角度计算单元，该单元根据从旋转量信息 输入单元420接收的信号来计算可移动部分301的旋转角度(移动量)。参考数字407表示CG渲染单元，该单元首先将代表简单原型300 的虚拟对象布置在预定位置和朝向(从3D-CG渲染数据中获取)。该 CG渲染单元407布置与可移动部分相对应的虚拟对象的一部分，以 便将其围绕轴体302旋转可移动部分301的当前旋转角度(旋转角度 计算单元421计算的旋转角度)。由于在CG领域中，用于围绕预定
轴来旋转与可移动部分301相对应的部分(局部虛拟对象)的技术是 现有技术，因此，其描述将被省略。接下来，CG渲染单元407生成依照摄像机102R和102L的位置 和朝向而要查看的虛拟对象的图像(如果磁性接收机201与摄像机 102R和102L之间的位置和朝向关系是作为偏置值预先获得的，那么 可以通过向磁性接收机201测得的位置和朝向中添加该偏置来计算才聂 像机102R和102L的位置和朝向)。应该指出的是，虚拟对象是叠加 在简单原型300上的。由此，虛拟对象的图像变成这样一个图像，其中该图像被布置成 在虚拟空间上具有预定的位置和朝向，并且是才艮据由位置和朝向计算 单元405计算的摄像机102R和102L的位置和朝向而查看的。应该指 出的是，用于生成从具有预定位置和朝向的视点查看的虚拟对象的图 像的处理是一种现有技术，而与之相关的详细描述将被省略。在后续 描述中，摄像机102R和102L在某些情况下也被称为"视点"。参考数字402R和402L表示视频合成单元，这些单元将由CG 渲染单元407生成并且要依照摄像机102R和102L的位置和取向而查 看的虛拟对象的图像叠加到从视频捕捉单元401R和401L输入的现实 空间的图像上，并且将这些图像分别输出到视频生成单元403R和 403L。由此，可以生成依照摄像机102R的位置和朝向而查看的MR 空间上的图像以及依照摄像机102L的位置和朝向而查看的MR空间 上的图像。视频生成单元403R和403L分别将从视频合成单元402R和402L 输出的MR空间上的图像转换成模拟信号，并且将经转换的模拟信号 作为视频信号输出到显示设备IOIR和IOIL。这样一来，MR空间上 的与双眼相对应的图像被显示在头戴HMD 100的观察者的右眼和左 眼之前。在下文中参考图4来描述用于向观察者的右眼和左眼呈现MR空 间上的要依照位置和朝向而查看的图像的处理，其中图4示出了该处 理的序列。 首先参考图4的左侧来描述用于从3D-CAD数据中生成简单原型 300以及3D-CG渲染数据的处理序列。一般来说，在使用3D-CAD系统所进行的诸如形状、设计等方面 的设计任务(1010)的情况下，通常的惯例是将3D-CAD数据作为每 个单独的3D-CAD系统所独有的立体数据(solid data)来存储。简单 原型300是根据该立体数据并且使用诸如铅平板印刷(stereo lithography)等快速原型化设备来生成的(1110)。另一方面，3D立体数据被表述为相应设计部分的几何参数集合， 并且不能被保持原样地渲染为CG。因此，3D立体数据被转换成适合 渲染3D-CG的数据格式(如VRML等等)(1210 )。这个MR系统 使用以这种方式转换的3D渲染数据406来生成虚拟空间。所生成的 3D-CG渲染数据被保存在计算机400的外部存储设备1205中，并且 根据需要而被加载到RAM 102。下面参考图4的右侧来描述通过使用该3D-CG渲染数据406来 生成虛拟空间上的图像(虛拟对象的图像)、将这些图像叠加在现实 空间的图像上、以及将其呈现给观察者的处理，该处理是由MR系统 执行的。如上所述，磁性接收机201对发射机200生成的磁场中的变化进 行测量(2020 )，并且将测量结果作为信号输出到位置和朝向测量设 备205。该位置和朝向测量设备205根据接收信号而将用以指示磁性 接收机201在传感器坐标系上的位置和朝向(如上所述，如果添加了 偏置值，则是摄像机102R和102L的位置和朝向)的数据输出到计算 机400 ( 2030 )。另 一方面，由于旋转量信息输入单元420接收到用以表示由旋转 编码器210测得的可移动部分301的当前旋转角度的信号(2031 )， 因此，它将该信号A/D转换为数字数据，并且将数字数据输出到旋转 角度计算单元421。该旋转角度计算单元421根据这个数据来执行用 于计算可移动部分301的当前旋转角度的处理(2032)。假设d0是旋转编码器210的初始测量值(当可移动部分301的
旋转角度为0。时，它是旋转编码器210计数的计数值)，dl是旋转编 码器210的当前测量值，并且r是在可移动部分301旋转360。时^走转 编码器的测量值。由此，可移动部分301的当前角度e是如下给出的 0 = 360 x (dl-dO)/(r-d0)在将齿轮比为g的齿轮附接于旋转编码器210时，可移动部分301的当前角度e被如下计算e = 360 x g x (dl-dO)/(r-d0)无论哪一种情况，这种计算都是由旋转角度计算单元421执行的。 图13示出了在本实施例中使用的简单原型300的可移动部分301的移 动模式。简单模型300是由主体1301和可移动部分301组成的，其中 如图13中的箭头1302所示，可移动部分的角度是可以由观察者围绕 轴A而手动改变的。这个角度是由旋转编码器210测得的。参考图13，参考数字3Ola表示在角度0为0°时(当旋转编码器 210的测量值为d0时)的可移动部分301;而301b表示当前角度为0 (当旋转编码器210的测量值为dl时)的可移动部分301。回过来参考图4， CG渲染单元407生成"要叠加在简单原型300 上的虛拟对象"的图像，这些图〗象分别是从摄像头102R和102L查看 的(2040)。在该图4象生成处理中，CG渲染单元407首先把"要叠加 在简单原型300上的虚拟对象，，布置在传感器坐标系上的预定位置和 朝向处。在这种情况下，CG渲染单元407布置虛拟对象的与可移动 部分301相对应的部分的模型，以便将其围绕轴体302 (图13中的轴 A)旋转角度e。通过这种方式，虛拟对象的可移动部分可以移动实际 可移动部分301的相同移动量，并且它们的旋转角度可以匹配。然后，CG渲染单元407使用由位置和朝向计算单元405计算的 "用以表示摄像机102R和102L在传感器坐标系上的位置和朝向的数 据"来生成分别从摄像机102R和102L的位置和朝向查看的"将要叠加 在简单原型300上的虚拟对象"的图像。应该指出的是，所生成图像的数据被临时存储在RAM 1202的预 定区域中。此外，为了生成虛拟对象的图像，保存在外部存储设备1205中的3D-CG渲染数据^皮读出到RAM 1202上，并且被4吏用。另一方面，与处理2020、 2030、 2040、 2031和2032并行地，由 摄像机102R和102L捕捉的现实空间的图像被视频捕捉单元401R和 401L输入到计算机400中(3010 )，并且在RAM 1202上^皮渲染(3020 )。视频合成单元402R将CG渲染单元407渲染的用于右眼的图<象 (虚拟对象的图像)叠加在从视频捕捉单元401R输入的用于右眼的 现实空间的图像上，并且将经叠加的图像(MR空间上的图像)输出 到视频生成单元403R (4010)。另一方面，；f见频合成单元402L将CG渲染单元407渲染的用于 左眼的图像(虚拟对象的图像)叠加在从视频捕捉单元401L输入的 用于左眼的现实空间的图像上，并且将经叠加的图像(MR空间上的 图像)输出到视频生成单元403L (4010)。更具体的说，在将虚拟对象的图像叠加到现实空间的图像上的处 理中，执行用于将从摄像机102R的位置和朝向看到的虚拟对象的图 像叠加于来自摄像机102R的现实空间的图像上的处理，以及执行用 于将从摄像机102L的位置和朝向看到的虚拟对象的图像叠加于来自 摄像机102L的现实空间的图像上的处理。由此可以生成从观察者右 眼看到的MR空间上的图像，以及从观察者左眼看到的MR空间上的 图像。视频生成单元403R和403L分别将MR空间上的所接收图4象转 换成作为模拟信号的视频信号，并且将其经由I/F 1207输出到显示设 备IOIR和101L (4020)。通过以显示设备(IOIR， 101L )的视频更新间隔或短于处理2040 的执行时间的间隔，重复执行处理2020~4020，可以实时地呈现信息。在本实施例中，磁性传感器被用作传感器。但是，取而代之，也 可以使用其他类型的传感器，例如超声波传感器等。在本实施例中，使用旋转编码器来测量可移动部分301的旋转角 度。但是，该旋转角度也可以使用其他测量设备来测量，并且本发明 并没有特别地局限于该测量设备。
在本实施例中，可移动部分的移动仅仅包括围绕着一个固定轴的 旋转。但是，作为"移动"，不但可以包括旋转，而且可以包括诸力口平 移等的其他移动模式。在这种情况下，可以测量移动量的设备(i者如 线性编码器、磁性或光学位置和朝向测量设备等的设备)必须附接于 现实对象。如上所述，当基于由3D-CAD数据生成的3D数据而产生的简单 原型具有可移动部分时，可以叠加简单原型以及3D-CG数据，并且可 以通过依照可移动部分的移动对基于相同3D数据生成的3D-CG数据 进行移动，来叠加和现实简单原型和3D-CD数据。在本实施例的描述中，简单原型300的位置和朝向是固定的。当 将磁性传感器附接于简单原型300来测量其在传感器坐标系中的位置 和朝向时，并且当对将要叠加于简单原型上的虚拟对象的位置和朝向 进行相应移动时，该虚拟物体可以始终叠加在简单原型300上。在第 三实施例中将对这种处理进行详细描述。在本实施例中，使用视频透视(see-through)类型的HMD。作 为替换，可以使用光学透视类型的HMD。在这种情况下，计算4几400 不需要执行将虚拟对象的图像叠加于现实空间的图像上的处理，即处 理4010。在处理4020中，由视频生成单元403R和403L在处理器4010 中生成的现实空间的图像(用于右眼和左眼的现实空间的图像)；陂转 换成作为模拟信号的视频信号，并且经由I/F 1207而被输出到显示设 备IOIR和IOIL。[第二实施例本实施例描述这样一个系统，其中该系统可以将索引布置在简单 原型300和可移动部分301上，以便对观察简单原型300 (简单实体 模型)的观察者的视点的位置和朝向进行校正。第 一 实施例例示了这样一种情况，其中观察者的视点的位置和朝 向是使用磁性测得的。但是，当使用磁性时，测量精度根据环境而变 得不稳定。例如，当磁性发射机附近存在金属物体时，该磁场受到干 扰，并且磁性传感器输出不稳定的值。测量精度随着磁性发射机与磁
性传感器之间距离的增大而恶化。作为测量设备的另一个示例，光学 测量设备是可用的。但是，在这种情况下，当在用于发射光的设备与 用于接收光的设备之间存在屏蔽物体时，将无法进行测量。因此，在本实施例中，捕捉布置在简单原型300和可移动部分301 上的索引的图像，而观察者的视点的位置和朝向被使用所捕捉的图像 来校正。例如，这些索引可以通过具有各不相同的颜色的圆形^:记 (circular marker)或特征点来配置，所述特征点例如是具有各不相 同的紋理特征的固有特征。作为替换，四边形索引可以用作所述索引， 其中每一个四边形索引都是由具有一定面积的四边形区域形成的。这 些索引可以采用任何类型，只要投影在被捕捉图像上的图形的图 <象坐 标可被检测并且这些索引可被单独识别即可。图5是显示系统外观的视图，其中在把通过将虚拟空间叠加于现 实空间所获得的MR空间呈现给观察者(用户)的处理中，当将一个 代表具有可移动部分的现实对象(简单原型)的虚拟对象叠加于该现 实对象上时，该系统依照该可移动部分的移动来移动虛拟对象中的与 可移动部分相对应的部分。图5中的与图1的相同参考数字表示与图l相同的部分，并且其 描述将被省略。图5中的配置与图1的配置的区别在于索引310和 311被分别布置在简单原型300和可移动部分311上。在图5中，布 置在简单原型300和可移动部分301中的每一个上的索引的数量是1。 但是，该索引的数量并不局限于此。在简单原型300和可移动部分301 上可以布置多个索引，但是在简单原型300上也可以不布置索引。应该指出的是，每一个索引的位置信息和朝向信息都是由一个层 坐标系来表述的。也就是说，布置在简单原型300上的索引的位置信 息是使用一个简单原型坐标系来描述的(该坐标系将简单原型300上 的一个点当作原点，并且把在这个原点的位置处相互垂直的三个轴作 为x-、 y-、 z-轴)。附接于可移动部分301的索引的位置信息是使用 可移动部分坐标系来描述的(该坐标系将可移动部分301上的一个点
当作原点，并且把在这个原点的位置处相互垂直的三个轴当作x-、 y-、 z-轴)，其中该坐标系是简单原型坐标系的子坐标系。图14示出了用于管理索引位置和朝向信息的数据结构的示例。 图14示出了这样一种情况，其中布置在简单原型300上的四边形索引 (下文中成为正方形标记)的名称是mockup—01，并且布置在可移动 部分301上的正方形标记的名称是unitj)l。参考数字1401表示用以 指示世界坐标系与简单原型坐标系(实体模型坐标系)之间关系的坐 标变换信息。参考数字1403表示布置于实体模型坐标系上的简单原型 300上的正方形标记mockup一01的信息(位置和朝向信息，大小4言息， ID信息)。参考数字1402表示用以表示简单原型坐标系(实体模型坐标系) 与可移动部分坐标系(单元坐标系，unit coordinate system)之间关 系的坐标变换信息。该坐标变换信息1402是基于旋转角度计算单元 421的输出而更新的。参考数字1404表示在单元坐标系上附接于可移 动部分301的正方形标记unit—01的信息(位置和朝向信息、大小信 息、ID信息)。例如，处于世界坐标系上的正方形标记unit—01的位置和朝向可 以通过将基于坐标变换信息1402和坐标变换信息1401的变换应用于 unit一Ol的位置和朝向信息来计算。此外，在世界坐标系上的正方形标 记mockup_01的位置和朝向可以通过将基于坐标变换信息1401的变 换应用于mockup—01的位置和朝向信息1403而计算出。这样，通过使用分层结构来管理索引的位置和朝向信息，可以很 容易管理布置在可移动部分与世界坐标系上的索引的位置和朝向信息 之间的关系。图6是示出依照本实施例的计算机400的功能配置的框图。在图 6中，与图3相同的参考数字表示相同的部分，并且其描述将被省略。 图6的配置与图3的配置的区别在于添加了索引检测单元410，并且 位置和朝向计算单元405的功能与图3的不同。图15是用于计算位置和朝向的处理的流程图，其中该处理是在CPU 1201执行位置和朝向计算单元405中的软件程序时实施的。应该 指出的是，在后续处理之前，依照本流程图的程序代码已被加载到 RAM 1202上。在步骤S15000,位置和朝向计算单元405使用从位置和朝向信 息输入单元404输入的用以指示磁性接收机201在传感器坐标系上的 位置和朝向的数据，以及用以指示简单原型在传感器坐标系上的位置 和朝向的数据，来计算简单原型300相对于磁性接收机201的位置和 朝向。在步骤S15010，位置和朝向计算单元405根据旋转角度计算单 元421的输出值来校正布置在可移动部分301上的索引的信息。例如， 单元405将来自旋转角度计算单元421的输出值在变换(旋转)状态 1402下从实体模型坐标系置换到图14中的单元坐标系。由于将要在变换状态1402 (旋转)下置换的值可以直接从来自旋 转角度计算单元421的输出值计算出，因此，布置在可移动部分301 上的索引的位置和朝向可以被很容易地实时更新的。在步骤S15020,位置和朝向计算单元405使用已校正的索引信 息以及索引检测单元410检测出的索引的图像坐标信息来校正摄像机 的视点的位置和朝向的信息。依照本实施例，由于布置在可移动部分301上的索引的信息是根 据旋转角度计算单元421的输出来调整的，因此，与没有调整索引信 息的情况或与可移动部分301上基本不布置索引的情况相比，观察者 的视点的位置和朝向可以被更为准确地校正或计算。依照本实施例， 由于可以将索引布置在可移动部分之上，因此可以提升索引布置的自 由度。此外，虚拟图像可以根据可移动部分上的索引而被精确地叠加在 可移动部分上。图7是示出用于向观察者的右眼和左眼呈现那些依照位置和朝向 而被看到的MR空间上的图像的处理序列的示意图。图7中的与4相 同的参考数字表示相同的处理，并且其描述将被省略。
在下文中使用图6和7来描述通过使用布置在简单原型300和可 移动部分301上的索引来校正观察者的视点的位置和朝向的处理。应 该指出的是，除了下文描述的这些要点之外，其他要点与第一实施例 中的要点基本上是相同的。索引被布置简单原型300之上，该简单原型300是基于3D立体 数据并且使用诸如铅平板印刷等的快速原型制作设备而生成的 (1120)。计算索引的布置位置。计算结果连同由上述等式基于旋转 编码器210的测量值而确定的旋转角度一起被记录在外部存储i殳备 1205中(1130)。在下文中参考图7的右侧来描述通过使用3D-CG渲染数据405 来生成虚拟空间上的图像(虚拟对象的图像)、将这些图像叠加在现 实空间的图像上、并将其呈现给观察者的处理，其中这些处理是由 MR系统执4亍的。在本实施例中，作为第一实施例的补充，由于摄像机102R和102L 捕捉的现实空间的图像被射频捕捉单元401R和401L输入到计算机 400，因此，索引检测单元410执行用于从这些图像中提取索引的处理 (3011)。借助该提取处理，可以检测出图像中的每个索引的位置。另一方面，如上所述，当操作者将可移动部分301手动旋转指定 角度时，此时的角度可以被计算出。索引在传感器坐标系上的位置和 朝向是使用存储在外部存储设备1205上的"布置在可移动部分301上 的索引的位置，，以及简单原型300的位置和朝向来计算的，而通过将索 引旋转该旋转角度所获得的当前索引位置(传感器坐标系上的位置) 也被计算出。借助上述处理，由于附接于可移动部分301的索引在传感器坐标 系中的位置以及索引在图像上的位置是可以获取的，因此，磁性接收 机201的测量结果可以利用这些位置之间的关系而被校正(2033 )。 由于这种校正方法是本领域技术人员已知的，因此对其的详细描述将 被省略。同样，本发明并不局限于这种特定的校正方法。因此，在借助前述处理校正了视点的位置和朝向之后，后续处理 以与第一实施例中相同的方式执行。在本实施例中，可移动部分的移动只包括围绕某个旋转轴的旋 转。但是，与第一实施例中一样，作为"移动，，，可以包含的不但是旋 转，而且还可以是其他移动模式，例如平移等等。例如，当线性編码 器测量到平移时，该线性编码器的测量值可以以变换(平移)的数值而被从实体模型坐标系置换到图14中的单元坐标系。在本实施例的描述中，观察者的视点的位置和朝向是使用磁性来 测量的，并且是基于索引而被校正的。作为替换，观察者的视点的位 置和朝向也可以仅仅基于索引而在不使用磁性的情况下被测量。在摄 像调查或类似的领域中已知一种用于从索引的3D坐标位置和图#>坐 标位置中计算摄〗象机的位置和朝向的方法(例如，参见R. M. Haralick，， C. Lee, K.Ottenberg以及M. Nolle: Review and analysis of solutions of the three point perspective pose estimation problem, International Journal of Computer Vision, vol. 13， no. 13， pp 331-356, 1994.， D.G. Lowe: Fitting parameterized three-dimensional models to images, IEEE Transactions on PAMI， vol. 13, no. 5, pp. 441-450， 1991.)。 [第三实施例I在第三实施例中，简单原型300的位置是固定的。但是，这个实 施例将说明这样一种情况，其中当观察者持有简单原型300时，该简 单原型300的位置和朝向被改变，并且可移动部分301的位置和朝向 可以任意改变。在这种情况下，在简单原型300上附接一个与磁性接 收机201相同的磁性接收才几。图8是示出系统外观的视图，其中在把通过将虚拟空间叠加于现 实空间所获取的MR空间呈现给观察者(用户)的处理中，当将一个 代表了具有可移动部分的现实对象(简单原型)的虚拟对象叠加于该 现实对象上时，该系统依照可移动部分的移动来移动虚拟对象中的与 可移动部分相对应的部分。图8中的与图l相同的参考数字表示相同的部分，并且对其的描 述将被省略。图8的配置与图1的配置的区别在于使用了简单原型(图 8中的摄像机)300，、可移动部分301'、旋转编码器210，以及磁性传 感器(接收机)202来替换简单原型300、可移动部分301以及旋转编 码器210。参考数字300，表示摄像机的简单原型，其中该简单原型具有可移 动部分301，。与第一实施例中一样，旋转编码器210，被附接，以便测 量可移动部分301，的旋转角度。此外，磁性传感器202被附接，以便 测量简单原型300，在传感器坐标系上的位置和朝向。图9是示出用于向观察者的右眼和左眼呈现MR空间上的图^f象的 处理序列的示意图，其中所述图像是依照其位置和朝向而被看到的。 图9中的与图4相同的参考数字表示相同的处理，并且其描述将4皮省 略。图9的配置与图4的配置的区别在于简单原型300，的位置和朝向 是在处理2010中测得的。更具体的说，在第一实施例中，简单原型300的预定位置和朝向 数据是从外部存储设备1205中进行读出而获取的。但是在本实施例 中，这些数据是从传感器202中获得的。由此，除了用于获取简单原 型300 (300，)的位置和朝向的获取方法之外，本实施例实质上与第 一实施例是相同的。[第四实施例在本实施例中，第二和第三实施例被组合在一起。更具体的说， 简单原型300包括用于在其位置和朝向任意改变时获取所述位置和朝 向的磁性传感器202，而索引被布置在简单原型300和可移动部分301 上。这样一来，在第二实施例的系统中，视点的位置和朝向的测量精 度可以提高。图10是示出系统的外观的视图，其中在把通过将虚拟空间叠加 于现实空间之上所获取的MR空间呈现给观察者(用户)的处理中， 当将一个代表了具有可移动部分的现实对象(简单原型)的虚拟对象 叠加于该现实对象上时，该系统依照该可移动部分的移动来移动虚拟 对象中的与可移动部分相对应的部分。图10中的与图1、 5和8相同 的参考数字表示相同的部分，并且其描述将被省略.如图IO所示，该 系统的配置使用依照第二和第三实施例的配置。图11是示出用于向观察者的右眼和左眼呈现MR空间上的图4象的 处理序列的示意图，其中所述图像是依照其位置和朝向而被看到的。图 11中的与图4相同的参考数字表示相同的处理，并且其描述将被省略。应该指出的是，依照本实施例的处理的描述可以通过在第二和第三 实施例的描述中用索引310，和311，替换索引310和311以及用简单原型 300，和可移动部分301，替换简单原型300和可移动部分301而给出。[其他实施例通过提供一种记录有可以实施上述的系统或设备实施例的功能的 软件程序的程序代码的记录介质(或存储介质)，以及由系统或设备的 计算机(或CPU或MPU )读出并执行存储在该记录介质中的程序代码， 也可以实现本发明的目标。在这种情况下，从记录介质中读出的程序代 码本身实施上述实施例的功能，并且本发明是由存储有程序代码的记录 介质构成的。上述实施例的功能不但可以通过执行计算机读出的程序代码来实 施，而且还可以由运行在计算机上的操作系统(OS )基于程序代码指令 所执行的某些或所有实际处理操作来实施。此夕卜，在将那些从记录介质中读出的程序代码写入功能扩展卡或功 能扩展单元的存储器中之后，上述实施例的功能也可以通过由功能扩展 卡或功能扩展单元中安装的CPU或类似设备执行的某些或所有实际处 理操作来实施，其中所述功能扩展卡或功能扩展单元是插入到计算机中 或与计算机相连的。在将本发明应用于记录介质时，该记录介质存储与前述流程图相对 应的程序代码。在不脱离本发明的实质和范围的情况下，可以实现本发明的众多显 著不同的实施例，由此应该理解，除了所附的权利要求中的限定之外， 本发明并不局限于其特定实施例。本申请要求于2005年4月21日提交的日本申请第2005-123980号 的优先权，将该申请通过引用并入本文。
权利要求
1.一种用于生成和输出虚拟空间的图像的图像处理方法，其特征在于包括第一获取步骤，获取观察者的视点的位置和朝向；第二获取步骤，获取具有可移动部分的现实对象的位置和朝向；用于获取可移动部分的移动量的获取步骤；移动步骤，根据所述移动量来移动代表现实对象的虚拟对象中的、与可移动部分相对应的部分；生成步骤，根据观察者的视点的位置和朝向以及现实对象的位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虚拟对象中的与所述可移动部分相对应的部分在所述移动步骤中被移动；以及输出步骤，输出在所述生成步骤中生成的图像。
2. 根据权利要求l的方法，其特征在于还包括 输入步骤，输入从所述视点看到的现实空间的图像，并且 所述输出步骤包括一个输出在所述生成步骤中生成的图像并且同时将该图像叠加在所述输入步骤中输入的图像之上的步骤。
3. 根据权利要求2的方法，其特征在于还包括校正步骤，对在所述第一获取步骤中获取的观察者的视点的位置 和朝向进行校正。
4. 根据权利要求3的方法，其特征在于还包括 当将索引布置在现实对象的可移动部分上时， 在保持单元中保持被布置索引的位置和/或朝向的保持步骤，以及所述校正步骤包括检测步骤，从所述输入步骤输入的图像中获取与布置在可移动部 分上的索引的图像坐标相关的特征值；以及计算步骤，根据在所述获取步骤中获取的所述移动量来对布置在 可移动部分上的索引的位置和/或朝向进行计算，并且所述校正步骤使用与所述检测步骤中获得的索引的图像坐标和 在所述计算步骤中计算出的索引的位置和/或朝向相关的特征值，来校 正在所述第一荻取步骤中获取的观察者的视点的位置和朝向。
5. 根据权利要求3的方法，其特征在于还包括管理步骤，使用坐标系的变换信息来管理与在可移动部分上布置 的索引相关联的信息，以及 所述校正步骤包括检测步骤，在所述输入步骤中输入的物理空间的图像上获取与在 可移动部分上布置的索引的图像坐标相关的特征值；以及计算步骤，根据在所述获取步骤中获取的移动量来更新变换信 息，并且使用已更新变换信息来计算与布置在可移动部分上的索引的 图像坐标相关的特征值；并且所述校正步骤使用与在所述检测步骤中获得的索引的图像坐标 以及在所述计算步骤中计算出的索引的位置相关的特征值来校正在所 述第一获取步骤中获取的观察者的视点的位置和朝向。
6. 根据权利要求5的方法，其特征在于坐标系的变换信息包 括从世界坐标系变换到固定部分的坐标系的第 一变换信息，以及从固 定部分的坐标系变换到可移动部分的坐标系的笫二变换信息，以及所述计算步骤根据在所述获取步骤中获取的移动量来更新第二 变换信息，并且在世界坐标系中使用已更新的第二变换信息以及第一 变换信息来计算在可移动部分上布置的索引的位置。
7. —种用于生成和输出虚拟空间的图像的图像处理设备，其特 征在于包括第一获取单元，用于获取观察者的视点的位置和朝向； 第二获取单元，用于获取具有可移动部分的现实对象的位置和朝向；用于获取可移动部分的移动量的获取单元；移动单元，用于根据所述移动量来移动代表现实对象的虛拟对象中的、与可移动部分相对应的部分；生成单元，用于根据观察者的视点的位置和朝向以及现实对象的 位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述以及方法。序。输出单元，用于输出由所述生成单元生成的图像。
8. —种程序，其特征在于使计算机执行权利要求1的图像处理
9. 一种计算机可读存储介质，其特征在于存储权利要求8的程
全文摘要
获取观察者的视点的位置和朝向(2030)，获取可移动部分的移动量(2032)，虚拟对象的可移动部分基于现实对象的可移动部分的移动量而移动，以及生成从观察者的视点观察到的图像(2040)。
文档编号G06T17/40GK101164084SQ20068001329
公开日2008年4月16日 申请日期2006年4月19日 优先权日2005年4月21日
发明者松井太一, 远藤隆明, 野吕英生 申请人:佳能株式会社