用于立体观察的系统的制作方法

专利名称：用于立体观察的系统的制作方法
技术领域：
本发明涉及一种用于立体观察的系统。
背景技术：
VR(Virtual Reality,虛拟现实)系统向用户呈现由计算4几创 作的三维(3D)CG(Computer Graphic,计算机绘图)图像以使他或 她感受虛拟空间，如同其为现实空间(physical space)。
近年来，已经开发了用于通过在现实空间的图像上合成3D CG来向用户呈现现实空间上实际不存在的信息的技术。此种技 术被称为MR(Mixed Reality,复合现实)系统。作为目标在于仅 在与现实空间分离的条件下可以感受到的虚拟空间和现实空间 的共存，并增强虚拟空间的一种才支术，MR系统引起了关注。
作为实现允许虚拟和现实空间共存的系统(VR/MR系统)的 代表设备，已知头戴式显示器(head mounted display, HMD)。在 该VR/MR系统中，通过在HMD上显示虚拟或者现实空间，可以 向佩戴该HMD的用户呈现虚拟空间和复合现实感空间(参见日 本特开2002-159019)。
图1示出用户^f風戴立体件见频透牙见 (stereoscopic video see-through ) HMD 100(下文简称为HMD IOO)的状态。HMD 100 具有与眼镜或护目镜类似的外观形状，并且在HMD 100中布置 如LCD等右眼用的显示装置102R和左眼用的显示装置102L。下 文中，将右眼用的显示装置102R称为右显示装置102R，将左眼 用的显示装置102L称为左显示装置102L。在通过HMD 100中配 备的摄像机获取立体视频画面时，将右眼用的立体摄像机101R 和左眼用的立体摄像机101L布置在例如用户(佩戴者)的视点(viewpoint)位置的附近。下文中，将右眼用的立体摄像机101R 称为右照相机101R，将左眼用的立体摄像机101L称为左照相机 101L。
为了实现立体观察(向用户呈现立体图像)，需要生成一对 如右眼和左眼的图像那样具有视差(disparity)的图像、并将其显 示在右眼和左眼用的显示装置上。为了生成具有视差的图像， 需要计算右眼和左眼之间的视差，即，从一个照相机观察到的
另 一 照相机的位置和方向(orientation)。作为计算这个的方法， 已知一种通过右眼和左眼用的照相机捕冲足多个测试图像、并根 据该多个测试图像来计算照相机之间的位置和方向关系的方法。
传统地，使用 一 个图像处理设备生成右眼和左眼用的图像。 然而，为了加速图像生成，可以通过独立的图像处理设备来生 成右眼和左眼用的图像。在这种配置中，为了计算右眼和左眼 用的照相机的位置和方向，用户必须提前定义连接到这些照相 机的图像处理设备之间的连接关系。然而，在实际连接图像处 理设备时用户定义错的连接关系时，所连接的图像处理设备不 能正确地计算右眼和左眼用的照相机的位置和方向。

发明内容
考虑到上述问题而作出本发明，本发明的目的在于提供这 样一种技术该技术用于简单地获得分别连接至右眼和左眼用 的照相机的图像处理设备之间的连接关系，并使用所获得的连 接关系来向用户呈现虚拟空间和现实空间的合成图像。
根据本发明的第一方面， 一种用于立体观察的系统，包括 接收由头戴式显示装置的第 一 照相机捕捉的现实空间的图像的 第 一 图像处理设备，以及接收由所述头戴式显示装置的第二照相机捕捉的所述现实空间的图像的第二图像处理设备， 所述第一图像处理设备包括
判断单元，用于判断所述第一照相机是否是主装置； 用于在所述判断单元判断为所述第 一照相机是主装置时、 获取所述第一照相机的位置和方向信息，并用于在所迷判断单 元判断为所述第 一照相机不是主装置时、从所述第二图像处理 设备获取所属第二照相机的位置和方向信息的单元；
用于在所述判断单元判断为所述第一照相机是主装置时， 将所述第一照相机的位置和方向信息输出至所述第二图像处理 设备的单元；
用于在所述判断单元判断为所述第 一 照相机不是主装置 时，获取表示所述第 一照相机和所述第二照相机之间的位置和 方向关系的位置和方向关系信息的单元；
用于在所述判断单元判断为所述第 一照相机不是主装置 时，基于所述第二照相机的位置和方向信息以及所述位置和方 向关系信息来计算所述第一照相机的位置和方向信息的单元；
用于基于所述第一照相机的位置和方向信息来生成虛拟空 间图像的单元；
用于获取由所述第 一 照相机捕捉的所述现实空间的图像的 单元；
生成单元，用于生成通过合成所述现实空间的图像和所述 虚拟空间图像所形成的合成图像；以及
用于向所述头戴式显示装置输出所述合成图像的单元，以
及
所述第二图像处理设备包括
第二判断单元，用于判断所述第二照相机是否是主装置； 用于在所述第二判断单元判断为所述第二照相机是主装置时、获取所述第二照相机的位置和方向信息，并用于在所述第 二判断单元判断为所述第二照相机不是主装置时、从所述第一
图像处理设备获取第 一 照相机的位置和方向信息的单元；
用于在所述第二判断单元判断为所述第二照相机是主装置 时，将所述第二照相机的位置和方向信息输出至所述第一图像
处理设备的单元；
用于在所述第二判断单元判断为所述第二照相机不是主装 置时，获取表示所述第 一 照相机和所述第二照相机之间的位置 和方向关系的位置和方向关系信息的单元；
用于在所述第二判断单元判断为所述第二照相机不是主装 置时，基于所述第 一 照相机的位置和方向信息以及所述位置和 方向关系信息来计算所述第二照相机的位置和方向信息的单 元；
用于基于所述第二照相机的位置和方向信息来生成虚拟空 间图像的单元；
用于获取由所述第二照相机捕捉的所述现实空间的图像的
单元；
第二生成单元，用于生成通过合成由所述第二照相机捕捉 的所述现实空间的图像和基于所述第二照相机的位置和方向信
息生成的所述虚拟空间图像所形成的合成图像；以及 用于向所述头戴式显示装置输出所述合成图像的单元。
根据下面参考附图对典型实施例的说明，本发明的其它特 征将显而易见。


图l是示出用户佩戴立体视频透视HMD 100的状态的图； 图2是示出根据本发明第 一 实施例的系统的功能配置的框图3是示出图像处理设备205和206的功能配置的框图； 图4是示出由图像处理设备205和206分别执行的处理的流 程图；以及
图5是示出可应用于图像处理设备205和206的计算机的硬
件配置的框图。
具体实施例方式
下文将参考附图详细说明本发明的优选实施例。注意，将 这些实施例作为在权利要求书的范围中描述的本发明的优选配 置的例子说明，并且本发明不限于下文要说明的实施例。
第一实施例
图2是示出根据本实施例的系统的功能配置的框图。如图2 所示，根据该实施例的系统包括作为头戴式显示装置的HMD 100、以及图像处理设备205和206。用户通过线缆将图像处理设 备205连接至HMD IOO的右眼单元。类似地，用户通过线缆将 图像处理设备206连接至HMD IOO的左眼单元。即，在图2的配 置中，图像处理设备205是右眼用的图像处理设备，图像处理设 备206是左眼用的图像处理设备。连接图像处理设备205和206 以能够通过如LAN、因特网等网络202相互通信。
首先将说明HMDIOO。 HMD IOO具有右眼单元，该右眼单 元包括右照相机(右眼用的照相机)101R、右显示装置102R、捕 捉图像输出单元203R、以及显示图像输入单元204R。同样， HMD IOO具有左眼单元，该左眼单元包括左照相机(左眼用的照 相机)101L、左显示装置102L、捕捉图像输出单元203L、以及 显示图像输入单元204L。
右照相机101R是捕捉从佩戴HMD IOO的用户的右眼位置附近看到的现实空间的动画(movie)的摄像机，如在图1中所示。 通过捕捉图像输出单元203R和I/F(接口 )201将由右照相机101R 捕捉的各帧的图像(下文中称之为捕捉图像或现实空间图像)的 数据输出至图像处理设备205。注意，在本实施例中，右照相机 IOIR用作第一照相机。
左照相机101L是捕捉从佩戴HMD IOO的用户的左眼位置 附近看到的现实空间的动画(movie)的摄像机，如在图1中所示。 通过捕捉图像输出单元203L和I/F(接口 )20l将由左照相机101L 捕捉的各帧的图像(下文中称之为捕捉图像或现实空间图像)的 数据输出至图像处理设备206。注意，在本实施例中，左照相机 IOIL用作第二照相机。
MPU 200包括CPU、 ROM、和RAM等，并对构成HMDIOO 的各单元的操作进行控制。ROM登记表示右照相机101R和左照 相机101L之间的位置和方向关系的位置和方向关系信息。可以 将该位置和方向关系信息保存在图像处理设备2 0 5和/或2 0 6中。 MPU 200根据需要向图像处理设备205和206输出位置和方向关 系信息。
右显示装置102R是如LCD显示器、有机EL显示器等小型、 重量轻的显示装置(右眼用的显示装置)，；陂安装到HMD IOO以 使右显示装置102R位于佩戴HMD IOO的用户的右眼的前面。注 意，在该实施例中，右显示装置102R用作第一显示装置。
左显示装置102L是如LCD显示器、有机EL显示器等小型、 重量轻的显示装置(左眼用的显示装置)，被安装到HMD IOO以 使左显示装置102L位于佩戴HMD IOO的用户的左眼的前面。注 意，在该实施例中，左显示装置102L用作第二显示装置。
捕捉图像输出单元2 0 3 R通过I / F 2 01将从右照相机101R接 收的捕捉图像的数据输出至图像处理设备205 。捕捉图^f象输出单元203L通过I/F 201将从左照相机101L接 收的捕捉图像的数据输出至图像处理设备206。
显示图像输入单元204R将通过I/F 201从图像处理设备205 接收的图像输出至右显示装置102R。
显示图像输入单元204L将通过I/F 201从图像处理设备206 接收的图像输出至左显示装置102L。
I/F 201包括如DVI、 S-VIDEO、和IEEE1394等视频图像输 入/输出端，用于将图像处理设备205和206连接至HMD 100。
下面将说明图像处理设备205。图像处理设备205通过I/F 205a与HMD IOO进行数据通信。图像处理设备205通过后面要说 明的处理来生成从右照相机IOIR看到的现实空间的图像和虚 拟空间的图像的合成图像(右眼用的合成图像)，并将所生成的 合成图像输出至HMD 100。注意，在本实施例中，图像处理设 备205用作第 一 图像处理设备。
下面将说明图像处理设备206。图像处理设备206通过I/F 206a与HMD IOO进行数据通信。图像处理设备206通过后面要说 明的处理来生成从左照相机101L看到的现实空间的图像和虚 拟空间的图像的合成图像(左眼用的合成图像)，并将所生成的 合成图像输出至HMD 100。注意，在本实施例中，图像处理设 备206用作第二图像处理设备。
在下面的说明中，例如，定义右照相机101R为"主(master) 照相机"，定义左照相机101L为"从(slave)照相机"。并且，将 为包括主照相机的右眼单元布置的图像处理设备205定义为"主 图像处理设备，，，将为包括从照相机的左眼单元布置的图像处理 设备206定义为"从图像处理设备"。在下面的说明中，定义右 眼的配置为"主(master)",定义左眼的配置为"从(slave)"。 然而，即使当颠倒这些定义时，系统的操作实际上也相同。用户通过线缆连4妻HMD 100和图^象处理i殳备205和206,并 且在他或她使用该系统时，接通系统的电源。在通电后的启动 处理中，HMD 100的右眼单元和左眼单元向所连4^的图<象处理 设备分别发送表示右眼单元和左眼单元的多条信息。在接收到 这些多条信息时，图像处理设备205和206利用下面的功能配置 进行操作。
图3是示出图像处理设备205和206的功能配置的框图。注 意，图3示出主图像处理设备205和从图像处理设备206具有不同 的配置。然而，在某些情况下，图像处理设备206可以连接至右 眼单元，图像处理设备205可以连接至左眼单元。即使在这种情 况下，图像处理设备具有允许它们相应的操作的配置。
首先将说明图像处理设备205。
识别信息获取单元317从所连接的右照相机101R获取识另寸 信息。将所获取的识别信息输出至控制单元303。
位置和方向信息获取单元301通过网络202获取由连接至网 络202的外部传感器系统(未示出)所测量的表示右照相机101R 的位置和方向的数据(位置和方向信息)。作为该传感器系统， 可以应用如磁传感器、光学传感器、和超声传感器等各种传感 器，并且只要其可以测量右照相机101R的位置和方向，可以使 用任意传感器。由于用于测量照相机的位置和方向的传感器系 统是当前技术(state-of-the-art technique),因此将不给出其说 明。位置和方向信息获取单元301将所获取的位置和方向信息输 出至后续的位置和方向计算单元304。
现实图像输入单元302获取从右照相机101R顺序输出的各 帧的捕捉图像，并将该图像输出至图像合成单元307。
位置和方向计算单元304将从位置和方向信息获取单元301 接收的位置和方向信息输出至位置和方向信息发送单元305和虚拟图像生成单元306。注意，还可以使用由现实图像输入单元
302输入的捕捉图像一起来计算右照相机IOIR的位置和方向信 息。在这种情况下，现实图像输入单元302还将输入的捕捉图像 输出至位置和方向计算单元304。因此，位置和方向计算单元304 可以按原样使用从传感器系统获取的位置和方向信息，或者可 以使用捕捉图像来校正位置和方向信息。即，只要位置和方向 计算单元304可以获耳又右照相才几IOIR的位置和方向信息，位置 和方向计算单元304可以使用任意方法。注意，基于由右照相机 IOIR捕捉到的捕捉图像来估计右照相机IOIR的位置和方向的 技术是当前技术，因而将不给出对该技术的说明。
与右照相机101R的位置和方向信息的获取方法无关，位置 和方向计算单元3 0 4将位置和方向信息输出至位置和方向信息 发送单元305和虚拟图像生成单元306。
控制单元303基于从识别信息获取单元317接收的识别信息 来判断连接状态，并基于该判断结果来判定是作为主图像处理 设备还是从图像处理设备。控制单元303对构成图像处理设备 205的各单元的操作进行控制，并控制与图像处理设备206的数 据通信。
位置和方向信息发送单元305将^v位置和方向计算单元304 接收的位置和方向信息发送至图像处理设备2 0 6侧。
虚拟图像生成单元306生成从如下的视点看到的虛拟空间 的图像(虛拟空间图像)该视点具有由从位置和方向计算单元 304接收的位置和方向信息所表示的位置和方向。由于该生成虚 拟空间图像的方法是当前技术，因此将省略对该技术的说明。 将所生成的虚拟空间图像输出至后续的图像合成单元307。
图像合成单元307通过将从虛拟图像生成单元306接收的虚 拟空间图像叠加(合成)在从现实图像输入单元302接收的现实空间的图像上来生成合成图像(右眼用的合成图像)。已经提出 了各种技术用于通过合成现实空间的图像和虚拟空间图像来生 成合成图像的方法，图像合成单元307可以使用任意技术来生成
合成图像。图像合成单元307将所生成的合成图像输出至后续的 图像输出单元308。
图像输出单元308将从图像合成单元307接收的合成图像输 出至HMD 100的I/F 201。通过I/F 201和显示图像输入单元204R 将该合成图像输出至右显示装置102R,并将该合成图像显示在 右显示装置102R上。以这种方式，将合成图像显示在头部佩戴 HMD IOO的用户的右眼的前面。
下面将说明图像处理设备206。
识别信息获取单元318从所连接的左照相机101L获取识另'J 信息。将所获取的识别信息输出至控制单元312。
在接收到从位置和方向信息发送单元305发送来的位置和 方向信息时，位置和方向信息接收单元310将所接收的位置和方 向信息输出至后续的位置和方向计算单元313。在通过I/F 201 从MPU 200接收到由MPU 200保持的位置和方向关系信息时， 位置和方向信息接收单元310将该信息输出至位置和方向计算 单元313。
现实图像输入单元311获取从左照相机101L顺序输出的各 帧的捕捉图像，并将该图像输出至图像合成单元315。
位置和方向计算单元3 13使用从位置和方向信息接收单元 3 IO接收的位置和方向信息以及位置和方向关系信息来计算左 照相机101L的位置和方向。然后，位置和方向计算单元313将 表示计算出的左照相机101L的位置和方向的数据输出至后续 的虚拟图像生成单元314。当将捕捉图像用于计算位置和方向 (例如，使用捕捉图像来校正由位置和方向计算单元313计算出的位置和方向)时，基于与图像处理设备205侧相同的原因，现 实图像输入单元311还将输入的捕捉图像输出至位置和方向计
算单元313。
与左照相机101L的位置和方向的计算方法无关，位置和方 向计算单元3 13将表示计算出的位置和方向的数据输出至虚拟 图像生成单元314。
控制单元312基于从识别信息获取单元318接收的识别信息 来判断连接状态，并基于该判断结果来判定是用作主图像处理 设备还是作为从图像处理设备。控制单元312对构成图像处理设 备206的各单元的操作进行控制，并控制与图像处理设备205进 行的数据通信。
虛拟图像生成单元314生成从如下浮见点看到的虚拟空间的 图像(虚拟空间图像)该视点具有由从位置和方向计算单元313 接收的数据所表示的位置和方向。由于生成虛拟空间图像的方 法是当前技术，因此将省略对其的说明。将所生成的虚拟空间 图像输出至后续的图像合成单元315。
图像合成单元315通过将从虛拟图像生成单元314接收的虚 拟空间图像叠加(合成)在从现实图像输入单元3 11接收的现实 空间的图像上来生成合成图像(左眼用的合成图像)。已经出现 了各种技术用于通过合成现实空间的图像和虚拟空间图像来生 成合成图像的方法，图像合成单元315可以使用任意技术来生成 合成图像。图像合成单元315将生成的合成图像输出至后续的图 像输出单元316。
图像输出单元316将从图像合成单元315接收的合成图像输 出至HMD 100的I/F 201。通过I/F 201和显示图像输入单元204L 将该合成图像输出至左显示装置102L，并将该合成图像显示在 左显示装置102L上。以这种方式，将合成图像显示在头部佩戴HMD IOO的用户的左眼前面。
图4是示出由图像处理设备205和206分别执行的处理的流 程图。由于上面说明了在各步骤中要执行的处理的细节，因此 下面将给出筒单的说明。
在步骤S 4 01 ，识别信息获取单元3 17从所连接的右照相机 IOIR获取识别信息。然后，识别信息获取单元317将所获取的 识别信息输出至控制单元303。控制单元303纟佥查连接状态，并 判断后续的操作。在该例子中，控制单元303判断为本图像处理 设备用作主图像处理设备。
在步骤S402,位置和方向信息获取单元301获取表示照相 机101R的位置和方向的位置和方向信息。位置和方向信息获取 单元3 01将所获取的位置和方向信息输出至后续的位置和方向 计算单元304。
在步骤S403 ，位置和方向计算单元304将从位置和方向信 息获取单元301接收的位置和方向信息或者通过任意方法计算 出的位置和方向信息输出至位置和方向信息发送单元305和虚 拟图像生成单元306。位置和方向信息发送单元305将从位置和 方向计算单元304接收的位置和方向信息发送至图像处理设备 206侧。
在步骤S404，现实图像输入单元302获取从右照相机101R 顺序输出的各帧的捕捉图像，并将该图像输出至图像合成单元 307。由于可以在步骤S403之前执行步骤S404中的处理，因此 当在步骤S403中执行例如使用捕捉图像来校正位置和方向信 息的处理时，还将捕捉图像输出至位置和方向计算单元304。以 这种方式，可以在步骤S403中使用捕捉图像来计算位置和方向 信息。
在步骤S405中，虛拟图像生成单元306生成从如下视点看到的虛拟空间的图像(虚拟空间图像)该视点具有由从位置和
方向计算单元3 04接收的位置和方向信息所表示的位置和方向。 然后，虛拟图像生成单元306将所生成的虛拟空间图像输出至后 续的图像合成单元307。
在步骤S406，图像合成单元307通过将从虚拟图像生成单 元306接收的虚拟空间图像叠加(合成)在从现实图像输入单元 302接收的现实空间的图像上来生成合成图傳"右眼的合成图 像)。然后，图像合成单元307将生成的合成图像输出至后续的 图像输出单元308。
在步骤S407,图像输出单元308将从图像合成单元307接收 的合成图像输出至HMD 100的I/F 201。
最终，控制单元303在步骤S408中检查是否满足该处理的 结束条件，或者是否从外部输入了该处理的结束指令。作为该 检查的结果，如果满足了该处理的结束条件，或者如果从外部 输入了该处理的结束指令，则该处理结束。另一方面，如果不 满足该处理的结束条件，并且没有从外部输入该处理的结束指 令，则该处理返回至步骤S402以执行下 一 帧的后续处理。
在步骤S451 ,识别信息获取单元3 18从所连接的左照相机 IOIL获取识别信息。然后，识别信息获取单元318将所获取的 识别信息输出至控制单元312。控制单元312检查连接状态，并 判断后续的操作。在该例子中，控制单元312判断为自身的图像 处理设备用作从图像处理设备。
在S452中，在通过I/F 201从MPU 200接收(获取)由MPU 200 保持的位置和方向关系信息时，位置和方向信息接收单元310 将该信息输出至位置和方向计算单元313。
在步骤S453,在接收到从位置和方向信息发送单元305发 送来的位置和方向信息时，位置和方向信息接收单元310将该信息输出至后续的位置和方向计算单元313。
在步骤S454,位置和方向计算单元313使用从位置和方向 信息接收单元310接收的位置和方向信息以及位置和方向关系 信息来计算左照相机101L的位置和方向。然后，位置和方向计 算单元313将表示计算出的左照相机101L的位置和方向的数据 输出至后续的虚拟图像生成单元314。
在步骤S455，现实图像输入单元311获取/人左照相机101L 顺序输出的各帧的捕捉图像，并将该图像输出至图像合成单元 315。由于可以在步骤S454之前执行步骤S455中的处理，因此 当在步骤S 4 5 4中执行例如使用捕捉图像来校正位置和方向的 处理时，还将捕捉图像输出至位置和方向计算单元313。以这种 方式，可以在步骤S454中使用捕捉图像来计算位置和方向。
在步骤S456,虚拟图像生成单元314生成从如下视点看到 的虚拟空间的图像(虚拟空间图像)该视点具有由从位置和方 向计算单元313接收的数据所表示的位置和方向。然后，虚拟图 像生成单元314将生成的虚拟空间图像输出至后续的图像合成 单元315。
在步骤S457,图像合成单元315通过将从虚拟图像生成单 元3 14接收的虚拟空间图像叠加(合成)在从现实图像输入单元 311接收的现实空间的图像上来生成合成图像(左眼的合成图 像)。然后，图像合成单元315将所生成的合成图像输出至后续 的图像输出单元316。
在步骤S458，图像输出单元316将从图像合成单元315接收 的合成图傳4叙出至HMD 100的I/F 201。
最终，控制单元312在步骤S 4 5 9检查是否满足该处理的结 束条件，或者是否从外部输入了该处理的结束指令。作为该检 查的结果，如果满足了该处理的结束条件，或者如果从外部输入了该处理的结束指令，则该处理结束。另一方面，如果不满 足该处理的结束条件，并且没有从外部输入该处理的结束指令，
则该处理返回至步骤S 4 5 3 ,以执行下 一 帧的后续处理。
如上所述，根据该实施例，当计算了右照相机101R的位置 和方向时，使用这些位置和方向以及位置和方向关系信息可以 计算左照相机101R的位置和方向。因此，由于由各图像处理设 备来计算各照相机的位置和方向，因此可以提高各照相机的位 置和方向的精确度，并且可以降低测量的工作量。根据该实施 例，可以计算右照相坤几和左照相冲几的^立置和方向以比传统系统 具有更高的精确度，并且可以向用户呈现具有更高精确度的立 体观察。用户可以连接图像处理设备而不考虑它们之间的关系。 变形例1
在该实施例的说明中，发送表示右眼单元和左眼单元的多 条信息。作为这种信息的详细内容，右眼单元和左眼单元的每 个向相应的图像处理设备发送该单元独有的识别信息(装置名 称等)。图像处理设备侧保持表示具有该识别信息的装置是主装 置还是从装置的多个组的识别信息和标志信息。
因此，在接收到所发送的识别信息时，图像处理设备205 参考与该识别信息相对应的标志信息，识别所连接的照相机是 主照相机还是从照相机。如果图像处理i殳备2 0 5识别为所连接的 照相机是主照相机，则该图像处理设备205用作主图像处理设 备。另一方面，如果图像处理设备205识别为所连接的照相机是 从照相机，则该图像处理设备2 0 5用作从图像处理设备。
变形例2
在第一实施例中，将表示右照相机101R和左照相机101L之 间的位置和方向关系的位置和方向关系信息保持在HMD 100 侧。然而，可以将位置和方向关系信息保持在图像处理设备205和206侧。在这种情况下，如果用作从图像处理设备的图像处理 设备需要位置和方向关系信息，则其可以从自身或者其它图像 处理设备获取位置和方向关系信息 第二实施例
在第一实施例的说明中，由硬件组件来配置构成图3中示出 的图像处理设备205和206的所有各单元。然而，可以由计算机 程序来实现一些单元，并且可以由普通PC(个人计算机)来执行 这种计算机程序，从而获得相同的结果。
图5是示出可应用于图像处理设备205和206的计算机的硬 件配置的框图。
CPU 50H吏用存储在RAM 502和ROM 503中的计算机程序 和数据来控制整个计算机，并执行要由应用了计算机的图像处 理设备205和206实现的前述处理。例如，在将该计算机应用于 图像处理设备205时，CPU 501用作控制单元303。例如，在将 该计算机应用于图像处理设备206时，CPU 501用作控制单元 312。
RAM 502具有用于临时存储从外部存储装置506加载的计 算机程序和数据、通过I/F 507从外部接收的数据等的区域。此 外，RAM 502还具有在CPU 501执行各种处理时使用的工作区 域。即，RAM 502根据需要可以提供各种区域。
ROM 503存储计算机的引导(boot)程序、设置数据等。
操作单元504包括键盘、鼠标等。该计算机的操作者通过操 作该操作单元504可以向CPU 501输入各种指令。
显示单元505包括CRT、液晶显示器等。显示单元505可以 以图像、字符等形式显示CPU 501的处理结果。
外部存储装置506是由硬盘驱动器表示的大容量信息存储 装置。外部存储装置506保存OS(操作系统)、使CPU501执行要由图像处理设备2 0 5和2 0 6实现的各处理的计算机程序和数据。例如，在将该计算机应用于图像处理设备205时，计算机程 序包括下面的计算机程序用于使CPU 501执行位置和方向计 算单元304、虚拟图像生成单元306、以及图像合成单元307的功 能的计算机程序。例如，在将该计算机应用于图像处理设备206时，计算机程 序包括下面的计算机程序用于使CPU 501执行位置和方向计 算单元313、虛拟图像生成单元314、以及图像合成单元315的功 能的计算机程序。外部存储装置5 0 6中保存的数据包括生成虚拟空间图像所 需要的数据以及描述为给定数据的数据。根据需要，在CPU 501的控制下，将保存在外部存储装置 506中的计算机程序和数据加载至RAM 502,并将由CPU 501来 执行。I/F 507用于将该计算机连接至外部设备。例如，将网络202 和I/F 201连接至I/F 507。在将该计算机应用于图像处理设备205 时，I/F 507对应于位置和方向信息获耳又单元301、现实图像输入 单元302、位置和方向信息发送单元305、以及图像输出单元308。 在将该计算机应用于图像处理设备206时，I/F 507对应于位置和 方向信息接收单元310、现实图像输入单元311、以及图像输出 单元316。附图标记508表示使前述单元互相连4妻的总线。 注意，将具有相同的硬件配置的计算机应用于图像处理设 备205和206,但可以将具有不同的硬件配置的计算机应用于它们。其它实施例本发明的目的可以如下实现。即，向系统或设备提供记录有可以实现上述实施例的功能的软件的程序代码的记录介质 (或者存储介质)。当然，这种存储介质是计算机可读存储介质。 该系统或设备的计算机(或CPU或MPU)读取并执行存储在记录 介质中的程序代码。在这种情况下，从存储介质读取的程序代 码自身实现了上述实施例的功能，并且记录有程序代码的记录 介质构成本发明。当计算机执行所读出的程序代码时，基于该程序代码的指令，运行在计算机上的操作系统(os)等执行实际处理操作的一 些或者全部。本发明还包括这种情况，在该情况中，由该处理 来实现上述实施例的功能。此外，假定将从存储介质读取的程序代码写入插入至或者 连接至计算机的功能扩展卡或者功能扩展单元的存储器中。之 后，基于该程序代码的指令，通过由布置在功能扩展卡或功能扩展单元中的CPU等执行实际处理操作的 一些或全部来实现上述实施例的功能。这种情况也包括在本发明中。当将本发明应用于记录介质时，该记录介质存储对应于前述流程图的程序代码。尽管已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1. 一种用于立体观察的系统，包括接收由头戴式显示装置的第一照相机捕捉的现实空间的图像的第一图像处理设备，以及接收由所述头戴式显示装置的第二照相机捕捉的现实空间的图像的第二图像处理设备，所述第一图像处理设备包括判断单元，用于判断所述第一照相机是否是主照相机；用于在所述判断单元判断为所述第一照相机是主照相机时，获取所述第一照相机的位置和方向信息，并用于在所述判断单元判断为所述第一照相机不是主照相机时，从所述第二图像处理设备获取所述第二照相机的位置和方向信息的单元；用于在所述判断单元判断为所述第一照相机是主照相机时，将所述第一照相机的位置和方向信息输出至所述第二图像处理设备的单元；用于在所述判断单元判断为所述第一照相机不是主照相机时，获取表示所述第一照相机和所述第二照相机之间的位置和方向关系的位置和方向关系信息的单元；用于在所述判断单元判断为所述第一照相机不是主照相机时，基于所述第二照相机的位置和方向信息以及所述位置和方向关系信息来计算所述第一照相机的位置和方向信息的单元；用于基于所述第一照相机的位置和方向信息来生成虚拟空间图像的单元；用于获取由所述第一照相机捕捉的所述现实空间的图像的单元；生成单元，用于生成通过合成所述现实空间的图像和所述虚拟空间图像所形成的合成图像；以及用于向所述头戴式显示装置输出所述合成图像的单元，以及所述第二图像处理设备包括第二判断单元，用于判断所述第二照相机是否是主照相机；用于在所述第二判断单元判断为所述第二照相机是主照相机时，获取所述第二照相机的位置和方向信息，并用于在所述第二判断单元判断为所述第二照相机不是主照相机时，从所述第一图像处理设备获取所述第一照相机的位置和方向信息的单元；用于在所述第二判断单元判断为所述第二照相机是主照相机时，将所述第二照相机的位置和方向信息输出至所述第一图像处理设备的单元；用于在所述第二判断单元判断为所述第二照相机不是主照相机时，获取表示所述第一照相机和所述第二照相机之间的位置和方向关系的位置和方向关系信息的单元；用于在所述第二判断单元判断为所述第二照相机不是主照相机时，基于所述第一照相机的位置和方向信息以及所述位置和方向关系信息来计算所述第二照相机的位置和方向信息的单元；用于基于所述第二照相机的位置和方向信息来生成虚拟空间图像的单元；用于获取由所述第二照相机捕捉的所述现实空间的图像的单元；第二生成单元，用于生成通过合成由所述第二照相机捕捉的所述现实空间的图像和基于所述第二照相机的位置和方向信息生成的所述虚拟空间图像所形成的合成图像；以及用于向所述头戴式显示装置输出所述合成图像的单元。
2.根据权利要求l所述的用于立体观察的系统，其特征在 于，所述头戴式显示装置包括第一显示装置，用于显示由所述第一图像处理设备的所述 生成单元所生成的所述合成图像；以及第二显示装置，用于显示由所述第二图像处理设备的所述 第二生成单元所生成的所述合成图像。
3.根据权利要求l所述的用于立体观察的系统，其特征在于，基于从所述第 一照相机和所述第二照相机发送来的识别信 息，所述第一图像处理设备的所述判断单元和所述第二图像处 理设备的所述第二判断单元分别判断所述第一照相机和所述第 二照相才凡中的一个是主照相机。
全文摘要
本发明涉及一种用于立体观察的系统。单元(317、318)从照相机(101R)(左照相机101L)获取识别信息。单元(303、312)基于该识别信息检查连接状态，并判断后续的操作。单元(305)向设备(206)发送照相机(101R)的位置和方向信息。单元(308)将基于位置和方向信息生成的虚拟空间图像和由单元(302)输入的捕捉图像的合成图像输出至HMD(100)。单元(313)使用位置和方向关系信息以及位置和方向信息来计算照相机(101L)的位置和方向。单元(316)将基于照相机(101L)的位置和方向生成的虚拟空间图像和由单元(311)输入的捕捉图像的合成图像输出至HMD(100)。
文档编号G02B27/01GK101295206SQ20081008925
公开日2008年10月29日 申请日期2008年4月25日 优先权日2007年4月25日
发明者前田苑子 申请人:佳能株式会社