信息处理设备、信息处理系统和信息处理方法

专利名称：信息处理设备、信息处理系统和信息处理方法
技术领域：
本发明涉及将现实环境的图像和与该现实环境相对应的图像进行合成来显示的 信息处理设备、信息处理系统和信息处理方法。
背景技术：
已知一种称为增强现实(AR)的技术，其中，与现实环境相对应的图像被添加到现 实环境的图像中。在AR中，现实环境的图像通过相机之类获得，并且与现实环境相对应的 添加图像(以下称为附加图像)与所获得的现实环境的图像合成，从而被显示在显示画面 上。用户观看现实环境的图像和附加图像被合成的图像，从而认为好像在现实环境中存在 被显示作为附加图像的对象或图像。在AR中，准确地建立所获得的现实环境的图像和附加图像之间的对应关系(即， 将附加图像的位置、大小、角度等等与现实环境相匹配)是重要的。在对应关系没有被准确 建立的情况中，所显示的附加图像的位置、大小、角度等等相对于现实环境变得不自然。例如，日本的虚拟现实社会刊物(Journalof The Virtual Reality Societyof Japan) 1999 年第 4 卷 No.4 http://intron. kz. tsukuba. ac. jp/tvrsj/4. 4/kato/p-99_ VRSJ4_4.pdf 中 Hirokazu Kato, Mark Billinghurst, Koichi Asano 禾口 Keihachiro Tachibana 的"An Augmented Reality System and its Calibrationbased on Marker Tracking^以下称为非专利文献1)描述了一种利用标记的AR系统。在此系统中，有关标 记(具有预定大小的着色的正方形)的图像信息被预先登记。在现实环境的图像包括此标 记的图像的情况中，在现实环境的图像中检测该标记，并且基于有关大小、角度等等的信息 来计算相机相对此标记的空间位置关系。基于此位置关系，虚拟对象被显示在与相机的相 对位置固定的HDM上，从而用户能够看到与现实环境一起的虚拟对象。此外，AR不仅能够与附加图像相关联地显示现实环境，而且能够根据用户的输入 来改变附加图像。例如，当用户在观看添加了附加图像的现实环境的同时将指示器瞄准现 实环境时，能够进行改变与所指示的现实环境的位置相对应的附加图像的操作。日本专利 申请早期公开No. 2007-75213第0086段、图7 (以下称为专利文献1)描述了一种能够进行 这样的操作的信息处理程序。专利文献1描述了一种设备，该设备包括两个标记(红外线光源)和控制器，这两 个标记设置在监视器的外缘上并且被分开，控制器具有能够拍摄这些标记的图像的图像拍 摄装置。当用户在监视器处瞄准控制器的同时操作该控制器时，该控制器相对于监视器的 空间位置关系基于由图像拍摄装置拍摄的这两个标记的距离、角度等等而被计算出，并且 用户的操作被输入该设备中。

发明内容
然而，根据专利文献1和非专利文献1的技术，记号(标记)应当被包括在图像拍 摄装置的图像拍摄区域中。因此，合成有附加图像的图像仅被显示在其中图像拍摄装置拍摄了此标记的区域中。鉴于上述情形，希望提供一种即使在图像拍摄区域中不包括标记的情况中也能够 显示与现实环境相对应的附加图像的信息处理设备，信息处理系统和信息处理方法。为了达到上述目的，根据本发明一个方面的一种信息处理设备包括第一图像拍摄 装置、第一位置关系估计单元、图像生成单元和显示装置。第一图像拍摄装置拍摄现实空间的图像，从而获得第一背景图像。第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标 记图像来估计第一位置关系，在第一背景图像不包括第一标记图像的情况中基于从第一背 景图像提取出的特征点的位移来估计第一位置关系，所述第一标记图像是预先登记的并且 位于所述现实空间中的标记的图像，所述第一位置关系是第一图像拍摄装置相对所述标记 的空间位置关系。图像生成单元基于第一位置关系生成第一附加图像，并且将第一附加图像和第一 背景图像进行合成，从而生成合成图像。显示装置显示合成图像。在第一背景图像包括第一标记图像的情况中，第一位置关系估计单元能够通过比 较第一标记图像和在第一位置关系估计单元中预先登记的有关所述标记的信息来估计第 一位置关系。同时，在第一背景图像不包括第一标记图像的情况中，第一位置关系估计单元 能够基于从由第一图像拍摄装置预先拍摄的包括标记图像的背景图像提取出的特征点以 及从第一背景图象提取出的特征点的位移来估计第一位置关系。图像生成单元通过利用第 一位置关系确定与第一背景图像匹配的第一附加图像的位置、方向、大小等等，以将第一附 加图像与第一背景图像进行合成。因为第一附加图像是根据第一位置关系生成的，即，根据 第一图像拍摄装置相对现实空间中的标记的位置和方向生成的，所以用户认为好像在现实 空间中存在虚拟对象。即使在第一背景图像不包括第一标记图像的情况中，即，第一图像拍 摄装置的图像拍摄区域不包括标记的情况中，该信息处理设备也能够显示其中合成了与第 一背景图像相匹配的第一附加图像的合成图像。该信息处理设备还可以包括接收单元，接收从包括第二图像拍摄装置和第二位置 关系估计单元的设备发送的第二位置关系。第二图像拍摄装置可以拍摄现实空间的图像，从而获得第二背景图像。第二位置关系估计单元可以在第二背景图像包括第二标记图像的情况中基于第 二标记图像来估计第二位置关系，在第二背景图像不包括第二标记图像的情况中基于从 第二背景图像提取出的特征点的位移来估计第二位置关系，第二标记图像是所述标记的图 像，第二位置关系是第二图像拍摄装置相对所述标记的空间位置关系。图像生成单元可以基于第一位置关系和所接收的第二位置关系生成第一附加图 像，并且将该第一附加图像和第一背景图像进行合成，从而生成合成图像。根据这种结构，除了第一位置关系以外，图像生成单元还获得了作为第二图像拍 摄装置的位置关系的第二位置关系，并且图像生成单元能够基于第一位置关系和第二位置 关系来改变第一附加图像。因此，能够改变第一附加图像，就好像对虚拟对象做出与第二位 置关系相对应的改变。为了达到上述目的，根据本发明一个方面的信息处理系统包括第一信息处理设备和第二信息处理设备。第一信息处理设备包括第一图像拍摄装置和第一位置关系估计单元。第一图像拍摄装置拍摄现实空间的图像，从而获得第一背景图像。第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标 记图像来估计第一位置关系，在第一背景图像不包括第一标记图像的情况中基于从第一背 景图像提取出的特征点的位移来估计第一位置关系，所述第一标记图像是预先登记的并且 位于所述现实空间中标记的图像，所述第一位置关系是第一图像拍摄装置相对所述标记的 空间位置关系。第二信息处理设备包括第二图像拍摄装置、第二位置关系估计单元和发送单元。第二图像拍摄装置拍摄现实空间的图像，从而获得第二背景图像。第二位置关系估计单元在第二背景图像包括第二标记图像的情况中基于第二标 记图像来估计第二位置关系，并且在第二背景图像不包括第二标记图像的情况中基于从 第二背景图像提取出的特征点的位移来估计第二位置关系，第二标记图像是所述标记的图 像，所述第二位置关系是第二图像拍摄装置相对所述标记的空间位置关系。发送单元将第二位置关系发送给第一信息处理设备。第一信息处理设备还包括接收单元、图像生成单元和显示装置。接收单元接收从第二信息处理设备发送的第二位置关系。图像生成单元基于第一位置关系和所接收的第二位置关系生成第一附加图像，并 且将该第一附加图像和第一背景图像进行合成，从而生成合成图像。显示装置显示合成图像。第一图像拍摄装置和第二图像拍摄装置中的每个拍摄现实空间的图像。例如，第 一图像拍摄装置是设置在设备本体上的相机，并且第二图像拍摄装置是设置在控制器上的 相机。因为第一图像拍摄装置和第二图像拍摄装置的空间位置的差异，第一背景图像和第 二背景图像是彼此不同的。在第一图像拍摄装置中，如上所述，第一位置关系估计单元估计 第一位置关系。在第二图像拍摄装置中，如上所述，第二位置关系估计单元通过比较第二标 记图像和在第二位置关系估计单元中预先登记的有关标记的信息来估计第二位置关系，或 者基于从由第二图像拍摄装置预先拍摄的包括标记图像的背景图像提取出的特征点以及 从第二背景图像提取出的特征点的位移来估计第二位置关系。因此，图像生成单元能够基 于第一位置关系和第二位置关系来对第一附加图像进行改变。因此，能够改变第一附加图 像就好像对虚拟对象做出与第二位置关系相对应的改变。第二信息处理设备还可以包括允许用户的输入操作的输入单元。图像生成单元根据通过输入单元输入的指令来改变第一附加图像。根据这种结构，此信息处理系统能够显示在用户输入指令时根据第二位置关系而 改变的第一附加图像。图像生成单元可以基于第一位置关系和第二位置系来计算第三位置关系，还基于 第三位置关系来生成添加到背景图像的第二附加图像，并且将第一附加图像、背景图像和 第二附加图像进行合成，从而生成合成图像，第三位置关系是第二图像拍摄装置相对第一 图像拍摄装置的空间位置关系。该信息处理系统能够根据第二图像拍摄装置相对第一图像拍摄装置的空间位置关系来将第二附加图像和现实图像进行合成。例如，在第一图像拍摄装置的图像拍摄区域 包括第二图像拍摄装置的情况中，该信息处理系统能够显示与第二图像拍摄图像相对第一 图像拍摄装置的空间位置关系(即，第三位置关系)相对应的、表示第二图像拍摄装置的图 像。为了达到上述目的，根据本发明一个方面的程序使得计算机用作第一位置关系估 计单元和图像生成单元。第一位置关系估计单元在由第一图像拍摄装置拍摄的第一背景图像包括第一标 记图像的情况中基于第一标记图像来估计第一位置关系，在第一背景图像不包括第一标记 图像的情况中基于从第一背景图像提取出的特征点的位移来估计第一位置关系，第一标记 图像是预先登记的并且位于所述现实空间中的标记的图像，第一位置关系是第一图像拍摄 装置相对所述标记的空间位置关系。图像生成单元基于第一位置关系生成第一附加图像，并且将第一附加图像和第一 背景图像进行合成，从而生成合成图像。为了达到上述目的，根据本发明一个方面的信息处理方法，第一图像拍摄装置拍 摄现实空间的图像从而获得第一背景图像。第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标 记图像来估计第一位置关系，并且在第一背景图像不包括第一标记图像的情况中基于从第 一背景图像提取出的特征点的位移来估计第一位置关系，第一标记图像是预先登记的并且 位于所述现实空间中的标记的图像，第一位置关系是第一图像拍摄装置相对所述标记的空 间位置关系。图像生成单元基于第一位置关系生成第一附加图像，并且将第一附加图像和第一 背景图像进行合成，以生成合成图像。显示装置显示合成图像。如上所述，根据本发明，能够提供一种信息处理设备、信息处理系统和信息处理方 法，它们即使在图像拍摄区域不包括标记的情况下也能够显示与现实环境相对应的附加图像。根据下面如附图中所图示出的对本发明的最佳模式的实施例的详细描述，本发明 的这些和其他目的、特征以及优点将变得很明显。


图1是示出根据第一实施例的信息处理设备的外观的透视图；图2是示出该信息处理设备的结构的框图；图3A和;3B是例示由该信息处理设备生成增强现实图像的概要的示意图；图4是示出该信息处理设备的功能结构的框图；图5是详细示出该信息处理设备的位置关系估计单元的框图；图6A-6C是示出标记的示意图；图7A-7C是示出如何设置特征点的示意图；图8是示出根据第一实施例的信息处理设备的操作的流程图；图9A-9F是示出由该信息处理设备生成/拍摄的现实图像和增强现实图像的示意
7图；图10是示出根据第二实施例的信息处理系统的外观的透视图；图11是示出该信息处理系统的AR控制器的透视图；图12是示出该信息处理系统的结构的框图；图13A-13C是例示由该信息处理系统生成增强现实图像的概要的示意图；图14是示出该信息处理系统的功能结构的框图；图15是示出该信息处理系统的操作的流程图；以及图16A-16C是例示由根据第三实施例的信息处理系统生成增强现实图像的概要 的示意图。
具体实施例方式下面将参考附图来描述本发明的实施例。(第一实施例)将描述根据本发明的第一实施例。图1是示出根据本发明的第一实施例的信息处理设备1的外观的透视图。作为信息处理设备1的示例，将描述便携信息终端。如图1所示，信息处理设备1包括本体2、显示器3和相机4(第一图像拍摄装置)。 诸如按压按钮开关之类的输入单元5设置在本体2上。显示器3可以是使用能够被制造得 较轻薄的显示元件的显示器，诸如液晶显示器、等离子显示器以及有机EL(电致发光)显示 器。相机4可以是通过使用诸如CCD (电荷耦合器件)或CMOS (互补金属氧化物半导体) 之类的图像拍摄装置构成的相机。相机4被设置在本体2上，以使得图像拍摄方向与用户 的视线方向相同，即，与显示器3的显示面侧相反。如上所述，在该AR(增强现实)系统中， 相机4用作用户的视觉。图2是示出信息处理设备1的结构的框图。如图2所示，信息处理设备1还包括CPU (中央处理单元)10、存储器11、显示器接 口 12和相机接口 13。显示器3被连接到显示器接口 12，并且相机4被连接到相机接口 13。 CPU 10、存储器11、显示器接口 12、相机接口 13和输入单元5通过总线15彼此连接。注意， 信息处理设备1的结构不限于这里所示出的。图3A和;3B是例示由信息处理设备1生成AR图像(增强现实图像)的概要的示 意图。这里，作为位于现实空间中的现实对象，“桌子”被引述作为示例。标记M安置在桌子 上。如图3A所示，信息处理设备1的相机4拍摄现实空间的图像(以下称为现实图像)，该 现实图像显示在显示器3上。现实图像包括标记M的图像。当用户给予信息处理设备IAR 图像生成指令时，如图3B所示，AR图像被显示显示器3上，在AR图像中，现实图像被与对象 的图像(以下称为对象图像)J合成，即，AR图像就好像在现实空间存在虚拟对象。注意，在 图3A和;3B的示例中，对象被假设为是虚拟三维(立体)对象，但是也可以是虚拟二维(平 面)对象。下面详细描述AR图像的生成处理。图4是示出此信息处理设备1的功能结构的框图。如图4所示，作为功能结构，除了上述显示器3、相机4、输入单元5以外，此信息处 理设备1还包括位置关系估计单元20 (第一位置关系估计单元)、对象数据存储单元21和图像数据生成单元22 (图像生成单元)。注意，位置关系估计单元20、对象数据存储单元21 和图像数据生成单元22是通过CPU 10、存储器11等实现的。相机4拍摄现实空间的图像，并且将所拍摄的现实空间的图像数据(以下称为现 实图像数据)提供给位置关系估计单元20和图像数据生成单元22。位置关系估计单元20基于从相机4提供的现实图像数据来估计相机4相对现实 空间中的标记M的空间位置关系。空间位置关系是指在现实空间中的坐标和方向。具体 地，位置关系估计单元20生成空间坐标变换矩阵，以将针对现实空间中的标记M的坐标系 统(以下称为标记坐标系统)变换成针对现实空间中的相机4的坐标系统(以下称为相机 坐标系统)。位置关系估计单元20将空间坐标变换矩阵提供给图像数据生成单元22。位 置关系估计单元20在下面详细描述。对象数据存储单元21预先存储用于绘制对象的数据(以下称为对象数据)。存储 在对象数据存储单元21中的对象数据可以是三维对象数据或二维对象数据。此外，此对象 数据可以是一条虚拟对象数据或多条虚拟对象数据。图像数据生成单元22基于从对象数据存储单元21提供的相机坐标系统以及从位 置关系估计单元20提供的空间坐标变换矩阵来计算对象图像数据。经由输入单元5接收 到用户的指令时，图像数据生成单元22将对象图像数据和现实图像数据进行合成，从而生 成AR图像数据。CPU 10将如上所述生成的AR图像数据提供给显示器3。显示器3将所提供的AR图像数据作为AR图像显示。如上所述，AR图像被显示在显示器3上。注意，此一系列的处理是通过一个帧(例 如，1/30秒)或通过比一个帧短的时间执行的。因此，此时间导向的连续AR图像作为运动 画面被显示在显示器3上。在相机4相对标记M被移动的情况中，对象图像J也因此被改变。下面将详细描述位置关系估计单元20。图5是详细示出位置关系估计单元20的功能结构的框图。如图5所示，位置关系估计单元20包括标记检测单元23、位移量计算单元M和变 换矩阵计算单元25。由相机4拍摄的现实图像数据被提供给标记检测单元23和位移量计算单元M。将描述标记检测单元23。标记信息预先被登记在标记检测单元23中。例如，在标记是如图6A中所示的正 方形的情况中，标记信息是在垂直方向上在预定距离处拍摄的标记的图像的每边的长度等 等。注意，通过预先在标记检测单元23中登记有关现实空间中存在的对象的信息，能够使 用该对象作为标记。标记检测单元23通过使用阈值将现实图像数据二值化，并且借助连接区域(相同 值的连续区域)计算面积和外接长方形。例如，在图6A-6C中，对于作为连接区域的具有 “黑色”值的一个或多个连续区域，面积和外接长方型被计算。随后，标记检测单元23基于 外接长方形信息排除具有比阈值大的面积值的作为大区域的区域以及具有比另一阈值小 的面积值的作为小区域的区域，并且还排除位于图像外缘中的连接的区域。标记检测单元23还对剩余的连接区域的轮廓进行追踪，并且存储此轮廓上的所 有像素位置。接着，标记检测单元23对此轮廓进行近似以获得由连接直线构成的多边形
9线，并且检测作为近似结果的连接区域作为用于标记M的候选。这里，因为具有预定大小的 黑色正方形被登记作为标记，所以具有由4条连接线(每条近似地具有相同的长度)构成 的轮廓的连接区域作为标记M的候选。图6B是示出拍摄的作为用于标记M的候选的连接 区域的图像的概观图，并且图6C示出在由上述针对图像的处理生成多边形线近似之后的 轮廓L。标记检测单元23存储构成检测到的作为标记M候选的连接区域的轮廓的直线的交 点(在图6C中示出为点P)在现实图像中的像素位置。接着，标记检测单元23将标记M候选的连接区域正规化，即，将此连接区域变换成 在垂直方向看到的形状。在本示例中，因为正方形被采用作为标记，所以标记检测单元23 生成平面坐标变换矩阵，并且通过使用该平面坐标变换矩阵来对作为标记M候选的连接区 域的图像执行坐标变换，对于上述平面坐标变换矩阵，四个交点P的像素位置是该正方形 的四个顶点。随后，标记检测单元23对执行了坐标变换的连接区域的图像执行与所登记的 标记的图案匹配。标记检测单元23将作为图案匹配的结果的被确定为与所登记的标记具 有最高相似度的连接区域认为是标记M。标记检测单元23将被认为是标记M的连接区域的 四个交点P的像素位置(以下称为标记像素位置)提供给变换矩阵计算单元25。在没有检 测到标记M的情况中，标记检测单元23向变换矩阵计算单元25提供对此的指令。标记检 测单元23没有检测到标记M的情况是所有连接区域作为上述大区域或小区域而都被排除 的情况，相似度等于或小于阈值的情况，等等。接着，将描述位移量计算单元M进行的估计处理。首先，位移量计算单元对从自相机4提供的特定帧的现实图像(以下称为第一帧 图像)提取特征点。特征点是位移量计算单元M能够稳定进行检测的点。具体地，特征点 可以是能够通过使用Moravec运算符检测到的、显示在现实图像上的对象的拐角等等。位 移量计算单元M将特征点设置到现实图像中离散的多个像素位置上。图7A是示出在图3A 中例示的现实图像中设置的特征点的示意图。图7A示出第一帧图像的特征点为点Q1、Q2、 Q3和Q4。注意，实际上，更多数量的特征点被设置。位移量计算单元M还提取有关作为中心的特征点的多个像素的信息作为模板 (template)。位移量计算单元M将特征点的像素位置和与像素位置有关的模板进行存储。当下一帧的现实图像(以下称为第二帧图像)的图像数据被提供给位移量计算 单元M时，位移量计算单元M通过使用上述模板来针对第二帧图像执行模板匹配。具体 地，首先，位移量计算单元M通过利用序贯相似度检测算法将平方错误用作评估尺度来执 行粗略搜索。位移量计算单元M通过使用缩小的图像来执行粗略搜索，并且以较大的间隔 来执行模板匹配。接着，位移量计算单元M通过使用具有最高匹配相关性的位置附近的正 规化互相关性执行精确搜索。位移量计算单元M如上所述在第二帧图像中设定与第一帧 图像中的特征点相对应的特征点。图7B是示出在第二帧图像中作为特征点的点R3和R4。 点R3对应于点Q3，并且点R4对应于点Q4。接着，位移量计算单元M获得第一帧图像和第二帧图像中的对应的特征点之间 (即，Q3和R3之间，以及Q4和R4之间)的像素位置位移量(位移矢量)。图7C示出由位 移量计算单元M获得的位移矢量。位移量计算单元M将如上所述获得的每对应的特征点 的像素位置的位移量(以下称为像素位置位移量)提供给变换矩阵计算单元25。接着，将描述变换矩阵计算单元25。
将描述标记检测单元23向变换矩阵计算单元25提供标记像素位置的情况。变换矩阵计算单元25基于标记像素位置获得彼此面对的两个边的直线(S卩，四个 交点P的像素位置)的方程式。因为标记M的两个边位于现实空间中的同一平面上，所以用 于将现实图像平面变换到现实空间平面的旋转变换分量被获得。此外，通过使用四个交点P 的像素位置和旋转变换分量，现实空间平面中的平行移动分量被获得。变换矩阵计算单元 25基于这些旋转变换分量和平行移动分量来计算空间坐标变换矩阵，以提供给图像数据生 成单元22。将描述标记检测单元23向变换矩阵计算单元25提供没有检测到标记M的指令的 情况。变换矩阵计算单元25将从位移量计算单元M提供的像素位置位移量应用到在 提供没有检测到标记M的指令的帧前一帧的帧中计算出的空间坐标变换矩阵。具体地，变 换矩阵计算单元25生成用于将在前帧的特征点的像素位置变换成当前帧的特征点的像素 位置的空间坐标变换矩阵，并且将此空间坐标变换矩阵乘以在在前帧中计算出的空间坐标 变换矩阵。因此，即使在图像拍摄区域不包括标记M的情况中，也能够估计空间坐标变换矩 阵。将参考流程图来描述信息处理设备1的一连串操作。图8是示出信息处理设备1 的操作的流程图。当在现实图像数据中检测到标记M时，下面的操作开始。相机4拍摄现实空间的图像，以获得现实图像数据(MlOl)。接着，标记检测单元 23执行在现实图像中检测标记M的处理(Stl02)。在检测到标记M(是)的情况中，标记检 测单元23将标记像素位置提供给变换矩阵计算单元25。在没有检测到标记M (否) 的情况中，位移量计算单元M将像素位置位移量提供给变换矩阵计算单元25(Stl04)。接 着，变换矩阵计算单元25基于标记像素位置或像素位置位移量来计算空间坐标变换矩阵 (Stl05)。随后，图像数据生成单元22基于空间坐标变换矩阵计算对象图像数据，并且将对 象图像数据和现实图像数据进行合成以生成AR图像数据(Stl06)。然后，显示器3将AR图 像数据作为AR图像显示在显示画面上(Stl07)。之后，将在下一帧中重复地执行从拍摄现 实图像的图像到显示AR图像的处理。图9A-9F是示出由信息处理设备1拍摄的现实图像和所生成的AR图像的示例。假 设相机4在相对现实空间移动的同时拍摄现实空间的图像。图9A、9B和9C示出按此顺序 拍摄的现实图像。图9D是示出针对在图9A中所示的现实图像所生成的AR图像。图9E是 示出针对在图9B中所示的现实图像所生成的AR图像。图9F是示出针对在图9C中所示的 现实图像所生成的AR图像。如图9A所示，在图像拍摄区域包括标记M的情况中，信息处理设备1基于现实图 像中的标记像素位置合成出对象图像J，从而生成了图9D中所示的AR图像。接着，如图9B 所示，在相机4移动后的图像拍摄区域仍包括标记M的情况中，信息处理设备1基于在相机 4移动后的现实图像中的标记像素位置合成出对象图像J，从而生成了图9E中所示的AR图 像。此外，如图9C所示，在相机4移动后的图像拍摄区域不包括标记M的情况中，信息处理 设备1基于图9B中所示的现实图像和图9C中所示的现实图像之间的像素位移量合成出对 象图像J，从而生成了图9F中所示的AR图像。如上所述，根据本实施例的信息处理设备能够通过使用标记检测和特征点位移二
11者来估计相机4相对标记M的空间位置关系。结果，当相机4在捕获图像拍摄区域中的标 记时，即使图像拍摄区域不包括标记，信息处理设备1之后也能够生成AR图像。(第二实施例)将描述根据本发明的第二实施例。在第二实施例中，与在第一实施例中相同的那些结构被附于相同的标号，并且对 它们的描述将被省略。注意，第一实施例中的相机4、输入单元5、位置关系估计单元20分 别对应于本实施例中的第一相机4、第一输入单元5和第一位置关系估计单元20。图10是示出根据本发明的第二实施例的信息处理系统200的外观的透视图。如图 10所示，信息处理系统200包括AR查看器201 (第一信息处理设备)和AR控制器202 (第 二信息处理设备)。AR查看器201具有与第一实施例的信息处理设备1相同的结构。S卩，显 示器3、第一相机4和第一输入单元5被设置在本体2上。AR查看器201和AR控制器202 通过线缆203连接。注意，此连接可以是无线连接。图11是示出AR控制器202的透视图。如图11所示，AR控制器202具有例如类 似“手枪”的形状，并且包括第二输入单元204 (输入单元)，如触发器的开关。此外，第二相 机205(第二图像拍摄装置)被设置在AR控制器202的前端。注意，AR控制器202的形状 不限于这里示出的形状，而是可以是包括第二相机205和第二输入单元204的任何形状。图12是示出信息处理系统200的结构的框图。如图12所示，除了与第一实施例的信息处理设备1的结构以外，AR查看器201还 包括连接到总线15的通信接口 210(接收单元)。线缆203被连接到通信接口 210。AR控制器202还包括CPU 211、存储器212、相机接口 213和通信接口 214 (发送单 元)。第二相机205被连接到相机接口 213。线缆203被连接到通信接口 214。CPU 211、存 储器212、相机接口 213、第二输入单元204和通信接口 214通过总线215彼此连接。注意， AR控制器202的结构不限于这里所示的结构。图13A-13C是例示信息处理系统200生成AR图像的概要的示意图。如图13A-13C 所示，用户将AR控制器202指向现实空间。相机4拍摄现实图像，现实图像被显示在显示 器3上。在显示器3上，由用户把持的AR控制器202被显示为现实图像。当用户给予信息 处理系统200AR图像生成指令时，如图1 所示，现实图像与对象图像J被合成的AR图像 被显示在显示器3上。到目前为止，这些操作与第一实施例的信息处理设备1的那些操作 是相同的。当用户在观看显示在显示器3上的AR图像的同时将AR控制器202瞄准显示为对 象图像J的虚拟对象并且操作第二输入单元204时，如图13C所示，对象图像J被改变。在 图13C中，叠加了示出就好像子弹直接击中对象图像J的效果。下面将详细描述信息处理 系统200的这些操作。图14是示出信息处理系统200的功能结构的框图。如图14所示，除了第一实施例的信息处理设备1的结构以外，信息处理系统200 的功能结构还包括上述第二相机205、第二输入单元204和第二位置关系估计单元221。此 外，信息处理系统200还包括图像数据生成单元220以替代第一实施例的图像数据生成单 元22。注意，第二位置关系估计单元221是通过CPU 211、存储器212等等实现的。第二相机205拍摄现实空间的图像，并且将现实图像数据提供给第二位置关系估计单元221。因为第二相机205的空间位置与第一相机4的不同，所以由第二相机205拍摄 的现实图像与由第一相机4拍摄的不同。以下，由第一相机4拍摄的现实图像被称为“第一 现实图像”，第一现实图像的数据被称为“第一现实图像数据”，由第二相机205拍摄的现实 图像被称为“第二现实图像”，并且第二现实图像的数据被称为“第二现实图像数据”。第二位置关系估计单元221基于从第二相机205提供的第二现实图像数据生成用 于将针对标记M的标记坐标系统变换成针对第二相机205的第二相机坐标系统的空间坐标 变换矩阵。第二位置关系估计单元221将此空间坐标变换矩阵提供给图像数据生成单元 220。下面将详细描述第二位置关系估计单元221。与第一实施例类似，图像数据生成单元220基于从对象数据存储单元21提供的对 象数据以及从第一位置关系估计单元20提供的第一空间坐标变换矩阵来在针对第一相机 4的第一相机坐标系统中生成对象图像数据。此外，图像数据生成单元220基于从对象数据存储单元21提供的对象数据和从第 二位置关系估计单元221提供的第二空间坐标变换矩阵来判断在AR控制器202和虚拟对 象之间是否建立起预定的位置关系。预定的位置关系例如是虚拟对象被假设处于AR控制 器202的轴向中的位置关系。在确定建立起预定的位置关系的情况中，图像数据生成单元 220在第一相机坐标系统中对上述对象图像数据做出改变。这里，此改变例如是添加示出子 弹直接击中对象图像数据的等效果。同时，在确定没有建立起预定的位置关系的情况中，图 像数据生成单元220可以做出示出AR控制器202不瞄准虚拟对象的改变或者可以根本不 做改变。图像数据生成单元220合成通过使用第一空间坐标变换矩阵计算出的对象图像 数据或者对第一现实图像数据如上改变后的对象图像数据，以生成AR图像。CPU 10将如上 生成的AR图像数据提供给显示器3。将详细描述第二位置关系估计单元221。第二位置关系估计单元221具有与图5中所示的第一实施例的位置关系估计单元 20以及本实施例的第一位置关系估计单元20相同的结构。也就是说，第二位置关系估计单 元221包括标记检测单元23、位移量计算单元M和变换矩阵计算单元25。然而，第一位置 关系估计单元20从由第一相机4拍摄的第一现实图像数据生成第一变换矩阵，第二位置关 系估计单元221从由第二相机205拍摄的第二现实图像数据生成第二变换矩阵。将参考附图描述信息处理系统200的一系列处理。图15是示出信息处理系统200 的操作的流程图。当检测到第一现实图像数据并且在第一现实图像中检测到标记M时，下 面的操作开始。St201-205的操作与第一实施例的信息处理设备1的那些操作相同。也就是，第一 相机4拍摄现实空间的图像，以获得第一现实图像数据(St201)。接着，标记检测单元23执 行在第一现实图像中检测标记M的处理(St202)。在检测到标记M(是)的情况中，标记检 测单元23将标记像素位置提供给变换矩阵计算单元25 (M20;3)。在没有检测到标记M (否) 的情况中，位移量计算单元M将像素位置位移量提供给变换矩阵计算单元25(St204)。接 着，变换矩阵计算单元25基于标记像素位置或像素位置位移量来计算空间坐标变换矩阵 (St205)。与第一相机4拍摄现实空间的图像以获得第一现实图像数据的同时，第二相机
13205也拍摄现实空间的图像，以获得第二现实图像数据(St206)。接着，标记检测单元23执 行在第二现实图像中检测标记M的处理(St207)。在检测到标记M(是)的情况中，标记检 测单元23将标记像素位置提供给变换矩阵计算单元25 (M208)。在没有检测到标记M (否) 的情况中，位移量计算单元M将像素位置位移量提供给变换矩阵计算单元25(St209)。接 着，变换矩阵计算单元25基于标记像素位置或像素位置位移量来计算第二空间坐标变换 矩阵(M210)。接着，图像数据生成单元220基于第一空间坐标变换矩阵提取对象图像数据，以 与第一现实图像数据合成，或者将基于第二空间坐标变换矩阵改变了的对象图像数据与现 实图像数据合成，从而生成AR图像数据(St211)。显示器3将AR图像数据作为AR图像显 示在显示画面上(St212)。之后，将重复地执行从拍摄现实图像的图像到显示AR图像的处理。如上所述，根据本实施例的信息处理系统200能够通过使用标记检测和特征点位 移二者来估计第一相机4和第二相机205相对标记M的空间位置关系。因此，该信息处理 系统200能够判断在AR控制器202和虚拟对象之间是否建立起预定的位置关系，以及根据 用户的输入操作来改变对象图像J。作为本实施例的另一示例，在被显示作为对象图像J的虚拟对象与AR控制器202 之间建立起预定的位置关系的情况中，信息处理系统200可以通过改变虚拟对象J的颜色 或者通过使虚拟对象J闪烁来做出改变，从而向用户示出在AR控制器202和虚拟对象之间 建立起预定的位置关系。此外，假定AR控制器202是光源，则对象图像J可以被显示为好 像AR控制器202用光照亮虚拟对象。(第三实施例)将描述根据本发明的第三实施例。在第三实施例中，与在第一实施例和第二实施例中相同的那些结构被附于相同的 标号，并且对它们的描述将被省略。根据本实施例的信息处理系统的外观和结构与根据第 二实施例的信息处理系统200的相同，但是图像数据生成单元220的功能结构是不同的。图16A-16C是例示由根据本实施例的信息处理系统生成AR图像的概要的示意图。 如图16A所示，用户将AR控制器202指向现实空间。第一相机4拍摄包括AR控制器202 的现实图像，并且包括AR控制器202的现实图像被显示在显示器3上。当用户通过设置在 AR查看器201上的第一输入单元5或者设置在AR控制器202上的第二输入单元204给出 AR图像生成指令时，如图16B所示，对象图像J以及和AR控制器202相应的图像C (以下称 为控制器图像)与现实图像被合成的AR图像被显示在显示器3上。这里，示出了“剑”的 图像被用作控制器图像C的情况。此外，当用户将AR控制器202相对标记M的空间位置关 系从图16B所示的状态改变时，如图16C所示，控制器图像C也相应地被改变。下面，将详细描述上述操作。与第一实施例和第二实施例类似，本实施例的图像数据生成单元220基于从对象 数据存储单元21提供的对象数据和从位置关系估计单元20提供的第一空间坐标变换矩阵 来在针对第一相机4的第一相机坐标系统中计算对象图像数据。此外，图像数据生成单元220基于从第一位置关系估计单元20提供的第一空间坐 标变换矩阵和从第二位置关系估计单元221提供的第二空间坐标变换矩阵来计算第三空间坐标变换矩阵。第三空间坐标变换矩阵是用于将针对第二相机205的第二相机坐标系统 变换成针对第一相机4的第一相机坐标系统的空间坐标变换矩阵。例如，第三空间坐标变 换矩阵可以通过用第一空间坐标变换矩阵除以第二空间坐标变换矩阵等方法被计算出。图像数据生成单元220基于存储在对象数据存储单元21中的表示AR控制器202 的对象数据(以下称为控制器对象数据)和第三空间坐标变换矩阵来在第一相机坐标系统 中计算控制器图像数据。这里，控制器对象数据可以是三维数据或者二维数据。如上所述，图像数据生成单元220通过使用第一空间坐标变换矩阵将标记坐标系 统变换成第一相机坐标系统来计算对象图像数据，并且通过使用第三空间坐标变换矩阵将 第二相机坐标系统变换成第一相机坐标系统来计算控制器图像数据。图像数据生成单元220将对象图像数据和控制器图像数据与现实图像进行合成， 从而生成AR图像数据。显示器3将对象图像J和控制器图像C被与现实图像合成的AR图 像显示在显示器3上。因为控制器图像数据是基于用于将第二相机坐标系统变换成第一相 机坐标系统的第三空间坐标变换矩阵而计算出的，所以控制器图像C是与AR控制器202相 对应的图像。注意，“相对应”是指控制器图像C被显示为好像控制器对象具有与AR控制器 202相同的空间位置关系。此外，本实施例的图像数据生成单元220能够基于第二空间坐标变换矩阵或第三 空间坐标变换矩阵来判断在AR控制器202和被显示为对象图像J的虚拟对象之间是否建 立起预定的位置关系。预定的位置关系例如是其中虚拟对象被假设在AR控制器202的轴 向中的位置关系，或者其中控制器图像C被叠加在对象图像J上的位置关系。图像数据生 成单元220可以在这样的预定的位置关系被建立或没有被建立的情况中改变对象图像J。根据本实施例的信息处理系统通过使用标记检测和特征点位移二者来估计第一 相机4和第二相机205相对标记M的空间位置关系，并且基于此空间位置关系来计算第二 相机205相对第一相机4的空间位置关系。因此，该信息处理设备能够生成其中合成了与 AR控制器202相对应的图像的AR图像。作为本实施例的另一示例，此信息处理系统可以将在现实空间中移动的AR控制 器202的轨迹在显示器3上显示为“线”。因此，该信息处理系统能够在显示器3上显示线 就好像用户在现实空间中三维地划线那样。此外，根据本实施例的信息处理系统能够被用 来查看控制器图像。例如，通过将示出“飞机”的外观的三维数据作为控制器对象数据，此 信息处理系统能够通过改变AR控制器202的空间位置关系来显示飞机就好像其在飞一样。本领域的技术人员应当理解，依据设计要求和其他因素可以有多种修改、组合、子 组合和变更，只要他们在所附权利要求及其等同物的范围内即可。在上述实施例中，AR控制器生成第二空间坐标变换矩阵。但并非限于此，由AR控 制器的相机拍摄的图像可以被发送给AR查看器，从而AR查看器可以生成第二空间坐标变 换矩阵。在上述实施例中，AR查看器通过使用第一空间坐标变换矩阵或第二空间坐标变换 矩阵来生成AR图像。但并非限于此，例如，设置在AR查看器上的通信装置可以将第一空间 坐标变换矩阵和第二空间坐标变换矩阵发送给另一信息处理设备，从而该信息处理设备生 成AR图像。在上述实施例中，一个AR查看器伴随有一个AR控制器。但并非限于此，一个AR
15查看器可以伴随有两个或更多个AR控制器。因此，例如，可以使能其中用户分别用左右手 把持两个AR控制器并且通过将虚拟对象夹在两手之间来拍摄虚拟对象的处理。通过用多个AR查看器的第一相机拍摄一个标记的图像，多个用户能够共享相对 标记的虚拟空间。例如，一个虚拟对象作为对象图像分别以不同角度被显示在位置彼此不 同的多个AR查看器上。通过接口连接多个AR查看器，每个AR查看器能够掌握其他AR查 看器的空间位置关系。例如，AR查看器能够显示表示另外的AR查看器位置处的另外的用 户的对象图像。在上述实施例中，描述了用于将其中通过第一相机拍摄的现实图像被与对象图像 合成的AR图像显示在显示器上的视频透视型AR系统。然而，本发明可以应用于光学透视型 AR系统，利用该系统，对象图像不与现实图像合成，但是独立地被显示在透射式显示器上。本申请包含与2010年1月8日向日本专利局提交的日本优先专利申请JP 2010-003140中所公开的主题有关的主题，该申请的全部内容通过引用被结合于此。
权利要求
1.一种信息处理设备，包括第一图像拍摄装置，用于拍摄现实空间的图像，从而获得第一背景图像； 第一位置关系估计单元，用于在所述第一背景图像包括第一标记图像的情况中基于所 述第一标记图像来估计第一位置关系，在所述第一背景图像不包括所述第一标记图像的情 况中基于从所述第一背景图像提取出的特征点的位移来估计所述第一位置关系，其中所述 第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，所述第一位置关系是 所述第一图像拍摄装置相对所述标记的空间位置关系；图像生成单元，用于基于所述第一位置关系来生成第一附加图像，并且将所述第一附 加图像和所述第一背景图像进行合成，从而生成合成图像；以及 显示装置，用于显示所述合成图像。
2.根据权利要求1所述的信息处理设备，还包括接收单元，用于接收从如下设备发送的第二位置关系，所述设备包括 第二图像拍摄装置，用于拍摄现实空间的图像，从而获得第二背景图像；以及 第二位置关系估计单元，用于在所述第二背景图像包括第二标记图像的情况中基于所 述第二标记图像来估计第二位置关系，在所述第二背景图像不包括所述第二标记图像的情 况中基于从所述第二背景图像提取出的特征点的位移估计所述第二位置关系，其中所述第 二标记图像是所述标记的图像，所述第二位置关系是所述第二图像拍摄装置相对所述标记 的空间位置关系，其中，所述图像生成单元基于所述第一位置关系和所接收的第二位置关系来生成第一 附加图像，并且将该第一附加图像和所述第一背景图像进行合成，从而生成合成图像。
3.一种信息处理系统，包括第一信息处理设备和第二信息处理设备， 其中，所述第一信息处理设备包括第一图像拍摄装置，用于拍摄现实空间的图像，从而获得第一背景图像； 第一位置关系估计单元，用于在所述第一背景图像包括第一标记图像的情况中基于所 述第一标记图像来估计第一位置关系，在所述第一背景图像不包括所述第一标记图像的情 况中基于从所述第一背景图像提取出的特征点的位移来估计所述第一位置关系，其中所述 第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，所述第一位置关系是 所述第一图像拍摄装置相对所述标记的空间位置关系； 其中，所述第二信息处理设备包括第二图像拍摄装置，用于拍摄现实空间的图像，从而获得第二背景图像； 第二位置关系估计单元，用于在所述第二背景图像包括第二标记图像的情况中基于所 述第二标记图像来估计第二位置关系，并且在所述第二背景图像不包括所述第二标记图像 的情况中基于从所述第二背景图像提取出的特征点的位移来估计所述第二位置关系，其中 所述第二标记图像是所述标记的图像，所述第二位置关系是所述第二图像拍摄装置相对所 述标记的空间位置关系，以及发送单元，用于将所述第二位置关系发送给所述第一信息处理设备，并且 其中，所述第一信息处理设备还包括接收单元，用于接收从所述第二信息处理设备发送的所述第二位置关系， 图像生成单元，用于基于所述第一位置关系和所接收的第二位置关系生成第一附加图像，并且将该第一附加图像和所述第一背景图像进行合成，从而生成合成图像，以及显示装置，用于显示所述合成图像。
4.根据权利要求3所述的信息处理系统，其中，所述第二信息处理设备还包括允许用户的输入操作的输入单元，并且其中，所述图像生成单元根据通过所述输入单元输入的指令来改变所述第一附加图像。
5.根据权利要求4所述的信息处理系统，其中，所述图像生成单元基于所述第一位置关系和所述第二位置系来计算第三位置关 系，还基于所述第三位置关系来生成添加到所述背景图像上的第二附加图像，并且将所述 第一附加图像、所述背景图像和所述第二附加图像进行合成，从而生成合成图像，其中所述 第三位置关系是所述第二图像拍摄装置相对所述第一图像拍摄装置的空间位置关系。
6.一种程序，使得计算机用作第一位置关系估计单元，用于在由第一图像拍摄装置拍摄的第一背景图像包括第一标 记图像的情况中基于所述第一标记图像来估计第一位置关系，在所述第一背景图像不包括 所述第一标记图像的情况中基于从所述第一背景图像提取出的特征点的位移来估计所述 第一位置关系，其中所述第一标记图像是预先登记的并且位于所述现实空间中的标记的图 像，所述第一位置关系是所述第一图像拍摄装置相对所述标记的空间位置关系；以及图像生成单元，用于基于所述第一位置关系生成第一附加图像，并且将所述第一附加 图像和所述第一背景图像进行合成，从而生成合成图像。
7.一种信息处理方法，包括通过第一图像拍摄装置拍摄现实空间的图像，从而获得第一背景图像；通过第一位置关系估计单元在所述第一背景图像包括第一标记图像的情况中基于所 述第一标记图像来估计第一位置关系，并且在所述第一背景图像不包括所述第一标记图像 的情况中基于从所述第一背景图像提取出的特征点的位移来估计所述第一位置关系，其中 所述第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，所述第一位置关 系是所述第一图像拍摄装置相对所述标记的空间位置关系；通过图像生成单元基于所述第一位置关系生成第一附加图像，并且将所述第一附加图 像和所述第一背景图像进行合成，从而生成合成图像；并且通过显示装置显示所述合成图像。
全文摘要
本发明公开了信息处理设备、信息处理系统和信息处理方法。第一图像拍摄装置拍摄现实空间的图像，从而获得第一背景图像。第一位置关系估计单元在第一背景图像包括第一标记图像的情况中基于第一标记图像来估计第一位置关系，在第一背景图像不包括第一标记图像的情况中基于从第一背景图像提取出的特征点的位移来估计第一位置关系，第一标记图像是预先登记的并且位于所述现实空间中的标记的图像，第一位置关系是第一图像拍摄装置相对所述标记的空间位置关系。图像生成单元基于第一位置关系生成第一附加图像，并且将第一附加图像和第一背景图像进行合成，从而生成合成图像。
文档编号G06T11/60GK102122392SQ20101062488
公开日2011年7月13日 申请日期2010年12月31日 优先权日2010年1月8日
发明者宫下朗, 石毛广行, 铃木和弘 申请人:索尼公司