信息处理设备、信息处理方法和程序的制作方法

信息处理设备、信息处理方法和程序的制作方法
【专利摘要】一种设备，包括：图像处理器，被配置成接收包括对象的视频，确定设备和对象之间的位置关系，并且当设备和对象之间的位置关系改变时，改变重叠在视频上的图像和对象之间的位置关系。
【专利说明】信息处理设备、信息处理方法和程序
【技术领域】
[0001]本公开内容涉及信息处理设备、信息处理方法和在非暂态计算机可读介质上编码的程序。
【背景技术】
[0002]近年来，一种被称为增强现实(AR)的技术引起了注意，在被称为增强现实(AR)的技术中，额外的信息重叠在真实图像上以便呈现给用户。在AR技术中，呈现给用户的信息也被称为注释(annotation)，并且信息被可视化为各种类型的虚拟对象，诸如，例如文本、图标或动画。作为AR技术的示例，专利文献I公开了这样的技术，在该技术中，模拟诸如家具的真实对象的虚拟对象的图像重叠在真实图像上，以便显示，由此轻松地尝试布置家具
坐坐寸寸ο
[0003]引用列表
[0004]专利文献
[0005]PTLl JP2003-256876A

【发明内容】

[0006]技术问题
[0007]上文所描述的AR技术例如是通过使用由用户握持的设备拍摄真实图像并通过重叠与反映在图像中的真实对象有关的虚拟对象的显示来实现的。在此情况下，例如，取决于用户的移动或握持设备的方法变化，所反映的真实对象的姿势以不同的方式变化。也就是说，即使在同一个真实对象中，图像的大小或角度也会取决于情况而变化。如此，即使显示同一个真实对象的拍摄图像，也会存在额外信息的合适显示方法不同的情况。
[0008]因此，希望提供新颖的并且改善的能够适当地显示额外的信息以便适合于真实对象的姿势的信息处理设备、信息处理方法和编码在非暂态计算机可读介质上的程序。
[0009]问题的解决方案
[0010]在一个实施例中，本发明包括一种设备，包括:图像处理器，被配置成接收包括对象的视频，确定设备和对象之间的位置关系，并且当设备和对象之间的位置关系改变时，改变重叠在视频上的图像和对象之间的位置关系。
[0011]发明的有益效果
[0012]如上文所描述的，根据本公开内容的各实施例，可以适当地显示额外的信息以便适合于真实对象的姿势。
【专利附图】

【附图说明】
[0013][图1]图1是示出关于本公开内容的第一实施例的参考技术的图示；
[0014][图2]图2是示出根据本公开内容的第一实施例的信息处理设备的功能配置的示例的框图；[0015][图3]图3是示出由根据本公开内容的第一实施例的信息处理设备显示虚拟对象的第一状态的图示；
[0016][图4]图4是示出由根据本公开内容的第一实施例的信息处理设备显示虚拟对象的第二状态的图示；
[0017][图5]图5是示出由根据本公开内容的第一实施例的信息处理设备进行的虚拟对象的显示的变化的图示；
[0018][图6]图6是示出根据本公开内容的第一实施例的信息处理设备中的图像显示处理的处理流的示例的流程图；
[0019][图7]图7是示出根据本公开内容的第一实施例的信息处理设备中的显示目标设置处理的处理流的示例的流程图；
[0020][图8]图8是示出根据本公开内容的第一实施例的替代的选择和消息显示的示例的图示；
[0021][图9]图9是示出由根据本公开内容的第二实施例的信息处理设备显示虚拟对象的第一状态的图示；
[0022][图10]图10是示出由根据本公开内容的第二实施例的信息处理设备显示虚拟对象的第二状态的图示；
[0023][图11]图11是示出由根据本公开内容的第二实施例的信息处理设备进行的虚拟对象的显示的变化的图示；
[0024][图12]图12是示出根据本公开内容的第三实施例的检测到的真实对象和设备之间的位置关系的图示；
[0025][图13]图13是示出由根据本公开内容的第三实施例的信息处理设备显示虚拟对象的第一状态的图示；
[0026][图14]图14是示出由根据本公开内容的第三实施例的信息处理设备显示虚拟对象的第二状态的图示；
[0027][图15]图15是示出由根据本公开内容的第一实施例的信息处理设备进行的虚拟对象的显示的变化的图示；
[0028][图16]图16是示出根据本公开内容的第三实施例的信息处理设备中的显示目标设置处理的处理流的示例的流程图；
[0029][图17]图17是示出根据本公开内容的实施例的信息处理设备的功能配置的另一个示例的框图；
[0030][图18]图18是示出根据本公开内容的实施例的信息处理设备的功能配置的又一个示例的框图；以及
[0031][图19]图19是示出信息处理设备的硬件配置的框图。
【具体实施方式】
[0032]在下文中，将参考各个附图来详细描述本公开内容的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件将用相同的附图标记来表示，并省略对这些结构元件的重复说明。
[0033]另外，将按下列顺序进行描述。[0034]1.第一实施例(改变相对于真实对象的显示位置的示例)
[0035]2.第二实施例(改变显示的信息的量的示例)
[0036]3.第三实施例(改变显示的信息的内容的示例)
[0037]4.关于设备配置的其他实施例
[0038]5.补充
[0039]1.第一实施例
[0040]将参考图1到图8来详细描述本公开内容的第一实施例。在本公开内容的第一实施例中，取决于反映在图像中的真实对象和拍摄图像的设备之间的相对位置关系，改变虚拟对象相对于真实对象的显示位置。
[0041]1-1.参考技术
[0042]首先，为更好地理解本实施例，将描述参考技术。图1是示出关于本公开内容的第一实施例的参考技术的图示。
[0043]图1中示出了与参考技术有关的信息处理设备10。信息处理设备10包括图像拾取单元(未示出)和显示单元12，并且信息处理设备10执行AR应用。
[0044]这里，显示单元12显示图像，在该图像中，信息处理设备10将与真实对象obj_r有关的虚拟对象obj_v重 叠在其中反映了由图像拾取单元拍摄到的真实对象obj_r的图像上。在所示出的示例中，在从前侧拍摄真实对象obj_r(书)的情况下(如图1的(a)所示)，以及在倾斜地拍摄真实对象obj_r的情况下(如图1的(b)所示)，虚拟对象obj_V(关于书的内容的图像)被转换成不同的形式并显示。换言之，虚拟对象必彳^被转换并显示，以适合于由于真实对象obj_r的姿势的变化而导致的外形的变化。
[0045]如此，在AR应用中，存在虚拟对象被转换为适合于真实对象的姿势并被放置在AR空间中的情况。由此，例如，用户识别虚拟对象，就好像虚拟对象反映在真实对象的表面上并存在于其中一样，如此可以轻松地理解真实对象和虚拟对象之间的关系。
[0046]然而，如所示出的示例的图1的(b)所示，存在难以根据真实对象obj_r的姿势在视觉上识别转换后的虚拟对象obj_v的情况。在此情况下，难以说以合适的方式显示虚拟对象obj_v。
[0047]因此，在本实施例中，通过取决于反映在图像中的真实对象和拍摄图像的设备之间的位置关系，改变虚拟对象相对于真实对象的显示位置，即使在该情况下，也可以以合适的方式显示虚拟对象obj_v。
[0048]1-2.设备配置
[0049]接下来，将参考图2描述根据本公开内容的功能配置。图2是示出根据本公开内容的第一实施例的信息处理设备的功能配置的示例的框图。
[0050]参考图2，根据本实施例的信息处理设备100包括图像拾取单元102、图像识别单元104、模型DB106、位置关系检测单元108、选择单元110、对象DB112、显示目标信息输出单元114、消息信息输出单元116、显示控制单元118和显示单元120。
[0051]在本实施例中，信息处理设备100将被描述为集成有包括图像拾取单元和显示单元的各个单元的终端设备，例如智能电话、平板型PC(个人计算机)、PDA(个人数字助理)、便携式游戏机、或便携式音乐播放器。然而，信息处理设备100可以是其他信息处理设备，例如笔记本类型或台式机类型的PC。在此情况下，例如，可以与其他单元分开地提供图像拾取单元或显示单元。另外，在信息处理设备100被分成多个单元的情况下，诸如在“信息处理设备100和真实对象之间的位置关系”或“真实对象相对于信息处理设备100的角度”的公开内容中的“信息处理设备100”表示提供信息处理设备100的图像拾取单元所在的部分，除非本文中另有具体定义。
[0052]在上文所描述的功能配置中，例如，图像拾取单元102通过信息处理设备100中所包括的图像拾取设备来实现。另外，例如，图像识别单元104、位置关系检测单元108、选择单元110、显示目标信息输出单元114、消息信息输出单元116和显示控制单元118由信息处理设备100的CPU (中央处理单元)、RAM(随机存取存储器)和ROM(只读存储器)根据程序进行操作来实现。例如，模型DB106和对象DB112通过信息处理设备100的内部或外部存储设备来实现。例如，显示单元120通过作为输出设备包括在信息处理设备100中或作为外部连接设备连接到信息处理设备100的各种显示器来实现。
[0053]<图像拾取单元>
[0054]图像拾取单元102拍摄真实空间以生成图像。图像拾取单元102可以拍摄运动图像。运动图像由形成连续帧的多个图像来配置。图像拾取单元102将所生成的图像提供到图像识别单元104和显示控制单元118两者。此时，所生成的图像可以临时存储在例如RAM或存储设备中。
[0055]<图像识别单元>
[0056]图像识别单元104使用存储在模型DB106中的数据来执行对象识别。模型DB106是预先存储了关于作为由信息处理设备100识别的目标的对象的形状或外形的模型数据的数据库。在本实施例中，由信息处理设备100识别的目标是真实空间中的任何对象。模型数据包括定义每个对象的形状的数据、诸如被添加到每个对象的预定的符号标记或文本标签的图像数据、从每个对象的现有图像提取的特征量集合的数据等等。
[0057]更具体而言，图像识别单元104使用由图像拾取单元102拍摄到的图像作为输入图像，由此识别哪一个对象被反映在输入图像中。图像识别单元104例如将从输入图像提取的特征点集合与由模型数据所定义的对象的形状进行比较。另外，图像识别单元104可以将诸如由模型数据所定义的符号标记或文本标签之类的图像数据与输入图像进行比较。此外，图像识别单元104可以将由模型数据所定义的现有对象的图像的特征量与从输入图像中提取的特征量进行比较。
[0058]<位置关系检测单元>
[0059]位置关系检测单元108检测由图像识别单元104识别的对象和信息处理设备100 (更具体而言，图像拾取单元102)之间的位置关系。在本实施例中，对象相对于信息处理设备100的角度用作对象和信息处理设备100之间的位置关系。例如，此角度被表达为从预先为对象设置的参考姿势的倾斜。换言之，在本实施例中，位置关系检测单元108检测对象和信息处理设备100之间的姿势关系，作为对象和信息处理设备100之间的位置关系。
[0060]更具体而言，位置关系检测单元108使用由图像拾取单元102拍摄到的图像作为输入图像，由此检测反映在输入图像中的对象的姿势。这里，在本实施例中，对象的姿势由4*4齐次变换矩阵共同地表达，4*4齐次变换矩阵表示存储在模型DB106中的模型数据中的模型坐标系和反映在输入图像中的对象的坐标系之间的变换。位置关系检测单元108从齐次变换矩阵中提取对象相对于信息处理设备100的角度。[0061]另外，稍后将描述由位置关系检测单元108获取的位置关系的详细示例。由于由位置关系检测单元108执行的处理与诸如由图像识别单元104参考模型DB106执行的处理是共同的，因此该处理可以与由图像识别单元104执行的处理一起执行。
[0062]<选择单元>
[0063]选择单元110根据由位置关系检测单元108检测到的位置关系，从包括与真实对象有关的多种类型的虚拟对象的虚拟对象组中选择重叠在图像上的显示目标对象。更具体而言，选择单元110根据真实对象相对于信息处理设备100的角度，从包括多个虚拟对象(多个虚拟对象相对于真实对象的显示位置彼此不同)的虚拟对象组中选择虚拟对象。虚拟对象显示在容易在视觉上被用户识别的位置处。由位置关系检测单元108获取真实对象相对于信息处理设备100的角度。稍后将描述这样的虚拟对象和由选择单元110进行的对虚拟对象的选择的示例。
[0064]在本实施例中，虚拟对象组的数据存储在对象DBl 12中。对象DBl 12可以是预先存储对应于每个真实对象的虚拟对象组的数据的数据库。另外，对象DB112可以是临时存储对应于由图像识别单元104识别的真实对象并且从外部设备下载的虚拟对象组的数据库。
[0065]此外，对象DB112可以是临时存储通过处理反映在由图像拾取单元102拍摄到的图像中的一部分真实对象或整个真实对象而获得的虚拟对象的数据库。对真实对象的处理由处理单元(未示出)来执行。处理单元可以通过根据由选择单元110做出的选择的结果处理图像来生成虚拟对象。在此情况下，例如，选择单元110参考存储在对象DBl 12中的表示“可以生成何种虚拟对象”的信息。选择单元110还选择要显示的虚拟对象的类型，并指示处理单元生成虚拟对象。
[0066]另外，如稍后作为替代的选择和消息显示的示例所描述的，在选择的虚拟对象不能显示在图像区域的情况下，选择单元110可以做出对可以显示在图像区域的虚拟对象的替代选择，而不管选择结果如何。
[0067]另外，选择单元110可以调整选择结果，以便为彼此相关的多个真实对象选择相同类型的虚拟对象。在此情况下，例如，选择单元Iio可以平均化由位置关系检测单元108针对各个真实对象检测到的结果。选择单元110还可以使用平均化的结果，作为对各个真实对象通用的位置关系。另外，选择单元Iio可以计数由位置关系检测单元108针对各个真实对象检测到的结果，并且可以使用从更多个真实对象检测到的检测结果，作为对各个真实对象通用的位置关系。由此，例如，可以统一针对彼此相关的多个真实对象显示的各种虚拟对象，并且针对真实对象的虚拟对象的统一可被示出给用户。
[0068]〈显示目标信息输出单元〉
[0069]显示目标信息输出单元114向显示控制单元118输出由选择单元110选择的显示目标对象的信息，以便信息重叠在由图像拾取单元102拍摄到的图像上从而显示。这里，显示目标对象的输出信息可以是虚拟对象的图像数据本身，或者可以是用于分开地参考虚拟对象的图像数据的诸如ID之类的标识信息。这里，在输出虚拟对象的图像数据的情况下，例如，显示目标信息输出单元114可以根据真实对象和信息处理设备100之间的位置关系，生成虚拟对象的重叠的图像。由位置关系检测单元108来检测位置关系。显示目标信息输出单元114还可以向显示控制单元118输出重叠的图像的信息。对于此处理，显示目标信息输出单元114可以参考对象DBl 12。[0070]〈消息信息输出单元〉
[0071]额外地提供了消息信息输出单元116。消息信息输出单元116生成重叠在图像上并显示的消息的信息，并且消息信息输出单元116向显示控制单元118输出信息。例如，在由于由图像拾取单元102拍摄到的图像的区域的限制而选择替代的显示目标对象的情况下，如稍后所描述的，消息信息输出单元116生成提示用户通过移动图像拾取单元102来改变图像的区域的消息的信息，并且消息信息输出单元116向显示控制单元118输出信息。
[0072]<显示控制单元>
[0073]显示控制单元118将作为显示目标对象的虚拟对象重叠在由图像拾取单元102拍摄到的图像上。该重叠使用从显示目标信息输出单元114输出的信息。显示控制单元118还使显示单元120显示重叠的结果作为AR应用图像。此时，显示控制单元118可以生成重叠的图像，其中，显示目标对象被布置并被转换为适合于反映在图像中的真实对象的位置、姿势和大小，并且显示控制单元118可以将重叠的图像重叠在图像上。如上文所描述的，重叠的图像可以由显示目标信息输出单元114生成。当生成重叠的图像时，显示控制单元118例如可以使用表示真实对象和信息处理设备100之间的位置关系的信息。由位置关系检测单元108来检测位置关系。在提供消息信息输出单元116的情况下，显示控制单元118还通过使用从消息信息输出单元116输出的信息将消息重叠在图像上。
[0074]<显示单元>
[0075]显示单元120向用户呈现AR应用图像。AR应用图像是由显示控制单元118所生成的。如上文所描述的，显示单元120通过与信息处理设备100集成地形成的或分开地形成的各种显示设备来实现。显示单元120例如可以是使用IXD(液晶显示器)、OLED(有机发光二极管)或rop(等离子显示板)的显示屏幕，或者可以是由用户安装的透视类型的或非透视类型的HMD (头戴式显示器)。
[0076]如上文所描述的，在根据本实施例的信息处理设备100中，根据真实对象和信息处理设备100之间的位置关系，选择显示目标对象。此外，从包括与真实对象有关的多种类型的虚拟对象的虚拟对象组中选择显示目标对象。另外,这里,“多种类型的虚拟对象”是根据彼此不同的多个图像数据(换言之，原始数据)生成重叠图像的虚拟对象。例如，诸如“看起来就像存在于真实对象的内部空间中的图像”或“看起来就像从真实对象突出的图像”的多个图像数据存储在对象DB112中。另外，“虚拟对象”是如上文所描述的表示真实对象的额外信息(注释)的对象。
[0077]1-3.显示变化的示例
[0078]接下来，将参考图3到图5来描述根据本实施例的显示变化的示例。图3是示出由根据本公开内容的第一实施例的信息处理设备显示虚拟对象的第一状态的图示。图4是示出由根据本公开内容的第二实施例的信息处理设备显示虚拟对象的第二状态的图示。图5是示出由根据本公开内容的第一实施例的信息处理设备进行的虚拟对象的显示的变化的图示。
[0079]图3示出由根据本实施例的信息处理设备100显示虚拟对象的第一状态。如上文所描述的，在本实施例中，根据真实对象相对于信息处理设备100的角度，选择作为显示目标的虚拟对象的类型。在所示出的示例中，在第一状态下，由于真实对象Obj_r(书)相对于信息处理设备100的角度Al相对较小，因此显示看起来就像存在于真实对象obj_r的内部空间中的虚拟对象obj_vl (关于书的内容的图像)。在下面的描述中，当真实对象obj_r在接近于前视图的状态下被反映在图像中时的虚拟对象的显示被称为“前视图显示”。
[0080]这里，当来自信息处理设备100的图像拾取单元102的视线方向的线用作参考时，真实对象obj_r相对于信息处理设备100的角度A可被表示为真实对象obj_r的姿势从参考姿势的倾斜。真实对象的参考姿势例如是预先为每个真实对象定义的姿势，并且可以是根据上文所描述的模型坐标系的真实对象的姿势。在所示出的示例中的真实对象obj_r (书)中，真实对象obj_r (书)的封面面向图像拾取单元102的姿势被设置为参考姿势。这里，由于真实对象ob j_r具有板形状，因此角度A被定义为由垂直于表面的线和来自图像拾取单元102的视线的线形成的角度。另外，真实对象obj_r的形状不限于板形状，并且可以是任何形状。因此，除所示出的示例之外，真实对象ob j_r相对于信息处理设备100的角度A可以以不同的方式定义。
[0081]图4示出由根据本实施例的信息处理设备100显示虚拟对象的第二状态。在所示出的示例中，在第二状态下，由于真实对象obj_r (书)相对于信息处理设备100的角度A2相对较大，因此显示看起来就像从真实对象obj_r突出的虚拟对象obj_v2(关于书的内容的图像)。在下面的描述中，当真实对象。!^^在斜视图的状态下被反映在图像中时的虚拟对象的显示被称为“斜视图显示”。
[0082]如此，在本实施例中，根据信息处理设备100和真实对象obj_r之间的位置关系，有选择地显示相对于真实对象obj_r的显示位置彼此不同的虚拟对象obj_vl和虚拟对象obj_v2。在所示出的示例中，当真实对象obj_r的表面用作参考面时,虚拟对象obj_vl和虚拟对象obj_v2在深度方向具有不同的位置。更具体而言，在真实对象obj_r在接近于前视图的状态下被反映在图像中的情况下，显示看起来就像反映在真实对象obj_r中并且存在于其中的虚拟对象obj_vl。另一方面，在真实对象obj_r在斜视图的状态下被反映在图像中的情况下，显示看 起来就像从真实对象obj_r的表面突出的虚拟对象obj_v2。
[0083]由此，可以向用户呈现容易在视觉上识别并且也容易理解与真实对象obj_r的关系的虚拟对象obj_v，以便即使在反映在图像上的真实对象obj_r的姿势以不同的方式变化的情况下也适合于每个姿势。另外，这里，虽然描述了从包括前视图显示中的虚拟对象obj_vl和斜视图显示中的虚拟对象obj_v2的虚拟对象组中选择显示目标对象的示例，但是虚拟对象组中所包括的虚拟对象不限于这两种类型。例如，更多种类型的虚拟对象可以包括在虚拟对象组中，并且根据真实对象和信息处理设备100之间的姿势关系，可以在更多步骤中改变显示目标对象。另外，可以线性地或非线性地执行虚拟对象和真实对象之间的位置关系的变化。
[0084]图5示出由根据本实施例的信息处理设备100进行的虚拟对象的显示的变化的示例。如上文所描述的，在本实施例中，取决于真实对象相对于信息处理设备100的角度，改变由信息处理设备100进行的虚拟对象的显示。另外，在这里所描述的示例中，板状的真实对象Ob j_r相对于信息处理设备100的角度A被定义为由垂直于真实对象obj_r的表面的线和来自信息处理设备100的图像拾取单元102的视线的线形成的角度。图5是通过只在角度A和虚拟对象的前视图显示和斜视图显示之间的关系中的二维平面上的一个方向上的简化，示出了信息处理设备100和真实对象obj_r之间的位置关系的图示。对本领域的技术人员来说清楚的是，在实践中，针对三维空间上的任何方向建立类似的关系。[0085]在所示出的示例中，当信息处理设备100面向真实对象必彳^时，角度A是0(度)。在A = 0(度)的状态下，虚拟对象的显示是如在图3所示出的角度A = Al的情况下的前视图显示。如果信息处理设备100从该状态相对于真实对象ob j_r逐渐倾斜并且角度A超出阈值Tl，则虚拟对象的显示改变为如在图4所示出的角度A = A2的情况下的斜视图显示。另一方面，如果信息处理设备100从虚拟对象的显示是斜视图显示的状态逐渐接近于真实对象ob j_r的前表面并且角度A变得小于阈值T2，那么虚拟对象的显示改变为前视图显不O
[0086]如此，在本实施例中，使用被设置为关于信息处理设备100和真实对象ob j_r之间的位置关系的指数值(角度A)的阈值，选择变为显示目标对象的虚拟对象的类型。在图像拾取单元102拍摄运动图像并且为形成连续帧的图像中的每个图像选择虚拟对象的类型的情况下，可以根据到那时已经显示的虚拟对象(即，在前一帧的图像中选择的虚拟对象的类型)使用不同的阈值，例如上文所描述的阈值Tl和T2。如此，通过对虚拟对象的选择给予滞后，可以防止能见度的降低，能见度的降低的发生是因为虚拟对象的显示由于由相机摇晃等等所引起的角度A在阈值附近的振动而常常变化。
[0087]1-4.处理流的示例
[0088]接下来，将参考图6和图7描述由根据本实施例的信息处理设备执行的处理流的示例。图6是示出根据本公开内容的第一实施例的信息处理设备中的图像显示处理的处理流的示例的流程图。图7是示出根据本公开内容的第一实施例的信息处理设备中的显示目标设置处理的处理流的示例的流程图。
[0089]图6是示出根据本实施例的图像显示处理的流程图。这里所描述的图像显示处理是在信息处理设备100获取真实空间的图像之后直到虚拟对象重叠在图像上以便显示为止执行的一系列处理。在所示出的示例中，图像拾取单元102拍摄运动图像,如此,针对形成连续帧的各个图像，重复地执行图像显示处理。
[0090]首先，在步骤SlOl中，图像拾取单元102获取图像。这里，获取的图像是通过拍摄真实空间而获得的图像，并反映其中的真实对象obj_r。
[0091]接下来，在步骤S103中，图像识别单元104对于获取的图像执行对象识别。这里，图像识别单元104通过使用存储在模型DB106中的模型数据来识别反映在图像中的真实对象 obj_r。
[0092]接下来，在步骤S105中，位置关系检测单元108检测信息处理设备100和真实对象obj_r之间的位置关系。这里，位置关系检测单元108检测真实对象obj_r相对于信息处理设备100的角度A。
[0093]接下来，在步骤S107中，选择单元110判断信息处理设备100和真实对象ob j_r之间的位置关系与前一帧的图像相比是否改变。位置关系通过角度A来表示。如果位置关系改变，那么选择单元110在步骤S109中根据改变之后的位置关系，选择显示目标对象。另一方面，如果位置关系未改变，由于连续地使用针对前一帧的图像被选择为显示目标对象的虚拟对象的类型，因此选择单元110跳过步骤S109。
[0094]另外，稍后将参考图7来描述步骤S109中的显示目标选择处理。
[0095]接下来，在步骤Slll中，显示目标信息输出单元114向显示控制单元118输出与由选择单元 110选择的显示目标对象有关的信息。[0096]接下来，在步骤SI 13中，显示控制单元118根据从显示目标信息输出单元114输出的显示目标对象的信息，将虚拟对象重叠在图像上，以便在显示单元120上显示。由此，将其上重叠有由选择单元110适当地选择的虚拟对象的图像呈现给用户作为AR应用图像。
[0097]图7是示出根据本实施例的显示目标设置处理的流程图。这里所描述的显示目标设置处理是在如上文所描述的图像显示处理的步骤S109中执行的处理。在所示出的示例中，图像拾取单元102拍摄运动图像，如此，也可以针对形成连续帧的各个图像，执行显示目标设置处理。
[0098]首先，在步骤S201中，选择单元110判断前一帧中的虚拟对象的显示是否是前视图显示。如上文所描述的，前视图显示是当真实对象obj_r在接近于前视图的状态下被反映在图像中时，看起来就像存在于真实对象obj_r的内部空间中的虚拟对象obj_vl的显
/Jn ο
[0099]这里，如果前一帧中的虚拟对象的显示是前视图显示，那么选择单元110在步骤S203中将阈值Tl设置为用于确定连续的显示目标的角度A的阈值。另一方面，如果前一帧中的虚拟对象的显示不是前视图显示，即显示是斜视图显示，则选择单元110在步骤S205中将阈值T2设置为阈值。如参考图5所描述的，在本实施例中，角度A的阈值TI和T2具有关系T2〈T1。由此，可以选择具有滞后的显示目标对象。
[0100]接下来，在步骤S207中，选择单元110判断由位置关系检测单元108检测到的角度A是否等于或小于在步骤S203或步骤S205中设置的阈值。
[0101]这里，如果判 断角度A等于或小于阈值，即真实对象必彳^在接近于前视图的状态下被反映在图像中，则在步骤S209中，选择单元110将前视图显示中的虚拟对象设置为显示目标。另一方面，如果没有确定角度A等于或小于阈值，即真实对象ob j_r在斜视图的状态下被反映在图像中，则在步骤S211中，选择单元110将斜视图显示中的虚拟对象设置为显不目标。
[0102]如上所述，显示目标设置处理完成，并且设置的显示目标对象的信息由显示目标信息输出单元114输出到显示控制单元118。
[0103]1-5.替代的选择和消息显示的示例
[0104]接下来，将参考图8描述根据本实施例的替代的选择和消息显示的示例。图8是示出根据本公开内容的第一实施例的替代的选择和消息显示的示例的图示。
[0105]图8示出用于比较执行替代的选择和消息显示的情况和不执行替代的选择和消息显示的情况的图示。在图8的(a)所示出的情况下，真实对象obj_r在斜视图的状态下被反映在图像中。因此，显示看起来就像从真实对象obj_r突出的虚拟对象obj_v2。
[0106]另一方面，在图8的(b)所示出的情况下，真实对象必彳^在斜视图的状态下以与图8的(a)类似的方式被反映在图像中。然而，在图8的(b)中，由于接近于屏幕的末端反映真实对象obj_r,如果虚拟对象obj_v2如图8的(a)中那样显示,贝U虚拟对象obj_v2的显示位置将超出图像有效区域。因此，选择单元110选择可以显示在图像有效区域中的虚拟对象obj_vl作为显示目标，而不管针对真实对象obj_r相对于信息处理设备100的角度A获得的确定结果如何。
[0107]由此，可以防止虚拟对象由于虚拟对象的显示超出图像区域而在视觉上未被用户识别。然而，在图8的(b)的状态下的虚拟对象obj_v2的显示不一定处于容易在视觉上被用户识别的状态下，例如，这是因为虚拟对象obj_v2的显示的大小根据真实对象obj_r的表面的倾斜而显著变换。另外，在此状态下，难以让用户知道虚拟对象obj_v2可以如在图8的(a)中那样显示。
[0108]因此，在所示出的示例中，基于由消息信息输出单元116所生成的信息的消息msg重叠在图像上以便显示。消息msg可以是提示用户注意真实对象obj_r以便相应地改变图像区域的消息，并且被引导到可以显示最初选择的虚拟对象obj_v2的状态，诸如，例如，“看着对象！ ”。另外，消息信息输出单元116可以输出用于指定消息msg的显示位置(该显示位置被调整，以便不重叠虚拟对象obj_vl)的信息，作为消息信息。
[0109]在上面的示例中，例如，可以代替消息，显示图标等的图像。另外，可以通过信息处理设备100中所包括的LED (发光二极管)灯的发光或闪烁或、从信息处理设备100的音频的输出，向用户提供通知。换言之，本实施例中的消息信息输出单元116是当选择替代的显示目标对象时向用户发送通知以便改变图像区域的通知单元的示例。如在上文所描述的示例中那样，此通知可以由消息信息输出单元116、显示控制单元118和显示单元120通过显示的变化来执行。通知还可以由诸如灯之类的视觉通知单元来执行，或者可以通过诸如扬声器之类的音频通知单元来执行。
[0110]如上所述，描述了本公开内容的第一实施例。在本公开内容的第一实施例中，取决于反映在图像中的真实对象和拍摄图像的设备之间的位置关系，改变真实对象相对于虚拟对象的显示位置。虽然在上文所描述的示例中使用角度作为位置关系，但是可以使用其他位置关系。例如，可以使用真实对象和设备之间的距离作为位置关系。在此情况下，例如，如果真实对象和设备之间的距离比预定距离短，因此真实对象被显示以便相对较大，则虚拟对象可被显示在真实对象中，以及相反，如果真实对象被显示以便相对较小，则虚拟对象可以从真实对象向外突出。
[0111]根据本公开内容的第一实施例，例如，显示在给出最舒服的观看的位置处的虚拟对象可以重叠在图像上，以便在每种情况下根据真实对象和设备之间的位置关系呈现给用户。
[0112]2.第二实施例
[0113]接下来，将参考图9到图11来描述本公开内容的第二实施例。在本公开内容的第二实施例中，取决于反映在图像中的真实对象和拍摄图像的设备之间的位置关系，改变由虚拟对象显示的信息的量。
[0114]另外，在第二实施例的配置中，除了下文中所描述的部分之外的部分类似于第一实施例的那些部分。根据下面的描述，通过适当地替换第一实施例的描述，充分描述这些部分的配置，因此将省略其重复的详细描述。
[0115]这里，将参考图9到图11来描述根据本实施例的显示变化的示例。图9是示出由根据本公开内容的第二实施例的信息处理设备显示虚拟对象的第一状态的图示。图10是示出由根据本公开内容的第二实施例的信息处理设备显示虚拟对象的第二状态的图示。图11是示出由根据本发明的第二实施例的信息处理设备进行的虚拟对象的显示的变化的图
/Jn ο
[0116]图9示出由根据本实施例的信息处理设备100显示虚拟对象的第一状态。在本实施例中，根据真实对象距信息处理设备100的距离，选择作为显示目标的虚拟对象的类型。在所示出的示例中的第一状态下，由于从信息处理设备100到真实对象obj_r (招牌)的距离dl相对较长，而反映在图像中的真实对象obj_r相对较小，所以显示较小信息量的虚拟对象obj_v3(只显示“出售”)被显示。在下面的描述中，当显示这样的较小信息量时的虚拟对象的显示被称为“概略显示”。
[0117]图10示出由根据本实施例的信息处理设备100显示虚拟对象的第二状态。在所示出的示例中的第二状态下，由于从信息处理设备100到真实对象obj_r (招牌)的距离d2相对较短,而反映在图像中的真实对象obj_r相对较大,所以显示较大信息量的虚拟对象obj_v4(进一步显示时间段或位置)被显示。在下面的描述中，当显示这样的较大的信息量时的虚拟对象的显示被称为“详细显示”。
[0118]图11示出由根据本实施例的信息处理设备100进行的虚拟对象的显示的变化的示例。如上文所描述的，在本实施例中，取决于从信息处理设备100到真实对象的距离d，改变由信息处理设备100进行的虚拟对象的显示。图11是通过只在距离d和虚拟对象的详细显示和概略显示之间的关系的二维平面上的一个方向上的简化，示出信息处理设备100和真实对象Obj_r之间的位置关系的图示。对本领域技术人员来说清楚的是，在实践中，针对三维空间上的任何方向建立类似的关系。
[0119]在所示出的示例中，当信息处理设备100与真实对象obj_r最近时，距离d是O。在距离d = O的状态下，虚拟对象的显示是如在图9所示出的距离d = dl的情况下的详细显示。如果信息处理设备100从该状态变得远离真实对象obj_r并且距离d超出阈值LI，则虚拟对象的显示改变为如在图10所示出的距离d = d2的情况下的概略显示。另一方面，如果信息处理设备100从虚拟对象的显示是概略显示的状态逐渐接近于真实对象obj_r，然后距离d变得小于阈值L2，则虚拟对象的显示改变为详细显示。
[0120]如此，在本实施例中，使用作为关于信息处理设备100和真实对象ob j_r之间的位置关系的参数(距离d)设置的阈值，选择变为显示目标对象的虚拟对象的类型。在图像拾取单元102拍摄运动图像并且针对形成连续帧的各个图像选择虚拟对象的类型的情况下，可以根据到那时显示的虚拟对象(即在前一帧中选择的虚拟对象的类型)使用不同的阈值，例如上文所描述的阈值LI和L2。以此方式，通过对虚拟对象的选择给予滞后，可以防止能见度的降低，能见度的降低的发生是因为虚拟对象的显示由于由相机摇晃等等所引起的距离d在阈值附近的振动而常常变化。
[0121]如上所述，描述了本公开内容的第二实施例。在本公开内容的第二实施例中，取决于反映在图像中的真实对象和拍摄图像的设备之间的位置关系，改变由虚拟对象显示的信息的量。虽然在上文所描述的示例中使用距离作为位置关系，但是可以使用其他位置关系。例如，可以使用真实对象相对于设备的角度作为位置关系。在此情况下，例如，如果几乎从前侧观看真实对象的表面，因此显示面积大，则显示更多信息的虚拟对象可被显示，以及，相反，如果倾斜地观看真实对象的表面，因此显示面积小，则显示较少信息的虚拟对象可被显不O
[0122]根据本公开内容的第二实施例，例如，有效地显示给出最舒服的观看的信息量的虚拟对象可以重叠在图像上，以便在每一种情况下根据真实对象和设备之间的位置关系呈现给用户。
[0123]3.第三实施例[0124]随后，将参考图12到图16描述本公开内容的第三实施例。在本公开内容的第三实施例中，取决于反映在图像中的真实对象和拍摄图像的设备之间的位置关系，改变由虚拟对象显示的信息的类型。
[0125]另外，在第三实施例的配置中，除了下文中所描述的部分之外的部分类似于第一实施例的那些部分。根据下面的描述，通过适当地替换第一实施例的描述，充分描述这些部分的配置，因此将省略其重复的详细描述。
[0126]3-1.检测到的位置关系的示例
[0127]首先，将参考图12来描述根据本实施例检测到的真实对象和设备之间的位置关系的示例。图12是示出根据本公开内容的第三实施例检测到的真实对象和设备之间的位置关系的图示。
[0128]图12示出了描述本实施例中的检测到的位置关系的四个示例(a)-(d)。在本实施例中，反映在图像中的真实对象obj_r的旋转角B被检测为信息处理设备100和真实对象obj_r之间的位置关系。例如，在图12的(a)所示出的状态下，图像拾取单元102在信息处理设备100直立的状态下拍摄包括真实对象obj_r的图像。在所示出的示例中，在此情况下，旋转角B是0(度)。这里，如果信息处理设备100从图12的(a)所示出的状态按顺时针方向旋转90(度)，并进入图12的(b)所示出的状态，则真实对象ob j_r在从图12的(a)所示出的状态以旋转角B = 90(度)旋转的状态下，显示在由图像拾取单元102拍摄到的并显示在显示单元120上的图像中。
[0129]此外，当信息处理设备100按顺时针方向旋转并进入图12的(C)所示出的状态时，真实对象ob j_r在从图12的(a)所示出的状态以旋转角B = 180(度)旋转的状态下显示在显示单元120上所显示的图像中。另一方面，当信息处理设备100从图12的(a)所示出的状态按逆时针方向旋转90(度)并进入图12的(d)所示出的状态时，真实对象obj_r在从图12的(a)所示出的状态以旋转角B = -90(度)旋转的状态下显示在显示单元120上所显示的图像中。
[0130]在本实施例中，与上文所描述的示例一样，信息处理设备100的位置关系检测单元108检测真实对象obj_r相对于信息处理设备100的旋转，作为真实对象和信息处理设备100的位置关系。更具体而言，位置关系检测单元108检测真实对象obj_r (旋转真实对象平行于图像拾取单元102的图像拾取轴的轴)的旋转，作为位置关系。这里，图像拾取单元102的图像拾取轴可被定义为例如图像拾取单元102的光学系统的与真实对象obj_r最近的部分的光轴。
[0131]另外，本实施例与第一实施例和第二实施例之间的不同之一在于，真实对象和信息处理设备100之间的位置关系的变化实质上不会改变图像中的真实对象的显示。
[0132]例如，在图12所示出的示例中，可以说，真实对象ob j_r的显示使用信息处理设备100作为参考在坐标系中旋转。然而，在很多情况下，在实践中通过用户改变握持信息处理设备100的方法而发生如图12的(a)-(d)所示的状态的变化。在这些情况下，由于信息处理设备100本身在与显示单元120中的真实对象obj_r的显示的旋转相反的方向上旋转，因此在视觉上被用户识别的真实对象必彳^实质上不旋转。例如，在图12的(c)所示出的示例中，显示在显示单元120上的真实对象obj_r以旋转角B= 180(度)旋转；然而,如果信息处理设备100本身在从初始姿势旋转180 (度)的状态下被用户握持，则在视觉上被用户识别的真实对象Obj_r的显示与图12的(a)所示出的显示相同。
[0133]换言之，本实施例表明，即使在由于真实对象和信息处理设备100之间的位置关系的变化导致用户不一定难以在视觉上识别真实对象或虚拟对象的情况下，与本公开内容有关的技术也有效。
[0134]3-2.显示变化的示例
[0135]接下来，将参考图13到图15来描述根据本实施例的显示变化的示例。图13是示出由根据本公开内容的第三实施例的信息处理设备显示虚拟对象的第一状态的图示。图14是示出由根据本公开内容的第三实施例的信息处理设备显示虚拟对象的第二状态的图示。图15是示出由根据本公开内容的第三实施例的信息处理设备进行的虚拟对象的显示的变化的图示。
[0136]图13示出由根据本实施例的信息处理设备100显示虚拟对象的第一状态。如上文所描述的，在本实施例中，根据真实对象相对于信息处理设备100的旋转，选择作为显示目标的虚拟对象的类型。在所示出的示例中的第一状态下，信息处理设备100处于与真实对象obj_r (监测器)水平地放置的状态。在此情况下，真实对象obj_r的显示内容(细节)被显示为虚拟对象obj_v5，以便从真实对象ob j_r突出。在下面的描述中，虚拟对象的这样的显示也被称为“内容显示”。
[0137]图14示出由根据本实施例的信息处理设备100显示虚拟对象的第二状态。在所示出的示例中的第二状态下，信息处理设备100处于与真实对象obj_r (监测器)垂直地放置的状态。在此情况下，与真实对象obj_r的显示内容(细节)有关的信息被显示为虚拟对象obj_v6，以便从真实对象ob j_r突出。在下面的描述中，虚拟对象的这样的显示也被称为“相关信息显示”。
[0138]图15示出由根据本实施例的信息处理设备100进行的虚拟对象的显示的变化的示例。如上文所描述的，在本实施例中，取决于真实对象相对于信息处理设备100的旋转，改变由信息处理设备100进行的虚拟对象的显示。在本实施例中，范围被设置为旋转角，并且由虚拟对象显示的信息的类型根据该范围而变化。
[0139]在所示出的示例中，信息处理设备100处于与真实对象ob j_r垂直地放置的状态，并且使用信息处理设备100直立的状态作为参考，检测真实对象obj_r相对于信息处理设备100的旋转角B。针对检测到的旋转角B设置了范围Rl或范围R2，并且，如果旋转角B在此范围内，则虚拟对象被显示为内容显示。另一方面，如果旋转角B在此范围以外，则虚拟对象被显示为相关信息显示。
[0140]这里，范围Rl和范围R2是真实对象obj_r的旋转角的范围，其中信息处理设备100被确定为处于与真实对象obj_r水平地放置的状态。因此，范围Rl和范围R2两者例如可以是大约+/_90(度)的范围。另外，在虚拟对象的显示是内容显示的情况下使用范围R1，而在虚拟对象是相关信息显示的情况下使用范围R2。换言之，在内容显示已经被执行的状态下继续执行内容显示的范围R2大于从执行相关信息显示的状态改变到内容显示的范围R1。如此，通过对虚拟对象的选择给予滞后，可以防止能见度的降低，能见度的降低的发生是因为虚拟对象的显示由于由相机摇晃等等所引起的旋转角B在范围的边界附近的振动而常常变化。
[0141]3-3.处理流的示例[0142]接下来，将参考图16描述由根据本实施例的信息处理设备执行的处理流的示例。图16是示出根据本公开内容的第三实施例的信息处理设备中的显示目标设置处理的处理流的示例的流程图。
[0143]图16是示出本实施例中的显示目标设置处理的流程图。这里所描述的显示目标设置处理是在与参考图6所描述的处理类似的图像显示处理的步骤S109中执行的处理。在所示出的示例中，图像拾取单元102拍摄运动图像，如此也可以针对形成连续帧的各个图像执行显示目标设置处理。
[0144]首先，在步骤S301中，选择单元110判断前一帧中的虚拟对象的显示是否是内容显示。如上文所描述的，内容显示是当信息处理设备100与真实对象obj_r水平地放置时显示真实对象obj_r的内容的虚拟对象obj_v5的显示。
[0145]这里，如果前一帧中的虚拟对象的显示是内容显示，则选择单元110在步骤S303中将范围Rl设置为用于确定连续的显示目标的旋转角B的范围。另一方面，如果前一帧中的虚拟对象的显示不是内容显示，即显示是相关信息显示，则选择单元110在步骤S305中将范围R2设置为范围。如参考图15所描述的，在本实施例中，旋转角B的范围Rl和R2具有R2大于Rl的关系。由此，可以选择具有滞后的显示目标对象。
[0146]接下来,在步骤S307中，选择单元110确定检测到的obj_r的旋转角B是否在步骤S303或步骤S305中设置的范围内。
[0147]这里，如果确定旋转角B在范围内，即信息处理设备100与真实对象ob j_r水平地放置，则选择单元110在步骤S309中将内容显示中的虚拟对象设置为显示目标。另一方面，如果确定旋转角B不在范围内，即信息处理设备100与真实对象ob j_r垂直地放置，则选择单元110在步骤S311中将相关信息显示中的虚拟对象设置为显示目标。
[0148]如上所述，显示目标设置处理完成，并且这里设置的显示目标对象的信息由显示目标信息输出单元114输出到显示控制单元118。
[0149]如上所述，描述了本公开内容的第三实施例。在本公开内容的第三实施例中，取决于反映在图像中的真实对象和拍摄图像的设备之间的位置关系，改变由虚拟对象显示的信息的类型。虽然在上文所描述的示例中使用旋转角作为位置关系，但是可以使用其他位置关系。例如，可以使用真实对象相对于设备的角度作为位置关系。在此情况下，例如，如果几乎从前侧观看真实对象的表面，则可以显示真实对象的内容，以及，相反，如果倾斜地观看真实对象的表面，则可以显示与真实对象的内容有关的信息。
[0150]根据本公开内容的第三实施例，例如，通过改变真实对象和设备之间的位置关系，可以改变由相对于真实对象显示的虚拟对象显示的信息的类型。例如，如果位置关系由用户故意地改变，则用户可以使用设备的姿势的变化作为用于改变显示内容的指令操作。另夕卜，例如，如果位置关系是无意地改变的，则用户可以获得之前没有观看到的不同类型的信
肩、O
[0151]4.关于设备配置的其他实施例
[0152]随后，将参考图17和图18来描述本公开内容的关于设备配置的其他实施例。
[0153]<包括传感器单元的示例>
[0154]图17是示出根据本公开内容的实施例的信息处理设备的功能配置的另一示例的框图。参考图17，信息处理设备200包括传感器单元222以及图像拾取单元102、图像识别单元104、模型DB106、位置关系检测单元108、选择单元110、对象DB112、显示目标信息输出单元114、消息信息输出单元116、显示控制单元118和显示单元120。
[0155]传感器单元222包括测量图像拾取单元102的运动的运动传感器组。运动传感器可以例如是测量图像拾取单元102的加速度的加速度传感器、测量倾斜角的陀螺传感器、测量图像拾取单元102所朝向的方位的地磁传感器等等。另外，传感器单元222还可以包括GPS (全球定位系统)传感器，该GPS传感器接收GPS信号，并测量设备的纬度、经度和海拔高度。
[0156]在所示出的示例中，位置关系检测单元108根据由传感器单元222获取的图像拾取单元102的运动，检测真实对象和信息处理设备200 (更具体而言，图像拾取单元102)之间的位置关系。例如，位置关系检测单元108根据图像拾取单元102的加速度或倾斜角的信息，检测信息处理设备200的姿势。如果存在真实对象的位置的信息，不管真实对象是否位于诸如地面之类的水平面上，或者不管真实对象是否位于诸如墙之类的垂直面上，都可以通过检测信息处理设备200的姿势来获得与真实对象的位置关系。另外，如图所示，位置关系检测单元108可以使用来自传感器单元222的信息检测位置关系，并且可以一起使用来自图像识别单元104的信息检测位置关系。
[0157]〈网络上的服务器的示例〉
[0158]图18是示出根据本公开内容的实施例的信息处理设备的功能配置的又一个示例的框图。参考图18，信息处理设备300包括图像识别单元104、模型DB106、位置关系检测单元108、选择单元110、对象DB112、显示目标信息输出单元114、消息信息输出单元116和通信单元324。
[0159]在所示出的示例中，信息处理设备300不包括图像拾取单元102、显示控制单元118和显示单元120。信息处理设备300例如是安装在网络上的服务器，并且经由通信单元324接收由作为客户端的设备的图像拾取单元拍摄到的图像的数据作为输入图像。另外，信息处理设备300经由通信单元324向客户端传输从显示目标信息输出单元114输出的显示目标对象的信息，以及还传输从消息信息输出单元116输出的消息的信息。生成其上重叠有虚拟对象的图像，并且使用传输的信息在终端设备的显示控制单元中显示图像。
[0160]如此，根据本公开内容的各实施例的信息处理设备可以不必包括图像拾取单元102或显示单元120，并且具有各种配置。例如，在上文所描述的信息处理设备300中，可以提供显示控制单元118，并且可以生成其上重叠有虚拟对象的图像，并且经由通信单元324将其传输到客户端。另外，信息处理设备可以不包括图像拾取单元102，但是包括显示单元120，并将虚拟对象重叠在由外部设备拍摄到的图像上，以便显示。此外，信息处理设备还可以不包括图像拾取单元102，但是包括显示单元120，并向外部设备传输将虚拟对象重叠在拍摄到的图像上的图像。
[0161]5.补充
[0162]〈硬件配置〉
[0163]最后，将参考图19描述能够实现根据本公开内容的各实施例的信息处理设备的信息处理设备900的硬件配置。图19是示出信息处理设备的硬件配置的框图。
[0164]信息处理设备900包括CPU (中央处理单元)901、R0M (只读存储器)903、和RAM (随机存取存储器)905。另外，信息处理设备900可以包括主机总线907、桥接器909、外部总线911、接口 913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口 923和通信设备925。信息处理设备900可以包括诸如DSP (数字信号处理器)之类的处理电路，代替CPU901或作为CPU901的附加。
[0165]CPU901充当算术处理单元和控制单元，并根据记录在R0M903、RAM905、存储器919、或可移动记录介质927上的各种程序，控制信息处理设备900内的整个操作或其一部分。R0M903存储CPU901所使用的程序、操作参数等。RAM905临时存储在CPU901的执行中所使用的程序、在执行期间相应地改变的参数等。CPU901、R0M903和RAM905通过从诸如CPU总线之类的内部总线构建的主机总线907相互连接。另外，主机总线907经由桥接器909连接到诸如PCI (外围组件互连/接口 )之类的外部总线911。
[0166]输入设备915是用户所使用的设备，诸如，例如，鼠标、键盘、触摸面板、按钮、开关、或手柄。输入设备915可以例如是使用红外线或其他无线电波的遥控设备，或对应于信息处理设备900的操作的诸如移动电话之类的外部连接设备929。输入设备915包括基于由用户输入的信息来生成输入信号并将输入信号输出到CPU901的输入控制电路。用户可以通过操作输入设备915，向信息处理设备900输入各种数据，或指示信息处理设备900执行处理操作。
[0167]输出设备917包括可以在视觉上或听觉上将获取的信息通知给用户的设备。输出设备917可以例如是诸如IXD (液晶显示器)、PDP (等离子显示面板)、有机EL (电致发光)显示器之类的显示设备；诸如扬声器或耳机之类的音频输出设备；或打印机设备。输出设备917将通过信息处理设备900的处理获得的结果输出为诸如图像之类的视频或文本，或输出为诸如语音或音频之类的声音。
[0168]存储设备919是作为信息处理设备900的存储单元的示例构建的用于存储数据的设备。存储设备919例如包括诸如HDD (硬盘驱动器)之类的磁存储设备、半导体存储器设备、光存储设备、或磁光存储设备。此存储设备929例如包括由CPU901执行的程序或各种数据、或从外部获取的各种数据。
[0169]驱动器921是诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动记录介质927的读取器/写入器，并集成在信息处理设备900中或从外部附接到信息处理设备900。驱动器921读取记录在安装的可移动记录介质927中的信息，并将信息输出到RAM905。驱动器921还将信息写入到安装的可移动记录介质927中。
[0170]连接端口 923是用于直接将设备连接到信息处理设备900的端口。连接端口 923可以例如是USB(通用串行总线)端口、IEEE1394端口、或SCSI(小型计算机系统接口 )端口。另外，连接端口 923可以是RS-232端口、光学音频端子、或HDMI (高清晰度多媒体接口)端口。当外部连接设备929连接到连接端口 923时，信息处理设备900和外部连接设备929可以交换各种数据。
[0171]通信设备925例如是包括用于连接到通信网络931的通信设备等的通信接口。通信设备925可以例如是有线或无线LAN(局域网)或用于蓝牙(注册商标)或WUSB (无线USB)的通信卡。可替选地，通信设备925可以是用于光通信的路由器、用于ADSL(非对称数字用户线)的路由器、或用于各种通信的调制解调器。通信设备925例如使用诸如TCP/IP之类的预定协议，经由因特网向或从其他通信设备传输或接收信号等。另外，连接到通信设备925的通信网络931是通过有线或以无线方式连接的网络，并且例如是因特网、家庭LAN、红外通信、无线电波通信、或卫星通信。
[0172]图像拾取设备933例如是拍摄真实世界并通过使用诸如CXD (电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的图像传感器和用于将被摄体图像拾取到图像传感器的诸如透镜之类的各种组件来生成拍摄图像的设备。图像设备933可以被配置成拾取静止图像或运动图像。
[0173]传感器935可以是诸如加速度传感器、陀螺传感器、地磁传感器、光传感器和声传感器之类的各种类型的传感器。传感器935获取与信息处理设备900的状态有关的信息(例如信息处理设备900的外壳的形状)、和与信息处理设备900的周围环境有关的信息(例如信息处理设备900的周围环境中的亮度或噪声)。此外，传感器935可以包括GPS (全球定位系统)传感器，该GPS传感器接收GPS信号，并测量设备的纬度/经度和海拔高度。
[0174]已经描述了信息处理设备900的硬件配置的示例。上文所描述的各个组件可以使用通用元件来配置，并可以通过专用于各个组件的功能的硬件来配置。这样的配置可以根据实现本实施例时的技术水平适当地改变。
[0175]虽然上文参考各个附图详细描述了本公开内容的优选实施例，但是本公开内容不仅限于这样的示例。本技术的技术人员应该理解，可以根据设计要求及其他因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同内容的范围内即可。
[0176]另外，下面的配置也在本公开内容的技术范围内。
[0177](I) 一种设备，包括:
[0178]图像处理器，被配置成:
[0179]接收包括对象的视频，
[0180]确定所述设备和所述对象之间的位置关系，
[0181]当所述设备和所述对象之间的位置关系改变时，改变重叠在视频上的图像和所述对象之间的位置关系。
[0182](2)根据(I)所述的设备，其中，所述图像处理器确定所述对象的方向和所述设备的方向之间的角度，并且基于所述角度改变重叠在视频上的图像和所述对象之间的位置关系O
[0183](3)根据(2)所述的设备，其中，当所述角度在第一阈值角度以下时，所述图像处理器确定重叠在视频上的图像和所述对象之间的位置关系是前视图关系。
[0184](4)根据(3)所述的设备，其中，当所述角度超过第一阈值角度时，所述图像处理器将重叠在视频上的图像和所述对象之间的位置关系从所述前视图关系改变为斜视图关系O
[0185](5)根据(4)所述的设备，其中，当所述角度降低到第二阈值角度以下时，所述图像处理器将重叠在视频上的图像和所述对象之间的位置关系从所述斜视关系改变为所述前视图关系。
[0186](6)根据(5)所述的设备，其中，第二阈值角度低于第一阈值角度。
[0187](7)根据(4)所述的设备，其中，对于所述前视图关系，所述图像处理器将图像重叠在所述对象的平面中的视频上，并且对于所述斜视图关系，将图像重叠在所述对象之上的视频上。
[0188](8)根据⑴到(7)所述的设备，其中，所述图像处理器将文本消息重叠在具有图像的视频上。
[0189](9)根据(8)所述的设备，其中，当图像被修改以适合显示屏幕时，所述图像处理器将文本消息重叠在具有图像的视频上。
[0190](10)根据(9)所述的设备，其中，所述图像处理器重叠提供指令的文本消息，所述指令用于消除对图像的修改以适合所述显示屏幕。
[0191](11)根据(I)所述的设备，其中，所述图像处理器确定所述对象和所述设备之间的距离，并且基于所述距离改变重叠在视频上的图像和所述对象之间的位置关系。
[0192](12)根据(11)所述的设备，其中，所述图像处理器基于所述距离改变重叠在视频上的图像。
[0193](13)根据(12)所述的设备，其中，所述图像处理器基于所述距离改变重叠在视频上的图像，从而当所述距离小于第一阈值距离时显示额外的细节。
[0194](14)根据(13)所述的设备，其中，所述图像处理器基于所述距离改变重叠在视频上的图像，从而当所述距离超过第二阈值距离时移除额外的细节。
[0195](15)根据(14)所述的设备，其中，第二阈值距离比第一阈值距离短。
[0196](16)根据(I)到(15)所述的设备，还包括:
[0197]被配置成从外部装置接收图像的接收器。
[0198](17)根据(I)到(16)所述的设备，还包括:
[0199]被配置成显示重叠在视频上的图像的显示器。
[0200](18)根据(I)到(17)所述的设备，还包括:
[0201]被配置成测量所述设备的位置信息的传感器。
[0202](19) 一种方法，包括:
[0203]接收包括对象的视频，
[0204]确定所述设备和所述对象之间的位置关系，
[0205]当所述设备和所述对象之间的位置关系改变时，改变重叠在视频上的图像和所述对象之间的位置关系。
[0206](20) 一种用程序编码的非暂态计算机可读介质，所述程序当被加载在处理器上时使所述处理器执行方法，所述方法包括:
[0207]接收包括对象的视频，
[0208]确定所述设备和所述对象之间的位置关系，
[0209]当所述设备和所述对象之间的位置关系改变时，改变重叠在视频上的图像和所述对象之间的位置关系。
[0210]附图标记列表
[0211 ] 100, 200, 300信息处理设备
[0212]102图像拾取单元
[0213]104图像识别单元
[0214]108位置关系检测单元
[0215]110选择单元
[0216]114显示目标信息输出单元
[0217]116消息信息输出单元[0218]118显示控制单元
[0219]120显示单元
[0220]222传感器单元
[0221]324通信单元
[0222]obj_r真实对象
[0223]obj_v虚拟对象
【权利要求】
1.一种设备，包括: 图像处理器，被配置成: 接收包括对象的视频， 确定所述设备和所述对象之间的位置关系， 当所述设备和所述对象之间的位置关系改变时，改变重叠在视频上的图像和所述对象之间的位置关系。
2.根据权利要求1所述的设备，其中，所述图像处理器确定所述对象的方向和所述设备的方向之间的角度，并且基于所述角度改变重叠在视频上的图像和所述对象之间的位置关系。
3.根据权利要求2所述的设备，其中，当所述角度在第一阈值角度以下时，所述图像处理器确定重叠在视频上的图像和所述对象之间的位置关系是前视图关系。
4.根据权利要求3所述的设备，其中，当所述角度超过第一阈值角度时，所述图像处理器将重叠在视频上的图像和所述对象之间的位置关系从所述前视图关系改变为斜视图关系O
5.根据权利要求4所述的设备，其中，当所述角度降低到第二阈值角度以下时，所述图像处理器将重叠在视频上的图像和所述对象之间的位置关系从所述斜视关系改变为所述前视图关系。
6.根据权利要求5所述的设备，其中，第二阈值角度低于第一阈值角度。
7.根据权利要求4所述的设备，其中，对于所述前视图关系，所述图像处理器将图像重叠在所述对象的平面中的视频上，并且对于所述斜视图关系，将图像重叠在所述对象之上的视频上。
8.根据权利要求1所述的设备，其中，所述图像处理器将文本消息重叠在具有图像的视频上。
9.根据权利要求8所述的设备，其中，当图像被修改以适合显示屏幕时，所述图像处理器将文本消息重叠在具有图像的视频上。
10.根据权利要求9所述的设备，其中，所述图像处理器重叠提供指令的文本消息，所述指令用于消除对图像的修改以适合所述显示屏幕。
11.根据权利要求1所述的设备，其中，所述图像处理器确定所述对象和所述设备之间的距离，并且基于所述距离改变重叠在视频上的图像和所述对象之间的位置关系。
12.根据权利要求11所述的设备，其中，所述图像处理器基于所述距离改变重叠在视频上的图像。
13.根据权利要求12所述的设备，其中，所述图像处理器基于所述距离改变重叠在视频上的图像，从而当所述距离小于第一阈值距离时显示额外的细节。
14.根据权利要求13所述的设备，其中，所述图像处理器基于所述距离改变重叠在视频上的图像，从而当所述距离超过第二阈值距离时移除额外的细节。
15.根据权利要求14所述的设备，其中，第二阈值距离比第一阈值距离短。
16.根据权利要求1所述的设备，还包括: 被配置成从外部装置接收图像的接收器。
17.根据权利要求1所述的设备，还包括:被配置成显示重叠在视频上的图像的显示器。
18.根据权利要求1所述的设备，还包括: 被配置成测量所述设备的位置信息的传感器。
19.一种方法,包括: 接收包括对象的视频， 确定所述设备和所述对象之间的位置关系， 当所述设备和所述对象之间的位置关系改变时，改变重叠在视频上的图像和所述对象之间的位置关系。
20.一种用程序编码的非暂态计算机可读介质，所述程序当被加载在处理器上时使所述处理器执行方法，所述方法包括: 接收包括对象的视频， 确定所述设备和所述对象之间的位置关系， 当所述设备和所述对象之间的位置关系改变时，改变重叠在视频上的图像和所述对象之间的位置关系 。
【文档编号】G06T19/00GK104025158SQ201280053978
【公开日】2014年9月3日 申请日期:2012年9月14日 优先权日:2011年11月11日
【发明者】笠原俊一 申请人:索尼公司