信息处理设备、信息处理方法和计算机可读的记录介质与流程

本申请通过引用2015年1月14日于日本提交的日本专利申请No.2015-005364以及2015年10月7日于日本提交的日本专利申请No.2015-199712的全部内容，要求优先权并进行结合。

技术领域

本发明涉及一种信息处理设备、信息处理方法、以及计算机可读的记录介质。

背景技术：

迄今为止，已知增强现实(AR)技术，利用该增强现实技术，虚拟的物体与表示由摄像机成像的真实空间的采集图像结合地显示。例如，利用已知的AR技术，当用户利用某个图案(AR标记)拍摄纸张等等的图像时，根据纸张和摄像机之间的位置关系，虚拟物体被三维地叠加显示在采集图像上。通过参考叠加显示在采集图像上的虚拟物体，用户可以想像与虚拟物体相对应的物体实际上被放置的情况。

日本专利No.4032776公开了一种发明，其中，混合的现实显示装置展示给用户一个虚拟现实世界，该虚拟现实世界提供了诸如真实物体的尺寸和颜色的外形和周围环境之间的协调性，而不用将真实物体放置在真实空间中。

然而，即使通过显示与物体相对应的虚拟物体以便被叠加在采集图像上，传统的技术也不允许用户轻易地想像物体的可移动部分被操作的情况。

考虑到上述传统的技术，需要提供一种信息处理设备、信息处理方法和具有程序的计算机可读的记录介质，该信息处理设备、信息处理方法和计算机可读的记录介质可以允许用户更加清楚地想像物体的可移动部分被操作的情况。

技术实现要素：

本发明的目的是至少部分地解决传统的技术中的问题。

根据本发明的示范性的实施例，提供有一种信息处理设备，该信息处理设备包括：成像单元，所述成像单元获得包括位置识别信息的采集图像，所述位置识别信息识别要显示虚拟物体的位置，所述虚拟物体由包括不可移动部分和可移动部分的图像表示；生成器，所述生成器在由所述位置识别信息识别的位置，生成通过组合所述虚拟物体与所述采集图像而获得的合成图像；显示单元，所述显示单元在其上显示所述合成图像；操作接收器接收关于所述可移动部分的操作，所述可移动部分包含在所述显示单元上显示的所述合成图像中；以及显示控制器，当所述操作接收器已经接收到关于所述可移动部分的所述操作时，所述显示控制器基于用于显示所述虚拟物体的显示设定信息，控制所述可移动部分的显示。

本发明的示范性的实施例还提供一种用于由信息处理设备执行的信息处理的方法，所述方法包括：获得包括位置识别信息的采集图像，所述位置识别信息识别要显示虚拟物体的位置，所述虚拟物体由包括不可移动部分和可移动部分的图像表示；在由所述位置识别信息识别的位置，生成通过组合所述虚拟物体与所述采集图像而获得的合成图像；接收关于所述可移动部分的操作，所述可移动部分包含在所述显示单元上显示的所述合成图像中；以及当在所述接收处已经接收到关于所述可移动部分的所述操作时，基于用于显示所述虚拟物体的显示设定信息，控制所述可移动部分的显示。

本发明的示范性的实施例还提供一种非暂时的计算机可读的记录介质，包含计算机程序，该计算机程序使得处理器起以下功能，该处理器包含在信息处理设备中，该信息处理设备包括处理器、显示单元和成像单元，成像单元获得包括位置识别信息的采集图像，位置识别信息识别要显示虚拟物体的位置，虚拟物体由包括不可移动部分和可移动部分的图像表示，以下功能为：生成器，所述生成器在由所述位置识别信息识别的位置，生成通过组合所述虚拟物体与所述采集图像而获得的合成图像；操作接收器接收关于所述可移动部分的操作，所述可移动部分包含在所述显示单元上显示的所述合成图像中；以及显示控制器，当所述操作接收器已经接收到关于所述可移动部分的所述操作时，所述显示控制器基于用于显示所述虚拟物体的显示设定信息，控制所述可移动部分的显示。

当连同附图一起考虑时，通过阅读本发明当前较佳实施例的以下的详细说明，这个发明的以上及其他目的、特征、优点和技术的以及工业的重要性将更好理解。

附图说明

图1是图解根据本发明的第一实施例的信息处理系统的结构的实例的图；

图2A是图解根据第一实施例的用于显示虚拟物体的方法的总览的实例1的图；

图2B是图解根据第一实施例的用于显示虚拟物体的方法的总览的实例2的图；

图3A是图解根据第一实施例的虚拟物体的总览的图；

图3B是图解当它的可移动部分被操作时根据第一实施例的虚拟物体的总览的图；

图4是图解根据本发明的第一实施例的信息处理系统的结构的实例的图；

图5是图解根据第一实施例的初始显示图像信息(打印机的情况)的实例的图；

图6是图解根据第一实施例的可拆开部分图像信息(存储体的情况)的实例的图；

图7是图解根据第一实施例的可拆开部分图像信息(修整机的情况)的另一个实例的图；

图8是图解根据第一实施例的可移动部分图像信息(ADF的情况)的实例的图；

图9是图解根据第一实施例的可移动部分图像信息(调色剂盖子的情况)的另一个实例的图；

图10是图解根据第一实施例的可移动部分图像信息(纸张托盘的情况)的又一个实例的图；

图11是图解根据第一实施例的可移动部分图像信息(双单元盖子的情况)的又一个实例的图；

图12是图解根据第一实施例的装置操作图像信息(打印操作的情况)的实例的图；

图13是图解根据第一实施例的型号选择屏幕的实例的图；

图14是图解根据第一实施例的区域选择屏幕的实例的图；

图15是图解根据第一实施例的(显示列表的)型号选择屏幕的另一个实例的图；

图16是图解根据第一实施例的型号显示屏幕(打印机A的情况)的实例的图；

图17A是图解根据第一实施例的表示打开调色剂盖子的操作的动画的实例的图；

图17B是图解根据第一实施例的表示打开调色剂盖子的操作的动画的实例的图；

图17C是图解根据第一实施例的表示打开调色剂盖子的操作的动画的实例的图；

图18A是图解根据第一实施例的表示关闭调色剂盖子的操作的动画的实例的图；

图18B是图解根据第一实施例的表示关闭调色剂盖子的操作的动画的实例的图；

图18C是图解根据第一实施例的表示关闭调色剂盖子的操作的动画的实例的图；

图19是图解在按压ADF操作按钮之后，第一实施例的型号显示屏幕的实例的图；

图20A是图解根据第一实施例的存储体选择屏幕的实例的图；

图20B是图解在选择存储体之后，第一实施例的型号显示屏幕的实例的图；

图21是图解根据第一实施例的安装限定范围指定屏幕的实例的图；

图22是图解根据第一实施例的产品说明屏幕的实例的图；

图23是图解根据第一实施例的地图显示屏幕的实例的图；

图24是图解根据的第一实施例的用于信息处理的实例的流程图；

图25是图解根据的第一实施例的信息处理设备的硬件配置的实例的图；

图26是图解根据本发明的第二实施例的初始显示图像信息(冰箱的情况)的实例的图；

图27是图解根据第二实施例的可移动部分图像信息(门的情况)的实例的图；

图28是图解根据第二实施例的型号选择屏幕的实例的图；

图29是图解根据第二实施例的(显示列表的)型号选择屏幕的另一个实例的图；

图30是图解根据第二实施例的型号显示屏幕(冰箱Ra的情况)的实例的图；

图31是图解在按压第一门操作按钮之后，第二实施例的型号显示屏幕的实例的图；

图32是图解根据本发明的第三实施例的初始显示图像信息(汽车的情况)的实例的图；

图33是图解根据第三实施例的可移动部分图像信息(汽车的打开/关闭部分的情况)的实例的图；

图34是图解根据第三实施例的虚拟物体(汽车Ca的情况)的实例的图；和

图35是图解根据第三实施例的(当驾驶员的门打开时)的虚拟物体的实例的图。

具体实施方式

以下参考附图，详细描述根据本发明的信息处理设备、信息处理方法、和具有程序的计算机可读的记录介质的实施例。

第一实施例

图1是图解根据本发明的第一实施例的信息处理系统1的结构的实例的图。本实施例的信息处理系统1包括信息处理设备10和服务器装置20。信息处理设备10通过网络100连接到服务器装置20。网络100的通信系统可以是无线系统、有线系统、或者无线和有线系统的组合。网络100例如是因特网。

信息处理设备10显示合成图像，通过在任何位置将虚拟物体与通过成像而获得的采集图像进行组合而获得该合成图像。虚拟物体是任何物体的三维(3D)型号。在第一实施例中，将描述与虚拟物体相对应的物体是办公室装备的情况。虽然将通过举例说明办公室设备是打印机(打印装置)的情况来描述第一实施例，但是办公室设备并不限于打印机，而可以是任何种类的办公室设备。信息处理设备10的实例包括带有摄像机的智能装置。

服务器装置20在其中存储信息，诸如使得信息处理设备10显示包括虚拟物体的合成图像的应用(程序)、表示增强现实(AR)标记的图像信息、和显示虚拟物体的显示设定信息。AR标记是用于识别虚拟物体要与采集图像组合的位置的位置识别信息。稍后将参考图5到12详细描述显示设定信息。存储在服务器装置20中的信息经由例如在服务器装置20上设立的网站被下载到信息处理设备10。

图2A是图解根据第一实施例的用于显示虚拟物体40的方法的总览的实例1的图。首先，信息处理设备10的用户打印表示存储在服务器装置20或者信息处理设备10中的AR标记30的图像信息，并且将指示AR标记30的打印材料放置在要显示虚拟物体40的地方。然后，信息处理设备10从服务器装置20下载显示设定信息，该显示设定信息用于要作为虚拟物体40被显示的型号。信息处理设备10随后获得包括指示AR标记30的打印材料的采集图像，然后，对应于显示设定信息的虚拟物体40被显示在包含于采集图像中的打印材料的地方。

虽然图1和2A图解了包括一个这种服务器装置20的结构，但是这个结构对于信息处理设备10并不仅仅是要获得存储在服务器装置20中的信息的可能的一个结构。

图2B是图解根据第一实施例的用于显示虚拟物体40的方法的总览的实例2的图。图2B的实例图示服务器装置20被分布作为网络100上的服务器装置20a和20b。首先，应用的开发人员预先将显示设定信息的应用存储到服务器装置20a(诸如开发人员的服务器)中，显示设定信息包括例如关于虚拟物体40的图像数据(诸如作为3D型号显示的图像的型号数据)的信息。然后，该应用从服务器装置20a被释放到服务器装置20b，服务器装置20b例如操作网络100上的应用销售网站。然后，信息处理设备10从服务器装置20b下载该应用。如此，图2B的结构的实例还可以提供允许信息处理设备10安装该应用的环境。信息处理设备10可以根据需要从服务器装置20a下载AR标记30。

以下描述通过第一实施例的信息处理设备10显示的虚拟物体40的总览。

图3A是图解根据第一实施例的虚拟物体40的总览的图。第一实施例的虚拟物体40包括表示不可移动部分的第一区域41和表示可移动部分的第二区域42。为简单起见，图3A的虚拟物体40的实例假定虚拟物体40包括表示可移动部分的一个这种第二区域42。然而，虚拟物体40可以包括任意数量的表示可移动部分的这种第二区域42。图3A的虚拟物体40例如是打印机。第二区域42例如是打印机的自动文件馈送机(ADF)部分。

图3B是图解(当可移动部分被操作时)根据第一实施例的虚拟物体40的总览的图。图3B的实例图示了虚拟物体40的第二区域42是能打开和能关闭的情况。虚拟物体40首先在信息处理设备10上以图3A的初始显示状态被显示。在信息处理设备10接收到用于操作第二区域42的输入之后，虚拟物体40的显示从图3A的状态改变为图3B的状态。此时，打开和关闭第二区域42期间的操作被显示作为移动图像。移动图像例如是动画。图3A和3B中的显示基准点P表示指定了显示移动图像的位置的基准点。在坐标系统中表示显示基准点P的坐标，该坐标系统例如在虚拟物体40的预定点O具有原点。

以下描述根据第一实施例的信息处理设备10的结构的实例。

图4是图解根据第一实施例的信息处理设备10的结构的实例的图。信息处理设备10包括存储单元11、成像单元12、显示控制器13、显示单元14、操作接收器15、生成器16、通信单元17、和全球定位系统(GPS)单元18。虽然信息处理设备10可以是任何设备，但是将通过举例说明信息处理设备10是诸如智能手机或者平板电脑的智能装置的情况来描述第一实施例。具体地，显示单元14和操作接收器15是液晶触摸面板。

存储单元11在其中存储显示设定信息，该显示设定信息用于基于虚拟物体40的类型来显示虚拟物体40。显示设定信息例如包括初始显示图像信息、可拆开部分图像信息、可移动部分图像信息、和装置操作图像信息。存储单元11还在其中存储信息，该信息诸如是关于与虚拟物体40相对应的打印机的说明信息，从其可得到(可买到)与虚拟物体40相对应的打印机的网站的地址、从其可得到(可买到)与虚拟物体40相对应的打印机的地点(存储)的地址。存储单元11中的信息经过与服务器装置20的通信而被通信单元17更新。例如，通信单元17重新从服务器装置20获得关于虚拟物体40的显示设定信息，并且在存储单元11中存储获得的显示设定信息，以致信息处理设备10可以显示用于新产品等等的新的虚拟物体40。

以下通过举例说明虚拟物体40对应于打印机的情况来描述显示设定信息(初始显示图像信息、可拆开部分图像信息、可移动部分图像信息、和装置操作图像信息)。

首先，将描述根据第一实施例的初始显示图像信息的实例。

图5是图解根据第一实施例的初始显示图像信息(打印机的情况)的实例的图。初始显示图像信息表示当虚拟物体40开始被显示时的状态。初始显示图像信息包括以下项目：型号名称、主单元、存储体和修整机。型号名称表示打印机的型号的名称。在第一实施例中，型号名称用作用于识别虚拟物体40的类型的识别信息。主单元表示指定信息，该指定信息用于指定处于可拆开部分(任意部分)没有被附加的状态的主单元图像。指定信息例如是图像文件名称。在包含在由信息处理设备10拍摄的采集图像中的AR标记30的位置显示主单元图像。

存储体是用于存储用于打印的纸张的可选的部分。存储体被设定为“-”、“否”、和值“1”、“2”等等。符号“-”指示没有存储体可以被安装在打印机主单元中。“否”指示没有存储体被安装在其中可安装存储体的型号中。值“1”指示一个存储体被安装在其中可安装存储体的型号中。值“2”指示两个存储体被安装在其中可安装存储体的型号中。通过可拆开部分图像信息来指定表示存储体的图像(稍后描述)。

修整机是用于进行后打印处理的可选的部分，后打印处理诸如打印材料的穿孔(孔做出)和装订。修整机被设定为“-”、“否”、或者“是”。符号“-”指示没有修整机可以被安装在打印机主单元上。“否”指示没有修整机被安装在可安装修整机的型号上。“是”指示修整机被安装在可安装修整机的型号上。通过可拆开部分图像信息来指定表示修整机的图像(稍后描述)。

例如，在图5的实例中，如果信息处理设备10初始显示对应于打印机B的虚拟物体40，那么基于既不配备有存储体也不配备有修整机的主单元图像B的虚拟物体40被显示。

以下描述根据第一实施例的可拆开部分图像信息的实例。

图6是图解根据第一实施例的可拆开部分图像信息(存储体的情况)的实例的图。图6的可拆开部分图像信息包括以下项目：型号名称、存储体、显示基准点、和存储体的最大数。型号名称表示打印机的型号的名称。存储体表示用于指定图像的指定信息，该图像表示存储体。指定信息例如是图像文件名称。用于存储体的设定“-”指示没有存储体可以被安装在打印机主单元中。显示基准点表示要显示表示存储体的图像的位置。例如，信息处理设备10将表示存储体的图像显示作为虚拟可拆开物体，以便在显示基准点的坐标放置表示存储体的图像的端点。存储体的最大数表示可安装在打印机主单元中的存储体的数量。如果多个类型的存储体可安装在相同的打印机主单元中，那么存储单元11在其中存储按照存储体类型的可拆开部分图像信息。

例如，在图6的打印机B的实例中，存储体图像B用作表示打印机B的存储体的图像。通过显示基准点的坐标(x_b6，y_b6，z_b6)来指定显示存储体图像B的位置。可安装在打印机B中的存储体的数量是三个。

图7是图解根据第一实施例的可拆开部分图像信息(修整机的情况)的另一个实例的图。图7的可拆开部分图像信息包括以下项目：型号名称、修整机、和显示基准点。型号名称表示打印机的型号的名称。修整机表示用于指定图像的指定信息，该图像表示修整机。指定信息例如是图像文件名称。用于修整机的设定“-”指示没有修整机可以被安装在打印机主单元上。显示基准点表示要显示表示修整机的图像的位置。例如，信息处理设备10将表示修整机的图像显示作为虚拟可拆开物体，以便在显示基准点的坐标放置表示修整机的图像的端点。如果多个类型的整理器可安装在相同的打印机主单元中，那么存储单元11在其中存储按照修整机类型的可拆开部分图像信息。

例如，在图7的打印机B的实例中，修整机图像B用作表示打印机B的修整机的图像。通过显示基准点的坐标(x_b7，y_b8，z_b8)来指定显示修整机图像B的位置。

以下描述根据第一实施例的可移动部分图像信息的实例。

图8是图解根据第一实施例的可移动部分图像信息(ADF的情况)的实例的图。图8的可移动部分图像信息包括以下项目：型号名称、ADF(打开)、ADF(关闭)、和显示基准点。型号名称表示打印机的型号的名称。ADF(打开)表示用于指定图像(动画)的指定信息，该图像(动画)表示打开ADF的操作。ADF(关闭)表示用于指定图像(动画)的指定信息，该图像(动画)表示关闭ADF的操作。指定信息例如是图像文件名称。用于ADF(打开)和ADF(关闭)的设定“-”指示打印机主单元没有配备有ADF。显示基准点表示显示表示了打开ADF的操作的图像(动画)和表示关闭ADF的操作的图像(动画)的位置。

例如，在图8的打印机A的实例中，ADF打开图像A用作表示打开打印机A的ADF的操作的图像(动画)，并且ADF关闭图像A用作表示关闭打印机A的ADF的操作的图像(动画)。显示ADF打开图像A和ADF关闭图像A的位置由显示基准点的坐标(x_a1，y_a1，z_a1)指定。

图9是图解根据第一实施例的可移动部分图像信息(调色剂盖子的情况)的另一个实例的图。图9的可移动部分图像信息包括以下项目：型号名称、调色剂盖子(打开)、调色剂盖子(关闭)、和显示基准点。型号名称表示打印机的型号的名称。调色剂盖子(打开)表示用于指定表示打开调色剂盖子的操作的图像(动画)的指定信息。调色剂盖子(关闭)表示用于指定表示关闭调色剂盖子的操作的图像(动画)的指定信息。指定信息例如是图像文件名称。用于调色剂盖子(打开)和调色剂盖子(关闭)的设定“-”指示打印机主单元没有配备有调色剂盖子。显示基准点表示显示表示了打开调色剂盖子的操作的图像(动画)和表示关闭调色剂盖子的操作的图像(动画)的位置。

例如，在图9的打印机A的实例中，调色剂打开图像A用作表示打开打印机A的调色剂盖子的操作的图像(动画)，并且调色剂关闭图像A用作表示关闭打印机A的调色剂盖子的操作的图像(动画)。显示调色剂打开图像A和调色剂关闭e图像A的位置由显示基准点的坐标(x_a2，y_a2，z_a2)指定。

图10是图解根据第一实施例的可移动部分图像信息(纸张托盘的情况)的又一个实例的图。图10的可移动部分图像信息包括以下项目：型号名称、纸张托盘(打开)、纸张托盘(关闭)、和显示基准点。型号名称表示打印机的型号的名称。纸张托盘(打开)表示用于指定表示打开纸张托盘的操作的图像(动画)的指定信息。纸张托盘(关闭)表示用于指定表示关闭纸张托盘的操作的图像(动画)的指定信息。指定信息例如是图像文件名称。用于纸张托盘(打开)和纸张托盘(关闭)的设定“-”指示打印机主单元没有配备有纸张托盘。显示基准点表示显示表示了打开纸张托盘的操作的图像(动画)和表示关闭纸张托盘的操作的图像(动画)的位置。

例如，在图10的打印机A的实例中，托盘打开图像A用作表示打开打印机A的纸张托盘的操作的图像(动画)，并且托盘关闭图像A用作表示关闭打印机A的纸张托盘的操作的图像(动画)。显示托盘打开图像A和托盘关闭图像A的位置由显示基准点的坐标(x_a3，y_a3，z_a3)指定。

图11是图解根据第一实施例的可移动部分图像信息(双单元盖子的情况)的又一个实例的图。图11的可移动部分图像信息包括以下项目：型号名称、双单元盖子(打开)、双单元盖子(关闭)、和显示基准点。型号名称表示打印机的型号的名称。双单元盖子(打开)表示用于指定表示打开双单元盖子的操作的图像(动画)的指定信息。双单元盖子(关闭)表示用于指定表示关闭双单元盖子的操作的图像(动画)的指定信息。指定信息例如是图像文件名称。用于双单元盖子(打开)和双单元盖子(关闭)的设定“-”指示打印机主单元没有配备有双单元盖子。显示基准点表示显示表示了打开双单元盖子的操作的图像(动画)和表示关闭双单元盖子的操作的图像(动画)的位置。

例如，在图11的打印机A的实例中，盖子打开图像A用作表示打开打印机A的双单元盖子的操作的图像(动画)，并且盖子关闭图像A用作表示关闭打印机A的双单元盖子的操作的图像(动画)。显示盖子打开图像A和盖子关闭图像A的位置由显示基准点的坐标(X_a4，y_a4，z_a4)指定。

图12是图解根据第一实施例的装置操作图像信息(打印操作的情况)的实例的图。图12的装置操作图像信息包括以下项目：型号名称、打印操作、和显示基准点。型号名称表示打印机的型号的名称。打印操作表示用于指定图像(动画)的指定信息，该图像(动画)表示当已经进行打印时从打印机推出打印材料的状态。指定信息例如是图像文件名称。用于打印操作的设定“-”指示用于没有图像(动画)可用于表示当已经进行打印时从打印机推出打印材料的状态。显示基准点表示显示图像(动画)的位置，该图像(动画)表示当已经进行打印时从打印机推出打印材料的状态。

例如，在图12的打印机A的实例中，打印图像A用作图像(动画)，该图像(动画)表示当已经进行打印时从打印机推出打印材料的状态。显示打印图像A的位置由显示基准点的坐标(x_a5，y_a5，z_a5)指定。

返回参考图4，成像单元12采集包括AR标记30的图像，该AR标记30指示了显示虚拟物体40的位置，然后，将采集图像供应给显示控制器13。成像单元12继续对采集图像进行成像。换句话说，采集图像作为移动图像被供应给显示控制器13。

显示控制器13从成像单元12接收采集图像，然后，在显示单元14上显示型号选择屏幕，型号选择屏幕具有用作屏幕的背景的采集图像。

图13是图解根据第一实施例的型号选择屏幕的实例的图。第一实施例的型号选择屏幕包括型号选择按钮101、设定按钮102、帮助按钮103、和摄影机按钮104。

型号选择按钮101是用于选择打印机的型号的下拉列表按钮。按压操作接收器15的型号选择按钮101使得显示控制器13在显示单元14上显示作为上述显示设定信息被存储在存储单元11中的打印机的型号名称的列表。

设定按钮102是用于显示改变显示设定的设定屏幕的按钮，显示设定诸如是显示语言(诸如日语，英语，或者中文)以及字符大小。设定屏幕可以是用于通过选择区域来采用预定设定的区域选择屏幕。

图14是图解根据第一实施例的区域选择屏幕的实例的图。图14的实例图示了从多个区域(日本，中国，欧洲，中东，非洲，亚洲，北美洲，拉丁美洲，以及太平洋)选择一个区域的情况。显示控制器13将表示由用户选择的区域的图像区域的亮度设定为比表示没有被用户选择的区域的图像区域的亮度高。

显示控制器13基于与选择的区域关联的区域设定信息，进行显示控制。区域设定信息是指示对应于区域的显示方法的信息。区域设定信息例如包括显示语言、字符大小、统一资源定位符(URL)信息、型号名称、和可购买的型号信息。URL信息例如包括网站的URL，当按压产品购买按钮112(稍后描述)时，显示每个网站的URL。可购买的型号信息指示选择的区域中的可购买的型号。例如，按压推荐产品显示按钮111(稍后描述)，基于可购买的型号信息，在选择的区域中显示可购买的型号之中与在型号显示部分105(描述稍后)中显示的型号的产品说明类似的型号。

返回参考图13，帮助按钮103是用于显示展示操作指南的帮助屏幕的按钮。

摄影机按钮104是用于拍摄要作为背景显示的图像的按钮。在显示虚拟物体40的同时，按压操作接收器15的摄影机按钮104例如在存储单元11中存储包括虚拟物体40的合成图像。

图15是图解根据第一实施例的(显示列表的)型号选择屏幕的另一个实例的图。图15的实例图示了按压型号选择按钮101已经显示打印机A、打印机B和打印机C作为列表的情况。操作接收器15接收从列表选择型号名称的操作，然后，生成器16在AR标记30的位置，生成带有采集图像的合成图像，在该合成图像中，表示与型号名称关联的虚拟物体40的图像被组合。然后，显示控制器13在显示单元14上显示通过将用户界面(UI)组件(诸如各种按钮[参考图16])(稍后描述)添加到合成图像而获得的屏幕。例如，选择打印机A在AR标记30的位置处显示由包含在显示设定信息中的初始显示图像信息的主单元图像A(参见图5)表示的虚拟物体40。

此时，显示控制器13和生成器16使用AR技术，以根据信息处理设备10的成像单元12和AR标记30之间的位置关系来改变虚拟物体40的外观。具体地，显示控制器13首先检测包含在采集图像中的AR标记30，并且判定AR标记30的外观(采集图像中的位置和形状中的至少任何一个)是否已经改变。如果AR标记30的外观已经改变，那么生成器16根据外观改变的程度来改变虚拟物体40的显示状态(例如，放大、缩小、移动和/或转动)，并且因此生成合成图像，在该合成图像中，虚拟物体40与采集图像组合。然后，显示控制器13在显示单元14上显示通过将用户界面(UI)组件(诸如各种按钮[参见图16])(稍后描述)添加到合成图像而获得的屏幕。这个操作允许信息处理设备10的用户在参考三维地显示在显示单元14上的虚拟物体40的同时，通过朝向用户想要参考三维显示的虚拟物体40的方向引导成像单元12，而参考离开各个方向的虚拟物体40。

图16是图解根据第一实施例的型号显示屏幕(打印机A的情况)的实例的图。第一实施例的型号显示屏幕包括型号选择按钮101、设定按钮102、帮助按钮103、摄影机按钮104、型号显示部分105、操作按钮106、存储体选择按钮107、修整机选择按钮108、安装限定范围指定按钮109、产品说明显示按钮110、推荐产品显示按钮111、产品购买按钮112、地图显示按钮113、和共享按钮114。

型号选择按钮101、设定按钮102、帮助按钮103、和摄影机按钮104的说明与参考图13做出的相同，如此将不重复。

型号显示部分105显示使用型号选择按钮101选择的型号名称。还显示型号可用的功能。具体地，显示控制器13从存储单元11获得由显示在型号显示部分105中的型号名称所识别的说明信息，并且使用该说明信息，在显示单元14上显示型号可用的功能。图16的实例图示了复印、打印、扫描和无线电传真(传真)功能可用于打印机A的情况。

操作按钮106包括ADF操作按钮106a、调色剂盖子操作按钮106b、纸张托盘操作按钮106c、双单元操作按钮106d和打印操作显示按钮106e。

ADF操作按钮106a是用于ADF的打开和关闭操作的按钮。按压ADF操作按钮106a显示由包含在显示设定信息中的图8(ADF的情况)的可移动部分图像信息指定的图像文件所表示的操作。如果没有图像文件被可移动部分图像信息指定(ADF的情况)，那么显示控制器13不显示ADF操作按钮106a，或者例如以半亮度(处于半透明的状态)显示ADF操作按钮106a。

按压ADF操作按钮106a显示表示打开ADF的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的ADF打开图像A(参考图8)被用于显示表示打开ADF的操作的图像(动画)。

图19是图解在按压ADF操作按钮106a之后，第一实施例的型号显示屏幕的实例的图。在这个状态下，再次按压ADF操作按钮106a显示表示关闭ADF的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的ADF关闭图像A(参考图8)被用于显示表示关闭ADF的操作的图像(动画)，并且打印机A的显示返回到图16图示的状态。

返回参考图16，调色剂盖子操作按钮106b是用于打开和关闭调色剂盖子的操作的按钮。按压调色剂盖子操作按钮106b显示由包含在显示设定信息中的图9(调色剂盖子的情况)的可移动部分图像信息指定的图像文件所表示的操作。如果没有图像文件被可移动部分图像信息(调色剂盖子的情况)指定，那么显示控制器13不显示调色剂盖子操作按钮106b，或者例如以半亮度(处于半透明的状态)显示调色剂盖子操作按钮106b。

按压调色剂盖子操作按钮106b显示表示打开调色剂盖子的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的调色剂打开图像A(参考图9)被用于显示表示打开调色剂盖子的操作的图像(动画)。

图17A到17C是图解根据第一实施例的表示打开调色剂盖子的操作的动画的实例的图。图17A图示在按压调色剂盖子操作按钮106b之前的状态。图17B图示表示打开调色剂盖子的操作的动画在处理的状态。图17C图示表示打开调色剂盖子的操作的动画结束的状态。

按压调色剂盖子操作按钮106b使得显示控制器13开始显示表示打开调色剂盖子的操作的动画。表示打开调色剂盖子的操作的动画包括表示在拿出色粉盒时的状态的动画。观看和收听表示打开调色剂盖子的操作的动画允许用户更加清楚地知晓如何拿出色粉盒。

返回参考图16，再次按压调色剂盖子操作按钮106b显示表示关闭调色剂盖子的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的调色剂关闭图像A(参考图9)被用于显示表示关闭调色剂盖子的操作的图像(动画)。

图18A到18C是图解根据第一实施例的表示关闭调色剂盖子的操作的动画的实例的图。图18A图示在打开调色剂盖子的同时再次按压调色剂盖子操作按钮106b的状态。图18B图示表示关闭调色剂盖子的操作的动画在处理的状态。图18C图示表示关闭调色剂盖子的操作的动画结束的状态。

在打开调色剂盖子的同时，再次按压调色剂盖子操作按钮106b使得显示控制器13开始显示表示关闭调色剂盖子的操作的动画。表示关闭调色剂盖子的操作的动画包括表示在安装色粉盒时的状态的动画。表示在安装色粉盒时的状态的动画例如指示当安装色粉盒时转动色粉盒的方向。观看和收听表示关闭调色剂盖子的操作的动画允许用户更加清楚地知晓如何安装色粉盒。

显示控制器13可以显示打开/关闭除了调色剂盖子以外的部位的动画，以指示如何从打开/关闭部位之内拿出组件，以及如何在打开/关闭部位之内安装组件。因此，通过观看和收听动画，用户可以更加清楚地知晓对应于虚拟物体40的物体的组件的替换过程。

纸张托盘操作按钮106c是用于打开和关闭纸张托盘的操作的按钮。按压纸张托盘操作按钮106c显示由包含在显示设定信息中的图10(纸张托盘的情况)的可移动部分图像信息指定的图像文件所表示的操作。如果没有图像文件被可移动部分图像信息指定(纸张托盘的情况)，那么显示控制器13不显示纸张托盘操作按钮106c，或者例如以半亮度(处于半透明的状态)显示纸张托盘操作按钮106c。

按压纸张托盘操作按钮106c显示表示打开纸张托盘的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的托盘打开图像A(参考图10)被用于显示表示打开纸张托盘的操作的图像(动画)。再次按压纸张托盘操作按钮106c显示表示关闭纸张托盘的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的托盘关闭图像A(参考图10)被用于显示表示关闭纸张托盘的操作的图像(动画)。

双单元操作按钮106d是用于打开和关闭双单元的操作的按钮。按压双单元操作按钮106d显示由包含在显示设定信息中的图11(双单元的情况)的可移动部分图像信息指定的图像文件所表示的操作。如果没有图像文件被可移动部分图像信息指定(双单元的情况)，那么显示控制器13不显示双单元操作按钮106d，或者例如以半亮度(处于半透明的状态)显示双单元操作按钮106d。

按压双单元操作按钮106d显示表示打开双单元的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的盖子打开图像A(参考图11)被用于显示表示打开双单元的操作的图像(动画)。再次按压双单元操作按钮106d显示表示关闭双单元的操作的图像(动画)。具体地，如果虚拟物体40对应于打印机A，那么包含在显示设定信息中的可移动部分图像信息的盖子关闭图像A(参考图11)被用于显示表示关闭双单元的操作的图像(动画)。

打印操作显示按钮106e是使用动画来显示当已经进行打印时从打印机推出打印材料的状态的按钮。按压打印操作显示按钮106e显示由包含在显示设定信息中的图12(打印操作的情况)的装置操作图像信息指定的图像文件所表示的操作。如果没有图像文件被装置操作图像信息(打印操作的情况)，那么显示控制器13不显示打印操作显示按钮106e，或者例如以半亮度(处于半透明的状态)显示打印操作显示按钮106e。

按压打印操作显示按钮106e使得显示控制器13显示对应于打印机的打印速度的动画，以便把打印机的打印速度的感觉给予用户。例如，如果打印机的打印速度是每分钟30页(ppm)，那么显示控制器13显示表示状态的动画，在该状态中，打印机以每两秒一张的速率排出打印材料。例如，如果打印机的打印速度是每分钟20页(ppm)，那么显示控制器13显示表示状态的动画，在该状态中，打印机以每三秒一张的速率排出打印材料。

存储体选择按钮107是用于显示选择存储体选择屏幕的按钮。存储体选择屏幕是用于选择可安装在型号显示部分105中显示的型号中的存储体的屏幕。

图20A是图解根据第一实施例的存储体选择屏幕的实例的图。显示控制器13基于包含在用于型号显示部分105中显示的型号的显示设定信息中的可拆开部分图像信息(参考图6)，在显示单元14上显示存储体选择屏幕。具体地，如果存储体的多个类型可用于型号显示部分105中显示的型号，那么通过显示表示存储体的多个图像，显示控制器13显示了用于选择存储体的类型的屏幕。如果型号显示部分105中显示的型号可以包含多个存储体，那么显示控制器13显示一个屏幕，该屏幕允许用户选择图6的可拆开部分图像信息中指示的高达存储体的最大数。

在可拆开部分图像信息包含在用于打印机A(参考图6)的显示设定信息中的情况下，存储体的类型的数量是一个，因此存储体的最大数是一个。因此，图20A显示存储体图像A的一个主视图。

图20B是图解在选择存储体之后，第一实施例的型号显示屏幕的实例的图。在操作接收器15接收指示在图20A的存储体选择屏幕上选择存储体的操作之后，表示存储体的虚拟可拆开物体43被添加到表示打印机A的主单元的虚拟物体40，如图20B图示的。具体地，生成器16进一步将存储体图像A与通过组合主单元图像A与采集图像获得的合成图像进行组合，并且显示控制器13在显示单元14上显示结果的合成图像。这个操作允许用户更加清楚地想像可拆开部分(任意部分)被安装在打印机A的主单元上的情况。

返回参考图16，修整机选择按钮108是用于显示修整机选择屏幕的按钮。修整机选择屏幕的说明类似于存储体选择屏幕的说明，因此将被省略。

安装限定范围指定按钮109是用于显示安装限定范围指定屏幕的按钮。安装限定范围指定屏幕是指定安装限定范围的屏幕，安装限定范围指示范围的限定，在该范围中，对应于虚拟物体40的物体要被安装。

图21是图解根据第一实施例的安装限定范围指定屏幕的实例的图。除了图16的屏幕的显示，第一实施例的安装限定范围指定屏幕进一步包括框架120、宽度指定按钮121、深度指定按钮122、高度指定按钮123和框架移动按钮124。

框架120指示安装限定区域的尺寸。框架120的宽度、深度、高度和显示位置根据宽度指定按钮121、深度指定按钮122、高度指定按钮123和框架移动按钮124的操作被改变。

具体地，按压宽度指定按钮121的“+”按钮增加框架120的宽度，并且按压宽度指定按钮121的“-”按钮减小框架120的宽度。以同样的方式，按压深度指定按钮122的“+”按钮增加框架120的深度，并且按压深度指定按钮122的“-”按钮减小框架120的深度。同样，以同样的方式，按压高度指定按钮123的“+”按钮增加框架120的高度，并且按压高度指定按钮123的“-”按钮减小框架120的高度。

任何用户界面可以用于指定框架120的宽度、深度和高度。例如，显示控制器13可以在显示单元14上显示带有数字键的布置的数字输入区，并且操作接收器15可以接收表示宽度、深度和高度的数字的输入。

按压任何一个框架移动按钮124，依据按压方向按钮，在安装限定范围指定屏幕上，在背景图像(采集图像)中，向上、向下、向右或者向左移动框架120。

如果由框架120表示的安装限定范围不能容纳虚拟物体40，那么显示控制器13改变表示安装限定范围的框架120的显示状态。可以通过任何方法来改变显示状态。用于改变显示状态的方法的实例包括改变表示框架120的线的颜色的方法、改变表示框架120的线的粗细的方法、以及使表示框架120的线闪烁的方法。

例如，在图21的实例的情况下，框架120可以容纳表示具有关闭的ADF的打印机A的虚拟物体40，以使显示控制器13以黄色显示框架120。框架120不能容纳表示具有打开的ADF的打印机A的虚拟物体40，以致显示控制器13以红色显示框架120。这个方法允许用户更加清楚地具有关于当操作打印机A的可移动部分时，由框架120表示的任何给定的安装位置是否可以容纳打印机A的想像。

返回参考图16，产品说明显示按钮110是用于显示产品说明屏幕的按钮，产品说明屏幕显示由型号显示部分105中显示的型号名称识别的说明信息。

图22是图解根据第一实施例的产品说明屏幕的实例的图。在操作接收器15接收指示按压产品说明显示按钮110的操作之后，显示控制器13从存储单元11获得用于型号显示部分105中显示的型号的说明信息，并且在显示单元14上显示包含该说明信息的产品说明屏幕。说明信息例如包括最大打印尺寸、打印机的规格、支持的操作系统(OS)、打印速度、分辨率、和支持的接口。

显示控制器13还在产品说明屏幕上显示详细说明链接，用于显示显示了详细说明的网络页面。在操作接收器15接收指示按压一个详细说明链接的操作之后，通信单元17访问由按压的详细说明链接所指示的地址，并且显示控制器13在显示单元14上显示在访问的地址的网站。

返回参考图16，推荐产品显示按钮111是用于显示推荐给用户的型号的型号显示屏幕的按钮。推荐给用户的型号例如是产品说明与型号显示部分105中显示的型号类似的型号。在操作接收器15接收指示按压推荐产品显示按钮111的操作之后，生成器16生成合成图像，在该合成图像中，在AR标记30的位置，包含在推荐给用户的型号的显示设定信息中的初始显示图像信息中的主单元图像与采集图像组合。显示控制器13在显示单元14上显示对应于合成图像的型号显示屏幕。

产品购买按钮112是用于显示可以购买型号显示部分105显示中的型号的网站的按钮。在操作接收器15接收指示按压产品购买按钮112的操作之后通信单元17从存储单元11获得可以购买型号显示部分105中显示的型号的网站的地址。显示控制器13在显示单元14上显示由通信单元17访问的地址的网站。

地图显示按钮113是用于显示地图显示屏幕的按钮，该地图显示屏幕指示可以购买型号显示部分105显示中的型号的商店的位置。

图23是图解根据第一实施例的地图显示屏幕的实例的图。在操作接收器15接收指示按压地图显示按钮113的操作之后，GPS单元18获得信息处理设备10的当前位置200。显示控制器13在显示单元14上显示当前位置200附近的地图，并且如果商店位于当前位置200的附近，那么在地图显示屏幕上，清楚地指示可以购买型号显示部分105中显示的型号的商店的位置。图23的实例图示了商店201和202的位置被清楚地指示在地图显示屏幕上的情况。

返回参考图16，按压共享按钮114例如在Facebook(注册商标)和Twitter(注册商标)上弹出共享应用的列表。在操作接收器15接收指示选择一个共享应用的操作之后，用户可以使用选择的共享应用，与其他用户共享例如显示在显示单元14上的信息。

以下描述根据第一实施例的用于信息处理的方法的实例。

图24是图解根据的第一实施例的用于信息处理的实例的流程图。首先，成像单元12开始拍摄包括AR标记30的图像，该AR标记30指示显示虚拟物体40的位置(步骤S1)。

然后，显示控制器13从成像单元12接收采集图像，然后在显示单元14上显示采集图像用作屏幕的背景的型号选择屏幕(参考图13)(步骤S2)。然后，操作接收器15接收从型号选择按钮101的下拉列表选择型号名称的操作(步骤S3)。

然后，显示控制器13在显示单元14上显示由步骤S3选择的型号名称所识别的型号的型号显示屏幕(参考图16)(步骤S4)。具体地，生成器16首先生成合成图像，在该合成图像中，表示与步骤S3选择的型号名称关联的虚拟物体40的图像在AR标记30的位置与采集图像组合。显示控制器13在显示单元14上显示通过将诸如各个按钮的UI组件添加到合成图像而获得的屏幕。

然后该显示控制器13判定任何改变是否已经出现在信息处理设备10的成像单元12和AR标记30之间的位置关系中(步骤S5)。具体地，显示控制器13检测包含在采集图像中的AR标记30，并且基于AR标记30的外观(采集图像和形状中的至少任何一个位置)是否已经改变，来判定任何改变是否已经出现在信息处理设备10的成像单元12和AR标记30之间的位置关系中。

如果成像单元12和AR标记30之间的位置关系已经改变(步骤S5为“是”)，那么显示控制器13使用AR技术，根据改变的位置关系来改变虚拟物体40的外观(步骤S6)。如果成像单元12和AR标记30之间的位置关系尚未被改变(步骤S5为“否”)，那么处理进行到步骤S7。

然后，操作接收器15判定型号显示屏幕上的按钮(参考图16)是否被按压(步骤S7)。如果按压该按钮(步骤为“是”)，那么信息处理设备10进行与如上所述各个按钮之中的按钮相对应的处理(步骤S8)。如果没有按压按钮(步骤S7为“否”)，那么处理进行到步骤S9。

然后，操作接收器15判定是否接收结束显示虚拟物体40的处理的操作(步骤S9)。如果不是(步骤S9为“否”)，那么处理返回到步骤S5。如果接收到结束处理的操作(步骤S9为“是”)，那么处理结束。

以下描述根据第一实施例的硬件配置的结构的实例。

图25是图解根据第一实施例的信息处理设备10的硬件配置的实例的图。第一实施例的信息处理设备10包括控制装置301、主存储装置302、辅助存储装置303、显示装置304、输入装置305、通信装置306、成像装置307和GPS装置308。控制装置301、主存储装置302、辅助存储装置303、显示装置304、输入装置305、通信装置306成像装置307和GPS装置308通过总线310被互相连接。

控制装置301执行从辅助存储装置303读取到主存储装置302的计算机程序。通过诸如只读存储器(ROM)和随机存取存储器(RAM)的存储器来配置主存储装置302。辅助存储装置303例如是存储卡。图4的存储单元11对应于主存储装置302和辅助存储装置303。

显示装置304和输入装置305被配置为具有显示功能和输入功能的液晶触摸板。通信装置306与另一个装置通信。成像装置307采集表示信息处理设备10周围的状态的图像。GPS装置308接收来自多个GPS卫星的信号，以便获得指示信息处理设备10的位置的GPS信息。

由信息处理设备10执行的程序以可安装的格式或者可执行的格式，在非暂时的计算机可读的记录介质中，被存储为文件，非暂时的计算机可读的记录介质诸如是光盘只读存储器(CD-ROM)、存储卡、可记录的光盘(CD-R)、或者数字通用圆盘(DVD)，并且该程序被提供作为计算机程序产品。

由信息处理设备10执行的程序可以被配置为存储在连接到网络的计算机中，并且通过网络下载被提供，网络诸如是因特网。替换地，由信息处理设备10执行的程序可以被配置通过网络被提供，而不用被下载，网络诸如是因特网。

用于信息处理设备10的程序可以被配置为通过预先被合并到例如ROM中而被提供。

由信息处理设备10执行的程序具有模块结构，模块结构包括如上所述的功能块之中的可由程序实现的功能块。可由程序实现的功能块的实例包括显示控制器13、操作接收器15、生成器16、和通信单元17。作为实际的硬件，控制装置301从诸如辅助存储装置303的存储介质读取程序，并且执行程序，以便将由程序实现的功能块加载到主存储装置302中。换句话说，由程序实现的功能块在主存储装置302中被生成。

可由程序实现的一个、一些或者全部功能块可以由诸如集成电路(IC)的硬件实现，而不用由程序实现。

如上所述，在第一实施例的信息处理设备10中，成像单元12获得包括AR标记30(位置识别信息)的采集图像，该AR标记30用于识别显示虚拟物体40的位置。生成器16在由包含在采集图像中的AR标记30所识别的位置，生成通过组合虚拟物体40而获得的合成图像。当操作接收器15已经接收到对于虚拟物体40的可移动部分的操作时，根据用于显示虚拟物体40的显示设定信息来改变可移动部分的显示。这个操作允许用户更加清楚地想像物体的可移动部分被操作的情况。

第二实施例

以下描述本发明的第二实施例。在第二实施例中，将描述与虚拟物体40相对应的物体是家用电器的情况。虽然将通过举例说明冰箱的情况来描述第二实施例，但是家用电器并不限于冰箱，而可以是任何家用电器。在第二实施例中，与第一实施例相同的说明将不重复，并且将描述与第一实施例不同的点。

第二实施例的信息处理系统1具有与第一实施例的信息处理系统1相同的结构(参考图1)。第二实施例的信息处理设备10具有与第一实施例的信息处理设备10相同的结构(参考图4)。

首先，以下描述第二实施例的显示设定信息(初始显示图像信息和可移动部分图像信息)。

图26是图解根据第二实施例的初始显示图像信息(冰箱的情况)的实例的图。初始显示图像信息指示当表示冰箱的虚拟物体40开始被显示时的状态。初始显示图像信息包括以下项目：型号名称、主单元图像。型号名称表示冰箱的型号的名称。在第二实施例中，型号名称用作用于识别虚拟物体40的类型的识别信息。主单元表示用于指定表示冰箱的图像的指定信息。指定信息例如是图像文件名称。在包含在由信息处理设备10拍摄的采集图像中的AR标记30的位置显示主单元图像。

例如，在图26的实例中，如果信息处理设备10初始显示对应于冰箱Ra的虚拟物体40，那么基于主单元图像Ra的虚拟物体40被显示。

以下描述根据第二实施例的可移动部分图像信息的实例。

图27是图解根据第二实施例的可移动部分图像信息(门的情况)的实例的图。图27的可移动部分图像信息包括以下项目：型号名称、门号码、门(打开)、门(关闭)、和显示基准点。型号名称表示冰箱的型号的名称。门号码是用于识别冰箱的门的编号。门(打开)表示用于指定图像(动画)的指定信息，该图像(动画)表示打开门的操作。门(关闭)表示用于指定图像(动画)的指定信息，该图像(动画)表示关闭门的操作。指定信息例如是图像文件名称。显示基准点表示显示表示了打开门的操作的图像(动画)和表示关闭门的操作的图像(动画)的位置。

例如，在图27的冰箱Ra的实例中，门打开图像Ra1用作表示打开在门号码是1的一排中的冰箱Ra的门的操作的图像(动画)，并且门关闭图像Ra1用作表示关闭门号码是1的一排中的冰箱Ra的门的操作的图像(动画)。显示门打开图像Ra1和门关闭图像Ra1的位置由显示基准点的坐标(x_ra1，y_ra1，z_ra1)指定。

以下描述根据第二实施例的型号选择屏幕的实例。

图28是图解根据第二实施例的型号选择屏幕的实例的图。第二实施例的型号选择屏幕包括型号选择按钮101、设定按钮102、帮助按钮103、和摄影机按钮104。

型号选择按钮101是用于选择冰箱的型号的下拉列表按钮。按压操作接收器15的型号选择按钮101使得显示控制器13在显示单元14上显示作为上述显示设定信息被存储在存储单元11中的冰柜的型号名称的列表。

设定按钮102是用于显示改变显示设定的设定屏幕的按钮，显示设定诸如是显示语言(诸如日语，英语，或者中文)以及字符大小。

帮助按钮103是用于显示帮助屏幕的按钮，帮助屏幕用于展示操作须知。

摄影机按钮104是用于拍摄要作为背景显示的图像的按钮。在AR标记30的位置显示表示冰箱的虚拟物体40的同时，按压操作接收器15的摄影机按钮104例如在存储单元11中存储合成图像，该合成图像包括表示冰箱的虚拟物体40。

图29是图解根据第二实施例的(显示列表的)型号选择屏幕的另一个实例的图。图29的实例图示了按压型号选择按钮101已经显示冰箱Ra、冰箱Rb和冰箱Rc作为列表的情况。操作接收器15接收从列表选择型号名称的操作，然后，生成器16在AR标记30的位置，生成带有采集图像的合成图像，在该合成图像中，表示与型号名称关联的虚拟物体40的图像被组合。然后，显示控制器13在显示单元14上显示通过将UI组件(诸如各种按钮[参考图30])(稍后描述)添加到合成图像而获得的屏幕。例如，选择冰箱Ra在AR标记30的位置处显示由包含在显示设定信息中的初始显示图像信息的主单元图像Ra(参考图26)表示的虚拟物体40。

图30是图解根据第二实施例的型号显示屏幕(冰箱Ra的情况)的实例的图。第二实施例的型号显示屏幕包括型号选择按钮101、设定按钮102、帮助按钮103、摄影机按钮104、型号显示部分105、操作按钮106、安装限定范围指定按钮109、产品说明显示按钮110、推荐产品显示按钮111、产品购买按钮112、地图显示按钮113、和共享按钮114。

型号选择按钮101、设定按钮102、帮助按钮103、和摄影机按钮104的说明与参考图13做出的相同，如此将不重复。

型号显示部分105显示使用型号选择按钮101选择的型号名称。图30举例说明冰箱Ra的显示。

操作按钮106包括第一门操作按钮106f、第二门操作按钮106g和第三门操作按钮106h。

第一门操作按钮106f是用于打开和关闭门51的操作的按钮。第一门操作按钮106f显示由包含在显示设定信息中的图27(门的情况)可移动部分图像信息中的门号码是1的一排的信息所指定的图像文件所表示的操作。

按压第一门操作按钮106f显示表示打开门51的操作的图像(动画)。具体地，如果虚拟物体40对应于冰箱Ra，那么包含在显示设定信息中的可移动部分图像信息的门打开图像Ra1(参考图27)被用于显示表示打开门51的操作的图像(动画)。

图31是图解在按压第一门操作按钮106f之后，第二实施例的型号显示屏幕的实例的图。在这个状态下，再次按压第一门操作按钮106f显示表示关闭门51的操作的图像(动画)。具体地，如果虚拟物体40对应于冰箱Ra，那么包含在显示设定信息中的可移动部分图像信息的门关闭图像Ra1(参考图27)被用于显示表示关闭门51的操作的图像(动画)，并且冰箱Ra的显示返回到图30中图示的状态。

返回参考图30，第二门操作按钮106g是用于打开和关闭门52的操作的按钮。第二门操作按钮106g显示由包含在显示设定信息中的图27(门的情况)的可移动部分图像信息中的门号码是2的一排的信息所指定的图像文件所表示的操作。

第三门操作按钮106h是用于打开和关闭门53的操作的按钮。第三门操作按钮106h显示由包含在显示设定信息中的图27(门的情况)的可移动部分图像信息中的门号码是3的一排的信息所指定的图像文件所表示的操作。

安装限定范围指定按钮109是用于显示安装限定范围指定屏幕的按钮。安装限定范围指定屏幕是指定安装限定范围的屏幕，安装限定范围指示范围的限定，在该范围中，对应于虚拟物体40的物体要被安装。第二实施例的安装限定范围指定屏幕与第一实施例的安装限定范围指定屏幕(参考图21)相同，因此将不描述。

产品说明显示按钮110是用于显示产品说明屏幕，该产品说明屏幕显示由型号显示部分105中显示的型号名称所识别的说明信息。第二实施例的产品说明屏幕与第一实施例的产品说明屏幕(参考图222)相同，因此将不描述。

推荐产品显示按钮111是用于显示推荐给用户的型号的型号显示屏幕的按钮。推荐给用户的型号例如是产品说明与型号显示部分105中显示的型号类似的型号。在操作接收器15接收指示按压推荐产品显示按钮111的操作之后，生成器16生成合成图像，在该合成图像中，在AR标记30的位置，包含在推荐给用户的型号的显示设定信息中的初始显示图像信息中的主单元图像与采集图像组合。显示控制器13在显示单元14上显示对应于合成图像的型号显示屏幕。

产品购买按钮112是用于显示可以购买型号显示部分105显示中的型号的网站的按钮。在操作接收器15接收指示按压产品购买按钮112的操作之后通信单元17从存储单元11获得可以购买型号显示部分105中显示的型号的网站的地址。显示控制器13在显示单元14上显示由通信单元17访问的地址的网站。

按压地图显示按钮113显示地图显示屏幕，该地图显示屏幕指示可以购买型号显示部分105中显示的型号的商店的位置。第二实施例的地图显示屏幕与第一实施例的地图显示屏幕(参考图23)相同，因此将不描述。

按压共享按钮114例如在Facebook(注册商标)和Twitter(注册商标)上弹出共享应用的列表。在操作接收器15接收指示选择一个共享应用的操作之后，用户可以使用选择的共享应用，与其他用户共享例如显示在显示单元14上的信息。

用于第二实施例的信息处理的方法与用于第一实施例的信息处理的方法(参考图24)相同，因此将不描述。第二实施例的信息处理设备10的硬件配置与用于第一实施例的信息处理设备10的硬件配置(参考图25)相同，因此将不描述。

如上所述，在第二实施例的信息处理设备10中，当操作接收器15已经接收到关于表示冰箱的虚拟物体40的可移动部分的操作时，可移动部分的显示根据显示设定信息被改变，该显示设定信息用于显示表示冰箱的虚拟物体40。因此，在物体是冰箱(家用电器)的情况下，用户可以以与第一实施例中相同的方式，更加清楚地想像操作冰箱(家用电器)的可移动部分的情况。

第三实施例

以下描述本发明的第三实施例。将通过举例说明与虚拟物体40相对应的物体是车辆的情况来描述第三实施例。虽然将通过举例说明汽车的情况来描述第三实施例，但是车辆并不限于汽车，而可以是任何车辆。在第三实施例中，与第一实施例相同的说明将不重复，并且将描述与第一实施例不同的点。

第三实施例的信息处理系统1具有与第一实施例的信息处理系统1相同的结构(参考图1)。第三实施例的信息处理设备10具有与第一实施例的信息处理设备10相同的结构(参考图4)。

首先，以下描述第三实施例的显示设定信息(初始显示图像信息和可移动部分图像信息)。

图32是图解根据第三实施例的初始显示图像信息(汽车的情况)的实例的图。初始显示图像信息指示当表示汽车的虚拟物体40开始被显示时的状态。初始显示图像信息包括以下项目：车辆型号名称和车身图像。车辆型号名称表示汽车的车辆型号的名称。在第三实施例中，车辆型号名称用作用于识别虚拟物体40的类型的识别信息。车身表示用于指定表示汽车的图像的指定信息。指定信息例如是图像文件名称。在包含在由信息处理设备10拍摄的采集图像中的AR标记30的位置，显示车身图像。

例如，在图32的实例中，如果信息处理设备10初始显示对应于汽车Ca的虚拟物体40，那么基于车身图像Ca的虚拟物体40被显示。

以下描述根据第三实施例的可移动部分图像信息的实例。

图33是图解根据第三实施例的可移动部分图像信息(汽车的打开/关闭部分的情况)的实例的图。图33的可移动部分图像信息包括以下项目：车辆型号名称、打开/关闭部分名称、打开/关闭部分(打开)、打开/关闭部分(关闭)、和显示基准点。车辆型号名称表示汽车的车辆型号的名称。打开/关闭部分名称表示汽车的打开/关闭部分的名称。打开/关闭部分(打开)表示指定信息，该指定信息用于指定表示打开该打开/关闭部分的操作的图像(动画)。打开/关闭部分(关闭)表示指定信息，该指定信息用于指定表示关闭该打开/关闭部分的操作的图像(动画)。指定信息例如是图像文件名称。显示基准点表示显示表示了打开打开/关闭部分的操作的图像(动画)和表示关闭打开/关闭部分的操作的图像(动画)的位置。

例如，在图33的汽车Ca的实例中，打开图像Ca2用作表示打开汽车Ca的驾驶员的门的操作的图像(动画)，并且关闭图像Ca2用作表示关闭汽车Ca的驾驶员的门的操作的图像(动画)。显示打开图像Ca2和关闭图像Ca2的位置由显示基准点的坐标(x_ca2，y_ca2，z_ca2)指定。

图34是图解根据第三实施例的虚拟物体(汽车Ca的情况)的实例的图。表示汽车Ca的虚拟物体40包括引擎盖61、驾驶员门62、前排乘客门63、右后乘客门64、左后乘客门65、和后行李箱盖66。例如，使用包含在显示设定信息中的可移动部分图像信息的打开图像Ca2(参考图33)，按压用于汽车Ca的车辆型号显示屏幕上的驾驶员门62的操作按钮显示表示打开驾驶员门62的操作的图像(动画)。用于第三实施例的汽车Ca的车辆型号显示屏幕类似于第一实施例(图16)的型号显示屏幕和第二实施例(图30)的型号显示屏幕，因此将不描述。

图35是图解根据第三实施例的(当驾驶员门62打开时)的虚拟物体40的实例的图。使用包含在显示设定信息中的可移动部分图像信息的关闭图像Ca2(参考图33)，再次按压用于汽车Ca的车辆型号显示屏幕上的驾驶员门62的操作按钮显示表示关闭驾驶员门62的操作的图像(动画)，并且虚拟物体40返回到图34的状态。

用于第三实施例的信息处理的方法与用于第一实施例的信息处理的方法(参考图24)相同，因此将不描述。第三实施例的信息处理设备10的硬件配置与用于第一实施例的信息处理设备10的硬件配置(参考图25)相同，因此将不描述。

如上所述，在第三实施例的信息处理设备10中，当操作接收器15已经接收到关于表示汽车的虚拟物体40的可移动部分的操作时，可移动部分的显示根据显示设定信息被改变，该显示设定信息用于显示表示汽车的虚拟物体40。因此，在物体是汽车(车辆)的情况下，用户可以以与第一实施例和第二实施例中相同的方式，更加清楚地想像操作汽车(车辆)的可移动部分的情况。

虽然已经通过举例说明与虚拟物体40相对应的物体是打印机(办公室设备)、冰箱(家用电器)、和汽车(车辆)来描述第一到第三实施例，但是物体可以是任何物体。与虚拟物体40相对应的物体例如可以是一件家具，诸如五斗柜。

本发明的实施例提供了允许用户更加清楚地想像操作物体的可移动部分的情况的有利的效果。

尽管为了完全的和清楚的公开已经关于特定实施例描述了本发明，附加的权利要求书不是要如此限制，而是要被解释，作为具体化所有变形例和替换的结构，对于本领域的一个技术人员来说，可以想到所有变形例和替换的结构，而且属于在此阐明的基本教导。