显示系统、显示装置以及程序的制作方法

1.本说明书中公开了显示增强现实(ar、augmented reality)图像的显示系统、显示装置以及程序。


背景技术：

2.以往以来，已知使用了增强现实技术的显示装置。例如在日本特表2016－522485中显示有作为玩具的人偶等的现实物体被置换为了带动画的虚拟人偶等的虚拟物体(虚拟对象)的增强现实图像。


技术实现要素：

3.在本说明书中公开一种显示系统、显示装置以及程序，其在对玩具等商品提供增强现实图像的显示服务时，与以往相比能够提高商品的附加价值。
4.在本说明书中公开一种具备显示装置和服务器的显示系统。显示装置具备拍摄器、图像识别部、显示控制部、显示部以及位置信息取得部。拍摄器能够拍摄现实世界。图像识别部能够对拍摄器的拍摄图像所包含的能携带的商品所附带的标识符进行识别。显示控制部根据标识符的识别来生成增强现实图像，该增强现实图像是使虚拟物体的图像重叠于包含商品的现实世界的风景而得到的图像。显示部显示增强现实图像。位置信息取得部取得当前的位置信息。服务器具备第一存储部和第一提取部。第一存储部跨多个种类地存储有虚拟物体的图像数据。第一提取部基于位置信息取得部取得的显示装置的位置信息，从第一存储部提取提供给显示装置的虚拟物体的图像数据。
5.根据上述构成，在虚拟物体图像重叠于商品时，提供基于位置信息的虚拟物体图像。由此，例如能够使与停留目的地的风景相符的虚拟物体图像重叠于商品，与以往相比能够提高商品的附加价值。
6.另外，在上述构成中，显示控制部也可以保留增强现实图像向显示部的显示，直到标识符在预定期间内被图像识别部识别到。
7.根据上述构成，能够抑制因非有意的商品的映像而生成增强现实图像。
8.另外，在上述构成中，服务器也可以具备第二存储部和第二提取部。第二存储部存储有与标识符对应地设定的虚拟物体的图像数据。第二提取部基于图像识别部识别到的标识符，从第二存储部提取提供给显示装置的虚拟物体的图像数据。
9.根据上述构成，在基于位置信息的虚拟物体之外，基于标识符的虚拟物体、即对商品确定了的虚拟物体也能够显示于增强现实图像。由此，例如能够根据标识符来使附加于商品的角色的3d图像进行显示，进一步基于位置信息，使与用户正停留的主题乐园关联了的装饰图像进行显示。其结果，能够实现在游乐场中使角色踩球的增强现实图像进行显示等的、与场所相应的演出。
10.另外，在上述构成中，也可以基于与存储于第二存储部的预定的虚拟物体的图像数据的组合被禁止了的、存储于第一存储部的虚拟物体的图像数据的列表，第一提取部从
第一存储部提取虚拟物体的图像数据。
11.根据上述构成，能够将在社会共同观念上不适于与角色进行组合的装饰图像排除掉，例如能够抑制生成企鹅钻火这样的图像。
12.另外，在本说明书中公开一种显示装置。该显示装置具备拍摄器、图像识别部、显示控制部、显示部、位置信息取得部、存储部以及提取部。拍摄器能够拍摄现实世界。图像识别部能够对拍摄器的拍摄图像所包含的能携带的商品所附带的标识符进行识别。显示控制部根据标识符的识别来生成增强现实图像，该增强现实图像是使虚拟物体的图像重叠于包含商品的现实世界的风景而得到的图像。显示部显示增强现实图像。位置信息取得部取得当前的位置信息。存储部跨多个种类地存储有虚拟物体的图像数据。提取部基于位置信息取得部取得的当前的位置信息，从存储部提取重叠于现实世界的风景的虚拟物体的图像数据。
13.另外，在本说明书中公开一种用于使计算机作为拍摄器、图像识别部、显示控制部、显示部、位置信息取得部、存储部以及提取部发挥功能的程序。拍摄器能够拍摄现实世界。图像识别部能够对拍摄器的拍摄图像所包含的能携带的商品所附带的标识符进行识别。显示控制部根据标识符的识别来生成增强现实图像，该增强现实图像是使虚拟物体的图像重叠于包含商品的现实世界的风景而得到的图像。显示部显示增强现实图像。位置信息取得部取得当前的位置信息。存储部跨多个种类地存储有虚拟物体的图像数据。提取部基于位置信息取得部取得的当前的位置信息，从存储部提取重叠于现实世界的风景的虚拟物体的图像数据。
14.根据本说明书中公开的显示系统、显示装置以及程序，在对玩具等商品提供增强现实图像的显示服务时，与以往相比能够提高商品的附加价值。
附图说明
15.下文将参照附图说明本发明示例性实施例的特征、优点以及技术和产业的意义，其中相同的标号表示同样的要素，并且，其中：
16.图1是对包括本实施方式涉及的显示系统的综合娱乐设施进行例示的图。
17.图2是对带有ar标记来作为标识符的商品进行例示的立体图。
18.图3是对本实施方式涉及的显示系统的显示装置和服务器的硬件结构进行例示的图。
19.图4是对服务器的功能块进行例示的图。
20.图5是对显示装置的功能块进行例示的图。
21.图6是对显示装置处于动物园时所显示的增强现实图像进行例示的图。
22.图7是对显示装置处于水族馆时所显示的增强现实图像进行例示的图。
23.图8是对摄像头位置姿势推定的概要进行说明的图。
24.图9是例示了增强现实图像显示流程的图。
25.图10是对头戴显示器(hmd)进行例示来作为显示装置的一个例子的图。
26.图11是表示包含了服务器的功能的例子来作为显示装置的一个例子的功能框图。
具体实施方式
27.在图1中例示综合娱乐设施10。在该设施内利用本实施方式涉及的显示系统。如后述的那样，本实施方式涉及的显示系统包括ar显示装置30和服务器70来构成。
28.＜综合娱乐设施的构成＞
29.在综合娱乐设施10设置有多个主题乐园12～18。主题乐园是指基于特定主题(题材)来构成世界观、基于该世界观来综合性地构成并演出了设备、事件、景观等的设施。例如，主题乐园12～18通过连接通道20相连接，利用者能够经由该连接通道进行各个主题乐园12～18的往来。
30.在各个主题乐园12～18和连接通道20设置有信标的发射器22。发射器22例如等间隔地设置有多个。如后述的那样，通过ar显示装置30的信标接收器37(参照图3)接收来自该发射器22的信号，能够取得ar显示装置30的当前位置。
31.综合娱乐设施10设置有主题各不相同的主题乐园。例如在综合娱乐设施10设置有运动乐园12、游乐场14、水族馆16以及动物园18来作为主题乐园。
32.各个主题乐园12～18基于各个主题来设定有角色。角色被设定为按照各个主题乐园12～18的主题和世界观的角色。例如在运动乐园12中，设定有冒险家、守护者、忍者等的角色。例如在游乐场14中，设定有小丑、卡丁车等的角色。例如在水族馆16中，设定有海豚、金鱼、鲨鱼等的角色。进一步，例如在动物园18中设定有象、熊猫、企鹅等的角色。
33.另外，在综合娱乐设施10设置有售货亭19。例如沿着连接通道20而设置有售货亭19。另外，在各主题乐园12～18内也可以设置有售货亭19。在售货亭19销售基于各主题乐园12～18的主题的商品。
34.＜商品的构成＞
35.在图2中例示在售货亭19销售的商品90。商品90例如是被作为对主题乐园12～18的到场纪念来购入的特产。例如图2所例示的商品90是大致立方体形状的曲奇罐。
36.在商品90的表面施加有绘图，该绘图表示该商品90是与哪个主题乐园12～18关联的商品。例如在商品90的表面印刷有基于各主题乐园12～18的主题设定的角色的绘图96。例如在图2中，在作为商品90的曲奇罐的侧面印刷有企鹅的角色绘图96来作为动物园18的到场纪念。
37.另外，除了角色绘图96之外，在商品90的表面还带有用于使得增强现实图像显示的标识符。例如在图2中，在商品90的盖94的顶面印刷有作为标识符的ar标记98。ar标记98为了容易地进行由拍摄器35(参照图5)实现的解码，例如由黑白两色构成。另外，ar标记98为了决定方向而印刷有如在俯视下成为上下和左右为非对称那样的图案。进一步，ar标记98形成为矩形状以使得平面形状、倾斜角度的推定变得容易，例如被印刷为俯视成为正方形。从ar标记98的图像识别到增强现实图像的显示为止的流程将在后面进行描述。
38.商品90能够进行携带，能够配置在综合娱乐设施10的任何场所。例如购入者能够将在动物园18的售货亭19购入的商品90拿到游乐场14。如后述的那样，在本实施方式涉及的显示系统中，显示与放置了商品90的场所相应的增强现实图像。
39.＜服务器的构成＞
40.在图3中例示构成本实施方式涉及的显示系统的ar显示装置30和服务器70的硬件结构。服务器70例如由计算机构成，例如设置在综合娱乐设施10(参照图1)的管理大楼内。
另外，服务器70通过无线lan等的通信单元与ar显示装置30无线连接。
41.服务器70具备键盘、鼠标等的输入部71、运算装置的cpu72以及显示器等的显示部73。另外，服务器70具备rom74、ram75以及硬盘驱动器(hdd)来作为存储装置。进一步，服务器70具备对信息的输入输出进行管理的输入输出控制器77。这些构成部件与内部总线78连接。
42.在图4中例示服务器70的功能块。该功能框图例如通过cpu72执行存储于rom74、hdd76或者存储于dvd等的计算机能够读取的非瞬时性的存储介质的程序来构成。
43.服务器70具备设施地图存储部80、按乐园装饰数据存储部81(第一存储部)、角色存储部82(第二存储部)以及角色装饰组合存储部83来作为存储部。另外，服务器70具备装饰数据提取部84、角色数据提取部85、接收部86以及发送部87。
44.在设施地图存储部80中存储有综合娱乐设施10内的地图信息。例如存储有综合娱乐设施10内的通路、设施等的位置信息等。
45.在按乐园装饰数据存储部81(第一存储部)中存储有显示于ar显示装置30的增强现实图像中的、作为虚拟物体的装饰物体的图像数据。装饰物体例如是指如图6那样的大球102a、图7的鱼102b的鱼群，包括显示于ar显示装置30来作为角色图像100的装饰的虚拟物体。
46.存储于按乐园装饰数据存储部81的装饰物体的图像数据、即装饰图像数据可以是作为虚拟物体的装饰物体的3d模型数据。该3d模型数据例如包括装饰物体的3d图像数据，该图像数据包括形状数据、肌理(texture)数据以及运动数据。
47.装饰图像数据按主题乐园12～18区分地分别存储有多个种类。例如对于一个主题乐园存储有10种以上且100种以下的装饰图像数据。这些装饰图像数据被按主题乐园12～18区分地赋予识别记号。进一步，对各个装饰图像数据赋予固有的识别记号。
48.装饰图像数据是被赋予了识别记号的与主题乐园12～18具有关联性的图像。例如如图6所示，被赋予了与游乐场14对应的识别记号的装饰图像102a为用于踩球的大球的图像。另外，例如如图7所示，被赋予了与水族馆16对应的识别记号的装饰图像102b是基于鱼群的拱门的图像。
49.此外，在图6、图7中，为了使图示明确，图示了轮廓图来作为装饰图像和角色图像，但不限于该形态，可以显示装饰图像和角色图像的3d图像。以下，角色和装饰物体的3d图像被适当地仅记载为角色图像和装饰图像。
50.返回图4，在角色存储部82(第二存储部)中存储有作为按主题乐园12～18区分地设定的虚拟物体的角色信息。角色信息例如可以是指各角色的3d模型数据。该3d模型数据例如包括角色的3d图像数据，该图像数据包括形状数据、肌理数据以及运动数据。
51.这样的各角色的3d模型数据被与通过对被附加于商品90的标识符进行解码来得到的识别记号(ar－id)关联地存储于角色存储部82。例如如后述的那样，通过图像识别部58(参照图5)识别作为被附加于商品90(参照图2)的标识符的ar标记98，并被解码(decode)为ar－id。进一步，从角色存储部82提取与该ar－id对应的虚拟物体、也即是角色的3d模型数据。
52.在角色装饰组合存储部83中存储有禁止了与角色图像的组合的装饰图像的列表(以下适当地记载为组合禁止列表)。在该列表中，例如在角色图像为企鹅的情况下，列举有
装饰图像是表示钻火圈的图像等的、在社会共同观念上不适于进行组合的组合。例如，该列表预先由综合娱乐设施10的管理者等进行设定。作为列表的形式，例如角色图像的ar－id和禁止了与该角色图像的组合的装饰图像的识别记号(id)被相关联地进行存储。
53.接收部86接收ar显示装置30等的外部设备的信号。ar显示装置30的当前位置信息和ar显示装置30拍摄到的商品90的ar－id信息被从ar显示装置30发送至接收部86。装饰数据提取部84(第一提取部)基于位置信息取得部50(参照图5)取得的当前位置信息，判定ar显示装置30处于主题乐园12～18中的哪个主题乐园。进一步，装饰数据提取部84从按乐园装饰数据存储部81提取与正处于的主题乐园12～18对应地设定的装饰图像数据。
54.另外，角色数据提取部85(第二提取部)从角色存储部82提取作为与所接收到的ar－id对应的虚拟物体的角色的图像数据。所提取到的装饰图像数据和角色图像数据经由发送部87被发送至ar显示装置30。
55.＜ar显示装置的构成＞
56.参照图1，ar显示装置30是由综合娱乐设施10的利用者(用户)利用的显示装置。ar显示装置30能够显示使虚拟物体的图像重叠于现实世界的风景而得到的虚拟现实图像。
57.ar显示装置30可以为便携型的设备，能与商品90一起进行移动。例如，ar显示装置30是具备拍摄装置和显示部的智能手机、眼镜型的头戴显示器(hmd)。
58.从现实世界的风景的显示方式这一观点出发，ar显示装置30可以分为视频透视式(video see-through)显示器(vst显示器)和光学透视式(optical see-through)显示器(ost显示器)。vst显示器中，摄像头等的拍摄器拍摄现实世界的风景，在显示器显示该拍摄图像。另一方面，ost显示器中，通过半反射镜等的透射式的显示部视觉识别现实世界的风景，虚拟物体被投影到该显示部。
59.上述的智能手机等的具备拍摄器35(参照图3)的ar显示装置30被分类为vst显示器。另外，上述的头戴显示器(hmd)将眼镜的透镜作为显示部，视觉识别现实世界的风景，因此，被分类为ost显示器。
60.在以下的实施方式中，如图6中所例示的那样，图示便携型且vst显示器型的智能手机来作为ar显示装置30的例子。该智能手机既可以为综合娱乐设施10的利用者的所有物，也可以是出借给综合娱乐设施10的利用者的平板终端等的租赁物品。
61.在图3中，与服务器70的硬件结构一起例示出ar显示装置30的硬件结构。ar显示装置30具备cpu31(中央运算装置)、拍摄器35、gps接收器36、信标接收器37、输入输出控制器39、系统存储器40、储存器(storage)41、gpu42、帧存储器43、ramdac44、显示控制部45、显示部46以及输入部47。
62.系统存储器40是由cpu31执行的操作系统(os)使用的存储装置。储存器41是外部存储装置，例如存储后述的用于使得显示虚拟现实图像(ar图像)的程序。
63.拍摄器35例如是搭载于智能手机的摄像头设备，能够以静止图像和动态图像拍摄现实世界的风景。拍摄器35例如包括cmos、ccd等的拍摄设备来构成。进一步，拍摄器35可以是在现实世界的拍摄之外还具备了对距拍摄器35的隔离距离进行测定的功能的、所谓的rgb－d摄像头。作为测定隔离距离的功能，例如在上述的拍摄设备之外，在拍摄器35还设置有使用了红外线的测距机构。
64.gpu42(graphics processing unit，图形处理单元)是图像处理用的运算装置，主
要在进行后述的图像识别时进行工作。帧存储器43是存储由拍摄器35拍摄、进一步通过gpu42进行了运算处理的图像的存储装置。ramdac44(random access memory digital-to-analog converter，随机访问存储器数模转换器)将存储于帧存储器43的图像数据变换为面向作为模拟显示器的显示部46的模拟信号。
65.gps接收器36从gps卫星24(参照图1)接收作为测位信号的gps信号。gps信号包含纬度、经度、高度的位置坐标信息。信标接收器37接收来自设置在以连接通道20为代表的综合娱乐设施10内的信标的发射器22的位置信号。
66.在此，gps接收器36和信标接收器37都重复具有位置推定功能。因此，在ar显示装置30也可以只设置有gps接收器36和信标接收器37中的某一方。
67.输入部47能够输入对拍摄器35的启动指令、拍摄指令。例如，输入部47可以是与显示部46一体化了的触摸面板。
68.显示控制部45能够生成使虚拟物体的图像重叠于现实世界的风景而得到的增强现实图像(ar图像)，并将其显示于显示部46。如后述的那样，增强现实图像的显示通过图像识别部识别作为被附加于商品90(参照图2)的标识符的ar标记98来执行。
69.例如，显示控制部45进行使作为虚拟物体图像的角色图像100(参照图6)和装饰图像102a重叠在现实世界的拍摄图像中的比ar标记98的图像靠上方的位置的图像处理(渲染)，生成增强现实图像。该图像被显示于显示部46。显示部46例如可以是液晶显示器或者有机el显示器。
70.在图5中例示ar显示装置30的功能框图。该功能框图例如通过cpu31、gpu42执行存储于系统存储器40、储存器41或者存储于dvd、计算机的硬盘等的计算机能够读取的非瞬时性的存储介质的程序来构成。
71.在图5中，也例示于图3的硬件结构的一部分和功能块被以并存的状态进行表示。在图5中，例示出拍摄器35、显示控制部45、显示部46以及输入部47来作为硬件结构。
72.另外，作为功能块，ar显示装置30具备位置信息取得部50、发送部52、接收部55、位置姿势推定部56以及图像识别部58。另外，作为存储部，ar显示装置30具备已学习模型存储部59。这些功能块由cpu31、系统存储器40、储存器41、gpu42以及帧存储器43等构成。
73.位置信息取得部50从图3的gps接收器36和信标接收器37中的至少一方取得ar显示装置30的当前位置的信息。该位置信息是所谓的世界坐标系，在gps信号的情况下，位置信息包含纬度、经度以及高度信息。另外，在所接收到的位置信息是从信标信号取得的信息的情况下，例如位置信息包含将综合娱乐设施10的任意地点作为原点的平面坐标系的x坐标和y坐标。
74.位置姿势推定部56推定所谓的摄像头位置姿势。也即是，推定拍摄器35相对于ar标记98的位置和姿势。例如如图8中所例示的那样，从图像识别部58发送被提取出了ar标记98的轮廓线的图像。该图像通过已知的图像处理技术来取得。例如，位置姿势推定部56将拍摄图像变换为黑白的二值图像，对该两色的边界线、即轮廓线进行搜索。
75.位置姿势推定部56通过对所搜索到的轮廓线中的闭合形状的部分进行搜索，进一步求出该形状的角部(边缘)，从而求出ar标记98的平面。进一步，位置姿势推定部56基于已知的平面射影变换来算出摄像头位置姿势。由此，如由图8的箭头所示那样，求出相对于ar标记98的平面的正交坐标系。基于该正交坐标系，确定角色图像100和装饰图像102(102a、
102b)的显示时的角度。
76.图像识别部58接收通过拍摄器35得到的拍摄图像数据，进行图像识别。图像识别包括拍摄图像中的物体识别和该物体与ar显示装置30的隔离距离的推定。当这样的图像识别时，例如如上所述，除了对现实世界的风景进行拍摄而得到的彩色图像数据之外，拍摄图像数据还包含该彩色图像数据内的各物体的距拍摄器35的隔离距离数据。
77.图像识别部58使用存储于已学习模型存储部59的图像识别用的学习模型，进行拍摄图像的识别。在已学习模型存储部59中例如存储有已通过外部的服务器等学习完的图像识别用的神经网络。例如准备包含综合娱乐设施10的室外的图像数据、且图像内的各物体的已分割(segment)以及已注释的数据来作为训练用数据。使用该训练用数据，形成通过有教师学习进行了机器学习的多层神经网络，并存储于已学习模型存储部59。该神经网络例如可以为卷积神经网络(cnn)。
78.如后述的那样，拍摄图像中的各物体通过分割(segmentation)被进行区划，进一步求出与各物体的隔离距离，由此能够进行基于从ar显示装置30观察到的前后关系的隐蔽处理。例如能够进行如下那样的图像处理：在物体通过了商品90的跟前时，虚拟地配置在其背后的角色图像100和装饰图像102(102a、102b)被该通过物体隐藏。
79.＜增强现实图像显示流程＞
80.在图9中例示出基于本实施方式涉及的显示系统的增强现实图像的显示流程。例如通过cpu31、gpu42执行存储于系统存储器40、储存器41或者存储于dvd、计算机的硬盘等的计算机能够读取的非瞬时性的存储介质的程序，从而执行该显示流程。
81.另外，在图9中，由ar显示装置30执行的步骤由(d)表示，由服务器70执行的步骤由(s)表示。在图9的基础上，参照图4、图5，当从ar显示装置30的输入部47输入拍摄指令时，本流程被启动。拍摄器35向图像识别部58发送基于拍摄指令得到的拍摄图像。
82.图像识别部58对所接收到的拍摄图像进行图像识别(s10)。该图像识别包括拍摄图像所包含的商品90(参照图2)的识别、作为被附加于商品90的标识符的ar标记98的识别以及拍摄图像中的各物体(现实物体)的识别。另外，该识别包括分割和注释。进一步，在该图像识别中，求出各物体的距ar显示装置30的隔离距离。
83.图像识别部58判定在拍摄图像中是否识别到ar标记98(s12)。在未识别到ar标记98的情况下，本流程结束。另一方面，在拍摄图像中识别到ar标记98的情况下，图像识别部58在预定期间内对ar标记98进行追踪(所谓的标记跟踪)，判定ar标记98是否持续该预定期间地包含在拍摄图像中(s14)。预定期间例如可以为5秒以上且10秒以下。
84.在预定期间的途中ar标记98从拍摄图像消失了的情况下，认为是所谓的无意的映像，因此，由该ar标记98启动的增强现实图像的生成被搁置。也即是，保留增强现实图像向显示部46的显示。另一方面，在ar标记98持续预定期间地包含在了拍摄图像中的情况下，图像识别部58对ar标记98进行解码来取得ar－id(s16)。
85.进一步，通过位置信息取得部50取得ar显示装置30的当前位置。该当前位置信息和ar－id被从发送部52发送给服务器70(s18)。当服务器70的接收部86接收到ar显示装置30的当前位置信息和商品90的ar－id时，ar－id被发送到角色数据提取部85。角色数据提取部85从角色存储部82提取与所接收到的ar－id对应的角色的图像100(参照图6)的数据(s20)。
86.另外，ar显示装置30的当前位置信息和商品90的ar－id被发送到装饰数据提取部84。装饰数据提取部84根据存储于设施地图存储部80的乐园地图数据，求出与当前位置信息对应的、也即是主题乐园12～18中的在乐园内包含当前位置的主题乐园(s22)。进一步，装饰数据提取部84参照按乐园装饰数据存储部81，提取与主题乐园12～18中的所求出的主题乐园对应地设定的装饰图像102(102a、102b)的数据(参照图6、图7)(s24)。对于主题乐园12～18中的所求出的主题乐园，在多种装饰图像数据存储于按乐园装饰数据存储部81的情况下，例如从这些中随机地提取装饰图像数据。
87.进一步，装饰数据提取部84判定所提取到的装饰图像数据与在步骤s20中提取到的角色图像数据的组合是否被禁止(s26)。该判定基于存储于角色装饰组合存储部83的组合禁止列表来进行。例如，装饰数据提取部84判定ar－id和所提取到的装饰图像数据的识别记号的组合是否登记于组合禁止列表。
88.在所提取到的装饰图像是禁止了与所提取到的角色图像的组合的图像的情况下，装饰数据提取部84为了重新进行装饰图像数据的提取(s28)而返回到步骤s24。
89.另一方面，在所提取到的装饰图像不是禁止了与所提取到的角色图像的组合的图像的情况下，装饰数据提取部84向发送部87发送所提取到的装饰图像数据。发送部87将通过角色数据提取部85提取到的角色图像数据与所接收到的装饰图像数据一起发送给ar显示装置30(s30)。
90.当ar显示装置30的接收部55从服务器70接收到角色图像数据和装饰图像数据时，这些数据被发送给显示控制部45。另外，位置姿势推定部56从图像识别部58取得ar标记98的轮廓图像(参照图8)，进行如上述那样的摄像头位置姿势的推定(s32)。
91.当通过摄像头位置姿势推定求出ar标记98上的正交坐标系时，沿着该坐标系，确定角色图像和装饰图像的位置姿势。对此，显示控制部45生成使确定了位置姿势的角色图像和装饰图像、也即是虚拟物体的图像重叠于现实世界的风景而得到的增强现实图像，并使之显示于显示部46(s34)。角色图像和装饰图像的显示位置例如被预先确定为在拍摄图像中成为ar标记98的画面上方。
92.这样，根据本实施方式涉及的显示系统，基于ar显示装置30的位置信息，作为虚拟物体图像的装饰图像被重叠于拍摄图像。而且，基于作为被附加于商品90的标识符的ar标记98，作为虚拟物体图像的角色图像被重叠于拍摄图像。
93.通过基于位置信息设定装饰图像，装饰图像按主题乐园12～18中的所到场的主题乐园而变化，另外，显示按照了主题乐园12～18中的用户正停留的主题乐园的世界观的装饰图像。
94.进一步，通过基于ar标记98设定角色图像，与装饰图像一起显示于增强现实图像，从而能够进行如与该角色一起在各主题乐园12～18中周游那样的演出。
95.＜ar显示装置的其他例子＞
96.在上述的实施方式中，作为ar显示装置30，例示了作为视频透视式显示器的智能手机，但本实施方式涉及的ar显示装置30不限于该形态。ar显示装置30也可以例如如图10所例示的头戴显示器(hmd)那样由光学透视式显示器构成。
97.在该情况下，ar显示装置30包括拍摄器35、与显示部46对应的半反射镜114、与显示控制部45和图像识别部58对应的投影仪116以及与位置信息取得部50和位置姿势推定部
56对应的传感器单元112来构成。
98.半反射镜114例如可以为眼镜、护目镜的透镜。半反射镜114中，来自现实世界的的光(像)透射至利用者。另一方面，配置在半反射镜114的上方的投影仪116使虚拟物体的像投影到半反射镜114。由此，能够显示在现实世界的风景重叠了作为虚拟物体图像的角色图像、装饰图像的增强现实图像。
99.＜ar显示装置的其他例子＞
100.在上述的实施方式中，在ar显示装置30和服务器70中进行了图9的增强现实图像的显示流程，但取而代之，ar显示装置30也可以执行该流程的全部步骤。在该情况下，ar显示装置30例如由存储容量比智能手机大的平板型终端构成。
101.在图11中例示出图5的变形例、且ar显示装置30的功能框图。该功能框图例如通过cpu31、gpu42执行存储于系统存储器40、储存器41或者存储于dvd、计算机的硬盘等的计算机能够读取的非瞬时性的存储介质的程序来构成。
102.与图5相比，在ar显示装置30设置有设施地图存储部80、按乐园装饰数据存储部81(第一存储部)、角色存储部82(第二存储部)以及角色装饰组合存储部83。另外，在ar显示装置30设置有装饰数据提取部84(第一提取部)和角色数据提取部85(第二提取部)。
103.在图4、图5中，通过设置于服务器70的这些构成被设置于ar显示装置30，能够由ar显示装置30单体执行虚拟现实图像显示流程。例如在图9的流程中，全部步骤由ar显示装置30执行。进一步，ar显示装置30与服务器70的数据的交换变得不需要，因此，步骤s18、s30变得不需要。
104.＜标识符的其他例子＞
105.在上述的实施方式中，作为用于ar显示装置30生成增强现实图像的标识符，对商品90的表面附加了ar标记98，但本实施方式涉及的显示系统不限于该形态。例如也可以采用所谓的对商品90不附加ar标记98的无标记ar方式。
106.具体而言，也可以使用附加于商品90表面的角色绘图96(参照图2)来作为标识符。例如流程构成为：在图9的步骤s12中通过图像识别进行拍摄图像的分割和注释，当识别到附加于商品90表面的角色绘图96(参照图2)时，进入步骤s14。进一步，流程构成为：当在步骤s14中角色绘图96持续预定期间地包含在了拍摄图像时，进入步骤s16。
107.进一步，在步骤s16中，也可以是图像识别部58取得与角色绘图96的形状(能够通过分割进行推定)以及属性(能够通过注释进行推定)关联了的ar－id。在该情况下，角色绘图96的形状以及属性与ar－id的对照关系可以预先存储于ar显示装置30。