头戴式信息处理装置以及头戴式显示系统的制作方法

1.本发明涉及头戴式信息处理装置以及头戴式显示系统，特别地，涉及对虚拟对象中的位置的掌握有效的技术。


背景技术：

2.近年来，虚拟现实(virtual reality：vr)技术、增强现实(augmented reality：ar)技术等被用于游戏、各种仿真。虚拟现实是制作对现实进行模拟的虚拟世界并体验恰如身临其境的感觉的技术。增强现实是对现实世界赋予数字信息来将利用cg(computer graphics，计算机图形学)等制作出的虚拟空间(虚拟对象)反映到现实世界并进行增强的技术。
3.作为将这些技术具体化的工具，广泛使用将显示部、相机部等佩戴到头部的头戴式信息处理装置。这种头戴式信息处理装置存在在结构上在显示范围方面有制约、视场范围窄这样的问题。
4.作为解决该问题的技术，例如有通过生成使虚拟空间中的视场适当地扩大而得到的广视场图像来使视场变宽并使视场外的虚拟对象等也适当地显示的技术(例如参照专利文献1)。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2009
‑
244936号公报


技术实现要素：

8.发明要解决的课题
9.在专利文献1的技术中，记载了如上所述使虚拟空间中的视场扩大来显示位于广范围的虚拟对象。然而，当在增强现实(ar)空间中在现实的物体或者表现现实世界的实拍物体、虚拟现实(vr)空间的其他虚拟物体的背侧配置虚拟对象的情况下，存在不论如何扩大视场都无法视觉识别虚拟对象的存在自身这样的问题。
10.本发明的目的在于提供一种能够容易地掌握通过虚拟现实或者增强现实显示的虚拟对象的存在位置等的技术。
11.本发明的前述及其他目的和新的特征根据本说明书的记述以及附图将变得清楚。
12.课题的解决手段
13.如果简单地说明在本技术中公开的发明中的代表性的发明的概要，则如下所述。
14.即，代表性的头戴式信息处理装置具有虚拟对象生成处理部、输入操作部、相机部、显示部以及控制部。所述虚拟对象生成处理部生成所述虚拟对象。输入操作部设定及输入信息。
15.相机部对现实空间进行拍摄。显示部显示相机部拍摄的实拍图像以及虚拟对象生成处理部生成的虚拟对象。控制部控制虚拟对象生成处理部以及显示部。
16.控制部根据从所述输入操作部输入的指示所述虚拟对象的显示的虚拟对象显示指示信息，使所述虚拟对象生成处理部生成的虚拟对象在所述显示部的显示视场画面内一览显示。
17.发明的效果
18.如果简单地说明由在本技术中公开的发明中的代表性的发明得到的效果，则如以下所述。
19.能够可靠地视觉识别虚拟对象的配置位置等，所以能够提高便利性。
附图说明
20.图1是示出实施方式1所涉及的头戴式信息处理装置中的结构的一个例子的框图。
21.图2是示出基于图1的头戴式信息处理装置具有的显示部的用户视野的一个例子的说明图。
22.图3是示意性地示出图1的头戴式信息处理装置中的使用状况的周围全貌例的说明图。
23.图4是示出图3所示的全貌例中的实际风景的一个例子的说明图。
24.图5是示出基于图1的头戴式信息处理装置的显示画面的一个例子的说明图。
25.图6是示出不显示图5的虚线部分的情况下的显示例的说明图。
26.图7是示出基于图1的头戴式信息处理装置的实拍物体的背景图像的显示例的说明图。
27.图8是示出基于图1的头戴式信息处理装置的显示画面的其他例子的说明图。
28.图9是示出基于图1的头戴式信息处理装置中的虚拟对象的姿势操作的显示画面的一个例子的说明图。
29.图10是示出图9之后的姿势操作后的虚拟对象的显示的一个例子的说明图。
30.图11是示出图9之后的姿势操作后的虚拟对象的显示的其他例子的说明图。
31.图12是示出将基于图1的头戴式信息处理装置的姿势操作后的虚拟对象显示于全景显示画面的框外的例子的说明图。
32.图13是示出将基于图1的头戴式信息处理装置的姿势操作后的虚拟对象重叠显示于全景显示画面内的例子的说明图。
33.图14是示意性地示出基于图1的头戴式信息处理装置的虚拟的小型物体的配置例的说明图。
34.图15是示出基于图14所示的配置例的显示视场画面的一个例子的说明图。
35.图16是示出基于图1的头戴式信息处理装置的小型物体的显示的一个例子的说明图。
36.图17是示出基于图1的头戴式信息处理装置的显示部中的显示视场画面的一个例子的说明图。
37.图18是示出基于图1的头戴式信息处理装置的显示部中的显示视场画面的其他例子的说明图。
38.图19是示出将基于图1的头戴式信息处理装置的全景图像显示为背景时的显示画面的一个例子的说明图。
39.图20是示出实施方式2所涉及的头戴式显示系统中的结构的一个例子的框图。
具体实施方式
40.在用于说明实施方式的全部附图中，对相同部件原则上附加相同符号，省略其反复的说明。
41.(实施方式1)
42.以下，详细说明实施方式。
43.<头戴式信息处理装置的结构例>
44.图1是示出本实施方式1所涉及的头戴式信息处理装置100中的结构的一个例子的框图。
45.如图1所示，头戴式信息处理装置100由相机部111、右眼视线检测部112、左眼视线检测部113、加速度传感器部114、陀螺仪传感器部115、地磁传感器部116、振动产生部117、外围声音麦克风118、发声声音麦克风119、耳机120、输入操作部121、虚拟对象生成处理部122、虚拟对象姿势操作处理部123、虚拟对象变形操作处理部124、控制部125、存储器部128、显示部130、深度传感器部131、刺激产生部132等构成。这些各功能块经由总线140相互连接。
46.相机部111设置于头戴式信息处理装置100，对用户周边的风景等进行摄影。相机部111既可以是多个相机，或者也可以是能够通过组合1个或多个相机来对全景的图像进行摄影的360度全景相机。
47.虚拟对象生成处理部122生成作为与现实空间不同的虚拟空间的物体的虚拟对象。例如，关于虚拟对象生成处理部122，虚拟对象生成处理部122读入存储于存储器部128的虚拟对象的模板数据，依照使用输入操作部121的用户操作，生成虚拟对象数据，将其显示于显示部130，并且存储到存储器部128。
48.虚拟对象的模板数据不一定是必要的，也可以通过用户操作来无模板地直接生成虚拟对象数据。例如，通过由使用输入操作部121的用户操作在实际空间上指定成为虚拟对象的各顶点的8点，能够生成长方体的虚拟对象。
49.在此，除了后述的图4所示的重叠到现实空间的风景地显示虚拟对象的通常显示以外，还设置能够在视场内一览所有虚拟对象的一览显示模式。
50.而且，该一览显示模式被分成原始模式和加工模式。原始模式是如后述的图19所示能够在通常显示中视觉识别虚拟对象的方式，是将虚拟对象收入到一览视场内显示的模式。另一方面，加工模式是除了能够在通常显示中视觉识别的显示方式以外，还以在一览显示中使虚拟对象易于被看到的方式调整显示方式的模式。
51.虚拟对象姿势操作处理部123在一览显示时改变虚拟对象的姿势信息，以使虚拟对象在一览显示(加工模式)中成为易于视觉识别的姿势的方式进行操作。虚拟对象变形操作处理部124以除了在一览显示(加工模式)时以外也在原来的虚拟对象的显示(通常显示)中反映姿势的改变的方式改变姿势信息。
52.虚拟对象姿势操作处理部123以使显示于显示部130的虚拟对象旋转或者放大、缩小而成为易于视觉识别的形状的姿势的方式操作虚拟对象的姿势。虚拟对象姿势操作处理部123的姿势操作结果仅在一览显示(加工模式)时有效，不影响原来的对象的姿势、形状以
及朝向等。
53.虚拟对象变形操作处理部124对显示于显示部130的虚拟对象，进行变形操作。该变形操作例如是改变虚拟对象的朝向、改变大小、改变形状、删除一部分或者删除全部等。
54.变形操作的结果被反映到一览显示(加工模式)的显示，并且还被反映到原来的虚拟对象的姿势、形状、朝向等。
55.控制部125例如由cpu(central processing unit，中央处理单元)等构成。控制部125通过执行os(operating system，操作系统)、动作控制用应用等程序126，控制各功能块，控制头戴式信息处理装置100整体的动作。
56.在控制部125中，进行如下控制：根据由输入操作部121输入的指示虚拟对象显示的虚拟对象显示指示信息，将由虚拟对象生成处理部122生成的各虚拟对象收入到显示部130的显示视场内配置并显示。
57.作为该控制例，将示出头戴式信息处理装置100的全周围风景的全景图像投影到显示部130的显示视场画面上而反映，在虚拟对象实际上存在的全景图像上的位置配置并显示虚拟对象。
58.另外，作为其他控制例，在显示视场画面内配置并显示小型物体，例如透明的小型的球形等，在小型物体上配置并显示虚拟对象的缩影(小型模型)。作为缩影的配置位置，设为使虚拟对象实际上存在的位置反映到小型物体上的位置即可。
59.另外，控制部125针对配置于显示视场内的不易视觉识别的虚拟对象，以在由虚拟对象姿势操作处理部123以使虚拟对象的整体形状易于视觉识别的方式操作姿势后的状态下显示虚拟对象的方式进行控制。控制部125还使用来自与总线140连接的各传感器、检测部等功能块的输入信息来生成显示影像。
60.存储器部128由被例示为闪存存储器等的非易失性半导体存储器构成，存储上述各种程序126以及虚拟对象、实拍图像等信息数据127等。
61.显示部130例如由液晶面板等构成。显示部130显示现实空间的实拍图像、虚拟对象。另外，对向用户的呈现通知信息、动作状态等显示内容进行画面显示。
62.例如，在由相机部111摄影的实拍图像的显示、虚拟对象显示时，在表示头戴式信息处理装置100的全周围风景的全景图像上在虚拟对象存在的位置配置并显示虚拟对象。或者，显示配置有虚拟对象的缩影的小型物体。
63.显示部130也可以是半透射型的显示设备，在该情况下，也可以重叠到能够透视的现实空间地显示虚拟对象等。
64.在此，说明显示部130是半透射型的情况，但在显示部130不是半透射型的情况下，也可以重叠到由相机部111摄影的现实空间的影像地显示虚拟对象等。
65.<用户的视野例>
66.图2是示出基于图1的头戴式信息处理装置100具有的显示部130的用户视野的一个例子的说明图。
67.该图2是示出如上所述显示部130设为半透射型的例子的图，控制部125将记录于存储器部128的虚拟对象数据读出到显示部130中，仅虚拟对象被显示在显示部130中。其以外的部分没有被显示，显示部130的前面的现实空间的风景1801能够透视。
68.通过透过显示部130观察现实空间的风景1801，对于用户而言，如图2的上方所示
的风景1803那样看起来在现实空间的风景上存在虚拟对象。
69.在图2中，右眼视线检测部112以及左眼视线检测部113分别检测右眼、左眼的视线。此外，关于检测视线的处理，利用一般用作眼动追踪(eye
‑
tracking)处理的公知技术即可。
70.例如，在利用了角膜反射的方法中，已知如下技术：将红外线led(light emitting diode，发光二极管)照到用户的脸上，利用红外线相机等进行摄影，将通过红外线led的照射形成的反射光的角膜上的位置、即角膜反射作为基准点，根据相对于该角膜反射的位置的瞳孔的位置来检测视线。
71.加速度传感器部114是检测作为每单位时间的速度的变化的加速度的传感器，能够捕捉运动、振动以及冲击等。陀螺仪传感器部115是检测旋转方向的角速度的传感器，能够捕捉纵、横、以及斜的姿势的状态。
72.通过使用这些加速度传感器部114以及陀螺仪传感器部115，能够检测装备有头戴式信息处理装置100的用户的头部的运动。
73.地磁传感器部116是检测地球的磁力的传感器，检测头戴式信息处理装置100朝向的方向。地磁传感器部116通过使用例如除了前后方向和左右方向以外还检测上下方向的地磁的3轴类型，能够捕捉相对于头部的运动的地磁变化。由此，还能够检测头部的运动。
74.通过这些加速度传感器部114、陀螺仪传感器部115以及地磁传感器部116，能够详细检测用户佩戴的头戴式信息处理装置100的运动、变动。
75.振动产生部117依照控制部125的控制而产生振动，将由头戴式信息处理装置100发送的向用户的通知信息变换为振动。振动产生部117能够通过例如在密接佩戴的用户的头部等产生振动来可靠地传递向用户的通知。
76.外围声音麦克风118以及发声声音麦克风119对来自外部的声音、用户自身的发声进行集音。耳机120佩戴在用户的耳部，听取向用户的声音，能够利用声音通知向用户的通知信息。
77.此外，发声声音麦克风119也可以是骨传导麦克风等声音输入设备。耳机120也可以是扬声器或骨传导耳机等声音输出设备。
78.深度传感器部131在面中测定直至物体的距离。对于深度传感器部131而言，例如有利用红外线、激光等的反射的例子，也可以通过根据由安装位置不同的多个相机摄影的图像的视差得到距离信息等其他方式实现。
79.通过控制部125解析由深度传感器部131取得的距离信息，能够检测手的运动以及身体的运动等。对于手的运动以及身体的运动等的解析，也可以一并使用从由相机部111摄影的图像得到的信息。
80.刺激产生部132依照来自控制部125的控制而产生能够由皮肤感知的刺激，将从头戴式信息处理装置100发送的向用户的通知信息变换为能够由皮肤感知的刺激。
81.在能够由皮肤感知的刺激中，有压力、温感、冷感或者电刺激等。刺激产生部132能够通过产生能够由密接佩戴的用户头部的皮肤感知的刺激来可靠地传递向用户的通知。
82.输入操作部121例如由键盘、键按钮或者触摸板等构成，对用户希望输入的信息进行设定输入。输入操作部121设置于头戴式信息用户易于进行输入操作的位置即可。或者，也可以是从头戴式信息处理装置100的本体分离而以有线、无线方式连接的方式。
83.作为从头戴式显示器分离的输入操作装置的例子，有作为使用了陀螺仪传感器、加速度传感器等的三维空间位置输入装置的空间鼠标、从映出身体的相机影像检测佩戴到身体的控制器自身的空间位置并用于输入的控制器等。
84.另外，也可以在显示部130的显示画面内显示输入操作画面，利用由右眼视线检测部112以及左眼视线检测部113检测到的视线所朝向的输入操作画面上的位置，收取输入操作信息。或者，也可以使指针显示于输入操作画面上，利用输入操作部121操作指针来收取输入操作信息。
85.也可以与由包括相机部111的各传感器、即、加速度传感器部114、陀螺仪传感器部115、地磁传感器部116以及深度传感器部131检测到的用户的头部的运动符合地移动指针，收取输入操作信息。
86.而且，也可以用户发出表示输入操作的声音，由发声声音麦克风119集音来收取输入操作信息。也可以通过相机部111的摄影图像、深度传感器等收取用户的手的运动、身体的运动并由控制部125对其进行解析，将输入操作信息收取为手势输入。
87.通过在输入操作中使用发声、显示、身体的运动，能够使佩戴到头部的头戴式信息处理装置100的使用性进一步提高。
88.利用以上的结构，能够根据由输入操作部等输入的指示虚拟对象显示的虚拟对象显示请求指示来将所有虚拟对象收入到显示部130的显示视场内地配置并一览显示。其结果，能够容易地视觉识别所有虚拟对象的存在。
89.而且，对于形状、配置状态等不清楚的虚拟对象，通过将该虚拟对象旋转或者放大、缩小来操作虚拟对象的姿势，能够可靠地视觉识别虚拟对象的形状以及全貌，得到能够使用性良好地确定虚拟对象这样的效果。
90.<头戴式信息处理装置的动作例>
91.接下来，说明图1的头戴式信息处理装置100的动作。
92.图3是示意性地示出图1的头戴式信息处理装置100中的使用状况的周围全貌例的说明图。
93.在图3中，在佩戴有头戴式信息处理装置100的用户200的前方正面，设置有桌子201以及个人电脑202。另外，在用户200的右侧，设置有收纳盒203，在用户200的后方背面，设置有书架204。
94.作为由虚拟对象生成处理部122生成的虚拟对象，分别在正面后方配置有虚拟对象211，在桌子201的背侧配置有虚拟对象212，在桌子201的右侧后方配置有虚拟对象213，在收纳盒203的后方配置有虚拟对象214，在桌子201的左侧后方配置有虚拟对象215，以及在书架204的右侧后方配置有虚拟对象216。
95.图4是示出图3所示的全貌例中的实际风景的一个例子的说明图。
96.图4(a)是示出从使用头戴式信息处理装置100的用户观察前方正面时的实拍风景、即、在图3所示的周围全貌状态下佩戴有头戴式信息处理装置100的用户的视野的图。
97.配置于用户的当前的视场内的坐标位置的虚拟对象211、213被显示，但配置于视场外的坐标位置的虚拟对象214、216不被显示。
98.部分性地配置于视场内的坐标位置的虚拟对象215仅被显示一部分，另外，位于桌子201的背侧的虚拟对象212不被显示。
99.图4(b)是示出从使用头戴式信息处理装置100的用户观察后方背面时的实拍风景、即、在图3的周围全貌状态下佩戴有头戴式信息处理装置100的用户朝向后方背面的状态下的视野的图。
100.如图4(b)所示，在佩戴有头戴式信息处理装置100的用户朝向后方背面的状态下，配置于视场内的坐标位置的虚拟对象216被显示，但虚拟对象216以外由于配置于视场外的坐标位置而不被显示。
101.这样，配置于佩戴有头戴式信息处理装置100的用户的头的朝向的视场外的坐标位置的虚拟对象不被显示。
102.图5是示出基于图1的头戴式信息处理装置100的显示画面的一个例子的说明图。图5是示出将基于头戴式信息处理装置100的虚拟对象收入到显示视场画面内地配置并使虚拟对象一览显示的显示画面的一个例子的图。
103.图5的虚线所示的部分是将实拍物体作为背景而进行显示的情况下的例子，用于易于理解地表示与虚拟对象的位置关系，也可以不进行显示。此外，以下，关于图8～图11，也可以与图5同样地不显示用虚线表示的部分。
104.在该情况下，如图5所示，头戴式信息处理装置100将表示头戴式信息处理装置100的全周围风景的全景图像投影反映到显示部130的显示视场画面上，在投影反映的全景图像上在虚拟对象存在的位置配置虚拟对象，对虚拟对象进行一览显示。
105.由此，对于例如如虚拟对象212等配置于作为现实的物体的桌子201的背侧的虚拟对象，也能够视觉识别其存在。其结果，能够将在周围全貌中存在的所有虚拟对象的存在与存在位置一起视觉识别。
106.图6是示出不显示图5的虚线部分的情况下的显示例的说明图。图7是示出基于图1的头戴式信息处理装置100的实拍物体的背景图像的显示例的说明图。
107.在图5中，为了易于理解地表示与虚拟对象的位置关系，用虚线表示实拍物体的背景图像，但在实际的显示中，如图6所示不显示虚线。
108.或者，当使在全周围全貌中存在的所有虚拟对象显示时，控制部125也可以如图7所示使图5的虚线所示的桌子201、个人电脑202、收纳盒203以及书架204等实拍物体作为背景图像而显示。
109.由此，能够易于识别现实空间和虚拟对象的位置关系。例如，在如图5所示在背面的书架204的右侧上部存在虚拟对象216的情况下，如果在作为背景图像的书架的右上部位置显示虚拟对象，则易于识别虚拟对象位置。
110.此外，表示头戴式信息处理装置100的全周围风景的全景图像既可以使用能够一次对全景的图像进行摄影的360度全景相机来取得，或者也可以接合通常视角相机的图像来取得。
111.另外，也可以仅使用能够取得的一部分的范围的图像，例如，在能够在180度全天周图像等不在全景中而在一部分的范围的图像中视觉识别几乎所有虚拟对象的存在的情况等下，当然得到同样的作用、效果。
112.图8是示出基于图1的头戴式信息处理装置100的显示画面的其他例子的说明图。在图8所示的例子中，示出使从图5的一览显示的虚拟对象中选择的虚拟对象显示于跟前的预先决定的位置的情况下的显示画面。
113.在该情况下，用户从图5所示的一览显示的虚拟对象中例如选择虚拟对象211。然后，用户进行将虚拟对象的一览显示原样地留在显示部130的显示视场内的背景部分中并将选择的虚拟对象在预先决定的位置放大地配置的操作，从而将其如图8的虚拟对象501那样显示。
114.关于一边在预先决定的位置放大一边进行配置的操作，既可以通过选择对象来自动地配置，也可以通过如牵引选择的对象那样的自然的操作来手动地配置。另外，对象也可以在配置时一并地进行决定放大率的操作来改变放大率。
115.以控制部125为主体来执行以上的动作。控制部125依照从输入操作部121输入的用户操作，读出存储于存储器部128的对象的形状以及显示位置等信息数据127，将改变了选择的对象的形状、显示位置的信息后的结果显示于显示部130。
116.由此，能够更清楚地视觉识别在一览显示中难以看到的虚拟对象。关于预先决定的位置，也可以使用预先存储于存储器部128的初始值。初始值例如设为易于视觉识别的位置等。
117.或者，控制部125也可以通过将用户从输入操作部121输入的设定信息写入到存储器部128来使用每次设定的设定信息。在该情况下，作为设定信息，例如，在设为身体的正面的手的工作范围部分等时，易于视觉识别虚拟对象，且易于进行姿势操作、变形操作等。
118.在视觉识别确认选择的虚拟对象之后，选择虚拟对象返回到显示部130的显示视场内的背景部分的配置操作前的原来的位置。该动作由控制部125在视觉识别确认结束操作后自动地进行。
119.接着，在进行选择其他虚拟对象并带到预先决定的位置来配置的操作的情况下，先前选择的虚拟对象返回到原来的位置，本来的虚拟对象的一览显示图像作为背景留下。因此，能够容易地进行接下来的虚拟对象的配置操作、视觉识别确认。
120.另一方面，在选择1个虚拟对象进行配置操作并且之后不进行其他虚拟对象的配置操作的情况下，也可以在基于配置操作的视觉识别确认结束后，在使虚拟对象返回到原来的位置时消去虚拟对象的一览显示图像，返回到将虚拟对象重叠显示于本来存在的位置的显示视场画面。
121.另外，在将虚拟对象配置到预先决定的位置的配置操作时，在虚拟对象的一览显示成为障碍等的情况下，也可以消去背景部分的虚拟对象的一览显示图像。
122.或者，也可以在将由相机部111预先摄影的现实空间的实拍图像显示于显示部130之后将虚拟对象重叠显示到本来存在的位置。例如，在使用于希望与实际世界的背景的尺寸符合地配置虚拟对象的情况等时，能够提高使用性。
123.<虚拟对象的姿势操作例>
124.接下来，说明基于图1的头戴式信息处理装置的虚拟对象的姿势操作的动作。
125.图9是示出基于图1的头戴式信息处理装置100中的虚拟对象的姿势操作的显示画面的一个例子的说明图。图10是示出图9之后的姿势操作后的虚拟对象的显示的一个例子的说明图。图11是示出图9之后的姿势操作后的虚拟对象的显示的其他例子的说明图。
126.此外，在图9～图11中，已在图3中示出并附加相同符号的部分具有与在图3中已经说明的动作相同的动作，所以省略它们的详细说明。
127.如在图5中说明的那样，通过在全景图像上配置并显示虚拟对象，能够视觉识别所
有虚拟对象的存在，但仅在该状态下有时难以视觉识别虚拟对象的整体的形状。
128.因此，对于配置于显示视场内的不易视觉识别的虚拟对象，由虚拟对象姿势操作处理部123以使虚拟对象的整体形状易于视觉识别的方式操作虚拟对象的姿势，使姿势操作后的虚拟对象返回到一览显示(加工模式)上的原来的位置而显示。
129.在以上的动作中，虚拟对象姿势操作处理部123读出存储于存储器部128的对象的形状以及显示位置等信息数据127，将改变了选择的对象的形状、显示位置的信息后的结果写入到存储器部128。控制部125将从存储器部128读入的信息显示于显示部130。
130.例如，图9所示的虚拟对象215本来是立方体的形状，但在全景图像上的显示形状下，成为无法视觉识别确定为立方体的显示形状。因此，虚拟对象姿势操作处理部123使虚拟对象215首先在易于姿势操作的跟前的预先决定的位置的显示位置根据需要一边放大一边移动。
131.之后，虚拟对象姿势操作处理部123使移动后的虚拟对象215包含三维的旋转动作地旋转，按照整体形状易于视觉识别的显示形状进行姿势操作，变换为虚拟对象601所示的显示形状。
132.关于整体形状易于视觉识别的显示形状，也可以预先将该对象的易于视觉识别的朝向、大小以及颜色等信息(姿势信息)与虚拟对象生成时的成为模板的形状数据关联起来并记录到存储器部128，将该信息用于生成的虚拟对象。另外，也可以将用户针对每个虚拟对象指定的姿势信息存储到存储器部128，在显示时使用。
133.而且，也可以在虚拟对象姿势操作处理部123的姿势操作后返回到一览显示(加工模式)上的原来的位置，如图10所示显示为虚拟对象701。
134.图11示出对虚拟对象215以外的虚拟对象也进行姿势操作的情况下的虚拟对象的显示形状。针对图9所示的虚拟对象213、214、216，与虚拟对象215同样地，虚拟对象姿势操作处理部123进行基于旋转的姿势操作。由此，虚拟对象213、214、216如图11所示分别被变换为由虚拟对象813、814、816表示的显示形状。
135.另外，针对图9的虚拟对象211，进行基于放大的姿势操作。由此，虚拟对象211被变换为图11的虚拟对象811的显示形状。其结果，能够以易于视觉识别确定的显示形状显示虚拟对象。
136.这样，由虚拟对象姿势操作处理部123对整体形状难以视觉识别的虚拟对象进行姿势操作，变换为整体形状能够视觉识别确定的显示形状的虚拟对象。由此，能够可靠地掌握虚拟对象的整体形状、全貌。
137.另外，在针对虚拟对象预先设定了易于视觉识别的姿势信息的情况下，也可以并非在将虚拟对象移动到预先决定的位置后进行姿势操作，而是在基于控制部125的一览显示(加工模式)开始时显示虚拟对象姿势操作处理部123进行了基于自动地设定的姿势信息的姿势操作后的虚拟对象。
138.另外，也可以不改变虚拟对象相互的配置、位置关系，以使选择的虚拟对象来到正面的方式，将虚拟对象的空间整体旋转。即，代替用户使身体旋转到虚拟对象的方向，而是使虚拟对象的空间整体旋转。
139.<变形操作例>
140.接下来，说明变形操作。
141.虚拟对象变形操作处理部124能够在如图9所示使虚拟对象215移动到跟前的预先决定的位置、例如虚拟对象601的位置的状态下进行变形操作。
142.在该情况下，关于变形操作，虚拟对象变形操作处理部124在改变了选择的对象的形状以及显示位置的信息之后将其写入到存储器部128。在此，虚拟对象的形状包括朝向、大小以及角度等。控制部125根据储存于存储器部128的信息，将虚拟对象601显示于显示部130。
143.变形操作的结果还被反映到原来的虚拟对象的显示状态。例如，在通过变形操作改变了对象的朝向的情况下，不仅是用于一览显示(加工模式)的显示，而且虚拟对象自身的朝向也改变，所以即使在迁移到上述图4(a)、图4(b)所示的重叠到现实空间的风景地显示虚拟对象的通常显示的情况下，虚拟对象仍以变形操作后的朝向显示。在变形操作时，也可以使包括变形前的原来的虚拟对象的朝向、大小等的形状原样地半透射地显示，或者显示于在视场内的变形操作中不使用的位置等。
144.由此，能够易于理解地显示变形前的原来的虚拟对象和变形后的虚拟对象的包括朝向以及大小等的形状的差别。
145.关于对虚拟对象进行姿势操作或者变形操作中的哪一个操作，例如利用设置于输入操作部121的未图示的操作模式切换按钮等在操作前指定。
146.也可以组合姿势操作和变形操作，在通过姿势操作将虚拟对象放大而使其易于观察之后进行变形操作。也可以将通过姿势操作应用于虚拟对象的放大、缩小等操作应用于变形操作。
147.<姿势操作后的显示例>
148.接下来，说明姿势操作后的虚拟对象的显示例。
149.图12是示出将基于图1的头戴式信息处理装置100的姿势操作后的虚拟对象显示于全景显示画面的框外的例子的说明图。图13是示出将基于图1的头戴式信息处理装置100的姿势操作后的虚拟对象重叠显示于全景显示画面内的例子的说明图。
150.在图12、图13中，已在图3中示出并附加相同符号的部分具有与在图3中已经说明的动作相同的动作，所以省略它们的详细说明。
151.首先，在全景画面上，如图12所示，将姿势操作前的虚拟对象211～216分别显示于其存在位置，而且，将姿势操作后的虚拟对象212、701、811、813、814、816在全景画面的框外下部的区段901中列表显示。
152.另外，区段901内的姿势操作后的各虚拟对象212、701、811、813、814、816的配置位置设为与全景画面上的姿势操作前的虚拟对象211～216的存在位置在显示画面的纵向上大致对齐的位置。
153.关于以上的动作，虚拟对象姿势操作处理部123读入存储于存储器部128的对象的形状、显示位置等信息数据127，在改变了选择的对象的形状、显示位置等之后，写入到存储器部128。之后，控制部125根据从存储器部128读入的信息，调整虚拟对象的显示位置以及大小等，并将其显示于显示部130。
154.或者，如图13所示，也可以在全景画面上将姿势操作前的虚拟对象211～216显示于其存在位置，在设置于该全景画面的下方的区段1001中，以在全景画面上透射的方式，列表显示姿势操作后的虚拟对象212、701、811、813、814、816。
155.另外，姿势操作前的虚拟对象211～216的位置以使区段1001中的姿势操作后的各虚拟对象212、701、811、813、814、816的配置位置在显示画面的纵向上分别对应的方式对齐。
156.关于以上的动作，虚拟对象姿势操作处理部123读入存储于存储器部128的对象的形状、显示位置等信息数据127，在改变了选择的对象的形状、显示位置等之后写入到存储器部。
157.之后，控制部125根据从存储器部128读入的信息，调整虚拟对象的显示位置、大小以及透射度等，并将其显示于显示部130。
158.由此，能够同时视觉识别姿势操作前的虚拟对象和姿势操作后的虚拟对象，能够使虚拟对象的确定变得更加可靠。
159.此外，在图12中，示出了将显示姿势操作后的虚拟对象的区段901配置于显示视场画面的框外下方的例子，但区段901也可以配置于显示视场画面的框外上方。
160.另外，在图12及图13中，示出了在显示姿势操作后的虚拟对象的区段901、1001中将虚拟对象在画面的横向上排列配置的例子，但也可以在画面的纵向上排列配置。区段901、1001可以配置于画面内的任意位置。
161.<一览显示虚拟对象的例子>
162.接下来，说明代替基于图5所示的全景图像的虚拟对象的一览显示而使用小型物体对虚拟对象进行一览显示的例子。
163.图14是示意性地示出基于图1的头戴式信息处理装置100的虚拟的小型物体的配置例的说明图。
164.图14是示出位于头戴式信息处理装置的周围的虚拟对象以及虚拟的小型物体中的配置例的图。
165.图15是示出基于图14所示的配置例的显示视场画面的一个例子的说明图。
166.图15示出如下例子：在图14所示的配置例中，从使用头戴式信息处理装置100的用户观察前方正面，以与虚拟对象的存在位置对应的形式，将作为虚拟对象的缩影的小型模型配置到虚拟的小型物体上，并在现实空间的视野中重叠显示虚拟的小型物体。
167.在图14及图15中，附加有图1、图3所示的相同符号的部分具有与在图1、图3中已经说明的动作相同的动作，所以省略它们的详细说明。
168.在佩戴有头戴式信息处理装置100的用户200的前方，如图14所示，作为小型物体的例子，虚拟设置有小型的球体1101。球体1101是作为虚拟对象1102、1103、1104的小型模型的缩影1105、1106、1107被收纳并被显示的区域，即，缩影显示区域。
169.缩影1105、1106、1107以在球体1101内与各虚拟对象1102、1103、1104的存在位置对应的方式分别配置。
170.另外，虚拟对象1102、1103、1104和与其对应的各个缩影1105、1106、1107通过由虚拟线1108、1109、1110分别连接而对应起来。
171.此外，在用户200的前方正面设置有桌子201、个人电脑202，在用户200的右侧设置有收纳盒203，在用户200的后方背面设置有书架204，周围状况与在图3中说明的相同(在图14中未图示)。
172.在图14所示的配置例中，在显示部130的显示视场画面中，如图15所示，重叠到位
于用户200的前方正面的现实空间的视野的桌子201、个人电脑202，在显示视场内的左上方，显示配置有虚拟对象1102、1103、1104的缩影1105、1106、1107的球体1101。
173.因此，如从图15所示的显示画面例可知，以佩戴有头戴式信息处理装置100的用户200的位置为中心，将处于全周围的所有虚拟对象的缩影重叠到现实空间，在球体1101内投影反映而显示。由此，能够进行基于缩影的虚拟对象的一览显示。
174.另外，通过追踪连接虚拟对象1102～1103和缩影1105～1107的虚拟线1108、1109、1110，用户200能够容易地推测虚拟对象存在的位置。
175.此外，在图14中，在如虚线所示的虚拟线1112那样利用虚拟线连接虚拟对象1102与其缩影1105之间时，虚拟线穿过用户200的身体。
176.在该情况下，有可能虚拟对象与虚拟对象的缩影的位置关系的掌握变得困难。因此，通过例如如虚拟线1108所示避开用户200的身体而利用曲线连接虚拟对象1102与其缩影1105，易于追踪虚拟线。由此，能够易于推测虚拟对象存在的位置。
177.控制部125读入存储于存储器部128的虚拟对象的数据以及坐标信息等，依照存储于存储器部128的程序126，生成图15所示的球体1101、各虚拟对象1102、1103、1104的缩影1105、1106、1107以及虚拟线1108、1109、1110等作为显示图像，并将其显示于显示部130。在需要虚拟对象的姿势操作的情况下，虚拟对象姿势操作处理部123适当地进行处理。
178.在利用虚拟线连接缩影和虚拟对象的情况下，有时虚拟线重叠到现实的物体。例如图15所示的连接缩影1107和虚拟对象1104的虚拟线1111与桌子201、个人电脑202等重叠。
179.在这样的情况下，将如图15所示连接缩影1107和虚拟对象1104的虚拟线设为曲线的虚拟线1110，使得不重叠到现实的物体。由此，能够易于追踪虚拟线，能够易于推测虚拟对象存在的位置。
180.而且，关于如图16所示配置于球体1101内的虚拟对象的缩影1105、1106、1107，通过利用用户200的操作使球体1101在显示部130的显示画面的大致中央部跟前一边放大一边旋转地显示，能够使形状识别变得容易。由此，能够更加可靠地视觉识别虚拟对象的形状等全貌。
181.<显示视场画面例>
182.图17是示出基于图1的头戴式信息处理装置100的显示部130中的显示视场画面的一个例子的说明图。
183.图17示出用户200从前方正面将朝向改变而朝向右侧正面时的显示视场画面。
184.此外，在图17中，已在图1、图3以及图14中示出并附加相同符号的部分具有与在图1、图3以及图14中已经说明的动作相同的动作，所以省略它们的详细说明。
185.首先，在用户200的朝向从前方正面移动到右侧正面时，如图17所示，作为位于右侧正面的现实的物体的收纳盒203位于视野的中央。与此相伴地，存在于收纳盒203的上部的虚拟对象1104显示于显示画面中央上部。
186.另外，球体1101自身显示于显示视场内的左上角，但伴随用户200的右横朝向移动，球体1101内的各虚拟对象的缩影1105～1107以右横旋转后的形式显示。
187.即，如图17所示，以使缩影1107位于球体1101内的中心部的方式，将缩影1105～1107旋转而显示。另外，显示于显示部130的显示画面中央的虚拟对象1104和虚拟对象1104
的缩影1107由虚拟线1110连接而显示。
188.即，在改变佩戴有头戴式信息处理装置100的用户200朝向的方向时，显示视场内的球体1101的位置不变，但球体1101根据朝向的方向而旋转，球体1101内的缩影1105～1107的配置角度根据用户200的移动朝向而变化。与此相伴地，连接球体1101内的缩影1107和虚拟对象1104的虚拟线1110也以重绘的方式变化。
189.而且，在佩戴有头戴式信息处理装置100的用户200改变了朝向的方向的情况下，例如即使将朝向从前方正面改变为右侧正面等，也能够通过显示于显示部130的显示画面内的球体1101，利用缩影一览显示来确认位于用户200的全周围的所有虚拟对象。
190.而且，能够通过追踪从球体1101内的缩影连接到实际的虚拟对象的虚拟线，从球体1101内的缩影容易地识别实际的虚拟对象的位置。另外，还能够通过虚拟线的方向、弯曲方式推测虚拟对象的位置。
191.此外，头戴式信息处理装置100自身的朝向、旋转等运动能够通过解析由用户的姿势变化所引起的外界信息的变化来掌握。由此，能够捕捉头戴式信息处理装置100的变化等级。
192.因此，能够利用头戴式信息处理装置100的朝向变化，识别例如存在于当初显示视场外的位置的虚拟对象进入到显示视场内等虚拟对象显示的状态变化。其结果，能够将虚拟对象显示于应在的位置。
193.在此，在头戴式信息处理装置100自身的朝向、旋转等运动的检测中，使用头戴式信息处理装置100具备的加速度传感器部114、陀螺仪传感器部115或者地磁传感器部116等。
194.或者，头戴式信息处理装置100自身的朝向、旋转等运动能够通过解析由相机部111、深度传感器部131等得到的用户的姿势变化所引起的外界信息的变化来得到。
195.图18是示出基于图1的头戴式信息处理装置100的显示部130中的显示视场画面的其他例子的说明图。
196.图18是示出用户从前方正面改变朝向而朝向后方背面时的显示视场画面的一个例子的图。
197.在图18中，已在图1、图3、图14中示出并附加相同符号的部分具有与在图1、图3、图14中已经说明的动作相同的动作，所以省略它们的详细说明。
198.在用户200的朝向移动到后方背面时，如图18所示，位于后方背面的书架204位于视野的中央，并且存在于书架204的上部的虚拟对象1102显示于显示部130的显示画面中央上部。
199.另外，球体1101自身显示于显示视场内的左上角，但伴随用户200的背面朝向移动，球体1101以及球体1101内的各虚拟对象的缩影以旋转到背面朝向的形式显示。
200.即，如图18所示，以使显示于显示画面中央上部的虚拟对象1102的缩影1105位于球体1101的正面的方式旋转。在球体1101中，以配置有各缩影1105、1106、1107的形式显示。
201.另外，显示于显示画面中央的虚拟对象1102和虚拟对象1102的缩影1105由虚拟线1108连接显示。即，在佩戴有头戴式信息处理装置100的用户200改变朝向的方向时，显示视场内的球体1101的位置不变，但球体1101根据朝向的方向而旋转，球体1101的虚拟对象的缩影的配置角度根据用户的移动朝向而变化。而且，连接球体1101内的缩影和虚拟对象的
线也以重绘的形式变化。
202.而且，与图17中的说明同样地，即使佩戴有头戴式信息处理装置100的用户改变朝向的方向，例如即使将朝向从前方正面改变为后方背面，也能够重叠到用户200朝向的方向的现实空间，通过显示于显示画面内的球体1101，利用缩影一览显示来确认位于用户的全周围的所有虚拟对象。
203.而且，能够通过追踪从球体1101内的缩影1105连接到实际的虚拟对象1102的虚拟线1108，从球体1101内的缩影1105容易地识别实际的虚拟对象1102的位置。
204.图19是示出将基于图1的头戴式信息处理装置100的全景图像作为背景显示时的显示画面的一个例子的说明图。
205.在图19中，已在图1、图3以及图14中示出并附加相同符号的部分具有与在图1、图3、图14中已经说明的动作相同的动作，所以省略它们的详细说明。
206.在该图19所示的显示例的情况下，能够将所有虚拟对象与配置有虚拟对象的缩影的球体1101一起显示于显示画面内，能够容易地视觉识别虚拟对象的配置位置。
207.以上，作为小型物体，说明了小型的球体的情况，但也可以使用与虚拟对象存在的空间对应的形状的小型物体。在该情况下，得到易于识别与实际的空间的关系这样的效果。例如，如果是如房间那样的立方体型的密闭的空间，则也可以使用立方体的小型物体。
208.另外，也可以针对虚拟对象的每个种类来区分小型物体。例如，也可以在缩小状态下排列几个颜色区分的小型物体，仅显示与选择的小型物体关联起来的虚拟对象的组的信息。或者，也可以通过重叠小型物体来显示所有虚拟对象。
209.另外，在不需要小型物体的显示的情况下，也可以进行临时隐藏等操作。另外，在虚拟对象的缩影的显示时，也可以不依赖于实际的形状而使用特定的记号，例如
“☆”
等，还可以针对虚拟对象的每个分类进行记号的颜色区分。
210.这样简化显示虚拟对象的缩影在粗略地视觉识别虚拟对象的存在的情况下是有效的。
211.另外，也可以不仅将小型物体在显示视场内固定地始终显示，而且也将小型物体在特定的空间位置固定地显示。在该情况下，在用户改变了朝向时，小型物体脱离显示视场。另外，不仅是小型物体而且线也被固定，但对于用户而言易于避免由视场方向引起的虚拟对象、小型物体的位置混乱。
212.关于连接小型物体上的虚拟对象的缩影和实际的虚拟对象的线，也可以根据虚拟对象的种类来改变线的颜色、粗细以及线的种类等。
213.例如，也可以针对作为虚拟对象的文档窗口设置黑的细线，针对作为虚拟对象的角色设置黄色的粗虚线等。另外，在触摸虚拟线时，也可以使连接的目的地的虚拟对象的预览显示于正面。
214.或者，也可以通过抓住和拉动线的动作使实际的虚拟对象移动到正面，在使用后通过上抛等动作使其返回到原来的位置。
215.在迁移到重叠到现实空间的风景地显示虚拟对象的通常显示的动作中，也可以在一览显示画面中对选择的虚拟对象进行标记后返回到通常显示后，将线绘至此处。
216.同样地，也可以通过使选择的虚拟对象缓慢地返回到原来的位置，用眼睛跟随。这些也可以与有无选择无关地针对所有虚拟对象进行。
217.另外，在基于用户的来自输入操作部121等的请求指示、在头戴式信息处理装置100中进行操作、显示的动作等时，通过将表示该请求指示、操作动作以及显示动作等的信息在显示部130上显示而进行通知，能够使用户可靠地知晓识别头戴式信息处理装置的工作状态。
218.表示请求指示、操作动作以及显示动作等的信息也可以通过从耳机120用声音对用户发声、或者由与用户密接的振动产生部117发出振动、或者由刺激产生部132产生刺激来通知。
219.通过以上，即使虚拟对象位于头戴式信息处理装置100的视场范围外等，也能够可靠地视觉识别虚拟对象的存在、形状、配置场所等全貌。
220.其结果，能够实现能够使用性良好地进行虚拟对象的确定的头戴式信息处理装置100。
221.(实施方式2)
222.<头戴式显示系统的结构例>
223.图20是示出本实施方式2所涉及的头戴式显示系统1700中的结构的一个例子的框图。
224.头戴式显示系统1700如图20所示包括头戴式信息处理装置100、虚拟对象生成服务器装置1702以及网络1703。
225.图20所示的头戴式信息处理装置100除了设置有附加有图1所示的相同符号的各功能块的结构以外，新设置有通信部1704以及发送接收天线1705。其另一方面，在图20的头戴式信息处理装置100中，未设置虚拟对象生成处理部122。
226.虚拟对象生成服务器装置1702由虚拟对象生成处理部1711、存储器部1712、控制部1713、通信部1714以及发送接收天线1715等构成。虚拟对象生成服务器装置1702中的各功能块经由总线1720相互连接。此外，在图20中，对与图1的实施例相同的处理部分附加相同的符号，省略它们的说明。
227.在头戴式显示系统1700中，虚拟对象生成服务器装置1702具有的虚拟对象生成处理部1711生成虚拟对象。
228.存储器部1712保存虚拟对象生成处理部1711生成的虚拟对象。通信部1714将存储器部1712保存的虚拟对象从发送接收天线1715经由作为通信网络的网络1703发送给头戴式信息处理装置100。在头戴式信息处理装置100中，接收经由网络1703发送的虚拟对象。
229.另外，在图20中，头戴式信息处理装置100中的虚拟对象的显示处理自身与图1所示的实施例的情况相同，但在作为与头戴式信息处理装置100不同的装置的虚拟对象生成服务器装置1702中进行虚拟对象的生成这方面不同。
230.在虚拟对象生成服务器装置1702中，存储器部1712与头戴式信息处理装置100的存储器部128同样地是闪存存储器等非易失性半导体存储器。
231.存储器部1712存储虚拟对象生成服务器装置1702的控制部1713使用的各种程序、生成的虚拟对象等。通信部1714是经由网络1703与头戴式信息处理装置100进行通信的通信接口，与头戴式信息处理装置100进行信息的发送接收。
232.控制部1713例如由cpu等构成，通过执行存储于存储器部1712的os、动作控制用应用等程序，控制各功能块，控制虚拟对象生成服务器装置1702整体。
233.控制部1713控制虚拟对象生成处理部1711中的虚拟对象的生成、生成的虚拟对象向存储器部1712的保存。另外，控制部1713以根据来自头戴式信息处理装置100的虚拟对象的发送输出请求来将生成的虚拟对象发送给头戴式信息处理装置100的方式进行控制。
234.由此，通过不是使用头戴式信息处理装置100而是使用与头戴式信息处理装置100分离的虚拟对象生成服务器装置1702进行虚拟对象的生成，能够实现处理的虚拟对象信息量的大规模化。同时，能够在多个场所针对多个头戴式信息处理装置100分别生成并配送所请求的虚拟对象。
235.其结果，能够同时由多个头戴式信息处理装置100使用性良好地容易地实现虚拟对象的全貌视觉识别。
236.以上，根据实施方式具体地说明了由本发明者做出的发明，但本发明不限定于前述实施方式，并且当然能够在不脱离其要旨的范围内进行各种改变。
237.此外，本发明不限于上述实施方式，而包括各种变形例。例如，上述实施方式是为了易于理解地说明本发明而详细说明的，不一定限定于具备所说明的所有结构。
238.另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，并且，还能够对某个实施方式的结构添加其他实施方式的结构。另外，能够针对各实施方式的结构的一部分进行其他结构的追加、删除、置换。
239.另外，关于上述各结构、功能、处理部、处理功能等，也可以例如利用集成电路设计它们的一部分或全部等而由硬件实现。另外，上述各结构、功能等也可以由处理器解释并执行实现各个功能的程序而由软件实现。实现各功能的程序、表、文件等信息能够置于存储器、硬盘、ssd(solid state drive，固态驱动器)等记录装置或者ic卡、sd卡、dvd等记录介质。
240.另外，关于控制线、信息线，示出在说明上认为必要的部分，不一定示出在产品上所有的控制线、信息线。也可以认为实际上几乎所有结构相互连接。
241.符号说明
242.100头戴式信息处理装置
243.111相机部
244.112右眼视线检测部
245.113左眼视线检测部
246.114加速度传感器部
247.115陀螺仪传感器部
248.116地磁传感器部
249.117振动产生部
250.118外围声音麦克风
251.119发声声音麦克风
252.120耳机
253.121输入操作部
254.122虚拟对象生成处理部
255.123虚拟对象姿势操作处理部
256.124虚拟对象变形操作处理部
257.125控制部
258.128存储器部
259.130显示部
260.131深度传感器部
261.132刺激产生部
262.140总线
263.1700头戴式显示系统
264.1702虚拟对象生成服务器装置
265.1703网络
266.1711虚拟对象生成处理部
267.1712存储器部
268.1713控制部
269.1714通信部
270.1715发送接收天线
271.1720总线。