浮动的图形用户界面的制作方法

本发明涉及在虚拟现实空间(vr)、增强现实空间(ar)等虚拟空间，进行供操作者进行操作的适当的图形用户界面的显示的装置、方法、计算机程序以及记录有计算机程序的记录介质。特别是，本发明适用于在使用了佩戴于用户的头部的头戴式显示器(hmd)的沉浸式虚拟空间中使用的情况。

背景技术：

已知有能够通过佩戴于用户的头部并配置在眼前的显示器等来向用户呈现虚拟空间中的图像的头戴式显示器(hmd)。在专利文献1中，记载有通过使用透视图法在与视野的周边相当的部分显示多个图标、菜单等微件，来确保中央部的视野，并显示多个图标、菜单等微件。

专利文献1:日本特开2015－032085号公报

对于专利文献1所记载的方法而言，虚拟空间中的实际的视野仅为视野中央部。

技术实现要素：

本发明的课题在于尽可能不妨碍视野地将微件显示在虚拟空间上。

根据本发明，提供一种输入方法，是使用设置在虚拟空间中的微件进行输入的输入方法，具有：使注视点在上述虚拟空间中移动的注视点移动步骤；判断上述微件与上述注视点是否重叠，在重叠的情况下选择上述微件的微件选择步骤；以及进行与上述选择的微件对应的输入的输入步骤。

另外，根据本发明，提供一种输入装置，是使用设置在虚拟空间中的微件进行输入的输入装置，具有：注视点移动部，使注视点在上述虚拟空间中移动；微件选择部，判断上述微件与上述注视点是否重叠，在重叠的情况下选择上述微件；以及输入部，进行与上述选择的微件对应的输入。

根据本发明，可拓宽虚拟空间中的实际的视野。

本发明的其他的特征以及优点通过后述的实施例的说明、附图以及权利要求书变得清楚。

附图说明

图1是表示本发明的一个实施方式的以浮动的方式显示的小型化的微件的一个例子的图。

图2是对图1所显示的要素进行说明，并且表示微件201与光标202的位置的初始状态的一个例子的图。

图3是从图2的状态使视野向上方(+y方向)并且稍微向右侧(+x方向)移动后的状态的图。

图4是从图2的状态使视野向右方(+x方向)移动后的状态的图。

图5是从图4使视野进一步向右方(+x方向)移动后的状态的图。

图6是在图5之后，微件201返回到视野中的初始状态的位置的状态的图。

图7是从图2的状态使视野向下方(－y方向)移动后的状态的图。

图8是从图7进一步使视野向下方(－y方向)移动后的状态的图。

图9是从图8进一步使视野向下方(－y方向)移动后的结果，微件201完全位于视野外，看不见的状态的图。

图10是表示以操作者为中心的虚拟球体1001的图。

图11是表示微件201的动作中向左右方向(x方向)移动的处理的图。

图12是表示选择微件201时的处理的图。

图13是表示用于显示微件201的系统1300的概要的图。

图14是对可由头戴式显示器(hmd)1310的倾斜传感器检测的角度信息数据进行说明的图。

图15是表示设置在头戴式显示器(hmd)1310上的为了位置跟踪摄像机(位置传感器)1330发射红外线的点的图。

图16是表示用于显示微件201的组件的主要功能的结构的图。

具体实施方式

[本发明的实施方式的说明]

首先，罗列本发明的实施方式的内容进行说明。本发明的一个实施方式的输入方法具备以下的结构。

(项目1)

一种输入方法，是使用设置在虚拟空间中的微件进行输入的输入方法，具有：使注视点在上述虚拟空间中移动的注视点移动步骤；判断上述微件与上述注视点是否重叠，在重叠的情况下选择上述微件的微件选择步骤；以及进行与上述选择的微件对应的输入的输入步骤。

根据本项目的输入方法，可拓宽虚拟空间中的实际的视野。例如，本项目的输入方法通过使用浮动的图形用户界面即以在虚拟空间上浮动的方式显示的小型化的微件能够确保视野，并且由于能够使用虚拟空间上的视线的移动这样的一直在进行的操作来进行输入，所以无需为了进行输入而进行特别的操作。特别是，在使用头戴式显示器(hmd)主体的姿势数据来进行虚拟空间上的视线的移动的情况下，其效果显著。

(项目2)

根据项目1所记载的输入方法，其特征在于，上述注视点移动步骤是通过使相对于上述虚拟空间的视野移动，来使上述注视点移动的视野移动步骤的一部分。

(项目3)

根据项目2所记载的输入方法，其特征在于，上述视野移动步骤使用计测出的操作者的头部的运动使相对于上述虚拟空间的视野移动。

(项目4)

根据项目2或3所记载的输入方法，其特征在于，还具有：将上述微件设置于与上述视野中的初始状态的位置(xfv0，yfv0)对应的虚拟空间的位置(xvs0，yvs0，zvs0)，并将上述微件在虚拟空间中的移动速度矢量v初始化为0的初始化步骤；使上述微件在虚拟空间中以上述移动速度矢量v移动的微件移动步骤；在上述微件在上述视野中的位置与上述视野中的初始状态的位置一致的情况下，将上述移动速度矢量v重新初始化为0的微件移动速度重新初始化步骤；判定上述微件位于视野外的微件视野外判定步骤；以及在上述微件视野外判定步骤判定为上述微件位于视野外时，将使上述微件在上述移动后的视野中返回到上述视野中的初始状态的位置的值赋予给上述移动速度矢量v的微件移动速度设定步骤。

(项目5)

根据项目4所述的输入方法，其特征在于，上述微件移动速度重新初始化步骤判定为上述微件在上述视野中的位置与上述视野中的初始状态的位置一致的情况是上述微件在上述视野中的左右方向(x方向)上的上述视野中的位置与上述视野中的初始状态的位置xfv0一致时，在上述微件视野外判定步骤中，上述微件位于视野外时是指在左右方向(x方向)上位于上述视野之外时，在上述微件移动速度设定步骤中，将使上述微件在上述移动后的视野中返回到上述视野中的初始状态的位置的值赋予给上述移动速度矢量v，是指将以仅在上述视野中的左右方向(x方向)上返回到上述视野中的初始状态的位置xfv0的方式在虚拟空间中移动的值赋予给上述移动速度矢量v。

(项目6)

根据项目1～5中任一项所述的输入方法，其特征在于，上述输入步骤在判定出上述微件被注视持续一定时间以上时，进行与上述选择的微件对应的输入。

(项目7)

一种程序，用于执行项目1～6中任一项所述的方法。

(项目8)

一种记录介质，记录有用于执行项目1～6中任一项所述的方法的程序。

(项目9)

一种输入装置，是使用设置在虚拟空间中的微件进行输入的输入装置，具有：注视点移动部，使注视点在上述虚拟空间中移动；微件选择部，判断上述微件与上述注视点是否重叠，在重叠的情况下选择上述微件；以及输入部，进行与上述选择的微件对应的输入。

根据本项目的输入装置，可拓宽虚拟空间中的实际的视野。例如，本项目的输入装置通过使用浮动的图形用户界面即以在虚拟空间上浮动的方式进行显示的小型化的微件能够确保视野，并且由于能够使用虚拟空间上的视线的移动这样的一直在进行的操作来进行输入，所以无需为了进行输入而进行特别的操作。特别是，在使用头戴式显示器(hmd)主体的姿势数据来进行虚拟空间上的视线的移动的情况下，其效果显著。

(项目10)

根据项目9所述的输入装置，其特征在于，上述注视点移动部是通过使相对于上述虚拟空间的视野移动，来使上述注视点移动的视野移动部的一部分。

(项目11)

根据项目10所述的输入装置，其特征在于，上述视野移动部使用计测出的操作者的头部的运动使相对于上述虚拟空间的视野移动。

(项目12)

根据项目10或11所述的输入装置，其特征在于，还具有：初始化部，将上述微件设置于与上述视野中的初始状态的位置(xfv0，yfv0)对应的虚拟空间的位置(xvs0，yvs0，zvs0)，并将上述微件在虚拟空间中的移动速度矢量v初始化为0；微件移动部，使上述微件在虚拟空间中以上述移动速度矢量v移动；微件移动速度重新初始化部，在上述微件在上述视野中的位置与上述视野中的初始状态的位置一致的情况下，将上述移动速度矢量v重新初始化为0；微件视野外判定部，判定上述微件位于视野外；以及微件移动速度设定部，在上述微件视野外判定部判定为上述微件位于视野外时，将使上述微件在上述移动后的视野中返回到上述视野中的初始状态的位置的值赋予给上述移动速度矢量v。

(项目13)

根据项目12所述的输入装置，其特征在于，上述微件移动速度重新初始化部判定为上述微件在上述视野中的位置与上述视野中的初始状态的位置一致的情况是上述微件在上述视野中的左右方向(x方向)上的上述视野中的位置与上述视野中的初始状态的位置xfv0一致时，在上述微件视野外判定部中，上述微件位于视野外时是指在左右方向(x方向)上位于上述视野之外时，在上述微件移动速度设定部中，将使上述微件在上述移动后的视野中返回到上述视野中的初始状态的位置的值赋予给上述移动速度矢量v是指将以仅在上述视野中的左右方向(x方向)上返回到上述视野中的初始状态的位置xfv0的方式在虚拟空间中移动的值赋予给上述移动速度矢量v。

(项目14)

根据项目9～13中任一项所述的输入装置，其特征在于，上述输入部在判定出上述微件被注视持续一定时间以上时，进行与上述选择的微件对应的输入。

[本发明的实施方式的详细内容]

以下，参照附图，对本发明的实施方式进行说明。此外，该实施方式具备各种传感器(例如，加速度传感器、角速度传感器)，并使用可计测姿势数据的头戴式显示器(hmd)。本发明的实施方式对使用其姿势数据使头戴式显示器(hmd)所显示的图像滚动来实现虚拟空间上的视线的移动的沉浸式虚拟空间进行描述。但是，本发明也能够应用于在通常的显示器上显示虚拟空间，并通过键盘、鼠标、操纵杆等输入设备，来移动虚拟空间上的视线。

另外，在图中，对相同的构成要素标注相同的附图标记。

图1是表示通过本发明以浮动的方式显示的小型化的微件的一个例子的图。图2是对图1所显示的要素进行说明，并且表示微件201与光标202的位置的初始状态的一个例子的图。

微件201以浮动的方式显示在虚拟空间上。

在图1中，微件201具有无人机(无人驾驶飞机)悬挂有按钮的形态。但是，对于微件而言，选择浮在成为对象的虚拟空间中不会引起不协调感的种类的设计即可，也可以是ufo、机器人、昆虫、鸟、精灵、怪兽等。

在图1中，微件201具有成为操作对象的2个按钮。但是，并不限于设置2个成为操作对象的按钮等，能够根据画面的大小、清晰度、被微件201遮挡的视野的大小、需要操作的种类等构成。进一步，无需一直显示成为操作对象的按钮等，也可以与通常的图形用户界面的下拉列表、弹出菜单、快捷菜单相同，微件201一旦被选择就会感知，从而展开显示成为操作对象的按钮等。

光标202是表示虚拟空间上注视的场所，即、注视点的部件。

即使在使用了可计测姿势数据的头戴式显示器(hmd)的情况下，其姿势数据大多数都检测佩戴了头戴式显示器(hmd)的操作者的头部的运动。在该情况下，通常是根据其姿势数据进行控制以使虚拟空间中的视野移动，并将注视点本身固定于视野中央，即，画面的中央的情况。在该情况下，即使省略该光标202的显示，也没有操作上的不协调感。

此外，由于该注视点是用于进行针对微件201的操作的注视点，所以无需一定设置在视野中央，即、画面的中央，也可以设置于偏离视野中央的位置。在该情况下，显示有光标202的情况下容易操作。另外，在能够通过检测眼球的移动、或使用一些辅助的输入，使注视点与视野的移动相独立地移动的情况下，也是显示有光标202的情况容易操作。

另外，若考虑即使在显示光标202的情况下，但光标202遮挡视野的情况，则也可以仅在微件201与光标202所表示的注视点接近的情况下，显示光标202。

窗口203是存在于虚拟空间上的固定的位置的窗口，是为了表示虚拟空间与视野204的相对的位置关系而简单地记载的部件。另外，如图2所示，将视野204的左右方向称为x方向、将上下方向称为y方向、将纵深方向称为z方向。

以下，使用图2～9，对微件201在虚拟空间上的运动进行说明。该说明是以将注视点固定于视野中央、将光标202也固定于画面的中央来显示的情况为前提进行的，但也能够应用于将注视点设置于偏移视野中央的位置的情况、固定视野并且能够使注视点移动的情况、省略光标202的显示或仅在与微件201接近的情况下显示光标202的情况。因此，在不显示光标202的情况下，代替光标202解释为注视点即可。

如已经叙述的那样，图2是表示微件201与光标202的位置的初始状态的一个例子的图。

在图2所示的一个例子中，对于微件201而言，作为初始状态，在左右方向(x方向)上位于视野的大致中央，但在上下方向(y方向)上位于比视野中央靠上侧。在相对于视野的坐标轴上，将该初始状态的位置设为(xfv0，yfv0)，在虚拟空间中的坐标轴上将虚拟空间中的位置设为(xvs0，yvs0，zvs0)。

在初始状态下显示微件201在视野中的位置并不限于此。为了避免视野的重要的部分被微件201遮挡，也可以将微件201偏离视野中央进行显示，即使将微件201显示于视野的角落也没有问题。但是，如下所示，由于是通过使视野移动并使微件201移动到视野中央亦即光标202的位置，并相互重叠，来对微件201进行操作的，所以微件201越是位于远离视野中央的位置，操作所需要的时间越长。

图3是从图2的状态使视野向上方移动了δy(+y方向)、并且稍微向右侧移动了δx(+x方向)后的图。微件201基本上浮在相对于虚拟空间固定的位置，在图3中，在虚拟空间中的坐标轴上停留在(xvs0，yvs0，zvs0)处，但通过使视野向上方(+y方向)，并稍微向右侧(+x方向)移动，能够使微件201在相对于视野的坐标轴上移动到(xfv0－δx，yfv0－δy)，最终移动到比视野中央稍微靠左。由于窗口203在虚拟空间中未移动，所以对图2和图3进行比较可以看出，微件201与窗口203的位置关系未发生变化。

图3所示的状态是为了显示在该时刻实际上光标202与微件201的右侧的按钮重叠，微件201的右侧的按钮被选择的情况而变化后的显示。为了进行与微件201的右侧的按钮对应的操作，需要确定该选择。根据本例，通过固定视野，并使光标202与微件201的右侧的按钮重叠显示一定时间以上，来使选择确定。但是，除此以外，也能够使用键盘等辅助的输入装置、或在微件201上设置用于确定选择的按钮、或使用各种方法。

此外，在图3中，示出了通过光标202与微件201的右侧的按钮重叠，来选择微件201的右侧的按钮的情况。但是，也可以与通常的图形用户界面的下拉列表、弹出菜单、快捷菜单相同，微件201一旦被选择就会感知，从而展开显示成为操作对象的按钮等。

进一步，如以下说明的那样，若考虑微件201在虚拟空间中移动，则为了判断微件201是否被选择，不仅以微件201与光标202重叠为条件进行判断，还可以添加微件201在虚拟空间中的移动速度为0的条件。

接下来，参照图4～7，对在使视野向左右方向(x方向)移动后，以什么方式显示微件201进行说明。

图4是从图2的状态使视野向右(+x方向)移动后的状态，其结果，微件201在视野中向左方(－x方向)移动。如已经叙述的那样，由于微件201基本上浮在相对于虚拟空间固定的位置，所以对图2和图4进行比较可以看出，微件201与窗口203的相对的位置关系未发生变化。

图5示有从图4使视野进一步向右方(+x方向)移动后的状态。在该时刻，微件201进一步向左方(－x方向)移动，其一部分位于视野外。在该时刻之前，微件201浮在相对于虚拟空间固定的位置，但在微件201在左右方向(x方向)上位于视野外的时刻，若其想要返回到视野中的初始状态的位置则开始在虚拟空间中移动。此外，作为判断微件201位于视野外的条件，可以是微件201的一部分位于视野外的情况、微件201的一半位于视野外的情况、微件201完全位于视野外的情况等的任意一种情况。

在该时刻返回的视野中的初始状态的位置具体而言是视野中的左右方向(x方向)上的初始状态的位置xfv0，在该时刻在视野中的上下方向(y方向)上与初始状态的位置不同的情况下，也可以以维持着上下方向(y方向)上的不同的状态，在虚拟空间中移动，以返回到视野中的左右方向(x方向)上的初始状态的位置xfv0。

为了看起来像微件201真实浮在虚拟空间中，以规定的速度vx来进行想要返回到该视野中的初始状态的位置的虚拟空间中的移动，优选在视野的移动较慢的情况下和较快的情况下使追踪的状态变化，但也可以是瞬时移动。

图6是表示返回到视野中的初始状态的位置，即、在该情况下在左右方向(x方向)上返回到视野的初始状态的位置xfv0的微件201的图。由于微件201在虚拟空间中移动，所以在该时刻，位于在虚拟空间中的坐标轴上与初始状态的位置亦即(xvs0，yvs0，zvs0)不同的场所。若对图2中的微件201与窗口203的位置关系和图6中的微件201与窗口203的位置关系进行比较可以看出，在图6的时刻，微件201与虚拟空间的位置关系发生了变化。

接着，参照图7～10，对在使视野沿上下(y方向)移动后，以什么方式显示微件201进行说明。

图7是从图2的状态使视野向下方(－y方向)移动后的状态，其结果，微件201在视野中向上方(+y方向)移动。与图4相同，若对图2和图7进行比较可以看出，微件201与窗口203的相对的位置关系未发生变化。

图8示有从图7使视野进一步向下方(－y方向)移动后的状态。在该时刻，微件201的一部分位于视野外。如图5所示，在微件201在左右方向(x方向)上位于视野外的情况下，若微件201想要返回到视野中的初始状态的位置则其开始在虚拟空间中移动，但在本实施例中，在上下方向(y方向)的情况下不进行那样的移动。

图9是表示从图8使视野进一步向下(－y方向)移动的结果，微件201完全位于视野外而看不见的图。

在使图4～7所示的视野沿左右方向(x方向)移动后的情况下、和使图7～10所示的视野沿上下方向(y方向)移动后的情况下，使微件201位于视野的外侧的情况的处理不同是因为以下的理由。

人的视野在左右方向(x方向)上移动的动作，即、以图14中的y轴为中心旋转的偏向角的运动除了向左右扭动脖子的动作以外，还具有全身朝向左右的动作，在人的视野因使全身朝向左右而向左右方向(x方向)移动后，能够以新朝向的方向为中心进一步进行朝向左右的动作。相对于此，视野沿上下方向(y方向)移动的动作，即、以图14中的x轴为中心旋转的俯仰角的运动只有使脖子向前后弯曲的动作，很难使新朝向的位置持续较长的时间、或以新朝向的位置为中心使视野进一步沿上下方向(y方向)移动，是运动本身暂时停留的动作。即，这是因为由于在使视野沿上下方向(y方向)移动的情况下、和使视野沿左右方向(x方向)移动的情况下，人的动作不同，所以自然在使视野沿上下方向(y方向)移动的情况下和使视野沿左右方向(x方向)移动的情况下，使微件201的运动不同。

因此，例如，若成为显示的对象的虚拟空间是无重力空间，作为以图14中的x轴为中心旋转的俯仰角的运动允许如全身前转、后转的移动，则不管图7～10的记载如何，自然构成为在使视野沿上下方向(y方向)移动而微件201位于视野的外侧的情况下，也与图4～图7所记载的使视野沿左右方向(x方向)移动的情况相同，使微件201返回到视野中的初始状态的位置。

作为虚拟空间中的视野的移动，除了这些左右方向(x方向)、上下方向(y方向)以外，还有以视线的方向，即、图14中所谓的纵深方向(z方向)为中心旋转的侧倾角的运动。

该以纵深方向(z方向)为中心旋转的侧倾角的运动实际上是使脖子向左右倾斜的动作，该运动具有与通过使脖子向前后弯曲的动作来使视野向上下方向(y方向)移动的俯仰角的运动的情况相同的限制，由于运动本身停留在暂时的动作，所以与视野向上下方向(y方向)移动时相同，即使进行以z轴为中心旋转的侧倾角的运动的结果为微件201位于视野外，也无需使微件201在虚拟空间中移动。

相对于此，如在视野向上下方向(y方向)移动时所讨论的那样，在成为显示的对象的虚拟空间是无重力空间，作为以纵深方向(z方向)为中心旋转的侧倾角的运动，允许全身向左右侧转的运动的情况下，微件201以追随操作者的运动的方式在虚拟空间中运动，以相对地保持虚拟空间中的操作者与微件201的以z轴为中心旋转的方向的位置即可。由于像这样使微件201在虚拟空间中移动的结果，也是将微件201固定显示在视野中，所以除了过渡的情况以外，微件201不会因其移动而逃出视野外，无需对这一点进行判断并进行特别的处理。

以上为了容易理解，对于视野的运动，作为图14中所说的偏向角、俯仰角、侧倾角的运动进行了说明，但实际上由于操作者和微件201都存在于虚拟空间中，所以对于操作者在虚拟空间中到处移动的情况也需要考虑。

首先，考虑操作者在虚拟空间中到处移动的情况中的图2、图14中的沿z轴方向运动。

若考虑微件201为操作的对象的情况，则优选微件201的外观的大小不变。为了实现该情况，如图10所示，需要使微件201在虚拟空间中存在于以操作者为中心的虚拟球体1001上，以保持虚拟空间中的操作者与微件201之间的距离。

以下，为了便于说明，微件201、光标202、操作者的位置关系为图10所示的位置关系。此时，从操作者来看为如图2所示的视野。

而且，由于在虚拟空间上，操作者在连结操作者和光标202的z轴方向上移动的情况下，该虚拟球体1001也在连结操作者和光标202的z轴方向上移动，所以为了维持微件201还存在于虚拟球体1001上，其结果，优选追随着操作者的向z轴方向的移动而移动。在该情况下，为了看起来像微件201真实浮在虚拟空间中，也以规定的速度来进行移动，优选在操作者的移动较慢的情况下和较快的情况下改变追随的样子，但也可以是瞬时移动。

此外，由于微件201反复精细的移动看起来很烦躁，所以该追随可以在操作者的向z轴方向的移动达到一定程度以上的大小后再进行，在剩有未追随的操作者的移动的情况下，在之后在需要微件201的移动时集中进行即可。

像这样使微件201在虚拟空间中移动意味着最终将微件201固定显示在视野中。因此，除了在z轴方向上接近微件201的方向上的视野的移动过快而微件201在虚拟空间中的移动追不上，瞬时逃出视野外的情况以外，微件201不会因该移动而逃出视野外。而且，由于即使在该瞬时的情况下，若视野的移动停止则微件201就返回到视野中，所以无需判断微件201存在于视野内还是视野外并进行特别的处理。

接下来，考虑操作者在图2、图14中所说的x轴方向、y轴方向上移动的情况。在该情况下，若以使微件201存在于如图10所示的以操作者为中心的虚拟球体1001上的情况为前提，则在操作者本身在左右方向(x方向)、上下方向(y方向)上移动的情况下，虚拟球体1001本身也移动，其结果微件201从虚拟球体1001上脱离。

已经对在视野沿左右方向(x方向)移动的结果，微件201移动到视野外的情况下，微件201进行想要返回到视野中的初始状态的位置的运动的情况进行了说明。在操作者本身在x轴方向、y轴方向上移动的结果，视野在左右方向(x方向)、上下方向(y方向)上移动的情况下，除了该已经说明的微件201的运动以外，还需要求出连结微件201和移动后的操作者的新的位置的直线，并使微件201移动到该直线与移动后的虚拟球体1001相交的虚拟空间中的位置。

在该情况下，为了看起来像微件201真实浮在虚拟空间中，以规定的速度来进行移动，优选在操作者的移动较慢的情况下和较快的情况下改变追随的样子，但也可以是瞬时移动。

此外，在该情况下也与操作者向z轴方向的移动相同，由于微件201反复精细的移动看起来很烦躁，所以该追随也可以在操作者的移动达到一定程度以上的大小后再进行，在剩有未追随的操作者的移动的情况下，在之后在需要微件201的移动时集中进行即可。

图11、12是表示实现以上说明的微件201的动作的处理的流程图。此外，该流程图仅示有基本的处理，例如，省略了有关z轴方向上的移动的处理、防止微件201从虚拟球体1001上脱离的处理。

图11示有有关视野204的移动以及微件201的移动的处理。

步骤s1101和步骤s1102是有关微件201的显示的初始化步骤，将微件201设置于与视野中的初始状态的位置(xfv0，yfv0)对应的虚拟空间的位置(xvs0，yvs0，zvs0)，对视野整体进行描绘，并且将虚拟空间上的微件201的移动速度矢量v初始化为0。

步骤s1103是使微件201在虚拟空间中以移动速度矢量v移动的微件移动步骤。在本实施例中，由于在包含初始状态的绝大多数的状态下移动速度矢量v＝0，所以此时，该步骤s1103不进行任何动作。然而，在对移动速度矢量v设定了0以外的值的情况下，使用该值，通过后面叙述的步骤s1107、步骤s1108，使微件201在虚拟空间中移动vδt，以返回到视野中的初始状态的位置。

步骤s1104和步骤s1105是检测微件201返回到视野中的初始状态的位置，并将移动速度矢量v重新初始化为0的微件移动速度重新初始化步骤。

步骤s1106是根据操作者的操作使视野在虚拟空间内移动，并与其对应进行视野的描绘的视野移动步骤。此外，该视野移动步骤是通过进行控制以使虚拟空间中的视野移动，来使注视点移动的步骤。但是，在能够通过检测眼球的移动、或使用一些辅助的输入，使注视点与视野的移动相独立地移动的情况下，在该视野移动步骤中一并进行该处理即可。因此，不管是基于视野移动、还是基于眼球的移动，该视野移动步骤中的有关注视点移动的部分都能够称为注视点移动步骤。

优选该视野移动步骤构成为检测由头戴式显示器(hmd)计测出的操作者的头部的运动，并根据检测出的姿势数据进行控制，以使虚拟空间中的视野移动。

步骤s1107是判定微件201是否正在移动的步骤。在微件201正在移动的情况下，为了应对在微件201移动中视野移动，而与视野中的初始状态的位置对应的虚拟空间中的位置发生变动的情况，需要设定新的移动速度矢量v，所以移至步骤s1109。

步骤s1108是判断微件201在视野上的左右方向(x方向)上的位置是否位于视野外的微件视野外判定步骤。如已经叙述的那样，判断微件201位于视野外的条件可以是微件201的一部分位于视野外的情况、微件201的一半位于视野外的情况、微件201完全位于视野外的情况等任意一种情况。

步骤s1109是为了使微件201返回到视野中的初始状态的位置，而对移动速度矢量v设定值的微件移动速度设定步骤。如已经叙述的那样，使用该移动速度矢量v，在步骤s1103中，使微件201在虚拟空间中移动，以返回到视野中的初始状态的位置。因此，移动速度矢量v的方向是连结从微件201当前在虚拟空间中的位置到当前的与视野中的初始状态的位置对应的虚拟空间中的位置的方向。而且，为了看起来像微件201真实浮在虚拟空间中，也可以将对该移动速度矢量v设定的值规定为其矢量的大小不超过某个一定的值。

在该步骤s1109之前，是有关视野204的移动以及微件201的移动的处理。

接下来，参照图12，对选择微件201时的处理进行说明。

在步骤s1201中，判断微件201与光标202是否重叠。由于该光标202处于注视点，所以其结果判断微件201是否处于注视点的位置。

在步骤s1201中，判断为微件201与光标202重叠时，在步骤s1202中使微件201变为选择状态的显示。作为该选择状态的显示，考虑高亮显示、颜色的变更、向其它方式的显示的变化等各种变化。另外，在该时刻，也可以与通常的图形用户界面的下拉列表、弹出菜单、快捷菜单相同，展开显示成为操作对象的按钮等。

在这些步骤s1201、步骤s1202中构成微件选择步骤。

在步骤s1203中，判断微件201成为选择状态是否持续一定时间以上，在成为选择状态持续一定时间以上的情况下，是在步骤s1205中执行与选择出的微件201对应的操作的输入步骤。在尚未被选择一定时间以上的情况下，保持原样返回到步骤s1103。

步骤s1204是在步骤s1201中判断为微件201与光标202未重叠时、以及在步骤s1205中执行了与微件201对应的操作时，使微件201成为非选择状态的显示的步骤，之后，返回到步骤s1103。

接下来，参照图13～图16，对用于显示微件201的系统进行说明。此外，如已经叙述的那样，那些有关图13～图15的说明，是以具备各种传感器(例如，加速度传感器、角速度传感器)，并使用可计测其姿势数据的头戴式显示器(hmd)的情况为前提叙述的，但本发明也能够应用于在通常的显示器上显示虚拟空间，并通过利用键盘、鼠标、操纵杆等的输入，来移动虚拟空间上的视线的装置。

图13是表示用于显示微件201的系统1300的概要的图。

如图13所示，系统1300具备头戴式显示器(hmd)1310、控制电路部1320、位置跟踪摄像机(位置传感器)1330以及外部控制器1340。

头戴式显示器(hmd)1310具备显示器1312和传感器1314。显示器1312是构成为完全覆盖用户的视野的非透射式的显示装置，用户能够仅观察显示器1312所显示的画面。而且，由于佩戴非透射式的头戴式显示器(hmd)1310的用户完全失去外界的视野，所以成为完全沉浸于通过在控制电路部1320中执行的应用程序而显示的虚拟空间的显示方式。

头戴式显示器(hmd)1310所具备的传感器1314固定在显示器1312附近。传感器1314包含地磁传感器、加速度传感器和/或倾斜(角速度、陀螺仪)传感器，能够通过它们中的一个以上，检测佩戴在用户的头部的头戴式显示器(hmd)1310(显示器1312)的各种运动。特别是在角速度传感器的情况下，如图14所示，能够根据头戴式显示器(hmd)1310的运动，随时间检测头戴式显示器(hmd)1310围绕3轴的角速度，来决定围绕各轴的角度(倾斜)的时间变化。

参照图14，对能够由倾斜传感器检测的角度信息数据进行说明。如图示那样，以佩戴有头戴式显示器(hmd)的用户的头部为中心，来规定xyz坐标。将用户站立的垂直方向设为y轴，将与y轴正交并连结显示器1312的中心和用户的方向设为z轴，将与y轴和z轴正交的方向的轴设为x轴。在倾斜传感器中，检测围绕各轴的角度(即，由表示以y轴为轴的旋转的偏向角、表示以x轴为轴的旋转的俯仰角、表示以z轴为轴的旋转的侧倾角决定的倾斜)，运动检测部1610根据该随时间的变化，作为视野信息决定角度(倾斜)信息数据。

返回到图13进行说明，系统1300所具备的控制电路部1320作为用于使佩戴有头戴式显示器(hmd)的用户沉浸于三维虚拟空间，并实施基于三维虚拟空间的动作的控制电路部1320发挥功能。如图13所示，控制电路部1320也可以构成为与头戴式显示器(hmd)1310分立的硬件。该硬件能够为如个人计算机、通过网络的服务器/计算机那样的计算机。即、能够为具备相互通过总线连接的cpu、主存储器、辅助存储器、信号收发部、显示部以及输入部的任意的计算机。

作为代替，控制电路部1320也可以作为对象操作装置搭载于头戴式显示器(hmd)1310内部。在这里，控制电路部1320能够安装对象操作装置的全部或者仅安装部分功能。在仅安装有部分的情况下，也可以将剩余的功能安装于头戴式显示器(hmd)1310侧、或者通过网络的服务器/计算机(未图示)侧。

系统1300所具备的位置跟踪摄像机(位置传感器)1330以能够通信的方式与控制电路部1320连接，具有头戴式显示器(hmd)1310的位置追踪功能。位置跟踪摄像机(位置传感器)1330使用红外线传感器、多个光学相机来实现。通过具备位置跟踪摄像机(位置传感器)1330，来检测用户头部的头戴式显示器(hmd)的位置，系统1300能够准确地对三维虚拟空间中的虚拟相机/沉浸式用户的虚拟空间位置建立对应关系并确定。

进一步具体而言，如图15中例示性地表示的那样，位置跟踪摄像机(位置传感器)1330虚拟地设置在头戴式显示器(hmd)1310上，与用户的运动对应地随时间对检测红外线的多个检测点的实际空间位置进行检测。而且，能够基于由位置跟踪摄像机(位置传感器)1330检测出的实际空间位置的随时间的变化，来决定与头戴式显示器(hmd)1310的运动相应的围绕各轴的角度的时间变化。

再次返回到图13进行说明，系统1300具备外部控制器1340。外部控制器1340是一般的用户终端，能够为如图示那样的智能手机，但并不限定于此。例如，只要是如pda、平板电脑、游戏用控制台、笔记本电脑那样的具备触摸显示器的便携式设备终端则可以是任意的设备。即，外部控制器1340能够为具备相互通过总线连接的cpu、主存储器、辅助存储器、信号收发部、显示部以及输入部的任意的便携式设备终端。用户能够对外部控制器1340的触摸显示器实施包括点击、横扫以及长按在内的各种触摸动作。

图16的框图是本发明的实施方式的为了安装三维虚拟空间内的对象操作，而以控制电路部1320为中心表示组件的主要功能的结构的图。在控制电路部1320中，主要接受来自传感器1314/位置跟踪摄像机(位置传感器)1330和外部控制器1340的输入，并对该输入进行处理并进行朝向显示器1312的输出。控制电路部1320主要包含运动检测部1610、注视点移动部1621及视野图像生成部1630、以及微件控制部1640，对各种信息进行处理。

在运动检测部1610中，基于来自传感器1314/位置跟踪摄像机(位置传感器)1330的运动信息的输入，来测定佩戴于用户的头部的头戴式显示器(hmd)1310的运动数据。在本发明中，特别是，决定由倾斜传感器1314随时间检测的角度信息、以及由位置跟踪摄像机(位置传感器)1330随时间检测的位置信息。

视野移动部1620根据基于储存于空间信息储存部1650的三维虚拟空间信息、以及由倾斜传感器1314检测的角度信息及由位置传感器1330检测的位置信息的虚拟相机的视野方向的检测信息来求视野信息。视野移动部1620所包含的注视点移动部1621基于该视野信息，来决定三维虚拟空间中的注视点信息。此外，在通过检测眼球的移动、或使用一些辅助的输入，使注视点与视野的移动独立地移动的情况下，该注视点移动部1621也一并对其进行处理。

另外，在视野移动部1620中，优选头戴式显示器(hmd)构成为使用通过传感器1314/位置跟踪摄像机(位置传感器)1330计测出的操作者的头部的运动来进行控制，以使虚拟空间中的视野移动。

视野图像生成部1630基于该视野信息和从微件控制部1640发送出的微件201的位置来生成视野图像。

微件控制部1640管理图11、图12中所示的控制的大半部分。具体而言，微件控制部1640具有微件选择部1641、输入部1642、微件移动部1643、微件移动速度重新初始化部1644、微件视野外判定部1645、微件速度设定部1646。微件选择部1641判断微件201与光标202是否重叠，在判断为微件201与光标202重叠时，进行使微件201变为选择状态的显示的处理。输入部1642判断微件201成为选择状态是否持续一定时间以上，在成为选择状态持续一定时间以上的情况下，执行与选择的微件201对应的操作。此外，微件选择部1641、输入部1642也可以接受来自外部控制器1340的输入，并基于该输入判断是否选择了微件201。微件移动部1643进行使微件201以虚拟空间上的移动速度矢量v移动的处理。微件移动速度重新初始化部1644进行检测微件201返回到视野中的初始状态的位置，并将移动速度矢量v重新初始化为0的处理。微件视野外判定部1645进行判断微件201在视野上的左右方向(x方向)的位置是否逃出视野外的处理。微件速度设定部1646进行为了使微件201返回到视野中的初始状态的位置，对移动速度矢量v设定值的处理。

初始化部1660负责有关初始化的处理。

此外，在图16中，被记载为进行各种处理的功能模块的各要素，作为硬件，能够由cpu、存储器、其他集成电路构成，作为软件，可通过被加载到存储器中的各种程序等来实现。因此，本领域技术人员可理解为这些功能模块能够通过硬件、软件或者它们的组合来实现。

以上，对本发明的实施方式进行了说明，但本发明并不限于上述实施方式。本领域技术人员应理解为可在不脱离所添加的权利要求所记载的本发明的精神以及范围内进行各种实施方式的变更。

附图标记说明

201…微件；202…光标；203…窗；204…视野；1001…虚拟球体；1300…系统；1310…头戴式显示器(hmd)；1312…显示器；1314…传感器；1320…控制电路部；1330…位置跟踪摄像机(位置传感器)；1340…外部控制器；1610…运动检测部；1620…视野移动部；1621…注视点移动部；1630…视野图像生成部；1640…微件控制部；1641…微件选择部；1642…输入部；1643…微件移动部；1644…微件移动速度重新初始化部；1645…微件视野外判定部；1646…微件速度设定部；1650…空间信息储存部；1660…初始化部。