图像显示系统、图像显示方法以及计算机可读介质与流程

本发明涉及图像显示系统、图像显示方法以及计算机可读介质。

背景技术：

公知有如下游戏：使用各种传感器等对现实空间中的用户的动作进行检测，并反映到虚拟空间内的对象物。在日本特开平10-214155号公报公开有在钓鱼游戏中使用的输入装置。该输入装置内置能够检测加速度和倾斜的传感器，并与游戏处理装置连接。在将触发按钮接通的状态下，当输入装置以如投入钓竿的实际动作那样的动作移动时，在与游戏处理装置连接的显示器上显示鱼线投入到水面的图像。

在上述系统中，在将触发按钮接通的状态下稍微移动输入装置时，鱼线投入到水面的图像有可能与用户意图相反地显示。当如上所述用户在现实世界进行的动作与所反映的图像之间产生背离时，存在用户感到不适感的问题。

技术实现要素：

本发明的目的在于，在将用户的动作反映到虚拟空间内的活动时，显示用户的不适感少的图像。

该概要是为了对于在以下详细的说明中进一步记载的概念，通过简单化的形式示出其选择部分而提供的。该概要不意图特定记载于权利要求的主题的主要特征或必不可少的特征，也不意图作为确定记载于权利要求的主题的范围时的辅助来使用。

在一个一般方式中，提供在显示器显示虚拟空间图像的图像显示系统。所述图像显示系统，在显示器显示虚拟空间图像，所述图像显示系统具备处理装置，其中，所述处理装置构成为进行如下处理：从多个位置检测传感器取得检测数据；根据所述检测数据，对所述多个位置检测传感器中的第一位置检测传感器与第二位置检测传感器之间的距离进行计算；根据所述距离，设定用于对用户的动作进行判定的边界；伴随所述用户的动作，判定所述第一位置检测传感器与所述边界之间的位置关系是否满足条件；以及响应于所述位置关系满足所述条件，在所述虚拟空间中执行与所述用户的动作对应的活动。

在另一一般方式中，提供使用处理装置在显示器显示虚拟空间图像的图像显示方法。所述图像显示方法，使用处理装置在显示器显示虚拟空间图像，其中，该图像显示方法具有如下步骤：从多个位置检测传感器取得检测数据；根据所述检测数据，对所述多个位置检测传感器中的第一位置检测传感器与第二位置检测传感器之间的距离进行计算；根据所述距离，设定用于对用户的动作进行判定的边界；伴随所述用户的动作，判定所述第一位置检测传感器与所述边界之间的位置关系是否满足条件；以及响应于所述位置关系满足所述条件，在所述虚拟空间中执行与所述用户的动作对应的活动。

在另一一般方式中，提供存储程序的非暂时性计算机可读介质。所述程序使计算机执行如下处理：从多个位置检测传感器取得检测数据；根据所述检测数据，对所述多个位置检测传感器中的第一位置检测传感器与第二位置检测传感器之间的距离进行计算；根据所述距离，设定用于对用户的动作进行判定的边界；伴随所述用户的动作，判定所述第一位置检测传感器与所述边界之间的位置关系是否满足条件；以及响应于所述位置关系满足所述条件，在所述虚拟空间中执行与所述用户的动作对应的活动。

根据以下的详细说明、附图以及权利要求的记载，可以显而易见其他特征和方式。

附图说明

图1是示意地示出图像显示系统的第一实施方式的图。

图2是图1的图像显示系统的框图。

图3是说明第一实施方式中的边界设定方法的图。

图4是说明第一实施方式中的边界利用方式的图。

图5是说明第一实施方式中的边界利用方式的图。

图6a是示出在第一实施方式中的对象物移动距离计算中使用的数据的图表的图，图6b是示出在第一实施方式中的对象物移动距离计算中使用的数据的映射的图。

图7是第一实施方式中的游戏画面的一例的图。

图8是说明第一实施方式中的边界设定顺序的流程图。

图9是说明第一实施方式中的游戏的进行的流程图。

图10a～图10c是关于第二实施方式中的边界利用方式，分别示出对象物的后方移动、对象物的向后方右侧的移动以及对象物的向后方左侧的移动的图。

图11a～图11c是关于图像显示系统的第二实施方式中的边界利用方式，示出对象物的前方移动、对象物的向前方左侧的移动以及对象物的向前方右侧的移动的图。

图12是关于第二实施方式中的边界利用方式，示出对象物的上升的图。

图13是说明第二实施方式中的游戏的进行的流程图。

图14a～图14c是关于图像显示系统的变形例中的边界利用方式，分别示出边界的设定、动作开始的判定以及动作完成的判定的图。

图15a～图15c是关于图像显示系统的变形例中的边界利用方式，分别示出边界的设定、脚踝位置比边界低时的活动种类的判定、脚踝位置比边界高时的活动种类的判定的图。

在整个附图和详细的说明中，相同的附图标记表示相同的要素。附图有时未按照比例尺绘制，有时为了明确性、例示以及简便性而夸大附图中的要素的相对尺寸、比例以及描绘。

具体实施方式

通过本公开，给出所记载的方法、装置及/或系统的总括性的理解。对于本领域技术人员，所记载的方法、装置及/或系统的变形和等同是显而易见的。动作的顺序是例示的，可以以对于本领域技术人员而言显而易见的方式进行变更。动作以一定的顺序产生的例外。有时省略与本领域技术人员公知的功能和构造有关的记载。

例示的实施方式可以取各种方式，不限定于所记载的实施例。但是，记载的实施例是完整的，向本领域技术人员传达了本公开的全部范围。

[第一实施方式]

对图像处理系统的一实施方式进行说明。

如图1所示，图像处理系统具有框体11、跟踪系统20、头戴式显示器

30(hmd：headmounteddisplay)以及游戏处理装置50。跟踪系统20具有一个或多个跟踪辅助装置21以及多个跟踪传感器22。游戏处理装置50对应于检测数据取得部、距离计算部、设定部、判定部以及活动执行部。跟踪传感器22对应于位置检测传感器。

框体11模仿秋千。框体11具备：支承体12；以及座位部15，通过吊挂部13被悬挂在支承体12。座位部15具备座位面以及位于与座位面相反的一侧的背面。在座位部15的背面设置有跟踪传感器22。另外，座位部15的摆动范围被限制在预定范围，以使座位部15不会摆动得大。例如，也可以在吊挂部13或座位部15设置限制摆动振幅的构件，也可以增大吊挂部13和座位部15的重量。

在头部佩戴了hmd30的用户200就座在座位部15。在用户200的脚踝附近佩戴有跟踪传感器22。另外，关于跟踪传感器22的位置，除了脚踝附近以外，也可以是脚趾、脚跟等。关于跟踪传感器22，可以是其自身能够佩戴于用户200的身体，也能够例如通过捆绑带等装配构件来佩戴于用户200。

游戏处理装置50设置在配置有框体11的空间或除此以外的位置，通过通信线缆或无线与hmd30连接，能够双向收发数据。游戏处理装置50进行如下处理：在hmd30显示虚拟空间图像并进行游戏。

关于跟踪系统20，使用跟踪传感器22和配置在跟踪空间的传感器。在配置有框体11的空间配置有跟踪辅助装置21。跟踪辅助装置21和hmd30协作而向游戏处理装置50发送用于检测hmd30的位置的检测数据。另外，跟踪辅助装置21和跟踪传感器22协作而向游戏处理装置50发送用于检测跟踪传感器22的位置的检测数据。

游戏处理装置50根据从跟踪辅助装置21和跟踪传感器22中的至少一个发送的数据，对就座于座位部15的用户200的脚的动作进行检测。游戏处理装置50例如对用户使双脚同步移动、或者分别移动各只脚的动作进行检测，判定检测到的动作是否满足预定条件。当判定为检测到的动作满足预定条件时，游戏处理装置50在虚拟空间中执行与用户对应的虚拟人物(化身(avatar)，角色)的虚拟活动。在本实施方式中，以在现实世界中用户200进行向前方踢出脚的动作，从而使与用户200对应的虚拟人物在虚拟空间内执行使穿在脚上的鞋对象物向前方飞出的“飞鞋(kicktheshoeontheswing)”的活动的游戏为例示来进行说明。

参照图2，对hmd30、跟踪传感器22、跟踪辅助装置21进行详细说明。

hmd30为可穿戴计算机，是具备覆盖双眼的壳体的非透射式显示器、或除此以外的透射式显示器。关于非透射式头戴式显示器，可以在一个至多个显示器分别显示用于使左眼视觉确认的图像和用于使右眼视觉确认的图像，也可以将左眼和右眼用的共同的图像显示在显示器。关于透射式显示器，可以使通过设置在头戴式显示器或除此以外的显示器的相机所摄影的图像显示在显示器，也可以是显示器由半反射镜或透明材料形成，且通过该显示器能够视觉确认现实世界。另外，hmd30可以是固定在壳体或框架等的显示器，也可以是可拆装地固定在预定的壳体的智能手机等多功能电话终端。hmd30显示虚拟现实(vr：virtualreality)、使用户视觉确认现实世界的同时提供虚拟空间的内容的增强现实(ar：augmentedreality)、或者包含这些的混合现实(mr：mixedreality)等图像。在本实施方式中，以hmd30为非透射式显示器来进行说明。

hmd30具有信息处理部31、测量装置32、以及显示器33。信息处理部31执行用于使游戏进行的处理。信息处理部31不限定于对自身执行的所有处理进行软件处理。例如，信息处理部31也可以具备对自身执行的处理的至少一部分进行硬件处理的专用的硬件电路(例如面向特定用途的集成电路：asic)。即，信息处理部31能够构成为包含根据计算机程序(软件)动作的一个或多个处理器、执行各种处理中的至少一部分处理的一个或多个专用的硬件电路或者它们的组合的电路(circuitry)。

处理器包含cpu、mpu、gpu等运算处理装置以及ram或rom等存储介质。另外，信息处理部31具备hdd、ssd等作为存储设备的存储介质(存储器)。这些存储介质中的至少一个存储以使cpu执行处理的方式构成的程序代码或指令。存储介质、即计算机可读介质包含能够由通用或专用的计算机接入的所有可利用的介质。测量装置32为至少检测hmd30的方向的装置，例如为惯性测量装置(imu：inertialmeasurementunit)。例如，惯性测量装置具备陀螺传感器、加速度传感器等，对以x轴、y轴以及z轴为中心的旋转角度、角速度、加速度等中的至少一个进行检测。显示器33为有机el显示器或液晶显示器等。

跟踪传感器22为用于检测自身的位置和方向的传感器。例如，跟踪传感器22与hmd30同样具有惯性测量装置。

另外，跟踪传感器22与多个跟踪辅助装置21协作而输出与自身的位置和方向对应的信号。跟踪传感器22和跟踪辅助装置21协作，从而能够检测空间内的跟踪传感器22的位置。作为跟踪辅助装置21的一例，能够使用多轴激光振荡器。此时，跟踪辅助装置21在配置框体11的空间的上方，以彼此成为对角的方式设置。跟踪辅助装置21射出脉冲激光。跟踪传感器22具备检测激光的传感器，在通过同步脉冲取得同步的同时检测自身的位置和方向。对于跟踪传感器22和跟踪辅助装置21，例如能够使用从htccorporation(注册商标)提供的vivetracker(注册商标)和vivebasestation。

游戏处理装置50具备位置特定部51、图像处理部52、进行管理部53以及数据存储部60。位置特定部51根据从hmd30和跟踪辅助装置21中的至少一个取得的数据来确定hmd30的方向。另外，位置特定部51除了hmd30的方向以外，也可以确定hmd30的位置。而且，位置特定部51根据从跟踪传感器22和跟踪辅助装置21中的至少一个取得的数据来确定跟踪传感器22的方向和位置。

图像处理部52根据位置特定部51确定的hmd30的方向及/或位置而在显示器33显示虚拟空间图像。另外，图像处理部52将与用户对应的虚拟人物的身体的一部分作为虚拟空间的一部分显示。

进行管理部53管理游戏的进行，进行位置特定部51和图像处理部52执行的处理以外的处理。进行管理部53在游戏开始条件成立时开始游戏。游戏开始条件例如是用户或游戏的管理者输出指示等。另外，进行管理部53在游戏结束条件成立时结束游戏。能够根据游戏来变更游戏结束条件。例如，游戏结束条件为从开始游戏起的经过时间得到限制时间、用户的得分达到阈值、或者完成任务等。

数据存储部60为hdd(harddiskdrive：硬盘驱动器)或ssd(solidstatedrive：固态硬盘)等的存储介质。数据存储部60存储游戏处理程序及其他的程序。位置特定部51、图像处理部52、进行管理部53执行记载于这些程序的计算机可读指令，使游戏进行。

数据存储部60存储设定信息61、游戏空间数据62、游戏进行数据63。设定信息61包含根据跟踪传感器22的位置设定的边界信息。

游戏空间数据62是用于渲染(rendering)游戏进行的空间的数据。例如，包含用于渲染游戏战场的背景的数据和用于渲染虚拟空间内的对象物的数据。在这种对象物包含在游戏战场移动的敌人等对象物和仅在满足预定条件时显示的对象物。游戏空间数据62还包含这种对象物在虚拟空间中的位置信息。

游戏进行数据63为在游戏进行的管理中使用的数据，根据游戏的进行而被更新。游戏进行数据63包含与用户关联的用户属性信息。在用户属性信息包含用户的设定信息、用户的参数、游戏媒介(或游戏内容)以及与游戏媒介关联的属性信息中的至少一个。用户的设定信息为用户的性別、年龄或年龄层、所在地、邮件地址等。用户的参数为例如与用户对应的虚拟人物的参数，是得分、胜利次数或败北次数等游戏结果以及等级、状态、能力、技能、才能、攻击力、防御力、hp、生命、体力值、回复力、咒文、作业等对战用参数等。游戏媒介为在游戏中使用的电子数据(内容)，能够通过用户在游戏内取得、所有、使用、管理、交换、合成、强化、售出、废弃或赠与等。例如，包含卡片、项目、虚拟货币、票、角色、化身等任意的媒介。游戏媒介的属性信息为游戏媒介的参数等，与用户属性信息等相同。另外，也可以代替游戏媒介本身，用户的参数、与游戏媒介关联的属性信息被取得、所有、使用、管理、交换、合成、强化、售出、废弃或赠与等。另外，游戏进行数据63也可以包含与敌人有关的信息。与敌人有关的信息例如包含如敌人的体力值等表示打倒敌人的容易度的信息。

在游戏处理装置50以能够收发数据的方式连接有输入操作部65。输入操作部65为鼠标、键盘、触摸屏装置等定点设备(pointingdevice)。输入操作部65通过通信线缆或无线而连接在游戏处理装置5。输入操作部65由用户或游戏管理者使用。

参照图3，说明对用户200设定用于判定活动的边界的方法。用户200在各脚踝附近佩戴了跟踪传感器22的状态下就座于座位部15。在图3仅示出右脚。此时，用户200的脚(鞋)的底面也可以不用必须接触到地面500。

游戏处理装置50从跟踪传感器22取得检测数据来确定跟踪传感器22的位置。由此，取得佩戴于座位部15的跟踪传感器22的位置、佩戴于左脚的跟踪传感器22的位置、佩戴于右脚的跟踪传感器22的位置。将佩戴于座位部15的跟踪传感器22的位置、佩戴于左脚的跟踪传感器22(图3中未图示)的位置、佩戴于右脚的跟踪传感器22的位置分别作为就座位置p1(x1、y1、z1)、左脚位置p2(x2、y2、z2)、右脚位置p3(x3、y3、z3)。

另外，将与地面500平行且就座于座位部15的用户200的脸朝向的方向作为“x方向(前后方向)”。另外，将与地面500平行且与“x方向”正交的方向作为“z方向(左右方向)”。而且，将地面500的法线方向作为“y方向(垂直方向)”。另外，游戏处理装置50能够设定任意的坐标系而不限定于这些方向。

游戏处理装置50计算y方向上的就座位置p1与左脚位置p2之间的距离ly、或y方向上的就座位置p1与右脚位置p3之间的距离ly。代替于此，也可以计算这些距离ly双方。由此，对从用户200的膝盖到脚踝为止的小腿长度进行测量。代替于此，例如也可以计算作为左脚位置p2的y坐标与右脚位置p3的y坐标的中间的位置与就座位置p1的y坐标之间的距离。

游戏处理装置50通过在距离ly乘上预定比例r2来计算校正距离ly2。另外，比例r2比“0”大且比“1”小。接着，游戏处理装置50在从作为基准位置的左脚位置p2或右脚位置p3向作为反x方向的后方分开校正距离ly2的位置，设定后方边界102(第一边界)。在计算就座位置p1与左脚位置p2之间的距离ly以及就座位置p1与右脚位置p3之间的距离ly双方时，也可以使用这些距离ly，分别设定左脚用的后方边界102和右脚用的后方边界102。

关于后方边界102，只要示出x坐标的边界即可。例如，后方边界102也可以是以x方向为法线方向且与y方向和z方向平行的y-z平面。作为一例，比例r2是考虑就座于座位部15的用户200作为在虚拟空间中用于使鞋对象物飞出的活动的准备动作，使小腿以膝盖为中心旋转，并向后方(反x方向)弯曲脚时的一般的角度等来确定的。由于比例r2基本上恒定，因此例如对于小腿长的用户200而言，与小腿短的用户200相比，后方边界102设定在从基准位置远的位置。

另外，游戏处理装置50通过在距离ly乘上预定比例r1来计算校正距离ly1。另外，比例r1比“0”大且比“1”小。比例r1可与比例r2不同，也可以与比例r2相同。基本上，比例r1、r2为恒定，但是通过能够分别调整比例r1、r2，从而能够适合各种体形的用户。接着，游戏处理装置50在从作为基准位置的左脚位置p2或右脚位置p3向作为x方向的前方分开校正距离ly1的位置，设定前方边界101(第二边界)。在计算了就座位置p1与左脚位置p2之间的y方向上的距离ly以及就座位置p1与右脚位置p3之间的y方向上的距离ly双方时，也可以使用这些距离ly来分别设定左脚用的前方边界101和右脚用的前方边界101。

关于前方边界101，只要示出x坐标的边界即可。例如，前方边界101也可以是以x方向为法线方向的与y方向和z方向平行的y-z平面。作为一例，比例r1是考虑就座于座位部15的用户200作为在虚拟空间中用于使鞋对象物飞出的活动的动作，使小腿以膝盖为中心旋转而向前方(x方向)踢出脚时的一般的角度等来确定的。由此，例如对于小腿长的用户200而言，与小腿短的用户200相比，前方边界101设定在从基准位置远的位置。

如上所述设定的前方边界101和后方边界102反映作为用户体形的小腿的长度。另一方面，在例如根据用户脚踝位置的移动方向的变化来判定是否执行活动时，存在用户稍微移动了脚时等在用户未意图的时机执行活动的可能性，存在用户感到不适感的问题。另外，当使用于判定活动执行的边界等在用户之间一致时，会出现容易执行活动的用户和难以执行活动的用户。相对于此，如本实施方式这样根据用户体形来设定边界，从而执行按照用户意图的活动，能够减少用户的不适感。

参照图4和图5，对使用了前方边界101和后方边界102的游戏的进行顺序进行说明。另外，如上所述，限制座位部15根据用户200的动作而稍微摇摆这样的前后的摇摆。在图4和图5仅示出右脚。

如图4所示，用户200在开始飞鞋游戏时，作为向前方踢出脚的准备，使小腿以膝盖为中心旋转，以使小腿位于座位部15的下方。游戏处理装置50确定左脚位置p2(未图示)和右脚位置p3，判定它们中的至少一个是否越过后方边界102。

在判定为左脚位置p2和右脚位置p3中的至少一个越过了后方边界102时，游戏处理装置50判定为开始了飞鞋动作。

在飞鞋动作的开始判定之后，游戏处理装置50一边确定左脚位置p2和右脚位置p3，一边判定它们中的至少一个是否越过前方边界101。

如图5所示，游戏处理装置50在判定为左脚位置p2(未图示)和右脚位置p3中的至少一个越过了前方边界101时，判定为完成了飞鞋动作。接着，游戏处理装置50在虚拟空间中使虚拟人物的鞋对象物，向作为踢出方向的用户200的前方，按照预定轨迹落下。具体地讲，游戏处理装置50根据跟踪传感器22的检测数据，使鞋对象物按照用户踢出的方向落下。例如，在从用户200观察时踢出方向为前方左侧时，游戏处理装置50使鞋对象物朝向前方左侧落下。

另外，游戏处理装置50取得飞鞋动作完成时的跟踪传感器22的速度。该速度为作为每单位时间的移动距离的速度、角速度、加速度等中的至少一个。游戏处理装置50根据将速度与对象物的移动距离(飞出距离)关联的数据来使鞋对象物移动。速度可以从一对跟踪传感器22之间的距离计算，也可以通过跟踪传感器22内置的速度检测传感器或外部的速度检测传感器来检测。在根据距离计算速度时，用使小腿旋转时的时间t除以佩戴于座位部15的跟踪传感器22与左脚位置p2或右脚位置p3之间的距离ly来计算速度v(v＝ly/t)。关于时间t，可以使用预先设定的时间(常数)，也可以测量从脚越过后方边界102时到越过前方边界101时为止的时间，使用所测量的时间。

图6a是作为将脚的移动速度与鞋对象物的移动距离关联的数据的一例的图表。在该图表中，以速度越大，距离阶段性地越变大的方式，将速度与距离关联。另外，如图6b的映射所示，也可以以速度越大，距离连续地越变大的方式，将速度与距离关联。代替图表或者除图表以外，游戏处理装置50也可以使用预定的运算式来计算移动距离。

图7是示意地示出通过用户200视觉确认的画面110的一例。在画面110显示有虚拟空间111的图像。在虚拟空间111显示有鞋对象物112和虚拟人物113的一部分。

游戏处理装置50在完成一个飞鞋动作且鞋对象物112移动之后，在虚拟人物的脚上再次显示鞋对象物112，使用户能够再次进行飞鞋。当鞋对象物112的落下位置或移动轨迹满足得分赋予条件时，向用户赋予得分。另外，所赋予的得分也可以根据落下位置或移动轨迹而不同。代替于此，当鞋对象物112的落下位置或移动轨迹满足达成条件时，任务完成。

如上所述，由于用户实际上就座于秋千的座位部15来进行飞鞋动作，因此座位部15伴随用户的动作而摇摆。另外，通过由hmd30检测摇摆，从而游戏处理装置50能够使显示在hmd30的图像按照实际的摇摆来移动。由此，抑制vr晕的产生，并且用户得到犹如坐在虚拟的秋千来进行飞鞋这样的代入感。

对本实施方式的游戏处理的顺序进行说明。

参照图8，对边界的设定顺序进行说明。游戏处理装置50根据跟踪传感器22等取得检测数据，确定跟踪传感器22的位置(传感器位置)(步骤s1)。具体地讲，确定就座位置p1、左脚位置p2、右脚位置p3。

游戏处理装置50当判断为新开始了游戏、或者新的用户开始游戏时，根据跟踪传感器22的位置来设定边界(步骤s2)。具体地讲，使用就座位置p1以及左脚位置p2和右脚位置p3中的至少一个，设定前方边界101和后方边界102。关于前方边界101和后方边界102，可以是双脚共同，也可以分别对各只脚设定。前方边界101和后方边界102的位置信息作为设定信息61来存储在数据存储部60。此时，前方边界101和后方边界102的位置信息也可以与用户的识别信息关联而被存储。在设定了前方边界101和后方边界102的位置信息的用户进行游戏时，也可以从数据存储部60读出前方边界101和后方边界102的位置信息，使用所读出的位置信息来进行游戏。

接着，参照图9对游戏的进行顺序进行说明。游戏处理装置50根据输入操作部65中的输入操作等的触发来开始游戏(步骤s11)。游戏处理装置50例如进行对在上一次游戏中使用的边界的位置信息等进行重置等的初始化。另外，游戏处理装置50取得hmd30的测量装置32的检测数据，将与检测数据对应的显示范围的图像显示于hmd30。

游戏处理装置50一边根据游戏进行数据63来使游戏进行，一边根据后方边界102的位置信息，判定左脚位置p2或右脚位置p3是否越过后方边界102(步骤s12)。在左脚位置p2和右脚位置p3没有越过后方边界102时(步骤s12：否)，游戏处理装置50再次进入到步骤s12。

在判定为左脚位置p2或右脚位置p3越过了后方边界102时(步骤s12：是)，游戏处理装置50判定为对应的脚开始了飞鞋动作(步骤s13)。

游戏处理装置50一边使游戏进行，一边判定左脚位置p2或右脚位置p3是否越过前方边界101(步骤s14)。当判定为左脚位置p2和右脚位置p3没有越过前方边界101时(步骤s14：否)，游戏处理装置50进入到步骤s17。另外，在步骤s14中，也可以判定左脚位置p2或右脚位置p3是否在例如1～2秒等预定时间内越过了前方边界101。也可以当判定为左脚位置p2或右脚位置p3没有在预定时间内越过前方边界101时(步骤s14：否)，进入到步骤s17。

游戏处理装置50在判定为左脚位置p2和右脚位置p3中的至少一个越过了前方边界101时(步骤s14：是)，判定为完成了飞鞋动作(步骤s15)。

而且，游戏处理装置50在虚拟空间内执行飞鞋动作的活动(步骤s16)。此时，游戏处理装置50使用图6b的映射，根据移动速度计算鞋对象物的移动距离。例如，游戏处理装置50对虚拟人物的脚和鞋对象物进行渲染，并且以使鞋对象物根据所计算的移动距离向踢出脚的方向沿着抛物线落下的方式进行渲染。另外，游戏处理装置50在鞋对象物从虚拟人物的脚离开之后，将新的鞋对象物渲染到虚拟人物的脚。

游戏处理装置50根据游戏结束条件来判断游戏是否结束(步骤s17)。当判断为满足结束条件时(步骤s17：是)，游戏处理装置50结束游戏。另外，在不满足结束条件时(步骤s17：否)，返回步骤s12。

对第一实施方式的优点进行说明。

(1)对佩戴于用户的脚的跟踪传感器22与佩戴于框体11的跟踪传感器22之间的距离进行计算，根据该距离来设定前方边界101和后方边界102。由此，根据用户体形来设定前方边界101和后方边界102的位置。另外，在佩戴于用户的脚的跟踪传感器22与前方边界101或后方边界102之间的位置关系满足预定条件时，在虚拟空间内执行与用户的动作对应的活动。在现实世界中开始用户的动作的位置，根据用户的体形而不同。因此，通过使用反映用户体形的边界，抑制与用户意图相反地执行活动的情况，能够减少用户的不适感。

(2)游戏处理装置50取得佩戴于用户的脚的跟踪传感器22越过了前方边界101时的速度。另外，速度的大小反映到飞鞋动作的鞋对象物的移动距离。由此，用户通过调整脚的移动速度，从而能够调整虚拟空间中的鞋对象物的移动距离。因此，根据鞋对象物的落下位置等来赋予得分、或者赋予与移动距离对应的得分等，能够使游戏变得多样化。

(3)在佩戴于用户的脚的跟踪传感器22越过了前方边界101时，游戏处理装置50在虚拟空间中使鞋对象物从虚拟人物的脚移动。因此，能够使对象物的移动开始的时机接近用户设想的时机。因此，用户能够直观地进行踢脚的动作来作为输入操作。

(4)在用户的脚佩戴有跟踪传感器22。由此，能够将脚的动作反映到虚拟空间中的活动。因此，能够提供新颖的游戏。

[第二实施方式]

接着，对图像显示系统的第二实施方式进行说明。另外，第二实施方式中的边界设定方法与第一实施方式相同。另一方面，第二实施方式中的所设定的边界利用方式是从第一实施方式变更而来。以下，对于与第一实施方式相同的部分附上相同的符号并省略其详细说明。

在第二实施方式中，将前方边界101和后方边界102利用于在虚拟空间内是否开始了对象物的移动的判定。具体地讲，左脚位置p2和右脚位置p3与前方边界101和后方边界102中的至少一个之间的位置关系满足预定条件时，游戏处理装置50使与座位部15对应的座位部对象物和虚拟人物移动。另外，由于虚拟空间内的用户视角与虚拟人物的视角对应，因此虚拟空间内的用户视角也伴随虚拟人物的移动而移动。以往在使虚拟人物移动时，使用伴随现实世界中的用户的视角移动来使虚拟人物等在虚拟空间内移动的方法、或根据游戏情节使虚拟人物等自动地移动的方法。或者，例如现实世界的用户对自身把持的控制器进行操作，使用图标等虚拟空间内的gui(graphicaluserinterface：图形用户界面)来指示移动，从而使虚拟人物移动。在前者的情况下，存在虚拟人物与用户意图相反地移动的可能性。在后者的情况下，为了使虚拟人物向目标位置移动，需要对控制器进行操作而使用现实世界不存在的图标等gui来指示移动，因此存在损坏代入感的可能性。相对于此，在本实施方式中，用户通过坐在秋千且移动脚来使虚拟人物移动。由此，能够通过比以往的方法更直观的动作来使虚拟人物移动。关于移动对象的对象物，代替座位部对象物和虚拟人物或除此以外，也可以是与框体11对应的虚拟空间内的整个框体对象物。另外，在本实施方式中，在与进行飞鞋动作的模式(踢模式)不同的模式(飞行模式)中，判定座位部对象物和虚拟人物的移动。

关于图10a～图12所示的前方边界101和后方边界102，只要示出x方向的边界即可。例如，前方边界101和后方边界102为以x方向为法线方向的y-z平面。游戏处理装置50判定左脚位置p2(未图示)和右脚位置p3(未图示)双方是否同时越过边界。

如图10a所示，游戏处理装置50在判定为双脚越过了前方边界101时，判定用户200伸出脚的方向。在判定为伸出脚的方向为作为用户正面的x方向时，游戏处理装置50使座位部对象物和虚拟人物在虚拟空间内向伸出脚的方向的相反方向、即后方(反x方向)移动。此时，游戏处理装置50可以使座位部对象物和虚拟人物113向后方水平地移动，也可以向后方摆动。如上所述，通过使对象物向对于用户突出脚的方向相反的方向移动显示，从而能够向用户给出如座位部对象物和虚拟人物通过由虚拟人物动作的反作用引起的推力而移动这样的印象(image)。

游戏处理装置50确定用户伸出脚的方向的方法没有特别限定。例如，也可以以在游戏开始前且设定边界时的左脚位置p2为基准来判断伸出脚的方向。代替于此，也可以以就座位置p1为基准来判断左脚位置p2伸出的方向或右脚位置p3伸出的方向。代替于此，也可以计算左脚位置p2和右脚位置p3的中央值，根据从作为基准的就座位置p1向所述中央值的方向，判定伸出脚的方向。

如图10b所示，游戏处理装置50在判定为左脚位置p2(未图示)和右脚位置p3(未图示)双方越过前方边界101且用户200伸出双脚的方向为前方左侧时，在虚拟空间内使座位部对象物和虚拟人物113向后方右侧移动。

如图10c所示，游戏处理装置50在判定为左脚位置p2(未图示)和右脚位置p3(未图示)双方越过前方边界101且用户200伸出双脚的方向为前方右侧时，在虚拟空间内使座位部对象物和虚拟人物113向后方左侧移动。

另外，在图10a～图10b中，虽然座位部对象物和虚拟人物113向作为相对于用户伸出脚的方向为相反侧的方向移动，但是座位部对象物和虚拟人物113也可以向与伸出脚的方向相同的方向移动。例如，也可以在用户向自身的正面突出了双脚时，座位部对象物和虚拟人物113向前方移动。另外，也可以在用户伸出双脚的方向为前方左侧时，座位部对象物和虚拟人物113向前方左侧移动。

另外，座位部对象物和虚拟人物113的移动方向不限定于上述的方向。例如，座位部对象物和虚拟人物113也可以向作为用户的正侧方的右方向或左方向移动。例如，也可以在用户伸出脚的方向为从作为基准的正面向右呈预定角度以上时，座位部对象物和虚拟人物113向右方向移动。另外，也可以在用户伸出脚的方向为向左呈预定角度以上时，座位部对象物和虚拟人物113向左方向移动。

如图11a所示，游戏处理装置50当判定为用户200以小腿位于座位部15的下方的方式弯曲脚且左脚位置p2(未图示)和右脚位置p3(未图示)越过后方边界102时，确定小腿的方向。游戏处理装置50当判断为小腿伸出的方向为与x方向相反的方向、即反x方向时，使座位部对象物和虚拟人物113在虚拟空间内向作为x方向的前方移动。

如图11b所示，游戏处理装置50当判断为左脚位置p2(未图示)和右脚位置p3(未图示)双方越过了后方边界102时，确定小腿的方向。游戏处理装置50当判断为小腿的方向为后方右侧时，使座位部对象物和虚拟人物向前方左侧移动。

如图11c所示，游戏处理装置50当判断为左脚位置p2(未图示)和右脚位置p3(未图示)双方越过了后方边界102时，确定小腿的方向。游戏处理装置50当判断为小腿的方向为后方左侧时，使座位部对象物和虚拟人物向前方右侧移动。

另一方面，在用户200伸出左脚时弯曲右脚，在伸出右脚时弯曲左脚，交替地踢出左脚和右脚时，座位部对象物和虚拟人物在虚拟空间内向作为上方的y方向移动。

如图12所示，游戏处理装置50当判断为左脚位置p2(未图示)越过了前方边界101且右脚位置p3(未图示)越过了后方边界102时，对向上方移动的座位部对象物和虚拟人物进行渲染。在预定时间内重复一个脚越过前方边界101且另一个脚越过后方边界102的状态的期间，继续进行向上方移动的座位部对象物和虚拟人物的渲染。另外，也可以在一个脚越过前方边界101且另一个脚越过后方边界102的次数达到预定次数时，开始向上方移动的座位部对象物和虚拟人物113的渲染。

参照图13，对第二实施方式的游戏处理的顺序进行说明。

当开始游戏时(步骤s20)，游戏处理装置50进行重置上一次履历等的初始化。另外，游戏处理装置50判断双脚是否同时越过边界(步骤s21)。

游戏处理装置50在判断为双脚越过了前方边界101和后方边界102中的任意一个时(步骤s21：是)，取得脚(小腿)伸出的方向(步骤s22)。而且，游戏处理装置50在hmd30上显示根据所取得的方向使座位部对象物和虚拟人物移动的图像(步骤s23)。

另一方面，在步骤s21中，游戏处理装置50在判断为用户的双脚没有同时越过边界时(步骤s21：否)，判断用户的双脚是否各只脚越过了不同的边界(步骤s25)。游戏处理装置50当判断为各只脚越过了不同的边界时(步骤s25：是)，在hmd30上显示使就座对象物和虚拟人物上升的图像(步骤s26)，并进入到步骤s24。另外，游戏处理装置50当判断为不是各只脚越过了不同的边界的状态时(步骤s25：否)，进入到步骤s24。

游戏处理装置50判断是否游戏结束(步骤s24)。在判断为是游戏结束时(步骤s24：是)，结束该处理。另一方面，在判断为不是游戏结束时(步骤s24：否)，返回步骤s21。

对第二实施方式的优点进行说明。

(5)在用户伸出或弯曲脚，从而左脚位置p2和右脚位置p3与前方边界101和后方边界102中的至少一个之间的位置关系满足预定条件时，座位部对象物和虚拟人物移动。由此，用户能够在自己意图的时机，通过直观的操作使虚拟空间内的虚拟人物移动。

(6)在左脚位置p2和右脚位置p3超过前方边界101时，游戏处理装置50使座位部对象物和虚拟人物向后方、即与伸出双脚的方向相反的方向移动。另外，在左脚位置p2和右脚位置超过后方边界102时，游戏处理装置50使座位部对象物和虚拟人物对象物向前方、即与伸出双脚的方向相反的方向移动。如上所述，通过使用反映用户体形的边界，从而能够抑制与用户意图相反地执行活动的情况。

(7)游戏处理装置50根据左脚位置p2和右脚位置p3相对于边界的位置关系的不同，变更座位部对象物和虚拟人物的移动方式。即，在左脚位置p2和右脚位置双方同时超过边界时，使座位部对象物和虚拟人物向后方或前方移动，在左脚位置p2和右脚位置p3越过不同的边界时，使座位部对象物和虚拟人物上升。由此，能够为了判定活动种类而使用边界。

能够如下所述变更上述各实施方式来实施。能够在技术上不矛盾的范围内彼此组合上述各实施方式和以下的变更例。

·在上述各实施方式中，将跟踪传感器22佩戴在用户的脚踝附近。代替于此或除此以外，也可以将佩戴在用户身体中的脚踝附近以外的位置的跟踪传感器22的检测数据的值反映到活动。例如，在“飞行模式”中，也可以根据佩戴在用户的包括头部的上半身中的任意一个位置的跟踪传感器22的检测数据，增大座位部对象物和虚拟人物的移动速度、移动距离等。另外，在“踢模式”中，也可以根据用户上半身的移动来增大鞋对象物的移动距离等，将上半身的移动反映到活动。而且，在“飞行模式”中，在左脚位置p2和右脚位置p3越过前方边界101，并且佩戴在用户头部的跟踪传感器22或佩戴在头部以外的上半身位置的跟踪传感器22的位置相对于开始游戏时的初始位置向后方位置移动时，即在头部或头部以外的上半身向与脚伸出的方向相反的方向倾斜时，也可以增大座位部对象物和虚拟人物的移动的速度、移动距离等来反映活动。

·在上述各实施方式中，使用佩戴在用户脚踝附近的跟踪传感器22，判定是否开始执行活动以及是否完成了所执行的活动。代替于此或除此以外，也可以使用佩戴在用户身体中的脚踝附近以外的位置的跟踪传感器22，判定是否开始执行活动以及是否完成了所执行的活动中的至少一个。

参照图14a～图14c，对使用佩戴在胳膊的跟踪传感器22，在虚拟空间中执行投掷对象物的活动的顺序的一例进行说明。如图14a所示，用户200分别在肘和手腕佩戴跟踪传感器22。游戏处理装置50根据从跟踪传感器22和跟踪辅助装置21中的至少一个取得的数据，确定手腕位置p5和肘位置p6。游戏处理装置50根据跟踪传感器22间的距离，计算从用户200的肘到手腕为止的长度、即前臂的长度lx1。而且，游戏处理装置50在从手腕位置p5向用户200的肩膀分开在长度lx1乘上预定比例r5的长度的位置设定后方边界102。另外，该例中的比例为“1”以上。另外，游戏处理装置50在从手腕位置p5向肘方向分开在长度lx1乘上预定比例r6的长度的位置设定前方边界101。

如图14b所示，游戏处理装置50判断手腕位置p5是否越过了后方边界102。游戏处理装置50当判断为手腕位置p5越过后方边界102时，判断为动作开始。与该动作对应的活动为例如投掷球等对象物的活动、鱼饵等对象物投入(投放)到水面的活动。另外，代替投掷对象物，也可以是打击球、跳舞等弯曲胳膊的活动。

如图14c所示，游戏处理装置50在动作开始之后，判断手腕位置p5是否越过了前方边界101。游戏处理装置50当判断为手腕位置p5越过了前方边界101时，判断为完成动作。接着，游戏处理装置50在虚拟空间中反映活动。例如，在投放时，游戏处理装置50使诱饵按照所运算的轨迹向前方移动。另外，在投掷球时，游戏处理装置50使球按照所运算的轨迹向前方移动。

另外，也可以不使用前臂的长度而使用整个胳膊的长度或上胳膊的长度来设定边界。在计算整个胳膊的长度时，在手腕和肩膀佩戴跟踪传感器22。另外，在计算上胳膊的长度时，在肘和肩膀佩戴跟踪传感器22。游戏处理装置50计算胳膊全体的长度或上胳膊的长度，在所计算的长度乘上预定比例，以手腕的位置、肩膀的位置或肘的位置为基准来设定边界。如上所述设定的边界，能够在是否执行与使整个胳膊旋转的动作、弯曲胳膊的动作对应的活动的判定中使用。作为例子，也可以在玩高尔夫的游戏、玩棒球的游戏、玩网球的游戏、玩台球的游戏等中，进行动作开始的判定、完成的判定或动作种类的判定等。

·在上述各实施方式中，系统提供的游戏是用户坐下并玩的游戏。代替于此，游戏也可以是用户以站立姿势玩的游戏。

如图15a所示，游戏处理装置50根据跟踪传感器22的位置，计算小腿的长度ly5。另外，游戏处理装置50在从脚踝位置p7在朝向用户200的膝盖的方向上分开了在小腿的长度ly5乘上预定比例r7的长度的位置，设定边界120。另外，该例子中的比例r7小于“1”。

如图15b所示，游戏处理装置50也可以在例如足球等包含踢出对象物的活动的游戏中，在从比边界120低的脚踝位置p7开始了踢出动作时，判定为用户意图的活动为运球。

如图15c所示，游戏处理装置50也可以在从比边界120高的脚踝位置p7开始了踢出动作时，判定为用户意图的活动为射击。

另外，在第二实施方式中，在佩戴于脚踝附近的跟踪传感器22与预先设定的边界之间的位置关系满足了预定条件时，在虚拟空间内执行预定的活动。代替于此或除此以外，也可以使用佩戴在用户身体中的脚踝附近以外的位置的跟踪传感器22来进行虚拟人物等的移动。也可以例如在佩戴在上半身中的任意一个位置的跟踪传感器22与对于上半身设定的边界之间的位置关系满足了预定条件时，进行虚拟人物等的移动。另外，也可以在佩戴于头部的跟踪传感器22与对于头部设定的边界之间的位置关系满足了预定条件时，进行虚拟人物等的移动。虚拟人物等的移动可以是上升、下降、向左方向的移动、向右方向的移动等中的任意一个移动，也可以是向沿着上半身移动方向的方向的移动，也可以是向除此以外的方向的移动。

·在上述各实施方式中，在左脚位置p2或右脚位置p3越过后方边界102时判定为动作开始，在越过前方边界101时判定为动作完成。代替于此，也可以在左脚位置p2或右脚位置p3越过了后方边界102时，执行飞鞋等的活动。代替于此，也可以在左脚位置p2或右脚位置p3越过前方边界101时，执行飞鞋等的活动。根据该方式，能够减轻关于活动的判定处理中的处理负荷。

·在第二实施方式中，在一个脚越过前方边界101且另一个脚越过后方边界102的状态在预定时间内重复的期间，对上升的座位部对象物和虚拟人物进行渲染。代替于此或除此以外，也可以在一个脚的跟踪传感器22与前方边界101之间的位置关系满足预定条件，并且另一个脚的跟踪传感器22与后方边界102之间的位置关系满足预定条件时，对下降的座位部对象物和虚拟人物进行渲染。或者，也可以在任意一个脚的跟踪传感器22与前方边界101或后方边界102之间的位置关系满足预定条件时、或双脚的跟踪传感器22与前方边界101或后方边界102之间的位置关系满足预定条件时，对下降的座位部对象物和虚拟人物进行渲染。对于此时的用户的具体动作，不特别限定。例如，除了交替地移动脚的动作以外，也可以是向前后同时移动双脚的动作、向左右同时移动双脚的动作、用双脚蹬自行车这样的动作等。或者，也可以渲染重复进行上升和下降的座位部对象物和虚拟人物，而不是对上升和下降中的一个进行渲染。

·在上述各实施方式中，也可以根据小腿的长度来变更鞋对象物的移动距离。例如，在小腿长时，也可以相比小腿短的情况，以使鞋对象物的移动距离变长的方式进行校正。在使速度恒定时，小腿越长，以膝盖为中心使小腿旋转时的离心力越变大。因此，当小腿越长越使鞋对象物的移动距离大时，能够接近现实世界中的事象。相反，在小腿长时，相比小腿短的情况，也可以以鞋对象物的移动距离变短的方式进行校正。

·在上述各实施方式中，在左脚位置p2和右脚位置p3中的至少一个越过后方边界102时，判定为开始与飞鞋的活动对应的动作。代替于此，也可以在左脚位置p2和右脚位置p3中的至少一个与后方边界102重叠时，判定为开始该动作。同样，在左脚位置p2和右脚位置p3中的至少一个越过前方边界101时，判定为完成与飞鞋的活动对应的动作。代替于此，也可以在左脚位置p2和右脚位置p3中的至少一个与前方边界101重叠的情况下，判定为完成该动作。

·在上述各实施方式中，作为秋千的座位部15在前后方向上稍微摇摆。代替于此，也可以使座位部15伴随用户蹬秋千的动作而向前后摇摆。此时，通过以就座位置p1为基准使前方边界101和后方边界102移动，从而能够进行关于用户的飞鞋动作的判定。

·在上述各实施方式中，将从就座位置p1到作为脚踝位置的左脚位置p2为止、或从就座位置p1到作为脚踝位置的右脚位置p3为止计算为小腿的长度。代替于此，也可以在以用户200的脚接触到地面500的方式调整吊挂部13而改变座位部15的高度时，将就座位置p1的高度计算为小腿的长度。

·在上述各实施方式中，计算用户小腿的长度。代替于此，也可以计算用户大腿的长度。大腿的长度能够通过就座位置p1的坐标与左脚位置p2或右脚位置p3的坐标之间的距离来近似。在大腿长时，估计小腿的长度也长，因此也可以根据大腿的长度来设定边界。此时也能够设定按照用户体形的边界。

·在上述各实施方式中，以左脚位置p2或右脚位置p3为基准来设定边界。代替于此或除此以外，例如也可以以佩戴于座位部15的跟踪传感器22等、不佩戴在用户身体的跟踪传感器22为基准来设定边界。

·在上述各实施方式中，在脚的位置越过后方边界102时，判定为开始动作，在脚的位置越过前方边界101时，判定为完成了动作。代替于此或除此以外，关于脚或胳膊与边界之间的位置关系，也可以判定用户动作的种类。例如，如果是棒球游戏，则也可以根据胳膊与边界之间的位置关系来判定打击动作和投球动作等。如果是跳舞游戏，则也可以根据脚或胳膊与边界之间的位置关系来判定转身、跳跃等。

·在上述各实施方式中，以用户的脚为基准设定前方边界101和后方边界102。代替于此或除此以外，在图3中，也可以设定表示y方向边界的上方边界和下方边界。代替于此，也可以设定表示z方向边界的左边界和右边界。另外，边界的数量可以是一个，也可以是三个以上的多个。另外，边界也可以是点或线而不是平面。

·在上述各实施方式中，在用户的左脚位置p2或右脚位置p3越过前方边界101和后方边界102中的任意一个时，判定为位置关系满足预定条件。代替于此，游戏处理装置50也可以根据是否正在靠近边界、或者是否正在从边界远离来判定是否执行活动。

·在上述各实施方式中，作为一例的跟踪系统20是使作为发光器的跟踪辅助装置21与作为受光器的跟踪传感器22协作的系统。如果能够检测跟踪传感器22的位置和方向，则能够使用除此以外的跟踪系统20。也可以使用例如在游戏空间设置作为受光器的辅助装置且该辅助装置与作为发光器的跟踪传感器22协作来计算跟踪传感器22的位置和方向的系统等、上述实施方式以外的由外向内方式的跟踪系统。代替于此，也可以使用通过搭载于跟踪传感器22的传感器对现实空间进行扫描来确定用户位置的由内向外方式的跟踪系统。

·在上述各实施方式中，具有受光器的hmd30与具有发光器的跟踪辅助装置21协作来检测hmd30的位置和方向。代替于此，也可以由具有发光器的hmd30与具有受光器的跟踪辅助装置21协作来检测hmd30的位置和方向。代替于此，也可以使用由内向外方式的跟踪系统。

·在上述各实施方式中，作为一例的用户使用的显示器为hmd30。关于显示器，代替于此或除此以外，也可以是不佩戴于用户身体的显示器。例如，可以使用设置型的显示器、便携游戏机的显示器、组装在街机游戏机的显示器等。在使用这种显示器时，也可以从输入操作部(控制器)接收基于用户操作的信号，变更该显示器中的显示范围。

·在上述各实施方式中，hmd30是与游戏处理装置50不同的装置。代替于此，hmd30也可以内置游戏处理装置50。而且，hmd30也可以是具备检测自身位置的装置的独立式hmd。

·在上述各实施方式中，虽然作为一例的框体为秋千，但是框体也可以是除此以外的东西。框体可以是具有用户就座的座位部的东西，也可以是用户以站立姿势或躺下的姿势进行动作的东西。框体例如可以是汽车、自行车、飞机或飞行体、潜水艇、过山车、火箭等乘坐物，也可以是具有能够进行射击的枪或火箭筒炮的东西，也可以是滑梯等游戏道具。代替于此，系统也可以提供不使用框体11的游戏或游戏以外的应用程序。

·在上述各实施方式中，系统是用户玩游戏的系统。代替于此，系统也可以是以体验为目的的系统、用于观看电影等内容的系统、用户用于与其他用户进行交流的系统、学习系统、培训系统、医疗领域的仿真系统等。