控制方法、虚拟现实体验提供装置以及程序与流程

本发明涉及用于使虚拟现实空间的图像显示于用户所佩戴的头部追踪型的hmd(头戴式显示器，headmounteddisplay)，使虚拟现实空间的音响输出至用户佩戴的头戴式耳机的控制方法等。

背景技术

已知一种向用户提供立体可视的影像的同时，提供立体音响而带来仿佛置身虚拟现实空间的体感的所谓vr(虚拟现实，virtualreality)技术。

并且，作为表现通过声音的虚拟现实的技术，专利文献1公开了存在多个移动音源的情况下的处理负荷的降低技术。并且，专利文献2中公开了检测与移动音源的相对位置，通过逐次变更音像定位中的参数而实现与移动音源的动作连动的正确的音像定位的技术。

现有技术文献

专利文献

专利文献1：日本特开2002-51399号公报

专利文献2：日本特开2007-50267号公报

以现有的技术水平而能够比较廉价地提供民用的vr环境，使游戏者头部佩戴具有头部跟踪型功能的vr型的hmd并手持游戏控制器已经是最大限度，无法达到触觉或力觉的再现提供。

另一方面，在将虚拟现实体验作为游戏等的娱乐提供的情况下，需要准备某些故事。并且，为了顺利地推进故事，小道具的存在也是重要的，使游戏者在虚拟现实空间内使用该小道具，怎样真实地再现该小道具涉及的音响，在提高没入感方面成为重要的技术课题。

例如，可以设想使游戏者在虚拟现实空间内手持虚拟的手机并使用的场面。该虚拟电话机当然实际不存在，游戏者作出好像手持没有实物的手机的动作，并靠近耳边，进行虚拟地通话。由于无法再现手持虚拟电话机时的力觉、按下通话按钮等的细微的触觉，因此，相应地，作为vr体验的现实，与如何真实地再现虚拟电话机涉及的音响相关联。

并且，作为其他示例，使游戏者手持例如金属探测器等的虚拟的雷达传感器的场景、使使用者手持虚拟的指向性麦克风并使用的场景等也是同样。

技术实现要素：

本发明鉴于以下目的而提出：其目的在于提供能够进一步提高在虚拟现实空间内使用户使用虚拟的小道具的场景中的现场感的vr涉及的音响控制技术。

为了解决上述课题的第一方面为包括如下的控制方法：以用户的第一身体部位或者控制器作为基准体，追踪实体空间内的所述基准体的位置(例如，图9的服务器处理部200s、游戏进行控制部210、基准体追踪部212、图12的步骤s4)；使与所述实体空间相对应的虚拟现实空间的图像显示于所述用户佩戴的头部追踪型的hmd(头戴式显示器)；使在所述虚拟现实空间内被设定了规定的任务的虚拟对象的位置与所述基准体的位置相对应地追随(例如，图9的服务器处理部200s、游戏进行控制部210、虚拟对象位置控制部226、图12的步骤s30)；基于根据所述基准体的所述实体空间内的位置或者所述虚拟对象的所述虚拟现实空间内的位置而确定的、是否满足使音响变化的位置条件，进行使对应于所述任务的音响从所述用户佩戴的头戴式耳机输出的控制(例如，图9的服务器处理部200s、游戏进行控制部210、音响输出控制部230、图17的步骤s70～s74)。

根据第一方面，能够以用户的第一身体部位或者控制器作为基准体追踪在其实体空间内的位置，另一方面，配置能够作为在虚拟现实空间内被设定了规定的任务的一种小道具使用的虚拟对象，对于正在追踪的基准体的移动进行追随控制。并且，当基准体在实体空间中的位置或者虚拟对象在虚拟现实空间中的位置满足某一位置条件时，使对应于被分配至虚拟对象的任务的音响从头戴式耳机发出。从而，能够在虚拟现实空间内真实地再现使用户手持虚拟的小道具而使用的场景的音响。

根据第一方面的控制方法，在第二方面中，所述音响的输出控制，在不满足所述位置条件的情况下，不输出对应于所述任务的音响而输出所述虚拟现实空间的环境音，或者，相比对应于所述任务的音响调大所述虚拟现实空间的环境音而输出，在满足所述位置条件的情况下，不输出所述虚拟现实空间的所述环境音而输出对应于所述任务的音响，或者，相比所述虚拟现实空间的所述环境音，调大对应于所述任务的音响而输出。

根据第二方面，在满足某个位置条件之前，与对应于任务的音响相比，以环境音为主使游戏者听到，当满足位置条件时，相反地，以对应于任务的音响为主使游戏者听到。也就是说，当满足在现实世界中实际使用时具有的位置关系时，能够提供使人认为只有虚拟对象执行任务时才发挥作用的音响。从而，能够进一步提高在虚拟现实空间内真实地再现使用户手持虚拟的小道具而使用的场景的音响的真实性。

根据第一或第二方面的控制方法，在第三方面中，进一步包括：基于根据所述基准体的所述实体空间内的位置或者所述虚拟对象的所述虚拟现实空间内的位置而使所述环境音变化(例如，图9的音响输出控制部230)。

根据第三方面，基于根据基准体的实体空间内的位置、虚拟对象的虚拟现实空间内的位置而能够使环境音变化。

根据第一～第三方面中任一方面的控制方法，在第四方面中，所述音响的输出控制，将示出在所述实体空间规定的实际对象物和所述基准体接近的距离条件、或者对应于所述实际对象物的所述虚拟现实空间内的虚拟对象物和所述虚拟对象接近的距离条件，作为位置条件判定是否满足所述位置条件(例如，图13的步骤s70)。

根据第四方面，在实际对象物和基准体在实体空间中已接近的情况下，或者，虚拟对象物和虚拟对象在虚拟现实空间中已接近的情况下，能够发出对应于虚拟对象的任务的音响，以仿佛虚拟对象的任务发挥作用的方式演出。

根据第四方面的控制方法，在第五发明中，所述虚拟对象作为在所述虚拟现实空间中发出音响的音响发生物(例如，图3的智能手机12)而被设定所述任务，所述音响的输出控制，通过判定所述实际对象物作为所述用户的耳朵是否满足所述位置条件，使仿佛所述虚拟现实空间中的所述音响发生物接近所述用户的耳朵的音响从所述头戴式耳机输出。

根据第五方面，能够使虚拟对象充当发出声音的小道具，实现仿佛该小道具接近实际的用户的耳朵的音响。

根据第五方面的控制方法，在第六方面中，设定所述任务作为具有电话功能的音响输出设备，所述音响的输出控制，作为对应于所述功能的音响，使通过所述电话功能的通话语音输出。

根据第六方面，能够使虚拟对象发挥作为具有电话功能的虚拟的音响输出设备的功能。从游戏者来看能够实现：当进行将音响输出设备拿至耳边的动作的话，该音响输出设备变为通话模式而能够听到通话语音的这种vr体验。能够提供如手机(也包括智能手机的意思。)一样的，能够真实地再现现实世界中存在的物体的实际的使用状况的现场感丰富的vr体验。

根据第六方面的控制方法，在第七发明中，所述音响的输出控制，在不满足所述位置条件的情况下，不输出通过所述电话功能的所述通话语音，输出通过所述电话功能的来电铃声，在满足所述位置条件的情况下，不输出通过所述电话功能的所述来电铃声，输出通过所述电话功能的所述通话语音。

根据第七方面，能够以如下方式进行音响控制：播放来电铃声直至音响输出设备靠近耳边而至，当靠近耳边时切换至通话音。因此，能够提供更为真实的vr体验。

根据第六或者第七方面的控制方法，在第八方面中，所述音响的输出控制，在不满足所述位置条件的情况下，输出所述虚拟现实空间的环境音；在满足所述位置条件的情况下，减小所述虚拟现实空间的环境音的大小，并且，使所述环境音的高音域衰减而输出(例如，图13的步骤s42)。

根据第八方面，通过使音响输出设备接近耳朵附近，环境音被少许遮蔽，能够模拟再现成为拢音的这种实体空间中也能够良好地体验的音响的变化。

根据第六至第八方面中任一方面的控制方法，在第九方面中，所述音响的输出控制，在满足所述位置条件的情况下，进一步使规定的混响音输出(例如，图13的步骤s44)。

根据第九方面，通过使音响输出设备接近耳朵附近，能够模拟产生混响音的这种实体空间中也能够良好地体验的音响的变化。

根据第六至第九方面中任一方面的控制方法，在第十方面中，所述音响的输出控制，在满足所述位置条件的情况下，进一步使规定的噪音输出。

根据第十方面，通过使音响输出设备接近耳朵附近，能够模拟再现听到噪音的这种实体空间中也能够良好地体验的音响的变化。

根据第五至第十方面中任一方面的控制方法，在第十一方面中，所述音响的输出控制，对于所述用户的左右耳朵的各耳判定是否满足所述位置条件，在满足的情况下，从所述头戴式耳机的左右输出中的对应于满足的耳朵的输出中，使仿佛所述虚拟现实空间中的所述音响发生物接近该耳朵的音响输出(例如图13的步骤s72)。

根据第十一方面，能够使人切身感受到由于使音响发生物靠近左右某一只耳朵而产生左右的听觉效果的差异的现象。

根据第十一方面的控制方法，在第十二方面中，所述音响的输出控制，对于所述用户的左右耳朵的各耳判定是否满足所述位置条件，在满足的情况下，使所述头戴式耳机的左右输出中的来自对应于不满足的耳朵的输出的输出音响降低(例如图13的步骤s74)。

根据第十二发明，通过与满足位置条件侧(即，音响发生物靠近侧)相比下调不满足位置条件侧(即，音响发生物不靠近侧)的音量，游戏者能够集中地专心听对应于虚拟对象的任务的音响而演出。

此外，虚拟对象的任务不限于音响发生物。作为第十三方面，也能够构成第四发明的控制方法：所述虚拟对象作为在所述虚拟现实空间中输入音响的音响输入设备而设定所述任务，所述音响的输出控制，通过判定所述实际对象物作为所述用户的第二身体部位是否满足所述位置条件，使仿佛所述虚拟现实空间中的所述音响输入设备输入了所述用户的所述第二身体部位处的发生音响的所述发生音响从所述头戴式耳机输出。

根据第一～第十三方面中任一方面所述的发明的控制方法，在第十四方面中，所述音响的输出控制，通过是否满足示出规定的事件发生完毕、执行完毕或者达成完毕的事件清除条件，变更满足所述位置条件的情况下的所述音响。

根据第十四方面，能够通过与发生的事件的关系控制音响的变更。

根据第一至第十四方面中任一方面的控制方法，在第十五方面中，还包括：在所述虚拟现实空间内，对于追随所述基准体的位置的虚拟基准体进行配置控制(例如，图9的服务器处理部200s、游戏进行控制部210、虚拟基准体位置控制部214、图12的步骤s6)；于所述虚拟现实空间初始配置所述虚拟对象(例如，图9的服务器处理部200s、游戏进行控制部210、虚拟对象初始位置控制部220、图12的步骤s2)；向所述用户指示，使所述虚拟基准体接近所述初始配置的位置(例如，图9的服务器处理部200s、游戏进行控制部210、指示控制部222、图12的步骤s24)；所述指示之后，在所述虚拟基准体的位置和所述初始配置的位置满足规定条件的情况下，设定所述虚拟对象和所述基准体的对应关系(例如，图9的服务器处理部200s、游戏进行控制部210、对应关系设定部224、图12的步骤s30)；使所述虚拟对象追随，包括：所述虚拟对象和所述基准体的对应关系设定后，使所述虚拟对象的位置对应于所述基准体的位置而追随。

根据第十五方面，虚拟基准体和初始配置的虚拟对象形成规定的位置关系以后，能够使虚拟对象追随虚拟基准体的移动而移动。例如，能够实现通过虚拟基准体握持虚拟对象的、使虚拟对象附着/装备/安装于虚拟基准体的状态。

第十六方面涉及的虚拟现实体验提供装置具备：基准体追踪部，将用户的第一身体部位或者控制器作为基准体，追踪实体空间内的所述基准体的位置(例如，图1的hmd6、追踪用照相机7、控制器8、控制基板1150)；图像显示控制部，使与所述实体空间相对应的虚拟现实空间的图像显示于所述用户佩戴的头部追踪型的hmd(头戴式显示器)；虚拟对象位置控制部，使在所述虚拟现实空间内被设定了规定的任务的虚拟对象的位置与所述基准体的位置相对应地追随(例如，图1的控制基板1150、图9的虚拟对象位置控制部226)；音响输出控制部，基于根据所述基准体的所述实体空间内的位置或者所述虚拟对象的所述虚拟现实空间内的位置而确定的、是否满足使音响变化的位置条件，进行使对应于所述任务的音响从所述用户佩戴的头戴式耳机输出的控制(例如，图1的控制基板1150、图9的音响输出控制部230、声音生成部290s)。

根据第十六方面，能够实现发挥与第一发明同样的效果的虚拟现实体验提供装置。

第十七方面涉及的程序用于使计算机执行如下：以用户的第一身体部位或者控制器作为基准体，追踪实体空间内的所述基准体的位置；使与所述实体空间相对应的虚拟现实空间的图像显示于所述用户佩戴的头部追踪型的hmd(头戴式显示器)；使在所述虚拟现实空间内被设定了规定的任务的虚拟对象的位置与所述基准体的位置相对应地追随；基于根据所述基准体的所述实体空间内的位置或者所述虚拟对象的所述虚拟现实空间内的位置而确定的、是否满足使音响变化的位置条件，进行使对应于所述任务的音响从所述用户佩戴的头戴式耳机输出的控制。

根据第十七方面，能够实现使计算机发挥与第一发明同样的效果的程序。

附图说明

图1为示出游戏系统(虚拟现实体验提供装置)的结构的一例的图。

图2为示出控制器的构成例的图。

图3为用于对于使游戏者手持游戏内的小道具使用的场景中的音响控制的原理进行说明的概念图。

图4为示出置于桌上的虚拟智能手机响铃状态的、虚拟现实空间和实体空间各自的状况的图。

图5为示出游戏者手持置于桌上的虚拟智能手机状态的、虚拟现实空间和实体空间各自的状况的图。

图6为示出使手持的虚拟智能手机接近游戏者的头部的过程的虚拟现实空间和实体空间各自的状况的图。

图7为示出使手持的虚拟智能手机接近游戏者的耳边的过程的虚拟现实空间和实体空间各自的状况的图。

图8为示出使手持的虚拟智能手机通过头戴式耳机靠近游戏者的耳朵的状态的虚拟现实空间和实体空间各自的状况的图。

图9为示出服务器系统的功能构成例的功能框图。

图10为示出服务器存储部所存储的程序或数据的示例的图。

图11为示出游戏数据的数据结构例的图。

图12为用于说明服务器系统中的处理的流程的流程图的数据结构例的图。

图13为接续图12的流程图。

图14为示出游戏系统的变形例的图。

图15为用于对于使游戏者手持被付与音响输入设备的任务的小道具使用的场景中的音响控制的原理进行说明的概念图。

具体实施方式

图1为示出本实施方式中的游戏系统1000的结构的一例的图。本实施方式的游戏系统1000为向用户提供虚拟现实体验(vr体验)的虚拟现实体验提供装置。游戏系统1000为以如下为目的而设计的计算机系统：游戏者将带有头部追踪功能的vr(虚拟现实，virtualreality)型的hmd佩戴于头部的同时把持控制器，在作为实体空间的规定的游戏区域内移动的同时执行所游艺的游戏。

具体而言，游戏系统1000具备：铺设于游戏区域的地面的保护片4、游戏者2佩戴于头部的头戴式耳机5以及hmd6、游戏者2所把持的控制器8、用于进行hmd6或控制器8的位置或姿势的追踪的多个追踪用照相机7、能够与上述(hmd6、控制器8、追踪用照相机7)进行数据通信地连接的服务器系统1100。

本实施方式的游戏系统1000设定单人游戏用，保护片4和hmd6和控制器8和追踪用照相机7的组合(图示的示例中3台为一个组合)分别各具备一各。但是，在将游戏系统1000用作多人游戏用的情况下，适当地将hmd6和控制器8和追踪用照相机7的组合作为一组，将多组连接于服务器系统1100即可。

此外，根据游戏操作的设计，每人的控制器8可以为多个。并且，作为一组的追踪用照相机7的台数或配置关系能够通过所采用的追踪技术适当地设定，不限于图示的示例。例如，即使为多人游戏，也可以兼用追踪用照相机7的组合而通过一组实现。

保护片4为覆盖地面的保护件，使得佩戴hmd6的游戏者2即使摔倒也不会受伤。例如为对于人站立等的静态负载显示适当的硬度，适当地吸收冲击的弹性体薄片。此外，代替保护片4，也可以付与游戏者2以头盔的佩戴、肩、肘、膝盖的保护垫的佩戴的义务。

头戴式耳机5具备分别覆盖游戏者2的左右耳的左右扬声器部。一个扬声器部所具备扬声器的数量能够适当设定。

hmd6为能够追踪头部的朝向和方向的vr型的头戴式显示器。在本实施方式中为佩戴时两眼被覆盖、看不到周围的样子的没入型(非透过型)，也可以为通过透过控制而能够控制透过/非透过的类型。这种情况下，除了紧急时的游戏游艺中，基本上被控制为非透过。

此外，本实施方式的hmd6形成一体地具有三轴加速度传感器、陀螺仪、作为追踪用的标志而发挥作用的单个或者多个发光部、头戴式耳机5的类型。不过，三轴加速度传感器、陀螺仪传感器、发光部，为了实现跟随hmd6在游戏区域内的位置或姿势的追踪而使用，因此，根据所采用的追踪技术能够适当省略不需要的要素。

图2为示出控制器8的构成例的图。本实施方式的控制器8包括：人能够单手把持的尺寸的棒状的把持部81、设置于把持部81的前端的前端发光体82。

把持部81内置有控制器控制基板85和电池86。适当地，在其表面可以设置操作开关、拨号开关等。

控制器控制基板85具备：cpu851、ic存储器852、接口ic853、无线通信模块854、三轴加速度传感器855、陀螺仪传感器856。当然也可以适当地包括这以外的电子零件。

cpu851通过执行存储于ic存储器852的程序，执行：前端发光体82的发光控制、经由无线通信模块854将保护开关84的切换状态信号或三轴加速度传感器855以及陀螺仪传感器856的检测信号向服务器系统1100发送的控制。

此外，三轴加速度传感器855、陀螺仪传感器856、前端发光体82，为了实现跟随控制器8在游戏区域内的位置或姿势的控制器追踪而使用，因此，根据所采用的追踪技术能够适当省略不需要的要素。

并且，控制器8的外观形状不限于此，能够适当地设定。既可以将家庭用固定式游戏装置的游戏控制器作为控制器8使用，也可以设置专用的控制器8。在设置专用的控制器8的情况下，其形状能够适当设定，例如为戒指型、手镯型、指套型等。

返回图1，追踪用照相机7将游戏区域(本实施方式中为保护片4之上)收纳于拍摄范围，将拍摄hmd6或控制器8的图像的信号或数据向服务器系统1100发送。并且，拍摄的图像，与公知的动作捕捉技术同样地，用于跟踪hmd6在游戏区域内的位置或姿势的头部追踪、跟踪控制器8在游戏区域内的位置或姿势的控制器追踪。此外，根据采用的追踪技术，可以省略追踪用照相机7。或者，代替照相机，可以采用深度传感器。

服务器系统1100为游戏系统1000所包括的计算机系统之一。本实施方式的服务器系统1100包括：本体装置1101、触摸面板1108，本体装置1101搭载有游戏费用支付部1110和控制基板1150。

游戏费用支付部1110接受游戏游艺的费用的支付，向控制基板1150输出支付操作的检测信号。游戏费用支付部1110例如通过硬币投入装置、存储与虚拟货币相关联的信息的介质(例如，信用卡、预付费卡、电子货币卡、用户卡等)的读取装置实现，对应于通过现金、信用、虚拟货币的支付。

控制基板1150上搭载有cpu(中央处理单元，centralprocessingunit)1151或gpu(图形处理单元，graphicsprocessingunit)、dsp(数字信号处理器，digitalsignalprocessor)等的各种微处理器、vram或ram、rom等的各种ic存储器1152、通信装置1153。此外，控制基板1150的一部分或者全部通过asic(专用集成电路，applicationspecificintegratedcircuit)、fpga(现场可编程门阵列，field-programmablegatearray)、soc(片上系统、systemonachip)实现。

并且，服务器系统1100，通过控制基板1150基于规定的程序及数据进行运算处理来实现：1)用户登录等涉及的用户管理功能、2)头部追踪以及控制器追踪的功能、3)执行将hmd6及控制器8视为一组的用户终端的游戏进行所涉及的各种控制的游戏管理功能。也就是说，本实施方式中的游戏作为一种客户/服务器型的在线游戏实现。

此外，控制基板1150所执行的控制不限于此，适当地包括通过信用或虚拟货币进行的游戏费用的支付所涉及的控制。在设计为多人游戏用的情况下，可以进行使用其他服务器系统1100的、与其他游戏者的匹配功能。

此外，在本实施方式中，将服务器系统1100记载为单体，也可以为搭载有分担上述各功能的多个刀片式服务器，以相互通过内部总线能够进行数据通信的方式连接的结构。或者，也可以为经由通信线路(无论有线/无线)使设置于分离的地点的独立的多个服务器进行数据通信，从而，整体上作为服务器系统1100而发挥作用的结构。

[原理的说明]

图3为用于对于使游戏者手持游戏内的小道具使用的场景中的音响控制的原理进行说明的概念图。

本实施方式的游戏为使用配置于虚拟现实空间(vr空间)的各种小道具，与虚拟现实空间的居民交流的同时完成任务的游戏。

之后，作为小道具例示具有电话功能的虚拟的音响输入/输出装置即“虚拟智能手机”。并且，游戏者在游戏开始后立即经由该虚拟智能手机从通话对象得到用于理解自身所处状况的前提信息，通话结束后，为了达成游戏结束条件而进入正式的游戏游艺。

当然，实际运用本实施方式时，小道具及其任务，如果为音响发生物的话，能够根据游戏内容而适当设定。例如，可以为音乐盒、昆虫、想象的生物、装备品等。

在本实施方式中，控制器8或者握持该控制器的手(第一身体部位：图示示例中为游戏者2的右手2h)，在使用小道具方面成为位置或姿势的参照基准即基准体，其在实体空间中的位置或姿势通过追踪用照相机7或控制器8的追踪把握。

并且，在虚拟现实空间中，准备对应于该虚拟现实空间中的基准体的虚拟基准体10，以追随实体空间中的基准体的位置或姿势的方式进行控制。本实施方式中的虚拟基准体10设为游戏者2的虚拟的右手，即使为左手也不会影响游戏进行。并且，根据游戏内容也可以为脚。

下面，就作为本实施方式中的小道具的虚拟智能手机12而言，当与虚拟基准体10的相对位置满足规定的“把持状态识别条件”时，视为被虚拟基准体10把持。之后，虚拟智能手机12和虚拟基准体10被对应，被控制为与虚拟基准体10一体地在虚拟现实空间内移动。此外，所谓一体地，不限于虚拟基准体10和虚拟智能手机12一体地密接或者结合的状态，也包括处于稍有距离的接近状态的情况的意思。如果小道具为跟随虚拟基准体10移动的仙女等的话，与虚拟基准体10之间维持规定的相对位置关系而跟随地移动的状态也可以称为“一体地”。

并且，在本实施方式中，作为游戏者2的第二身体部位，将左右耳2e的位置或姿势作为音响控制涉及的基准而构成追踪的对象。具体而言，设定耳2e位于通过hmd6的追踪求得的游戏者2的头部的规定位置，把握位置或姿势。

并且，在虚拟现实空间中，准备作为该虚拟现实空间中的第二身体部位的虚拟身体部位14(在本实施方式中为虚拟右耳14r和虚拟左耳14l)，以追随实体空间中的耳2e的位置或姿势的方式进行控制。

虚拟智能手机12涉及的基本音被组装于在虚拟现实空间内设定的立体音响场，以各个音源具有头外音像定位的方式(能够立体地识别至音源的方向和距离的方式)被控制的立体音响通过头戴式耳机5播放。也就是说，当在虚拟智能手机12发出声音的状态下游戏者2改变头的朝向时，虚拟智能手机12的音像定位被校正。

并且，在本实施方式中，虚拟智能手机12涉及的、用于演出真实的使用感的各种效果音，根据虚拟基准体10或者虚拟智能手机12和虚拟身体部位14的相对位置关系被选择而被附加于立体音响。

下面，按照游戏者2手持置于桌上的虚拟智能手机12开始通话之前的流程，对于虚拟智能手机12涉及的效果音的附加进行具体地叙述。

图4为示出置于桌上的虚拟智能手机12响铃(发出来电铃声)状态的、虚拟现实空间和实体空间各自的状况的图。

置于配置于虚拟现实空间的虚拟桌16上的虚拟智能手机12发出来电铃声。在该阶段，虚拟基准体10和虚拟智能手机12的距离，不满足规定的“把持状态认定距离条件”，因此，虚拟智能手机12仅被置于虚拟桌16之上，被视为未被把持。

“把持状态认定距离条件”是指，使基于虚拟智能手机12(虚拟对象)在虚拟现实空间内的位置而确定的音响变化的第一位置条件。

作为该状况的音响控制，从虚拟智能手机12涉及的声音数据中选择“非把持状态来电铃声”，将虚拟智能手机12作为在虚拟现实空间中发出音响的音响发生物即虚拟音源，组装于包括环境音的立体音响场。

这里所说的“环境音”是指，以虚拟智能手机12(虚拟对象)以外为起源的声音。不仅包括由于音源不明而充满空间的声音，也包括由于游戏者2移动而产生的声音。例如，包括移动所产生的步行音，如果游戏者2穿戴金属制铠甲的话，也包括活动身体而产生的金属摩擦碰撞而产生的声音。也可以包括手持物体落在地板上，或者，手持物体与其他物体碰撞而发出的碰撞声，或者，陷入其他物体的声音等。

也就是说，当在虚拟智能手机12发出声音的状态下游戏者2改变头的朝向时，以环境音为背景，虚拟智能手机12的来电铃声对应于改变头的朝向而被校正音像定位能够从头戴式耳机5听到。例如，当游戏者2从正面观察虚拟智能手机12的状态开始将头左转90°时，虚拟智能手机12的音像定位被向右校正90°。

此外，本实施方式的非把持状态来电铃声，以不仅包括从虚拟智能手机12直接发出的来电铃声本身，也包括该来电铃声(以及振动器发出的振动)传递至虚拟桌16而从其表面间接地发出的声音的方式设计。

图5为示出游戏者2手持置于桌上的虚拟智能手机12状态的、虚拟现实空间和实体空间各自的状况的图。

当游戏者2想要取得虚拟智能手机12而伸出拿着控制器8的手时，不久，虚拟基准体10和虚拟智能手机12的距离满足把持状态认定距离条件，视为虚拟智能手机12被游戏者2把持。之后，虚拟智能手机12被对应于虚拟基准体10，此后，一起在虚拟现实空间内移动。

作为该状况的音响控制，虚拟智能手机12发出的声音从“非把持状态来电铃声”向“把持状态来电铃声”切换。这里所说的“把持状态来电铃声”为来电铃声本身。

此外，把持状态认定距离条件，可以解读为定义以虚拟智能手机12(虚拟对象)为基准点的位置关系的位置条件。也就是说，可以解读为，以虚拟智能手机12的位置为基准点，作为基准体的右手2h或者控制器8在实体空间的位置，或者对应于该基准体的虚拟基准体10的虚拟现实空间内的位置，满足规定的位置关系的条件。在以下的说明中会有其他的“距离条件”登场，同样地可以解读为定义以虚拟对象为基准点的位置关系的位置条件。

图6为示出使手持的虚拟智能手机接近游戏者的头部的过程的虚拟现实空间和实体空间各自的状况的图。

在使手持的虚拟智能手机12接近头部的过程中，通过头戴式耳机5，以虚拟智能手机12为移动音源的“把持状态来电铃声”和来自虚拟智能手机12以外的音源的声音的混合音即环境音，被进行立体音响控制而被播放。也就是说，随着游戏者2手持的虚拟智能手机12接近耳边，通过hmd6放映虚拟智能手机12接近的情况，与之对应地，从头戴式耳机5听到的来电铃声的位置也不断变化，以来电铃声的音量随着接近而逐渐增大的方式，从头戴式耳机5听到声音。

作为该状况的音响控制，通过头戴式耳机5的左右听到的声音会产生差异。也就是说，在本实施方式中，由于游戏者2用右手拿着虚拟智能手机12靠近右耳，关于环境音为大致左右相同的音量，关于虚拟智能手机12的来电铃声，通过立体音响控制，从头戴式耳机5的右侧扬声器听到的音量比从头戴式耳机5的左侧扬声器听到的音量大。

图7为示出使手持的虚拟智能手机接近游戏者的耳边的过程的虚拟现实空间和实体空间各自的状况的图。

在虚拟现实空间中，虚拟基准体10及虚拟智能手机12接近虚拟身体部位14(虚拟右耳14r)至满足“混响音发生距离条件”。

“混响音发生距离条件”为听到“混响音”的距离条件，其为示出在实体空间中规定的实际对象物(本实施方式中为游戏者2的右耳)和基准体(本实施方式中为游戏者2的右手或者控制器8)接近的第一距离条件。此外，“混响音发生距离条件”可以与后述的通话认定距离条件相同。

并且，这里所述的“混响音”是指，虚拟智能手机12的来电铃声(以虚拟音源为起源的声音)在虚拟身体部位14和虚拟智能手机12之间反射而产生的声音。

作为这种状况的音响控制，从满足混响音发生距离条件侧的头戴式耳机5的扬声器播放的环境音的音量被降低，进一步，实施低通滤波器处理，该环境音所包括的规定的高频成分被降低或者削减。从而，能够再现由于虚拟智能手机12接近虚拟右耳14r而环境音变为拢音的感觉的现象。

并且，从与虚拟智能手机12相关地准备的声音数据中选择“混响音”而附加于立体音响。具体而言，混响音被附加至从满足混响音发生距离条件侧的头戴式耳机5的扬声器播放的立体音响。从相反侧的头戴式耳机5的扬声器播放的立体音响不被施加混响音。被施加的混响音的音量，以随着虚拟智能手机12和虚拟身体部位14(虚拟右耳14r)的距离接近而逐渐增大至规定的上限音量的方式被变更。

图8为示出使手持的虚拟智能手机12通过头戴式耳机2靠近游戏者的耳朵的状态的虚拟现实空间和实体空间各自的状况的图。

当游戏者2进行使虚拟智能手机12进一步接近虚拟身体部位14(虚拟右耳14r)的动作时，不久，二者的距离接近基本满足规定的“通话认定距离条件”。于是，虚拟智能手机12的状态设定被从来电状态向通话状态变更，以虚拟智能手机12为音源的声音，从把持状态来电声音变更为再生通话内容的“通话语音”。

“通话认定距离条件”为示出在实体空间中规定的实际对象物(本实施方式中为游戏者2的右耳)和基准体(本实施方式中为游戏者2的右手或者控制器8)接近的第二距离条件。通话状态设定距离能够适当设定，在本实施方式中设为稍大于头戴式耳机5覆盖耳朵的厚度的值。从而，虽然通过头戴式耳机，但能够以当看不见的智能手机足够靠近耳朵时，仿佛自动地变为通话状态的方式演出。

作为这种状况的音响控制，通话语音被附加至从满足通话认定距离条件侧的头戴式耳机5的扬声器播放的立体音响，但不被附加至从相反侧的扬声器播放的立体音响。在本实施方式中，被附加至从头戴式耳机5的右侧扬声器播放的声音，不被附加至从左侧扬声器播放的声音。

并且，在满足通话认定距离条件侧的头戴式耳机5的扬声器播放的立体音响中，环境音及混响音的音量相比切换至通话语音前被降低。从而，不损坏真实性，对于游戏进行重要的通话语音能够被游戏者2明确地听取。此外，降低后的环境音及混响音的音量可以为“0”。

并且，在本实施方式中，通话认定距离条件可以兼作“噪声发生距离条件”，当虚拟智能手机12基本满足噪声发生距离条件而接近虚拟身体部位14(虚拟右耳14r)时，从与智能手机12关联地准备的声音数据中选择“噪音”，附加至从满足噪声发生距离条件侧的头戴式耳机5的扬声器播放的立体音响。此外，可以使噪声发生距离条件和通话认定距离条件不同。

这里所说的“噪音”，是指当硬质的物体密接于耳洞附近时听到的、表现为“沙”的高频的所谓的白噪声。根据游戏内容，小道具的设定、演出目的，可以为游戏者的心跳声(例如，砰砰声)等。

并且，在不满足通话认定距离条件侧的头戴式耳机5的扬声器播放的立体音响中，以如下方式进行控制：在通话语音再生期间，通话语音以外的声音的音量被暂时降低或者完全不被包括。从而，游戏者演出集中地听取通话语音的状况。

这样，在本实施方式中，能够真实地再现将能够通过hmd6看见却无法作为自己的手的感觉感知到其重量和触感的虚拟智能手机12“拿到手里→靠近头部→贴近耳边→使用开始”为止的过程的声音。也就是说，游戏者能够听到虚拟智能手机12的相对方位或相对距离逐渐变化，甚至能够听到使物体从某一位置接近耳朵时听到的混响音或噪音。进一步，当虚拟智能手机12到达规定的使用位置(与使用实际世界中的智能手机时同样的位置)时，自动地再生通话语音的同时，下调其他的声音的音量(或者，可以不输出)，能够真实地再现并听到听取通话语音的状况。从而，即使为无法再现触觉或持有物体的重量的力觉的vr环境中，也能够真实地提供丰富的vr体验。

并且，混响音或噪音等的演出音，由于只不过对于从靠近虚拟智能手机12侧的头戴式耳机5的扬声器播放的立体音响追加适当的音量，因此，能够通过少量的附加运算实现。通过不具有例如能够物理性地模拟立体音响场的、丰富的运算资源的游戏装置也能够实现。

[功能结构的说明]

图9为示出本实施方式中的服务器系统1100的功能构成例的功能框图。本实施方式中的服务器系统1100包括：操作输入部100s、服务器处理部200s、声音输出部390s、图像显示部392s、通信部394s和服务器存储部500s。

操作输入部100s为用于输入用于服务器系统1100的管理或游戏游艺的各种操作的单元。在本实施方式中，图1的hmd6以及追踪用照相机7，实现输入游戏者2看到的位置或方向、第二身体部位的位置的功能，追踪用照相机7以及控制器8实现输入第一身体部位的位置的功能。

服务器处理部200s例如通过cpu、gpu等的微处理器、asic、ic存储器等的电子部件实现，在包括操作输入部100s或服务器存储部500s的各功能部之间进行数据的输入/输出控制。图1的控制基板1150相当于该处理部200s。并且，服务器处理部200s，基于规定的程序或数据、来自操作输入部100s的操作输入信号、从hmd6，控制器8、追踪用照相机7等接收的数据，执行各种运算处理，综合地控制服务器系统1100的动作。

具体而言，本实施方式的服务器处理部200s包括：用户管理部202、游戏进行控制部210、计时部280、声音生成部290s、图像生成部292s、通信控制部294s。当然也可以适当地包括这以外的功能部。

用户管理部202进行与用户注册手续涉及的处理以及账户(用户id)相关的数据的存储管理。在本实施方式中，进行：1)账户的付与控制、2)与用于游戏内收费的该账户相关联的虚拟账户的设定和收付费控制即关于电子结算的控制、3)登录/退出的管理、4)关于用户的个人信息的注册管理。当然也可以适当地包括关于上述以外的数据的管理。

游戏进行控制部210进行游戏的执行管理所涉及的各种处理。具体而言，游戏进行控制部210包括：基准体追踪部212、虚拟基准体位置控制部214、第二身体部位追踪部216、虚拟身体部位位置控制部218、虚拟对象初始配置控制部220、指示控制部222、对应关系设定部224、虚拟对象位置控制部226、音响输出控制部230。

此外，本实施方式的游戏以单机游戏为前提，在以pvp(玩家对战，playerversusplayer)形式执行游戏的情况下，使游戏进行控制部210执行关于对战者的匹配的控制。

基准体追踪部212以用户的第一身体部位或者控制器作为基准体，追踪其在实体空间中的位置。在本实施方式中，作为第一身体部位，以游戏者2的右手2h或者控制器8为基准体(参照图3)。此外，第一身体部位，根据游戏内容或小道具的任务，左手自不必说，也可以为手指、关节、腿、头部、腹部、背部、肩部、前额、口、鼻等的其他部位。

虚拟基准体位置控制部214在虚拟现实空间内配置追随基准体的位置的虚拟基准体10(参照图3、图4)，以根据基准体追踪部212的追踪的结果追随实体空间内的基准体的位置或姿势的形式控制虚拟基准体10。

第二身体部位追踪部216追踪用户的第二身体部位在实体空间中的位置。在本实施方式中，以左右耳2e为第二身体部位(参照图3)。

虚拟身体部位位置控制部218在虚拟现实空间内配置追随第二身体部位的位置的虚拟身体部位14，以根据第二身体部位追踪部216的追踪的结果追随实体空间内的第二身体部位的位置或姿势的形式控制虚拟身体部位14(参照图3)。

虚拟对象初始配置控制部220对于在虚拟现实空间内被设定了规定的任务的虚拟对象进行初始配置。在本实施方式中，作为虚拟对象为音响发生物，在虚拟桌16上对于作为音响输入/输出装置的虚拟智能手机12进行初始配置(参照图4)。

指示控制部222进行向用户指示使虚拟基准体10接近初始配置的位置的控制。

对应关系设定部224在通过指示控制部222的指示之后，在虚拟基准体10的位置和虚拟对象的位置或者其初始配置的位置满足规定条件的情况下，设定虚拟对象和虚拟基准体10的对应关系。也就是说，在对应关系设定以后，视为虚拟对象处于与虚拟基准体10一体地移动的附带状态。

虚拟对象位置控制部226控制虚拟对象的位置或姿势。在虚拟对象如仙女一样地自律地行动的设定的情况下，执行其行动控制。由于本实施方式的虚拟对象为虚拟智能手机12即静物，因此，仅在被对应关系设定部224设定了对应关系的状态下，使虚拟对象的位置与基准体的位置或者虚拟基准体10的位置相对应地追随(参照图5～图8)。

音响输出控制部230管理虚拟现实空间的立体音响场，进行在游戏者所居的虚拟现实空间的位置能够从立体音响场听到的声音的输出控制。特别是，在本实施方式中，关于虚拟对象以如下方式进行音响输出控制：判定是否满足基于基准体的实体空间内的位置或者虚拟对象的虚拟现实空间内的位置而确定的、使音响变化的位置条件，根据判定结果，控制对应于任务的音响从头戴式耳机5的输出。

更具体而言，将示出在实体空间规定的实际对象物(左右耳2e)和基准体(右手2h)接近的距离条件，或者对应于实际对象物的虚拟现实空间内的虚拟对象物(虚拟身体部位14)和虚拟对象(虚拟智能手机12)接近的距离条件，作为使音响变化的位置条件判定(参照图3)。

并且，音响输出控制部230对于用户的左右耳朵的各耳判定是否满足位置条件，在满足的情况下，从头戴式耳机5的左右输出中的对应于满足的耳朵的输出中，使仿佛虚拟现实空间中的音响发生物接近该耳朵的立体音响输出。

并且，当关注环境音的处理时，音响输出控制部230，作为基于基准体的实体空间内的位置或虚拟对象的虚拟现实空间内的位置而使环境音变化的环境音变更控制部而发挥作用。

也就是说，在不满足使音响变化的位置条件的情况下，不输出对应于虚拟对象的任务的音响而输出虚拟现实空间的环境音，或者，相比对应于任务的音响调大虚拟现实空间的环境音而使其输出。在满足使音响变化的位置条件的情况下，不输出虚拟现实空间的所述环境音而输出对应于任务的音响，或者，相比虚拟现实空间的环境音，调大对应于任务的音响而输出。

并且，作为其一环，音响输出控制部230，在不满足使音响变化的位置条件的情况下，输出虚拟现实空间的环境音；在满足位置条件的情况下，减小虚拟现实空间的环境音的大小，并且，使环境音的高音域衰减而输出。

并且，当关注头戴式耳机5的左右各自的音量时，音响输出控制部230，对于用户的左右耳朵的各耳判定是否满足使音响变化的位置条件，在满足的情况下，使头戴式耳机5的左右输出中的来自对应于不满足的耳朵的输出的输出音响降低。

并且，音响输出控制部230能够进一步使规定的混响音输出，进一步使规定的噪音输出。

计时部280利用系统时钟进行当前时间或限制时间等的计时。

声音生成部290s通过进行声音数据的生成或合成、解码等的电路或ic、软件的执行而实现，对于服务器系统1100系统管理或游戏游艺涉及的立体音响、操作音、bgm等的声音数据进行生成或者解码。并且，将关于系统管理的声音或者游戏游戏涉及的声音的信号向声音输出部390s输出。

声音输出部390s从声音信号再生声音并播放。在图1的示例中，头戴式耳机5或触摸面板1108所一体地具备的扬声器(未图示)相对于该声音输出部390s。

图像生成部292s能够生成关于服务器系统1100的系统管理的图像、游戏游艺所必要的图像等，并向图像生成部392s输出。

图像显示部392s基于从图像生成部292s输入的图像信号，显示用于系统管理的各种图像、游戏游艺所必要的图像。例如，能够通过平板显示器、阴极射线管(crt)、投影仪、头戴式显示器等图像形成装置实现。在图1的示例中，hmd6及触摸面板1108相当于该图像显示部392s。

通信控制部294s执行数据通信所涉及的数据处理，经由通信部394s实现与外部装置(本实施方式中为头戴式耳机5、hmd6、追踪用照相机7、控制器8)的数据的交换。

通信部394s与通信线路9连接而实现通信。例如，通过无线通信器、调制解调器、ta(终端适配器)、有线用通信线缆的插口或控制电路等实现。在图1的示例中通信装置1153相当于该通信部394。

服务器存储部500s存储用于实现使服务器处理部200s综合地控制服务器系统1100的各功能的程序或各种数据等。并且，作为服务器处理部200s的工作区域使用，临时地存储服务器处理部200s根据各种程序而执行的运算结果等。该功能例如通过ram或rom等的ic存储器、硬盘等的磁盘、cd-rom或dvd等的光盘、在线存储器等实现。在图1的示例中，ic存储器1152相当于该服务器存储部500s。

图10为示出本实施方式的服务器存储部500s所存储的程序或数据的示例的图。服务器存储部500s预先存储：服务器系统程序501、服务器程序503、游戏初始设定数据510。并且，作为逐次生成/管理的数据，存储：用户管理数据600、游艺数据700、当前时间800。此外，能够适当地存储计时器或计数器、各种标记等的信息。

服务器系统程序501为通过服务器处理部200s读取并执行而用于实现作为计算机的必要的向服务器系统1100的基本的输入/输出功能的系统程序。

服务器程序503为通过服务器处理部200s读取并执行而用于实现用户管理部202、游戏进行控制部210、计时部280等的功能的程序。

游戏初始设定数据510存储关于游戏的各种初始设定数据。在本实施方式中，包括：虚拟现实空间初始设定数据512、虚拟基准体初始设定数据514、虚拟智能手机初始设定数据516、环境音数据520、混响音数据522、噪音数据524、虚拟智能手机起源音定义数据530。当然也可以适当地包括这以外的数据。

虚拟现实空间初始设定数据512存储：构成虚拟现实空间的各种对象(例如，图4的虚拟桌16等)的模型数据、纹理数据、初始配置位置数据等。

虚拟基准体初始设定数据514存储：虚拟基准体10(参照图4)的模型数据、纹理数据、初始配置位置数据等。

虚拟智能手机初始设定数据516存储：虚拟智能手机12的模型数据、纹理数据、初始配置位置数据等。

环境音数据520为环境音(参照图6)的声音数据或者能够生成该声音数据的基础数据。

混响音数据522为混响音(参照图7)的声音数据或者能够生成该声音数据的基础数据。

噪音数据524为噪音(参照图8)的声音数据或者能够生成该声音数据的基础数据。

虚拟智能手机起源音定义数据530存储以虚拟智能手机12为起源的声音、反过来说的话为定义虚拟智能手机12发出的各种声音的数据。

在本实施方式中，包括：1)非把持状态来电铃声(参照图4)的声音数据或者能够生成该声音数据的基础数据即非把持状态来电铃声数据531、2)把持状态来电铃声(参照图5)的声音数据或者能够生成该声音数据的基础数据即把持状态来电铃声数据532、3)通话语音(参照图8)的声音数据或者生成该声音数据的基础数据即通话语音数据533、4)通话结束后的声音的声音数据或者生成该声音数据的基础数据即通话结束音数据534、5)定义使用该定义数据的条件的发音条件535。

被存储于虚拟智能手机起源音定义数据530的起源音的数据，在非把持状态来电铃声数据531、把持状态来电铃声数据532、通话语音数据533、通话结束音数据534以外，能够适当设定。如果为以智能手机12为音源的声音的话，例如也能够适当地包括由于虚拟智能手机12与其他物品接触或碰撞的情况下而产生的效果音。如果为精灵寄居于虚拟智能手机12的设定的话，也可以包括该精灵的声音。

发音条件535能够适当设定。在本实施方式中，将游戏内的规定的事件发生完毕、执行完毕或者达成完毕(事件完成条件)设定为发音条件535，因此，也为定义与事件的对应关系的信息。具体而言，例如，以游戏者2从游戏开始以规定时间在虚拟现实空间内徘徊而知道了规定的角色的存在或者成为熟人，作为事件完成条件，可以以该条件作为发音条件535。或者，可以以在游戏中达到了规定的状况(例如，发生了通话事件、发生了规定的事件等)为事件完成条件而作为发音条件535。

此外，在本实施方式中，为了容易理解，设虚拟智能手机起源音定义数据530为一个而进行图示/说明，实际上，通过设定不同的发音条件535，分别准备虚拟智能手机起源音定义数据530，能够通过一个虚拟对象(虚拟智能手机12)实现根据各种状况而不同的内容的声音(通话)。

用户管理数据600针对每个注册用户而准备，存储与特有的识别信息即账户相关联的各种数据。在一个用户管理数据600中例如能够适当地包括：特有的账户、注册日期、用于道具购入等的费用的支付的虚拟货币账户余额、登录履历数据等。

游艺数据700按照每个游戏游艺准备，存储记述游戏进行状况的各种数据。例如图11所示，一个游艺数据700包括：游戏者账户701、游艺开始时间702、头部追踪数据710、控制器追踪数据712、虚拟现实空间控制数据730、虚拟立体音场控制数据760。

虚拟现实空间控制数据730存储在虚拟现实空间设定的各种要素的控制数据。在本实施方式中，存储：右眼用虚拟照相机控制数据732、左眼用虚拟照相机控制数据733、虚拟右耳控制数据735、虚拟左耳控制数据736、虚拟右手控制数据737、虚拟左手控制数据738、虚拟智能手机控制数据740、虚拟智能手机起源音设定742。

游戏者账户701被设定于已经登录的游戏者的注册账户。游艺开始时间702设定于登录时的当时时间800。

头部追踪数据710以及控制器追踪数据712分别为hmd6以及控制器8的游戏区域内的位置和姿势的追踪数据，通过追踪处理被逐一地更新。

右眼用虚拟照相机控制数据732、左眼用虚拟照相机控制数据733，为被设定于虚拟现实空间内的游戏者2的头部的右眼用虚拟照相机以及左眼用虚拟照相机的控制数据，分别包括虚拟现实空间内的配置位置坐标和姿势数据，基于头部追踪数据710被逐一地变更。右眼用虚拟照相机以及左眼用虚拟照相机，分配通过hmd6拍摄作为右眼/左眼用而显示的虚拟现实空间的图像。

虚拟右耳控制数据735、虚拟左耳控制数据736，为被设定于虚拟现实空间内的游戏者2的头部的虚拟右耳14r以及虚拟左耳14l的控制数据(参照图3)，分别包括虚拟现实空间内的配置位置坐标和姿势数据，基于头部追踪数据710被逐一地变更。相当于本实施方式中的虚拟身体部位14的控制数据。

虚拟右手控制数据737、虚拟左手控制数据738，为游戏者2的虚拟现实空间内的虚拟右手以及虚拟左手的控制数据，分别包括虚拟现实空间内的配置位置坐标和姿势数据，基于头部追踪数据710被逐一地变更。前者相当于本实施方式中的虚拟基准体10(参照图3)的控制数据。

虚拟智能手机控制数据740为虚拟智能手机12的控制数据，包括虚拟现实空间内的配置位置坐标和姿势数据。

虚拟智能手机起源音设定742存储以虚拟智能手机12为音源而发出的声音的种类的设定。在本实施方式中，设定“静音”、“非把持状态来电铃声”、“把持状态来电铃声”、“通话语音”、“通话结束音”的任一种。

虚拟立体音场控制数据760为存储用于控制虚拟现实空间内的虚拟立体音场的各种数据。例如，存储每个音源的虚拟现实空间内的音源位置坐标、播放方向、音量设定值等。

[动作的说明]

接着，对于服务器系统1100中的处理的流程进行说明。这里说明的处理的流程，通过服务器处理部200s执行服务器系统程序501和服务器程序503而实现。

图12～图13为用于说明游戏者2手持虚拟智能手机12通话，把握游戏世界中的自身所处的状况，直至真正的游戏进行开始之前的游戏进行的开头部分的处理的流程的流程图。

首先，如图12所示，首先，服务器系统1100面向登录的用户准备新的游艺数据700，基于虚拟现实空间初始设定数据512(参照图10)配置各种对象而形成虚拟现实空间，设定该虚拟现实空间的立体音场(步骤s2)。此外，立体音响场中，生成环境音的音源被初始设定。并且，虚拟智能手机12在该时间点以未来电的状态被初始配置于虚拟桌16上。

接着，服务器系统1100催促游戏者进入游戏区域，头部佩戴hmd6，单手持控制器8，开始头部追踪和控制器追踪(步骤s4)。并且，开始对应于头部追踪的虚拟右眼用照相机、虚拟左眼用照相机、虚拟右耳、虚拟左耳的追随控制，开始对应于控制器追踪的虚拟右手、虚拟左手的追随控制(步骤s6)。

接着，服务器系统1100开始通过hmd6显示虚拟空间图像(vr图像)的控制、通过头戴式耳机5播放立体音响的控制(步骤s8)。从而，能够向游戏者2提供仿佛置身虚拟现实空间的视野和环绕音响。

当开始游戏之后(步骤s10)，服务器系统1100判定是否满足发音条件535(步骤s20)。

并且，在满足发音条件535的情况下(步骤s20“是”)，服务器系统1100通过虚拟智能手机12开始“非把持状态来电铃声”的发生(步骤s22；参照图4)。从而，虚拟智能手机12被追加于虚拟立体音场，游戏者2经由头戴式耳机5能够听到虚拟智能手机12的来电铃声。

接着，服务器系统1100向游戏者进行催促接听虚拟智能手机12的电话的显示(步骤s24)。具体而言，进行催促使追随显示于控制器8的位置的虚拟基准体10接近虚拟智能手机12的显示。此外，也可以省略该显示。

当游戏者2为了拿到虚拟智能手机12而伸出手时，不久，判定虚拟基准体10和虚拟智能手机12的距离是否满足把持状态认定距离条件(步骤s26)。

该判定不限于基于虚拟基准体10和虚拟智能手机12的距离而判定，可以为在以虚拟智能手机12的虚拟现实空间内的当前位置(在本实施方式中，由于虚拟智能手机12为静物，因此与初始配置位置相同)为基准点而设定的规定范围内，虚拟基准体10是否到达的位置条件的判定。

并且，在该判定的结果为肯定的情况下(步骤s26“是”)，服务器系统1100将通过虚拟智能手机12发出的声音变更为“把持状态来电铃声”(步骤s28)。并且，虚拟智能手机12视为被虚拟基准体10(本实施方式中为虚拟右手)把持，将二者关联对应，开始如下的对应关联后追随处理：以使虚拟智能手机12的位置及姿势相对于虚拟基准体10维持规定的相对位置关系的方式追随(步骤s30；参照图5～图6)。

并且，就服务器系统1100而言，游戏者2继续使虚拟智能手机12接近头部的动作，不久，判定虚拟身体部位14(虚拟右耳14r)和虚拟智能手机12或者虚拟基准体10(虚拟右手)的距离l是否接近至基本满足混响音发生距离条件(步骤s40)。

该判定不限于基于虚拟身体部位14和虚拟智能手机12或者虚拟基准体10的距离而判定，可以为虚拟智能手机12或者虚拟基准体10是否到达了以虚拟身体部位14为基准点而设定的规定范围的位置条件的判定。

并且，当该判定的结果为肯定的情况下(步骤s40“是”)，服务器系统1100，对于从满足混响音发生距离条件侧(本实施方式中为右侧)的头戴式耳机5的扬声器播放的立体音响的环境音，在降低其音量的同时实施低通滤波器处理，开始规定的高频成分的削除(步骤s42；参照图7)。并且，开始将混响音追加至从满足混响音发生距离条件侧的头戴式耳机5的扬声器播放的声音的控制(步骤s44)。

相反地，当虚拟身体部位14和虚拟智能手机12或者虚拟基准体10的距离l以不再满足混响音发生距离条件的方式而分离时(步骤s40“否”)，服务器系统1100停止步骤s44的环境音的音量降低以及高频成分的削除(步骤s46)，也停止混响音的追加(步骤s48)。

进一步，就服务器系统1100而言，游戏者2继续使虚拟智能手机12接近耳边的动作，不久，判定虚拟身体部位14和虚拟智能手机12或者虚拟基准体10的距离l是否接近至基本满足噪声发生距离条件(步骤s60)。

该判定不限于基于虚拟身体部位14和虚拟智能手机12或者虚拟基准体10的距离而判定，可以为虚拟智能手机12或者虚拟基准体10是否到达了以虚拟身体部位14为基准点而设定的规定范围的位置条件的判定。

并且，当该判定的结果为肯定的情况下(步骤s60“是”)，服务器系统1100，开始将噪音追加于从头戴式耳机5的右侧扬声器播放的立体音响的控制(步骤s62；参照图8)。相反地，当不再满足噪声发生距离条件时(步骤s60“否”)，停止追加噪音的控制(步骤s64)。

接着，就服务器系统1100而言，判定虚拟身体部位14和虚拟智能手机12或者虚拟基准体10的距离l是否满足通话认定距离条件(步骤s70)。

换言之，判定对应于游戏者2的右边的耳2e(第二身体部位；参照图2)这一实际对象物的虚拟现实空间内的虚拟对象物即虚拟身体部位14(虚拟右耳14r)和虚拟对象即虚拟智能手机12接近至某一阈值以上。

并且，该判定不限于基于虚拟身体部位14和虚拟智能手机12或者虚拟基准体10的距离而判定，可以为虚拟智能手机12或者虚拟基准体10是否到达了以虚拟身体部位14为基准点而设定的规定范围的位置条件的判定。

并且，在该判定的结果为肯定的情况下(步骤s70“是”)，服务器系统1100将从虚拟智能手机12发出的声音切换为“通话语音”(步骤s72；参照图8)。

进一步，服务器系统1100使通话语音以外的音量降低(步骤s74)。具体而言，通话语音的内容根据游戏内容而适当地设定。在本实施方式中设定为，通话对方通过电话提供用于理解游戏者置身的状况和游戏结束条件的信息的内容。并且，服务器系统1100设定为，使从头戴式耳机5的接近虚拟智能手机12侧(本实施方式中为右侧)的扬声器播放的立体音响中的、通话语音以外的声音成分，相比通话语音开始前的状态降低，而主要地听到通话语音。并且，使从头戴式耳机5的接近虚拟智能手机12的相反侧(本实施方式中为左侧)的扬声器播放的立体音响整体的音量，相比右侧减小地降低。

当通话语音结束时(步骤s80)，服务器系统1100将虚拟智能手机12发出的声音切换至“通话结束音”(步骤s82)，解除通过步骤s74开始的音量降低(步骤s84)。并且，视为通过之前的虚拟的通话已经向游戏者提供了足够的前提信息，服务器系统1100进行真正的游戏进行控制直至游戏结束(步骤s86)。

如果满足游戏结束的话(步骤s88“是”)，服务器系统1100结束一连串的处理。

以上，根据本实施方式，能够提供了能够进一步提高在虚拟现实空间内使用户使用虚拟的小道具的场景中的现场感的vr涉及的音响控制技术。

此外，在本实施方式中，假定在游戏中登场的小道具为虚拟智能手机而进行了说明，实际运用中，能够使各种种类的小道具登场。这种情况下，关于各种小道具，进行与本实施方式的虚拟智能手机12同样的处理的话，使任一小道具登场都能够得到同样的效果。

[变形例]

以上对于适用本发明的实施方式的一例进行了说明，能够适用本发明的方式不限于上述方式，能够适当地实施构成要素的追加、省略、变更。

[其1]

例如，在上述实施方式中，说明了使用配置于虚拟现实空间的各种小道具，与虚拟现实空间的居民交流的同时完成任务的游戏，游戏的类型和内容能够适当地设定。并且，不仅游戏，也可以提供在虚拟的世界旅行或探索等的vr体验。

[其2]

并且，登场的虚拟对象的种类或数量能够适当设定。也可以根据作为虚拟现实空间中的物品的作用，适当设定其在虚拟现实空间中的尺寸或特性。

如果使多种虚拟对象登场的话，可以按照其初始设定数据和使该虚拟对象的起源音定义数据登场的类别准备。就上述实施方式的示例而言，在使种类不同的多台虚拟智能手机12登场的情况下，可以使虚拟智能手机初始设定数据516和虚拟智能手机起源音定义数据530中分别包括其特有的虚拟对象id的数据，与各机种相关联地准备(参照图10)。

并且，虚拟对象不限于虚拟智能手机12。虚拟对象的尺寸既可以为能够手持的尺寸，也可以为游戏者不能移动的尺寸。具体而言，将虚拟对象设定于虚拟现实空间的壁上，如果将基准体及第二身体部位设定为左右耳的话，当游戏者将耳朵贴于该壁或者接近壁时，也能够通过头戴式耳机5再现仿佛听到壁的那边传来的声音一样的音响。

[其3]

此外，之前说过追踪技术能够适当选定，例如，如图14所示的游戏系统1000b那样地，使用从正面拍摄游戏者2的照相机、具备测定距离游戏者2的正面的各部分的距离的测距传感器的传感器单元70，使用识别游戏者2的骨骼的动作的类型的手势识别技术，作为上述实施方式的头部追踪以及控制追踪的替代。这种情况下，与其说追踪控制器8，不如说追踪拿着控制器8的第一身体部位(手)。

并且，如果能够通过手势识别而识别全身骨骼的动作的话，则相当于上述实施方式中的虚拟右耳14r的第二身体部位，不限于耳朵而能够适当设定。

并且，小道具的作用不限于能够移动的音源，可以设定作为在虚拟现实空间中输入音响的音响输入设备的作用。例如，也能够设定如麦克风那样的能够携带并且能够通过头戴式耳机5听到集音的声音的小道具(例如，虚拟集音装置17)。

更具体而言，如图15所示，将第二身体部位设为游戏者2的心脏2t，作为虚拟身体部位将不可见的虚拟心脏14t设于虚拟现实空间。并且，将虚拟集音装置17集音的声音初始设定为“静音”。

游戏开始，虚拟集音装置17被游戏者2移动至胸口，当虚拟集音装置17和虚拟心脏14t的相对位置接近至满足能够集音距离条件时，将虚拟集音装置17集音的声音切换至规定的“心跳声(第二身体部位处的发生音响)”，可以通过头戴式耳机5再生心跳声。环境音、混响音、噪音的处理可以与上述实施方式相同。

此外，作为其他示例，可以为如下分配的结构。

第一基准体＝游戏者的右手(第一身体部位a)

第二基准体＝游戏者的左手(第一身体部位b)

第一虚拟基准体＝虚拟的右手

第二虚拟基准体＝虚拟的左手

第二身体部位＝游戏者的身体

虚拟对象和作用＝内置有变身功能的皮带扣式道具

并且，当如下控制虚拟对象涉及的音响时，能够通过虚拟现实空间再现变身英雄的变身带。

1)初始状态的音响为静音(意味着虚拟对象未动作)。

2)当虚拟对象和虚拟的右手或者虚拟的左手接近时，将虚拟对象和虚拟的右手或者虚拟的左手相对应，以后，使虚拟对象配合着虚拟的右手或者虚拟的左手而追随移动。

3)当虚拟对象和第二身体部位接近时，解除虚拟对象和虚拟的右手或者虚拟的左手的对应关系。重新地将虚拟对象和第二身体部位相对应，使虚拟对象密接配置于游戏者的腰部前面，将音响变更为动作准备音。

4)使虚拟右手和虚拟左手分别靠近虚拟对象的右侧和左侧，将音响变更为动作音，在虚拟现实空间内发挥变身功能。

符号说明

2…游戏者2e…耳朵2h…右手2t…心脏5…头戴式耳机6…hmd(头戴式显示器)7…追踪用照相机8…控制器10…虚拟基准体12…虚拟智能手机14…虚拟身体部位14r…虚拟右耳14t…虚拟心脏17…虚拟集音装置70…传感器单元200s…服务器处理部210…游戏进行控制部212…基准体追踪部214…虚拟基准体位置控制部216…第二身体部位追踪部218…虚拟身体部位位置控制部220…虚拟对象初始配置控制部222…指示控制部224…对应关系设定部226…虚拟对象位置控制部230…音响输出控制部500s…服务器存储部503…服务器程序510…游戏初始设定数据512…虚拟现实空间初始设定数据514…虚拟基准体初始设定数据516…虚拟智能手机初始设定数据520…环境音数据522…混响音数据524…噪音数据530…虚拟智能手机起源音定义数据531…非把持状态来电铃声数据532…把持状态来电铃声数据533…通话语音数据534…通话结束音数据700…游艺数据710…头部追踪数据712…控制器追踪数据728…虚拟左手控制数据730…虚拟现实空间控制数据732…右眼用虚拟照相机控制数据733…左眼用虚拟照相机控制数据735…虚拟右耳控制数据736…虚拟左耳控制数据737…虚拟右手控制数据740…虚拟智能手机控制数据742…虚拟智能手机起源音设定760…虚拟立体音场控制数据1000、1000b…游戏系统1100…服务器系统1150…控制基板l…距离。