控制设备、控制方法和程序与流程

本公开涉及一种控制设备、控制方法和程序。

背景技术：

近年来，随着显示设备的重量和尺寸的减小，已经开发了安装在头上的显示设备，诸如头戴式显示器(HMD)。此外，为了改善显示在HMD上的视频的沉浸感，已经开发了用于使HMD根据用户的头部运动来显示图像的技术。

例如，专利文献1公开了一种显示控制技术，其用于根据从包括在HMD中的姿态传感器等确定的头部的旋转来改变显示在HMD上的全景图像的视线方向。

引文列表

专利文献

专利文献1：JP 2013-258614A

技术实现要素：

技术问题

然而，在专利文献1中公开的技术中，当用户移动他或她的头部时，改变诸如HMD的显示设备的显示。因此，对执行操作的用户施加负担。

因此，本公开提出了一种新颖的和改进的控制设备、一种新颖的和改进的控制方法以及一种新颖的和改进的程序，其能够就像用户执行头部运动但是用户不移动他或她的头部的情况控制显示。

问题的解决方案

根据本公开，提供一种控制设备，包括：获取单元，其被配置成获取与位于与用户的头部不同位置的、与用户操作相关的对象的位置或姿态有关的位置姿态信息；以及控制单元，其被配置成基于位置姿态信息控制在安装在用户的头部上的显示设备上显示为图像的范围的图像视野。

根据本公开，提供一种控制方法，包括：获取与位于与用户头部不同位置的、与用户操作相关的对象的位置或姿态有关的位置姿态信息；以及基于位置姿态信息控制在安装在用户的头部上的显示设备上显示为图像的范围的图像视野。

根据本公开，提供一种程序，使计算机实现：获取功能，其获取与位于与用户头部不同位置的、与用户操作相关的对象的位置或姿态有关的位置姿态信息；以及控制功能，其基于位置姿态信息控制在安装在用户的头部上的显示设备上显示为图像的范围的图像视野。

发明的有益效果

上述本公开提供了一种控制设备、一种控制方法和一种程序，其能够就像用户执行他或她的头部运动但是用户不移动他或她的头部的情况控制显示。

应注意，上述效果不一定是限制性的。使用或代替上述效果，可以实现本说明书中描述的效果中的任何一个或可以从本说明书掌握的其他效果。

附图说明

[图1]图1是用于描述根据本公开的实施方案的控制设备的概述的图解。

[图2]图2是图示使用根据本公开的第一实施方案的控制设备配置的控制系统的示意性功能配置的方框图。

[图3]图3是图示指示基于由根据实施方案的控制设备决定的图像视野生成的虚拟空间的图像的显示实例的图解。

[图4]图4是图示根据实施方案的控制设备中的用户的头部的运动和操作对象的运动的实例的图解。

[图5]图5是概念性地图示根据实施方案的控制设备的处理的流程图。

[图6A]图6A是图示被识别为操作对象的用户身体的一部分和用户身体的一部分的形状的实例的图解。

[图6B]图6B是图示被识别为操作对象的用户身体的一部分和用户身体的一部分的形状的实例的图解。

[图6C]图6C是图示被识别为操作对象的用户身体的一部分和用户身体的一部分的形状的实例的图解。

[图6D]图6D是图示被识别为操作对象的用户身体的一部分和用户身体的一部分的形状的实例的图解。

[图7]图7是图示显示在根据实施方案的第四修改实例的控制设备上的对应对象的实例的图解。

[图8]图8是用于描述基于根据实施方案的第五修改实例的控制设备的处理中的图像视野生成的图像的图解。

[图9]图9是图示连接到根据实施方案的第七修改实例的控制设备的操作对象的一部分的姿态的变化的实例的图解。

[图10]图10是图示使用根据本公开的第二实施方案的控制设备配置的控制系统的示意性功能配置的方框图。

[图11]图11是概念性地图示根据实施方案的控制设备的处理的流程图。

[图12A]图12A是图示基于显示在根据实施方案的修改实例的控制设备上的操作设备的图像视野生成的图像的实例的图解。

[图12B]图12B是图示基于显示在根据实施方案的修改实例的控制设备上的操作设备的图像视野生成的图像的另一实例的图解。

[图13]图13是图示使用根据本公开的第三实施方案的控制设备配置的控制系统的示意性功能配置的方框图。

[图14]图14是概念性地图示根据实施方案的控制设备的处理的流程图。

[图15]图15是图示使用根据实施方案的第二修改实例的控制设备的控制系统的配置的实例的图解。

[图16]图16是用于描述根据本公开的实施方案的控制设备的硬件配置的图解。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施方案。在本说明书和附图中，具有大体上相同的功能和结构的结构元件用相同的参考数字表示，并且省略对这些结构元件的重复说明。

此外，将按照以下顺序进行描述。

1.根据本公开的实施方案的控制设备的概述

2.第一实施方案(基于操作对象的位置姿态来控制图像视野的实例)

2-1.控制设备的配置

2-2.控制设备的处理

2-3.修改实例

3.第二实施方案(基于操作设备的位置姿态来控制图像视野的实例)

3-1.控制设备的配置

3-2.控制设备的处理

3-3.修改实例

4.第三实施方案(使用操作对象的图像视野的显示的实例)

4-1.控制设备的配置

4-2.控制设备的处理

4-3.修改实例

5.根据本公开的实施方案的控制设备的硬件配置

6.结论

<1.根据本公开的实施方案的控制设备的概述>

首先，将参考图1描述根据本公开的实施方案的控制设备的概述。图1是用于描述根据本公开的实施方案的控制设备的概述的图解。

根据本公开的实施方案的控制设备100是安装在用户的头部上的便携式设备，并且包括覆盖用户的视野的一部分或全部的显示单元。此外，控制设备100具有通信功能和显示控制功能。通信功能从外部设备接收信息或将信息传输到外部设备。显示控制功能是执行与显示相关的控制使得显示器显示图像的功能。因此，控制设备100可以从外部设备接收图像，并且使显示器显示接收的图像。

例如，如图1中所示，控制设备100可以是安装在用户的头部上的眼镜型HMD。控制设备100从外部设备接收图像，并且使显示单元显示接收的图像。

这里，为了改善显示在HMD上的图像中的沉浸感，通常已知通过HMD显示根据用户的头部运动的图像。然而，在这种情况下，当用户移动他或她的头部时，改变HMD的显示。因此，对执行操作的用户施加负担。此外，由于HMD的显示范围保持在用户可以执行头部运动的范围内，所以难以显示超过头部的可移动范围的动态视点变化。因此，根据本公开的实施方案的控制设备100接收关于位于与用户头部不同位置的操作对象的位置或姿态或者位置和姿态(以下也称为位置姿态)的信息(以下也称为位置姿态信息)，并且基于位置姿态信息控制在安装在用户的头部上的显示设备上显示为图像的范围(以下也称为图像视野)。

例如，如图1中所示，控制设备100可以被连接以能够与可以由用户操作的玩偶式操作对象200通信。控制设备100从操作对象200接收位置姿态信息，其指示在操作对象200中检测到的操作对象200的位置姿态。接着，基于接收的位置姿态信息，控制设备100决定其中操作对象200的预定位置(例如，操作对象200的面部的位置)是视线源的图像视野(例如，视角)。然后，控制设备100基于决定的视角生成图像，并且使显示单元显示生成的图像。

以这种方式，根据本公开的实施方案的控制设备100接收关于位于与用户头部不同位置的操作对象等的位置姿态信息，并且基于位置姿态信息控制在安装在用户的头部上的显示设备上显示为图像的范围。因此，通过根据由用户操作的操作对象等的位置姿态显示图像，可能根据用户的意图控制作为显示设备的显示目标的范围，但是用户不移动他或她的头部。此外，在图1中，眼镜型HMD被说明为控制设备100的实例。然而，控制设备100可以是帽型HMD或任何其他类型的HMD，或者可以是连接到显示设备而不包括显示设备的设备，例如服务器。此外，为了便于描述，根据第一至第三实施方案的控制设备100通过对应于实施方案的后缀数字(诸如控制设备100-1和100-2)彼此区分。

<2.第一实施方案(基于操作对象的位置姿态来控制图像视野的实例)>

将描述根据本公开的实施方案的控制设备100的概述。接着，将描述根据本公开的第一实施方案的控制设备100-1。

一般来说，人类组合多个感觉来感知虚拟空间。特别地，在虚拟空间的感知中，重要的是保证视觉感和身体感觉的一致性。当不能保证一致性时，可能出现虚拟空间中的沉浸感或存在感的减少，视觉上引起的晕动病等。另一方面，通常已知根据人头部的运动提供图像。然而，在这种情况下，由于显示为图像的范围保持在人头部可以移动的范围内，所以难以显示超过头部的可移动范围的动态视点变化。

因此，根据本公开的第一实施方案的控制设备100-1通过使用由人操作的另一对象的身体运动而不是人的身体运动来控制在显示单元上显示为与虚拟空间相关的图像的范围。

<2-1.控制设备的配置>

首先，将参考图2描述根据本公开的第一实施方案的控制设备100-1的配置。图2是图示使用根据本公开的第一实施方案的控制设备100-1配置的控制系统的示意性功能配置的方框图。

如图2中所示，控制系统被配置成包括控制设备100-1和操作对象200-1。

(操作对象200-1的功能配置)

操作对象200-1包括传感器202、控制单元204和通信单元206。

传感器202检测操作对象200-1的位置姿态的变化。具体来说，传感器202基于来自控制单元204的指令转变到检测状态，并且检测操作对象200-1的位置姿态的变化和变化量。例如，传感器202可以是加速度传感器、角速度传感器、地磁传感器或任何其他运动传感器。此外，在实施方案中，传感器202检测位置姿态的变化。

控制单元204控制操作对象200-1的所有操作。具体来说，控制单元204通过指示传感器202操作来生成指示由传感器202检测的操作对象200-1的位置姿态的变化量的信息作为位置姿态信息。此外，控制单元204使通信单元206传输生成的位置姿态信息。

通信单元206执行与控制设备100-1的通信。具体来说，通信单元206将由控制单元204生成的位置姿态信息传输到控制设备100-1。例如，通信单元206可以使用WiFi(注册商标)、蓝牙(注册商标)、Zigbee(注册商标)等执行无线通信。此外，通信单元206可以经由有线线路执行通信。

(控制设备100-1的功能配置)

此外，如图2中所示，控制设备100-1包括通信单元102、传感器104、决策单元106、显示控制单元108和显示单元110。

用作获取单元的通信单元102执行与操作对象200-1的通信。具体来说，通信单元102从操作对象200-1接收位置姿态信息。此外，图2图示通信单元102仅执行接收的图解。然而，通信单元102可以将例如用于传输位置姿态信息的请求传输到操作对象200-1。

用作获取单元的传感器104检测用户的头部的运动。具体来说，传感器104检测安装在用户的头部上的控制设备100-1的位置姿态的变化和变化量。此外，根据实施方案的传感器104与传感器202大体上相同，因此将省略其详细描述。

用作控制单元的决策单元106决定图像视野。具体来说，决策单元106基于关于由通信单元102接收的操作对象200-1的位置姿态信息，决定其中操作对象200-1是视线源的图像视野(以下也称为操作对象200-1的图像视野)作为第一图像视野。例如，决策单元106改变对应于由接收的位置姿态信息指示的位置姿态的变化方向和变化量的操作对象200-1的先前图像视野的方向和量，并且决定操作对象200-1的新的图像视野。

此外，由决策单元106决定的操作对象200-1的图像视野包括虚拟空间的至少一部分。例如，决策单元106在控制设备100-1的操作开始时设置操作对象200-1的图像视野(以下也称为初始视野)，并且根据位置姿态的变化从初始视野改变操作对象200-1的图像视野。此外，可以通过构建虚拟空间的应用等来决定或改变初始视野。

此外，操作对象200-1的图像视野可以是其中在操作对象200-1中预先决定的位置是视线源的图像视野。例如，当操作对象200-1具有玩偶形状时，操作对象200-1的图像视野可以是其中等同于玩偶的面部或眼睛的部分是视线源的视角。然而，操作对象200-1的图像视野的视线源不限于此。例如，可以通过用户操作等来设置或改变视线源。

此外，决策单元106基于用户的头部的位置姿态决定等同于用户的视野的图像视野(以下也称为用户的图像视野)作为第二图像视野。例如，决策单元106基于由传感器104检测的控制设备100-1(即，用户的头部)的位置姿态的变化量，决定在上面安装控制设备100-1的用户的图像视野。此外，决策单元106可以基于使用通用头部跟踪技术指定的用户的头部的位置姿态来决定用户的图像视野。

用作控制单元的显示控制单元108控制显示单元110的显示。具体来说，显示控制单元108使显示单元110显示指示基于由决策单元106决定的操作对象200-1的图像视野生成的虚拟空间的图像。此外，将参考图3详细描述显示控制单元108的处理。图3是图示指示基于由根据实施方案的控制设备100-1决定的图像视野生成的虚拟空间的图像的显示实例的图解。

首先，显示控制单元108使显示单元110显示初始视野的虚拟空间。例如，显示控制单元108使显示单元110显示指示初始视野F0的虚拟空间的图像10，如图3的左图中所示。例如，图像视野可以通过在虚拟空间上的摄像头(以下也称为虚拟摄像头)的视角来决定。此外，决定初始视野的虚拟摄像头的视角可以是其中图像视野比人类视野窄的视角。

接着，显示控制单元108根据操作对象200-1的图像视野的变化来改变显示单元110的显示。例如，当由决策单元106决定的操作对象200-1的图像视野按此顺序从初始视野F0改变为图像视野F1、F2和F3时，如图3的右图中所示，显示控制单元108使显示单元110按此顺序显示图像11、12和13。此外，为了便于描述，已经描述了以图像视野以阶梯形式改变的时间间隔来决定操作对象200-1的图像视野的实例。然而，可能以图像视野变得更平滑的时间间隔来执行操作对象200-1的图像视野的决定和基于图像视野生成的图像的显示。

此外，显示控制单元108选择图像视野。具体来说，显示控制单元108基于用户的情况选择操作对象200-1的图像视野和用户的图像视野中的一个作为显示为图像的范围。例如，当执行预定的用户操作时，显示控制单元108选择用户的图像视野。此外，将参考图4详细描述选择图像视野的处理。图4是图示根据实施方案的控制设备100-1中的用户的头部的运动和操作对象200-1的运动的实例的图解。

首先，如上所述，显示控制单元108使显示单元110显示指示基于操作对象200-1的图像视野生成的虚拟空间的图像。例如，显示控制单元108使显示单元110显示指示操作对象200-1的图像视野F0的虚拟空间的图像10，如图3的左图中所示。

然后，当操作对象200-1和用户的头部的位置姿态在相互不同的方向上改变时，显示控制单元108选择用户的图像视野。例如，当操作对象200-1和用户的头部的位置姿态改变时，决策单元106指定操作对象200-1和用户的头部的位置姿态的改变方向。然后，当操作对象200-1的位置姿态的改变方向与用户的头部的位置姿态的改变方向不同时，例如，作为操作对象200-1的图像视野的视线源的头部的旋转方向是与用户的头部的旋转方向相反的方向，如图4中所示，显示控制单元108选择用户的图像视野作为显示为图像的范围。

接着，显示控制单元108使显示单元110显示指示基于用户的所选择的图像视野生成的虚拟空间的图像。例如，当选择用户的图像视野时，例如，显示控制单元108使显示单元110显示指示用户的图像视野F4的虚拟空间的图像14，如图3的右图中所示。用户的图像视野可以比操作对象200-1的图像视野更宽。此外，指示基于用户的图像视野生成的虚拟空间的图像14可以是指示基于操作对象200-1的图像视野(即，所显示的虚拟空间的范围)生成的虚拟空间的图像10至13的组合，如图3的右图中所示。此外，指示基于用户的图像视野生成的虚拟空间的图像可以是指示图像视野的所有虚拟空间的图像，或可以是指示等同于先前显示的图像视野的所有虚拟空间中的一些的图像。

此外，已经描述了预定的用户操作是在不同的方向上改变操作对象200-1的位置姿态和用户的头部的位置姿态的操作的实例。然而，预定的用户操作可以是用户的显式图像视野切换操作。例如，当执行指示图像视野的切换的姿势，或执行对在控制设备100-1中单独包括的操作单元的操作(例如，按下预定按钮)时，显示控制单元108选择用户的图像视野。此外，用户的图像视野可以单独地切换到操作对象200-1的图像视野。

此外，预定的用户操作可以是操作对象200-1的变化。例如，当操作对象200-1改变为另一操作对象200-1时，显示控制单元108根据操作对象200-1的种类切换操作对象200-1的图像视野和用户的图像视野中的一个。

这里，返回参看图2，将描述控制设备100-1的配置。显示单元110基于来自显示控制单元108的指令执行显示。具体来说，显示指示基于由显示控制单元108选择的图像视野生成的虚拟空间的图像。例如，显示单元110可以是显示器，诸如液晶显示器或电致发光(EL)显示器。

<2-2.控制设备的处理>

接着，将参考图5描述根据实施方案的控制设备100-1的处理。图5是概念性地图示根据实施方案的控制设备100-1的处理的流程图。

首先，控制设备100-1等待直到接收关于操作对象200-1的位置姿态信息(步骤S602)。具体来说，通信单元102接收在操作对象200-1中生成的关于操作对象200-1的位置姿态信息。

当接收位置姿态信息时，控制设备100-1基于关于操作对象200-1的接收的位置姿态信息决定操作对象200-1的图像视野(步骤S604)。具体来说，决策单元106根据由关于操作对象200-1的接收的位置姿态信息指示的位置姿态的变化量，改变操作对象200-1的图像视野。

接着，控制设备100-1获取关于控制设备100-1的位置姿态信息(步骤S606)。具体来说，决策单元106从传感器104获取位置姿态信息，其包括指示由传感器104检测的控制设备100-1的位置姿态的变化量的信息。

接着，控制设备100-1基于关于控制设备100-1的获取的位置姿态信息决定用户的图像视野(步骤S608)。具体来说，决策单元106根据由关于控制设备100-1的获取的位置姿态信息指示的位置姿态的变化量，改变用户的图像视野。

接着，控制设备100-1确定操作对象200-1和用户的头部的位置姿态是否在相互不同的方向上改变(步骤S610)。具体来说，决策单元106确定操作对象200-1的位置姿态的改变方向是否不同于用户的头部的位置姿态的改变方向。

当确定操作对象200-1和用户的头部的位置姿态在相互不同的方向上改变时，控制设备100-1基于用户的图像视野生成图像(步骤S612)。具体来说，当操作对象200-1的位置姿态的改变方向被确定为不同于用户的头部的位置姿态的改变方向时，显示控制单元108基于用户的图像视野生成指示虚拟空间的图像。

此外，当确定操作对象200-1和用户的头部的位置姿态在相互不同的方向上没有改变时，控制设备100-1基于操作对象200-1的图像视野生成图像(步骤S614)。具体来说，当确定操作对象200-1的位置姿态的改变方向与用户的头部的位置姿态的改变方向相同或与用户的头部的位置姿态的改变方向不同时，使得操作对象200-1的位置姿态的改变方向被认为与用户的头部的位置姿态的改变方向相同，则显示控制单元108基于操作对象200-1的图像视野生成指示虚拟空间的图像。此外，即使当操作对象200-1和用户的头部的位置姿态中的一个或两个没有改变时，决策单元106也执行与上述确定相同的确定。

控制设备100-1显示生成的图像(步骤S616)。具体来说，显示控制单元108使显示单元110显示生成的图像。

以这种方式，根据本公开的第一实施方案，控制设备100-1接收关于与用户操作相关并且位于与用户头部不同位置的对象的位置姿态的位置姿态信息，并且基于位置姿态信息控制在安装在用户的头部上的显示单元上显示为图像的范围的图像视野。因此，通过根据由用户操作的操作对象等的位置姿态显示图像，可能根据用户的意图控制作为显示设备的显示目标的范围，但是用户不移动他或她的头部。此外，因此，可能向用户提供超过用户头部的可移动范围的运动的动态视点变化。

此外，上述图像视野包括虚拟空间的至少一部分。因此，通过利用对真实世界的操作来决定要显示在虚拟空间中的范围，可能改善虚拟空间中的沉浸感。

此外，控制设备100-1获取关于用户的头部的位置姿态信息，并且基于用户的情况选择操作对象200-1的图像视野和用户的图像视野中的一个作为显示为图像的范围。因此，通过切换图像视野，可能显示基于适合于用户的图像视野生成的图像。

此外，当执行预定的用户操作时，控制设备100-1选择用户的图像视野。因此，通过切换由用户的操作引起的图像视野，可能减少在图像视野的切换中对用户引起突然感的可能性。

此外，当与用户操作和用户的头部相关的位置姿态在相互不同的方向上改变时，控制设备100-1选择用户的图像视野。一般来说，当人类改变视野时，人类开始移动或旋转其头部。因此，当用户操作操作对象200-1以改变图像视野时，控制设备100-1的用户可以移动他或她的头部。这里，当操作对象200-1的图像视野的改变方向与用户的头部的改变方向(即，用户的图像视野的改变方向)不同时，在某些情况下，用户可能感觉不舒服并感觉恶心。因此，在这种情况下，控制设备100-1可以通过基于用户的图像视野执行显示来抑制用户的不适感的发生。

<2-3.修改实例>

上面已经描述了本公开的第一实施方案。此外，实施方案不限于上述实例。在下文中，将描述实施方案的第一至第七修改实例。

(第一修改实例)

在实施方案的第一修改实例中，当用户具有视觉上引起的晕动病时，控制设备100-1可以将图像切换为基于用户的图像视野生成的图像。具体来说，控制设备100-1进一步包括确定单元，其确定用户是否处于视觉上引起的晕动病状态。当确定单元确定用户处于视觉上引起的晕动病状态，显示控制单元108选择用户的图像视野。更具体来说，当用户的头部的位移等于或大于阈值时，确定单元确定用户处于视觉上引起的晕动病状态。

例如，确定单元基于关于由传感器104检测的用户的头部的位置姿态信息计算头部的位移量。然后，当头部的计算的位移量等于或大于阈值时，确定单元确定用户处于视觉上引起的晕动病状态。当确定单元确定用户处于视觉上引起的晕动病状态并且选择操作对象200-1的图像视野时，显示控制单元108选择用户的图像视野并且使显示单元110将图像切换为基于用户的图像视野生成的图像。

以这种方式，根据实施方案的第一修改实例，控制设备100-1包括确定用户是否处于视觉上引起的晕动病状态的确定单元。当确定单元确定用户处于视觉上引起的晕动病状态时，显示控制单元108选择用户的图像视野。因此，通过根据用户的身体状况的变化切换图像视野，可能防止用户的身体状况变差。

此外，当用户的头部的位移等于或大于阈值时，确定单元确定用户处于视觉上引起的晕动病状态。此外，通过基于由传感器104获取的信息确定视觉上引起的晕动病状态，可能抑制向控制设备100-1添加功能。因此，可能降低控制设备100-1的成本。

此外，基于关于用户的生物信息，确定单元可以确定用户是否处于视觉上引起的晕动病状态。例如，基于用户的出汗或脉搏状态，确定单元可以确定用户是否处于视觉上引起的晕动病状态。此外，可以应用用于确定晕动病的技术。

(第二修改实例)

在实施方案的第二修改实例中，当多个用户共享虚拟空间时，图像视野对于每个用户可以不同。具体来说，显示控制单元108基于用户是否是操作对象200-1的图像视野的操作者来选择操作对象200-1的图像视野或用户的图像视野中的一个。此外，将参考图3详细描述修改实例的处理。

通信单元102执行与另一控制设备100-1的通信以传输和接收用于虚拟显示的操作请求。例如，通信单元102基于用户操作等将操作请求传输到另一控制设备100-1。此外，当通信单元102从另一控制设备100-1接收操作请求时，通信单元102向显示控制单元108通知操作请求的接收。然后，显示控制单元108使显示单元110执行用于提示用户确定是否遵守操作请求的显示并且执行操作。当用户执行指示遵守操作请求的操作时，通信单元102将对操作请求的响应传输到另一控制设备100-1。

然后，当从另一控制设备100-1接收对操作请求的传输响应时，显示控制单元108使显示单元110显示基于操作对象200-1的图像视野生成的图像。例如，如图3的左图中所示，显示控制单元108使显示单元110显示基于连接到控制设备100-1的操作对象200-1的图像视野生成的图像。

此后，当从另一控制单元100-1接收操作请求时，显示控制单元108选择基于用户的图像视野生成的图像。例如，当接收指示遵守另一控制单元100-1的操作请求的响应时，显示控制单元108将显示在显示单元110上的图像切换为基于用户的图像视野生成的图像，如图3的右图中所示。

以这种方式，根据实施方案的第二修改实例，显示控制单元108基于用户是否是操作对象200-1的图像视野的操作者来选择操作对象200-1的图像视野和用户的图像视野中的一个。因此，当多个用户共享虚拟空间时，可能防止显示基于由另一用户操作的操作对象200-1的图像视野生成的图像，并且防止用户处于视觉上引起的晕动病状态。

此外，在基于用户的图像视野生成的图像中，可以显示指示另一用户的操作对象200-1的图像视野的对象。

(第三修改实例)

在实施方案的第三修改实例中，控制单元100-1可以将除了用户的头部之外的身体的一部分(以下也称为用户身体的一部分)识别为操作对象200-1。具体来说，基于关于用户身体的一部分的位置姿态信息，决策单元106决定其中用户身体的一部分是视线源的图像视野(以下也称为用户身体的一部分的图像视野)。显示控制单元108使显示单元110显示基于用户身体的一部分的图像视野生成的图像。此外，关于用户身体的一部分的位置姿态信息可以从安装在用户身体的一部分上的运动传感器来获取，或者当外部设备分析其中用户身体的一部分是对象的图像时，可以通过来自控制设备100-1的外部设备的通信来获取。此外，将参考图6A至图6D详细描述修改实例。图6A至图6D是图示被识别为操作对象200-1的用户身体的示例性部分和用户身体的一部分的形状的图解。

首先，决策单元106指定用户身体的一部分的形状。例如，位置姿态信息包括指示用户身体的一部分和用户身体的一部分的形状的信息(以下也称为部分信息)。然后，决策单元106从获取的位置姿态信息获取部分信息，并且通过将由获取的部分信息指示的部分的形状与存储在单独包括在控制设备100-1中的存储单元中的部分和形状图案进行比较，来指定用户身体的一部分的形状。作为用户身体的一部分的形状，例如，可以考虑两个手指竖立同时手背面向前侧的形状(如图6A中所示)，两组中的每组的两个手指对准在一起并且剩余的手指分离同时手掌面向前侧的形状(如图6B中所示)，五个手指中的一个伸展同时手掌面向前侧的形状(如图6C中所示)，以及手臂被推出同时手背面向前侧的形状(如图6D中所示)。

接着，决策单元106基于用户身体的一部分的指定形状决定用户身体的一部分的图像视野。例如，可以根据用户身体的一部分的形状预先决定用作视线源的位置。例如，在图6A中所示的形状中，两个手指的基部用作视线源。在图6B中所示的形状中，布置在中间的两个手指的前端用作视线源。在图6C中所示的形状中，伸展手指的前端是视线源。在图6D中所示的形状中，手和肘之间的手臂的预定位置是视线源。因此，决策单元106设置其中根据用户身体的一部分的形状指定的位置是视线源的图像视野作为用户身体的一部分的图像视野的初始视野，并且基于获取的位置姿态信息决定用户身体的一部分的图像视野。

然后，显示控制单元108使显示单元110显示基于用户身体的一部分的决定的图像视野生成的图像。细节与第一实施方案的处理大体上相同，因此将省略其描述。

以这种方式，根据实施方案的第三修改实例，决策单元106根据关于用户身体的一部分的位置姿态信息决定用户身体的一部分的图像视野，并且显示控制单元108使显示单元110显示基于用户身体的一部分的图像视野生成的图像。因此，当用户身体的一部分被视为操作体时，用户可以比当操作体是设备时更简单地在与用户的视野不同的图像视野中执行操作。

此外，图6A至图6D中所示的形状已经在上面被描述为用户身体的部分的实例，但是用户身体的部分不限于此。可以使用能够表示用户的头部的运动的各部分。

(第四修改实例)

在实施方案的第四修改实例中，控制设备100-1可以在基于操作对象200-1的图像视野生成的图像中执行对应于操作对象200-1(以下也称为对应对象)的显示。具体来说，显示控制单元108使显示单元110在基于操作对象200-1的图像视野生成的图像中显示指示操作对象200-1的至少一部分的对应对象。此外，将参考图7详细描述根据修改实例的处理。图7是图示由根据实施方案的第四修改实例的控制设备100-1显示的对应对象的实例的图解。

首先，显示控制单元108根据操作对象200-1的形状或种类来获取对应对象。例如，通信单元102从操作对象200-1接收指示连接到控制设备100-1的操作对象200-1的种类的信息。然后，显示控制单元108从存储单元获取对应于由接收的信息指示的操作对象200-1的种类的对应对象。例如，当操作对象200-1具有玩偶形状时，对应对象可以是指示玩偶的手和手臂的对象20，如图7中所示。此外，显示控制单元108可以经由通信单元102从外部设备获取对应对象。

接着，显示控制单元108执行控制，使得在基于操作对象200-1的图像视野生成的图像中显示对应对象。例如，获取的对象20叠加在基于显示在显示单元110上的操作对象200-1的图像视野生成的图像10上。

此外，可以根据操作对象200-1的位置姿态来改变虚拟对象的显示。例如，当操作对象200-1是玩偶并且玩偶的手弯曲时，图7中所示的对象20的玩偶的手弯曲。

以这种方式，根据实施方案的第四修改实例，显示控制单元108执行控制，使得在基于操作对象200-1的图像视野生成的图像中显示对应于操作对象200-1的对应对象。因此，可能使用户认识到通过用户操作来控制显示，并且可能提高用户操作感和显示变化的一致性。

此外，对应对象指示操作对象200-1的至少一部分。因此，通过提供对应对象与操作对象200-1一致的印象，可能提高对虚拟空间的操作的现实感。

此外，对应对象根据操作对象200-1的形状或种类而不同。因此，通过使操作对象200-1对应于虚拟对象的显示，可能进一步提高对虚拟空间的操作的现实感。

此外，上面已经描述了操作对象200-1是设备的实例，但是操作对象200-1可以是用户身体的一部分。此外，已经描述了在基于操作对象200-1的图像视野生成的图像上显示对应对象的实例，但是可以在基于用户的图像视野生成的图像中显示对应对象。

(第五修改实例)

在实施方案的第五修改实例中，控制设备100-1可以显示根据基于虚拟空间上的对象(以下称为虚拟对象)的位置姿态指定的图像视野(以下也称为虚拟对象的图像视野)生成的图像。具体来说，显示控制单元108指定虚拟空间上的虚拟对象的运动方向，并且使显示单元110显示基于指定运动方向是视线目的地的图像视野生成的图像。此外，将参考图8详细描述根据修改实例的处理。图8是用于描述基于根据实施方案的第五修改实例的控制设备100-1的处理中的图像视野生成的图像的图解。

首先，显示控制单元108使显示单元110显示虚拟对象。例如，显示控制单元108可以在基于操作对象200-1的图像视野生成的图像10中显示虚拟对象30，诸如在图8的左图中所示的车辆。

接着，当选择虚拟对象时，显示控制单元108使显示单元110在基于虚拟对象是视线源的图像视野生成的图像中切换显示。例如，当拾取图8的左图中所示的虚拟对象30时，显示控制单元108使显示单元110将显示切换到基于在虚拟对象30的运动方向上的图像视野(其中虚拟对象30是视线源)生成的图像10，如图8的中间图中所示。

接着，当通过用户操作来改变虚拟对象的位置姿态时，决策单元106根据虚拟对象的位置姿态的变化来改变图像视野。例如，决策单元106从关于虚拟对象的坐标信息等检测位置姿态的变化，并且根据该变化来改变虚拟对象的图像视野。

然后，显示控制单元108使显示单元110显示基于虚拟对象的图像视野生成的图像。细节与上面在实施方案等中描述的细节大体上相同，因此将省略其描述。

以这种方式，根据实施方案的第五修改实例，显示控制单元108使显示单元110显示根据基于虚拟空间上的对象的位置姿态指定的图像视野生成的图像。因此，通过将显示切换到基于用户在虚拟空间上操作的虚拟对象的图像视野生成的图像，可能改善用户在虚拟空间中的沉浸感。

(第六修改实例)

在实施方案的第六修改实例中，控制设备100-1可以基于关于用户的头部的位置姿态信息来控制第五修改实例中的虚拟对象的图像视野。具体来说，显示控制单元108根据用户的头部的位置或姿态的变化来改变虚拟对象的图像视野。此外，将参考图8详细描述根据修改实例的处理。

首先，当执行选择虚拟对象的操作时，显示控制单元108使显示单元110显示虚拟对象，并且切换基于虚拟对象的图像视野生成的图像。这里，在图像切换时用户的头部的位置姿态可以是视线源相对于与切换后的图像相关的图像视野的位置姿态。此外，图像切换处理与第五修改实例的处理大体上相同，因此将省略其描述。

接着，决策单元106根据当用户的头部的位置姿态改变时的变化来改变虚拟对象的图像视野。例如，当传感器104检测到控制设备100-1(即，用户的头部)的位置姿态的变化时，如图8的右图中所示，决策单元106根据来自用户的头部的视线源的位置姿态的变化量来改变虚拟对象30的图像视野。

然后，显示控制单元108使显示单元110显示基于虚拟对象的改变的图像视野生成的图像。例如，显示控制单元108使显示单元110显示从车辆观察作为虚拟对象30的车辆的行进方向上左侧的风景的图像，如图8的右图中所示。

以这种方式，根据实施方案的第六修改实例，显示控制单元108基于关于用户的头部的位置姿态信息来控制第五修改实例中的虚拟对象的图像视野。因此，通过根据用户的头部在真实空间中的运动来改变虚拟对象的图像视野，可能进一步改善虚拟空间中的沉浸感。

此外，上面已经描述了改变虚拟对象的图像视野的实例，但是可以改变操作对象200-1的图像视野。

(第七修改实例)

在实施方案的第七修改实例中，控制设备100-1可以根据操作对象200-1的姿态的变化来改变虚拟对象在虚拟空间上的运动速度。具体来说，当操作对象200-1的一部分的位置姿态改变时，显示控制单元108根据操作对象200-1的一部分的位置姿态的变化来改变虚拟对象在虚拟空间上的运动速度。此外，将参考图9详细描述根据修改实例的处理。图9是图示连接到根据实施方案的第七修改实例的控制设备100-1的操作对象200-1的一部分的姿态的变化的实例的图解。

操作对象200-1检测多条位置姿态信息。例如，操作对象200-1包括两个传感器202。控制单元204基于由每个传感器202检测的位置姿态的变化生成位置姿态信息。例如，传感器202可以分别提供在操作对象200-1的头部A和下部B中。此外，提供传感器202的形式不限于此。例如，传感器202可以间接地安装在用户的主要部分中的每个中。此外，位置姿态信息包括指示提供传感器202的位置的信息。

当从操作对象200-1接收位置姿态信息时，显示控制单元108确定仅操作对象200-1的一部分的位置姿态是否改变。例如，如图9中所示，当仅操作对象200-1的上半部分以下部B为中心倾斜时，提供在头部A中的传感器202检测到姿态改变的事实，但是提供在下部B中的传感器202检测到姿态没有改变或仅改变到被认为没有改变的程度的事实。因此，接收与提供在头部A中的传感器202相关的位置姿态信息，但是不接收与提供在下部B中的传感器202相关的位置姿态信息。因此，基于是否接收位置姿态信息，显示控制单元108确定仅操作对象200-1的一部分的位置姿态改变。这里，显示控制单元108确定仅操作对象200-1的头部A的周边的姿态改变。

然后，当显示控制单元108确定仅操作对象200-1的一部分的位置姿态改变时，显示控制单元108改变虚拟对象的运动速度。例如，如图9中所示，当仅操作对象200-1的头部A的周边的姿态改变时，显示控制单元108提高虚拟对象的运动速度，而不改变操作对象200-1的图像视野。

此外，显示控制单元108根据来自由位置姿态信息指示的位置姿态的参考的变化量来改变虚拟对象的运动速度。例如，如图9的左图中所示，可以将初始视野中的位置姿态设置为参考。然后，当姿态改变到图9的中间图中所示的以下部B为中心的角度时，提高虚拟对象的运动速度。此外，当姿态改变到图9的右图中所示的角度时，进一步提高虚拟对象的运动速度。

以这种方式，根据实施方案的第七修改实例，当操作对象200-1的仅一部分的位置姿态改变时，显示控制单元108根据操作对象200-1的一部分的位置姿态的变化量来改变虚拟对象在虚拟空间上的运动速度。因此，通过直观地操作虚拟对象，可能抑制由于操作而导致意识从虚拟空间返回到真实空间。

此外，上面已经描述了当操作对象200-1的位置姿态没有改变时不接收位置姿态信息的实例。然而，当传感器202中的一个检测到操作对象200-1的位置姿态改变的事实时，控制单元204可以使通信单元206传输关于每个传感器202的位置姿态信息。在这种情况下，显示控制单元108将接收的位置姿态信息与先前的位置姿态信息进行比较，以确定位置姿态是否改变。

此外，上面已经描述了一个操作对象200-1的不同位置处的位置姿态改变的情况，但是显示控制单元108可以基于多个操作对象200-1中的每个的位置姿态的变化来执行处理。例如，当多个操作对象200-1中的仅一个操作对象200-1的位置姿态改变时，显示控制单元108根据一个操作对象200-1的位置姿态的变化来改变虚拟对象在虚拟空间上的运动速度。在这种情况下，可以比在一个操作对象200-1的情况下更容易地执行改变虚拟对象的运动速度的操作，因此可能提高用户的可操作性。

<3.第二实施方案(基于操作设备的位置姿态来控制图像视野的实例)>

上面已经描述了根据本实施方案的第一实施方案的控制设备100-1。接着，将描述根据本实施方案的第二实施方案的控制设备100-2。控制设备100-2控制与根据对操作对象200-2的操作而控制的操作设备300的图像相关的图像视野。

<3-1.控制设备的配置>

首先，将参考图10描述根据本公开的第二实施方案的控制系统和控制设备100-2的配置。图10是图示使用根据本公开的第二实施方案的控制设备100-2配置的控制系统的示意性功能配置的方框图。此外，将省略与根据第一实施方案的功能大体上相同的功能的描述。

如图10中所示，根据第二实施方案的控制系统被配置成包括控制设备100-2、操作对象200-2和操作设备300。

(控制设备100-2的功能配置)

除了通信单元102、传感器104、决策单元106、显示控制单元108和显示单元110之外，控制设备100-2还包括操作控制单元112。

通信单元102与操作设备300通信。具体来说，通信单元102将操作请求传输到操作设备300，并且从操作设备300接收位置姿态信息和图像。

用作控制单元的操作控制单元112基于关于操作对象200-2的位置姿态信息来控制操作设备300。具体来说，操作控制单元112根据由从操作对象200-2接收的位置姿态信息指示的位置姿态的变化来生成用于使操作设备300改变位置姿态的操作请求。

决策单元106决定与操作设备300相关的图像视野。具体来说，决策单元106基于关于由通信单元102接收的操作设备300的位置姿态信息来决定其中操作设备300是视线源的图像视野(以下也称为操作设备300的图像视野)。该处理的细节与第一实施方案中的决定操作对象200-1的图像视野的处理大体上相同，因此将省略其描述。

显示控制单元108使显示单元110显示从操作设备300接收的图像。此外，显示控制单元108基于用户的情况选择操作设备300的图像视野和用户的图像视野中的一个。此外，当操作设备300和用户的头部的位置姿态在相互不同的方向上改变时，显示控制单元108选择用户的图像视野。基于用户的图像视野生成的图像可以是广角图像或整个天球图像，或者可以是通过组合通过由多个成像单元或外部图像设备成像获得的图像而生成的图像。该处理的细节与第一实施方案中的处理大体上相同，因此将省略其描述。

(操作设备300的功能配置)

如图10中所示，操作设备300包括通信单元302、控制单元304、传感器306和成像单元308。

通信单元302与控制设备100-2通信。具体来说，通信单元302从控制设备100-2接收操作请求，并且将位置姿态信息和图像传输到控制设备100-2。此外，通信单元302通过有线通信或无线通信执行与控制设备100-2的通信。

控制单元304控制操作设备300的所有操作。具体来说，控制单元304基于由传感器306检测的位置姿态的变化来生成位置姿态信息，并且使通信单元302将生成的位置姿态信息传输到控制设备100-2。

此外，控制单元304基于从控制设备100-2接收的操作请求来控制操作设备300的运动。例如，控制单元304指示单独包括在操作设备300中的电动机、致动器等操作，并且使操作设备300根据来自控制设备100-2的操作请求执行操作。

此外，控制单元304控制成像单元308的操作。例如，响应于操作指令，控制单元304将成像单元308转变到成像状态，或将成像单元308从成像状态转变到原始状态。控制单元304使通信单元302将通过由成像单元308的成像获得的图像传输到控制设备100-2。

传感器306检测操作设备300的位置姿态的变化。此外，根据实施方案的传感器306与第一实施方案中的传感器104和202大体上相同，因此将省略其详细描述。

成像单元308对操作设备300的周边的真实空间的一部分进行成像。具体来说，成像单元308基于来自控制单元304的操作指令转变到成像状态，并且在成像状态期间定期地执行成像。然后，成像单元308将通过成像获得的图像提供给控制单元304。例如，成像单元308可以包括成像光学系统(诸如拍摄镜头和变焦镜头聚光灯)以及信号转换元件(诸如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS))。此外，成像单元308可以执行广角或整个天球的成像。

<3-2.控制设备的处理>

接着，将参考图11描述根据实施方案的控制设备100-2的处理。图11是概念性地图示根据实施方案的控制设备100-2的处理的流程图。此外，将省略与根据第一实施方案的功能大体上相同的功能的描述。

首先，控制设备100-2等待直到接收关于操作对象200-2的位置姿态信息(步骤S702)。

当从操作对象200-2接收位置姿态信息时，控制设备100-2指示操作设备300基于关于操作对象的位置姿态信息操作(步骤S704)。具体来说，操作控制单元112基于从操作对象200-2接收的位置姿态信息来生成操作请求。然后，操作控制单元112使通信单元102将生成的操作请求传输到操作设备300。

接着，控制设备100-2等待直到从操作设备300接收位置姿态信息(步骤S706)。

当从操作设备300接收位置姿态信息时，控制设备100-2基于关于操作设备300的位置姿态信息来检测操作设备300的图像视野(步骤S708)。

接着，控制设备100-2获取关于控制设备的位置姿态信息(步骤S710)，并且基于关于控制设备的获取的位置姿态信息来决定用户的图像视野(步骤S712)。

接着，控制设备100-2确定操作设备300和用户的头部的位置姿态是否在相互不同的方向上改变(步骤S714)。

当控制设备100-2确定操作设备300和用户的头部的位置姿态在相互不同的方向上没有改变时，控制设备100-2显示从操作设备接收的图像(步骤S716)。具体来说，通信单元102从操作设备300接收通过由成像单元308的成像获得的图像。然后，当确定操作设备300的位置姿态的改变方向与用户的头部的位置姿态的改变方向相同，或被认为不同于用户的头部的位置姿态的改变方向到改变方向彼此相同的程度时，显示控制单元108使显示单元110显示接收的图像。

当确定操作设备300和用户的头部的位置姿态在相互不同的方向上改变时，控制设备100-2基于从操作设备300接收的图像来生成等同于用户的图像视野的图像(步骤S718)，并且显示生成的图像(步骤S720)。具体来说，当确定操作设备300的位置姿态的改变方向不同于用户的头部的位置姿态的改变方向时，显示控制单元108基于从操作设备300接收的图像来生成图像。例如，显示控制单元108组合多个接收的图像以生成一个图像。然后，显示控制单元108使显示单元110显示生成的图像。基于用户的图像视野的宽度生成所生成的图像。

以这种方式，根据本公开的第二实施方案，控制设备100-2基于根据对操作对象200-2的操作而控制的操作设备300的图像视野来控制显示。因此，例如，可能抑制用户的视觉上引起的晕动病，这是由于基于机器人等的图像视野生成的图像通过在机器人等的操作中与用户的头部的运动不一致的操作而改变。

此外，图像视野包括真实空间的一部分。此外，图像视野包括成像设备的成像中的对象的范围。因此，可能向用户提供超过在真实空间中用户头部的可移动范围的运动的动态视点变化。

<3-3.修改实例>

上面已经描述了本公开的第二实施方案。此外，实施方案不限于上述实例。在下文中，将描述实施方案的修改实例。

在实施方案的修改实例中，控制设备100-2可以控制操作设备300的图像视野的宽度。具体来说，操作控制单元112根据用户操作的操作量来控制操作设备300的图像视野的宽度。此外，将参考图12A和图12B详细描述根据修改实例的处理。图12A和图12B是图示基于由根据实施方案的修改实例的控制设备100-2显示的操作设备300的图像视野生成的图像的实例的图解。

操作控制单元112根据操作对象200-2的操作量来改变操作设备300的图像视野的宽度。具体来说，操作控制单元112使控制单元304根据由关于操作对象200-2的接收的位置姿态信息指示的位置姿态的变化量来改变包括在操作设备300中的成像单元308的视角。例如，操作控制单元112使控制单元304随着由位置姿态信息指示的位置姿态的变化量的增加而加宽成像单元308的视角，并且接收图像，如图12A中所示。此外，操作控制单元112使控制单元304随着位置姿态的变化量的减小而缩小成像单元308的视角，并且接收图像，如图12B中所示。

以这种方式，根据实施方案的修改实例，显示控制单元108根据用户操作的操作量来控制操作设备300的图像视野的宽度。因此，通过估计操作的精细度并控制图像视野的宽度，可能向用户提供适合于操作的显示。因此，可能提高用户的便利性。

此外，根据修改实例的处理也可以应用于第一实施方案。具体来说，显示控制单元108根据用户操作的操作量来控制操作设备300的图像视野的宽度。例如，显示控制单元108根据由关于操作对象200-2的接收的位置姿态信息指示的位置姿态的变化量来改变虚拟摄像头的视角。

此外，显示控制单元108可以根据第一实施方案中的操作对象200-1的大小来改变图像视野的宽度。具体来说，通信单元102从操作对象200-1接收与操作对象200-1的大小相关的信息，并且显示控制单元108根据操作对象200-1的接收的大小来改变虚拟摄像头的视角。在这种情况下，用户可以感测操作对象200-1的主体的大小，因此可能改善显示中的沉浸感。

<4.第三实施方案(使用操作对象的图像视野的显示的实例)>

上面已经描述了根据本公开的第二实施方案的控制设备100-2。接着，将描述根据本公开的第三实施方案的控制设备100-3。控制设备100-3将基于操作对象200-3的图像视野生成的图像叠加在从操作对象200-3获得的图像上。<4-1.控制设备的配置>

首先，将参考图13描述根据本公开的第三实施方案的控制设备100-3和控制系统的配置。图13是图示使用根据本公开的第三实施方案的控制设备100-3配置的控制系统的示意性功能配置的方框图。此外，将省略与根据第一和第二实施方案的功能大体上相同的功能的描述。

(操作对象200-3的功能配置)

如图13中所示，除了传感器202、控制单元204和通信单元206之外，操作对象200-3还包括成像单元208。

控制单元204控制成像单元208的操作。具体来说，控制单元204响应于操作指令，将成像单元208转变到成像状态或将成像单元208从成像状态转变到原始状态。控制单元204使通信单元206将通过由成像单元208的成像获得的图像传输到控制设备100-3。

除了位置姿态信息之外，通信单元206还将通过由成像单元208的成像获得的图像传输到控制设备100-3。

成像单元208对操作对象200-3的周边进行成像。具体来说，成像单元208的功能与第二实施方案中的成像单元308的功能大体上相同，因此将省略其描述。

(控制设备100-3的功能配置)

控制设备100-3的功能配置与第一实施方案中的功能配置大体上相同，但是通信单元102和显示控制单元108的一些功能不同。

除了位置姿态信息之外，通信单元102还从操作对象200-3接收图像。

显示控制单元108将基于操作对象200-3的图像视野生成的图像叠加在从操作对象200-3接收的图像上。具体来说，显示控制单元108生成基于由决策单元106决定的操作对象200-3的图像视野生成的图像，并且将生成的图像叠加在接收的图像上。例如，使用一般的增强现实(AR)技术等来映射虚拟空间和真实空间。例如，可以使虚拟空间和真实空间的坐标彼此对应。然后，显示控制单元108从虚拟空间中提取指示基于由决策单元106决定的操作对象200-3(例如，虚拟对象)的图像视野生成的虚拟空间的图像的一部分。然后，根据映射坐标的部分，将提取的虚拟对象叠加在从显示真实空间的操作对象200-3接收的图像上。

<4-2.控制设备的处理>

接着，将参考图14描述根据实施方案的控制设备100-3的处理。图14是概念性地图示根据实施方案的控制设备100-3的处理的流程图。此外，将省略与根据第一和第二实施方案的功能大体上相同的功能的描述。

首先，控制设备100-3等待直到从操作对象200-3接收位置姿态信息(步骤S802)。

当从操作对象200-3接收位置姿态信息时，控制设备100-3基于关于操作对象200-3的位置姿态信息来决定操作对象200-3的图像视野(步骤S804)。

接着，控制设备100-3生成基于操作对象200-3的图像视野生成的图像(步骤S806)。具体来说，显示控制单元108通过操作对象200-3的图像视野提取在虚拟空间中指定的虚拟对象。

接着，控制设备100-3将基于图像视野生成的图像叠加在从操作对象200-3接收的图像上(步骤S808)，并且显示通过叠加获得的图像(步骤S810)。具体来说，显示控制单元108将提取的虚拟对象叠加在接收的图像上。然后，显示控制单元108使显示单元110显示通过叠加的结果获得的图像。

以这种方式，根据本公开的第三实施方案，控制设备100-3将基于操作对象200-3的图像视野生成的图像叠加在从操作对象200-3获得的图像上。因此，通过将基于根据操作对象200-3的位置姿态决定的图像视野生成的图像(诸如上述虚拟对象)叠加在通过对操作对象200-3成像获得的图像上，可能提高显示的信息量或动画感，而不会给用户带来不适感。

此外，可以基于关于操作对象200-3的位置姿态信息来改变叠加的虚拟对象。例如，显示控制单元108根据由于操作对象200-1的姿势(例如，点头操作、倾斜操作、跳跃等)而改变的操作对象200-1的位置姿态来改变虚拟对象的显示的显示位置、颜色、形状等，或将显示的虚拟对象改变为另一虚拟对象。

此外，可以基于从操作对象200-3接收的图像单独地生成叠加的虚拟对象。例如，显示控制单元108使用图像识别技术等来指定接收的图像中描绘的对象，并且生成与指定的对象相关的显示对象。然后，显示控制单元108将生成的显示对象叠加在图像上。此外，可以从外部设备获取显示对象。

<4-3.修改实例>

上面已经描述了本实施方案的第三实施方案。此外，实施方案不限于上述实例。在下文中，将描述实施方案的修改实例。

在实施方案的修改实例中，控制设备100-3可以执行控制，使得在基于操作对象200-3的图像视野生成的图像中显示与控制设备的用户不同的另一控制设备100-3的用户(以下也称为另一用户)相关的对应对象。具体来说，显示控制单元108将从操作对象200-3接收的图像中描绘的与另一用户相关的对应对象叠加在图像上。此外，将参考图15详细描述修改实例。图15是图示使用根据实施方案的第二修改实例的控制设备100-3的控制系统的配置的实例的图解。

例如，根据修改实例的控制系统可以被配置成包括控制设备100-3、服务器400和无线路由器500，如图15中所示。

首先，控制设备100-3通过通信将关于操作对象200-3的位置姿态信息传输到服务器400。例如，当从操作对象200-3A接收位置姿态信息时，图15中所示的控制设备100-3A的通信单元102经由无线路由器500A和网络1将位置姿态信息传输到服务器400。

服务器400执行位置姿态信息的传输、接收和管理。例如，服务器400使存储单元存储从控制设备100-3中的每个接收的位置姿态信息。然后，定期地或在从控制设备100-3接收请求时，将关于传输目的地的控制设备100-3以外的控制设备100-3的位置姿态信息传输到控制设备100-3中的每个。例如，服务器400可以将关于控制设备100-3A的位置姿态信息传输到控制设备100-3B。位置姿态信息可以是关于相同空间坐标系的信息。

当接收关于另一控制设备100-3的位置姿态信息时，控制设备100-3基于位置姿态信息来生成指示另一控制设备100-3的另一用户的对应对象。例如，显示控制单元108生成指示在对应于由接收的位置姿态信息指示的位置的虚拟空间上的位置处的另一用户的对应对象，例如，人样对象。此外，对应对象不限于指示用户的对象，而是可以是与用户操作相关的对象，例如，作为被操作和个性化的玩偶的对象。此外，对应对象对于每个用户可以不同。

然后，当生成的对应对象位于操作对象200-3的图像视野内时，控制设备100-3将对应对象叠加在从操作对象200-3接收的图像上。

此外，图11图示服务器400经由无线路由器500连接到控制设备100-3中的每个的实例。然而，服务器400可以仅以有线方式连接到控制设备100-3中的每个。

以这种方式，根据实施方案的修改实例，显示控制单元108执行控制，使得在基于操作对象200-3的图像视野生成的图像中显示与另一用户相关的对应对象。因此，使用控制设备100-3的用户可以一目了然，因此可能方便用户之间的通信。

此外，根据修改实例的处理也可以应用于第一实施方案。例如，显示控制单元108在基于操作对象200-1的图像视野生成的图像中显示与另一用户相关的对应对象。

此外，显示控制单元108也可以执行控制，使得在基于第一实施方案中的用户的图像视野生成的图像中显示与另一用户相关的对应对象。

<5.根据本公开的实施方案的控制设备的硬件配置>

上面描述了本公开的实施方案。上述控制设备100的处理通过下述控制设备100的软件和硬件之间的协作来实施。

图16是用于描述根据本公开的实施方案的控制设备100的硬件配置的图解。如图15中所示，控制设备100包括中央处理单元(CPU)132、只读存储器(ROM)134、随机存取存储器(RAM)136、桥接器138、总线140、接口142、输入设备144、输出设备146、存储设备148、驱动器150、连接端口152和通信设备154。

CPU 132用作算术处理单元和控制单元并且与各种程序协作，以由此实现控制设备100中的决策单元106、显示控制单元108、操作控制单元112、确定单元和检测单元的操作。CPU 132可以是微处理器。ROM 134存储要由CPU 132使用的程序、操作参数等。RAM 136临时存储在CPU 132的执行中使用的程序、在执行中适当改变的参数等。通过ROM 134和RAM 136，实现控制设备100中的存储单元的一部分。CPU 132、ROM 134和RAM 136通过由CPU总线等构成的内部总线彼此连接。

输入设备144由允许用户输入信息的输入单元(诸如鼠标、键盘、触控面板、按钮、麦克风、开关和控制杆)、输入控制电路构成，所述输入控制电路基于用户的输入生成输入信号，然后将信号输出到CPU 132等。控制设备100的用户可以操作输入设备144以向控制设备100输入各种数据或指示控制设备100执行处理操作。

输出设备146是控制设备100的显示单元110的实例，并且对设备(诸如液晶显示器(LCD)、有机发光二极管(OLED)和灯)执行输出操作。此外，输出设备146可以包括用于输出声音的扬声器和耳机。

存储设备148是用于数据存储的设备。存储设备148可以包括存储介质、用于在存储介质中记录数据的记录设备、用于从存储介质读取数据的读取设备，以及用于删除记录在存储介质中的数据的删除设备。存储设备148存储由CPU 132执行的程序和各种类型的数据。

驱动器150是用于存储介质的读写器，并且内置在控制设备100中或外部附接到控制设备100。驱动器150读出存储在附接到其上的可移动存储介质(诸如磁盘、光盘、磁光盘或半导体存储器)上的信息，然后将信息输出到RAM 134。驱动器150也能够将信息写入可移动存储介质。

连接端口152是用于与控制设备或提供在控制设备100外部的外围设备连接的总线。连接端口152可以是通用串行总线(USB)。

通信设备154是由用于与网络连接的通信设备构成的通信接口，作为控制设备100的通信单元102的实例。通信设备154可以是红外通信兼容设备、无线局域网(LAN)兼容通信设备、长期演进(LTE)兼容通信设备或通过电线执行通信的有线通信设备。

<6.结论>

如上所述，根据本公开的第一实施方案，通过根据由用户操作的操作对象等的位置姿态显示图像，可能根据用户的意图控制作为显示设备的显示目标的范围，但是用户不移动他或她的头部。此外，因此，可能向用户提供超过用户头部的可移动范围的运动的动态视点变化。此外，根据本公开的第二实施方案，例如，可能抑制用户的视觉上引起的晕动病，这是因为基于机器人等的图像视野生成的图像与机器人等的操作中用户的头部的运动不一致。此外，根据本公开的第三实施方案，通过将基于根据操作对象200-3的位置姿态决定的图像视野生成的虚拟对象叠加在通过对操作对象200-3成像获得的图像上，可能提高显示的信息量或动画感，而不会给用户带来不适感。

上面已经参考附图描述了本公开的优选实施方案，而本公开不限于上述实例。本领域技术人员可以在所附权利要求的范围内发现各种变更和修改，并且应当理解，这些变更和修改将自然地落入本公开的技术范围内。

例如，在上述实施方案中，已经描述了基于用户的情况等切换图像视野的实例。然而，显示控制单元108可以基于虚拟空间上的事件切换图像视野。例如，显示控制单元108可以根据场景的切换将图像视野切换到操作对象200的图像视野和用户的图像视野中的一个。

此外，显示控制单元108可以基于控制设备100的用户的运动切换图像视野。例如，当传感器104检测到控制设备100的运动(即，用户的运动)时，显示控制单元108将操作对象200的图像视野切换到用户的图像视野。

此外，在上述实施方案中，已经描述了其中初始视野中的虚拟摄像头的视角是图像视野比人类视野窄的视角的实例。然而，初始视野中的虚拟摄像头的视角可以是其中图像视野具有与人类视野相同的宽度的视角。

此外，在上述实施方案中，已经描述了显示控制单元108根据用户操作的操作量来控制图像视野的宽度的实例。然而，显示控制单元108可以根据由用户或每个操作对象200操作的操作对象200的大小或种类来改变图像视野的宽度。

此外，显示控制单元108可以基于虚拟空间上的事件来改变图像视野的宽度。例如，当生成虚拟空间上的事件时，显示控制单元108将虚拟摄像头或成像单元的视角改变为对应于生成的事件的预定视角。

此外，显示控制单元108可以根据操作对象200等的位置姿态来改变图像视野的宽度。例如，当操作对象200朝向下方时，显示控制单元108可以缩小图像视野。当操作对象200朝向上方时，显示控制单元108可以加宽图像视野。

此外，显示控制单元108可以根据图像视野的宽度来控制显示的变化量。例如，显示控制单元108可以减小例如当图像视野变窄时虚拟空间的场景的变化速度。

此外，在上述实施方案中，已经描述了控制设备100是包括显示单元110的HMD的实例，但是控制设备100可以是连接到单独的显示设备的控制设备。例如，控制设备100可以是包括通信单元102、决策单元106和显示控制单元108的服务器。

此外，操作对象200可以包括输出单元，并且控制设备100可以基于虚拟空间上的事件等来控制操作对象200的输出单元的操作。例如，当生成虚拟空间上的事件时，操作控制单元112指示操作对象200的输出单元通过通信操作作为对事件的触觉反馈。此外，输出单元可以执行例如语音输出或振动输出。

此外，操作对象200可以包括输入单元，并且控制设备100可以包括与显示单元110不同的输出单元。输出单元可以通过通信获取输入到操作对象200的输入单元的信息，并且基于获取的信息执行输出。例如，输入单元可以是声音收集传感器(诸如立体声麦克风)，并且输出单元可以是扬声器(诸如耳机)。

此外，显示控制单元108可以控制由显示单元110显示的图像的绘制速度。例如，显示控制单元108可以控制从操作对象200或操作设备300接收的图像或与虚拟空间相关的图像的绘制的延迟时间。因此，可能给予要显示给用户的图像的缓慢或重量的印象。

此外，根据本公开的每个实施方案的控制设备100可以应用于其中使用游戏应用、机械操作或机器人的远程呈现。

此外，本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，利用或代替上述效果，根据本公开的技术可以基于本说明书的描述实现本领域技术人员清楚的其他效果。

另外，本技术也可以被配置如下。

(1)

一种控制设备，包括：

获取单元，其被配置成获取与位于与用户头部不同位置的、与用户操作相关的对象的位置或姿态有关的位置姿态信息；以及

控制单元，其被配置成基于所述位置姿态信息控制在安装在所述用户的头部上的显示设备上显示为图像的范围的图像视野。

(2)

根据(1)所述的控制设备，

其中所述图像视野包括虚拟空间的至少一部分。

(3)

根据(2)所述的控制设备，

其中所述获取单元获取关于所述用户的头部的位置姿态信息，以及

基于所述用户的情况，所述控制单元选择由关于与所述用户操作相关的所述对象的所述位置姿态信息指定的第一图像视野和由关于所述用户的头部的所述位置姿态信息指定的第二图像视野中的一个作为要显示为所述图像的范围。

(4)

根据(3)所述的控制设备，

其中当执行预定的用户操作时，所述控制单元选择所述第二图像视野。

(5)

根据(4)所述的控制设备，

其中当与所述用户操作相关的所述对象和所述用户的头部的所述位置或所述姿态在相互不同的方向上改变时，所述控制单元选择所述第二图像视野。

(6)

根据(3)至(5)中任一项所述的控制设备，进一步包括：

确定单元，其被配置成确定所述用户是否处于视觉上引起的晕动病状态，

其中当所述确定单元确定所述用户处于所述视觉上引起的晕动病状态时，所述控制单元选择所述第二图像视野。

(7)

根据(6)所述的控制设备，

其中当所述用户的头部的位移等于或大于阈值时，所述确定单元确定所述用户处于所述视觉上引起的晕动病状态。

(8)

根据(3)所述的控制设备，

其中所述控制单元基于所述用户是否是所述第一图像视野的操作者来选择所述第一图像视野和所述第二图像视野中的一个。

(9)

根据(3)至(8)中任一项所述的控制设备，

其中所述控制单元执行控制，使得在基于所述第一图像视野生成的图像中显示对应于与所述用户操作相关的所述对象的对应对象。

(10)

根据(9)所述的控制设备，

其中所述对应对象指示与所述用户操作相关的所述对象的至少一部分。(11)

根据(9)或(10)所述的控制设备，

其中所述对应对象根据与所述用户操作相关的所述对象的形状或种类而不同。

(12)

根据(3)至(11)中任一项所述的控制设备，

其中所述控制单元根据所述用户操作的操作量来控制所述第一图像视野的宽度。

(13)

根据(3)至(12)中任一项所述的控制设备，

其中与所述用户操作相关的所述对象包括虚拟空间上的虚拟对象，以及

所述第一图像视野包括基于所述虚拟对象的位置姿态指定的图像视野。

(14)

根据(13)所述的控制设备，

其中与所述用户操作相关的所述对象包括操作对象，以及

当所述操作对象的仅一部分的位置或姿态改变时，所述控制单元根据所述操作对象的所述部分的所述位置或所述姿态的变化量来改变所述虚拟对象在所述虚拟空间上的运动速度。

(15)

根据(13)所述的控制设备，

其中所述控制单元基于关于所述用户的头部的所述位置姿态信息来控制所述第一图像视野。

(16)

根据(9)至(15)中任一项所述的控制设备，

其中所述控制单元执行控制，使得在所述第一图像视野或所述第二图像视野中显示指示与所述用户不同的另一用户的对象。

(17)

根据(1)所述的控制设备，

其中所述图像视野包括真实空间的一部分。

(18)

一种控制方法，包含：

接收与位于与用户头部不同位置的、与用户操作相关的对象的位置或姿态有关的位置姿态信息；以及基于所述位置姿态信息控制在安装在所述用户的头部上的显示设备上显示为图像的范围的图像视野。

(19)

一种程序，使计算机实现：

接收功能，其接收与位于与用户头部不同位置的、与用户操作相关的对象的位置或姿态有关的位置姿态信息；以及控制功能，其基于所述位置姿态信息控制在安装在所述用户的头部上的显示设备上显示为图像的范围的图像视野。

(20)

一种控制系统，包含：

显示设备，其安装在用户的头部上；获取单元，其被配置成获取关于与位于与所述用户的头部不同位置的用户操作相关的对象的位置或姿态的位置姿态信息；以及控制单元，其被配置成基于所述位置姿态信息控制在显示单元上显示为图像的范围的图像视野。

参考符号列表

100 控制设备

102 通信单元

104 传感器

106 决策单元

108 显示控制单元

110 显示单元

112 操作控制单元

200 操作对象

202 传感器

204 控制单元

206 通信单元

208 成像单元

300 操作设备

400 服务器。