信息处理设备、信息处理方法和计算机程序与流程

相关申请的交叉引用

本申请要求于2015年3月31日提交的日本优先权专利申请jp2015-073561的权益，其全部内容通过引用并入本文。

本公开中公开的技术涉及处理由人观察到的在真实空间中显示的增强现实(ar)对象的信息处理设备、信息处理方法和计算机程序。

背景技术：

已知ar技术通过在真实空间中添加诸如虚拟对象等视觉信息来增强人所观察到的真实世界。根据ar技术，可以使用户感知虚拟对象(在下文中称为“ar对象”)，就好像它存在于真实空间中。可以包括头戴式显示器(其由将其戴在头上的人使用)、小型信息终端如平视显示器、智能电话或平板电脑、导航系统、游戏设备等作为使用户能够在视觉识别真实空间的图像的同时视觉识别ar对象的显示设备。通过控制双眼视差，双眼的会聚以及这些显示设备中的焦距，可以对ar对象进行立体观察。此外，通过执行控制以改变对应于阴影、视点位置或视线方向变化的ar对象的绘图，可以产生ar对象的立体感。

还可以考虑对话系统，其中人通过手或手指对ar对象进行操作。然而，由于ar对象是实际不存在的虚拟对象，所以即使人进行接触或按压操作，也不能获得触摸感，因此存在诸如难以理解用户的操作等问题。

例如，已经提出了下述信息处理装置：当检测到用户的手已经进入由空间上的操作检测到的空间区域时，通过立体地显示粒子来执行操作的反馈(例如参考ptl1)。根据这样的信息处理装置，用户可以在视觉上识别他或她的手已经进入能够检测到操作的空间区域。然而，由于在未进入能够检测的空间区域时不能给出诸如粒子的显示等视觉反馈，因此将难以获得特定的位置关系或深度信息，例如用户自己的手在空间区域的前面还是后面，或者用户自己的手是靠近还是远离空间区域。

引用列表

专利文献

ptl1：jp2012-256104a

技术实现要素：

技术问题

本公开中公开的技术的本发明人提供了一种优良的信息处理装置、信息处理方法和计算机程序，其能够适当地处理由用户与真实空间的图像同时视觉识别的虚拟对象。

问题的解决方案

根据本公开的实施例，提供了一种信息处理设备，该信息处理设备包括电路系统，其被配置成获取指示真实对象与虚拟对象之间的空间关系的信息，并且基于所获取的信息开始生成用户反馈，用户反馈被显示成被添加到基于由成像装置的拍摄而获得的生成图像，或者被添加到感知的真实世界的视图，其中，当真实对象与虚拟对象之间的空间关系改变时，用户反馈的特性被改变。

此外，根据本公开的实施例，提供了一种信息处理方法，该信息处理方法包括：获取指示真实对象与虚拟对象之间的空间关系的信息；基于所获取的信息来生成用户反馈；以及将用户反馈显示成被添加到基于成像装置的拍摄而获得的生成图像，或者被添加到感知的真实世界的视图，其中，当真实对象与虚拟对象之间的空间关系改变时，用户反馈的特性被改变。

此外，根据本公开的实施例，提供了一种包含程序的非暂态计算机可读介质，当计算机执行该程序时，该程序使计算机执行一种方法，该方法包括：获取指示真实对象与虚拟对象之间的空间关系的信息；基于所获取的信息来生成用户反馈；以及将用户反馈显示成被添加到基于成像装置的拍摄而获得的生成图像，或者被添加到感知的真实世界的视图，其中，当真实对象与虚拟对象之间的空间关系改变时，用户反馈的特性被改变。

发明的有益效果

根据本公开中公开的技术的一个或更多个实施例，可以提供优良的信息处理设备、信息处理方法和计算机程序，其可以将显示真实对象的操作的视觉效果添加至虚拟对象。

注意，本公开中描述的效果仅仅是示例，并且本公开的效果不限于此。此外，除了上述效果之外，本公开将经常实现进一步的附加效果。

进一步期望本公开中公开的技术的特征和优点由基于下面将描述的实施例和附图的更详细描述来阐明。

附图说明

图1是示出从正面观看佩戴透过型头戴式显示器100的用户的状态的图。

图2是示出从上方观看佩戴头戴式显示器100的用户的状态的图。

图3是示出从正面观看佩戴沉浸式头戴式显示器300的用户的状态的图。

图4是示出从上方观看佩戴头戴式显示器300的用户的状态的图。

图5是示意性地示出图1和图2所示的头戴式显示器100的内部构造示例的图。

图6是示出用于理解ar对象与真实对象之间的位置关系的方法的示例的图。

图7是示出用于理解ar对象与真实对象之间的位置关系的方法的另一示例的图。

图8是示出在ar对象的表面上绘制用户的手的阴影的状态的图。

图9是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图10是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图11是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图12是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图13是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图14是示出能够操作ar对象的有效范围的图。

图15是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图16是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图17是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图18是示出与真实对象和ar对象的相反表面侧之间的距离对应的视觉反馈的图。

图19是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图20是示出与真实对象和ar对象之间的距离对应的视觉反馈的图。

图21是示出用与视觉反馈的颜色相反的颜色绘制ar对象的示例的图。

图22是示出用与ar对象的颜色相反的颜色绘制视觉反馈的示例的图。

图23是示出视觉反馈的有效范围有限的示例的图。

图24是示意性地示出用于对用户对ar对象的操作进执行视觉反馈的功能配置的图。

图25是示出用于对附接至视觉反馈的ar图像执行绘制处理的处理过程的流程图。

图26是示出用于绘制接近ar对象的真实对象的视觉反馈的处理过程的流程图。

图27是示出用于绘制ar对象后面的真实对象的视觉反馈的处理过程的流程图。

具体实施方式

在下文中，将参照附图详细描述本公开中公开的技术的实施例。

a.系统配置

图1示出了从正面观看佩戴透过型(透视)头戴式显示器100的用户的状态，该头戴式显示器100作为呈现包括ar对象的视觉信息的装置的示例。佩戴透过型头戴式显示器100的用户可以通过显示图像来观察周围环境(真实世界)。因此，头戴式显示器100可以使诸如ar对象等虚拟显示图像被视为与真实世界的风景重叠。

图1所示的头戴式显示器100由与用于视力矫正的眼镜的结构类似的结构构成。头戴式显示器100具有分别布置在面对用户的左眼和右眼的位置处的透明虚拟图像光学单元101l和101r，并且使得用户观察到的图像的放大虚拟图像(ar对象等)被形成。虚拟图像光学单元101l和101r中的每一个由眼镜框式支撑体102支撑。

此外，麦克风103l和103r布置在支撑体102的左右两端附近。通过大致左右对称地包括在前表面处的麦克风103l和103r，并且通过仅识别位于中心的音频(用户的声音)，可以分离周围环境的噪声和其他人的语音，并且可以例如在音频输入操作时防止错误的操作。

图2示出了从上方观察佩戴图1所示的头戴式显示器100的用户的头部的状态。

如图所示，分别针对左眼和右眼显示和输出图像的显示面板104l和104r布置在头戴式显示器100的左右两端。显示面板104l和104r中的每个显示面板由诸如液晶显示器或有机el元件(oled：有机发光二极管)等微显示器构成。显示面板104l和104r可以显示重叠在用户观察到的周围环境(真实世界)的风景上的ar对象等。从显示面板104l和104r输出的左右显示图像被虚拟图像光学单元101l和101r引导到左眼和右眼各自的附近，并且这些放大的虚拟图像被聚焦在用户的眼睛上。虽然省略了详细的图示，但是虚拟图像光学单元101l和101r各自包括收集来自微显示器的照射光的光学系统、布置在光学系统的透过光(passinglight)入射的位置处的导光板、将入射光反射到导光板的偏转滤光器以及使通过导光板内的全反射而扩散的光朝向用户的眼睛发射的偏转滤光器。

注意，尽管在图1和图2中省略了图示，但是头戴式显示器100可以另外包括在用户的视线方向上拍摄风景的外部相机。通过对外部相机的拍摄图像应用诸如图像识别等处理，可以指定对显示在显示面板104l和104r上的ar对象(或该放大的虚拟图像)执行操作的真实对象(例如，用户的手、由用户操作的指针等)，并且可以测量该位置和姿势。

此外，图3示出了从正面观看佩戴沉浸式头戴式显示器300的用户的状态，该沉浸式头戴式显示器300作为呈现包括ar对象的视觉信息的装置的示例。

沉浸式头戴式显示器300在被用户佩戴在他或她的头部或脸部上时直接覆盖用户的眼睛，并且在观看图像时向用户给予沉浸感。此外，与透过型头戴式显示器100不同，佩戴沉浸式头戴式显示器300的用户不能直接观看真实世界的风景。然而，通过显示在用户的视线方向上拍摄风景的外部相机305的拍摄图像，用户可以间接地观看真实世界的风景(也就是说，通过视频透视来观察风景)。不用说，诸如ar图像等虚拟显示图像可以被视为与这样的视频透视图像重叠。

图3所示的头戴式显示器300具有类似帽子形状的结构，并且被构造成直接覆盖佩戴它的用户的左眼和右眼。用户使用其进行观察的显示面板304l和304r在头戴式显示器300的主体的内侧上分别布置面对左眼和右眼的位置处。显示面板304l和304r例如由诸如有机el元件或液晶显示器等微显示器构成。外部相机305的拍摄图像可以作为视频透视图像而显示在显示面板304l和304r上，并且可以在该视频透视图像上额外地重叠ar对象。

用于周围环境图像(用户的视场)输入的外部相机305设置在头戴式显示器300的主体前表面的大致中心处。外部相机305可以拍摄用户的视线方向上的风景。此外，通过对外部相机305应用诸如图像识别等处理，可以指定真实对象(例如，用户的手、由用户操作的指针等)，并且可以测量该位置和姿势。

此外，麦克风303l和303r分别设置在头戴式显示器300的主体的左右两端附近。通过大致左右对称地保持麦克风303l和303r，并且通过仅识别位于中心的音频(用户的语音)，可以分离周围环境的噪声和其他人的语音，并且可以例如在通过音频输入进行操作时防止错误的操作。

图4示出了从上方观看佩戴图3所示的头戴式显示器300的用户的头部的状态。

所示的头戴式显示器300将用于左眼和右眼的显示面板304l和304r保持在面向用户的脸部的侧上。显示面板304l和304r例如由诸如有机el元件或液晶显示器等微显示器构成。显示面板304l和304r的显示图像穿过虚拟图像光学单元301l和301r而被用户观察为放大的虚拟图像来。此外，由于每个用户的眼睛高度和瞳孔距离将存在个人差异，所以左右显示系统中的每一个可能需要与佩戴它们的用户的眼睛进行位置对准。在图4所示的示例中，瞳孔间距调整机构306包括在用于右眼的显示面板与用于左眼的显示面板之间。

图5示意性地示出了图1和图2所示的头戴式显示器100的内部构造示例。然而，为了方便起见，即使部件与图1和图2的部件相同，图5中也将附加不同的附图标记。此外，图3和图4中所示的头戴式显示器300的内部构造也可以理解为与图5的内部构造相同。在下文中，将描述每个单元。

控制单元501包括只读存储器(rom)501a和随机存取存储器(ram)501b。由控制单元501执行的程序代码和各种类型的数据被存储在rom501a内。控制单元501通过执行加载在ram501b中的程序来开始图像的显示控制，并且一体地控制头戴式显示器100的所有操作。可以包括导航和游戏以及在呈现真实空间的图像的同时呈现被用户视觉识别的ar图像的各种应用程序，作为存储在rom501a中并由控制单元501执行的程序。此外，在控制单元501中，对外部相机504(或将在下面描述的环境相机703)的拍摄图像执行显示处理，并且必要时通过对拍摄图像执行图像识别来指定拍摄对象或真实对象。然而，除了在显示ar图像的头戴式显示器100(显示设备主体)内执行以外，呈现ar图像的处理(将在下面描述)可以被配置成由诸如网络上的服务器等外部设备来执行，或者通过由通信单元505接收该计算结果来仅执行头戴式显示器100的显示输出。

输入操作单元502包括用于用户执行输入操作的一个或多个操作器如键、按钮或开关，经由操作器接受用户的指令，并且将接受的指令输出到控制单元501。此外，输入操作单元502接受由远程控制接收单元503从远程控制器(未示出)接收的远程控制命令构成的用户指令，并将接受的指令输出到控制单元501。

例如外部相机504布置在头戴式显示器100的主体前表面的大致中心处，并且例如拍摄用户的视线方向上的风景。外部相机504可以包括在摇摄、倾斜和滚动的每个方向上的旋转运动功能或视角改变(变焦)功能。用户可以通过输入操作单元502来指示外部相机504的姿势。

通信单元505执行与外部装置的通信处理以及通信信号的调制解调和编码解码处理。可以包括提供观看内容的内容再现设备(蓝光光盘或dvd播放器)、诸如智能电话或平板电脑等多功能信息终端、游戏装置、流式服务器等，作为通信的外部设备。另外，控制单元501从通信单元505向外部装置发送传送数据。

通信单元505的配置是任意的。例如，通信单元505可以根据用于与成为通信伙伴的外部设备的发送和接收操作的通信系统来配置。通信系统可以是任何有线或无线形式。可以包括移动高清连接技术(mhl)、通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)、wi-fi(注册商标)、蓝牙(注册商标)通信、蓝牙(注册商标)低能耗(ble)通信、诸如ant、ieee802.11s等超低功耗无线通信，作为此处所述的通信系统。可替选地，通信单元505可以是例如根据诸如宽带码分多址(w-cdma)或长期演进(lte)等标准规范进行操作的蜂窝无线发送和接收装置。

存储单元506是由固态驱动(ssd)等构成的大容量存储设备。存储单元506存储由控制单元501执行的应用程序和各种类型的数据。此外，由外部相机505拍摄的运动图像或静止图像可以存储在存储单元506内。

图像处理单元507另外对从控制单元501输出的图像信号执行诸如图像质量校正等信号处理，并且执行到与显示单元509的屏幕匹配的分辨率的转换。此外，显示驱动单元508基于信号处理后的图像信号，通过依次选择和顺序地行扫描每行的显示单元509的像素来提供像素信号。

显示单元509具有例如由诸如有机el元件或液晶显示面板等微显示器构成的显示面板。虚拟图像光学单元510对显示在显示单元509上的诸如ar对象等图像执行放大投影，并且使放大的投影图像被用户观察为放大的虚拟图像。作为其结果，用户可以在视觉识别真实空间的图像的同时视觉识别ar对象。

音频处理单元511另外对从控制单元501输出的音频信号执行声音质量校正、音频放大或输入音频信号的信号处理等。此外，音频输入和输出单元512对音频处理之后的音频执行外部输出，并且执行从麦克风输入音频(如上所述)。

ar技术已被广泛应用。根据ar技术，可以使用户感知虚拟对象(在下文中称为“ar对象”)，就好像它存在于真实空间中。此外，通过控制双眼视差，双眼的会聚以及焦距，可以对ar对象进行立体观察。此外，通过执行控制以改变与阴影、视点位置或视线方向变化对应的ar对象的绘图，可以产生ar对象的立体感。此外，还可以考虑一个对话系统，其中人通过手或手指对ar对象进行操作。然而，由于ar对象是实际不存在的虚拟对象，即使人进行接触或按压操作，也不能获得触感，因此难以理解操作。

因此，提出了下述图像显示技术作为本公开的实施例中所公开的技术：通过基于与真实对象(例如，尝试操作ar对象的用户的手)的位置关系向ar对象呈现视觉反馈，即使通过接触或按压不能获得触感也能容易直观地操作ar对象。根据实施例，提供反馈的位置可以基于其位置由真实对象的轨迹方向指示的目标的位置，但不限于此。

此处，将描述用于理解ar对象与真实对象之间的位置关系的方法。

图6示出了用于理解ar对象与真实对象之间的位置关系的方法的示例。同一图示出了佩戴头戴式显示器100的用户试图用用户自己的手602来操作由头戴式显示器100显示的ar对象601的状态。此处，将用户的手602作为测量目标。

ar对象601保持规定的形状和尺寸。在图6所示的示例中，为了简化，ar对象601布置在与用户的脸部的前部平行的近似水平的平面中。此外，ar对象601保持设置在真实空间中的位置和姿势。头戴式显示器100呈现ar对象601以便被布置在该位置和姿势处，在显示单元509上显示所呈现的ar对象601，并且通过虚拟图像光学单元510对用户进行观察。

外部相机504布置在头戴式显示器100的主体前表面的大致中心处，并且拍摄用户的视线方向上的风景。当用户的手602进入外部相机504的拍摄范围603中时，可以通过诸如图像识别等处理来测量在拍摄图像内的用户的手602在真实空间中的位置。

为了容易地设置用户的手602的深度信息，可以将立体相机应用于外部相机504，或者也可以使用距离传感器。此外，通过将一个或多个标记(未示出)附接到成为测量目标的真实对象(如用户的手602)，可以根据外部相机504的拍摄图像来容易地设置检测。

注意，严格来说，显示ar对象的显示单元509的显示坐标系(或投影显示图像的放大虚拟图像的投影坐标系)和拍摄成为测量目标的真实对象的外部相机504的拍摄坐标系不完全匹配。在下文中，为了简化描述，将忽略匹配或具有误差的显示坐标系和拍摄坐标系，或者将通过执行到绝对坐标系的转换来执行后续处理。

此外，图7示出了用于理解ar对象与真实对象之间的位置关系的方法的另一示例。同一图示出了佩戴头戴式显示器100的用户试图用用户自己的手702来操作由头戴式显示器100显示的ar对象701的状态。此处，将用户的手702作为测量目标(与以上相同)。

ar对象701保持规定的形状和尺寸。在图7所示的例子中，为了简化，ar对象701布置在与用户的脸部的前部平行的近似水平的平面中。此外，ar对象701保持设置在真实空间中的位置和姿势。头戴式显示器100呈现ar对象701以使其被布置在该位置和姿势处，在显示单元509上显示所呈现的ar对象701，并且通过虚拟图像光学单元510对用户进行观察。

环境相机703设置在用户所在的房间的天花板或墙壁上，并且进行拍摄，以便俯视重叠有ar对象701的真实空间(或用户的工作空间)。当用户的手702进入环境相机703的拍摄范围704时，通过诸如图像识别等处理来测量拍摄图像内的用户的手702在真实空间中的位置。

注意，环境相机703可以由在遥摄、倾斜和滚动的每个方向上旋转移动的平台(未示出)支撑。此外，虽然为了简化，在图7中仅绘出了一个环境相机703，但是可以使用两个或更多个环境相机以获得作为测量目标的用户的手702的三维位置信息，或扩大拍摄范围704(或不出现盲点)。

然而，在实现本公开的实施例中公开的技术的上下文中，获得诸如用户的手等真实对象的位置信息的方法不限于图6和图7所示的方法。

b.对应于ar对象与真实对象之间的位置关系的视觉反馈示例(1)

头戴式显示器100显示的、重叠在真实空间上的ar对象保留位置信息，该位置信息包括来自佩戴头戴式显示器100的用户的深度信息。此外，当通过图6或图7所示的方法或者除了这些之外的方法来测量正试图对ar对象执行操作的真实对象(用户的手等)的位置信息时，比较ar对象与真实对象之间的深度信息，确定真实对象是在ar对象的前面、正在触摸ar对象、还是在ar对象的后面，并且基于该确定结果向用户提供视觉反馈。

在真实对象在ar对象的前面的情况下，可以通过执行隐藏表面处理使用户能够将ar对象识别为在远离用户自己的手的位置处，使得ar对象通过被真实对象隐藏变得不可见(设置为使得部分或整个ar对象未绘出)。

图8示出了作为视觉反馈的示例的用户的手的阴影被绘制在ar对象的表面上的状态。在所示的示例中，虚拟光源801设置在用户的视线(或外部相机504)附近，并且该虚拟光源801的照射光802在ar对象805的表面上绘出被用户的手803遮蔽的阴影804。由于阴影给予ar存在感或真实感，并且表现出遮蔽对象的存在，所以这将有助于用户的空间理解。

当虚拟光源801被制成点光源时，该照射光802以球形延伸。因此，当手803变得更靠近ar对象805时，手804的阴影将变得较小，并且将具有清晰的轮廓。此外，当手803触摸ar对象805时，阴影将几乎变得不可见。相反，当手803变得远离ar对象805时，手804的阴影将变得较大，并且将具有模糊的轮廓。

头戴式显示器100可以通过视觉以外的感测来呈现反馈，例如根据ar对象与真实对象之间的距离使警告声更大(或相反地，使更安静)，使添加至用户的头部的振动的振幅或频率更大(或相反地，使更小)，或者与诸如上述在ar对象的表面上绘制真实对象的阴影等视觉反馈并行地施加热。因此，头戴式显示器100可以另外包括通过感测提供反馈的装置，例如用于产生振动的压电致动器或发热装置。通过将由除视场以外的感测所呈现的一种或更多种类型的反馈与使用真实对象的阴影的视觉反馈结合使用，可以额外支持用户对ar对象的空间理解。

图9至图13示出了根据真实对象与ar对象之间的距离分阶段地改变呈现给用户的视觉反馈的状态。然而，在每个图的右侧示出了布置在真实空间中的ar对象与试图操作ar对象的用户的手指之间的位置关系，并且在每个图的左侧示出了处于每个位置关系时ar对象(由用户观察到的图像)的显示示例。然而，由于真实对象实际存在并且ar对象虚拟存在，因此此处使用的真实对象与ar对象之间的“距离”是虚拟距离。该虚拟距离是基于ar对象布置在虚拟真实空间中的位置的信息和检测到的真实对象的位置的信息来计算的。此外，ar对象可以包括用于由用户对真实空间或虚拟空间执行的输入操作的显示器。可以包括对选项的选择操作、指示操作(坐标的输入操作)或文本输入作为用户的输入操作。在图9至图13所示的示例中，包括三个菜单按钮作为图形用户界面(gui)部件。

在图9所示的示例中，用户的手901远离ar对象902而分离。因此，手903的阴影较大，并且该轮廓被绘制得模糊。

在图10所示的示例中，手1001正在接近ar对象1002。因此，通过使手的阴影1003小于图9所示的示例的手的阴影并且将该轮廓绘制得更清晰来在视觉上表达手1001是否正在接近ar对象1002的附近。

在图11所示的示例中，手1101正在触摸ar对象1102。因此，手的阴影几乎不可见。此外，可以基于手1101与ar对象1102的深度信息的比较结果来计算手1101是否看起来正在触摸ar对象1102的附近(与手1101的指尖的距离最短的位置)。如图所示，通过执行诸如使手1101看起来正在触摸的部分被照亮的绘图处理，可以额外地帮助用户的空间理解。在图11所示的示例中，突出显示由手1101触摸的菜单按钮1103。

在图12所示的示例中，在触摸ar对象1202之后，另外向前推动手1201的指尖，并且与ar对象1202相交。可以基于手1201与ar对象1202之间的深度信息的比较结果来计算手1201的指尖从ar对象1202推动穿过的部分。然后，当手1201推动穿过ar对象1202的深度变为固定深度或更大时，将通过显示在该部分上重叠的ar对象1202来表示为该推动穿过的部分被隐藏。此外，通过绘制诸如使由手1202推动穿过的ar对象1202的部分被照亮等报警(警告反馈)，可以进行警告以结束，而无需用户的额外移动。

在图13所示的示例中，当从ar对象1302附加地推动手1301时，不仅不能操作ar对象1302，而且存在由于与诸如ar对象1302后面的墙壁1303等障碍物(另一个真实对象)碰撞而导致手1301受伤的风险。在这种情况下，可以通过使ar对象1302的显示消失(或使其闪亮闪灭)，或者通过显示诸如使其半透明的警告反馈来使用户视觉识别后面的对象。此外，当真实对象进入规定的警告范围时，例如当看起来撞击后面的墙壁等时，可以通过与视觉以外的感觉如警告声或振动器的反馈一起使用来避免风险。虽然省略了图示，但是可以执行警告反馈，例如改变看起来要碰撞的另一真实对象(例如墙壁1303)的颜色或形状，并且可以肯定地向用户通知风险。

如图11所示，在手已经触摸ar对象的状态下，可以操作ar对象。然而，由于即使触摸ar对象也没有触摸感的反馈，所以使手在深度方向上移动成仅仅触摸ar对象或者将手保持在该深度位置将是一项困难的任务。因此，如图14所示，可以在深度方向前后方靠近ar对象1402的规定距离内设定真实对象的操作的有效范围1403。当用户的手1401进入操作的有效范围1403时，通过认为它正在触摸ar对象1402并且正在执行或继续执行对ar对象1402的操作(此时手1401已经在向前或向后的方向稍微移动)，可以提高用户手的操作的成功率。

注意，通过被通知实际上没有与ar对象1402接触，可以提示用户校正手1401(真实对象)的位置，同时允许在操作的有效范围1403内对ar对象1402进行连续操作。

c.对应于ar对象与真实对象之间的位置关系的视觉反馈示例(2)

在图8至图10所示的示例中，使用阴影来用于真实对象与ar对象之间的距离的视觉反馈。由于阴影给予ar存在感或现实感，并且表现出遮蔽对象的存在，所以将非常有助于用户的空间理解。然而，实时生成和绘制阴影的计算负担很高，并且难以绘制完整的阴影。在ar对象的表面具有不均匀且不光滑的形状的情况下，阴影的绘制将变得更加困难。

因此，代替在ar对象上绘制真实对象的阴影的方法，提出了一种视觉反馈的呈现方法，其绘制对应于真实对象与ar对象之间的距离的光的环形指示符。

图15至图17示出了光的环形指示符根据真实对象与ar对象之间的距离分阶段地改变的状态。然而，在每个图的右侧示出了布置在真实空间中的ar对象与试图操作ar对象的用户的手指之间的位置关系，并且在每个图的左侧示出了处于每个位置关系时ar对象(由用户观察到的图像)的显示示例。为了简化，将通过使用由平纹理构成的平滑ar对象来进行描述。

在图15所示的示例中，手1501远离ar对象1502而分离。因此，在ar对象1502的表面上，以与手1501距离最短的点为中心来绘制由大且模糊的线构成的光的环形指示符1503。

在图16所示的示例中，手1601正在接近ar对象1602。因此，在ar对象1602的表面上，以与手1601距离最短的点为中心绘制由比图15所示的线更小且更清晰的线构成的光的环形指示符1603。

在图17所示的示例中，手1701正在触摸ar对象1702(或进入有效范围(如上所述))。绘制光的小且清晰的环形指示符1703，其指定了手1701已触摸ar对象1702的位置。

d.对应于ar对象与真实对象之间的位置关系的视觉反馈示例(3)

图8至图17基本上是在从前表面操作ar对象的情况下执行的视觉反馈的示例。在将ar对象布置成与用户在一定程度上分离的情况下，或者在将ar对象设置在桌面等上的情况下，用户可能需要从前表面操作ar对象。因此，从图9至图11可以理解，例如在从前表面操作ar对象的情况下，ar对象的表面的至少一部分将被用户的手隐藏并且将难以看到，并且当投射阴影作为视觉反馈时，ar对象将变得更加难以看到。

另一方面，在ar对象可以布置在靠近用户的位置处的情况下，手将到达ar对象的相对表面侧。通过从相对表面操作ar对象，可以执行操作而不会遮挡ar对象。

图18至图20示出了由用户从相对表面侧操作与图9至图13所示的示例的ar对象相同的ar对象的状态。然而，在每个图的右侧示出了布置在真实空间中的ar对象与试图操作ar对象的用户的手指之间的位置关系，并且在每个图的左侧示出了处于每个位置关系时ar对象(由用户观察到的图像)的显示示例。ar对象例如是正被执行的应用或游戏的gui，并且包括三个菜单按钮。

在图18所示的示例中，用户的手1801与ar对象1802的相对表面分离。在这个阶段，完全不对ar对象1802执行视觉反馈。这是因为用户的分离的手1801不能操作ar对象1802。

在图19所示的示例中，用户的手1901正在接近ar对象1902的相对表面。因此，通过相对于周围环境而更多地强调与用户的手1901最接近的位置对应的菜单按钮1903的显示来执行手1901接近的视觉反馈。

在图20所示的示例中，用户的手2001与ar对象2002的相对表面接触。因此，通过切换到下述显示状态来执行被手2001触摸的视觉反馈：选择由用户的手2001从相对表面侧触摸的菜单按钮2003。注意，其可以是以下状态：不仅通过用户的手2001完全与ar对象2002的相对表面接触，而且通过进入在与ar对象2002的相对表面的固定距离内的有效范围(例如，如图14所示)来选择菜单按钮2003。

如果是来自ar对象的相对表面侧的操作(如图18至图20所示)，则可以在诸如用户的手等真实对象不遮蔽ar对象的情况下执行操作。

e.视觉反馈的颜色调整

图8至图10示出了诸如在ar对象的表面上绘制在ar对象前面的、与距ar对象的距离对应的真实对象的阴影等视觉反馈。以这种方式，当在ar对象的表面上绘制视觉反馈时，可能会使ar对象的可见性降低。因此，在ar对象的表面上绘制视觉反馈的情况下，可以增强颜色，并且可以通过将ar对象的颜色和视觉反馈的颜色相互绘制成对比色来在保持用户的可见性的同时执行视觉反馈。

图21示出了使用手2102的阴影的颜色的对比色来绘制与用户的手2102的阴影(其是来自ar对象2101内的视觉反馈)重叠的区域的颜色的状态。此外，图22相反地示出了使用ar对象2201的颜色的对比色来绘制与来自用户的手的阴影2202(其是视觉反馈)内的ar对象2201重叠的区域的颜色的状态。在图21和图22的两个示例中，用户食指的阴影与在ar对象上绘制的字符串“今日新闻”中的一个字符“n”重叠。如上所述，通过将ar对象的颜色和视觉反馈的颜色相互绘制成对比颜色，可以识别字符“n”，而不会被埋在食指的阴影中。

f.反馈范围的限制

图6示出了通过使用包括在头戴式显示器100上的外部相机504来理解真实对象(用户的手等)的位置的方法。此外，图7示出了通过使用设置在用户所在的房间的天花板或墙壁上的环境相机703来理解真实对象的位置的方法。根据这些方法，由于可以理解真实对象与ar对象之间的位置关系，因此如果在相机的拍摄范围内，则可以在整个拍摄范围内执行视觉反馈。

然而，在用户的手成为视觉反馈的目标的情况下，只要在与ar对象重叠时可以理解位置关系就足够了，并且可能不需要在相机的整个拍摄范围内执行视觉反馈。

图23示出了视觉反馈的有效范围受到限制的示例。在同一图中，视觉反馈的有效范围限于用户观看的包围ar对象2301的固定区域2302。此外，视觉反馈的有效范围限于用户在深度方向观看的包括ar对象2301的固定部分2303。

通过限制视觉反馈的这种有效范围，例如，对于清楚没有操作ar对象的操作(如用户围绕他或她的脸部移动手)，可以防止浪费，诸如执行无用的视觉反馈等。

也就是说，通过限制视觉反馈的有效范围，可以减小绘制负荷，并且可以防止由于无用的视觉反馈而妨碍用户的操作。

g.功能配置

24示意性地示出了用于对用户操作ar对象执行视觉反馈的功能配置。如上所述，视觉反馈基本上是通过根据表示ar对象与对ar对象执行操作指令的真实对象之间的位置关系(深度方向的距离等)的位置关系信息对ar对象的图像给出视觉效果来实现的。虽然可以在显示ar对象的显示设备主体(如头戴式显示器100)内执行用于执行视觉反馈的计算处理，但是可以在诸如网络上的服务器等外部设备中执行用于执行视觉反馈的计算处理，或者可以根据该计算结果在显示设备中仅执行显示输出。在后者的情况下，显示设备可以向服务器发送测量真实对象(用户的手等)的位置信息的结果。此外，还可以不将用于执行视觉反馈的计算处理实现为特殊的硬件设备，而是通过以计算机可读格式写入的计算机程序来实现用于执行视觉反馈的计算处理以在计算机上实现规定的处理。这样的计算机程序被记录在计算机可读存储介质中，或者经由有线或无线通信路由传送。

ar信息获取单元2401获取诸如与由ar对象生成单元(省略图示)如pc上的应用、导航系统或游戏设备生成的被显示成重叠在真实空间上的ar对象相关的位置、姿势、尺寸或纹理等ar信息。诸如头戴式显示器100等图像处理设备经由有线或无线通信单元505连接到外部ar对象生成单元。可替选地，ar对象生成单元可以包括在图像处理设备内。

真实对象检测单元2402例如通过对外部相机504的拍摄图像执行图像识别来检测作为视觉反馈的目标的真实对象(用户的手等)的位置、姿势或尺寸。可替选地，真实对象检测单元2402通过经由通信单元505接收环境相机703的拍摄图像、通过图像识别来检测真实对象的位置、姿势或尺寸。可替选地，真实对象检测单元2402可以经由通信单元505来接收通过使外部设备(未示出)识别环境相机703的拍摄图像而获得的真实对象的位置、姿势或尺寸的信息。

注意，真实对象检测单元2402可能不需要检测包括在外部相机504或环境相机703的拍摄图像中的所有真实对象。例如，检测目标可以限于试图对ar对象执行操作的规定对象(例如用户的手或用户正在抓握的指针)。这是因为对于不能对ar对象执行操作的对象可以不必执行视觉反馈。

对象间关系确定单元2403获取表示ar对象与真实对象之间的位置关系的位置关系信息，并且通过比较由ar信息获取单元2401生成的ar对象的位置姿势与由对象检测单元2402检测到的真实对象的位置姿势，并且通过确定ar对象与真实对象之间的位置关系(也就是说，真实对象在ar对象的前面、在触摸ar对象还是在ar对象后面)来生成用于向ar对象的图像赋予与位置关系信息对应的视觉效果的控制信息。

注意，对象间关系确定单元2403可能不需要将外部相机504或环境相机703的拍摄范围内的所有真实对象作为确定目标。例如，可以通过限制在如图23所示的视觉反馈的有效范围内存在的真实对象来执行位置关系的确定处理。通过限制视觉反馈的有效范围，可以减少后期的ar对象的绘制负荷，并且可以防止由于无用的视觉反馈而妨碍用户的操作。

此外，对象间关系确定单元2403不仅可以在真实对象刚刚触摸ar对象的状态下，而且可以在操作的有效范围内的状态下确定真实对象正在触摸ar对象，所述操作的有效范围被设置为相对于ar对象在深度方向前后接近ar对象的规定距离(参照图14)。通过设置真实对象的操作的有效范围，可以提高真实对象对ar对象的操作的成功率。

ar图像渲染单元2404基于诸如由ar信息获取单元2401获取的ar对象的位置、姿势、尺寸或纹理等ar信息来对要在真实空间中显示的ar图像执行渲染。

在实施例中，存在以下主要特征：ar图像渲染单元2404根据控制信息来向ar对象赋予视觉反馈，也就是说，表示ar对象已被真实对象操作的视觉效果，所述控制信息是由对象间关系确定单元2403基于表示ar对象与真实对象之间的位置关系的位置关系信息而生成的。视觉反馈的具体示例可以包括在ar对象的表面上绘制真实对象的阴影(例如，参考图8至图10)、显示光的环形指示符，其示出了真实对象正在接近ar对象(例如参照图15至图17)等。然而，视觉反馈的显示方法不限于此。

重叠显示单元2405显示由ar图像渲染单元2404绘制的在真实空间上重叠的ar图像。例如，在图像显示设备是透过型头戴式显示器100的情况下，重叠显示单元2405在显示面板的适当像素位置处显示ar图像，使得用户观察到ar对象具有由ar信息获取单元2401确定的ar对象的位置和姿势。此外，在图像显示设备是沉浸式头戴式显示器300的情况下，重叠显示单元2405在由外部相机拍摄的周围环境图像(视频透明图像)上的适当位置处重叠ar图像。

图25以流程图的形式示出了在包括图24所示的功能配置的图像处理设备中对附加到视觉反馈的ar图像执行绘制处理的处理过程。

首先，ar信息获取单元2401获取诸如与要被显示的重叠在真实空间上的ar对象相关的位置、姿势或尺寸等ar信息(步骤s2501)。

另外，真实对象检测单元2402基于对外部相机504或环境相机703的拍摄图像执行图像识别的结果等来检测作为视觉反馈的目标的真实对象(用户的手等)的位置、姿势或尺寸(步骤s2502)。

然后，对象间关系确定单元2403基于在前面的步骤s2501和s2502中获取的信息来执行ar对象和真实对象的深度确定，并且确定真实对象是否在ar对象的前面(换句话说，ar对象是否被真实对象遮蔽)(步骤s2503)。

此处，在确定真实对象在ar对象前面的情况下(步骤s2503中为是)，对象间关系确定单元2403另外检查真实对象是否存在于视觉反馈的有效范围内(参照图23)(步骤s2504)。

在真实对象存在于视觉反馈的有效范围内的情况下(步骤s2504中为是)，ar图像渲染单元2404执行接近ar对象的真实对象的视觉反馈的绘制处理(步骤s2505)。稍后将描述接近ar对象的真实对象的视觉反馈的绘制处理的细节。

另一方面，在真实对象在ar对象前面并且不存在于视觉反馈的有效范围内的情况下(步骤s2504中为否)，可能不能说真实对象在接近ar对象(或真实对象正在试图操作ar对象)，因此ar图像渲染单元2404执行不包括视觉反馈的ar对象的通常绘制处理(步骤s2506)。然而，由于真实对象在ar对象的前面，因此对被真实对象遮蔽的区域执行隐藏表面处理。

此外，在真实对象不在ar对象前面的情况下(步骤s2503中为否)，对象间关系确定单元2403另外检查真实对象是否在ar对象后面(步骤s2507)。

此处，在真实对象在ar对象后面的情况下(步骤s2507中为是)，ar图像渲染单元2404执行在ar对象后面的真实对象的视觉反馈的绘制处理(步骤s2508)。稍后将描述在ar对象后面的真实对象的视觉反馈的绘制处理的细节。

另一方面，在真实对象不在ar对象前面或后面的情况下(步骤s2507中为否)，ar图像渲染单元2404执行不包括视觉反馈的ar对象的通常绘制处理(步骤s2509)。在这种情况下，由于真实对象与用户视野中的ar对象不重叠(不遮蔽)，因此可能不需要ar对象的隐藏表面处理。

图26以流程图的形式示出了在图25所示的流程图的步骤s2505中执行的用于绘制接近ar对象的真实对象的视觉反馈的处理过程。

首先，对象间关系确定单元2403检查真实对象是否不与ar对象接触(步骤s2601)。

对象间关系确定单元2403不仅在真实对象刚刚触摸ar对象的状态下，而且在操作的有效范围内的状态下(参照图14)确定真实对象正在触摸ar对象，所述操作的有效范围被设置为相对于ar对象在深度方向前后接近ar对象的规定距离。通过设置真实对象的操作的有效范围，可以提高真实对象对ar对象的操作的成功率。

此处，在真实对象与ar对象接触的情况下(步骤s2601中为否)，ar图像渲染单元2404在真实对象与ar对象接触时生成视觉反馈(步骤s2604)。

在使用与距ar对象的距离对应的真实对象的阴影的情况下，将生成几乎不可见的阴影作为视觉反馈。此外，可以将诸如使真实对象正触摸的部分被照亮的效果添加到视觉反馈中(例如，参照图11)。

可替选地，在使用尺寸与距ar对象的距离对应的光的环形指示符的情况下，将在真实对象正触摸的部分处生成小而清晰的光环作为视觉反馈(例如，参见图17)。

此外，在真实对象与ar对象不接触的情况下(步骤s2601中为是)，对象间关系确定单元2403另外检查真实对象是否与ar对象相交(步骤s2602)。

在真实对象不与ar对象相交的情况下(步骤s2602中为否)，ar图像渲染单元2404生成与ar对象与真实对象之间的距离对应的视觉反馈(步骤s2605)。

例如，生成尺寸和清晰度与距ar对象的距离对应的真实对象的阴影，作为视觉反馈(例如，参照图9和图10)。可替选地，生成尺寸和清晰度与距ar对象的距离对应的光的环形指示符，作为视觉反馈(例如，参见图15和图16)。

此外，在真实对象与ar对象相交的情况下(步骤s2602中为是)，对象间关系确定单元2402另外检查穿过ar对象的真实对象是否已经进入警告范围，在该警告范围内，存在与障碍物(另一真实对象)如ar对象后面的墙壁碰撞的可能性(步骤s2603)。

如果真实对象在警告范围之外(步骤s2603中为否)，则ar图像渲染单元2404对与真实对象相交的ar对象执行绘制处理(步骤s2606)。

另一方面，在真实对象进入警告范围的情况下(步骤s2603中为是)，ar图像渲染单元2404使ar对象1302的显示消失(或使其闪亮闪灭)，或者为用户生成警告反馈以便能够视觉确认ar对象后面的对象，例如使其成为半透明的。

然后，ar图像渲染单元2404在对被真实对象遮蔽的区域执行隐藏表面处理的同时执行ar对象的绘制处理(步骤s2608)。

接着，ar图像渲染单元2404通过对由前述步骤s2604至s2607中的任意步骤生成的视觉反馈执行绘制处理，同时对被真实对象遮蔽的区域执行隐藏表面处理来结束当前处理例程(步骤s2609)。在ar对象的表面上绘制视觉反馈的情况下，ar图像渲染单元2404可以使颜色增强，并且可以通过将ar对象的颜色和视觉反馈的颜色相互绘制为对比色来执行视觉反馈，同时保持用户的可视性(参见图21和图22)。

图27以流程图的形式示出了在图25所示的流程图的步骤s2505中执行的用于绘制ar对象后面的真实对象的视觉反馈的处理过程。

首先，对象间关系确定单元2403检查真实对象是否存在于视觉反馈的有效范围内(参照图23)(步骤s2701)。

在真实对象不存在于视觉反馈的有效范围内的情况下(步骤s2701中为否)，不假定真实对象对ar对象执行操作，并且可能无需绘制该视觉反馈，所以通过跳过所有的后续过程来结束当前的处理例程。通过限制这样的视觉反馈的有效范围，可以减小后期的ar对象的绘制负荷，并且可以防止由于无用的视觉反馈而妨碍用户的操作。

另一方面，在真实对象存在于视觉反馈的有效范围内的情况下(步骤s2701中为是)，ar图像渲染单元2404生成与ar对象与真实对象之间的距离对应的视觉反馈，例如，如图18至图20所示(步骤s2702)。

然后，ar图像渲染单元2404通过对ar对象执行绘制处理(步骤s2703)，并且随后对在步骤s2702中生成的视觉反馈执行绘制处理(步骤s2703)来结束当前的处理例程。

以这种方式，根据本公开的实施例中公开的技术，在用户试图通过他或她的手等对ar对象执行操作时，在观察显示ar对象的真实空间的环境下，可以通过视觉反馈直观地知道ar对象与用户本身分离多远。此外，通过使视觉反馈成为线索，用户可以容易地触摸对准ar对象的位置。

此外，根据本公开的实施例中公开的技术，通过不仅简单地显示重叠在真实空间上的ar对象，而且添加诸如菜单按钮等ui部件，也将容易地使用ar对象作为诸如触摸面板等输入机构。

此外，根据本公开的实施例中公开的技术，由于通过向ar对象添加视觉反馈使空间感知变得容易，所以用户可以容易地执行诸如触摸复杂的三维形状的ar对象的操作。

工业应用

迄今为止，已经在参考具体实施例的同时详细描述了本公开的实施例中公开的技术。然而，显而易见的是，本领域技术人员可以在不偏离本公开的具体描述的实施例中公开的技术内容的范围内执行校正或替换。

本公开的实施例中公开的技术可以应用于各种图像显示设备，例如头戴式显示器、平视显示器、诸如智能电话或平板电脑等小型信息终端、导航系统或游戏装置作为呈现ar对象的装置。虽然本说明书和附图仅描述了双眼型头戴式显示器，但是不必说，本公开的实施例中公开的技术可以类似地应用于单眼型头戴式显示器。

虽然可以在显示ar对象的显示设备主体如头戴式显示器内执行用于执行用于视觉反馈的计算处理，但是可以在诸如网络上的服务器等外部设备中执行用于视觉反馈的计算处理，并且可以根据该计算结果在显示设备中仅执行显示输出。

本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。

另外，也可以如下所示来配置本技术。

(1)一种信息处理设备，包括：

电路系统，该电路系统被配置成：

获取指示真实对象与虚拟对象之间的空间关系的信息，并且

基于所获取的信息开始生成用户反馈，所述用户反馈被显示成被添加到基于由成像装置的拍摄而获得的生成图像，或者被添加到感知的真实世界的视图，

其中，当所述真实对象与所述虚拟对象之间的空间关系改变时，所述用户反馈的特性被改变。

(2)根据(1)所述的信息处理装置，其中，所述用户反馈的显示尺寸随着所述真实对象与所述虚拟对象之间的空间关系的改变而改变。

(3)根据(1)或(2)所述的信息处理装置，其中，随着所述真实对象变得更靠近所述虚拟对象，所述用户反馈的显示尺寸被显示成更小。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中，当所述真实对象与所述虚拟对象之间的空间关系改变时，所述用户反馈的显示形状被改变。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中，所述用户反馈的显示的视觉质量随着所述真实对象与所述虚拟对象之间的空间关系的改变而改变。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，所述用户反馈的显示的颜色、亮度或透射率中的至少一个随着所述真实对象与所述虚拟对象之间的空间关系的改变而改变。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中，随着所述真实对象变得更靠近所述虚拟对象，所述用户反馈的显示颜色被显示成更淡。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中，所述用户反馈的显示的移动随着所述真实对象与所述虚拟对象之间的空间关系的改变而改变。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中，至少所述用户反馈的显示的位置、振动或轨迹随着所述真实对象与所述虚拟对象之间的空间关系的改变而改变。

(10)根据(1)至(9)中任一项所述的信息处理装置，其中，当所述真实对象接近所述虚拟对象时，所述虚拟对象的至少一部分不被显示。

(11)根据(1)至(10)中任一项所述的信息处理装置，其中，当所述真实对象接近所述虚拟对象时，所述虚拟对象的至少一部分被加亮。

(12)根据(1)至(11)中任一项所述的信息处理装置，其中，所述空间关系包括所述真实对象与所述虚拟对象之间的距离。

(13)根据(1)至(12)中任一项所述的信息处理装置，其中，基于所述真实对象是否在距所述虚拟对象的预定距离内来改变所述用户反馈的特性。

(14)根据(1)至(13)中任一项所述的信息处理装置，其中，在所述真实对象位于距所述虚拟对象的预定距离内的情况下改变的所述用户反馈的特性不同于在所述真实对象没有位于距所述虚拟对象的预定距离内的情况下改变的所述用户反馈的特性。

(15)根据(1)至(14)中任一项所述的信息处理装置，其中，所述电路系统还被配置成将所述虚拟对象的前面和后面的预定距离设定为所述虚拟对象的操作范围。

(16)根据(1)至(15)中任一项所述的信息处理装置，其中，当将所述真实对象推动经过与所述虚拟对象的显示位置对应的位置时，所述虚拟对象与所述真实对象重叠。

(17)根据(1)至(16)中任一项所述的信息处理装置，其中，当将所述真实对象推动经过与所述虚拟对象的显示位置对应的位置时，给出警告反馈。

(18)根据(1)至(17)中任一项所述的信息处理装置，其中，当将所述真实对象推动经过与所述虚拟对象的显示位置对应的位置时，终止所述虚拟对象的至少一部分的显示。

(19)根据(1)至(18)中任一项所述的信息处理装置，其中，所述用户反馈包括用于由用户执行的输入操作的显示部分。

(20)根据(1)至(19)中任一项所述的信息处理装置，其中，所述空间关系包括所述真实对象与所述虚拟对象之间的距离、方向或姿势信息中的至少一者。

(21)根据(1)至(20)中任一项所述的信息处理装置，其中，所述用户反馈包括声音或振动。

(22)根据(1)至(21)中任一项所述的信息处理装置，其中，所述用户反馈被立体地显示。

(23)根据(1)至(22)中任一项所述的信息处理装置，其中，所述用户反馈的特性逐步改变，或者与所述真实对象与所述虚拟对象之间的空间关系的变化相关。

(24)根据(1)至(23)中任一项所述的信息处理装置，其中，所述用户反馈的特性的幅值关于所述真实对象与所述虚拟对象之间的空间关系的改变而改变。

(25)根据(1)至(24)中任一项所述的信息处理装置，其中，基于由所述真实对象的轨迹方向指示位置的目标的位置来确定显示所述用户反馈的位置。

(26)一种信息处理方法，包括：

获取指示真实对象与虚拟对象之间的空间关系的信息；

基于所获取的信息来生成用户反馈；以及

将所述用户反馈显示成被添加到基于由成像装置的拍摄而获得的生成图像，或者被添加到感知的真实世界的视图，

其中，当所述真实对象与所述虚拟对象之间的空间关系改变时，所述用户反馈的特性被改变。

(27)一种包含程序的非暂态计算机可读介质，当由计算机执行时，所述程序使计算机执行一种方法，所述方法包括：

获取指示真实对象与虚拟对象之间的空间关系的信息；

基于所获取的信息来生成用户反馈；以及

将所述用户反馈显示成被添加到基于由成像装置的拍摄而获得的生成图像，或者被添加到感知的真实世界的视图，

其中，当所述真实对象与所述虚拟对象之间的空间关系改变时，所述用户反馈的特性被改变。

(28)一种信息处理设备，包括：

获取单元，所述获取单元获取表示由用户与真实空间的图像同时视觉识别的虚拟对象与对虚拟对象执行操作指令的真实对象之间的位置关系的位置关系信息；以及

生成单元，所述生成单元基于所述位置关系信息来生成用于控制输出的控制信息，

其中，所述生成单元

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有第一位置关系的情况下，生成用于执行第一输出的第一控制信息，并且

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有与所述第一位置关系不同的第二位置关系的情况下，生成用于执行与所述第一输出不同的第二输出的第二控制信息。

(29)根据(28)所述的信息处理设备，

其中，在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有与所述第一位置关系和所述第二位置关系二者不同的第三位置关系的情况下，所述生成单元生成用于执行与所述第一输出和所述第二输出二者不同的第三输出的第三控制信息。

(30)根据(29)所述的信息处理设备，

其中，所述生成单元生成包括视觉信息的、用于分别执行所述第一输出、所述第二输出和所述第三输出的所述第一控制信息、第二控制信息和第三控制信息。

(31)根据(30)所述的信息处理设备，

其中，所述生成单元生成在所述第一输出至所述第三输出的至少一个输出中，执行对所述虚拟对象的图像添加视觉效果的输出的第一控制信息至第三控制信息。

(32)根据(28)所述的信息处理设备，

其中，所述生成单元生成用于执行输出的控制信息，所述输出包括表示所述虚拟对象与所述真实对象之间的距离的信息。

(33)根据(28)所述的信息处理设备，

其中，所述生成单元生成用于执行输出的控制信息，所述输出包括表示在用户所看到的深度方向上在所述虚拟对象与所述真实对象之间的距离的信息。

(34)根据(31)所述的信息处理设备，

其中，在确定出所述真实对象在所述虚拟对象前面的情况下，在确定出所述真实对象与所述虚拟对象接触的情况下，或者在确定出所述真实对象在所述虚拟对象后面的情况下，所述生成单元生成用于执行具有不同视觉效果的输出的控制信息。

(35)根据(28)和(29)中任一项所述的信息处理设备，

其中，在所述真实对象存在于设定在所述虚拟对象前后的规定距离内的有效操作范围中时，所述生成单元生成用于执行表示所述真实对象与所述虚拟对象接触的输出的控制信息。

(36)根据(35)所述的信息处理设备，

其中，所述生成单元生成控制信息，所述控制信息用于通过向所述用户通知所述真实对象与所述虚拟对象不接触，同时允许在所述有效操作范围内进行所述虚拟对象的连续操作来提示用户修正所述真实对象的位置。

(37)根据(28)至(35)中任一项所述的信息处理设备，

其中，仅在所述真实对象存在于针对所述虚拟对象设定的视觉效果的有效范围内的情况下，所述生成单元生成用于向所述虚拟对象的图像输出视觉效果的控制信息。

(38)根据(37)所述的信息处理设备，

其中，所述生成单元将所述视觉效果的有效范围设定为包含所述虚拟对象的固定范围。

(39)根据(28)至(38)中任一项所述的信息处理设备，

其中，在所述真实对象在所述虚拟对象前面或与所述虚拟对象接触的情况下，所述生成单元生成用于输出关于所述虚拟对象的视觉效果的控制信息。

(40)根据(39)所述的信息处理设备，

其中，所述生成单元生成用于输出具有与从所述虚拟对象到所述真实对象的距离对应的尺寸和清晰度的真实对象的阴影作为所述视觉效果的控制信息。

(41)根据(39)所述的信息处理设备，

其中，所述生成单元生成用于输出具有与从所述虚拟对象到所述真实对象的距离对应的尺寸和清晰度的光的环形指示符作为所述视觉效果的控制信息。

(42)根据(39)所述的信息处理设备，

其中，在所述真实对象与所述虚拟对象相交时，所述生成单元生成用于输出警告的控制信息。

(43)根据(42)所述的信息处理设备，

其中，所述生成单元输出表示所述真实对象与所述虚拟对象后面存在的另一真实对象相撞的危险的警告声，或者生成用于输出包含改变所述另一真实对象的颜色的视觉效果的警告的控制信息。

(44)根据(39)所述的信息处理设备，

其中，所述生成单元通过考虑所述真实对象的遮蔽区域来生成用于输出绘制所述虚拟对象的视觉效果的控制信息。

(45)根据(39)所述的信息处理设备，

其中，所述生成单元通过考虑所述真实对象的遮蔽区域来生成用于输出所述视觉效果的控制信息。

(46)根据(28)至(38)任一项所述的信息处理设备，

其中，在所述真实对象在所述虚拟对象后面的情况下，所述生成单元生成用于输出与从所述虚拟对象到所述真实对象的距离对应的视觉效果的控制信息。

(47)根据(28)所述的信息处理设备，其中，所述生成单元生成用于使用所述虚拟对象的颜色的对比色来输出所述视觉效果的控制信息。

(48)根据(28)所述的信息处理设备，

其中，所述生成单元生成用于输出视觉效果的控制信息，所述视觉效果使用原始颜色的对比色来绘制在所述虚拟对象内添加所述视觉效果的部分。

(49)一种信息处理方法，包括：

获取表示由用户与真实空间的图像同时视觉识别的虚拟对象与对虚拟对象执行操作指令的真实对象之间的位置关系的位置关系信息；以及

基于所述位置关系信息来生成用于控制输出的控制信息，

其中，生成控制信息包括：

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有第一位置关系的情况下，生成用于执行第一输出的第一控制信息，以及

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有与所述第一位置关系不同的第二位置关系的情况下，生成用于执行与所述第一输出不同的第二输出的第二控制信息。

(50)一种图像显示设备，包括：

显示单元，所述显示单元显示虚拟对象，以便与真实空间的图像同时被用户视觉识别；

获取单元，所述获取单元获取表示所述虚拟对象与对所述虚拟对象执行操作指令的真实对象之间的位置关系的位置关系信息；以及

生成单元，所述生成单元基于所述位置关系信息来生成用于控制示出所述虚拟对象与所述真实对象之间的位置关系的显示单元的输出的控制信息，

其中，所述生成单元

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有第一位置关系的情况下，生成用于使所述显示单元执行第一输出的第一控制信息，并且

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有与所述第一位置关系不同的第二位置关系的情况下，生成用于使所述显示单元执行与所述第一输出不同的第二输出的第二控制信息。

(51)根据(50)所述的图像显示设备，还包括生成所述虚拟对象的虚拟对象生成单元。

(52)一种图像显示方法，包括：

获取表示与真实空间的图像同时被用户视觉识别的虚拟对象与对所述虚拟对象执行操作指令的真实对象之间的位置关系的位置关系信息；

基于所述位置关系信息来生成用于控制输出的控制信息，

基于所述控制信息来显示所述虚拟对象以示出与所述真实对象的位置关系，

其中，生成控制信息包括：

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有第一位置关系的情况下，生成用于通过所述显示来执行第一输出的第一控制信息，以及

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有与所述第一位置关系不同的第二位置关系的情况下，生成用于通过所述显示来执行与所述第一输出不同的第二输出的第二控制信息。

(53)一种以计算机可读格式写入的计算机程序，所述计算机程序使计算机作为：

获取单元，所述获取单元获取表示与真实空间的图像同时被用户视觉识别的虚拟对象与对所述虚拟对象执行操作指令的真实对象之间的位置关系的位置关系信息；以及

生成单元，所述生成单元基于所述位置关系信息来生成用于控制输出的控制信息，

其中，所述生成单元

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有第一位置关系的情况下，生成用于执行第一输出的第一控制信息，并且

在基于所述位置关系信息确定出所述虚拟对象与所述真实对象具有与所述第一位置关系不同的第二位置关系的情况下，生成用于执行与所述第一输出不同的第二输出的第二控制信息。

附图标记列表

100头戴式显示器

101l、101r虚拟图像光学单元

102支撑体

103l、103r麦克风

104l、104r显示面板

300头戴显示器

303l、303r麦克风

304l、304r显示面板

305外部相机

306瞳孔间距调整机构

501控制单元

501arom

501bram

502输入操作单元

503远程控制接收单元

504外部相机

505通信单元

506存储单元

507图像处理单元

508显示驱动单元

509显示单元

510虚拟图像光学单元

511音频处理单元

512音频输入和输出单元

703环境相机

2401ar信息获取单元

2402真实对象检测单元

2403对象间关系确定单元

2404ar图像渲染单元

2405重叠显示单元