信息处理装置、信息处理方法以及图像显示系统与流程

在本文中公开的技术涉及一种信息处理装置、信息处理方法以及图像显示系统，允许处理由安装在运动物体装置上或用户身上的相机捕捉的图像。

背景技术：

众所周知固定至观察图像的用户的头部或脸部的图像显示装置，即，头戴式显示器。头戴式显示器在右眼和左眼上具有图像显示单元并且被配置成能够与头戴式耳机一起使用，控制视觉和听觉。在戴在头上时完全阻挡外部世界的配置在查看期间增强虚拟现实。而且，头戴式显示器能够在左眼和右眼上均具有投射不同的视频图像，并且通过在左眼和右眼上显示具有视差的图像，能够呈现3D图像。

这种类型的头戴式显示器在眼睛的视网膜上形成虚拟图像，以允许用户观察该图像。在这方面，在物体比焦距更接近透镜的情况下，在物体的侧边形成虚拟图像。在一个实例中，开发了一种头戴式显示器，通过将广角的虚拟图像光学系统放置成与瞳孔的前面相距25毫米并且将具有大约0.7英寸的有效像素范围的尺寸的显示面板进一步放在广角光学系统前面，该显示器在用户的瞳孔上形成显示的图像的放大虚拟图像(例如，参考专利文献1)。

而且，用户能够使用这种类型的头戴式显示器观察通过缩减一部分广角图像所获得的图像。在一个实例中，开发了一种头戴式显示器，该显示器允许通过在头上安装包括陀螺仪传感器等的头部运动跟踪装置并且促使其跟踪用户的头部的运动来实现360°的全空间的视频图像的现实体验(例如，参考专利文献2和3)。在广角图像内的显示区域运动，以消除由陀螺仪传感器检测的头部运动，可以再现跟踪头部运动的图像，因此，用户具有犹如看到整个空间的全景的体验。

而且，还众所周知第一人称视角(FPV)技术，这些技术在查看由安装在无线电控制的装置(例如，直升机)上的无线相机拍摄的第一人称视点(飞行员视点)时引航。在一个实例中，开发了由装有图像捕捉装置的运动物体以及通过操作员的操作远程控制运动物体的可穿戴式PC构成的运动物体控制装置(例如，参考专利文献4)。运动物体侧接收控制运动物体的操作的信号，以控制其自身的操作，接收控制安装在其上的图像捕捉装置的信号，以控制图像捕捉操作，并且将从图像捕捉装置中输出的视频和音频信号传输给可穿戴式PC。同时，可穿戴式PC侧生成响应于操作员的操作控制运动物体的操作的信号，生成响应于操作员的声音控制图像捕捉装置的操作的信号。可穿戴式PC侧将生成的信号无线传输给运动物体，无线接收从图像捕捉装置中输出的信号，再现视频信号，并且在监视屏上显示该信号。

而且，开发了一种网络系统，其中，装有用于中长距离的三维立体相机以及用于短距离的三维立体相机的无线电控制的汽车传输三维合成图像，以在控制器侧显示(例如，参考专利文献5)。开发了一种网络系统，其中，模型装置捕捉在模型装置前面的区域的图像，并且控制器侧接收关于模型装置的图像、位置以及方向的信息，基于位置和方向生成虚拟图像，并且显示该虚拟图像(例如，参考专利文献6)。

引用列表

专利文献

专利文献1：JP 2012-141461A

专利文献2：JP H9-106322A

专利文献3：JP 2010-256534A

专利文献4：JP 2001-209426A

专利文献5：JP 2012-151800A

专利文献6：JP 2012-143447A

技术实现要素：

技术问题

在本文中公开的技术的一个目标在于，提供一种信息处理装置、信息处理方法以及图像显示系统，其能够优选地处理由安装在运动物体装置上或用户身上的相机捕捉的图像。

而且，在本文中公开的技术的另一个目标在于，提供一种改进的信息处理装置、信息处理方法以及图像显示系统，其能够处理由相机捕捉的图像，以在固定至用户的头部或脸部的图像显示装置上适当地显示。

问题的解决方案

鉴于该问题，设计在本文中公开的技术，其第一方面是一种信息处理装置，包括：头部姿势获取单元，被配置成获取关于用户的头部姿势的信息；相机姿势获取单元，被配置成获取关于相机的姿势的信息；以及图像渲染处理器，被配置成基于用户的头部姿势和相机的姿势由相机所捕捉的图像生成要在显示装置上显示的图像，所述显示装置被固定至用户的头部或脸部。

根据在本文中公开的技术的第二方面，在根据第一方面的信息处理装置中，所述相机安装在运动物体装置上。

根据在本文中公开的技术的第三方面，根据第一和第二方面中任一项的信息处理装置的相机被配置成捕捉全向图像或广角图像，并且所述图像渲染处理器被配置成使用相机在捕捉时的姿势校正用户的头部姿势并且从生成通过根据用户的校正后的头部姿势由相机所捕捉的图像缩减视角所获得的图像。

根据在本文中公开的技术的第四方面，在根据第一方面的信息处理装置中，所述相机固定安装在用户的头部或脸部。

根据在本文中公开的技术的第五方面，根据第四方面的信息处理装置的图像渲染处理器被配置成生成通过根据第一转换参数由相机所捕捉的图像缩减视角所获得的图像，所述第一转换参数用于将相机的姿势转换成用户的头部姿势。

根据在本文中公开的技术的第六方面，根据第五方面的信息处理装置的图像渲染处理器被配置成使用在相机执行捕捉时用户的头部姿势以及预测的在经过直到在显示装置上显示图像的延迟时间之后用户的头部姿势执行图像生成。

根据在本文中公开的技术的第七方面，根据第一方面的信息处理装置的图像渲染处理器被配置成基于由相机捕捉的时间序列图像的数据，构造周围环境的三维模型，估计在三维模型中的相机的当前位置，使用用于将相机的位置和姿势转换成用户的眼球的位置和姿势的第二转换参数，预测在经过从相机的捕捉到在显示装置上的显示的延迟时间之后用户的眼球的位置和姿势，并且由三维模型生成在眼球的预测位置和姿势中捕捉的图像。

根据在本文中公开的技术的第八方面，根据第一方面的信息处理装置进一步包括：控制器，被配置成远程操作所述运动物体装置；以及滤波器，被配置成限制所述运动物体装置的轨迹并且切断所述控制器的除了所限制的轨迹以外的输入。所述控制器的输入被配置成在沿着所限制的轨迹的方向被转换成位置命令、速度命令或加速度命令，并发送给所述运动物体装置。

根据在本文中公开的技术的第九方面，通过以下方式配置根据第八方面的信息处理装置，在所述运动物体装置的轨迹被限制为直线运动时，所述滤波器切断来自所述控制器的除了前后方向以外的输入，并且将保持直线运动的轨迹的命令发送给所述运动物体装置。

根据在本文中公开的技术的第十方面，通过以下方式配置根据第九方面的信息处理装置，所述轨迹被设置为运动物体通过当前点朝向当前行驶方向的直线或者连接所述运动物体装置的当前点和目的点的直线。

根据在本文中公开的技术的第十一方面，通过以下方式配置根据第八方面的信息处理装置，在所述运动物体装置的轨迹限制为圆周运动时，所述滤波器切断来自所述控制器的除了左右方向以外的输入，并且将保持圆周运动的轨迹的命令发送给所述运动物体装置并且控制朝着目的点引导所述运动物体装置的姿势。

根据在本文中公开的技术的第十二方面，通过以下方式配置根据第十一方面的信息处理装置，所述轨迹设置为穿过以目的点为中心的运动物体装置的当前点的圆周运动或者通过以和目的点相交的垂直轴为中心的运动物体装置的当前点的在水平面内的圆周运动。

根据在本文中公开的技术的第十三方面是一种信息处理方法，所述方法包括：头部姿势获取步骤，用于获取关于用户的头部姿势的信息；相机姿势获取步骤，用于获取关于相机的姿势的信息；以及图像渲染处理步骤，用于基于用户的头部姿势和相机的姿势由相机所捕捉的图像生成要在显示装置上显示的图像，所述显示装置固定至用户的头部或脸部。

根据在本文中公开的技术的第十四方面是一种图像显示系统，包括：相机；显示装置，在被固定至用户的头部或脸部时使用；头部运动跟踪装置，被配置为测量用户的头部姿势；以及图像处理装置，被配置为基于用户的头部姿势和相机的姿势由相机所捕捉的图像生成要在显示装置上显示的图像。

虽然词语“系统”在本文中用于表示多个装置(和/或实现特定功能的功能模块)的逻辑组合，但是无论每个装置和/或功能模块是否包含在单个外壳内都没有问题。

本发明的有利效果

根据在本文中公开的技术，可以提供一种改进的信息处理装置、信息处理方法以及图像显示系统，其能够优选地处理由安装在运动物体或用户内的远程相机捕捉的图像，以在固定至用户的头部或脸部的图像显示装置上适当地显示。

注意，在本说明书中描述的有利效果仅仅为了实例，并且本发明的有利效果不限于此。而且，在一些情况下，本发明还可以显示除了上述有利效果以外的额外有利效果。

基于在后文中讨论的示例性实施方式以及附图，通过更详细的描述阐明在本文中公开的技术的其他目标、特征以及优点。

附图说明

图1是示意性示出根据在本文中公开的技术的实施方式的图像显示系统100的配置的示图；

图2是示出从前面查看时在头上佩戴头戴式显示器110的用户的示图，这适用于在图1示出的图像显示系统；

图3是示出从上面查看时佩戴在图2示出的头戴式显示器110的用户的示图；

图4是示出全向相机400的示例性配置的示图；

图5是示出全向相机400的示例性配置的示图；

图6是示出全向相机400的示例性配置的示图；

图7是示出的用于描述佩戴头戴式显示器110的用户查看自由视点图像的方式的示图；

图8是示出图像显示系统100的示例性功能配置的示图；

图9是示出四元数的实例的示图；

图10是示出图像显示系统100的另一个示例性功能配置的示图；

图11是示出如何根据用户的头部姿势由另一个全向图像缩减显示视角的示图；

图12是示出如何缩减(clip，剪掉)因全向相机的姿势的变化而与用户的头部姿势不匹配的显示视角的示图；

图13是示出如何缩减根据全向相机的姿势的变化校正用户的头部姿势所获取的显示视角的示图；

图14是示出以通过根据全向相机的姿势的变化校正用户的头部姿势所获取的显示视角由全向图像缩减自由视点图像的处理程序的示图；

图15是示出视频穿透式图像显示系统100的示例性配置的示图；

图16是示出通过使相机拍摄的图像与显示光学系统的参考坐标系统匹配来显示与用户的视角匹配的图像的处理程序的示图；

图17是示出考虑在图像捕捉与显示之间的延迟时间通过使相机拍摄的图像与显示光学系统的参考坐标系统匹配来显示与用户的视角匹配的图像的处理程序的示图；

图18是示出考虑在图像捕捉与显示之间的延迟时间通过组合三维重构技术和头部运动跟踪预测来显示与用户的视角匹配的图像的处理程序的示图；

图19是示出通过将运动物体装置120的控制自由度限制为直线运动来使用控制器130远程操作运动物体装置120的方式的示图；

图20是示出通过将运动物体装置120的控制自由度限制为直线运动来控制远程操作的处理程序的示图；

图21是示出通过将运动物体装置120的控制自由度限制为圆周运动来使用控制器130远程操作运动物体装置120的方式的示图；

图22是示出通过将运动物体装置120的控制自由度限制为圆周运动来控制远程操作的处理程序的示图。

具体实施方式

参考示图，更详细地描述在本文中公开的技术的实施方式。在以下描述中，全向图像或全向相机根本上用作说明性实例。然而，甚至在使用广角图像或广角相机的情况下，通过考虑使用例如黑色完全喷涂除了拍摄的视角以外的其他区域的全向图像或者输出该图像的相机，可以与全向相机的情况一样处理，因此，在本文中公开的技术不失一般性。

图1示意性示出根据在本文中公开的技术的实施方式的图像显示系统100的配置。所示的图像显示系统100被配置为包括在安装在用户的头部或脸部时使用的图像显示装置110(头戴式显示器)以及运动物体装置120-1、120-2,…，例如，飞机(或直升机和其他飞行物体)、机动车辆以及船只。一些运动物体装置120可以是通过无线电远程操作的无线电控制的装置，并且用户可以使用控制器130驾驶无线电控制的装置。每个运动物体装置120-1、120-2、120-3,…装备有全向相机并且在运动期间捕捉风景。在一个实例中，控制器130可以是诸如智能电话和平板电脑的多功能信息终端，并且发起用于驾驶运动物体装置120的应用。

在一个实例中，通过无线网络、红外通信等，在头戴式显示器110与运动物体装置120之间并且在控制器130与运动物体装置120之间建立无线连接。由全向相机所捕捉的图像可以使用运动物体装置120的无线通信功能发送给包括头戴式显示器110的其他装置。然而，为了描述简单，在本文中假设全向相机具有其自身的无线通信功能。

图2示出了从前面看时在头上佩戴头戴式显示器110的用户，这适用于在图1示出的图像显示系统。

在佩戴在用户的头上或脸上时，头戴式显示器110直接覆盖用户的眼睛，从而为观看图像的用户提供沉浸感。而且，显示图像对外面(其他人)是不可见的，从而在显示信息时，可以容易实现保护隐私。这与穿透式不同，佩戴头戴式显示器110的用户不能观看现实世界风景。如果配备有用于捕捉在用户的视线方向的风景外部安装的相机(未示出)，则在头戴式显示器110上显示捕捉的图像，从而用户能够间接地观看现实世界风景(即，使用视频穿透式可视化显示风景)。

在图2示出的头戴式显示器110是与头盔形状相似的结构，并且被配置为直接覆盖佩戴该显示器的用户的左眼和右眼。头戴式显示器110具有显示面板(在图2未示出)，该显示面板设置在头戴式显示器110的主体的内侧上朝着左眼和右眼的位置内。用户观察显示面板。在一个实例中，显示面板由诸如有机电致发光(EL)装置和液晶显示器的微型显示器或诸如视网膜直接投影显示器的激光扫描显示器构成。

头戴式显示器110具有安装在头戴式显示器110的主体的左端和右端附近的麦克风。这些麦克风几乎对称地位于两侧并且允许识别且从周围的噪音或其他人的声音中分离仅位于中心的声音(用户的声音)，从而通过输入声音，在操作时防止故障。

而且，头戴式显示器110具有布置在头戴式显示器110的外侧的触控面板。触控面板允许用户使用指尖等执行触摸输入。虽然在说明的实例中提供一对左右侧触摸面板，但是可以提供单个或三个或更多个触控面板。

图3示出从上面观看时佩戴在图2示出的头戴式显示器110的用户。所示的头戴式显示器110在朝着用户的脸部的任一侧上具有左眼和右眼的显示面板。在一个实例中，显示面板由诸如有机EL装置和液晶显示器的微型显示器或诸如视网膜直接投影显示器的激光扫描显示器构成。用户的左眼和右眼均观察要在显示面板上显示的图像，作为通过穿过虚拟图像光学单元所获得的放大虚拟图像。而且，每个用户具有眼高和瞳孔距离的单独差异，因此，佩戴其的用户的眼睛需要与左边和右边显示系统对准。在图3示出的实例中，在右眼的显示面板与左眼的显示面板之间设置瞳孔距离调整机构。

在一个实例中，要安装在运动对象装置120上的全向相机可以配置有多个视频相机的组合。图4到图6示出包括六个摄像机的全向相机400的示例性配置。

六个摄像机401、402,…,406固定在其相应的预定位置，并且与图像处理器410同步地将所捕捉的图像输出到图像处理器410。在一个实例中，每个摄像机401、402,…,406将互补型金属氧化物半导体(CMOS)图像传感器用作其相应的图像传感器。

图像处理器410通过根据在摄像机所在的位置之间的关系拼接由摄像机401、402,…,406所捕捉的图像，生成一个全向图像帧(或广角图像帧)。一些或所有生成的全向图像无线被发送给头戴式显示器110，并且提供这些图像，作为自由视点图像，其中，根据佩戴其的用户的头部的姿势(视线方向)移动(shift)视点。

图5和图6示意性示出了摄像机401、402,…,406的示例性设置。图5是从上面往下看的示图，并且图6是从侧边看的透视图。如图所示，这六个摄像机401、402,…,406在其相应的主轴的方向径向设置为彼此背对背的关系。

更优选地，摄像机401、402,…,406的视点的位置(相机的位置)在以穿过预定的参考点(稍后描述)的垂直参考轴501为中心的水平同心圆上以预定的角度间隔设置(参考图5和图6)。在本实施方式中，这六个摄像机401、402,…,406以60°间隔设置。而且，摄像机401、402,…,406被设置为使得图像捕捉视角的两个端部部分在相邻的摄像机之间重叠，从而捕捉整个圆周，在水平方向没有中断。

而且，在一个实例中，在已转让给本申请人的专利申请No.2014-128020的说明书中，能找出适用于根据本实施方式的图像显示系统100的全向相机的特定示例性配置。在本文中公开的技术不限于特定的全向相机的配置。

图7示出佩戴头戴式显示器110的用户如何在根据本实施方式的图像显示系统100中观看自由视点图像(即，如何显示追踪用户的头部的运动的图像)。

在用户的视点中，深度方向被限定为z_w轴，水平方向被限定为y_w，垂直方向被限定为x_w，并且用户的参考轴x_w、y_w、z_w的原点位置被限定为用户的视点位置。因此，横摇(roll，旋转)角θ_z对应于用户的头部围绕z_w轴的运动、倾斜角θ_y对应于用户的头部围绕y_w轴的运动，并且摇摄角θ_z对应于用户的头部围绕x_w轴的运动。

在开始，检测用户的头部在横摇角、倾斜角以及摇摄角(θ_z,θ_y,θ_z)中的每个的方向上的运动或由头部的平移构成的姿势信息。然后，要缩减的区域702的中心从由全向相机捕捉的原始全向图像701移动，以跟踪用户的头部的姿势，并且渲染在其中心位置缩减预定视角的区域702的图像。更具体而言，通过根据用户的头部运动的横摇角分量旋转区域702-1，通过根据用户的头部运动的倾斜角分量旋转区域702-2，或者通过根据用户的头部运动的摇摄角分量旋转区域702-3，移动显示区域，以抵消用户的头部的运动。这使头戴式显示器110可以呈现跟踪用户的头部运动的自由视点图像。

而且，根据用户的头部姿势由全向相机所捕捉的全向图像渲染自由视点图像的过程的实例包括在全向相机中执行其的方法、将全向图像发送给头戴式显示器110并且在头戴式显示器110中执行的方法、以及将全向图像上传到云计算机并且在云上执行的方法。

在这方面，如图1所示，在全向相机安装在运动物体装置120上的情况下，设想运动物体装置120改变其路线。随着运动物体装置120的路线改变，全向相机的姿势改变。因此，甚至在佩戴头戴式显示器110的用户并非旨在运动其头部时，要观看的图像不利地改变。如果用户观看与用户的运动不匹配的非预期图像，则用户遭受诸如虚拟现实(VR)病的健康危害。

因此，在本实施方式中，根据全向相机的姿势的变化，校正佩戴头戴式显示器110的用户的头部姿势，以执行由全向图像缩减显示的图像。只要用户不运动，这种过程就使在相同地方的自由视点图像依然可见，从而防止VR病。

图8示出图像显示系统100的示例性功能配置，其中，可以如上所述实现图像缩减过程。所示的图像显示系统100被配置为包括3个装置，即，头部运动跟踪装置810、显示装置820以及图像捕捉装置830。

头部运动跟踪装置810在安装在观察在显示装置820上显示的图像的用户的头上时被使用，并且以预定发送间隔将关于用户的头部姿势的信息输出给显示装置820。在示出的实例中，头部运动跟踪装置810被配置为包括传感器单元811、姿势角计算单元812以及通信单元813。

在一个实例中，传感器单元811配置有诸如陀螺仪传感器、加速度传感器以及地磁传感器的多个传感器装置的组合，并且被配置为检测用户的头部的姿势角。在该描述中，假设是能够检测三轴陀螺仪传感器、三轴加速度传感器以及三轴地磁传感器的总共9个轴的传感器。

姿势角计算单元812基于通过由传感器单元811检测的9个轴所获得的结果，计算关于用户的头部姿势的信息。在本实施方式中，假设姿势角表示为四元数。而且，在以下描述中，表示位置的三维向量限定为p，并且表示姿势的四元数限定为q。四元数q是由旋转轴(向量)和旋转角(标量)构成的四元数，如在以下公式(1)和图9中所示。由于没有奇点，所以四元数适合于计算。在计算机图形的领域中，通常使用四元数表示对象的姿势。

【数学公式1】

假设头部运动跟踪装置810和显示装置820通过诸如蓝牙(注册商标)通信的无线通信互连。可替换地，可以通过高速有线接口，例如，通用串行总线(USB)，而非无线通信，在头部运动跟踪装置810和显示装置820之间建立连接。关于由姿势角计算单元812获得的用户的头部姿势的信息通过通信单元813发送给显示装置820。

图像捕捉装置830被配置为包括全向相机831、传感器单元832、姿势角计算单元833以及通信单元834。在本实施方式中，在安装在运动物体装置120上时，使用图像捕捉装置830。

如在图4和图8中所示，配置全向相机831，并且该全向相机捕捉全向图像。省略其详细描述。

在一个实例中，传感器单元832配置有诸如陀螺仪传感器、加速度传感器以及地磁传感器的多个传感器装置的组合。在该描述中，假设是能够检测三轴陀螺仪传感器、三轴加速度传感器以及三轴地磁传感器的总共9个轴的传感器。姿势角计算单元833基于通过由传感器单元832检测的9个轴所获得的结果，计算关于全向相机831的姿势的信息。在本实施方式中，假设姿势角表示为四元数(与上面一样)。

假设图像捕捉装置830和显示装置820通过诸如无线保真(Wi-Fi)的无线通信互连。关于由全向相机831捕捉的图像的信息以及关于由姿势角计算单元833获得的全向相机831的姿势的信息通过通信单元834发送给显示装置820。

显示装置820等同于在图1示出的图像显示系统100中的头戴式显示器110。在图8示出的实例中，头部运动跟踪装置810被配置为与显示装置820分离的装置(在一个实例中，头部运动跟踪装置810作为头戴式显示器110的可选产品制造和销售)。可替换地，头部运动跟踪装置810和显示装置820可以整合在一个头戴式显示器110内。

显示装置820被配置为包括第一通信单元821、第二通信单元824、图像渲染处理器822以及显示单元823。

在显示装置820被配置成头戴式显示器的情况下，在一个实例中，显示单元823配备有分别固定至用户的左眼和右眼的左右屏幕，并且显示用于左眼的图像和用于右眼的图像。在一个实例中，显示单元823的屏幕由包括诸如有机EL装置和液晶显示器的微型显示器的显示面板或诸如视网膜直接投影显示器的激光扫描显示器构成。而且，提供虚拟图像光学单元(未示出)，该单元放大在显示单元823上显示的图像，投射该图像，并且在用户的瞳孔上聚焦具有预定的视角的放大的虚拟图像。

第一通信单元821通过通信单元813从头部运动跟踪装置810接收关于用户的头部姿势的信息。而且，第二通信单元824接收关于通过通信单元834从图像捕捉装置830捕捉的图像的信息以及由姿势角计算单元833获得的关于全向相机831的姿势的信息。而且，在本实施方式中，姿势角计算单元812安装在头部运动跟踪装置810内，并且姿势角计算单元833装配在图像捕捉装置内。然而，可以具有一种配置，其中，通信单元813和834分别无线发送由传感器单元811和832检测的结果，没有任何修改，而不发送其相应的姿势信息项，从而防止装置810和830执行姿势角计算，并且显示装置820使用由第一通信单元821或第二通信单元824接收的基于传感器的信息，执行其相应的姿势角计算过程。

图像渲染处理器822渲染通过由全向图像缩减对应于关于用户的头部姿势的信息的显示视角所获得的图像。通过缩减原始图像以消除用户的头部的姿势角所获得的显示视角移动，使显示单元823能够显示跟踪头部的运动的图像。因此，用户能够体验观看大屏幕。

而且，在本实施方式中，图像渲染处理器822根据全向相机831的姿势的变化，校正观察在显示装置820上显示的图像的用户(佩戴头戴式显示器110的用户)的头部姿势，从而执行全向图像的缩减。甚至在相机831的姿势改变时，只要用户不运动，这种校正过程就允许在相同地方的自由视点图像保持可见。

图10示出图像显示系统100的另一个示例性功能配置。示出的图像显示系统100被配置成包括4个装置，即，头部运动跟踪装置1010、显示装置1020、图像捕捉装置1030以及图像处理装置1040。

在安装在观察在显示装置1020上显示的图像的用户的头上时，使用头部运动跟踪装置1010，并且该头部运动跟踪装置以预定发送间隔将关于用户的头部姿势的信息输出到显示装置1040。在示出的实例中，头部运动跟踪装置1010被配置为包括传感器单元1011、姿势角计算单元1012以及通信单元1013。

传感器单元1011是能够检测9个轴的传感器(与上面相同)并且检测用户的头部的姿势角。姿势角计算单元1012基于通过由传感器单元1011检测的9个轴所获得的结果，计算表示用户的头部的姿势角的四元数q_h。然后，所计算的四元数q_h通过通信单元1013传输给图像处理装置1040。

图像捕捉装置1030被配置为包括全向相机1301、传感器单元1302、姿势角计算单元1033以及通信单元1034。在安装在运动物体装置120上时，使用图像捕捉装置1030(与上面一样)。

如在图4到图6中所示，配置全向相机1031，并且该全向相机捕捉全向图像。传感器单元1032是能够检测9个轴的传感器(与上面相同)并且检测全向相机1031的姿势角。姿势角计算单元1033基于通过由传感器单元1032检测的9个轴所获得的结果，计算表示全向相机1031的姿势角的四元数q_c。然后，所计算的四元数q_c通过通信单元1034发送给图像处理装置1040。

在一个实例中，图像处理装置1040由云计算机构成。图像处理装置1040通过通信单元1041从头部运动跟踪装置1010接收表示用户的头部的姿势角的四元数q_h，并且从图像捕捉装置1030接收关于全向相机1031捕捉的图像的信息以及表示全向相机1031的姿势角的四元数q_c。然后，图像渲染处理器1042渲染通过由全向图像缩减对应于关于用户的头部姿势的信息的显示视角所获得的图像，并且通过通信单元1041将其发送给显示装置1020。而且，与上述配置一样，可以具有一种配置，头部运动跟踪装置1010或图像捕捉装置1030不执行姿势角计算，而是将基于传感器的信息发送给图像处理装置1040，用于允许图像处理装置1040执行姿势角计算。

显示装置1020在显示单元1023上显示通过通信单元1021从图像处理装置1040接收到的图像信息。显示装置1020在原始图像中移动显示视角，以消除用户的头部的姿势角，因此，显示单元1023可以显示跟踪头部的运动的图像。因此，用户能够体验观看大屏幕。在一个实例中，图像处理装置1040由云计算机构成，并且在被配置为通过通信单元连接至显示装置1020的情况下，在通信单元内的传输延迟会成为一个问题。在图10示出的系统配置的变型例中，显示装置1020具有第二图像渲染处理器(未示出)，并且图像处理装置1040不仅发送关于缩减图像的信息，而且还发送关于在缩减的同时所使用的用户的头部姿势的信息，因此，显示装置1020可以使用从图像处理装置1040中接收的姿势信息以及从头部运动跟踪装置1010最新接收的姿势信息调整显示图像的位置，从而减轻传输延迟问题。

图11示出如何由安装在运动物体装置120上的全向相机所捕捉的全向图像1100缩减对应于佩戴头戴式显示器110的用户的头部姿势的显示视角。

而且，图12示出即使在用户不运动其头部姿势时运动物体装置120(即，全向相机)的姿势在向左的方向改变并且因此通过由全向图像1200缩减所获得的显示视角1201在向右的方向运动的方式。在这种情况下，即使佩戴头戴式显示器110的用户不运动其头部，也发生正在观看的图像改变的现象。如果观看与用户的运动不匹配的非预期图像，则用户将遭受诸如虚拟现实(VR)病的健康危害。

在一个实例中，在用户观看由安装在运动物体装置120上的相机捕捉的图像的同时，用户使用控制器130远程操作运动物体装置120的情况下，如果运动物体装置120执行抵抗用户意图的运动或非预期运动，则用户可能遭受VR病。即使运动物体装置120根据用户的远程操作运动，所显示的图像的剧烈运动也更可能造成VR病。

为了防止如上所述的VR病，可以设想一种解决方案，该解决方案通过提高控制器130对运动物体装置120的控制性能来促使低通滤波器切割，使得防止发生抵抗用户意图的运动，即，运动物体装置120仅仅执行低速运动，或者可替换地，使得防止在头戴式显示器110上显示相机的快速运动。

同时，在本文中公开的技术中，通过由全向图像缩减适合于由佩戴头戴式显示器110的用户观看的方向的部分，显示由安装在运动物体装置120上的相机捕捉的图像，而非没有任何修改地显示。

在一个实例中，在图8和图10中示出的实施方式中，根据全向相机830或1030的姿势的变化，校正由头部运动跟踪装置810或1010测量的用户的头部姿势。图13示出如何由其姿势在向左的方向改变的全向相机所捕捉的全向图像1300缩减通过根据全向相机的姿势的变化校正用户的头部姿势所获取的显示视角1301。即使全向相机的姿势改变，只要用户不运动，这种过程就使相同的自由视点图像能够保持可见，从而防止VR病。

在由全向图像(或广角图像)缩减适合于用户正在观看的方向的显示视角时，并未使用固定至相机的坐标系或固定至用户的身体的坐标系，使用第三坐标系。换言之，相机侧和头戴式显示器侧独立执行位置和姿势变化的估计，并且基于从这两侧获得的结果，确定要显示的图像的区域。

图14示出以通过根据全向相机的姿势的变化校正佩戴头戴式显示器110的用户的头部姿势所获取的显示视角从全向图像中缩减(clip，剪掉)自由视点图像的处理程序。在一个实例中，该处理程序由包含在图8中示出的图像显示系统100中的显示装置820内的图像渲染处理器822执行，或者由在图10中示出的图像显示系统100中的图像处理装置1040执行。下面，为了方便起见，假设在图10中示出的图像显示系统100中执行该过程，提供描述。

安装在运动物体装置120上的图像捕捉装置1030的全向相机1031捕捉全向图像(F1401)。而且，传感器单元1032检测全向相机1031的姿势角，并且姿势角计算单元1033基于由传感器单元1032检测9个轴所获得的结果计算表示全向相机1031的姿势角的四元数q_c(F1402)。然后，通过通信单元1034将捕捉的图像和相机姿势角q_c发送给图像处理装置1040。

另一方面，在头部运动跟踪装置1010中，传感器单元1011检测用户的头部的姿势角，并且姿势角计算单元1012基于在传感器单元1011内的检测所获得的结果计算表示用户的头部的姿势角的四元数q_h(F1411)。然后，通过通信单元1013将头部姿势角q_h发送给图像处理装置1040。

在图像处理装置1040中，通信单元1041从图像捕捉装置1030接收所捕捉的图像和相机姿势角q_c，并且从头部运动跟踪装置1010接收用户的头部姿势角q_h。在相机姿势角q_c不改变的情况下，图像渲染处理器1042可以根据用户的头部姿势角q_h由所捕捉的图像缩减显示视角。然而，在本实施方式中，设想如图13所示，相机姿势角q_c改变。因此，在开始，图像渲染处理器1042使用相机姿势角q_c校正用户的头部姿势角q_h(F1421)，并且根据校正后的用户的头部姿势角q_h^*由所捕捉的图像缩减显示视角(F1422)。然后，图像处理装置1040通过通信单元1041将由图像渲染处理器1042渲染的自由视点图像发送给显示装置1020，并且显示装置1020显示该图像(F1430)。

而且，根据以下公式(2)，执行在以上过程F1422中校正用户的头部姿势角q_h的过程。换言之，通过使原始的用户的头部姿势角q_h乘以左手边的相机姿势角q_c的乘法逆元素，确定校正后的用户的头部姿势角q_h^*。而且，姿势角q_h和q_c均是关于将上述第三坐标系用作参考来测量的头部和相机中的每个的姿势角的信息。

【数学公式2】

上面描述了设置有全向相机的图像捕捉装置安装在运动物体装置120(例如，飞机(或直升机和其他飞行物体)、机动车辆以及船只)上的图像显示系统100。同时，还可设想全向相机连接至佩戴在图15示出的头戴式显示器110并且用户通过头戴式显示器110观看所捕捉的图像的视频穿透式图像显示系统100。在这种情况下，根据用户的头部姿势由全向相机所捕捉的全向图像缩减显示视角，并且在头戴式显示器110上显示。

在这种视频穿透式图像显示系统100中，如图12所示，从相机的捕捉到显示的延迟时间以及相机的姿势的变化造成在用户的头部姿势与其显示视角之间的差异问题。如果头部的方向与显示视角不匹配，则用户观看非预期图像，从而更可能造成VR病。

而且，如图15所示，在穿透式头戴式显示器中，如果相机的安装位置和姿势以及用户观看所捕捉的图像的位置(眼球位置)以及用户的姿势具有差异，则发生各种问题，如在以下条目(1)到(3)中所列出的。

(1)难以找到距离感，犹如手看起来更短

(2)容易患虚拟现实病，除非调整光轴方向

(3)容易患虚拟现实病，除非成像视角和显示视角匹配

本发明人发现通过考虑相机姿势和头部运动跟踪预测的显示校正的组合，可以减少在视频穿透式图像显示系统100中的姿势和视角之间的延迟或差异问题。

为了描述简单，考虑从相机的捕捉到显示没有延迟时间的情况。在这种情况下，仅仅需要使相机的参考坐标系统与显示光学系统(显示单元的屏幕)对准并且使其与要呈现给用户的视角匹配。

图16示出用于显示通过使相机捕捉的图像与显示光学系统的参考坐标系统对准并且使其与用户的视角匹配所获得的图像的处理程序(在这种情况下，假设从捕捉到显示没有延迟时间)。

连接至用户的图像捕捉装置1030的全向相机1031捕捉全向图像(F1601)。

假设全向相机1301相对于用户(或用户佩戴的显示装置1020)的位置是固定的。在这种情况下，将相机的姿势用作参考，用户的头部姿势可以表示为固定参数q_t。因此，可以根据该固定由相机所捕捉的图像缩减显示视角(F1602和F1603)，并且可以显示(F1604)。相机和头部一起运动，因此，在以上公式(2)中的校正后的用户的头部姿势角q_h′^*＝q_c^-1q_h通常保持为恒定值(独立于姿势角q_c和q_h的值)，该恒定值称为固定参数q_t。

而且，图17示出用于显示通过考虑从捕捉到显示的延迟时间使相机所捕捉的图像与显示光学系统的参考坐标系统对准并且使其与用户的视角匹配所获得的图像的处理程序。

连接至用户的图像捕捉装置1030的全向相机1031捕捉全向图像(F1701)。

而且，全向相机1031和用户(或者用户佩戴的显示装置1020)的相对位置关系固定，并且保持用于将相机的姿势转换成用户的头部姿势的固定参数q_t(F1702)。固定参数q_t由显示光学系统和相机捕捉系统的机械设置确定。

而且，在头部运动跟踪装置1010中，传感器单元1011检测用户的头部的姿势角，并且姿势角计算单元1012基于在传感器单元1011中的检测所获得的结果，计算表示用户的头部的姿势角的四元数q_h(F1703)，在获取基于传感器的信息时，该四元数与时间信息相关联地记录(F1704)。然后，基于在F1701中进行捕捉的时间以及在F1704中记录的头部姿势的估计值q_h，估计在捕捉时的头部姿势q_hc(即，执行捕捉时间的内插或预测)(F1705)。而且，计算从当前时间到在显示光学系统上显示图像的延迟时间δ的近似值(F1706)。基于当前时间(F1707)和在F1704中记录的头部姿势的估计值q_h，预测在执行后续延迟时(当前时间+延迟时间δ)的头部姿势(F1708)。而且，主要根据显示面板的驱动频率或者面板驱动电路的配置，确定延迟时间δ。一个实例中，使用在转让给给本申请人的专利申请No.2013-268014中公开的预测算法中，可以执行通过考虑延迟时间δ的头部姿势预测。

在图像处理装置1040中，基于在F1702中获取的固定参数q_t、在F1705中估计的头部姿势q_hc以及在F1708中预测的头部姿势的预测值q_h′，计算校正后的参数q_t*(F1709)。更具体而言，如在以下公式(3)中所示，通过使固定参数q_t乘以校正项q_hc^-1和q_h′来计算校正后的参数q_t^*，其是通过在固定参数q_t的右边、头部姿势的预测值q_h′的左边、由预测值q_h′乘以捕捉时的头部姿势q_hc的乘法逆元素所获得的。

【数学公式3】

然后，根据参数q_t^*由所捕捉的图像缩减显示视角，以渲染自由视点图像(F1710)。如上所述渲染的自由视点图像从图像处理装置1040中传输给显示装置1020，并且在显示装置1020显示(F1711)。

而且，本发明人已发现在视频穿透式图像显示系统100中的姿势与视角之间的延迟或差异问题可以由三维重新构技术(包括Visual SLAM，作为典型实例)和头部运动跟踪预测的组合解决。Visual SLAM是能够在未知的环境下同时执行相机自定位估计和制图的技术。Visual SLAM的实例可以包括集成增强现实技术“SmartAR”(索尼公司的商标)。

在成像装置1040中，连接至用户的头部(或用户的其他身体部分)的全向相机1031继续捕捉，从而可以获得时间序列图像数据。在图像处理装置1040中，周围环境的三维模型由时间序列图像数据使用VisualSLAM技术构造，并且找出在三维模型中的相机的当前位置。然后，如果考虑从捕捉到在显示装置1020上显示的延迟时间δ，预测用户的当前眼球位置和姿势，则图像处理装置1040渲染在预测的位置由虚拟相机捕捉的图像，并且在显示装置1020显示。

图18示出使用三维重新构技术和头部运动跟踪预测的组合考虑从捕捉到显示的延迟时间来显示与用户的视角匹配的图像的处理程序。

连接至用户的图像捕捉装置1030的全向相机1031捕捉全向图像(F1801)。

在图像处理装置1040中，周围环境的三维模型M由时间序列图像数据使用Visual SLAM技术构造(F1802)，估计在三维模型内捕捉时的相机位置p_c和相机姿势q_c(F1803)，并且与每个捕捉时间信息项相关联地记录(F1804)。

接下来，计算从当前时间到在显示光学系统上显示图像的延迟时间δ(F1805)。基于当前时间(F1806)和在F1804中记录的相机位置和姿势的估计值p_c和q_c，预测在执行后续显示时的相机位置p′_c和相机姿势q′_c(F1807)。而且，获取全向相机1031的位置和姿势以及用户的眼睛的位置和姿势的转换参数p_t和q_t(F1808)。转换参数p_t和q_t是由显示光学系统和相机捕捉系统的机械设置确定的固定参数。而且，转换参数p_t是应用坐标位置的偏移的三维向量，并且转换参数q_t是表示姿势的变化的四元数。然后，如在以下公式(4)中所示，使用转换参数p_t和q_t，由此时的相机位置的预测值p′_c和相机姿势的预测值q′_c预测执行在后续显示时的用户的眼球的位置p′_h和用户的眼球的姿势q′_h(F1809)。

【数学公式4】

然后，在图像处理装置1040中，使用在F1802中构造的周围环境的三维模型M，渲染在预测的眼球位置p′_h和姿势q′_h中的图像捕捉数据(F1810)。如上所述渲染的自由视点图像从图像处理装置1040传输给显示装置1020，并且在显示装置1020显示(F1811)。

如上所述，根据在图17和18中示出的处理程序，可以解决在视频穿透式图像显示系统100中的姿势和时间之间的延迟或差异问题。因此，在视频穿透式图像中，可以通过减少不对准(例如，光轴差异)来防止VR病。而且，相机选择或设置的自由度提高，因此，可以获得在以下条目(1)到(4)中列出的效果。

(1)不需要在相机与眼球的光轴之间对准

(2)不需要在相机与眼球的姿势之间对准

(3)不需要在相机与眼球的视角之间对准

(4)可以设置任何数量的相机

虽然在图1示出的图像显示系统100被配置为包括安装在运动物体装置120上的相机以及在连接至用户的头部时用户通过其观看由相机捕捉的图像的头戴式显示器110，但是可以用作用户使用控制器130远程操作的运动物体装置120的相机系统。

在典型的远程操作系统中，可以使用控制器130操作运动物体装置120的任何可能运动。然而，在观看由安装在运动物体装置120上的相机捕捉的图像的同时执行远程操作的情况下，如果运动物体装置120执行抵抗用户意图的运动或非预期运动，则用户可能遭受VR病。

同时，在本文中公开的技术中，通过限制用户对运动物体装置120的控制自由度，防止VR病。在一个实例中，规定运动物体装置120在空间内的轨迹，并且远程操作在轨迹上的位置、速度以及加速度中的仅仅一个。

下面，描述以下实施方式：图像显示系统100作为能够限制控制自由度的远程操作相机系统操作。在一个实例中，假设空中运动物体装置120，例如，装配有三个或更多个转子的直升机和多旋翼整机，是远程操作的目标，并且控制自由度仅仅限于直线或圆周运动。然后，用户使用制造成容易作为控制器130操作的诸如操纵杆的输入装置，在直线或圆周运动中仅仅远程操作在轨迹上的速度或加速度。

描述了如图19所示在运动物体装置120的控制自由度限制为直线运动的情况下使用控制器130的远程操作。图20示出在上述情况下控制运动物体装置120的处理程序。

在开始限制为直线运动的轨迹约束模式(F2001)时，设置运动物体装置120的轨迹(F2002)。在运动物体装置120的轨迹限制为直线运动的情况下，在一个实例中，设置在以下条目(1)或(2)中列出的直线轨迹。

(1)通过当前点而朝向当前行驶方向引导的直线

(2)连接当前点和目的点的直线

如果从诸如操纵杆的控制器130输入控制(F2003)，则过滤控制输入，并且切断除了前后方向以外的其他控制输入(F2004)。

随后，控制输入沿着在F2002中设置的直线轨迹被转换成位置命令、速度命令或加速度命令(F2005)，并且保持轨迹的命令被传递给运动物体装置120的自动控制系统(F2006)。

接下来，描述了如图21所示在运动物体装置120的控制自由度限制为圆周运动的情况下使用控制器130的远程操作。图22示出在上述情况下控制运动物体装置120的处理程序。

在开始限制为圆周运动的轨迹约束模式(F2201)时，设置运动物体装置120的轨迹(F2202)。在运动物体装置120的轨迹限制为圆周运动的情况下，在一个实例中，设置在以下条目(1)或(2)中列出的圆周轨迹。

(1)穿过以目的点为中心的当前点的圆周运动

(2)穿过以和目的点相交的垂直轴为中心的当前点的在水平面内的圆周运动

如果从诸如操纵杆的控制器130中输入控制(F2203)，则过滤控制输入，并且切断除了左右方向以外的其他控制输入(F2204)。

随后，控制输入沿着在F2002中设置的圆周轨迹被转换成位置命令、速度命令或加速度命令(F2205)。保持轨迹的命令传递给运动物体装置120的自动控制系统，并且控制朝着目的点引导运动物体装置120的姿势(F2206)。

工业实用性

上面这样详细地并且参考特定实施方式描述了在本说明书中公开的技术。然而，显然，在不背离在该说明书中公开的技术的精神情况下，本领域的技术人员可以对这些实施方式进行修改和替换。

虽然在本文中公开的技术可以优选地适用于查看由使用沉浸式头戴式显示器安装在运动物体装置等上的远程相机捕捉的图像，但是当然适用于穿透式头戴式显示器。

而且，在本文中公开的技术同样适用于使用视频穿透式可视化查看由安装在头戴式显示器的主体上的相机(而非远程相机)捕捉的图像的情况。

而且，在本文中公开的技术同样适用于通过固定至头部或脸部的信息终端(例如，智能电话和平板电脑)(而非头戴式显示器)的平面观看由相机拍摄的图像的情况。

在本文中公开的技术优选地适用于任何类型的双眼或单眼头戴式显示器。

简言之，在本说明书中公开的技术通过实例描述，并且不应理解为限于本说明书的描述。应考虑权利要求，确定在本说明书中公开的技术。

此外，本技术还可以如下配置。

(1)一种信息处理装置，包括：

头部姿势获取单元，被配置为获取关于用户的头部姿势的信息；

相机姿势获取单元，被配置为获取关于相机的姿势的信息；以及

图像渲染处理器，被配置为基于所述用户的头部姿势和所述相机的姿势由相机所捕捉的图像生成要在显示装置上显示的图像，所述显示装置被固定至用户的头部或脸部。

(2)根据(1)所述的信息处理装置，

其中，所述相机安装在运动物体装置上。

(3)根据权利要求(1)和(2)中任一项所述的信息处理装置，

其中，所述相机捕捉全向图像或广角图像，以及

所述图像渲染处理器使用相机在捕捉时的姿势校正用户的头部姿势，并且生成通过根据用户的校正后的头部姿势由相机所捕捉的图像缩减视角所获得的图像。

(4)根据(1)所述的信息处理装置，

其中，所述相机固定安装在用户的头部或脸部。

(5)根据(4)所述的信息处理装置，

其中，所述图像渲染处理器生成通过根据第一转换参数由相机所捕捉的图像缩减视角所获得的图像，所述第一转换参数用于将相机的姿势转换成用户的头部姿势。

(6)根据(5)所述的信息处理装置，

其中，所述图像渲染处理器使用在相机执行捕捉时用户的头部姿势以及在经过直到在显示装置上显示图像的延迟时间之后预测的用户的头部姿势执行图像生成。

(7)根据(4)所述的信息处理装置，

其中，所述图像渲染处理器基于由相机捕捉的时间序列图像的数据，构造周围环境的三维模型，估计在三维模型中的相机的当前位置，使用用于将相机的位置和姿势转换成用户的眼球的位置和姿势的第二转换参数，在经过从相机的捕捉到在显示装置上的显示的延迟时间之后，预测用户的眼球的位置和姿势，并且由三维模型生成在眼球的预测位置和姿势中捕捉的图像。

(8)根据(1)所述的信息处理装置，进一步包括：

控制器，被配置为远程操作所述运动物体装置；以及

滤波器，被配置为限制所述运动物体装置的轨迹并且切断所述控制器的除了所限制的轨迹以外的输入，

其中，所述控制器的输入在沿着所限制的轨迹的方向被转换成位置命令、速度命令或加速度命令，并发送给所述运动物体装置。

(9)根据(8)所述的信息处理装置，

其中，在所述运动物体装置的轨迹被限制为直线运动时，

所述滤波器切断来自所述控制器的除了前后方向以外的输入，并且

将保持直线运动的轨迹的命令发送给所述运动物体装置。

(10)根据(9)所述的信息处理装置，

其中，所述轨迹被设置为运动物体通过当前点而朝向当前行驶方向的直线或者连接所述运动物体装置的当前点和目的点的直线。

(11)根据(8)所述的信息处理装置，

其中，在所述运动物体装置的轨迹限制为圆周运动时，

所述滤波器切断来自所述控制器的除了左右方向以外的输入，并且

将保持圆周运动的轨迹的命令发送给所述运动物体装置并且控制朝着目的点引导所述运动物体装置的姿势。

(12)根据(11)所述的信息处理装置，

其中，所述轨迹设置为穿过以目的点为中心的运动物体装置的当前点的圆周运动，或者通过以和目的点相交的垂直轴为中心的运动物体装置的当前点的在水平面内的圆周运动。

(13)一种信息处理方法，所述方法包括：

头部姿势获取步骤，用于获取关于用户的头部姿势的信息；

相机姿势获取步骤，用于获取关于相机的姿势的信息；以及

图像渲染处理步骤，用于基于用户的头部姿势和相机的姿势由相机所捕捉的图像生成要在显示装置上显示的图像，所述显示装置固定至用户的头部或脸部。

(14)一种图像显示系统，包括：

相机；

显示装置，在被固定至用户的头部或脸部时使用；

头部运动跟踪装置，被配置为测量用户的头部姿势；以及

图像处理装置，被配置为基于用户的头部姿势和相机的姿势由相机所捕捉的图像生成要在显示装置上显示的图像。

附图标记列表

100：图像显示系统 110：头戴式显示器

120：运动物体装置 130：控制器

400：全向相机 401-406：摄像机

410：图像处理器 810：头部运动跟踪装置

811：传感器单元 812：姿势角计算单元

813：通信单元 820：显示装置

821：第一通信单元 822：图像渲染处理器

823：显示单元 824：第二通信单元

830：图像捕捉装置 831：全向相机

832：传感器单元 833：姿势角计算单元

834：通信单元 1010：头部运动跟踪装置

1011：传感器单元 1012：姿势角计算单元

1013：通信单元 1020：显示装置

1021：通信单元 1023：显示单元

1030：图像捕捉装置 1031：全向相机

1032：传感器单元 1033：姿势角计算单元

1034：通信单元 1040：图像处理装置

1041：通信单元 1042：图像渲染处理器