信息处理装置、信息处理方法、计算机程序和图像处理系统与流程

本说明书中描述的技术涉及用于处理追踪观察者的移动的图像的信息处理装置、信息处理方法、计算机程序以及图像处理系统。

背景技术：

已知佩带在用户的头部或面部上的图像显示装置(即，头戴式显示器)。头戴式显示器在右眼和左眼两者上设置有图像显示单元并且被配置为能够与听筒一起使用控制视觉和听觉感知。用于在佩带在头部上时完全遮住外部世界的配置在观看期间提高虚拟现实。头戴式显示器能够将不同的视频图像投影到每个眼镜上并能够通过在左眼和右眼上显示具有视差的图像呈现3D图像。

这类头戴式显示器在眼睛的视网膜上形成虚拟图象以允许用户对其进行观察。在这点上，虚拟图象形成在比焦距更靠近透镜的物体侧。作为一个实例，已开发了一种头戴式显示器，头戴式显示器通过将广视角的虚拟图像光学系统放置成与瞳孔的前部间隔开25毫米并将具有大约0.7英寸的有效像素范围的尺寸的显示面板进一步放置在广视角光学系统的前方来在用户的瞳孔上形成显示图像的放大虚拟图像(例如，参见专利文献1)。

用户能够观察通过使用这类头戴式显示器对广角图像的一部分进行分割获得的图像。作为一个实例，已开发了一种头戴式显示器，头戴式显示器允许通过在头部上安装包括陀螺仪传感器等的头部运动追踪设备并通过使其追踪用户的头部的移动实现360度旋转视图的视频图像的真实体验(参见专利文献2和3)。可以通过在广角图像中移动显示区域以取消陀螺仪传感器检测的头部的移动来实现自由视点观看和视点移动环境。

技术实现要素：

技术问题

本说明书中描述的技术的目的是提供能够适当地处理追踪观察者的移动的图像的一种改善的信息处理装置、信息处理方法、计算机程序、和图像处理系统。

解决的问题

已考虑到上述问题做出本申请，并且权利要求1中描述的技术是信息处理装置，包括：接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于观察者的除头部以外身体的姿势的第二信息；以及图像渲染处理单元(image rendering processing unit)，被配置为基于第一信息和第二信息生成对应于观察者的姿势的显示图像。

根据在权利要求2中描述的技术，根据权利要求1所述的信息处理装置的接收器接收至少观察者的躯干的姿势作为第二信息，并且图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)生成追踪观察者的头部的姿势的自由视点图像。

根据在权利要求3中描述的技术，当接收用于指示观察者在自由视点空间中移动的控制信号作为输入时，根据权利要求2所述的信息处理装置的图像渲染处理单元通过将基于从第二信息获得的观察者的躯干的姿势定向的身体的朝向识别为前向方向确定移动之后的点(视点位置)。

根据在权利要求4中描述的技术，根据权利要求1所述的信息处理装置的图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过布置在基于从第二信息获得的姿势定向的固定位置中生成追踪观察者的头部的姿势的自由视点图像。

根据在权利要求5中描述的技术，根据权利要求1所述的信息处理装置的接收器接收至少观察者的躯干的姿势作为第二信息，并且图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向，通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)，并通过将预定图像控件布置在基于从观察者的躯干的姿势定向的固定位置中生成追踪观察者的头部的姿势的自由视点图像。

根据在权利要求6中描述的技术，根据权利要求1至5中任一项所述的信息处理装置，进一步包括被配置为获得校准参数的校准处理单元。图像渲染处理单元使用通过校准参数校正的姿势信息执行图像生成。

根据在权利要求7中描述的技术，根据权利要求8所述的信息处理装置的校准处理单元，基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算用于校正第二姿势信息的校准参数并且使用校准参数校正第二姿势信息。

根据在权利要求8中描述的技术，根据权利要求7所述的信息处理装置的校准处理单元通过使用头部姿势信息和第二姿势信息计算用于将第二姿势信息与头部姿势信息匹配的姿势转换参数作为校准参数。

根据在权利要求9中描述的技术，由四元数(quaternion)表示姿势信息。根据权利要求7所述的信息处理装置的校准处理单元通过将头部姿势信息从右边乘以第二姿势信息的四元数的倒数计算用于校正第二姿势信息的校准四元数，并且通过将第二姿势信息的四元数从左边乘以校准四元数执行校正。

根据在权利要求10中描述的技术，根据权利要求6所述的信息处理装置的校准处理单元基于从第一信息获得的头部姿势的坐标系和从第二信息获得的姿势的坐标系的某个时段的旋转位移以及人体的特性估计用于校正第二姿势信息的校准参数。

根据在权利要求11中描述的技术，根据权利要求6所述的信息处理装置的校准处理单元将基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算的某个时段的校准参数的时间序列平均值设置为最后校准参数。

根据在权利要求12中描述的技术，由四元数表示姿势信息。信息处理装置的校准处理单元通过在基于从重新接收的第一信息和第二信息中的每一个获得的姿势信息的四元数重新计算的校准四元数与由时间序列平均值确定的最后校准四元数之间执行球面线性内插更新校准四元数。

根据在权利要求13中描述的技术，基于第二信息计算观察者的躯干的姿势，并且当重力方向被设为旋转轴线时，根据权利要求11所述的信息处理装置的校准处理单元确定分别从重新接收的第一信息和第二信息获得的头部和躯干的姿势信息的旋转方向的角度差的平均值，并计算重力方向上的校准参数和平均值。

根据在权利要求14中描述的技术，根据权利要求1所述的信息处理装置的图像渲染处理单元基于从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异处理显示单元上的显示图像。

根据在权利要求15中描述的技术，在根据权利要求2和3中任一项所述的信息处理装置中，图像渲染处理单元通过在生物安全支持模式(biosafety support mode)下以自由视点空间中的头部姿势与躯干姿势之间的差异减少的方式校正世界坐标系生成自由视点图像。

根据在权利要求16中描述的技术，根据权利要求2和3中任一项所述的信息处理装置的图像渲染处理单元通过在设置生物安全支持模式时的时间点在自由视点空间中固定头部姿势并通过在生物安全支持模式下根据由头部姿势检测单元检测的头部姿势在自由视点空间中改变躯干姿势生成自由视点图像。

根据在权利要求17中描述的技术，在根据权利要求15和16中任一项所述的信息处理装置中，当从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异超过第一阈值的状态持续某个时间时设置生物安全支持模式，并且当差异小于或等于第二阈值时释放生物安全支持模式，第二阈值小于第一阈值。

在权利要求18中描述的技术是一种信息处理方法，包括：接收步骤，接收关于观察者的头部的姿势的第一信息和关于观察者的除身体的头部以外的姿势的第二信息；以及图像渲染处理步骤，基于第一信息和第二信息生成对应于观察者的姿势的显示图像。

在权利要求19中描述的技术是一种计算机程序，其以计算机可读格式编写，用于使计算机用作：头部姿势操作单元，被配置为基于通过在头部姿势检测单元中的检测获得的结果计算观察者的头部的姿势信息，头部姿势检测单元被配置为检测观察者的头部的姿势；第二姿势操作单元，被配置为基于通过第二姿势检测单元中的检测获得的结果计算观察者的除头部以外的身体的第二部分的姿势信息，第二姿势检测单元被配置为检测第二部分的一个或多个的姿势；以及图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分的姿势处理待显示在显示单元上的图像，显示单元被固定至观察者的头部或面部。

根据本申请的权利要求19所述的计算机程序定义一种以计算机可读格式描述的计算机程序，以便在计算机上执行预定处理。换言之，通过将根据本申请的权利要求19的计算机程序安装在计算机中，在计算机上发挥协作作用，使得可以提供与根据本申请的权利要求1所述的信息处理装置的效果相同的操作效果。

在权利要求20中描述的技术是图像处理系统，包括：显示单元，被固定至观察者的头部或面部；头部姿势检测单元，被配置为检测观察者的头部的姿势；第二姿势检测单元，被配置为检测身体的观察者的除头部以外的一个或多个第二部分的姿势；以及图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分中的每一个的姿势处理显示单元上的显示图像。

有益效果

根据本说明书中描述的技术是提供能够适当地处理追踪观察者的移动的图像的一种改善的信息处理装置、信息处理方法、计算机程序、和图像处理系统。

应注意，在本说明书中描述的有益效果仅为了示例，并且本发明的有益效果不限于此。此外，在一些情况下，本发明还可以表现出除以上给出的有益效果以外的附加有益效果。

将基于在下文中论述的示例性实施方式和附图通过更详细说明阐明在本说明书中公开的技术的进一步目的、特征、以及优点。

附图说明

[图1]图1是示意性地示出应用本文中公开的技术的图像显示系统100的示例性配置的示图。

[图2]图2是示出了图像显示系统100的变形的示图。

[图3]图3是示出了图像显示系统100的变形的示图。

[图4]图4是示出了图像显示系统100的另一变形的示图。

[图5]图5是佩带显示设备500的用户的俯视图。

[图6]图6是佩带显示设备500的用户的前视图。

[图7]图7是示出了用于渲染仅追踪用户头部的移动的自由视点图像的处理过程的流程图。

[图8]图8是示出了如何基于从头部运动追踪设备200和躯干运动追踪设备300中的每一个提供的姿势信息在自由视点空间中单独定向用户的视线方向和躯干朝向的示图。

[图9]图9是示出了通过考虑用户的头部的头部姿势和身体姿势渲染自由视点图像的处理过程的流程图。

[图10]图10是示出以描述仅追踪用户头部的移动的自由视点图像的示图。

[图11]图11是示出以描述通过考虑用户的头部姿势和身体姿势生成的自由视点图像的示图。

[图12]图12是示出了使用通过校准参数校正的姿势信息渲染自由视点图像的处理过程的流程图。

[图13]图13是示出了使用通过校准参数校正的姿势信息渲染自由视点图像的另一处理过程的流程图。

[图14]图14是示出了使用通过校准参数校正的姿势信息渲染自由视点图像的又一处理过程的流程图。

[图15]图15是示出了用于处理自动校准的过程的流程图。

[图16]图16是示出了用于处理自动校准的另一过程的流程图。

[图17]图17是示出了如何移动自由视点图像使得通过在图像中移动固定点1701用户的视线方向1702朝向躯干的前方方向返回至初始位置的示图。

[图18]图18是示出了自由视点图像的图像渲染处理过程的流程图，其包括使用第一方法减少或避免用户的不自然的观看姿势的过程。

[图19]图19是示出了自由视点图像的图像渲染处理过程的流程图，其包括使用第二方法减少或避免用户的不自然的观看姿势的过程。

[图20]图20是示出了自由视点图像的图像渲染处理过程的流程图，其包括使用第二方法减少或避免用户的不自然的观看姿势的过程。

[图21]图21是示出了四元数q的示图。

[图22]图22是示出了通过球面线性内插(Slerp)补偿四元数的方法的示图。

[图23]图23是示出了通过将UI控件布置在基于用户的躯干姿势定向的固定位置中来渲染自由视点图像的处理过程的流程图。

[图24]图24是示出了通过将UI控件布置在基于用户的躯干姿势定向的固定位置中来渲染自由视点图像的处理过程的流程图。

[图25]图25是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。

[图26]图26是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。

[图27]图27是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。

[图28]图28是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。

[图29]图29是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。

[图30]图30是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。

[图31]图31是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。

[图32]图32是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。

具体实施方式

在下文中将参考附图详细描述本说明书中所公开的技术的实施方式。

A.系统配置

图1是示意性地示出了应用本文中公开的技术的图像显示系统100的示例性配置。所示出的图像显示系统100被配置为包括头部运动追踪设备200、躯干运动追踪设备300、图像渲染设备400、以及显示设备500。

当佩带在观察在显示设备500上显示的图像的用户头部上时使用头部运动追踪设备200，并以预定发送间隔将用户头部的姿势信息输出至图像渲染设备400。当佩带在用户的躯干上时使用躯干运动追踪设备300并以预定发送间隔将用户的躯干的姿势信息输出至图像渲染设备400。在所示出的实例中，头部运动追踪设备200被配置为包括传感器单元201、姿势角度操作单元202、以及用于将所获得的姿势信息发送至图像渲染设备400的发送器203。躯干运动追踪设备300被配置为包括传感器单元301、姿势角度操作单元302、以及用于将所获得的姿势信息发送至图像渲染设备400的发送器303。头部运动追踪设备200和躯干运动追踪设备300的不同之处可仅在于其附接至用户的身体的部分或者彼此附接的方法，但在内部配置和操作特征上可彼此相似。下面仅对头部运动追踪设备200的内部配置进行描述，但躯干运动追踪设备300的内部配置同样适用。

作为一个实例，通过多个传感器设备(诸如，陀螺仪传感器、加速度传感器、以及地磁传感器)的组合配置传感器单元201。在该说明书中，这是可检测总共九个轴的传感器(包括三轴陀螺仪传感器、三轴加速度传感器、以及三轴地磁传感器)。姿势角度操作单元202基于通过检测传感器单元201中的九个轴获得的结果对诸如其所附接的用户的头部的部分的姿势信息执行运算。发送器203将所获得的姿势信息发送至图像渲染设备400。然而，当躯干运动追踪设备300仅必须检测用户的躯干的朝向时，传感器单元301可被配置为具有仅设置有陀螺仪传感器且不必是九个轴的检测传感器的简单结构。

在本实施方式中，通过用四元数的形式表示其来处理头部或躯干的姿势信息。由于不存在奇点，因此四元数适于使用计算机的计算。在计算计制图的领域中，通常使用四元数表示物体的姿势。如在以下式(1)和图21中所示出的，四元数q是包括旋转轴(矢量)和旋转角度(标量)的四元数。

[数学式1]

然而，在头部运动追踪设备200或躯干运动追踪设备300中，不必对由传感器201和301检测的姿势角的信息中由四元数表示的姿势信息执行运算。头部运动追踪设备200或躯干运动追踪设备300可以将其中用除了四元数以外的形式表示姿势角度的信息发送至图像渲染设备400，用以允许在图像渲染设备400侧上计算四元数。如在图2中示出的，头部运动追踪设备200或躯干运动追踪设备300可以在没有任何修改地输出传感器单元201和传感器单元301的传感器信息，以允许布置在图像渲染设备400中的姿势角度操作单元202以四元数的形式或其他形式从传感器信息中计算姿势角度。

在所示出的图像显示系统100中，通过无线通信(诸如，蓝牙(注册商标)通信)在头部运动追踪设备200与图像渲染设备400之间以及躯干运动追踪设备300与图像渲染设备400之间建立连接。可以经由高速有线接口(诸如，通用串行总线(USB))代替无线通信在头部运动追踪设备200与图像渲染设备400之间以及躯干运动追踪设备300与图像渲染设备400之间有保证地建立连接。

图像渲染设备400对在显示设备500上显示的图像执行渲染处理。作为一个实例，图像渲染设备400可被配置为配备有安卓(注册商标)的终端，诸如，智能手机和平板电脑、个人计算机、或游戏机，但不限于这些设备。

在所示出的实例中，图像渲染设备400被配置为包括用于从头部运动追踪设备200和躯干运动追踪设备300接收姿势信息的接收器401，用于基于姿势信息执行图像的渲染处理的图像渲染处理单元402，用于将渲染图像发送至显示设备500的发送器402，以及用作图像数据的源的图像源404。尽管未示出，图像渲染设备400可被配置为包括音频输出单元。

接收器401经由蓝牙(注册商标)通信等从头部运动追踪设备200和躯干运动追踪设备300接收姿势信息。如上所述，用四元数形式(quaternion form)表示来自头部运动追踪设备200的姿势信息。

作为一个实例，图像源404包括：存储设备，诸如，硬盘驱动器(HDD)和固态驱动器(SSD)，用于记录图像内容；媒介回放设备，用于回放记录媒介，诸如，蓝光(注册商标)；广播调谐器，用于选择信道以接收由游戏机或数字广播信号产生的游戏图像；通信接口，用于接收在互联网上从服务器流式传输的图像内容；以及无线接口，用于无线接收由设置在移动设备(诸如，无线电控制车和汽车)上的外部相机捕捉的图像。

图像渲染处理单元402渲染在显示设备500一侧显示的来自图像源404的图像数据的图像。作为一个实例，图像渲染处理单元402通过将对应于用户的头部和躯干的姿势信息的显示视角进行分割渲染自由视点图像，自由视点图像是由接收器401从全方位类型的原始图像或具有广视角的原始图像(诸如，从图像源404提供的4K)接收的。设想互联网上的服务器渲染自由视点图像的示例性系统配置。在这种情况下，作为一个实例，优选的是，头部运动追踪设备200或躯干运动追踪设备300中的每一个将姿势信息发送至用作图像渲染设备400的服务器，并且显示设备500接收并显示由服务器分割的图像。

作为一个实例，经由有线电缆(诸如，高清晰度多媒体接口(HDMI，注册商标)和动高清晰度连接(MHL))在图像渲染设备400与显示设备之间建立连接。替换地，可以通过无线通信(诸如，wirelessHD和Miracast)建立这种连接。发送器403使用通信路径中的任何一个将由图像渲染处理单元402渲染的未压缩图像数据(或者，也可采用压缩图像数据)发送至显示设备500。

显示设备500被配置为包括用于从图像渲染设备400接收图像数据的接收器501和用于显示所接收的图像的显示单元502。作为一个实例，显示设备500(或显示单元502)被配置为头戴式显示器，头戴式显示器被固定到观察图像的用户的头部或面部部分(例如，参见专利文献1)。

作为一个实例，接收器501经由通信路径(诸如，HDMI(注册商标)和MHL)从图像渲染设备400接收图像数据。当存在压缩图像数据时，接收器执行解码和解压缩处理。显示单元502在屏幕上显示所接收的图像数据。

作为一个实例，当显示设备500被配置为头戴式显示器时，显示单元502设置有分别固定地安装在用户的左眼和右眼中的左屏幕和右屏幕，并且显示左眼图像和右眼图像。作为一个实例，显示单元502的屏幕包括显示面板或激光扫描显示器(诸如，视网膜直接显示器)，显示面板包括微型显示器(诸如，有机电动发光设备(OLED))和液晶显示器(LCD)。显示单元502设置有虚拟图像光学系统，虚拟图像光学系统扩大显示屏幕，对其进行投影，并将具有预定图像视角的放大的虚拟图象聚焦在用户的瞳孔上。

作为一个实例，在图像渲染设备400一侧，渲染通过从全方位类型的原始图像或具有广视角的原始图像(诸如,4K)中分割对应于用户的头部和躯干的姿势信息的显示视角获得的图像。在显示设备500一侧，移动原始图像中的显示区域以抵消用户的头部的姿势的改变。因此，可以再现追踪头部的移动的自由视点图像，从而允许用户体验大屏幕的观看。显示设备500可以根据图像的移动定位声音图像的方向。

图3示意性地示出了图像显示系统100的变形。在图1和图2中示出的实例中，图像显示系统100被配置为包括四个单独的设备，即，头部运动追踪设备200、躯干运动追踪设备300、图像渲染设备400、以及显示设备500。然而，在图3中示出的实例中，在显示设备500中配备图像渲染设备400的功能。在图3中，由相同的参考标号表示与图1中包含的部件相同的部件。如在图1中示出的，如果头部运动追踪设备200或躯干运动追踪设备300中至少一个被配置为与显示设备500分开出售的可选择产品(附带商品，诸如，配件)，则显示设备500将是紧凑的、重量轻的、且便宜的。

图4示意性地示出了图像显示系统100的另一变形。在图1和图2中示出的实例中，图像显示系统100被配置为包括四个单独的设备，即，头部运动追踪设备200、躯干运动追踪设备300、图像渲染设备400、以及显示设备500。然而，在图4中示出的实例中，在显示设备500中配备头戴式显示器和图像渲染设备400的功能。在图4中，由相同的参考标号表示与图1中包含的部件相同的部件。如在图1中示出的，只有躯干运动追踪设备300可被配置为用作外部连接至显示设备500的设备。

图5和图6示出了用户1如何使用图像显示系统100。图5是佩带显示设备500的用户1的俯视图，以及图6是佩带显示设备500的用户1的前视图。

显示设备500是头戴式显示器，并具有易于佩带在人的头部上的外观构造，诸如，类似眼镜或者类似帽子的构造。用户1将显示设备500佩带在头部上。头部运动追踪设备200(作为显示设备500的配件)相似地附接至用户1的头部以检测用户1的头部的姿势信息。

如在图6中示出的，躯干运动追踪设备300附接至用户1的躯干以检测用户1的躯干的姿势信息。在所示出的实例中，尽管躯干运动追踪设备300附接至用户1的腰部附近，但其可以附接至除了腰部以外的部分(诸如，臂部或肩部)，只要检测的姿势信息可对应于用户1的躯干的朝向。在所示出的实例中，躯干运动追踪设备300包含于附接至用户1的躯干的盒子600中。

盒子600可以是专用设备，或者可以是具有内置陀螺仪传感器的设备，诸如，游戏机控制器。在后者的情况下，盒子600位于显示设备500(诸如，头戴式显示器)与躯干运动追踪设备300之间。躯干运动追踪设备300可被配置为整体包括图像渲染设备400的功能的设备，诸如，智能手机或平板电脑终端。用户1将躯干运动追踪设备300附接至躯干的方式是可选择的，但盒子600不必设置在它们之间。考虑到用户的可用性，优选允许用户选择性地选择附接有躯干运动追踪设备300的位置而不是严格限定附接位置。作为一个实例，设想用户将其放入口袋的状态或者用户将其钩在皮带上的状态。除此之外，附接至用户1的躯干的躯干运动追踪设备300的数目不限于一个，但可以布置两个或更多个设备，从而根据具有高精确度的设备的数目检测躯干的朝向。

如上所述，经由无线通信(诸如，蓝牙(注册商标)通信)或高速有线接口(诸如，通用串行总线(USB))在头部运动追踪设备200与图像渲染设备400以及躯干运动追踪设备300与图像渲染设备400之间建立连接。

当用户观看在显示设备500上显示的图像的同时用户1改变他的头部或躯干的朝向。图像渲染设备400基于由头部运动追踪设备200和躯干运动追踪设备300检测的方向生成自由视点图像(free viewpoint image)，并且然后将其输出至显示设备500。

应用为显示设备500的头戴式显示器可被配置为所谓的沉浸(immersive)、透视、视频透视中的任一个。

作为一个实例，沉浸头戴式显示器附接至用户的头部或面部以覆盖用户的眼睛，并且设置有布置为面向用户的眼睛的显示单元(诸如，LCD和OLED)。由于这个原因，佩带沉浸头戴式显示器的用户难以看到外面的风景(即，现实世界的风景)。换言之，只有在显示单元上显示的视频图像落在视野内，并且因此，可以为观看图像的用户提供沉浸的感觉。

透视头戴式显示器设置有包括半反射镜或导光板的透明的虚拟图像光学系统使得虚拟图像光学系统可以面向用户的眼睛，并在虚拟图像光学系统的内部显示图像。因此，即使在用户观看在虚拟图像光学系统的内部显示的图像时的时间期间，佩带透视头戴式显示器的用户可通过图像看到外面的风景。

作为一个实例，视频透视头戴式显示器附接至用户的头部或面部以覆盖用户的眼镜，并设置有显示单元，显示单元布置为面向用户的眼睛，视频透视头戴式显示器与沉浸头戴式显示器相似。然而，视频透视头戴式显示器可被配置为还包括用于捕捉周围的风景的图像捕捉单元(诸如，相机)，从而通过显示单元上的图像捕捉单元显示沿着用户的视线捕捉的图像。尽管佩带视频透视头戴式显示器的用户不能直接看到外面的风景，但用户可通过在显示单元上显示的所捕捉的图像观察外面的风景。

B.自由视点图像的图像渲染处理

将描述由图像显示系统100显示的自由视点图像的图像渲染处理。

在设置有仅安装在用户的头部上的陀螺仪传感器的头戴式显示器的情况下(例如，参见专利文献2和3)，可以从头部的位移中检测用户的视线，从而呈现追踪用户的头部的移动的自由视点图像。

图7通过流程图示出了用于在图像显示系统100中渲染追踪用户头部的移动的自由视点图像的处理过程。仅追踪用户头部的移动意味着考虑用户头部的姿势，而不考虑用户的身体。更具体地，这表示图像渲染设备400仅从头部运动追踪设备200接收姿势信息q^H作为输入，但不从躯干运动追踪设备300接收姿势信息q^B。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S701)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S702)并通过发送器203将其发送至图像渲染设备400。

图像渲染设备400从头部运动追踪设备200接收表示头部的姿势的四元数q^H并接收用于在自由视点空间移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S703)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操纵的操纵屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量Δ^H(步骤S704)。在该处理例程中，不使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可仅与用户头部的姿势信息q^H相关联，并且如在以下式(2)中示出的确定移动量Δ^H。在以下式(2)中，g是用于基于表示姿势信息的四元数q^H从表示位移速度或位移量的控制信号v中计算自由视点空间中的移动量Δ^H的函数。

[数学式2]

Δ^H＝g(v，q^H)…(2)

图像渲染处理单元402计算通过在自由视点空间中沿着用户头部的姿势q^H的方向(视线方向)将当前点移动移动量Δ^H获得的点p^H(步骤S705)。与用户头部的姿势q^H相关联的点p^H被设为新视点位置，从视点位置p^H渲染在表示为四元数q^H的视线方向看到的图像I^H(步骤S706)，并且然后在显示设备500上显示所渲染的图像作为输出。如在以下式(3)中示出的，基于用于生成从视点位置p^H和视线方向q^H看到的图像的函数f生成在这个过程中获得的自由视点图像I^H。

[数学式3]

I^H＝f(p^H，q^H)…(3)

在从检测用户头部的姿势到显示追踪姿势的图像的时间期间，存在由于各种原因引起的时间延迟，诸如，当头部运动追踪设备200将姿势信息发送至图像渲染设备400时发生的发送延迟，当图像渲染设备400对图像执行渲染处理时发生的渲染延迟，以及当显示设备500显示图像渲染数据时发生的显示延迟。如果延迟时间增加，则渲染对应于头部的先前姿势的图像。因此，图像追踪头部的运动的身体感觉劣化，这不利地使用户经历运动病(motion sickness，晕动病)。因此，图像渲染设备400可被配置为通过考虑延迟时间执行图像校正。作为一个实例，在转让给本申请人的PCT/2014/079205的说明书中公开的图像处理技术是可适用的(图像渲染设备400预测延迟时间并且然后在经过延迟时间之后从所接收的姿势角数据中预测姿势角数据，从而在预测延迟时间中渲染图像)。

在图7中示出的处理过程中，图像渲染设备400生成追踪用户头部的姿势的自由视点图像I^H。然而，在仅检测用户头部的姿势同时忽视用户的躯干的姿势时，用户界面(UI)处于无论躯干的朝向如何视线方向都向前的状态或者其中通过游戏控制器确定自由视点空间中的移动方向使UI不自然地偏离真实空间的状态。换言之，在视线与躯干的前方不匹配的状态中(例如，当头部与一个侧面成角度的同时向前移动)，仅基于头部检测姿势位移使空间移动至躯干的前方(躯干的前向方向)，从而防止真实空间中的自然行为被表示成视频图像。这显著减少了用于沉浸于视频图像中的感觉。

同时，在根据本实施方式的图像显示系统100中，可以基于由头部运动追踪设备200获得的用户头部的姿势信息q^H和由躯干运动追踪设备300获得的用户的躯干的姿势信息q^B在显示设备500上显示的自由视点空间中为用户的视线方向和躯干朝向单独进行定向。

图8示出了如何在自由视点空间中单独定向用户的视线方向和躯干朝向。如示出的，基于从头部运动追踪设备200提供的姿势信息q^H为由参考标号801表示的视线方向定向。基于从躯干运动追踪设备300提供的姿势信息q^B定向由参考标号802表示的身体的朝向。当图像渲染设备400渲染自由视点图像时，通过将身体的朝向802设置为自由视点空间的身体的朝向，可以获得用户将其识别为前方的方向。

因此，根据本实施方式的图像显示系统100允许使用自由视点图像表示在视线与躯干前方不匹配(例如，在头部与一侧边成角度时向前移动)的状态下空间移动至躯干前方(躯干的前向方向)的真实空间中的自然行为。防止UI处于无论躯干的朝向如何视线方向都移动的状态(例如，在头部与一侧面成角度时向前移动)或者其中通过游戏控制器确定自由视点空间中的移动方向使UI不自然地偏离真实空间的状态。

图9通过流程图示出了通过考虑图像显示系统100中的用户的身体的姿势和头部的姿势渲染自由视点图像的处理过程。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S901)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S902)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S911)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S912)并通过发送器303将其发送至图像渲染设备400。

然后，图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数q^H并从躯干运动追踪设备300接收表示躯干姿势的四元数q^B，并接收用于在自由视点空间中移动的控制信号v(诸如，位移的速度和位移量)作为输入(步骤S903)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量Δ^B(步骤S904)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可仅与用户的躯干的姿势信息q^B相关联，并且如以下式(4)中所示确定移动量Δ^B。在以下式(4)中，g是用于基于表示姿势信息的四元数q^B从表示位移速度或位移量的控制信号v中计算自由视点空间中的移动量Δ^B的函数(同上)。

[数学式4]

Δ^B＝g(v，q^B)…(4)

图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势q^B(即，躯干的前向方向)的方向将当前点移动移动量Δ^B获得的点p^B(步骤S905)。与用户的躯干姿势信息q^B相关联的点p^B被设为自由视点空间中的视点位置，从视点位置p^B渲染在表示为四元数q^H的视线方向看到的图像I^B(步骤S906)，并且然后在显示设备500上显示渲染的图像作为输出。如在以下式(5)中示出的，基于用于生成从视点位置p^H和视线方向q^H(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像I^H。

[数学式5]

I^B＝f(p^B，q^H)…(5)

在上述式(4)中，基于用户的躯干姿势信息q^B计算移动量Δ^B。因此，在步骤S905中，相比使用基于用户的头部姿势信息计算移动量q^H的上述式(2)的情况，可以计算更加自然的移动之后的点p^B。因此，在步骤S906中生成的自由视点图像I^B变成UI，该UI比根据在图7中示出的处理过程生成的自由视点图像I^H更自然。换言之，在视线与躯干的前方不一致的状态中(例如，在头部与一侧面成角度时向前移动)可以通过将空间移动至躯干的前方(躯干的前向方向)表示真实空间中的自然行为。

同样在图9中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

在本实施方式中，如参照图8描述的，基于从头部运动追踪设备200提供的姿势信息q^H定向用户在自由视点空间中的视线方向801，并且基于从躯干运动追踪设备300提供的姿势信息q^B定向用户的身体在自由视点空间中的朝向802。然后，将身体的朝向802设为用户将其识别为前方的方向。

如在图7和以上式(2)中示出的，当仅考虑头部姿势信息时，与头部姿势q^H(即，视线的朝向)相关联地计算自由视点空间中的移动量。在这种情况下，参照图8，将提供其中自由视点空间朝向视线方向801而不是用户的前向方向802移动的图像，并且因此图像移动不自然。作为一个实例，使用游戏控制器的操纵杆等输入用于指示移动至前向方向的控制信号v。图10示出了仅追踪用户头部的移动的自由视点图像。如示出的，在用户将他的头部(视线方向1001)倾斜至左侧的姿势中，即使从控制器输入指向前向方向1002的指令，在从当前点沿着用户的头部姿势q^H(视线方向)1001的方向移动移动量Δ^H的点处生成图像I^H并从点p^H处沿视线方向q^H观看该图像。换言之，即使存在移动至前向方向的指令，待生成的图像I^H行进至视线方向1001，并且因此图像将不自然。

同时，如在图9中和以上式(4)中示出的，存在通过考虑头部和躯干姿势信息计算自由视点空间中的移动量的情况。在这种情况下，参照图8，基于头部姿势信息定向视线方向801并基于躯干姿势信息定向自由视点空间中的用户的身体朝向802。因此，可以通过将身体朝向802识别为用户前方的位置来计算在自由视点空间中的移动量。因此，可以渲染追踪用户的头部和身体的移动的自然自由视点图像。作为一个实例，使用游戏控制器的操纵杆等输入用于指示移动至前向方向的控制信号v。

图11示出了通过考虑用户的头部姿势和身体姿势生成的自由视点图像。如示出的，在用户将他的头部倾斜(视线方向1001)至左侧的姿势中，当从控制器输入指向前向方向1102的指令时，在从当前点沿着用户的躯干姿势q^B的方向(视线方向)1102移动移动量Δ^B的点处生成图像I^B并从点p^B处沿视线方向q^H观看。换言之，生成视线方向1101的风景行进至前向方向1102的自然图像I^B。

C.校准

当如上所述在自由视点空间中单独定向用户的视线方向和躯干朝向时，需要使头部运动追踪设备200检测用户的头部姿势的坐标系与躯干运动追踪设备300检测用户的躯干姿势的坐标系相关联。

当头部运动追踪设备200结合到用作显示设备500的头戴式显示器中时，可以机械的方式大致严格地限定头部运动追踪设备200附接至用户的头部的位置。这是因为根据用户通过左眼和右眼中的每一个的图像显示单元观看的事实每次佩戴时用户都将其佩戴在基本固定的位置。

另一方面，严格限定以机械的方式附接至用户的躯干的初始朝向的方法也可以考虑用于躯干运动追踪设备300。然而，在使用包含于附接至用户的躯干的盒子600中的躯干运动追踪设备300的模式中(例如，参照图6)，难以如头戴式显示器一样严格地限定附接位置。

考虑到用户可用性，优选用户通过用户自身的选择来选择躯干运动追踪设备300的附接位置而不是严格地限定。作为一个实例，设想用户将其放入口袋的状态或者用户将其钩在皮带上的状态。

因此，需要通过校准确定用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系的参数。当严格限定附接头部运动追踪设备200的位置时，可以校准躯干运动追踪设备300的初始位置。换言之，只要在用户佩带躯干运动追踪设备300之后仅执行一次校准，用户可以通过用户自身的选择确定附接躯干运动追踪设备300的位置。

在用户面向用户头部正前方并且身体布置在一条线上(即，直立姿势)的状态下，通过确定头部运动追踪设备200的检测坐标系与躯干运动追踪设备300的检测坐标系之间的相应关系来执行校准。下面描述了用于执行包括项(a)至(c)的校准的触发器的实例。

(a)设置在头部运动追踪设备200或躯干运动追踪设备300中的触发按钮的用户操作。

(b)用户选择通过在显示设备500上显示的图形用户界面(GUI)执行校准。

(c)用户输入用于头部运动追踪设备200或躯干运动追踪设备300的特定输入(例如，当头部竖直地摇动两次时头部运动追踪设备200和躯干运动追踪设备300的旋转角速度同步的时刻被设置为触发器)。

替换地，可在图像显示系统100中自动地执行校准，而不是使用户执行如在以上项(a)至(c)中描述的校准的触发操作。

作为一个实例，在某个时段可以显示(或者，通过声音表示)诱导用户采用直立姿势的图像，并且在该时段可以执行校准。

替换地，可以记录从记录用户发起自由视点观看的状态起的某个时段坐标系的旋转位移，并且可以从坐标系的旋转位移的记录数据和人体的特性确定在用户站立的状态下的躯干运动追踪设备300的传感器单元301的坐标系。

图12通过流程图示出了在图像显示系统100中使用由校准参数校正的姿势信息来渲染自由视点图像的处理过程。在执行校准之后的正常操作期间执行所示出的处理过程。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1201)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S1202)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1211)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S1212)并通过发送器303将其发送至图像渲染设备400。

图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数q^H并且从躯干运动追踪设备300接收表示躯干姿势的四元数q^B。然后，获得校准四元数q作为校准参数(步骤S1221)。然后，使用校准参数q校正表示躯干姿势的四元数q^B，并且获得校正的四元数q′^B(步骤S1213)。

校准四元数q是用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系并通过校正确定的参数。当使用四元数表示姿势信息时，用于对其进行校正的校准参数是用四元数形式表示的校准四元数。在步骤S1213中，通过根据以下式(6)从左侧乘以校准四元数q来校正表示躯干姿势的四元数q^B。

[数学式6]

q′^B＝qq^B…(6)

然后，图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1203)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量Δ^B(步骤S1204)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可与用户的躯干的校正姿势信息q’^B相关联，并且如以下式(7)中所示确定移动量Δ^B。在以下式(7)中，g是用于基于表示姿势信息的校正四元数q’^B从表示位移速度或位移量的控制信号v计算自由视点空间中的移动量Δ^B的函数(同上)。

[数学式7]

Δ^B＝g(v，q′^B)…(7)

图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势q^B(即，躯干的前向方向)的方向将当前点移动移动量Δ^B获得的点p^B(步骤S1205)。与用户的躯干姿势信息q^B相关联的点p^B被设为自由视点空间中的视点位置，从视点位置p^B渲染在表示为四元数q^H的视线方向看到的图像I^B(步骤S1206)，并且然后在显示设备500上显示渲染的图像作为输出。如在以上式(5)中示出的，基于用于生成从视点位置p^H和视线方向q^H(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像I^H。

同样在图12中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

图13通过流程图示出了在图像显示系统100中使用由校准参数校正的姿势信息渲染自由视点图像的另一处理过程。在所示出的处理过程中，根据如在以上项(a)至(c)中描述的明确操作执行校准。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1301)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S1302)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1311)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S1312)并通过发送器203将其发送至图像渲染设备400。

图像渲染设备400使用以下式(8)从表示用户的头部姿势的从头部运动追踪设备200发送的四元数q^H和从躯干运动追踪设备300发送的表示用户的躯干姿势的四元数q^B计算校准四元数q(步骤S1321)，并将其暂时存储。在以下式(8)中，“q^B-1”的上标“-1”表示四元数“q^B”的倒数(inverse)(以下同样)。

[数学式8]

q＝q^Hq^B-1…(8)

然后，图像渲染设备400根据以上式(6)通过从左侧乘以校准四元数q来校正表示躯干姿势的四元数(步骤S1313)。

接下来，图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1303)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

图像渲染处理单元402由控制信号v计算在自由视点空间中的移动量Δ^B(步骤S1304)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户躯干的姿势信息使得可以使控制信号v与用户的躯干的校正姿势信息q′^B相关联，从而根据以上式(7)确定移动量Δ^B。

图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势q^B的方向(即，躯干的前向方向)将当前点移动移动量Δ^B获得的点p^B(步骤S1305)。与用户的躯干姿势信息q^B相关联的点p^B被设为自由视点空间中的视点位置，从视点位置p^B渲染在表示为四元数q^H的视线方向看到的图像I^B(步骤S1306)，并且然后在显示设备500上显示渲染的图像作为输出。如在以上式(5)中示出的，基于用于生成从视点位置p^H和视线方向q^H(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像I^H。

同样在图13中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

图14通过流程图示出了在图像显示系统100中使用由校准参数校正的姿势信息渲染自由视点图像的又一处理过程。在所示出的处理过程中，基于某个时段的坐标系的旋转位移和人体的特性自动执行校准。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1401)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S1402)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1411)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S1412)并通过发送器203将其发送至图像渲染设备400。

图像渲染设备400基于某个时段的坐标系的旋转位移和人体的特性估计校准四元数q(步骤S1421)。在这个过程中，一直而不是仅在特定时间点执行校准四元数q的估计。下面将更详细地描述在步骤S1421中估计校准四元数q的方法。

然后，图像渲染设备400根据以上式(6)通过从左侧乘以校准四元数q来校正表示躯干姿势的四元数q^B(步骤S1413)。

接下来，图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1403)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

图像渲染处理单元402由控制信号v计算在自由视点空间中的移动量Δ^B(步骤S1404)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户躯干的姿势信息使得可以使控制信号v与用户的躯干的校正姿势信息q′^B相关联，从而根据以上式(7)确定移动量Δ^B(同上)。

图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势q^B的方向(即，躯干的前向方向)将当前点移动移动量Δ^B获得的点p^B(步骤S1405)。与用户的躯干姿势信息q^B相关联的点p^B被设为自由视点空间中的视点位置，从视点位置p^B渲染沿表示为四元数q^H的视线方向看到的图像I^B(步骤S1406)，并且然后在显示设备500上显示渲染的图像作为输出。如在以上式(5)中示出的，基于用于生成从视点位置p^H和视线方向q^H(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像I^H。

同样在图14中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

图15通过流程图示出了在图14中示出的流程图的步骤S1421中执行的自动校准的处理过程。在所示出的处理过程中，基于某个时段的坐标系的旋转位移和人体的特性估计校准四元数q。尽管可在图像显示系统100的设备200至500中的任何一个中执行这个处理过程，但假定在图像渲染设备400中执行处理过程为方便起见将进行描述。

图像渲染设备400接收从头部运动追踪设备200发送的表示用户的头部姿势的四元数q^H作为常数输入以及从躯干运动追踪设备300发送的表示用户的躯干姿势的四元数q^B作为时间序列数据(步骤S1501)。

根据以下式(9)，基于由头部运动追踪设备200和躯干运动追踪设备300中的每一个重新检测的姿势信息的四元数，计算新校准四元数q′并依次进行记录(步骤S1502)。

[数学式9]

q′＝q^Hq^B-1…(9)

由在用户面向用户头部的正前方并且躯干布置成一直线(即，直立姿势)的时刻检测的四元数q^H和q^B计算的四元数q′是合适的校准四元数。因此，在该处理过程中，基于当长时间测量用户的头部和躯干姿势时平均说来用户经常面向头部的正前方并且身体布置成一直线的假设，通过采用在步骤S1502中记录的校准四元数q′的时间序列平均值计算最后校准四元数q(步骤S1503)，并输出(S1504)。

与根据在图13中示出的明确操作执行校准的情况不同，在图15中示出的处理过程中，校准四元数q不是固定值而是会随时发生变化，并且可以除去传感器单元201或301的干扰因素，诸如站着或坐着的用户。

在步骤S1502中，通过求取校准四元数q′的时间序列的平均值更新最终校准四元数，内插更新前(pre-updated)的校准四元数q_prev和新计算的校准四元数q′以确定更新的校准四元数q_updated。

表示姿势的四元数被描述为三维球体上的一点。因此，如在以下式(10)和图22中示出的，通过球面线性内插(Slerp)更新的校准四元数q_updated可以用于对四元数q_prev与q′之间的三维球体执行线性内插。

[数学式10]

在以上式(10)中，通过用权重(1-δ)加权的更新前的校准四元数q_prev和用δ加权的新的计算值q′的加权平均值确定更新的校准四元数q_updated(内插(interpolation)而不是外插(extrapolation，外推))。作为一个实例，权重系数δ＝0.01。首先，用权重1更新四元数q_updated。因此，当用户在启动的时候采用正确姿势时(头部面向正前方并且身体成一条线)，不久达到收敛。

Slerp的运算仅定义为二元关系，如在以上式(10)中示出的。因此，不适合同时用大量四元数计算平均值(如上所述，四元数的顺序更新q_updated是可以的)。为了解决这个问题(即，为了同时用大量四元数计算平均值)，考虑对数空间中的算术平均值。利用单位向量u，表示绕u旋转的角度θ的四元数q可表示为如在以下式(11)中示出的。采用这个对数，得出以下式(12)。

[数学式11]

[数学式12]

因此，通过对数变换将校准四元数{q′}的时间序列映射到三维空间以计算代表值(诸如，算术平均值)，并且然后可以通过如在以下式(13)中示出的指数转换设置回四元数。当计算算术平均值时，可视情况执行所需过程，诸如，去除异常值。

[数学式13]

图16通过流程图示出了在图14中示出的流程图的步骤S1421中执行的自动校准的另一处理过程。在所示出的处理过程中，基于某个时段的坐标系的旋转位移和人体的特性估计校准参数q。可预见用户的头部和躯干姿势在作为共用轴线的重力方向上的情况，并且假设传感器单元201和301具有检测重力方向并执行自动校准的功能。尽管可在图像显示系统100的设备200至500中的任何一个中执行这个处理过程，但假定在图像渲染设备400中执行处理过程为方便起见将进行描述。

图像渲染设备400接收从头部运动追踪设备200发送的表示用户的头部姿势的四元数q^H作为常数输入并接收从躯干运动追踪设备300发送的表示用户的躯干姿势的四元数q^B作为时间序列数据(步骤S1601)。

用户的头部和躯干姿势在作为共用轴线的重力方向上，并且坐标系的偏差仅累加成θ的一个参数。因此，当重力方向被设为旋转轴线时，计算并依次进行记录表示用户的头部姿势的四元数q^H和表示用户的躯干姿势的四元数q^B的旋转方向的角度差θ(t)(步骤S1602)。

然后，计算角度差θ(t)的平均值，并且估计计算结果作为在头部运动追踪设备200的传感器单元201和躯干运动追踪设备300的传感器单元301所附接的位置的偏差量(步骤S1603)。

因此，基于重力方向和角度差θ(t)的平均值计算校准四元数q(步骤S1604)，并输出(步骤S1605)。

在步骤S1604中，假设计算用于将用户的躯干姿势的四元数q^B转换成与头部姿势的四元数q^H相同的坐标系的表示的校准四元数。

在图16中示出的处理过程中，校准四元数q不是固定值而是会随时发生变化，并且可以去除传感器单元201或301的干扰因素(诸如，站着或坐着的用户)(同上)。

在步骤S1603中，除了计算角度差θ(t)的简单平均之外，可以采用以下项(d)至(g)的任意计算方法。

(d)频率分布的中值

(e)去除异常值之后的平均值

(f)用于确定材料的速度和加速度数据的组合

(g)用于确定材料的头部旋转的极限值的组合

在项(f)中描述的“用于确定材料的速度和加速度数据的组合”仅使用在自由视点空间中以某个范围的速度和加速度执行移动时的数据。当长时间保持静止状态时，不包含于样本。

在项(g)中描述了“用于确定材料的头部旋转的极限值的组合”，仅使用在范围[θ_max-θ_th,θ_min+θ_th]内的数据计算角度差θ(t)的平均值，其中，极限值θ_th暂时被设为120度，测量数据中的角度差的最大值被设为θ_max并且最小值被设为θ_min。

D.生物安全支持

在由显示设备500(诸如，头戴式显示器)呈现的自由视点空间中，当用户试图通过从初始位置移动固定点超过90度而往回看时，用户可以采用以下(A)和(B)两种类型的运动。

(A)仅转动头部90度

(B)转动整个躯干90度

当仅通过检测用户的头部姿势渲染自由视点图像时，用户不能确定是否执行以上项(A)和(B)的运动中的任一个。运动(A)是不自然的姿势，并且因此担心影响人体，从而导致生产安全性问题。

同时，在根据本实施方式的图像显示系统100中，除了通过头部运动追踪设备200得到的用户的头部的姿势信息q^H之外，可使用通过躯干运动追踪设备300得到的用户的躯干的姿势信息q^B。因此，用户可以确定所执行的运动是项(A)还是(B)。因此，可以引入用于基于通过确定运动得出的结果来减少或避免由于自由视点观看引起的头部的不自然的观看姿势的机构。

作为一个实例，用于减少或避免用户不自然的观看姿势的第一方法可以包括显示图像以将用户的头部返回到正常位置。如果由用户的头部和躯干的姿势信息q^H和q^B确定某个时段保持伴有用户的不自然的姿势的运动(A)(诸如，极度地扭转头部或躯干)的状态，以低速无意识地显示用户的头部朝向躯干的前向方向返回到初始位置的图像。图17示出了如何移动自由视点图像使得可以通过在图像中移动固定点1701而使用户的视线方向1702朝向躯干的前向方向回到初始位置。

在图9、图12、图13、以及图14中示出的处理过程中，渲染通过将分别通过头部运动追踪设备200和躯干运动追踪设备300实际上检测的头部姿势q^H和躯干姿势q^B没有任何修改地映射至自由视点空间的世界坐标系得到的自由视点图像。同时，在减少或避免用户的不自然的观看姿势的第一方法中，如果在用户观看自由视点图像时用户的姿势不自然(头部相对于躯干扭曲)，则对自由视点空间的世界坐标系进行校正使得自由视点空间中的头部姿势q^H*与躯干姿势q^B*之间的差异可以减小，从而提示甚至在真实空间中要减小用户的头部姿势q^H与躯干姿势q^B之间的差异。

作为减少或避免用户的不自然的观看姿势的第二方法可以包括自动取消追踪头部的移动(头部追踪)。如果确定在某个时段保持伴有用户的不自然的姿势的运动(A)的状态，则自动取消追踪头部的移动(头部追踪)并且使用户的头部利用在前方显示的固定点朝向躯干的前向方向返回到初始位置，从而重新执行坐标对准。可以通过用户的主动操作(诸如，按压按钮)取消头部追踪而不是自动取消。

在减少或避免用户的不自然的观看姿势的第二方法中，当指示取消头部追踪时通过在自由视点空间中固定头部姿势而保持在前方显示固定点。然后，在取消头部追踪的期间，根据由头部运动追踪设备200检测的头部姿势q^H引起自由视点空间中的躯干姿势发生改变(即，用户移动脖子相同的量)。这提示用户的头部朝向躯干的前向方向回到初始姿势。

图18通过流程图示出了用于渲染自由视点图像的处理过程，其包括使用第一方法减少或避免用户的不自然的观看姿势的过程。通过校正自由视点空间的世界坐标系执行这个过程。尽管在图18中未示出，表示世界坐标系的校正的四元数q^W的初始值被设为单位四元数。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1801)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S1802)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1811)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S1812)并通过发送器303将其发送至图像渲染设备400。

图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数q^H并且从躯干运动追踪设备300接收表示躯干姿势的四元数q^B。然后，获得校准四元数q作为校准参数(步骤S1821)。然后，使用校准参数q校正表示躯干姿势的四元数q^B，并且获得校正的四元数q′^B(步骤S1813)。

校准四元数q是用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系的参数(如上所述)。获得校准四元数q的方法是可选择的。在步骤S1813中，通过根据以上式(6)从左边乘以校准四元数q校正表示躯干姿势的四元数q^B。

然后，基于从头部运动追踪设备200接收的头部姿势四元数q^H和校正后的躯干姿势四元数q′^B执行图像显示系统100是否处于生物安全支持模式的模式确定(步骤S1831)。模式确定的方法是可选择的。作为一个实例，根据如下所述的条件(C1)至(C3)执行模式确定。

(C1)在初始状态下关掉生物安全支持模式。

(C2)当在关掉生物安全支持模式的状态下用户的头部与躯干姿势之间的差异ψ超过第一阈值ψ_th1的状态持续一定时间时，开启生物安全支持模式。

(C3)当在开启生物安全支持模式的状态下用户的头部与躯干姿势之间的差异ψ降到第二阈值ψ_th2以下时，关掉生物安全支持模式。

在这点上，在以上条件(C2)中，可通过以下式(14)使用头部姿势四元数q^H和校正后的躯干姿势四元数q′^B计算用户的头部与躯干姿势之间的差异ψ。

[数学式14]

ψ＝||q^Hq′^B-1||...(14)

通过将通过以上式(14)计算的头部与躯干姿势之间的差异ψ与阈值ψ_th2和ψ_th2中的每一个进行比较可以确定是否设置生物安全支持模式。然而，根据以上条件(C1)至(C3)，当用户处于不舒服的姿势可以主动(或手动)执行生物安全支持模式的开/关之间的转换，而不是生物安全支持模式的开/关之间的自动转换。

然后，在生物安全支持模式下(在步骤S1831中为是)，对自由视点空间中的世界坐标系进行校正使得自由视点空间中的头部姿势与躯干姿势之间的差异可以减少(步骤S1832)。如果未处于生物安全支持模式中(在步骤S1831中为否)，则跳过世界坐标系的校正处理。

在步骤S1832中执行的世界坐标系的校正对应于通过逐渐旋转世界坐标系使头部姿势接近躯干姿势的操作。如在以下式(15)中示出的，当表示世界坐标系的校正的四元数是q^W时，通过从左侧乘以接近躯干姿势的四元数δ来更新世界坐标系的校正四元数q^W。世界坐标系的校正四元数q^W的初始值是单位四元数(如上所述)。

[数学式15]

q^W＝δq^W…(15)

如在以下式(16)中示出的，逐渐接近躯干姿势的四元数δ是通过将表示头部姿势与躯干姿势之间的差异的四元数划分成n得出的四元数。在此，n是允许用户不费事地(或无意识地)观察的划分的数目。替换地，如在以下式(17)中示出的，逐渐接近躯干姿势的四元数δ是通过将通过标准化头部姿势与躯干姿势之间的差异得出的四元数乘以小标量ε得出的四元数。

[数学式16]

[数学式17]

当使用以上式(16)校正世界坐标系时，每当它出现时校正量都发生变化。因此，如果改变大，可能会被观察为不自然的移动。同时，当使用以上式(17)校正世界坐标系时，可使每当出现时校正量恒定。

然后，通过将在步骤S1802中计算的头部姿势的四元数q^H和在步骤S1813中校正的躯干姿势的四元数q′^B中的每一个从左侧乘以四元数q^W来执行在自由视点空间中的头部姿势q^H*和躯干姿势q′^B*中的每一个的校正(步骤S1833和S1834)，并且通过逐渐旋转世界坐标系执行使头部姿势接近躯干姿势的操作。

图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1803)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

然后，在图像渲染处理单元402中，基于通过用四元数q^W校正世界坐标系得出的自由视点空间中的躯干姿势q′^B*，使用以下式(18)计算对应于所输入的控制信号v的移动量Δ^B*(步骤S1804)。在以下式(18)中，g是用于基于表示姿势信息的校正四元数q′^B*由表示位移速度和位移量的控制信号v计算自由视点空间中的移动量Δ^B*的函数(同上)。

[数学式18]

Δ^B*＝g(v，q′^B*)…(18)

然后，图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势q^B的方向(即，躯干的前向方向)将当前点移动移动量Δ^B*获得的点p^B*(步骤S1805)。与校正后的用户的躯干姿势信息q^B*相关联的点p^B*被设为自由视点空间中的视点位置，从视点位置p^B*渲染在表示为头部姿势的校正后的四元数q^H*的视线方向看到的图像I^B*(步骤S1806)，并且然后在显示设备500上显示渲染的图像作为输出。基于用于生成从视点位置p^B*和视线方向q^H*看到的图像的函数f生成在这个过程中生成的自由视点图像I^B*(同上)。

同样在图18中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

图19和图20通过流程图示出了用于渲染自由视点图像的处理过程，其包括使用第一方法减少或避免用户的不自然的观看姿势的过程。通过校正自由视点空间的世界坐标系执行这个过程。尽管在图19和图20中未示出，但表示世界坐标系的校正的四元数q^W的初始值被设为单位四元数。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1901)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行操作(步骤S1902)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1911)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S1912)并通过发送器303将其发送至图像渲染设备400。

图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数q^H并且从躯干运动追踪设备300接收表示躯干姿势的四元数q^B。然后，获得校准四元数q作为校准参数(步骤S1921)。然后，使用校准参数q校正表示躯干姿势的四元数q^B，并且获得躯干姿势的校正后的四元数q′^B(步骤S1913)。

校准四元数q是用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系的参数(如上所述)。获得校准四元数q的方法是可选择的。在步骤S1913中，通过根据以上式(6)从左侧乘以校准四元数q来校正表示躯干姿势的四元数q^B。

然后，确定图像显示系统100是否处于生物安全支持模式(步骤S1941)。作为一个实例，通过判断根据以上式(14)计算的头部和躯干姿势之间的差异ψ是否超过预定阀值可以自动执行确定是否设置生物安全支持模式。替换地，可以由判断是否指示取消头部追踪的用户主动执行这个确定(或者，通过手动，诸如，按压按钮)。

如果设置生物安全支持模式(在步骤S1941中为是)，进一步检查当前时间是否是设置生物安全支持模式的时刻(步骤S1942)，然后在设置模式的时刻的用户的头部姿势q^H被保存为q^H0(步骤S1943)。

然后，在生物安全支持模式期间，通过用q^H0替换重新检测并计算的头部姿势的四元数q^H来固定自由视点空间中的头部姿势，从而防止在渲染时执行头部追踪。通过替换根据以下式(19)在步骤S1913中校正的躯干姿势的q′^B，自由视点空间中的躯干姿势q′^B可以改变通过由头部运动追踪设备200检测的头部姿势q^H改变的量(步骤S1944)。更具体地，通过将躯干姿势q′^B从左侧乘以当前头部姿势的四元数q^H的倒数和在取消头部追踪的时刻头部姿势的四元数q^H0(按以上顺序)，使用躯干姿势补偿头部姿势上的改变。

[数学式19]

另一方面，如果没有设置生物安全支持模式(在步骤S1941中为否)，确定这个时间是否是释放生物安全支持模式的时刻(步骤S1945)。然后，如果这个时间是释放生物安全支持模式的时刻(在步骤S1945中为是)，则使用以下式(20)更新用于校正世界坐标系的四元数以补偿在生物安全支持模式期间头部姿势实际上的改变(步骤S1946)。更具体地，通过将四元数q^W从左侧乘以当前头部姿势的四元数q^H的倒数和在取消头部追踪的时刻头部姿势的四元数q^H0(按以上顺序)，使用躯干姿势补偿头部姿势上的改变。

[数学式20]

q^W＝q^Wq^H0q^H-1…(20)

然后，通过将头部姿势的四元数q^H和躯干姿势的四元数q′^B中的每一个从左侧乘以四元数q^W执行自由视点空间中的头部姿势q^H*和躯干姿势q′^B*中的每一个的校正(步骤S1947和S1948)，并且通过逐渐旋转世界坐标系执行使头部姿势接近躯干姿势的操作。

图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1903)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

然后，在图像渲染处理单元402中，基于通过用四元数q^W校正世界坐标系得出的自由视点空间中的躯干姿势q′^B*，使用以上式(18)计算对应于所输入的控制信号v的移动量Δ^B*(步骤S1904)。

图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势q^B的方向(即，躯干的前向方向)将当前点移动移动量Δ^B*获得的点p^B*(步骤S1905)。与校正后的用户的躯干姿势信息q^B*相关联的点p^B*被设为自由视点空间中的视点位置，从视点位置p^B*渲染在表示为头部姿势的校正后的四元数q^H*的视线方向看到的图像I^B*(步骤S1906)，并且然后在显示设备500上显示渲染的图像作为输出。基于用于生成从视点位置p^B*和视线方向q^H*看到的图像的函数f生成在这个过程中生成的自由视点图像I^B*(同上)。

同样在图19和图20中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

以这种方式，在根据本实施方式的图像显示系统100中，除了由头部运动追踪设备200得到的用户的头部姿势信息q^H之外，可以使用由躯干运动追踪设备300得到的用户的躯干姿势信息q^B。因此，可以减少或避免由于自由视点观看引起的头部的不自然的观看姿势。

E.自由视点图像的元信息的显示

除了现有的TV广播之外，自由视点图像内容的实例可以包括由安置在移动设备(诸如，汽车)和无线电控制中的广角相机捕捉的图像和第一人称视点的游戏图像。

用户有时想要指的是与正在观看的自由视点图像内容有关的元信息。本文中所指的元信息的实例可包括与内容播放位置或剩余播放时间有关的信息，与指示其在虚拟空间中自身的当前位置的地图或坐标有关的信息，以及在游戏中操纵的人物的状态(例如，在战斗游戏中，疲劳或损伤程度、武器或弹药的剩余数量、迄今进行的破坏、分数等)。

观看自由视点图像的用户的视野与外部世界隔绝或者用户沉浸于虚拟世界中。因此，用户有时想要指的是真实世界信息而不是如上所述的元信息。真实世界信息的实例可包括当前时间或其他环境信息、电子邮件或电话呼叫通知等。

用户可以通过在自由视点图像中用在其上描述的这样的内容元信息或真实世界信息显示用户界面组件而在不妨碍观看自由视点图像的情况下检查期望元信息或真实世界信息。

当通过仅考虑用户的头部姿势布置这样的UI控件时，即，当UI控件布置在基于头部姿势定向的固定位置中时，自由视点图像追踪用户的头部姿势，即，视线方向，并且继续在同一地方显示UI控件。

当始终在同一地方显示UI控件时，用户可以在观看期间在任何时间检查元信息或真实世界信息。自由视点图像随着头部姿势的移动而改变，但始终在同一地方的UI控件的布置是反常的，这会导致显著削弱真实或沉浸的感觉。与自由视点图像有关的信息通常将位于布置UI控件的地点，从而使用户感觉观看或播放游戏困难。有时，存在用户不想看元信息或真实世界信息的时域，并且用户从UI控件的显示中可以感觉到繁重。

图25和图26示出了当UI控件布置在基于从头部运动追踪设备200获得的用户的头部姿势定向的固定位置中时的自由视点图像的显示实例。

在图25中示出的实例中，用户的头部面向前方，并且UI控件布置在用户的头部的前向方向上，如由参考标号2501表示的。因此，在这种情况下，如由参考标号2502表示的，UI控件投影到自由视点图像2500上。

在图26中示出的实例中，用户鞠躬且他的头部朝下。在这种情况下，UI控件布置在用户的头部的前向方向上，如由参考标号2601表示。因此，同样在这种情况下，UI控件被投影到自由视点图像2600上，如由参考标号2602表示。换言之，无论用户的头部姿势怎样，UI控件一直存在于自由视点图像中。

图27和图28示出了当UI控件布置在基于从头部运动追踪设备200获得的用户的头部姿势定向的固定位置中时的自由视点图像的另一显示实例。

在图27中示出的实例中，用户的头部面向前方，并且UI控件布置在如由参考标号2701表示的用户的头部的前向方向上。因此，在这种情况下，UI控件投影到自由视点图像2700上，如由参考标号2702表示的。

在图28中示出的实例中，用户向左转弯并且头朝向左边。在这种情况下，UI控件如由参考标号2801表示的布置在用户的头部的前向方向上。因此，在这种情况下，UI控件如由参考标号2802表示的被投影到自由视点图像2800上。换言之，无论用户的头部姿势怎样，UI控件一直存在于自由视点图像中。

另一方面，图29和图30示出了当UI控件布置在基于从躯干运动追踪设备300获得的用户的躯干姿势定向的固定位置中时自由视点图像的显示实例。

在图29中示出的实例中，用户的头部面向前方，但UI控件布置在用户的躯干的前向方向上，如由参考标号2901表示的。因此，在这种情况下，自由视点图像2600中不存在UI控件。

在图30中示出的实例中，用户鞠躬且他的头部向下转。在这种情况下，UI控件如由参考标号3001表示的布置在用户的躯干的前向方向上。因此，用户的头向下转使得UI控件能够显示在自由视点图像3000上，如由参考标号3002表示的。

换言之，尽管在用户将他的头向前转的正常的姿势中UI控件隐藏，但可以通过向下转动头使UI控件在自由视点图像中显示。三维UI控件可以通过根据用户的头部姿势校正基于用户面向前方的躯干姿势定向在固定位置的UI控件的姿势而布置在自由视点图像中。

另一方面，图31和图32示出了当UI控件布置在基于从躯干运动追踪设备300获得的用户的躯干姿势定向的固定位置中时自由视点图像的另一显示实例。

在图31中示出的实例中，用户的头部面向前方，但UI控件布置在用户的躯干的左侧方向上，如由参考标号3101表示的。因此，在这种情况下，自由视点图像3100中不存在UI控件。

在图32中示出的实例中，用户向左转弯并且头朝向左边。在这种情况下，UI控件如由参考标号3201表示的布置在用户的躯干的左侧方向上。因此，用户的头向左转使得UI控件能够显示在自由视点图像3200上，如由参考标号3202表示的。

换言之，尽管在用户将他的头向前转的正常的姿势中UI控件隐藏，但可以通过向左转动头使UI控件显示在自由视点图像中。三维UI控件可以通过根据用户的头部姿势校正基于用户面向前方的躯干姿势定向在固定位置的UI控件的姿势而布置在自由视点图像中。

图23通过流程图示出了其中UI控件布置在基于用户的躯干姿势定向的固定位置中的自由视点图像的图像渲染处理的过程。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S2301)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S2302)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S2311)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S2312)并通过发送器303将其发送至图像渲染设备400。

然后，如果图像渲染设备400接收上述内容元信息或真实世界信息作为输入(步骤S2321)，表示所输入的信息的UI控件布置在基于表示用户的躯干姿势的四元数q^B定向在用户躯干坐标系上的固定位置中(步骤S2313)。然后，图像渲染处理单元402基于表示用户的头部姿势的四元数q^H将布置在用户躯干坐标系上的UI控件的位置和姿势转换成头部坐标系上的位置和姿势(步骤S2314)。

当将用户躯干坐标系中的第i个UI控件的位置设为p_i，并将其姿势设为q_i时，可以根据以下式(21)和(22)将位置和姿势转换成用户头部坐标系中的位置p′_i和姿势q′_i。

[数学式21]

p′_i＝p_i+p^BH…(21)

[数学式22]

q′_i＝q^Bq^H-1q_i…(22)

在以上式(21)中，p^BH是如从用户头部坐标系的原点看到的用户躯干坐标系的原点位置。如果可以获得头部或躯干的位置信息(以及姿势信息)，实际测量值可以用于p^BH。作为一个实例，通过使用日本成年男性的平均值，p^BH可以参数化，诸如，p^BH＝(0m、0m、-0.75m)等。

在以上式(22)中，通过将表示用户的躯干姿势的四元数q^B从右侧乘以表示头部姿势的四元数q^H的倒数得出右侧中的q^Bq^H-1，并且是用于将躯干坐标系中的物体(UI控件)的姿势转换成头部坐标系中的姿势的四元数。

然后，图像渲染处理单元402渲染其中在由四元数q^H表示的视线方向上观看布置有UI控件的自由视点的图像(步骤S2315)，并且然后渲染的图像显示在显示设备500上作为输出。

同样在图23中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

尽管在图23中示出的流程图中未示出，通过采用在以上项C中描述的校准处理，可以执行由头部运动追踪设备200检测的用户的头部姿势的坐标系与由躯干运动追踪设备300检测的用户的躯干姿势的坐标系之间的关联。

图24通过流程图示出了用于渲染其中UI控件布置在基于用户的躯干姿势定向的固定位置中的自由视点图像的处理过程的另一实例。图24中示出的处理过程与图23中示出的处理过程的不同之处在于基于用户的躯干姿势控制自由视点中的用户的视点位置。

在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S2401)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数q^H执行运算(步骤S2402)并通过发送器203将其发送至图像渲染设备400。

在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S2411)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数q^B执行运算(步骤S2412)并通过发送器303将其发送至图像渲染设备400。

然后，如果图像渲染设备400接收上述内容元信息或真实世界信息作为输入(步骤S2421)，则表示所输入的信息的UI控件布置在基于表示用户的躯干姿势的四元数q^B定向在用户躯干坐标系上的固定位置中(步骤S2413)。然后，图像渲染处理单元402根据以上式(21)和(22)基于表示用户的头部姿势的四元数q^H将布置在用户躯干坐标系上的UI控件的位置和姿势转换成头部坐标系上的位置和姿势(步骤S2414)。

图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S2431)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。

图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量Δ^B(步骤S2432)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可与用户的躯干的姿势信息q^B相关联，并且如以上式(4)中所示确定移动量Δ^B。

图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势q^B的方向(即，躯干的前向方向)将当前点移动移动量Δ^B获得的点p^B(步骤S2433)。

与用户的躯干姿势信息q^B相关联的点p^B被设为自由视点空间中的视点位置，从视点位置p^B渲染在表示为头部姿势的四元数q^H的视线方向看到的图像(步骤S2415)，并且然后在显示设备500上显示渲染的图像作为输出。

同样在图24中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。

尽管在图24中示出的流程图中未示出，通过采用在以上项C中描述的校准处理，可以执行由头部运动追踪设备200检测的用户的头部姿势的坐标系与由躯干运动追踪设备300检测的用户的躯干姿势的坐标系之间的关联。

现有技术文献

专利文献

专利文献1：特开2012-141461号公报

专利文献2：特开平9-106322号公报

专利文献3：特开2010-256534号公报

工业实用性

因此上文参照具体实施方式详细地描述了本说明书中公开的技术。然而，对本领域中的技术人员显而易见的是，在不偏离在本说明书中公开的精神的前提下，可以对这些实施方式进行修改和替换。

尽管本文中已主要描述了用于实现自由视点观看和具有头戴式显示器的视点移动的环境的实施方式，但本文中描述的技术可应用于其他使用案例。作为一个实例，坐在大屏幕显示器(诸如，电视或投影仪)的前方玩游戏的用户可佩带头部运动追踪设备200和躯干运动追踪设备300，从而在电视的游戏屏幕中实现自由视点观看和视点移动的环境。

本文中描述的技术可应用于任何类型的沉浸、透视、视频透视头戴式显示器。本文中描述的技术可应用于任何类型的双眼和单眼头戴式显示器。

基本上，已通过举例的方式描述了本说明书中公开的技术，并且本说明书陈述的内容不应当被解释为限制性的。应当考虑到权利要求确定本说明书中公开的技术的精神。

此外，还可以如下配置本技术。

(1)

一种信息处理装置，包括：

接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于观察者的除头部以外的身体的姿势的第二信息；以及

图像渲染处理单元，被配置为基于第一信息和第二信息生成对应于观察者的姿势的显示图像。

(2)

根据(1)所述的信息处理装置，

其中，接收器接收至少观察者的躯干的姿势作为第二信息，并且

图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)，来生成追踪观察者的头部的姿势的自由视点图像。

(3)

根据(2)所述的信息处理装置，

其中，当接收用于指示观察者在自由视点空间中移动的控制信号作为输入时，图像渲染处理单元通过将基于从第二信息获得的观察者的躯干的姿势定向的身体的朝向识别为前向方向，来确定移动之后的点(视点位置)。

(4)

根据(1)所述的信息处理装置，

其中，图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过布置在基于从第二信息获得的姿势定向的固定位置中，来生成追踪观察者的头部的姿势的自由视点图像。

(5)

根据(1)所述的信息处理装置，

其中，接收器接收至少观察者的躯干的姿势作为第二信息，并且

图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向、通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)、并通过将预定图像控件布置在基于观察者的躯干的姿势定向的固定位置中，来生成追踪观察者的头部的姿势的自由视点图像。

(5-1)

根据(4)和(5)中任一项所述的信息处理装置，

其中图像渲染处理单元布置包括与自由视点图像有关的原信息的图像控件。

(6)

根据(1)至(5)中任一项所述的信息处理装置，进一步包括：

校准处理单元，被配置为获得校准参数，

其中，图像渲染处理单元使用通过校准参数校正的姿势信息执行图像生成。

(7)

根据(6)所述的信息处理装置，

其中，校准处理单元基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算用于校正第二姿势信息的校准参数并且使用校准参数校正第二姿势信息。

(8)

根据(7)所述的信息处理装置，

其中，校准处理单元通过使用头部姿势信息和第二姿势信息计算用于将第二姿势信息与头部姿势信息匹配的姿势转换参数作为校准参数。

(9)

根据(7)所述的信息处理装置，

其中，由四元数表示姿势信息，

校准处理单元通过将头部姿势信息从右侧乘以第二姿势信息的四元数的倒数计算用于校正第二姿势信息的校准四元数，并且

通过将第二姿势信息的四元数从左侧乘以校准四元数执行校正。

(10)

根据(6)所述的信息处理装置，

其中，校准处理单元基于从第一信息获得的头部姿势的坐标系和从第二信息获得的姿势的坐标系的某个时段的旋转位移以及人体的特性估计用于校正第二姿势信息的校准参数。

(11)

根据(6)所述的信息处理装置，

其中，校准处理单元将基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算的某个时段的校准参数的时间序列平均值设置为最终校准参数。

(12)

根据(11)所述的信息处理装置，

其中，由四元数表示姿势信息，并且

校准处理单元通过在基于从重新接收的第一信息和第二信息中的每一个获得的姿势信息的四元数重新计算的校准四元数与由时间序列平均值确定的最后校准四元数之间执行球面线性内插，来更新校准四元数。

(12-1)

根据(11)所述的图像显示设备，

其中校准处理单元通过对数转换将校准四元数的时间序列映射到三维空间上、计算包括算术平均值的代表值、并且然后通过指数转换将所得出的值返回至四元数。

(13)

根据(11)所述的信息处理装置，

其中，基于第二信息计算观察者的躯干的姿势，并且

当重力方向被设为旋转轴线时，校准处理单元确定分别从重新接收的第一信息和第二信息获得的头部和躯干的姿势信息的旋转方向的角度差的平均值、并计算重力方向上的校准参数和平均值。

(14)

根据(1)所述的信息处理装置，

其中，图像渲染处理单元基于从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异处理显示单元上的显示图像。

(15)

根据(2)和(3)中任一项所述的信息处理装置，

其中，图像渲染处理单元通过在生物安全支持模式下以自由视点空间中的头部姿势与躯干姿势之间的差异减少的方式校正世界坐标系，来生成自由视点图像。

(16)

根据(2)和(3)中任一项所述的信息处理装置，

其中，图像渲染处理单元通过在设置生物安全支持模式时的时间点在自由视点空间中固定头部姿势并通过在生物安全支持模式下根据由头部姿势检测单元检测的头部姿势在自由视点空间中改变躯干姿势，来生成自由视点图像。

(17)

根据(15)和(16)中任一项所述的信息处理装置，

其中，当从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异超过第一阈值的状态持续一定时间时设置生物安全支持模式，并且当差异等于或小于第二阈值时释放生物安全支持模式，第二阈值小于第一阈值。

(18)

一种信息处理方法，包括：

接收步骤，接收关于观察者的头部的姿势的第一信息以及关于观察者的除头部以外的身体的姿势的第二信息；以及

图像渲染处理步骤，基于第一信息和第二信息生成对应于观察者的姿势的显示图像。

(19)

一种计算机程序，其以计算机可读格式编写，用于使计算机用作：

头部姿势操作单元，被配置为基于通过在头部姿势检测单元中的检测获得的结果计算观察者的头部的姿势信息，头部姿势检测单元被配置为检测观察者的头部的姿势；

第二姿势操作单元，被配置为基于通过第二姿势检测单元中的检测获得的结果计算观察者的除头部以外的身体的第二部分的姿势信息，第二姿势检测单元被配置为检测第二部分的一个或多个的姿势；以及

图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分的姿势处理待显示在显示单元上的图像，显示单元被固定至观察者的头部或面部。

(20)

一种图像处理系统，包括：

显示单元，被固定至观察者的头部或面部；

头部姿势检测单元，被配置为检测观察者的头部的姿势；

第二姿势检测单元，被配置为检测观察者的除头部以外的身体的一个或多个第二部分的姿势；以及

图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分中的每一个的姿势处理显示单元上的显示图像。

符号说明

100 图像显示系统

200 头部运动追踪设备

201 传感器单元

202 姿势角度操作单元

203 发送器

300 躯干运动追踪设备

301 传感器单元

302 姿势角度操作单元

303 发送器

400 图像渲染设备

401 接收器

402 图像渲染处理单元

403 发送器

404 图像源

500 显示设备

501 接收器

502 显示单元。