本发明涉及用于生成要显示在头戴显示器上的图像的技术。
背景技术：
头戴显示器(以下也称为hmd)穿戴在用户头部以向用户提供虚拟现实(vr)世界。近年来，已经存在允许用户在观看hmd上显示的屏幕的同时玩视频游戏的应用。现有的非便携式显示设备(如电视机)让用户在屏幕范围外查看扩展的视野范围。这可能会阻止用户集中精力在屏幕上或者获得沉浸在正在进行的游戏中的感觉。相比之下，穿戴hmd使得用户能够体验更高的沉浸在虚拟世界中的感觉，从而提升视频游戏的娱乐性。如果hmd被配置为具有以与用户头部的姿势相关联的方式更新显示器屏幕的头部追踪功能，则沉浸在视觉世界中的感觉被进一步增强。
近年来已经目睹了捕获全方位360度全景照片的全方位照相机(360度照相机)的广泛使用。此外，正在开发能够被遥控驾驶的无人飞行物体。安装在这种飞行物体上的多台相机能够从空中捕获全方位全景照片。如果在hmd上显示以这种方式捕获的全方位全景照片，并且如果用于显示的屏幕以与用户头部的姿势相关联的方式被更新，则穿戴hmd的用户预期将体验几乎在现实世界中的感觉。
[引文列表]
[专利文献]
[专利文献1]
jp2015-95045a
技术实现要素：
技术问题
从检测到hmd的姿势到显示反映检测的姿势的图像为止需要一段时间。为此，在用作显示图像的基础的hmd的姿势与实际显示的图像之间的时间上出现少许不一致。该不一致可能会给观看hmd上显示的图像的用户带来不适感。
例如，已经提出，在基于检测的hmd的姿势生成第一图像之后，基于新检测的hmd的姿势，通过诸如仿射变换的变换来生成并显示第二图像。所提出的技术减少了用户观看显示在hmd上的图像所感受到的不适感。
然而，hmd可能不会同时显示显示目标图像的所有像素。hmd可被配置为在显示图像中的其他区域的像素之前首先显示该显示目标图像中的一些区域的像素。例如，该显示目标图像的像素可从顶扫描线向下依次显示。在这种情况下，hmd的姿势可从图像中像素的显示开始时改变，直到该图像被完全显示。因此，显示在hmd上的图像可能给用户带来不适感。
鉴于上述情况设计了本发明。因此，本发明的目的在于提供用于实现适合于hmd的显示控制的技术。
问题的解决方案
在解决上述问题时，根据本发明的一个方面，提供了一种信息处理装置，包括：检测部分，被配置为检测穿戴在用户头部上的头戴显示器的姿势；参考图像生成部分，被配置为根据由所述检测部分在第一时间点的检测结果识别的所述头戴显示器的第一姿势，生成包括向用户呈现的信息的参考图像；和显示图像生成部分，被配置为根据第一姿势和由所述检测部分在第一时间点之后的第二时间点的检测结果识别的所述头戴显示器的第二姿势之间的差别，来从所述参考图像生成要显示在所述头戴显示器上的显示图像。在将所述显示图像显示在头戴显示器的显示部分上期间用于显示所述显示图像的特定像素的时间越晚，由所述显示图像生成部分在所述显示图像中的特定像素的位置与用作设置所述特定像素的像素值的源的参考图像中的对应像素的位置之间做出的位移量越大。
根据本发明的另一方面，提供了一种图像生成方法，用于使计算机执行以下步骤，包括：检测穿戴在用户头部上的头戴显示器的姿势；根据由所述检测部分在第一时间点的检测结果识别的所述头戴显示器的第一姿势，生成包括向用户呈现的信息的参考图像；和根据第一姿势和在第一时间点之后的第二时间点的检测结果识别的所述头戴显示器的第二姿势之间的差别，来从所述参考图像生成要显示在所述头戴显示器上的显示图像。在将所述显示图像显示在头戴显示器的显示部分上期间显示所述显示图像的特定像素的时间越晚，在显示图像生成部分中在所述显示图像中的所述特定像素的位置与用作设置所述特定像素的像素值的源的参考图像中的对应像素的位置之间做出的位移量越大。
顺便提及，如果上述构成要素的其他组合或本发明的上述表述在诸如系统、具有记录在其上的可读计算机程序的记录介质和数据结构的不同形式之间转换，则它们仍然构成本发明的有效实施例。
发明的有益效果
根据本发明，提供了用于实现适合于hmd的显示控制的技术。
附图说明
图1是示出体现本发明的信息处理系统的典型配置的示意图。
图2是解释由信息处理装置执行的渲染处理的说明图。
图3是示出hmd的典型外部形状的示意图。
图4是示出hmd的功能块的框图。
图5是示出信息处理装置的功能块的框图。
图6是说明存储在图像存储部分中的全景图像数据的说明图。
图7是示出显示图像的示意图。
图8是示出另一显示图像的示意图。
图9是示出另一显示图像的示意图。
图10是示意性地示出由普通hmd系统执行的图像生成和显示的流程的示意图。
图11是示意性地示出涉及重投影的图像生成和显示的流程的示意图。
图12是示出重投影之前和之后的典型图像的一组示意图。
图13是示意性地示出简化的重投影的一组示意图。
图14是示意性地示出由该实施例执行的重投影的一组示意图。
图15是示出图5中的图像生成部分的细节的框图。
图16是示意性地示出识别对应像素的方法的一组示意图。
图17是示意性地示出识别对应像素的另一方法的一组示意图。
图18是示意性地示出识别对应像素的另一方法的一组示意图。
具体实施方式
(第一实施例)
图1示出作为本发明的一个实施例的信息处理系统1的典型配置。信息处理系统1包括信息处理装置10、穿戴在用户头部上的头戴式显示设备(hmd)100、由用户用指尖操作的输入设备6、用于对穿戴hmd100的用户成像的成像设备7和用于显示图像的输出设备4。
在该实施例中，信息处理装置10包括处理设备12和输出控制设备14。处理设备12是响应于来自用户操作的输入设备6的操作信息而执行包括游戏的各种应用的终端设备。处理设备12和输入设备6可通过线缆或通过已知的无线通信技术彼此连接。输出控制设备14是将图像数据输出到hmd100的处理单元。输出控制设备14和hmd100可通过线缆或通过已知的无线通信技术彼此连接。
成像设备7捕获穿戴hmd100的用户的图像并将捕获的图像馈送给处理设备12。成像设备7可以是立体相机。如稍后将讨论的，hmd100配备有允许追踪用户头部的标记(用于追踪的发光二极管(led))。根据捕获的标记位置，处理设备12检测hmd100的移动。hmd100还设置有姿势传感器(加速度传感器和陀螺仪传感器)。处理设备12从hmd100获取由姿势传感器检测的传感器信息，通过联合使用传感器信息和捕获的标记图像来实现高精度的追踪处理。
输出设备4的安装对于信息处理系统1不是强制性的，因为用户观看显示在hmd100上的图像。然而，输出控制设备14或处理设备12可使输出设备4输出与显示在hmd100上的相同图像。这允许另一用户在输出设备4上观看由用户在hmd100上观看的图像。如稍后将描述的，显示在hmd100上的图像针对光学镜头畸变被校正。这需要使得输出设备4输出未校正畸变的图像。
在信息处理系统1中，处理设备12、输出设备4、输入设备6和成像设备7可构成传统的游戏系统。在这种情况下，处理设备12可以是执行诸如视频游戏的应用的游戏设备，并且输入设备6可以是游戏控制器、键盘、鼠标、操纵杆或用于向处理设备12提供来自用户的操作信息的一些其他合适的设备。通过向该游戏系统补充作为附加部件的输出控制设备14和hmd100组成执行虚拟现实(vr)应用的信息处理系统1。
输出控制设备14的功能可以作为vr应用的功能的部分并入处理设备12中。也就是说，信息处理装置10可由处理设备12单独形成或由处理设备12和输出控制设备14形成。在下面的描述中，用于实现vr应用所必需的处理设备12的功能和输出控制设备14的功能将被共同地解释为信息处理装置10的功能。
信息处理装置10生成要在hmd100上显示的图像数据。在该实施例中，信息处理装置10准备由全方位相机捕获的全方位360度全景图像，并使hmd100基于由穿戴在用户头部上的hmd100的姿势确定的视线方向显示生成的图像。显示的内容可以是静止图像或运动图像。显示内容不限于实际捕获的图像；内容也可以是由游戏应用实时渲染的图像。
hmd100是穿戴在用户头部上并通过位于用户眼睛前方的显示面板上的光学镜头显示图像的显示设备。hmd100以彼此独立的方式在显示面板的左半部分上显示左眼图像并在显示面板的右半部分上显示右眼图像。这些图像构成从右眼视角和左眼视角观看的视差图像。当显示在显示面板的右半部分和左半部分时，视差图像构成立体图像。因为用户通过光学镜头观看显示面板，所以信息处理装置10向hmd100提供针对镜头的光学畸变的预先校正的图像数据。在信息处理装置10中，光学畸变校正处理可由处理设备12或由输出控制设备14执行。
图2是解释由信息处理装置10执行的渲染处理的说明图。对于本实施例的vr应用，以这样的方式提供虚拟环境：使得用户感觉好像他或她处于球体的中心并且当他或她的视线方向改变时用户可见的图像改变。构成图像材料的内容图像被粘贴在以用户所在的中心点9为中心的虚拟球体的内圆周表面上。内容图像是由全向摄像头拍摄的全方位360度全景图像。该内容图像以这样的方式粘贴在虚拟球体的内圆周表面上：图像的最高点位置和最低点位置与虚拟球的最高点位置和最低点位置一致。当用户的真实世界的最高点位置和最低点位置因此与提供给hmd100的视觉世界的位置对齐时，其允许实现再现真实视觉世界的vr应用。
信息处理装置10通过对用户头部位置执行追踪处理来检测用户头部(实际上是hmd100)的旋转角度和倾斜度。hmd100的旋转角度相对于水平参考方向来定义。例如，当接通时hmd100所面向的方向可被建立为参考方向。hmd100的倾斜度被定义为相对于水平面的倾斜角度。现有技术可用于实现头部追踪处理。信息处理装置10可仅从hmd100的姿势传感器检测的传感器信息来检测hmd100的旋转角度和倾斜度。信息处理装置10还可通过分析由成像设备7捕获的hmd100上的标记(追踪led)的图像来高精度地检测hmd100的旋转角度和倾斜度。
信息处理装置10根据检测的hmd100的旋转角度和倾斜度来确定虚拟球体中的虚拟相机8的姿势。虚拟相机8被布置成从其中心点9对虚拟球体的内圆周表面进行成像。信息处理装置10将检测的旋转角度和倾斜度与虚拟照相机8的光轴的旋转角度和倾斜度在虚拟球体中对齐。信息处理装置10从虚拟照相机8获取捕获图像5，即执行渲染处理，针对光学镜头的光学畸变校正图像并将图像数据馈送给hmd100。图2示出了单个虚拟相机8，而实际上提供右眼虚拟相机8和左眼虚拟相机8以生成它们各自的图像数据。
图3示出了hmd100的典型外部形状。在该示例中，hmd100由输出机构部分102和穿戴机构部分104组成。穿戴机构部分104包括由用户穿戴的穿戴带106，以将hmd100紧固在头部周围。穿戴带106使用允许该带的长度被调整以适合用户头部周围的材料或结构。
输出机构部分102包括外壳108，外壳108被成形为覆盖穿戴hmd100的用户的右眼和左眼。在外壳108内部包括在穿戴hmd时正对眼睛的显示面板。显示面板是将vr图像呈现给用户视野的显示部分。显示面板可以是已知的显示设备，诸如液晶面板或有机电致发光(el)面板。在外壳108内部，在显示面板和穿戴hmd100的用户的眼睛之间插入一对右和左光学镜头，这些镜头用于放大用户的视角。hmd100可进一步配备有当用户穿戴hmd100时与用户的耳朵的位置相对应的扬声器或耳机。
外壳108的外表面配备有发光标记110a、110b、110c和110d。尽管在该示例中追踪led构成发光标记110，但也可以使用其他合适的标记。在任何情况下，标记只需要由成像设备7以允许由信息处理装置10进行图像分析的方式成像。然而，发光标记110的数量和排列不受限制，它们的数量和它们的排列需要允许检测到hmd100的姿势(其旋转角度和倾斜度)。在图示中，标记布置在外壳108的前部的四个角处。发光标记110可以附加地布置在佩带106的侧面和后部。如果用户将他或她背部转向成像设备7，则这些附加标记可被成像。
hmd100可通过线缆或已知的无线通信技术与信息处理装置10连接。hmd100将由姿势传感器检测的传感器信息发送给信息处理装置10。hmd100还接收由信息处理装置10生成的图像数据，并将接收到的数据显示在显示面板上。
尽管图3中图示的hmd100是完全覆盖双眼的沉浸式(非透射)显示设备，但是hmd100也可以是透射式显示设备。就形状而言，hmd100可以是如图所示的帽型，但也可以是眼镜型的。
图4示出hmd100的功能块。控制部分120是处理诸如图像数据、音频数据、传感器信息的各种数据和指令并输出处理的内容的主处理器。存储部分122临时存储由控制部分120处理的数据和指令。姿势传感器124检测关于hmd100的姿势信息，例如其旋转角度和倾斜度。姿势传感器124至少包括三轴加速度传感器和三轴陀螺仪传感器。麦克风126将用户的语音转换为电信号。发光标记110是附接到hmd100的佩带106和外壳108的多个led。
通信控制部分128经由网络适配器或天线通过有线或无线通信将从控制部分120输入的数据发送给外部信息处理装置10。通信控制部分128还经由网络适配器或天线通过有线或无线通信从信息处理装置10接收数据，并将接收到的数据输出到控制部分120。
在从信息处理装置10接收到图像数据和音频数据时，控制部分120将所接收的数据馈送给显示面板130以用于显示，并且馈送给音频输出部分132以用于音频输出。控制部分120还使通信控制部分128将来自姿势传感器124的传感器信息以及来自麦克风126的音频数据发送给信息处理装置10。
图5示出信息处理装置10的功能块。信息处理装置10包括传感器信息获取部分20、捕获图像获取部分22、指令获取部分24和环境信息获取部分322，用作向外部的输入接口的部分。传感器信息获取部分20从hmd100的姿势传感器124以预定间隔获取传感器信息。捕获图像获取部分22以预定间隔从对hmd100成像的成像设备7获取捕获图像。例如，成像设备7以1/120秒的间隔捕获图像，而捕获图像获取部分22以1/120秒的间隔获取捕获图像。指令获取部分24获取用户从输入设备6输入的指令。
信息处理装置10还包括运动检测部分30、视线方向确定部分32、图像生成部分34和图像提供部分36。运动检测部分30检测穿戴在用户头部上的hmd100的姿势。视线方向确定部分32根据由运动检测部分30检测的hmd100的姿势来确定视线方向。图像生成部分34根据检测的hmd100的姿势生成图像。具体地，图像生成部分34基于由视线方向确定部分32确定的视线方向生成图像。图像提供部分36将生成的图像提供给hmd100。
作为用于实施各种处理的功能块的图5所示的部件均可由电路块、存储器或硬件方面的一些其他大规模集成电路(lsi)配置，或由软件方面的加载入存储器的软件配置。因此，本领域技术人员将理解，这些功能块仅由硬件，仅由软件或者以各种形式的硬件和软件的组合来实现，并且不限于任何这种形式。
图像存储部分40存储预先捕获的360度全景图像数据。图像存储部分40可存储多个内容图像。内容图像可以是静止图像或运动图像。本实施例中的图像存储部分40存储全向全景图像数据。信息处理装置10向穿戴hmd100的用户提供全向全景图像。当用户将他或她的头部向右或向左转动(用户可将他或她的整个身体向右或向左转动)以将他或她的水平视线向右或向左转动时，hmd100的显示面板130显示右方向或左方向的全景图像。当用户向上或向下倾斜他或她的头以垂直地倾斜视线时，hmd100的显示面板130在向上或向下方向上显示全景图像。
环境信息存储部分320存储关于用于hmd100上的图像显示的环境的信息(该信息在下文中可被称为“显示环境信息”)。显示环境信息包括hmd100的显示面板130的屏幕分辨率和显示面板130的刷新率(即，垂直扫描频率)。屏幕分辨率是包括显示面板130的水平像素和垂直像素的数量的信息。也就是说，屏幕分辨率是识别显示面板130上的扫描线数量的信息。虽然显示环境信息可由信息处理装置10执行的vr应用固定地确定，但是该实施例从hmd100自动地获得信息。
环境信息获取部分322从hmd100获取关于hmd100的显示环境信息。例如，当信息处理装置10启动vr应用时，环境信息获取部分322请求hmd100提供显示环境信息。然后，环境信息获取部分322从hmd100自动获取显示环境信息，并将获取的信息存储到环境信息存储部分320中。在变型中，环境信息获取部分322可预先保存hmd100或显示面板130的类型与显示环境信息之间的对应关系，基于存储的对应关系自动检测hmd100的类型或显示面板130的类型，并将与检测的类型对应的显示环境信息存储到环境信息存储部分320中。环境信息获取部分322还可提供用户可以通过其输入关于hmd100的显示环境信息的屏幕。环境信息获取部分322可获取用户经由输入设备6输入的显示环境信息并将获取的信息存储到环境信息存储部分320中。
图6是说明要存储在图像存储部分40中的全景图像数据的说明图。为了说明的目的，图6示出全向全景图像的部分，并且省略了从水平面向下的图像的部分以及图像的右方向和左方向的部分。如以上参考图2所讨论的，hmd100的显示面板130显示通过渲染粘贴在虚拟球体的内圆周表面上的全景图像而形成的图像。当用户通过移动hmd100的旋转角度和倾斜度来改变他或她的视线方向时，正在显示的全景图像与视线方向保持一致地移动。
hmd100的通信控制部分128向信息处理装置10发送由姿势传感器124以预定间隔获取的传感器信息。成像设备7以预定间隔对hmd100进行成像并且将捕获图像发送给信息处理装置10。参照图5，传感器信息获取部分20从姿势传感器124获取传感器信息，并将获取的信息馈送给动作检测部分30。捕获图像获取部分22获取捕获图像并将其提供给运动检测部分30。
在检测hmd100的姿势时，运动检测部分30执行头部追踪处理以检测穿戴hmd100的用户头部的姿势。执行头部追踪处理以使hmd100的显示面板上显示的视野与用户头部的姿势同步。该实施例的头部追踪处理涉及检测hmd100相对于水平参考方向的旋转角度以及hmd100相对于水平面的倾斜角度。例如，水平参考方向可被建立为当接通时hmd100所面向的方向。
可使用现有技术来执行头部追踪处理，其中运动检测部分30仅从由姿势传感器124给定的传感器信息中，检测相对于水平参考方向的hmd100的旋转角度以及相对于水平面的hmd100的倾斜角度。优选地，可通过用于追踪目的的发光标记110的捕获图像的附加使用来增强检测的准确性。运动检测部分30以预定间隔检测旋转角度和倾斜角度。例如，如果以120帧每秒(fps)捕获馈送给hmd100的图像，则运动检测部分30可以优选地以1/120秒的间隔执行其检测处理。
视线方向确定部分32根据由运动检测部分30检测的hmd100的姿势来确定视线方向。如此确定的视线方向既是用户的视线方向又是布置在虚拟球体(参见图2)的中心点9处的虚拟相机8的视线方向(光轴方向)。这里，视线方向确定部分32可将由运动检测部分30检测的旋转角度和倾斜角度直接确定为虚拟相机8的视线方向(光轴方向)的代表。视线方向确定部分32也可以通过执行一些合适的校正处理来确定虚拟相机8的视线方向。如果运动检测部分30没有被提供稳定的传感器信息，则当传感器信息被噪声污染时，运动检测部分30可能检测到振动运动，尽管用户头部静止不动。在这种情况下，视线方向确定部分32可通过平滑由运动检测部分30检测的运动来确定视线方向。
顺便提一下，人类的视野是垂直不对称的；视线下的视图比视线上的视图稍宽。因此，视线方向确定部分32可通过稍微向下倾斜由运动检测部分30检测的倾斜角度来确定虚拟相机8的视线方向。
图像生成部分34根据由运动检测部分30检测的hmd100的姿势来生成图像。具体地，图像生成部分34基于由视线方向确定部分32确定的虚拟相机8的视线方向来生成图像。图像生成部分34在通过渲染生成右眼图像和左眼图像之前，确定由视线方向限定的右眼视野和左眼视野。此时，图像生成部分34生成针对来自显示面板并穿过光学镜头的图像光的畸变进行校正的全景图像。
该实施例的hmd100向用户提供与水平方向成约100度的角度和与垂直方向成约100度的角度的视野。参照图2，以在虚拟球内相对于水平方向大约100度的视角和相对于垂直方向大约100度的视角获得捕获图像5。捕获图像5被显示在hmd100的显示面板130上。如上所述，在视线之下的人的视野比视线之上的视野略宽。为此，hmd100的光学镜头和显示面板130可以在与眼睛位置相反的方向上倾斜5度。因此，光学镜头和显示面板130可被布置成以45度的向上角度和55度的向下角度实现垂直视场。
图7示出由图像生成部分34生成的显示图像200a。在下面提到的附图中，为了便于理解整个全景图像内的显示图像的位置关系，将显示图像呈现为从全景图像切出的图像。
图像生成部分34基于由视线方向确定部分32确定的视线方向202a生成图像。实际上，图像生成部分34通过渲染单独地生成右眼显示图像和左眼显示图像作为各自包含视差的不同图像。然而，在下面的描述中，没有提到为双眼单独生成的图像。图像提供部分36向hmd100提供由图像生成部分34生成的显示图像200a。hmd100中的控制部分120使显示面板130显示显示图像200a。用户随后能够查看显示面板130上显示的显示图像200a。
图8示出由图像生成部分34生成的显示图像200b。视线方向确定部分32根据hmd100的姿势确定视线方向。图像生成部分34基于如此确定的视线方向来生成图像。这个例子表明用户已将他的或她的头转向左侧，视线从视线方向202a连续改变到视线方向202b。在这里，用户已将他或她的头部向左转动了大约60度。转动运动使得图像生成部分34以从显示图像200a开始连续向左转动全景图像的方式以1/120秒的间隔生成图像。图像提供部分36以1/120秒的间隔向hmd100提供所生成的图像。
图9示出由图像生成部分34生成的显示图像200c。视线方向确定部分32根据hmd100的姿势确定视线方向。图像生成部分34基于如此确定的视线方向来生成图像。该例子表示用户已经从显示图像200a被显示在显示面板130上的状态向上倾斜了他的或她的头部，其中视线从视线方向202a连续地改变到视线方向202c。在这里，用户将他的或她的头部向上倾斜大约30度。倾斜运动使得图像生成部分34以从显示图像200a开始连续向上移动全景图像的方式以1/120秒的间隔生成图像。图像提供部分36以1/120秒的间隔向hmd100提供所生成的图像。
如上所述，用户通过移动他的或她的头部来改变视线方向。信息处理装置10向hmd100提供在期望方向上给出的全景图像，使得hmd100将在显示面板130上显示图像。通过移动头部来改变视线方向的方式与在现实世界中相同。实际上带来的感觉符合用户对现实世界的感觉。在hmd100为用户提供宽视角的情况下，用户对全景图像的浸入感进一步增强。
接下来是由该实施例执行的“重投影”的解释。重投影是允许hmd的平滑屏幕转换并且减轻观看显示图像的用户的不适感的图像转换处理。图10示意性地示出由普通hmd系统执行的图像生成广告显示的流程。在图10中，t1、t2和t3表示hmd100的显示面板130的垂直同步(vsync)时间。
基于在时间t1检测的hmd的姿势生成第一帧。与从时间t2开始正向显示面板130输出的第一帧并行地，基于在时间t2检测的hmd的姿势生成第二帧。在图10中，出于简化的目的，假定用户在时间t3识别第一帧。在这种情况下，从检测hmd的姿势开始直到用户基于检测的姿势视觉识别图像为止，存在相对较长的等待时间(t1到t3)。作为结果，用户在观看与hmd的当前姿势不一致的显示图像时可能会经历不适感。
图11示意性地示出涉及重投影的图像生成和显示的流程。在图11中，在时间t1'和时间t2之间提供重投影期间300。在时间t2'和时间t3之间提供另一个重投影期间302。图像生成部分34基于在时间t1'检测的hmd的姿势对第一帧执行重投影处理。
具体而言，基于在时间t1检测的姿势t1(视线方向)和在时间t1'检测的姿势t1'(视线方向)之间的差别，对第一帧执行诸如仿射变换的预定变换处理。基于第一帧，以反映姿势t1'的方式生成显示帧。由于重投影是对渲染图像执行的变换过程，而不是旨在执行新的渲染处理，所以重投影期间相对较短。
从时间t2开始，输出对第一帧执行的重投影处理之后的显示帧。用户在时间t3识别该显示帧。以这种方式，在检测到hmd的姿势的时间与用户基于检测的姿势视觉识别图像的时间之间的等待时间(t1'至t3)减少。由此，显示与hmd的当前姿势更一致的图像。这减轻了用户在观看显示图像时的不适感。
图12是示出重投影之前和之后的典型图像的一组示意图。子图12(a)示出了针对重投影的典型参考图像304。参考图像304是基于在第一时间点识别的hmd的姿势(用户的视线方向)渲染的图像。这是通过重投影变换之前的原始图像。例如，第一时间点对应于图11中的t1，其中参考图像304对应于图11中的第一帧。
子图12(b)示出通过重投影生成的典型显示图像306。显示图像306是基于在第一时间点之后的第二时间点识别的hmd的姿势的重投影后的图像。例如，第二时间点对应于图11中的t1'，其中显示图像306对应于图11中的第一帧。重投影处理涉及识别与显示图像306的每个像素对应的参考图像304的像素(以下可将该像素称为“对应像素”)。每个对应像素的像素值被设置为显示图像306中的每个像素的像素值。与显示图像306中的特定像素对应的参考图像304中的对应像素可被认为是该特定像素的像素值的源。
在子图12(a)和12(b)的例子中，假定在第一时间点和第二时间点之间用户已经将他的或她的头部朝右下方向转动，即，hmd的视线方向在右下方向上移动。在此假定下，有必要在左上方向上对参考图像304移位。图像生成部分34将位于图像中的相同位置(例如，坐标)处的相同位置的像素310的右下方的对应像素312，识别为与显示图像306中的特定像素308的像素。图像生成部分34将对应像素312的像素值设置为特定像素308的像素值。换句话说，为特定像素308的颜色信息设置关于对应像素312的颜色信息。对显示图像306中的每个像素执行对应像素的识别以及像素值的设置。这产生与第二时间点的姿势一致的显示图像306。
本实施例中的hmd100的显示面板130将显示图像306中的像素从面板的一端的扫描线到另一端的扫描线依次地显示。具体地说，像素以扫描线为单位从顶扫描线到底扫描线依次地显示。如果帧频为120fps，则顶扫描线上的输出与底扫描线上的输出之间的时间差为8.3毫秒(ms)，如果帧频为90fps，则该时间差为11.1ms。因此hmd的姿势可从一个显示图像306开始显示直到显示图像306的显示完成时改变。
图13是示意性地示出简化的重投影的一组示意图。子图13(a)示出典型的参考图像304，而子图13(b)示出典型的显示图像306。两个子图中的格子都表示像素。在这种情况下，子图13(b)中的显示图像306通过涉及将子图13(a)中的参考图像304向右移位两个像素的重投影处理来生成。
如子图13(b)所示，如果使全部像素(各行上的像素)的位移量相同，则位于显示图像306中相对较低行上的像素被输出到比位于相对较高行上的像素低的扫描线上。这意味着相对较低行上的像素延迟显示在显示面板130上。换句话说，像素出现的行越低，其显示时间变得越晚。因此，像素在显示图像306中所位于的行越低，所显示的像素变得与hmd的当前姿势越不一致。换句话说，它们的移位量是不够的。结果，从用户的视角来看，显示图像306的下侧可能以通过视线方向的移位而被拉动的方式看起来畸变。
图14是示意性地示出由该实施例执行的重投影的一组示意图。子图14(a)示出典型的参考图像304，而子图14(b)示出典型的显示图像306。两个子图中的格子表示像素。如子图14(b)所示，像素位于显示图像306中的行越低，它们相对于参考图像304的位移量越大。换句话说，特定像素位于显示图像306越低(即，用于显示的扫描线越低)，与特定像素对应的对应像素位于参考图像304中越远。
例如，假定在图11中的时间t1'检测的姿势从在时间t1检测的姿势向左移位两个单位。在子图13(b)的重投影例子中，所有行统一地向右移位两个像素。在子图14(b)的重投影例子中，相反，顶行向右移位一个像素，中间行移位两个像素，底行移位三个像素。在变型中，顶部行可向右移位两个像素，中间行移位三个像素，并且底部行移位四个像素。
以这种方式，hmd100的显示面板130上的扫描线之间的输出时间的差被反映在显示图像306上。这使得即使当hmd100的姿势保持改变时，也能够向用户呈现从用户的视角看上去自然的虚拟空间。例如，当在子图14(b)中的显示图像306被显示在显示面板130上时，用户识别好像子图14(a)中的参考图像304被显示。
图15是示出图5中的图像生成部分34的细节的框图。图像生成部分34包括参考图像生成部分324、预测部分326、对应像素识别部分328和显示图像生成部分330。
参考图像生成部分324根据由运动检测部分30在第一时间点的检测结果识别的hmd的第一姿势，生成包括要呈现给用户的信息的参考图像。例如，参考图像生成部分324根据由视线确定部分32基于运动检测部分30的检测结果确定的视线方向以及存储在图像存储部分40中的内容图像，来生成指示虚拟空间如何出现的参考图像。当通过指令获取部分24接收到用户的操作(例如，移动角色等的操作等)时，参考图像生成部分324生成指示虚拟空间以反映接收到的操作的方式如何更新的参考图像。例如，第一时间点对应于图11中的时间t1或t2。在随后的描述中，假定hmd的姿势包括hmd的(即，用户的)视线方向。在适当的情况下，姿势因此可能会被视线方向所代替。参考图像的数据包括关于图像中的每个像素的rgb数据和yuv数据。
显示图像生成部分330根据第一姿势和第二姿势之间的差别来从参考图像生成显示图像，其中，一方面在第一时间点之后的第二时间点由运动检测部分30的检测结果识别hmd的第二姿势，另一方面第一姿势用作生成参考图像的基础。在生成显示图像时，在显示图像显示在hmd100的显示面板130上期间显示特定图像的时间越晚，由显示图像生成部分330一方面在显示图像中的特定像素的位置与另一方面在用作设置特定像素的像素值的源的参考图像中的对应像素的位置之间所做出的位移量越大。另外，用于在显示图像中显示特定像素的扫描线输出图像的时间越晚，由显示图像生成部分330做出的上述位移量越大。本实施例通过对应像素识别部分328和显示图像生成部分330之间的协调来实现此显示图像生成处理。下面详细解释如何实现该处理。
根据第二姿势和第一姿势之间的差别，对应像素识别部分328识别对应于要显示在hmd上的显示图像中的每个像素的参考图像中的对应像素，其中，一方面在第一时间点之后的第二时间点由运动检测部分30的检测结果识别hmd的第二姿势，另一方面第一姿势用作生成参考图像的基础。以反映第一姿势和第二姿势之间的差别的方式，对应像素识别部分328将处于与显示图像中的特定像素的位置不同的位置处的参考图像中的像素识别为对应于显示图像中的特定像素的对应像素。例如，第二时间点对应于图11中的时间t1'或t2'。如上所述，姿势之间的差别也可以被视为视线方向之间的差别。
在将显示图像显示在hmd100的显示面板130上期间显示特定像素的时间越晚，由对应像素识别部分328在显示图像中的特定像素的位置与在用作参考图像中的对应像素的位置之间所做出的位移量越大。换句话说，用于在hmd100的显示面板130上的显示图像中显示给定像素的时间越晚，参考图像中的像素离显示图像中的感兴趣像素的位置越远，其中，显示图像中的感兴趣的像素由对应像素识别部分328识别为对应像素。
更具体地说，在显示图像中显示特定像素的扫描线输出图像的时间越晚，由对应像素识别部分328在显示图像中的特定像素的位置与参考图像中的对应像素的位置之间所做出的位移量越大。采用该实施例，显示图像中显示特定像素的扫描线越低，即，显示图像中的特定像素的垂直位置越低，被识别为对应像素的参考图像中的像素离显示图像中的感兴趣像素的位置越远。例如，图像中的像素的位置可被识别为uv坐标系中的坐标。稍后将讨论识别对应像素的具体示例。
基于hmd100在给定时间点的姿势和hmd100在另一时间点的姿势，预测部分326在又一个时间点预测hmd100的姿势。例如，基于hmd100在过去的时间点的姿势与hmd100在当前时刻的姿势之间的位移量，预测部分326预测hmd100在未来时间点的姿势。将由预测部分326执行的姿势预测处理可使用现有的预测技术来实现。
显示图像生成部分330通过将参考图像中的对应像素的像素值设置为显示图像中特定像素的像素值来生成显示图像。例如，显示图像生成部分330可针对显示图像中的每个像素设置关于由对应像素识别部分328识别的对应像素的rgb数据和yuv数据。如果参考图像不具有对应于参考图像中的特定像素的对应像素，即，例如，如果对应像素识别部分328将参考图像的范围之外的位置识别为对应像素的位置，则显示图像生成部分330可将预定的固定值设置为该特定像素的像素值。
以下解释识别对应像素的具体示例。对应像素识别部分328选择显示图像中的每个像素作为特定像素，并针对显示图像中的每个选择像素单独识别对应像素。该处理可以以像素为单位连续执行，或者一次对多个像素并行执行。
基于第一姿势和第二姿势之间的差别(其中，一方面在第一时间点由运动检测部分30的检测结果识别hmd的第一姿势，另一方面在第一时间点之后的第二时间点由运动检测部分30的检测结果识别hmd的第二姿势)，并根据显示面板130显示图像所需的时间，对应像素识别部分328将显示图像显示在显示面板130的顶扫描线上的时间点处的对应像素，识别为顶行对应像素。以类似的方式，将显示图像显示在显示面板130的底扫描线上的时间点处的对应像素识别为底行对应像素。
对应像素识别部分328根据参考图像中的顶行对应像素的位置、底行对应像素的位置以及特定像素实际显示的扫描线的位置，来识别与特定像素对应的实际对应像素(也称为真实对应像素)。具体地，基于实际显示特定像素的扫描线的位置，对应像素识别部分328识别顶行对应像素的位置与底行对应像素的位置之间的实际对应像素的位置。换句话说，通过基于实际显示特定像素的扫描线的位置的线性插值，对应像素识别部分328从位于顶行对应像素和底行对应像素之间的像素之中识别实际对应像素。
图16是示意性地示出识别对应像素的一种方法的一组示意图。出于解释的目的，假定hmd100的姿势(视线方向)在右下方向上移动，并且这是在图11中在重投影期间300上执行的重投影处理。首先，对应像素识别部分328识别与显示图像306中的特定像素340对应的参考图像304中的顶行对应像素342的位置和与特定像素340对应的参考图像304中的底行对应像素344的位置(假定这两个位置都在uv平面上，前面的位置称为“uv1”，后面的位置称为“uv2”)。
具体而言，基于在图11的时间t1检测的hmd100的姿势t1与在时间t1'检测的hmd100的姿势t1'之间的差别，预测部分326预测在时间ts的hmd100的姿势ts，在时间ts显示面板130开始显示显示图像306。例如，如果姿势在时间t1和t1'之间在右下方向上移动，则预测部分326可通过从时间t1'到时间ts的时间段内进一步在右下方向上改变姿势t1'，来预测姿势ts。采用该实施例，时间ts被识别为在预定时间段的结束的时刻，其中，该预定时间段通过估计或通过实验被限定为直到在当前开始的重投影处理之后显示开始为止的期望经过的时间段。时间ts可被认为是图11中的时间t2。在这种情况下，预测部分326可通过在时间t1'和t2之间的时间段(预定时间段)改变姿势t1'来预测姿势ts。
基于由预测部分326预测的姿势ts与姿势t1之间的差别，对应像素识别部分328识别对应于特定像素340的顶行对应像素342(uv1)的位置。例如，如果姿势ts相对于姿势t1在右下方向上移位了五个单位，则需要将参考图像304向左上方向上移位五个单位。在这种情况下，对应像素识别部分328将通过将显示图像306中的特定像素340的位置在右下方向上移位五个单位而到达的位置识别为uv1。
在变型中，由于时间t1'和ts之间的间隔相当短，因此时间t1'可被人工地认为是时间ts。在这种情况下，对应像素识别部分328可基于姿势t1和t1'之间的差别来识别对应于特定像素340的顶行对应像素342的位置。
另外，基于在图11的时间t1检测的hmd100的姿势t1与在时间t1'检测的hmd100的姿势t1'之间的差别，预测部分326预测在时间tf处hmd100的姿势tf，在时间tf处，显示面板130将完全显示显示图像306。时间ts和tf之间的间隔是从显示面板130开始显示一个图像时直到显示图像完成为止经过的时间段。该时间段由显示面板130的刷新率来确定。因此，预测部分326可基于存储在环境信息存储部分320中的显示面板130的刷新率来计算图像显示所需的时间。预测部分326可在计算的所需时间改变姿势ts，由此预测姿势tf。
采用该实施例，假定显示面板130的刷新率是120hz，并且显示面板130上的图像显示所需的时间是8.3ms(8,333μs)。例如，如果在时间t1和t1'之间存在在右下方向上的姿势的移位，则预测部分326可通过进一步在时间t1'和ts加8.3ms之间的时间段在右下方向上改变姿势t1'来预测姿势tf。
对应像素识别部分328基于姿势t1与由预测部分326预测的姿势tf之间的差别，来识别对应于特定像素340的底行对应像素344的位置(uv2)。例如，如果发现姿势tf相对于姿势t1在右下方向上移位了七个单位，则需要将参考图像304在左上方向上移位七个单位。在这种情况下，对应像素识别部分328将通过将显示图像306中的特定像素340的位置在右下方向上移位七个单元而达到的位置识别为uv2。典型地，姿势t1和姿势tf之间的差别变得大于姿势t1和姿势ts之间的差别。因此，特定像素340的位置与底行对应像素344的位置之间的发散程度变得大于特定像素340的位置与顶行对应像素342的位置之间的发散程度。
对应像素识别部分328通过执行以下计算来识别参考图像304中的对应像素位置(uv)：
扫描线因子＝显示图像306中特定像素的垂直位置÷显示面板130上的垂直像素的数量...(数学表达式1)
uv＝uv1+扫描线因子×(uv2-uv1)...(数学表达式2)
显示图像306中的特定像素的垂直位置可被认为是显示特定像素的扫描线的位置。显示面板130上的垂直像素的数量可被认为是显示面板130上的扫描线的数量。例如，该数量是1080。对应像素识别部分328从环境信息存储部分320获取显示面板130上的垂直像素的数量。
上面的数学表达式1用于获得特定像素相对于整个屏幕的垂直位置的比率。上面的数学表达式2用于获得与特定像素的垂直位置相对应并且位于顶行对应像素342和底行对应像素344之间的像素作为对应像素。显示图像306中的特定像素的垂直位置越低，即用于在显示面板130上显示特定像素的时间越晚，位置uv越接近具有比uv1大的位移量的uv2。结果，显示图像306中的特定像素的垂直位置越低，则uv与显示图像306中的特定像素的位置之间的发散量越大。这提供了显示图像306，例如如图14(b)所示。
以下说明如上所述配置的信息处理系统1的操作。用户在信息处理装置10上启动vr应用并在头部穿戴hmd100。例如，在vr应用的播放期间，用户根据需要移动头部以在虚拟空间中搜索。hmd100周期性地向信息处理装置10提供传感器信息。成像设备7周期性地向信息处理装置10提供捕获的图像。信息处理装置10中的运动检测部分30基于传感器信息和捕获的图像检测hmd100的姿势。视线方向确定部分32基于hmd100的姿势确定hmd100的视线方向。
信息处理装置10中的参考图像生成部分324在第一时间点根据hmd100的视线方向渲染参考图像。对应像素识别部分328在第一时间点之后的第二时间点根据hmd100的视线方向执行重投影，从而通过对所渲染的参考图像进行变换来生成显示图像。此时，位于显示图像中的像素越高，对应像素识别部分328在感兴趣像素的位置和参考图像中对应像素的位置之间做出的位移量越小。相反，位于显示图像中的像素越低，在感兴趣像素的位置与参考图像中的对应像素的位置之间的位移量越大。显示图像生成部分330设置与显示图像中的每个像素对应的对应像素的像素值。
信息处理装置10中的图像提供部分36向hmd100提供由显示图像生成部分330生成的显示图像。hmd100的显示面板130从显示面板130的顶扫描线到底扫描线连续地显示显示图像。本实施例的信息处理装置10通过重投影来减少等待时间，并且以考虑显示面板130上的图像显示的延迟时间的方式来提供显示图像。这进一步减少了用户关于显示图像的不适感。
(第二实施例)
作为本发明第二实施例的信息处理装置10与第一实施例的不同之处在于，在生成参考图像时预测未来姿势。下面的段落将强调使第二实施例与第一实施例不同之处，在适当的情况下省略冗余的解释。在随后的描述中，被称为中心扫描线的可能不是正好位于屏幕中心的扫描线，并且可能是靠近中心的扫描线。
当在第一时间点(例如，图11中的t1)获取运动检测部分30的检测结果时，预测部分326识别基于检测结果的图像显示在显示面板130的中心扫描线上的时间点(以下将所识别的时间点称为“第一目标时间点”)。根据运动检测部分30在第一时间点的检测结果，预测部分326预测在第一目标时间点处的hmd100的姿势作为第一姿势。具体而言，预测部分326可根据运动检测部分30一方面在第一时间点之前的时间点的检测结果与运动检测部分30另一方面在第一时间点的检测结果之间的差别(该差别或者可以是视线方向之间的差别)来预测第一目标时间点处的第一姿势。
参考图像生成部分324基于预测部分326预测的第一目标时间点处的第一姿势生成参考图像。可认为该参考图像被优化以显示在显示面板130的中心扫描线上。
当在第一时间点之后的第二时间点(例如，图11中的t1')获取运动检测部分30的检测结果时，预测部分326识别时间点，在该时间点，基于检测结果的图像显示在显示面板130的中心扫描线上(以下所识别的时间点将称为“第二目标时间点”)。并且，根据第二时间点的运动检测部分30的检测结果，预测部分326将在第二目标时间点处的hmd100的姿势预测为第二姿势。具体而言，预测部分326可根据运动检测部分30一方面在第一时间点的检测结果与运动检测部分30另一方面在第二时间点的检测结果之间的差别(该差别可以或者是视线方向之间的差别)，来预测第二目标时间点处的第二姿势。
使用现有技术来识别第一目标时间点和第二目标时间点。例如，第一目标时间点可被识别为在通过估计或通过实验限定的预定时间段结束时的时间点(该预定时间段作为直到在对参考图像执行渲染和重投影处理之后在中心扫描线上进行显示为止所期望经过的时间段)。类似地，第二目标时间点可被识别为在通过估计或通过实验限定的预定时间段结束时的时间点(该预定时间段作为直到在重投影处理之后在中心扫描线上进行显示为止所期望经过的时间段)。
根据第一姿势和第二姿势之间的差别，对应像素识别部分328将显示图像显示在显示面板130的中心扫描线上的时间点处的对应像素识别为临时对应像素(以下称为“中心线对应像素”)。例如，如果发现第二姿势相对于第一姿势在右下方向上移位了五个单位，则对应像素识别部分328通过将显示图像中的特定像素的位置在右下方向上移位五个单位而达到的位置的像素，识别为对应像素。如上所述，第一姿势和第二姿势均是在显示面板130上的中心扫描线显示图像的时间点处的预测姿势。因此，这里识别的对应像素是中心线对应像素。
当实际显示显示图像中的特定像素的扫描线位于显示面板130的中心扫描线以上时，对应像素识别部分328以如下方式识别实际对应像素，即，显示图像中的特定像素的位置与参考图像中的实际对应像素的位置之间的位移量变得小于显示图像中的特定像素的位置与参考图像中的中心线对应像素的位置之间的位移量。典型地，这适用于显示图像中的特定像素的垂直位置在显示图像的中心以上的情况。
当实际显示显示图像中的特定像素的扫描线位于显示面板130的中心扫描线以下时，对应像素识别部分328以如下方式识别实际对应像素，即，显示图像中的特定像素的位置与参考图像中的实际对应像素的位置之间的位移量变得大于显示图像中的特定像素的位置与参考图像中的中心线对应像素的位置之间的位移量。典型地，这适用于显示图像中的特定像素的垂直位置在显示图像的中心以下的情况。
图17是示意性地示出识别对应像素的另一方法的一组示意图。对于该示例，假定hmd100的姿势(视线方向)在右下方向上移动，并且这是在图11中的重投影期间300执行的重投影处理。首先，对应像素识别部分328使用上述方法识别中心线对应像素348的位置(该位置将在下文中称为“uv3”)。
接下来，预测部分326使用公知的技术，将在第二目标时间点之前的4,167μs的时间点的姿势预测为用于开始图像显示的时间的姿势ts，并且还将第二目标时间点之后的4,167μs的时间点的姿势预测为用于完成图像显示的时间的姿势tf。“4,167μs”的间隔是显示面板130显示一个图像所需时间的一半。预测部分326根据存储在环境信息存储部分320中的显示面板130的刷新率来确定参数“4,167μs”。如果存储在环境信息存储部分320中的显示面板130的刷新率被改变，则参数相应地改变。
如与第一实施例相同，对应像素识别部分328基于姿势t1与姿势ts之间的差别来识别与特定像素340对应的顶行对应像素342的位置(uv1)。另外，基于姿势t1与姿势tf之间的差别，对应像素识别部分328识别与特定像素340对应的底行对应像素344的位置(uv2)。
对应像素识别部分328通过执行以下计算来识别参考图像304中的对应像素位置(uv)：
扫描线因子＝显示图像306中的特定像素的垂直位置÷显示面板130上的垂直像素的数量-0.5...(数学表达式3)
uv＝uv3+扫描线因子×(uv2-uv1)...(数学表达式4)
上面的数学表达式3用于获得特定像素的垂直位置相对于显示面板130上的中心扫描线的比率。如果特定像素的垂直位置在屏幕的中心以上，则扫描线因子是负的。在这种情况下，uv小于uv3。也就是说，uv与显示图像306中的特定像素的位置之间的发散量变小。另一方面，如果特定像素的垂直位置在屏幕的中心以下，则扫描线因子为正。在这种情况下，uv大于uv3。也就是说，uv与显示图像306中的特定像素的位置之间的发散量变大。结果，产生诸如子图14(b)所示的显示图像306。
在通过第二实施例在生成参考图像时预测未来姿势的情况下，可以使用与第一实施例相同的方法来识别对应像素。然而，在发明人进行的实验中，参考图像本身被优化以显示在中心扫描线上。因此，确认使用第二实施例的使用中心线对应像素348来识别实际对应像素的方法来生成更精确的显示图像。
(第三实施例)
如与第二实施例一样，本发明的第三实施例预测在生成参考图像时的未来姿势。然而，在重投影处理中，第三实施例使用与第二实施例不同的方法来识别对应像素。
第三实施例中的参考图像生成部分324和预测部分326被配置为与第二实施例中的相同。也就是说，当在第一时间点(例如，图11中的t1)获取运动检测部分30的检测结果时，预测部分326预测第一目标时间点，其中，在该第一目标时间点基于检测结果的图像显示在显示面板130的中心扫描线上。根据第一时间点的运动检测部分30的检测结果，预测部分326将在第一个目标时间点处的hmd100的姿势预测为第一姿势。参考图像生成部分324基于由预测部分326预测的第一目标时间点处的第一姿势生成参考图像。
当在第一时间点之后的第二时间点(图11中的t1')获取运动检测部分30的检测结果时，预测部分326预测第二目标时间点，在该第二目标时间点，基于检测结果的图像显示在显示面板130的中心扫描线上。根据第二时间点的运动检测部分30的检测结果，预测部分326将在第二目标时间点处的hmd100的姿势预测为第二姿势。
基于第一姿势和第二姿势之间的差别，对应像素识别部分328将中心线对应像素识别为在显示图像显示在显示面板130的中心扫描线上的时间点处的对应像素。基于第一目标时间点和第二目标时间点之间的时间差并且根据实际显示特定像素的扫描线的位置，对应像素识别部分328识别与虚拟直线上的特定像素对应的实际对应像素，该虚拟直线通过显示图像中的特定像素的位置以及参考图像中的中心线对应像素的位置。
图18是示意性地示出识别对应像素的另一方法的一组示意图。对于该示例，假定hmd100的姿势(视线方向)在右下方向上移动，并且这是在图11中的重投影期间300执行的重投影处理。首先，如与第二实施例一样，对应像素识别部分328将uv3识别为与特定像素340对应的中心线对应像素348的位置。
对应像素识别部分328从预测部分326获取关于第一目标时间点和第二目标时间点的信息，并计算第一目标时间点和第二目标时间点之间的时间间隔(以下称为tg)。tg也可以被认为是中心线对应像素348移动到相同位置的像素346(即，与显示图像306中的特定像素处于相同位置的像素)所需的时间。对应像素识别部分328使用下面所示的表达式来识别参考图像304中的对应像素位置(uv)。假定uv0表示显示图像306中的特定像素340的位置(uv坐标值)。
扫描线因子＝1-(0.5-显示图像306中特定像素的垂直位置÷显示面板130的垂直像素的数量)×8,333÷tg...(数学表达式5)
uv＝uv0+扫描线因子×(uv3-uv0)...(数学表达式6)
上述数学表达式5中的值“8,333”表示显示面板130显示一个图像所需的时间。对应像素识别部分328根据存储在环境信息存储部分320中的显示面板130的刷新率来确定该参数。
上面的数学表达式5和6用于计算uv作为通过uv0和uv3的虚拟直线上的位置。也就是说，可以在通过uv0和uv3的虚拟直线上识别与特定像素340对应的实际对应像素。特定像素的垂直位置越低，扫描线因子变得越大，这允许识别对应像素距离uv0越远。其结果是，生成如子图14(b)所示的显示图像306。
需要注意的是，上述计算基于以下假定：tg比显示面板130显示一个图像所需的时间更长(在上述示例中，tg>8,333μs)，即，存在第一目标时间点与第二目标时间点之间的差。尽管有这些限制，但是第三实施例的方法只需要事先获得一个临时对应像素(上面例子中的中心线对应像素)用于识别实际的对应像素。这允许快速识别对应像素。
采用第三实施例，用于姿势预测的目标时间点不限于在显示面板130的中心扫描线上显示图像的时间点。例如，目标时间点可以或者是在显示面板130的顶扫描线或底扫描线上显示图像的时间点。在这种情况下，需要根据为在生成参考图像的姿势预测选择的目标时间点来修改上述数学表达式5。数学表达式6中的位置uv3需要被改变为用于姿势预测的目标时间点处的临时对应像素的位置。例如，如果用于姿势预测的目标时间点是在显示面板130的底扫描线上显示图像的时间点，则位置uv3需要被改变为底线对应像素的位置uv2。
以上结合第一至第三实施例描述了本发明。本领域技术人员应该理解，作为示例的上述实施例的组成元件和各种处理的适当组合将导致本发明的进一步变化，并且这样的变化也落入本发明的范围内。
图11中所示的重投影的例子旨在减少检测姿势的时间和显示图像的时间之间的等待时间。或者，可执行重投影来提高帧率。例如，在显示图11中的第一帧(图12中的参考图像304)的同时，也可以显示基于图11中的第一帧(图12中的显示图像306)的显示帧，以便将帧率加倍。上述实施例的技术可应用于旨在提高帧率的那种类型的重投影，这减少了源于观看显示图像引起的用户的不适感。
利用上述实施例，hmd100的显示面板130从顶扫描线向下连续显示显示目标图像。但是，这并不限制显示的顺序。上述实施例的技术适用于显示图像的至少一些像素晚于hmd100的显示面板130上的其他像素显示。
利用上述实施例，vr图像被显示在hmd100的显示面板130上。例如，如果hmd100是光学透射显示设备，则可以在其上显示增强现实(ar)图像。上述实施例的技术也适用于ar图像显示器。
利用上述实施例，信息处理装置10产生要在hmd100上显示的图像。或者，hmd100本身可以配备有结合上述实施例说明的图像生成功能。
上述实施例及其变型的适当组合均作为本发明的另一实施例是有效的。这样实现的新实施例提供了初始实施例和与其结合的变体的效果。本领域的技术人员还应该理解，要保证的权利要求中所陈述的部件所发挥的功能可以通过以上结合实施例及其变型所讨论的每个部件来实现，或者通过这些个别部件的协调组合来实现。
[附图标记列表]
1信息处理系统
10信息处理装置
30动作检测部分
36图像提供部分
100hmd
324参考图像生成部分
326预测部分
328对应像素识别部分
330显示图像生成部分
[工业实用性]
本发明适用于用于生成要在头戴显示器上显示的图像的装置。