虚拟图像距离改变装置、虚拟图像距离改变方法以及程序与流程

本发明涉及虚拟图像距离改变装置、虚拟图像距离改变方法以及程序。

背景技术：

作为用于显示图像的图像显示装置，已知安装到用户的头部并且使用的头戴式显示器(在下文中称为“hmd”)。更具体地，例如，ptl1公开了一种应用于透视头戴式显示器的技术，其允许观看外部世界，同时允许观看在给定距离呈现的虚拟图像。当确定用户正在行走时，透视头戴式显示器移动透镜以确保即使用户在步行时使用头戴式显示器，也不会妨碍他或她行走，因此使呈现的虚拟图像的距离(虚拟图像距离)比无穷更近。

[引用列表]

[专利文献]

[ptl1]

日本专利特开第2012-194501号

技术实现要素：

[技术问题]

然而，在常见的头戴式显示器和ptl1(在下文中称为“相关技术”)中，虚拟图像距离是固定的或不考虑所显示的目标而设定的。结果，在相关技术中，目标不是在虚拟图像距离处显示，所述虚拟图像距离对应于实际目标深度、在目标的拍摄期间在相机和待观看的目标之间的距离或在计算机图形学中预期的到目标的距离。

鉴于上述情况，本发明的目的是实现虚拟图像距离改变装置等，其能够在例如对应于目标的实际深度的虚拟图像距离处呈现待观看的目标，即用户要这样做的对象。

[问题的解决方案]

(1)本发明的虚拟图像距离改变装置包括显示面板，光学器件，深度信息获取部件，以及距离改变部件。所述显示面板显示对应于图像信息的图像。所述光学器件将显示在所述显示面板上的图像引导到用户的眼睛，并且使用户观看对应于所述图像的虚拟图像。所述深度信息获取部件获取表示待观看的目标的深度的深度信息，所述待观看的目标即显示在所述显示面板上将由用户观看的对象。所述距离改变部件根据所述深度信息改变虚拟图像距离，所述虚拟图像距离表示所述虚拟图像由用户观看所处的距离。

(2)在上述(1)中所述的虚拟图像距离改变装置中，所述深度信息获取部件包括视线方向获取部件和深度估计部件。所述视线方向获取部件获取表示用户的视线方向的视线方向信息。所述深度估计部件基于获取的视线方向信息估计深度。

(3)在上述(1)或(2)中所述的虚拟图像距离改变装置中，对应于所述图像信息预先设定所述深度信息。

(4)在上述(3)中所述的虚拟图像距离改变装置中，所述深度信息是基于所述图像信息的中心部分中的给定典型点。

(5)在上述(1)至(4)任一项中所述的虚拟图像距离改变装置中，所述距离改变部件在移动用户的视线方向之后改变所述虚拟图像距离。

(6)在上述(1)至(5)任一项中所述的虚拟图像距离改变装置中，所述距离改变部件在给定范围内改变所述虚拟图像距离。

(7)在上述(1)至(6)任一项中所述的虚拟图像距离改变装置中，如果由所述图像信息表示的场景变化，则所述距离改变部件在场景变化之后的给定时间段内改变所述虚拟图像距离。

(8)在上述(1)至(7)任一项中所述的虚拟图像距离改变装置中，所述距离改变部件通过移动所述显示面板或包括在所述光学器件中的透镜改变所述虚拟图像距离。

(9)上述(1)至(8)任一项中所述的虚拟图像距离改变装置是头戴式显示器。

(10)本发明的虚拟图像距离改变方法显示对应于图像信息的图像。进一步地，所述虚拟图像距离改变方法将显示在显示面板上的图像引导到用户的眼睛，并且使用户观看对应于所述图像的虚拟图像。更进一步地，所述虚拟图像距离改变方法获取表示待观看的目标的深度的深度信息，所述待观看的目标即显示在所述显示面板上将由用户观看的对象。更进一步地，所述虚拟图像距离改变方法根据所述深度信息改变虚拟图像距离，所述虚拟图像距离表示所述虚拟图像由用户观看所处的距离。

(11)本发明的程序涉及一种包括显示面板和光学器件的虚拟图像距离改变装置。所述显示面板显示对应于图像信息的图像。所述光学器件将显示在所述显示面板上的图像引导到用户的眼睛，并且使用户观看对应于所述图像的虚拟图像。所述程序使计算机用作深度信息获取部件和距离改变部件。所述深度信息获取部件获取表示待观看的目标的深度的深度信息，所述待观看的目标即显示在所述显示面板上将由用户观看的对象。所述距离改变部件根据所述深度信息改变虚拟图像距离，所述虚拟图像距离表示所述虚拟图像由用户观看所处的距离。

附图说明

图1是示出本实施例中的hmd的概述的示例的示意图。

图2是用于描述hmd的硬件配置的示例的示意图。

图3是示出hmd的控制部分的功能配置的主要示例的示意图。

图4是示出深度信息获取部分的功能配置的示例的示意图。

图5a是用于描述虚拟图像距离的变化的示意图。

图5b是用于描述虚拟图像距离的变化的示意图。

图6是用于描述虚拟图像距离的变化的示例的示意图。

图7a是用于描述虚拟图像距离的变化的示例的示意图。

图7b是用于描述虚拟图像距离的变化的示例的示意图。

图8是示出hmd的一般处理流程的示例的示意图。

具体实施方式

下面将参考附图描述本发明的实施例。应当注意在附图中相同或等价的元件由相同的附图标记表示并且将省略重复的描述。

图1是示出本实施例中的hmd的概述的示例的示意图。更具体地，图1示出当hmd100安装到用户的头部时hmd100的一般侧视图的示例。

如图1中所示，hmd100包括显示面板101，其显示对应于获取的图像信息的三维(3d)图像。更具体地，例如，显示面板101在右侧区域中显示用于右眼的图像并且在左侧区域中显示用于左眼的图像。应当注意，显示面板101不限于上述，并且例如可以配置成以用其它方式(例如通过帧序列方法)显示3d图像。在另一方面，显示面板101包括例如液晶显示面板101或有机电致发光(el)显示面板101。另外，hmd100包括例如光学器件和距离改变部分。光学器件将显示在显示面板101上的图像引导到用户的眼睛，并且使用户观看对应于图像的虚拟图像。距离改变部分通过移动包括在光学器件中的透镜或显示面板101改变表示虚拟图像由用户观看所处的距离的虚拟图像距离。随后将更详细地描述光学器件和距离改变部分。

hmd100包括用于将hmd100安装到用户头部的安装带102。应当注意，hmd100的上述配置仅仅是示例，并且本实施例不限于上述。

接着将给出本实施例中的hmd100的硬件配置的示例的描述。图2是用于描述hmd的硬件配置的示例的示意图。如图2中所示，hmd100包括例如控制部分201，存储部分202，通信部分203，操作部分204，显示部分205，和驱动部分206。应当注意，控制部分201、存储部分202、通信部分203、操作部分204、显示部分205和驱动部分206通过内部总线207彼此连接。

控制部分201是例如中央处理单元(cpu)，微处理器单元(mpu)等，并且根据存储在存储部分202中的程序进行操作。存储部分202包括例如信息记录介质，如只读存储器(rom)，随机存取存储器(ram)等，并且存储由控制部分201执行的程序。进一步地，存储部分202用作控制部分201的工作存储器。应该注意，可以通过经由网络下载提供程序。可替代地，可以借助于各种计算机可读信息记录介质提供程序，例如光盘(cd)-rom，数字通用盘(dvd)-rom，半导体存储器等。

通信部分203经由网络将hmd100连接到其它信息处理装置(例如，游戏装置和服务器)(未示出)。操作部分204包括例如按钮和控制器，并且将由用户指示的操作的细节输出到对应于指示操作的控制部分201。显示部分205对应于上述显示面板101，并且根据来自控制部分201的指令显示信息。

驱动部分206包括例如马达(未示出)和向马达提供驱动电流的驱动器(未示出)。驱动器根据来自控制部分201的指令向马达提供驱动电流，因此使马达旋转。显示部分205经由齿轮部分(未示出)等连接到马达，并且以这样的方式支撑显示部分205，使得作为马达的旋转的结果移动显示部分。换句话说，作为马达的旋转的结果，显示部分205移动，因此改变将随后描述的虚拟图像距离。应当注意，尽管作为马达的旋转的结果，驱动部分206移动显示部分205，但是本实施例不限于上述配置，只要能够改变虚拟图像距离，例如通过移动组成光学器件的透镜。

应当注意，图2中所示的hmd100的配置仅仅是示例，并且本实施例不限于此。例如，hmd100可以包括相机，并且配置成使得获取对应于来自相机的图像信息的表示用户的视线方向的视线方向信息(其随后将进行描述)。

接着将给出本实施例中的hmd100的控制部分201的功能配置的示例的描述。图3是示出hmd的控制部分的功能配置的主要示例的示意图。如图3中所示，例如，hmd100功能上包括图像信息获取部分301，图像信息生成部分302，深度信息获取部分303，以及距离改变部分304。

图像信息获取部分301获取图像信息。更具体地，例如，图像信息获取部分301可以配置成获取来自外部信息处理装置(例如，游戏装置或服务器)(未示出)的图像信息或存储在存储部分202中的图像信息。

例如，图像信息生成部分302基于由图像信息获取部分301获取的图像信息，每帧生成在显示面板101上显示的帧图像。帧图像是用于在显示面板101上显示3d图像的帧图像，并且对应于例如用于右眼和左眼的帧图像或由如上所述的帧序列方法显示的那些图像。然后，显示面板101显示生成的帧图像。

深度信息获取部分303获取对应于帧图像的深度信息。这里，深度信息对应于例如将由用户观看的目标的深度，例如从用户的眼睛之间的中心到待观看的目标(虚拟图像)的距离。更具体地，例如，深度信息获取部分303包括如图4中所示的视线方向获取部分401和深度估计部分402。

视线方向获取部件401获取例如表示用户的眼睛的视线方向的视线方向信息。更具体地，例如，视线方向信息对应于从用户的每个眼睛的位置到待观看的对象的角度的每一个。深度估计部分402基于视线方向估计将由用户观看的目标的深度(对应于从用户的眼睛的中心到待观看的目标(虚拟图像)的距离)，获取深度作为深度信息。更具体地，例如，深度估计部分402从用户的眼睛之间的距离和每条视线的角度计算深度。应当注意，用户的眼睛之间的距离对应于例如放置在用户的眼睛上的hmd100的开口的中心之间的距离。应当注意，上述深度信息的获取仅仅是示例，并且本实施例不限于此。例如，可以识别从视线方向观看的目标，使得从其视差估计深度。对于视线方向信息等的获取，例如，已知实时检测视线方向的眼睛跟踪(注视跟踪)。所以，将省略进一步的详细描述。

可替代地，深度估计部分402可以配置成例如与图像信息一起获取深度图，基于深度图和视线方向信息获取深度信息。预先设置深度图以表示包括在图像信息中的每个目标的深度信息。进一步可替代地，例如，可以省略视线方向获取部分401，使得基于例如给定典型点(例如所显示的图像的中心部分)使用深度图获取深度信息。应当注意，在该情况下，深度图可以仅包括典型点的深度信息。另一方面，为了生成图像信息或其它目的，预先生成并设置深度图。例如，图像信息获取部分301与图像信息一起获取深度图。

距离改变部分304通过基于深度信息指示驱动部分206改变将由用户观看的虚拟图像的虚拟图像距离。也就是说，距离改变部分基于待观看的目标的一帧深度改变虚拟图像距离。应当注意，本实施例不限于待观看的目标的一帧深度，并且可以基于几帧的深度或在几帧上获取的深度的统计值(如平均)来改变虚拟图像距离。更具体地，将描述一种情况作为示例，其中光学器件包括用于每只眼睛的一个透镜，并且距离改变部分304移动显示面板101以改变透镜和显示面板101之间的距离以简化描述。

图5a和5b是用于描述本实施例中的虚拟图像距离的变化的示意图。例如，如果获取的深度信息大(即，如果呈现在远距离处观看的虚拟图像)，则距离改变部分304远离透镜501移动显示面板101，如图5b中所示。另一方面，如果获取的深度信息小(即，如果呈现在近距离处观看的虚拟图像)，距离改变部分304朝着透镜501移动显示面板101，如图5a中所示。应当注意，已知的马达、齿轮和其它部件用于移动显示面板101。所以，将省略对移动机构本身的描述。应当注意，例如，为hmd100中的每个用户的眼睛503提供透镜501，如图5a和5b中所示，使得用户经由透镜501在基于透镜501和显示面板501之间的距离的虚拟图像距离处观看显示在显示面板101上的图像。应当注意，图5a中的箭头502指示显示面板101的运动的方向。

这里，为了将虚拟图像距离增加到焦距的k倍，必须将透镜501和显示面板101之间的间隙朝着透镜501的侧移动1/k的焦距。例如，如图6中所示，如果焦距为5cm，并且如果虚拟图像距离从1m变化到无穷大，则显示面板101需要2.5mm的运动范围。所以，在该情况下，仅仅必须确保距离改变部分304可以在直到2.5mm的范围内移动显示面板101。该配置使得可以将虚拟图像距离从给定的短距离改变到无穷大，例如，如图7a和7b中所示。这里，图7a示出了其中虚拟图像距离短的情况，并且图7b示出了其中虚拟图像距离为无穷大的情况。

应当注意，尽管上面描述了其中光学器件主要包括用于每只眼睛的一个透镜501的情况，但是光学器件可以包括多个透镜。不用说，尽管在该情况下的操作与上述其中光学器件包括一个透镜的情况不同，但是对应于深度信息而改变虚拟图像距离。

接着将给出本实施例中的hmd100的一般处理流程的示例的描述。图8是示出本实施例中的hmd100的一般处理流程的示例的示意图。

如图8中所示，图像信息生成部分302例如基于由图像信息获取部分301获取的图像信息，每帧生成将在显示面板101上显示的帧图像(s101)。显示面板101显示生成的帧图像(s102)。深度信息获取部分303获取对应于帧图像的深度信息(s103)。如上所述，深度信息可以例如从视线方向估计或者基于深度图获取。距离改变部分304基于深度信息改变虚拟图像距离(s104)。

接着，图像信息生成部分302确定是否完成所有图像信息的显示(s105)。更具体地，例如，当用户终止图像信息的显示或最后帧图像的生成完成时，图像信息生成部分302确定所有图像信息的显示完成。

然后，如果图像信息生成部分302确定所有图像信息的显示尚未完成，则图像信息生成部分302返回到s101并且重复从s102到s104的流程，例如显示将在显示面板101上接着显示的帧图像。另一方面，当图像信息生成部分302确定所有图像信息的显示完成时，图像信息生成部分302终止流程。

应当注意，上述处理流程仅仅是示例，并且本实施例不限于上述。例如，尽管在上述流程中描述了其中基于主要每个帧图像的相应深度信息移动显示面板101的情况，但是如上所述，可以通过获取每给定数量的帧图像(例如，每给定数量的帧图像)的深度信息来移动显示面板101。另一方面，如果使用上述深度图来估计深度信息，例如，可以在s102之前获取深度信息。

本实施例实现了一种头戴式显示器等，其允许在虚拟图像距离处观看待观看的目标，所述虚拟图像距离对应于例如实际目标深度，在目标的拍摄期间在相机和待观看的目标之间的距离，或在计算机图形学中预期的到目标的距离。例如，这使得用户可以更自然地观看待观看的目标并且以更现实的方式观看待观看的目标。

本发明不限于上述实施例，并且可以用基本相同、提供相同效果或实现相同目的的配置替换上述实施例中所示的配置。

例如，尽管上面描述了其中作为示例，虚拟图像距离主要对应于深度信息从1m动态地改变到无穷大的情况，但是可以提供给定的设定模式来限制虚拟图像距离范围。更具体地，虚拟图像距离可以在第一设定模式中限制在从1到10m的范围内，并且可以在第二设定模式中限制在从10m到无穷大的范围。在该情况下，可以在对应于每个用户的期望的范围内观看虚拟图像。更具体地，例如，如果用户近视则使用上述第一设定模式，如果用户远视则使用上述第二设定模式，因此允许用户在舒适可见的虚拟图像距离处观看目标。

进一步地，可以提供一种模式，其中虚拟图像距离改变为通过将深度信息乘以对应于深度信息的给定值而获得的虚拟图像距离。例如，当深度信息为1m时，虚拟图像距离为10m，并且当深度信息为10m时，虚拟图像距离为100m。

可替代地，例如，当深度信息等于给定值或更大时，可以改变虚拟图像距离到更远的距离，并且当深度信息等于给定值或更小时，可以改变虚拟图像距离到更近的距离。取决于图像信息，这可以提供更令人印象深刻的观看体验等。

进一步地，在场景变化之后的给定的时间段内虚拟图像距离保持不变的情况下，可以确定由图像信息表示的场景是否已改变，使得在给定的时间段内，对应于视线方向改变虚拟图像距离。结果，例如，即使出现其中虚拟图像距离从无穷大突然向近距离改变的场景，用户可以更加舒适地观看待观看的目标。

进一步地，距离改变部分304可以在视线移动之后改变虚拟图像距离，并且在视线移动期间维持虚拟图像距离不变。更具体地，例如，当视线方向获取部分401正在检测视线方向的移动时，距离改变部分304保持虚拟图像距离不变，并且在视线的移动停止之后改变虚拟图像距离。更具体地，例如，当视线在给定的时间段内保持不变时，改变虚拟图像距离。可替代地，如果视线移动给定的距离或更大，则虚拟图像距离可以保持不变。这使得用户可以更舒适地观看待观看的目标。

进一步地，尽管上面描述了其中hmd100主要处理诸如图像信息的生成和深度信息的估计的流程的情况，但这些流程可以由连接到hmd100的信息处理装置(例如，游戏装置或服务器)处理。更具体地，例如，hmd100可以配置成获取视差方向信息，将视差方向发送到信息处理装置，并获取由信息处理装置生成的深度信息。

更进一步地，尽管以上引用了hmd100作为虚拟图像距离改变装置的一个示例，但是虚拟图像距离改变装置包括允许通过诸如电子取景器、数字显微镜目镜和电子双筒望远镜的光学器件观察光源(漫射反射光)的装置。

应当注意，上述修改示例可以组合使用，例如在用户的视线的移动期间保持虚拟图像距离不变，同时使用深度图，只要它们彼此兼容。