显示装置及使用该显示装置进行显示的方法与流程

文档序号:13887056阅读:179来源:国知局
本发明总体上涉及虚拟现实,更具体地,涉及一种显示装置以及通过该显示装置进行显示的方法,该显示装置包括:背景显示器、聚焦显示器和光学组合器。
背景技术
::近期以来,用于向用户呈现模拟环境(或虚拟世界)的诸如虚拟现实,增强现实等等的技术的使用突飞猛进。具体地,模拟环境通过使用诸如立体观测的现代技术给用户营造一种沉浸在该模拟环境中的感觉来增强用户对在他/她周围的真实的体验。通常,用户可以使用例如虚拟现实设备的一种设备来体验该模拟环境。例如,虚拟现实设备可以包括双目虚拟现实设备,其对应用户的每一只眼睛都有一个显示器。具体地,双目虚拟现实设备的两个显示器可以向用户的眼睛显示不同的二维图像(也称作立体图),以通过组合不同的二维图像来营造深度幻觉(illusionofdepth)。可选地,该虚拟现实设备可以包括近场显示器。该虚拟显示装置的示例包括头戴式虚拟现实设备,虚拟现实眼镜等等。此外,虚拟现实设备的视场通常约为60°至150°,而人的视场相对较大(即约为180°)。更大的视场会导致更强的沉浸感和更好的周围环境感知。然而,传统的虚拟现实设备有一定的局限性。在一个示例中,适合于逼真地模仿人眼的视敏度(visualacuity)的显示器的尺寸太大而无法容纳在传统可用的虚拟现实设备中。具体地,具有与人眼近似相等的视场的显示器尺寸非常大。在另一示例中,诸如聚焦加背景屏幕(focuspluscontextscreens)之类的相对较小尺寸的显示器包括嵌入到低分辨率显示器中的高分辨率显示器。然而,高分辨率显示器在这样的聚焦加背景屏幕内的位置是固定的,并且呈现在聚焦加背景屏幕上的图像在高分辨率显示器和低分辨率显示器的边缘处经常出现不连续。因此,这种聚焦加背景屏幕并没有被充分开发以用于虚拟现实设备内。因此,传统的虚拟现实设备在模仿人类视觉系统方面的能力有限。因此,鉴于上述讨论,需要克服与在虚拟现实设备中使用的传统显示器相关联的上述缺点。技术实现要素:本发明旨在提供一种显示装置。本发明还旨在提供一种通过包括背景显示器、聚焦显示器和光学组合器的显示装置来进行显示的方法。本发明旨在对虚拟现实设备中所使用的显示器所存在的以下现有问题提供解决方案:物理尺寸限制和图像不连续性。本发明的目的是提供一种解决方案,该解决方案至少部分地克服现有技术中遇到的问题,并且提供一种具有鲁棒性、易于使用的显示装置,以逼真地模仿人类视觉系统。一方面,本发明的一个实施例提供了一种显示装置,包括:用于呈现背景图像的至少一个背景显示器,其中,所呈现的背景图像的投影的角宽度的范围介于40度到220度之间;用于呈现聚焦图像的至少一个聚焦显示器,其中,所呈现的聚焦图像的投影的角宽度的范围介于5度到60度之间;至少一个光学组合器,其用于将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合以创建视觉场景;用于检测注视方向的装置;以及处理器,该处理器与至少一个光学组合器和用于检测注视方向的装置以通信的方式进行耦接,其中所述处理器被配置为:(a)接收输入图像,并使用所检测到的注视方向来确定输入图像的视觉精度区域;(b)处理输入图像以生成背景图像和聚焦图像,所述背景图像具有第一分辨率并且所述聚焦图像具有第二分辨率,其中:该背景图像中的与输入图像的视觉精度区域基本对应的区域被遮蔽聚焦图像基本上对应于输入图像的视觉精度区域,以及所述第二分辨率高于所述第一分辨率;以及(c)基本上同时地在所述至少一个背景显示器上呈现所述背景图像并在所述至少一个聚焦显示器上呈现所述聚焦图像,同时控制所述至少一个光学组合器以将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合,从而使得所述呈现的聚焦图像的投影与所呈现的背景图像的被遮蔽区域的投影基本重叠。另一方面,本发明的一个实施例提供了一种显示方法,该方法所使用的装置包括至少一个背景显示器、至少一个聚焦显示器、至少一个光学组合器以及用于检测注视方向的装置,所述方法包括:(i)在所述至少一个背景显示器上呈现背景图像,其中所呈现的背景图像的投影的角宽度的范围介于40度到220度之间;(ii)在所述食少一个聚焦显示器上呈现聚焦图像,其中所呈现的聚焦图像的投影的角宽度的范围介于5度到60度之间;(iii)使用至少一个光学组合器来将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合以创建视觉场景;(iv)检测注视方向,并使用所检测到的注视方向来确定输入图像的视觉精度区域;(v)处理输入图像以生成背景图像和聚焦图像,所述背景图像具有第一分辨率并且所述聚焦图像具有第二分辨率,所述第二分辨率高于所述第一分变率,其中所述处理包括:遮蔽所述背景图像中的与输入图像的视觉精度区域基本对应的区域;以及生成于输入图像的视觉精度区域基本对应的聚焦图像;以及(vi)控制所述至少一个光学组合器以将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合,从而使得所呈现的聚焦图像的投影基本上与所呈现的背景图像的被遮蔽区域的投影基本重叠;其中,(i)、(ii)和(vi)基本上同时进行。本发明的实施例基本上消除或至少部分解决了现有技术中的上述问题,并且能够通过使用注视偶然性(gazecontingency)来在显示装置内实现有效的中央凹(activefoveation)。附图说明结合所附权利要求解释的说明性实施例的详细描述将使本公开的其他方面、优点、特征和目的变得显而易见。应当理解的是,在不脱离由所附权利要求限定的本公开的范围的情况下,易于以各种组合方式对公开的特征进行组合。附图说明当结合附图阅读时,可以更好地据了解上述
发明内容以及以下说明性实施例的详细描述。出于说明本公开的目的,在附图中示出了本公开的示例性结构。然而,本公开限于本文中公开的特定方法和手段。而且,本领域的技术人员将理解,附图不是按比例绘制的。在任何可能的情况下,相似的元件由相同的附图标记来表示。现在将参考下面的附图仅以举例的方式描述本发明的实施例,在附图中:图1是根据本公开的实施例的用于使用显示装置的环境的示意图;图2至图3是根据本公开的不同的实施例的显示装置的架构的框图;图4a至图4b是根据本公开的不同实施例的显示装置相对于眼睛的示例性操作的示意图;图5是根据本公开的实施例的显示装置的背景显示器和聚焦显示器的示例性表示;图6a至图6i是根据本公开的各个实施例的所述显示装置的示例性实现方式;以及图7示出了根据本公开实施例的通过显示装置进行显示的方法的步骤。在附图中,带下划线的数字被用来表示其上放置有带下划线数字的项或与该带下划线的数字相邻的项。不带下划线的数字与由将非下划线数字链接到该项的直线进行标识的项有关。当一个数字不带下划线并伴有相关的箭头时,该不带下划线的数字用于标识箭头所指向的一般项。具体实施方式以下详细描述示出了本公开的实施例以及可以实现这些实施例的方式。虽然已经公开了执行本公开的一些模式,但是本领域技术人员将认识到,用于执行或实践本公开的其他实施例也是可能的。一方面,本发明的实施例提供了一种显示装置,该显示装置包括:用于呈现背景图像的至少一个背景显示器,其中,所呈现的背景图像的投影的角宽度的范围介于40度到220度之间;用于呈现聚焦图像的至少一个聚焦显示器,其中,所呈现的聚焦图像的投影的角宽度的范围介于5度到60度之间;至少一个光学组合器,所述至少一个光学组合器用于将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合以创建视觉场景;用于检测注视方向的装置;以及处理器,该处理器与至少一个光学组合器和用于检测注视方向的装置以通信的方式耦接,其中,所述处理器被配置为:(a)接收输入图像,并使用所检测到的注视方向来确定输入图像的视觉精度区域;(b)处理输入图像以生成背景图像和聚焦图像,所述背景图像具有第一分辨率并且所述聚焦图像具有第二分辨率,其中:背景图像中的与输入图像的视觉精度区域基本对应的区域被遮蔽;聚焦图像基本上对应于输入图像的视觉精度区域,以及所述第二分辨率高于所述第一分辨率;以及(c)基本上同时地在所述至少一个背景显示器上呈现所述背景图像并在所述至少一个聚焦显示器上呈现所述聚焦图像,同时控制所述至少一个光学组合器以将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合,从而使得所呈现的聚焦图像的投影与所呈现的背景图像的被遮蔽区域的投影基本重叠。在另一方面,本发明的实施例提供了一种通过显示装置进行显示的方法,该显示装置包括至少一个背景显示器、至少一个聚焦显示器、至少一个光学组合器以及用于检测注视方向的装置,所述方法包括:(i)在所述至少一个背景显示器上呈现背景图像,其中,所呈现的背景图像的投影的角宽度的范围为介于40度到220度之间;(ii)在所述至少一个聚焦显示器上呈现聚焦图像,其中,所呈现的聚焦图像的投影的角宽度的范围为介于5度到60度之间;(iii)使用至少一个光学组合器来将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合来创建视觉场景;(iv)检测注视方向,并使用所检测到的注视方向来确定输入图像的视觉精度区域;(v)处理输入图像以生成背景图像和聚焦图像,所述背景图像具有第一分辨率并且所述聚焦图像具有第二分辨率,所述第二分辨率高于所述第一分变率,其中,所述处理包括:遮蔽所述背景图像中的与输入图像的视觉精度区域基本对应的区域;以及生成与输入图像的视觉精度区域基本上对应的聚焦图像,以及(vi)控制所述至少一个光学组合器以将所呈现的背景图像的投影与所呈现的聚焦图像的投影组合,从而使得所呈现的聚焦图像的投影与所呈现的背景图像的被遮蔽区域的投影基本重叠,其中,(i)、(ii)和(vi)基本上同时进行。本公开提供了一种显示装置和通过该显示装置进行显示的方法。本文描述的显示装置在操作上不受聚焦显示器和背景显示器的尺寸的限制。因此,所述显示装置可以轻易地实施在诸如虚拟现实设备之类的小尺寸设备中。此外,该显示装置通过检测眼睛的注视方向并考虑了人眼的扫视和微跳视来模拟人类视觉系统的有效的中央凹。此外,由于光组合器对其组成投影进行了适当的组合,因此使用所描述的显示装置进行显示的图像看起来是连续的。因此,所描述的显示装置逼真地模仿了注视偶然性从而模仿人类的视觉系统。此外,显示装置的组件并不昂贵并且易于制造。而且,使用该显示装置的显示方法因此易于实施,并且拥有鲁棒的有效中央凹的能力。该显示装置包括用于呈现背景图像的至少一个背景显示器,用于呈现聚焦图像的至少一个聚焦显示器,以及至少一个光组合器,至少一个光学组合器用于将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合以创建视觉场景。所呈现的背景图像的投影的角宽度的范围介于40度到220度之间。所呈现的聚焦图像的投影的角宽度的范围介于5度到60度之间。具体地,视觉场景可以对应于待呈现给设备用户的仿真环境内的场景,该设备例如为头戴式虚拟现实设备、虚拟现实眼镜、增强现实耳机等等。更具体地,可以将该视觉场景投影到用户的眼睛上。在这种情况下,该设备可以包括在本文中描述的显示装置。可选地,所呈现的背景图像的投影的角宽度可以大于220度。在这种情况下,用于呈现背景图像的背景显示器的角度尺寸可以大于220度。根据一个实施例,所呈现的背景图像的投影的角宽度可以从例如40度、50度、60度、70度、80度、90度、100度、110度、120度、130度、140度、150度、160度或170度上升为70度、80度、90度、100度、110度、120度、130度、140度、150度、160度、170度、180度、190度、200度、210度或220度。根据另一个实施例,所呈现的聚焦图像的投影的角宽度可以从例如5度、10度、15度、20度、25度、30度、35度、40度、45度或50度上升到15度、20度、25度、30度、35度、40度、45度、50度、55度或60度。在一个实施例中,背景图像与待通过显示装置呈现并且投影的视觉场景的宽图像有关。具体地,前述的背景图像的角宽度适应与用户的眼睛的移动相关的扫视(saccades)。在另一实施例中,聚焦图像与通过显示装置呈现和投影的图像有关。具体地,前述的聚焦图像的角宽度适应与用户的眼睛的移动相关的微跳视(microsaccades)。此外,聚焦图像在尺寸上小于背景图像。此外,背景图像和聚焦图像在其投影被组合时共同构成视觉场景。在一个实施例中,本文中使用的术语“背景显示器”指的是有利于在其上呈现背景图像的显示器(或屏幕)。具体地,至少一个背景显示器可以适用于接收其上的背景图像的投影。根据一个实施例,所述至少一个背景显示器可以选自包括以下项的组:液晶显示器(liquidcrystaldisplay,lcd)、基于发光二极管(lightemittingdiode,led)的显示器、基于有机发光二极管(organiclightemittingdiode,oled)的显示器、基于微型oled的显示器和基于硅基液晶(liquidcrystalonsilicon,lcos)的显示器。在一个实施例中,本文中使用的术语“聚焦显示器”与适用于有利于在其上呈现聚焦图像的显示器(或屏幕)有关。具体地,至少一个聚焦显示器可以适用于接收聚焦图像在其上的投影。根据一个实施例,至少一个聚焦显示器可以选自包括以下项的组:液晶显示器(liquidcrystaldisplay,lcd)、基于发光二极管(lightemittingdiode,led)的显示器、基于有机发光二极管(organiclightemittingdiode,oled)的显示器、基于微型oled的显示器和基于硅基液晶(liquidcrystalonsilicon,lcos)的显示器。可选地,至少一个背景显示器和/或至少一个聚焦显示器通过至少一个投影仪和至少一个投影屏幕实现。例如。一个背景显示器可以通过一个投影仪和与该投影仪相关的一个投影屏幕实现。根据一个实施例,至少一个背景显示器被静态设置并且至少一个聚焦显示器可以是可移动的,以便于得到所呈现的背景图像和聚焦图像的所期望的投影。具体地,至少一个聚焦显示器可以被移动以调整所呈现的聚焦图像的投影的位置。可替代地,至少一个背景显示器和聚焦显示器可以交换位置。具体地,在这种情况下,至少一个被背景显示器可以是可移动的,而至少一个聚焦显示器可以被静态设置。在一个实施例中,至少一个背景显示器的尺寸与至少一个聚焦显示器的尺寸相比要较大。具体地,至少一个聚焦显示器在尺寸上要比至少一个背景显示器要小得多。因此,明显的是,至少一个聚焦显示器与至少一个背景显示器相比可以被轻易移动。显示装置包括至少一个光学组合器,至少一个光学组合器用于件所呈现的背景图像的投影与所呈现的聚焦图像的投影组合来创建视觉场景。根据本公开的一个实施例,本文中使用的术语“光学组合器”与用于将所呈现的背景图像的投影与所呈现的聚焦图像的投影组合来构建视觉场景的设备(例如光学元件)相关。具体地,至少一个光学组合器可以被配置为模拟人类视觉系统的有效中央凹。显示装置还包括用于检测注视方向的装置和处理器,该处理器与至少一个光学组合器和用于检测注视方向的装置以通信方式耦接。在一个实施例中,处理器可以是硬件、软件、固件或这些的组合,并且适合于控制显示装置的操作。具体地,处理器可以控制显示装置的操作来处理视觉场景并将其显示(或投影)到用户的眼睛上。在与用户关联的设备内使用显示装置的情况下,处理器可以在设备外部或者可以不在设备的外部。可选地,处理器可以可通信地与存储单元耦接。在一个实施例中,存储单元可以是硬件、软件、固件或这些的组合,并且适合于存储待由处理器处理的图像。在一个实施例中,用于检测注视方向的装置与测量眼睛的注视方向和眼睛运动的专用设备,诸如眼睛追踪器相关。具体地,注视方向的精确测量使得显示装置能够在其上逼真地实现注视偶然性。此外,用于检测注视方向的装置可以被放置成与眼睛接触或者可以不被布置成与眼睛接触。用于检测注视方向的装置的示例包括带传感器的接触镜,监视眼睛的瞳孔的位置的相机等等。处理器配置为接收输入图像,并使用所检测到的注视方向来确定输入图像的视觉精度区域。根据一个实施例,本文中使用的术语“输入图像”与待通过显示装置显示的图像(例如视觉场景的图像)相关。在一个实施例中,可以从与用户相关联的设备耦接的图像传感器接收输入图像。具体地,图像传感器可以捕获真实世界环境的图像作为待投影到眼睛上的输入图像。在一个示例中,处理器从与用户相关联的头戴式虚拟现实设备的图像传感器接收用户可能在场的咖啡店的输入图像。在另一个示例中,可以从与处理器可通信地耦接的存储单元接收输入图像。具体地,存储单元可以被配置成以适当格式存储输入图像,该适当格式包括但不限于:运动图像专家组(movingpicturesexpertsgroup,mpeg)、联合图像专家组(jointphotographicexpertsgroup,jpeg)、标记图像文件格式(taggedimagefileformat,tiff)、便携式网络图形(portablenetworkgraphics,png)、图形交换格式(graphicsinterchangeformat,gif)和位图文件格式(bitmapfileformat,bmp)。在前述的实施例中,处理器可以使用所检测到的注视方向来确定输入图像的视觉精度区域。在一个实施例中,视觉精度区域指的是输入图像中的所检测到的眼睛注视方向可以在该处聚焦的区域。具体地,视觉精度区域可以是输入图像内的感兴趣的区域(或固定点),并且可以被投影到眼睛的中央凹上。此外,视觉精度的区域可以是在输入图像内的聚焦区域。因此,当通过人类视觉系统观看输入图像时,视觉精度区域指的是与输入图像的其他区域相比包含更多细节的区域。此外,在确定输入图像的视觉精度的区域之后,处理器被配置为处理输入图像以生成背景图像和聚焦图像,该背景图像具有第一分辨率并且该聚焦图像具有第二分辨率。该第二分辨率高于该第一分辨率。聚焦图像基本上对应于输入图像的视觉精度区域。具体地,背景图像对应于输入图像的低分辨率表示。因此,背景图像包括输入图像的视觉精度区域以及输入图像的剩余区域。更具体地,由于聚焦图像仅对应于背景图像中的所检测到的眼睛注视方向可以在该处聚焦的部分,所以背景图像的尺寸大于聚焦图像的尺寸。在一个实施例中,第一分辨率和第二分辨率可以根据角分辨率来理解。具体地,指示第二分辨率的像素/度(pixelsperdegree)高于指示第一分辨率的像素/度。在一个实施例中,用户眼睛的中央凹对应于2度的视场,并且接收角度横截面宽度等于114像素(表示每度57像素)的聚焦图像的投影。因此,对应于聚焦图像的角像素尺寸等于2/114或0.017。此外,在该示例中,眼睛的视网膜对应于180度的视场并且接收角度横截面宽度等于2700个像素(表示每度15个像素)的背景图像的投影。因此,对应于背景图像的角像素大小等于80/2700或0.067。如所计算的那样,与背景图像对应的角像素尺寸明显大约与聚焦图像对应的角像素大小。然而,与聚焦图像相比,对于背景图像的由像素的总数所表示的感知角分辨率更大,这是由于聚焦图像仅对应于背景图像的一部分相对应,其中,该部分对应于输入图像的视觉精度区域。此外,伴随着背景图像和聚焦图像的生成,背景图像中的与输入图像的视觉精度区域相对应的区域被遮蔽。此外,聚焦图像基本上对应于输入图像的视觉精度区域,并且第二分辨率高于第一分辨率。具体地,遮蔽可以由处理器执行,以隐藏(或遮掩)背景图像中的与输入图像的视觉准确度区域对应的区域。例如,背景图像中的与输入图像的视觉精度区域相对应的像素可以被调暗以用于遮蔽。在对输入图像进行处理之后,处理器被配置为基本上同时地在所述至少一个背景显示器上呈现所述背景图像并在所述至少一个聚焦显示器上呈现所述聚焦图像,同时控制所述至少一个光学组合器以将所呈现的背景图像的投影与所呈现的聚焦图像的投影组合,从而使得所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影基本重叠。具体地,所呈现的背景图像和聚焦图像的经组合的投影可以共同构成输入图像的投影。明显的是,背景图像和聚焦图像基本上同时呈现以避免在对它们的投影进行组合期间出现时间延迟。所呈现的背景图像的投影的角宽度大于所呈现的聚焦图像的投影的角宽度。这可能归因于以下事实:所呈现的聚焦图像通常被投射在眼睛的中央凹上及其周围,而所呈现的背景图像被投影在眼睛的视网膜上,眼睛的中央凹只是视网膜的一小部分。具体地,所呈现的背景图像和聚焦图像的组合构成输入图像并且可以被投影到眼睛上以将输入图像投影到眼睛上。下述项基本上是同时执行的:呈现背景图像、呈现聚焦图像,以及控制至少一个光学组合器以将所呈现的背景图像的投影和所呈现的聚焦图像的投影进行组合。至少一个光学组合器使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影基本上重叠,以避免输入图像的视觉精度区域的失真。具体地,输入图像的视觉精度区域出现在所呈现的低分辨率的背景图像和所呈现的高分辨率的背景图像两者中。同一区域的低分辨率图像和高分辨率图像的投影的重叠(或叠加)导致相同区域的外观失真。此外,与所呈现的低分辨率背景图像相比,所呈现的高分辨率的图像可以包含与输入图像的视觉精度区域有关的更多信息。因此,为了投影呈现的高分辨率图像而不出现失真,背景图像中的基本上与输入图像的视觉精度区域对应的区域被遮蔽。此外,处理器可以配置被为遮蔽背景图像的与输入图像的视觉精度区域对应的区域,以使得输入图像的视觉精度区域与输入图像的剩余区域之间的过渡区域接缝(或边缘)最小。需要理解的是,所显示的输入图像的视觉精度区域对应于聚焦图像(以及背景图像的遮蔽区域)的投影,而所显示的输入图像的视觉精度的剩余区域对应于背景图像的投影。具体地,该遮蔽应该以渐变的方式执行,以在进行叠加的背景图像和聚焦图像之间的过渡区域接缝最小化,从而使所显示的输入图像呈现为连续的。例如,处理器可以将与输入图像的视觉精度区域对应的背景图像的像素明显调暗,并且随着背景图像与输入图像的视觉精度区域的距离的增加而逐渐减小像素的调暗量。可选地,遮蔽背景图像的与输入图像的视觉精度区域的基本上对应的区域可以通过以下方式来执行:在在过渡区处的背景图像和聚焦图像之间使用相反值的线性透明遮蔽混合模式、包含自然地难以被用户的眼睛检测到的形状的隐形(伪装)图案等等。如果所呈现的背景和聚焦图像的组合投影的对齐并外观是不正确的和/或具有不连续性,则输入图像的投影也是不正确的。在一个实施例中,处理器可以实施用于至少一个背景显示器和至少一个聚焦显示器中的至少一个的图像处理功能。具体地,图像处理功能可以在将背景图像呈现在至少一个背景显示器和将至少一个聚焦图像呈现在聚焦显示器上之前实施。更具体地,该图像处理功能可以优化所呈现的背景图像和聚焦图像的质量。因此,可以通过考虑至少一个背景显示器和至少一个聚焦显示器中的至少一个的特性以及输入图像的性质来选择图像处理功能。根据一个实施例,用于至少一个背景显示器的图像处理功能可以包括用于优化感知的背景图像质量的至少一个功能,该至少一个功能选自包括低通滤波器、颜色滤波器和伽马校正的组。在一个实施例中,用于至少一个背景显示器的图像处理功能还可以包括边缘处理,以使所呈现的背景图像和聚焦图像的组合投影的边界上的感知失真最小化。根据另一实施例,用于至少一个聚焦显示器的图像处理功能可以包括用于优化感知的聚焦图像质量的至少一个功能,该至少一个功能选自包括图像裁剪、图像锐化、颜色处理和伽马校正的组。在一个实施例中,用于至少一个聚焦显示器的图像处理功能还可以包括边缘处理,以使所呈现的背景图像和聚焦图像的组合投影的边界上的感知失真最小化。在一个实施例中,至少一个光学组合器可以包括至少一个第一光学元件,该第一光学元件被布置成:使得所呈现的背景图像的投影基本上能够穿过所述至少一个第一光学元件,同时使得所呈现的聚焦图像的投影基本上能够被所述至少一个第一光学元件所反射;或者使得所呈现的聚焦图像的投影基本上能够穿过所述至少一个第一光学元件,同时使得所呈现的背景图像的投影基本上能够被所述至少一个第一光学元件反射。具体地,至少一个第一光学元件可以被布置成将所呈现的背景图像光路和聚焦图像的投影的光路组合。明显的是,至少一个第一光学元件的这样的布置利于将所呈现的聚焦图像投影到眼睛的中央凹上及其周围,以及将所呈现的背景图像投影到眼睛的视网膜上,眼睛的中央凹仅是视网膜的一小部分。在一个实施例中,至少一个光学组合器的至少一个第一光学元件可以通过以下项至少之一实现:半透明反射镜、半透明膜、棱镜、偏振器、光波导。例如,至少一个光学组合器的至少一个第一光学元件可以被实现为光波导。在该示例中,光波导可以被布置为使得所呈现的聚焦图像的投影通过借助于该光波导进行的反射而传递到用户眼睛的视场中。此外,在该示例中,光波导可以是透明的,使得至少一个背景显示器(以及具体地,背景图像)通过其可见。因此,光波导可以是半透明的。可替代地,光波导可以被布置成使得所呈现的背景图像的投影通过借助于该波导进行的反射传递到用户眼睛的视场中,并且光波导可以是透明的以使至少一个聚焦显示器(以及更具体地,聚焦图像)通过其可见。如果至少一个聚焦显示器通过至少一个投影仪来实现,而所述至少一个投影仪可以使用与其相关联的致动器来移动,则也可以使用该实施方式。在一个实施例中,光波导其中还可以包括诸如微棱镜、反射镜、衍射光学元件之类的光学元件。可选地,光波导可以是可倾斜的和/或可移动的。根据一个实施例,至少一个光学组合器可以包括至少一个第一致动器,其用于使得至少一个聚焦显示器相对于至少一个光学组合器的至少一个第一光学元件移动,其中处理器被配置为控制至少一个第一致动器以调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置。具体地,当眼睛的注视方向从一个方向转移到另一个方向时,至少一个第一致动器可以使得至少一个聚焦显示器移动。在该情况下,对至少一个光学元件和至少一个聚焦显示器的布置可能无法将所呈现的聚焦图像投影到眼睛的中央凹及其周围。因此,处理器可以控制至少一个第一致动器以使得至少一个聚焦显示器相对于至少一个第一光学元件移动,从而调整所呈现的聚焦图像在至少一个第一光学元件上投影的位置,以使得即使在在注视方向发生转移时也能将所呈现的聚焦图像投影到眼睛的中央凹及其周围。更具体地,处理器可以通过生成致动信号(例如电流,液压等)来控制至少一个第一致动器。在一个示例中,至少一个第一致动器可以移动至少一个聚焦显示器以靠近至少一个第一光学元件或远离至少一个第一光学元件。在另一个示例中,至少一个第一致动器可以使至少一个聚焦显示器相对于至少一个第一光学元件侧向移动。在又一示例中,至少一个第一致动器可以使至少一个聚焦显示器相对于至少一个第一光学元件倾斜和/或旋转。根据另一实施例,至少一个光学组合器可以包括至少一个第二光学元件,其布置在至少一个第一光学元件和至少一个聚焦显示器之间的光路上,并且至少一个第二致动器用于使至少一个第二光学元件相对于至少一个第一光学元件移动。在该实施例中,至少一个第二光学元件可以是选自包括以下项的组:透镜、棱镜、反射镜和分束器。此外,在该实施例中,处理器被配置成控制至少一个第二致动器以调整所呈现的聚焦图像在至少一个光学元件上的投影的位置。具体地,第二光学元件可以改变将所呈现的聚焦图像投影到至少一个第一光学元件上的光路,以使得即使在注视方向发生转移时也有利于将所呈现的聚焦图像投影到眼睛的中央凹上及其周围。更具体地,处理器可以通过生成致动信号(例如电流,液压等)来控制至少一个第二致动器。例如,两个棱镜可以位于半透明反射镜(至少一个第一光学元件)和至少一个聚焦显示器之间的光路上。具体地,所呈现的聚焦图像的投影的光路可以在通过两个棱镜时改变以调整所呈现的聚焦图像在半透明反射镜上的投影的位置。此外,为了使得即使在注视方向发生转移时也有利于将所呈现的聚焦图像投影到眼睛的中央凹上及其周围,可以通过至少一个第二致动器使得两个棱镜可以横向和/或侧向地移动、旋转、倾斜等等。在本公开的一个实施例中,至少一个光学组合器可以包括至少一个第三致动器,其用于移动至少一个第一光学元件,其中,处理器被配置为控制至少一个第三致动器以调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置。具体地,至少一个第三致动器可以移动至少一个第一光学元件,以使得即使在注视方向发生转移时也有利于将所呈现的聚焦图像投影到眼睛的中央凹上及其周围。更具体地,处理器可以通过生成致动信号(例如电流,液压等)来控制至少一个第三致动器。在一个示例中,至少一个第三致动器可以移动至少一个第一光学元件以靠近至少一个聚焦显示器或远离至少一个聚焦显示器。在另一个示例中,至少一个第三致动器可以使至少一个第一光学元件相对于至少一个聚焦显示器移动。在又一示例中,至少一个第三致动器可以使至少一个第一光学元件倾斜和/或旋转。根据另一实施例,显示装置可以包括至少一个聚焦透镜和至少一个第四致动器,至少一个聚焦透镜被布置在至少一个第一光学元件和至少一个聚焦显示器之间的光路上,并且至少一个第四致动器用于使至少一个聚焦透镜相对于至少一个聚焦显示器移动移动。在该实施例中,处理器可以被配置为控制至少一个第四致动器以调整所呈现的聚焦图像的投影的焦点。具体地,至少一个聚焦透镜可以利用其特有的特征来通过改变光路来调整所呈现的聚焦图像的投影的焦点。更具体地,可以调整所呈现的聚焦图像的投影的焦点以适应屈光度调整、散光矫正等等。更具体地,处理器可以通过生成致动信号(例如电流,液压等)来控制至少一个第四致动器。根据另一实施例,显示装置可以包括至少一个聚焦透镜,其被布置在至少一个第一光学元件和至少一个聚焦显示器之间的光路上,其中,处理器被配置为通过对至少一个聚焦透镜施加控制信号来控制至少一个聚焦透镜的有源光学特性。具体地,至少一个聚焦透镜的有源光学特性可以包括但不限于焦距和光功率。此外,在该实施例中,控制信号可以是电信号,液压等等。在一个实施例中,至少一个聚焦透镜可以是液晶透镜(lc透镜)等。可选地,至少一个聚焦透镜可以被安置在至少一个第一光学元件和至少一个背景显示器之间的光路上。可以理解,至少一个背景显示器和聚焦显示器的物理尺寸(或维度尺寸)可以不对上述显示装置的操作进行限制。具体地,物理上小尺寸的背景显示器和聚焦显示器可以与在所呈现的背景图像和聚焦图像的光路中的放大透镜一起使用,以确保其投影的所期望的尺寸。可选地,可以使用前述的显示装置以接收另一个输入图像,对所述另一个输入图像进行处理以生成另一个聚焦图像和背景图像,并且在呈现所述另一个聚焦图像和背景图像的同时将所呈现的另一个聚焦图像的投影和所呈现的背景图像的投影进行组合。在一个示例中,可以从与用户相关联的头戴式虚拟现实设备的摄像机接收另一个输入图像。本发明还涉及一种如上所述的方法。以上公开的各种实施例及其变体都适用于该方法。更具体地,该方法还可以包括布置至少一个光学组合器的至少一个第一光学元件以使得所呈现的背景图像的投影基本上能够穿过至少一个第一光学元件,同时使得所呈现的聚焦图像的投影基本上能够被至少一个第一光学元件所反射,或者使得所呈现的聚焦图像的投影基本上能够穿至少一个第一光学元件过,同时使得所呈现的背景图像的投影基本上能够被至少一个第一光学元件所反射。根据另一个实施例,该方法可以包括调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置。该调整可以通过下述方式来执行,控制至少一个光学组合器的至少一个第一致动器来使得至少一个聚焦显示器相对于至少一个光学组合器的至少一个第一光学元件移动。该调整还可以通过下述方式来执行:控制至少一个光学组合器的至少一个第二致动器使得至少一个光学组合器的至少一个第二光学元件相对于至少一个第一光学元件移动,其中,至少一个第二光学元件位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上。在又一实施例中,该调整可以通过下述方式执行:控制至少一个光学组合器的至少一个第三致动器来移动至少一个第一光学元件。该方法还可以包括控制显示装置的至少一个第四致动器来使得显示装置的至少一个聚焦透镜相对于至少一个聚焦显示器移动,从而调整所呈现的聚焦图像的投影的焦点,其中,至少一个聚焦透镜位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上。具体附图说明参考图1,示出了根据本公开的实施例用于使用显示装置的环境100的示意图。该环境100包括佩戴有设备104(例如头戴式虚拟现实设备)的用户102。在示例性环境100中,设备104能够实现虚拟环境。此外,设备104包括用于实现有效中央凹的显示装置(未显示)。此外。控制设备104的操作通过处理单元108进行控制。如图所示,用户102手持有手持式驱动器106a和手持式驱动器106b以与虚拟环境进行交互。因此,环境100还包括用于识别设备104和手持式驱动器106a和手持式驱动器106b的空间坐标的空间定位器110a和空间定位器110b。空间定位器110a和空间定位器110b被配置为将所识别的空间坐标发送给处理单元108。参考图2,示出了根据本公开的实施例的显示装置200(如图1的设备104的显示装置)的架构的框图。该显示装置200包括用于呈现背景图像的至少一个背景显示器202,用于呈现聚焦图像的至少一个聚焦显示器204,以及至少一个光组合器206,其用于将所呈现的背景图像的投影与所呈现的聚焦图像的投影组合以创建视觉场景。参考图3,示出了根据本公开的实施例的显示装置300(如图1的设备104的显示装置)的架构的框图。该显示装置300包括用于呈现背景图像的至少一个背景显示器302,用于呈现聚焦图像的至少一个聚焦显示器304,至少一个光学组合器306,用于检测注视方向的装置308以及处理器310。光学组合器306将所呈现的背景图像的投影与所呈现的聚焦图像的投影组合以创建视觉场景。如图所示,处理器310与至少一个背景显示器302和至少一个聚焦显示器304耦接。此外,处理器310与至少一个光学组合器306和用于检测注视方向的装置308以通信的方式耦接。参考图4a,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)相对于眼睛402的示例性操作的示意图。如图所示,眼睛的注视方向是笔直的(或在前方)。明显的是,视线406表示沿着被投影到眼睛402上的注视方向的视场的中心。此外,中央凹404是眼睛402的视网膜中央部处的凹陷状区域。沿注视方向的视场的输入图像通过使用显示装置被投影到眼睛402上,该显示装置被示出包括至少一个背景显示器302、至少一个聚焦显示器304和至少一个光学组合器306,例如至少一个第一光学元件306a和至少一个第一致动器306b。在一个示例中,至少一个第一光学元件306a是半透明反射镜。至少一个第一致动器306b可操作成使得至少一个聚焦显示器304相对于至少一个光学组合器306的至少一个第一光学元件306a移动。至少一个聚焦显示器304使用至少一个第一光学元件306a和至少一个第一致动器306b将聚焦图像投影到中央凹404上。具体地,至少一个第一光学元件306a将来自至少一个聚焦显示器304的光线向中央凹404上反射。至少一个背景显示器302通过至少一个第一光学元件306a将背景图像基本上投影到眼睛402上。至少一个第一光学元件306a和至少一个第一致动器306b被布置成使背景图像的投影与聚焦图像的投影组合,从而使得聚焦图像的投影与背景图像的遮蔽区域408的投影基本重叠。如图所示,遮蔽区域408是至少一个背景显示器302的下述一部分,当该部分在背景图像被投影到中央凹404上时会变暗,以避免聚焦图像的投影和背景图像的投影之间的失真。参考图4b,与图4a相比,其示出了眼睛注视方向进行了侧向转移。沿注视方向(由视线406表示)的视场的图像通过使用显示装置被投影到眼睛402上,该显示装置被示出包括至少一个背景显示器302、至少一个聚焦显示器304和至少一个光学组合器306,诸如至少一个第一光学元件306a和至少一个致动器306b。如图所示,由于注视方向的转移,至少一个聚焦显示器304通过至少一个第一致动器306b而被相对于至少一个第一光学元件306a侧向移动,从而继续将聚焦图像投影到中央凹404上。因此,在至少一个背景显示器302上的遮蔽区域408也被移动以适应注视方向的转移。参考图5,示出了根据本公开的实施例所述显示装置300的至少一个背景显示器302和至少一个聚焦显示器304的示例性表示。具体地,至少一个背景显示器302是低分辨率显示器,而至少一个聚焦显示器304是高分辨率显示器。如图所示,至少一个背景显示器302的尺寸与至少一个聚焦显示器304的尺寸相比要较大。此外,在至少一个聚焦显示器304上呈现的聚焦图像基本上对应于输入图像的注视方向聚焦的视觉精度区域。参考图6a至图6i,示出了根据本公开的各个实施例所述显示装置300(如图3中所示)的示例性实现方式。本领域技术人员可以理解的是,清晰起见,图6a至图6i包括用于实施显示装置300的简化布置,而不应该不适当地限制本文权利要求的范围。本领域技术人员将认识到本公开的实施例的多种变化,替换和修改。参考图6a,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的示例性实施方法。显示装置被示出为包括至少一个背景显示器302,至少一个聚焦显示器304和具有至少一个第一光学元件306a的至少一个光学组合器。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。聚焦透镜602是放大透镜或缩小(或减小)透镜之一。参考图6b,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的示例性实施方式。显示装置被显示为包括至少一个背景显示器302,至少一个聚焦显示器304,以及具有至少一个第一光学元件306a和至少一个第一致动器306b的至少一个光学组合器。至少一个第一致动器306b使得至少一个聚焦显示器304相对于至少一个光学组合器的至少一个第一光学元件306a移动。显示装置的处理器(如图3中所示的处理器310)被配置为控制至少一个第一致动器306b以调整所呈现的聚焦图像在至少一个第一光学元件306a上的投影的位置。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图6c,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的另一示例性实施方式。显示装置被示出为包括至少一个背景显示器302,至少一个聚焦显示器304和至少一个光学组合器,所述至少一个光学组合器具有至少一个第一光学元件306a,至少一个第二光学元件306c(例如两个透镜604和606)以及至少一个第二致动器(未示出)。如图所示,至少一个第二光学元件306c,具体地,两个透镜604和606被布置在至少一个第一光学元件306a和至少一个聚焦显示器304之间的光路上。至少一个第二致动器(未示出)使得两个透镜604和606相对于至少一个第一光学元件306a移动。显示装置的处理器(如图3中所示的处理器310)被配置为控制至少一个第二致动器(未示出)以调整所呈现的聚焦图像在至少一个第一光学元件306a上的投影的位置。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图6d,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的另一示例性实施方式。显示装置被示出为包括至少一个背景显示器302,至少一个聚焦显示器304,以及至少一个光学组合器,所述至少一个光学组合器具有至少一个第一光学元件306a、至少一个第二光学元件306c(例如反射镜608)以及至少一个第二致动器(未输出)。如图所示,反射镜608位于至少一个第一光学元件306a和至少一个聚焦显示器304之间的光路上。至少一个第二致动器(未示出)使得反射镜608相对于至少一个第一光学元件306a倾斜。显示装置的处理器(如图3中所示的处理器310)被配置为控制至少一个第二致动器(未示出)以调整所呈现的聚焦图像在至少一个第一光学元件306a上的投影的位置。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图6e,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的另一种示例性实施方式。显示装置被示出为包括至少一个背景显示器302、至少一个聚焦显示器304以及至少一个光学组合器,所述光学组合器具有至少一个第一光学元件306a和用于使得至少一个第一光学元件沿至少一个轴线旋转的至少一个第三致动器(未示出)。显示装置的处理器(如图3中所示的处理器310)被配置为控制至少一个第三致动器(未示出)以调整所呈现的聚焦图像在至少一个第一光学元件306a上的投影的位置。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图6f,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的另一种示例性实施方式。显示装置被显示为包括至少一个背景显示器302,至少一个聚焦显示器304以及至少一个光学组合器,该光学组合器具有至少一个第一光学元件306a、位于至少一个第一光学元件306a和至少一个聚焦显示器304之间的聚焦透镜306d,以及用于使得至少一个聚焦透镜306d相对于至少一个聚焦显示器304移动的至少一个第四致动器306e。显示装置的处理器(如图3中所示的处理器310)被配置为控制至少一个第四致动器306e以调整所呈现的聚焦图像的投影的焦点。如图所示,其他的透镜610可选地位于在至少一个背景显示器302和至少一个第一光学元件306a之间的光路上。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图6g,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的另一种示例性实施方式。显示装置被示出为包括至少一个背景显示器302,与投影仪612相关联的诸如投影屏幕之类的至少一个聚焦显示器304以及具有至少一个第一光学元件306a的至少一个光学组合器。明显的是,投影仪612代替显示装置的处理器(例如图3中所示的处理器310)来生成聚焦图像。此外,棱镜614被布置在投影仪612和至少一个聚焦显示器304之间的光路上以在其上呈现聚焦图像。在一个示例中,使用致动器可以移动投影仪612和/或至少一个聚焦显示器304。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图6h,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的又一种示例性实施方式。显示装置被示出为包括至少一个背景显示器302,与投影仪612相关联的诸如投影屏幕之类的至少一个聚焦显示器304,以及具有至少一个第一光学元件306a的至少一个光学组合器。明显的是,使用投影仪612提点显示装置的处理器(例如图3中所示的处理器310)来生成聚焦图像。此外,可旋转的反射镜616被布置在投影仪612和至少一个聚焦显示器304之间的光路上以在其上呈现聚焦图像。在一个示例中,使用致动器可以移动投影仪612、可旋转反射镜616和/或至少一个聚焦显示器304。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图6i,示出了根据本公开实施例的显示装置(例如图3中所示的显示装置300)的又一种示例性实施方式。显示装置被示出为包括至少一个背景显示器302,至少一个聚焦显示器304和至少一个光学组合器,该光学组合器具有诸如光波导618的至少一个光学元件,该光学元件被布置成使得所呈现的背景图像的投影基本上能够穿过该光学元件,同时使得所呈现的聚焦图像的投影基本上能够被该光学元件所反射。如图所示,光波导中具有光学元件620,诸如微棱镜,反射镜,衍射光学元件等等。可替代地,光波导618可以被布置成使得所呈现的聚焦图像的投影基本上能够穿过该光波导,同时使得所呈现的背景图像的投影基本上能够被该光波导所反射。此外,显示装置包括位于背景图像和聚焦图像的投影的光路上的聚焦透镜602。参考图7,示出了根据本公开实施例通过所述显示装置300进行显示的方法700的步骤。步骤702中,在至少一个背景显示器上呈现背景图像,其中,所呈现的背景图像的投影的角宽度的范围介于40度到220度之间。步骤704中,在至少一个聚焦显示器上呈现聚焦图像,其中,所呈现的聚焦图像的投影的角宽度的范围为介于5度到60度之间;步骤706中,使用至少一个光学组合器来将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合来创建视觉场景。步骤702到步骤706仅是说明性的,并且在不脱离本文权利要求的范围的情况下,还可以提供在其中添加一个或多个步骤,去除一个或多个步骤,或者以不同顺序提供一个或多个步骤的其他替代方案。例如,显示装置还可以包括用于检测注视方向的装置,并且其中方法700还可以包括检测注视方向,并且使用所检测到的注视方向来确定输入图像的视觉精度区域,对输入图像进行处理以生成背景图像和聚焦图像,背景图像具有第一分辨率而聚焦图像具有第二分辨率,第二分辨率比第一分辨率高,其中,处理过程包括遮蔽背景图像中的与输入图像的视觉精度区域基本上对应的区域并且生成与输入图像的视觉精度区域基本上对应的聚焦图像,以及控制至少一个光学组合器以将所呈现的聚焦图像的投影和所呈现的背景图像的遮蔽区域的投影组合,从而使得所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影基本重叠。在一个示例中,方法700还可以包括将至少一个光学组合器的至少一个第一光学元件布置成用于执行:使得所呈现的背景图像的投影基本上能够穿过所述至少一个第一光学元件,同时使得所呈现的聚焦图像的投影基本上能够被所述至少一个第一光学元件所反射;或者使得所呈现的聚焦图像的投影基本上能够穿过所述至少一个第一光学元件,同时使得所呈现的背景图像的投影基本上能够被所述至少一个第一光学元件所反射。另一个示例中,方法700还可以包括调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置。例如,在方法700中,该调整可以通过下述方式来执行:控制至少一个光学组合器的至少一个第一致动器来使得至少一个聚焦显示器相对于至少一个光学组合器的至少一个第一光学元件移动。在又一个示例中,在方法700中,该调整还可以通过下述方式来执行:控制至少一个光学组合器的至少一个第二致动器使得至少一个光学组合器的至少一个第二光学元件相对于至少一个第一光学元件移动,其中,至少一个第二光学元件位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上。例如,在方法700中,该调整可以通过下述方式执行:控制至少一个光学组合器的至少一个第三致动器来移动至少一个第一光学元件。可选地,该方法700还可以包括控制显示装置的至少一个第四致动器来使得显示装置的至少一个聚焦透镜相对于至少一个聚焦显示器移动,从而调整所呈现的聚焦图像的投影的焦点,其中,至少一个聚焦透镜位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上。在不脱离如所附的权利要求限定的本公开的范围的情况下,可以修改前述的本公开的实施例。使用诸如“包括”,“包含”,“组合”,“具有”,“是”等的表述来描述和要求保护本公开的目的是以非排他性方式来理解,即允许存在一些即使没有被明确描述的项、组件或元件。对单数的提及也被解释为涉及复数。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1