经由透视显示器来显示阴影的制作方法

经由透视显示器来显示阴影的制作方法
【专利摘要】公开了涉及对由透视显示器上显示的对象图像投影在真实世界背景上的阴影的图像进行呈现的各种实施例。例如，所公开的一个实施例提供了一种操作具有透视显示屏的显示设备的方法。该方法包括：在透视显示屏上显示对象的图像，以及在显示该对象的图像的同时，通过以下来显示由该对象投影在背景场景上的阴影的图像：获取背景场景的图像，确定该阴影在该背景场景的图像中的位置，通过与该阴影内的亮度相比增加与该阴影相邻的区域内的相对亮度来渲染背景场景的经增强图像，以及显示该背景场景的经增强图像。
【专利说明】经由透视显示器来显示阴影
[0001]背景
[0002]各种技术可允许用户体验真实世界和虚拟世界的混合。例如，某些显示设备(诸如，各种头戴式显示设备)可包括透视显示器，该透视显示器允许将显示图像叠加在真实世界背景上。通过这种方式，图像可被显示成使得它们表现为与真实世界背景中的元素混
口 ο
[0003]概述
[0004]公开了涉及对由透视显示系统上显示的虚拟图像投影在真实世界背景上的阴影的图像进行呈现的各种实施例。例如，所公开的一个实施例提供了一种操作具有透视显示屏的显示设备的方法。该方法包括在透视显示屏上显示对象的图像，并在显示该对象的图像的同时，显示由该对象投影在背景场景上的阴影的图像。通过以下方式显示该阴影的图像:获取背景场景的图像，确定该阴影在该背景场景的图像中的位置，通过与该阴影内的亮度相比增加与该阴影相邻的区域内的相对亮度来渲染该背景场景的经增强图像，以及显示该背景场景的经增强图像。
[0005]提供本概述是为了以简化的形式介绍将在以下【具体实施方式】中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
[0006]附图简述
[0007]图1示出了用户在示例使用环境中佩戴着透视显示系统的实施例。
[0008]图2示出了图1的用户在图1的使用环境中查看对象以及由该对象投影在背景场景中的阴影的图像的实施例的视角。
[0009]图3示出了描绘操作透视显示系统的方法的一实施例的流程图。
[0010]图4示出了透视显示系统的实施例的框图。
[0011]图5示出了图1的实施例的透视图。
[0012]详细描述
[0013]如上所提及的，透视显示设备可允许将显示图像呈现在真实世界背景上，使得这些显示图像中的对象可表现为与真实世界背景混合。然而，此类图像呈现的各个方面可使得显示的对象看上去较不逼真。例如，由真实世界对象投影的阴影可能明显地不在显示设备上所显示的对象上。
[0014]生成虚拟对象在真实世界背景上的阴影的图像可造成各种挑战。例如，在经由投影或经由嵌入式发射显示技术(例如，透明有机发光设备)在透视显示屏上形成图像的情况下，这些显示图像向如用户查看到的场景添加了附加的光。相反，阴影是通过从场景中减去光来创建的。由于此类技术不允许从真实世界背景场景中减去光，因此显示由虚拟对象投影在真实世界背景上的阴影可造成困难。
[0015]因此，所公开的实施例涉及在透视显示设备中通过减少如用户所查看到的背景场景的非阴影区域的相对亮度来在背景场景上形成阴影。简言之，获取背景场景的参考图像，潜在地在全局上降低该参考图像的亮度，并随后以使得形成背景场景的经增强图像的方式重新渲染该参考图像，在该经增强图像中，背景图像的非阴影图像区域比阴影区域具有更大的相对亮度。随后，在真实世界背景上向用户显示背景场景的经增强图像，以及阴影的图像表现为源自的虚拟对象的图像。将背景场景的经增强图像显示在真实世界背景上有效地向如查看者所感知的真实世界背景场景的期望非阴影部分添加了光。这可创建由被显示的虚拟对象投影在背景场景中的真实世界对象上的阴影的图像的效果。
[0016]在某些实施例中，背景场景的经增强图像的非阴影区域与该背景场景的经增强图像的阴影区域相比在亮度方面的增加可能是全局范围的，使得所有非阴影区域与阴影区域相比相对增加了。在其他实施例中，亮度方面的增加可能对于与每一阴影相邻的区域是局部的。此外，在某些实施例中，为了减轻背景场景的经增强图像的经添加光的效果，透视显示屏可包括用于减少通过该透视屏的背景光量的光学器件(诸如，中性密度滤波器)。
[0017]图1解说了针对头戴式显示系统形式的透视显示设备100的实施例的使用环境。正佩戴着透视显示设备100的用户102位于房间内，并被示为面向墙壁104。出于清楚的目的，在用户视野内的房间的地板106或墙壁104上没有示出物理对象。然而，将理解，这些透视显示设备100可在实际上任何(室内或室外)环境中使用。
[0018]从用户102的视角示出的图2解说了在透视显示设备100上显示的巫师形式的对象200的图像，使得对象200表现为位于图1的空白查看环境中。此外，由对象200投影的阴影202的图像被示为好像投影在真实世界背景上。在所描绘的实施例中，该阴影以与真实阴影相同的方式跟随地板106和墙壁104的轮廓。然而，其他实施例可以按其他方式来解决随背景表面轮廓的变化而改变。将理解，该阴影可具有任何合适的尺寸、形状、强度和方向，这取决于用于计算该阴影的外观的虚拟光源的类型和位置。
[0019]如上所提及的，阴影202的图像可以通过以下方式来生成:将背景场景的图像重新渲染在实际的背景场景上，使得该背景场景的图像的非阴影区域的相对亮度与阴影区域相比增加了。图3示出了描绘按此类方式显示阴影图像的方法300的示例实施例的流程图。
[0020]方法300包括在302在透视显示屏上显示对象的图像，以及在304，获取在透视显示设备的用户的视野内的背景场景的参考图像。可以按各种方式处理背景场景的参考图像以形成背景场景的经增强图像。例如，在305，方法300包括确定由被显示对象生成的阴影在背景场景中的位置。可以按任何合适的方式(包括但不限于经由在计算机图形中使用的常规实时阴影生成技术)来确定该阴影的位置。将理解，该阴影的位置和外观可取决于确定阴影位置时所施加的一个或多个虚拟光源的类型(例如，平行光线、散射光等)和位置(例如，在头顶上、倾斜的等)以及所采用的特定阴影生成方法。
[0021]如以上所提及的，阴影在背景图像中的位置可取决于使用环境的结构。例如，阴影可取决于使用环境中阴影将被投影到的各表面的形状和定向而改变方向和/或形状。因此，在某些实施例中，可执行图像处理以确定可影响阴影的外观的表面轮廓变化，并且随后在确定阴影位置时可计及此类轮廓变化。
[0022]在确定了阴影位置后，方法300包括在308通过与阴影区域内的亮度相比增加在与阴影区域相邻的非阴影区域内的背景场景的相对亮度来渲染背景场景的经增强图像。这可涉及各种过程。例如，在一些实施例中，整个背景场景的图像可能首先被调暗以形成基础图像，并且随后期望的非阴影区域可相对于阴影区域被选择性地调亮。另选地和/或另外地，期望的阴影区域可相对于非阴影区域被选择性地调暗。将理解，在合适的情况下(诸如，在低光使用环境中)可省略此类对背景场景的原始图像的预先调暗。此外，将理解背景场景的原始图像被调暗的量可以是固定的或可变的，并且可基于诸如被中性密度滤波器移除的背景光的量、背景光在实际或期望使用环境中的强度等因素来选择或改变背景场景的原始图像被调暗的量。
[0023]在某些实施例中，如310处所指示的，图像的非阴影区域的相对亮度可以被全局地调亮，使得该背景场景的经增强图像中的所有非阴影区域的相对亮度相对于所有阴影区域而言被增加了。在其他实施例中，如312处所指示的，非阴影区域的相对亮度可被局部地增加。在此类实施例中，相对亮度差可具有位于阴影/非阴影边界处或该边界附近的最大值，并且根据距该阴影区域的距离而从该最大值减少。由于人类视觉系统对渐进光亮变化的较低的敏感性，因此对足够渐进的亮度梯度的使用(作为非限制性示例，大于20度的视角)可有助于使得在阴影周围的亮点较不明显。将理解，由于人类眼睛对超过狭窄范围的亮度变化的敏感性，此类亮度梯度在它们跨越背景图像中例如不同色彩、纹理等之间的边缘的情况下可能更明显。因此，如314处所指示的，与阴影区域相邻的非阴影区域的相对亮度的增加可能在背景图像中的锐梯度(例如，超过预先选择的阈值梯度的梯度)处终止。
[0024]在非阴影区域的相对亮度被全局地增加的情况下，将背景场景的经增强图像添加在真实世界背景上在一些情形中可导致明显的调亮。为了避免不想要的调亮，前面提到的中性密度滤波器和/或其他合适的光学器件可用于通过阻止某些背景光来减少到达用户的眼睛的图像的总亮度。在其中相对亮度被局部地增加的实施例中，可省略中性密度滤波器，因为被调亮的区域可能不会明显地影响如用户所查看到的图像的总亮度。
[0025]非阴影区域的亮度与阴影区域的亮度相比可能被增加任何合适的相对量。将注意，真实世界阴影一般不是全黑的，而相反可由于反射光和其他环境光源而在强度方面具有与相邻的非阴影区域相比相对较小的减少。因此，在一些实施例中，阴影区域和非阴影区域之间的相对亮度差可能相对细微。亮度方面的合适差异的示例包括但不限于2-3档(stop)的差异。
[0026]环境背景光可取决于查看环境中的环境光源而具有不同的色彩分布。例如，内部环境光可具有有与内部环境中使用的光源的峰值波长相对应的峰值的频谱。同样，不同的外部位置可由于环境差异而具有不同的环境光色彩分布。例如，在阳光充足的日子中干旱环境中的环境光可由于反射光在这样的环境中的波长分布而与阳光相比具有更强的蓝色分量。
[0027]因此，为了帮助使得相对亮度强度的增加表现得更为自然，方法300可包括在316执行色彩分析以确定环境光内(例如，强度比照波长)的色彩分布，并基于该色彩强度分布来增加相对亮度。例如，如果色彩分析表明环境光具有相对均匀的色彩强度分布，则非阴影区域可通过向非阴影区域添加白光而在强度方面得到增加。同样，如果色彩分析表明环境光具有主要为蓝色的分布，则类似地可向背景场景的经增强图像的非阴影区域添加蓝色光。
[0028]继续图3，在形成背景场景的反射图像之后，方法300包括在318显示背景场景的经增强图像以及对象在透视显示器上的图像。通过这种方式，在背景场景的经增强图像中的阴影可表现为由被显示图像投影到真实世界背景上。这可有助于为该对象提供深度视角，从而可有助于传达被显示图像实际上存在于使用环境中的感觉。
[0029]取决于透视显示设备的处理速度以及用户正在该环境中改变视角的速度，用户的视角可改变得足够快，以致背景场景的经增强图像不足以与当前感知到的背景对准。因此，在某些实施例中，透视显示设备可被配置成跟踪用户的运动，并且作为响应，校正背景场景的经增强图像和当前感知到的真实世界背景之间的任何未对准。这样的校正可例如通过以下来执行:在获取原始图像和显示背景场景的经增强图像之间的时段期间，基于所跟踪的用户运动，使背景场景的经增强图像在位置上偏移。这样的跟踪可以按任何合适的方式(包括但不限于经由设置在透视显示设备上的运动传感器)来执行。
[0030]上述在透视显示器上显示阴影的方法的实施例可以与任何合适的透视显示设备(包括但不限于图1的头戴式显示系统)一起使用。图4示出了透视显示设备100的一实施例的框图，且图5示出了透视显示设备100的示例物理实施例。头戴式显示设备100可以包括各种传感器和输出设备。例如，透视显示设备100可包括具有图像产生系统402的透视显示子系统400，该图像产生系统402被配置成产生图像并在例如透镜形式的透视显示屏403上显示这些图像。图像产生系统402可被配置成将图像投影在透视显示屏403上，经由合并在该透视显示屏403(例如，透明的OLED显示器)中的图像产生元件或按任何其他合适的方式来显示图像。透视显示屏403可包括用于减少到达查看者的背景光量的中性密度滤波器404和/或其他光学器件。可经由一个或多个扬声器405在透视显示设备100上呈现音频。
[0031]透视显示设备100可以进一步包括一个或多个图像传感器406。图像传感器406可包括一个或多个朝外的图像传感器，这些图像传感器被配置成获取背景场景的图像以供处理成背景场景的经增强图像。同样，图像传感器406可包括眼睛跟踪图像传感器，该眼睛跟踪图像传感器被配置成获取图像数据以允许出于各种目的(诸如，确定将对象定位在显示图像中的何处，检测经由眼睛姿势作出的用户输入等)而跟踪查看者的眼球。透视显示设备100可进一步包括一个或多个话筒407以允许将语音命令用作用户输入。
[0032]透视显示设备100可进一步包括用于在查看者佩戴着透视显示设备100时检测查看者的头部移动的一个或多个运动传感器408。这可允许例如使背景场景的经增强图像与当前背景视图对准。同样，运动传感器408还可以被用作用户输入设备，使得用户可以经由颈部和头部或者甚至身体的姿势来与透视显示设备100交互。运动传感器408可被配置成检测任何合适的用户头部的移动，包括平移和/或倾斜移动。将理解，图4中解说的传感器是出于示例的目的而示出的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
[0033]头戴式显示系统110可以具有任意合适的物理形式。例如，在一些实施例中，头戴式显示系统110可采用如图5所示的一副眼镜的形式，其中这些透镜可能是清晰的，或者经由中性密度滤波器或其他合适的光学器件被调暗。在图5中，朝外的图像传感器406被示为位于该眼镜的框架上的顶部中央的位置处，但将理解，图像传感器406可具有任何其他合适的位置。此外，将理解，在其它实施例中，头戴式显示系统110可采用在其中透视显示系统支撑在查看者的一个或两个眼睛前面的任何其它合适的形式(诸如，头盔、护目镜等)。
[0034]返回图4，透视显示设备100还包括与透视显示设备100的各种其他组件通信的控制器410，该控制器410具有逻辑子系统412和数据保持子系统414。数据保持子系统414包括存储在其上的指令，这些指令被逻辑子系统412执行例如来显示对象图像以及由这些对象形成在透视显示屏403上的阴影，如以上所描述的。
[0035]将理解，控制器410以简化形式示出。还应当理解，透视显示设备100可使用任何适当的计算机架构而不背离本公开的范围。
[0036]逻辑子系统412可包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统412可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结
果O
[0037]逻辑子系统412可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统412可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统412的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统412可以任选地包括遍布两个或多个设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。逻辑子系统412的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
[0038]数据保持子系统414可包括一个或多个物理、非瞬时设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现此类方法和过程时，可变换数据保存子系统414的状态(例如，保存不同数据)。
[0039]数据保持子系统414可以包括可移动介质和/或内置设备。数据保持子系统414可以包括具有以下特性中的一个或更多个特性的存储器和/或设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在一些实施例中，可以将逻辑子系统412和数据保持子系统414集成到一个或更多个公共设备中，如专用集成电路或片上系统。
[0040]数据保持子系统还可以包括可移动计算机可读存储介质416，该介质可用于存储和/或传送可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质416可表示任何合适类型的存储介质，包括但不限于DVD、CD、HD-DVD、蓝光盘、EEPR0M、磁带驱动器、和/或软盘等。
[0041 ] 控制器410可进一步包括通信子系统418，该通信子系统418被配置成使透视显示设备100与一个或多个其他计算设备通信地耦合。通信子系统418可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统418可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统418可允许透视显示设备100经由网络(诸如因特网)向其他设备发射数据(诸如，视频数据、游戏数据、图像数据等)和/或从其他设备接收该数据。
[0042]可以明白，数据保持子系统414包括一个或多个物理非瞬态设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
[0043]应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。
[0044]本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效方案的所有新颖和非显而易见的组合和子组合。
【权利要求】
1.一种操作具有透视显示屏的显示设备的方法，所述方法包括: 在所述透视显示屏上显示对象的图像；以及 在显示所述对象的图像的同时，通过以下来显示由所述对象投影在背景场景上的阴影的图像: 获取背景场景的图像， 确定所述阴影在所述背景场景的图像中的位置， 通过与所述阴影内的亮度相比增加与所述阴影相邻的区域内的相对亮度来渲染所述背景场景的经增强图像 ，以及 显示所述背景场景的经增强图像。
2.如权利要求1所述的方法，其特征在于，进一步包括经由中性密度滤波器来减少通过所述透视显示屏的自然光量。
3.如权利要求1所述的方法，其特征在于，渲染所述背景场景的经增强图像包括不增加所述阴影内的亮度。
4.如权利要求1所述的方法，其特征在于，渲染所述背景场景的经增强图像包括全局地调暗所述背景场景的图像。
5.如权利要求1所述的方法，其特征在于，增加与所述阴影相邻的区域内的相对亮度包括全局地增加非阴影区域的相对亮度。
6.如权利要求1所述的方法，其特征在于，增加与所述阴影相邻的区域内的相对亮度包括局部地增加所述相对亮度，使得相对亮度差根据距所述阴影的距离而减少。
7.如权利要求6所述的方法，其特征在于，还包括检测所述背景场景的图像中超过预先选择的阈值梯度的边缘，并在所述边缘处终止所述相对亮度方面的增加。
8.如权利要求1所述的方法，其特征在于，还包括确定环境光的色彩分布，并通过以下来增加所述相对亮度:基于所述环境光的所述色彩分布来增加所述相对亮度。
9.如权利要求1所述的方法，其特征在于，显示所述对象的图像以及所述对象的阴影的图像包括在头戴式显示系统上显示所述对象的图像以及所述对象的所述阴影的图像。
10.一种头戴式显示系统，包括: 透视显示屏； 图像产生系统，所述图像产生系统被配置成在所述透视显示屏上显示图像； 图像传感器，所述图像传感器被配置成获取背景场景的图像； 逻辑子系统；以及 数据保持子系统，所述数据保持子系统包含可由逻辑子系统执行的指令以: 在所述透视显示屏上显示对象的图像；以及 在显示所述对象的图像的同时，通过以下来显示由所述对象投影在所述背景场景上的阴影的图像: 获取所述背景场景的图像， 确定所述阴影在所述背景场景的图像中的位置， 渲染所述背景场景的经增强图像，其中与所述阴影相邻的区域内的相对亮度与所述阴影内的亮度相比被增加了，以及 在所述透视显示屏上显示所述背景场景的经增强图像。
11.如权利要求10所述的头戴式显示系统，其特征在于，所述透视显示屏进一步包括中性密度滤波器。
12.如权利要求10所述的头戴式显示系统，其特征在于，所述指令可执行以通过增加与所述阴影相邻的区域内的亮度而不增加所述阴影内的亮度来渲染所述背景场景的经增强图像。
13.如权利要求10所述的头戴式显示系统，其特征在于，所述指令可执行以通过全局地增加非阴影区域的亮度来增加与所述阴影相邻的区域内的相对亮度。
14.如权利要求10所述的头戴式显示系统，其特征在于，所述指令可执行以通过以下来增加与所述阴影相邻的区域内的相对亮度:局部地增加该亮度，使得相对亮度差根据距所述阴影的距离而减少。
15.如权利要求14所述的头戴式显示系统，其特征在于，所述指令可执行以检测所述背景场景的图像中超过预先选择的阈值梯度的边缘，并在所述边缘处终止所述相对亮度方面的增加。
16.如权利要求10所述的头戴式显示系统，其特征在于，所述指令还可执行以确定环境光的色彩分布，并通过以下来增加所述相对亮度:基于所述环境光的所述色彩分布来增加该亮度。
17.在包括透视显示屏和中性密度滤波器的头戴式显示系统上，一种在背景场景上显示对象的图像和所述对象的阴影的图像的方法，所述方法包括: 在所述透视显示屏上显示对象的图像； 经由所述中性密度滤波器来减少通过所述透视显示屏的环境光量；以及 在显示所述对象的图像的同时，通过以下来显示由所述对象投影在所述背景场景上的阴影的图像: 获取背景场景的图像， 确定所述阴影在所述背景场景的图像中的位置， 通过与所述阴影内的亮度相比增加该图像的非阴影区域的相对亮度来渲染所述背景场景的经增强图像，以及 在所述透视显示屏上显示所述背景场景的经增强图像。
18.如权利要求17所述的方法，其特征在于，渲染所述背景场景的经增强图像包括不增加所述阴影内的亮度。
19.如权利要求17所述的方法，其特征在于，渲染所述背景场景的经增强图像包括在调亮与所述阴影相邻的区域之前，全局地调暗所述背景场景的图像。
20.如权利要求17所述的方法，其特征在于，进一步包括确定环境光的色彩分布，并通过以下来增加所述相对亮度:基于所述环境光的所述色彩分布来增加该亮度。
【文档编号】G02B27/01GK103988234SQ201280061125
【公开日】2014年8月13日 申请日期:2012年12月12日 优先权日:2011年12月12日
【发明者】M·兰姆 申请人:微软公司