用于多调制显示中的局部调光的系统和方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年11月3日提交的美国临时专利申请No. 61 /899，280的美国临时 专利申请的优先权，该申请的全部内容通过引用并入。
技术领域
[0003] 本发明涉及多调制显示系统，并且尤其涉及用于在多调制显示系统上渲染图像和 视频数据的系统和方法。
【背景技术】
[0004] 投影仪系统目前正在光高效使用和动态范围加以改进的情况下被构造。双和多调 制器投影仪显示系统在本领域中是已知的。然而，在这样的显示系统的渲染和性能两者上， 仍可能由于这样的显示系统中的光处理的改进的模型化而实现额外的改进。
【发明内容】
[0005] 公开了双和多调制器投影仪显示系统和技术。在一个实施例中，投影仪显示系统 包括:光源;控制器;第一调制器，所述第一调制器接收来自所述光源的光并且渲染输入图 像的半色调图像;模糊化光学系统，所述模糊化光学系统通过点扩散函数(PSF)使所述半色 调图像模糊化;和第二调制器，所述第二调制器接收经模糊化的半色调图像并且渲染脉宽 调制图像，所述脉宽调制图像可被投影以形成期望的屏幕图像。还公开了如下的系统和技 术，这些系统和技术用于从输入图像形成二值半色调图像，校正第一调制器和第二调制器 之间的未对齐，并且例如随着时间的过去对投影仪系统进行校准以连续地改进图像。
[0006] 在一个实施例中，一种投影仪显示系统包括:激光光源;控制器，所述控制器接收 输入图像数据并且输出控制信号;第一调制器，所述第一调制器接收来自所述光源的光，所 述第一调制器接收来自所述控制器的所述控制信号，使得所述第一调制器能够渲染所述输 入图像的半色调图像;模糊化光学系统，所述模糊化光学系统使从所述第一调制器接收的 所述半色调图像模糊化;和第二调制器，所述第二调制器接收来自所述模糊化光学系统的 所述经模糊化的半色调图像并且接收来自所述控制器的所述控制信号，使得所述第二调制 器能够渲染脉宽调制图像，所述脉宽调制图像能够被投影以形成期望的屏幕图像。
[0007] 在另一实施例中，一种用于在投影仪显示系统中从输入图像数据投影期望的屏幕 图像的方法，所述投影仪显示系统包括:光源;控制器，所述控制器接收输入图像数据并且 输出控制信号;预调制(premod)调制器，所述预调制调制器接收来自所述控制器的控制信 号以及来自所述光源的光;模糊化光学系统，所述模糊化光学系统接收来自所述预调制调 制器的光；以及主调制器，所述主调制器接收来自所述控制器的控制信号以及来自所述模 糊化光学系统的光，所述方法包括:从所述输入图像数据创建二值半色调图像;从所述二值 半色调图像创建经模糊化的二值半色调图像;从所述经模糊化的二值半色调图像创建脉宽 调制图像;和从所述脉宽调制图像投影期望的屏幕图像。
[0008] 在又一实施例中，一种用于对投影仪显示系统进行校准的方法，所述投影仪显示 系统包括:光源;控制器，所述控制器接收输入图像数据并且输出控制信号;预调制调制器， 所述预调制调制器接收来自所述控制器的控制信号以及来自所述光源的光;模糊化光学系 统，所述模糊化光学系统接收来自所述预调制调制器的光；以及主调制器，所述主调制器接 收来自所述控制器的控制信号以及来自所述模糊化光学系统的光，所述方法包括:接收输 入图像数据;计算半色调图像;应用光场模型，所述光场模型基于所述模糊化光学系统的 PSF模型；计算用于所述主调制器的主图像;从所述主调制器显示屏幕图像；用图像捕捉装 置捕捉所述屏幕图像;使所述捕捉的屏幕图像配准预调制栅格;将所述配准的捕捉的屏幕 图像与所述输入图像数据进行比较;如果差异大于期望量，则计算对所述PSF模型的校正； 和应用改进的PSF模型来进行进一步校准。
[0009] 下面在结合本申请内呈现的附图阅读时，在【具体实施方式】中呈现了本系统的其他 特征和优点。
【附图说明】
[0010] 示例性实施例在附图的参考图中被例示说明。意图是本文公开的实施例和附图被 认为是例示性的，而非限制性的。
[0011]图1描绘了本申请的系统、方法和技术可以驻留在其中的多调制显示系统和环境 的一个实施例。
[0012] 图2描绘了可以由图1中给出的双、多调制器显示系统实现的光学处理/图像处理 的高级示图的一个实施例。
[0013] 图3A描绘了用于生成合适的二值半色调图像的方法的一个实施例。
[0014] 图3B、3C和3D描绘了用于生成合适的半色调图像的方法的另一实施例。
[0015] 图4描绘了用于产生脉宽DMD补偿图像的技术的一个实施例。
[0016] 图5是使用预调制到主调制映射、光场模型以及主调制到预调制映射来生成主调 制配准光场的流程图的一个实施例。
[0017] 图6描绘了可以被捕捉、被模型化并且被使用以计算有色（例如，红色、绿色或蓝 色)光场的PSF的阵列。
[0018] 图7A至7F描绘了输入图像通过本申请的各种处理模块的示例性渲染。
[0019]图8和9描绘了图像渲染处理以及用于系统的可能连续校正/改进的精化 (ref inement)处理的一个实施例。
[0020]图10描绘示例性点扩散函数(PSF)分布。
[0021 ]图11A-D描绘了可以被本申请的实施例处理的一个示例性图像。
[0022]图12A和12B描绘了基于示例性输入图像数据的图像处理的两个图表。
【具体实施方式】
[0023]如本文所用的，术语"控制器"、"系统"、"接口"等意图指代计算机相关实体，其为 硬件、软件（例如，在执行中）和/或固件。例如，控制器可以是在处理器上运行的过程、处理 器、对象、可执行指令、程序和/或计算机。控制器可以包括处理器和系统存储器，该存储器 可以包括处理器可读指令，该处理器可读指令当被处理器读取时可以实现本文公开的一种 或多种方法和/或技术。一个或多个控制器可以驻留在过程内，并且控制器可以本地化在一 个计算机/处理器上，和/或分布在两个或更多个计算机/处理器之间。控制器也可以意图指 代通信相关实体，其为硬件、软件(例如，在执行中）和/或固件，并且还可以包括足以实现通 信的有线或无线硬件。
[0024] 在以下整个描述中，阐述了特定细节以便为本领域技术人员提供更透彻的理解。 然而，公知的元件可能未被详细示出或描述以避免不必要地使本公开模糊。因此，描述和附 图要从例示性的、而非限制性的意义上来看待。
[0025] 引言
[0026] 在投影仪和其他显示系统的领域中，希望的是提高图像渲染性能和系统效率两 者。本申请的几个实施例描述了通过对于双调制或多调制显示系统利用光场模型化来实现 这些提高的系统、方法和技术。在一个实施例中，为了得到有利的效果，开发和使用光源模 型。可以对已知输入图像的显示图像的相机图片进行评估以改进光模型。在一些实施例中， 迭代处理可以累积改进。在一些实施例中，这些技术可以在运动图像上被使用以进行即时 调整来提高图像渲染性能。
[0027] 在包括以下专利和专利申请的共同拥有的专利和专利申请中已经描述了双调制 投影仪和显示系统：
[0028] (l)Ward等人的编号为8,125,702的美国专利，其于2012年2月28日发布，标题为 "SERIAL MODULATION DISPLAY HAVING BINARY LIGHT MODULATION STAGE"；
[0029] (2)Whitehead等人的美国专利申请20130148037,其于2013年6月13日公布，标题 为"PROJECTION DISPLAYS"；
[0030] (3)Wallener的美国专利申请20110227900,其于2011年9月22日公布，标题为 "CUSTOM PSFs USING CLUSTERED LIGHT SOURCES"；
[0031] (4)Shields等人的美国专利申请20130106923,其于2013年5月2日公布，标题为 "SYSTEMS AND METHODS FOR ACCURATELY REPRESENTING HIGH ⑶NTRAST MAGERY 0N HIGH DYNAMIC RANGE DISPLAY SYSTEMS"；
[0032] (5)Erinjippurath等人的美国专利申请20110279749,其于2011年11月17日公布， 标题为 "HIGH DYNAMIC RANGE DISPLAYS USING FILTERLESS LCD(S)F0R INCREASING CONTRAST AND RESOLUTION"；以及
[0033] (6 )Kwong的美国专利申请20120133689,其于2012年5月31日公布，标题为 "REFLECTORS WITH SPATIALLY VARYING REFLECTANCE/ABS0RPTI0N GRADIENTS FOR COLOR AND LUMINANCE COMPENSATION，，。
[0034] 一一所有这些专利和专利申请的全部内容都通过引用并入。
[0035] 示例性物理架构
[0036] -般地，具有单个数字微镜器件(DMD)的投影仪可能趋向于具有有限的对比率。为 了获得更大的对比率，可以将两个或更多个DMD和/或其他反射器(例如，MEMS)串联布置。由 于DMD可以作为时分或脉宽调制器操作，因此，操作串联的两个或更多个DMD和/或反射器一 均用作脉冲宽度调制器一往往需要时分排序的精确时分对齐和像素与像素对应。这样的对 齐和对应要求在实践中可能是困难的。因此，在本申请的许多实施例中，投影仪和/或显示 系统可以利用不同的双调制方案来实现期望的性能。
[0037] 如将在示例性投影仪显示系统的上下文更详细地讨论的，第一DMD/反射器一一被 称为"预调制器"或"预调制调制器"一一可以通过可被保持期望的时间段(例如，帧或者其 一部分）的半色调图像来对光源进行空间调制。该半色调图像可以被模糊化以创建可以应 用于第二DMD/反射器的带宽在空间上减小的光场。第二DMD/反射器一一被称为主调制 器一一可以对经模糊化的光场进行脉宽调制。该布置可以趋向于避免以上提及的两个要 求一一例如，精确的时分对齐和/或像素与像素对应。在一些实施例中，所述两个或更多个 DMD/反射器可以在时间上帧对齐，并且大致上在空间上帧对齐。在一些实施例中，来自预调 制DMD/反射器的经模糊化的光场可以基本上与主