具有针对白点的调整的图像投影和捕获的制作方法

共享数字信息和基于该数字信息的协作正变得越来越普遍。输入设备捕获数字信息(例如，在计算设备、数字照相机、扫描设备等上的用户输入)。输出设备输出针对用户或用户的组消费的数字信息。输出设备可以包括数字显示器或数字投影仪，其将数字信息显示在显示屏上或工作空间中。

附图说明

图1A和图1B是示出投影捕获系统的一个示例的透视外部视图的图。

图2是示出投影捕获系统的一个示例的透视内部视图的图。

图3是示出根据一个示例的图2中所示的投影捕获系统的框图。

图4是示出根据一个示例的用于生成预定白点的模拟退火方法的流程图。

图5是示出根据一个示例的用于捕获和投影图像的方法的流程图。

具体实施方式

在下面的详细描述中，参考形成其一部分的附图，并且其中通过说明的方式示出了可以实践本公开的具体示例。应当理解，在不脱离本公开的范围的情况下，可以利用其他示例并且可以进行结构或逻辑改变。因此，下面的详细描述不应在限制意义上理解，并且本公开的范围由所附权利要求书限定。应当理解，除非另有特别说明，否则本文描述的各种示例的特征可以彼此部分或整体地组合。

一个示例涉及投影捕获系统，其改进了与在物理工作表面上的投影的对象和真实对象一起工作的交互式用户体验。例如，该系统在部署在普通工作表面上的独立便携式设备中实施。数字照照相机、投影仪和控制编程一起容纳在桌面单元中，该桌面单元使能投影增强的虚拟现实，其中可以在多个远程用户之间同时操纵和共享真实和投影的/虚拟的对象。这样的便携式设备可以在任何时间部署在几乎任何地方，以用于跨相对便宜的平台的交互式协作，该平台不仅适用于较大的企业商业环境，而且适用于小型企业以及甚至个人消费者。

图1A和图1B是示出投影捕获系统10以及与系统10相关联的交互式工作空间12的一个示例的透视外部视图的图。图2是示出移除了外部壳体13的投影捕获系统10的一个示例的透视图的图。图3是根据一个示例的图2中所示的系统10的框图。参考图1A、图1B、图2和图3，投影捕获系统10包括数字照相机14、投影仪16和控制器18。照相机14和投影仪16可操作地连接到控制器18，用于照相机14捕获工作空间12中的对象20的图像，以及用于投影仪16将对象图像22投影到工作空间12中，并且在一些示例中，用于照相机14捕获投影对象图像22的图像。壳体13的下部包括投影仪16(和红外照相机30)上的透明窗21。

在图1A所示的示例中，照相机14(图2)已经拍摄了放置在工作空间12中的工作表面24上的二维对象20(例如，硬拷贝照片)。然后，将对象20移除到工作空间12的侧面，并且已经将对象图像22投影到工作表面24上，其中，照相机14可以拍摄它和/或否则用户可以操纵它并将其重新投影到工作空间12中。在图1B中所示的示例中，照相机14已经拍摄了放置在工作表面24上的三维对象20(例如，立方体)。然后，已经将对象20移除到工作空间12的侧面，并且已经将对象图像22投影到工作空间12中，其中，照相机14可以拍摄它和/或否则用户可以操纵它并将其重新投影到工作空间12中。

在系统10的一个示例实施中，对控制器18进行编程，并且投影仪16要将对象图像22投影到工作空间12中与当对象20的图像由照相机14捕获时对象20的位置相同的位置。因此，可以将对象20的一比一(one-to-one)比例的数字副本22投影在原件上，从而允许本地用户或者在相同的投影工作空间12中协作的多个远程用户根据需要操纵、移动以及否则改变在其位置的数字副本。投影图像也可以从原件移开，从而允许用户在相同的工作空间12中对原件和副本一起进行工作。

系统10还包括允许用户与系统10交互的用户输入设备26。用户可以通过输入设备26与工作空间12中的对象20和/或对象图像22交互。可以将对象图像22传输到远程系统10(未示出)上的其他工作空间12以用于协作的用户交互，并且如果需要，对象图像22可以由照相机14拍摄并重新投影到本地和/或远程工作空间12中以用于进一步的用户交互。在图1A中，工作表面24是桌面或其他下面的支撑结构23的一部分。在图1B中，工作表面24在可包括触摸敏感区域的便携式垫子25上。在图1A中，例如，将用户控制面板27投影到工作表面24上，而在图1B中，可以将控制面板27嵌入垫子25的触摸敏感区域中。类似地，可以将A4、信件或其他标准大小的文档放置区域29投影到图1A中的工作表面24上或印刷在图1B中的垫子25上。针对工作表面24的其他配置是可能的。例如，在一些应用中，系统10可以使用不同的空白垫子25来控制工作表面24的颜色、纹理或其他特性，并且因此，在图1B中可以将控制面板27和文档放置区域29投影到空白垫子25，正如在图1A中将它们投影到桌面23上。

在系统10的一个示例实施中，投影仪16充当照相机14的光源。照相机捕获区域和投影仪显示区域在工作表面24上重叠。因此，可以使用投影仪16获得可观的操作效率以用于投影图像并且用于照相机照明两者。相对于照相机14定位从投影仪16通过工作空间12到工作表面24的光路径，以使能具有最小的阴影遮挡(occlusion)的用户显示器交换而避免工作表面24和工作空间12中的对象的镜面眩光(specular glare)，否则会致盲照相机14。

在一个示例中，系统10的部件作为单个设备40被容纳在一起。参考图3，为了帮助将系统10实施为集成的独立设备40，控制器18包括一起被容纳在设备40中的处理器42、存储器44和输入/输出46。输入/输出46允许设备40从外部设备接收信息和向外部设备发送信息。虽然输入/输出46在图3中被示为是控制器18的一部分，但是输入/输出46中的一些或全部可以与控制器18分离。

对于图3中所示的控制器18的配置，控制和协调照相机14和投影仪16的功能的系统编程可以基本上驻留在控制器存储器44上以便由处理器42执行，从而使能独立设备40并且减少对照相机14和投影仪16的任何特殊编程。针对控制器18的编程可以以任何合适形式的处理器可执行的介质来实现，包括软件模块、硬件模块、专用硬件(例如，专用硬件、专用集成电路(ASIC)、嵌入式控制器、硬连线电路等)或这些的一些组合。此外，虽然其他配置是可能的，例如，其中使用远离照相机14和投影仪16的计算机或服务器整体或部分地形成控制器18，但是诸如图1A、图1B和图2中所示的设备40之类的紧凑的独立设备在集成的紧凑型移动设备40中向用户提供全部功能。

系统10还可以具有附加的特征/功能。例如，系统10还可以包括附加记忆装置(可移除和/或不可移除)，包括但不限于磁或光盘或带。计算机可读存储介质包括以用于非暂时性信息存储的任何合适的方法或技术来实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如计算机可读指令、数据结构、程序模块或其他数据。存储器44是计算机可读存储介质(例如，存储计算机可执行指令的计算机可读存储介质，当计算机可执行指令由至少一个处理器执行时使得至少一个处理器执行方法)的示例。计算机可读存储介质包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光记忆装置、磁带盒、磁带、磁盘记忆装置或其他磁存储设备，或者可以用于存储所需信息并且可以由系统10访问的任何其他非暂时性介质。任何这样的计算机可读存储介质可以是系统10的一部分。

虽然照相机14通常表示用于选择性地捕获工作空间12中的静止和视频图像的任何合适的数字照相机，但是将在用于系统10的大多数应用中使用高分辨率数字照相机是可预期的。如在本文档中使用的“高分辨率”数字照相机意味着具有至少12兆像素的传感器阵列的照相机。对于一些基本的扫描和复制功能，较低分辨率的照相机可能是可接受的，但是目前低于12兆像素的分辨率不足以生成用于全范围操纵和协作功能的足够详细的数字图像。具有高分辨率传感器的小尺寸、高质量数字照相机现在是相当普遍的，并且可从各种照相机制造商商业性地获得。与许多数字照相机中可用的配有高性能数字信号处理(DSP)芯片的高分辨率传感器提供足够快的图像处理时间，例如小于1秒的点击预览时间，以向大多数系统10的应用给予可接受的性能。

集成到图中所示和上文所述的独立设备40中的系统10的示例配置实现了产品大小、性能、可用性和成本之间的期望的平衡。系统10包括用于产生折叠光路的镜子38，其中，通常从投影仪16向上投影光，并且光通常通过镜子38向下反射到工作表面24上。投影仪16的折叠光路减小了设备40的高度，同时保持了投影仪高于工作空间12的有效放置，以防止照相机12的捕获区域中的镜面眩光。投影仪的光路以陡峭角度照耀在水平工作表面24上，使0能够进行3D对象图像捕获。较长的光路和陡峭角度的这种组合使跨捕获区域的光减少(fall off)最小化，以使照相机闪光的光均匀性最大化。此外，折叠光路使得能够将投影仪16放置在基座36附近以用于产品稳定性。

因为投影仪16充当用于照相机14的光源以用于静止和视频捕获，所以投影仪光足够亮到淹没(swamp out)可能引起来自镜面眩光的缺陷的任何环境光。已经确定，对于系统10和设备40的典型桌面应用，200流明或更大的投影仪光线足够亮到淹没环境光。对于视频捕获和实时视频协作，投影仪16将白光照耀到工作空间12中以对(一个或多个)对象20照明。在一个示例中，对于发光二极管(LED)投影仪16，组成白光的红色、绿色和蓝色LED的时间排序与照相机的视频帧速率同步。投影仪16的刷新率和每个LED子帧的刷新周期是每个所捕获帧的照相机曝光时间的整数，以避免视频图像中的“彩虹条纹(banding)”和其他不期望的效应。此外，照相机的视频帧速率可以与任何环境荧光照明的频率同步，任何环境荧光照明通常两倍于AC线路频率(例如，对于60Hz AC电力线为120Hz)闪烁。环境光传感器可以用于感测环境光频率并且相应地调整照相机14的视频帧速率。

在另一示例中，照相机14和投影仪16不同步。在该示例的一种形式中，使用一种方法从由投影仪16投影的图像或视频流中移除光学跳动赝像。在该示例的一种形式中，使用照相机闪光模式，其以以100％占空比同时使每个LED开启的模式替代时间顺序的红色、绿色、蓝色照明序列，如下文进一步详细描述。

LED投影仪通常包括以红色、绿色、蓝色时间顺序模式显示光的三色LED光源。当将该光源用作用于照相机捕获或视频捕获的照明系统时，可以引入彩虹或灰度跳动赝像。通常，投影仪通过以使得人眼将离散颜色合并成均匀白光的高频率交织红色、绿色和蓝色光来显示白光。具有以高的帧速率操作的卷帘快门的照相机将能够检测该时间顺序的R、G、B颜色序列。甚至当投影仪正在投影白光时，它也将在捕获的图像中被呈现为一系列彩虹色条。为了避免该赝像，可以显著减小照相机的帧速率，使得每帧曝光包括所投影的光的多帧。然而，这可能导致差的用户体验并且虑及将运动模糊赝像引入到所捕获的图像中。

通常，在内容的每个所显示帧期间，红色、绿色和蓝色LED开启固定百分比的时间。对于单个帧，通过调整这些百分比(例如，红色开启40％、蓝色开启20％并且绿色开启40％的时间)来制造白光。该开-关循环是在图像捕获系统中创建了赝像的东西。通过在照相机闪光模式中从光输出的基于时间的调制改变为基于强度的调制，可以实现相同的白色，但是在照相机闪光模式期间每个LED开启100％的时间。在照相机闪光模式中，投影仪没有显示颜色(即，只有白光)，但是也消除了颜色跳动赝像的引入。此外，通过显示实心的(solid)白色图像，也可以消除灰度跳动。

在一些系统中，可以添加完全独立的照明系统以使能捕获场景的“闪光”照明，这是昂贵且复杂的。相反，在本文的一个示例中，包括机器可读指令的软件系统用于创建照相机闪光模式，其将时间顺序的红色、绿色、蓝色照明序列替换为以100％占空比开启每个LED的模式，使得所有三个LED在整个照相机闪光模式期间同时投影。在一个示例中，在包括机器可读指令的投影仪16的固件中定义和创建照相机闪光模式，并且随后通过对请求照相机闪光模式的投影仪16的功能调用来使能照相机闪光模式。该功能调用导致中断提供给投影仪16的正常顺序显示信号，并且被替换为使得红色、绿色和蓝色LED全部同时投影光的信号。在一个示例中，照相机闪光模式持续预定时间段，并且然后投影仪16自动返回到正常顺序显示模式。在另一示例中，对投影仪16进行第二功能调用，以指示投影仪16从照相机闪光模式切换到正常顺序显示模式。在照相机闪光模式期间，照相机14使用来自投影仪16的白光作为照明源来捕获图像或多个图像(例如，视频)。照相机闪光模式的长度可以基于是否捕获单个帧或是否捕获多个帧而变化。在一个示例中，单独地控制到LED的电流以设置每个LED的亮度的值，以在照相机闪光模式期间实现真正的白点。

该方法不使用单独的照明系统，并且利用现有硬件来实现功能而不增加成本、复杂性和大小。现有的硬件用作投影显示设备并且也用作高功率照相机闪光设备。该方法适用于各种不同类型的图像传感器，包括全局快门传感器和卷帘快门传感器。由于所有LED在照相机闪光模式中同时提供光，所以提供了比在正常顺序模式期间整体更亮的光，这降低了系统对任何环境光的敏感度。

由于LED亮度和主波长中的大变化，不存在将使得一致的白点能够用于闪光照明的单个设置。用于闪光照明的一致的白点和高亮度有助于优化图像捕获性能。一个示例涉及一种校准方法，其优化投影仪16的LED驱动设置，以在不知道投影仪16的LED的特性的情况下实现一致的目标白点并且最大化闪光亮度。根据一个示例的方法使用外部色度计(color meter)60(图3)来测量闪光模式的亮度和白点，并且连续地调整投影仪16的LED驱动设置，直到找到最佳解决方案(例如，国际照明委员会(CIE)D65白点)。

在一个示例中，投影仪16的LED驱动设置包括脉宽调制(PWM)设置。根据一个示例的方法通过控制投影仪16的红色、绿色和蓝色LED的PWM设置来快速收敛到D65白点(在公差容限内)。根据一个示例的方法使用适于LED的PWM控制的模拟退火方法。

图4是示出根据一个示例的用于生成预定白点的模拟退火方法400的流程图。在方法400中的402处，随机地选择当前点(即，当前的R、G、B值)。在404处，生成邻近点(即，当前R、G、B值附近的新R、G、B值)。在406处，评估当前点和新的(相邻)点的成本函数(cost function)。在408处，生成在0和1之间的随机值R。在412处，确定值P，其中P等于Exp[(CFC-CFN)/T]；其中CFC是当前位置的成本函数，CFN是新位置的成本函数，并且T表示温度。在416处，确定(1，P)的最小值是否大于或等于随机值R。如果在416处确定(1，P)的最小值大于或等于随机值R，则方法400移动到420。如果在416处确定(1，P)的最小值不大于或等于随机值R，则方法400移动到424。

在方法400中的420处，标识新的相邻点并计算其成本函数。如在422处所示的，在方法400中的该点处，当前点等于新点。在424处，重新计算最佳位置(即，R、G、B值的最佳点或集合)。在428处，表示当前迭代次数的值num_steps被递增一，并且方法400移动到426。在426处，确定是否已经达到退出标准。如在410处所示的，退出标准是值num_steps是否大于或等于max_steps(即，最大迭代次数)或者值current_energy是否小于或等于值min_energy，其中current_energy是当前点的成本函数，并且min_energy是退出条件的最小成本函数。

如果在426处确定已经达到退出标准，则方法400移动到430，其中示出了方法400的结果，并且方法400结束。如果在426处确定尚未达到退出标准，则方法400移动到418。在418处，计算温度T，并且方法400返回到404。如在414处所示的，值T等于(1-(num_steps/max_steps))/比例。

现在将参考伪代码示例更详细地描述诸如图4中所示的退火方法对LED的PWM控制的应用。对于每个LED都存在PWM值范围(例如，0-255)。在该方法的一个示例中，使用国际照明委员会(CIE)x、y、Y颜色空间。该颜色方案中的D65白点在x＝0.31274，y＝0.32900和y＝don′t care(无所谓)。在方法中使用的一些术语的定义提供如下。

Cost function(成本函数)＝首先从RGB颜色空间变换到xyY空间，并且然后在xyY空间中从期望值(x＝0.31274y＝0.32900)确定均方根偏差。

Min_energy＝退出标准的最小成本函数。

Max_Steps＝迭代的最大次数。

Num_steps＝迭代的当前次数。

Get_new_neighbor()＝在当前位置的邻域中获得新的R、G、B值。在预定义边界内随机选择邻域。

CFC＝当前位置的成本函数。

CFN＝新位置的成本函数。

CFB＝最佳位置的成本函数(最佳位置最接近已发现的最小能量)。

R＝0和1之间的随机数。

T＝(1-num_steps/max_Steps)/比例＝系统的温度，其随着迭代次数降低。

P＝e^((CFC-CFN)/T)

CE＝系统的当前能量＝当前所选择点的成本函数。

在以下伪代码示例I中给出了用于使用模拟退火方法来校准投影捕获系统的白点的示例方法：

伪代码示例I

随机或者基于R、G、B值亮度曲线来选择R、G、B值。

Show_Results()//显示对于最佳和当前的成本函数的R、G、B值。

如示例I中所示，选择针对投影仪16的R、G、B LED的PWM值。投影仪16将这些值用在投影白光的闪光中。色度计60用于测量所投影的白光以在x、y、Y颜色空间中生成x和y值。虽然当前迭代次数(num_steps)小于最大迭代次数(max_Steps)并且系统的当前能量(current_energy)大于最小能量(min_energy)，但是示例I中的方法经过多个步骤。第一步是找到系统的当前温度(find_T())。当前温度T等于(1-num_steps/max_Steps)/比例，并且随迭代次数而减少。接下来，该方法执行get_new_neighbor()函数，其涉及为投影仪16的R、G、B LED选择接近当前值的新的PWM值，使用新的PWM值投影白光的闪光，以及使用色度计60来测量所投影的白光。

接下来，执行find_CFC()函数，其是针对当前位置或PWM值的集合的成本函数。接下来，执行find_CFN()函数，其是针对新位置或PWM值的新集合的成本函数。接下来，执行get_R()函数以确定0和1之间的随机数R。接下来，执行find_P()函数，其中P＝e^((CFC-CFN)/T)。接下来，该方法涉及确定值P和1.0的最小值是否大于或等于随机数R，并且如果是，则该方法执行Move_to_new_neighbor()函数和Find_CE()函数。Move_to_new_neighbor()函数选择新位置或PWM值的新集合作为当前位置，并且Find_CE()函数涉及确定系统的当前能量，其是当前所选择位置的成本函数。最后，该方法涉及执行Find_BestPos()函数并递增num_steps。Find_BestPos()函数确定产生最接近D65白点的所投影白色图像的位置或PWM值的集合。

一个示例实施涉及一种用于捕获和投影图像的方法。图5是示出根据一个示例的方法的流程图。在方法500中的502处，在投影仪的闪光模式中，用来自发光二极管(LED)投影仪的白光照明捕获空间中的对象。在504处，调整投影仪的LED的驱动设置以在闪光模式中实现预定的白点。在506处，当投影仪在预定白点处正用白光照明对象时，捕获在捕获空间中的对象的图像。在508处，用投影仪将所捕获的图像投影到显示空间中。在方法500的一个示例中，在504处调整LED的驱动设置还包括从国际照明委员会(CIE)xyY颜色空间中的D65白点确定所投影白光的均方根偏差，并且调整LED的脉宽调制驱动设置来实现D65白点。

另一示例实施涉及投影捕获系统，其包括用于捕获在捕获空间中的对象的图像的照相机和用于对捕获空间中的对象进行照明并将由照相机捕获的图像投影到显示空间中的发光二极管(LED)投影仪。投影仪包括用于提供白光以对捕获空间中的对象进行照明的闪光模式。该系统包括调整对投影仪的LED的驱动设置的控制器，以在闪光模式期间实现预定的白点。

在该示例的一种形式中，预定白点是国际照明委员会(CIE)D65白点。色度计用于在闪光模式期间基于所投影的白光生成颜色信息，并且控制器基于由色度计生成的颜色信息调整LED的驱动设置。在一个示例中，LED的驱动设置包括脉宽调制(PWM)设置。根据一个示例的控制器使用模拟退火方法来实现预定白点，并且该模拟退火方法使用国际照明委员会(CIE)xyY颜色空间。模拟退火方法包括从xyY空间中的预定白点来确定所投影白光的均方根偏差。在一个示例中，投影仪包括顺序显示模式，该顺序显示模式用于顺序地显示红色、绿色和蓝色LED光以将由照相机捕获的图像投影到显示空间中，并且照相机闪光模式涉及同时显示红色、绿色和蓝色LED光以提供用于对捕获空间中的对象进行照明的白光。在一个示例中，显示空间与捕获空间重叠。根据一个示例的投影仪与照相机容纳在一起。在一个示例中，照相机定位在投影仪上方，并且该系统还包括位于投影仪上方的镜子，以将来自投影仪的光向下反射到显示空间上。

又一示例实施涉及存储计算机可执行指令的计算机可读存储介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行方法。该方法包括使发光二极管(LED)投影仪进入闪光模式以用投影的白光对捕获空间中的对象进行照明，并且使得色度计测量投影的白光。该方法包括基于测量的投影白光调整投影仪的LED的脉宽调制(PWM)驱动设置，以在闪光模式中实现预定的白点。该方法还包括使得照相机在投影仪处于闪光模式时捕获在捕获空间中的对象的图像，并且使得投影仪切换到显示模式以将捕获的图像投影到显示空间中。

尽管在此已经示出和描述了具体示例，但是在不脱离本公开的范围的情况下，各种替代和/或等同实现可以替代示出和描述的具体示例。本申请旨在覆盖本文所讨论的具体示例的任何修改或变化。因此，意图是本公开仅由权利要求书及其等同物限制。