扫描束覆盖投影的制作方法

专利名称：扫描束覆盖投影的制作方法
扫描束覆盖投影
背景技术：
“增强现实(augmented reality) ”是包括虚拟和真实世界元素的环境。例如，投 影仪可以在真实世界的对象上显示(或者“覆盖”)图像。为了使投影图像正确地覆盖真实 世界环境，可能对图像进行缩放和变形，以匹配真实世界对象或者在上面投影的表面。该缩 放和变形补偿投影仪的投影角度、到真实世界对象的距离以及在真实世界中的投影表面上 的三维曲线。缩放和变形算法是公知的。如果可以使要投影的底层图像中的足够数目的点与投 影表面上的位置进行关联，则可以使用公知的方法来使底层图像缩放和变形，以匹配投影 表面。使底层图像内的点与投影表面上的位置进行关联可能是难题，尤其是在投影仪处于 移动中时。


图1示出了根据本发明各种实施例的扫描束覆盖投影系统；图2示出了根据本发明各种实施例的用于扫描束覆盖投影系统的同步信号的时 序图，从所述同步信号可以确定点在投影表面上的位置；图3示出了根据本发明各种实施例的方法的流程图；图4示出了根据本发明各种实施例的扫描束覆盖投影系统；图5示出了根据本发明各种实施例的将覆盖图像投影到三维表面上的扫描束覆 盖投影系统；图6示出了根据本发明各种实施例的具有参数收集和显示能力的扫描束覆盖投 影系统；以及图7和图8示出了根据本发明各种实施例的方法的流程图。
具体实施例方式在以下详细描述中，对附图进行参考，附图通过说明的方式示出了其中可以实践 本发明的特定实施例。充分细节地描述了这些实施例，以使得本领域的技术人员能够实践 本发明。应当理解，尽管本发明的各种实施例是不同的，但是并非必须彼此排除。例如，在 不偏离本发明的精神和范围的情况下，结合一个实施例在这里描述的特定特征、结构或特 性可以在其他实施例内被实现。另外，应当理解，在不偏离本发明的精神和范围的情况下， 可以修改在每个公开的实施例内的各个元素的位置和布置。因此，以下详细描述不是在限 制意义上进行的，并且本发明的范围仅由适当解释的所附权利要求以及权利要求授予其权 利的等价物的全部范围来限定。在附图中，相同的附图标记在若干视图中表示相同或类似 的功能。图1示出了根据本发明各种实施例的扫描束覆盖投影系统。如图1所示，扫描束 覆盖投影系统100包括能够发出可能是激光束的束112的光源110，该光源110可以是诸如 激光二极管等的激光光源。束112入射到扫描平台114，该扫描平台114可以包括基于微机电系统(MEMS)的扫描仪等，并且从扫描镜116向外反射，以生成受控的输出束124。水平驱 动电路118和垂直驱动电路120对扫描镜116所偏向的方向进行调节，使得输出束IM生 成光栅扫描126，从而在投影表面1 上产生显示图像。投影表面1 具有反射点130和132。反射点130和132可以被集成在投影表面 中，或者可以通过胶水、胶带或任何其他方式来附着。反射点130和132可以包括任何类型 的可以反射所有或部分输出束124的反射装置或材料。例如，在一些实施例中，反射点130 和132可以是角形反射器或者回射器。又如，在其他实施例中，反射点130和132可以包括 具有漫射特点的反光带。当受控输出束IM通过反射点130或132中的一个时，光线如在133上所示的进行 反射。光检测器(PD)134感测反射光。如以下更加完整描述的，可以将反射光的定时与光 栅扫描126的定时进行比较，以确定反射点相对于光栅扫描1 所绘制的图像的位置。例 如，当反射点反射特定像素时，确定光栅扫描126内的像素的位置还确定反射点在光栅扫 描126内的位置。显示控制器140包括定时电路142、图像生成组件144、图像变形引擎146和光源 驱动电路148。定时电路142向水平驱动电路118和垂直驱动电路120提供驱动信号，以控 制扫描镜116的光栅扫描操作的定时。在一些实施例中，定时电路142产生垂直和水平同 步信号，从中导出用于驱动电路118和120的信号。在一些实施例中，水平驱动电路118和 垂直驱动电路120被合并，并且定时电路142产生一个复合信号来影响镜子116的光栅扫 描操作。定时电路142还从PD 134接收一个或多个信号。这些信号提供关于光线何时从 投影表面向外反射的定时信息。例如，当受控输出束1 扫描经过反射点132时，PD 134将 向定时电路142提供节点135上的信号。而且例如，当受控输出束IM扫描经过反射点130 时(如图1所示)，PD 134将向定时电路142提供节点135上的信号。定时电路142使从 PD 134接收到的信号的定时与其自己的内部定时信号进行关联，以确定反射点在光栅扫描 中位于何处。以下参照图2描述示例性定时。图像生成组件144生成要投影的图像。在一些实施例中，图像生成组件144是包 括图像静态表示的数据存储。例如，图像生成组件144可以是诸如随机存取存储器或硬盘 驱动器的存储器设备。在其他实施例中，图像生成组件144可以是从外部显示控制器140 接收图像数据的输入设备。图像数据的最终来源不限制本发明。图像变形引擎146从图像生成组件144接收图像数据。接收到的图像数据与要在 投影表面1 上覆盖的图像相对应。图像变形引擎146还从定时电路142接收信息。从定 时电路142接收到的信息允许图像变形引擎146使投影表面上的位置与图像数据中的点进 行关联。作为响应，图像变形引擎146对要投影的图像进行缩放和变形。例如，定时电路 142可以向图像变形引擎146提供(X，y)坐标，其中(x，y)坐标表示在投影表面上的位置 的光栅扫描内的位置。图像数据可以包括标记，该标记允许图像内的特定点与表示投影表 面上的位置的(x，y)坐标相关联。然后，图像变形引擎146可以对图像进行变形和缩放，使 得图像中的标记点覆盖投影表面上的位置。可以用硬件、软件或任何组合来实现显示控制器140内示出的各种功能块。例如， 图像变形引擎146可以被实现为在处理器(未示出)上运行的软件模块。又如，可以用诸如专用集成电路(ASIC)的专用硬件中实现图像变形引擎146。光源驱动电路148将缩放和变形图像的像素信息转换成适用于驱动光源110的调 制信号。在一些实施中，光源110包括一个或多个激光二极管、以及产生驱动激光二极管 的电流的光源驱动电路140。调制信号与扫描平台114的操作同步，使得每个像素以其相 对光栅扫描126正确的位置中进行显示。显示控制器140还可以控制扫描束覆盖投影系统 100的其他各种功能。图2示出了根据本发明各种实施例的用于扫描束覆盖投影系统的同步信号的时 序图，从所述同步信号可以确定点在投影表面上的位置。如图2的时序图200所示，用于光 栅扫描1 (图1)的垂直同步信号210和水平同步信号212用于计算反射像素在光栅扫描 内的X-Y位置，并且因此计算在投影表面上的特定位置。对于光栅扫描126的每个垂直扫描，垂直同步信号210生效(assert) —次，并且 对于光栅扫描126的每个水平扫描，水平同步信号212生效一次。垂直同步信号通常在垂 直扫描开始时生效，但是这不限制本发明。例如，如果垂直扫描在顶部开始并且向下前进， 则当输出束在顶部时，垂直同步信号210可能生效。这在图2中由垂直同步脉冲216和218 来图示。类似地，水平同步信号212通常在水平扫描开始时生效，但是这不限制本发明。例 如，如果水平扫描在左侧开始并向右前进，则当输出束在左侧时，水平同步信号212可能生 效。这在图2中由水平同步脉冲230、232、234、236、238和240来图示。当接收到光线时，光检测器(PD 134，图1)产生脉冲。在图2中，光检测器输出 (PD输出)信号214被示为具有两个脉冲250和沈0。这里，脉冲250和260被称为“反射 脉冲”。反射脉冲250与从反射点132(图1)反射的光线相对应，并且反射脉冲260与从反 射点130反射的光线相对应。通过确定相对水平同步脉冲的反射脉冲相位，可以从PD输出信号214内的对应反 射脉冲计算反射像素的X位置。例如，可以通过确定反射脉冲250和水平同步脉冲232之 间的时间差(与相位延迟相对应)252来计算与反射脉冲250相对应的反射像素的X位置。 该时间差表示相对于光栅扫描126中的输出束124的水平扫动的反射像素的定时，并且从 而与反射像素的X位置相对应。由于在光栅扫描126中的输出束124的扫描在所有X上可 能不具有均勻速度，因此可能做出调整，以将时间差252映射到适当的X位置。由于沿着输 出束124的水平扫描轨迹的每个像素与来自于水平同步脉冲的特定和可重复定时相位延 迟(例如25 相对应，因此可以进行该映射。类似地，通过确定相对于垂直同步脉冲的反射脉冲的相位，可以从PD输出信号 214内的对应反射脉冲计算反射像素的Y位置。例如，通过确定反射脉冲250和垂直同步脉 冲216之间的时间差(与相位延迟相对应)2 ，可以计算与反射脉冲250相对应的反射像 素的Y位置。该时间差表示相对于光栅扫描126中的输出光栅124的垂直扫描的反射像素 的定时，并且从而与反射像素的Y位置相对应。再一次，可以对在反射脉冲的定时和对应的 Y位置之间的映射进行调整，以应对扫描伪像(scanning artifact)，诸如变化的扫描速度 和垂直过扫描(其中，该束扫描经过观察区域并且被消隐(blank))。图2说明了两个反射像素的时间测量。反射点132反射的像素引起反射脉冲250。 水平时间差在252处被测量，而垂直时间差在2M处被测量。类似地，反射点130反射的像 素引起反射脉冲260。水平时间差在262处被测量，并且垂直时间差在264处被测量。尽管图2中示出了在图2中测量两个像素的时间差，但是这并不限制本发明。可以利用任何数 目的反射点，引起任何数目的反射脉冲。可以对这些反射脉冲中的每一个进行测量。在一个或多个实施例中，可以经由查找表进行对X和Y位置的计算，该查找表使用 测量的时间差作为进入查找表的地址。替选地，可以使用测量的时间差和已知的视频输出 对垂直同步脉冲和水平同步脉冲的相位偏移来代数地计算X-Y位置。在一些实施例中，光 检测器很可能用于捕捉来自多于一个的像素从投影表面1 上的单个反射点的反射。在水 平方向上，这可能导致更长的反射脉冲宽度。可以通过将X位置确定为更长反射脉冲的中 心或者替选地确定为前沿来解决。然而，在垂直方向上，很可能从邻近的扫描行生成多个反 射脉冲。位置确定解码算法可以基于这样的反射脉冲中的第一个或者基于所有反射脉冲的 平均垂直位置来计算Y位置。输出束可以在一个方向上扫描然后回扫，或者输出束可以在两个方向上扫描。例 如，在一些实施例中，输出束可以在从左到右扫描时绘制像素，而在从右向左回扫时进行消 隐。在其他实施例中，输出束可以在从左向右和从右向左扫描时连续绘制像素。垂直扫描 也是如此。参考图2描述的技术也适用于这些实施例中的每一个。另外，不论同步信号出 现在光栅扫描中的何处，在图2中说明的技术都是适用的。如果同步信号在光栅扫描内的 位置是已知的，则可以应用偏移来补偿其在光栅扫描内的位置。图3示出了根据本发明各种实施例的方法的流程图。方法300示出了可以用于将 图像覆盖到投影表面的动作，使得覆盖图像中的点与投影表面上的特定位置正确对准。在 310处，经由投影束的光栅扫描，将覆盖图像投影到表面上。这在图1中示出，其中束IM在 光栅扫描126中前后上下进行扫描，以在表面1 上投影图像。在320处，从表面上的反射点接收反射光。动作320与PD 134接收从反射点130 和132反射的光线相对应。在330处，生成与反射光线相对应的脉冲。通过PD 134在信号 线135上生成脉冲。在图2中，在250和260处示出示例性反射脉冲。在340处，反射脉冲 的定时与光栅扫描的定时相关，以确定反射点的位置。如图2中所示，可以通过将反射脉冲 的定时与垂直同步脉冲和水平同步脉冲的定时进行比较来实现关联。在350处，可以使覆盖图像变形，以使图像内的标记点与表面上的反射点的位置 对准。例如，如果已经将投影仪移动地更靠近投影表面，则覆盖图像可能已变得更小，并且 可以伸长覆盖图像，以使图像与投影表面重新对准。类似地，如果投影仪向左或向右移动， 则表面上的反射点可能不再与图像内的标记点对准。动作350将使得覆盖图像再次与投影 表面正确对准。图4示出根据本发明各种实施例的扫描束覆盖投影系统。扫描束覆盖投影系统 400包括光源110、扫描平台114、水平驱动电路118和垂直驱动电路120，参考图1对它们 进行描述。扫描束覆盖投影仪400对输出束IM进行扫描，以生成光栅扫描126，从而在投 影表面1 上产生显示图像。投影表面128具有光检测器430和432。光检测器430和432可以被集成在投影 表面中，或者可以用胶水、胶带或任何其他方式来附着。光检测器430和432通过链路431 和433被耦接到定时电路442。光检测器430和432在输出束IM扫描通过时，检测光线， 并且在链路431和433上生成反射脉冲。例如，当输出束IM扫描经过光检测器430时，在 链路431上生成反射脉冲。类似地，当输出束IM扫描经过光检测器432时，在链路433上
7产生反射脉冲。在一个或多个实施例中，链路131和133可以包括具有在光检测器430和432以及 定时电路442之间连接的线缆的有线链路。替选地，链路131和133可以包括无线链路，诸 如射频(RF)链路。在一个特定实施例中，链路131和133包括如由蓝牙特定兴趣组(SIG) 规定的蓝牙链路，但是要求保护的主题事项的范围在该方面不受限制。显示控制器440包括定时电路442、图像生成组件144、图像变形引擎146和光源 驱动电路148。以上参照图1描述了图像生成组件144、图像变形引擎146和光源驱动电路 148。定时电路442类似于定时电路142，例外之处是从与投影表面位于一处的光检测器而 不是从与投影仪位于一处的光检测器接收脉冲。在一些实施例中，如图4中所示，定时电路442通过多个链路接收反射脉冲。在其 他实施例中，定时电路442通过单个复用链路接收反射脉冲。如上所述，链路可以是有线、 无线或任何组合。如上述参照图1-3所描述的，定时电路442将接收到的反射脉冲与光栅扫描进行 关联，以确定光检测器在光栅扫描内的位置。图4示出了与光检测器与投影表面位于一处，而图1示出光检测器与投影仪位于 一处。在一些实施例中，光检测器与投影表面和投影仪位于一处。图5是示出了根据本发明各种实施例的将覆盖图像投影到三维表面上的扫描束 覆盖投影系统。扫描束覆盖投影系统510包括扫描投影仪512、显示控制器140和光检测 器(PD)134。以上参考先前附图描述了 PD 134和显示控制器140。扫描投影仪512可以包 括基于MEMS的激光扫描仪，诸如以上参考图1-4描述的内容。在操作中，扫描投影仪512在三维(3D)表面540上显示覆盖图像570。3D表面 540包括与覆盖图像570内的标记点相关的反射点552,554,556,558,560和562。PD 134 检测从在3D表面上的反射点反射的光线，并且可以如上所述确定点在光栅扫描内的位置。 然后，可以使覆盖图像570伸长和变形，使得覆盖图像570与3D投影表面的轮廓正确对准。3D表面540在图5中被示为汽车模型。反射点被置于表面上的重要位置处，诸如 嵌条(molding)和保险杠的角部。覆盖图像可以包括建议的式样特征，诸如窗户的形状、 轮舱(wheel well)设计等。可以查看不同的覆盖图像，以允许快速视觉原型开发。由于投 影仪的视角改变(例如，投影仪移动)，因此覆盖图像保持与投影表面正确配准，并且设计 者可以从不同的视角快速查看不同的设计。该自动原型测试应用说明了一个用于扫描束覆 盖投影的用途。例如，任何增强现实应用可以受益于从此处描述的覆盖图像对准能力。三维表面540被示出为具有反射点，并且扫描束覆盖投影系统510示出为具有光 检测器。在一些实施例中，3D表面540具有如上所述参考图3附着或嵌入的光检测器。扫 描束覆盖投影仪510可以采取任何形式。例如，在一些实施例中，投影仪510可能是手持设 备、桌上型设备或固定设备。又如，在一些实施例中，投影仪510可以是用户佩戴的设备的 一部分，诸如眼镜。图6示出了根据本发明各种实施例的具有参数收集和显示能力的扫描束覆盖投 影系统。扫描束覆盖投影系统610包括显示控制器140、PD134、扫描投影仪512和参数收 集组件620。在图6中还示出了探针630和电路板650。扫描投影仪512将图像投影到显示表面上，在图6中被示为电路板650。电路板650包括多个组件，通过集成电路652、6M和656来进行例示。为了将覆盖图像与投影表面 对准，电路板650可以包括如上所述的反射点，但是这不限制本发明。探针630提供参数测量能力。在图6的示例之中，参数是温度。探针630提供测 量的参数信息(温度)，并将其提供给参数收集组件620。参数收集组件620向显示控制器 140提供参数信息，显示控制器140然后可以将该参数信息并入到显示的图像中。探针630包括反射点634。扫描覆盖投影系统610可以使用这里描述的技术，在用 于显示图像的光栅扫描内，确定反射点634的位置。探针630还包括按钮632，以允许用户 可以命令探针来测量温度。在操作中，用户(或自动系统)放置探针630来测量感兴趣位置处(例如，在集成 电路上)的温度。按下按钮632，并且探针630测量温度，并且将温度值发送到参数收集组 件620。与按钮按下的同时，扫描束覆盖投影系统610还通过检测从反射点634反射的光线 来确定探针630尖端的位置。然后，扫描覆盖投影系统610可以使光栅扫描内的位置与参 数值关联。在一些实施例中，将收集到的参数值并入显示图像内。例如，如图6所示，进行了 三个温度测量，并且将温度值并入显示图像。集成电路652在880 V时被测量，集成电路6M 在650°C时被测量，集成电路656在720°C时被测量。通过来回移动探针630和按下按钮 632来显示更多温度值。然后，将在投影表面上覆盖地出现测量的温度值。在一些实施例中，覆盖的图像包括直接参数测量之外的其他信息。例如，扫描束覆 盖投影系统610可以使用测量的参数信息来查找要显示的数据。显示的数据可以包括通 过/失败信息(用于测试反馈)、阴影、颜色等。在不偏离本发明的范围的情况下，可以以任 何方式来响应于参数信息对图像进行修改。图7示出了根据本发明各种实施例的流程图。在一些实施例中，通过扫描束覆盖 投影系统执行方法700或其部分，在之前的附图中示出了扫描束覆盖投影系统的实施例。 在其他实施例中，通过电子系统中的硬件/软件组件来执行全部或部分方法700。方法700 不受执行该方法的特定类型装置的限制。方法700的各种动作可以用呈现的顺序来执行， 或者可以用不同的顺序执行。另外，在一些实施例中，图7中列出的一些动作从方法700中 省略。方法700被示出开始于块710，其中，光束扫描掠过三维表面以在表面上覆盖图 像。这与投影覆盖图像的公开的扫描光速覆盖投影系统中的任何一个相对应。在720处， 3D表面上的位置与图像内的标记点相关。这使用公开的技术或其等价物的任何一个来实 现。例如，反光镜可以置于3D表面的各位置处，并且如图2所示，反射的定时可以与光栅扫 描中的像素定时进行比较。在730处，对图像进行修改以符合3D表面。这包括使图像伸长和变形，使得图像 中的标记点与3D表面上的位置对准。本发明的各种实施例不限于用于修改图像的算法。在740处，移动投影仪，并且进一步修改图像来匹配于新视角。例如，可以移动扫 描束覆盖投影系统510(图5)，以从不同角度照亮汽车形状的表面。这将改变反射点相对于 图像的位置。可以重新确定反射点的位置，并且然后，可以进一步使图像伸长和变形来匹配 表面。即使投影仪移动，动作740也允许覆盖图像与投影表面保持适当的对准。在750处，收集参数信息。例如，在一些实施例中，可以如图6所示，收集温度数据。在其他实施例中，可以收集其他参数信息。在760处，参数信息被并入图像内。在一些实施例中，可以省略动作750和760。例如，可以在没有收集参数信息的情 况下，用覆盖图像照亮3D投影表面。在其他实施例中，可以省略动作740。例如，在不移动 投影仪的情况下，可以收集和显示参数信息。方法700中示出的动作的组合不被认为是不 可或缺的。尽管已经结合特定实施例描述了本发明，但是应当理解，如本领域的技术人员容 易理解的那样，在不偏离本发明的范围的前提下，可以采取各种修改和变化。这样的修改和 变化被认为是在本发明和所附权利要求的范围内。
权利要求
1.一种方法，包括使光束扫描掠过对象以显示图像；接收表示所述对象上的点的反射；以及基于所述点的位置来修改所述图像。
2.如权利要求1所述的方法，其中，使光束扫描掠过对象以显示图像包括将覆盖投影 到三维对象上。
3.如权利要求2所述的方法，其中，接收反射包括接收来自位于所述三维对象上的反 射器的反射。
4.如权利要求2所述的方法，其中，修改所述图像包括使所述覆盖变形，以匹配所述 三维对象的当前视角。
5.如权利要求1所述的方法，其中，基于所述对象的位置来修改所述图像包括基于相 对于所述扫描的反射到达时间来确定所述点的位置。
6.如权利要求1所述的方法，进一步包括移动正在扫描所述光束的投影仪；以及更新所述图像。
7.如权利要求1所述的方法，进一步包括接收指示探针相对于所述对象的位置的至少一个反射；以及接收来自所述探针的参数信息。
8.如权利要求7所述的方法，进一步包括将所述参数信息并入所述图像。
9.一种方法，包括通过以二维形式扫描光束，将图像投影到显示表面；确定所述光束何时通过所述显示表面上的特定点；以及基于所述光束通过所述特定点的时间来使所述图像变形。
10.如权利要求9所述的方法，其中，确定所述光束何时通过特定点包括检测从所述 特定点反射的光线。
11.如权利要求9所述的方法，其中，确定所述光束何时通过特定点包括在所述特定 点处检测光线。
12.如权利要求9所述的方法，其中，将所述图像投影到所述显示表面上包括将所述 图像投影到三维显示表面。
13.如权利要求12所述的方法，其中，确定所述光束何时通过所述显示表面上的特定 点包括检测从所述三维显示表面上的所述特定点反射的光线。
14.一种装置，包括扫描光束投影仪，所述扫描光束投影仪用于通过在显示表面上以二维形式扫描光束来 显示图像；至少一个光检测器，所述至少一个光检测器用于检测从所述显示表面上的多个反射点 反射的光线；以及图像变形引擎，所述图像变形引擎用于基于所述图像内的所述反射点的位置来使所述 图像变形。
15.如权利要求14所述的装置，其中，所述扫描光束投影仪包括微机电系统(MEMS)扫描镜。
16.如权利要求14所述的装置，进一步包括参数输入接口，所述参数输入接口用于接 收与所述图像内的特定点相关的参数数据。
17.如权利要求14所述的装置，其中，所述图像变形引擎包括软件模块。
18.一种装置，包括扫描投影仪，所述扫描投影仪用于在垂直方向和水平方向上使光束扫描掠过显示表 面，所述扫描投影仪源发垂直同步信号和水平同步信号；检测器组件，所述检测器组件用于检测所述光束何时通过所述显示表面上的特定点；定时电路，所述定时电路响应于所述检测器组件、所述垂直同步信号和所述水平同步 信号，来确定所述光束通过所述显示表面上的特定点的时间；以及图像变形引擎，所述图像变形引擎用于响应于所述定时电路来使所述扫描投影仪显示 的图像变形。
19.如权利要求18所述的装置，其中，所述检测器组件包括与所述扫描投影仪位于一 处的光电二极管。
20.如权利要求18所述的装置，其中，所述检测器包括与所述显示表面位于一处的至 少一个光电二极管。
全文摘要
一种扫描束覆盖投影系统(100)通过以光栅模式扫描光束(112)来在投影表面(128)上显示图像。当通过光束照亮时，投影表面上的反射点(130，132)将光线反射回投影系统。投影系统中的光检测器(134)检测反射光线，并且定时电路(142)确定反射点位于光栅模板中的何处。可以使图像缩放和变形，以使图像内的标记点与投影表面上的反射点的位置相关联。
文档编号H04N9/31GK102113316SQ200980129782
公开日2011年6月29日 申请日期2009年7月2日 优先权日2008年7月30日
发明者兰黛尔·B·斯帕拉古 申请人:微视公司