交互式显示设备的制作方法

专利名称：交互式显示设备的制作方法
技术领域：
本发明涉及一种显示设备，该显示设备包括一个光引擎配置用于将图像投射到一个显示面上，一个图像传感器配置用于捕捉一个比投影图像大一些的演示图像，还有一个处理器，与图像传感器相耦合，配置用于根据捕捉到的图像来改变投影图像。
背景技术：
图像投影系统可以用来放大一个静止的画面或视频图像，使图像能够同时被许多或者少数的观众所观看。对于一个包括投影图像的演示通常希望记录下来以供分析、传输或以后的传播。在有演讲者做陈述的地方，如果能将演讲人的影像与被投影的图像一块记录下来将具有显著的帮助。但是，要记录这样的演示通常需要附加设备，如摄像机和记录装置，并且可能会显著增加介绍原来演示的费用和难度。把讲解人员包括在记录图像中也会限制讲解人员控制演示而不影响被投影图像的能力。例如，把脸朝向显示屏而把背朝向观众。因此十分需要一种单一的显示系统能够使演示被记录下来，同时便于以一种自然的和无干扰的方式控制演示。

发明内容
提供了一种显示设备，该显示设备包括一个光引擎配置用于将图像投射到一个显示面上，一个图像传感器配置用于捕捉一个比投影图像大一些的演示图像，还有一个处理器，与图像传感器相耦合，配置用于根据捕捉到的图像来改变投影图像。


图1是根据本发明的一个实施例的显示系统的等角视图。
图2是图1的显示系统的原理图。
图3根据本发明的一个实施例，阐述捕捉轨迹图案并解释该轨迹跟踪图案。
图4是一个流程图，示出一个根据本发明的一个实施例控制显示系统的方法。
具体实施例方式
在图1中，10表示一个显示系统的总体。系统10可以包括一个含有一个光引擎14的投影仪12，一个显示面16，和一个相连的计算机18。可以看到讲解人员20在利用显示系统10进行一个演示，演示内容包括一个投影图像22。
投影仪12的光引擎14可以被配置用于指引和传送光到显示面16，以产生一个根据从相连接的计算机18接收到的相关数据而产生的投影图像。例如，并如后面更详细介绍的，光引擎14可以是任何适合于光投射显示面16的光源，包括单一白光源(例如一个汞灯，等离子灯，白炽灯，等等)和/或者复合白光源，单色光源(例如发光二极管(LEDs)，激光二极管，等等)。另外，投影仪12可以包括光学器件、空间光调制器、扫描镜、聚焦装置、颜色发生装置、控制器等，以便在显示面16上产生一个彩色图像。这个投影仪可以是一个LCD投影仪或微镜投影仪，或其它。
图1所描述的投影仪是一个前投设备，实际上，任何能投射出图像的适当设备都是适合的，包括，但不局限于，天花板投影仪和背投设备。出于本文的表达目的，投影仪所投射的图像可以是静止图像或电视图像，为保持一致，这里通称为图像。
在图1的显示系统中，投影图像22既可被讲解人20看到，也可被其他观众看到。显示面16可以是一个屏幕，例如是与投影系统组合使用的典型的投影屏，但也可以是任何能够提供足够的反射使图像清晰可辨的平面(例如包括，一面墙，等等)。
参看图2，大家可能注意到投影系统10包含了一个图像传感器24。图像传感器24可以是一个能够至少捕捉投影图像22的光敏器件。这个图像传感器可以是一个摄像机，例如一个电荷耦合器件(CCD)摄像机或是一个互补金属氧化物半导体(CMOS)摄像机。但是，任何其它具有所需要的光敏特性的光传感器或摄像机都可以做这个显示系统的图像传感器。这个图像传感器可以与投影仪组合、连接，或是联合使用。另一种情况是，这个图像传感器可以与计算机18，如果有的话，组合、连接，或是联合使用。
由于这个图像传感器与投影仪是分离的，这个图像传感器可以放置在投影仪附近，以便于图像传感器的可视区域与投影图像的区域尽量匹配，使由于视角不同而造成的投影图像的失真减到最小。另外，投影传感器可以附着在投影仪上，例如将图像传感器固定在投影仪的外表，或是把图像传感器合并在投影仪内部。无论哪种方案，图像传感器都可以被放置得使图像传感器的可视区域与投影图像的区域之间的差异最小。
显示系统中至少有一个单一光路的一部分可供图像投影和图像感应共用。这是可以实现的，例如，通过在图像投影仪的光路上放置一个分光器26，当由投影仪12的光引擎14产生的投影图像通过分光器时，就会有一部分反射光指向图像传感器24，如图2所示。投影和图像感应器使用同一个光路可以使投影系统应用的许多方面得到简化，包括显示系统的校准，但不只局限于此，。
图像传感器24可以被配置用于捕捉出现在显示面16上的投影图像22。这个图像传感器可以将捕捉到的图像存储在一个存储器28里用于存储和后续重放。存储器28可以是任何适合的存储装置，包括但不局限于存储芯片，磁媒体，或光媒体。存储芯片可以包括静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)，还有其它。磁媒体可以包括磁带(例如录像带)，磁盘，或硬盘驱动器。光媒体可以包括一次或多次可写光盘。存储器28可以包含在投影仪12内。另一种情况是，存储器28包含在相关的计算机18内。一旦存储在存储器28里，被捕捉到的图像或电视节目就可以通过适当的显示器件进行重放，或传输到其它媒体。被捕捉到的图像可以被归档，通过电子邮件传输，或是用于培训的目的。被捕捉到的电视文件也可以转录到光盘或录像带上以供存储或分发。
捕捉到的图像可以有助于评估投影图像。但是，如果捕捉到的图像仅仅是投影图像其作用显然是有限的。图像传感器24可以进一步被配置用于捕捉一个既包括投影图像22又包括投影图像周围的一片其它区域的一个图像30。例如，被捕捉到的图像可以包括讲解员20，一个或多个观众，和/或其它的帮助表达演示的直观教具。这样就可获得有关演示的更完整的记录，包括如观众的反应，而无需提供和装配其它的记录设备。
应该意识到，为了既能捕捉到相对明亮的演示区域的图像又能捕捉到相对黯淡的周边区域的图像，可能需要对捕捉到的图像的亮度进行归一化处理。为了避免图像信号的损失可以运用一系列不同的技术，包括自适应性滤光，图像传感器曝光时间的象素-分辨率反馈控制，以及其它方法。
除了记录扩展的图像26以外，图像传感器还可以利用捕捉到的图像改变投影仪的工作，或允许讲解员改变演示本身。例如，可对捕捉到的图像进行分析以修正投影图像的聚焦，修正投影图像上的梯形失真，修正投影图像上使用的颜色，调整投影图像以适应环境光，并且当投影图像变化时提高图像的质量。
如果投影仪配置成可以对投影图像的颜色进行分析时，颜色特征分析可以包括对整个或部分投影图像的色调，色度和亮度的分析。这样的颜色特征可以用一个特定的色空间坐标为基准来表示和精确定义。色空间是一个典型的数学架构，它使色彩信息能够用数字来描述和/或用图形绘制出来。不同的色空间可用来区分例如色调、光度、亮度、灰度、反射系数、鲜艳度、饱和度或色度，以及其它的色参数。通过使用一种适当的数学转换，通常可以使一个特定色空间内的色坐标转换成另一个色空间的色坐标。
通常，通过计算机18可以将颜色数据从捕捉到的图像中分离出来，并与提供给投影仪的图像数据中所规定的颜色数据进行比较。包含在图像数据中的颜色数据与捕捉到的图像的颜色数据之间的任何误差都可以通过一个反馈系统进行补偿，它可以通过改变光引擎14的输出来补偿，至少部分地补偿所检测到的差异。
如果图像传感器的配置允许讲解人员改变投影图像，这个投影传感器就能够检测并执行讲解人员的信号。讲解人员可以通过一个无线遥控设备，运用红外辐射或无线电发射与投影仪相联系，控制这个投影仪，并且因此控制这个演示。类似地这个投影仪也可以配置成响应声音或其它可听的命令。对扩展图像30的检测和分析也使得能对捕捉到的图像中的讲解人员发出的控制信号进行分析。
讲解人员发出的控制信号可以根据目标或图案识别进行判断，例如，一个控制信号可以依靠一个提示卡的显示或是通过做一个手势来表示。在许多情况下，这种控制信号可以包括一个可解释的图案32。这种可解释的图案可以包括一个印刷在提示卡上的图案，一个画在一块黑板或白板上的图案，或是讲解人员的手势图案。
这个可解释的图案在任何可接受的形式下都可以被投影仪识别出来以供检测和分析。例如，如果这个可解释的图案呈现在一张提示卡上，就对捕捉到的图像进行分析，看是否存在一个含有预先选定的色彩值的放置在适当位置的一个矩形。例如可以定期分析被捕捉到的图像中是否出现一个橙色的矩形，并且在识别出一个橙色的矩形的基础上，再解释出矩形内(即提示卡上)包含的图案。另一方面，如果这个可解释的图案是绘制在一个黑板或白板上，首先要在板上画一个适当尺寸的矩形来对投影仪进行校准，以此矩形作为解释图案的一个指定的区域以供投影仪识别。然后投影仪才能对矩形框中的符号进行解释。如果这个可解释的图案是由在扩展图像边缘的讲解人员绘制在空中，那么突出或者是强调讲解人员的手可能会有帮助，这样绘制的图案才容易被识别和分析。
讲解人员绘制一个图案，这个绘制的图案可以包括一条或多条直线、弧线、或其它运动轨迹，它所形成的图案能够与一个预先确定的图案相匹配。这个预先确定的图案可以包括一系列的一个或多个连续的笔画，它代表一个能使投影仪12，相关的计算机18，或显示系统10的其它任何部件执行的命令。很典型地，如果绘制的图案与预定的图案相匹配，那个图案相关的命令就能够被显示系统10执行。
讲解人员绘制的手势可以被连续地检测，所以与讲解人员产生的任何绘制的图案相关联的命令都会本能地被执行。但是，在一个演示的过程中，讲解人员很可能是经常移动的，因此可能跟踪到一个或多个无意识的可解释图案，以致于显示系统错误地执行了非讲解人员意愿的命令。因此非常需要讲解人员使用一种方法能区分开随意的移动与产生可解释图案的动作。
显示系统可以因此包含一个激活装置使讲解人员能够定义用于控制显示系统的动作。这个激活装置可以是通过显示系统对语音的识别，讲解人员的一个触发语句的清晰发音能使显示系统解释出绘制的图案。另一种情况是，这个激活装置可以是一支光笔，例如能够向一个感光器发出光束。另外，这个光笔可以向光传感器发出一个规定好的序列，通过一定数量的关和开，一定的时间设定，一定的发光速率，或它们组成的其它任何组合。这样的发光图案无需观看者或讲解人员的分辨就可作为使显示系统动作的信号。另外，讲解人员可以触发光笔或其它手持遥控设备上的一个按钮、开关等来激活一个无线器件，通过一个适当的无线电信号或红外信号，使显示系统能够解释出绘制的图案。
图像传感器可以放置得能在水平方向上摇摆，也能在竖直方向上摇摆，或是两者兼能以便于监视讲解人员的移动。图像传感器的运动可以是通过一种曾经使用在目标跟踪软件中服务于多种不同的向导和目标系统的算法来控制，也可以通过形态识别来跟踪操作人员的形态，或是通过跟踪一个特定的手的信号或信号灯，例如上面所提到的光笔。显示系统可以配置成能使图像传感器的观察领域中同时包括了投影图像和讲解人员，或者显示系统可以配置成用于优先追踪讲解人员。另一种情况是，图像传感器是固定的，讲解人员被限制在图像传感器的可视区域内。
讲解人员的手可以通过带有特定颜色特征的手套来突出，或是通过讲解人员手上的发光源。例如，一个带有光源的物体，如一个LED，能够拿在或系在讲解人员的手上。在一个特定的例子中，这个讲解人员可能戴有一个含有发光LED的指环。这个光源可以通过光强度或波长特性与被捕捉图像的其它部分区分开来。另外，这个光源可以被电子监测到，例如通过比较连续捕捉到的画面来证明移动。使用这种方法光源位置的改变可以随着时间一直记录下去。
手的位置信息可以通过图像传感器收集起来供一个处理器34解释。这个处理器可以是一个分离的和独立的处理器，例如，包含在一个与投影仪相连的计算机内。另一方面，这个处理器可以包含在投影仪内部，如图2所示。这个显示系统可以包含一个单一的处理器，既用于提取手位置信息又用于解释绘制的手运动图案。另一种情况是，这个显示系统可能包含多个处理器，这样从图像传感器得到的数据可以先通过一个专用处理器进行处理，这样就能，例如，在向其它处理器传送位置信息之前先将讲解人员的手位置信息提取出来。
如果使用图像传感器记录下来的位置信息被转换成了运动信息，将更容易解释讲解人员绘制的图案。对运动的监测是通过一个设定的时间段对手位置的跟踪来完成的。例如，通过识别捕捉到的画面中讲解人员手的位置，并把它与后面捕捉到的画面中讲解人员手的位置进行比较。于是通过比较捕捉到的不同画面中手的移动距离，就可定义出讲解人员手的运动矢量。根据移动的多个位置和图像捕捉率就能得到一系列的手的运动矢量。这些运动矢量通常与讲解人员手的相关动作是相符合的。这些运动矢量就可以用来解释讲解人员绘制的图案。
应该意识到，可以有不同的策略运用于解释讲解人员绘制的图案。图案解释可以通过触发一个激活装置来启动，例如通过触发一个无线信号，通过语音识别，或是通过发出一个具有较高强度的光源，或是一个预先选定好的闪光图案。
可以通过对绘制图案的起点和终点的确定来解释绘制的图案。然后就可以确定下来连续的运动矢量之间的角度，并且就可以在图案周围画出一个用于参考的矩形来。然后这个参考的矩形就可以用来对绘制的图案进行标准化处理以简化与数据库中预先定义的笔画图案的比较工作。预先定义的笔画图案的数据库可以存在与处理器34相连的存储器28内。然后标准化处理过的图案就可以通过处理器与存储在数据库的每一个预先确定的图案相比较，以确定一个和显示系统对应的命令。典型地，与一个预先确定的图案的匹配程度取决于误差函数的计算，该函数表示绘制的图案与一个给定的预先确定的图案在多大程度上匹配。与绘制的图案相比较误差函数值最小的预先确定图案就被选定为有意图案。然后与该预先确定图案相关的命令就会被处理器和/或投影仪执行。
一个恰当的图案解释的简化示例如图3所示。轨迹36表示讲解人员绘制在捕捉到的扩展图像范围内的图案，例如使用投影控制点对讲解人员手的位置进行跟踪。在图像跟踪的过程中通过对绘制图案的视频图像捕捉产生了一个连续的讲解人员的手位置序列38。从连续位置序列38中提取出来的运动矢量40可以用来与笔画图案数据库中预先确定的笔画图案进行比较，很可能得到一个很相近的匹配，例如如图所示的运动矢量40与一个相似匹配的预先确定的笔画图案42。
已经存在多种软件系统能够通过把手写的图案或手势与预设图案进行比较来解释出手写图案或手势。这样的软件系统已经被开发出来，例如，用于使计算机系统能够识别手写字母，或用于机器辅助解释手语。一个软件系统依靠简单的预先确定图案来表示选定的指令或字母逐渐变得更加有效了，尽管有些情况下讲解人员需要学习那些预先确定的图案。这个策略已经成功地运用在一系列用于文字输入的手持设备上。当笔画图案通过一支触笔和一个触垫来输入的时候这些软件系统运用了笔画图案识别技术。但是，其它图案识别策略也可以运用在本文所公布的显示系统中。
当显示系统确定绘制的图案与预先确定的图案间存在相似匹配时，显示系统与该预先确定图案对应的命令就可以被执行。这些命令可以包括处理器执行的命令，也可能包括显示系统各个方面所要执行的命令。例如，这些命令可以控制投影图像的亮度，控制图像的聚焦，控制一个相连的声道的音量，等等。这些预先确定的命令也可以与包括投影图像在内的演示内容相关。
例如，这些预先确定的命令可以包括具有代表性的与下拉菜单或键盘命令相关的传统命令。这样的预先确定命令可以是但不局限于命令打开一个文件，关一个文件，重新启动一个演示，跳到下一张幻灯片，或退回到上一张幻灯片。另一方面，这些预先确定的命令可以包括改变投影演示的内容的命令，例如改变投影的图像。例如，上面所列的预设命令可以与声音识别组合使用，允许其它文字加进投影图像内，或是可以用一个手势来勾勒出一个轮廓然后将其加入投影图像中。
为了准确地捕捉到有意义的图像，尤其是为了准确地解释一个描绘的图案，图像传感器可以得益于一个校准程序。当图像传感器和投影仪使用如前面所讨论的同样的光路时，这样的校准过程可以简化。但是，正如上面讨论的，如果图像传感器和数字投影仪不是使用同一条光路，对图像传感器的校准就显得十分有用，这样才能精确地映射出在演示过程中被图像传感器捕捉到的图像的边界。
有许多校准方法和校准时序可以应用。校准可以是通过启动投影设备自动实施，或是通过手动激活一个校准序列，例如使用一个投影仪上的触摸盘作为操作人员接口，或是在相连的处理器上执行一个命令。校准程序本身可以是自动的，也可以需要操作人员的输入。例如，通过执行一个校准命令，投影仪可以投影一个测试图案，这样图像传感器就可以调整使其捕捉图像对准测试图案的中心。另一种情况是，图像传感器的适当定位可以包括一个预定的与测试图案中心偏移量。测试图案可以包括一个带选定色彩的全屏图案，或是可以包括一个栅格信号或其它能被显示系统解释出来的有规则的图案。
此外，另一个方案是，校准程序可以包括连续的‘绘制’，或是投影一个亮点到捕捉区域的每个角落，使得处理器可以映射到要被捕捉的描绘区域并且/或被显示系统解释出来。此外，讲解人员可以用图像区域指定过程来指定一个特定的区域，用于追踪可解释图案，例如在一块黑板或白板上指定一块选定的区域供图像传感器分析这些图案。
应该意识到，这里所描述的显示系统有助于一种控制一个演示的方法，如图4中的流程图44所示。这个方法尤其包括，但不局限于，投射一个图像到一个平面(如46)，捕捉一个比投影图像大一些的演示图像(如48)，在捕捉图像的范围内显示一个图像(如50)，检测这个显示图案(如52)，使检测到的图案与一个预先确定的命令建立相关联系(如54)。如上所述，这个方法可以进一步包括执行预先确定的命令(如56)。
适当的软件指令通过一个计算机可读取的媒体使本发明一个实施例的一套方法得以应用。这里所指的一个“计算机可读媒体”，可以是任何能够使用或者联结一个成像系统或成像设备来容纳、存储、通讯、传播、或传输指令以供应用的方法。这个计算机可读媒体可以是，没有限制，一个电子的、磁的、光的、电磁的、红外的、或半导体的系统、设备、器件，或传播媒体。更特定的计算机可读媒体的例子包括，还有其它，一个具有一条或多条电缆的电气连线(电子的)，一个便携式计算机磁盘(磁的)，一个随机存取存储器(RAM)(磁的)，一个只读存储器(ROM)(磁的)，一个可擦除的可编程的只读存储器(EPROM或闪存器件)，一段光纤(光的)，和一个便携压缩光盘只读存储器(CDROM)(光的)。注意，计算机可读媒体甚至可以是将程序打印在上面的纸或其它适当的介质，上面的程序可以被捕捉成电信号，例如通过纸或者其他介质的光扫描，然后编辑，解释，或是如果需要的话，用其它的方法进行处理，然后存储在计算机内存中。
计算机可读媒体上的指令可以是代表显示系统旧有软件的一个升级，以便能使上面所描述的方法得到执行，或是执行这种软件的一个升级版本。
这里所描述的显示系统允许显示系统的讲解人员记录，互动和/或控制包括投影图像在内的演示而不会干扰投影图像的内容。可以通过一个微妙的手的动作来使显示系统执行命令，而不需要打断演示，访问计算机，或是打开投影仪的菜单，或在投影图像的旁边设置特定的区域。由此得到的演示会更加整合流畅，对讲解人员和观众都显得更加直观。
尽管本说明书在前面已经提供了工作原理和实施例的参考，但对于那些本领域的普通技术人员来说，还可以有许多种形式上和细节上的不同变化，这些变化都脱离不了所附权利要求中的精髓和范围。本说明书旨在涵盖在所附权利要求的范围内的所有选项，修改和变异。
权利要求
1.一种显示设备，包括一个光引擎(14)配备用于投射一个图像(22)到一个显示平面(16)上；一个图像传感器(24)配备用于捕捉一个比投影图像大一些的演示图像(30)；一个处理器(34)，与图像传感器耦合，用于根据捕捉到的图像来改变投影图像。
2.权利要求1中的显示设备，其中处理器被配置用于通过改变光引擎的性能来改变投影图像。
3.权利要求1中的显示设备，其中处理器被配置用于通过改变投影图像的内容来改变投影图像。
4.权利要求1中的显示设备，其中光引擎和图像传感器至少共用一条单一光路的一部分。
5.一个交互式投影仪，包括一个光引擎(14)配备用于投射一个图像(22)到一个显示平面(16)；一个图像传感器(24)配备用于捕捉一个操作人员的信号(32)；还有一个处理器(34)与图像传感器相耦合，配备用于建立操作人员信号与预设命令间的相互关系。
6.权利要求5中的投影仪，其中图像传感器配备用于捕捉操作人员移动时产生的操作人员信号。
7.权利要求5中的投影仪，其中图像传感器配备用于捕捉投影图像。
8.权利要求5中的投影仪，其中处理器配备用于根据预先确定的命令来修改演示。
9.权利要求5中的投影仪，除此之外还包含一个与处理器相连的存储器(28)，它的存储器包括一个存储了许多与操作人员信号相对应的预先确定命令的数据库。
10.权利要求5中的投影仪，其中图像传感器是一个摄像机。
11.一种控制一个演示的方法，包括投射一个图像到一个平面上(46)；捕捉一个比投影图像大一些的演示图像(48)；在捕捉到的图像内显示一个图案(50)；检测这个显示图案(52)；并且使检测到的图案与一个预设命令建立相关联系(54)。
12.权利要求11中的方法，还包括执行这个预设命令(56)。
13.权利要求12中的方法，其中执行这个预设命令包括改变投影的演示。
14.权利要求11中的方法，其中捕捉一个比投影图像大一些的演示图像时包括捕捉一个操作人员的一个图像。
15.权利要求11中的方法，其中投射图像包括将投射的图像沿着一条光路发射出去，而捕捉演示图像包括将演示图像沿着与捕捉图像方向相反但实际上是相同的光路发射出去。
16.权利要求11中的方法，其中在捕捉图像的范围内显示一个图案包括一次或多次显示一个提示卡并且追踪一个可解释的图案。
17.权利要求16中的方法，其中描绘可解释的图案包括一次或多次在一个平面上绘画和做一个手的动作。
18.权利要求16中的方法，其中建立可解释的图案与预先确定的命令之间的关系包括把可解释的图案与一系列的预先确定的图案进行比较。
19.权利要求18中的方法，其中可解释的图案与预先确定的命令建立关联时还进一步包括从一系列的预先确定的图案中选择一个最佳匹配的预先确定图案。
20.权利要求19中的方法，此外还包括执行与最佳匹配的预先确定图案相关联的预定命令。
全文摘要
一种显示设备(10)，包括一个配置的光引擎能将一个图像(22)投射到一个显示面(16)上，一个图像传感器(24)配置用于捕捉一个比投影图像(30)大一些的演示图像，还有一个处理器(34)，与图像传感器相耦合，配置用于根据捕捉到的图像来改变投影图像。
文档编号G06F3/01GK1517779SQ20031011834
公开日2004年8月4日 申请日期2003年11月21日 优先权日2003年1月21日
发明者C·A·奥尔布里希, C A 奥尔布里希 申请人:惠普开发有限公司