专利名称：为获得智能屏幕能力以及其它方面的增强在投影仪平台中ccd相机的使用的制作方法
为获fft會辦幕能力以及其它方面的增强在,仪平台中CCD相机的1M 5技术领域0001所公开的实施方式涉及光学投影装置，且更具体地涉及将图像传感器连同输入装置一起与光学投影装置相结合，以获得智能屏幕能力 和其它方面的增强。10背景技术0002在市场中和进行买卖时，光学投影装置比如商用投影仪被用于 给客户和消费者作展示。如果客户或者消费者本身不在现场而不能够看 至'J，则展示或演示可以被记录用于将来的重放，但是这种展示的记录需 要另外的记录设备。此外，展示者可能需要进一步解释他或她的展示， 15这经常是通过将演示内容记述在白板或黑板上进行的。发明内容0003
一种图像捕获装置，比如电荷耦合器件(CCD)相机或者互补 金属氧化物半导体(CMOS)图像传感器，可以集成或整合到正投影装置 20或背投影装置中，比如商务投影仪或者高清晰度电视(HDTV)。在一个 实施方式中，输入装置比如激光指示器可以与所整合的装置一起使用， 以使能和利于交互式展示。激光指示器可以被脉动调制(pulsed)以改进 对投影的图像上激光斑的识别和追踪。在另一实施方式中，应用可以扩 展到背投影系统用于游戏和交互式制图技术。2
0004图l图解说明了结合在光学投影装置中的图像传感器；0005图2图解说明了所结合的光学捕获/投影装置的组件的电路框图；0006图3图解说明了与输入装置耦合的所结合的光学捕获/投影装置; 300007图4图解说明了改进的输入装置；以及0008图5图解说明了背投影应用中的所结合的光学捕获/投影装置。
具体实施方式
0009图1图解说明了具有投影仪102的光学投影系统100，该系统用于 5通过投影透镜104将图像108投影到屏幕110上。图像108也可以是幻灯片 展示或者视频。在这个系统100屮还包括图像捕获装置106，比如电荷耦 合器件(CCD)相机或者互补金属氧化物半导体(CMOS)图像传感器。 图像捕获装置106可以嵌入在投影仪102中。本发明公开的实施方式将 CCD成像相机106并入到投影仪102中，用于在正投影系统100中监视投影10的图像108。 CCD相机106通过在投影仪102中的但是在现有的投影透镜 104圆周之外的小孔而表现为小透镜或者针孔成像(如图l中所图解说明 的)形式。可替代地，CCD相机106可以与投影透镜104共用相同的光路。 例如，如果现有投影透镜104的下半区是未使用的(许多使用非远心光学 元件的桌面投影仪有时是这种情形)，那么CCD相机106可以使用现有投15影透镜104的下半区作为其成像光路的一部分。0010将CCD相机106与投影仪102相结合提供了若干增值的功能。相 杉U06可以估算投影仪102和带有环境光感测的显示屏110之间的距离，并 且降低灯功率以便延长灯的寿命和减少热量。这还可以通过査看投影图 像108的表观尺寸来实现，投影图像108是通过在相机106中的图像处理而20获得的。例如，相机106中的图像108越小，屏幕110就越远。这种技术还 可以与环境光感测相结合以测定灯功率的降低量。另外，CCD相机106还 可以根据需要来监视和校正图像108的亮度或者均衡色彩/强度以弥补灯 的老化。色彩/强度校正可以通过升高白标准或特定色阶来实现。当光源 需要更换时，投影仪102还可以向使用者发出警示或警告。20011图2是电路框图，其图解说明了一些电子处理部分和图像捕获硬 件/软件。电子电路比如电子处理部分(processing electronics" 14和硬件传 感器112与投影仪102相结合。硬件传感器112可以与CCD相机106相结合 并嵌入在投影仪102中以提供环境光感测，并且监视所显示图像108的亮 度并均衡其色彩/强度。根据来自硬件传感器112的读数和检测，硬件传感30器112可以是电子处理部分114，其调节投影仪102中的光源以延长灯寿命并降低整体投影系统100的发热。因此，当光源需要被更换时，电子处理 部分114还可以发射或者引起发射音频或可视信号116来警示或警告使斤J 者。另外，硬件传感器112和电子处理部分114可以具有实时图像处理能 力(即，实吋地显示、捕获、处理、调节或者补偿图像108) 0012图3图解说明了另一种实施方式，其中在投影仪102中所结合的 CCD相机106可以检测来自于输入装置118的记号120并提供"智能屏幕 (smart screen)"能力。输入装置l 18可以是激光指示器，且记号120可 以是激光斑。在这个实施方式中，激光斑120的位置可以被检测并用作系 统100的输入，由此使能了通常由计算机鼠标执行的各种功能，而不需要10系统100和激光指示器118之间的任何电气通信。使用者可以如同在使用 鼠标一样，将激光指示器U8指向投影在屏幕110上的应用软件的动作图 标/在所述图标上点击激光指示器118 (例如，PowerPoint具有箭头图标， 你可以点击盖图标以进到下一张幻灯片)。通过改变激光指示器118来调 整它的输出(例如，在开/关状态之间切换)，通过按指示器118上的按钮，15此调整也可以被系统100检测到，并且可以有效地起到与典型的计算机鼠 标输入装置的点击功能性相类似的"点击"功能性。而且，这种方法还 具有不需要从指示器118到系统100的电连接与电气通信的优点。0013可以提供实时图像处理能力，比如通过数字信号处理器(DSP) 检测来自激光指示器118的激光斑120的移动。这样的处理能力可以由如20前面描述的嵌入到投影仪102中的结合或集成的电子处理部分硬件112和 软件114提供。当投影仪102将图像108投影到屏幕110上时，投影屏幕110 起到类似于智能板或电子白板(smart board)的作用。如图4中图解说明 的，展示者可以通过推动第一标准操作按钮122并且将激光斑120投射到 屏幕1I0上，来将激光指示器118用作标准的激光指示器118。另外，激光25指示器118可以被定制为具有第二瞬时接触按钮124，其将以某个频率脉 动或振荡激光指示器118并使其进入"命令模式"。例如，在"命令模式"， 激光指示器118可以以15赫兹脉动(pulsed)。脉动激光指示器118可以和 差分连续帧运动检测技术一起，被进一步用于增强对在屏幕110上的激光 斑120的检观ij/灵敏度，由此使在屏幕110上的激光斑120更加容易被识别和30 追踪。0014如果使用者想要实现"点击"动作，他可以更用力地按压激光 指示器118的按钮124或者增加在按钮124上的压力，之后激光指示器U8 的按钮124以有可感觉的"点击"反馈响应作为响应(非常象传统鼠标键 的"点击"动作)。然后这种动作将闭合开关触点对，之后其将引起激 5光指示器118以大约15赫兹发出脉冲。 一旦确定识别到鼠标点击事件，那 么之后将产生适当的动作。系统100将继续监视和追踪激光斑120在图像 108中的位置，以便之后捕获"拖动"操作，并发送适当的鼠标拖动事件， 所述鼠标拖动事件包含在图像108屮的当前激光斑定位120的X、 Y像素位 置。然后系统将继续监视图像108直到激光斑120停止跳动，之后它在这10里发出左鼠标键点击"中断"事件。通过监控和追踪激光斑120随后的运 动，直到使用者释放激光指示器118上的"鼠标键"，激光指示器118以 这种方式兼作鼠标的角色(可以是"点击"、"拖动"或者"释放")， 由此提供了便携的嵌入式"智能屏幕"能力。之后，随后的"鼠标命令" 可以被显示器或者电视电子部件使用，或者发送到连接的系统，比如个15人计算机或者机顶盒。0015另外，在激光斑120的"追踪"以捕捉"拖动"操作的期间，图 像108的锁定的区域可以被放大，以降低实时处理的系统操作量。其原因 在于一旦激光指示器118已经被识别为在命令模式，并且在图像108内激 光指示器点120的位置已经被识别，那么从一个已获得的CCD帧到下一个20已获得的帧，在其位置上将存在最低限度的变化。因为分析用于鼠标移 动的图像108是密集型处理操作，所以把分析限制在更小的部分(比如在 图像108上放大)可以使密集型处理操作减到最少。0016在另一个实施方式中，激光指示器118的脉冲发送电路和/或频率 可以在房间的交流配线和CCD相机106的帧速率之间被同步。可替代地，25借助于安装在激光指示器118内的小型光学传感器(未显示)，激光指示 器118的脉冲发送电路可以与投影仪102帧速率同步，所述小型光学传感 器用于感测由投影仪屏幕110产生的环境光的闪烁率。在又一实施方式 中，投影仪102内的小型无线发射机与激光指示器l 18内的小型无线接收 机(未显示)相结合，可以允许投影仪102向激光指示器118发送同步信30号。在这些情况下，不管是依赖于外界60赫兹的交流场、投影仪光闪烁还是无线信号，同步信号都将驱动激光指示器118中的锁相环电路(该锁 相环电路将提供精确的锁相同步信号)，使得激光指示器118可以与投影 仪102禾n/或相机106帧速率严格同步地、随意地发出脉冲。0017如上而所描述的脉冲激光的帧差可以增强图像检测和灵敏度。 5视频处理器(未显示)将对连续帧作常规的分析以检测在15赫兹脉动的 图像区域108，且由此能够一幵始就检测到脉动的激光斑120的存在。使 用相对缓慢的15赫兹频率将保证在全部帧呈现期间，不论激光指示器118 是"开"还是"关"，在来自图像108的任意两个相继捕获的帧(以典型 的30赫兹帧每秒)之内，这些帧的至少之一将以某种方式捕获激光斑120。10相机106的帧速率与投影仪102的帧速率相同步不是必要的。检测到有15 赫兹脉动的激光指示器118存在的方法是相继减去顺序获得的帧(对像素 强度逐个像素地作减法，并且找到这种"差别"图像的绝对值)，之后 寻找突出转换的突变(与脉动的激光指示器118的上升和下降相联系)。 另外，帧差技术可以与密切相关的同步检测技术相结合以提高灵敏度并15降低噪声。在激光指示器斑120不容易被观察到的情况下，所结合的技术 要求硬件传感器112和电子处理部分114将鼠标指针叠加在图像108上，以 将音频/视频信号反馈116提供给使用者。0018在另一实施方式中，脉冲激光指示器118可以使用时间编码信号。 多种时序模式和脉冲可以对应于计算机"鼠标"的动作而产生。例如， 20 "鼠标键按下"、"鼠标键保持"、"鼠标键抬起"事件可以用激光指 示器118的单个按钮(122或者124)来实现。当你首先推动"鼠标键按下" 时，它以频率f,发出脉冲列序列。在保持"鼠标键按下"之后，它自动地 将脉冲频率改变为第二频率f2，其表示按钮处于保持按下的状态。当按钮 (122或124)被释放，它以频率f3发出表示鼠标键已经被释放的短脉冲群。25变化的频率使识别不同的事件更加容易。激光指示器118还可以具有另外 的按钮(未显示)，其发出其他频率或者其他特殊编码的时间模式。0019上面描述的实施方式可以用于背投影系统200，即用于游戏(射 击类型游戏)、交互式制图或者互联网冲浪等的背投影电视(RPTV)或 者高清晰度电视(HDTV)。图5图解说明了用于背投影系统200的集成的30光学捕获/投影装置，通常从RPTV或者HDTV202开始。在电视202中存在与CCD相机106相结合的光学投影装置102。当光学投影装置102可以通过 折叠反射镜204将图像投影到屏幕110上的过程中，CCD相机106可以从屏 幕110记录并捕获图像。因此，如上面论述的，激光斑120也可以从激光 指示器118投影到屏幕110上。在背投影应用200中，因为屏幕的半透明性， 5激光斑120可以穿过电视屏幕110。因此，激光斑120可以被CCD相机106 识别、记录和捕获，并且信息可以被与前面描述的相类似的电子处理部 分处理。另外，可能需要其他的光学元件(未显示)来利于屏幕110上图 像的捕获和投影。
0020这里所公开的实施方式仅仅是说明性而非限制性的。本领域普 io通技术人员将意识到许多其他的实施方式、以及所描述的示例性实施方 式的变化存在于本发明所要求保护的范围中。
权利要求
1.光学投影和捕获装置，其包括投影装置，其可用于将第一图像投影在屏幕上；图像传感器，其可用于从所述屏幕捕获第二图像；和输入装置，其可用于产生被投影到所述屏幕上的定向输出光，其中所述定向输出光的频率脉动利于识别和追踪所述屏幕上的所述定向输出光，且其中所述定向输出光在所述图像传感器中被接收和检测。
2.根据权利要求1所述的装置，其中所述投影装置可用于穿过所述屏幕投影所述第一图像，以在所述屏幕 的前面观看；所述图像传感器可用于在屏幕上捕获来自于所述屏幕背部的所述第二 图像；以及 所述输入装置可用于在所述屏幕的前面以及在所述屏幕的背面产生记 号，其中所述记号被图像传感器检测。
3.根据权利要求1或2所述的装置，其中所述输入装置是激光指示器。
4.根据权利要求1或2所述的装置，其中所述输入装置的所述频率脉动是大约15赫兹。
5. 根据权利要求1或2所述的装置，其中所述输入装置的所述频率脉 动与所述投影装置的所述第一图像或者与所述图像传感器的所述第二图像25相同步。
6. 根据权利要求1或2所述的装置，其中所述定向输出光被进一步调 帝U，以向耦合至所述图像传感器的电子处理电路提供命令。
7.根据权利要求1或2所述的装置，其中所述输入装置的所述频率脉动包括时间编码的信号和振荡。
8. 光学背投影和捕获装置，其包括-投影装置，其可用于穿过屏幕投影第一图像，以在所述屏幕的前面观 看.图像传感器，其可用于在所述屏幕上捕获来自于所述屏幕背面的第二图像；以及输入装置，其可用于在所述屏幕的前面以及穿过并在所述屏幕的后而 产生记号，其屮所述记号被图像传感器检测。
9. 光学投影和捕获的方法，其包括将第一图像投影在屏幕上；在所述屏幕上产生定向输出光，所述光具有频率脉动；以及 响应于所述定向输出光的所述频率脉动，使用图像传感器识别和追踪 15在所述屏幕上的所述定向输出光。
10.根据权利要求9所述的方法，其中所述定向输出光被进一步调制， 以向耦合至所述图像传感器的电子处理电路提供命令。
全文摘要
本发明提供光学投影和捕获系统(100)，其具有与光学投影装置(102)相结合的图像传感器。另外，所结合的装置可以与激光指示器相耦合用以作交互式展示。激光指示器可以被脉动调制以改进对投影图像(108)上的激光斑的识别和追踪。这些应用可以扩展到用于游戏和交互式制图的背投影系统。
文档编号G03B21/00GK101238409SQ200680028614
公开日2008年8月6日 申请日期2006年8月3日 优先权日2005年8月4日
发明者D·J·梅尔 申请人:德克萨斯仪器股份有限公司