基于视觉的交互式投影系统的制作方法
【专利摘要】本发明提供改进用户与投影系统之间的交互的技术。使用投影系统和/或方法推断用户是否正触摸显示屏。在一个实施例中，所述投影系统包含：投影光学元件、前光、后光和相机。这些元件可全部内嵌在共用外壳中。所述前光经配置以照明所述显示屏前方的区，使得在所述屏幕上方停悬的对象(例如，指尖)实质上不会被所述相机在照明期间俘获的图像中的阴影所围绕。所述后光经配置以照明所述显示屏，使得在所述屏幕上方停悬的所述对象被所述相机在照明期间俘获的图像中的阴影所围绕。所述相机经配置以在所述前光照明期间使所述屏幕成像(以产生第一图像)，且进一步在所述后光照明期间使所述屏幕成像(以产生第二图像)。可至少部分基于所述第一图像估计所述对象的位置。关于对象的状态的推断至少部分基于所述第二图像(例如，通过表征区中的像素上的亮度变化和/或识别所述区中的极值为亮还是暗)。举例来说，可推断所述对象：(1)在所述对象顶部周围的区由相对小的亮度变化表征时正接近所述屏幕；(2)在所述亮度变化较大且所述区包含(由阴影引起的)暗极值时正悬停在所述屏幕上方；以及(3)在所述亮度变化较大且所述区包含亮极值时正触摸所述屏幕。
【专利说明】基于视觉的交互式投影系统
[0001]相关申请案的交叉参考
[0002]本申请案主张2012年10月4日申请的第13/645，390号美国非临时申请案以及2011年10月7日申请的第61/544,983号美国临时申请案的权益和优先权。这些参考的每一者在此出于所有目的以全文引用的方式并入本文中。
【背景技术】
[0003]投影仪广泛用于学校、商贸会、企业、博物馆以及需要在较大表面上展示屏幕的任何地方。投影仪可耦合到计算机，且可接着将计算机显示投影到屏幕上。用户常常站在屏幕附近，而不是接近计算机。因此，难以协调计算机的操作。可使用外部装置例如在演示时翻动幻灯片。然而，外部装置常常令人困惑且其效用有限。系统允许用户具有与投影系统增加的交互将是有利的。
【发明内容】
[0004]提供改进用户与投影系统之间的交互的技术。在一些实施例中，俘获显示屏前方用户的图像。接着可基于所述图像中的像素上的阴影和/或亮度变化(即，强度)的分析而作出关于用户是否正触摸显示屏的推断。举例来说，可推断所述对象:(I)在所述对象顶部周围的区由相对小亮度变化表征时正接近所述屏幕；(2)在所述亮度变化较大且所述区包含(由阴影引起的)暗极值时正悬停在所述屏幕上方；以及(3)在所述亮度变化较大且所述区包含亮极值时正触摸所述屏幕。
[0005]光可适当布置和配置(例如，在投影系统中)以确保亮度变化适当地与表征用户与屏幕的交互的所要状态相关联。举例来说，一种投影系统可包含:投影光学元件、前光、后光和相机-全部内嵌在共用外壳中。所述前光可经配置以照明所述显示屏前方的区，使得在所述相机照明期间俘获的图像中在所述屏幕上方停悬的对象(例如，指尖)实质上不会被阴影围绕。所述后光可经配置以照明所述显示屏，使得在所述相机照明期间俘获的图像中在所述屏幕上方停悬的所述对象被阴影围绕。所述相机可经配置以在所述前光照明期间使所述屏幕成像(以产生第一图像)，且进一步在所述后光照明期间使所述屏幕成像(以产生第二图像)。可使用所述第一图像来估计所述对象的位置，且可使用所述第二图像来推断对象的状态(例如，通过表征区中的像素上的亮度变化和/或识别所述区中的极值为亮还是暗)。
[0006]在一些实施例中，提供一种方法。可将显示投影到表面上。所述表面附近的区可被照明。可在照明期间俘获表面的图像。可分析图像的至少一部分中的像素上的强度变化。可确定与图像的所述部分相关联的极性。可至少部分基于对所述变化的分析且基于所确定的极性作出关于对象是否正触摸表面的确定。
[0007]在一些实施例中，提供一种投影仪系统。投影光学元件可经配置以在表面上投影显示。光源可经配置以在朝向表面的方向上发射光。相机可经配置以在光发射期间俘获表面的图像。图像分析器可经配置以检测图像的至少一部分中的像素上的强度变化且确定与图像的所述部分相关联的极性。状态检测器可经配置以至少部分基于变化检测和所确定的极性确定对象是否正触摸表面。
[0008]在一些实施例中，提供一种投影仪系统。所述投影仪系统可包含用于将显示投影到表面上的装置，以及用于照明表面附近的区的装置。投影仪系统还可包含用于在照明期间俘获表面的图像的装置，以及用于分析图像的至少一部分中的像素上的强度变化的装置。投影仪系统可进一步包含用于确定与图像的所述部分相关联的极性的装置，以及用于至少部分基于所述分析且基于所确定的极性确定对象是否正触摸表面的装置。
[0009]在一些实施例中，提供一种非暂时性计算机可读媒体。所述媒体可含有指令，所述指令当由处理器执行时可致使所述处理器存取上面投影显示的表面的图像且分析图像的至少一部分中的像素上的强度变化。所述指令当由处理器执行时可进一步致使所述处理器确定与图像的所述部分相关联的极性，且至少部分基于所述变化的分析且基于所确定的极性确定对象是否正触摸表面。
【专利附图】
【附图说明】
[0010]图1展示投影系统100的实施例。
[0011]图2展示定时电路的输入和输出的实例表示。
[0012]图3展示定时电路的一个实施例的示意图。
[0013]图4展示用于推断对象是否正触摸显示屏的方法的实施例。
[0014]图5展示用于估计对象的位置的方法的实施例。
[0015]图6a_6b展示用于确定对象正触摸屏幕的方法的实施例。
[0016]图7展示可在对象接近屏幕时的情形下跟踪变化的状态机的实例。
[0017]图8展示投影系统的实例。
[0018]图9提供计算机系统的一个实施例的示意说明。
[0019]图1Oa-1Oc展示与当后光源正照明场景时手正在屏幕上方停悬的实例情形相关联的图像。
[0020]图1la-1lc展示与当后光源正照明场景时手指正触摸屏幕的实例情形相关联的图像。
【具体实施方式】
[0021]提供改进用户与投影系统之间的交互的技术。在一些实施例中，俘获显示屏前方的用户的图像。接着可基于所述图像中的像素上的阴影和/或亮度变化(即，强度)的分析而作出关于用户是否正触摸显示屏的推断。举例来说，可推断:(I)在所述对象顶部周围的区由相对小亮度变化表征时所述对象正接近屏幕；(2)在所述亮度变化较大且所述区包含(由阴影引起的)暗极值时所述对象正悬停在屏幕上方；以及(3)在亮度变化较大且所述区包含亮极值时所述对象正触摸屏幕。
[0022]光可适当布置和配置(例如，在投影系统中)以确保亮度变化适当地与表征用户与屏幕的交互的所要状态相关联。举例来说，一种投影系统可包含:投影光学元件、前光、后光和相机-全部内嵌在共用外壳中。所述前光可经配置以照明显示屏前方的区，使得在相机照明期间俘获的图像中在屏幕上方停悬的对象(例如，指尖)实质上不会被阴影围绕。所述后光可经配置以照明显示屏，使得在相机照明期间俘获的图像中在屏幕上方停悬的对象被阴影围绕。所述相机可经配置以在前光照明期间使屏幕成像(以产生第一图像)，且进一步在后光照明期间使屏幕成像(以产生第二图像)。可使用第一图像来估计对象的位置，且可使用第二图像来推断对象的状态(例如，通过表征区中的像素上的亮度变化和/或识别所述区中的极值为亮还是暗)。
[0023]图1展示投影系统100的实施例。投影系统可包含投影仪105。投影仪105可经配置以将参考图像投影到屏幕上，借此产生例如投影在显示屏160上的所投影图像。投影仪105还可经配置以投影与应用或程序或计算机的操作的其它方面相关联产生的图像。显示屏160可包含例如白板、下拉式屏幕、墙等。显示屏160可与投影系统100作为一组提供-独立于系统100且可与系统100分离或连接到系统100。显示屏160可具有大体矩形形状且可具有至少约、约或小于约1mm、lcm、10cm、100cm、lm、3m、5m或IOm的对角尺寸。显示屏160可包括至少部分反射的材料。在一些例子中，显示屏160具有至少约1%或10%且/或小于约20%或40%的反射率。尽管本文使用术语“显示屏”，但显示屏不限于为了在上面显示图象而制造的元件或组件。本文使用的显示屏可包括上面可投影光和/或图像的任何表面，例如墙、地板、纸张、窗户，或任何其它方面。在一些实施例中，可通过蒸汽或冷凝产生表面。在一些实施例中，表面包括用户的手、衣服，或与用户相关联的其它元素。
[0024]投影仪105可包含例如短投射(short-throw)投影仪。投影仪105可具有小于约I或小于约0.5的投射比(从投影仪到屏幕的距离除以所投影图像的对角距离)。投影仪105可包含投影仪光学元件，例如投影仪光源105a和镜面105b。在一些实施例中，投影仪105是投影系统100内的独立装置且/或容纳在单一压实外壳内。在其它实施例中，投影仪105表示投影仪光学元件和/或不与投影系统100的其余部分分开容纳的其它投影仪组件的集合。
[0025]投影系统100可包含至少一个前光源110和/或至少一个后光源115，每一者经配置以发射光。所述光源的一者或两者发射的光可能不可见。在一些实施例中，所述光源的一者或两者发射的光包括红外光或由红外光组成。所述光源的一者或两者可包括一个、一个以上组成光源或组成光源的阵列，例如发光二级管(LED)。在一个实施例中，后光源115包括单一光源，且前光源110包括组成光源(例如，LED)的阵列。在一些实施例中，光源包括多个组成光源，其以一密度定位使得从组成光源的集合发射的光呈现为单一光源。
[0026]前光源110可定位在投影仪105和/或投影光学元件105a和105b前方。前光源110可附接到投影仪105的前侧且/或附接到投影仪105的底侧的前部。前光源110可定位在投影仪105与显示屏160之间和/或后光源115与显示屏160之间。在一些实施例中，前光源110定位在投影仪105的前端附近。在一些例子中，显示屏160与前光源110之间的水平分隔小于约1.5米。
[0027]前光源110可经配置以在第一方向上从投影系统100发射光。在一些实施例中，光初始在第一方向上从前光源110发射。在一些实施例中，使用光学元件引导初始光在第一方向上传播。第一方向可包括第一 X分量(例如，在平行于显示屏160且平行于天花板155的方向上)和第一 y分量(例如，在垂直于天花板155、地板或支撑系统100的其它表面的方向上)。
[0028]前光源110和/或与光源相关联的光学元件可经配置使得从所述源发出且退出投影系统的光照明触摸显示屏160的对象(例如，手指、手或其它对象，例如扫描笔、指向装置等)。因此，其可经配置以照明显示屏160正前方的区。用以适当和/或完全照明所关注对象的适当配置可涉及适当设定光源110的例如位置、定向和/或亮度，和/或选择和放置引导从光源110发射的光的光学元件。在一些例子中，触摸显示屏160的对象可反射源自前光源110的在屏幕上镜射且由相机120看到的一些光。如下文阐释，在这些情形中这经常不合需要。因此，前光源110和任何相关联光学元件的亮度、位置和定向可经配置以减小或最小化此镜面效应。
[0029]后光源115可定位在投影仪105后方附近。后光源115可定位在前光源110和/或投影光学元件105a和105b后方。后光源115可附接到投影仪105的后侧和/或附接到投影仪105的底侧的后部。
[0030]后光源115可经配置以在第二方向上从投影系统100发射光。在一些实施例中，光初始在第二方向上从后光源115发射。在一些实施例中，使用光学元件引导初始光在第二方向上传播。第二方向可包括第二X分量和第二y分量。第二X分量与第二y分量的比率可大于第一 X分量与第一 y分量的比率。第二X分量与第二y分量的比率可至少是约
0.25、0.5、1、2或5。前光源110与后光源115之间的水平分隔可至少是约0.1、0.25、0.5、I或2英尺。在一个实施例中，从后光源115发射的光可穿过投影仪105的透镜投影。举例来说，棱镜可沿着后光源115与投影仪105的透镜之间的光学路径定位。
[0031]在一些例子中，触摸显示屏160的对象可反射源自后光源115的镜射在屏幕160上且由相机120看到的一些光。如下文阐释，这在这些情形下经常是合乎需要的。因此，后光源110和任何相关联光学元件的亮度、位置和定向可经配置以产生此镜面效应。
[0032]投影系统100可包含相机120。相机120可附接到投影仪105的底部。相机120可定位在投影仪105前方附近(例如，在投影光学元件105a和105b的前方)。相机120可定位在前光源110与后光源115之间。相机120可经定向以俘获显示屏160的前表面的图像。相机120可包括滤光器，例如红外滤光器，使得其可使显示屏160成像。在一些实施例中，除相机120之外或代替于相机120，系统100包含例如IR传感器等另一类型的光传感器。
[0033]在一些例子中，触摸显示屏160的对象可反射源自光源(110或115)的镜射在屏幕上且由相机120看到的一些光。此镜面效应在一些情形下可能不合需要(例如，当从前光源110发射光时)且在其它情形下可能合乎需要(例如，当从后光源115发射光时)。相机120可经配置(例如，通过设定图像俘获参数，例如快门和增益)以最小化、减小、维持、增强或最大化此镜面效应。在一些例子中，相机配置(例如，参数)依据哪一光源正发射光而改变(例如，以便当前光源110正发射光时减小所述效应，且当后光源115正发射光时增强所述效应)。在一些例子中，相机配置在各种条件下保持恒定，且例如比如配置光源的位置、功率和/或定向等其它策略可实现所要的状态特定镜面效应。
[0034]投影系统100可包含定时电路125。定时电路125可耦合到前光源110和后光源115的一者或两者。定时电路125可例如通过发送开/关信号而控制何时一个或两个光源发射光，所述开/关信号可控制供应到每一光源的功率。定时电路125可接收来自相机120的输入。因此，举例来说，定时电路125可在相机正要开始或即将开始使显示屏160成像时得到通知。定时电路125可经配置以确保同一时间光源110和115的仅一者正发射光，且/或使得在相机120正使显示屏160成像的时间间隔(即，帧)期间至少一个光源110和/或115正发射光。
[0035]在一些例子中，定时电路125将交替开/关信号发送到光源110和115。举例来说，在接收到相机正使第一帧成像的信号后，定时电路125可即刻将开信号发送到前光源110。在接收到第一成像帧完成的信号后，定时电路可即刻将关信号发送到前光源。可与第二成像帧相关联在类似时间将类似信号发送到后光源115。图2展示表示此实施例的信号。顶部迹线表示由定时电路125从相机120接收的相机信号。中间迹线表示经发送以控制前光源的光发射的定时电路的第一输出。底部迹线表不经发送以控制后光源的光发射的定时电路的第二输出。因此，在此实施例中，在每一相机巾贞期间，从光源110和115的一者(但仅一者)发射光。
[0036]定时电路125可包含多种定时电路的任一者。定时电路125可包含例如一个或一个以上集成电路、电阻器、晶体管和/或二极管。定时电路125可从例如相机120、时钟和/或处理器接收一个或一个以上输入。定时电路125可包含一个、两个或两个以上输出。图3展示定时电路125的一个实施例的示意图。
[0037]投影系统100可包含外壳130。外壳130的至少一部分或大部分可包含金属或塑料材料。外壳130可至少部分或完全围绕以下各者中的一者、一者以上或全部:投影仪105、前光源110、后光源115、相机120和定时电路125。在一些例子中，外壳130至少部分或完全围绕投影系统100的所有非外壳零件。在一些实施例中，外壳130包含例如底部和/或前部表面中的一个或一个以上透镜(或开口)。这些透镜可允许投影系统100从前光源110、后光源115和/或投影仪光源105a发射光。透镜可进一步允许相机120收集外部图像(例如，在显示屏160处或前方)。在一些实施例中，外壳130包括至少部分透明的一个或一个以上表面。在一些实施例中，以下各者中的一者、一者以上或全部可在不包含外壳的配置中直接或间接机械耦合在一起:投影仪105、前光源110、后光源115、相机120和定时电路125。举例来说，所有这些元件可紧固到开放框架。术语外壳用于描述不仅封围或部分封围的实施例，而且描述其中元件开放或松散地机械耦合的实施例。
[0038]如下文更详细描述，投影系统100还可包含例如存储装置、处理器和/或计算机。在一些实施例中，投影系统100包含用以将数据(例如，来自相机120)发射到外部存储装置、处理器和/或计算机的发射器。投影系统100还可包含用以接收数据(例如，来自时钟、外部计算机或用户控制的装置)的接收器。存储装置、处理器、计算机、发射器和接收器的一者、一者以上或全部可部分或完全封围在上文论述的外壳中或以其它方式机械耦合到上文论述的元件的一者或全部。
[0039]系统100或其部分可包括自含式单元，其可为便携式的或可以其它方式配置为集成电路(例如，当由上文论述的外壳封围时)。在一些实施例中，可使用系统100在几乎任何表面上建立触摸屏。因此，系统100可被携带到多种或任何位置且用于例如相对于会议室中的墙或在桌子上建立基于触摸的计算机系统。在一些方面中，系统100被集成到例如智能电话等移动装置中，且可配置为微投影仪。在一些方面中，前光源110和后光源115可除朝向系统100的前部和后部对准之外或代替于此而彼此并排或堆叠安置。
[0040]图4展示用于推断对象是否正触摸显示屏160的方法400的实施例。在405处，将参考图像(或换句话说，显示)投影(例如，通过投影仪105)到显示屏160上。参考图像可例如为存储在耦合到投影系统100的计算机上且/或由计算机发射的数字图像。参考图像可包含例如演示幻灯片、文档、桌面、用户界面、图片、动画等。过程400进行到框410还是框430取决于当前时间步长。在一些例子中，过程400初始始终进行到框410和425的一者(例如，始终在框430之前执行框410)。在一些例子中，过程400取决于绝对时间。
[0041]在410处，照明显示屏160附近的第一区(例如，通过前光源110)。第一区可包括在显示屏160正前方的区或由此区组成。举例来说，所述照明可经配置使得:如果用户、用户的手和/或用户的手指定位在投影系统100与显示屏160之间且触摸显示屏160，则用户的手指将可能被照明。在一些实施例中，照明的方向和亮度可经配置使得在415处俘获的图像中，存在极少或无阴影围绕第一区中的对象。所述照明可包括通过不可见光的照明。此第一区照明可补充经发射以投影参考图像(在400中)(其将包含可见光的发射)的光。
[0042]在415处，俘获第一区的第一图像。第一图像可由单一相机(例如，相机120)或一组相机俘获。在一些例子中，所述俘获相机至少部分被封围在投影系统100的共用外部外壳内。第一图像可在第一区正被照明的同时俘获。在一些例子中，举例来说，相机120的快门在与第一区正被照明的时间周期大体相同的时间周期期间打开。打开快门持续更长时间周期可能损害图像质量，且打开快门持续更短时间周期可能浪费对照明第一区的光源供电所需的电力。所俘获的图像可包含二维数字图像。所俘获的图像可包含显示屏160的一部分或全部。
[0043]在420处，估计所关注对象的位置。所述位置可包括对象的位置或顶部、对象的阴影的顶部，或对象上方的明亮区域(基于对象与屏幕之间的接触产生)。所述位置可包括二维位置，包括X和I坐标。X和I轴可为与同显示屏160相关联的第二图像或轴相关联的轴。在一个例子中，所述位置包括将仅在对象正触摸显示屏160的情况下准确反映对象的位置的坐标。在一些例子中，所述位置包括三维位置。举例来说，所述位置可基于同时俘获的一组第一图像来估计，或可使用计算机视觉技术估计图像的z坐标。
[0044]所述估计可至少部分基于第一图像作出，使得第一图像中的对象可由极少阴影围绕或无阴影围绕。因此，在一些实施例中，可相对容易地识别例如指尖，甚至不管对象与显示屏160的接近度或接触情况如何。位置识别技术可包含例如计算机视觉技术(例如，特征检测、边缘检测等)。举例来说，对象的边缘可用于识别对象的位置。
[0045]如果已执行其它分析以允许评估对象是否正触摸屏幕，那么过程400可继续到425，在此处，允许所投影图像与对象之间的交互。所述交互可取决于所估计的位置(例如，允许用户选择或移动在所估计位置处投影的图标)以及对象是否正触摸屏幕的确定，或取决于所估计位置或触摸确定的仅一者。在所允许交互之后或如果关于对象是否正触摸屏幕的评估尚不可能作出，那么过程400返回到框405，在此处，参考图像继续投影或刷新。在一些实施例中，参考图像的刷新率与方法400无关。
[0046]过程400可接着继续到框430，在此处照明(例如，通过后光源115)显示屏160附近的第二区。第二区可包括显示屏160的前表面和/或显示屏正前方的区，或由其组成。举例来说，所述照明可经配置使得如果用户站在投影系统100与显示屏160之间且触摸显示屏160或将他的手指停悬在屏幕160附近则用户的手将可能被照明。在一些实施例中，照明的方向和亮度可经配置使得在435处俘获的图像中，如果对象不在触摸显示屏160则第二区中的对象周围存在阴影或主导阴影。所述照明可包括通过不可见光进行的照明。此第二区照明可除经发射以投影参考图像(在400中)(其将包含可见光的发射)的光之外另外添加。
[0047]如图所示，第一区和第二区可在不同且可能非重叠时间周期期间照明。定时电路125可控制在期间照明一个或两个区的时间周期。第一和第二区还可包括例如基于照明所述区的光源的不同位置的不同空间区。尽管如此，第一和第二区可重叠(例如，两者可在无用户在屏幕前方时照明显示屏160的全部或一部分)。
[0048]在435处，俘获第二区的第二图像。第二图像可由单一相机(例如，相机120)或一组相机俘获。在一些例子中，所述俘获相机至少部分封围在投影系统100的共用外部外壳内。第一和第二图像可由相同相机(例如，投影系统100内部的单一相机)或相同组的相机俘获。第一和第二图像可来自同一视角。第二图像可在第二区正被照明时俘获。在一些例子中，举例来说，相机120 的快门在与第二区正被照明的时间周期大体相同的时间周期期间打开。所俘获的图像可包含二维数字图像。所俘获的图像可包含显示屏160的一部分或全部。
[0049]第一和第二图像可具有大体类似或相同视角。在一个实施例中，单一成像装置以大体类似或相同方式俘获两个图像，唯一的差别是俘获图像的时间。在一些实施例中，第二图像在第一图像被俘获之后小于约1、0.5,0.1或0.05秒被俘获。
[0050]在440处，作出对象是否正触摸显示屏160的推断。举例来说，在定位所关注对象之后，可在第二图像中分析位置周围的区以评估对象周围的任何阴影。所述推断可至少部分、主要或完全基于第二图像而作出。举例来说，如果对象(例如，指尖)未由阴影围绕，那么可推断对象正触摸显示屏160。在一些例子中，所述推断涉及评估二元询问，例如:对象是否正触摸屏幕160 ?在其它例子中，询问涉及两个以上可能结果，例如:对象远离屏幕160、接近屏幕160还是正触摸屏幕160，或者对象的什么部分正触摸屏幕160 (例如，基于对象的一部分被极少阴影围绕或无阴影围绕而确定)？在一些实施例中，可确定对象是否正停悬在屏幕附近，例如在屏幕的阈值距离内和/或持续阈值时间量。
[0051]在425处，如果推断对象正触摸屏幕，那么可允许所投影图像与对象之间的交互。举例来说，用户可能够选择程序，行进穿过显示，突出显示所显示屏幕的部分，使用所显示的用户界面将输入提供到程序中等。在一些例子中，当推断对象正触摸屏幕时，对象(例如，用户的指尖)可实质上充当计算机鼠标。在一些例子中，当推断对象正触摸屏幕时，显示屏160实质上充当跟踪板。举例来说，对象的位置的估计和屏幕接触的推断可允许推断对象是否正触摸屏幕、轻敲屏幕、沿着屏幕拖拽，和/或从屏幕移除。程序可使对象动作与特定命令(例如，选择程序、改变视图等)相关联。
[0052]可重复图4中描绘的方法的任何部分。举例来说，当投影单一参考图像或一组参考图像时，可重复照明(例如，在不同时间周期期间)第一和第二图像。可重复俘获图像。还可重复作出关于对象位置的估计和关于其是否正触摸屏幕160的推断。图4中指示重复的动作的箭头仅为实例。应理解，所述方法可包含不同重复。此外，将理解，例如过程400可包含在执行框430-440之前执行框410-420，或相反。
[0053]图5展示用于估计对象的位置(例如，如在图4的430中)的方法500的实施例。在505处，获得一个或一个以上背景图像。背景图像可大体类似于第一图像和/或类似于第二图像(例如，图4的415中俘获的第一图像)，只是在背景图像中无对象。举例来说，可使用具有相同设定的相同相机从同一视角且/或以如第一/第二图像的俘获期间呈现的大体类似的照明俘获背景图像。在一个例子中，以与用于或将可能用于俘获第一图像的条件类似的条件(例如，设定、视角、照明等)俘获第一背景图像。可以与用于或将用于俘获第二图像的条件类似的条件(例如，设定、视角、照明等)俘获第二背景图像。
[0054]背景图像可能已在不存在对象时在控制条件期间俘获。背景图像可能已经特定俘获以充当控制(例如，在已指示用户准备用于图像的俘获的场景之后)，或其可能已在用户不了解的情况下取得。举例来说，投影系统100可从单一视角重复使场景成像。例如确定亮度可变性或评估连续图像上是否存在任何超出阈值差(例如，像素成对强度的绝对差的累积和，所述和是跨越像素的)等技术可用于识别有可能在屏幕160前方无对象的图像。将了解，当相对于图像的分析使用时，术语亮度、强度和照度可在本文互换使用。
[0055]在510处，基于(例如，相应)背景图像过滤第一和/或第二图像。在一个例子中，基于对应的第一背景图像过滤第一图像，且基于对应的第二景图像过滤第二图像。举例来说，可从第一和/或第二图像的类似图(Ix,y)减除来自背景图像的二维亮度图(Bx,y)。可设定噪声阈值ε，使得在第一和/或第二图像与背景图像之间的差超过阈值的像素处，经过滤的图像仅包含非零值。此过程可表示如下:
[0056]
【权利要求】
1.一种方法，其包括: 将显示投影到表面上； 照明所述表面附近的区； 在所述照明期间俘获所述表面的图像； 分析所述图像的至少一部分中的像素上的强度变化； 确定与所述图像的所述部分相关联的极性；以及 至少部分基于对所述变化的所述分析且基于所述所确定的极性确定对象是否正触摸所述表面。
2.根据权利要求1所述的方法，其中所述至少一部分包括所述对象的至少一部分的所估计位置周围的区。
3.根据权利要求1所述的方法，其中所述分析所述强度变化包括计算所述强度的一个或一个以上标准偏差。
4.根据权利要求1所述的方法，其中所述分析所述强度变化包括计算与所述部分中的非重叠区相关联的多个标准偏差。
5.根据权利要 求4所述的方法，其中所述分析所述强度变化进一步包括对所述多个标准偏差求平均。
6.根据权利要求1所述的方法，其中确定所述极性包括识别所述图像的所述部分中的极值的正负号。
7.根据权利要求1所述的方法，其中确定所述对象正触摸所述表面要求所述所确定的极性为正。
8.根据权利要求1所述的方法，其进一步包括: 照明所述表面附近的前部区； 在所述前部区的所述照明期间俘获所述表面的减少阴影图像；以及 基于所述减少阴影图像识别与所述对象相关联的位置， 其中所述前部区照明经配置以使所述减少阴影图像中与停悬在所述表面附近的对象相关联的阴影最小化。
9.根据权利要求8所述的方法，其进一步包括在照明所述前部区之前停止照明所述区。
10.根据权利要求1所述的方法，其中实质上封围的投影装置投影所述显示、照明所述区，且俘获所述图像。
11.一种投影仪系统，其包括: 投影光学元件，其经配置以在表面上投影显示； 光源，其经配置以在朝向所述表面的方向上发射光； 相机，其经配置以在所述光发射期间俘获所述表面的图像； 图像分析器，其经配置以检测所述图像的至少一部分中的像素上的强度变化且确定与所述图像的所述部分相关联的极性；以及 状态检测器，其经配置以至少部分基于所述变化检测和所述所确定的极性确定对象是否正触摸所述表面。
12.根据权利要求11所述的投影仪系统，其中所述图像分析器进一步经配置以估计与所述对象相关联的位置。
13.根据权利要求12所述的投影仪系统，其中所述图像的所述部分包括所述所估计位置周围的区。
14.根据权利要求11所述的投影仪系统，其中所述图像分析器进一步经配置以识别与所述图像的至少所述部分相关联的强度的多个标准偏差。
15.根据权利要求11所述的投影仪系统，其进一步包括: 第二光源，其经配置以在朝向所述表面的第二方向上发射光，所述第二方向不同于所述方向；以及 位置检测器，其经配置以基于所述相机在所述第二光的光发射期间俘获的图像而检测所述对象的位置。
16.根据权利要求11所述的投影仪系统，其中所述极性的所述确定包括识别所述图像的所述部分中的极值的正负号。
17.根据权利要求11所述的投影仪系统，其进一步包括程序交互器，所述程序交互器经配置以在 确定所述对象正触摸所述表面后即刻允许所述对象与所述表面上正显示的程序交互。
18.根据权利要求11所述的投影仪系统，其进一步包括图像预处理器，所述图像预处理器经配置以至少部分基于一个或一个以上控制图像过滤所述图像。
19.根据权利要求11所述的投影仪系统，其进一步包括定时电路，所述定时电路耦合到所述相机和所述光源，所述定时电路经配置以协调所述光源发射光的时间和所述相机俘获图像的时间。
20.一种投影系统，其包括: 用于将显示投影到表面上的装置； 用于照明所述表面附近的区的装置； 用于在所述照明期间俘获所述表面的图像的装置； 用于分析所述图像的至少一部分中的像素上的强度变化的装置； 用于确定与所述图像的所述部分相关联的极性的装置；以及 用于至少部分基于所述分析且基于所述所确定的极性确定对象是否正触摸所述表面的装置。
21.根据权利要求20所述的投影系统，其中所述至少一部分包括所述对象的至少一部分的所估计位置周围的区。
22.根据权利要求20所述的投影系统，其中所述用于分析所述强度变化的装置包括用于计算所述强度的一个或一个以上标准偏差的装置。
23.根据权利要求20所述的投影系统，其中所述用于分析所述强度变化的装置包括用于计算与所述部分中的非重叠区相关联的多个标准偏差的装置。
24.根据权利要求23所述的投影系统，其中所述用于分析所述强度变化的装置进一步包括用于对所述多个标准偏差求平均的装置。
25.根据权利要求20所述的投影系统，其中所述用于确定所述极性的装置包括用于识别所述图像的所述部分中的极值的正负号的装置。
26.根据权利要求20所述的投影系统，其中所述用于确定所述对象正触摸所述表面的装置包括用于实行所述所确定的极性在阈值以上的要求的装置。
27.根据权利要求20所述的投影系统，其进一步包括: 用于照明所述表面附近的前部区的装置； 用于在所述前部区的所述照明期间俘获所述表面的减少阴影图像的装置；以及 用于基于所述减少阴影图像识别与所述对象相关联的位置的装置， 其中所述前部区照明经配置以使所述减少阴影图像中与停悬在所述表面附近的对象相关联的阴影最小化。
28.根据权利要求27所述的投影系统，其进一步包括用于在照明所述前部区之前停止照明所述区的装置。
29.根据权利要求20所述的投影系统，其中实质上封围的投影装置包含所述用于投影所述显示的装置、所述用于照明所述区的装置，以及所述用于俘获所述图像的装置。
30.一种非暂时性计算机可读媒体，其含有当由处理器执行时致使所述处理器执行以下步骤的指令: 存取上面投影显 示的表面的图像； 分析所述图像的至少一部分中的像素上的强度变化； 确定与所述图像的所述部分相关联的极性；以及 至少部分基于所述变化的所述分析且基于所述所确定的极性确定对象是否正触摸所述表面。
31.根据权利要求30所述的计算机可读媒体，其中确定所述极性包括识别所述图像的所述部分中的极值的正负号。
32.根据权利要求30所述的计算机可读媒体，其中确定所述对象正触摸所述表面要求所述所确定的极性为正。
33.根据权利要求30所述的计算机可读媒体，其中所述分析所述强度变化包括计算所述强度的一个或一个以上标准偏差。
【文档编号】G06F3/042GK103999025SQ201280055307
【公开日】2014年8月20日 申请日期:2012年10月5日 优先权日:2011年10月7日
【发明者】阿提德·沙梅 申请人:高通股份有限公司