与具有半透明表面的屏幕一起使用的用户输入装置、系统、方法以及计算机程序的制作方法

专利名称：与具有半透明表面的屏幕一起使用的用户输入装置、系统、方法以及计算机程序的制作方法
技术领域：
本发明的教导一般地涉及用户界面(ui)系统与设备，更具体地说，
涉及采用触4莫屏的UI系统，并且更具体地说，涉及使用半透明屏幕或面板 的UI触拔笄系统。
背景技术：
半透明面板是一种理想类型的输入面板或屏幕。例如，可以参考
Rekimoto等人的US 6, 414, 672 B2， "Information Input Apparatus (信 息输入装置)"。
通常，用于制造触摸屏的传统技术依靠在所述屏幕上覆盖一层或多层 电敏玻璃。然而，由于恶意破坏和其他因素的可能性，该方法不适合于如 商店店面之类的户外显示，此外该方法当用在大屏幕上时还很昂贵。
另一种方法向屏幕的一侧提供光发射器，如LED或类似设备，并且向 屏幕的相对侧提供光敏元件。通过特定LED发出的光的阻挡来检测手交互。 然而，该方法的缺点是需要在商店店面的玻璃外提供至少一个LED或光敏 阵列，^吏它们面临恶意-皮坏。
类似地，可以在屏幕的前面安装激光扫描和多普勒雷达来确定用户交 互，这具有同样的缺点。作为实例，可以参考"Sensor Syatems for Interactive Surfaces"(交互表面的传感器系统，J. Paradiso、 K.Hsiao、 J. Strickon、 J. Lif ton以及A. Adler， IBM系统期刊,巻39， 3 & 4号, 2000年10月，892-914页)，以及"The Magic Carpet: Physical Sensing for Immersive Environments'^魔趙沉浸式环境的物理传感，J. Paradiso、
C.Abler、 KY.Hsiao、 M.Reynolds，关于计算系统中的人为因素的CHI，97 ^i义会刊，扩展摘要，ACM出版社，纽约，277-278页(1997 ))。
另 一种与玻璃橱窗一起使用的技术使用麦克风和声音三角测量来确定 用户何时敲击玻璃。在"Passive Acoustic Sensing for Tracking Knocks Atop Large Interactive Displays"(在大型交互显示器上艰J 宗敲击的无 源声学传感，Joseph A. Paradiso、 Chen King Leo、 Nisha Checka、 Kaijen Hsiao, 2002 IEEE国际传感器会议的2002会议记录，巻l，奥兰多，佛罗 里达，6月11-14， 2002年，521-527页)中描述了该方法。该方法的潜在 缺点包括需要将传感器直接接触橱窗并用电线连接它们；以及需要诸如玻 璃之类的硬表面。更具体地说，该方法不适于与软塑料后部投影的屏幕一 起使用。
可以使用摄^^几来借助半透明图傳换测用户交互。如果将摄<|4几放置 在与用户相同的一側，则可以使用传统的计算机现觉姿势识别技术来检测 交互。然而，在此情况下，可能的恶意破坏问题以及在适当位置安装摄像 W艮困难是一个明显的缺点。
优选地将摄^4几放置在半透明表面的后侧，使得可以易于保护揚/fl4^ 不受恶意破坏。然而，在此类情况下，摄像机捕获的用户图像可能非常才莫 糊，从而不允许使用传统的姿势识别技术。在以上所述的Rekimoto等人的 方法中，摄像机以及投影仪需要与IR过滤器配合，并且还需要红外光。该 方法的显著缺点是它不能用于半透明屏幕暴露在大量外界红外光的情形 下，如当商店橱窗暴露于直接的日光时。
还可以参考Claudio S. Pinhanez的共同受让的US 6,431,711 Bl， "MulUple-Surface Display Projector with Interactive Input Capability (具有交互输入能力的多表面显示投影仪)"。

发明内容
根据这些教导的当前优选实施例，克服了前述以及其他问题，并实现 了其他优点。
本发明的实施例提供了 一种信息输入装置、方法以及计算机程序和程
序载体。所述装置包括半透明屏幕；图像捕获设备，所述设备放置为使 所述屏幕的第一侧成像，所述第一侧与在该处发生用户交互的第二侧相对； 以及图像处理器，所述图像处理器连接到所述图像捕获设备的输出，以便 通过从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围 区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。
的系统，所述系统具有放置为使所述屏幕的第一侧成像的图像捕获设备， 所述第一侧与在该处发生用户交互的第二侧相对。所述方法通过检测从所 述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改 变，确定个人在何处以及何时触摸所述区域中的至少一项。
此外，根据本发明的实施例，提供了一种有形地包含机器可读指令的 程序的信号承载介质，所述指令可由数字处理装置执行以完成检测用户输 入的操作。所述操作包括响应于提供具有半透明屏幕的系统，所迷系统具 有放置为4吏所述屏幕的第 一侧成〗象的图像捕获设备，所述第 一侧与在该处 发生用户交互的第二侧相对通过检测从所述屏幕的所述第二侧上^皮触才美 的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时 触摸所述区域中的至少一项。
此外，根据本发明的实施例，提供了一种触摸屏系统，所述系统包括 半透明屏幕；图像捕获设备，所述设备放置为使所述屏幕的第一侧成像， 所述第一侧与在其上用户触摸所述屏幕的第二侧相对；至少一个光源，所 述光源布置为照亮所述屏幕的所述第 一侧并提供所述第 一侧与所述第二侧 之间的照明差异；以及图像处理器，所述图像处理器连接到所述图像捕获 设备的输出，以便通过从所述屏幕的所述第二侧上被触摸的区域发出的光 的强度相对于周围区域的改变，确定个人在何处以及何时触摸所迷区域中 的至少一项。当所述屏幕的所述第二侧上的入射光比所述屏幕的所述第一 侧上的入射光亮时，与所述屏幕接触的点的图傳j皮轮廓化并显得比周围区 域暗，而当所述屏幕的所述第一侧上的入射光比所述屏幕的所述第二侧上
的入射光亮时，与所述屏幕接触的点的图傳4皮加亮并显得比周围区域亮。


当结合附图阅读时，在以下对优选实施例的详细描述中，这些教导的
前述和其他方面将变得更加显而易见，这些附图是 图l是基于触摸的输入装置的简化系统级方块图； 图2示出了在不同的前/后外界光条件下的图像求差处理的结果； 图3是触摸事件检测图像处理过程的一个周期的逻辑流程图。
具体实施例方式
图1示出了用户输入系统10的当前优选实施例在两种输入情形下的基 本结构。输入系统10包括半透明屏幕12,以及放置在屏幕12的第一側12A (此处为方便起见也称为"后"侧)上的图像捕获设备(如视频摄^^L 14 )。 假定用户位于相对于屏幕12的第二侧12B(此处为方侵^见也称为屏幕12 的"前"侧)。为了分别照亮屏幕12的后侧12A和屏幕的前侧12B,安排 了至少一个后光源16和可能至少一个前光源18。假定存在数据处理器20， 数据处理器20具有安排为接收摄像机14的图像数据输出的存储器22。数 据处理器20可以是独立的PC,或是嵌入摄#4^14的处理器，并且它可以 与摄#4几位于一处或远离其放置。摄^^几14与数据处理器20之间的链路 21可以是局部配线，或者它可以包括有线和/或无线连接，并且链路21的 至少一部分可以通过数据通信网络(如因特网)传送。存储器22可以存储 从摄像机14接收的原始图像数据，以及已处理的图像数据，并且还可以存 储计算机程序，所述程序可用于指示数据处理器M执行包含图3中示出并 在以下描迷的逻辑流程图的过程。存储器22可以采取任何适合的形式，并 且可以包括固定的和/或可移动的存储器设备与介质，包括基于半导体和基 于旋转盘的存储器介质。
数据处理器20可以数字化并存储摄像机14捕获的每个帧(如果摄像 机14的输出不是数字输出)。如以下将详细描述的，数据处理器20还通
过在图3示出的处理之后比较两个连续帧来处理影像。尽管屏幕12的一侧 或两侧的光照环境可能存在改变，但是由用户接触屏幕12引起的改变通常 很强并且显示出明确限定的边界。通过使用如阈值处理之类的计算机现觉 技术，使得检测由用户触摸屏幕(直接地或通过使用指针或触笔或某些其 他物体)引起的特性改变成为可能。
屏幕12可以形成例如墙、 1、窗户或家具表面，或者可以是它们的 一部分。屏幕12可以是平的、弯曲的和/或由彼此邻近或彼此分离的多个 表面组成。屏幕12可以包括例如玻璃或聚合物。可以将用户输入的检测与 放置在屏幕12的前、后或非常接近屏幕12的物体关联。
出于说明本发明的当前优选实施例的目的，半透明表面(如屏幕12 的至少一个表面)会传播光，但是将造成光线的充^t射，以防止观察者 感知通过表面看到的物体的清晰图像，同时仍使观察者能够区分通过表面 看到的物体的颜色和轮廓。此处假定屏幕12是"半透明屏幕"，只要它有 至少一个主表面是半透明的。
才艮据本发明的实施例，以及在输入场景或情形A中，假定用户的手没 有触摸屏幕12,具体地说，没有触摸前侧12B。在情形A中，到达摄^^L 14的虚线A1对应于来自揭/fl4/Ll4看到的用户手指的图像的光的主要方向 (A点)。到达半透明屏幕12上的起点的虛线对应于来自前光源(多个) 18的光。在情形A中，在A点处，屏幕的后侧12A上的光是来自前光源(多 个)18的光的总和，由于在此情形中的半透明效应，所述光在屏幕12的 后側12A上向多个方向均匀地散射。而来自后光源(多个)16的光祐岸幕 12反射。因此，在情形A中，摄^4^14获取的与用户手指的位置(A点) 对应的图像包括来自前光源(多个)18 (在此情形中被散射)，以及后光 源(多个)16 HA^射)的作用。
在第二输入场景或情形B中，假定用户的手(例如，用户的食指尖) 触摸了屏幕12的前表面12B。在情形B中，从用户的手指触摸点(B点) 到摄#4^14的线对应于从B点到揭/fl^光圈的光的主要方向。由于用户的 手指接触了半透明屏幕12，所以前光源(多个)18产生的光被手指尖遮挡
并且没有到达屏幕12的前侧表面12B。因此，在情形B中，在B点处，屏 幕12的后侧12A上的光线仅来自后光源(多个)16，并且与从后表面12A 反射的光和由用户手指尖皮M射的光的总和对应。因此，在情形B中， 摄像机14获取的对应于用户手指的位置(B点)的图像仅由于来自后光源 (多个)16的光的反射造成。可以注意到，B点周围没有被用户手指覆盖 的区域中的点具有和A点类似的特性(即，到达摄<,14的光是源自前光 源(多个)18和后光源(多个)16的光)。
通过从摄^^几14坐标系到屏幕12坐标系的转换，可以容易地确定A 点和/或B点在屏幕12上的精确位置。
因此可以理解，本发明的一个方面是一种有形地包含机器可读指令的 程序的信号承栽介质，所述指令可由数字处理装置执行以完成检测用户输 入的操作。所述操作包括响应于提供具有半透明屏幕的系统，所迷系统具 有放置为使所述屏幕的第 一侧成像的图像捕获设备，所述第 一侧与在该处 发生用户交互的第二侧相对通过检测从所述屏幕的所述第二侧上4皮触摸 的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时 触摸所述区域中的至少一项。
图2分别示出了当用户触摸屏幕12时根据前和后投影光源(多个)18 和16之间的差异由摄像机14获取的影像实例。如顶行的图像(用2A表示) 所示，对应于其中前光源(多个)18比后光源(多个)16亮的情形，触摸 屏幕12在接触点上产生了暗区域。由于前光源(多个)18比后光源(多 个)16亮，从前光源(多个)18的影响，所述触摸情形使用户手指的皮肤 在接触点变得模糊。在此情形中，用户的手指只反射来自不如前光源(多 个)18亮的后光源(多个)16的光，从而产生指尖的轮廓化效果。第二较 低行的图像(用2B表示)示出了相反效果，其中后光源(多个)16比前 光源(多个)18亮。在该情形中，当手指触摸屏幕12时，它主要反射来 自后光源(多个)16的光，并且由于后光源(多个)16比前光源(多个) 18亮，对于摄像机14，手指的图像显得更亮。图2的最后(最右侧)列示 出了同一行中两个前述图像之间的绝对差异。如可以容易地看到的，每行
中前述两个图4象之间的最大绝对差异'^出现在前侧表面12B上被用户触 摸的点。
图3示出了描述检测其中用户或多个用户顺序地或同时地触摸屏幕12 的那些情形的方法的 一个周期的逻辑流程图。假定所述逻辑流程图是由图 1的数据处理器20执行的程序代码的表示。所述过程以捕获由摄^^L 14 产生的视频流的一个数字化帧(110)开始(010)。如果摄像机的视频输 出是模拟形式，则优选地在此时数字化所述才莫拟视频信号。在下一个步骤 中，从在之前周期中捕获的帧(100)逐像素地减去所述捕获的帧(120) 以生成差异图像。为了简化以下计算，本发明的非限制性实施例使用每个 像素上的差的绝对值。扫描所述差异图像并且检测具有高值的像素，将它 们一起聚集(130)到存储在计算机存储器22内的数据结构中。如果没有 找到此类聚集(140),所述过程跳到终止，将在下一周期中要使用的当前 帧M (160)为先前帧(100)并结束周期(300 )。如果找到至少一个具 有高差异值的聚集(140)，所述过程分别检查每个检测到的聚集(150)。 对于每个聚集，考虑到当前聚集数据和先前聚集数据(210)之一或二者， 所述过程判定生成触摸事件是否适当(200 )。该评估可以包括，但当然不 限于，确定具有高差异值像素的聚集的大小和确定具有高差异值l象素的聚 集的形状中的一个或多个。如果发现所述聚集适于生成事件，则所述过程 生成检测到触摸事件(220)并将其分配到客户应用或系统。在生成触摸事 件(220 )后，或者如果i^为聚集不适于生成触摸事件(来自(200 )的"否" 路径)，则所述过程保存(230 )聚集数据以供未来周期中使用(210)。 在检查了所有聚集后(150)，所述过程保存在下一周期中务使用的当前帧 (160)并结束当前周期(300 )。
本发明的非限制方面假定通过屏幕12的来自前光源(多个)18的光 照量与皮^U1射的来自后光源(多个)16的光照量不同。否则，计算M 觉系统不能检测所述改变。然而，两种光照水平相同的情形极少出现，并 且可以通过增加前或后光照量来弥补。具体地说，已发现使前光源18比后 光源16亮是优选的。
如在图2的讨论中指出的，如果前侧生成的通过屏幕12的后侧表面 12A的光线量多于从后侧表面反射的后侧光，用户与前侧表面12B的接触 点被轮廓化，产生暗点(行2A)。通过对图像流(例如，以每秒30帧的 速率生成的多个帧)的连续帧求差，数据处理器20能够检测用户触4菱屏幕 12的时间，以及接触的持续时间。注意到在接触瞬间，由于光线差，图《象 中存在明显不连续的改变。在相反情形中，即，当用户手指的皮趺^^射的 后侧光比来自前光源(多个)18的通#面12A的光亮时(行2B)，可以 再次观察到在接触瞬间图像中的明显变化。
在图3中描述的过程中，可以使用相对简单的计算机视觉方法，如称 为图像求差的方法。使用图像求差的一个非限制性优点是所述过程容许用 户相对于屏幕12的前侧表面12B的运动，以及容许环境光照的逐渐改变。 然而，在另一个实施例中，其中除了当用户触摸屏幕时，屏幕12的后侧图 #4艮少改变，可以使用基于背景相减的方法。在该情形中，在其中已知没 有用户交互的情形中(例如，在校准阶段)获取表面的图像。然后将此参 考图像与由摄#^几14数字化的每个帧相比较。当用户触摸表面12B时，在 接触点出现强烈的光照改变(如以上描述的)。在此情况下，可以追踪用 户与屏幕12接触的手的运动，以及检测用户触摸了屏幕12多长时间。类 似的方法可以使用统计技术来緩慢地更新参考图像以适合环境和光照M 的改变。
本发明的其他实施例将屏幕12的半透明表面与投影系统(如幻灯片投 影仪、视频投影仪或照明器材)相结合，将所述表面转换为交互式图形显 示。在此类实施例中，前述操作仍然有效，因为如果前光源18明显地比被 投影的图像亮，则摄H^ 14获取的后侧表面12A的图像本质上不受投影仪 的影响。因此，用户的手的接触点仍然生成数据处理器20视觉系统可检测 的强烈轮廓。然而，如果后侧投影的图像明显地比通it^面12A的前方光 线亮，则可能存在投影图像的改变被错误地识别为用户接触表面12B的情 况。但是，该潜在问题存在解决方案a)可以使交互区域没有投影的图像， 并且指示计算机视觉系统只在这些区域寻找交互；b)可以通过计算机视觉
和模式识别方法(包括统计和基于学习的方法)分析差异模式的形状，并 且只接受与特定种类的用户交互(如用手指触摸)相似的那些形状。在以
上根据图2和3描述的一般情形下，还可以使用此后一种解决方案来改善 检测性能。
在另一个实施例中，多个用户可以同时使用系统IO，或者使用双手交 互。只要合理地分离接触点，图3中描述的过程就可以检测多个与屏幕12 的前侧表面12B接触的区域。
在本发明的另一个实施例中，数据处理器20具备至少一个光传感器 (LS) 24以监视在屏幕12的前侧12B和/或后侧12A处的光源水平，以便 确定两侧之间的光照差异量。通过允许数据处理器20控制后和前光源(多 个)16和18之一或二者的强度以便可以控制亮度差，还可以增强该实施 例。在图1中用从数据处理器20到后光源(多个)16的线26指示此光源 控制。
通常，LS 24可用于确定环境光水平的差异以确保系统10可使用，和
/或作为到图像处理算法的输入(如比例因子或某些其他参数)。优选地， LS 24连接到数据处理器20或某些其他联网设备，使得图像处理算法(多 个)可以获取环境光水平(多个)以自动确定是否有足够的环境光差异以 使系统10以某些期望性能水平操作。优选地，可以存在增加或减少来自半 透明屏幕12的前和/或后侧的光线水平的能力。在该情形下，可以为数据 处理器20提供亮度控制26。优选地，可以以这样的方式一起使用LS 24 和亮度控制26:使得数据处理器20能够改变屏幕12的前或后侧或二侧的 亮度水平。
在另一个实施例中，可以使用带有多个屏幕12和单个摄像机14或投 影仪/摄^4^系统的系统，假定所述系统能够指示摄#4^ 14和/或投影仪注 意每个屏幕12。在该情形中，可以使用单个光源或多个光源顺序地或同时 地照亮多个屏幕12。
基于前述描述，应当理解，在本发明的一个方面中提供了用于具有半 透明表面的屏幕12的输入装置和方法，所述装置和方法使用揭/fl4^ 14和
数据处理器20处理来自摄像机14的图像流。将摄像机14放置在屏幕12 的与系统10的一个或多个用户相对的一侧。因为表面是半透明的，所以用 户和他们的手的图像可能严重模糊。然而，当用户触g面12B时，根据 来自表面的每侧的入射光之间的差异，表面上接触点的图像变得比表面的 其余部分明显地亮或明显地暗。如果用户侧上的入射光比摄像机侧上的亮， 接触点被轮廓化并且因此明显地暗。如果用户侧上的入射光比摄H^侧上 的暗，则用户与表面接触的皮肤反射来自摄像机侧的光，因此接触点明显 地比背景亮。为了检测用户何时触摸表面，可以采用图像求差技术。在该 非限制性情形中，将连续帧彼此相减，使得当用户触摸表面时，阈值处理 机制或运动检测算法可以容易地检测到在接触点处亮度的明显差异。所述 装置和方法容许在屏幕12的不同区域进行多个和同时的交互，只要它们相 互合理地分离。
注意，在本发明的至少一个实施例中，可以只提供后光源(多个)16, 并且前光源(多个)18可以仅由环境光照(例如，白天的日光和晚上的街 灯)来提供。在该情形中，可能期望提供对后光源(多个)亮度的自动控 制26以容许在屏幕12的后侧12B处的光照水平的变化。
还注意到在本发明的至少 一个实施例中，可以使用系统10检测到的用 户输入来控制投影在半透明屏幕12上的影像。
还注意到在本发明的至少一个实施例中，数据处理器20可以使用系统 IO检测到的用户输入来识别特定的身体部位，如手指、手或假肢。
根据本发明的实施例的装置和方法与传统技术相比具有多种优点。例 如，根据本发明的实施例使用放置在屏幕12与用户相对一侧的摄/fl^ 14 捕获的图像。因此，本发明可用于其中想要保护系统硬件(如摄#^14) 不受环境影响的商店店面和类似情形中。与基于声音、激光、多普勒雷达 和LED阵列的传统方法和系统不同，根据本发明的实施例的装置和方法还 允许来自 一个或多个用户的多个和同时的输入。
此外，根据本发明的实施例的装置和方法不需要IR过滤器或特殊光 照。因此，可以实现不那么复杂和昂贵的用户输入系统，并且所述系统可
用于其中屏幕12暴露在大量红外光的那些情形中，如当商店店面暴露在直 接的日光中时。
权利要求
1. 一种信息输入装置，所述装置包括:半透明屏幕；图像捕获设备，所述设备放置为使所述屏幕的第一侧成像，所述第一侧与在该处发生用户交互的第二侧相对；以及图像处理器，所述图像处理器连接到所述图像捕获设备的输出，以便通过从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。
2. 如权利要求l中所述的信息输入装置，其中所述图像处理器使用图 像求差技术。
3. 如权利要求l中所述的信息输入装置，其中所述图像处理器使用背 景相减纟支术。
4. 如权利要求l中所述的信息输入装置，还包括至少一个放置为照亮所述屏幕的所述第 一侧的光源。
5. 如权利要求4中所述的信息输入装置，还包括至少一个放置为照亮 所述屏幕的所述第二侧的光源。
6. 如权利要求l中所述的信息输入装置，其中当所述屏幕的所述第二 侧上的入射光比所述屏幕的所述第一侧上的入射光亮时，与所述屏幕接触 的点的图傳4皮轮廓化并显得比周围区域暗，而当所述屏幕的所述第一侧上 的入射光比所述屏幕的所述第二侧上的入射光亮时，与所述屏幕接触的点 的图像被加亮并显得比周围区域亮。
7. 如权利要求6中所述的信息输入装置，其中所述图像处理器通过将 所述屏幕的所述第 一侧的第 一 图像与所述屏幕的所述第 一侧的第二图傳^目 比较来检测所述接触点的位置。
8. 如权利要求6中所述的信息输入装置，其中所述图像处理器通过将 所述屏幕的所述第 一侧的第 一 图像与所述屏幕的所述第 一侧的第二图像相 比较来检测所述接触的时间。
9. 如权利要求l中所述的信息输入装置，其中存在多个由单个摄^^L顺序地或同时地服务的屏幕。
10. 如权利要求l中所述的信息输入装置，其中所述屏幕布置为显示 由成像设备生成的投影影像。
11. 一种检测用户输入的方法，所述方法包括提供具有半透明屏幕的 系统，所述系统具有放置为使所述屏幕的第一侧成像的图像捕获设备，所 述第一侧与在该处发生用户交互的第二侧相对；所述方法通过检测从所述 屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改 变，确定个人在何处以及何时触摸所述区域中的至少一项。
12. 如权利要求ll中所述的方法，其中检测使用图像求差技术。
13. 如权利要求ll中所述的方法，其中检测使用背景相减技术。
14. 如权利要求ll中所述的方法，还包括提供至少一个放置为照亮所 述屏幕的所述第 一侧的光源。
15. 如权利要求14中所述的方法，还包括提供至少一个放置为照亮所 述屏幕的所述第二侧的额外光源。
16. 如权利要求ll中所述的方法，其中当所述屏幕的所述第二侧上的 入射光比所述屏幕的所述第一侧上的入射光亮时，所述检测检测到与所述 屏幕接触的点的图像被轮廓化并显得比周围区域暗，而当所述屏幕的所述 笫一侧上的入射光比所述屏幕的所述第二侧上的入射光亮时，所述检测检 测到与所述屏幕接触的点的图傳3皮加亮并显得比周围区域亮。
17. 如权利要求16中所述的方法，其中所述检测通过将所述屏幕的所 述第 一侧的第 一 图像与所述屏幕的所述第 一侧的第二图比较来检测所 述接触点的位置。
18. 如权利要求16中所述的方法，其中所述检测通过将所述屏幕的所 述第 一侧的第 一 图像与所述屏幕的所述第 一侧的第二图傳>目比较来检测所 述接触的时间。
19. 如权利要求ll中所述的方法，其中提供了多个由单个摄^^L顺序 地或同时地服务的屏幕。
20. 如权利要求ll中所述的方法，还包括在所述屏幕上显示由成像设 备生成的投影影像。
21. 如权利要求ll中所述的方法，还包括检测所述屏幕的所迷第二侧 上的入射光与所述屏幕的所述第一侧上的入射光之间的差异，以及4吏用所 述检测到的差异来控制至少 一个光源的亮度。
22. —种有形地包含机器可读指令的程序的信号承栽介质，所述指令 可由数字处理装置执行以完成检测用户输入的操作，所述操作包括响应于 提供具有半透明屏幕的系统，所述系统具有放置为使所述屏幕的第 一侧成 像的图像捕获i殳备，所述第一侧与在该处发生用户交互的第二侧相对通 过检测从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周 围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。
23. 如权利要求22中所述的信号承栽介质，其中检测使用图像求差技术。
24. 如权利要求22中所述的信号承载介质，其中检测使用背景相减技术。
25. 如权利要求22中所述的信号承栽介质，其中提供还提供至少一个 放置为照亮所述屏幕的所述第 一侧的光源。
26. 如权利要求25中所述的信号承栽介质，其中提供还提供至少一个 放置为照亮所述屏幕的所述第二侧的额外光源。
27. 如权利要求22中所述的信号承载介质，其中当所述屏幕的所述第 二侧上的入射光比所述屏幕的所述第一侧上的入射光亮时，所述检测检测 到与所述屏幕接触的点的图像被轮廓化并显得比周围区域暗，而当所述屏 幕的所述笫一侧上的入射光比所述屏幕的所述第二侧上的入射光亮时，所 述检测检测到与所述屏幕接触的点的图#^皮加亮并显得比周围区域亮。
28. 如权利要求27中所述的信号承载介质，其中所迷检测通过将所述 屏幕的所述第 一侧的第 一 图像与所述屏幕的所述第 一侧的第二图傳^目比较 来检测所述接触点的位置。
29. 如权利要求27中所迷的信号承载介质，其中所迷检测通过将所述屏幕的所述第 一侧的第 一 图像与所述屏幕的所述第 一侧的第二图像相比较 来检测所述接触的时间。
30. 如权利要求22中所述的信号承载介质，其中提供了多个由单个摄 ^J^顺序地或同时地服务的屏幕。
31. 如权利要求22中所述的信号承栽介质，还包括在所述屏幕上显示 由成像设备生成的投影影像。
32. 如权利要求22中所述的信号承载介质，还包括检测所述屏幕的所 述第二侧上的入射光与所述屏幕的所述第一侧上的入射光之间的差异，以 及使用所述检测到的差异来控制至少 一个光源的亮度。
33. —种触才莫屏系统，所述系统包括 半透明屏幕；图像捕获设备，所述设备放置为使所述屏幕的第一侧成像，所述第一 側与在其上用户触4莫所述屏幕的第二侧相对；至少一个光源，所述光源布置为照亮所述屏幕的所述第一側并提供所 述第一侧与所述第二侧之间的照明差异；以及图像处理器，所迷图像处理器连接到所述图像捕获设备的输出，以便 通过从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围 区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项，其中 当所述屏幕的所述第二侧上的入射光比所述屏幕的所述第一側上的入射光 亮时，与所述屏幕接触的点的图^^皮轮廓化并显得比周围区域暗，而当所 述屏幕的所述第一侧上的入射光比所述屏幕的所述第二侧上的入射光亮 时，与所述屏幕接触的点的图傳^皮加亮并显得比周围区域亮。
34. 如权利要求33中所述的触摸屏系统，其中所述屏幕包括窗户的至 少一部分，并且其中所述第二侧是所述窗户的户外侧。
35. 如权利要求34中所述的触摸屏系统，还包括用于作为所述屏幕的 所述第二侧上的照明量的函数来调整所述至少 一个照明源的亮度水平的光 源控制。
全文摘要
一种用户界面输入装置和方法，所述装置和方法允许通过处理由观察半透明屏幕的相对面的摄像机生成的影像，检测何时以及何处用户触摸所述屏幕的表面。一种输入设备和系统包括半透明屏幕；图像捕获设备，所述设备放置为使所述屏幕的第一侧成像，所述第一侧与在该处发生用户交互的第二侧相对；以及图像处理器，所述图像处理器连接到所述图像捕获设备的输出，以便通过从所述屏幕的所述第二侧上被触摸的区域发出的光的强度相对于周围区域的改变，确定个人在何处以及何时触摸所述区域中的至少一项。
文档编号G09G5/00GK101385069SQ200580028149
公开日2009年3月11日 申请日期2005年4月15日 优先权日2004年8月27日
发明者A·莱瓦斯, C·皮年泽, F·C·谢尔得森, G·平加立, M·E·波德拉塞克 申请人:国际商业机器公司