专利名称：检测视觉系统中的环境光级别的制作方法
检测视觉系统中的环境光级别背景触敏设备可以经由若干种不同的机制来检测触摸，包括但不限于光学、电阻、以及 电容机制。这种光学触敏设备通过经由图像传感器捕捉触摸屏背面的图像，并接着处理该 图像以检测位于该屏幕上的对象来检测触摸。这种设备可以在设备内包括用于照亮显示屏 的背面以使得该屏幕上的对象向着图像传感器反射入射光从而允许检测该对象的发光体。光学触摸屏设备可能遇到的一个困难涉及在外部(环境)光和从该设备内的发光体反射的光之间进行区分。一般地，环境光级别越高，可能就越难以检测感兴趣的对象。环 境光形成降低对比度并且使得难以将信号与对象隔离的背景噪声层。对图像做环境光校正 可能会造成困难，因为取决于诸如环境光源、大小、离开照相机的距离、入射角度、频谱分布 等因素，基于照相机的环境光检测会是相对复杂的功能。此外，在许多情况下，可能难以用 光度计或其他这样的光仪表来测量环境光在这种系统上的影响。概述因此，以下在详细描述中公开了用于检测光学触敏设备中的环境光的各种方法。 例如，一个公开的实施例包括使用位于显示设备内的照相机捕捉该显示设备的显示屏的 至少一部分的图像，并且确定该图像内的环境光对于显示屏操作而言是否处于可接受的级 另IJ。随后，显示表示该环境光级别对于显示屏操作而言是否可接受的视觉表示。提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。 该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要 求保护的主题的范围。此外，所要求保护的主题不限于解决本发明的任何部分中提到的任 一或所有缺点的实现。附图简述
图1示出了光学触敏设备的一个实施例。图2示出了在光学触敏设备的一个实施例上发光的环境光源的一个示例。图3示出了在光学触敏设备的一个实施例上发光的环境光源的另一示例。图4示出了用于提供关于入射到光学触敏设备上的环境光的视觉反馈的视觉指 示符的一个实施例。图5示出了提供关于入射到光学触敏设备上的环境光的视觉反馈的视觉指示符 的另一实施例。图6示出了例示用于测量与环境光情况相关的视觉系统性能的方法的一个实施 例的流程图。图7示出了例示用于测量与环境光情况相关的视觉系统性能的方法的另一实施 例的流程图。详细描述在讨论对光学触敏设备中的环境光可接受性的检测之前，描述合适的使用环境的 实施例。图1示出了对交互式显示设备100形式的光学触敏设备实施例的示意性描绘。光 学触敏显示设备100包括具有图像源102和图像被投影到其上的显示屏106的投影显示系统。虽然在投影显示系统的上下文中示出，但是可以理解，此处所描述的实施例也可以用其 他合适的显示系统实现，包括但不限于IXD面板系统。图像源102包括诸如灯(所示的)、LED阵列、或其他合适的光源等的光源108。图 像源102还包括诸如所示的IXD (液晶显示器)、LCOS (硅上液晶)显示器、DLP (数字光处 理)显示器、或任何其他或适的图像产生元件等的图像产生元件110。显示屏106包括诸如玻璃片等清晰的透明部分112以及布置在该清晰的透明部分 112上的漫射器屏幕层114。如图所示，漫射器屏幕层114担当触摸表面。在其他实施例中， 附加透明层(未示出)可以作为触摸表面布置在漫射器屏幕层114之上以便为显示表面提 供平滑的外观和感觉。此外，在使用IXD面板而非投影图像源来在显示屏106上显示图像 的实施例中，可以省略漫射器屏幕层114。继续图1，显示设备100还包括电子控制器116，电子控制器116包括存储器118 和微处理器120。控制器116还可以包括任何其他合适的电子元件，包括被配置成进行一 个或多个可接受的环境光检测或反馈操作的专用集成电路(ASIC)(未示出)、数字信号处 理器(DSP)(未示出)、现场可编程门阵列(FPGA)等，如下文所述。还可以理解，存储器118 可以包括其上存储的、可由处理120执行以控制设备100的各部分来实现此处所描述的方 法和过程的指令。为了传感置于显示屏106上的对象，显示设备100包括被配置成捕捉显示屏106 的整个背面的图像并且将该图像提供给电子控制器116以供检测出现在该图像中的对象 的图像传感器124。漫射器屏幕层114帮助避免未与显示屏106接触或未置于显示屏106 几毫米内的对象的成像，并由此帮助确保图像传感器124仅检测到触摸显示屏106或极为 靠近显示屏106的对象。图像传感器124可以包括任何合适的图像传感机制。合适的图像传感机制的示例 包括但不限于CXD和CMOS图像传感器。此外，图像传感机制能以足够的频率来捕捉显示屏 106的图像以检测对象跨显示屏106的运动。虽然图1的实施例示出了一个图像传感器，但 是可以理解，可以使用多于一个图像传感器来捕捉显示屏106的图像。图像传感器124可以被配置成检测任何合适波长的光，包括但不限于红外线和可 见光波长。为了帮助检测置于显示屏106上的对象，图像检测器124还可以包括诸如被配 置成产生红外线或可见光以照明显示屏106的背面的一个或多个发光二级管(LED) 126的 发光体126。来自发光体126的光可以被置于显示屏106上的对象反射并随后由图像传感 器124检测。与使用可见光LED相比，使用红外线LED可以帮助避免洗去投影在显示屏106 上的图像的外观。此外，红外线带通滤波器127可用于使由发光体126发射的频率的光通 过，而阻止带通频率之外的频率的光到达图像传感器124，由此减少到达图像传感器124的 环境光的量。图1还示出了置于显示屏106上的对象。来自于发光体126的由对象130反射的 光可以由图像传感器124检测，由此允许在屏幕上检测对象130。对象130表示可以与显示 屏106接触的任何对象，包括但不限于手指、刷子、光学可读标记等。在某些使用环境中，环境光源可以发射带通滤波器127所通过的频带中的光。此 处使用术语“环境光”来描述除了来自发光体126的光之外的光。这种环境光源的示例包 括但不限于广谱光源，诸如阳光、白炽灯光、卤素灯光等。这种光在带通频率处具有足够的强度，使得难以将该环境光与来自发光体126的反射光区分开。因此，这种环境光会使得显 示设备100错误地将环境光标识为显示屏106上的对象。例如，诸如图2中所示的示例环境200等某些使用环境可以包括来自头顶上的白 炽或卤素灯泡210的环境光220。在这种环境下，显示设备100的性能会受到显示设备100 相对于灯泡210的位置的影响。这样，可以通过将显示设备100移动到来自灯泡210的较 少环境光220到达该显示屏的位置处来提高显示设备100的性能，如由箭头230所示。同样地，在诸如图3所示的示例使用环境300等其他使用环境中，来自太阳或其他 外部源的环境光320可以在显示设备100上发光。如在该附图中所示，这种环境光可以通过 穿过窗325、门等到达显示设备100。如以上参考图2所描述的，显示设备在环境300中的 性能可以通过将显示设备移动到其中较少外部环境光320到达显示设备的位置处来提高， 如由箭头330所示，其表示可以移动显示设备100来避免环境光320的一个方向。
为了协助用户或安装程序确定用于放置显示设备100以避免在特定使用环境中 过度的环境光的合适位置，显示设备100可以被配置成确定环境光的级别并且向用户提供 有关所确定的环境光级别是否是不令人满意和/或如何将显示设备100移动到该使用环境 中具有较低环境光级别的位置的反馈。图4示出了可以在显示设备100上显示以提供有关 环境光级别以及移动显示设备以降低环境光曝光度的方向的反馈的视觉指示符405的一 个实施例。视觉指示符405包括四个方向箭头，其中箭头之一是具有与其他箭头不同的外 观的突出显示箭头430。突出显示箭头430向显示设备100的用户指示可以移动显示设备 100以避免被确定为不可接受的级别的环境光的方向。视觉指示符405还包括被配置成提供与所检测到的环境光的强度相关的反馈的 多个强度条，其在412和414处示出。例如，图4示出了指示检测到的环境光的级别的、向上 直到条412的三个被照明的较短条，以及指示环境光的潜在更高级别的、向上直到条414的 两个未被照明的较长条。条的高度还表示跨显示屏106的环境光级别的变化率的强度(即 梯度)。在显示设备100移动时，被照明的强度条的数量会被实时地更新，以便随着设备移 动提供环境光级别的反馈。强度条可以表示跨显示屏106的平均环境级别、检测到的最高 环境级别、以及环境光强度的任何其他合适度量。可以理解，其他实施例可以使用包括但不 限于声音等其他符号或视觉反馈方法来指示可接受的光级别和可以采用以降低环境光曝 光度的动作。图5示出了用于提供有关入射在显示设备100上的环境光的级别的反馈的视觉指 示符555的第二实施例。所示的视觉指示符555包括显示屏106的图形表示560。显示屏 106的图形表示560将跨显示设备100的环境光强度的描绘示为由等高线565和585分隔 的环境光强度区域570、580和590的简单表示。环境光强度区域570、580和590表示显示 设备的暴露给可接受的、不可接受的、或不利但可接受的(或阈值)环境光级别的区域。以 此方式，用户或安装程序可以确定移动显示设备100以降低到达该设备的环境光的量的方 向。虽然在图5中示出了三个光强度区域，但是可以理解，可以示出更多或更少的光强度区 域。图6示出了例示用于测量与环境光条件相关的视觉系统性能的方法600的实施例 的流程图。可以理解，方法600和此处公开的其他方法可以例如经由包括存储在存储器118 或其他合适的机器可读介质内的、可由处理器120执行以实现方法600的指令的软件来执行。方法600首先包括使用显示设备内的至少一个照相机来捕捉照亮显示屏的至少 一部分的环境光的图像，如在框610中所示。接着，如在框620中所示，做出确定环境光对 于显示屏操作而言是否处于可接受级别的判定。随后，如在框630处所示，在显示设备上显 示与所确定的环境光级别的可接受性相关的视觉表示。该视觉表示可以例如在视觉上表达 检测到的环境光级别对于正确的显示设备性能是否太高或适当地低。此外，该视觉表示可 以指示可以移动显示设备以降低入射在显示设备上的环境光的量的方向。以此方式，可以 将显示设备100移动到具有适当地低的环境光级别的位置。另选地或另外地，环境光源可 以变暗到更加合适的级别。图7示出了例示用于测量与环境光条件相关的视觉系统性能的方法700的另一实 施例的流程图。例如，当在使用环境中安装显示设备100时，可以使用方法700。如在框710 中所示，方法700首先包括通过使用发光体126照亮显示屏106来校准显示设备100，经由 置于显示屏106上方的黑屏来测量第一灰度级别值，以及经由置于显示屏106的上方的白 屏来测量第二灰度级别值。接着，如在框720中所示，使用该第一和第二灰度级别值来确定阈值环境光级别。 这可以用任何合适的方式执行。例如，可以通过适当地划分动态范围将阈值选择为固定量， 包括但不限于所确定的黑色级别值以上百分之15-25范围内的值。此外，可以使用多于一 个阈值来生成跨显示屏106的环境光级别的等高图表示。可以理解，该确定阈值环境光级 别的方法仅是确定阈值级别的一种合适方法的示例，并且在其他实施例中可以使用其他方 法。例如，在某些实施例中，视觉系统可以具有活动的环境光消去方案。这种活动环境光消 去方案实施例可以在不会使得系统中使用的图像传感器饱和的环境级别正确地操作，但是 可能不能在足以使得图像传感器饱和的环境光级别正确地操作。因此，在某些实施例中，环 境光级别的阈值可以设置在图像传感器饱和处或其附近。继续图7，方法700下一步包括当没有感兴趣的对象被置于显示屏106上时，使用 显示设备100内的一个或多个图像传感器捕捉该显示屏的一个或多个图像以确定环境光 的级别，如在框730中所示。在捕捉显示器的图像后，方法700下一步包括将屏幕上的环境 光级别与阈值做比较，如在框740中所示。随后在框750中，该方法基于环境光级别与阈值 的比较来提供该环境光级别是否可接受的视觉表示。例如，如图4中所示，可以在示出环境 级别是高于还是低于阈值的简单的直方图、百分图、温度计样式图等种或在如在图5中所 示的地图中示出测得的最高环境级别或平均环境级别。这种强度表示可以用任何合适当的 方式生成。例如，在一个实施例中，可针对每个像素、像素组等计算环境光级别的梯度，以计 算多个梯度。随后从这些梯度生成所得的方向向量。该方向向量的总方向可以用突出显示 的箭头(诸如图4中箭头430)指示，并且该方向向量的幅度可以由箭头的长度、由在屏幕 上显示的一个或多个图形条的高度等来生成。或者，可以在诸如在图5中所示的地图中显 示梯度或相对环境光级别。此外，某些实施例可以实时地提供视觉表示以便在移动视觉系 统的同时(例如安装期间等)提供反馈。在另一实施例中，屏幕上的环境光的级别与阈值的比较可以包括确定该环境光级 别是高于阈值所选量以上还是低于阈值所选量以上。所选量可以具有任何值，包括但不限 于百分之+/-5-15范围内的百分比。在一个具体实施例中，为高于阈值百分之10以上的环境光级别提供级别的第一视觉表示，为低于阈值百分之10以上的环境光级别提供第二视 觉表示，而为阈值的百分之10内的环境光级别提供第三视觉表示。这种表示的一个示例在 图5中示出，其中区域570可以表示在低于阈值百分之10以上的环境光强度，区域580可 以表示阈值以上或以下百分之10以内的环境光强度，而区域590可以表示高于阈值百分之 10以上的环境光强度。这种计算可以针对各单独的像素或为了效率而针对像素块(诸如 16x16或32x32的像素块)执行。在本实施例的另一变型中，第一视觉表示可以是红色的，第二视觉表示可以是绿 色的，而第三视觉表示可以是黄色的。其他实施例可以使用不同的色彩来反映所检测到的 环境光的不同级别。在某些实施例中，色彩可以对应于其他公知的色彩编码的强度范围或 刻度。
尽管此处在光学触敏显示设备的上下文中进行了公开，但可以理解，所公开的实 施例也可用于任何其他合适的光学触敏设备中以及其中可以执行背景信号校正以提高设 备性能的任何其他机器视觉设备中。还可以理解，此处描述的配置和/或方法在本质上是示例性的，并且这些具体实 施例或示例被认为没有限制意义，因为可能有许多变化。此处所描述的具体例程或方法可 以表示任何数量的处理策略中的一个或多个。如此，可以按照所示的顺序、按照其他顺序、 并行地、或在某些情况下省略执行所示的各个动作。同样地，上述过程中的任何一个的次序 并非是实现此处所描述的实施例的特征和/或结果所必需的，而是为了方便说明和描述来 提供的。本发明的主题包括各个过程、系统和配置的所有新颖和非显而易见的组合和子组 合，以及此处公开的其他特征、功能、动作和/或属性，以及其任一和所有等效方案。
权利要求
一种检测光学触敏显示设备中的环境光的方法，所述光学触敏显示设备包括显示屏、发光体、以及图像传感器，所述方法包括使用所述图像传感器捕捉所述显示屏的至少一部分的图像；确定所述图像内的环境光级别对于显示屏的操作而言是否处于可接受级别；以及显示所述环境光级别对于显示屏操作而言是否可接受的视觉表示。
2.如权利要求1所述的方法，其特征在于，所述环境光级别对于显示屏操作而言是否 可接受的视觉表示被实时地更新。
3.如权利要求1所述的方法，其特征在于，所述视觉表示包括跨所述显示屏是相对环 境光强度的地图。
4.如权利要求3所述的方法，其特征在于，所述视觉表示是用色彩编码的，并且其中所 述视觉表示中的色彩表示相对环境光级别。
5.如权利要求1所述的方法，其特征在于，还包括提供移动所述显示设备以校正不可 接受的环境光级别的方向的视觉指示符。
6.如权利要求5所述的方法，其特征在于，移动所述显示设备的方向是通过确定所述 显示屏上的环境强度的多个梯度并且从所述梯度生成方向向量来确定的。
7.一种安装光学触敏设备的方法，所述光学触敏设备包括显示屏、被配置成照亮所述 显示屏的背面的发光体、以及被配置成捕捉所述显示屏的背面的图像的图像传感器，所述 方法包括使用所述发光体照亮所述显示屏，而同时使用位于所述显示屏上的黑屏来测量第一灰 度级别值，并且同时使用位于所述显示屏上的白屏来测量第二灰度级别值； 使用所述第一和第二灰度级别值计算阈值级别； 捕捉所述显示屏的图像； 确定所述显示图像中环境光的级别； 将所述屏幕上的环境光的级别与所述阈值作比较；以及基于与所述阈值的比较提供所述环境光级别对于显示屏操作而言是否可接受的视觉表不。
8.如权利要求7所述的方法，其特征在于，所述显示屏的图像是在所述显示屏没有对 象位于所述屏幕上时捕捉的。
9.如权利要求7所述的方法，其特征在于，将所述屏幕上的环境光的级别与所述阈值 比较还包括比较所述环境光级别是高于所述阈值所选量以上还是低于所述阈值所选量以上；以及 显示环境光级别高于所述阈值所选量以上的第一视觉表示、环境光级别低于所述阈值 所选量以上的第二视觉表示、以及所述环境光级别高于所述阈值不超过所选量且低于所述 阈值不超过所选量的情况下的第三视觉表示。
10.如权利要求9所述的方法，其特征在于，高于所述阈值的所选量包括百分之5-15的 范围内的百分比。
11.如权利要求7所述的方法，其特征在于，捕捉所述显示屏的图像包括在所述发光体 照亮所述显示屏时捕捉所述显示屏的图像。
12.如权利要求7所述的方法，其特征在于，所述视觉表示是经由所述显示屏上的环境光级别的地图或经由所述显示屏上的环境光级别的直方图来显示的。
13.如权利要求7所述的方法，其特征在于，所述视觉表示被配置成实时地更新。
14.如权利要求7所述的方法，其特征在于，所述阈值包括在高于使用所述黑屏测量的 灰度级别值百分之15-25的范围内的值。
15.如权利要求7所述的方法，其特征在于，计算所述阈值包括将所述阈值设置为所述 图像传感器的饱和环境光级别。
16.一种光学触敏设备，包括 具有触摸表面和背面的显示屏；被配置成捕捉所述屏幕的背面的图像的图像传感器； 被配置成照亮所述屏幕的背面的发光体；以及 控制器，其被配置成操作所述图像传感器以捕捉所述显示屏的图像； 确定所述图像中的环境光级别；以及显示所述环境光级别对于显示屏操作而言是否可接受的视觉表示。
17.如权利要求16所述的设备，其特征在于，所述视觉表示包括所述显示屏上的环境 光强度级别的地图。
18.如权利要求16所述的设备，其特征在于，所述控制器被配置成实时地更新所述视觉表不。
19.如权利要求16所述的设备，其特征在于，所述视觉表示包括移动所述显示设备以 降低所述环境光级别的方向的指示符。
20.如权利要求19所述的设备，其特征在于，所述控制器被配置成通过确定所述显示 屏上环境强度的多个梯度以及从所述梯度确定方向向量来确定移动所述显示设备的方向。
全文摘要
公开了对光学触敏设备上的环境光的检测。例如，一个公开的实施例包括使用位于显示设备内的照相机捕捉显示屏的至少一部分的图像，以及确定该图像内的环境光对于显示屏操作而言是否处于可接受级别。随后，显示表示该环境光级别对于显示屏操作而言是否可接受的视觉表示。
文档编号G06F3/042GK101836180SQ200880113464
公开日2010年9月15日 申请日期2008年10月22日 优先权日2007年10月26日
发明者P·玛萨立克尔 申请人:微软公司