专利名称：滚动图像捕获系统中的环境校正的制作方法
滚动图像捕获系统中的环境校正
背景技术：
触敏装置可经由若干不同的机制检测触摸，所述机制包括但不限于光学、电阻和电容机制。一些光学触敏装置通过由图像传感器捕获触摸屏背面的图像，并随后处理所述图像以检测位于所述屏幕上的对象来检测触摸。此类装置可包括在所述装置内部的光源， 以照明所述显示屏的背面，使得在所述屏幕上的对象将入射光反射到图像传感器，从而允许所述对象被检测到。光学触摸屏装置可能会遇到的一个困难就是区分外部(环境)光和所述装置内的光源所反射的光。具有足够亮度的环境光可能被误认为是触摸所述装置的对象，因此可能会降低所述装置的性能。进一步地，滚动图像捕获系统的使用可能引入为图像校正环境光的附加困难。
发明内容
因此，公开了涉及为由滚动图像捕获系统获取的图像校正环境光的各种实施例。 例如，一个所公开的实施例提供光学触敏装置，所述光学触敏装置包含屏幕，滚动图像捕获系统，其被配置为获取所述屏幕的图像，本地光源，其被配置为以本地光照明所述屏幕，以及控制器，其与所述滚动图像捕获系统和所述本地光源进行电通信。所述控制器被配置为当获取图像数据的第一和第二帧的时候操作所述本地光源，以集成本地+环境光的持续时间以及环境光的持续时间的图像传感器像素的每个场，使得对于每个像素场，所述第一帧的和、。Μ + ΜαΛ+ ΜαΛ不同于所述第二帧的和所述控制器进一步地被配置为通过一个或者多个以下方式来确定所述图像数据中像素的环境光值(a)比较所述第一帧中的像素值与所述第二帧中的像素值，和(b)比较所述第一帧中的像素值与所述第一帧中的另一个像素值，并且基于所述环境光值来调整环境光的一个或多个像素。提供本发明内容而以简化形式对精选的观点进行介绍，在以下具体实施方式
中将进一步描述这些观点。本发明内容没有打算标识所要求保护的主题的主要特征和基本特征，也没有打算用来限制所要求保护的主题的范围。此外，所请求保护的主题不局限于解决在本发明的任何部分中所提及的任何或者全部的缺点的实现方式。
图1表示光学触敏装置中对环境光进行校正方法的实施例。图2表示包含滚动图像捕获系统和滚动本地光源的光学触敏装置的实施例。图3表示描述集成和读取滚动图像捕获系统的方法的一个实施例的时序图，所述滚动图像捕获系统处于包含滚动本地光源的交互式显示装置中。图4表示依照图3的方法所捕获的邻近图像帧中的两个像素场的亮度数据的示意性描述。图5表示从图4的亮度数据确定环境光值的方法的一个实施例的示意性描述。图6表示从图4的亮度数据确定环境光值的方法的另一个实施例的示意性描述。
图7表示从图4的亮度数据确定环境光值的方法的另一个实施例的示意性描述。图8表示从图4的亮度数据确定环境光值的方法的另一个实施例的示意性描述。图9表示从图4的亮度数据确定环境光值的方法的另一个实施例的示意性描述。图10A-D表示从图4的亮度数据确定环境光值的方法的另一个实施例的示意性描述。图11表示描述光学触敏装置中对环境光进行校正的方法的实施例的处理流程。图12表示描述集成和读取滚动图像捕获系统的方法的另一个实施例的时序图， 所述滚动图像捕获系统处于包含滚动本地光源的交互式显示装置中。图13表示包含滚动图像捕获系统和全局本地光源的光学触敏装置的实施例。图14表示描述光学触敏装置中对环境光进行校正的方法的实施例的时序图，所述光学触敏装置包含滚动图像捕获系统和全局本地光源。
具体实施例方式如上所述，环境光源，例如室内照明，日光等等可能损害基于视觉的触摸检测系统的性能。在本文中术语“环境光”被用于描述由不同于本地光源的源头所发出的光，所述本地光源是基于视觉的触摸系统的一部分，以下将更加具体地描述。即使在图像传感器的前面使用带通滤波器以阻止光的无用波长到达所述图像传感器，处于通过带通滤波器透过的波长范围之内的环境光仍然可能到达图像传感器。作为一个具体的示例，被配置为借助于从与显示屏接触的对象所反射的本地发射的红外光来检测触摸的视觉系统可能受到由白炽室内照明、日光等所发射的红外光的影响。足够亮度的环境光可能使得基于视觉的触摸检测系统错误地将环境光识别为触摸输入，和/或可能导致图像对比度的减少，这使得触摸检测更加困难。各种方法可用来消除，或者以别的方式为基于视觉的触摸检测系统中的图像传感器所捕获的图像校正环境光。例如，可以选通本地光源，使得交替的帧被曝光于“环境”和 “环境+本地”的光下。这允许通过从“环境+本地”帧中减去“环境”帧而确定环境光亮度， 以校正环境。然而，因为每隔一帧开启本地光，这实际上将装置的帧频率降低了一半，其可能增加追踪触摸输入的运动的困难。另一个可能的方法是利用被配置为集成环境光的单独的传感器(其可能具有滤光器)。然而，使用附加传感器可能是昂贵的，并且可能由于在所述装置中的传感器的不同布局而导致错误。又一个可能的方法可以利用非常明亮的本地光源与带通滤波器相结合，以增加相对于环境光的反射光亮度。然而，这个方法在环境光超过本地光的某些百分比的情况下可能容易发生故障。在基于视觉的触摸传感系统中使用滚动图像捕获系统来检测触摸输入可能引入校正环境光的附加困难。滚动图像捕获系统，例如滚动快门照相机，板上滚动传感器布置 (其中，图像传感器像素被集成到显示面板中，从而允许省略单独的照相机)等等，通过穿过所述图像传感器区域渐进地集成图像传感器而捕获图像。例如，某些滚动图像捕获系统可以被配置为从图像传感器的首行到图像传感器底端行渐进地集成图像传感器。因此，图像传感器的不同像素在不同的时间开始和结束光集成。在环境校正中的另外的挑战可能出现在滚动图像捕获系统中，由于滚动图像捕获系统的不同像素行或列在不同时间集成光。例如，以50%的时间周期简单地开启和关闭单个背光以捕获具有和没有本地照明的交替的图像，这可能导致图像传感器的行在不同的持续时间内集成本地光，从而引起环境校正的困难。进一步地，一些像素可能每帧被曝光于等量的本地光中，从而阻止对那些像素的环境校正。因此，图1示出了一种在包括滚动快门图像捕获系统的装置中为图像进行环境光校正的方法100的流程图。在102，方法100包括用滚动图像捕获系统获取图像数据的第一帧，其中，所述滚动图像捕获系统包含一个或多个像素场。如同在104所示的，其可以包括以这样一种方式操作本地光源，在本地+环境光Ultrcal+-)和环境光(tambimt)的第一持续时间(或者总和)内集成每个像素场。本文中，由Ltrcaltambira^tambimt指代图像传感器像素集成的这两个持续时间的总和。本文中使用的术语“像素场(field of pixels)”表示一组像素，其中，在一帧图像数据中，一个场中的每一个像素被集成本地+环境光(h—t)和环境光(tambimt)的相等持续时间。因此，在滚动图像捕获系统包含像素的单个场的实施例中，可以
和tambimt的相等持续时间内曝光图像数据的第一帧的全部像素。同样，在包括像素的两个或多个场的实施例中，可以对于不同总和(t^—t+t—)集成图像数据的第一帧中的像素的第一和第二场。例如，在一个具体的实施例中，集成图像数据的单个帧中的像素的两个场，使得这些场被曝光Iambimt的不同持续时间，但曝光I^altambimt的类似持续时间。所述两个场可以是隔行场(例如，像素的奇数/偶数行或者奇数/偶数列)，或者可以具有任何其他适当的空间关系。此外，在一些实施例中，也可以在不同的总和(、_1+-_和t—)内曝光像素的三个或多个场。下面将更加详细的描述在单个图像帧中将不同像素场曝光到 tiocal.an.bient+ta^ient的不同持续时间的方法的示例。在其他实施例中，滚动图像捕获系统可以包括像素的单个场。接下来，在106，方法100包括通过所述滚动图像捕获系统获取图像数据的第二帧。如同在108所示的，其可以包括操作本地光源以在 ^local +ambient+^ambient 白勺·^·~ 总禾口内集成像素的每个场，所述、。。# -#+、__的第二总和与用于那个像素场的
tlocal+ambient+t ambient
的第一总和不同。接下来，方法100包括，在110，确定用于图像数据的一个或多个像素的环境光值， 以允许针对环境光调整那些像素。可以通过比较图像数据的第一帧中的像素的值和图像数据的第二帧中的相同像素的值，如同在112中所示的，通过比较图像数据的第一帧中的像素的值与图像数据的所述第一帧中的另一个像素的值，如同在114中所示的，或者通过这些处理的结合来确定用于图像传感器数据的像素的环境光值，这取决于获取图像数据的第一和第二帧所使用的方法。进一步地，如同在116和118中所示的，在一些实施例中，可以确定成像于图像数据的帧中的任意对象是否在图像数据的第一和第二帧之间存在运动，以帮助选择环境值决定，如同以下更加详细描述的。接下来，方法100包括，在120，基于所确定的环境光值，调整图像数据的一个或多个像素以校正环境光。在一些实施例中，在122，如果首次确定，如果环境光测量超过阈值， 可以调整所述图像数据。与校正环境光的其他方法相比，方法100允许为图像数据进行环境光校正，而不需要利用另外的图像传感器或者其他另外的部分，并且也没有任何帧速率的损失。
在更详细地讨论环境光校正之前，将描述合适的使用环境的实施例。图2表示交互式显示装置200的实施例，交互式显示装置200包括滚动图像捕获系统，将其示意地表示为202，例如滚动快门照相机，板上滚动传感器布置(其中，图像传感器像素被集成到显示面板中，从而允许省略单独的照相机)，等等。滚动图像捕获系统202通过穿过所述图像传感器区域渐进地曝光图像传感器而捕获图像，例如从图像传感器的顶端水平行到底端水平行，从左列到右列，等。因此，所述图像传感器的不同像素在不同的时间开始和结束光集成。 可以理解的是本文使用的术语“行”表示传感器像素的任何线性阵列，无论所述线性阵列被垂直，水平，对角等地排列。交互显示装置200进一步地包括具有图像源204和图像投影于其上的显示屏206 的投影显示系统，图像源204包括灯和图像产生元件，例如所描述的液晶显示器(IXD)或者其他合适的图像产生元件。虽然在投影显示系统的背景下进行说明，但是可以理解的是其他实施例可以利用液晶显示面板来为用户呈现图像，或者任何其他合适的图像产生元件， 而不是一个背面投影系统。所描述的显示屏206包括透光部分208，例如玻璃薄片，和布置在透光部分208上面的散射层210。散射层210有助于避免对不与显示屏206接触的或者被放置在距显示屏 206几毫米之内的对象的成像，因此有助于保证那些不与显示屏206接触或者非常接近于显示屏206的对象不被检测到。在一些实施例中，可以在散射屏层210上布置另外的透光层(未示出)，以为显示器表面提供平滑的外观感觉。进一步地，在其他实施例，例如利用LCD 面板而不是投影图像源来在显示屏206上显示图像的一些实施例中，可以省略散射层210。继续图2，交互式显示装置200进一步地包括电子控制器212，电子控制器212包括存储器214和处理器216。控制器212可以进一步地(或者另选地)包括现场可编程门阵列(FPGA) 218，和/或任何其他合适的电子器件，包括专用集成电路(ASIC)(未示出)，数字信号处理机(DSP)(未示出)，等，以被配置为处理一个或多个如下所述的环境光校正计算。 虽然被表示为控制器212的一部分，但是应当理解的是，还可提供FPGA 218和/或其他电子器件作为与控制器212进行电通信的一个或多个分开的装置。还应当理解的是存储器 214可以包括存储在其上的指令，这些指令可由处理器216执行以控制交互式显示装置200 的各部分以实现本文所描述的方法和过程。同样，FPGA 222还可以被配置为执行以下将详细描述的一个或多个校正方法。为了帮助检测置于显示屏206上的对象和/或触摸，显示装置200可以进一步地包括本地光源，所述本地光源被配置为以红外线或者可见光照明显示屏206。来自本地光源的光可以被置于显示屏206上的对象反射，然后由滚动图像捕获系统202所检测。在图2 的实施例中，本地光源包括滚动本地光源220，其被配置为以与滚动图像捕获系统202同步的空间滚动模式中提供本地照明。所描述的滚动本地光源220包括任意数量的分别可控的光源，以照明装置1 222，照明装置2 224，和照明装置η 2 来举例说明，其中，每个照明装置可以包括一个或多个光源，例如多个红外线LED。使用红外线本地光而非可见的本地光可以有助于避免冲去投射到显示屏206上的图像的出现。进一步地，可以利用红外线带通滤波器(未示出)以传递由本地光源发射的频率的光，但阻止在滚动图像捕获系统202的带通频率之外的频率的光。每个照明装置222，224，2 可以具有任何合适的配置。例如，在一些实施例中，每个照明装置222，224，226可以包括多个相对窄带的LED。其中，每个带被配置为照明图像传感器的像素行的子集。这种带可以被配置为照明显示屏幕的任何所需的行数或列数，甚至可以包括用于所述显示屏的每行或列的单独的背照明装置。在其他实施例中，滚动本地光源220可以包括相对更少数量的相对更宽带的LED。在又一个实施例中，滚动本地光源220 可以包括机械可扫描光源，其被配置为与滚动图像捕获系统同步地穿过所述显示屏扫描光带。应当理解的是，以示例的目的而描述这些滚动本地光源的示例，而不意图以任何方式进行限定。例如，除LED外的其他光源可以被用于每个光带。进一步地应该理解的是，滚动本地光源220可以进一步地包括用于在显示屏的行或列像素的所需子集上聚焦光带的任何合适的光学装置。图2还描述了置于显示屏206上的对象230。滚动图像捕获系统202可以检测由对象230反射的来自滚动本地光源220的光，从而允许检测所述屏幕上的对象230。对象 230表示可以与显示屏206接触的任意对象，包括但不限于手指、电刷、光学上可读的标签寸。图3表示描述收集图像数据以允许利用包括像素的两个场的滚动图像捕获系统校正环境光的方法的示例的时序图300。通常，时序图300所描述的实施例允许滚动图像捕获系统通过当用滚动本地光源照明屏幕时渐进地读取像素的第一场，然后当没有用滚动本地光源照明屏幕时渐进地读取像素的第二场，来获取图像数据的第一帧，并且通过当用滚动本地光源照明屏幕时渐进地读取像素的第二场，然后当没有用滚动本地光源照明屏幕时渐进地读取像素的第一场来获取图像数据的第二帧。如下面将要描述的，其允许为图像校正环境光，同时保持所述装置的全部帧速率。尽管在包括四个本地光的集合或者带的滚动本地光源的背景下示出时序图300，但是应当理解的是可以使用任何其他合适数量的本地光带的集合。首先，参照图3的图像数据帧n，在帧η读出周期的第一部分期间，读出并重置奇数行1-1079，并且然后在帧η读出周期的第二部分期间，读出并重置偶数行2-1080。接下来，参照图像数据帧η+1，在奇数行1-1079之前读出偶数行2-1080。在滚动图像捕获系统的操作期间重复这个模式。连同这个读出和重置模式一起，本地照明装置被循环，使得每个集合被开启大约图像帧的一半，然后关闭大约每个帧的一半。再次参照图3的帧η，照明装置1在图像传感器的行1被读出的时刻关闭，然后在所有奇数行已经被读取之后关闭，大约贯穿图像η读出周期的一半。然后，照明装置1在图像η读出的周期的其余部分开启。照明装置2，3和4以类似的方式开启和关闭，除了这些照明装置的开关分别地与读出和重置行271，541和811同步之外。接下来，参照图3的图像数据帧η+1，以与图像数据帧η相同的方式开关所述照明装置，但是在奇数行之前读出和重置偶数行。如此，将图像数据图像的每个帧的偶数和奇数行曝光于不同的环境光持续时间，但曝光于类似的本地光持续时间。例如，在读出和重置帧 η+1的行1的时刻，已经将其曝光在环境光下1. 5个集成周期，以及本地光下0. 5个集成周期了。与此相反，在读出帧η+1的行2的时刻，已经将其曝光在环境光下0.5个集成周期， 以及本地光下0.5个集成周期了。如此，单个图像包含已经曝光于不同环境光持续时间，但是类似的本地光量的像素。进一步地，与帧η+1相比，每个像素场在帧η中也被曝光于不同的环境光总持续时间。因此，图3所描述的集成和本地照明模式允许使用帧内数据(“空间
9校正”)和/或帧间数据(“时间校正”)来执行环境校正。图4-10图解说明了各种空间和时间校正方法，这些校正方法可以用来为由图3所示的方法所获取的图像数据进行环境光校正。为了图解说明各种环境校正方法，参照图4 描述来自两个图像帧一所标记的帧n-1和η的典型的亮度数据组。具体地，图4图解说明了当依照图3所示的过程集成和读取时，如何呈现对两个图像帧的自滚动图像捕获系统中的读取，所述图像帧表示静止场景。首先，在402显示没有环境光的简单的静止场景，在404 显示来自场景402的像素的3x3矩阵。为了简明起见，图4中的图像具有三个亮度级，其中最亮的像素表示最大的集成光量，以及最暗的像素表示最小的集成光量。在帧n-1中，奇数行具有比偶数行长的环境曝光持续时间。对3x3场景增加这种环境模式产生在406所示的亮度数据。同样，在帧η中，偶数行具有比奇数行长的环境曝光持续时间。对3x3场景增加这种环境模式产生在408所示的亮度数据。接下来，参照图5， 可以通过从帧n-1减去帧η (如在502所示)计算奇数行的环境光，并且，可以通过从帧η减去帧n-1 (如在504所示)计算偶数行的环境光。为奇数行确定的环境与为偶数行确定的环境的结合产生用于3x3矩阵的全部环境506。图6-8表示可以用来为图4所示的具有图像数据的图像帧校正环境光的各种方法的示例。在每次确定用于单个像素的环境的背景下说明这些附图。这可以允许对不同的像素使用不同的环境计算方法，其取决于特定像素因子。应当理解的是，所图解说明的方法可以应用到图像数据的帧中的每一个像素以为图像数据的全部帧校正环境光。首先参照图6，可以如针对图5所述的，通过简单地从帧η减去帧n-1来计算在像素(例如，图4-5所示的3x3矩阵的中心像素)上的环境光值。同样，可以通过从帧n-1减去帧η来简单地确定在3x3矩阵的顶端和底端行中的像素的环境值。这个方法利用了来自时间相邻帧的信息，但是没有利用来自空间相邻像素的信息。因此，在本文中，图6中图解说明的方法可以被认为是“时间-本地”校正。然而，由于图3所示的传感器读出模式，在环境的减法之后，在那个像素的亮度与在相邻帧中的相同。因此，时间-本地校正实际上会减半所述装置的帧速率。因此，这种校正可以被用于静止对象。图7表示为图像帧校正环境光的方法的另一个示例。与图6所示的相反，图7所示的方法在为像素计算环境时，考虑了时间信息(即时间相邻图像帧)和空间信息(即空间相邻像素)两者。因此，图7所示的方法可以被认为是“时间-空间”校正。虽然在3x3矩阵的背景下进行说明，可以理解的是图7以及图8中所示的概念也可以应用到任意像素尺寸矩阵中以及在所考虑的像素周围的任意形状/模式的矩阵，包括但不限于5x5和7x7矩阵，以及其他的形状(例如通过省略5x5矩阵中的每个角上的像素而形成的十字形的矩阵)。图7中所示的时间-空间校正利用取样矩阵中的像素的加权平均亮度来确定环境值，其中所述中心像素被赋予比所述侧面像素(每个1/8)更大的权重(1/4)，所述侧面像素又被赋予比所述角上的像素更大的权重。为了执行所述校正，所述像素的亮度乘以所示的加权因子，对两个帧相加，然后求和对两个帧相加后的矩阵中的每一个像素的值以产生在所述中心像素的环境亮度。因为除时间数据之外考虑了空间数据，时间-空间校正允许保持帧速率。图8表示为图像数据的帧校正环境光的方法的另一个示例。与图6和7所示的方法相反，图8的方法利用空间信息，而不是时间信息来进行环境校正。换句话说，完全根据帧内数据的加权平均进行校正，而不利用帧间数据。如所描述的，这种计算可以导致环境光的略高的值，但可以避免由于存在于利用时间信息的方法中的运动而产生的计算问题。如上所述，在一些实施例中，可以在执行任何上述环境校正方法之前确定环境光是否超过预定阈值水平。在环境光具有充分低的亮度或者不存在的地方，触敏装置也许能检测对象而没有由环境所引起的任何问题。因此，在执行任何上面所描述的校正(或者任何其他的校正)之前，通过比较帧的第一场中的亮度总和与所述帧的第二场中的亮度总和，可以确定是否存在任何潜在的有问题的环境。因为在所述两个场中的亮度相差所集成的环境光的量，如果所述总合一起相对接近，那么可以确定环境光的水平是足够低的，而不干扰装置操作，并且可以省略对环境的调整，如图9所示。在一些实施例中，可以确定在显示屏206上的任意对象的任何运动是否已经发生，然后取决于是否检测到任意对象的任何运动，选择环境调整方法。图10A-D图解说明了校正环境光的这种方法的一个实施例。首先，参照图10A，环境校正考虑了图像数据的当前帧(帧η)的像素的5x5区域以及图像数据的两个在前帧(帧η-1，η-2)的单个像素。然而， 应当理解的是环境校正可以考虑当前帧中的像素的3x3区域或者任何其他合适的像素区域。首先，参照图10Α，将当前帧中心与来自帧η-2的像素进行比较，所述帧η-2的像素以相同的场顺序被读取。如果这些像素之间的差超过阈值量，这表示动作也许已经发生，并且设置那个像素的“动作标记”。将所述动作标记的值与附近像素的动作标记相比较(例如，经由逻辑“OR”运算)，并且如果结果为零(即帧η-2和帧η在本地区域看来相同)，然后通过确定帧η的当前中心像素和帧η-1的同一像素之间的差来执行时间环境校正，如图IOC所示。另一方面，如果与相邻动作标记的OR运算结果为值1，这表示在这个帧中已经存在一些附近的运动。在这种情况下，之前的帧可以被所述环境校正所忽视，并且可以执行利用帧η中的相邻像素的空间校正。任何合适的加权因子方案可以用来执行这种空间校正。 图IOD表示对于5x5像素空间校正的合适的加权因子方案的一个非限制性示例。确定环境校正是否利用5x5或者3x3像素区域取决于例如，图像传感器的分辨度和稳定性的因素。例如，3x3区域可以产生略有噪声的结果，而切5区域可以略微模糊所述结果。可以使用其他的区域大小，包括但不限于1x3区域(其可能比3x3区域噪声更大)。可以理解的是，为了示例的目的而提供这些具体的示例，并且它们不意图以任何方式进行限定。图11表示描述执行环境光校正的方法1100的流程图，所述环境光校正考虑了如上所述的各种因素。在逐像素的基础上，或者以任何其他合适的方式执行图11的方法。首先在1102，方法1100包括获取一个或多个图像数据帧，然后在1104，为图像数据帧确定总的环境是否在阈值之下。例如，这可以通过从第二场的像素的所有亮度的总和中减去第一场的所有像素的亮度的总和并且确定所述计算的结果是否在阈值之下来确定。如果所述总的环境在阈值之下，那么方法1100结束而不执行校正。另一方面，如果所述总的环境不低于阈值，那么在1106，方法1100包括确定是否在所述亮度数据中感知到任何运动。例如，其可以通过帧η-2中的相同像素的强度值(因为在η-1中的相同像素具有的不同环境曝光时间)减去当前帧(帧η)中的像素的强度值来执行。如果这些强度值之间的差足够小，那么可以确定所述亮度数据不包括运动信息。在这种情况下，可以选择不使用空间信息的时间本地校正，如在1108所示。另一方面，如果这些强度值之间的差足够大，可以假定所述像素包括运动数据(只要已经针对任何周期变动的环境光校正了帧速率)，并且可以选择空间或时间空间校正，如在1110所示。可以以任意适当方式确定是使用空间校正还是使用时间-空间校正。通常，空间校正可以用于使用帧中的其他信息校正帧中的所有空间变化的地方。如下是进行这个确定的方法的一个示例。首先，如果取样矩阵的行(i-Ι)中的任何像素与行(i+1)中的相同列上的像素有很大的差别，那么存在可经由时间-空间校正而被校正的空间信息。同样，如果取样矩阵的行(i)的任何像素减去(i)的平均数与行(i-Ι)的相应像素减去行(i-1)中像素的平均数有很大的差别，那么存在可经由时间-空间校正而被校正的空间信息。在存在被感知的运动但是不满足这些条件的其他情况下，可以使用空间校正。另选地，在运动信息被包含于一帧中情形下，可以排他地使用空间或者时间-空间。除上面描述的比较像素值以校正环境光的校正方法之外，可以在环境校正过程中执行各种其他图像处理技术。例如，可以执行图像处理以补偿不同的照明装置之间的漏光， 因为照明装置可能或者不可能被离散地分开。可以以任何合适的方式执行所述校正计算和计算选择例程。例如，在一个实施例中，可以编程FPGA (如图1的122所示)以同时地为每个帧执行多个不同的校正计算。那么，可以基于像素的具体时间和本地特征选择帧中每一个像素的最佳环境值。另选地，可以在执行所述校正之前确定像素的最佳环境计算，使得为每个像素执行一个校正。应当意识至IJ，为了举例说明的目的而描述这些根据所集成和收集的亮度数据的如何执行环境校正的具体示例，而它们不意图以任何方式进行限定。如上所述，在一些使用环境中，当为图像数据的帧校正环境光时减少帧速率是可接受的。因此，滚动本地光源220可以用来以本地光每隔一图像帧照明所述显示屏，以允许时间相邻图像帧进行比较来校正环境光。在这样一个实施例中，滚动图像捕获系统202可以被认为具有单个像素场，所述单个像素场被曝光于环境光(tambimt)的相等持续时间，但是曝光于图像数据的相邻帧中的本地+环境光Ultrcaltambimt)的持续时间。图12表示描述经由这样的方法，校正滚动图像捕获系统中的环境光的方法的一个实施例的时序图1200。正如图3的时序图那样，时序图1200描述四个照明装置的照明周期，以及表示在所述四个照明装置之间分配如何照射1080行像素(S卩，背光带)。然而，应当理解的是滚动本地光源可以包括任何其他合适装置数的照明装置，并且可以以其它任何合适的方式来划分显示屏的像素行或列的本地照明。首先，参照图12的帧n，能够看出当发生行1的读出和重置时照明装置1关闭，并且保持关闭直到发生对帧n+1的行1的读出和重置，在那个时刻背光开启。如此，行1在帧 η读出的持续时间内集成环境光，然后在帧n+1读出的持续时间内集成环境+本地光。如此，帧η包括在帧η之前的读出周期期间内所集成的本地光+环境光，并且帧n+1包括在帧 η读出期间所集成的环境光，但没有本地光。照明装置2，3和4可以以类似的方式开启和关闭，除了这些照明装置的开启和关闭分别地与行271，541和811的读出同步之外。于是，图像传感器的像素的每行都曝光于整个帧的环境+本地光，后面是整个帧的环境光而没有本地光。因此，可以比较或者以别的方式数学地操作帧η和n+1以校正环境光。尽管图12的实施例说明具有本地光和没有本地光的交替的帧，可以理解的是可以使用任何其他合适的具有本地光的帧和没有本地光的帧的模式和/或比率。
交互式显示装置的其他实施例可以包括用与滚动图像捕获装置一起的全局本地光源，而非滚动本地光源。图13表示这样一个交互式显示装置1300的实施例，在那里，在 1302表示全局本地光源并且在1304举例说明了滚动图像捕获装置。如上所述，以50%的时间周期简单地开启和关闭单个全局本地光源来捕获具有和没有本地照明的交替的图像，导致滚动图像捕获系统为不同的持续时间集成本地光，从而引起环境校正的困难。进一步地，一些像素可能每帧暴露于等量的本地光中，从而阻止对那些像素的环境校正。因此，图14表示通过将本地照明缩短为本地光的短暂、明亮的闪光而处理在不规则持续时间内曝光于本地光的问题的时序图1400，从而就本地光而言实质上将滚动图像捕获系统转换为全局快门传感器。在图14中，在1402，显示本地照明模式，并且在1404，显示图像传感器读出模式，并且这两者都作为时间函数。如所描述的，为了帧η的捕获，在前面的读出周期1408完成之后，且启动下一个读出周期1410之前，本地光源发射光1406的短暂闪光。如此，图像传感器的全部像素在图像η的捕获期间可以近乎同等地曝光于本地光中。另一方面，本地光源不为图像η+1的捕获发射类似的闪光。因为图像η和η+1的环境曝光发生在相同的时间，可以通过所述图像的减法或者其他数学运算，利用图像η和η+1来校正环境光。应当理解的是，集成周期和/或照明周期可以与任何本地振动环境光源(例如 60Hz行频的白炽灯)同步，以助于确保一致的性能。应当注意到的是，图12和14举例说明的环境校正方法可能产生帧速率的0. 5x的下降，因为为了对象检测，每两个所获得的图像被合成为单个图像。因此，在要求对相对快速的动作追踪的应用中，图3中举例说明的时序方法可以与空间环境校正方法联合使用以保持帧速率。进一步地，虽然在此于交互式显示装置的背景下进行公开，但可以理解的是所公开的实施例也可以用于任何其他合适的光学触敏装置，以及任何其他触敏装置，在所述装置中可以执行背景信号的校正以改善装置性能。进一步地应当理解的是，在此描述的配置和/或措施事实上是示范性的，而且这些具体的实施例或示例不被视为限制意义，因为许多的变化是可能的。在此描述的具体的例程或者方法可以表示许多处理策略的一个或多个。因而，可以以所举例说明的顺序、其他顺序、并行地、或者在一些省略的情况下执行所举例说明的各种的动作。同样，为了完成在此描述的实施例的特征和/或结果而不一定要求任何上述过程的顺序，而是为了图解和描述的方便而提供任何上述过程的顺序。本发明的主题包括所述各种的过程、系统和配置，及其他在此公开的特征、功能、 动作、和/或属性，以及它的任何和全部等价物的全部新的和非显而易见的组合和变形。
权利要求
1.一种光学触敏装置(200)，包括 屏幕(206)；滚动图像捕获系统(202)，其被配置为获取所述屏幕(206)的图像，所述滚动图像捕获系统(202)包括一个或多个像素场；本地光源(220 )，其被配置为以本地光照明所述屏幕(206 )；以及控制器(212)，其与所述滚动图像捕获系统(202)以及所述本地光源(220)进行电通信，其中所述控制器(212)被配置为通过所述滚动图像捕获系统(202)获取图像数据的第一帧； 通过所述滚动图像捕获系统(202)获取图像数据的第二帧；当获取所述图像数据的第一帧和所述图像数据的第二帧时，操作所述本地光源(220)， 使得像素的每个场集成持续时间、。Μ1—的本地+环境光以及集成持续时间tambimt的环境光，并且使得对于像素的每个场，所述图像数据的第一帧的和、。。#—+〖_-不同于所述图像数据的第二帧的和 tlocal+ambient+tambient 通过以下一个或多个步骤确定所述图像数据中的像素的环境光值 比较所述第一帧的像素的值和所述第二帧的该像素的值，以及比较所述第一帧的像素的值和所述第一帧的另一个像素的值； 以及基于所述环境光值针对环境光调整一个或多个像素。
2.如权利要求1的所述光学触敏装置，其中，所述本地光源包括全局本地光源，以及其中所述控制器被配置为通过滚动图像捕获系统，经由同样的滚动模式获取所述图像数据的第一帧以及所述图像数据的第二帧；以及控制所述全局本地光源以在启动对所述图像数据的第一帧的读出周期之前，将所述屏幕曝光在所述本地光下，以及在启动对图像数据的所述第二帧的读出周期之前，不将所述屏幕曝光在所述本地光下。
3.如权利要求2的所光学触敏装置，其中，所述控制器被配置为通过从所述第一帧中的像素值减去所述第二帧中的像素值来确定所述环境光值。
4.如权利要求1的所光学触敏装置，其中，所述本地光源包括滚动本地光源，其被配置为以与所述滚动图像捕获系统同步的空间滚动模式提供本地照明。
5.如权利要求4的所光学触敏装置，其中，所述滚动图像捕获系统包括像素的单个场， 以及其中，所述控制器被配置为经由同样的滚动模式，获取所述图像数据的第一帧以及所述图像数据的第二帧，以及控制所述滚动本地光源以便当获取所述图像数据的第一帧时，将所述屏幕曝光在本地光下，当获取所述图像数据的第二帧时，不将所述屏幕曝光在本地光下。
6.如权利要求4的所光学触敏装置，其中，所述滚动图像捕获系统包括像素的第一场和像素的第二场，以及其中，所述控制器被配置为通过当以所述滚动本地光源照明所述屏幕时渐进地读取所述像素的第一场，以及然后，当未以所述滚动本地光源照明所述屏幕时渐进地读取所述像素的第二场，来获取图像数据的所述第一帧；以及通过当以所述滚动本地光源照明所述屏幕时通过渐进地读取所述像素的第二场，以及然后，当未以所述滚动本地光源照明所述屏幕时渐进地读取所述像素的第一场，来获取图像数据的所述第二帧。
7.如权利要求6的所光学触敏装置，其中，所述像素的第一场包括奇数行的像素，并且其中，所述像素的第二场包括偶数行的像素。
8.如权利要求6的所光学触敏装置，其中，所述控制器进一步地被配置为检测是否已经发生了位于所述屏幕上的任意对象的任何运动，然后基于是否检测到任意对象的任何运动，选择环境调整方法。
9.如权利要求6的所光学触敏装置，其中，所述控制器进一步地被配置为确定所述环境光值是否超过阈值水平，如果所述环境光值超过了所述阈值水平，则针对环境光调整一个或多个像素。
10.如权利要求4的所光学触敏装置，其中，所述滚动本地光源包括多个分别可控的光源，其中，每个光源被配置为照明所述屏幕的一部分。
11.如权利要求4的所光学触敏装置，其中，所述滚动本地光源包括机械可扫描的光源。
12.如权利要求1的所述光学触敏装置，其中，所述滚动本地光源被配置为发射红外线光。
13.一种在光学触敏装置(200)中为图像校正环境光的方法(100)，所述光学触敏装置 (200)包括屏幕(206)，滚动图像捕获系统(202)，其被配置为获取所述屏幕的图像，所述滚动图像捕获系统(202)包括一个或多个像素的场，滚动本地光源(220)，其被配置为以与所述滚动图像捕获系统(202)同步的空间滚动模式提供本地照明，以及控制器(212)，其与所述滚动图像捕获系统(202)和所述滚动本地光源(220)进行电通信，所述方法包括通过滚动图像捕获系统获取图像数据的第一帧(102)； 通过滚动图像捕获系统获取图像数据的第二帧(106)；当获取所述图像数据的第一帧和所述图像数据的第二帧时，操作(104，108)所述滚动本地光源，使得所述滚动图像获取系统的像素的每个场集成持续时间Iltx^ambimt的本地 +环境光以及集成持续时间tambimt的环境光，并且使得对于像素的每个场，所述图像数据的第一帧的和IltrcaL3mbira^tambimt不同于所述图像数据的第二帧的和tlocal+ambient+tambient 通过以下一个或多个步骤，确定(110)所述图像数据中的像素的环境光值 比较(112)所述第一帧的像素的值和所述第二帧的该像素的值，以及比较(114)所述第一帧的像素的值和所述第一帧的另一个像素的值； 以及基于所述环境光值针对环境光调整该数据帧的一个或多个像素(120)。
14.如权利要求13所述的方法，其中，所述滚动图像捕获系统包括像素的单个场，以及其中，所述方法进一步包括经由同样的滚动模式，获取所述图像数据的第一帧以及所述图像数据的第二帧，以及控制所述滚动本地光源以便当获取所述图像数据的第一帧时将所述屏幕曝光在本地光下，和当获取所述图像数据的第二帧时不将所述屏幕曝光在本地光下。
15.如权利要求13所述的方法，其中，所述滚动图像捕获系统包括像素的第一场以及像素的第二场，所述像素的第一场包括奇数行的像素，所述像素的第二场包括偶数行的像素，并且其中，所述方法进一步包括通过当以所述滚动本地光源照明所述屏幕时渐进地读取所述像素的第一场，以及然后，当未以所述滚动本地光源照明所述屏幕时渐进地读取所述像素的第二场，来获取图像数据的所述第一帧；以及通过当以所述滚动本地光源照明所述屏幕时渐进地读取所述像素的第二场，以及然后，当未以所述滚动本地光源照明所述屏幕时渐进地读取所述像素的第一场，来获取图像数据的所述第二帧。
全文摘要
公开了涉及为图像捕获系统中获取的图像校正环境光的实施例。一个实施例了提供一种装置，所述装置包括屏幕、滚动图像捕获系统、本地光源、和控制器。所述控制器被配置为当获取图像数据的第一和第二帧时，操作所述本地光源，以在本地+环境光持续时间内以及环境光持续时间内集成图像传感器像素的每个场，使得对于像素的每个场，所述第一帧的和tlocal+ambient+tambient不同于所述第二帧的和tlocal+ambient+tambient。所述控制器进一步被配置为确定环境光值，并且基于所述环境光值调整一个或多个像素。
文档编号G06F3/042GK102473061SQ201080032243
公开日2012年5月23日 申请日期2010年7月15日 优先权日2009年7月17日
发明者基姆 N. 申请人:微软公司