专利名称：集成触摸感测显示装置及操作其的方法
技术领域：
本发明涉及用于检测在显示装置的触摸表面上的一个或多个物体的位置的技术。背景在越来越大的程度上，触敏面板被用于将输入数据提供到计算机、电子测量和测试设备、游戏设备等。在下面被表示为“集成触摸感测显示器”的一种类别的触敏面板中，光敏元件的阵列被集成在显示屏或面板中，由此，基于来自各个光敏元件的输出信号来检测接触显示屏的物体的位置。集成触摸感测显示器一般被设计成具有类似于普通显示器的形状因子，因此光敏元件的阵列被布置成在显示器的深度方向(即，垂直于显示器的前表面)上靠近图像生成元素的阵列(在下面也被表示为“像素定义元素”或“图像元素”)。一般而言，光敏元件的阵列和图像元素的阵列之间的间距在深度方向上小于15厘米左右，并且通常光敏元件和图像元素在显示器内的公共基底上或至少在公共几何平面中交错。W02007/058924公开了这样的集成触摸感测IXD (液晶显示器)，其中液晶材料被布置在前电极层和后电极层之间。通过改变施加到后电极层上的像素定义薄膜电阻(TFT) 的电势，液晶材料被局部修改，以便来自后电极后面的背光灯的光选择性地透射到显示器的前表面。后电极层还包括光感测TFT的阵列，其被设计成检测射在显示器的前表面上的环境光。处理器通过识别已被禁止感测环境光的光感测TFT来确定接触前表面的物体的位置。此外建议，通过检测从布置在液晶材料的顶部上的光导漫射的可见光来补充此阴影检测。光源被控制来使可见光射入光导中以在其中通过全内反射传播。当物体接触光导时， 内部反射的光将朝向光敏元件漫射。然后可从透射的环境光、从波导漫射的光和从背光灯透射并在物体上反射的光的组合来确定物体的位置。从US2008/0074401 了解到另一种集成触摸感测LCD，其中红外光感测TFT被包括在下基底上的像素定义TFT中。背光灯被设置在下基底后面以产生可见光和红外光。透明窗口对准每个光感测TFT。接触显示器的物体将使来自背光灯的红外光穿过一个或多个窗口局部反射回到光感测TFT上。基于光感测TFT的输出信号来确定触摸点。在US2007/(^96688中，光电传感器被布置在液晶面板中，而背光灯被布置在面板的背面上。面板被控制成基于环境光的量以不同的检测模式操作。当环境光的照度高时， 触摸物体被识别为到达光电传感器的环境光中的阴影。当环境光的照度低时，背光灯被控制成发出不可见光，并且触摸物体基于到达光电传感器的反射光来识别。现有技术的集成触摸感测显示器遭受若干不同限制的至少一种。这样的限制包括对环境光的变化的灵敏度、非触摸和触摸物体之间的区分的困难、不足的信噪比(SNR)、与普通显示器(即，没有触摸灵敏度)相比降低的图像质量(例如对比度、亮度、空间分辨率)、触摸物体的位置的复杂的确定、复杂的设备控制和对使用限制的需要。类似的限制可同样与基于其它显示技术的集成触摸感测显示器如等离子体显示器和OLED (有机发光二极管)显示器有关。现有技术还包括US2008/0029691，其公开了由接收遭受全内反射的光的波导形成的触摸表面。单独的相机被布置在波导后面以捕获波导表面的图像。波导的前表面上的触摸由相机检测，该相机检测由于全内反射的受抑而逸出波导的光。这种触摸感测装置具有完全不同于上述集成显示器的形状因子，因为相机需要被布置成离波导有相当大的间距以便捕获波导表面的图像。概述本发明的目的是至少部分地克服现有技术的上面识别的限制的一个或多个。将从下面的描述中呈现的此目的和其它目的至少部分地借助于根据独立权利要求的集成触摸感测显示装置、操作这样的装置的方法以及计算机可读介质来实现，其实施方式由从属权利要求限定。本发明的其它目的、特征、发明方面和优势将从下面的详细描述、所附的权利要求以及附图中呈现。附图的简要说明现将参考所附的示意图更详细地描述本发明的实施方式。图IA是根据示例性实施方式的触摸感测显示装置的俯视平面图。图IB是图IA中的显示装置的侧视图，其也示出触摸物体和所产生的传感器信号模式。图2是光谱辐照度作为日光波长的函数的实例。图3是环境光的光谱滤波的实施方式的侧视图。图4是环境光的电子滤波的实施方式的俯视平面图。图5A是具有放置在像素阵列后面的光传感器的阵列的实施方式的分解侧视图。图5B是具有放置在显示器的背面上的光传感器的阵列的实施方式的侧视图。图6A-6B是具有在显示装置中的光传感器前面的透镜的实施方式的侧视图。图7是具有角发射器的实施方式的俯视平面图。图8是具有在发射器和面板之间的光偏转器的实施方式的侧视图。图9是具有带反射边缘部分的面板的实施方式的侧视图。
图10是具有带反射边缘和光入射口的面板的实施方式的俯视平面图。图11是用于确定触摸感测显示装置中的触摸位置的示例性方法的流程图。图12示出重叠在图IA中的显示装置的光传感器上的已处理图像数据。实例实施方式的详述本发明涉及用于检测在集成触摸感测显示装置的表面上的一个或多个物体的位置的技术。该描述通过描述关于集成触摸感测显示装置的示例性实施方式的一般特征开始。然后，描述了触摸感测显示装置的不同发明方面及其实施方式。该描述以数据处理实例结束。在整个描述中，相同的参考数字用于标识相应的元件。一般原则
图IA和IB分别是触摸感测显示装置的实施方式的平面视图和侧视图。该装置包括图像元素或像素2的阵列(只在图IA中示出)，图像元素或像素2可控制来在显示区域 4内生成图像。用于生成单色、灰度或彩色图像的任何已知显示技术例如LCD技术、等离子体电池技术或OLED技术可以实现这些图像元素。像素2电连接到控制在显示区域4中的图像的生成的控制器(未示出)。显示装置还包括布置(“集成”)在显示区域4内的光感测元件或光传感器6的阵列。在图IA的实例中，每个像素2与传感器6相关。在可选的配置(未示出)中，对于每 N个像素只有一个传感器，其中数字N是选定的设计参数。像素2和/或传感器6的密度可在整个显示区域上不同。传感器6可通过任何适当的光敏器件技术例如电荷耦合器件、 CMOS器件、光电二极管、光敏电阻、双极光电晶体管和包括薄膜晶体管的光敏场效应晶体管来实现。处理装置8被连接成接收传感器6的输出信号。处理装置8可通过任何适当的处理硬件可选地结合控制软件来实现。例如，如所示，处理装置8可包括中央处理单元10和存储器12，其例如体现为通用或专用计算机或微处理器。控制软件可被提供给在包括程序指令的计算机可读介质上的处理装置8，当程序指令由处理装置执行时，促使处理装置执行特定的操作控制功能和数据处理功能，如下面将进一步描述的。显示装置还包括前面板14，其被布置在显示区域4的顶部上。可以是平面或弯曲的前面板14通过允许辐射在面板内部通过内部反射传播而被内部地照射。为此，辐射传播通道被设置在面板的两个边界面16、18之间，其中外边界面(“触摸表面”)16允许传播的辐射与触摸物体20交互作用，触摸物体20可以是手指、指示笔、指针等。在此交互作用中， 辐射的部分可被物体20散射，辐射的部分可被物体20吸收，以及辐射的部分可继续不受影响地传播。散射的辐射导致在传感器6的阵列内检测到的辐射的局部增加，如图IB中的显示装置下面的信号模式S所指示的。通常，面板14由在一层或多层中的固体材料制成，且辐射在面板中通过全内反射 (TIR)传播。触摸物体20和传播的辐射之间的上述交互作用的过程可能涉及所谓的受抑全内反射(FTIR)，其中能量从传播的辐射所形成的衰逝波消散到物体20中，假定物体20具有比面板表面材料周围的材料高的折射率，并且被放置在离表面16小于几个波长的距离内。 一般来说，面板14可由传输相关波长范围中的足够量的辐射以允许能量的合理传输的任何材料制成。这样的材料包括玻璃、聚(甲基丙烯酸酯)(PMMA)和聚碳酸酯(PC)。在图1的实例中，面板14内的照射辐射(以下也被表示为IlR辐射)由多个光源或发射器22提供，光源或发射器22分布在面板14的周边周围。发射器22可被连接到处理装置8(如所示)或专用控制器用于操作控制。发射器22可具有任何合适的类型，如发光二极管(LED)、激光器或灯或其组合。应认识到，发射器22可由另外的光学部件如透镜、 光圈、滤波器、反射镜等补充。如图IB中的块箭头所指示的，显示装置的前表面16也将接收环境光，S卩，从显示装置的周围环境发出的光。这样的环境光可包含日光和/或来自人造光源的光。因此，在下面提出的不同的发明方面中，本发明一般涉及触摸感测显示装置，其包括界定显示区域4的图像元素2的阵列；布置在显示区域4内的光感测元件6的阵列；光导14，其位于显示区域4的前面以界定触摸表面16 ；光源装置20，其用于在光导14内提供照射光，以便接触触摸表面16的物体20使照射光的部分朝向显示区域4散射；以及处理元件8，其被配置成基于来自光感测元件6的输出信号来得到表示射在显示区域4上的光的图像数据，并基于图像数据来确定在触摸表面16上的物体20的位置。在下面提出的不同的发明方面中，本发明一般也涉及操作触摸感测显示装置的方法，该装置包括界定显示区域4的图像元素2的阵列；被集成以在显示区域4内感测光的光感测元件6的阵列；光导14，其位于显示区域4的前面以界定触摸表面16 ；以及光源装置 22，所述方法包括控制所述至少一个光源装置22以在光导14内提供照射光，以便接触触摸表面16的物体20使照射光的部分朝向显示区域4散射；基于来自光感测元件6的输出信号来得到表示射在显示区域4上的光的图像数据，并基于图像数据来确定在触摸表面16 上的物体20的位置。第一发明方面根据本发明的第一发明方面，接触显示装置的前表面，即，面板14的外表面16的物体20的位置基于表示射在显示区域4上的不包括环境光的光的图像数据来确定。因此， 触摸物体20的识别不是基于由环境光产生的传感器6的阵列上的任何信号模式，而是不排他地基于由IlR辐射产生的信号模式，IlR辐射通过触摸物体20从前面板14散射。这并不排除环境光确实生成传感器的阵列的信号模式的可能性，相反意图是指示这样的信号模式对触摸物体的识别无用。因此，图像数据可包括源自环境光的信号分量，但是这些信号分量是不需要的，因为它们降低了装置的触摸灵敏度。因此，显示装置可包括用于抑制图像数据中的环境光的滤波装置。适当地，由图像数据中的环境光产生的信号电平因此被抑制到小于由来自触摸物体的散射IlR辐射引起的信号电平的任何局部最大值的10%，优选地小于5%，最优选地小于1%。第一发明方面的一个优势是，它内在地区分开触摸和非触摸物体，因为只有接触面板14的前表面16的物体20才将引起IlR辐射的散射，并因此产生图像数据中的局部最大值，而基本上没有IlR辐射将被散射在非触摸物体上。另一优势是，第一发明方面特别是与环境光的抑制相结合允许使用用于基于图像数据来识别触摸物体20的位置的简单算法，因为不需要考虑由物体20引起的阴影。在图像数据中的环境光的抑制可在整个显示区域4空间上和时间上导致对环境光中的变化的位置检测的提高的可靠性。抑制环境光也可有助于提高信噪比(SNI )。在一个实施方式中，用于抑制图像数据中的环境光的装置包括位于传感器前面的光谱带通滤波器。光谱滤波器被匹配以传输IlR辐射的大部分，并阻挡环境光的大部分。图 2是示出阳光的一般陆地光谱的曲线，阳光可表示室外的环境光。滤波器的通带Δ λ的位置和宽度可以被选择成实现环境光相对于IlR辐射的足够抑制。在一个实施方式中，IlR辐射和通带都被限制到小于约10纳米的窄带Δ λ。在某些实施方式中，通带可以小得多，例如5纳米、1纳米或者甚至0. 1纳米。如果IlR辐射由激光生成，则该滤波器的通带可具有与激光的线宽度相同的大小，其往往是0.01纳米或更小。阻挡环境光的大部分的光谱滤波器的设置也将有助于降低传感器在高环境水平如在直射阳光下饱和的风险。图3是具有交错的像素定义结构2 (通常是至少一个电极)和传感器6的基底M的部分的侧视图，每个传感器6被设置有上覆的光谱滤波器26。在所示的实施方式中，滤波器26被应用到每个传感器6的顶面。可选地(未示出)，一个大滤波器可被放置在面板14 和像素定义结构2之间，滤波器沈中的开口与像素定义结构2对准。光谱滤波器的另外的可选布置稍后将被描述。在另一实施方式中，图像数据中的环境光的存在由来自传感器6的输出信号的电子滤波抑制。通过电子滤波抑制环境光的一个优势是，它不影响所显示的图像的图像质量。 电子滤波基于在曝光时间期间通过传感器的阵列中的至少部分传感器6的光的时间分辨检测。在一个实现中，电子滤波基于锁定检波。如本文所使用的，“锁定检波”表示任何信号处理技术，其中通过测量信号与已知调制函数的非线性混合来从测量信号提取信号分量。调制函数被用来以已知的调制频率ω调制IlR辐射。为此，发射器22被控制以生成由所选择的调制频率ω调制的IlR辐射。调制频率优选地被选择成使得曝光时间包括调制频率的几个(通常至少10个)周期。如果我们假定IlR辐射的振幅由例如E = E0-cos (ω -t)给出，以及当cos (ω -t) = 1时，发射器22被完全打开，并且当cos (ω -t) =-1时，它们被关闭，散射TIR辐射的振幅将以相同的频率波动。传感器6处所测量的辐照度将因而(具有增加的相位炉，以及可能的DC偏移)被转换为电子信号I=Iq _COS((Dt+妁。 增加的相位识可出现在检测电子器件中或作为发射器电子器件中的延迟。来自其它源的光， 即，噪声将在传感器6上产生辐照度In
In = Σ7/·^/^ + (pf、,其中，对噪声中的所有频率分量计算总和，每个频率分量由辐照度If、频率和相位卿给出。我们现在想只提取相关信息，即散射TIR辐射的强度。这可以由检测到的辐照度与表示发射器22的调制函数的参考信号的非线性混合来实现。在锁定检波使用非线性混合的第一实例中，检测到的辐照度和调制函数相乘，于是散射IlR辐射的强度由所产生的乘积使用相敏检波来确定。上述混合导致信号D 通过利用如果余弦函数具有不同的频率则它们是正交的，可能重新得到散射IlR
辐射的强度。正交意味着
1 tfl/2 if COd= ω and φ =φ
Tf [ ^(ω · + φΛ· :ο ,{ω· + φ) τ = \
T tlT y α α'[ Oif cod φ ω如果在这两个余弦函数之间存在相位差，则积分将在O和1/2之间的某处。通过
使信号D在明显比调制周期长的时间上积分，所产生的信号将与乘积· Itl成比例。通过
调整信号E和I的相对相位，可能优化所产生的信号。由于调制振幅已知，所产生的信
号可以被转换成散射IlR辐射的强度。也可能对信号D操作低通滤波器来消除更多的噪声源(它们具有不同于调制频率的频率)。对本领域的技术人员来说，这是容易实现的。锁定检波使用非线性混合的第二实例基于外差检波，其中检测到的辐照度和调制函数相加并且所产生的总和被平方。所产生的输出包含高频、中频和恒定分量。中频分量的振幅与散射TIR辐射的振幅成比例并且可通过适当的滤波来隔离。在另一实现中，IlR辐射也以已知的调制频率ω被调制，而电子滤波涉及传递来自传感器6的输出信号而穿过专用带通滤波器。带通滤波器的截止频率ω。ωΗ被设计成从输出信号去除不接近调制频率ω的所有频率分量，S卩，带通滤波器阻挡除了在C^ = ω-Δω/2和ωΗ = ω + Δ ω/2之间的频率以外的每个频率。经过带通滤波器的信号将表示散射IlR辐射，其强度可由信号振幅给出。上述电子滤波的不同实现可能受处理装置8中使用软件和/或硬件部件的数字信号处理的影响。然而，因处理速度的缘故，通过模拟电子器件来实现电子滤波可能是优选的。在图4所示的一个配置实例中，专用滤波硬件块观被设置成接近各个传感器6，通常与传感器6在同一基底或芯片M上。适当地，硬件块观的模拟输出信号可选地通过一个或多个复用器四输送到一个或多个A/D转换器30，其将模拟信号转换成适于在处理装置8(图1Α)中的数字化处理的数字信号值。每个数字信号值可表示由各个传感器6检测的散射IlR辐射。A/D转换器30可以或可以不被集成在基底24上。如图4所示，滤波硬件块观可包括实现专用子步骤的子块(示出两个28' ,28")。在相敏检波的实例中，滤波硬件块观可包括用于非线性混合的一个子块观‘、用于对混合信号进行低通过滤的一个子块(未示出)以及用于在曝光时间期间对经滤波的混合信号求积分的一个子块观“。 在外差检波的实例中，滤波硬件块可以包括用于非线性混合的一个子块观‘和用于振幅检波的一子块观“。在带通检波的实例中，滤波硬件块可以包括用于模拟带通滤波的一个子块观'和用于振幅检波的一个子块观“。图4中的配置确保来自各个传感器的时间分辨输出信号的有效局部预处理，并有助于降低对A/D转换器30和处理装置8的要求。在电子滤波的又一实现中，发射器22被调制以通过在开和关状态之间切换发射器22来发出脉冲光。当发射器22在关状态中时，由相应的传感器6检测的辐射被用作背景信号电平，当发射器在开状态中时，可从由相应的传感器6所检测的辐射减去背景信号电平。这种调制要求传感器6在至少两倍于位置确定频率(也称为“更新频率”，见下文) 的频率处被采样。这种电子滤波可能受处理装置8中的数字信号处理的影响，或受可选地与传感器6的阵列在同一基底/芯片M上的模拟电子器件的影响。在上述所有的实现中，调制频率适当地较高并且与在普通光源中发现的振幅变化的任何频率很好地间隔开，普通光源例如是灯泡(例如50/100ΗΖ)或其它电子设备。调制频率也可以适当地与可能由于日光干扰而发生的振幅变化的任何频率间隔开，日光干扰例如是当乘火车或汽车旅行时、当物体在风中移动时、通过旋转风扇等可能发生的阳光的周期性阻挡。目前认为，合适的调制频率至少约0. 5kHz，且优选地以间隔IkHz-IGHz被选择。应理解，来自传感器6的输出信号的任何形式的电子滤波可与传感器6前面的光谱滤波器26的使用结合起来。这样的结合可增加环境光的抑制和/或降低相应的抑制技术实现一定程度的抑制所需的性能。
还应当注意，电子滤波以及光谱滤波也可有助于抑制来自所显示的图像的任何光，其被触摸或非触摸物体反射回到显示区域。抑制这个反射回的光可降低检测到例如由在外表面16上盘旋的物体所引起的错误触摸的风险。第二发明方面可以但不需要与第一发明方面相结合的第二发明方面是，照射前面板14的IlR辐射对人眼是不可见的，即，IlR辐射由紫外线辐射(UV，约300纳米-400纳米)、近红外辐射 (NIR，约700纳米-1400纳米)和红外辐射(IR，约1400纳米-1毫米)的至少一种组成。 使用NIRAR辐射可能是优选的，因为它对人眼的伤害比UV辐射小。不可见辐射的使用可减少对所显示的图像的任何负面影响，其由在远离显示区域 4，即，朝着观看者的方向上来自前面板14的IlR辐射的电势泄漏造成。应理解，虽然前面板14被设计成包含通过内部反射的照射辐射，但是面板14的外表面16上的污染物(例如灰尘、颗粒、指纹、液体等)或划痕的不可避免的存在可引起IlR辐射的泄漏。如果IlR辐射对人眼是不可见的，则它不会削弱人对所显示的图像的感知。更进一步地，可能期望提供带防眩光结构/层(未示出)的外表面16，以减少来自面板14的外表面16上的环境光的眩光。否则，这样的眩光可能削弱外部观察者观看在显示区域4中生成的图像的能力。此外，当触摸物体20是裸露的手指时，手指和面板14之间的接触通常在外表面16上留下指纹。在完全平坦的表面上，这样的指纹清晰可见并且通常是不需要的。通过将防眩光结构/层添加到外表面16，指纹的可见性减小了。此外，当使用防眩光时，手指20和面板14之间的摩擦力减小，从而改善用户的体验。防眩光以光泽度单位(GU)表示，其中较低的GU值导致较少的眩光。一般来说，防眩光结构/层的设置导致来自面板14的辐射的大量泄漏。它可能因此对于人眼不可见的HR辐射很重要。此外，不可见辐射的使用可允许增加的信噪比，因为与可见辐射相比当使用不可见辐射时可能在面板14内使用增加强度的光照辐射。增加的强度将增加泄漏的风险，但辐射不可见并且不会被人眼对准。更进一步地，诸如荧光灯和LED灯的现代人工照明设备一般被设计成使发出的光集中到可见光谱。因此，通过由NIRAR辐射照射面板14并检测穿过相应的光谱带通滤波器26的散射IlR辐射，可显著减少来自这样的环境光的任何影响。类似地，至少一些显示技术使可见光主要从显示区域4辐射。因此，检测NIRAR中的散射IlR辐射可有助于有效地抑制被在外表面16上盘旋的物体反射回的来自显示区域4的任何光。第三发明方面可以但不需要与第一和/或第二发明方面相结合的第三发明方面基于大多数显示技术的像素6由或可以由IlR辐射可至少部分地透过的材料制造的认识。根据第三发明方面，如图5A所示，如从前表面16看到的，传感器6的阵列因此被布置在像素2的阵列的后面。与传感器与像素定义结构一起被集成在公共基底上的常规的触摸感测显示器相比， 像素2的密度可以更高，因为传感器6的设置不影响像素2的密度。例如如果每个传感器 6被布置成至少部分地与相应的像素2重叠，则可以得到像素2的阵列的紧凑设计。此外，同样如图5A所示，上述光谱滤波器沈可被合并在像素2的阵列和传感器6 的阵列之间，从而消除此滤波器26可能对所显示的图像的质量有的任何电势影响。此外， 代替向每个传感器6提供专用光谱滤波器，一个大光谱滤波器沈可被用来覆盖所有传感器，降低了对光谱滤波器26和传感器6之间的对准的需要。如果显示装置被设置有TIR辐射可透过的背光灯，则传感器6的阵列也可被放置在背光灯的后面，如图5B所示。在上述所有发明方面中，传感器6可检测在广角中的辐射，因此检测来自除触摸物体20以外的其它源的噪声辐射。如果在外表面16中存在散射，除了由触摸物体20引起的散射以外，IlR辐射可离开面板14并朝着传感器6被表面16附近的物体反射或散射，在传感器6中，它可以被检测到并形成噪声信号。如上所述，外表面16中的散射可由外表面 16上的污染物、划痕或防眩光结构引起。为减少来自IlR辐射的噪声和被在外表面16上盘旋的物体散射的显示光以及来自环境光的噪声，透镜31可被置于每个传感器6的前面，如图6A-6B所示。透镜31例如微透镜或GRIN(梯度折射率)透镜可被布置成减小传感器6 的视场(图6A中的虚线所指示的)和/或促使传感器6聚焦在外表面16上(图6B)。通过减小如图6A中所示的视场，传感器6的阵列可产生更清晰的信号模式。图6B示出聚焦的效果，其中在触摸物体20上散射的辐射(左)被投射到与在盘旋物体20上散射的辐射 (右)相比更小的区域上。因此，通过使传感器6聚焦在触摸表面16上，由接触触摸表面 16的物体散射的辐射相对于其它辐射可被增强。回到图IA的实施方式，面板被布置在面板14的边缘32上或附近的发射器22照射。在一个实现中，发射器22被配置成发出在广角光束中的IlR辐射，使得每个发射器22 照射面板14的绝大部分。在其他实现中，发射器22被配置成发出在窄角光束或可能准直光束中的IlR辐射，因此可能需要更多的发射器22来使面板14充分充满IlR辐射。在面板14中获得TIR辐射的期望强度(“光照强度”)所需要的发射器22的数量由每个发射器22的辐射强度、来自每个发射器22的光束的宽度以及面板14的大小确定。发射器22可绕面板14的边缘等距地放置，或者相互毗邻的发射器22之间的距离可以被随机化。该随机距离可用于减少当若干光源将相同波长的辐射射入面板中时可能出现的干扰现象。图7示出可选的发射器配置，其中发射器22被布置在面板14的角附近或处。如虚线所指示的，这些角发射器22被定位，以便发出在广角光束中的辐射，其中，光束的主要方向被引导到面板14的中心，以便使TIR辐射散布于面板14的尽可能大的部分上。角发射器22可被沿面板的侧面边缘的发射器补充或置换，面板的侧面边缘的发射器也可以指向面板的中心，以便最大化用于触摸检测的所发出的辐射的量。在一个实施方式中，发出的光束被阻止在面板内传播而不在至少外表面16中反射。穿过面板14传播而不在外表面16中反射的光束的任何部分不利于触摸检测信号，因为此辐射不能被触摸物体阻挡。图8是实施方式的侧视图，其中V形光偏转器33被放置在发射器22和面板14之间以沿面板14的一个或多个外周边缘32 (仅左边被示出)延伸。光偏转器33被配置成经由倾斜的镜表面；34、36使基本上平行于面板14的相对表面16、18发出的光线改变方向。具体来说，光线以确保通过全内反射的传播的角度朝着任一表面16、18被改变方向，适当地在触摸表面16中有至少一个内部反射。第四发明方面根据可以或可以不与第一、第二或第三发明方面的一个或多个相结合的第四发明方面，显示装置被配置成促使照射光在面板14的外表面16和相对表面18之间通过全内反射传播，以便传播的辐射对着外周边缘表面32被内部地反射至少一次，表面32适当与面板的平行表面16、18垂直。一般来说，这可以通过使至少一条光束入射到面板14中来实现， 以便在平行于外表面16的平面中的光束以不平行和不垂直于外周边缘表面32的角度射到外周边缘表面32。第四方面将有助于增加面板14中的光照强度。增加的光照强度可变成增大的 SNR,这可提高触摸检测的可靠性。可选地，通过允许所发出的辐射的强度降低，增加的光照强度可变成显示装置的降低的功率消耗。在一个实施方式中，光束和外周边缘表面32的法线之间的角度大于临界角，使得光束将受到全内反射。在另一实施方式中，外周表面边缘的至少部分被设置有反射镜或反射材料。增大光束和边缘表面之间的可用角度的这样的实施方式允许使用发散的光束而没有辐射的过度泄露。图9是面板14的侧视图，面板14设置有在一边缘处的发射器22和光偏转器33 以及在相对边缘处的反射材料38。为进一步增加光照强度，反射材料38被设置在光偏转器 33和边缘之间的分界面处。虚线示出在面板14内的发出的辐射的辐射路径。图7中的实施方式可例如通过将反射镜连接到或将反射材料层压到不与发射器 22相关的边缘部分而同样被设置有沿面板的边缘32的反射表面32。图10是另一实施方式的平面视图，其中面板14的边缘32被设置有反射材料38。 来自发射器(未示出)的辐射的光束B通过反射材料38中的开口所形成的入射口 40被入射到面板14中。光束B以一角度入射到面板14的边缘32，引起入射光束B对着面板14的边缘32的多次内部反射。经由多次反射，入射光束B覆盖面板14的区域比其只经过一次面板14的覆盖区域大。在理想的情况下，每个光束B将停留在面板14内，直到它通过一个或多个触摸物体的散射/衰减、通过泄漏或通过体吸收完全减少。这可被用来减少在边缘周围的发射器的数量，或可被用来增加面板内的光照强度。可选地，它可以被用来降低发射器的强度。如果被用来增加面板14内的光照强度，则它可进一步允许传感器6所检测到的信号的降低的电子放大，这可降低传感器6被环境光饱和的风险。可能期望面板14的体吸收被最小化，使得光束B可在面板14内传播更长时间。至少对于NIRAR辐射，这可通过使用PMMA制成的面板实现，因为PMMA具有比例如玻璃低的在此波长范围内的吸收。在图10的实施方式中，楔子42被连接到入射口 40以使光束B耦合进面板14。楔子42的折射率适当地匹配面板14的折射率。为了最小化反射损失，楔子42具有光束接收表面44，其基本上垂直于光束B的主方向。图10的实施方式可被设置有任何数量的入射口 40。每个入射口 40的面积与相关边缘32的面积相比优选地小(一般< 20%，优选地< 10%、< 5%或< 2% )，并且入射口的总面积与面板14的总边缘表面相比优选地小(通常< 20%，优选地< 10%、< 5%或 < 2% ),使得入射光束B更可能在面板14的边缘32中反射，而不是穿过入射口 40逸出面板14。使用一个或多个激光器或激光二极管如发射器以提供高强度的平行辐射和窄光谱带宽可能是有利的。应注意，第四发明方面的内部边缘反射将不会干扰上述有关第一发明方面的频率调制，因为入射到面板中的辐射将在比发射器的振幅调制的时间尺度短的时间尺度内被面板吸收或泄漏出面板。教据处理在以上所述的所有发明方面、实施方式、配置、布置、可选方案和变化形式中，处理装置8(图1A)可被配置成在感测事件过程中基于传感器6的输出信号来计算接触面板14 的物体20的位置。当传感器6的阵列内的所有传感器被读取时，感测事件被形成。系统的时间分辨率由更新频率确定，更新频率是感测事件的频率。例如，对于为笔迹的记录而设计的系统，可能期望有至少50-75HZ的更新频率，而其它应用可能需要更低或更高的时间分辨率。触摸感测显示装置可被操作来在感测事件的过程中确定接触面板的不仅一个物体而且多个物体的位置。只有照射辐射的部分被每个触摸物体吸收/散射，而其余照射辐射继续在面板内通过内部反射传播。因此，如果两个触摸物体在光束的主方向上正好放置在彼此之后，则光束的部分将与这两个物体相互作用。假定光束能量足够，来自两个物体的散射辐射可使用来自该光束的辐射被检测到。为了增强检测多个触摸物体的能力，照射面板以便外表面的每个区域被至少两条光束照射可能是有利的。如果第一光束被一个或多个触摸物体严重减弱，则很可能第一光束的路径中的另一触摸物体将与辐射的第二光束相互作用以生成足够量的散射辐射。技术人员将很容易认识到，存在用于确定触摸位置的很多方法。图11是在处理装置中执行的一个这样的示例性方法的流程图。在第一步骤60中，从显示装置中的传感器采集输出信号。这些输出信号表示在感测事件的过程中由显示区域接收的辐射的分布(可选地在有限的光谱通带内)。然后，在步骤62中，输出信号被预处理。例如，使用标准滤波技术例如低通滤波、 中值滤波器、傅立叶平面滤波器等可处理输出信号用于噪声抑制。此外，此步骤可涉及使用电子滤波来去除/抑制环境光，除非滤波由与相应的传感器相关的处理硬件完成，如上面关于第一发明方面所述的。也应理解，例如，如果环境光被光谱滤波器去除/抑制，则步骤 62可以被省略。在步骤64中，从预处理的输出信号减去背景数据。背景数据适当地是二维的，即， 对每个传感器是特定的，并且可以是时间不变的，例如在前面的校准阶段被采样。可选地， 通过间歇性地重复校准阶段，背景数据可被不断更新以减少触摸表面上的其余指纹和其它污染物的影响。图12示出重叠在图IA的显示装置上的经预处理和背景校正的图像数据， 其中两个触摸物体由传感器6的两个相干组46、48中的信号表示。在步骤66中，基于从输出信号得到的图像数据来确定触摸位置。在第一子步骤中，聚类算法(斑块检测)被应用到图像数据以使检测相同触摸物体的传感器聚集。第一子步骤可以基于任何已知的斑块检测算法，如基于微商表达式的微分方法和基于图像数据中的局部最大值的方法。一个广泛使用的算法是高斯拉普拉斯(LoG)。第一子步骤导致由触摸物体引起的一组电势区域。在第二子步骤中，触摸位置使用检测信号的强度被计算为每个电势区域中的传感器的“质量中心”P = ^'Pb
其中，Ib是给定传感器的散射信号的强度，而;^^是给定传感器的位置。对已被聚集到特定区域/斑块中的所有传感器评估总和。结果7因此是触摸位置。在一个变化形式中，图像数据被处理用于除了每个触摸物体的位置以外的其它触摸数据的确定。例如，在步骤66中，可对图像数据操作本领域的技术人员众所周知的方法以对每个触摸物体产生其接触面积、形状、散射光强度等的测量。在步骤68后，所确定的触摸数据被输出，并且处理返回到步骤60用于即将到来的感测事件的处理。上面主要参考几个实施方式描述了本发明。然而，如本领域的技术人员很容易认识到的，除上文所公开的实施方式以外的其它实施方式同样可能在本发明的范围内。本发明的不同特征可以合并在除所描述的那些组合的其它组合中。本发明的范围仅由所附的专利权利要求限定和限制。例如，传感器可以被优化以检测在特定波长范围内的光，该特定波长范围适当地对应于面板中的照射辐射的波长。此外，触摸感测系统的空间分辨率由传感器的密度，S卩，显示区域中每单位面积的传感器的数量限定。因此，任何期望的分辨率可以被实现，假定足够数量的传感器被使用且足够量的辐射被引入到面板中。此外，空间分辨率可以在触摸感测显示装置的操作过程中通过使若干传感器失效而变化，并且不同的空间分辨率可以在显示区域的不同部分被实现。前面板14不需要是连接到显示设备的前端部的单独部件，如LCD、等离子体显示器或OLED显示器。相反，前面板可由这样的显示设备的整体部分形成，例如基本上透射照射辐射并允许照射辐射通过内部反射传播的保护性玻璃板或前层。甚至可以设想，照射辐射被允许贯穿整个显示设备传播。在这样的实施方式中，根据第三发明方面，将传感器的阵列布置在显示设备的后面可能是优选的。为了避免检测还没被触摸物体散射的传播IlR辐射，传感器可以被布置成与显示设备的后面有空气间隙。这样的空气间隙会形成IlR表面， 其防止在显示设备中传播的光到达传感器，同时允许被触摸物体散射的光到达传感器。在一个变化形式中，这样的IlR表面可由传感器前面的固体材料/层的合适组合形成。在所有上述实施方式和发明方面中，光可穿过触摸表面16和/或相对表面18入射到面板中，而不是(或作为对)穿过面板边缘32入射(的补充)。例如，楔子(例如类似于图10中的楔子4 可被布置成与表面16、18接触以使光束耦合进面板14。
权利要求
1.一种集成触摸感测显示装置，包括界定显示区域的图像元素O)的阵列；被集成在所述显示区域内的光感测元件(6)的阵列；光导(14)，其位于所述显示区域的前面以界定触摸表面(16)；光源装置(22)，其用于在所述光导(14)内提供照射光，以便接触所述触摸表面(16)的物体00)使所述照射光的一部分朝着所述显示区域(4)散射；以及处理元件(8)，其被配置成基于来自所述光感测元件(6)的输出信号来得到表示射在所述显示区域(4)上的不包括环境光的光的图像数据，并基于所述图像数据来确定在所述触摸表面(16)上的所述物体00)的位置。
2.如权利要求1所述的集成触摸感测显示装置，还包括用于抑制所述环境光的滤波装置(26,28)。
3.如权利要求2所述的集成触摸感测显示装置，其中，所述光源装置0 被配置成以预定调制频率调制所述照射光，并且其中，所述滤波装置(28)包括用于在所述调制频率处锁定检波的电路)，所述电路对来自所述光感测元件(6)的所述输出信号进行操作。
4.如权利要求2所述的集成触摸感测显示装置，其中，所述光源装置0 被配置成以预定调制频率调制所述照射光，并且其中，所述滤波装置包括至少一个带通滤波器 (28')，该至少一个带通滤波器)对来自所述光感测元件(6)的所述输出信号进行操作以去除在所述调制频率周围的通带之外的频率。
5.如权利要求4所述的集成触摸感测显示装置，其中，所述至少一个带通滤波器 (28')包括模拟滤波电路。
6.如权利要求4或5所述的集成触摸感测显示装置，其中，所述光感测元件(6)的阵列和所述至少一个带通滤波器)被集成在公共基底04)上。
7.如权利要求3-6的任一项所述的集成触摸感测显示装置，其中，所述调制频率为至少约 0. 5kHz ο
8.如权利要求2-7的任一项所述的集成触摸感测显示装置，其中，所述光源装置02) 被配置成提供在有限波长范围中的所述照射光，并且其中，所述滤波装置包括被布置在所述光感测元件(6)的前面以便相对于所述照射光抑制所述环境光的至少一个光谱通带滤波器(26)。
9.如任一项前述权利要求所述的集成触摸感测显示装置，其中，所述照射光对人眼是不可见的。
10.如权利要求9所述的集成触摸感测显示装置，其中，所述照射光在超过700nm的波长范围内。
11.如任一项前述权利要求所述的集成触摸感测显示装置，其中，所述光感测元件(6) 的至少一个子集被设置有界定所述光感测元件(6)的视场的相应的透镜设备(31)。
12.如权利要求11所述的集成触摸感测显示装置，其中，所述透镜设备(31)被布置成使所述触摸表面(16)的区域聚焦在所述光感测元件(6)上。
13.如任一项前述权利要求所述的集成触摸感测显示装置，其中，所述光导(14)由界定所述触摸表面(16)、平行的相对表面(18)和外周边缘表面(3 的固体材料制成，所述外周边缘表面(3 垂直于所述触摸表面(16)并将所述触摸表面(16)连接到所述相对表面(18)，其中，光源装置0 和光导(14)的组合被布置成使所述照射光在所述触摸表面(16) 和所述相对表面(18)之间通过全内反射传播，以便传播的光对所述外周边缘表面(32)被内部地反射至少一次。
14.如权利要求13所述的集成触摸感测显示装置，其中，所述光源装置0 被布置成使至少一条光束入射到所述光导(14)中，以便在平行于所述触摸表面(16)的平面中的所述光束与所述外周边缘表面的法线成角度α射到所述外周边缘表面(3 ，0< α <90°。
15.如权利要求14所述的集成触摸感测显示装置，其中所述角度被选择成引起所述光束对所述外周边缘表面(3 的多次反射。
16.如权利要求13-15的任一项所述的集成触摸感测显示装置，其中，所述外周边缘表面(32)被至少部分地设置有反射材料(38)。
17.如权利要求16所述的集成触摸感测显示装置，其中，所述光源装置0 被配置成使所述光束穿过包括所述反射材料(38)中的开口的入射口 GO)入射。
18.如权利要求17所述的集成触摸感测显示装置，还包括光透射率匹配的楔子(42)， 所述楔子0 被布置在所述开口上，以便所述楔子0 的光束接收表面G4)垂直于所述光束的主方向。
19.如权利要求17或18所述的集成触摸感测显示装置，包括一组入射口(40)，每个入射口 GO)包括在所述反射材料(38)中的开口，所述开口的总表面面积小于所述外周边缘表面(32)的总表面面积的10%，并且优选地小于2%。
20.如任一项前述权利要求所述的集成触摸感测显示装置，还包括在所述光源装置 (22)和所述光导(14)之间的角度控制元件(33)，所述角度控制元件(3 被配置成防止所述照射光穿过所述光导(14)传播而不在所述触摸表面(16)中反射。
21.如权利要求20所述的集成触摸感测显示装置，其中，所述角度控制元件(3 被配置成接收由所述光源0 发出的光的至少一部分，并且使因此被接收的光改变方向以在所述触摸表面(16)中反射。
22.如任一项前述权利要求所述的集成触摸感测显示装置，其中，从所述触摸表面 (16)看，所述光感测元件(6)的阵列位于所述图像元素(2)的阵列的后面。
23.如权利要求22所述的集成触摸感测显示装置，其中，每个光感测元件(6)被布置成至少部分地与相应的图像元素( 重叠。
24.如任一项前述权利要求所述的集成触摸感测显示装置，其中，所述处理元件(8)被配置成通过识别所述图像数据中的高强度区域来确定所述物体OO)的位置。
25.一种操作集成触摸感测显示装置的方法，所述装置包括界定显示区域的图像元素( 的阵列、被集成以在所述显示区域内感测光的光感测元件(6)的阵列、位于所述显示区域的前面以界定触摸表面(16)的光导(14)以及光源装置0 ；所述方法包括控制所述至少一个光源装置0 以在所述光导(14)内提供照射光，以便接触所述触摸表面(16)的物体OO)使所述照射光的一部分朝着所述显示区域(4)散射；基于来自所述光感测元件(6)的输出信号来得到表示射在所述显示区域(4)上的不包括环境光的光的图像数据，以及基于所述图像数据来确定在所述触摸表面(16)上的所述物体OO)的位置。
26.如权利要求25所述的方法，还包括控制所述光源装置0 以预定调制频率调制所述照射光，并对来自所述光感测元件(6)的所述输出信号操作用于在所述调制频率处锁定检波的电路)。
27.如权利要求25所述的方法，还包括控制所述光源装置0 以预定调制频率调制所述照射光，并且从至少一个带通滤波器)得到所述图像数据，所述至少一个带通滤波器)对来自所述光感测元件(6)的所述输出信号进行操作以去除在所述调制频率周围的通带之外的频率。
28.如权利要求25-27的任一项所述的方法，还包括操作所述光源装置0 以提供在有限波长范围中的所述照射光，其中，至少一个波长滤波器06)被布置在所述光感测元件 (6)的前面以便相对于所述照射光抑制所述环境光。
29.如权利要求观所述的方法，其中，所述照射光在超过700nm的波长范围内。
30.如权利要求25- 的任一项所述的方法，其中，所述光导(14)由界定所述触摸表面 (16)、平行的相对表面(18)和外周边缘表面(3 的固体材料制成，所述外周边缘表面(32) 垂直于所述触摸表面(16)并将所述触摸表面(16)连接到所述相对表面(18)，所述方法还包括操作所述光源装置0 以使所述照射光在所述触摸表面(16)和所述相对表面(18) 之间通过全内反射传播，以便传播的光对所述外周边缘表面(3 被内部地反射至少一次。
31.如权利要求30所述的方法，其中所述光源装置02)被操作来引起所述光束对所述外周边缘表面(32)的多次反射。
32.如权利要求25-31的任一项所述的方法，其中，确定所述位置包括识别所述图像数据中的高强度区域。
33.一种包括程序指令的计算机可读介质，所述程序指令当由处理器执行时，促使所述处理器执行权利要求25-32的任一项的所述方法。
全文摘要
一种集成触摸感测显示器被操作来检测在触摸表面上的一个或多个物体的位置。该集成触摸感测显示器界定显示区域。光导(14)被布置在显示区域上以界定触摸表面(16)。光导(14)被内部地照射，以便接触触摸表面(16)的物体(20)使照射光的部分朝向显示区域散射。光传感器(6)的阵列被集成在显示区域内以检测散射光。基于来自光传感器(6)的输出信号，处理元件得到表示射在显示区域上的不包括环境光的光的图像数据，并确定在触摸表面(16)上的物体(20)的位置。环境光可由在每个光传感器(6)前面的光谱通带滤波器抑制，和/或通过来自传感器(6)的输出信号的电子滤波抑制。光导(14)可由不可见光照射，并且可被布置成促使照射光束在光导(14)的外周边缘表面处被内部地反射，以便增加在光导(14)内的照射光的强度。
文档编号G06F3/042GK102209949SQ200980144965
公开日2011年10月5日 申请日期2009年11月12日 优先权日2008年11月12日
发明者奥拉·瓦斯维克, 托马斯·克里斯蒂安松 申请人:平蛙实验室股份公司