大面积交互式显示屏的制作方法

大面积交互式显示屏的制作方法
【专利摘要】一种包含具有包含观看区域的前表面的玻璃盖片的交互式显示器为电子装置的用户提供输入/输出I/O接口。一种布置包含处理器、光源以及安置在所述观看区域的外围之外与所述玻璃盖片共面或在其后面的相机。所述相机接收因所述交互式显示器所输出的光与物件的交互而产生的散射光，所述所输出的光从所述物件被所述玻璃盖片接收，并引向所述相机。所述处理器从所述相机所输出的图像数据确定所述物件相对于所述相机的光轴的方位角和/或所述物件距所述相机的距离。
【专利说明】
大面积交互式显示屏
[0001 ] 相关申请案的交叉参考
[0002] 本发明主张2014年3月4日申请且标题为"大面积交互式显示屏（LARGE AREA INTERACTIVE DISPLAY SCREEN)"的第61/947,971号美国临时专利申请案以及2015年2月19 日申请且标题为"大面积交互式显示屏(LARGE AREA INTERACTIVE DISPLAY SCREEN)"的第 14/626,679号（代理人案号01从1^2411^/143621)美国专利申请案的优先权。这些先前申请 案的揭示内容被视为本发明的一部分且特此以引用的方式并入本文中。
技术领域
[0003] 本发明涉及用于将触摸响应能力提供给具有大显示屏的裝置的技术，且更具体地 说，涉及响应于用户的触摸和/或多个同时触摸来控制的提供用户输入/输出接口的交互式 显示器。
【背景技术】
[0004] 难以将传统的多点触摸系统按比例缩放到大尺寸(>24〃对角线）显示器。用于大多 数智能电话的投射式电容在尺寸上已受氧化铟锡电极的高电阻率(其可使RC时间常数和信 噪等级降级)和处理成本限制。归因于大量组件，基于阴影检测或受抑全内反射(FTIR)的光 学方法并不很好地按比例缩放到大尺寸显示器。
[0005] 现有的基于相机的光学触摸系统具有限制其在消费型电子装置中的应用的两个 主要缺点。首先，由于相机通常越过显示器的表面观察，因此相机在显示器外部周围增加了 相当大的边框高度。现代平整屏幕裝置的设计更喜欢在美观性上合意的平整边框。其次，归 因于相机的侧向视角，这些系统容易发生遮挡和重影触摸，从而限制可以可靠地检测对象 的位置，以及可检测的对象的数量。

【发明内容】

[0006] 本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责 本文所揭示的合乎需要的属性。
[0007] 本发明中所描述的标的物的一个创新方面可在包含一或多个相机的交互式显示 器中实施，每一相机安裝在显示器玻璃盖片的平面内或平面后面。可为IR敏感VGA微相机的 相机可输出图像数据，从所述图像数据可确定一触摸或同时多个触摸的位置。所揭示的技 术避免在显示器外部周围增加相当大的边框高度，同时使得能够准确地确定触摸位置，且 在同时发生两个或两个以上触摸时最小化阻塞效应。
[0008] 根据一些实施方案，一种设备或电子装置可与交互式显示器协作以向所述设备的 用户提供输入/输出（I/O)接口。所述交互式显示器包含具有前表面的玻璃盖片，所述前表 面包含观看区域。所述电子装置可包含交互式显示器或以电或无线方式耦合到交互式显示 器。所述设备可包含安置在与玻璃盖片共面或在玻璃盖片后面的观看区域的外围之外的处 理器、光源和一或多个相机。当对象（例如用户的手指或手持式物件接触显示器的前表面 时，从所述对象散射的光中的至少一些可被玻璃盖片接收，并引向所述相机。所述相机可检 测此光，并向所述处理器输出所述检测到的光的图像数据。所述处理器可从所述图像数据 确定所述物件相对于相机的光轴的方位角以及所述物件距所述相机的距离中的一者或两 者。
[0009] 根据一些实施方案，一种设备包含交互式显示器、处理器、光源以及至少一个相 机。所述交互式显示器包含具有前表面的玻璃盖片，所述前表面包含观看区域，且为电子装 置的用户提供输入/输出（I/O)接口。所述光源发射可见光和红外光中的一者或两者。所述 至少一个相机安置在所述观看区域的外围之外，与所述玻璃盖片共面或在其后面。所述相 机经配置以接收因从交互式显示器输出的光与物件的交互而产生的散射光，且所述散射光 的至少一些从所述物件被玻璃盖片接收，并引向所述相机。所述处理器经配置以从所述相 机所输出的图像数据确定所述物件相对于所述相机的光轴的方位角以及所述物件距所述 相机的距离中的一者或两者。
[0010] 在一些实例中，所述处理器可经配置以确定所述物件相对于相机的光轴的方位角 以及所述物件距所述相机的距离中的两者。
[0011] 在一些实例中，所述玻璃盖片可包含接近于前表面安置的第一平面光导，所述第 一平面光导经配置以接收散射光，所述接收到的散射光的至少一些在第一平面光导内进行 全内反射(TIR)。光转向布置可包含安置在第一平面光导后面的第二平面光导，且所述输出 的光可因第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源 发射的光而产生。所述光源可与所述第二平面光导光学耦合。所述交互式显示器可安置于 第一平面光导与第二平面光导之间。所述第一平面光导可安置在前表面的前方，所述第二 平面光导可安置在第一平面光导后面，且输出的光可因第二平面光导在具有正交于所述前 表面的实质性分量的方向上反射从所述光源发射的光而产生。所述第二平面光导可充当交 互式显示器的前照灯。
[0012] 在一些实例中，输出的光可照明交互式显示器上方的区域。
[0013] 在一些实例中，所述处理器可经配置以控制所述交互式显示器和所述电子装置中 的一者或两者。
[0014] 在一些实例中，所述光源可为红外光源，且所述交互式显示器是液晶显示器。
[0015] 在一些实例中，所述处理器可经配置以通过分析所述相机所接收到的多个万花筒 反射的由所述相机输出的图像数据来确定所述触摸距所述相机的距离。所述处理器可经配 置以通过分析所述多个万花筒反射中的两个或两个以上之间的空间间距来确定所述距离。
[0016] 在一些实例中，所述处理器可经配置以通过分析相机所接收到的至少一个万花筒 反射的由所述相机输出的图像数据，来确定所述触摸的所述触摸相对于所述相机的光轴的 方位角
[0017] 在一些实例中，所述至少一个相机包含两个或两个以上相机，且所述处理器经配 置以通过所述相机所输出的图像数据的三角测量来确定所述触摸的方位角。
[0018] 在一些实例中，所述观看区域可具有超过24英寸的对角线尺寸。
[0019] 根据一些实施方案，一种方法包含：用处理器从至少一个相机的输出确定用户触 摸的位置；以及响应于所述确定所述用户触摸的所述位置，用所述处理器来控制电子装置 和为所述电子装置提供输入/输出（I/O)接口的交互式显示器中的一者或两者。所述交互式 显示器包含具有包含观看区域的前表面的玻璃盖片，所述相机安置在所述观看区域的外围 之外，与所述玻璃盖片共面或在其后面，所述相机的输出因使用所述相机接收到散射光产 生，所述散射光因从所述交互式显不器输出的光与物件的交互而产生，所述散射光的至少 一些被玻璃盖片接收，并引向所述相机，且通过所述处理器从所述相机所输出的图像数据 确定物件相对于相机的光轴的方位角以及所述物件距所述相机的距离来确定位置。
[0020] 在一些实例中，所述确定所述用户触摸的所述位置可包含分析所述相机所接收到 的多个万花筒反射的由所述相机输出的图像数据。所述确定所述物件距所述相机的所述距 离可包含分析所述多个万花筒反射中的两个或两个以上之间的空间间距。所述确定所述方 位角可包含分析所述相机所接收到的至少一个万花筒反射的由所述相机输出的图像数据。
[0021] 根据一些实施方案，一种设备包含:交互式显示器，其包含具有包含观看区域的前 表面的玻璃盖片，且为电子装置的用户提供输入/输出（I/O)接口；处理器;光源，其发射可 见光和红外光中的一者或两者；以及至少一个用于检测光的装置，其安置在观看区域外围 之外与玻璃盖片共面或在其后面，所述光检测装置经配置以接收因从交互式显示器输出的 光与物件的交互而产生的散射光，所述散射光的至少一些由玻璃盖片从所述物件接收，并 引向所述光检测装置，所述光检测装置经配置以将对应于接收到的散射光的图像数据输出 到所述处理器。所述处理器经配置以从所述图像数据确定所述物件相对于光检测装置的光 轴的方位角以及所述物件距所述光检测装置的距离。
[0022] 在一些实例中，所述玻璃盖片可包含接近于前表面安置的第一平面光导，所述第 一平面光导经配置以接收散射光，所述接收到的散射光的至少一些在第一平面光导内进行 全内反射(TIR)。光转向布置可包含安置在第一平面光导后面的第二平面光导，且所述输出 的光可因第二平面光导在具有正交于所述前表面的实质性分量的方向上反射从所述光源 发射的光而产生。
[0023] 在一些实例中，所述处理器可经配置以控制所述交互式显示器和所述电子装置中 的一者或两者。
[0024]根据一些实施方案，一种非暂时性计算机可读媒体上面存储有软件，所述软件包 含可由处理器执行的指令，所述指令致使所述处理器从至少一个相机的输出确定用户触摸 的位置，且响应于所述用户触摸的所确定的位置，控制电子装置和为所述电子装置提供输 入/输出（I/O)接口的交互式显示器中的一者或两者。所述交互式显示器包含具有包含观看 区域的前表面的玻璃盖片。所述相机安置在所述观看区域的外围之外，与所述玻璃盖片共 面或在其后面。所述相机的所述输出因使用所述相机接收到散射光而产生，所述散射光因 从所述交互式显不器输出的光与物件的交互而产生，所述散射光的至少一些被玻璃盖片接 收，并引向所述相机。所述处理器通过从所述相机所输出的图像数据确定所述物件相对于 所述相机的光轴的方位角以及所述物件距所述相机的距离来确定所述位置。
[0025]在一些实例中，所述指令可致使所述处理器通过分析相机所接收到的多个万花筒 反射的由所述相机输出的图像数据来确定用户触摸的位置。所述指令可致使所述处理器通 过分析所述多个万花筒反射中的两个或两个以上之间的空间间距来确定所述物件距所述 相机的距离。
[0026]在一些实例中，所述指令可致使所述处理器通过分析所述相机所接收到的至少一 个万花筒反射的由所述相机输出的图像数据来确定方位角。
【附图说明】
[0027]在附图和以下描述中陈述本说明书中描述的标的物的一或多个实施方案的细节。 其它特征、方面和优点将从所述描述、图式和所附权利要求书而变得显而易见。注意，以下 各图的相对尺寸可能未按比例绘制。各个图式中的相同参考标号和名称指示相同元件。 [0028]图1说明根据一实施方案的交互式显示器的简化框图。
[0029]图2说明根据一实施方案的交互式显示器的横截面正视图。
[0030]图3说明万花筒效应的实例。
[0031]图4说明响应于用户触摸而控制电子装置和/或交互式显示器的过程流程图。
[0032]图5说明根据一些实施方案的从至少一个相机的输出确定用户触摸的位置的过程 流程图。
[0033]图6说明万花筒图像数据的实例。
[0034]图7说明万花筒反射图像间距与射程距离之间的关系。
[0035]图8说明根据一些实施方案的从万花筒反射图像获得射程信息的方面。
[0036]图9说明根据一些实施方案的确定用户触摸距相机的射程距离的过程流程图。
[0037] 图10说明获得多点触摸实施方案的位置信息的方面。
[0038] 图11说明用于处理多点触摸实施方案中的图像数据的过程流程图。
[0039]图12说明根据一实施方案的交互式显示器的平面视图。
[0040] 图13说明使用至少两个相机来获得触摸的位置信息的方面。
[0041] 图14说明根据另一实施方案的交互式显示器的横截面正视图。
[0042]图15说明包含位于显示器观看区域下方的相机的交互式显示器的实例。
[0043]图16说明根据又一实施方案的交互式显示器的实例。
【具体实施方式】
[0044]以下描述针对出于描述本发明的创新方面的目的的某些实施方案。然而，所属领 域的一般技术人员将容易认识到，可以许多不同方式应用本文中的教示。所描述的实施方 案可实施于可经配置以显示图像(不论运动（例如，视频)还是静止(例如，静态图像），且不 论文本、图形还是图片）的任何装置或系统中。更明确地说，预期所描述的实施方案可包含 于多种电子装置中或与所述电子装置相关联，所述电子装置例如为(但不限于）：移动电话、 具备多媒体因特网功能的蜂窝式电话、移动电视接收器、无线装置，智能电话、Bluetooth? 装置、个人数据助理(PDA)、无线电子邮件接收器、手持式或便携式计算机、上网本、笔记型 计算机、智能本、平板计算机、打印机、复印机、扫描仪、传真机装置、GPS接收器/导航器、相 机、MP3播放器、摄像机、游戏控制台、腕表、时钟、计算器、电视监视器、平板显示器、电子阅 读装置（即，电子阅读器）、计算机监视器、汽车显示器(包含里程表和速度计显示器等等）、 驾驶舱控制和/或显示器、相机取景显示器(例如车辆中的后视相机的显示器）、电子照片、 电子广告牌或标志、投影仪、建筑结构、微波炉、冰箱、立体声系统、磁带录音机，或者播放 器、DVD播放器、CD播放器、VCR、收音机、便携式存储器芯片、洗衣机、烘干机、洗衣机/烘干 机、停车计时器、包装(例如在机电系统(EMS)、微机电系统(MEMS)和非MEMS应用中）、美学结 构(例如，一件首饰上的图像的显示）以及各种各样的EMS装置。本文中的教示还可用于非显 示器应用中，例如(但不限于）电子切换装置、射频滤波器、传感器、加速度计、陀螺仪、运动 感测装置、磁力计、用于消费型电子装置的惯性组件、消费型电子产品的零件、变容器、液晶 装置、电泳装置、驱动方案、制造工艺和电子测试装备。因此，所述教示并不希望仅限于附图 中所描绘的实施方案，而是具有对本领域的技术人员来说将是显而易见的广泛适用性。
[0045] 本文在下文描述用于提供交互式电子显示器的新技术，所述电子显示器提供响应 于与所述显示器的触摸交互的特定特性来控制的用户输入/输出接口。使用使显示器的成 本、大小和复杂性增加极少的光学技术来确定所述特性，其可包含用户的触摸在所述触摸 相对于相机的方位角和距离的方面的位置信息。
[0046] 可实施本发明中描述的主题的特定实施方案来实现下列潜在优点中的一或多者。 相对于在先技术，本发明所公开的技术实现使用来自安置成与显示器共面或在其后面的单 个相机的图像数据进行的交互式显示器上的触摸位置的确定，尽管所述交互式显示器可为 大面积显示屏。由于本发明所公开的技术，可使用极小且便宜的相机来准确地确定与所述 显示器的前表面光学接触的物件的位置。
[0047]本发明中所描述的标的物的一个创新方面可在交互式显示器的布置中实施，所述 布置包含具有包含观看区域的前表面的玻璃盖片、光源、光转向布置和至少一个相机。安置 在与所述玻璃盖片共面或在其后面的观看区域的外围之外的相机接收因从交互式显示器 输出的光与物件的交互而产生的散射光，所输出的光由光转向布置从光源接收，通过所述 光转向布置在大体上正交于观看区域的方向上转向。可为IR敏感VGA微相机的相机可输出 图像数据，从所述图像数据可确定一触摸或同时多个触摸的位置。所揭示的技术避免在显 示器外部周围增加相当大的边框高度，同时使得能够准确地确定触摸位置，且在同时发生 两个或两个以上触摸时最小化阻塞效应。
[0048]在一些实施方案中，一种设备或电子装置可与交互式显示器协作以向所述设备的 用户提供输入/输出（I/O)接口。所述交互式显示器具有包含观看区域的前表面。所述电子 装置可包含交互式显示器或以电或无线方式耦合到交互式显示器。所述设备可包含处理 器、第一平面光导、红外（IR)光源和一或多个IR相机。所述第一平面光导可安置为接近前表 面且在前表面后面。第二平面光导可安置在第一平面光导后面。在一些实施方案中，IR光源 可安置在平面光导的外围之外，且与第二平面光导的输入光学耦合。所述第二平面光导可 包含第一光转向布置，其通过反射从IR发光源接收到的光以便照明显示器上方的区域，来 在具有正交于所述前表面的实质性分量的方向上输出反射光。当例如用户的手指的物件或 手持式物件接触显示器的前表面时，从所述物件散射的IR光可在第一平面光导内经历全内 反射(TIR)。已经历TIR的IR光的至少一些可到达所述IR相机中的一或多者。所述相机可检 测此经TIR的光，并向所述处理器输出所述检测到的经TIR的光的图像数据。所述处理器可 从所述图像数据辨别用户触摸的实例和位置，且可响应于所述用户触摸来控制交互式显示 器和所述电子装置中的一者或两者。当在本文中以及所附权利要求书中使用术语"平面光 导"时，可通过参考序列号为13/480,377的申请案"全范围示意动作系统（FULL RANGE GESTURE SYSTEM)"来获得对所述术语的较好理解，所述申请案指派给本发明的受让人，其 揭示内容特此出于所有目的，以全文引用的方式本文本申请案中。
[0049]图1说明根据一实施方案的交互式显示器的简化框图。交互式显示器100包含显示 器玻璃盖片165(图2)，其具有包含观看区域101的前表面167(图2)。电子显示器100包含经 配置以检测光的至少一个感光元件133。感光元件133可包含例如具有镜头、针孔或光栅 ("相机"）的二维像素阵列。如下文中将更详细地阐释，当物件150至少部分地与前表面167 光学接触时，感光元件133可检测因光与物件150(图2)的交互而产生的散射光。
[0050] 感光元件133可向处理器1004输出图像数据。在一些实施方案中，例如，感光元件 133可为相机或包含相机，且可将若干图像像素的2D图像数据输出到处理器1004。处理器 1004可与感光元件133且与交互式显示器100的其它元件通信地耦合。在一些实施方案中， 处理器1004可为电子显示器100的组成部分。在其它实施方案中，如图1所建议，处理器1004 可与电子显示器100分开配置。在一些实施方案中，处理器1004可远程位于例如远程服务器 中。在一些实施方案中，处理器1004可与电子装置1005通信地耦合。处理器1004可经配置以 从所述图像数据辨别用户触摸的实例和位置，且可响应于所述用户触摸来控制交互式显示 器100和所述电子装置1005中的一者或两者。
[0051]图2说明根据一实施方案的交互式显示器的横截面正视图。在所说明的实施方案 中，交互式显示器100包含第一平面光导165(其在本文还可称为"覆盖镜头"或"玻璃盖片"， 其可例如安置在移动装置上的显示器、监视器或电视机上方）。第一平面光导165可安置成 接近于交互式显示器100的前表面167且在其后面。第二平面光导135(其在本文可称为"背 光"）可安置在第一平面光导165后面。在所说明的实施方案中，显示器层145安置于第一平 面光导165与第二平面光导135之间。如图2的细节A中示出，背光135可经配置以在大体上正 交于前表面167的方向上发射光142。光142可包含可见光和/或红外光。
[0052]在所说明的实施方案中，光源135被配置为背光（即，光源135在显示器层145"后 面"，使得显示器层145安置于光源135与第一平面光导165之间）。然而，在其它实施方案中， 光源135可被配置成前光（即，光源135可在显示器层145"上方"，使得光源135安置于显示器 层 145与第一平面光导165之间）。更一般地说，将了解，光源135可为或包含液晶或场序色彩 显示器的背光、反射式显示器(例如干涉式调制器（MOD)显示器）的前光，或发射型显示器 (例如有机发光二极管显示器)发射的光，或在对可见光不透明的玻璃盖片165的布线图区 域下面且穿过所述布线图区域发射的红外光。
[0053] 在所说明的实施方案中，交互式显示器100包含光源131和感光元件133。光源131 可为例如发光二极管(LED)。在一些实施方案中，光源131包含一或多个IR光源，其可发射红 外线、红色、蓝色、绿色或另一色彩或色彩组合，或白色的光。在一些实施方案中，光源131包 含安置在第二平面光导135的周界周围的多个IR LED。所述多个IR LED可与组成交互式显 不器100的背光的一部分的可见光LED穿插。
[0054]现参看图2的细节A，应注意，感光元件133可为或包含相机，包含具有光轴134的镜 头132。在一些实施方案中，感光元件133可安置成使得光轴134大致平行于前表面167。在一 些实施方案中，相机133可为或包含视频图形阵列(VGA)微相机。所述相机可为黑白相机，且 可经适当地滤波，以便大体上仅接收IR光。在一些实施方案中，VGA微相机可包含大约500μπι 直径的镜头，且包含于小于4mm的传感器封装中。因此，相机133可位于与第一光导165的共 面布置中，而不可观地增加交互式显示器100的堆叠高度。
[0055]如上文所指出，在一些实施方案中，光源131可安置在第二平面光导135的外围附 近。在此些实施方案中，第二平面光导135可包含光转向布置，其在具有正交于前表面的实 质性分量的方向上反射从光源131接收到的光。无关于光源131安置在何处，，仍参考图2的 细节A，光142可穿过第一平面光导165,并与物件150交互。物件150至少部分地与第一平面 光导165的顶表面光学接触。物件150可为用户的手指或其它附肢或手持式物件，例如触笔。 反射光142与物件150的交互可产生散射光146。如由光线轨迹146(0)所不，散射光146中的 一些可行进到相机133,且被相机133检测到，而不由平面光导165内部反射。散射光146中的 至少一些可经历TIR。举例来说，如光线轨迹146(1)所示，散射光中的一些在被相机133检测 到之前，可经历单次内部反射。将了解，散射光中的一些在被相机133检测到之前，可经历两 次、三次或更多次内部反射。相机133可将所述检测到的IR光的图像数据输出到处理器1004 (图 1)。
[0056]处理器1004可从相机133的输出辨别用户的触摸的实例和位置，更明确地说，物件 150的位置。如下文中所描述，单个相机133可足以确定相对于相机133的光轴的方位角以及 距相机133的距离或射程两者。
[0057] 仍参考图2的细节A，尽管说明两光线轨迹146(0)和146(1)，但将了解，相机133可 检测物件150的图像的多个离散反射。这在本文中可被称作万花筒效应。图3说明万花筒效 应的实例。更明确地说，图3说明单个手指触摸在相机133的视野中间时来自相机133的实例 图像。在示出的实例中，所述触摸的直接图像是在位置301。位置301上方和下方的明亮标记 是因已经历物件10与相机133之间的一或多个内部反射的光线而产生。可通过分析沿垂直 (Y)轴的万花筒反射的数目和空间间距来确定物件10的位置与相机133之间的距离。此分析 可通过对所述图像数据执行离散傅里叶变换来进行。可通过检测到的光位于水平(X)轴上 何处来确定到所述触摸的方位角。
[0058]图4说明响应于用户触摸而控制电子装置和/或交互式显示器的过程流程图。并入 到交互式显示器中和/或与所述交互式显示器通信地耦合的处理器可经配置以执行过程 400。在一些实施方案中，包含相机133的交互式显示器100可经配置以与处理器1004合作执 行过程400。过程400可在框410处通过确定用户触摸的位置而开始。所述处理器可通过从相 机的输出确定所述物件相对于所述相机的光轴的方位角以及所述物件距所述相机的距离 中的一者或两者来确定位置。在交互式显示器包含具有包含观看区域的前表面的玻璃盖片 的情况下，相机的输出可因将光从光源发射到光转向布置中而产生，所述光源安置在所述 观看区域的外围之外。所述所发射的光可由所述光转向布置在具有大体上正交于观看区域 的方向上反射。所述相机可接收因反射光与物件的交互而产生的散射光，且将对应的图像 数据输出到处理器。
[0059] 在框420处，所述处理器可响应于用户触摸而控制所述电子装置和所述交互式显 示器中的一者或两者。
[0060] 图5说明根据一些实施方案的从至少一个相机的输出确定用户触摸的位置的过程 流程图。过程410可在框411处通过确定所述触摸相对于相机的光轴的方位角而开始。在一 些实施方案中，可通过识别相机所输出的图像数据接近于所述触摸的中心位置的像素位置 来确定所述方位角。举例来说，可识别对应于沿所述图像数据的行扫描的峰值光学强度的 像素位置。在一些实施方案中，通过考虑与所述相机相关联的任何镜头系统的特性，可将所 识别的像素位置映射到相对于相机的光轴的角度。
[0061] 过程410可在框412处通过确定所述触摸与相机之间的射程距离而继续。可通过分 析用以表征万花筒反射的一个或多个参数(例如反射的数目、间距或频率)的图像数据来确 定射程。所表征的参数可映射到射程距离。
[0062]任选地，过程可在框413处通过执行从(方位角、射程)坐标到笛卡尔（x，y)坐标的 坐标变换而继续。
[0063]图6说明万花筒图像数据的实例。实例6(a)示出因位于距相机5cm的距离处且相对 于相机的光轴成-20°的方位角的触摸而产生的万花筒反射图像。实例6(b)示出因位于距相 机20cm的距离处且相对于所述光轴成+5°的方位角的触摸而产生的万花筒反射图像。
[0064]将了解，在Y轴方向上反射的图像距相机光轴的偏移距离可容易映射到方位角。所 反射的图像之间的分离距离可同样地映射到从所述触摸到所述相机的射程距离。在示出的 实例6(a)中，所反射的图像之间的35像素间距已映射到触摸与相机之间的5cm距离，而在示 出的实例6(b)中，所反射的图像之间的15像素间距已映射到触摸与相机之间的20cm距离。 [0065]图7说明万花筒反射图像间距与射程距离之间的关系。更明确地说，图7说明在相 机133的视野610内记录的多个图像中的每一者如何对应于以可与相应的虚拟对象位置有 关的不同角度从物件150散射的光。举例来说，图像i 55Q对应于物件150的直接图像。图像ivl 因已经历单次内部反射的光线而产生，且对应于虚拟对象位置vl。图像iv2因已经历两次内 部反射的光线而产生，且对应于虚拟对象位置v2。尽管为了说明的清楚性，实例7(a)和7(b) 的每一者中仅描绘三个图像，图像丨 55〇、丨￥1和^2，但通常可预期大体上较大数目的图像因万 花筒效应而产生。
[0066] 将实例7(a)与实例7(b)进行比较，可观察到，在触摸150(a)的位置比触摸150(b) 的位置更靠近相机133的情况下，实例7(a)中的万花筒反射图像之间的分离距离大于实例7 (b)中的万花筒反射图像之间的分离距离。因此，可通过测量因所述触摸而产生的万花筒反 射图像之间的间距距离，来定量地获得触摸与相机之间的射程距离。
[0067] 图8说明根据一些实施方案的从万花筒反射图像获得射程信息的方面。图9说明根 据一些实施方案的确定用户触摸距相机的射程距离的过程流程图。首先参看图8,细节B示 出位于区601内的万花筒反射图像的实例。区601可包含若干列像素，其包含与用户触摸的 实例有关的图像数据。区601之外的像素与用户的触摸不相关。
[0068] 现参看图9,说明用于确定用户触摸的射程距离的方法900。对于图像数据的给定 帧，所述帧包含像素行和列，所述方法可在框910处通过识别含有与触摸有关的图像数据的 那些像素列而开始。在图8中示出的实例中，此类列是那些包含于区601中的列。在一些实施 方案中，可选择具有最高平均强度的列。在一些实施方案中，可取两个或两个以上相邻列上 的平均值。如图8的细节C中示出，区601内沿Z轴的图像强度可实质上变化。
[0069] 再次参看图9,所述方法可在框920处通过对图8的细节C中说明的强度数据执行傅 里叶变换而继续。图8的细节D中所示的所得傅立叶域曲线图可容易得出万花筒反射图像的 特征频率。更明确地说，傅立叶域曲线图中出现第一最大值的频率将已知对应于万花筒反 射图像的特征频率。因此，方法900涵盖在框930处定位第一最大值。所述所确定的特征频率 在图9的框940处，又可用来确定触摸距相机的射程距离。举例来说，射程距离'd'可等于 2fD/Δ，f是相机的焦距，D是第一平面光导的厚度，且Δ是邻近万花筒反射图像之间的距 离。
[0070] 在一些实施方案中，涵盖用于改进触摸位置确定的准确性和可靠性的技术，明确 地说，所述技术是针对其中希望检测和区分多个同时或几乎同时的触摸的实施方案（"多点 触摸"实施方案）。多点触摸实施方案需要多个图像强度峰值的检测和位置确定。本发明所 揭示的技术提供准确且可靠的触摸位置确定，尽管任何个别峰值的形状很可能不对称，且 可取决于正检测的物件的特性，以及所述物件的放置特性。
[0071] 图10说明获得多点触摸实施方案的位置信息的方面。图11说明用于处理多点触摸 实施方案中的图像数据的过程流程图。首先参看图10,细节E示出随沿像素列或行的位置而 变的图像强度数据的曲线图1010。所指示的强度峰值1011和1012中的每一者可表示相应触 摸的位置。现参看图11，方法1100可在框1110处通过接收第一强度等级曲线图，且通过将索 引计数'i'设定为一而开始。接收到的第一强度等级曲线图包含在图10的细节E中说明为曲 线图1010的形式的数据。
[0072] 再次参看图11，方法1100可在框1120处通过找出第i(第一）曲线图中的最大强度 的位置而继续。在图10示出的实例中，细节e，曲线图1010表示第一曲线图，且可观察到最大 值强度出现在峰值1011处。
[0073] 再次参看图11，方法1100可在框1130处通过创建描述曲线图（i)的较低包络曲线 的第二强度等级曲线图（曲线图（i+ι))而继续。如本文以及所附权利要求书中所使用，术语 "较低包络曲线"描述在离开最大值强度位置时从不增加且始终小于或等于先前曲线（曲线 图（i))的函数。因此，现参看图10的细节F，曲线图1020表示第二曲线图。第二曲线图1020不 包括第一曲线图1010的（虚线)部分，因为所述虚线部分具有比较低包络曲线值大的强度。 因此，将与强度峰值1012有关的强度数据以及超过上文所定义的较低包络曲线的其它强度 值从第二曲线图1020排除。
[0074]再次参看图11，方法1100可在框1140处通过创建描述曲线图（i+Ι)与曲线图（i)之 间的差异的曲线图（i+2)而继续。将所得差异曲线（曲线图（i+2))的实例说明为图10的细节 G的第三曲线图1030。可观察到，不同差异峰值1032在对应于强度峰值1012的位置的位置处 出现。在示出的例子中，第三曲线图1030与差异峰值1032无关的部分对应于低等级噪声。 [0075]再次参看图11，方法1100可在框1150处通过作出曲线图（i+2)是否基本上仅与噪 声有关的确定而继续。如果框1150处的确定是曲线图（i+2)基本上仅与噪声有关，那么所述 方法可停止(框1170)。另一方面，如果框1150处的确定是曲线图（i+2)的至少一些与噪声无 关，那么可将索引i设定成i+2(框1160)，且过程可重复1120到1150。
[0076]再次参看图10,应了解，第三曲线图1030包含与噪声无关的数据（即，差异峰值 1032)。因此，可使根据框1150作出的如应用于第三曲线图1030的确定复位到索引i = i+2 (框1160)，且重复过程框1120到1150。更明确地说，仍参看图10，可通过执行方法1100的框 1120和1130来创建第四（实线）曲线图1040。因此，使用上文所定义的较低包络等级，第四曲 线图1040排除第三曲线图1030的(虚线的）部分。
[0077]将第三曲线图1030与第四曲线图1040之间（根据框1140)计算的差异描绘为图10 的细节J中的第五曲线图1050。将了解，第五曲线图1050基本上仅与噪声有关。因此，根据框 1150作出的如应用于第五曲线图1050的确定可为停止方法1100(框1170)。
[0078]已示出用以可靠且准确地识别和定位多点触摸输入的方法1100。尽管为了说明的 清楚性，图10中所示的强度曲线图是沿单个轴，但上文所揭示的技术可应用于2D轮廓。可将 上述方法视为非参数的，因为不需要像例如高斯混合模型中所需的那样，假定随例如位置 和方差等参数而变的峰值的形状。因此，上述方法是稳定的，且需要极少调谐。还获得计算 上的效率，因为所述操作是简单的:最大值寻找和减除。上述方法还可在并行代码中实施。
[0079] 图12说明根据一实施方案的交互式显示器的平面视图。在所说明的实施方案中， 可提供至少两个相机133，其可提供触摸的较准确位置确定，和/或在同时发生两个或两个 以上触摸(T1和T2)时，可最小化阻塞效应。
[0080] 图13说明使用至少两个相机来获得触摸的位置信息的方面。在所说明的实施方案 中，相机133(1)和相机133(2)中的每一者输出2D图像数据，包含相应的万花筒反射图像 1301(1)和1301(2)。相机133(1)具有光轴134(1)，且相机133(2)具有光轴134(2)。可使用上 文所揭示的技术来获得触摸相对于每一光轴的方位角。举例来说，在一些实施方案中，可产 生相应的1D信号强度曲线图1302(1)和1302(2)，以确定相应的方位角角度Az(l)和Az(2)。 接着可使用相应的方位角Az(l)和Az(2)的确定，来通过图像数据的三角测量确定所述触摸 的位置。尽管所说明的实施方案中描绘两个相机，但本发明还涵盖包含三个或更多个相机 的实施方案。
[0081] 图14说明根据另一实施方案的交互式显示器的横截面正视图。在所说明的实施方 案中，电子显示器1400包含位于第一平面光导165的平面下方的相机133。举例来说，棱镜或 其它光转向布置(未说明）可安置成接近于第一平面光导165的边缘。所述棱镜或其它光转 向布置可将散射的IR光146重新引向相机133。
[0082]图15说明包含位于显示器观看区域下方的相机的交互式显示器的实例。在所说明 的实施方案中，相机1533与微透镜1532光学耦合。棱镜1536安置成接近于显示器观看区域 的边缘以及微镜头1532。如在俯视(透视）图中可观察到，布线图1537可布置成接近于显示 器观看区域的一或多个边缘。在一些实施方案中，棱镜1536、微镜头1532和相机1533可安置 在布线图1537后面。举例来说，在所说明的实施方案中，位置1538(1)和1538(2)指示棱镜 1536、微镜头1532和相机1533的相应布置可安置在其后面的两个选定位置。
[0083]图16说明根据又一实施方案的交互式显示器的实例。在所说明的实施方案中，第 二平面光导135安置于第一平面光导165与显示器层145之间。将了解，在此实施方案中，第 二平面光导135可充当前光。显示器层145可为反射式显示器。举例来说，显示器层145可包 含干涉式调制器阵列（MOD)。在一些实施方案中，第二平面光导135可包含大体上透明的基 于微球体的塑料前光材料。
[0084]因此，已揭示了用于使交互式显示器能够检测并响应与交互式显示器的触摸交互 的特定特性的改进的技术。
[0085] 如本文所使用，提到一列项目"中的至少一者"的短语是指那些项目的任何组合， 包含单个成员。作为实例，"a、b或c中的至少一者"意在涵盖:a、b、c、a-b、a-c、b-(^Pa-b_c。
[0086] 结合本文中揭示的实施方案所描述的各种说明性逻辑、逻辑块、模块、电路和算法 过程可实施为电子硬体、计算机软件或两者的组合。硬件与软件的互换性已大体在功能性 方面加以描述，且在上文所描述的各种说明性组件、块、模块、电路和过程中加以说明。此类 功能在硬件还是软件中实现取决于特定应用以及强加于整个系统的设计约束。
[0087] 结合本文中所揭示的方面描述的用以实现各种说明性逻辑、逻辑块、模块和电路 的硬件和数据处理设备可通过经设计以执行本文中所描述的功能的以下各项来实现或执 行:通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程 门阵列（FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其任何组 合。通用处理器可为微处理器或任何常规处理器、控制器、微控制器或状态机。处理器还可 实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处 理器结合DSP核心，或任何其它此类配置。在一些实施方案中，特定过程和方法可由特定针 对给定功能的电路执行。
[0088] 在一或多个方面中，可以硬件、数字电子电路、计算机软件、固件(包含本说明书中 所揭示的结构及其结构等效物)或以其任何组合来实施所描述功能。本说明书中所描述的 标的物的实施方案也可实现为一或多个计算机程序，即，计算机程序指令的一或多个模块， 所述计算机程序指令编码于计算机存储媒体上以供由数据处理设备执行或以控制数据处 理设备的操作。
[0089] 如果以软件实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读 媒体(例如，非暂时性媒体)上或经由所述计算机可读媒体(例如，非暂时性媒体)传输。本文 中所揭示的方法或算法的过程可在可驻留于计算机可读媒体上的处理器可执行软件模块 中实现。计算机可读媒体包含计算机存储媒体和通信媒体两者，通信媒体包含可经启用以 将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用 媒体。作为实例而非限制，非暂时性媒体可包含RAM、R0M、EEPR0M、⑶-R0M或其它光盘存储装 置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构形式存储所要程序代 码且可由计算机存取的任何其它媒体。而且，可将任何连接适当地称为计算机可读媒体。如 本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、 软盘和蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现 数据。以上各项的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作 为代码和指令中的任一者或任何组合或集合驻留于可并入到计算机程序产品中的机器可 读媒体和计算机可读媒体上。
[0090] 对于所属领域的技术人员来说，对本发明中所描述的实施方案的各种修改可为显 而易见的，并且在不脱离本发明的精神或范围的情况下，本文中所定义的一般原理可适用 于其它实施方案。因此，所附权利要求书无意限于本文中所示的实施方案，而是将被赋予与 本文中所揭示的此揭示内容、原理和新颖特征相一致的最广泛范围。另外，所属领域的技术 人员将易于了解，有时为了易于描述各图而使用术语"上部"和"下部"，且所述术语指示对 应于在经适当定向的页面上的图的定向的相对位置，且可能并不反映如所实施的装置的适 当定向。
[0091] 在本说明书中在单独实施方案的上下文中描述的某些特征也可在单个实施方案 中组合地实施。相反地，在单个实施方案的上下文中描述的各种特征还可分别在多个实施 方案中实施或以任何合适的子组合来实施。此外，尽管上文可将特征描述为以某些组合起 作用或甚至最初如此主张，但在一些情况下，可将来自所主张的组合的一个或多个特征从 组合中删除，并且所主张的组合可针对子组合或子组合的变化。
[0092] 类似地，虽然在图式中按特定次序描绘操作，但此情形不应被理解为要求按所展 示的特定次序或按顺序次序执行此类操作，或执行所有所说明的操作，以实现所要结果。另 外，图式可以流程图形式示意性地描绘一个以上实例过程。然而，可将未描绘的其它操作并 入于示意性说明的实例过程中。举例来说，可在所说明的操作中的任一者之前、之后、同时 地或之间执行一或多个额外操作。在某些情况下，多任务处理和并行处理可为有利的。此 外，上文所描述的实施方案中的各种系统组件的分开不应被理解为在所有实施方案中要求 此分开，且应理解，所描述的程序组件和系统一般可一起整合在单个软件产品中或封装到 多个软件产品中。另外，其它实施方案在所附权利要求书的范围内。在一些情况下，所附权 利要求书中所叙述的动作可以不同次序来执行且仍实现合乎需要的结果。
【主权项】
1. 一种设备，其包括： 交互式显示器，其包含具有包含观看区域的前表面的玻璃盖片，且为电子装置的用户 提供输入/输出I/O接口； 处理器； 光源，其发射可见光和红外光中的一者或两者；以及 至少一个相机，其安置在所述观看区域的外围之外，与所述玻璃盖片共面或在其后面； 其中： 所述相机经配置以接收因从所述交互式显示器输出的光与物件的交互而产生的散射 光，所述散射光的至少一些从所述物件被所述玻璃盖片接收，并引向所述相机;且 所述处理器经配置以从所述相机所输出的图像数据确定所述物件相对于所述相机的 光轴的方位角以及所述物件距所述相机的距离中的一者或两者。2. 根据权利要求1所述的设备，其中所述处理器经配置以确定所述物件相对于所述相 机的光轴的方位角以及所述物件距所述相机的距离中的两者。3. 根据权利要求1所述的设备，其中所述玻璃盖片包含安置成接近于所述前表面的第 一平面光导，所述第一平面光导经配置以接收所述散射光，所述接收到的散射光的至少一 些在所述第一平面光导内经历全内反射TIR。4. 根据权利要求3所述的设备，其中光转向布置包含： 第二平面光导，其安置在所述第一平面光导后面；以及 所述所输出的光因所述第二平面光导在具有正交于所述前表面的实质性分量的方向 上反射从所述光源发射的光而产生。5. 根据权利要求4所述的设备，其中所述光源与所述第二平面光导光学耦合。6. 根据权利要求4所述的设备，其中所述交互式显示器安置于所述第一平面光导与所 述第二平面光导之间。7. 根据权利要求4所述的设备，其中所述第一平面光导安置在所述前表面的前方;所述 第二平面光导安置在所述第一平面光导后面；以及 所述所输出的光因所述第二平面光导在具有正交于所述前表面的实质性分量的方向 上反射从所述光源发射的光而产生。8. 根据权利要求7所述的设备，其中所述第二平面光导充当所述交互式显示器的前光。9. 根据权利要求1所述的设备，其中所述所输出的光照明所述交互式显示器上方的区 域。10. 根据权利要求1所述的设备，其中所述处理器经配置以控制所述交互式显示器和所 述电子装置中的一者或两者。11. 根据权利要求1所述的设备，其中所述光源是红外光源，且所述交互式显示器是液 晶显示器。12. 根据权利要求1所述的设备，其中所述处理器经配置以通过分析所述相机所接收到 的多个万花筒反射的由所述相机输出的图像数据来确定触摸距所述相机的距离。13. 根据权利要求12所述的设备，其中所述处理器经配置以通过分析所述多个万花筒 反射中的两个或两个以上之间的空间间距来确定所述距离。14. 根据权利要求1所述的设备，其中所述处理器经配置以通过分析所述相机所接收到 的至少一个万花筒反射的由所述相机输出的图像数据来确定所述触摸的所述触摸相对于 所述相机的光轴的方位角。15. 根据权利要求1所述的设备，其中所述至少一个相机包含两个或两个以上相机，且 所述处理器经配置以通过所述相机所输出的图像数据的三角测量来确定所述触摸的所述 方位角。16. 根据权利要求1所述的设备，其中所述观看区域具有超过24英寸的对角线尺寸。17. -种方法，其包括： 使用处理器来从至少一个相机的输出确定用户触摸的位置，以及 使用所述处理器，响应于所述确定所述用户触摸的所述位置，控制电子装置和为所述 电子装置提供输入/输出I/O接口的交互式显示器中的一者或两者，其中： 所述交互式显示器包含具有包含观看区域的前表面的玻璃盖片； 所述相机安置在所述观看区域的外围之外，与所述玻璃盖片共面或在其后面； 所述相机的所述输出因使用所述相机接收到散射光而产生，所述散射光因从所述交互 式显示器输出的光与物件的交互而产生，所述散射光的至少一些被所述玻璃盖片接收，并 引向所述相机;且 通过所述处理器从所述相机所输出的图像数据确定所述物件相对于所述相机的光轴 的方位角以及所述物件距所述相机的距离来确定所述位置。18. 根据权利要求17所述的方法，其中所述确定所述用户触摸的所述位置包含分析所 述相机所接收到的多个万花筒反射的由所述相机输出的图像数据。19. 根据权利要求18所述的方法，其中所述确定所述物件距所述相机的所述距离包含 分析所述多个万花筒反射中的两个或两个以上之间的空间间距。20. 根据权利要求19所述的方法，其中所述确定所述方位角包含分析所述相机所接收 到的至少一个万花筒反射的由所述相机输出的图像数据。21. -种设备，其包括： 交互式显示器，其包含具有包含观看区域的前表面的玻璃盖片，且为电子装置的用户 提供输入/输出I/O接口； 处理器； 光源，其发射可见光和红外光中的一者或两者； 以及 用于检测光的至少一个装置，其安置在所述观看区域的外围之外与所述玻璃盖片共面 或在其后面，所述光检测装置经配置以接收因从所述交互式显示器输出的光与物件的交互 而产生的散射光，所述散射光的至少一些从所述物件被玻璃盖片接收，并引向所述光检测 装置，所述光检测装置经配置以将对应于所述接收到的散射光的图像数据输出到所述处理 器;其中： 所述处理器经配置以从所述图像数据确定所述物件相对于所述光检测装置的光轴的 方位角以及所述物件距所述光检测装置的距离。22. 根据权利要求21所述的设备，其中所述玻璃盖片包含： 第一平面光导，其安置成接近于所述前表面，所述第一平面光导经配置以接收所述散 射光，所述接收到的散射光的至少一些在所述第一平面光导内经历全内反射TIR。23. 根据权利要求22所述的设备，其中光转向布置包含： 第二平面光导，其安置在所述第一平面光导后面;且 所述所输出的光因所述第二平面光导在具有正交于所述前表面的实质性分量的方向 上反射从所述光源发射的光而产生。24. 根据权利要求21所述的设备，其中所述处理器经配置以控制所述交互式显示器和 所述电子装置中的一者或两者。25. -种上面存储有软件的非暂时性计算机可读媒体，所述软件包含可由处理器执行 的指令，所述指令致使所述处理器： 从至少一个相机的输出确定用户触摸的位置，以及； 响应于所述用户触摸的所述所确定的位置，控制电子装置和为所述电子装置提供输 入/输出I/O接口的交互式显示器中的一者或两者，其中： 所述交互式显示器包含具有包含观看区域的前表面的玻璃盖片； 所述相机安置在所述观看区域的外围之外，与所述玻璃盖片共面或在其后面； 所述相机的所述输出因使用所述相机接收到散射光而产生，所述散射光因从所述交互 式显示器输出的光与物件的交互而产生，所述散射光的至少一些被所述玻璃盖片接收，并 引向所述相机；以及 通过所述处理器从所述相机所输出的图像数据确定所述物件相对于所述相机的光轴 的方位角以及所述物件距所述相机的距离来确定所述位置。26. 根据权利要求25所述的计算机可读媒体，其中所述指令致使所述处理器通过分析 所述相机所接收到的多个万花筒反射的由所述相机输出的图像数据来确定所述用户触摸 的所述位置。27. 根据权利要求26所述的方法，其中所述指令致使所述处理器通过分析所述多个万 花筒反射中的两个或两个以上之间的空间间距来确定所述物件距所述相机的所述距离。28. 根据权利要求25所述的方法，其中所述指令致使所述处理器通过分析所述相机所 接收到的至少一个万花筒反射的由所述相机输出的图像数据来确定所述方位角。
【文档编号】G06F3/042GK106030481SQ201580009177
【公开日】2016年10月12日
【申请日】2015年2月20日
【发明人】约翰·麦可·韦瓦士, 罗素·威尼·格鲁克, 胡尔希德·赛义德·阿拉姆, 卡林·米特科夫·阿塔纳索夫, 维卡斯·拉马钱德兰, 哈西卜·艾哈迈德·西迪基, 詹姆斯·威尔逊·纳什, 罗伯特·米切尔·克莱曼, 阿尔布雷希特·约翰尼斯·林德纳, 艾弗杰尼·佩托维奇·高瑟夫
【申请人】高通股份有限公司