使用结构化光图像的交互检测的制作方法

使用结构化光图像的交互检测的制作方法
【专利摘要】本发明涉及使用结构化光图像的交互检测。提供一种装置(100)和方法，以确定与界面，尤其是与可以被投影在表面(128)上或以其他方式在表面(128)上生成的用户界面图像(120)的交互的发生和位置。该装置(100)使用一个或更多个单元件传感器(104)(例如光电二极管)感测和捕捉场景(114)的光读数，所述读数和注入所述界面展示部分内的多个结构化光图像(300)相对应。比较所述读数与读数基线集合，以确定通过障碍物(204)(即，手指或触笔)导致的交互事件，例如触摸事件或障碍物(204)的移动的发生和位置。
【专利说明】使用结构化光图像的交互检测

【技术领域】
[0001 ] 本发明大体涉及与界面交互的检测。

【背景技术】
[0002]与界面的交互，例如，人与投影在表面上或以其他方式显示在表面上的图像的触摸交互，这能够通过许多手段检测。这种包括在数码相机(例如，电荷耦合器件(CCD)摄像机或CMOS摄像机)中的先前交互检测方法连续捕捉场景的图像并连续处理所述场景，以确定与界面交互的发生或位置。然而，这些解决方案要求使用一个或更多个额外的摄像机和相关的光学器件以监测场景，这除了昂贵之外，还难以合并到便携式电子设备如移动通信设备的实施所需的小巧外形中。进一步地，这些解决方案需要大量的处理功率来处理场景图像，而且消耗额外的电力来操作摄像机和处理数据。更进一步地，基于摄像机的解决方案在恶劣的环境光条件下表现不佳。
[0003]其他方法包括激光器或其他距离测量设备连续测量测量域内的物体的距离，以确定是否发生交互。不过，这些解决方案也需要完成距离测量所必需的额外组件，这是很昂贵的，耗电的，并且相对于较小的便携式设备来说太大。还有其他解决方案使用超声技术或电磁检测。不过，这些解决方案不提供关于交互位置的准确读数。
[0004]鉴于移动无线设备的普及，提供准确交互检测并最小化处理功率、功耗以及物理外形因素的解决方案是可取的。


【发明内容】

[0005]一般来说，根据这些各种实施例，提供一种装置和方法确定与界面，尤其是可以投影在表面上或以其他方式在表面上产生的用户界面图像的交互的发生和位置。所述装置使用一个或更多个单元件传感器(例如光电二极管)感测和捕捉场景的光读数，所述读数和注入所述界面展示部分的多个结构化光图像相对应。比较读数与读数的基线集合，以确定通过障碍物(即，手指或触笔)导致的交互事件(例如触摸事件或障碍物的移动)的发生和位置。在对下列【具体实施方式】进行全面回顾和研究后，这些益处和其他益处将变得更加清晰。

【专利附图】

【附图说明】
[0006]图1示出根据各种方法用于感测与界面的交互的装置的框图；
[0007]图2示出图1的装置使用的环境示例；
[0008]图3示出根据至少一种方法可由图1的装置使用的示例性水平边界模式结构化光图像；
[0009]图4示出图3的示例性水平边界模式结构化光图像的空间反转；
[0010]图5示出根据至少一种方法可由图1的装置使用的示例性垂直边界模式结构化光图像；
[0011]图6示出图5的示例性垂直边界模式结构化光图像的空间反转；
[0012]图7示出根据至少一种方法可由图1的装置使用的示例性列模式结构化光图像；
[0013]图8示出图7的示例性列模式结构化光图像的空间反转；
[0014]图9示出图1的装置刻画的场景的示例性代表图；
[0015]图10示出根据各种方法的使用多个单元件传感器的示例性代表图；
[0016]图11示出根据各种方法通过图1的装置进行的光检测的进一步方面。
[0017]本领域技术人员应当明白，为了简要和清楚起见，所示附图中的元素并不一定按比例绘制。例如，图中一些元件的尺寸和/或相对位置可以相对于其他元件放大，以帮助理解本发明的各种实施例。而且，商业上可行的实施例中有用或必要的常用但易于理解的元件通常未被示出，以便不阻碍这些各种实施例的视图。应当进一步明白，某些动作和/或步骤可以以特定的出现顺序描述或示出，而本领域的技术人员应当理解，关于顺序的这种独特性并不是实际要求的。还应当理解，本文所使用的术语和表达式具有普通技术含义，如本领域技术人员所述的这些术语和表达式，除非本文已经叙述其具有不同的具体含义。

【具体实施方式】
[0018]首先参照图1，其以框图形式示出根据各种方法的用于感测与界面交互的装置100。装置100包括至少一个处理设备102和耦合到处理设备102的至少一个单元件光传感器104。处理设备102可以耦合到至少一个存储器设备106或在其中包含至少一个存储器设备106。单兀件传感器104可以是光电二极管、光传感器、光电传感器、光电开关、光电管、光电晶体管、光子计数器、波阵面传感器、单像素的有源像素传感器、光生伏打传感器或其他已知或目前未知的单元件光传感器。通过一些方法，可以使用多个单元件传感器，例如传感器104、108、110、112。不过，这些多个传感器104、108、110、112通常彼此不在相同位置，其被提供以从不同角度和视点获取场景114的读数。场景114被定义为单元件传感器104、108、110、112中的一个或更多个能够读取的区。通过另一个实施例，单元件传感器104、108、110、112可被替换为〃几个元件〃传感器，其可包括位于相同位置的少量(即，2，或更多)单元件传感器，也不是太多，以免与单捕捉读数中所接收的改进信号相比产生不必要的额外成本和功耗。例如，双元件传感器(具有位于相同位置的两个传感器元件)可用于代替单元件传感器104，从而简单地凭借增加感测能力，允许额外的光灵敏度。然而，由于是通过增加元件传感器提供增加的灵敏度，所以本文所述的功能不会改变。
[0019]装置100还可以耦合到图像生成器116。例如，如图1所示，图像生成器116可以是投影仪，例如，如DLP微型超短焦投影仪，不过，其他类型的投影仪118可适用于装置100。投影仪118在图像区122中生成图像120，其由一个或更多个光学元件124 (即，透镜)，通过投影光输出126经由投影路径130投影到场景114内的表面128上。传感器104、108、110、112配置为通过感测从表面128反射的来自投影光输出126的光，以感测场景114的亮度水平。投影的图像120可以占据比整个场景114少或多图像区122，这可以根据表面128到投影仪118和/或传感器104、108、110、112的距离而改变。通常情况下，但不是总是，表面128是平坦表面，例如桌面或墙，虽然这些教导适用于能够具有图像120在其上显示的任何表面。通过另一种方法，图像生成器116在表面128自身(例如通过图形显示器)上生成图像120，而不是通过投影在其上生成图像。
[0020]图2提供环境实例。如图2所示，装置100是移动设备，例如蜂窝电话202。蜂窝电话202包括投影仪118，并且其经配置以将适于人们消费和/或交互的图像120投影在表面128(在这个示例中，是桌面)上。蜂窝电话202可以经配置直立或具有相比于所述蜂窝电话坐在其上的表面128保持抬起的一部分，以便蜂窝电话202的用户可以将其放置在表面128上并使用他/她的手与图像120交互。如这里所示出的，用户能够以与触摸屏设备(例如平板电脑或其等效物)的用户非常相同的方式使用障碍物204(在这种情况下，手指)与图像120交互。这类交互通过将障碍物204或物体(即，手指)插入投影路径130实现，这种交互随后由通常与投影仪光输出126位于不同位置的一个或更多个传感器104、108、110、112感测。因此，与蜂窝电话202的同等小巧和便携外形上的显示器上可能与用户交互的区域相比，蜂窝电话202能够提供用户能够与蜂窝电话202交互的更大面积。
[0021]为了只使用少量的单元件传感器104、108、110、112实现交互事件(B卩，触摸)的空间检测，多个时变结构化光图像300 (参照图3-8)在各个时隙分别投影到表面128上或以其他方式在表面128上生成。通过一种方法，通过使用用于投影非结构化光图像120的相同投影仪118，这些结构化光图像300按时间被插入到非结构化光图像120 (例如人类可消费的图像120和/或界面)的投影中。
[0022]通过一个示例，投影仪118能够使用快速切换显示技术。当以最大约为60-100帧每秒(fps)的速率产生图像时，人眼能够检测到各个图像。不过，快速切换显示投影仪或其他图像生成器116能够以高于人类可检测的帧速率并且高达lOOOfps，或甚至lOOOOfps的帧速率生成图像120。因此，当采用这种技术时，多个结构化光图像300能够在非结构化光图像120的投影期间按时间插入，而又保持不可被人类检测。
[0023]现转向图3-8，其根据各种方法示出示例性结构化光图像300。图3示出水平边界模式结构化光图像302的示例，其可由投影仪118在其他图像120的投影期间在各别时隙中投影。水平边界模式302使用垂直线确定障碍物204的水平位置信息。如这里所示出，结构化光图像300具有至少一个在其图像区122内部的高对比度边界304。这个高对比度边界304可以是，例如，直线且可以表示暗淡区域306(即，均匀涂黑的)和明亮区域308(即，均匀照亮的)之间的边界304。高对比度边界304还和图像300内的目标地理位置(S卩，接近边界304的整列)相对应。其他高对比颜色或色度组合也是可能的。在其他示例中，结构化光图像300可以具有两个对比区306、308之间的正弦曲线的或其他梯度边界。通过其他示例，可以存在多个不同的高对比光区306、308或多个不同形状的边界304(—个或更多个)。边界304可以是直线(如图3-8所示)或可以是弯曲的，可以是水平的或垂直的，或径向模式跨越。几乎任何模式或模式的组合都是可能的，其使得多个结构化光图像300允许根据下面详细描述的方法的表面128的平场编码(flat field encoding)。在这里讨论和示出的结构化光图像300仅仅是示例性的，并不意味着以任何方式限制本发明的范围。
[0024]继续图4，其示出图3的水平边界模式结构化光图像302的空间反转。通过使用该空间反转图像402，额外的数据可以从单元件传感器104、108、110、112收集。进一步地，即使结构化光图像300在他们不可被单独检测的如此快的时间被投影，人眼至少检测插入到投影流中的多个结构化光图像300的质量效应，这可以是可能的。通过投影结构化光图像，例如图3中的水平边界模式302，随后不久跟随有其空间反转，如图4中的空间反转，由于结构化光图像302及其反转图像402在视觉上彼此抵消，因此能够无效该效应。
[0025]结构化光图像300的其他示例如图5-8所示。图5示出垂直边界模式结构化光图像502，而图6示出其反转图像602。图7示出列模式结构化光图像702的示例，而图8示出其反转图像802。列模式702的线条704包含两个高对比度边界304和706。线条704可以是任何宽度的，例如单一像素宽到几百像素宽。也能够修改图7和8的列模式702、802以使线条704呈现行模式而不是列模式。
[0026]多个结构化光图像300将包含在高对比度边界304的位置中彼此不同的独特的结构化光图像300集合。继续图7的列模式结构化光图像702，这个图像可以是几十个、几百个或几千个列模式结构化光图像702，其中，例如，每个图像在线条704的布局方面从一侧到另一侧可以不同。如果在这个示例中多个结构化光图像300被一个接着一个地投影(慢到足以感知的程度)，则会出现光线条704扫描整个表面128。
[0027]在另一个示例中，图5的垂直边界模式结构化光图像502可以是在高对比度边界(即，从顶部到底部)304的垂直布局中彼此不同的许多图像的其中一个。如果这个示例中的多个结构化光图像300被一个接着一个地投影(慢到足以感知)，则会出现越来越多部分的光从顶部开始并按照这种方式继续，直到其占据整个(或大部分)图像区122。
[0028]各个结构化光图像300的投影顺序是从一侧到另一侧或从顶部到底部扫描(但绝不是限制)。投影顺序能够使边界304 (—个或更多个)能够以任何合适的模式改变，如在给定的设置中可以被视为是恰当的。例如，为了避免扫描感知，因为可能被用户检测到，处理设备102可以以看似随机的顺序投影结构化光图像300，以使高对比度边界304以看似随机的方式移动，从而降低被用户检测到的可能性。
[0029]此外，被投影的结构化光图像300的顺序或者甚至要投影哪些多个结构化光图像300能够由处理设备102根据任何数量的因素在运行时选择。例如，如在继续阅读时将变得更加清楚的，处理设备102可以在第一时间期间使用第一多个结构化光图像300确定交互(或目标区)的大致位置，接着在第二时间，使用包含接近所述位置或区的边界的第二多个图像300收集和在所述位置发生的事件有关的额外的和/或更详细的信息。
[0030]处理设备102经配置以在每个结构化光图像300投影期间，从单元件传感器104、108、110、112捕捉一个或更多个传感器读数。每个传感器读数是在各个单元件传感器104、108、110、112处检测到的亮度水平。因为每个传感器104、108、110、112具有单元件或至少提供单个可存储数据点，所以每个读数的数据量是极小的并且容易被存储。
[0031]在工作时，处理设备102响应于不同的各个结构化光图像300表征传感器104、108、110、112的光学响应。例如，在单独结构化光图像300的投影期间，处理设备102将使传感器104、108、110、112的每个能够获取单独的读数，以产生对应于该单独结构化光图像300的一个或更多个传感器读数。返回图7的示例性列模式结构化光图像702，通过实现覆盖图像区122的多个独特的结构化光图像300中的列模式702投影，处理设备102能够有效“扫描”图像区122。处理设备102可以投影多个结构化光图像704，以使在至少一个结构化光图像702的投影期间，列线条704存在于图像120上的每个位置。各个结构化光图像702可以改变列线条704的位置(少至一个像素，多到线条的宽度，或者甚至更多)。如上所述，所述扫描能够在地理上按顺序实现(即，从一侧到另一侧)或以看似随机的模式(最终产生所期望的图像区122的覆盖)实现。
[0032]通过另一种方法，可以选择多个结构化光图像300，以使存在的线条704接近图像区122的每个位置，意味着存在覆盖空隙。根据具体应用，这些空隙可以是大小相等或不等的。例如，处理设备102可以只扫描用户实际能够交互的区(B卩，按钮或键盘的图像)，留下不感兴趣或不能发生有意义的交互的空隙。类似地，处理设备102可以扫描接收比其他区(即，边缘)具有更高密度(即，更小空隙、无空隙、或线条704的位置变化更小)的最多交互(即，中心)的区。如果存在覆盖空隙，处理设备102能够为那些位置内插场景114的光学响应，以产生表征场景114的传感器读数集合。
[0033]虽然这些示例性扫描是关于图7的示例性列模式结构化光图像702描述的，但是这些教导是高度灵活的，且能够适应任何结构化光模式300，例如在图3-6中示出的那些以及本文描述的其他结构化光图像，这允许相对于具体区(即，高对比度边界304 (—个或更多个)的位置)的光学响应感测。
[0034]图9示出表征场景114的代表性图900，其包括跨越多个结构化光图像300的单元件传感器104的光学响应曲线图，其中每个光学响应都被捕捉。如果结构化光图像300根据每个结构化光图像300的目标地理位置(B卩，线条704的位置或高对比度边界304)被设置在每个图902、904、906中，则每个图902、904有效地变成跨越地理区的传感器104的光学响应的量度。进一步地，通过一种方法，如果这个目标地理区跨越多个结构化光图像300仅以一种结构化方式改变(即，仅从一侧到另一侧改变图7中的列线条的位置，或仅从顶部到底部改变图5中的高对比度边界的位置)，那么图902、904有效地变成传感器104跨越图像区122的单个轴线(即，图像区122的X轴线或y轴线，或图像区122的径向轴线等)的光学响应的量度。
[0035]如图904所示，其表示场景114的基线读数，场景114已经通过使用具体结构化光图像300集合被表征为具有所示的光学特性曲线。为了生成传感器读数的这个基线集904，在不存在交互或障碍物204时，处理设备102将多个时变结构化光图像300投影在表面128上。接着，处理设备102基于从单元件传感器104获取的读数，生成图904上示出的传感器读数(即，具有与传感器读数I对I的相关性的图形数据点，或具有使用较少实际的传感器读数的内插)。接着，这些基线传感器读数904能够被存储到存储器设备106中，供用户以后使用。这在检测装置100的初始启动阶段会发生，以考虑每个进程期间存在的不同表面或环境光条件。如果投影仪118被配置有快速切换功能，基线传感器读数904能够被非常快地感测和记录，可能比用户能够检测的速度快。此外，这个读数基线集904能够通过具体再次校准的读数而被连续更新(或者尽管根据各种因素(例如，随着时间的每个结构化光图像300的每个读数的平均值)，随时间逐步改变)。通过其他方法，在装置100的设计、制造、测试、校准时，或在制造、销售和设置期间的其他具体时间上，可以对这些基线传感器904读数预编程、预配置或预校准。
[0036]在已经采集和存储基线传感器读数904之后，在用户能够与投影的图像120交互时(例如，在投影键盘上敲字或操纵浏览器等)，处理设备102开始获取有效读数902。处理设备102将实现在非结构化光图像120的投影期间按时间插入的多个结构化光图像300 (例如，用于生成基线传感器读数904的相同结构化光图像300，或可能不同的结构化光图像300)的投影。与上述类似，处理设备102也将使传感器104在每个单独的结构化光图像300被投影时能够获取各个传感器读数，以生成对应于每个结构化光图像300的多个有效传感器读数902。这些读数902或其一部分可以被存储在存储器设备106中。采集有效数据902的这个过程能够连续和/或重复发生，以连续监测场景114，从而搜索交互。
[0037]继续图9，图902表示在较短时间段期间采集到的示例性有效传感器读数集合，而且表示在那时场景114的快照。图902的读数和图904的读数对应于相同结构化光图像300。不过，图902的读数可以被再次生成(即，内插)，并且不一定表示和实际结构化光图像300的实际测量值的I对I关系。如图9所示，图902和图904看上去彼此不同。这是因为，在这个示例中，障碍物204 (即，手指)被插入到投影仪118的投影路径130中，从而产生交互。
[0038]处理设备102经配置以比较有效传感器读数902的至少一部分和对应于相同结构化光图像300的基线传感器读数904的至少一部分。图906表示该比较，其是两个图902和904之间的计算差。基于这种比较，处理设备102经配置以检测交互。
[0039]通过一种方法，为了确定交互的发生，处理设备102分析差值图906。所述分析可以包括确定一个或更多个有效902传感器读数与基线904传感器读数的差值超出阀值908。例如，如图906所示，有效902读数与基线904读数之间的计算差值的一部分超出阀值908 (其可以是正的或负的阀值)。通过这种方法，处理设备102能够确定在所述位置处已经发生交互。
[0040]通过另一种方法，处理设备102经配置以在使用结构化光图像300的具体集合确定交互的位置时使用卷积滤波器(或匹配滤波器)，其中所述卷积滤波器具有的波形形状结构化表示交互事件。例如，所述卷积滤波器可以是接近手指宽度的方形缺口波形。可供选择地，其可以类似于由手指拦截结构化光图像300的具体集合的投影产生的脉冲波形。这样的脉冲波形可以是，例如，类似于结构化光图像906的具体集合的差值曲线906中生成的脉冲波形。接着，处理设备102能够在差值曲线906之上运行这个卷积脉冲波形，以搜索两个波形(卷积脉冲波形和差值曲线906)最相关的位置。接着，这个位置标记交互的位置。使用卷积滤波方法，不仅考虑差值信号906的原始幅值，而且考虑到处理设备102能够搜索到的最终差值波形的形状。这使得更可靠地指示交互位置。
[0041]通过这些教导，处理设备102能够经配置以搜索差值曲线906内与已知具体交互类型(即，触摸事件)或具体障碍物204 (即，手指或触笔)的交互相对应的已知形状。这些已知形状将基于所使用的结构化光图像300集合和交互类型改变，但是所述过程将保持基本不变。已知波形可以在设计或制造时被编程，或者可以在设备100的使用期间(即被所述设备学习)，随时间建立和/或更改。
[0042]例如，如果假设图9的示例性图集合900对应经具体配置检测沿图像区122的x轴线结构化结构化的干扰(即，通过使用图7的列模式结构化光图像702或图3的水平边界模式结构化光图像302)的结构化光图像300集合，那么，所确定的交互位置和X轴线中的位置相对应。通过一种方法，为了确定二维图像区122内的位置，能够进行类似的过程以确定I轴线位置(同时进行或在X轴线确定后随后进行)。例如，能够选择和投影包含水平目标区的结构化光图像300集合，以确定交互的垂直位置，例如图5的垂直边界模式结构化光图像502或垂直于图7的列模式702的行模式。在y轴线位置被确定后，其信息能够与X轴线位置信息组合，以确定图像区122内的交互的二维位置。接着，处理设备102或另一个处理设备102能够使用所述二维交互位置信息确定适当的响应行动(即，打开对应于所述位置的图标的程序、致动所投影键盘的按键、选择将要被移动的一段文字等)。实质上，使用本文所述的方法能够执行任意能够在触摸界面上执行的功能。
[0043]现转向图10，其示出使用多个单元件传感器104、108的示例。在这个示例中，图的汇总900是图9的再现并与第一单元件传感器104获取的传感器读数相关。图的汇总1002表示由与第一单元件传感器104位于不同位置的第二单元件传感器108获取的传感器读数，其与第一传感器104的图的第一汇总900对应于同一集合的结构化光图像300。如这里所示出，第二传感器108已经产生不同的读数集合1002(有效1004和基线1006读数)。这表示处理设备102能够使用以更好确定交互位置的额外数据。
[0044]在工作时，通过一种方法，处理设备102将计算有效读数902与1004之间的差值，如曲线1010中所示。处理设备102还将计算基线读数904与1006之间的差值，如曲线1012中所示。接着，处理设备102能够计算两个差值曲线1010与1012之间的差值，以确定第三差值曲线1014。可供选择地，处理设备102能够简单地确定曲线906与1008之间的差值，以生成第三差值曲线1014。基于这个第三差值曲线1014(其考虑了第二传感器108提供的额外数据)，处理设备102能够以更高准确度和可靠性识别交互事件及其位置(如圆圈1016所示)。
[0045]而且，通过使用多个传感器104、108、110、112，尤其是如果它们主要在视觉上被固定在不同区，传感器104、108、110、112能够更容易地确定额外数据，而不是仅仅确定交互的X和y位置。例如，继续参照图10，如果第二传感器108被定位在使得其视场(FOV)体积限制在刚好在触摸事件平面上方的区域，那么其数据能够被用于帮助确定障碍物204是否仅仅被举起或悬在所述触摸平面上方，或者是否障碍物204已经贯穿所述触摸平面，从而指示触摸事件。第二传感器1004、1006和/或1008提供的额外数据对于做出这种确定是有用的。例如，第三差值曲线1016可以基于障碍物204是否已经破坏所述触摸平面或悬停在其上方，针对相同X和y位置，产生不同的波形，从而指示不同功能。
[0046]更进一步，利用位于不同于投影光源的物理位置的传感器104、108、110、112，存在每个传感器104、108、110、112能够读取的交互的多个不同的方面，如图11所示。图11示出将图像120通过投影光输出投影在表面128上的投影仪(与图1类似)。还存在两个和投影光输出126位于不同位置的传感器104、108以及被插入到投影路径130中的障碍物204。在结构化光图像300的投影期间，障碍物204能够产生可以由传感器104、108可检测的各种类型的干扰。首先，传感器104、108能够检测障碍物204 (而不是表面128)的反射光的放大值或衰减值。这在很大程度上取决于障碍物204的反射率和/或反射角，但仍然是干扰。障碍物204还可以移动传感器104、108可以检测的结构化光图像。例如，可以希望第一传感器104感测结构化光图像300的具体部分，如在1102指示的。然而，从第一传感器的视点104来看，所述图像的这个部分1102将由对应于障碍物204的反射范围部分1104的一部分图像替换，处理设备能将其登记为位移干扰。此外，传感器104还能够检测障碍物204对所投影结构化光图像300的遮挡。这种遮挡由区1106表示，第一传感器104可以将其检测为没有反射光，不然在此处其预计反射光存在。基于检测这些各种不同种类的干扰，处理设备102能够确定更多有关交互的特性，以能够达到进一步的功能或准确性。
[0047]如前面提到的，结构化光图像300集合的选择能够实时动态地被确定。例如，如果场景114没有交互，处理设备102可以简单地继续广泛扫描整个图像区122以搜索交互。当障碍物204最终进入投影路径130或试图与图像120交互，那么，所述广泛扫描将确定它的发生和大致位置。根据一种方法，处理设备102可以接着动态选择主要聚焦在围绕所述广泛扫描中确定的位置的区域上的结构化光图像300的第二集合。这个结构化光图像300的第二集合可以被选择使得图像300的高对比度边界304或线条704接近于交互的大致位置。接着，处理设备102能够相对于新选择的结构化光图像300的第二集合重复上述步骤。
[0048]因此，结构化光图像300的第二集合允许与交互相关的额外信息被确定，就像，例如，更准确的位置信息或关于障碍物204是否已经破坏触摸平面还是悬停在其上的信息。进一步地，结构化光图像300的第二集合能够随着，例如障碍物204在图像区122内移动(例如，当与图像120交互时，移动图标或类似物)、第二障碍物204被检测、障碍物204的方向改变、或保证额外或更详细信息的任何其他变动而不断改变。
[0049]这些教导是高度可扩展的，并且能够用于确定1、2、3个或更多交互(即，通过一个、两个、三个或更多障碍物204进行的交互)的位置。进一步地，其他更改可以包括调制光的使用，其中一个或更多个结构化光模式或图像300可以以适当频率进行调制，并且传感器104、108、110、112可以经配置以捕捉调制光线的航行时间。接着，航行时间数据能够用于进一步提高交互事件检测和跟踪的可靠性。而且，如上所述，这些教导是通用的，因为它们与能够产生人类可消耗图像120和结构化光图像300的所有类型显示设备(包括直接观看的显示设备(即，IXD显示器))可连用。
[0050]这样配置后，投影仪118或其他图像生成器116不仅能够用于投影用于人类消费和交互的图像120，而且作为一种允许一个或更多个单元件传感器104、108、110、112用于检测通过一个或更多个障碍物204与图像120交互的位置(一个或更多个)和特性(一个或更多个)的手段。能够实现成本节约，因为已经配备投影仪118或图像生成器116的系统能够简单地使用现有投影仪118或图像生成器116投影或显示结构化光图像300。进一步地，单元件传感器104、108、110、112能比像素阵列或上述其他先前的感测装置明显便宜。而且，通过再使用现有投影仪118或图像生成器116显示结构化光图像300，所收集的位置信息被自动链接到人类可消耗图像120内的结构化光图像的位置。更进一步，由于单元件传感器104、108、110、112比其他已知技术和/或设备消耗更少功率并占据更少空间，这些教导提供功率节约和空间节约。而且，单元件传感器104、108、110、112产生更少的数据，这减少了所需的处理时间和功率。
[0051]本领域的技术人员应当意识到，在没有偏离本发明的范围的情况下，能够对上述实施例进行各种各样的更改、变化和组合，并且这种更改、变化和组合应被视为在本发明原理的范围内。
【权利要求】
1.一种方法，其包括: 使用至少一个光电二极管，感测在各个时隙分别投影在表面上的多个时变结构化光图像，以生成多个传感器读数，其中所述传感器读数中的各个读数和所述多个时变结构化光图像中的各个时变结构化光图像对应； 使用至少一个处理设备，比较所述多个传感器读数的至少一部分和多个基线传感器读数的至少一部分，所述多个传感器读数的至少一部分和所述多个基线传感器读数的至少一部分对应于所述多个时变结构化光图像的同一集合；以及 使用所述至少一个处理设备，基于所述比较确定交互的发生。
2.根据权利要求1所述的方法，其进一步包括: 使用所述至少一个光电二极管，感测没有交互时在各个时隙投影到所述表面上的所述多个时变结构化光图像，以生成所述多个基线传感器读数，所述多个基线传感器读数的各个读数对应于所述多个时变结构化光图像的各个时变结构化光图像；以及 在至少一个存储器设备中存储所述多个基线传感器读数。
3.根据权利要求1所述的方法，其中所述多个时变结构化光图像的各个时变结构化光图像各自包括在所述时变结构化光图像的图像区内部的至少一个高对比度边界，并且其中所述多个时变结构化光图像包括在所述至少一个高对比度边界的位置中彼此不同的多个独特的结构化光图像。
4.根据权利要求3所述的方法，其中所述至少一个高对比度边界包括定义至少两个区域的至少一条直线，所述至少两个区域包括第一区域和第二区域，其中所述第一区域包括均匀亮度区，而所述第二区域包括均匀暗度区。
5.根据权利要求3所述的方法，其中所述至少一个高对比度边界包括跨越至少大部分的所述图像区的垂直直线或水平直线的至少一个。
6.根据权利要求3所述的方法，其中确定所述交互的发生进一步包括确定所述交互的大致位置；以及其中所述方法进一步包括: 响应于确定所述交互的大致位置，使用所述至少一个光电二极管，在第二时间感测第二多个时变结构化光图像，以生成第二多个传感器读数，所述第二多个传感器读数中的各个读数和所述第二多个时变结构化光图像中的各个时变结构化光图像对应，其中所述第二多个时变结构化光图像包括至少多个单独的结构化光图像，所述多个单独的结构化光图像的每个包括接近所述交互的大致位置的至少一个高对比度边界； 使用所述至少一个处理设备，比较所述第二多个传感器读数和第二多个基线传感器读数，所述第二多个基线传感器读数中的各个读数和所述第二多个传感器读数中的各个读数相对应；以及 使用所述至少一个处理设备，基于第二比较，确定与所述交互有关的额外信息。
7.根据权利要求1所述的方法，其中所述交互事件包括障碍物插入到所述多个时变结构化光图像投影到所述表面上的投影路径中。
8.根据权利要求1所述的方法，其中确定所述交互的发生进一步包括: 分析所述多个传感器读数的所述至少一部分的至少一个单独的传感器读数与所述多个基线传感器读数的至少一部分的至少一个单独的基线传感器读数之间的比较， 其中所述至少一个单独的传感器读数和所述至少一个单独的基线传感器读数各自对应于相同的至少一个单独的时变结构化光图像，所述分析包括确定所述至少一个单独的传感器读数与所述至少一个单独的基线传感器读数之间的差值超出阀值。
9.根据权利要求1所述的方法，其中确定所述交互的发生进一步包括确定所述交互的大致位置，其中确定所述交互的大致位置进一步包括: 确定至少一个单独的传感器读数与至少一个单独的基线传感器读数之间的差值超出阀值，所述至少一个单独的传感器读数和所述至少一个单独的基线传感器读数对应于相同的至少一个单独的结构化光图像；以及 确定所述至少一个单独的结构化光图像的至少一个高对比度的位置。
10.根据权利要求1所述的方法，其中所述多个时变结构化光图像在非结构化光图像投影期间，在各个时隙中被分别投影到所述表面上，所述多个时变结构化光图像由用于投影所述非结构化光图像的同一投影仪投影。
11.一种装置，其包括: 至少一个处理设备，其经配置以: 在非结构化光投影期间插入的各个时隙中，经由用于投影非结构化光图像的同一投影仪，使多个时变结构化光图像的投影投影到表面上； 比较来自至少一个光电二极管的多个传感器读数和相应的多个基线传感器读数，各个所述多个传感器读数和所述多个基线传感器读数对应于各个所述多个时变结构化光图像；以及 基于所述比较，确定交互事件的发生。
12.根据权利要求11所述的装置，其中所述至少一个处理设备经进一步配置以: 在不存在交互时，使所述多个时变结构化光图像投影在所述表面上； 基于经由不存在交互时，所述多个时变结构化光图像的投影的所述至少一个光电二极管获得的读数，生成所述多个基线传感器读数，所述多个基线传感器读数中的各个和所述多个时变结构化光图像中的各个相对应；以及 使所述多个基线传感器读数存储到至少一个存储器设备中。
13.根据权利要求11所述的装置，其中各个所述多个时变结构化光图像都包括在所述时变结构化光图像的图像区内部的至少一个高对比度边界，并且其中所述多个时变结构化光图像包括在所述至少一个高对比度边界的位置中彼此不同的多个独特的结构化光图像。
14.根据权利要求11所述的装置，其进一步包括操作地连接到所述至少一个处理设备的投影仪，和操作地连接到所述至少一个处理设备但不与所述投影仪的投影光输出位于相同位置的至少一个光电二极管。
15.根据权利要求14所述的装置，其中所述至少一个光电二极管至少包括第一光电二极管和第二光电二极管，所述第一光电二极管和第二光电二极管彼此位于不同位置或与所述投影仪的投影光输出位于不同位置，并且被配置为感测从所述表面反射的投影光输出的光。
16.—种方法,其包括: 在不存在交互时，经由投影仪在第一时间将多个时变结构化光图像投影到表面上，各个所述多个时变结构化光图像在各个时隙被投影，并包括在所述投影仪的投影区内部的至少一个高对比度边界；使用至少两个单独的光电二极管，感测在所述第一时间投影的所述多个时变结构化光图像，以生成多个基线传感器读数，各个所述多个基线传感器读数和各个所述多个时变结构化光图像相对应； 将所述多个基线传感器读数存储到至少一个存储器设备中； 经由所述投影仪，在第二时间投影所述多个时变结构化光图像，各个所述多个时变结构化光图像在非结构化光图像投影期间插入的各个时隙中被投影； 使用所述至少两个光电二极管，感测在所述第二时间投影的所述多个时变结构化光图像，以生成多个传感器读数，各个所述多个传感器读数和所述多个时变结构化光图像的各个相对应； 将所述多个传感器读数存储到所述至少一个存储器设备中； 使用至少一个处理设备，比较所存储的多个传感器读数的至少一部分和存储的多个基线传感器读数的至少一部分，所述多个传感器读数的至少一部分和所述存储的多个基线传感器读数的至少一部分对应于同一时变结构化光图像集合；以及使用所述至少一个处理设备，基于所述比较，确定交互的发生。
17.根据权利要求16所述的方法，其中: 所述多个时变结构化光图像经配置以使至少一个高对比度边界接近于所述投影区的至少大部分的位置存在。
18.根据权利要求17 所述的方法，其中确定所述交互的发生进一步包括确定所述交互的大致位置； 并且其中所述方法进一步包括: 经由所述投影仪，在第三时间投影第二多个时变结构化光图像，各个所述第二多个时变结构化光图像在非结构化光图像投影期间插入的各个时隙中被投影，并被配置为使至少一个高对比度边界接近于所述交互的大致位置存在； 使用所述至少两个光电二极管，感测在所述第三时间投影的所述第二多个时变结构化光图像，以生成第二多个传感器读数，各个所述第二多个传感器读数和各个所述第二多个时变结构化光图像相对应； 将所述第二多个传感器读数存储到所述至少一个存储器设备中； 使用所述至少一个处理设备，比较所存储的第二多个传感器读数和第二多个基线传感器读数，各个所述第二多个基线传感器读数和各个所述第二多个传感器读数相对应；以及使用所述至少一个处理设备，基于第二比较，确定与所述交互相关的额外信息。
【文档编号】G06F3/042GK104049811SQ201410098968
【公开日】2014年9月17日 申请日期:2014年3月17日 优先权日:2013年3月15日
【发明者】M·C·查珀斯, G·德代奥卢 申请人:德克萨斯仪器股份有限公司