专利名称：用于使用图像传感器的触摸用户接口的设备和方法
技术领域：
本发明的实施例大体上涉及基于图像传感器的接口，且更具体来说，涉及具有利 用图像传感器接收用户命令的接口的移动装置。
背景技术：
随着移动装置的能力和复杂程度提高，用户接口开发人员正面临在利用装置的扩 展能力的同时改进装置的使用容易度的难题。由于近来在多点触摸功能性和其直觉方法方面的进步(其简化了复杂的用户接 口导航)，触摸屏作为用于移动装置的用户接口的风行度得到提高。触摸屏还可具有使移动 装置的屏幕大小最大化的优点，因为可省略掉真实键盘和/或其它物理光标控制接口。然 而，触摸屏可与若干操作缺点相关联，例如缺乏虚拟键盘和其它控制件的触觉反馈，用户手 指遮住屏幕，和/或在使用期间弄脏显示器表面。此外，触摸屏显示器开发和制造起来通常 比非触摸屏显示器更昂贵。鉴于触摸屏显示器的前述缺点，一些用户更青睐使用物理小键盘连同其移动装置 上的较小显示器。配合此类物理用户接口，已提出使触摸屏能力的直觉性质用于现存和未 来的移动装置的其它常规方法。这些方法可利用(leverage)集成数字相机，其通常包括于 许多移动装置内。一些这些常规方法提议使用MPEG运动向量算法来确定用户如何在相机前方移动 手。其它系统可使用积体相机来估计移动装置的定向(例如，倾角)以用于确定用户输入。 这些方法可涉及实时操作的算法以确保用户接口具有充分的响应性。因此，其可能为计算 密集的，且可对移动装置的板上处理器造成负担，和/或利用专门硬件。因此，所述常规方 法可能会对成本造成不利影响，且可能会增加移动装置的功率消耗。此外，这些常规方法可能要求用户在相机前方执行夸张的手部和/或臂部运动， 此可能会不合意地吸引用户的注意力和/或随着时间引起疲劳。而且，这些算法可能对确 定如何指定选择点和/或执行相对导航任务(例如，当在用户接口中滑动/拖拽等对象超 过单一用户运动的距离时重设选择点)带来难题。此外，这些技术可能要求用户的手保持 稳定或静止，以便适当进行选择和/或避免无意间选择一项目。因此，将需要提供一种用于现存和未来的相机电话的触摸用户接口导航技术，其 可避免前述缺点且可用成本有效的方式来实施。
发明内容
本发明的示范性实施例针对于用于使用图像传感器的触摸用户接口的设备和方 法。在一个实施例中，呈现一种用于处理用于用户接口的基于图像的输入命令的方 法。所述方法可包括从传感器接收图像帧，确定传感器何时进入遮盖状态，根据后续图像帧 确定传感器何时进入揭开(de-cover)状态，分析基于后续图像帧的信息以解译用户命令，
6以及向用户接口发布用户命令。在另一实施例中，呈现一种具有基于图像的用户接口的设备。所述设备可包括图 像传感器和连接到存储器的处理器，其中所述处理器经配置有逻辑，所述逻辑用以从图像 传感器接收图像帧、确定图像传感器何时进入遮盖状态、根据后续图像帧确定图像传感器 何时进入揭开状态、分析基于后续图像帧的信息以解译用户命令，以及向用户接口发布用 户命令。本发明的另一实施例可包括一种具有基于图像的触摸用户接口的移动装置，其包 括相机和连接到存储器的处理器。所述处理器包括逻辑，所述逻辑经配置以从相机接收图 像帧；将图像帧细分为若干瓦片；计算每一瓦片的度量；执行对所述度量具有预定值的瓦 片的计数；基于来自后续图像文件的轨迹值确定揭开图；计算揭开图的梯度；基于所述梯 度确定移动方向；以及基于所述方向而向用户接口发布命令。本发明的另一实施例可包括一种用于处理用于用户接口的基于图像的输入命令 的设备，其包括用于从传感器接收图像帧的装置；用于确定传感器何时进入遮盖状态的 装置；用于根据后续图像帧确定传感器何时进入揭开状态的装置；用于分析基于后续图像 帧的信息以解译用户命令的装置；以及用于向用户接口发布用户命令的装置。本发明的另一实施例可包括一种计算机可读媒体，其包括存储于其上的程序代 码，所述程序代码在由机器执行时致使所述机器执行用于用户接口的处理基于图像的输入 命令的操作。所述计算机可读媒体包括用于从传感器接收图像帧的程序代码；用于确定 传感器何时进入遮盖状态的程序代码；用于根据后续图像帧确定传感器何时进入揭开状态 的程序代码；用于分析基于后续图像帧的信息以解译用户命令的程序代码；以及用于向用 户接口发布用户命令的程序代码。
呈现附图是为了帮助描述本发明的实施例，且提供附图仅仅为了说明实施例而非 对其限制。图IA到ID为展示具有基于图像的触摸用户接口的示范性移动装置的操作的概观 的图。图2为展示具有基于图像的触摸用户接口的移动装置的示范性配置的方框图。图3为描绘与基于图像的触摸用户接口相关联的示范性顶级过程的流程图。图4为描绘与基于图像的触摸用户接口相关联的用于确定遮盖状态的示范性过 程的流程图。图5为描绘与基于图像的触摸用户接口相关联的用于确定揭开状态的示范性过 程的流程图。图6为描绘与基于图像的触摸用户接口相关联的用于确定用户命令的示范性过 程的流程图。
具体实施例方式在针对本发明的特定实施例的以下描述和相关图式中揭示本发明的方面。可在不 偏离本发明的范围的情况下设计替代实施例。另外，将不会详细描述本发明的众所周知的元件或将省略所述元件以免混淆本发明的相关细节。词“示范性”在本文中用以意指“充当一实例、例子或说明”。不必将本文中描述为 “示范性”的任何实施例理解为比其它实施例优选或有利。同样，术语“本发明的实施例”并 非要求本发明的所有实施例包括所论述的特征、优点或操作模式。本文中所使用的术语仅是出于描述特定实施例的目的且并不意欲限制本发明的 实施例。如本文中所使用，除非上下文明确地另外指示，否则单数形式“一”和“所述”意欲 包括复数形式。应进一步了解，术语“包含”、“包括”当在本文中使用时规定存在所述特征、 整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或一个以上其它特征、整数、 步骤、操作、元件、组件和/或其群组。另外，依据将由(例如)计算装置的元件执行的动作的序列来描述许多实施例。应 认识到，可通过特定电路(例如，专用集成电路(ASIC))，通过正由一个或一个以上处理器 执行的程序指令，或通过两者的组合来执行本文描述的各种动作。另外，可认为本文中描述 的这些动作序列完全实施于任何形式的计算机可读存储媒体内，所述计算机可读存储媒体 中已存储一组对应的计算机指令，所述指令在执行后致使相关联的处理器执行本文中所描 述的功能性。因此，本发明的各个方面可以若干不同形式来实施，已预期所有所述形式均在 所主张的标的物的范围内。另外，对于本文中描述的实施例中的每一者来说，任何所述实施 例的对应形式在本文中均可被描述为(例如)“经配置以执行所描述的动作的逻辑”。图IA到ID为展示具有基于图像的触摸用户接口(IBTUI)的示范性移动装置100 的操作的概观的图。图IA将示范性移动装置100展示为翻盖式电话(展示为电话的顶部 部分被切除)。装置的背面105包括图像传感器110的外部部分，所述图像传感器110可连 续收集图像帧115。在操作期间，在已遮盖传感器之后，IBTUI可追踪退出传感器110的视 野的对象的路径。一旦完成追踪，IBTUI便可基于所追踪的运动的性质来解译命令。如图IB所示，用户可通过最初将手指120置放于图像传感器110上方来起始命令 输入。此动作可大体上遮盖或完全遮盖图像传感器110，以便产生一个或一个以上具有低亮 度值的图像帧125。此将IBTUI置于“遮盖状态”，且在手指120离开图像传感器110的视 野时向IBTUI发信号以追踪手指120的运动。如图IC所示，手指120通过朝页面左侧移动 而离开图像传感器110的视野。可产生具有对应于此移动的亮度变化的一系列图像帧130。 可处理所述图像帧以将移动解译为命令。在此例子中，可将手指的移动解译为用以在移动 装置的图形用户接口(GUI)中产生光标的对应移动的命令。图ID展示用户的手指120朝 页面底部的移动，且产生具有对应亮度变化的一系列图像帧135。此移动可产生使移动装置 的GUI中的光标向下移动的命令。如下文将描述，可将其它移动和/或手势解译为不同命 令。虽然将移动装置100展示为相机翻盖电话，但本发明的其它实施例可针对任何类 型的装置，如下文将更详细描述。图2为展示具有基于图像的触摸用户接口(IBTUI)的移动装置200的示范性配 置210的方框图。移动装置200可具有平台210，其可在网络上交换数据和/或命令。平 台210可包括收发器215 (其可进一步包括未明确展示的发射器和接收器)，收发器215以 可操作方式耦合到处理器220或其它控制器、微处理器、ASIC、逻辑电路或任何其它数据处 理装置。处理器220可执行存储于移动装置200的存储器225中的程序。可在处理器220上执行的一个程序可与基于图像的触摸用户接口相关联，所述接口可将输入提供到移动装 置200的图形用户接口。存储器225可存储可执行模块(例如，IBTUI、⑶I等)、图像帧和 其它数据结构，包括与IBTUI的操作相关联的可执行模块、图像帧和其它数据结构。存储器 225可包含只读存储器和/或随机存取存储器(RAM和ROM)、EEPR0M、快闪卡或此类平台常 见的任何存储器。图像传感器230可在功能上耦合到处理器220，且通常可对可见光敏感。 本发明的其它实施例的特征可在于图像传感器230，其还能够利用其它波长，使得IBTUI可 在缺乏可见光的情况下操作。图像传感器的与移动装置200的外表面相关联的光学组件 (例如，保护相机镜头的透明罩盖)可以凹入方式安装。通过此布置，用户的手指可能实际 上不与图像传感器物理接触，因而防止用户的手指将外来对象(例如，灰尘、油脂等)引入 到图像传感器的光学路径中，或者以其它方式损坏(例如，刮擦)图像传感器。因此，所述 基于图像的触摸用户接口并不要求实际接触图像传感器。图像传感器230可为以周期性速率(例如，30帧/秒)记录图像帧的相机，且可使 用常规的数字视频格式。当经由IBTUI接受用户输入时，图像传感器230可连续提供图像帧 以供IBTUI处理。举例来说，图像传感器230在用户显示“联系人”屏幕时将图像帧提供到 处理器220，以便接受来自用户的手指的输入，以用于光标移动和/或屏幕内的选择。当图 像传感器230未提供用于IBTUI的图像帧时，图像传感器可用以提供图片和/或视频。此 外，图像传感器230可收集且IBTUI可利用图像帧，而不需要与改进图像帧的美学质量相关 联的任何常规处理。举例来说，当图像传感器正用于IBTUI时，图像帧可能未执行任何白平 衡、彩色平衡、自动对焦、图像锐化等。省略此类处理将减少使用IBTUI时移动装置100上 的计算负担，且可进一步增强电池寿命。可在离散元件、执行于处理器上的软件模块或软件与硬件的任何组合中实施用于 提供命令的各种逻辑元件，以便实现本文中揭示的功能性。举例来说，可协作地使用处理器 220和存储器225来加载、存储并执行本文揭示的各种功能，且因此可将用于执行这些功能 的逻辑分布于各个元件上。或者，可将功能性并入一个离散组件中(例如，处理器220中的 嵌入式存储器中)。因此，将认为图2中的移动装置200的特征仅为说明性的，且本发明的 实施例不限于所说明的特征或布置。 此外，本发明的实施例可结合任何装置而使用，且不限于所说明的实施例。举例来 说，装置可包括蜂窝式电话、接入终端、个人数字助理、音乐播放器、无线电、GPS接收器、膝 上型计算机、公用电话亭(kiosk)等。图3为描绘与基于图像的触摸用户接口(IBTUI)相关联的示范性顶级过程300的 流程图。过程300可在移动装置200最初开启或重新启动(power cycle)时开始，且处理 器220开始多种过程的初始化以用于装置操作(310)。此可包括初始化图形用户接口以及 与接收和处理来自图像传感器230的图像帧相关联的硬件和软件/固件/逻辑组件。可以 常规的视频格式(例如，30帧/秒，其中每一帧具有240X320像素)呈现图像帧，且使用亮 度-色度色空间(YCrCb)。还可以准视频格式呈现帧，所述格式具有降低的帧速率和/或每 一图像帧内的较低空间取样。此外，图像帧可放弃预处理以增强色彩、白平衡、锐度和/或 改进其它美学质量。所述过程随后可开始分析由图像传感器230产生的图像，以确定图像传感器是否 处于遮盖状态。如本文中所定义，当图像传感器230被对象(通常为用户的手指)遮盖时
9出现遮盖状态。可对图像帧的亮度信道执行此分析，且可包括基于平均亮度和/或细节计 算一个或一个以上度量(315)。这些度量在性质上可为统计性的，且将在下文中更详细描 述。所述过程随后可通过使用方框315中计算的度量执行阈值比较来确定图像传感器是否 处于遮盖状态(320)。如果所述确定指示图像传感器230是处于遮盖状态，则过程前进到方 框325 ；否则，方框315中的分析一直继续，直到达到遮盖状态为止。下文在对图4的描述 中呈现方框315和320的细节。当确定图像传感器已进入遮盖状态时，过程300随后开始分析后续图像帧以确定 图像传感器何时转变到“揭开状态”(325和330)。在本文中使用时，将揭开状态定义为当 用户的手指已以其运动可被可靠地追踪的程度移动离开图像传感器时的状态。可通过计算 亮度和/或细节度量和其随时间的变化而对此进行确定。在此过程期间，可产生揭开图以 存储所计算的度量和其时间变化。一旦揭开图完成，过程便可前进到方框335，其中分析所 述揭开图。下文在图5的描述中呈现方框325和330的细节。在方框335中，分析揭开图以确定手指如何移动离开图像传感器230。通过分析揭 开图内的空间变化，可确定手指移动的方向(335)。可使用此信息来解译随后可提供到移动 装置的图形用户接口的命令。下文中在对图6的描述中呈现方框335和340的细节。因此，本发明的实施例可包括方法300，其用于处理用于用户接口的基于图像的 输入命令。所述方法可包括从传感器接收图像帧，且确定传感器何时进入遮盖状态(315、 320)、根据后续图像帧确定传感器何时进入揭开状态(325、330)、分析基于后续图像帧的信 息以解译用户命令(335、330)，以及向用户接口发布用户命令(340)。此外，本发明的另一实施例可包括设备200，其具有基于图像的用户接口。所述设 备可包括图像传感器230和连接到存储器225的处理器220。所述处理器可配置有逻辑，所 述逻辑用以从传感器接收图像帧，且确定传感器何时进入遮盖状态(315、320)、根据后续图 像帧确定传感器何时进入揭开状态(325、330)、分析基于后续图像帧的信息以解译用户命 令(335、330)，以及向用户接口发布用户命令(340)。图4为描绘与基于图像的触摸用户接口相关联的用于确定遮盖状态的示范性过 程400的流程图。过程400可通过从图像传感器200接收图像帧i而开始(410)。随后可 将所述图像帧细分为nXm个瓦片(例如，对于240X320肖像预览帧，每一瓦片可包括大约 60X80个像素且n = m = 4)。随后可由处理器220针对来自图像的亮度信道的像素，为每 一瓦片计算亮度和/或细节度量(420)。可通过确定每一瓦片内的平均亮度来计算每一瓦 片的亮度度量。可通过确定每一瓦片的标准偏差来计算细节度量。可通过以下等式近似标 准偏差(std)以供处理器220快速执行
255 其中val为可由8位像素采用的强度值；hist (val)为亮度值的直方图，即，瓦片中具有val的亮度的像素数目；以及avg为先前计算的平均亮度值。请注意，上述等式假定使用8位整数来存储亮度像素，但可修改所述等式以适应其它数据类型，且本发明的实施例不限于前述等式或数据类型。一旦针对图像帧i中的所有瓦片计算出亮度和/或细节度量，过程400便可通过 对超出预定阈值的瓦片的数目进行计数而继续进行(425)。举例来说，在一个实施例中，可 使用具有小于30的平均值和小于100的std值的瓦片数目来建立计数。随后测试此计数 数目以确定其是否超出阈值(430)。所述阈值是预定的，且可将其设定为图像帧中的瓦片总 数的某个分数(例如，可将预定阈值数目设定为.95*n*m)。如果计数数目未能超出阈值，则 使帧计数递增，且接收下一图像帧以用于遮盖状态确定处理(435、410)。一旦确定计数数目 超出预定阈值数目，则确定图像传感器230处于遮盖状态。如下所述，处理随后可进行到揭 开过程500。图5为描绘与基于图像的触摸用户接口相关联的用于确定揭开状态的示范性过 程500的流程图。最初，存储当检测到遮盖状态时对应于图像帧的瓦片值的度量510。举例 来说，可针对每一瓦片存储平均亮度和std。可以本文中称为参考瓦片度量的数据结构来存 储这些度量，其中表格可采用多维矩阵的形式。随后从图像传感器230接收下一图像帧，且如上所述将其细分为nXm个瓦片 (515、520)。过程500随后可以上文针对遮盖状态确定而描述的方式，针对每一瓦片计算亮 度和/或细节度量(525)。一旦处理器220针对每一瓦片计算出度量，便检查每一瓦片，且 在当前瓦片的度量超出对应参考瓦片的度量一预定量时，可向其指派一轨迹值。可在当前 图像帧j中的每一瓦片与和图像帧i曾相关联的先前存储的参考瓦片度量之间执行此比较 过程。此比较操作可基于预定阈值。举例来说，可在给定瓦片的平均亮度超出对应参考瓦 片的平均亮度30级和/或当给定瓦片的std超出参考瓦片的std 90级时，计算瓦片的轨 迹值。每一轨迹值与一瓦片相关联，且因此可以nXm数据结构存储。可使用以下等式计 算轨迹值trailUy) = 100* ⑴-一”)其中j 对应于时间的当前帧数目；avg(x, y)帧j中的位置x，y中的瓦片的平均亮度值；refTile(x, y)位置x，y中的参考瓦片的平均亮度值；以及T 阈值(例如，30)。一般来说，轨迹值指示何时揭开特定瓦片。轨迹值越大，揭开特定瓦片的时间越 晚。然而，轨迹值含有关于时间和所获得的亮度量两者的信息，以便关于何时揭开各个瓦片 而“打破联系(break ties)”。轨迹值的时间分量可由帧编号j编码，且可仅采用整数量。 为将较大粒度提供到轨迹值的时间分量，可通过当前瓦片的平均亮度与其对应参考之间的 差值来修改时间信息(j)。如果此差值较大，则其暗示所关注的瓦片揭开得较早，且因此从 时间信息减去某一量(此量为经缩放的差值)。可以称为揭开图的二维结构存储每一轨迹 值。所述揭开图可具有nXm个条目，每一条目对应于当前图像帧j中的一瓦片位置。举例 来说，轨迹值为292的瓦片可在轨迹为192的瓦片之后揭开(200范围内的瓦片在100范围
11内的瓦片之后揭开)。在同一图像帧期间揭开的瓦片之间的“联系”可基于所获得的亮度级 而被“打破”。举例来说，假定在具有轨迹292的瓦片(帧j = 3，但相对于其存储的遮盖的 亮度值变得亮得多)之后揭开具有轨迹299的瓦片(帧j = 3，仍然有点黑)。一旦已针对每一瓦片位置(n，m个瓦片上的每一 X，y)计算轨迹值，便完成揭开 图。可执行测试以确定预定数目个瓦片是否具有可与揭开状态相关联的相关联的轨迹值 (535)。预定数目个瓦片可例如为帧内的大多数瓦片。如果所述确定为真，则过程继续到过 程600。否则，执行测试以确定是否已处理阈值数目个帧(540、545)。如果帧数目超出阈值， 则其暗示着用户正将手指放在图像传感器上，且可将命令解译为“选择”或“输入”。(举例 来说，可将经过的帧数目设定成对应于两秒的时期)。选择/输入命令可类似于鼠标点击或 键击键盘上的“Enter”键，且其可用于在移动装置200的⑶I中选择一对象或输入一值。图6为描绘与基于图像的触摸用户接口相关联的用于确定用户命令的示范性过 程600的流程图。可将揭开图视为3维表面，其中x，y指示瓦片位置，且ζ值为对应于手指 揭开镜头时手指运动的时间。在方框610中，可计算揭开图的梯度以确定揭开图的最陡峭 的上升。作为次级或替代方法，可将揭开图中的梯度和轨迹值与阈值进行比较，以确定用户 是否希望将“选择/输入”命令输入到⑶I中(615和630)。在此例子中，如果轨迹值较高 且梯度较低(此指示轨迹值均一)，则用户可能已稳定地将手指放在图像传感器上，从而指 示“选择/输入”命令。可以若干不同方式根据揭开图的梯度确定手指移动的方向(620)。举例来说，处理 器220可发现nXm揭开图中的η个行和m个列中的哪一者最强。举例来说，对于以下揭开 图480 480 560 570470 480 480 560460 470 480 480440 460 470 470最大列为最后一列，且最大行为第一行，因此算法将告知系统将光标移动到右上 方，因为所述方向具有最大强度的轨迹。一旦确定了移动方向，便可向用户接口发布指示方 向的命令。通常将以移动装置200的装置驱动器可容易接受的格式形成这些命令。在其它实施例中，可将唯一用户手势提供到IBTUI以用于其它命令。举例来说，可 使用多个手指运动来控制移动装置200的独特特征，或者可将其用作可能采用多个步骤的 命令的“快捷方式”。举例来说，可使用手指在图像传感器上经过的两个向下运动来控制图 像传感器的参数以用于在特定情形下(例如，设定用于扫描条形码的短曝光)拍照(即，控 制自动对焦、自动曝光、减少手抖动等)。如上文所提及，图像传感器200可能对除对应于可见光的波长之外的其它波长敏 感。举例来说，图像传感器200可能对红外辐射敏感，因此其可用于低光情形。此类实施例 可利用能够分离IR阻挡滤光片的传感器。其它传感器可利用IR辐射源(例如，IR LED), 所述IR辐射源可在可见光量低于可用阈值时被启动。此外，所述揭开图可经扩展为多维结构，其具有对应于时间的一个维度。此类数据 结构可被视觉化为三维矩形，其中χ-y维对应于位置，且ζ维对应于时间。在此数据“体积” 中，每一数据元素可对应于在时间、时图像帧中的点χ，y处的轨迹值。
所属领域的技术人员将了解，可使用多种不同技术和技艺中的任一者来表示信息 和信号。举例来说，可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任何 组合来表示在整个以上描述中参考的数据、指令、命令、信息、信号、位、符号和码片。另外，所属领域的技术人员将了解，结合本文中所揭示的实施例而描述的各种说 明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清 楚地说明硬件与软件的此可互换性，在上文已大体上就其功能性描述了各种说明性组件、 块、模块、电路和步骤。所述功能性经实施为硬件还是软件取决于特定应用和强加于整个系 统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但 此些实施决策不应被解释为会导致脱离本发明的实施例的范围。结合本文中所揭示的实施例而描述的方法、序列和/或算法可直接实施于硬件 中、由处理器执行的软件模块中或两者的组合中。软件模块可驻留在RAM存储器、快闪存储 器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM或此项技 术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，以使得处理器可 从存储媒体读取信息且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一 体。因此，本发明的实施例可包括计算机可读媒体，其体现一种根据本文描述的功能、 步骤和/或动作的基于图像的触摸用户接口的方法。因而，本发明的实施例可包括计算机 可读媒体，其包括存储于其上的程序代码，所述程序代码在由机器执行时致使机器执行用 于用户接口的处理基于图像的输入命令的操作。所述计算机可读媒体包括用于从传感器 接收图像帧的程序代码；用于确定传感器何时进入遮盖状态的程序代码；用于根据后续图 像帧确定传感器何时进入揭开状态的程序代码；用于分析基于后续图像帧的信息以解译用 户命令的程序代码；以及用于向用户接口发布用户命令的程序代码。因此，本发明不限于所 说明的实例，且用于执行本文中所描述的功能性的任何装置包括于本发明的实施例中。虽然前文的揭示内容展示本发明的说明性实施例，但应注意，在不脱离由所附权 利要求书界定的本发明的范围的情况下，可在本文中作出各种改变和修改。无需以任何特 定次序执行根据本文中所描述的本发明的实施例的方法项的功能、步骤和/或动作。此外， 虽然可能以单数形式描述或主张本发明的元件，但除非明确陈述限于单数形式，否则还涵 盖复数形式。
1权利要求
一种用于处理用于用户接口的基于图像的输入命令的方法，其包含从传感器接收图像帧；确定所述传感器何时进入遮盖状态；根据后续图像帧确定所述传感器何时进入揭开状态；分析基于所述后续图像帧的信息以解译用户命令；以及向用户接口发布所述用户命令。
2.根据权利要求1所述的方法，其进一步包含 将图像帧细分为若干瓦片；计算每一瓦片的度量；以及执行对所述度量具有预定值的所述瓦片的计数。
3.根据权利要求2所述的方法，其进一步包含对随后接收的帧执行根据权利要求2所述的方法，直到所述计数超出预定数目为止。
4.根据权利要求3所述的方法，其中当所述计数超出所述预定数目时，其进一步包含 存储每一瓦片的参考度量；将所述后续帧细分为若干瓦片； 计算每一瓦片的度量；以及计算具有超出预定值的度量的瓦片的至少一个轨迹值。
5.根据权利要求4所述的方法，其进一步包含对后续接收的帧执行根据权利要求4所述的方法，直到所有瓦片均具有对应的轨迹值 为止。
6.根据权利要求5所述的方法，其进一步包含如果在所有所述瓦片均具有对应的轨迹值之前处理预定数目个图像帧，则将所述用户 命令解译为“选择”或“输入”。
7.根据权利要求1所述的方法，其进一步包含 计算揭开图的梯度；基于所述梯度确定移动方向；以及 基于所述方向，向所述用户接口发布命令。
8.根据权利要求7所述的方法，其进一步包含 确定所述梯度是否超出预定值；确定预定数目个轨迹值是否超出预定值；以及基于所述梯度和轨迹确定，将所述用户命令解译为“选择”或“输入”。
9.根据权利要求2所述的方法，其中所述度量包括亮度的平均值和所述亮度的标准偏差。
10.根据权利要求1所述的方法，其中所述传感器为相机。
11.根据权利要求10所述的方法，其中通过将手指置放于所述相机上来输入所述用户 命令。
12.根据权利要求11所述的方法，其中将一系列手势解译为与所述相机的控制参数相 关联的命令。
13.根据权利要求1所述的方法，其中从所述传感器接收到的所述图像帧大体上是基于红外辐射。
14.一种具有基于图像的用户接口的设备，其包含 图像传感器；以及处理器，其连接到存储器，其中所述处理器经配置有逻辑，所述逻辑用以从所述图像传感器接收图像帧；确定所述图像传感器何时进入遮盖状态；根据后续图像帧确定所述图像传感器何时进入揭开状态；分析基于所述后续图像帧的信息以解译用户命令；以及向用户接口发布所述用户命令。
15.根据权利要求14所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以将图像帧细分为若干瓦片； 计算每一瓦片的度量；以及 执行对所述度量具有预定值的所述瓦片的计数。
16.根据权利要求15所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以对随后接收的帧执行根据权利要求15所述的逻辑，直到所述计数超出预定数目为止。
17.根据权利要求16所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以存储每一瓦片的参考度量； 将所述后续帧细分为若干瓦片； 计算每一瓦片的度量；以及计算具有超出预定值的度量的瓦片的至少一个轨迹值。
18.根据权利要求17所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以对后续接收的帧执行根据权利要求4所述的逻辑，直到所有瓦片均具有对应的轨迹值 为止。
19.根据权利要求18所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以如果在所有所述瓦片均具有对应的轨迹值之前处理预定数目个图像帧，则将所述用户 命令解译为“选择”或“输入”。
20.根据权利要求14所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用 以计算揭开图的梯度；基于所述梯度确定移动方向；以及基于所述方向，向所述用户接口发布命令。
21.根据权利要求20所述的设备，其中所述处理器进一步经配置有逻辑，所述逻辑用以确定所述梯度是否超出预定值；确定预定数目个轨迹值是否超出预定值；以及基于所述梯度和轨迹确定，将所述用户命令解译为“选择”或“输入”。
22.根据权利要求15所述的设备，其中所述度量包括亮度的平均值和所述亮度的标准偏差。
23.根据权利要求14所述的设备，其中所述传感器为相机，且所述用户命令通过将手 指置放于所述相机上而输入。
24.根据权利要求23所述的设备，其中所述相机从所述设备的主体凹入，使得所述手 指不会与所述相机物理接触。
25.一种具有基于图像的触摸用户接口的移动装置，其包含 相机；以及处理器，其连接到存储器，其中所述处理器包括逻辑，所述逻辑经配置以 从所述相机接收图像帧； 将所述图像帧细分为若干瓦片； 计算每一瓦片的度量；执行对所述度量具有预定值的所述瓦片的计数； 基于来自后续图像文件的轨迹值确定揭开图； 计算揭开图的梯度； 基于所述梯度确定移动方向；以及 基于所述方向，向所述用户接口发布命令。
26.一种用于处理用于用户接口的基于图像的输入命令的设备，其包含 用于从传感器接收图像帧的装置；用于确定所述传感器何时进入遮盖状态的装置； 用于根据后续图像帧确定所述传感器何时进入揭开状态的装置； 用于分析基于所述后续图像帧的信息以解译用户命令的装置；以及 用于向用户接口发布所述用户命令的装置。
27.根据权利要求26所述的设备，其进一步包含 用于将图像帧细分为若干瓦片的装置；用于计算每一瓦片的度量的装置；以及用于执行对所述度量具有预定值的所述瓦片的计数的装置。
28.根据权利要求27所述的设备，其进一步包含用于处理随后接收的帧直到所述计数超出预定数目为止的装置。
29.根据权利要求28所述的设备，其中当所述计数超出所述预定数目时，其进一步包含用于存储每一瓦片的参考度量的装置； 用于将所述后续帧细分为若干瓦片的装置； 用于计算每一瓦片的度量的装置；以及用于计算具有超出预定值的度量的瓦片的至少一个轨迹值的装置。
30.一种计算机可读媒体，其包括存储于其上的程序代码，所述程序代码在由机器执行 时致使所述机器执行用于处理用于用户接口的基于图像的输入命令的操作，所述计算机可读媒体包含用以从传感器接收图像帧的程序代码； 用以确定所述传感器何时进入遮盖状态的程序代码； 用以根据后续图像帧确定所述传感器何时进入揭开状态的程序代码； 用以分析基于所述后续图像帧的信息以解译用户命令的程序代码；以及 用以向用户接口发布所述用户命令的程序代码。
31.根据权利要求30所述的计算机可读媒体，其进一步包含 用以将所述图像帧细分为若干瓦片的程序代码；用以计算每一瓦片的度量的程序代码；以及 用以执行对所述度量具有预定值的所述瓦片的计数的程序代码。
32.根据权利要求31所述的计算机可读媒体，其进一步包含 用以处理随后接收的帧直到所述计数超出预定数目为止的程序代码。
33.根据权利要求32所述的计算机可读媒体，其中当所述计数超出所述预定数目时， 其进一步包含用以存储每一瓦片的参考度量的程序代码； 用以将所述后续帧细分为若干瓦片的程序代码； 用以计算每一瓦片的度量的程序代码；以及用以计算具有超出预定值的度量的瓦片的至少一个轨迹值的程序代码。
全文摘要
本发明呈现用于使用图像传感器的触摸用户接口的设备和方法。一种用于处理用于用户接口的基于图像的输入命令的方法包括从传感器接收图像帧、确定所述传感器何时进入遮盖状态、根据后续图像帧确定所述传感器何时进入揭开状态、分析基于所述后续图像帧的信息以解译用户命令，以及向用户接口发布所述用户命令。一种具有基于图像的用户接口的设备包括图像传感器和连接到存储器的处理器，其中所述处理器经配置有逻辑，所述逻辑用以从所述图像传感器接收图像帧、确定所述图像传感器何时进入遮盖状态、根据后续图像帧确定所述图像传感器何时进入揭开状态、分析基于所述后续图像帧的信息以解译用户命令，以及向用户接口发布所述用户命令。
文档编号G06F3/048GK101918912SQ200980101848
公开日2010年12月15日 申请日期2009年1月9日 优先权日2008年1月9日
发明者巴巴科·福鲁坦保尔 申请人:高通股份有限公司