专利名称：非触摸式交互系统及方法
技术领域：
本发明涉及导航(navigate)小屏幕显示器的系统及其方法。更具体地，本发明涉及具有用于追踪用户手指指向虚拟键盘的轨迹的非接触式传感器的该系统及方法。
背景技术：
可以在例如手机、个人数字助理(PDA)、移动电脑和成像器的产品上见到各种类型的小屏幕显示器。越来越多地，用户必须导航小屏幕显示器去利用手机进行网页浏览或使用PDA浏览照片。 小型触摸屏用于支持与运行在诸如PDA和移动电话的便携装置上的程序的交互是常见的。小型触摸屏也在寻找到家用产品的路径，例如Honeywell公司的TH8321U1006型恒温器，Honeywell公司的6271V型安全面板，以及各种个人健康监视装置。它们已经在包裹递送、零售仓储和精炼厂野外操作中应用多年。 已知的，导航系统使用縮放和全景控制或通过鱼眼观视器。然而，在一些情况下使用这些控制是不方便和低效率的。例如，很难结合触摸屏去使用鱼眼导航。同样很难利用鼠标或触摸屏去縮放和全景图形。在小型屏上使用触针的导航可能对用户更加困难。
因此对于另外一种自然的并且更容易使用的控制导航图形大小比例的装置的需求是持续地。因此存在对于自然且容易使用的控制导航大尺度和小尺度图形的替换方法的持续需求。 同样可期待的是，能够在导航诸如地图或建筑楼层平面图的大尺度图形中使用这种方法。
发明内容
—种显示系统，其包括图像可以在其表面呈现的多维显示装置；位于该表面附近的多个非接触式传感器；以及耦合到该传感器和该显示装置的控制电路，该电路响应来自传感器的信号，确定向该表面的区域移动的指示部件的轨迹。
附图1为根据本发明的非触摸式交互系统的图示；
附图2为附图1中的系统的部分软件元件的框 附图3为图示交互方法的流程图； 附图4A、4B示出了附图1中系统的两种不同的应用； 附图5为非触摸模式输入屏幕，包括建筑名字，街道号码和地址，城市，邮政编码，第一警报，楼层号，检测器； 附图6为中间非触摸模式屏幕，包括建筑名字，街道号码和地址，城市，邮政编码，第一警报，楼层号，检测器； 附图7为具有退出按钮的非触摸模式区域显示屏，包括建筑名字，街道号码和地址，城市，邮政编码，第一警报，楼层号，检测器； 附图8A、8B、8C示出了附图1中系统的非接触式传感器的各个方面； 附图9A、9B、9C示出了虚拟键盘非触摸式导航的一种形式，在图9A中，当手指足够
靠近触摸屏时，将根据手指的位置选择和放大可视键盘的一个框；以及 附图10A、10B、10C示出了虚拟键盘非触摸式导航的另一种形式，在图10A中，将根
据手指的位置连续放大虚拟键盘。
具体实施例方式
尽管本发明的实施例可以采取许多不同形式，在附图中示出其具体实施例并且结合下列理解在本文中详细描述该具体实施例将本发明的公开作为本发明原理的例证，以及某些最佳实施方式，并且并不意为将本发明限制于所示的具体实施例。 本发明的实施例包括非触摸或非接触界面，其在三维中感测用户的手指或手的位置。在公开的实施例中，可以在显示装置的边缘布置多个电容性传感器。可以追踪指向显示在装置上的虚拟键盘上的点的手指或手的轨迹。这使得相关系统在手指实际触摸到屏幕前，能预测用户试图选择的显示装置屏幕上的点。 根据本发明可以使用Z轴手指位置数据以在例如地图显示器上控制縮放比或縮范围。可选择地，可通过利用这种非触摸指示方法来控制地图显示器上的鱼眼。鱼眼的多个参数，例如縮放比、縮放范围、縮放形状(矩形、圆角矩形、椭圆形等等)以及鱼眼周围失真边缘的比例可以在处理中修改。 当用户移动他/她的手指，显示器中的图形内容相应地更新。手指的移动同样可以控制地图显示器上的縮放/跨越操作或鱼眼效果。这些处理对于用户是高效率和直观的。 相同的方法也可以用于控制小屏幕显示器上的虚拟键盘并且与小屏幕显示器上的虚拟键盘相交互。它克服了与小虚拟键盘相关的长期性问题即按键总是比人指尖小得多。 精确的交互需要仅仅键盘的目标区域的放大(例如一些按键的小的子集)。非触摸界面使用与手的位置相关的z轴数据来推断键盘上需要的目标区域并且自动縮放或放大虚拟键盘上需要的区域。 在一些应用中，来自非触摸装置的输入信号可能会扰乱不需要为非触摸的交互。在本发明的一个方面中，多个不同的方法可以用于直观地和迅速地停止/启动非触摸交互。在一个实施例中，用户的右手可以用于指示和控制縮放控制或鱼眼控制，左手可以用于操作启动或停止非触摸导航的按钮。在这种处理中，左手还可以用于在快速移动(fly)中迅速改变鱼眼或縮放参数，同时右手做指示和拖拉动作来提供非常有效的双手交互。
附图1示出了一个非触摸或非接触式交互系统100。该系统100包括通过数据总线152与触摸屏输入缓冲器153、非触摸输入缓冲器154、显示器缓冲器155、缓冲器156以及存储单元或寄存器157相连接的可编程处理单元151。触摸屏158通过触摸屏缓冲器153与处理器耦合。非触摸感测装置159，例如多个基于电容性的非接触式传感器，通过非触摸输入缓冲器154与处理器相耦合。 图形显示器160通过显示器缓冲器155耦合到处理器。显示装置160包括在其上呈现各种图像的显示屏。该非触摸传感器159位于将在随后更加详细地讨论的显示装置 160的显示屏的外围的周围。 输入/输出装置161通过输入/输出缓冲器156耦合至处理器。输入/输出装置 可以包括任何允许系统与外部信息交互的装置的组合。 存储单元157包括对处理器151实现非触摸交互系统所必须的信息和/或程序或 可执行软件。例如，显示器控制软件157a可以以计算机可读形式存储于单元157中。其他 的系统控制软件同样可以存储于单元157中。 附图2示出了通过处理器151来执行的系统100的各种软件模块200。模块200 以磁性计算机或光学计算机可读形式存储于单元157中。软件200包括命令执行模块202、 命令识别器模块204、数据接收器206、图形系统显示模块208和域(domain)模型210，其提 供关于显示的区域的信息。各种模块的运行将相对于附图3的过程250来讨论。
如附图3的流程图中所示，在252，将来自例如传感器158或159的传感器的数据 从缓冲器153、154载入到诸如206a、206b的各个接收器中。在254，将该数据载入到输入缓 冲器204b中。 在256，手势分析器204a分析数据。在258，手势分析器204a传送系统命令到命 令执行202。在260，该命令执行改变模型210的域对象的状态。 在262，命令执行202通知图形系统模块208去改变显示器160上的可视图像的状 态。在264，图形系统模块208更新显示单元160上的图像。在266，命令执行模块202随 后更新系统状态。 附图4A示出了本发明的一个实施例，非接触、导航区域显示器，例如可以用于估 计建筑的报警条件。在第二实施例中，附图4B示出了根据本发明的小型显示器非接触导 航。 附图5示出了在初始显示状态中的附图4a的实施例类型或应用的显示。在步骤 1中，如所示，用户可以点击按钮去进入非触摸导航状态。附图6为在显示单元160上呈现 给用户的确认屏幕。用户可以进入如在步骤3所示的非触摸导航状态。附图7示出了在非 触摸导航状态时在显示单元160上的屏幕呈现。提供按钮来退出非触摸状态。
附图8A、8B、8C示出了关于显示单元160的屏幕160a的周边布置的非接触 式传感器159的特征的各个部分。如本文所示，传感器159限定了外部截面圆锥型 (frusto-conical)感测区域160b和内部区域160c。 当用户的手指或指示装置位于外部区域160b时，区域显示器或地图可以被导航 或滚动以及縮放。当用户的手指靠近屏幕时，在区域160b和160c中，例如，呈现的图像从 一个级别向更详细的级别来縮放。当用户的手指进入内部区域160c时，在一个实施例中， 用户可以仅在地图或显示器上放大和縮小。区域160c能够帮助终端用户将地图或显示器 平滑且没有抖动或跳动地放大/縮小。 附图9A、9B、9C示出了利用系统100的导航虚拟键盘的一个解决方案的步骤。可 以通过用户去激活按键去选择和扩大区域。然后，可以通过用户去激活不同的按键去选择 和扩大第二区域，等等，直到完成需要的进入。 附图10A、10B、10C示出了另一个利用系统100的导航虚拟键盘的解决方案的步 骤。在附图10A、10B、10C的实施例中，可以扩大或放大用户手指移动到的键盘的任何部分以使得用户去无缝地激活连续按键组。应当理解本发明的实施例可以被包括在例如无线电 话、移动电脑、或成像装置、一切可能具有相对小键盘的电子装置中。 综上所述，应当注意到在不脱离本发明的实质和范围的情况下多种变化和改变是 有效的。应当理解没有意图或应当推断出关于本文所述的特定设备的限制。当然，其意图 由所附的权利要求去覆盖落入该权利要求的范围之内的所有这类改变。
权利要求
一种显示系统，其包括图像可以在其表面呈现的多维显示装置；位于该表面附近的多个非接触式传感器；以及耦合到该传感器和该显示装置的控制电路，该电路响应来自传感器的信号，确定向该表面的区域移动的指示部件的轨迹。
2. 如权利要求1所述的系统，其包括耦合到控制电路的显示控制电路，该显示控制电 路响应所确定的轨迹来动态地调整呈现在该表面上的图像的放大参数。
3. 如权利要求1所述的系统，其中该传感器包括电容型传感器。
4. 如权利要求1所述的系统，其中将该传感器被配置为限定截面圆锥型区域，在该区 域内指示部件可以被感测。
5. 如权利要求1所述的系统，其包括手动操作元件，该手动操作元件耦合到在与该表 面上的图像交互的非接触模式和接触模式之间切换的控制电路。
6. 如权利要求1所述的系统，其中该控制电路响应于所选择的与该表面上的图像交互 的非接触模式或接触型模式之一。
7. 如权利要求1所述的系统，其包括与显示装置的显示屏相关联的多个接触型传感器。
8. 如权利要求1所述的系统，其包括存储在耦合到该控制电路的计算机可读介质上的 显示管理软件。
9. 如权利要求8所述的系统，其中该显示管理软件在通过该控制电路执行时，响应于 该指示部件的确定轨迹在显示单元的表面上呈现动态改变图像。
全文摘要
本发明涉及非接触式交互系统及方法。一种非接触式显示系统，使得用户能通过将手指或指示器移向图像的所选择部分来与显示的图像交互。可以响应检测到的移动动态地放大或转化图像。可以将操作方法在接触型和非接触操作之间手动转换以提高灵活性。
文档编号G06F3/048GK101699387SQ20091016396
公开日2010年4月28日 申请日期2009年6月30日 优先权日2008年7月1日
发明者T·A·普罗赫尔, Y·吴, 张锐 申请人:霍尼韦尔国际公司