专利名称：触觉用户接口的制作方法
技术领域：
本发明一般地涉及用户接口并且更具体地，涉及触觉用户接口。
背景技术：
自第一批电子设备以来，用户用来控制电子设备的用户接口就持续地发展。典型地，显示器用于输出而小键盘用于输入，特别是在便携式电子设备的情形下。然而，便携式电子设备存在问题，该问题在于即使当观看显示器不太可行时，用户 可能期望与设备交互。缓解该问题的一种已知方式是使用语音合成以及语音识别。语音合成是当设备经 由扬声器或麦克风向用户输出数据时。语音识别是当设备解译来自用户的语音命令以便接 收用户输入。然而，仍存在当用户期望安静并仍与设备交互的情形。因此，需要一种改进的用户接口。
发明内容
鉴于上文，本发明的目的是解决或至少部分地减小上述的问题。通常，上述的目的通过所附独立专利权利要求来实现。根据本发明的第一方面，提供了一种方法，包括使用触觉元件的阵列来生成至少 一个触觉用户接口组件；检测施加到与至少一个触觉用户接口组件的一个关联的至少一个 触觉元件的用户输入；以及执行与至少一个用户接口组件的一个的激活关联的软件代码。至少一个触觉用户接口组件的每个可以利用几何配置来生成，以便呈现所述触觉 用户接口组件。生成可以涉及使用触觉元件阵列来生成多个用户接口组件，并且其中多个用户接 口组件的每个可以与相应的软件代码关联，以便控制媒体控制器应用。多个用户接口组件可以与以下的动作关联暂停媒体、播放媒体、增加音量、减小 音量、向前跳进以及向后跳进。生成可以涉及生成与警报关联的用户接口组件。生成可以涉及生成与在线活动监视关联的用户接口组件。本发明的第二方面是一种设备，包括控制器；触觉元件的阵列；其中控制器设置 成使用触觉元件的阵列来生成至少一个触觉用户接口组件；控制器设置成检测施加到与用 户接口组件关联的至少一个触觉元件的用户输入；以及控制器设置成作为对检测的响应， 执行与用户接口组件的激活关联的软件代码。设备可以包括在移动通信终端中。控制器可以进一步配置成利用几何配置来生成至少一个触觉用户接口组件的每 个，以便呈现所述触觉用户接口组件。多个用户接口组件的每个可以与相应的软件代码关联，以便控制媒体控制器应用。
多个用户接口组件可以与以下的动作关联暂停媒体、播放媒体、增加音量、减小音量、向前跳进以及向后跳进。本发明的第三方面是一种设备，包括用于使用触觉元件的阵列来生成至少一个 触觉用户接口组件的装置；用于检测施加到与至少一个触觉用户接口组件的一个关联的至 少一个触觉元件的用户输入的装置；以及用于执行与至少一个用户接口组件的一个的激活 关联的软件代码的装置。本发明的第四方面是一种包括软件指令的计算机程序产品，当在能够执行软件指令的控制器中执行时，执行根据第一方面的方法。本发明的第五方面是一种用户接口，包括触觉元件的阵列；其中用户接口设置 成使用触觉元件的阵列来生成至少一个触觉用户接口组件；用户接口设置成检测施加到与 用户接口组件关联的至少一个触觉元件的用户输入；以及所述用户接口设置成作为对检测 的响应，执行与用户接口组件的激活关联的软件代码。第一方面的任何特征可以应用于第二、第三、第四和第五方面。通过下面的详细公开、所附从属权利要求以及附图，本发明的其他目的、特征和优 势将公开。通常，在权利要求书中所使用的所有术语将根据它们在技术领域中的通常含义来 解释，除非在这里明确地定义。对“元件、设备、组件、装置、步骤等”的所有引用将被开放式 地解释为表示元件、设备、组件、装置、步骤等的至少一个实例。这里所公开的任何方法的步 骤不必按所公开的确切顺序来执行，除非明确地指出。
现在将更为详细地描述本发明的实施方式，对所附附图做出参考，其中图1是作为其中本发明可以被应用的环境的例子的蜂窝通信系统的示意图。图2a_2c是图示出根据本发明的一个实施方式的移动终端的示图。图3是表示在图2中示出的移动终端的内部组件、软件和协议结构的示意框图。图4a_4b图示出可以包括在图2的移动终端中的用于媒体控制的触觉用户接口的 使用。图5图示出可以包括在图2的移动终端中的用于警报的用户接口的使用。图6图示出可以包括在图2的移动终端中的用于活动监视的用户接口的使用。图7是图示出可以在图2的移动终端中执行的根据本发明的一个实施方式的方法 的流程图。
具体实施例方式以下将参考附图更为全面地描述本发明，其中在附图中示出了本发明的某些实施 方式。然而，本发明可以以许多种不同的形式体现并且不应该被理解为限于这里所描述的 实施方式；相反，通过例子提供这些实施方式，从而本公开是详尽和完整的，并且将全面地 向本领域技术人员传达本发明的范围。通篇，同样的编号指代同样的元件。图1图示出其中可以应用本发明的蜂窝通信系统的例子。在图1的通信系统中， 各种通信服务，例如蜂窝话音呼叫、www/Vap浏览、蜂窝视频呼叫、数据呼叫、传真传输、音乐传输、静态图像传输、视频传输、电子消息传输以及电子商务可以在根据本发明的移动终端100和其他设备(例如另一移动终端106或固定电话119)之间执行。应该注意到对于移动 终端100的不同实施方式以及在不同的情形中，上面所提及的不同多个通信服务可以有或 可以没有；在这方面，本发明不限于任何特定的服务集。移动终端100使用本地连接(例如 Bluetooth (蓝牙)或红外光)来连接到本地设备101 (例如手机)。移动终端100、106经由基站104、109，通过RF链路102、108连接到移动通信网 络110。移动通信网络110可以符合任意商业上可获得的移动通信标准，例如GSM、UMTS、 D-AMPS、CDMA2000、FOMA 以及 TD-SCDMA。移动通信网络110操作地连接到广域网112，该广域网112可以是因特网或其一部 分。服务器115具有数据存储器114并且连接到广域网112，并连接到因特网客户端计算机 116。公共交换电话网络(PSTN)IlS以类似的方式连接到移动电话网络110，包括固定 电话119的各种电话终端连接到PSTN 118。在图2a中更为详细地图示出移动终端100的一个实施方式200的正视图。移动 终端200包括扬声器或耳机222、麦克风225、显示器223以及一组键224。图2b是移动终端200的侧视图，其中可以再次看到小键盘224。再次，可以在移 动终端200的后部看到触觉阵列226的多个部分。将注意到触觉阵列226不需要位于移动 终端200的后部；触觉阵列226同样可以位于正面，紧接于显示器223或在任意的侧面上。 可选地，若干个触觉阵列226可以提供在一个或多个面上。图2c是移动终端200的后视图。这里可以更为详细地看到触觉阵列226。该触觉 阵列包括以矩阵设置的多个触觉元件227、228。每个触觉元件227、228的状态可以通过控 制器(图3的331)的控制而处于至少提升状态和下降状态。在图2c中通过填充的圆指示 出触觉元件227处于提升状态，而在图2c中通过圆形轮廓指示出触觉元件228处于下降状 态。可选地，作为进一步的改进，可以控制触觉元件227、228处于提升状态和下降状态之间 的状态。当用户可以感觉到下降元件和提升元件之间的差异时，通过以不同的组合来控制 触觉阵列226的元件，输出信息可以从控制器(图3的331)传达到用户。进一步，可以检 测与触觉元件的用户接触并且馈送到控制器(图3的331)。换句话说，当用户按下或触摸 一个或多个触觉元件时，这可以由控制器通过使用关于用户已经按下或触摸了哪些触觉元 件的信息来解释为用户输入。可以以任意合适的方式来检测用户与触觉元件的接触，例如 机械地，使用电容、电感等。可以在每个触觉元件或成组的触觉元件中检测用户接触。可选 地，可以通过检测所述触觉元件和一个或多个相邻触觉元件之间的改变(例如，电阻或电 容)来检测用户接触。控制器因此可以检测用户何时按下触觉元件，以及哪些触觉元件受 到影响。可选地，关于强度的信息(例如压力)也提供给控制器。现在将参考图3来描述移动终端200的内部组件、软件和协议结构。移动终端具 有控制器331，其负责移动终端的全面操作并且优选地通过任意商业上可获得的CPU( “中 央处理单元”)、DSP( “数字信号处理器”)或任意其他电子可编程逻辑器件来实现。控制器 331具有关联的电子存储器332，例如RAM存储器、ROM存储器、EEPROM存储器、闪存存储器、 硬盘驱动器、光存储器或其任意组合。存储器332由控制器331用于各种目的，这些目的之 一是存储用于移动终端中的各种软件的数据和程序指令。软件包括实时操作系统336、用于人机接口(MMI) 339的驱动程序、应用处理机338以及各种应用。应用可以包括媒体播放器应用340、警报应用341以及各种其他应用342、例如用于语音呼叫、视频呼叫、web浏览、消 息收发、文档读取和/或文档编辑的应用、即时消息收发应用、电话簿应用、日历应用、控制 面板应用、一个或多个视频游戏、记事本应用等。MMI 339也包括一个或多个硬件控制器，其连同MMI驱动器来与触觉阵列326、显 示器323/223、小键盘324/224、以及例如麦克风、扬声器、振动器、铃声发生器、LED指示器 等的各种其他I/O设备329协作。正如所公知的，用户可以通过因此形成的人机接口来操 作移动终端。触觉阵列326包括或连接到电机装置，以便将来自于MMI339的电控制信号翻 译成对触觉阵列326的各个触觉元件的机械控制。软件也包括各种模块、协议栈、驱动器等，其统一表示为337并且向RF接口 333，并 且可选地向用于本地连接的Bluetooth (蓝牙)接口 334和/或IrDA接口 335提供通信服 务(例如输送、网络和连接)。RF接口 333包括用于建立和维护到基站的无线链路(例如， 图1中的链路102和基站104)的内部或外部天线以及合适的无线电路。正如本领域技术 人员所熟知的，无线电路包括一系列的模拟和数字电子组件，一起形成了无线电接收机和 发射机。这些组件除其他以外包括带通滤波器、放大器、混频器、本地振荡器、低通滤波器、 AD/DA转换器等。移动终端也具有SIM卡330和相关的阅读器。正如所公知的，SIM卡330包括处 理器以及本地工作和数据存储器。下面是示出根据本发明的一个实施方式的用户接口的场景。图4a_图4b图示出可以包括在图2的移动终端中的用于媒体控制的触觉用户接 口的使用。通过提升移动终端400 (例如移动终端200)的触觉阵列426 (例如触觉阵列226) 的触觉元件来创建用户接口组件。因此，如在图4a中可见，通过提升触觉阵列的相应触觉 元件，生成例如“播放”组件452、“下一”组件453、“前一”组件450、“提升音量”组件451、 “降低音量”组件454以及“前进”组件455的用户接口组件。组件的几何配置或形状分别 对应于常规的符号。可选地，可以通过降低触觉元件来生成组件，由此不与用户接口组件关 联的触觉元件处于提升状态，这例如可以用于指示用户接口被锁定以便阻止意外激活。也 可以检测到这些组件的用户按压，由此执行与组件关联的软件代码。因此，用户例如仅仅需 要按下下一组件453来跳到下一音轨。这允许直观的以及轻松的用户输入，甚至当用户不 能观看显示器时。如果用户按下播放组件452时，媒体(例如音乐)开始播放并且移动终 端400的触觉阵列426改变到图4b中所看到的。这里，现在将在先前生成图4a的播放组 件452的位置处生成暂停组件457。换句话说，从控制器331生成对应于媒体播放器应用的 状态的输入，在这种情形下，从图4a的非播放状态转移到图4b的播放状态。因为矩阵型触 觉阵列的一般和自适应属性，触觉阵列426可以用于任意合适的输出。移动终端400因此 可以向用户提供输出并且接收来自用户的输入，允许用户仅使用触摸来使用移动终端。尽 管这里以矩阵示出触觉元件，但可以使用触觉元件的任意合适设置。图5图示出可以包括在图2的移动终端中的用于警报的用户接口的使用。这里， 在移动终端500 (例如移动终端200)的触觉阵列526 (例如触觉阵列226)上生成警报560。 然而在该例子中，警报560绘出信封，指示消息已经收到，警报可以是任意合适的警报，包 括用于会议的提醒、告警、低电池警告等。可选地，当用户按下触觉阵列526的警报560时，可以执行默认的动作。例如，当警报是消息警报时，移动终端500可以使用语音合成来向用 户输出消息，使得用户可以听到消息。图6图示出可以包括在图2的移动终端中的用于在线活动监视的用户接口的使 用。在该实施方式中，不同的区域661-665与不同类型的活动关联。区域被映射到各种内 容频道，以在盲使用的场景中向用户提供监视活动的能力。例如，在该实施方式中，中央区 域663与来自个人联系人的消息关联，左上角区域661与MySpace 活动关联，右上角区 域662与Flickr 活动关联，右下区域664与Facebook活动关联，并且左下角区域665与 特定的博客(blog)活动关联。可选地，区域可以由用户来配置。使用移动网络(图1的 110)以及广域网(图1的112)从服务器(图1的115)接收活动信息到移动终端。例如， 协议真正简易聚合(RSS)可以用于接收活动信息。可选地，当用户按下区域661-665之一 中的用户接口组件时，移动终端600可以通过使用语音合成来输出涉及所述用户接口组件 的声明来做出响应。例如，如果用户按下与Flickr 关联的右上角区域664中的用户接口 组件时，则移动终端600可以通过说出“今天关于你的图片上有5个新的评论”来响应。当 用户与触觉元件交互时(例如，通过按压)，这可以可选地也生成元数据。该元数据可以在 移动终端600中使用或发送到内容源，声明用户知道与交互关联的内容并且可能已经消费 它。这增加了支持用户和所涉及外部方之间的通信和更好对准的元数据的有价值的信息， 尽管低水平的。图7是图示出可以在图2的移动终端中执行的根据本发明的一个实施方式的方法 的流程图。在初始生成触觉UI (用户接口)组件步骤780中，在移动终端200的触觉阵列226 上生成触觉用户接口组件。这例如可以在上面所提到的图4a中更详细地看到。在检测触觉UI组件上的用户输入步骤782中，使用触觉阵列来检测用户输入。该 细节将结合上面的图2c来描述。在执行关联的代码步骤784中，控制器执行与先前步骤的用户输入关联的代码。 例如，如果用户输入与在媒体播放器中播放音乐关联，则控制器执行用于播放音乐的代码。尽管上面使用移动终端中的一个实施方式描述本发明，但本发明可以应用于可以 从触觉用户接口获益的任意类型的便携式设备，包括袖珍式计算机、便携式mp3播放器、便 携式游戏设备、膝上型计算机、台式计算机等。已经在上面参考若干个实施方式大体描述了本发明。然而，正如本领域技术人员将容易理解到，除了上面所公开的实施方式以外的其他实施方式在本发明的范围内也是可 以的，本发明的范围由所附专利权利要求书来限定。
权利要求
一种方法，包括使用触觉元件的阵列来生成至少一个触觉用户接口组件；检测施加到与所述至少一个触觉用户接口组件的一个关联的至少一个触觉元件的用户输入；以及执行与所述至少一个用户接口组件的所述一个的激活关联的软件代码。
2.根据权利要求1所述的方法，其中所述至少一个触觉用户接口组件的每个利用几何 配置来生成，以便呈现所述触觉用户接口组件。
3.根据权利要求1所述的方法，其中所述生成涉及使用所述触觉组件阵列来生成多个 用户接口组件，并且其中所述多个用户接口组件的每个与相应的软件代码关联，以便控制 媒体控制器应用。
4.根据权利要求3所述的方法，其中所述多个用户接口组件与以下的动作关联暂停 媒体、播放媒体、增加音量、减小音量、向前跳进以及向后跳进。
5.根据权利要求1所述的方法，其中所述生成涉及生成与警报关联的用户接口组件。
6.根据权利要求1所述的方法，其中所述生成涉及生成与在线活动监视关联的用户接 口组件。
7.一种设备，包括控制器；触觉元件的阵列；其中所述控制器设置成使用所述触觉元件的阵列来生成至少一个触觉用户接口组件；所述控制器设置成检测施加到与所述用户接口组件关联的至少一个触觉元件的用户 输入；以及所述控制器设置成作为对所述检测的响应，执行与所述用户接口组件的激活关联的软 件代码。
8.根据权利要求7所述的设备，其中所述设备包括在移动通信终端中。
9.根据权利要求7所述的设备，其中所述控制器进一步配置成利用几何配置来生成所 述至少一个触觉用户接口组件的每个，以便呈现所述触觉用户接口组件。
10.根据权利要求7所述的设备，其中所述多个用户接口组件的每个与相应的软件代 码关联，以便控制媒体控制器应用。
11.根据权利要求10所述的设备，其中所述多个用户接口组件与以下的动作关联暂 停媒体、播放媒体、增加音量、减小音量、向前跳进以及向后跳进。
12.—种设备，包括用于使用触觉元件的阵列来生成至少一个触觉用户接口组件的装置；用于检测施加到与所述至少一个触觉用户接口组件的一个关联的至少一个触觉元件 的用户输入的装置；以及用于执行与所述至少一个用户接口组件的所述一个的激活关联的软件代码的装置。
13.—种包括软件指令的计算机程序产品，当在能够执行软件指令的控制器中执行时， 执行根据权利要求1所述的方法。
14.一种用户接口，包括触觉元件的阵列；其中所述用户接口设置成使用所述触觉元件的阵列来生成至少一个触觉用户接口组件；所述用户接口设置成检测施加到与所述用户接口组件关联的至少一个触觉元件的用户输入；以及所述用户接口设置成作为对所述检测的响应，执行与所述用户接口组件的激活关联的 软件代码。
全文摘要
提供一种方法，包括使用触觉元件的阵列来生成至少一个触觉用户接口组件；检测施加到与所述至少一个触觉用户接口组件的一个关联的至少一个触觉元件的用户输入；以及执行与所述至少一个用户接口组件的所述一个的激活关联的软件代码。还提供了相应的设备、计算机程序产品以及用户接口。
文档编号G06F3/01GK101815976SQ200880110159
公开日2010年8月25日 申请日期2008年6月25日 优先权日2007年8月2日
发明者P·J·林德伯格, S·J·涅梅拉 申请人:诺基亚公司