相关申请的交叉引用
本申请与以下申请相关并要求它们的优先权：(1)2005年3月4日递交的题为“multi-functionalhand-helddevice”的美国临时专利申请no.60/658,777，以及(2)2005年3月16日递交的题为“multi-functionalhand-helddevice”的美国临时专利申请no.60/663,345，其中每个申请都通过引用被结合于此。
本申请还与以下申请相关，这些申请都通过引用被结合于此：2002年7月1日递交的题为“touchpadforhandhelddevice”的美国专利申请no.10/188,182；(2)2003年11月25日递交的题为“touchpadforhandhelddevice”的美国专利申请no.10/722,948；(3)2003年8月18日递交的题为“movabletouchpadwithaddedfunctionality”的美国专利申请no.10/643,256；(4)2003年9月2日递交的题为“ambidextrousmouse”的美国专利申请no.10/654,108；(5)2004年5月6日递交的题为“multipointtouchscreen”的美国专利申请no.10/840,862；(6)2004年7月30日递交的题为“gesturesfortouchsensitiveinputdevices”的美国专利申请no.10/903,964；(7)2005年1月18日递交的题为“mode-basedgraphicaluserinterfacesfortouchsensitiveinputdevices”的美国专利申请no.11/038,590；(8)2005年2月11日递交的题为“displayactuator”的美国专利申请no.11/057,050；以及(9)2005年4月26日递交的题为“hand-heldelectronicdevicewithmultipletouchsensingdevices”的美国专利申请no.11/115,539。
背景技术：
现在存在很多种手持电子设备，其中每一种都利用某种用户接口。用户接口通常包括显示屏(例如液晶显示屏(lcd))形式的输出设备和可以机械致动(例如开关、按钮、键、拨号盘、操纵杆、操纵板)或电力激活(例如触摸板或触摸屏)的一个或多个输入设备。显示屏通常被配置用于呈现诸如文本和图形之类的可视信息，而输入设备通常被配置用于在电子设备中执行诸如发布命令、执行选择或者移动光标或选择器之类的操作。这些公知设备中的每一个要考虑到诸如大小和形状限制、成本、功能性、复杂性等方面的因素，这些因素在设计手持电子设备时必须被考虑到。在大多数情况下，用户接口被放置在手持设备的前面(或前表面)上，以易于查看显示屏和易于操纵输入设备。
图1a-1f是各种手持电子设备的图，其中例如包括电话10a(图1a)、pda10b(图1b)、媒体播放器10c(图1c)、遥控器10d(图1d)、照相机10e(图1e)和gps模块10f(图1f)。在这些设备10中的每一个中，通常在电子设备10的第一区域放置有显示屏12，该显示屏12被紧固在设备10的外壳内部并且可以通过外壳上的开口看见。这些设备中的每一个还包括一个或多个输入设备14，这些输入设备14通常被放置在电子设备10的紧挨着显示屏12的第二区域中。
具体而言，电话10a通常包括诸如字符或图形显示屏之类的显示屏12和诸如号码板(在某些情况下是导航板)之类的输入设备14。pda10b通常包括诸如图形显示屏之类的显示屏12以及诸如基于铁笔(stylus)的电阻式触摸屏和按钮之类的输入设备14。媒体播放器10c通常包括诸如字符或图形显示屏之类的显示屏12和诸如按钮或轮盘之类的输入设备14。由加州cupertino的苹果电脑公司生产的
最近，传统上分离的手持电子设备已经开始以有限的方式相结合。例如，电话10a已经与pda10b相结合。已经遇到的一个问题是在对设备进行输入的方式上。这些设备中的每一个具有一组特定的输入机构，用于向设备提供输入。这些输入机构中的某些对所有设备而言是通用的(例如电源按钮)，但其他输入机构不是。不通用的那些输入机构通常是专用于该设备的特定功能的。例如，pda通常包括四个专用按钮，而蜂窝电话通常包括数字键盘和至少两个专用按钮。
因此，要想设计一种具有有限的输入设备的合并设备而不会不利地影响每个设备的专用输入是一种挑战。将会意识到，不让手持设备过多地承载大量输入机构是优选的，因为过多地承载大量输入机构易于使用户混淆并且占用宝贵的空间，即“不动产”。在手持设备的情况下，由于其尺寸很小，因此空间是很珍贵的。在某些情况下，设备上没有足够的空间用来容纳所有必要的按钮和开关等。当考虑到所有这些设备都需要一个显示屏而显示屏通常占用设备本身上的大量空间时尤其如此。为了增大输入设备的数目到超过一定程度，设计者将不得不减小显示屏的大小。但是，这通常会给用户留下负面印象，因为用户通常希望得到尽可能最大的显示屏。可替换地，为了容纳更多的输入设备，设计者可以选择增大设备的大小。这同样常常会给用户留下负面印象，因为这将使得单手操作变得很困难，并且在某种情况下，设备变得如此之大以至于其不再被看作是手持设备。
因此，本领域中需要一种改进的用户接口，其可以对多功能的手持设备起作用。
技术实现要素：
这里公开了一种多功能手持设备，其能够基于如何使用设备来配置用户输入。优选地，该多功能手持设备最多只具有几个物理按钮、键或开关，从而使得其显示屏尺寸可被显著增大。换言之，通过消除电子设备前表面上的物理按钮、键或开关，可以将更多表面区域用于较大的显示屏。最终，这种策略将允许基本上全屏幕显示屏。这里使用的“全屏幕显示屏”是这样一种显示屏，其占满电子设备的表面(例如前表面)或至少在电子设备的表面上占主要地位。
下面将参考图2-28来论述多功能手持设备的各种实施例。但是，本领域技术人员将意识到，这里针对附图给出的详细描述是示例性的而非穷举的，并且可以对这些实施例执行很多变化。
附图说明
通过结合附图参考以下描述，可以最好地理解本发明：
图1a-1f是各种电子设备的图。
图2是多功能手持设备的简化图。
图3是具有有限数目个有限按钮的基本上全屏幕的手持设备的透视图。
图4是具有至少一个按钮的手持设备的前视图。
图5是被划分成标准区域和控制区域的gui的图。
图6是被划分成标准区域和控制区域的gui的图。
图7是被划分成标准区域和控制区域的gui的图。
图8是被划分成标准区域和控制区域的gui的图。
图9示出用于pda的示例性gui。
图10示出用于蜂窝电话的示例性gui。
图11示出用于媒体播放器的示例性gui。
图12示出用于视频播放器的示例性gui。
图13示出用于游戏机的示例性gui。
图14示出用于照相机的示例性gui。
图15示出用于gps的示例性gui。
图16示出用于遥控器的示例性gui。
图17示出用于掌上电脑的示例性gui。
图18示出用于多功能手持设备的主菜单的示例性gui。
图19是并入了力敏显示屏的手持设备的横截面侧视图。
图20示出一种输入设备，其将触感(touchsensing)和力感(forcesensing)设备组合在一起以在被触摸时提供x、y和z分量。
图21是将显示屏与触摸屏和力感机构结合在一起的i/o设备的侧视图。
图22是输入设备的侧视图。
图23是并入了挤压特征(squeezefeature)的手持设备的横截面侧视图。
图24是手持电子设备的横截面侧视图。
图25是触感方法的框图。
图26是触感方法的框图。
图27a-27e是代表与音乐播放器相关联的触摸词汇表的一个示例的表。
图28是示例性的多功能手持设备的框图。
具体实施方式
i.多功能性
电子设备制造商已经发现将分离的手持电子设备组合在一起以形成多功能设备的优势。通过具有单个多功能设备，用户不用麻烦地携带、购买和维护多个设备。此外，用户在可被执行的操作方面不受限制，即用户可以利用单个设备执行在其他情况下需要使用不同设备才能执行的不同操作。
这里使用的术语“多功能”被用于限定这样的设备，其在单个设备中具有两个或更多个传统设备的功能。多功能设备例如可以包括以下设备功能中的两个或更多个：pda、蜂窝电话、音乐播放器、视频播放器、游戏机、数码相机、掌上电脑、因特网终端、gps或遥控器。对于添加到单个设备的每种新的设备功能，设备的复杂性和尺寸将倾向于增大。因此，对于手持设备，通常存在在保持小占用空间(footprint)和低复杂性的同时仍旧使得设备的功能性最大化之间的折衷。
在某些情况下，组合设备可能导致冗余的硬件组件，这允许组件被多个不同的设备功能所使用。在其他情况下，某些硬件组件对每个设备是不同的，因此必须有额外的空间和连接可用。此外，每个设备功能通常具有其自己的编程或应用软件，因此多功能设备必需被设计为具有足够的存储器，用于容纳所有不同的软件组件。
个人数字助理(pda)是一种移动手持设备，其提供针对个人和/或商业用途的计算和信息存储与获取能力。pda有些功能跟踪姓名、地址、电话号码和约会。它们通常还能够记事、执行计算、寻呼、发数据消息和电子邮件。pda还可以包括用于播放简单的游戏、音乐和其他媒体文件的功能。pda的示例包括palmpilot和blackberry。
像大多数手持设备一样，pda通常包括显示屏和各种输入设备。输入设备可以包括铁笔和触摸屏，它们与手写识别程序、键盘、迷你键盘、导航板和/或软功能按钮或固定功能按钮结合工作。
蜂窝电话是允许用户利用蜂窝网络连接到其他电话的移动电话。蜂窝电话通常包括用于发送和接收电话呼叫的收发器以及控制件(control)，所述控制件例如是用于遍历显示屏的导航板、用于执行数字输入(在某些情况下是字母输入)的键盘以及软功能按钮或固定功能按钮。例如，在很多蜂窝电话中，一个固定功能按钮被用于启动呼叫，而另一个固定功能按钮被用于结束呼叫。
媒体播放器具有各种形式。音乐播放器一般被配置用于存储、处理和输出音乐。音乐播放器可以基于mp3或aac格式，所述mp3或aac格式是针对音乐的压缩系统。音乐播放器通常包括微处理器、存储器、显示屏、音频插孔、数据端口和回放控制件。回放控制件通常包括诸如菜单、播放/暂停、下一首、上一首、音量增大和音量减小之类的特征(feature)。视频播放器在大多数方面类似于音乐播放器。在某些情况下，它们可以包括用于容纳可移动存储介质(例如dvd)的数据存储设备。由加州cupertino的苹果电脑公司生产的
掌上电脑是类似于膝上电脑的通用计算机，但是具有更小的外形规格(formfactor)。掌上电脑通常包括显示屏和全键盘。
图2是多功能手持设备100的简化图。该多功能手持设备100将至少两个设备102集成到单个设备中。每个设备102包括硬件和软件组件104和106，它们被集成到多功能手持设备100中。应该指出，多功能手持设备100并不局限于只有两个设备，实际上它可以集成任意数目的设备。
多功能手持设备100还包括开关110，其允许多功能手持设备100从一个设备工作模式切换到另一设备工作模式。例如，开关110可以允许用户在蜂窝电话、媒体播放器和pda的工作模式之间循环。一旦选择特定工作模式，多功能手持设备100就作为所选设备工作。例如，与所选设备相关的程序被该多功能手持设备激活以备使用。该程序可以包括基于所选设备重新配置ui，以使得用户执行的输入与正在使用的设备相关。例如，任意物理按钮、开关或拨号盘以及软按钮、开关或拨号盘的功能可被重新配置以对应于所选设备。
但是，多功能手持设备100的工作模式不需要是完全独立的。在很多情况下，将希望允许多个功能彼此交互。例如，用户可以在pda中查找联系人的电话号码并将该号码传递到电话以供拨打。
ii.外形规格
手持设备的外形规格一般是能够容易单手持有的设备。典型的手持设备包括在设备前表面的上部的小显示屏以及在设备前表面的下部的输入控制件。该设备还可以在上表面、下表面和侧表面上包括控制件和端口。现有技术的手持设备通常已经具有小显示屏，这种小显示屏导致这些设备的用户有某些不满。一般希望具有较大的显示屏，以使得能够显示更多信息或者使得正在显示的信息能够更容易地被查看(例如较大文本)。具体而言，在视频播放器和游戏机的情况下，较大的显示屏比较小的显示屏要优选得多。
但是，大显示屏的使用在过去受到限制，这是因为所需的输入控制件通常会占用可用空间的很大部分。此外，随着设备功能越来越集中，设备上控制件的数目通常也在增大，因为每个设备都包括其自己的专用控制件。因此，设备必须被做得更大或者显示屏必须被做得更小，以容纳所有这些新的控制件。这两种结果都不令人满意。较大设备很笨重并且难以使用，而较小显示屏难以用来从屏幕转播信息和读取信息。
a.单手与双手操作
手持电子设备可以针对单手操作或双手操作。在单手操作中，用一只手在使用期间支撑设备以及利用用户接口执行操作。蜂窝电话和媒体播放器是一般希望可以单手操作的手持设备的示例。例如，在蜂窝电话的情况下，用户可以用一只手在手指和手掌之间抓住电话并且用拇指利用键、按钮或#操纵板执行输入。
在双手操作中，在使用期间，一只手用来支撑设备，而另一只手利用用户接口执行操作，或者可替换地，在使用期间，两只手都支撑设备并且执行操作。pda和游戏机是通常利用两只手操作的手持设备的示例。例如，在pda的情况下，用户可以用一只手抓住设备，并且用另一只手利用例如铁笔来执行输入。在游戏机的情况下，用户通常用两只手抓住设备并在手持设备的同时利用任意一只或两只手执行输入。
b.占用空间/大小
手持设备可以具有各种不同的占用空间或大小。占用空间通常与设备将如何被使用有关。诸如pda之类的设备通常用两只手使用，因此它们应被制造得较大。可替换地，蜂窝电话通常只用一只手使用，因此它们应被制造得较小。当集成多个设备时，确定设备的合适占用空间是一项重要任务。例如，有些人认为pda用作电话太大，而蜂窝电话用作pda太小。设计者一般必须考虑设备的主要用途并朝着该用途调整占用空间。虽然存在不同占用空间，但是通常存在最小和最大占用空间。如果占用空间太大或太小，设备则可能难以使用。
鉴于它们的大小不同，较小的设备通常被放在口袋里，而较大的设备则不放在口袋里。媒体播放器是其大小被设置为适合放在用户口袋里的手持设备的一个示例。由于大小适合放在口袋里，因此用户不需要直接携带设备，因此设备可被带到几乎用户旅行到达的任何地方(例如，用户不用像膝上电脑或笔记本计算机一样受携带大而笨重并且通常很重的设备的限制)。
一般而言，虽然不是必须但是优选地，这里公开的类型的手持设备具有大约5in×3in×1in的尺寸，或许大约4.1in×2.4in×0.75in的尺寸。
c.全屏幕显示屏
由于多功能手持设备的占用空间根据设备的预期主要用途被基本固定，因此对设计者而言，确定ui的适当布局变得非常重要。例如，某些设备可能在具有有限数目的按钮和大显示屏的情况下更好工作，而其他设备可能在具有大量按钮或完整键盘以及小显示屏的情况下更好工作。
优选的多功能手持设备可被配置以全屏幕显示屏或接近全屏幕显示屏。全屏幕显示屏占用设备的几乎整个前表面。该显示屏可以从一边延伸到另一边，或者可以配合在处于设备边缘处的外壳的小沟缘(bezel)内。全屏幕显示屏可以占用手持电子设备的外壳的前表面的90％或更多。
取决于设备的整体占用空间，全屏幕显示屏可以具有各种不同的配置。如果设备是宽的，全屏幕显示屏则可以具有传统的大约4:3的宽高比。如果设备是长的，全屏幕显示屏则可以具有更全景式的宽高比，例如16:9。
d.有限数目的机械致动器(actuator)
为了容纳全屏幕显示屏，多功能手持设备优选地被配置以有限数目的物理按钮。由于提供有限数目的物理按钮，因此该手持设备优选地使用触摸屏作为主要输入设备。触摸屏是被放置在显示屏上方的透明的触感设备。它们通常与呈现在显示屏上的gui协同工作。例如，gui可以呈现一个屏幕上按钮，并且触摸屏可以在用户按下该屏幕上按钮(例如将手指或铁笔放在该屏幕上按钮上)时进行检测。触摸屏和gui随后将更详细描述。
手持设备可被构造为只具有交叉功能物理按钮，即不存在专用于个体设备的按钮。这些类型的按钮可以包括电源按钮和保持开关。在另一实施例中，手持设备可能根本不包括任何物理按钮。在某些实施例中，物理按钮被限制在手持设备的两侧和后表面。在其他实施例中，手持设备的物理按钮被限制在侧面的上部和下部，从而使得在侧面的用户将在物理上支撑设备的区域(即夹持区域)中不存在按钮。在其他实施例中，物理按钮可以位于前表面上，但是只在围绕显示屏的沟缘区域中。在某些实施例中，按钮可能仅位于设备的顶表面和底表面上。
图3是具有有限数目个按钮的基本全屏幕多功能手持设备120的透视图。在前表面124和侧表面126上不存在物理按钮。前表面完全用于显示屏122。此外，由于侧面126被用于抓住设备120，因此优选地不在侧面放置按钮，以防止用户在支撑设备的同时不小心按下按钮的情况下的意外动作。虽然顶表面128和底表面130通常不被用于夹持设备，但是这些表面不是经常被致动的按钮的理想位置，因为在利用一只手操作设备时难以触及到这些按钮。
顶表面128可以预留给具有有限动作和交叉功能的通用功能按钮，例如电源和保持开关。顶表面128和底表面130还适合于放置i/o和通信端口。顶表面128例如可以包括耳机/麦克风插孔和天线，而底表面130可以包括电源和数据端口。
在某些情况下，可能希望将按钮放在侧表面126的手握区域之外的上部区域或下部区域中。这可能尤其适合于大于抓握的手的宽度的狭长形设备。如图4所示，手持设备120包括在手持设备120的侧表面126的上部区域中的按钮140。由于按钮140在上部区域中，因此其在手握区域之外，并因此基本消除了意外激活。上部按钮可被配置用于切换多功能设备的功能，即按钮140可以是图2的开关110。例如，通过按下按钮140，新设备功能被激活，并且当前设备功能被禁用。虽然术语“按钮”被使用，但是应该意识到，按钮140可以对应于拨号盘、轮盘、开关和/或类似物。
一般而言，虽然不是必须地但优选地，物理按钮的数目被限制为8个或更少，或许是5个或更少。
iii.适应性
为了限制设备上物理控制件的数目(从而使显示区域最大化)，多功能手持设备优选地是适应性的，即设备能够基于如何使用设备而改变其ui。例如，如果多功能设备的蜂窝电话功能将被使用，ui则改变以适应蜂窝电话。可替换地，如果多功能设备的pda方面将被使用，ui则改变以适应pda等。本质上，多功能设备能够基于设备的状态或模式来重配置其用户接口。
适应性可以通过针对每种设备功能重新分配有限数目个物理按钮的功能来实现。例如，一个按钮可在第一设备被激活时执行一种功能，而当另一设备被激活时执行另一种功能。虽然这可能起作用，但是它要遭受物理限制(即按钮的数目)并且可能使用户混淆(用户必须跟踪不同的按钮意思)。
可替换地，适应性可以通过将用于每种功能的物理输入与触摸屏一起虚拟地并入gui来实现。这允许gui在无论什么设备被选择的情况下都能够适应，并且触摸屏可以接收对应于gui的输入。通过用于每种功能的gui，手持设备的ui进行适应以使得多功能设备在效果上变成特定设备。例如，如果蜂窝电话功能被选择，gui则呈现一组看起来与蜂窝电话上常用的物理控制件(例如键盘、功能按钮和可能的导航板)类似的虚拟控制件或软控制件。
整个显示屏可被用于呈现该信息，或者只有显示屏的一部分可被用于gui控制件。在后一情况下，参考图5-8，gui150可被分成标准区域152和控制区域154。标准区域152代表当使用特定设备时一般将被显示在显示屏122上的内容。就是说，与所选设备相关联的标准gui屏幕被显示在标准区域中。例如，在pda的情况下，主菜单(带有一组图标的窗口)、日历、地址簿或日期簿可被显示在标准区域152中。另一方面，控制区域154虚拟地代表一般将物理地布置在特定设备上的物理控制件。就是说，模仿物理控制件的虚拟控制件被显示在控制区域154中。例如，在pda的情况下，控制区域154可以包括手写识别区域、导航板和标准功能按钮的虚拟表示。
标准区域152和控制区域154可被布置在显示屏122上的任意位置(顶部、底部、侧边、中心等等)。例如，如图5所示，它们可被彼此垂直地布置(一个在另一个上方)，或者如图6所示，它们可以彼此水平地布置(并排地)。这些配置可被用于纵幅(portrait)模式或横幅(landscape)模式。例如，在设备工作在横幅模式的情况下，标准区域152可被布置在一侧，而控制区域可被布置在相对一侧。横幅朝向例如可以有助于单手操作。在某些情况下，显示有控制件的一侧基于用户使用左手或右手的习惯。例如，对于习惯用右手的用户，控制件可被放在右侧，而对于习惯用左手的用户，控制件可被放在左侧。可替换地，如图7所示，控制件可被放在两侧。这种布置尤其适合于玩游戏。此外，专用于每个部分的区域的量可能多种多样。例如，屏幕可被等分，在其他情况下，一部分或另一部分构成显示屏的较大部分。在某些情况下，标准区域152被最大化，以增大显示屏的正常查看区域。
当特定功能被选用时，手持设备加载用于所选功能的软件，并配置包括标准区域152和控制区域154的gui150。因此，在控制区域154中的控制件可用于控制标准区域152上的任何显示。在某些情况下，控制区域154甚至可以根据针对特定设备的每个显示窗口的需要而改变。
可替换地，如图8所示，虚拟控制件160可被覆盖在标准区域152顶部，以使得标准区域152可以完全地利用整个显示屏122。实际上，虚拟控制件160可以按照需要出现和消失。例如，用户可以触摸屏幕，该动作可以驱动设备将控制件显示在显示屏的包括已经显示的任何内容的部分之上。以这种方式工作的虚拟控制件的示例可以在2005年1月18日递交的题为“mode-basedgraphicaluserinterfacesfortouchsensitiveinputdevices”的美国专利申请no.11/038,590中找到。
a.基于功能的gui
图9-17示出用于多功能设备的不同状态或模式的gui的各种示例。
图9是用于pda模式的gui170的图。如图所示，该gui被分成标准区域152和控制区域154。控制区域154中布置有虚拟手写板172、四个虚拟按钮174和虚拟导航板176。
图10是用于蜂窝电话模式的gui180的图。如图所示，gui180被分成标准区域152和控制区域154。控制区域154中布置有虚拟键盘182、虚拟导航板184和两个虚拟按钮186。
图11是用于音乐播放器模式的gui190的图。如图所示，gui190被分成标准区域152和控制区域154。控制区域154中布置有虚拟滚轮盘(scrollwheel)192和五个虚拟按钮194。关于虚拟滚轮盘的更多细节在2005年1月18日递交的题为“mode-basedgraphicaluserinterfacesfortouchsensitiveinputdevices”的美国专利申请no.11/038,590中有所描述。
图12是用于视频播放器模式的gui200的图。如图所示，gui200被分成标准区域152和控制区域154。控制区域154中布置有多个虚拟按钮202。可替换地，由于视频播放器主要结合全屏幕查看模式使用，因此控制件可以根据需要出现和消失。
图13是用于游戏机模式的gui210的图。如图所示，gui210被分成标准区域152和位于标准区域152两侧的两个控制区域154a和154b。左侧控制区域154a包括导航板或方向板212，而右侧控制区域包括四个虚拟按钮214(或取决于用户特定需要、左右手使用习惯而相反地布置)。
图14是用于照相机模式的gui220的图。如图所示，gui220被分成标准区域152和控制区域154。标准区域152可以代表取景器。控制区域154中布置有各种按钮222，例如包括照片拍摄、调焦、闪光灯等等。还可以包括导航板224，以使得照片可以滚动或者用于菜单导航。
图15是用于gps接收器模式的gui230的图。如图所示，gui230被分成标准区域152和控制区域154。控制区域154中布置有各种按钮222，例如包括大小缩放、镜头摆动等等。也可以包括导航板224。
图16是用于掌上电脑模式的gui240的图。如图所示，gui240被分成标准区域152和控制区域154。控制区域154中布置有虚拟键盘242。
图17是用于遥控器模式的gui250的图。如图所示，gui250被分成标准区域152和控制区域154。控制区域154中布置有与控制远程设备(例如tv、dvd播放器、a/v放大器、vhs、cd播放器等等)相关联的各种键和按钮252。
b.在设备(gui)间切换
在特定设备功能可被使用之前，其通常必须被选择以待用。该选择可以用各种形式进行。例如，该选择可以经由包括软按钮或图标的主菜单来进行，当软按钮或图标被选择时，激活与该软按钮相关联的设备功能。在激活期间，用于该特定设备的gui被显示在显示屏上(参见图9-17)，并且与该设备相关联的软件被安装、加载或激活。从这时起，该多功能设备像所选设备一样工作。
图18示出多功能设备的示例性主菜单gui260。如图所示，gui260包括用于启动各种设备功能中的每一种的图标/按钮262。在该特定示例中，主菜单页面260包括pda按钮262a、蜂窝电话按钮262b、音乐播放器按钮262c、游戏机按钮262d、视频播放器按钮262e、gps按钮262f、遥控器按钮262g、照相机按钮262h和掌上电脑按钮262i。各种按钮262都是虚拟按钮。当按钮被按下时，用于所选功能的主页面(例如图9-17所示)被显示在显示屏上。为了选择另一设备，用户简单地选择位于每个设备的gui中的软主页(home)按钮264以返回主菜单页面260，并随后在主菜单页面260中选择所需功能。
替换功能的选择还可以通过以下方式实现：翻页(或滚动)各种gui，直到找到所需gui。例如，当下一个(翻页)命令信号生成时，不同的gui可被逐页(或逐帧)地引入视图页面(例如循序滚动播放效果)。页面之间的转换可以多种多样。转换可以是从一侧到另一侧、从顶部到底部或者从中心到中心。转换还可以包括渐显和渐淡、弹入和弹出或者放大和缩小。命令信号可以通过物理或虚拟按钮或轮盘产生。使用按钮，每次按下可以致使一个新的页面被显示。使用轮盘，预定的旋转量可以致使一个新的页面被显示。
命令信号还可以以各种其他方式产生。例如，命令信号还可以通过在触摸屏上发起的手势来产生。例如，在显示屏上滑动手指(或铁笔)可以致使一个新的页面被显示。如果向右滑动，则可以显示下一页。如果向左滑动，则可以显示前一页。命令信号还可以通过整个手持设备在空间中移动时产生的3d设备动作来产生。例如，摇动设备可以致使一个新的页面被显示。
命令信号还可以通过施加到设备上的力来产生。例如，挤压设备可以致使一个新的页面被显示。命令信号还可以通过感测设备相对于地面的朝向(如加速计所感测的)或者由内部罗盘指示的相对于罗盘方向的朝向来生成。例如，如果设备处在0度，则显示第一页面，处在90度则显示第二页面，处在180度则显示第三页面，处在270度则显示第四页面。
命令信号还可以通过监视用户的语音(即语音识别)来产生。如果用户呼叫“电话”，则显示与电话相关联的页面，如果用户呼叫“pda”，则显示与pda相关联的页面。
命令信号还可以通过监视来自其他系统的传入信号(无论是无线地发送的还是经由线缆发送的)来产生。例如，如果接收到呼叫，设备则可以自动将系统配置为电话。可替换地，可能仅呈现一个控制面板来接听或转接呼叫。
作为集成功能的替代方式，设备可被配置为保持各种模式分开。就是说，设备不将功能合并在一起(集成的层和gui)，而是保持它们彼此不同。在某些情况下，通过保持不同功能不同，可以减小用户的混淆。
c.同时操作至少两个功能
优选地，用户可能能够同时激活两个或更多个设备功能。在此情况下，用于多个功能的软件被同时激活，并且显示屏工作在分屏(splitscreen)模式中，在分屏模式中，屏幕被分成不同分区，每个分区包括一个特定设备gui。一般而言，这将要求每种功能的gui装配在屏幕上。多功能模式可以以各种方式来选择。在一种实现方式中，当用户同时触摸两个或更多个设备图标时，设备激活多个设备功能，并将适当的gui引入屏幕上的视图中。
d.可配置的gui(用户偏好)
用于每种设备功能的gui控制面板可以是用户可配置的。例如，用户可以设计或定制他自己针对每个设备的ui，并向ui的各个元件分配功能。功能可以包括发起命令、选择项目、打开文件或文档、启动程序、执行指令、查看显示屏上的菜单等等。用户可配置的参数可以包括选择gui元件(按钮)的数目和类型以及gui元件在页面上的位置。在某些情况下，系统可以包括设计调色板，该设计调色板允许用户检查和/或定制ui布局，即用户可以快速而方便地检查预先配置的或默认的布局以及对布局作出改变。一旦布局改变，经修改的布局将被自动保存，从而被用于处理未来事件。
iv.输入设备
手持计算机的当前输入设备存在多个问题。例如，没有一条实际途径可用来安装每个设备所需的所有专用物理按钮，这是因为越来越多的按钮必须被安装在很小的空间中。出现的一个相关问题是由于更多物理按钮被并入设备，因此按钮必须彼此靠近，从而对用户的灵巧性是一种挑战。此外，由于物理按钮是突出的，因此它们在正常使用期间或者在设备被运输(例如在用户口袋中)时经常被意外激活。最后，大量的小物理按钮可以使用户混淆并且也不美观。
为了克服这些和其他问题，各种可替换的输入布置被提出(以作为按钮、开关等等的补充或替换)。基本思想是要减少物理和机械输入机构的数量(并因此减少设备表面上所需专用空间的量)和/或完全消除物理和机械输入机构。通过减少或消除物理输入设备，电子设备的显示屏可以最大化，或者可替换地，电子设备的大小可以最小化。此外，这种设备看起来更美观。在某些情况下，手持设备可被配置为使得其看起来只具有显示屏而不具有专用的物理输入设备。
可替换的输入装置也可被隐藏起来，以使得它们对用户而言不可见。结果，手持电子设备可能看起来只具有显示屏而不具有可见按钮、开关等等。这种设备更美观(例如可以包含光滑的表面，不具有断开、缝隙或线)，并且在很多情况下，可被制造得更小而无需牺牲屏幕大小和输入功能。
a.触摸屏
一种特别合适的输入布置是触摸屏。与gui相结合的触摸屏可被配置为手持设备的主要输入布置。触摸屏基本上是置于显示屏前面的透明输入面板。触摸屏在诸如手指或铁笔之类的物体触摸触摸屏的表面或者在触摸屏的表面上移动时产生输入信号。在大多数情况下，触摸屏允许用户通过简单地利用手指触摸显示屏来在gui中进行选择和发起动作。例如，用户可以通过直接指向显示在显示屏上的图形对象来进行选择。所述图形对象对应于手持电子设备中用于执行特定动作的屏幕上按钮。一般而言，触摸屏识别触摸以及触摸在显示屏上的位置，并且手持电子设备的控制器解释该触摸，并随后基于该触摸事件来执行动作。存在多种触摸屏技术，包括电阻式的、电容式的、红外的以及表面声波的。
优选的用于多功能手持计算机的触摸屏是多点电容式触摸屏。这种触摸屏包括若干独立的并且在空间上分离的布置在整个触摸屏上的感测点、节点或区域。感测点分散在触摸屏上，其中每个感测点代表触摸屏的表面上的不同位置。感测点可以呈网格或像素阵列的形式布置，其中每个感测点能够生成一个信号。信号在每次有物体放置在感测点上时产生。当一个物体被放在多个感测点上或者当该物体在多个感测点之间或多个感测点上移动时，可以生成多个信号。感测点一般将触摸屏平面映射到一个坐标系统，例如笛卡尔坐标系统或极坐标系统。这种触摸屏的一个示例在2004年5月6日递交的题为“multipointtouchscreen”的美国专利申请no.10/840,862中被公开。
b.触敏(touchsensitive)外壳
手持电子设备还可能包括设备外壳本身的一个或多个触敏表面，其提供一个较大表面用于跟踪触摸输入，或者提供多个较小的专用区域(例如触摸按钮)用于执行专用功能。这些表面可以位于外壳的任意表面上、外壳的任意一侧、外壳的任意一侧的任意部分或者外壳表面上的专用位置上。例如，触摸区域可以位于外壳的侧表面或后表面，并且甚至可以位于在外壳前表面上的沟缘位置上。在所有这些情况下，外壳的前表面的很大一部分被保留用于显示，从而使得手持电子设备的查看区域可以最大化。外壳的触敏表面可以采取位于外壳内的一个或多个触摸面板的形式。触敏表面可以可替换地或可附加地由外壳直接提供。就是说，触感元件可以被集成到或并入到外壳中或被放置在外壳下面，以使得外壳本身是一个触感设备(而不是使用分离的触摸面板)。类似于触摸屏，触敏外壳识别触摸和触摸在表面上的位置，并且手持电子设备的控制器解释该触摸并随后基于触摸事件执行动作。除了表面不需要基本上透明之外，触摸表面以与触摸屏基本上相同的方式构造。
例如，触敏外壳一般可对应于在2005年4月26日递交的题为“hand-heldelectronicdevicewithmultipletouchsensingdevices”的美国专利申请no.11/115,539中更详细描述的触敏外壳。
c.显示屏致动器
手持多功能电子设备还可以包括显示屏致动器，该显示屏致动器是一种输入设备，其以机械方式使用手持设备的显示屏来提供对设备的输入(而不是像触摸屏一样以电的方式)。显示屏致动器可以单独使用，或者与触摸屏结合使用。显示屏致动器可以包括可移动的显示屏，其在移动时导致生成一个或多个输入信号。输入信号随后可被用于发出命令、执行选择或控制显示屏中的动作。
可移动的显示屏可被配置为相对于框架平移、滑动、枢转和/或旋转。显示屏通常可相对于框架或外壳移动，所述框架或外壳在其各个位置上可移动地支撑显示屏。在某些情况下，显示屏可移动地耦合到框架，并且在其他情况下，框架可移动地限制移动的显示屏。
输入信号可以由一个或多个移动指示器生成，所述移动指示器监视显示屏的移动并产生指示这些移动的信号。检测机构例如可以是一个或多个开关、传感器、编码器和/或类似物。任意合适的机械、电气和/或光学开关、传感器或编码器可被使用。例如，轻触开关、力敏电阻、压力传感器、接近传感器、红外传感器、机械或光学编码器和/或类似物可被使用。移动指示器可被适当地放在显示屏下面或者显示屏侧面。可替换地或可附加地，这些移动指示器可被附接到显示屏或显示屏的某个组件。
示例性的显示屏致动器在2005年2月11日递交的题为“displayactuator”的美国专利申请no.11/057,050中被公开。
d.压力或力感测设备
以上公开的多功能手持电子设备还可以包括力或压力感测设备，例如力感显示屏或外壳。
1.力敏显示屏
力敏显示屏使得在压力被施加到设备的显示屏上时生成一个或多个输入信号。输入信号可被用于发起命令、执行选择或控制显示屏上的运动。这些显示屏一般提供微量挠曲(不会被用户注意到)以使得施加在其上的任何力可以被一般设置在显示屏下面的力检测装置所测量。力检测装置监视施加在显示屏上的力并产生指示其的信号。力检测装置可以包括一个或多个力传感器，例如力敏电阻器、力敏电容器、称重传感器、压力板、压电变换器、应变仪等等。力传感器可被附接到显示屏背面或位于设备外壳内的结构平台上。当力被施加到显示屏时，其通过显示屏被传送到位于显示屏下面的力传感器。
图19是并入了力敏显示屏302的手持设备300的横截面侧视图。力敏显示屏302包括显示屏308和布置在显示屏308下面(在显示屏和结构平台306之间)的一个或多个力传感器310。在大多数情况下，力敏显示屏302包括多个以阵列形式布局的传感器310。例如，传感器310可以呈多行和多列并排布置。力传感器310测量施加到显示屏上的力的量，并且当达到所需力阈值时，生成控制信号。在某些情况下，弹性体312被放在显示屏和结构平台之间，以帮助将施加到显示屏表面上的力传送到布置在显示屏下面的力传感器。
力感测可以结合触摸屏来提供，以在轻触摸和重触摸之间区分。触摸是轻触摸还是重触摸的判断可以通过利用力传感器监视力并且比较力和预定阈值来进行。当没有超过力阈值时，触摸被认为是轻触摸。当超过力阈值时，触摸被认为是重触摸。每种触摸可被用于控制设备的不同方面。轻触摸可以与诸如导航(例如光标控制滚动、镜头摇动、变焦、旋转等等)之类的被动事件相关联，而重触摸可以与诸如选择或命令(例如按钮点击)之类的主动事件相关联。
图20示出输入设备320，其将触感设备和力感设备组合在一起以在被触摸时提供x、y和z分量。触感设备提供在x和y方向上的位置感测，而力感设备提供在z方向上的力感测。这些设备协作以便只要触摸表面上存在触摸就输出x、y位置和z压力信息。
图21是将显示屏332与触摸屏334和力感机构336相结合的i/o设备330的侧视图。触摸屏334提供高分辨率的触摸位置，而力感机构336提供关于力来自何处以及总力的测量。触摸屏334被放在显示屏332上，并且力感机构336被放在显示屏332下，但是其他布置是可能的。
力感机构336也可以是各种各样的。在所示实施例中，力感机构336基于电容，具体而言，基于自电容。所示力感机构336由多层构成，包括电极层338、弹性体层340和导电层342。
电极层338包括多个空间上分离的电极339，这些电极339被布置在显示屏332的底面上。电极339通常以多行和多列的阵列形式布置，但是其他配置是可能的。任意数目的电极可被使用。
弹性体层340包括一个或多个位于电极层338和导电层342之间的弹性构件341。弹性构件341允许显示屏332向内移动有限的位移量。在一种实现方式中，弹性构件341是厚度为大约0.2mm的硅片。
导电层342通常采取接地金属板343的形式。电容电路被形成在每个电极339和接地金属板343之间。当用户在显示屏332上下压时，施加到其上的力使得显示屏332靠着弹性构件341向内位移，从而压缩弹性构件。这使得电极339和金属板343之间的电容变化。该电容变化被操作地耦合到每个电极339的控制电路感测到。电容感测电路在各个并入的参考文件中被公开。
图22是可以放在显示屏上面的输入设备350的侧视图。输入设备350将触摸感测和力感测结合到单个设备中。在该实施例中，触摸感测和力感测都由互电容提供。如图所示，输入设备350由多个层构成，包括顶部驱动层352、中间感测层354和底部驱动层356。此外，中间感测层354被放在弹性体层358上，弹性体层358被布置在中间感测层354和底部驱动层356之间。顶部和底部驱动层353和356包括多条成行的空间上分离的线，而中间感测层354包括多条成列的空间上分离的线。顶部层352和中间层354因此形成网格，而底部层356和中间层354形成网格。
在操作期间，在顶层352上的线被扫描，然后在底层356上的线被扫描(或者反之)。当存在触摸时，在顶部驱动层352和中间感测层354之间测量出的互电容提供触摸的x和y位置。另外，在底部驱动层356和中间感测层354之间测量出的互电容提供触摸的力的量。该特定布置提供了叠加在完整的触摸印象上的完整的力印象。包括触摸层和力层的输入设备可以类似于2004年5月6日递交的题为“multipointtouchscreen”的美国专利申请no.10/840,862中描述的方法来操作。
2.力敏外壳
手持设备还可以包括力敏外壳。力敏外壳在有力施加到手持设备的外壳上时提供输入。力敏外壳类似于力敏屏幕。外壳提供微量挠曲(用户可能不会注意到)，以使得施加到其上的任意力都可被分发到位于外壳内的力检测设置。力检测设置监视外壳上的力并产生指示其的信号。和上述力敏显示屏一样，力检测机构可以包括一个或多个布置在外壳内的力传感器，例如力敏电阻器、力敏电容器、称重传感器、压力板、压电变换器、应变仪和/或类似物。当力被施加到外壳时(挤压或按压外壳)，该力通过外壳被传送到位于外壳内的力传感器。
外壳的力敏部分可以位于外壳的任意表面上、外壳的任意侧面、外壳的任意侧面的任意部分或者外壳表面上的专用位置。外壳的侧面是用于实现挤压特征的理想位置。这是因为用户手指通常放在设备一侧，而拇指放在另一侧，因此手可以容易地经由捏的动作来挤压侧面。由于非常便于激活挤压特征，因此当设计挤压特征时必须特别小心，以使之不会在正常使用期间意外激活。因此，设备需要能够在轻挤压和重挤压之间区分。如果挤压特征是利用力敏电阻器(fsr)实现的，则可以使用比较器电路在达到预设力阈值时输出指示激活的信号，其中所述力敏电阻器在施加到活动表面的力增大时表现出电阻的减小。
图23是并入了挤压特征的手持设备370的横截面侧面图。如图所示，设备370包括外壳372和在外壳372内的支撑平台374。在支撑平台374和外壳372的内表面之间有一对力传感器376。当力例如通过手的捏动作被施加到外壳372时，外壳372在压力下向内挠曲。这使得力传感器376被夹在外壳372和支撑平台374之间。力传感器376测量施加的力的量，并当达到所需力阈值时，力传感器376生成控制信号。例如，作为被夹的结果，力电阻式传感器可以表现出电阻减小，并且当达到所需阈值时，生成控制信号。
力敏外壳可与上述触敏外壳一起提供。
e.运动致动的输入设备
手持电子设备还可以包括运动致动的输入设备。运动致动的输入设备在手持设备处在运动中或被放在某一朝向上时提供输入。运动致动的输入设备通常包括运动传感器(例如加速计)，其监视设备沿x、y和/或z轴的运动并产生指示运动的信号。运动传感器例如可以包括加速计。可替换地，运动传感器可以是朝向传感器(例如电子罗盘)，其允许设备在一般水平平面上确定其朝向。运动传感器可被附接到外壳或位于设备外壳内的某个其他结构组件。当运动被应用到设备(作手势、摇动、挥手等等)时，该运动通过外壳被传送到运动传感器。
由于运动传感器通常测量所有运动而不仅仅是所需运动，因此所需运动信息通常必须与其他运动信息分离开以产生准确的命令信号。例如，诸如摇动设备之类的大幅度运动将主要产生低频信息。相反，例如振动之类的小幅度运动主要产生高频信息。高频信息可被过滤掉，从而只保留指示大幅度运动(例如摇动)的低频信息。经过滤的信息随后可被转换成控制信号。
图24是手持电子设备380的横截面侧面图。手持设备380包括附接到手持设备380的外壳384的加速计382。当设备380被用户移动时，加速计382识别该运动，并且手持电子设备380的控制器解释该运动并随后基于该运动事件执行动作。
f.机械致动器
虽然人们可能希望消除所有表面安装的致动器(例如按钮和轮盘)，但是有时这是不实际的。因此，手持设备可以包括一些表面安装的致动器。优选地，这些致动器对集成的每个设备而言是通用的。就是说，无论什么设备功能被激活，它们的含义都是相同的。还优选地，表面安装的致动器被放置在除了安装有显示屏查看区域的前表面之外的表面上，但是这不是必须的。
一种特别有用的机械致动器是保持开关。保持开关可被配置用于激活和禁用主要输入装置，例如触摸屏。这允许用户防止不想要的输入，例如当设备被放在用户口袋中时的不想要的输入。在一种实现方式中，保持开关可被放在顶部表面上的手握区域之外，但是要放在容易触及的位置上(与底部表面相反)。保持开关不仅能禁用触摸屏，还能够禁用机械致动器和其他输入设备。
另一种特别有用的机械致动器是电源开关。当电源开关被接通时，设备通电并且准备好工作。当电源开关被断开时，设备被切断。在一种实现方式中，电源开关可被放在顶部表面上的手握区域之外，但是要放在容易触及的位置上(与底部表面相反)。
另一种有用的机械致动器是导航板。导航板通常被包括在很多手持设备中。导航板的功能可以根据设备的当前工作模式而改变。例如，在音乐播放器的情况下，方向键可被分配为播放/暂停、下一首、上一首和音量增大与减小。其他可分配的按钮也可被包括在设备上。
另一种有用的机械致动器是切换致动器。切换致动器可被配置用于改变设备的功能，即通过激活切换致动器，设备的功能或状态从一种模式切换到另一种。切换致动器可能是各种各样的。
例如，切换致动器可以是拨号盘或轮盘。通过递进地旋转轮盘，设备从一个设备递进地切换到另一设备(一般按某种预定顺序)。每个设备的整圈旋转一般在集成的设备的整个群组中循环。轮盘或拨号盘例如可以像滚动轮盘一样工作。虽然放置方式可以是各种各样的，但是切换轮盘可被放在设备侧面的上部区域。通过将轮盘放在这里，用户的拇指可被用于容易地旋转轮盘。例如，用户拇指可以从抓握动作中伸出，以便使得轮盘可以被旋转。
可替换地，切换致动器可以是按钮。通过重复按下该按钮，设备被从一个设备切换到另一设备(一般按某种预定顺序)。虽然放置方式可以是各种各样的，但是切换按钮可以被放在设备侧面的上部区域。通过将轮盘放在这里，用户的拇指或食指可被用于容易地按下按钮。
手持设备还可以包括任何商业上可获得的触摸板。触摸板的一些示例可以在以下专利中找到：2002年7月1日递交的题为“touchpadforhandhelddevice”的美国专利申请no.10/188,182；2003年11月25日递交的题为“touchpadforhandhelddevice”的美国专利申请no.10/722,948；以及2003年8月18日递交的题为“movabletouchpadwithaddedfunctionality”的美国专利申请no.10/643,256。
在另一实施例中，手持设备可以包括滚动轮盘。滚动轮盘可被用于每个功能以使窗口滚动。
g.麦克风
手持设备还可以包括拾取音频声音的麦克风。麦克风可以与蜂窝电话结合使用以发送声音，例如用户的语音。麦克风还可被用于记录声音或将语音命令输入到手持设备中。例如，利用语音识别软件，手持设备可能能够识别语音命令并生成与其相关联的控制信号。麦克风可被放在手持设备的底部表面或者可能被放在前面的底部沟缘中。这种特殊配置适合于在电话呼叫期间拾取用户的语音。
h.图像传感器
手持电子设备还可以包括图像传感器和与镜头相关的组件，以使得手持设备可以像照相机一样工作。图像传感器例如可以包括电荷耦合器件(ccd)照相机。
i.输入设备功能
1.触摸手势
手持电子设备可被设计为识别施加到触摸屏和/或外壳的触敏表面的触摸手势，从而控制手持电子设备的各个方面。手势是与输入设备之间的程式化交互，其被映射到一个或多个特定的计算操作。手势可以通过各种手和手指的运动来执行。手势一般包括触弦(contactchord)，例如一个或多个手指，以及与该弦相关联的动作。可替换地或可附加地，手势可以利用铁笔作出。在所有这些情况下，输入设备(即触摸屏和/或触敏表面)接收手势，并且手持电子设备的控制器执行指令来执行与手势相关联的操作。手持电子设备可以包括触摸手势操作程序，该程序可以是操作系统的一部分或分离的应用程序。手势操作程序一般包括一组指令，这组指令识别手势的发生，并将手势和/或响应于手势将执行的一个或多个动作告知一个或多个软件代理。例如，可被使用的手势在以下专利中被更详细地公开：2004年7月30日递交的题为“gesturesfortouchsensitiveinputdevices”的美国专利申请no.10/903,964和2005年1月18日递交的题为“mode-basedgraphicaluserinterfacesfortouchsensitiveinputdevices”的美国专利申请no.11/038,590。
2.3-d空间手势
根据一个实施例，手持电子设备可被设计为识别由加速计测量的3-d空间手势，并且基于该3-d空间手势来控制手持电子设备的各个方面。空间手势是设备本身的程式化动作，其被映射到一个或多个特定计算操作。3-d空间手势可以通过各种手和手臂的动作来作出，例如摇动、挥动等等。加速计测量与3-d空间手势相关的运动，并且控制器识别该运动为3-d空间手势，并随后执行指令以执行与3-d空间手势相关联的操作。手持电子设备可以包括3-d空间手势操作程序，其可以是操作系统的一部分或者是分离的应用程序。手势操作程序一般包括一组指令，这组指令识别手势的发生，并将手势和/或响应于手势将执行的一个或多个动作告知一个或多个软件代理。
一种示例性的3-d手势是摇动设备。摇动会致使手持设备在模式或状态之间转换。可替换地，摇动手持设备会致使发生选择事件。例如，在媒体播放器的情况下，摇动设备可能致使设备随机地在图片或歌曲的组中选择图片或歌曲。可替换地，摇动设备可能致使设备在歌曲序列中选择下一图片或歌曲。
其它手势可以包括平移或旋转设备。从一侧向另一侧平移手持设备(在其正面朝上时)可被用来发起设备中的镜头摇动或滚动，或者上下移动设备(在其正面朝上时)可被用于发起对焦。旋转设备可被用于致使设备改变模式或状态。在某些情况下，例如，设备的朝向对应于特定模式。例如，第一模式可能与0度相关联，第二模式可能与90度相关联，第三模式可能与180度相关联，第四模式可能与270度相关联。在所有这些情况下，设备可被配置为在设备被转动时保持被显示的部分垂直。就是说，无论设备的朝向怎样，都保持垂直的图像。
3-d空间手势甚至可以基于更复杂的运动，例如手语、书写运动等等。
3.基于多个输入执行动作
由于设备可能具有多个输入模式，因此手持设备可以被配置为从不同的输入设备接收同时输入，并且基于多个同时输入执行动作。可被组合以产生新命令的输入可以从语音、2-d触摸手势、3-d空间手势、致动器等中选择。例如，该特征在经由语音选择执行呼叫时可能有用。呼叫者可能用语言表达“tom”，这致使设备拨打“tom”的电话号码。如果“tom”具有多个电话号码，则用户可以将口头命令“tom”与3-d空间手势相结合，例如通过摇动来选择tom的第二电话号码。本领域技术人员将意识到各种其他的可能性。
4.区分轻触摸和重触摸
如上所述，力感测和触摸感测相结合有助于两种不同类型的交互，轻触摸和重触摸。轻触摸可被用于执行不会导致主要事件发生的被动动作，例如内容导航和内容操作。被动事件的示例包括移动光标、滚动、摇动镜头等等。重触摸交互可被用于选择屏幕上的按钮或发起命令(例如致使发生重要改变)。
图25是用于实现该技术的触摸方法400的图。方法400开始于框402，其中一个或多个触摸被检测到。触摸不仅包括x和y分量，还包括z分量。x和y分量可以由触感设备(例如触摸屏、触摸板或触摸外壳)提供。z分量可以由位于触感设备的触摸表面后面的力传感器或显示致动器来提供。
在框402之后，方法前进到框404，其中判断触摸是轻触摸还是重触摸。该判断一般基于触摸的力或压力(z分量)。例如，如果触摸的力小于预定阈值，则认为该触摸是轻触摸，并且如果触摸的力大于预定阈值，则认为该触摸是重触摸。如果确定触摸是轻触摸，方法则前进到框406，其中与触摸相关联的被动动作被发起。如果确定触摸是重触摸，则执行与触摸相关联的主动动作(框408)。
触摸方法还可以包括将一个或多个触摸分类成主要触摸或辅助触摸的框。主要触摸是希望导致动作执行的触摸，而辅助触摸是不希望导致动作执行的触摸。手势是主要触摸的示例，而放在触摸区域上用于夹持设备的拇指是辅助触摸的示例。一旦触摸被分类成主要或辅助，辅助触摸被过滤出，然后针对主要触摸执行关于触摸是轻触摸还是重触摸的判断。
5.新触摸词汇表的示例
施加在触感设备上的z压力可以与触摸的x和y位置组合来形成新触摸词汇表。应该意识到，这之前，触摸词汇表只包括x和y位置而不包括z压力。提出的触摸词汇表包括多个变量，包括ui模式、触摸的力(例如轻或重)、所用手指的数目、在触摸期间是否存在任何运动、触摸的持续时间以及触摸位置，所有这些变量中的全部或某些可被组合以形成各种行为和用户反馈。
ui模式一般与设备的模式或状态相关。每个设备包括各种状态，每个状态可能需要不同的ui模式。媒体播放器(模式)例如可以包括一组分层结构的层(状态)，其中每一层需要不同的ui。
如上所述，触摸的力例如可以被描述为轻或重。轻触摸可以发生在用户轻轻地触摸触摸表面的表面时，即手指在表面上滑动，并且主要在x和y方向上移动。重触摸可以发生在用户用一定量的力按下触摸表面时，即手指主要靠着触摸表面在z方向上移动。
在触摸期间的运动被用于描述手指在触摸事件期间是保持静止还是在x-y平面上显著移动(例如平移、旋转等等)。运动可被描述为根本没有或者在某个特定方向上挥击或旋转。例如，挥击可以向上、向下、向右、向左或者它们的某种组合，而旋转可以是顺时针的或者逆时针的。
持续时间被定义为手指在任意一个点停留的时间量。持续时间可以是变量，或者它可以包括诸如短和长之类的状态。触摸位置可是随机的点或特定位置，例如屏幕上的按钮。
图26是实现该技术的附加触摸方法500。该方法开始于框502，此时一个或多个触摸被检测到。然后，在框504中，ui模式被确定。在框506中，判断触摸是轻触摸还是重触摸。可替换地，框502和504可以反过来，从而有效地产生针对每种模式的触摸方法的实例。在框508中，不同触摸(例如手指)的数目被确定。在框510中，判断触摸是静止的还是运动的。在框512中，触摸的持续时间被确定。在框514中，触摸的位置被确定。在框502-514之后，方法前进到框516，其中基于ui模式、触摸的压力、触摸的数目、触摸是否移动、触摸的持续时间和触摸位置来执行动作。取决于每个特性的值，动作可以是被动的或主动的。
与音乐播放器相关联的触摸词汇表的一个示例如图27a-e所示。
v.输出设备
a.显示屏
手持电子设备的主要输出通常是显示屏。显示屏以文本、字符或图形的形式提供可视信息。显示屏通常是平板设备，但是其它类型的显示屏也可被使用。显示屏可以是液晶显示屏(lcd)，例如能够呈现文本和符号的字符lcd，或者能够呈现图像、视频和图形用户界面(gui)的图形lcd。可替换地，显示屏可以对应于基于有机发光二极管(oled)的显示屏或者基于电子墨水的显示屏。
优选地，显示屏可被配置为基本上充满外壳的前表面。显示屏可以从外壳的一边延伸到外壳的另一边，外壳可以包括围绕显示屏边缘的小沟缘。在任意一种情况下，显示屏都构成手持电子设备的前表面的主要部分，从而消除了用于与传统用户接口相关联的按钮或开关的任意空间。
如上所述，除了输出可视信息之外，显示屏还可以像输入设备一样工作。例如，触摸屏可被放置在显示屏上面，并且/或者传感器可被布置在显示屏下面，以感测设备何时被按下或以其他方式被移动。在大多数情况下，手持设备的小外形规格要求将输入接口放置在中间，以允许在用手携带和使用设备的同时对其进行操作。显示屏区域提供了中间的位置，该中间位置可以被左手和右手触及。
显示屏区域可以由多于一个显示屏构成。例如，显示屏区域可以由一对左右并排或上下排列的显示屏构成。第一显示屏可被用于呈现标准屏幕，而第二显示屏可被用于呈现控制屏幕，如以上参考图5-8所述。此外，第一显示屏可以是传统显示屏，而第二显示屏可以是显示屏致动器。此外，第一显示屏可以具有第一类型，而第二显示屏可以具有第二类型。例如，第一显示屏可以是lcd，而第二显示屏可以是基于电子墨水的显示屏。
决定使用不同类型可能基于如下事实：显示屏之一可能专用于标准查看区域，而另一显示屏可能专用于控制区域。由于这两个区域要求不同的分辨率，因此更高分辨率的显示屏可被用于标准区域，而较低分辨率的显示屏可被用于控制区域。可替换地或者可附加地，尤其在可接受较低分辨率的控制区域中，显示屏之一可被选择以减小电池消耗。在某些情况下，虽然使用两种不同的显示屏，但是显示在其上的图像可以组合以形成单个统一的图像。
b.扬声器
手持设备还可以包括扬声器。扬声器是从放大器接受代表音频信息的电子信号并将它们转换成声波的组件。结合音乐播放器功能，扬声器可被用于听音乐，或者结合蜂窝电话功能，扬声器可被用于接听传入呼叫。扬声器可被放置在顶部表面，或者可能被放在手持设备的前面的顶部沟缘上。这种布置当设备被用作蜂窝电话时特别适合。
c.指示器(led)
手持设备还可以包括一个或多个指示器，用来提供用户反馈或指示与设备相关联的事件。所述事件可以与信号、设备的状况或状态相关。例如，指示器提供电池寿命的状态或在有传入呼叫时向用户报警。包括光源(例如发光二极管(led))的指示器通常在事件发生时亮起，并且在事件停止时熄灭。此外，指示器可以进行开关(闪光)或者以增大或减小的强度循环，并且在某些情况下，指示器甚至可能改变颜色，以便提供关于正被监视的事件的更详细的信息。
指示器可以是传统指示器，通常包括小而清晰的塑料插入件(plasticinsert)，该塑料插入件位于led前方并且被插入在外壳的开口内，从而使得其存在于外壳的表面上。led本身也可以被放置在外壳的开口中而不使用插入件。可替换地，指示器可被配置为不打断外壳的表面。在这种配置中，光源被整个放在外壳内，并且被配置为照亮外壳的一部分，从而使得外壳改变其外观，即改变其颜色。
d.音频/触觉反馈设备
手持设备可以包括扬声器或蜂鸣器，用来向用户提供音频反馈。这些设备可以与上述指示器类似地工作，或者它们可以被用于增强致动gui元件(例如软按钮或滚动轮盘)的感觉。例如，扬声器可以被配置为在用户按下虚拟按钮或者旋转虚拟滚动轮盘时输出“点击”噪声。该特定特征增强了用户体验并且使得虚拟ui感觉上更像物理ui。
手持设备还可以包括触觉机构。触觉学是应用触感和控制来与计算机应用程序进行交互的科学。触觉机构本质上允许用户感觉信息，即信号被发送到手。触觉机构可能是多种多样的。它们可以包括马达、振动器、电磁设备等等，所有这些都能够以振动或摇动的形式提供力反馈。触觉机构可以与上述指示器类似地工作(警告)，或者它们可被用于增强致动gui元件(例如软按钮或滚动轮盘)的感觉。例如，触觉机构可以被配置为在用户按下虚拟按钮或者旋转虚拟滚动轮盘时振动。该特定特征增强了用户体验并且使得虚拟ui感觉上更像物理ui。触觉机构还可以与屏幕上的动作同时使用。例如，在看电影或玩游戏期间，触觉机构可以仿真正在显示的动作。例如，触觉机构可以在电影或游戏期间的汽车爆炸时以振动的形式提供力反馈。
在触觉机构被用来增强致动gui元件(例如软按钮或滚动轮盘)的感觉的情况下，触觉机构可以位于显示屏的区域中或者进一步位于显示屏下方，以便直接基于用户动作提供力反馈。实际上，在显示屏的区域中可以使用多个触觉机构以进一步增强感觉。一般相信，振动与用户动作越接近，触觉效果越明显。在一种实现方式中，触觉机构被以阵列形式布置在显示屏下方。就是说，它们是空间上分离的并且被放在不同位置上。例如，它们可以按2×2、2×4、4×4、4×8、8×8阵列等形式被布置在显示屏下方。
音频和/或触觉反馈可被用于警告用户已经作出用户输入。例如，响应于触摸gui上的虚拟按钮，触觉机构可以以振动的形式提供力反馈，而扬声器可以以点击的形式提供音频反馈。触觉音频反馈可以与包括触摸事件、运动事件、挤压事件的输入事件结合使用。反馈可以提供信息以使得用户知道它们实际上实现了输入(仿真按钮或开关的音频和触觉感觉)。在一种实现方式中，反馈与施加到力感设备的力的级别相联系。例如，当达到某一力阈值时，音频反馈设备可以在按下时建立“点击”，并在释放时建立“时钟”。使用的力阈值可能类似于用来判断触摸是轻触摸还是重触摸的阈值。“点击”和“时钟”可被用来仿真执行重触摸时的按钮点击。
vi.通信设备
a.有线的
手持设备还可以包括一个或多个连接器，用来从设备接收数据和向设备发送数据。例如，设备可以包括一个或多个音频插孔、视频插孔、数据端口、坞接(docking)端口等等。手持设备还可以包括一个或多个连接器，用于从手持设备接收功率和向手持设备发送功率。
手持设备可以包括耳机/麦克风插孔和数据端口。插孔能够容纳扬声器和/或麦克风插头，以使得音频可被输入和输出设备。数据端口能够容纳数据插头/线缆组件，该数据插头/线缆组件被配置用于向主机设备发送数据和从主机设备接收数据，主机设备例如是通用计算机(例如台式计算机、便携计算机)。例如，数据端口可被用于上载数据到手持设备或从手持设备下载数据。这样的数据可以包括到手持设备的歌曲和播放列表、音频书、电子书、照片、地址簿、文档、约会等等。数据端口可以是ps/2端口、串行端口、并行端口、网络接口端口、usb端口、firewire端口等等。手持设备还可以包括功率端口，其容纳被配置用于向手持设备递送功率的功率插头/线缆组件。在某些情况下，通过采用标准连接器或专用连接器，数据端口可以充当数据端口和功率端口两者。
b.无线的
为了无线地发送和接收数据，设备一般需要发射器、接收器(或收发器)和某种天线。无线通信链路可以对应于蓝牙、wifi(802.11)、ir(红外)等等。天线可被完全包含在设备中或者它们可以伸到设备外部。取决于所使用的频率等等，天线可以采取各种形式。例如，其可以是由包在橡胶中的盘绕元件组成的粗糙橡胶鸭(ruggedrubberduck)。可替换地，天线可以被印制在设备中的电路板上。
手持设备还可以包括无线电收发器，用于经由蜂窝网络或gps接收器进行通信。
c.基于接收到的通信信号改变ui
手持电子设备可被配置用于在周围环境中主动寻找信号，并且基于信号改变其模式。就是说，设备尽力使模式与信号相匹配。如果设备通过蜂窝网络接收到电话信号，设备则可以转换成电话，即电话模式被激活并被放在其他模式前面。如果设备接收到电子邮件，设备则可以转换成电子邮件终端。作为另一示例，当用户走入家庭影院房间时，设备可能感测到来自媒体控制单元的信号，并将其自身转换成遥控器，其包括控制家庭影院中的各种设备(电视、功放、dvd、灯光)的功能。在其他情况下，设备可以感测在物理商店中广播的信号，并将其自身转换成适合于该商店的设备。例如，在银行中，设备可以转换成计算器或显示金钱程序，或者在零售商店中，设备可以转换成付钱设备或显示物品列表。
vii.手持设备的其他组件
手持设备还可以包括以下硬件组件中的一个或多个：控制器(例如微处理器、dsp、a/d、d/a、转换器、编解码器)、存储器(例如ram、rom、固态(闪存)、硬盘(微驱动))、存储设备(sd卡槽、迷你dvd)、电池(例如锂电池)等等。
viii.总体框图
图28是示例性的手持设备600的框图。手持设备600通常包括控制器602(例如cpu)，其被配置用于执行指令和实施与手持设备相关联的操作。例如，使用从例如存储器取得的指令，控制器602可以控制手持设备600的组件之间的输入和输出数据的接收和操作。控制器602可以被实现在单个芯片、多个芯片或多个电阻件上。例如，各种体系结构可被用于控制器602，包括专用或嵌入式处理器、单个用途处理器、控制器、asic等等。例如，控制器可以包括微处理器、dsp、a/d转换器、d/a转换器、压缩、解压缩等等。
在大多数情况下，控制器602与操作系统一起操作以执行计算机代码和产生并使用数据。操作系统可以对应于公知的操作系统，例如os/2、dos、unix、linux和palmos，或者可替换地，可以对应于专用操作系统，例如那些用于有限用途器具型设备的操作系统。操作系统、其他计算机代码和数据可以处在操作地耦合到控制器602的存储器块604中。存储器块604一般提供空间用来存储手持设备使用的计算机代码和数据。例如，存储器块604可以包括只读存储器(rom)、随机访问存储器(ram)、硬盘驱动器(例如微驱动)、闪存等等。与存储器块604相结合地，手持设备可以包括可移动存储设备，例如容纳和播放dvd的光盘播放器，或者用于容纳诸如存储器卡(或记忆棒)之类的介质的卡槽。由于手持设备的外形规格很小，因此光驱只能被配置用于迷你dvd。
手持设备600还包括各种输入设备606，它们操作地耦合到控制器602。输入设备606被配置用于从外部世界向手持设备600传递数据。如图所示，输入设备606可以对应于数据输入机构和数据捕获机构两者。具体而言，输入设备606可以包括触摸感测设备608(例如触摸屏、触摸板和触摸感测表面)、机械致动器610(例如按钮或轮盘或保持开关(611))、运动感测设备612(例如加速计)、力感测设备614(例如力敏显示屏和外壳)、图像传感器616和麦克风618。输入设备606还可以包括可点击的显示致动器619。
手持设备600还包括操作地耦合到控制器602的各种输出设备620。输出设备620被配置为将数据从手持设备600传递到外部世界。输出设备620可以包括显示屏622(例如lcd)、扬声器或插孔624、音频/触觉反馈设备626、光指示器628等等。
手持设备600还包括操作地耦合到控制器602的各种通信设备630。通信设备630例如可以包括从以下群组中选出的有线和无线连接：i/o端口632(例如ir、usb或firewire端口)、gps接收器634和无线电接收器636。
手持设备600还包括电池650和可能包括充电系统652。电池可以通过变压器和电源线或者通过主机设备或者通过坞接站被充电。在坞接站的情况下，充电可以通过电端口或可能通过电感充电装置被传送，所述电感充电装置不需要执行物理电连接。
上述本发明的各个方面、特征、实施例或实现方式可以单独使用或者以各种组合形式使用。本发明的方法可通过软件、硬件或硬件和软件的组合来实现。本发明还可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是任意数据存储设备，其可以存储随后可以被计算机系统读取的数据，包括上述传输和非传输设备。计算机可读介质的示例包括只读存储器、随机访问存储器、cd-rom、闪存卡、dvd、磁带、光数据存储设备和载波。计算机可读介质还可以被分布在网络耦合的多个计算机系统中，以使得计算机可读代码以分布式方式被存储和执行。
虽然已经就若干优选实施例描述了本发明，但是存在落入本发明的范围内的变化、变换和等同物。还应该注意，存在很多用于实现本发明的方法和装置的替代方式。因此，希望所附权利要求被理解为包括所有这些落入本发明的真实精神和范围内的变化、变换和等同物。