本申请是申请号为201710364610.3、申请日为2017年5月22日、发明名称为“用于动态地调整音频输出的呈现的设备、方法和图形用户界面”的发明专利申请的分案申请。
本发明大体上涉及提供音频输出的电子设备，并且更具体地涉及动态地调整音频输出的呈现的设备、方法和图形用户界面。
背景技术
一些电子设备利用视听接口作为提供关于用户与设备的交互的反馈的方式。
技术实现要素：
然而，一些电子设备以有限的、低效的和令人沮丧的方式来提供视听反馈。例如，一些方法中断和停止提供用户当前正在收听的音频(例如，讲座)并突然切换到一些其他音频(例如，与短视频消息相关联的音频)。这些突然转变分散了用户的注意力(从而导致用户失去焦点并且必须重新播放他们正在收听的音频的某些部分)，迫使用户执行附加输入来恢复回到他们正在收听的音频，迫使用户禁用某些基于音频的效果，并且产生附加挫折感。通过要求用户执行附加输入和/或迫使用户重新播放某些部分，常规电子设备浪费能量。
一些电子设备利用视听接口作为提供关于用户与设备的交互的反馈的方式。然而，一些电子设备以有限的、低效的和令人沮丧的方式来提供视听反馈。例如，一些方法响应于用户与图形用户界面元素的交互来提供预先确定的音频反馈(例如，响应于用户在小键盘上针对电话应用程序键入数字来提供可听音调)。这种预先确定的音频反馈不基于用户交互而改变，从而迫使用户反复听到相同的预先确定的并且不变的音频反馈。因此，许多用户禁用某些基于音频的效果和/或删除已变得太烦人的某些应用程序。
因此，电子设备需要具有更有效的方法和接口来提供视听反馈。此类方法和接口任选地补充或替代用于提供视听反馈的常规方法。此类方法和接口减少了来自用户的输入的数量、范围和/或性质，并且产生更有效的人机接口(例如，通过一起动态地模糊该音频输出，本文公开的实施方案允许用户有效地预览新的音频输出而不必突然停止收听当前音频输出)。此外，此类方法减少了处理触摸输入所消耗的处理电力，节省功率(从而增大电池充电之间的时间)，减少不必要/无关/重复的输入，并且潜在减少存储器使用。
根据一些实施方案，在与显示器和音频系统进行通信的电子设备处执行方法。该方法包括：向音频系统提供第一声音信息以呈现第一音频输出，该第一音频输出包括：音量和除音量之外的音频属性。该方法还包括在音频系统正在呈现第一音频输出时，接收与用于呈现第二音频输出的请求对应的输入。该方法还包括响应于接收到与用于呈现第二音频输出的请求对应的输入：向音频系统提供信息，以根据输入的量值来动态地调整第一音频输出的呈现，其中动态地调整第一音频输出的呈现包括随着输入的量值改变而动态地调整非音量音频属性；以及向音频系统提供第二声音信息，以与第一音频输出同时呈现第二音频输出。
根据一些实施方案，在与显示器和音频系统进行通信的电子设备处执行方法。该方法包括：当在显示器上显示包括一组一个或多个示能表示的用户界面时：在第一时间点检测指向该组一个或多个示能表示中的第一示能表示的第一输入。该方法还包括响应于检测到指向第一示能表示的第一输入，开始向音频系统提供第一声音信息，以呈现与第一示能表示对应的第一音频输出，其中第一音频输出具有第一音频配置文件。该方法还包括在第一时间点之后的第二时间点检测指向该组一个或多个示能表示中的第二示能表示的第二输入。该方法还包括响应于检测到指向第二示能表示的第二输入：根据确定满足音频更改标准：使得音频系统呈现与第一示能表示对应的经更改的第一音频输出，而不是继续利用第一音频配置文件来呈现第一音频输出，其中经更改的第一音频输出具有不同于第一音频配置文件的经更改的音频配置文件；以及向音频系统提供第二声音信息，以呈现与第二示能表示对应的第二音频输出，其中第二音频输出具有第二音频配置文件。该方法还包括根据确定不满足音频更改标准：使得音频系统继续呈现与第一示能表示对应并且具有第一音频配置文件的第一音频输出；以及向音频系统提供第三声音信息，以呈现与第二示能表示对应的第三音频输出，其中该第三音频输出具有第三音频配置文件。
根据一些实施方案，在具有显示器、触敏表面和用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备上执行方法。该方法包括：在显示器上显示包括媒体项的表示的用户界面。该方法还包括在显示用户界面时在触敏表面上的与媒体项的表示对应的位置处检测通过接触导致的输入。该方法还包括响应于检测到通过接触导致的输入：根据确定该输入满足媒体提示标准，其中该媒体提示标准包括当该接触具有高于第一强度阈值的特征强度时满足的标准：开始播放媒体项的相应部分；以及当媒体项正在播放时，随着接触的特征强度改变而动态地改变媒体项的一组一个或多个音频属性。该方法还包括根据确定该输入不满足媒体提示标准，放弃开始播放媒体项的相应部分并且放弃随着接触的特征强度改变而动态地改变媒体项的该组一个或多个音频属性。
根据一些实施方案，在具有显示器、触敏表面和用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备上执行方法。该方法包括：在显示器上显示包括应用程序的第一交互区域和应用程序的第二交互区域的用户界面。该方法还包括在显示用户界面时在显示器上的在与第一交互区域中的第一用户界面元素对应的位置处检测通过触敏表面上的接触导致的第一输入。该方法还包括响应于检测到通过接触导致的第一输入：根据确定第一输入满足基于强度的激活标准，其中该基于强度的激活标准要求接触具有高于第一强度阈值的特征强度以便满足该基于强度的激活标准，除了第一用户界面元素之外，遮蔽应用程序的第一交互区域，而无需遮蔽应用程序的第二交互区域。该方法还包括根据确定第一输入满足第一选择标准，其中该第一选择标准不要求接触具有高于第一强度阈值的特征强度以便满足选择标准，执行与第一用户界面元素对应的第一选择操作，而无需遮蔽应用程序的第一交互区域。
根据一些实施方案，与显示器和音频系统进行通信的电子设备包括一个或多个处理器、存储器和一个或多个程序；该一个或多个程序被存储在存储器中并被配置为由该一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文描述的任何方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，该指令当由与显示器和音频系统进行通信的电子设备执行时使得该设备执行或使得执行本文描述的任何方法的操作。根据一些实施方案，包括存储器和用于执行被存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文描述的任何方法中显示的元素中的一个或多个元素，这些元素响应于输入而被更新，如本文描述的任何方法中所述的。根据一些实施方案，与显示器和音频系统进行通信的电子设备包括用于执行或使得执行本文描述的任何方法的操作的装置。根据一些实施方案，用于在与显示器和音频系统进行通信的电子设备中使用的信息处理设备包括用于执行或使得执行本文描述的任何方法的操作的装置。
因此，与显示器和音频系统进行通信的电子设备被提供有更快、更有效的方法和接口以用于提供音频反馈并且模糊音频，从而提高此类设备的有效性、效率和用户满意度。此类方法和接口可补充或替代用于提供音频反馈并且模糊音频的常规方法。
根据一些实施方案，电子设备包括显示器、触敏表面、任选地用于检测与触敏表面的接触的强度的一个或多个传感器、一个或多个处理器、存储器和一个或多个程序；该一个或多个程序被存储在存储器中并被配置为由该一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文描述的任何方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，该指令当由具有显示器、触敏表面和任选地用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备执行时使得该设备执行或使得执行本文描述的任何方法的操作。根据一些实施方案，具有显示器、触敏表面、任选地用于检测与触敏表面的接触的强度的一个或多个传感器、存储器和用于执行被存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文描述的任何方法中所显示的元素中的一个或多个元素，这些元素响应于输入而被更新，如本文描述的任何方法中所述的。根据一些实施方案，电子设备包括：显示器、触敏表面和任选地用于检测与触敏表面的接触的强度的一个或多个传感器；以及用于执行或使得执行本文描述的任何方法的操作的装置。根据一些实施方案，用于在具有显示器和触敏表面以及任选地用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备中使用的信息处理设备包括用于执行或使得执行本文描述的任何方法的操作的装置。
因此，具有显示器、触敏表面和任选地用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备被提供有更快、更有效的方法和接口以用于提供音频反馈并且模糊音频，从而提高此类设备的有效性、效率和用户满意度。此类方法和接口可补充或替代用于提供音频反馈并且模糊音频的常规方法。
附图说明
为了更好地理解各种所描述的实施方案，应当结合以下附图参考下面的具体实施方式，在附图中类似的附图标号在所有图式中指代对应的部分。
图1a是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1b是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4a示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。
图4b示出了根据一些实施方案的具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图4c至4e示出了根据一些实施方案的动态强度阈值的示例。
图5示出了根据一些实施方案的与显示器和触敏表面进行通信的示例性电子设备，其中对于这些电子设备的至少一个子集，显示器和/或触敏表面被集成到电子设备中。
图6a至6y示出了根据一些实施方案的用于动态地调整音频输出的呈现并且任选地动态地调整用户界面的视觉呈现的示例性用户界面。
图7a至7g示出了根据一些实施方案的用于基于音频配置文件来提供音频输出的示例性用户界面。
图8a至8b是示出根据一些实施方案的动态地调整音频输出的呈现的方法的流程图。
图8c是示出根据一些实施方案的动态地调整音频输出的呈现的方法的流程图。
图8d至8f是示出根据一些实施方案的动态地调整音频输出的呈现的方法的流程图。
图8g至8h是示出根据一些实施方案的动态地调整用户界面的视觉呈现的方法的流程图。
图9a至9c是示出根据一些实施方案的基于音频配置文件来提供音频输出的方法的流程图。
具体实施方式
所公开的实施方案提供一种用于动态地调整音频输出的呈现的方法和设备。更具体地，在一些实施方案中，本文提供的设备通过根据用户输入的量值(例如，触敏表面上的接触的强度和/或轻扫手势的长度)调整音频属性(例如，音量或非音量属性)来预览音频内容。在一些实施方案中，在设备正提供第一音频输出(例如，播放第一首歌曲)时，设备根据用户输入的量值而使第二音频输出(例如，第二首歌曲)“模糊淡入”。在一些实施方案中，使第二音频模糊淡入包括基于输入的量值来动态地调整第一音频内容的非音量属性(例如，立体声平衡、应用于第一音频内容的低通滤波器的截止频率)。
考虑正在经由用户设备上的音乐应用程序播放歌曲的示例。同时，用户可打开正在显示视频消息的消息应用程序(想象视频尚未播放并且用户必须按压视频的图像以对其进行播放)。在一些实施方案中，用户可通过对视频消息进行的按压并保持手势来播放视频消息的“提示”。提示使歌曲模糊淡出(例如，通过随着按压并保持手势的强度增大而减小音量并减小低通滤波器的截止频率)并且使视频消息模糊淡入(通过随着按压并保持手势的强度增大而提高音量)。在一些实施方案中，高于特定接触强度，设备以全音量播放视频消息，并且在滤出歌曲的高频分量时以低音量播放歌曲，使得歌曲仅在背景中以轻柔的方式听起来像“轰轰声”。
根据一些实施方案，还提供用于更改音频反馈的方法和设备。例如，当激活相应示能表示使得设备产生音频反馈时，快速连续地激活该相应示能表示两次使得设备更改音频反馈。
下面，图1a至1b、2和3提供对示例性设备的描述。
图4a至4b和6a至6o示出了用于根据用户输入的量值来使音频输出“模糊淡入”(例如，当背景音频已经在播放时)的示例性用户界面。图8a至8b和图8c示出了根据用户输入的量值来使音频输出“模糊淡入”(例如，当背景音频已正在播放时)的两种方法。图6a至6o中的用户界面用于示出图8a至8c中的过程。
图4a至4b和6p至6y示出了用于根据用户输入的量值来动态地调整音频输出的属性(例如，在音频输出处提示)的示例性用户界面。图8d至8f示出了根据用户输入的量值来动态地调整音频输出的属性(例如，在音频输出处提示)的方法。图6p至6y中的用户界面用于示出图8d至8f中的过程。
此外，图4a至4b和6p至6y示出了用于提供视觉反馈(例如，视觉模糊)的示例性用户界面。图9a至9c示出了根据一些实施方案的提供视觉反馈(例如，视觉模糊)的方法的流程图。图6p至6y中的用户界面用于示出图9a至9c中的过程。
示例性设备
现在将详细参考实施方案，其示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的彻底理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可在没有这些具体细节的情况下被实施。在其他情况下，未详细描述熟知的方法、程序、部件、电路和网络，以免不必要地模糊该实施方案的各个方面。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元素，但是这些元素不应受到这些术语限制。这些术语只是用于将一个元素与另一元素区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一接触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”,“an”)和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联地列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”、“包含”、“含有”和/或“具有”当在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其群组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关联的过程的实施方案。在一些实施方案中，该设备是还包含其他功能诸如pda和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自appleinc.(cupertino,california)的
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，电子设备任选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持多种应用程序，诸如以下应用程序中的一个或多个应用程序：笔记应用程序、绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数码相机应用程序、数字摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用物理用户接口设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地随不同的应用程序而调整和/或变化，和/或在相应的应用程序内调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在关注具有触敏显示器的便携式设备的实施方案。图1a是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(cpu)120、外围设备接口118、rf电路108、音频电路110、扬声器111、麦克风113、输入/输出(i/o)子系统106、其他输入或控制设备116、和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100上的接触的强度的一个或多个强度传感器165(例如，触敏表面，诸如设备100的触敏显示器系统112)。设备100任选地包括用于在设备100上生成触觉输出(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)的一个或多个触觉输出发生器167。这些部件任选地经由一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解读为触感，该触感对应于设备或设备的部件的物理特征的感知变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解读为对物理致动器按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。在另一个示例中，触敏表面的移动任选地由用户解读或感测为触敏表面的“粗糙度”，即使在触敏表面的光滑度无变化时。虽然用户对触摸的此类解读将受到用户的个体化感官知觉的限制，但是存在触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的感官知觉。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1a中所示的各种部件在硬件、软件、固件或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件诸如一个或多个cpu120和外围设备接口118对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到一个或多个cpu120和存储器102。该一个或多个处理器120运行或实行被存储存在储器102中的各种软件程序和/或指令集，以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、一个或多个cpu120和存储器控制器122任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立芯片上实现。
rf(射频)电路108接收和发送也被叫做电磁信号的rf信号。rf电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络和其他通信设备进行通信。rf电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、rf收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(sim)卡、存储器等等。rf电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络诸如为互联网，也被称为万维网(www)，内联网和/或无线网络诸如蜂窝电话网络、无线局域网(lan)和/或城域网(man)。无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(gsm)、增强数据gsm环境(edge)、高速下行链路分组接入(hsdpa)、高速上行链路分组接入(hsupa)、演进、纯数据(ev-do)、hspa、hspa+、双小区hspa(dc-hspda)、长期演进(lte)、近场通信(nfc)、宽带码分多址(w-cdma)、码分多址(cdma)、时分多址(tdma)、蓝牙、无线保真(wi-fi)(例如，ieee802.11a、ieee802.11ac、ieee802.11ax、ieee802.11b、ieee802.11g和/或ieee802.11n)、互联网协议语音技术(voip)、wi-max、电子邮件的协议(例如，互联网消息访问协议(imap)和/或邮局协议(pop))、即时消息(例如，可扩展消息传递和存在协议(xmpp)、用于即时消息和存在利用扩展的会话发起协议(simple)、即时消息和存在服务(imps))和/或短消息服务(sms)，或者包括截止本文档的提交日期还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听的声波。音频电路110还接收由麦克风113从声波转换来的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或rf电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110与可移除的音频输入/输出外围设备之间的接口，该外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
i/o子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。i/o子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到其他输入或控制设备116。其他输入或控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑块开关、操纵杆、点击轮等等。在一些另选实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、usb端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频和它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所使用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对指向图形用户界面对象的输入作出响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选菜单项、开关、超链接、或其他用户界面控件。
触敏显示器系统112具有基于触感和/或触觉接触来接受来自用户的输入的触敏表面、传感器或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性实施方案中，触敏显示器系统112与用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用lcd(液晶显示器)技术、lpd(发光聚合物显示器)技术、或led(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示器系统112和显示控制器156任选地使用现在已知的或以后开发的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示器系统112的一个或多个接触点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性、电阻性、红外线和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从appleinc.(cupertino,california)的
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等与触敏显示器系统112进行接触。在一些实施方案中，该用户界面被设计为与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入那样精确。在一些实施方案中，设备将基于手指的粗略输入翻译为精确的指针/光标位置或命令，以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中，触摸板是设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(ac))、再充电系统、电力故障检测电路、功率转换器或逆变器、电力状态指示器(例如，发光二极管(led))和与便携式设备中的电力生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1a示出与i/o子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜投射的光，并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备的前部上的触敏显示器系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如用于自拍、用于在用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1a示出与i/o子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变计、电容式力传感器、电力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触摸屏显示器系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1a示出与外围设备接口118耦接的接近传感器166。作为另外一种选择，接近传感器166与i/o子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被放置在用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器167。图1a示出与i/o子系统106中的触觉反馈控制器161耦接的触觉输出发生器。一个或多个触觉输出发生器167任选地包括一个或多个电声设备，诸如扬声器或其他音频部件，和/或将能量转换成线性运动的机电设备，诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，将电信号转换成设备上的触觉输出的部件)。该一个或多个触觉输出发生器167从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示器系统112相背对的后部上。
设备100任选地还包括一个或多个加速度计168。图1a示出与外围设备接口118耦接的加速度计168。作为另外一种选择，加速度计168任选地与i/o子系统106中的输入控制器160耦接。在一些实施方案中，基于对从一个或多个加速度计接收的数据的分析在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100任选地除了一个或多个加速度计168之外还包括磁力仪(未示出)和gps(或glonass或其他全球导航系统)接收器(未示出)，以用于获取关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，被存储在存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(gps)模块(或指令集)135、应用程序(或指令集)136、以及特定于音频的模块(包括音频预览模块163-1、音频修改模块163-2和音频更改模块163-3)。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图1a和图3中所示。设备/全局内部状态157包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，该显示状态用于指示什么应用程序、视图或其他信息占据触敏显示器系统112的各个区域；传感器状态，该传感器状态包括从设备的各个传感器和其他输入或控制设备116获取的信息；和关于设备位置和/或姿态的位置和/或定位信息。
操作系统126(例如，ios、darwin、rtxc、linux、unix、osx、windows、或嵌入式操作系统诸如vxworks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电力管理等)的各种软件部件和/或驱动器，并且有利于各种硬件和软件部件之间的通信。
通信模块128促进通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由rf电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(usb)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线lan等)耦接。在一些实施方案中，外部端口是与appleinc.(cupertino,california)的一些
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与接触(例如，通过手指或通过触笔)的检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的变化)，该接触点的移动由一系列接触数据来表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触图案(例如，所检测到的接触的不同运动、定时和/或强度)。因此，任选地通过检测特定接触图案来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。在另一个示例中，在触敏表面上检测到手指轻扫手势包括检测到手指按下事件，然后检测到一个或多个手指拖动事件，并且随后检测到手指抬起(抬离)事件。类似地，任选地通过检测触笔的特定接触图案针对触笔来检测轻击、轻扫、拖动和其他手势。
在一些实施方案中，检测手指轻击手势依赖于检测到手指按下事件与手指抬起事件之间的时间长度，但是独立于检测到手指按下事件与手指抬起事件之间的手指接触的强度。在一些实施方案中，根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如，小于0.1、0.2、0.3、0.4或0.5秒)来检测轻击手势，而不管在轻击期间手指接触的强度是否满足给定强度阈值(大于标称接触检测强度阈值)，例如轻压强度阈值或深压强度阈值。因此，手指轻击手势可满足不要求接触的特征强度满足给定强度阈值以便满足特定输入标准的特定输入标准。为了清楚起见，轻击手势中的手指接触通常需要满足标称接触检测强度阈值以便检测到手指按下事件，低于该标称接触检测强度阈值不能检测到接触。类似分析应用于检测通过触笔或其他接触而进行的轻击手势。在设备能够检测到悬停在触敏表面上方的手指或触笔接触的情况下，标称接触检测强度阈值任选地不对应于手指或触笔与触敏表面之间的物理接触。
相同概念以类似方式应用于其他类型的手势。例如，任选地基于满足与被包括在手势中的接触的强度无关或者不要求执行手势的一个或多个接触达到强度阈值以便被识别的标准来检测轻扫手势、捏合手势、取消捏合手势和/或长按手势。例如，基于一个或多个接触的移动量来检测轻扫手势；基于两个或更多个接触朝向彼此的移动来检测捏合手势；基于两个或更多个接触远离彼此的移动来检测取消捏合手势；并且基于触敏表面上的具有小于阈值移动量的接触的持续时间来检测长按手势。因此，特定手势识别标准不要求一个或多个接触的强度满足相应强度阈值以便满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的一个或多个接触没有达到相应强度阈值的情况下得到满足，并且还能够在手势中的接触中的一个或多个接触达到或超过相应强度阈值的情况下得到满足。在一些实施方案中，基于确定在预定义的时间段内检测到手指按下和手指抬起事件来检测轻击手势，而不考虑在预定义的时间段期间接触是高于还是低于相应强度阈值，并且基于确定接触移动大于预定义的量值来检测轻扫手势，即使在接触移动结束时接触也高于相应强度阈值。即使在对手势的检测受到执行手势的接触的强度的影响(例如，设备在接触的强度高于强度阈值时较快地检测到长按，或者在接触的强度较高时延迟对轻击输入的检测)的具体实施中，对那些手势的检测不要求接触达到特定强度阈值，只要能够在接触没有达到特定强度阈值的情况下满足用于识别手势的标准(例如，即使识别手势所花的时间量改变)。
在某些情况下，接触强度阈值、持续时间阈值和移动阈值被组合成多种不同的组合，以便创建用于区分指向相同输入元素或区域的两个或更多个不同手势的启发法，使得启用与相同输入元素的多个不同交互以提供一组更丰富的用户交互和响应。一组特定手势识别标准不要求一个或多个接触的强度满足相应强度阈值以便满足特定手势识别标准的陈述并不排除其他强度依赖手势识别标准的同时评估以识别具有在手势包括具有高于相应强度阈值的强度的接触时满足的标准的其他手势。例如，在某些情况下，用于第一手势的第一手势识别标准(其不要求一个或多个接触的强度满足相应强度阈值以便满足第一手势识别标准)与用于第二手势的第二手势识别标准(其依赖于一个或多个接触达到相应强度阈值)竞争。在此类竞争中，如果首先满足用于第二手势的第二手势识别标准，则手势任选地不被识别为满足用于第一手势的第一手势识别标准。例如，如果接触在接触移动预定义的移动量之前达到相应强度阈值，则检测到深压手势而不是轻扫手势。相反，如果接触在接触达到相应强度阈值之前移动预定义的移动量，则检测到轻扫手势而不是深压手势。即使在此类情况下，用于第一手势的第一手势识别标准仍然不要求一个或多个接触的强度满足相应强度阈值以便满足第一手势识别标准，因为如果接触保持低于相应强度阈值直到手势结束(例如，具有不增大到高于相应强度阈值的强度的接触的轻扫手势)，则手势将已被第一手势识别标准识别为轻扫手势。因此，不要求一个或多个接触的强度满足相应强度阈值以便满足特定手势识别标准的特定手势识别标准将(a)在某些情况下忽略接触相对于强度阈值的强度(例如，对于轻击手势)和/或(b)在某种情况下仍然依赖于接触相对于强度阈值的强度，在某种意义上如果在特定手势识别标准识别到与输入对应的手势(例如，对于正与深压手势进行竞争以进行识别的长按手势)之前一组竞争性强度相依手势识别标准(例如，对于深压手势)将输入识别为对应于强度相依手势，则该特定手势识别标准(例如，对于长按手势)将失败。
图形模块132包括用于在触敏显示器系统112或其他显示器上呈现和显示图形的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，包括但不限于文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储待使用的用于表示图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收指定待显示的图形的一个或多个代码，在必要的情况下还接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据以输出到显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件，该指令由一个或多个触觉输出发生器167使用，以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、im141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键。
gps模块135确定设备的位置，并且提供该信息以在各种应用程序中使用(例如，提供给电话138以用于基于位置的拨号、提供给相机143作为照片/视频元数据、以及提供给提供基于位置的服务的应用程序，诸如天气桌面小程序、本地黄页桌面小程序、和地图/导航桌面小程序)。
应用136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(im)模块141；
·新闻模块142；
·用于静止图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5和由用户获取的其他桌面小程序，以及用户创建的桌面小程序149-6；
·用于制作用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其任选地由视频播放器模块和音乐播放器模块构成；
·记事本模块153；
·地图模块154；和/或
·在线视频模块155。
任选地被存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持java的应用程序、加密、数字版权管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132以及文本输入模块134，联系人模块137包括用于管理通讯录或联系人列表(例如，被存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)的可执行指令，包括：将一个或多个姓名添加到通讯录；从通讯录中删除一个或多个姓名；使一个或多个电话号码、一个或多个电子邮件地址、一个或多个物理地址或其他信息与姓名相关联；使图像与姓名相关联；对姓名进行分类和排序；提供电话号码和/或电子邮件地址以发起和/或促进通过电话138、视频会议139、电子邮件140或im141进行的通信；等等。
结合rf电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话以及当会话完成时断开或挂断的可执行指令。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一者。
结合rf电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括用于根据用户指令发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合rf电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合rf电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于输入与即时消息对应的字符序列、修改先前输入的字符、发送相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(sms)或多媒体消息服务(mms)协议或者使用针对基于互联网的即时消息的xmpp、simple、apple推送通知服务(apns)或imps)、接收即时消息以及查看所接收的即时消息的可执行指令。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或在mms和/或增强消息服务(ems)中所支持的其他附件。如本文所用，“即时消息”是指基于电话的消息(例如，使用sms或mms发送的消息)和基于互联网的消息(例如，使用xmpp、simple、apns或imps发送的消息)两者。
结合触敏显示器系统112、显示控制器156、接触/运动模块130和图形模块132，新闻模块142包括用于显示特定于用户的新闻文章(例如，基于特定于用户的偏好从多种出版物来源收集的文章)并且允许用户与特定于用户的新闻文章进行交互(或与特定于用户的新闻文章内所包含的部分内容进行交互)的可执行指令。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频的可执行指令。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合rf电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收和显示网页或其部分以及链接到网页的附件和其他文件)的可执行指令。
结合rf电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合rf电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括html(超文本标记语言)文件、css(层叠样式表)文件和javascript文件。在一些实施方案中，桌面小程序包括xml(可扩展标记语言)文件和javascript文件(例如，yahoo！桌面小程序)。
结合rf电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、rf电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载并重放以一种或多种文件格式诸如mp3或aac文件存储的记录音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式重放视频(例如，在触敏显示器系统112上或在无线地或经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括mp3播放器诸如ipod(苹果公司的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合rf电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、gps模块135和浏览器模块147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾驶方向；关于特定位置处或附近的商店和其他兴趣点的数据；以及其他基于位置的数据)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、rf电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括可执行指令，这些可执行指令允许用户访问、浏览、接收(例如，通过流媒体和/或下载)、重放(例如，在触摸屏112上或在无线地或经由外部端口124连接的外部显示器上)、发送具有特定在线视频的链接的电子邮件，以及以其他方式管理呈一种或多种文件格式诸如h.264的在线视频。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送至特定在线视频的链接。
如图1a所描绘，便携式多功能设备100还包括用于向音频系统提供声音信息的音频输出提供模块163，使得音频系统可呈现音频输出(例如，如图5所示，音频系统可被包括在便携式多功能设备100中或与便携式多功能设备100分开)。音频输出提供模块163任选地包括以下模块(或指令集)或者其子集或超集：
用于存储关于对应于或响应于例如与便携式多功能设备100的用户交互而产生的音频特性的信息的音频配置文件402(例如，音频包络特征、音高特性、左右(l-r)平衡特性、混响曲线、频率滤波特性)；
音频预览模块163-1，其包括用于提供信息以播放音频内容(例如，特定歌曲)的预览并且任选地响应于对呈现第一音频输出的请求而调整不同内容(例如，不同歌曲)的呈现(例如，使得这两首歌曲模糊在一起)的可执行指令；
音频修改模块163-2，其包括用于响应于检测到指向用户界面中的示能表示(例如，相同示能表示或不同示能表示)的第二用户输入而更改第一音频输出(例如，由指向用户界面中的示能表示的第一用户输入产生的音频输出输入)的可执行指令。在一些实施方案中，音频修改模块163-1修改相应的音频配置文件402；以及
音频更改标准模块163-3，其包括用于基于音频更改标准来确定音频修改模块163-2是否应该修改第一音频输出的可执行指令。
上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必被实现为分开的软件程序、过程或模块，并且因此这些模块的各种子组任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子集。此外，存储器102任选地存储上面未描述的附加模块和数据结构。
在一些实施方案中，设备100是这样一种设备，即该设备上的一组预定义的功能的操作唯一地通过触摸屏和/或触摸板来执行。通过使用触摸屏和/或触摸板作为用于设备100的操作的主要输入控制设备，任选地减少设备100上的物理输入控制设备(诸如下压按钮、拨号盘等等)的数量。
唯一地通过触摸屏和/或触摸板执行的该预定义的的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触摸板在被用户触摸时将设备100从设备100上所显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备而不是触摸板。
图1b是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1a中)或370(图3)包括事件分类器170(例如，在操作系统126中)以及相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用于确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用于确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被应用程序136-1显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列、以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从i/o子系统106或传感器诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从i/o子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或超过预先确定的持续时间)时传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户可在显示器上看到的控件和其他元件构成。
与应用程序相关联的用户界面的另一方面是一组视图，在本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被认为是正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，该初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于接触的手势的子事件相关的信息。当应用程序具有在分级结构中组织的多个视图时，命中视图确定模块172将命中视图识别为应对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并且因此确定所有活跃参与的视图应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。作为另外一种选择，应用程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是独立模块，或者是被存储在存储器102中的另一个模块诸如接触/运动模块130的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中每个应用程序视图包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用136-1的每个应用视图191包括一个或多个事件识别器180。通常，相应应用视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的更高水平的对象。在一些实施方案中，相应事件处理程序190包括以下一者或多者：数据更新器176、对象更新器177、gui更新器178和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或gui更新器178来更新应用程序内部状态192。作为另外一种选择，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和gui更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括至少以下一个子集：元数据183和事件传递指令188(其任选地包括子事件传递指令)。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的的事件或子事件定义进行比较，并且基于该比较，确定一个事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件(例如事件1(187-1)、事件2(187-2)以及其他事件)的定义(例如，预定义的的子事件序列)。在一些实施方案中，事件187中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是在所显示的对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬离(触摸结束)、被显示对象上的预先确定的时长的第二次触摸(触摸开始)、以及预先确定时长的第二次抬离(触摸结束)。在另一个示例中，事件2(187-2)的定义是显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬起(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪个用户界面对象与该触摸(子事件)相关联。如果每个所显示的对象与相应的事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪和处理持续的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当识别事件的一个或多个特定子事件时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义的过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而无需激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块145中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建并更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。gui更新器178更新gui。例如，gui更新器178准备显示信息并将其发送到图形模块132以供在触敏显示器上显示。
在一些实施方案中，一个或多个事件处理程序190包括数据更新器176、对象更新器177和gui更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和gui更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述讨论还应用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地利用鼠标移动和鼠标按钮按压，任选地结合单次或多次键盘按压或保持；触摸板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛运动；生物识别输入；和/或其任何组合作为与定义要识别的事件的子事件对应的输入。
图2示出了根据一些实施方案的具有触摸屏(例如，图1a的触敏显示器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(ui)200内显示一个或多个图形。在本实施方案中以及在下文中描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在附图中没有按比例绘制)或者利用一个或多个触笔203(在附图中没有按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”按钮或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器112上的gui中的软按键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204、用于使设备通电/断电和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(sim)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过按下按钮并使按钮在下压状态中保持预定义的时间间隔来使设备通电/断电；通过按下按钮并在经过预定义的时间间隔之前释放按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165、和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的多功能设备的示例的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(cpu)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一个或多个通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时叫做芯片组)。设备300包括具有显示器340的输入/输出(i/o)接口330，该显示器通常是触摸屏显示器。i/o接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于上文参考图1a所述的一个或多个触觉输出发生器167)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器和/或类似于上文参考图1a所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器诸如dram、sram、ddrram或其他随机存取固态存储器设备，并且任选地包括非易失性存储器诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离一个或多个cpu310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与被存储便在携式多功能设备100(图1a)的存储器102中的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块、和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1a)的存储器102任选地不存储这些模块。
图3中的上述所识别的元件中的每个元件任选地被存储在一个或多个先前提到的存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的指令集。上述所识别的模块或程序(即，指令集)不必被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子组任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子集。此外，存储器370任选地存储上面未描述的附加模块和数据结构。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“ui”)的实施方案。
图4a示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元素或者其子集或超集：
·用于一个或多个无线通信诸如蜂窝信号和wi-fi信号的一个或多个信号强度指示符402；
·时间404；
·蓝牙指示符405；
·电池状态指示符406；
·具有针对常用应用程序的图标的托盘408，这些图标诸如：
○电话模块138的被标记为“电话”的图标416，该图标416任选地包括未接来电或语音留言的数量的指示符414；
○电子邮件客户端模块140的被标记为“邮件”的图标418，该图标418任选地包括未读电子邮件的数量的指示符410；
○浏览器模块147的被标记为“浏览器”的图标420；以及
○视频和音乐播放器模块152(也称为ipod(appleinc.的商标)模块152)的被标记为“ipod”的图标422；以及
·其他应用程序的图标，诸如：
○im模块141的被标记为“消息”的图标424；
○日历模块148的被标记为“日历”的图标426；
○图像管理模块144的被标记为“照片”的图标428；
○相机模块143的被标记为“相机”的图标430；
○在线视频模块155的被标记为“在线视频”的图标432；
○股市桌面小程序149-2的被标记为“股市”的图标434；
○地图模块154的被标记为“地图”的图标436；
○天气桌面小程序149-1的被标记为“天气”的图标438；
○闹钟桌面小程序149-4的被标记为“时钟”的图标440；
○新闻模块142的被标记为“新闻”的图标442；
○记事本模块153的被标记为“记事本”的图标444；和
○设置应用程序或模块的图标446，该图标446提供对设备100及其各种应用程序136的设置的访问。
应当指出的是，图4a中示出的图标标签仅仅是示例。例如，在一些实施方案中，视频和音乐播放器模块152的图标422被标记为“音乐”或“音乐播放器”。其他标签任选地用于各种应用程序图标。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4b示出了具有与显示器450分开的触敏表面451(例如，图3中的平板或触摸板355)的设备(例如，图3中的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触的强度传感器(例如，传感器359中的一个或多个传感器)，和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器359。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后许多实施方案，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4b中所示。在一些实施方案中，触敏表面(例如，图4b中的451)具有与显示器(例如，450)上的主轴(例如，图4b中的453)对应的主轴(例如，图4b中的452)。根据这些实施方案，设备检测在对应于显示器上的相应位置的位置(例如，在图4b中，460对应于468并且462对应于470)处与触敏表面451的接触(例如，图4b中的460和462)。这样，在触敏表面(例如，图4b中的451)与多功能设备的显示器(例如，图4b中的450)分开时，由设备在触敏表面上检测到的用户输入(例如，接触460和462及其移动)被该设备用于操纵显示器上的用户界面。应当理解，类似方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、手指轻击手势、手指轻扫手势等)来给出下面的实施方案，但是应当理解，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替代。例如，轻扫手势任选地由鼠标点击(例如，代替接触)，之后是光标沿着轻扫的路径的移动(例如，代替接触的移动)来替代。作为另一个示例，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)来替代。类似地，当同时检测到多个用户输入时，应当理解，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所使用，术语“焦点选择器”是指示用户正与其进行交互的用户界面的当前部分的输入元素。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触摸板355或图4b中的触敏表面451)上检测到输入(例如，按压输入)的情况下，根据检测到的输入来调整该特定用户界面元素。在包括实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1a中的触敏显示器系统112或图4a中的触摸屏)的一些具体实施中，在触摸屏上所检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时，根据所检测到的输入来调整该特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据用户界面的不同区域之间的焦点移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制以便传送与用户界面的用户打算的交互(例如，通过向设备指示用户界面的用户打算与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量值被合并(例如，加权平均或者加和)，以确定估计的接触的力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。作为另外一种选择，在触敏表面上检测到的接触区域的尺寸和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代测量值直接用于确定是否已超过强度阈值(例如，强度阈值是以与替代测量值对应的单位来描述的)。在一些具体实施中，将接触力或压力的替代测量值转换为预估力或压力，并且使用预估力或压力来确定是否已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定用户是否已执行操作(例如，以便确定用户是否已在图标上进行“点击”)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，可将触控板或触摸屏显示器的鼠标“点击”阈值设置为大范围的预定义的阈值中的任何一个预定义的阈值，而无需改变触控板或触摸屏显示硬件。另外，在一些实施方式中，设备的用户被提供有软件设置，以用于调整该组强度阈值中的一个或多个(例如，通过调整单独的强度阈值和/或通过利用系统级点击“强度”参数来同时调整多个强度阈值)。
如在说明书和权利要求书中所使用的，接触的术语“特征强度”是指基于一个或多个接触的强度的接触特征。在一些实施方案中，特征强度基于多个强度样本。特性强度任选地基于相对于预定义的事件(例如，在检测到接触之后，在检测到接触抬起之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特性强度任选地基于以下各项中的一者或多者：接触强度的最大值、接触强度的均值、接触的强度平均值、接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值等。在一些实施方案中，在确定特性强度时使用接触的持续时间(例如，在特性强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特性强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在本示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作(例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面可接收连续的轻扫接触，该连续的轻扫接触从起始位置过渡并到达结束位置(例如拖动手势)，在该结束位置处，接触的强度增大。在该示例中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触部分)。在一些实施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如，该平滑化算法任选地包括以下各项中的一者或多者：不加权轻扫平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，为了确定特征强度的目的，这些平滑化算法消除了轻扫接触的强度中的窄尖峰或下降。
这里描述的用户界面图(例如，图6a-6y和图7a-7g)可选地包括示出了触敏表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值it0、轻按压强度阈值itl、深按压强度阈值itd(例如，至少初始高于il))和/或一个或多个其他强度阈值(例如，低于ih的强度阈值il)的当前强度的各种强度图。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解释该图。在一些实施方案中，轻按压强度阈值对应于设备将执行通常与点击物理鼠标的按钮或触控板相关联的操作的强度。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于低于其不再检测到接触的标称接触检测强度阈值it0)的接触时，该设备将根据触敏表面上的接触移动来移动焦点选择器，而无需执行与轻按压强度阈值或深按压强度阈值相关联的操作。通常，除非另有说明，否则这些强度阈值在不同组的用户界面图之间是一致的。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对由设备检测的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如，对于一些“深按压”输入，只有当满足第一强度阈值与满足第二强度阈值之间已过去延迟时间时，在输入期间超过第二强度阈值并大于轻按压的第一强度阈值的接触的强度才触发第二响应。该延迟时间的持续时间通常小于200ms(例如，40ms、100ms或120ms，这取决于第二强度阈值的量值，其中延迟时间随着第二强度阈值增大而增大)。这个延迟时间帮助避免意外的深按压输入。作为另一个示例，对于一些“深按压”输入，在满足第一强度阈值之后会出现敏感度减小的时间段。在该敏感度减小的时间段期间，第二强度阈值增大。第二强度阈值的这种暂时增大也有助于避免意外的深按压输入。对于其他深按压输入，对深按压输入检测的响应不取决于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素而变化，诸如用户设置、接触运动、输入定时、应用程序运行、施加强度的速率、并发输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等。在美国专利申请序列号14/399,606和14/624,296中描述了示例性因素，该专利申请的全部内容以引用方式并入本文。
例如，图4c示出了部分地基于随时间的触摸输入476的强度而随时间改变的动态强度阈值480。动态强度阈值480是以下两个分量的和：第一分量474，其在自从初始检测到触摸输入476的预定义的延迟时间p1之后随时间衰减；以及第二分量478，其随时间追踪触摸输入476的强度。第一分量474的初始高强度阈值减少“深按压”响应的意外触发，同时如果触摸输入476提供足够的强度，则仍然允许立即的“深按压”响应。第二分量478通过触摸输入中的逐渐强度起伏来减少“深按压”响应的无意触发。在一些实施方案中，当触摸输入476满足动态强度阈值480(例如，在图4c中的点481处)时，触发“深按压”响应。
图4d示出了另一个动态强度阈值486(例如，强度阈值id)。图4d还示出了两个其他强度阈值：第一强度阈值ih和第二强度阈值ih。在图4d中，虽然触摸输入484在时间p2之前满足第一强度阈值ih和第二强度阈值il，但直到在时间482已过去延迟时间p2才提供响应。同样在图4d中，动态强度阈值486随时间衰减，其中在从时间482经过去预定义的延迟时间p1之后，该衰减在时间488开始(当触发与第二强度阈值il相关联的响应时)。这种类型的动态强度阈值减少了：紧接着触发与较低强度阈值相关联的响应、或在触发与较低强度阈值相关联的响应的同时，意外触发与动态强度阈值id相关联的响应，该较低强度阈值诸如第一强度阈值ih或第二强度阈值ih。
图4e示出了又一个动态强度阈值492(例如，强度阈值id)。在图4e中，在自从初始检测到触摸输入490已过去延迟时间p2之后，触发与强度阈值il相关联的响应。同时，在自从初始检测到触摸输入490已过去预定义的延迟时间p1之后，动态强度阈值492衰减。因此，即使当触摸输入490的强度低于另一个强度阈值(例如，强度阈值il)时，在触发与强度阈值il相关联的响应之后触摸输入490的强度减小，随后触摸输入490的强度增大，而无需释放触摸输入490，可触发与强度阈值id相关联的响应(例如，在时间494)。
接触的特征强度从低于轻按压强度阈值itl的强度增大到介于轻按压强度阈值itl与深按压强度阈值itd之间的强度有时被称为“轻按压”输入。接触的特征强度从低于深按压强度阈值itd的强度到高于深按压强度阈值itd的强度的增大有时被称为“深按压”输入。接触的特征强度从低于接触检测强度阈值it0的强度增大到介于接触检测强度阈值it0与轻按压强度阈值itl之间的强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检测强度阈值it0的强度减小到低于接触检测强度阈值it0的强度有时被称为检测到接触从触摸表面抬起。在一些实施方案中，it0为零。在一些实施方案中，it0大于零。在一些图示中，阴影圆或椭圆用于表示触敏表面上的接触的强度。在一些图示中，没有阴影的圆或椭圆用于表示触敏表面上的相应接触而无需指定相应接触的强度。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值来执行相应操作(例如，在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。
在一些实施方案中，设备采用强度滞后以避免有时称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义的关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低x个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。类似地，在一些实施方案中，仅在设备检测到接触的强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触的强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触的强度增大或接触的强度减小)来执行相应操作。
为了容易解释，任选地，响应于检测到以下情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触的强度增大到高于按压输入强度阈值、接触的强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。如上所述，在一些实施方案中，对这些响应的触发也取决于满足基于时间的标准(例如，在满足第一强度阈值与满足第二强度阈值之间已过去延迟时间)。
图5示出了与显示器450和触敏表面451进行通信的示例性电子设备。对于电子设备的至少一个子集，根据一些实施方案，显示器450和/或触敏表面451被集成到电子设备中。虽然参考与电子设备(例如，图1a-1b中的便携式多功能设备100或图3中的设备300)进行通信的触敏表面451和显示器450来描述以下更详细描述的示例，但应当理解，根据一些实施方案，触敏表面和/或显示器与电子设备集成，而在其他实施方案中，触敏表面和显示器中的一个或多个与电子设备分开。另外，在一些实施方案中，电子设备具有集成显示器和/或集成触敏表面，并且与和电子设备分开的一个或多个附加显示器和/或触敏表面进行通信。
在一些实施方案中，对具有用户界面导航逻辑部件483的单个电子设备(例如，以下参考图5描述的计算设备a)执行以下参考图6a-6y和7a-7g描述的所有操作。然而，应当理解，通常将多个不同的电子设备链接在一起，以便执行以下参考图6a-6y和7a-7g描述的操作(例如，具有用户界面导航逻辑部件483的电子设备与具有显示器450的独立电子设备和/或具有触敏表面451的独立电子设备进行通信)。在这些实施方案中的任何一个实施方案中，以下参考图6a-6y和7a-7g描述的电子设备是包含用户界面导航逻辑部件483的电子设备(或多个设备)。另外，应当理解，在各种实施方案中，用户界面导航逻辑部件483可在多个不同的模块或电子设备之间进行划分；然而，为了本文的描述的目的，用户界面导航逻辑部件483将主要指驻留在单个电子设备中，以避免不必要地模糊实施方案的其他方面。
在一些实施方案中，用户界面导航逻辑部件483包括一个或多个模块(例如，一个或多个事件处理器190，其包括一个或多个对象更新器177和一个或多个gui更新器178，如以上参考图1b更详细地描述的)，该一个或多个模块接收解释输入并且响应于这些解释输入来生成用于根据解释输入来更新图形用户界面的指令，该指令随后用于更新显示器上的图形用户界面。在一些实施方案中，解释输入是已被检测(例如，通过图1a-1b和3中的接触运动130)、识别(例如，通过图1b中的事件识别器180)、和/或优先化(例如，通过图1b中的事件分类器170)的输入。在一些实施方案中，解释输入由电子设备处的模块生成(例如，电子设备接收原始接触输入数据以便从原始接触输入数据识别手势)。在一些实施方案中，一些或所有的解释输入由电子设备作为解释输入而接收(例如，包括触敏表面451的电子设备处理原始接触输入数据以便从原始接触输入数据识别手势，并且将指示手势的信息发送到包括用户界面导航逻辑部件483的电子设备)。
在一些实施方案中，显示器450和触敏表面451两者与包含用户界面导航逻辑部件483的电子设备(例如，图5中的计算设备a)集成。例如，电子设备可以是具有集成显示器(例如，图3中的340)和触摸板(例如，图3中的355)的台式计算机或膝上型计算机。作为另一个示例，电子设备可以是具有触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施方案中，触敏表面451与电子设备集成，而显示器450未与包含用户界面导航逻辑部件483的电子设备(例如，图5中的计算设备b)集成。例如，电子设备可以是具有(通过有线连接或无线连接)连接到单独显示器(例如，计算机、监视器、电视机等)的集成触摸板(例如，图3中的355)的设备300(例如，台式计算机或膝上型计算机)。作为另一示例，电子设备可以是具有(通过有线连接或无线连接)连接到单独显示器(例如，计算机监视器、电视机等)的触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施方案中，显示器450与电子设备集成，而触敏表面451未与包含用户界面导航逻辑部件483的电子设备(例如，图5中的计算设备c)集成。例如，电子设备可以是具有(通过有线连接或无线连接)连接到单独触敏表面(例如，远程触摸板、便携式多功能设备等)的集成显示器(例如，图3中的340)的设备300(例如，台式计算机、膝上型计算机、具有集成机顶盒的电视机)。作为另一个示例，电子设备可以是具有(通过有线连接或无线连接)连接到单独触摸敏感表面(例如，远程触摸板、具有用作远程触摸板的触摸屏的另一个便携式多功能设备等)的触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施方案中，显示器450和触敏表面451两者不与包含用户界面导航逻辑部件483的电子设备(例如，图5中的计算设备d)集成。例如，电子设备可以是(通过有线连接或无线连接)连接到单独触敏表面(例如，远程触摸板、便携式多功能设备等)和单独显示器(例如，计算机监视器、电视机等)的独立电子设备300(例如，台式计算机、膝上型计算机、控制台、机顶盒等)。作为另一个示例，电子设备可以是具有(通过有线连接或无线连接)连接到单独触摸敏感表面(例如，远程触摸板、具有用作远程触摸板的触摸屏的另一个便携式多功能设备等)的触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施方案中，计算设备具有集成音频系统。在一些实施方案中，计算设备与和该计算设备分开的音频系统进行通信。在一些实施方案中，音频系统(例如，集成在电视机单元中的音频系统)与单独显示器450集成。在一些实施方案中，音频系统(例如，立体声系统)是与计算设备和显示器450分开的独立系统。
用户界面和相关联的过程
现在注意可使用与显示器和触敏表面进行通信和/或包括其的电子设备来实现的用户界面(“ui”)和相关联的过程的实施方案，该电子设备诸如计算设备(例如，图5中的计算设备a-d中的一个计算设备)。在一些实施方案中，该计算设备包括用于检测与触敏表面的接触的强度的一个或多个传感器。在一些实施方案中，该计算设备包括显示器。在一些实施方案中，该计算设备包括音频系统。在一些实施方案中，该计算设备既不包括显示器也不包括音频系统。在一些实施方案中，显示器包括音频系统(例如，显示器和音频系统是电视机的部件)。在一些实施方案中，音频系统和显示器的某些部件是分开的(例如，显示器是电视机的部件，并且音频系统包括与电视机分开的条形音箱)。在一些实施方案中，计算设备与单独遥控器通信，该计算设备通过该遥控器接收用户输入(例如，遥控器包括用户通过其与计算设备进行交互的触敏表面或触摸屏)。在一些实施方案中，遥控器包括用于检测遥控器运动(例如，用户拾起遥控器)的运动传感器(例如，加速度计和/或陀螺仪)。
尽管将参考与显示器450分开的触敏表面451上的输入来给出以下的一些示例，但是在一些实施方案中，如图4a所示，设备检测触摸屏显示器上的输入(其中触敏表面与显示器组合)。为了便于说明，将参考对具有触敏显示系统112的设备执行的操作来讨论一些实施方案。在此类实施方案中，焦点选择器可选地是：相应的手指或触笔触点、与手指或触笔触点对应的代表点(例如，相应触点的形心或与相应触点相关联的点)，或在触敏显示系统112上检测到的两个或更多个触点的形心。然而，可选地，在显示显示器450上的图中所示的用户界面时响应于在触敏表面451上检测到接触而对具有显示器450和单独触敏表面451以及焦点选择器的设备执行类似的操作。
图6a-6y示出了根据一些实施方案的用于动态地调整音频输出的呈现的示例性用户界面。更具体地，图6a-6y示出了基于用户输入的量值来调整音频内容的音量和/或非音量特性的用户界面。例如，当在设备上播放歌曲时，用户可执行用于请求提供其他音频内容的手势。例如，可在音乐应用程序中播放歌曲，并且用户可在相同音乐应用程序或不同应用程序中请求另一个音频内容(例如，另一个音频内容可以是在即时消息应用程序中由另一个用户发送的视频的音频部分)。如以下更详细地解释的，音频内容的模糊包括动态地调整第一音频内容(例如，用户输入之前在设备上播放的歌曲)的非音量特性(例如，立体声平衡)。
图6a-6h示出了以下示例：设备(例如，为了简单起见而称为设备100)在音乐应用程序中呈现第一首歌曲或专辑时，根据轻扫手势的长度而在音乐应用程序中的第二首歌曲或专辑中模糊。
图6a示出了在设备100的触摸屏112上显示的音乐应用程序用户界面602(为了视觉清晰起见，设备100的除了触摸屏112之外的剩余部分未被显示)。音乐应用程序用户界面602包括指示设备100当前正在播放贝多芬的月光奏鸣曲的标题604。即，设备100正在向音频系统提供声音信息606-1，使得音频系统可呈现贝多芬的月光奏鸣曲(或来自贝多芬的月光奏鸣曲的音轨/歌曲)。作为简写，短语“设备100呈现音频内容”等用于表示设备100向音频系统提供声音信息，使得音频系统可呈现与音频内容对应的音频输出。如参考图5所解释的，音频系统可集成到设备100中或与设备100分开。
如音频图608示意性所示的，贝多芬的月光奏鸣曲由声音信息606-1表示。声音信息606-1包括音量(由声音信息606-1在音频图表608的垂直轴线上的位置表示)以及除音量之外的音频特性，在该示例中该音频特性为左右立体声平衡(由声音信息606-1在音频图608的水平轴线上的位置表示的“l-r平衡”)。在一些实施方案中，非音量音频特性是滤波特性(例如，低通滤波器的截止频率和/或衰减因子)。
音乐应用程序用户界面602还包括音频内容表示610(例如，表示贝多芬的月光奏鸣曲的音频内容表示610-1；表示莫扎特的安魂曲的音频内容表示610-2；以及表示勃拉姆斯的女低音狂想曲的音频内容表示610-3)。音频内容表示610是各自占据触摸屏112上的用户界面602的相应区域的图形对象(也称为“图形用户界面对象”)。在各种情况下，音频内容表示610表示：歌曲、专辑、铃声、视频内容对象(例如，视频内容在文本即时消息窗口中出现的位置)、在文本即时消息窗口中出现的音频文件对象、或包括音频成分的任何其他类型的媒体内容。在此示例中，音频内容表示610是专辑的表示并且包括所显示的专辑封面。
在图6a-6h所示的示例的开始，l-r平衡是均衡的，并且除了声音信息606-1之外，设备100不提供任何其他声音信息。
如图6b所示，当音频系统正在呈现贝多芬的月光奏鸣曲时，设备100接收对应于呈现莫扎特的安魂曲的请求的输入612(例如，轻扫手势)。在此示例中，因为通过与莫扎特的安魂曲对应的音频内容表示610-2来接收输入612，所以输入612是用于呈现莫扎特的安魂曲的请求。
在一些实施方案中，响应于输入612的初始部分(例如，轻扫手势的轻微移动)，设备100暗示(例如，听觉地和/或视觉上)其将开始模糊音频。在一些实施方案中，如本文所使用的，术语“模糊音频”是指改变音频特性以便改变模糊音频在其播放时的突出性，以使得用户能够更好地区分与模糊音频同时播放的其他音频。当音频“模糊”时，音频中的“模糊渐入”对应于增大模糊音频的突出性(例如，通过增大低通滤波器的截止频率和/或使音频朝向中心声道偏移)，而“模糊渐出”对应于减少模糊音频的突出性(例如，通过减少低通滤波器的截止频率和/或将音频从中心声道移开)。在一些实施方案中，模糊渐入的音频特性包括音量。在一些实施方案中，模糊渐入的音频特性包括一个或多个非音量音频特性(例如，低通滤波器的截止频率或左/右平衡)。例如，设备100提供听觉提示，即通过用输入612的初始部分的量值(例如，轻扫手势的轻微移动)动态地调整声音信息606-1的l-r平衡，音频将开始模糊。在此示例中，声音信息606-1的l-r平衡向左轻微偏移。作为听觉提示的另一个示例，音量信息606-1的音量减小。在一些实施方案中，设备100还通过增大音频内容表示610-2(其在图6b中由围绕音频内容表示610-2的粗体边框示意性地示出)的视觉突出性来提供视觉提示。在一些实施方案中，增大视觉突出性包括视觉上模糊除音频内容表示610-2之外的其他音频内容表示(以及可选地同样视觉上模糊用户界面的其余部分)。在一些实施方案中，如下所述，在莫扎特的安魂曲听觉上“模糊渐入”之前提供这些提示。
在一些实施方案中，视觉效果(例如，模糊半径)与动态地调整的非音量音频特性结合地改变(例如，随着轻扫延长，用户界面602(除音频内容表示610-2之外)通过偏移声音信息606-1的l-r平衡以锁步方式模糊)。
如图6c-6d所示，设备100向音频系统提供声音信息606-2，以便与贝多芬的月光奏鸣曲同时呈现莫扎特的安魂曲。在一些实施方案中，响应于输入612的量值超过预先确定的阈值(例如，该轻扫移动超过小预先确定的量)，完成第二音频内容的“模糊渐入”。在一些实施方案中，设备100静态地呈现莫扎特的安魂曲；即，一旦莫扎特的安魂曲开始播放，其便以固定的音量和固定的l-r平衡(例如，均衡的l-r平衡)来进行。可替代地，如图所示，也根据输入612的量值来动态地调整莫扎特的安魂曲的呈现。例如，当用户将输入612进一步左移动时，莫扎特的安魂曲的l-r平衡更向左偏移(如图6c-6d中的音频图608中的声音信息606-2的向左偏移所示的)。继续根据轻扫手势来动态地调整贝多芬的月光奏鸣曲的呈现。例如，当用户将输入612进一步左移动时，贝多芬的月光奏鸣曲的l-r平衡更向左偏移(如图6c-6d中的音频图608中的声音信息606-1的向左偏移所示的)。这给予用户以下感觉：贝多芬的月光奏鸣曲正在从中心舞台向左偏移，并且莫扎特的安魂曲正在从右侧偏移到中心舞台上，从而占据月光奏鸣曲的位置。
在一些实施方案中，设备100还根据轻扫手势的量值来动态地调整贝多芬的月光奏鸣曲的音量(例如，当输入612进一步向左移动时，设备100减小音量，如图6c-6d中的音频图608中声音信息606-1的向下偏移所表示的)。在一些实施方案中，设备100还根据轻扫手势的大小来动态地调整莫扎特的安魂曲的音量(例如，当输入612进一步向左移动时，设备100增大莫扎特的安魂曲的音量，如图6c-6d中的音频图608中声音信息606-2的向上偏移所表示的)。在一些实施方案中，贝多芬的月光奏鸣曲和莫扎特的安魂曲的音量大体上与显示器的预定义的区域(例如，整个显示器或显示器的中心区域)内分别显示的表示610-1和610-2的分数成比例。因此，当用户将音频内容表示610-2拉到显示器的中心上时，莫扎特的安魂曲变得在听觉上更加突出以及在听觉上更加居中。
图6e示出了设备100检测用户输入612的结束(例如，用户输入612已被释放)。因此，图6e中不再示出用户输入612。
在一些实施方案中，响应于检测到用户输入612的结束，设备100基于确定输入612的量值超过(或已超过)预先确定的阈值来确定是否继续呈现第一音频内容(例如，并且停止呈现第二音频内容)，或反之亦然。
图6f示出了在此示例中，因为输入612已拖动音频内容表示610-2，使得它比音频内容表示610-1更多地被显示，所以输入612的释放使得音频内容表示610-2移动到屏幕中间的位置，其中设备100仅显示莫扎特的安魂曲。因此，响应于检测到输入612的结束，设备100停止呈现第一音频内容(例如，月光奏鸣曲)并且继续呈现第二音频内容(莫扎特的安魂曲)。在一些实施方案中，设备100完成对莫扎特的安魂曲的动态调整(例如，在释放输入612之后，在0.5秒的时间段内逐渐改变l-r平衡和音量，使得以预设置的音量来均衡地呈现莫扎特的安魂曲)。这通过图6e-6f中的音频图608中的声音信息606-2的向上和向左偏移来示意性地示出。在一些实施方案中，响应于检测到输入612的结束，视觉效果(例如，模糊)也被反转。
图6g-6h示出了如果输入612没有拖动音频内容表示610-2以使其比音频内容表示610-1更多地被显示则在此示例中将会发生什么。因此，图6g示出了在紧接在释放比输入612更短但类似于输入612的输入之后的用户界面602的状态。作为响应，如图6h所示，设备100停止呈现(例如，致使音频系统停止呈现)莫扎特的安魂曲，并且重新开始仅呈现贝多芬的月光奏鸣曲。然后呈现贝多芬的月光奏鸣曲，而无需对其进行动态地调整(例如，在0.5秒内反转l-r平衡和音量的改变，以使得均衡地并且以预设置的音量来呈现贝多芬的月光奏鸣曲)。这通过图6g-6h中的音频图608中的声音信息606-1的向上和向左偏移来示意性地示出。在一些实施方案中，响应于检测到输入的结束，视觉效果(例如，模糊)也被反转。
在一些实施方案中，当输入612的量值满足大于第一预先确定的阈值的第二预先确定的阈值时，设备100在视觉上和听觉上将第二音频输出“弹出”到适当的位置(例如，存在第一阈值，其中如果释放输入，则第二音频输出移动到适当位置，并且存在第二阈值，其中甚至在释放输入之前，第二音频输出弹出到适当的位置)。
在一些实施方案中，作为图6e-6h所示的示例的替代方案，响应于检测到输入612的结束，设备100继续呈现调整的第一音频输出并且继续呈现第二音频输出。
图6i-6o示出了以下示例：设备(例如，为了简单起见而称为设备100)在音乐应用程序中呈现歌曲或专辑时，根据按压输入的强度而在即时消息应用程序(例如，与音乐应用程序不同的应用程序)中的发送到用户的视频的音频部分中模糊。图6i-6o所示的示例的各个方面类似于图6a-6h所示的示例。在此不重复这些细节。图6i-6o所示的示例与图6a-6h所示的示例之间的差异在于：在图6i-6o中，输入是按压输入，其量值是按压输入的强度；并且另外，在图6i-6o中，设备100模糊来自两个不同应用(例如，音乐应用程序和即时消息应用程序)的音频。
此外，图6i-6o示出了通过动态地调整低通滤波器截止频率而不是l-r平衡来模糊音频。为此，图6i-6o包括音频图613。音频图613的垂直轴线表示音量，并且水平轴线表示低通滤波器截止频率。
图6i示出了用于在触摸屏112上显示的即时消息应用程序的用户界面614。用户界面614显示消息616，该消息616中的一些消息由设备100的用户(例如，消息616-1和616-2)接收，并且该消息616中的一些消息由设备100的用户发送(例如，消息616-3)。用户界面614包括指示会话中的参与者的头像618(例如，其头像为618-1的“alex”、以及其头像为618-2的“tina”)。例如，tina向alex发送为视频的表示的消息616-1。
在图6i中，音频图613包括声音信息606-3的表示，从而意味着设备正在呈现音频内容。在这个示例中，声音信息606-3对应于勃拉姆斯的女低音狂想曲，因此首先设备100通过与即时消息应用程序分开或不同的音乐应用程序来呈现勃拉姆斯的女低音狂想曲。以特定音量以及通过设置为高值的低通滤波器截止频率(下文中称为“截止频率”)来提供勃拉姆斯的女低音狂想曲。在一些实施方案中，开始时的截止频率高于人们可听的最大频率(例如，约20khz)，使得当不执行音频模糊时，低通滤波器对音频输出没有可听见的影响。在一些实施方案中，在开始时(即，当不执行音频模糊时)不应用低通滤波器。相反，当音频模糊开始时，打开低通滤波器。为了简单起见，图6i示出了通过开始时设置为高值的截止频率来呈现的声音信息606-3。
如图6j-6k所示，当设备100呈现女低音狂想曲时，设备100接收与用于呈现视频消息616-1(包括视频消息616-1的音频)的请求对应的输入620(例如，输入是在触摸屏112的与视频消息616-1对应的区域上的输入)。
在此示例中，输入620是触摸屏112上的按压输入(例如，按压并保持输入)。触摸屏112具有用于检测接触的强度的一个或多个传感器。输入620的强度被表示在强度图622上。在图6j中，输入620的强度高于提示阈值(例如，ith)。因此，设备100开始将视频消息616-1的音频部分在听觉上模糊到勃拉姆斯的女低音狂想曲中。即，当输入620的强度高于提示阈值(例如，ith)但没有高于窥视阈值(例如，itl)时，设备100在输入620的强度增大时减小女低音狂想曲的音量并且减小截止频率。这些效果通过音频图613中的声音信息606-3的向下和向左偏移示意性地示出。减小低通滤波器的截止频率的效果是滤除女低音狂想曲的越来越多的高频分量从而只剩下其低音。
同时，随着接触620的强度增大(如与视频消息616-1对应的声音信息606-4的向上箭头所表示的)，视频消息616-1的音量增大(例如，成比例地)。声音信息606-4实际上未被低通滤波(例如，低通滤波器通过高于人类可听范围的截止频率对其进行滤波，或者其根本未被低通滤波)。
在一些实施方案中，只要输入620的强度已高于提示阈值(例如，ith)但尚未超过窥视阈值(例如，itl)，则视频消息616-1的视觉突出性随着输入620的强度而动态改变(例如，视频的视觉突出性和对应音频的听觉突出性随着强度的增大而增大，并且随着强度的减小而减小)。例如，如图6j-6k所示的，增大输入620的强度增大了视频消息616-1的尺寸，使视频消息616-1居中，并且通过与输入620的强度成比例的模糊半径使得用户界面614中除视频消息616-1之外的任何消息模糊(在这些图中的增大的模糊半径由除视频消息616-1之外覆盖所有用户界面614的图案的减小的透明度示意性地表示)。
通过比较图6j和图6k可看出ith和itl之间的增大的强度的影响。在一些实施方案中，用户可通过增大和减少输入620的强度来反复地净化女低音狂想曲和视频消息616-1的音量(以及女低音狂想曲的截止频率)。例如，如果图6j和6k被反转，则声音信息606-3的音量和截止频率将增大，并且声音信息606-4的音量将减小。
在此示例中，当设备100呈现视频消息616-1的音频输出时，设备100还呈现视频消息616-1的视频输出。因此，图6j-6o示出了视频进展(例如，视频消息616-1是鸟围绕框架飞翔的简单视频)。
如图6l-6m所示，当输入620的强度达到“窥视”阈值时，设备100通过预设置的截止频率和第一预设置的音量(例如，低音量)来呈现低音狂想曲，并且通过第二预设置的音量(例如，比第一预设置的音量更高的音量)来呈现视频消息616-1，而与输入620的强度无关(例如，只要输入620的强度保持低于“弹出”阈值，在此示例中该“弹出”阈值为itd)。例如，设备100检测到输入620的强度增大高于itl(图6l)，随后输入620的强度减少低于itl(图6m)，但是在音频图613中将声音信息606-3和声音信息606-4维持在其“窥视”位置处(例如，即使接触的强度减少到低于itl，视频的视觉突出性和对应音频的听觉突出性也被维持在至少6k所示的级别)。效果是主要地呈现来自视频消息616-1的音频，其中仅女低音狂想曲的安静低音背景保持可听。
此外，在输入620的强度达到“窥视”阈值之后，视觉改变被锁定。在图6l中，视频消息616-1居中定位，其中用户界面614的剩余部分严重模糊。当输入620的强度减小到低于itl时，在图6m中保持这种模糊以及视频消息616-1的中心位置。
然而，在一些实施方案中，输入620在图6j-6m中的任何一点处的释放将导致设备100停止呈现视频消息616-1以及恢复完全呈现女低音狂想曲(例如，以第二预设置的音量并且无滤波)，并且可选地返回到图6i中显示的用户界面的状态。
图6n-6o示出了在一些实施方案中，当输入620的强度高于弹出阈值(例如，itd)时，设备100将视频消息616-1“弹出”到适当的位置。即使输入620的强度随后下降到低于itd或者输入端620完全结束，一旦输入620的强度高于深按压阈值itd，视频消息616-1的音量便保持在第二预设置的音量并且保持未被滤波(图6o)。在一些实施方案中，设备100将视频消息616-1在视觉上弹出到适当的位置(例如，视频消息616-1扩展以便占据整个屏幕或大部分屏幕)。此外，设备100停止呈现第一音频输出(例如，女低音狂想曲)。
图6p-6y示出了以下示例：根据一些实施方案，由于接触的特征强度改变，设备(例如，为了简单起见而称为设备100)通过动态地改变媒体项的一个或多个音频特性的集合来预览来自媒体项的音频。例如，至少对于一定范围的接触强度，当设备100接收到歌曲的表示上的接触时，设备100将以与接触的强度成比例的音量来播放歌曲。在一些实施方案中，当接触达到第一强度阈值时，即使接触的强度随后下降，设备100也将通过把音量维持在预设置的级别来“窥视”预览媒体项。在一些实施方案中，当接触达到第二强度阈值时，设备100将执行另一操作(例如，除了预览媒体项之外)，诸如执行选择操作。
图6p-6y还示出了以下示例：响应于输入，设备100隐藏(例如，模糊)整个用户界面(除所选择的用户界面对象之外)或仅隐藏用户界面的一部分。在一些实施方案中，当接触满足基于强度的激活标准时，执行遮蔽用户界面(例如，整个用户界面或仅用户界面的一部分)。例如，强度上升到高于提示阈值ith的按压并保持输入导致遮蔽，而轻击手势导致执行不同的操作(例如，对用户界面对象的选择操作)。
图6p示出了用于即时消息应用程序的用户界面640。用户界面640包括交互区域642-1。交互区域642-1是包括会话参与者(例如，alex和tina)之间的多个消息644(其中的消息644-1、消息644-2和消息644-3是代表性的)的会话区域。用户可通过滚动通过消息644(例如，会话区域中的位置由滚动条646示出)、或通过与各个消息644交互(例如，在消息644-3上轻击以便播放视频，或在消息644-3上按压(例如并保持)以便“窥视”视频，如参考图6i-6o所述的)来与交互区域642-1进行交互。交互区域642-1还包括多个示能表示(例如，图标648-1、图标648-2、图标648-3和图标648-4，其各自能够实现特定的设备功能)和架650(例如，用户已输入但尚未发送给其他会话参与者的内容的展现区域)。
图6p示出了图标648-3上的输入652(例如，轻击手势)。如图6q所示，轻击手势652使得用户界面640显示交互区域642-2(例如，与交互区域642-1不同的独立交互区域)。在一些实施方案中，交互区域642-1是用于主应用程序(例如，即时消息应用程序)的用户界面，并且交互区域642-2被配置成显示来自在主应用程序内操作的不同微型应用程序的内容。用户可在微型应用程序之间轻扫，从而改变在交互区域642-2中显示的微型应用程序。交互区域642-2还包括提出了将在交互区域642-2中显示的微型应用程序的列表的示能表示659。指示符654指示当前在交互区域642-2中显示哪个微型应用程序(例如，向左轻扫将导致在区域642-2中显示不同的微型应用程序，并且指示符654中的实心点将其向右移动)。
在此示例中，微型应用程序是用于选择在会话参与者之间的会话中将共享的媒体的媒体选择微型应用程序656。(例如，显示在设备100上播放的最近30首歌曲的可滚动表单)。媒体选择微型应用程序包括媒体项658的表示(例如，媒体项658-1至658-4的表示)。在一些实施方案中，媒体项是歌曲、专辑、视频等。表示658-3包括有关媒体项(例如，艺术家、歌曲名称)和专辑封面图片的显示信息。在一些实施方案中，相应表示658上的轻击手势(未示出)通过将其放置在架650中来选择相应表示658(例如，作为音频消息，使得其被分段以用于发送到会话)。在一些实施方案中，相应表示658上的轻击手势(未示出)通过播放媒体项(例如，在设备100上本地播放)来选择相应的表示658。
图6r示出了包括表示658-2上的接触(例如，表示658-2上的按压并保持手势)的输入660。如强度图668所示的，通过具有高于提示阈值ith的接触强度，按下并保持手势满足媒体提示标准(例如，基于强度的激活标准)。因此，设备100开始播放媒体项的与表示658-2对应的一部分(例如，开始部分或被选择为包含媒体项的可识别部分的代表部分)。在音频图662中通过音频输出664来表示媒体项的播放。音频图662示出了媒体项的音量和时间关系。
如图6r-6s所示，当媒体项正在播放时，设备100随着接触的特征强度改变而动态地改变媒体项的音量(例如，媒体项的音量随着接触的特征强度增大而增大，并且随着接触的特征强度减少而减少)。例如，从图6r到图6s的接触的强度增大(例如，从正好高于ith到正低于itl)伴随着对应的音量增大(图6r-6v中的强度图668中的箭头示出了来自前图的强度的改变；类似地，图6r-6u中的音频图662中的实线示出了该图的与强度图668中的箭头对应的改变，而虚线表示前图中的改变)。如果强度被反转(例如，如果图6s在图6r之前发生)，则媒体项的音量将减小。
在一些实施方案中，当在媒体项开始播放之前已产生不同的音频输出时，如参考图6a-6o、方法800、方法840和图8a-8c所描述的，设备100将两个音频输出模糊在一起。
此外，图6r-6s示出了当媒体项的音量改变时，设备100动态地改变交互区域642-2的外观。例如，当接触的特征强度改变时，设备100动态隐藏(例如，模糊)交互区域642-2(例如，以具有音频的改变的锁步方式，使得随着接触的特征强度增大，模糊半径也增大)。因此，从图6r到图6s的接触的强度增大伴随着模糊度的对应增大(当设备从图6r移动到图6s时，这些图中的增大的模糊度由覆盖交互区域642-2中的其他内容的图案的减小的透明度示意性地表示)。在此示例中，设备100动态隐藏交互区域642-2而无需隐藏交互区域642-1(例如，以便指示该提示涉及用户界面的微型应用程序部分并且不涉及整个用户界面)。
此外，未被隐藏的表示658-2随着接触强度的增大而在尺寸上增大并且移动到交互区域642-2的中心。在此示例中，只要接触强度未达到“窥视”强度阈值(例如，itl)，用户便可通过在“提示”范围的强度内(例如，在ith与itl之间)改变接触的强度而反复地净化视觉改变和听觉改变。
图6t-6u示出了接触达到窥视阈值的结果(例如，设备100检测到高于itl的接触的特征强度增大的结果)。在此示例中，一旦接触的强度达到窥视阈值，音频输出664的音量便保持固定(例如，锁定到预设置的级别，诸如用户将设备100设置成的任何音量)。因此，itl与itd之间的接触的强度增大不导致音量的增大。类似地，如图6u所示，随后检测到低于itl的接触的特征强度的减小对体积没有影响(例如，只要连续维持接触；在某些实施方案中，提升逐渐或立即停止媒体项的呈现并且将视觉变化反转到交互区域642-2)。
在一些实施方案中，一旦接触达到itl，设备100便显示指示661，即接触的特征强度增大将使得设备相对于媒体项来执行选择操作(例如，话语“3dtouchtoshare”)。低于itl的接触的强度的随后减少不修改互动区域642-2的其余部分的遮蔽、表示658-2的尺寸、或“3dtouchtoshare”指示。
图6v示出了设备100检测到高于“弹出”阈值(例如，itd)的接触的特征强度增大。因此，设备100停止播放媒体项(因此，图6v-6x中没有音频图662)并且针对媒体项来执行选择操作(例如，设备100将媒体项放置在架650中)。
在一些实施方案中，如图所示，在检测到超过itd的接触的强度之后立即执行选择操作。输入660然后变为无效的。换句话说，尽管在图6v中输入660被示出在原始表示658-2上，但输入660对原始表示658-2没有影响。用户可通过释放输入660并且输入新的用户输入来重新选择原始表示658-2。
在图6v中，媒体项现在由音频消息644-4表示，其对应于如图6q-6u所示的表示658-2。在一些实施方案中，音频消息644-4看起来与图6r所示的表示658-2相同。此外，设备100停止遮蔽交互区域642-2(例如，反转模糊)。
将内容放置在架650中也导致设备100显示“发送”按钮670。图6w示出了选择发送按钮670的用户输入672(例如，轻击手势)，其将音频消息644-4发送到会话参与者并且导致将音频消息644-4添加到会话区域，如图6x所示。
图6y示出了包括在音频消息644-4上的接触(例如，音频消息644-4上的按压并保持手势)的输入674。因为输入674接触中的接触高于ith，所以除了音频消息644-4之外，设备100隐藏交互区域642-1和交互区域642-2。在一些实施方案中，响应于在高于ith的接触下的按压并保持输入，设备100还以类似于先前描述的方式的方式(例如，包括动态地改变音频)来预览音频消息644-4。相比之下，响应于轻击手势(例如，以低于ith的强度)，设备100相对于音频消息644-4来执行选择操作(例如，播放整个音频消息644-4)，而无需遮蔽应用程序的第二交互区域并且无需遮蔽应用程序的第一交互区域。
以下参考图8a-8h来提供有关图6a-6y(以及其中所示的用户界面)的附加细节。
图7a至7g示出了根据一些实施方案的用于基于音频配置文件来提供音频输出的示例性用户界面。更具体地，图7a-7g示出了以下示例：示能表示(例如，触摸屏112上的按钮)的激活使得设备输出具有音频配置文件(例如，管理音调、混响、和/或音频输出随时间的衰减的音频配置文件)的声音。当激活第二示能表示时，设备确定是否满足音频更改标准，并且如果满足，则修改与第一示能表示对应的音频配置文件。例如，当激活第一示能表示不久之后激活第二示能表示时，该设备使得第一示能表示的声音更快地衰减。
这些图中的用户界面用于说明以下描述的过程，包括图9a-9c中的过程。
为了方便起见，参照设备100来描述图7a-7g。作为简写，短语“设备100呈现与示能表示对应的音频”等用于意味着设备100向音频系统提供(或发起提供)声音信息，以使得音频系统可呈现与示能表示对应的音频输出。如参考图5所解释的，音频系统可集成到设备100中或与设备100分开。
更具体地，图7a-7g示出了以下示例：当在第一示能表示的激活的阈值时间tthres内激活第二示能表示时，满足音频更改标准。
图7a示出了用于电话应用程序(例如，电话模块138)的用户界面702。用户界面显示小键盘704，用户可通过该小键盘704来将字符例如输入到拨号号码栏706中。为此，小键盘704包括与数字对应的一组示能表示708(例如，与“5”对应的示能表示708-1和与“2”对应的示能表示708-2)。
如图7b所示，设备100在时间t1检测到用于激活示能表示708-1的第一输入710，并且在拨号号码栏706中放置“5”。图7b还示出了提供随时间的音频输出表示(例如，音频配置文件)的音频图712。检测到第一输入710时的时间t1在音频图表712的水平轴线上被标记。音频图形712的垂直轴线指示在音频图形712上示出的音频输出的音量。第一音频配置文件714-1是第一音频输出的与示能表示708-1对应并且响应于示能表示708-1而被呈现的表示。在图7d的音频图712中完全显示第一音频输出的第一音频配置文件714-1。第一音频输出在时间t1之后急剧上升，然后最终衰减到零音量。此外，音频图712指示了以c升音音调来产生第一音频输出。
图7c示出了设备100在第二时间t2(例如，t1之后的时间)检测到指向示能表示708-2的第二输入716(例如，检测到dui的“2”按钮的激活，其将“2”放置到拨号号码栏706中)。在此示例中，当设备100检测到对示能表示708-2的激活时，设备100产生由第二音频配置文件714-2表示的第二声音输出。在一些实施方案中，第二音频配置文件714-2与第一音频配置文件714-1相同(例如，小键盘声音的默认音频配置文件)。
因为检测到第二输入716的第二时间t2在阈值时间tthres之后，所以设备100继续根据第一音频配置文件714-1来呈现第一音频输出。相比之下，图7e-7g类似于图7b-7d，除了检测到第二输入716的第二时间t2在阈值时间tthres之前之外。在该情况下，满足音频更改标准，因此设备100不继续呈现具有第一音频配置文件714-1的第一音频输出，而是呈现具有经更改的音频配置文件714-3的经更改的第一音频输出(经更改的第一音频输出遵循图7f-7g中标记为714-3的实线；被标记为714-1的虚线用于示出如果未满足音频更改标准则未经更改的音频配置文件应当是什么)。
在一些实施方案中，当设备100呈现第一音频输出时，设备100呈现与第一音频输出对应的视觉效果。例如，如图7c-7d所示，视觉效果包括从示能表示708-1向外(例如，远离)延伸的一个或多个图形718(例如，环、波纹)。类似地，当设备100呈现第二音频输出时，设备100呈现远离示能表示708-2向外延伸的图形720(例如，环、波纹)。
以下参考图9a-9c来提供有关图7a-7g(以及其中所示的用户界面)的附加细节。
图8a-8b是描绘根据一些实施方案的动态地调整音频输出的呈现的方法800的流程图。图6a-6o用于说明图8a-8b的方法和/或过程。尽管将参考触感显示器(其中触敏表面和显示器被组合)上的输入来给出以下的一些示例，但是在一些实施方案中，设备检测到与显示器450分开的触敏表面451上的输入，如图4b所示。
在一些实施方案中，方法800由电子设备(例如，图1a的便携式多功能设备100)和/或电子设备(例如，i/o子系统106、操作系统126等)的一个或多个部件执行。在一些实施方案中，方法800由指令管理，该指令被存储在非暂态计算机可读存储介质中并且由设备的一个或多个处理器(诸如设备100(图1a)的一个或多个处理器122)执行。为了便于说明，以下描述由设备100执行的方法800。在一些实施方案中，参考图1a，方法800的操作至少部分地由音频预览模块163-1、音频修改模块163-2和触敏显示器(例如，触摸屏112)执行或对其进行使用。方法800中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法800(和相关联的界面)减少了来自用户的输入的数量、范围和/或性质，并且产生更有效的人机界面，从而为用户提供易于使用且直观的方式来与用户界面进行交互。对于电池供电的电子设备，方法800通过提供易于理解和信息丰富的音频输出来实现有效、无缝和快速的交互，其节省电力并且增大电池充电之间的时间(例如，通过减少汲取电池电量的广泛和低效的用户交互的需求)。
在一些实施方案中，当设备向与该设备进行通信的音频系统提供(802)第一声音信息以便呈现包括音量和除音量之外的音频特性(“非音量音频特性”)时，方法800开始。例如，在图6a-6h中，第一音频输出是贝多芬的月光奏鸣曲。在各种情况下，第一音频输出是在文本即时消息窗口中出现的歌曲、专辑、铃声、视频内容的音频部分、或来自音频文件对象的音频。
在一些实施方案中，非音量音频特性是(804)第一音频输出的混响时间、第一音频输出的低通滤波器截止(例如，截止频率)、或第一音频输出的立体声平衡(也被称为左右平衡、“l-r”平衡)。
当音频系统呈现第一音频输出时，设备接收(806)与用于呈现第二音频输出的请求对应的输入。在一些实施方案中，当焦点选择器位于图形对象之上时，在与电子设备进行通信的显示器上接收(808)与第二音频输出对应(或以其他方式相关联)的输入。
例如，输入是触敏表面(例如，与电子设备集成的触敏显示器、或与电子设备进行信号通信的遥控器上的触敏表面)上的按压输入。在与第二音频输出相关联的图形用户界面对象(例如，文本消息窗口中的视频内容对象，图6i-6o)上接收按压输入。
作为另一个示例，输入对应于在与第二音频输出相关联的图形用户界面对象(例如，专辑封面的原图，图6a-6h)上开始的触敏表面上的轻扫手势。
在一些实施方案中，当图形用户界面对象表示歌曲、专辑或视频时，第二音频输出是歌曲、专辑或视频的预览(例如，歌曲、专辑或视频的一部分，其已被预选为代表或可识别歌曲、专辑或视频)。在一些实施方案中，歌曲、专辑或视频的一部分具有预设置的长度(例如，30秒)。
例如，输入对应于触敏表面上的轻扫手势，该轻扫手势在与第二音频输出相关联的图形用户界面对象(例如，图形用户界面对象包括用于专辑封面的原图，图6a-6h)上方(或其上)开始。上述另一个示例是：其中在聚焦选择器位于与第二音频输出相关联的图形用户界面对象(例如，图形用户界面对象包括文本消息窗口中的视频内容对象，图6i-6o)上方时，接收按压输入。图形用户界面对象的其他示例包括铃声的文本表示、在文本即时消息窗口中出现的音频文件对象等。
响应于接收到与用于呈现第二音频输出的请求对应的输入，设备向音频系统提供(810)信息，以便根据输入的量值来动态地调整第一音频输出的呈现。在一些实施方案中，输入的量值是(812)输入中的接触的特征强度、输入中的接触的时间长度、或输入中的接触行进的距离(例如，轻扫手势的长度)。
随着输入的量值改变，设备动态地调整(814)非音量音频特性。随着输入的量值改变而调整非音量音频特性允许用户有效地预览或收听第二音频输出而无需中断第一音频输出，并且通过单个用户输入来给予用户对音频输出的附加控制。这增强了设备的可操作性，并且使得用户设备接口更有效(例如，通过减少用户在操作设备/与设备交互时必须进行的用户输入的数量)，这另外通过使得用户能够更快和更有效地使用设备来减少电力使用并且改善设备的电池寿命。
在一些实施方案中，该设备偏移第一音频输出的立体声平衡度，同时偏移第二音频输出的立体声平衡度(816)(例如，如参考图6a-6o所述)。例如，该输入对应于触敏表面上的轻扫手势，该轻扫手势在第一方向上移动(例如，从左向右轻扫)远离图形用户界面对象的与第二音频输出相关联的初始位置(例如，该轻扫手势将专辑封面的原图朝向显示器的中心拖动，图6a-6h)。在该示例中，偏移立体声平衡度包括偏移第一音频输出和第二音频输出的呈现，使得它们跟踪轻扫输入沿第一方向的移动(例如，第一音频输出的立体声平衡度向右偏移，而第二音频输出从音频系统的左边开始淡入)。在其他实施方案中，基于输入的接触的强度的变化或基于输入的接触时间而偏移第一音频输出和第二音频输出的立体声平衡度。
作为另一个实施方案，在一些实施方案中，非音量音频属性为第一音频输出的低通滤波器截止。该设备根据输入的量值的增大而使低通滤波器截止向下偏移。因此，随着输入的量值增大，第一音频内容减小到低音背景(例如，“轰轰轰”)，使得第二音频内容能够以使第二音频内容清晰可听的方式与第一音频内容同时产生(例如，因为背景音频的突出性已由于应用低通滤波器而减小)。
在一些实施方案中，该设备随着输入的量值的变化而调整第一音频输出的音量(818)(例如，音量和非音频属性两者随着输入的量值的变化而变化)。在一些实施方案中，第一音频输出的音量随着输入的量值的增大而减小。以这种方式调整第一音频输出的音量还增大了第二音频输出的听觉突出，而无需中断第一音频输出。这使得两个音频输出的模糊更有效，因而增强了该设备的可操作性并且使得用户设备界面更有效。
在一些实施方案中，该设备在第二音频输出的呈现之前，随着输入的量值的变化而动态地调整非音量音频属性，直到输入的量值满足第一预先确定的阈值(820)(例如，输入中的接触的特征强度保持低于预览阈值但高于提示阈值，由此该设备提供该设备即将预览第二音频输出的听觉提示和/或视觉提示，如参考图6b所述)。一旦输入的量值满足第一预先确定的阈值(例如，超过轻微轻扫移动，图6c)，第二音频输出即开始播放，并且在一些实施方案中，第一音频输出随着输入的量值的变化而进一步调整。在第二音频输出的呈现为用户提供音频模糊即将发生的提示之前，随着输入的量值的变化而动态地调整非音量音频属性，该提示可用于例如在用户偶然发现方法800中所描述的设备输入功能时警告用户。
响应于接收到与用于呈现第二音频输出的请求对应的输入，该设备为音频系统提供第二声音信息，以与第一音频输出同时呈现第二音频输出(822)。在一些实施方案中，该设备提供信息以根据输入的量值而动态地调整第二音频输出的呈现(824)。在一些实施方案中，在根据输入的量值而动态地调整第一音频输出的呈现的同时执行对第二音频输出的呈现。这样，第一音频输出和第二音频输出同时动态地模糊(例如，第一音频输出逐渐淡出，而第二音频输出逐渐淡入)。因此，根据输入的量值而动态地调整第二音频输出的呈现提供从第一音频输出的突出性到第二音频输出的突出性的无缝过渡，这使得音频的模糊对于偶然发现方法800中所描述的设备输入功能的用户来说更令人愉悦并且不那么引发恐慌。这继而增大了用户保持在其设备上实现这种功能的可能性，并且因此通过增大用户与设备的交互的效率而节省了电池功率。
在一些实施方案中，响应于接收到与用于呈现第二音频输出的请求对应的输入，该设备向显示器提供数据以显示结合动态地调整非音量音频属性而变化的视觉效应(826)。例如，该设备向显示器提供数据以在视觉上模糊用户界面中的除了与第二音频输出对应的图形用户界面对象之外的任何事物，其中模糊半径与输入的量值成比例。显示结合动态地调整非音量音频属性而变化的视觉效应提供与变化的音频对应的直观的视觉提示，这有助于用户与他们的设备进行交互。
在一些实施方案中，该设备检测到输入的量值满足大于第一预先确定的阈值的第二预先确定的阈值并且作为响应，使得音频系统停止呈现第一音频输出(并且继续呈现第二音频输出)(828)。在一些实施方案中，第二预先确定的阈值(“弹出”阈值)与第一预先确定的阈值相比对应于该输入的更高的接触的强度(例如，弹出阈值在图6i-6o中为itd)、该输入行进的更大的距离或该输入与触敏表面保持接触的更长的时间量。因此，音频系统停止呈现第一音频输出为用户提供一种方式以使用用户通过其预览第一音频输出的相同输入而切换到第二音频输出的“完全呈现”。这也减少了实现特定功能所需的用户交互的数量。
在一些实施方案中，该设备检测到输入的结束(830)(例如，如图6e-6h所示)。在一些另选的实施方案中，替代检测到输入的结束，该设备检测到输入的量值的变化已停止(例如，接触的强度回到其原始强度或输入回到其原始位置)。在一些另选的实施方案中，替代检测到输入的结束，该设备检测到输入的超过预先确定的阈值(例如，弹出阈值)的量值的增大。在一些另选的实施方案中，替代检测到输入的结束，该设备检测到输入的量值的预先确定的变化。例如，输入的量值下降到低于预先确定的阈值(例如，输入的量值下降到低于弹出阈值，而输入与触敏表面保持接触)。在一些实施方案中，取代检测到输入的结束，该设备检测到输入的变化已停止预先确定的时间段。
在任何情况下，响应于适当的条件，该设备使得音频系统进行以下操作中的一个操作：
·停止呈现第二音频输出并且呈现第一音频输出，而无需对第一音频输出进行动态调整(832)(例如，撤销对第一音频输出的动态调整)。在一些实施方案中，在播放第二音频输出时，调整而不是暂停第一音频输出的播放，并且第一音频输出在删除调整的情况下，在第二音频输出停止播放之后继续播放。这为用户提供了一种直观的方式返回到仅收听第一音频输出，从而减少了用户输入的数量。例如，在图6h中，该设备停止呈现第二音频输出并且在无动态调整的情况下呈现第一音频输出。
·停止呈现第一音频输出并且继续呈现第二音频输出(834)。这为用户提供了一种直观的方式切换成仅收听第二音频输出，从而减少了用户输入的数量。例如，在图6h中，该设备停止呈现第一音频输出并且在无动态调整的情况下呈现第二音频输出。
·停止呈现经调整的第一音频输出并且继续呈现第二音频输出(836)。这为用户提供了一种直观的方式来继续模糊音频；或者
·根据确定量值满足预先确定的阈值(例如，在输入期间超过弹出阈值)，停止呈现第一音频输出并且继续呈现第二音频输出；并且根据确定量值不满足该阈值(例如，该输入在输入期间保持低于弹出阈值)，停止呈现第二音频输出并且在无动态调整的情况下呈现第一音频输出(例如，恢复对第一音频输出的动态调整)(838)。这样，该系统自动地确定用户实际上想要继续收听第一音频输出还是想要切换到第二音频输出，从而为用户提供一种直观的方式来实现任一种结果并且减少用户输入的数量。例如，在图6e-6h中，该设备根据确定用户输入的量值满足还是不满足阈值来确定是否停止呈现第二音频输出并且在无动态调整的情况下呈现第一音频输出。
应当理解，对图8a-8h中已进行描述的操作的具体次序仅是一个示例，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。在一些实施方案中，将方法800的一个或多个操作与本文所述的其他方法(例如，方法840、854、875和/或900)的一个或多个操作组合或由它们补充或替代。
图8c是示出根据一些实施方案的动态地调整音频输出的呈现的方法840的流程图。在一些实施方案中，将方法840的一个或多个操作与本文所述的其他方法(例如，方法800)的一个或多个操作组合或由它们补充或替代。此外，参考方法840所述的很多操作与以上参考方法800所述的操作共享相同的益处(例如，音频的直观性模糊、用户必须形成的用户输入的数量的减少)。因此，方法840还(例如，通过帮助用户在操作该设备/与该设备进行交互时提供正确的输入和减少用户错误)增强设备的可操作性并使得用户设备界面更有效，这另外还通过使用户能够更快速并且更有效地使用该设备而减少了功率使用并且改进了该设备的电池寿命。
在一些实施方案中，方法840在具有存储器和一个或多个处理器的电子设备处执行，并且该电子设备与显示器和音频系统进行通信。
在一些实施方案中，在该设备向显示器提供数据以呈现包括媒体对象的用户界面时，方法840开始，该媒体对象表示至少一个媒体内容项(842)。
该设备向音频系统提供第一声音信息以呈现不与媒体对象对应的第一音频输出(844)。
在向音频系统提供第一声音信息时，该设备检测到输入的指向媒体对象的第一部分(846)。
响应于检测到输入的指向媒体对象的第一部分，该设备：(i)开始向音频系统提供第二声音信息以呈现与媒体对象对应的第二音频输出；以及(ii)继续向音频系统提供第一声音信息以呈现不与媒体对象对应的第一音频输出(848)。
在向音频系统提供第一声音信息和第二声音信息时，该设备检测到输入的指向媒体对象的第二部分，其中检测到输入的第二部分包括检测到输入的参数的变化(850)(例如，当焦点选择器在媒体对象上方时检测到与触敏表面的接触的强度的变化或检测到焦点选择器的位置或移动的变化)。
响应于检测到输入的参数的变化，该设备：
(i)向显示器提供(852)数据以(例如，通过使用户界面背景在视觉上模糊和/或放大媒体对象)根据输入的参数的变化来动态地更改所呈现的用户界面；
(ii)向音频系统提供信息以(例如，通过减小音量、增大混响时间、减小低通滤波器截止频率、和/或将音频的l-r平衡度向右或向左移动)根据输入的参数的变化来动态地更改不与媒体对象对应的第一音频输出；以及
(iii)向音频系统提供信息以(例如，通过减小音量、增大混响时间、减小低通滤波器截止频率、和/或将音频的l-r平衡度向右或向左移动)根据输入的参数的变化来动态地更改与媒体对象对饮的第二音频输出(852)。
应当理解，对图8c中已经进行描述的操作的具体次序仅仅是一个示例，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。在一些实施方案中，将方法840的一个或多个操作与本文所述其他方法(例如，方法800、854、875和/或900)的一个或多个操作组合或由它们补充或替代。
图8d-8f是示出根据一些实施方案的动态地调整音频输出的呈现的方法854的流程图。图6p-6y用于示出图8d-8f的方法和/或过程。尽管将参考触敏显示器(其中组合了触敏表面和显示器)上的输入给出随后的实施方案中的一些实施方案，但在一些实施方案中，设备检测与显示器450分开的触敏表面451上的输入，如图4b所示。
在一些实施方案中，方法854由电子设备(例如，便携式多功能设备100，图1a)和/或该电子设备的一个或多个部件(例如，i/o子系统106、操作系统126等)执行。在一些实施方案中，方法854通过被存储在非暂态计算机可读存储介质中并且由设备的一个或多个处理器诸如设备100的一个或多个处理器122(图1a)执行的指令来支配。为了容易解释，下文描述了由设备100执行的方法854。在一些实施方案中，参考图1a，方法854的操作至少部分地由音频预览模块163-1、音频修改模块163-2和触敏显示器(例如，触摸屏112)执行或至少部分地对其进行使用。方法854中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法854(和相关联的界面)减少了来自用户的输入的数量、范围和/或性质，并且产生更有效的人机界面，从而为用户提供易于使用且直观的方式来与用户界面进行交互。对于电池操作的电子设备，方法854允许通过提供节省功率并且增大电池两次充电之间的时间间隔的容易理解且信息性的音频输出(例如，通过减少对耗尽电池功率的密集且低效的用户交互的需求)来实现有效、无缝且快速的交互。
在一些实施方案中，该设备在显示器上显示包括媒体项的表示的用户界面(855)时，方法854开始。例如，图6q示出了包括媒体项658的表示的用户界面640。
在显示用户界面时，该设备在触敏表面上的与媒体项的表示对应的位置处检测到通过接触(例如，手指接触或触笔接触)导致的输入(856)(例如，在触敏显示器上的媒体项的表示上检测到接触)。例如，图6r示出了用户输入660的开始，该用户输入是在表示658-2上检测到的按压并保持手势。
响应于检测到通过接触导致的输入：根据确定该输入满足媒体提示标准，其中该媒体提示标准包括当该接触具有高于第一强度阈值(例如，ith，图6r)的特征强度时满足的标准：该设备开始播放媒体项的相应部分(例如，被选择成包含媒体项的可识别部分的开始部分或代表部分)(例如，播放它们的音频和/或视频)(857)。例如，在图6r中，设备100开始播放brahms’saltorhapsody。而且，在播放媒体项时，该设备随着接触的特征强度改变而动态地改变一组一个或多个音频属性(例如，随着接触的特征强度通过多个值改变，该媒体项的音频属性通过多个值改变)。在一些实施方案中，媒体项的音量随着接触的特征强度的增大而增大并且随着接触的特征强度的减小而减小。例如，随着输入660的强度从图6r到图6s增大，brahms’saltorhapsody的音量增大。
在一些实施方案中，所播放的媒体项基于输入中的接触的位置而确定(例如，根据确定在与第一媒体项对应的位置处检测到接触，以上步骤针对第一媒体项而执行，并且根据确定在与第二媒体项对应的位置处检测到接触，以上步骤针对第二媒体项而不是针对第一媒体项而执行)。例如，如果在表示658-1而不是表示658-2上检测到图6r中的输入660，则设备100将会开始播放与表示658-1对应的媒体项。
根据确定该输入不满足媒体提示标准，该设备放弃开始播放媒体项的相应部分，并且放弃随着接触的特征强度改变而动态地改变媒体项的这组一个或多个音频属性。在一些实施方案中，该设备相对于媒体项执行另选的操作。例如，响应于媒体项的表示上的轻击手势，该设备相对于媒体项执行选择操作。
在一些实施方案中，媒体项的音频属性包括音量、低通滤波器的截止频率和/或均衡器设置(858)(例如，图6p-6y示出了其中设备随着接触的特征强度改变而动态地改变媒体项的音量的一个示例)。
在一些实施方案中，当媒体项的这组一个或多个音频属性动态地改变时，该设备动态地改变用户界面的视觉外观(859)。在一些实施方案中，动态地改变用户界面的视觉外观包括随着接触的特征强度的增大而增大媒体项的表示的尺寸(860)(例如，随着接触的特征强度的增大而增大媒体项的表示的尺寸以及随着接触的特征强度的减小而减小媒体项的表示的尺寸)。例如，随着输入660的强度从图6r到图6s增大，媒体项的音量和表示658-2的尺寸均增大。在一些实施方案中，这是在用户界面中初始显示的同一表示(如图6r-6t所示，表示658-2由其原始尺寸和位置“生长”，朝向用户界面的第二区域的中心部分移动，同时也增大了尺寸)。在其他实施方案中，当初始显示的表示与用户界面的第二区域保持在同一位置时，该表示与初始表示不同，并且媒体项的第二不同表示随着接触的特征强度的增大而增大尺寸并且朝向用户界面的第二区域的中心部分移动(例如，该不同表示显示在初始表示的顶部)。
在一些实施方案中，动态地改变用户界面的视觉外观包括随着接触的特征强度改变而动态地改变用户界面的邻近媒体项的表示的一部分的模糊量(861)。例如，随着输入660的强度从图6r到图6s增大，交互区域642-2模糊，其模糊半径与接触660的强度成比例(这些附图中，增大的模糊半径通过覆盖交互区域642-2的图案的减小的透明度而示意性地表示)。
在一些实施方案中，在开始播放媒体项的相应部分之后：该设备检测到接触的特征强度的增大，之后检测到接触的特征强度的减小(862)(例如，图6t示出了接触660的强度的增大；图6u示出了接触660的强度的减小)。在一些实施方案中，下面描述了多个条件操作，这些条件操作根据确定接触的强度特征是否满足媒体预览标准而进行调节。这些操作响应于检测到接触的特征强度的增大，之后检测到接触的特征强度的减小而执行。在一些实施方案中，在检测到接触的特征强度的增大，之后检测到接触的特征强度的减小时，执行下面描述的条件操作。
为此，在媒体项正在播放时，在检测到接触的特征强度的减小之前，根据确定接触的特征强度满足媒体预览标准，该媒体预览标准包括当接触的特征强度增大到高于比第一强度阈值(例如，ith)更高的第二强度阈值(例如，itl，图6t-6u)时满足的标准，该设备随着接触的特征强度的增大而以第一方式来改变媒体项的音频属性(例如，增大媒体项的音频音量)并且随着接触的特征强度的减小而使音频属性保持在第一状态(例如，继续以设定音频音量来回放媒体项)。在一些实施方案中，随着媒体项的音频属性改变，背景音频的音频属性也发生改变(例如，使背景音频随着强度的减小而淡入以及使背景音频随着强度的增大而淡出)。使音频属性随着接触的特征强度的减小而保持在第一状态(例如，继续以设定音频音量回放媒体项)允许用户进入“窥视”模式，其中媒体项的音频属性是固定的，这对于希望收听媒体项的一部分的用户是方便的，而无需持续修改音频属性。由于音频属性仅在接触强度增大到高于第二强度阈值之后才是固定的，因此用户可灵活地选择他或她想要的操作模式。这减少了实现期望设备功能所需的用户输入的数量，因而(例如，通过帮助用户在操作该设备/与该设备交互时提供正确的输入并且减少用户错误)而增强了设备的可操作性并使得用户设备界面更有效，这另外还通过使用户能够更快速且更有效地使用该设备而减少了功率使用并且改善了该设备的电池寿命。
例如，由于接触660的强度在图6t中高于itl，因此媒体项的音量被“锁定”到预览音量(例如，全音量)，使得接触660的强度随后如图6u所示下降到低于itl不会导致音量的变化。根据确定接触的特征强度不满足媒体预览标准(即，接触的特征强度不增大到高于第二强度阈值)，当播放媒体项时(以及当接触保持在触敏表面上时)，该设备随着接触的特征强度的增大而以第一方式来改变媒体项的音频属性(例如，增大媒体项的音频音量)并且随着接触的特征强度的减小而以第二方式来改变媒体项的音频属性(例如，反过来增大音频音量)。例如，如果图6s-6r所示的序列反向，则媒体项的音量随着强度的减小而减小。因此，在图6s-6r中，用户可通过增大和减小接触660的强度而上下滚动媒体项的音量，只要接触660的强度不超过itl。在一些实施方案中，媒体项的相应部分随着接触的特征强度改变而连续地播放，其中这组一个或多个音频参数随着媒体项的播放而改变。
在一些实施方案中，响应于检测到该输入满足媒体预览标准，该设备在显示器上显示(863)接触的特征强度的增大将使得设备相对于媒体项执行选择操作的指示(例如，“更用力地按压以进行选择”或“进行3d触摸以共享”)。
在一些实施方案中，在开始播放媒体项的相应部分后，该设备在接触保持在触敏表面上时，检测到接触的特征强度的增大(864)。响应于检测到接触的特征强度的增大：根据确定接触的特征强度满足媒体选择标准，该媒体选择标准包括当接触的特征强度大于比第一强度阈值更高(并且也比第二强度阈值更高，操作862)的选择强度阈值时满足的标准，该设备停止显示媒体项的相应部分并且针对媒体项来执行选择操作(例如，将媒体项放置在消息组成区域中或与即时消息会话中的另一用户共享媒体项)。例如，在图6v-6w中，由于接触660的强度超过itd，因此选择表示658-2，使得对应的音频消息644-4被放置在架650中。根据确定接触的特征强度不满足媒体选择标准，该设备继续播放媒体项的相应部分，而无需执行选择操作。
在一些实施方案中，当播放媒体项时，该设备检测到输入的结束(865)(例如，检测到致使媒体项开始播放的接触的抬离)。响应于检测到输入的结束，该设备停止播放媒体项。在一些实施方案中，响应于检测到输入的结束而停止播放媒体项包括使邻近媒体项的表示的内容的视觉模糊反转并且改变音频项目的这组一个或多个属性以使播放的媒体项逐渐淡出(866)。例如，如果输入660在图6r-6u的任一个图中已终止，则设备100将会停止播放媒体项并且使交互区域642-2的模糊反转。
在一些实施方案中，在响应于检测到输入的结束而停止播放媒体项后，该设备在与媒体项的表示(例如，轻击手势)对应的位置处检测到通过触敏表面上的第二接触导致的选择输入，其中该第二接触不具有达到第一强度阈值的特征强度(867)。响应于检测到选择输入，该设备针对媒体项来执行选择操作(例如，将媒体项放置在消息组成区域诸如架650(图6p)中或与即时消息会话中的另一用户共享媒体项)。
操作868-870描述了音频(即，在设备上已播放的具有背景媒体的媒体项)的模糊。方法800和840详细描述了音频模糊。因此，操作868-870可共享这些方法中所描述的特征中的任一个特征。
在一些实施方案中，当在设备上播放背景媒体时，检测到输入(868)(例如，在操作856中检测到的输入)。根据确定该输入满足媒体提示标准：当播放媒体项时，该设备随着接触的特征强度改变而动态地改变背景媒体项的一组一个或多个音频属性(869)。因此，在一些实施方案中，该设备使背景媒体上方的媒体项“淡入”，这提供了参考方法800/840所述的全部随附的益处。
根据确定该输入不满足媒体提示标准，该设备继续播放背景媒体，而无需改变背景媒体的这组一个或多个音频属性。在一些实施方案中，当播放媒体项时，该设备检测到输入的结束(870)。响应于检测到输入的结束，该设备恢复播放背景媒体项，其中这组一个或多个音频属性在检测到输入之前返回到它们的值。
应当理解，对图8d-8f中已进行描述的操作的具体次序仅是一个示例，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。在一些实施方案中，将方法854的一个或多个操作与本文所述其他方法(例如，方法800、840、875和/或900)的一个或多个操作组合或由它们补充或替代。
图8g-8h是根据一些实施方案示出遮蔽图形用户界面的多个部分的方法875的流程图。图6p-6y用于示出图8g-8h的方法和/或过程。尽管将参考触敏显示器(其中组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但在一些实施方案中，设备检测与显示器450分开的触敏表面451上的输入，如图4b所示。
在一些实施方案中，方法875由电子设备(例如，便携式多功能设备100，图1a)和/或该电子设备的一个或多个部件(例如，i/o子系统106、操作系统126等)执行。在一些实施方案中，方法875通过被存储在非暂态计算机可读存储介质中并且由设备的一个或多个处理器诸如设备100的一个或多个处理器122(图1a)执行的指令来支配。为了容易解释，下文描述了由设备100执行的方法875。
如下所述，方法875(和相关联的界面)减少了来自用户的输入的数量、范围和/或性质，并且产生更有效的人机界面，从而为用户提供易于使用且直观的方式来与用户界面进行交互。对于电池操作的电子设备，方法875允许通过提供节省功率并且增大电池两次充电之间的时间间隔的容易理解且信息性的音频输出(例如，通过减少对耗尽电池功率的密集且低效的用户交互的需求)来实现有效、无缝且快速的交互。
在一些实施方案中，在该设备在显示器上显示包括应用程序的第一交互区域(例如，交互区域642-2，图6q)和应用程序的第二交互区域(例如，交互区域642-1，图6q)的用户界面(876)时，方法875开始。在一些实施方案中，交互区域为用户能够诸如通过提供多种输入手势(轻扫、轻击等)中的任一个输入手势而与其进行交互的用户界面区域，这些输入手势在被检测到时，使得电子设备根据这些手势来修改用户界面。换句话讲，交互区域并不是被显示在顶部部分的用户不能通过其来执行任何交的状态栏。
在一些实施方案中，第二交互区域为用于主应用程序(例如，即时消息应用程序)的用户界面(877)。第一交互区域被配置为显示来自被配置为在主应用程序内操作的不同微型应用程序的内容，并且在第一交互区域中所显示的微型应用程序基于设备处的用户输入来进行选择(例如，用户可在第一交互区域中执行轻扫手势，这些轻扫手势在被检测到时，使得该设备针对第一交互区域中的不同微型应用程序而显示用户界面，如参考指示器654(图6q)所述的)。例如，即时消息应用程序可显示与设备媒体(例如，音乐、视频)、设备相机、绘文字艺术等进行交互的微型应用程序。
在一些实施方案中，第二交互区域为包括会话参与者之间的会话中的多个消息的会话区域(878)(例如，第二交互区域为即时消息应用程序(诸如具有电子设备的用户与至少一个其他用户之间的消息的会话记录)内的会话区域诸如交互区域642-1(图6q)。第一交互区域为用于选择媒体以便在会话参与者之间的会话中共享的媒体选择区域(例如，即时消息应用程序内的音乐共享区域诸如交互区域642-2(图6q)，该音乐共享区域包括可滚动表单，该可滚动表单显示该设备上最近显示的30首歌曲的表示)。
在显示用户界面时，该设备在显示器上在与第一交互区域中的第一用户界面元素对应的位置处检测通过触敏表面上的接触(例如，手指接触或触笔接触)导致的第一输入(879)。例如，图6r示出了用户输入660的开始，该用户输入是在表示658-2上检测到的按压并保持手势。
响应于检测到通过接触导致的第一输入：根据确定第一输入满足基于强度的激活标准，其中基于强度的激活标准要求接触具有高于第一强度阈值(例如，ith，图6r)的特征强度以便满足基于强度的激活标准，除第一用户界面元素之外，该设备隐藏应用程序的第一交互区域，而无需隐藏应用程序的第二交互区域(例如，使交互区域642-2模糊，而无需使表示658-2模糊，图6r-6v)(880)。除第一用户界面元素之外，遮蔽应用程序的第一交互区域，而无需遮蔽应用程序的第二交互区域，向用户指示他或她正在例如微型应用程序内启用基于强度的设备功能。这减少了用户将使得该设备执行不必要的操作的机会，这(例如，通过帮助用户在操作该设备/与该设备交互时提供正确的输入并且减少用户错误)增强了设备的可操作性并使得用户设备界面更有效，这另外还通过使用户能够更快速且更有效地使用该设备而减少了功率使用并且改善了该设备的电池寿命。
根据确定第一输入满足第一选择标准，其中第一选择标准不要求接触具有高于第一强度阈值的特征强度以便满足选择标准(例如，第一输入为轻击手势)，该设备执行与第一用户界面元素对应的第一选择操作，而无需遮蔽应用程序的第一交互区域。在一些实施方案中，用于遮蔽上述交互区域的第一选择操作基于接触位置(例如，根据确定在与第一媒体项对应的位置处检测到接触)而确定，以上步骤针对第一媒体项而执行，并且根据确定在与第二媒体项对应的位置处检测到接触，以上步骤针对第二媒体项而不是针对第一媒体项而执行。例如，如果在表示658-1而不是表示658-2上检测到图6r中的输入660，则设备100隐藏交互区域642-2中的除表示658-1之外的任何事物，而不是隐藏交互区域642-2中的除表示658-2之外的任何事物。
在一些实施方案中，当第一输入为轻击手势时满足第一选择标准(881)。
在一些实施方案中，遮蔽应用程序的第一交互区域包括随着接触的特征强度改变而动态地遮蔽应用程序的第一交互区域(882)(例如，随着接触的特征强度通过多个值改变，应用于第一交互区域的模糊的模糊半径通过多个值而改变)。在一些实施方案中，第一交互区域的模糊的模糊半径随着接触的特征强度的增大而增大并且随着接触的特征强度的减小而减小。例如，随着输入660的强度从图6r到图6s增大，交互区域642-2模糊，其模糊半径与接触660的强度成比例(这些附图中，增大的模糊半径通过覆盖交互区域642-2的图案的减小的透明度而示意性地表示)。
在一些实施方案中，在显示用户界面时，该设备在显示器上在与第二交互区域中的第二用户界面元素对应的位置处检测通过触敏表面上的第二接触导致的第二输入(883)。响应于检测到通过第二接触导致的第二输入：根据确定第二输入满足第二基于强度的激活标准，其中第二基于强度的激活标准要求第二接触具有高于第二强度阈值的特征强度以便满足第二基于强度的激活标准，除第二用户界面元素在之外，该设备隐藏应用程序的第一交互区域和应用程序的第二交互区域(例如，该设备使第一交互区域和第二交互区域的内容淡出，同时预览与未模糊的第二用户界面元素对应的媒体项)。在一些实施方案中，第二强度阈值与第一强度阈值相同。在一些实施方案中，第二强度阈值与第一强度阈值不同。除第二用户界面元素之外，遮蔽应用程序的第一交互区域和应用程序的第二交互区域，向用户指示他或她正在例如主应用程序内相对于第二用户界面元素而启用基于强度的设备功能。这减少了用户将使得该设备执行不必要的操作的机会，这(例如，通过帮助用户在操作该设备/与该设备交互时提供正确的输入并且减少用户错误)增强了设备的可操作性并使得用户设备界面更有效，这另外还通过使用户能够更快速且更有效地使用该设备而减少了功率使用并且改善了该设备的电池寿命。
例如，如图6y所示，基础674具有超过ith的强度，并且因此交互区域642-1和642-2两者被模糊化。因此，在微型应用程序中的媒体项的表示上的高于ith的按压输入导致仅微型应用程序模糊，而在与主应用程序对应的交互区域(例如，即时消息应用程序的会话区域)中的媒体项的表示上的类似的按压输入导致包括这两个交互区域642的整个用户界面模糊。
根据确定第二输入满足第二选择标准，其中第二选择标准不要求第二接触具有高于第二强度阈值的特征强度以便满足第二选择标准(例如，第二输入为轻击手势)，该设备执行与第二用户界面元素对应的第二选择操作，而无需遮蔽应用程序的第二交互区域并且无需遮蔽应用程序的第一交互区域(例如，该设备重放与第二元素对应的媒体项)。例如，图6q中的表示658的任一表示上的轻击手势将媒体项放置在架650中(或根据一些实施方案，将这些媒体项直接发送到会话)。
在一些实施方案中，在第一用户界面元素基于第一交互区域中的输入而被添加到第二用户交互区域之后，第二用户界面元素对应于第一用户界面元素(884)(例如，第二用户界面元素对应于从第一交互区域中选择的并且被添加到第二交互区域中显示的会话的媒体项)。例如，在图6q-6y中，音频消息644-4和表示658-2两者对应于同一媒体项(例如，brahms’saltorhapsody)。
在一些实施方案中，当除第一用户界面元素之外遮蔽应用程序的第一交互区域(而无需遮蔽应用程序的第二交互区域)时，该设备检测到接触的特征强度的增大。响应于检测到接触的特征强度的增大：根据确定接触的特征强度满足第三选择标准，该第三选择标准包括当接触的特征强度大于比第一强度阈值更高的选择强度阈值(例如，itd，图6v)时满足的标准，该设备对第一用户界面元素执行第三选择操作并且停止遮蔽应用程序的第一交互区域。因此，由于接触660在图6v中超过itd，因此表示658-2弹出到架650中(其中将该表示重新标示为音频消息644-4)。根据确定接触的特征强度满足第三选择标准而对第一用户界面元素执行选择操作并且停止遮蔽应用程序的第一交互区域允许用户一旦用户已发起上述基于强度的操作便选择第一用户界面元素，从而消除了对选择第一用户界面元素并且使得人机界面更有效的附加用户输入的需要。
根据确定输入的特征强度不满足第三选择标准，除第一用户界元素之外，该设备继续隐藏应用程序的第一交互区域，而无需隐藏应用程序的第二交互区域。
应当理解，对图8g-8h中已进行描述的操作的具体次序仅是一个示例，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。在一些实施方案中，将方法875的一个或多个操作与本文所述其他方法(例如，方法840、840、854和/或900)的一个或多个操作组合或由它们补充或替代。
图9a-9c是示出根据一些实施方案的动态地调整音频输出呈现的方法900的流程图。图7a-7g用于示出图9a-9c的方法和/或过程。尽管将参考触敏显示器(其中组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但在一些实施方案中，设备检测与显示器450分开的触敏表面451上的输入，如图4b所示。
在一些实施方案中，方法900由电子设备(例如，便携式多功能设备100，图1a)和/或该电子设备的一个或多个部件(例如，i/o子系统106、操作系统126等)执行。在一些实施方案中，方法900通过被存储在非暂态计算机可读存储介质中且由设备的一个或多个处理器诸如设备100的一个或多个处理器122(图1a)执行的指令来支配。为了容易解释，下文描述了由设备100执行的方法900。在一些实施方案中，参考图1a，方法900的操作至少部分地由音频配置文件402、音频更改模块163-3和触敏显示器(例如，触敏显示系统112)执行或至少部分地对其进行使用。方法900中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法900(和相关联的界面)减少了来自用户的输入的数量、范围和/或性质，并且产生更有效的人机界面，从而为用户提供易于使用且直观的方式来与用户界面进行交互。对于电池操作的电子设备，方法900允许通过提供节省功率并且增大电池两次充电之间的时间间隔的容易理解且信息性的音频输出(例如，通过减少对耗尽电池功率的密集且低效的用户交互的需求)来实现有效、无缝且快速的交互。
在一些实施方案中，在与显示器和音频系统进行通信的电子设备上执行方法900(902)，同时在电子设备的显示器上显示包括一组一个或多个示能表示的用户界面(例如，所显示的用户界面包括虚拟数字键盘并且这组一个或多个示能表示包括被显示在该虚拟数字键盘上的数字键，图7a-7g)。方法900开始时，设备在第一时间点检测到指向这组一个或多个示能表示中的第一示能表示的第一输入(例如，检测到虚拟键盘中的第一键上的轻击，诸如图7b中的“5”键上的轻击)(904)。
响应于检测到指向第一示能表示的第一输入，该设备开始向音频系统提供第一声音信息以呈现与第一示能表示对应的第一音频输出(906)。第一音频输出具有第一音频配置文件(例如，音频配置文件714-1，图7b-7g)。
在一些实施方案中，相应的音频配置文件包括随时间变化来支配对应音频输出的一个或多个属性的信息。例如，相应的音频配置文件随时间变化来支配对应音频输出的音高、语音、音色、混响和/或音量(例如，衰减)。在一些实施方案中，相应的音频配置文件还包括支配对应音频输出的一个或多个静态属性的信息。例如，相应的音频配置文件包括用于产生音频输出的信息，该音频输出具有c升音固定音高，其中非静态音量随时间推移而增大随后衰减。
在一些实施方案中，当音频系统正在呈现第一音频输出时，该设备使得(908)显示器呈现与第一音频输出对应的视觉效应(例如，向外或远离第一示能表示延伸的一个或多个图形如环，诸如涟漪效应，其中环向外或远离显示器上的与第一输入对应的位置而扩展)(例如，图形718、720，图7c-7d)。在一些实施方案中，这些图形包括远离第一示能表示移动的一个或多个图形对象的动画。呈现与第一音频输出对应的视觉效应为用户提供与该音频输出对应的直观视觉提示，这有助于用户与他们的设备进行交互。
该设备在第一时间点之后的第二时间点检测到指向这组一个或多个示能表示中的第二示能表示的第二输入(例如，检测到虚拟键盘中的第二键上的轻击，诸如图7c中的“2”键上的轻击)(910)。在一些实施方案中，第二示能表示和第一示能表示为同一示能表示(例如，所显示的用户界面内的所显示的键盘上的同一键)(912)。在一些实施方案中，第一示能表示与第二示能表示不同(例如，所显示的用户界面内的所显示的键盘上的不同键)(914)。
响应于检测到指向第二示能表示的第二输入并且根据确定满足音频更改标准，该设备(916)：
(i)使得音频系统呈现与第一示能表示对应的更改第一音频输出，而不是继续利用第一音频配置文件来呈现第一音频输出，其中经更改的第一音频输出具有与第一音频配置文件不同的经更改的音频配置文件。在一些实施方案中，使得音频系统呈现经更改的第一音频输出包括向音频系统提供信息诸如指令和/或声音数据，以使音频系统能够呈现经更改的第一音频输出；以及
(ii)向音频系统提供第二声音信息，以呈现与第二示能表示对应的第二音频输出，其中第二音频输出具有第二音频配置文件。在一些实施方案中，第二音频配置文件与第一音频配置文件相同(例如，每个音频配置文件为响应于示能表示的激活而产生的音频输出的默认音频配置文件)。在一些实施方案中，第二音频配置文件与第一音频配置文件不同。呈现与第一示能表示对应的第一音频输出，而不是继续利用第一音频配置文件来呈现第一音频输出，这使音频输出较少干扰用户并且是用户更期望的。这继而使用户更有可能利用音频输出功能。
在一些实施方案中，响应于检测到指向第二示能表示的第二输入，该设备确定经由音频系统在第二时间点呈现的第一音频输出是否满足音频更改标准(918)。
在一些实施方案中，音频更改标准包括当第一时间点与第二时间点之间的经过的时间量小于预先确定的时间量(例如，t阈值，图7b-7g)时满足的标准(920)。
在一些实施方案中，该音频更改标准包括在自发起第一音频输出以来所经过的时间小于预先确定的时间量时满足的标准(922)。
在一些实施方案中，该音频更改标准包括当第一音频输出的量值在第二时间点下降到低于预先确定的量值时满足的标准(924)。在一些实施方案中，确定第一音频输出是否满足音频更改标准包括在预先确定的时间(例如，在第二时间点或接近第二时间点的时间)确定自发起第一音频输出以来所经过的时间是否小于预先确定的时间阈值和/或确定第一音频输出的量值是否下降到低于预先确定的量值(例如，第一音频输出的初始量值或最大量值的一半)。
响应于检测到指向第二示能表示的第二输入并且根据确定未满足音频更改标准，该设备(926)：
(i)使得音频系统继续呈现与第一示能表示对应的并且具有第一音频配置文件的第一音频输出；以及
(ii)向音频系统提供第二声音信息以呈现与第二示能表示对应的第三音频输出，其中第三音频输出具有第三音频配置文件。在一些实施方案中，第三音频配置文件与第二音频配置文件相同。在一些实施方案中，第二音频配置文件与第三音频配置文件不同。
在一些实施方案中，经更改的音频配置文件具有与当音频系统继续使用第一音频配置文件呈现第一音频输出时产生第一音频输出的音量相比减小的音量(例如，经更改的音频配置文件包括增大第一音频输出的衰减)。在一些实施方案中，经更改的音频配置文件包括经更改的第一音频输出的音高。在一些实施方案中，经更改的音频配置文件在该设备检测到第二输入之后的至少一个时间段内具有非零音量。
应当理解，对图9a-9c中已进行描述的操作的具体次序仅是一个示例，并非旨在表明所述次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。在一些实施方案中，将方法900的一个或多个操作与本文所述其他方法(例如，方法800、840、854和/或875)的一个或多个操作组合或由它们补充或替代。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。