用于提供视听反馈的设备、方法和图形用户界面与流程
本文总体上涉及提供声音输出的电子设备，并且更具体地，涉及结合图形用户界面提供声音输出的电子设备。
背景技术：
许多电子设备将视听界面用作提供关于用户的与设备的交互的反馈的方式。但是用于提供视听反馈的常规方法是有限的。例如，简单的视听反馈仅向用户提供有限的信息。如果基于简单的视听反馈执行了非预期操作，则用户需要提供附加输入以取消这样的操作。因此，这些方法花费比必要的时间更长的时间，从而浪费能量。
技术实现要素：
因此，存在对于具有用于提供视听反馈的更有效的方法和界面的电子设备的需要。这样的方法和界面可选地补充或者替换用于提供视听反馈的常规方法。这样的方法和界面减少来自用户的输入的数目、程度和/或性质并且产生更高效的人机界面。进一步地，这样的方法减少处理触摸输入所消耗的处理功率、节省功率、减少不必要的/额外的/重复的输入，并且潜在地减少存储器使用。
通过所公开的设备减少或者消除以上缺陷和与用于具有触敏表面的电子设备的用户界面相关联的其他问题。在一些实施例中，该设备是数字媒体播放器，诸如来自加利福尼亚州的库比蒂诺的apple公司的apple
根据一些实施例，在具有一个或多个处理器和存储器的电子设备处执行一种方法。该设备与显示器和音频系统通信。该方法包括向显示器提供用于呈现目前由设备所生成的用户界面的数据。该用户界面包括具有第一视觉特性的第一用户界面对象。该用户界面进一步包括与第一用户界面对象不同的具有第二视觉特性的第二用户界面对象。该设备向音频系统提供用于提供声音输出的声音信息。该声音输出包括对应于第一用户界面对象的第一音频分量。该声音输出进一步包括对应于第二用户界面对象并且与第一音频分量不同的第二音频分量。当用户界面被呈现在显示器上并且声音输出被提供时，该设备向显示器提供用于更新用户界面的数据并且向音频系统提供用于更新声音输出的声音信息。更新用户界面和更新声音输出包括：结合改变对应于第一用户界面对象的第一音频分量来改变第一用户界面对象的第一视觉特性中的至少一个视觉特性；并且结合改变对应于第二用户界面对象的第二音频分量来改变第二用户界面对象的第二视觉特性中的至少一个视觉特性。提供用于更新用户界面的数据独立于用户输入而发生。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备处执行一种方法。该设备与显示器和音频系统通信。该方法包括：向显示器提供用于呈现具有多个用户界面对象的用户界面的数据，所述多个用户界面对象包括在显示器上的第一位置处的控制用户界面对象。该控制用户界面对象被配置为控制相应参数。该方法进一步包括：接收对应于与显示器上的控制用户界面对象的第一交互的第一输入。该方法进一步包括：当接收对应于与显示器上的控制用户界面对象的第一交互的第一输入时：向显示器提供用于根据第一输入将控制用户界面对象从显示器上的第一位置移动到与显示器上的第一位置不同的显示器上的第二位置的数据；以及向音频系统提供用于提供第一声音输出的第一声音信息，该第一声音输出具有与由控制用户界面对象控制的相应参数不同并且根据从显示器上的第一位置到显示器上的第二位置的控制用户界面对象的移动而改变的一个或多个特性。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备处执行一种方法。该设备与显示器和音频系统通信。该方法包括：向显示器提供用于呈现具有多个用户界面对象的第一用户界面的数据，其中，当前焦点在多个用户界面对象中的第一用户界面对象上。该方法进一步包括：当显示器正呈现第一用户界面时，接收与用于改变第一用户界面中的当前焦点的位置的请求对应的输入，所述输入具有方向和幅度。该方法进一步包括：响应于接收到与用于改变第一用户界面中的当前焦点的位置的请求对应的输入：向显示器提供用于将当前焦点从第一用户界面对象移动到第二用户界面对象的数据，其中根据输入的方向和/或幅度而针对当前焦点选择第二用户界面对象；以及向音频系统提供用于提供第一声音输出的第一声音信息，该第一声音输出对应于当前焦点从第一用户界面对象到第二用户界面对象的移动，其中第一声音输出与当前焦点从第一用户界面对象移动到第二用户界面对象的显示并发地被提供，并且第一声音输出的音高至少部分基于第一用户界面对象的大小、第一用户界面对象的类型、第二用户界面对象的大小和/或第二用户界面对象的类型来确定。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备处执行一种方法。该设备与显示器和音频系统通信。该方法包括：向显示器提供用于呈现包括关于第一视频的描述性信息的第一视频信息用户界面的数据。该方法进一步包括：向音频系统提供用于在由显示器对第一视频信息用户界面的呈现期间提供对应于第一视频的第一声音输出的声音信息。该方法进一步包括：当显示器正呈现包括关于第一视频的描述性信息的第一视频信息用户界面时，接收与用于回放第一视频的请求对应的输入。该方法进一步包括：响应于接收到与用于回放第一视频的请求对应的输入，向显示器提供用于利用第一视频的回放替换第一视频信息用户界面的呈现的数据。该方法进一步包括：在第一视频的回放期间，接收与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入。该方法进一步包括响应于接收到与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入：向显示器提供用于利用关于第一视频的第二视频信息用户界面替换第一视频的回放的数据，以及向音频系统提供声音信息，该声音信息用于提供在由显示器对第二视频信息用户界面的呈现期间对应于第一视频的与第一声音输出不同的第二声音输出。
根据一些实施例，在具有一个或多个处理器和存储器的电子设备处执行一种方法。该设备与显示器通信。该方法包括：向显示器提供呈现第一视频的数据。该方法还包括：当显示器正呈现第一视频时，接收与用于暂停第一视频的用户请求对应的输入；以及响应于接收到与用于暂停第一视频的用户请求对应的输入，在第一视频的时间线中的第一回放位置处暂停第一视频的呈现。该方法进一步包括：在在第一视频的时间线中的第一回放位置处暂停第一视频的呈现之后并且当第一视频的呈现被暂停时，向显示器提供用于呈现来自第一视频的多个所选择的静止图像的数据。基于在其处暂停第一视频的第一回放位置，选择该多个所选择的静止图像。
根据一些实施例，电子设备与显示单元和音频单元通信，所述显示单元被配置为显示用户界面，并且所述音频单元被配置为提供声音输出。该设备包括：处理单元，被配置为向显示单元提供用于呈现由设备所生成的用户界面的数据。该用户界面包括具有第一视觉特性的第一用户界面对象。该用户界面进一步包括与第一用户界面对象不同的具有第二视觉特性的第二用户界面对象。该设备被配置为向音频单元提供用于提供声音输出的声音信息。该声音输出包括对应于第一用户界面对象的第一音频分量。该声音输出进一步包括对应于第二用户界面对象并且与第一音频分量不同的第二音频分量。当用户界面被呈现在显示单元上并且声音输出被音频单元提供时，该设备向显示单元提供用于更新用户界面的数据并且向音频单元提供用于更新声音输出的声音信息。更新用户界面和更新声音输出包括：结合改变对应于第一用户界面对象的第一音频分量来改变第一用户界面对象的第一视觉特性中的至少一个视觉特性；以及结合改变对应于第二用户界面对象的第二音频分量来改变第二用户界面对象的第二视觉特性中的至少一个视觉特性。提供用于更新用户界面的数据是独立于用户输入而发生的。
根据一些实施例，电子设备与显示单元、音频单元以及可选的遥控器单元通信，所述显示单元被配置为显示用户界面，所述音频单元被配置为提供声音输出，并且所述遥控器单元(其可选地包括触敏表面单元)被配置为检测用户输入并且将它们发送给电子设备。该设备包括处理单元，其被配置为向显示单元提供用于呈现具有多个用户界面对象的用户界面的数据，所述多个用户界面对象包括在显示单元上的第一位置处的控制用户界面对象。该控制用户界面对象被配置为控制相应参数。该处理单元进一步被配置为接收和与显示单元上的控制用户界面对象的第一交互对应的第一输入。该处理单元进一步被配置为：当接收和与显示单元上的控制用户界面对象的第一交互对应的第一输入时：向显示单元提供用于根据第一输入将控制用户界面对象从显示单元上的第一位置移动到与显示单元上的第一位置不同的显示单元上的第二位置的数据；以及向音频单元提供用于提供第一声音输出的第一声音信息，该第一声音输出具有与由控制用户界面对象控制的相应参数不同并且根据控制用户界面对象从显示单元上的第一位置到显示单元上的第二位置的移动而改变的一个或多个特性。
根据一些实施例，电子设备与显示单元、音频单元以及可选的遥控器单元通信，所述显示单元被配置为显示用户界面，所述音频单元被配置为提供声音输出，并且所述遥控器单元(其可选地包括触敏表面单元)被配置为检测用户输入并且将它们发送给电子设备。该设备包括：处理单元，被配置为向显示单元提供用于呈现具有多个用户界面对象的第一用户界面的数据，其中当前焦点在多个用户界面对象中的第一用户界面对象上。该处理单元进一步被配置为当显示单元正呈现第一用户界面时，接收与用于改变第一用户界面中的当前焦点的位置的请求对应的输入，该输入具有方向和幅度。该处理单元进一步被配置为：响应于接收到与用于改变第一用户界面中的当前焦点的位置的请求对应的输入：向显示单元提供用于将当前焦点从第一用户界面对象移动到第二用户界面对象的数据，其中第二用户界面对象是根据输入的方向和/或幅度而针对当前焦点选择的；以及向音频单元提供用于提供第一声音输出的第一声音信息，该第一声音输出对应于当前焦点从第一用户界面对象到第二用户界面对象的移动，其中第一声音输出与当前焦点从第一用户界面对象移动到第二用户界面对象的显示并发地被提供，并且第一声音输出的音高至少部分基于第一用户界面对象的大小、第一用户界面对象的类型、第二用户界面对象的大小和/或第二用户界面对象的类型来确定。
根据一些实施例，电子设备与显示单元、音频单元以及可选的遥控器单元通信，所述显示单元被配置为显示用户界面，所述音频单元被配置为提供声音输出，并且所述遥控器单元(其可选地包括触敏表面单元)被配置为检测用户输入并且将它们发送给电子设备。该设备包括：处理单元，被配置为向显示单元提供用于呈现包括关于第一视频的描述性信息的第一视频信息用户界面的数据。该处理单元还被配置为向音频单元提供用于在由显示单元对第一视频信息用户界面的呈现期间提供对应于第一视频的第一声音输出的声音信息。该处理单元进一步被配置为当显示单元呈现包括关于第一视频的描述性信息的第一视频信息用户界面时，接收与用于回放第一视频的请求对应的输入。该处理单元进一步被配置为响应于接收到与用于回放第一视频的请求对应的输入，向显示单元提供用于利用第一视频的回放替换第一视频信息用户界面的呈现的数据。该处理单元进一步被配置为在第一视频的回放期间，接收与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入。该处理单元进一步被配置为响应于接收到与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入：向显示单元提供用于利用关于第一视频的第二视频信息用户界面替换第一视频的回放的数据；以及向音频单元提供用于在由显示单元对第二视频信息用户界面的呈现期间提供对应于第一视频的与第一声音输出不同的第二声音输出的声音信息。
根据一些实施例，电子设备包括处理单元。该电子设备与显示单元通信。该显示单元被配置为显示视频回放信息。该处理单元被配置为向显示单元提供用于呈现第一视频的数据；当显示单元正呈现第一视频时，接收与用于暂停第一视频的用户请求对应的输入；响应于接收到与用于暂停第一视频的用户请求对应的输入，在第一视频的时间线中的第一回放位置处暂停第一视频的呈现；以及在第一视频的时间线中的第一回放位置处暂停第一视频的呈现之后并且当第一视频的呈现被暂停时，向显示单元提供用于呈现来自第一视频的多个所选择的静止图像的数据，其中基于在其处暂停第一视频的第一回放位置，选择多个所选择的静止图像。
根据一些实施例，电子设备与显示器、音频系统和可选的遥控器(其可选地包括触敏表面)通信。该电子设备包括一个或多个处理器、存储器和一个或多个程序；一个或多个程序被存储在存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行本文所描述的方法中的任何一种方法的操作或者引起本文所描述的方法中的任何一种方法的操作执行的指令。根据一些实施例，计算机可读存储介质(例如，非瞬态计算机可读存储介质或者备选地瞬态计算机可读存储介质)已经在其中存储指令，该指令当由与显示器和音频系统通信的电子设备执行时，使得设备执行本文所描述的方法中的任何一种方法的操作或者引起本文所描述的方法中的任何一种方法的操作执行。根据一些实施例，具有显示器、触敏表面、存储器和执行存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括响应于如本文所描述的方法中的任何一种方法中所描述的输入而更新的上文所描述的方法中的任何一种方法中所显示的元件中的一个或多个元件。根据一些实施例，电子设备与显示器和音频系统通信。该电子设备包括用于执行本文所描述的方法中的任何一种方法的操作或者引起本文所描述的方法中的任何一种方法的操作执行的装置。根据一些实施例，一种用于使用在与显示器和音频系统通信的电子设备中的信息处理装置包括用于执行本文所描述的方法中的任何一种方法的操作或者引起本文所描述的方法中的任何一种方法的操作执行的装置。
因此，与显示器和音频系统通信的电子设备被提供有经改进的用于提供视听反馈的方法和界面，从而增加关于这样的设备的有效性、效率和用户满意度。这样的方法和界面可以补充或者替换用于提供视听反馈的常规方法。
附图说明
为了更好地理解各种描述的实施例，下面应当结合附图参考对各实施例的描述，其中相似的参考标号指代贯穿附图的对应部分。
图1a是图示了根据一些实施例的具有触敏显示器的便携式多功能设备的框图。
图1b是图示了根据一些实施例的用于事件处置(handle)的示例性组件的框图。
图2图示了根据一些实施例的具有触摸屏的便携式多功能设备。
图3是根据一些实施例的具有显示器和触敏表面的示例性多功能设备的框图。
图4a图示了根据一些实施例的用于便携式多功能设备上的应用的菜单的示例性用户界面。
图4b图示了根据一些实施例的用于具有与显示器分离的触敏表面的多功能设备的示例性用户界面。
图4c图示了根据一些实施例的与显示器和触敏表面通信的示例性电子设备，其中对于电子设备的至少子集而言，显示器和/或触敏表面被集成到电子设备中。
图5a至图5ss图示了根据一些实施例的用于提供视听反馈的示例性用户界面。
图6a至图6c是图示了根据一些实施例的结合改变对应于用户界面对象的音频分量来改变用户界面对象的视觉特性的方法的流程图。
图7a至图7d是图示了根据一些实施例的提供对应于用户的与用户界面对象的交互的声音信息的方法的流程图。
图8a至图8c是图示了根据一些实施例的提供对应于用户的与用户界面对象的交互的声音信息的方法的流程图。
图9a至图9c是图示了根据一些实施例的提供针对视频信息用户界面的声音信息的方法的流程图。
图10a至图10b图示了根据一些实施例的当视频处于暂停状态时提供视听信息的方法的流程图。
图11是根据一些实施例的电子设备的功能框图。
图12是根据一些实施例的电子设备的功能框图。
图13是根据一些实施例的电子设备的功能框图。
具体实施方式
许多电子设备响应于用户输入而更新图形用户界面并且提供音频反馈。常规方法包括响应于相同用户输入而提供简单的音频反馈。例如，响应于与用于移动当前焦点的请求对应的每个用户输入，提供相同音频反馈。这样的简单的音频反馈不提供设备的响应的上下文。如果用户未完全理解交互的上下文，则用户可能执行非预期的操作。非预期的操作对于用户而言可能是令人沮丧的。另外，这样的非预期的操作要求取消这样的非预期的操作并且再提供用户输入直到期望的操作被执行，其可能是麻烦并且低效的。
在下面所描述的一些实施例中，一种经改进的用于提供音频反馈的方法包括提供用于呈现具有控制用户界面对象(例如，滑动条的滑块(thumb))的用户界面的数据。当接收到输入时，提供数据来移动控制用户界面对象的数据，并且针对具有随着控制用户界面对象的移动而改变的特性的声音输出提供声音信息。因此，声音输出的特性指示控制用户界面对象的移动。
另外，在下面所描述的一些其他实施例中，一种经改进的用于提供音频反馈的方法包括提供用于呈现具有多个图标的用户界面的数据，其中当前焦点在第一图标上。响应于接收到输入，提供数据来将当前焦点移动到第二图标，并且针对声音输出提供声音信息，其中声音输出的音高基于第一图标的大小或者类型和/或第二图标的大小或者类型来确定。
另外，用于暂停视频的常规方法包括在其中当暂停视频的回放时暂停视频的位置处呈现视频的单个图像。暂停视频的回放并且在稍后的时间返回以恢复视频的回放的用户具有关于在何处播放视频的有限信息。因此，在视频的回放被恢复之后，用户可能花费一些时间理解视频的上下文。
在下面所描述的一些实施例中，一种经改进的用于暂停视频的回放的方法包括当视频的回放被暂停时提供用于呈现来自视频的多个静止图像的数据。来自视频的多个静止图像促进用户即使在视频的回放被恢复之前，也理解其中视频的回放被暂停周围的视频的上下文。因此，用户可以在视频的回放被恢复之后不久理解视频的上下文。
而且，用于呈现视频信息用户界面的常规方法包括不管是否已经发起视频的回放(例如，用户在观看视频的至少一部分之后是否已经返回到视频信息用户界面)都提供单个声音输出。因此，声音输出仅提供关于视频的有限的固定信息。
在下面所描述的一些实施例中，一种经改进的用于呈现视频信息用户界面的方法包括：在视频的回放已经发起之后，提供与普通(stock)声音输出不同的声音输出，使得声音输出可以用来传达附加信息，诸如其中视频的回放被中断的心情。
而且，用于呈现屏幕保护程序的常规方法包括呈现视频。然而，屏幕保护程序不包括声音输出或者包括有限的声音输出。
在下面所描述的一些实施例中，一种经改进的用于呈现屏幕保护程序的方法包括提供包括对应于在屏幕保护程序中所显示的用户界面对象的音频分量的声音输出。因此，声音输出可以用来可听见地指示附加信息，诸如对于所显示的用户界面对象的视觉特性和屏幕保护程序的状态的改变。
在下面，图1a至图1b、图2和图3提供了示例性设备的描述。图4a至图4c和图5a至图5ss图示了用于提供音频反馈的用户界面。图6a至图6c图示了根据一些实施例的结合改变对应于用户界面对象的音频分量来改变用户界面的视觉特性的方法的流程图。图7a至图7d图示了根据一些实施例的提供对应于用户的与用户界面对象的交互的声音输出信息的方法的流程图。图8a至图8c图示了根据一些实施例的提供对应于用户的与用户界面对象的交互的声音输出信息的方法的流程图。图9a至图9c图示了提供针对视频信息用户界面的声音输出的方法的流程图。图10a至图10b图示了当视频处于暂停状态时提供视听信息的方法的流程图。图5a至图5ss中的用户界面用来图示图6a至图6c、图7a至图7d、图8a至图8c、图9a至图9c以及图10a至图10b中的过程。
示例性设备
现在将对其示例在附图中图示的实施例详细进行参考。在以下详细描述中，阐述很多特定细节以便提供各种所描述的实施例的透彻理解。然而，对于本领域的普通技术人员而言将明显的是，可以在没有这些特定细节的情况下实践各种所描述的实施例。在其他实例中，尚未详细描述公知方法、流程、组件、电路和网络以便不会不必要地使实施例的各方面难以理解。
还将理解到，虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一用户界面对象可以被称作第二用户界面对象，并且类似地，第二用户界面对象可以被称作第一用户界面对象，而不脱离各种所描述的实施例的范围。第一用户界面对象和第二用户界面对象均是用户界面对象，但是除非上下文以其他方式明确指出，否则它们不是同一个用户界面对象。
在各种描述的实施例的描述中使用的术语在本文中仅用于描述特定实施例的目而并不旨在限制。除非上下文以其他方式明确指出，否则如在各种描述的实施例的描述以及所附权利要求书中所使用的单数形式的“一”、“一个”和“所述”旨在也包括复数形式。还应当理解，本文所使用的术语“和/或”指代并且涵盖相关联的列举的项目的一个或多个项目中的任何项目以及所有可能的组合。应当进一步理解，术语“包括”、“具有”、“包含”和/或“含有”当在本说明书中使用时指定陈述的特征、整体、步骤、操作、元件和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的分组的出现或添加。
如本文所使用的，术语“如果”取决于上下文可以被解释为意味着“当…时”或者“一旦…则”或者“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或者“如果检测到[陈述的条件或事件]”取决于上下文可选地被解释为意味着“一旦确定，则”或者“响应于确定”或者“一旦检测到[陈述的条件或事件]”或者“响应于检测到[陈述的条件或事件]”。
描述了电子设备、针对这样的设备的用户接口以及用于使用这样的设备的相关联过程的实施例。在一些实施例中，设备是数字媒体播放器，诸如来自加利福尼亚州的库比蒂诺的apple公司的apple
在以下论述中，描述了一种与显示器和触敏表面通信和/或包括显示器和触敏表面的电子设备。然而，应当理解的是，该电子设备可选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
该设备典型地支持各种应用，诸如以下应用中的一个或多个应用：笔记应用、画图应用、演示应用、文字处理应用、网站创建应用、盘编写(diskauthoring)应用、电子表格应用、游戏应用、电话应用、视频会议应用、电子邮件应用、即时消息接发应用、锻炼支持应用、照片管理应用、数码相机应用、数码录像机应用、web浏览应用、数字音乐播放器应用和/或数字视频播放器应用。
在设备上被执行的各种应用可选地使用至少一个公共物理用户接口设备，诸如触敏表面。触敏表面的一个或多个功能以及在设备上显示的对应信息可选地被从一个应用向下一个应用和/或在各自应用中调整和/或变化。按照这种方式，设备的公共物理架构(诸如触敏表面)利用对于用户而言直观并且透明的用户界面来可选地支持各种应用。
现在把注意力转向具有触敏显示器的便携式设备的实施例。图1a是图示了根据一些实施例的具有触敏显示系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便起见被称作“触摸屏”，并且有时简单地被称作触敏显示器。设备100包括存储器102(其可选地包括一个或多个非瞬态计算机可读存储介质)、存储器控制器122、一个或多个处理单元(cpu)120、外围设备接口118、rf电路108、音频电路110、扬声器111、麦克风113、输入/输出(i/o)子系统106、其他输入或控制设备116以及外部端口124。设备100可选地包括一个或多个光学传感器164。设备100可选地包括用于在设备100(例如，触敏表面，诸如设备100的触敏显示系统112)上检测接触的强度的一个或多个强度传感器165。设备100可选地包括用于在设备100上生成触觉输出(例如，在触敏表面(诸如，在设备100的触敏显示系统112或者设备300的触摸板335)上生成触觉输出)的一个或多个触觉输出生成器167。这些组件可选地在一个或多个通信总线或信号线103上进行通信。
如在说明书和权利要求中所使用的，术语“触觉输出”指代将由用户利用用户的触感检测的设备相对于设备的之前定位的物理位移、设备的组件(例如，触敏表面)相对于设备的另一个组件(例如，外壳)的物理位移、或者组件相对于设备的质心的位移。例如，在设备或者设备的组件与对触摸敏感的用户的表面(例如，手指、手掌或者用户的手的其他部分)接触的情况下，由物理位移生成的触觉输出将被用户解译为对应于设备或者设备的组件的物理特性中的感知改变的触觉感觉。例如，触敏表面(例如，触敏显示器或者触控板)的移动可选地被用户解译为物理致动器按钮的“向下点击(downclick)”或者“向上点击(upclick)”。在一些情况下，即使当不存在与由用户的移动物理地按压(例如，位移)的触敏表面相关联的物理致动器按钮的移动时，用户也将感觉到触觉感觉，诸如“向下点击”或者“向上点击”。作为另一个示例，即使当触敏表面的平滑中不存在改变时，触敏表面的移动也可选地被用户解译或者感觉为触敏表面的“粗糙度”。虽然用户的对触摸的这样的解译受到用户的个性化的感官知觉的影响，但是存在对大多数用户是共同的触摸的许多感官知觉。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“向上点击”、“向下点击”、“粗糙度”)时，除非另作说明，否则生成的触觉输出对应于将生成用于典型的(或者平均的)用户的描述的感官知觉的设备或者其组件的物理位移。
应当领会到，设备100仅是便携式多功能设备的一个示例，并且设备100可选地具有比所示组件更多或更少的组件，可选地组合两个或更多个组件，或者可选地具有不同的组件配置或布置。图1a中所示出的各种组件在硬件、软件、固件或其组合(包括一个或多个信号处理和/或专用集成电路)中被实施。
存储器102可选地包括高速随机访问存储器，并且可选地还包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储器设备。由设备100的其他组件(诸如(一个或多个)cpu120和外围设备接口118)对存储器102的访问可选地被存储器控制器122控制。
外围设备接口118可以用来将设备的输入和输出外围设备耦合至(一个或多个)cpu120和存储器102。一个或多个处理器120运行或执行在存储器102中存储的各种软件程序和/或指令集，以执行针对设备100的各种功能以及处理数据。
在一些实施例中，外围设备接口118、(一个或多个)cpu120以及存储器控制器122可以在单个芯片(诸如，芯片104)上被实施。在一些其他实施例中，它们可选地在分离的芯片上被实施。
rf(射频)电路108接收并且发送rf信号，也被称作电磁信号。rf电路108将电信号转换成电磁信号/将电磁信号转换成电信号，并且经由电磁信号与通信网络以及其他通信设备通信。rf电路108可选地包括用于执行这些功能的公知电路，包括但不限于：天线系统、rf收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、codec芯片集、订户标识模块(sim)卡、存储器等。rf电路108可选地通过无线通信与诸如也被称为万维网(www)的因特网、内联网和/或诸如蜂窝式电话网络、无线局域网(lan)和/或城域网(man)的无线网络以及其他设备通信。无线通信可选地使用多种通信标准、协议和技术中的任何一种，包括但不限于：全球移动通信系统(gsm)、增强型数据gsm环境(edge)、高速下行链路分组接入(hsdpa)、高速上行链路分组接入(hsupa)、仅演进数据(ev-do)、hspa、hspa+、双小区hspa(dc-hspda)、长期演进(lte)、近场通信(nfc)、宽带码分多址(w-cdma)、码分多址(cdma)、时分多址(tdma)、蓝牙、蓝牙低功耗(btle)、无线高保真(wi-fi)(例如，ieee802.11a、ieee802.ac、ieee802.11ax、ieee802.11b、ieee802.11g和/或ieee802.11n)、因特网协议语音(voip)、wi-max、针对电子邮件的协议(例如，因特网消息访问协议(imap)和/或邮局协议(pop))、即时消息接发(例如，可扩展消息接发和出席协议(xmpp)、针对即时消息接发和出席平衡扩展的会话发起协议(simple)、即时消息接发和出席服务(imps))和/或短消息服务(sms)，或者任何其他适当的通信协议，包括在本文献递交日为止还未开发出的通信协议。
音频电路110、扬声器111和麦克风113在用户与设备100之间提供音频接口。音频电路110从外围设备接口118接收音频数据，将该音频数据转换成电信号，并且向扬声器111传输该电信号。扬声器111将该电信号转换成人类可听见的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换成音频数据并且向外围设备接口118传输该音频数据用于处理。音频数据可选地通过外围设备接口118从存储器102和/或rf电路108获取和/或传输到存储器102和/或rf电路108。在一些实施例中，音频电路110还包括耳机插孔(例如，212，图2)。耳机插孔在音频电路110与可移除音频输入/输出外围设备(诸如只有输出的受话器或既能输出(例如，单耳或双耳的受话器)又能输入(例如，麦克风)的耳机)之间提供接口。
i/o子系统106将设备100上的输入/输出外围设备(诸如触摸屏112和其他输入或控制设备116)与外围设备接口118耦合。i/o子系统106可选地包括显示器控制器156、光学传感器控制器158、强度传感器控制器159、触感反馈控制器161、以及针对其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入或控制设备116接收电信号/向其他输入或控制设备116发送电信号。其他输入或控制设备116可选地包括物理按钮(例如，下压按钮、摇杆按钮等)、拨盘、滑动开关、操纵杆、点击式转盘等。在一些备选实施例中，(一个或多个)输入控制器160可选地与以下各项中的任意项(或没有)耦合：键盘、红外端口、usb端口、触笔以及诸如鼠标之类的指点设备。一个或多个按钮(例如，208，图2)可选地包括针对扬声器111和/或麦克风113的音量控制的上/下按钮。该一个或多个按钮可选地包括下压按钮(例如，206，图2)。
触敏显示器系统112在设备与用户之间提供输入接口和输出接口。显示器控制器156从触敏显示器系统112接收电信号和/或向触敏显示器系统112发送电信号。触敏显示器系统112向用户显示视觉输出。该视觉输出可选地包括图形、文本、图标、视频以及上述各项的任何组合(统称为“图形”)。在一些实施例中，一些或所有视觉输出对应于用户接口对象。
触敏显示器系统112具有基于触感和/或触觉接触而接受来自用户的输入的触敏表面、传感器或传感器集。触敏显示器系统112和显示器控制器156(连同存储器102中的任何相关联的模块和/或指令集)检测触敏显示器系统112上的接触(以及接触的任意移动或阻断)，并且将检测到的接触转换成与在触敏显示器系统112上显示的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一些实施例中，在触敏显示器系统112与用户之间的接触点对应于用户的手指或者触笔。
触敏显示器系统112可选地使用lcd(液晶显示屏)技术、lpd(发光聚合物显示器)技术或led(发光二极管)技术，但在其他实施例中使用其他显示技术。触敏显示器系统112和显示器控制器156可选地使用现在已知或以后开发的多种触摸感测技术的任何一种来检测接触以及接触的任何移动或阻断，这些触摸感测技术包括但不限于：电容、电阻、红外和表面声波技术，以及用于确定与触敏显示器系统112的一个或多个接触点的其他接近传感器阵列或其他元件。在一些实施例中，使用诸如可以在加利福尼亚州、库比蒂诺的apple公司的
触敏显示器系统112可选地具有超过100dpi的视频分辨率。在一些实施例中，触摸屏视频分辨率超过400dpi(例如，500dpi、800dpi或者更大)。用户可选地使用诸如触笔、手指等之类的任何适当物体或附属物与触敏显示器系统112进行接触。在一些实施例中，用户界面被设计成通过基于手指的接触和手势来工作，由于手指在触摸屏上的接触面积更大，因此基于手指接触和手势在精度上可能低于基于触笔的输入。在一些实施例中，设备将粗略的基于手指的输入转译成精确的指针/光标定位或用于执行用户所期望的动作的命令。
在一些实施例中，除了触摸屏之外，设备100可选地包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施例中，触摸板是设备的与触摸屏不同的、不显示视觉输出的触敏区域。触摸板可选地是与触敏显示器系统112分离的触敏表面或者由触摸屏形成的触敏表面的延伸。
设备100还包括用于对各种组件供电的电力系统162。电力系统162可选地包括电力管理系统、一个或多个电源(例如，电池、交流电(ac))、充电系统、电力故障检测电路、电力转换器或反相器、电力状态指示器(例如，发光二极管(led))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他组件。
设备100可选地还包括一个或多个光学传感器164。图1a示出了与i/o子系统106中的光学传感器控制器158耦合的光学传感器。(一个或多个)光学传感器164可选地包括电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)光电晶体管。(一个或多个)光学传感器164接收通过一个或多个透镜投射的来自环境的光，并且将光转换成代表图像的数据。与成像模块143(也被称作相机模块)相结合，(一个或多个)光学传感器164可选地捕获静止图像或视频。在一些实施例中，光学传感器位于设备100的背面，与设备正面上的触敏显示器系统112相对，从而使得触摸屏显示器能够用作静止和/或视频图像获取的取景器。在一些实施例中，另一光学传感器位于设备的正面，从而使得(例如，针对自拍，针对在用户查看触摸屏显示器上的其他视频会议参与者的同时等)，获取用户的图像。
设备100可选地还包括一个或者多个接触强度传感器165。图1a示出了与i/o子系统106中的强度传感器控制器159耦合的接触强度传感器。(一个或多个)接触强度传感器165可选地包括一个或多个压缩电阻应变仪、电容力传感器、电力传感器、压电力传感器、光学力传感器、电容的触敏表面或者其他强度传感器(例如，用来在触敏表面上测量接触的力(或者压力)的传感器)。(一个或多个)接触强度传感器165从环境接收接触强度信息(例如，压力信息或者用于压力信息的代表)。在一些实施例中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置或者接近。在一些实施例中，至少一个接触强度传感器位于设备100的背面，其与位于设备100的前面的触摸屏显示器系统112相对。
设备100可选地还包括一个或多个接近传感器166。图1a示出了与外围设备接口118耦合的接近传感器166。备选地，接近传感器166与i/o子系统106中的输入控制器160耦合。在一些实施例中，当多功能设备处于用户的耳朵附近时(例如，当用户正在打电话时)，接近传感器关闭并且禁用触敏显示器系统112。
设备100可选地还包括一个或多个触觉输出生成器167。图1a示出了与i/o子系统106中的触感反馈控制器161耦合的触觉输出生成器。(一个或多个)触觉输出生成器167可选地包括一个或者多个电声设备(诸如，扬声器或者其他音频分量)和/或将能量转换成线性运动的机电设备(诸如，电机、螺线管、电活性聚合物、压电式致动器、静电致动器或者其他触觉输出生成组件(例如，将电信号转换成设备上的触觉输出的组件))。在一些实施例中，(一个或多个)触觉输出生成器165从触感反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉的触觉输出。在一些实施例中，至少一个触觉输出生成器与触敏表面(例如，触敏显示器系统112)并置或者接近，并且可选地通过垂直地(例如，进/出设备100的表面)或者横向地(在与设备100的表面相同的平面中来回)移动触敏表面来生成触觉输出。在一些实施例中，至少一个触觉输出生成器传感器位于设备100的背面，其与位于设备100的前面的触摸屏显示器系统112相对。
设备100可选地还包括一个或多个加速度计168。图1a示出了与外围设备接口118耦合的加速度计168。备选地，加速度计168可选地与i/o子系统106中的输入控制器160。在一些实施例中，基于对从一个或多个加速度计接收的数据的分析而按照纵向视图或者横向视图将信息显示在触摸屏显示器上。除了(一个或多个)加速度计168之外，设备100可选地包括磁力计(未示出)和gps(或者glonass或者其他全球导航系统)接收器(未示出)以用于获得与设备100的位置和定向(例如，纵向或横向)有关的信息。
在一些实施例中，存储在存储器102中的软件组件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(gps)模块(或指令集)135以及应用(或指令集)136。此外，如在图1a和图3中所示，在一些实施例中，存储器102(图1a)或者存储器370(图3)存储设备/全局内部状态157。设备/全局内部状态157包括以下各项中的一项或多项：活跃应用状态，指示当前活跃的应用(如果有的话)；显示器状态，指示哪些应用、视图或其他信息占用触敏显示器系统112各种区域；传感器状态，包括从设备的各种传感器和其他输入或控制设备116获得的信息；以及与设备的位置和/或姿势有关的位置和/或定位信息。
操作系统126(例如，ios、darwin、rtxc、linux、unix、osx、windows、或者诸如vxworks的嵌入式操作系统)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电力管理等)的各种软件组件和/或驱动器，并且有助于在各种硬件与软件组件之间的通信。
通信模块128有助于在一个或多个外部端口124上与其他设备的通信，并且还包括用于处置通过rf电路108和/或外部端口124接收的数据的各种软件组件。外部端口124(例如，通用串行总线(usb)、firewire等)适于直接地或通过网络(例如，因特网、无线lan等)间接地耦合至其他设备。在一些实施例中，外部端口是与在来自加利福尼亚州的库比蒂诺的apple公司的
接触/运动模块130可选地检测与触敏显示器系统112(与显示器控制器156相结合)和其他触敏设备(例如，触摸板或物理点击式转盘)的接触。接触/运动模块130包括用于执行与接触的检测相关的各种操作的各种软件组件(例如，通过手指或者通过触笔)，诸如确定是否发生了接触(例如，检测手指向下事件)，确定接触的强度(例如，接触的力或者压力，或者用于接触的力或者压力的替代)，确定是否存在接触的移动并且跟踪跨触敏表面的移动(例如，检测一个或多个手指拖拽事件)以及确定接触是否已停止(例如，检测手指向上事件或接触阻断)。接触/运动模块130从触敏表面接收接触数据。确定触点的移动(其由一系列接触数据所表示)可选地包括确定触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向上的改变)。这些操作可选地应用于单个接触(例如，一个手指接触或触笔接触)，或者多个同时接触(例如，“多触摸”/多个手指接触)。在一些实施例中，接触/运动模块130和显示器控制器156检测触摸板上的接触。
接触/运动模块130可选地检测由用户输入的手势。触敏表面上不同的手势具有不同的接触模式(例如，不同的运动、计时和/或检测的接触的强度)。因此，手势可选地通过检测特定接触模式被检测。例如，检测手指叩击手势包括：检测手指向下事件、随后是在与该手指向下事件(例如，在图标的定位处)相同的定位(或者基本上相同的定位)检测手指向上(抬起)事件。作为另一示例，检测触摸表面上的手指扫动(swipe)手势包括：检测手指向下事件、随后是检测一个或多个手指拖拽事件并且再随后是检测手指向上(抬起)事件。类似地，通过检测针对触笔的特定接触模式针对触笔可选地检测叩击、扫动、拖曳和其他手势。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件组件，包括用于改变所显示图形的视觉效果(例如，亮度、透明度、饱和度、对比度或者其他视觉属性)的组件。如本文所使用的，术语“图形”包括可以向用户显示的任何对象，包括但不限于：文本、网页、图标(诸如包括软按键的用户界面对象)、数字图像、视频、动画等。
在一些实施例中，图形模块132存储表示待使用的图形的数据。每个图形被可选地指派对应的代码。图形模块132从应用等接收指定待显示的图形的一个或多个代码连同(如果有需要)坐标数据和其他图形属性数据，并且然后生成屏幕图像数据以向显示器控制器156输出。
触感反馈模块133包括各种软件组件，这些软件组件用于响应于与设备100的用户交互来生成由触觉输出生成器167用来在设备100上的一个或者多个位置处使用(一个或多个)触觉输出生成器167产生触觉输出的指令(例如，由触觉反馈控制器161所使用的指令)。
文本输入模块134(其可选地是图形模块132的组件)提供用于将文本录入各种应用(例如，联系人137、电子邮件140、im141、浏览器147和需要文本输入的任何其他应用)中的软键盘。
gps模块135确定设备的位置，并且提供这一信息以用于在各种应用中使用(例如，提供给电话138以用于在基于位置的拨号中使用；提供给相机143作为图片/视频元数据；以及提供给提供诸如天气小部件、本地黄页小部件和地图/导航小部件的基于位置的服务的应用)。
应用136可选地包括以下模块(或指令集)或其子集或超集：
·联系人模块137(有时被称作地址簿或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息接发(im)模块141；
·锻炼支持模块142；
·用于静止和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·小部件模块149，其可选地包括以下各项中的一项或多项：天气小部件149-1、股票小部件149-2、计算器小部件149-3、闹钟小部件149-4、词典小部件149-5以及由用户获得的其他小部件，以及用户创建的小部件149-6；
·用于制作用户创建的小部件149-6的小部件创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其可选地由视频播放器模块和音乐播放器模块组成；
·备忘录模块153；
·地图模块154；和/或
·在线视频模块155。
可选地被存储在存储器102中的其他应用136的示例包括其他文字处理应用、其他图像编辑应用、画图应用、演示应用、具有java功能的应用、加密、数字权限管理、语音识别和语音复制。
结合触敏显示器系统112、显示器控制器156、接触/运动模块130、图形模块132和文本输入模块134，联系人模块137包括管理地址簿或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用内部状态192中)的可执行指令，包括：将姓名添加到地址簿；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名相关联；将图像与姓名相关联；对姓名进行分类和排序；提供电话号码和/或电子邮件地址以发起和/或有助于通过电话138、视频会议139、电子邮件140或im141的通信等。
结合rf电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示器控制器156、接触/运动模块130、图形模块132和文本输入模块134，电话模块138包括录入对应于电话号码的字符的序列、访问地址簿137中的一个或多个电话号码、修改已经被录入的电话号码、拨打相应的电话号码、进行会话以及当会话完成时断开连接或挂断。如上所述，无线通信可选地使用多种通信标准、协议和技术中的任何一种。
结合rf电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示器控制器156、(一个或多个)光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括用以根据用户指令发起、进行和终止在用户与一个或多个其他参与者之间的视频会议的可执行指令。
结合rf电路108、触敏显示器系统112、显示器控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用以响应于用户指令创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使创建和发送带有利用相机模块143拍摄的静止或视频图像的电子邮件变得非常容易。
结合rf电路108、触敏显示器系统112、显示器控制器156、接触模块130、图形模块132和文本输入模块134，即时消息接发模块141包括用以录入对应于即时消息的字符序列、用以修改先前录入的字符、用以传输相应的即时消息(例如，使用针对基于电话的即时消息的短消息服务(sms)或多媒体消息服务(mms)协议，或者使用针对基于因特网的即时消息的xmpp、simple、苹果推送通知服务(apn)或imps)、以于接收即时消息和用以查看接收的即时消息的可执行指令。在一些实施例中，如在mms和/或增强型消息接发服务(ems)中所支持的那样，所传输和/或所接收的即时消息可选地包括图形、照片、音频文件、视频文件和/或其他附件。如本文中所使用的，“即时消息接发”指代基于电话的消息(例如，使用sms或mms发送的消息)和基于因特网的消息(例如，使用xmpp、simple、apn或imps发送的消息)二者。
结合rf电路108、触敏显示器系统112、显示器控制器156、接触模块130、图形模块132、文本输入模块134、gps模块135、地图模块154和音乐播放器模块146，锻炼支持模块142包括用以创建锻炼(例如，具有时间、距离和/或卡路里燃烧目标)；与锻炼传感器(在运动设备和智能手表中)通信；接收锻炼传感器数据；校准用来监测锻炼的传感器；选择并且播放用于锻炼的音乐；以及显示、存储并且传输锻炼数据的可执行指令。
结合触敏显示器系统112、显示器控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144，相机模块143包括用以捕获静止图像或视频(包括视频流)并且将它们存储到存储器102中，修改静止图像或视频的特性和/或从存储器102删除静止图像或视频的可执行指令。
结合触敏显示器系统112、显示器控制器156、接触/运动模块130、图形模块132、文本输入模块134和相机模块143，图像管理模块144包括用以布置、修改(例如，编辑)、或以其他方式操纵、标记、删除、呈现(例如，在数字幻灯片演示或相册中)以及存储静止和/或视频图像的可执行指令。
结合rf电路108、触敏显示器系统112、显示器系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括用以根据用户指令浏览因特网(包括搜索、链接到、接收和显示网页或网页的部分以及附件与被链接到网页的其他文件)的可执行指令。
结合rf电路108、触敏显示器系统112、显示器系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用以根据用户指令创建、显示、修改和存储日历和与日历相关联的数据(例如，日历条目、待办事项列表等)的可执行指令。
结合rf电路108、触敏显示器系统112、显示器系统控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147，小部件模块149是可选地由用户下载和使用的小型应用(例如，天气小部件149-1、股票小部件149-2、计算器小部件149-3、闹钟小部件149-4和词典小部件149-5)，或者由用户创建的小型应用(例如，用户创建的小部件149-6)。在一些实施例中，小部件包括html(超文本标记语言)文件、css(层叠样式表)文件和javascript文件。在一些实施例中，小部件包括xml(可扩展标记语言)文件和javascript文件(例如，yahoo！小部件)。
结合rf电路108、触敏显示器系统112、显示器系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，小部件创建器模块150包括创建小部件(例如，将网页的用户指定部分转变成小部件)的可执行指令。
结合触敏显示器系统112、显示器系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用以根据用户指令搜索存储器102中的与一条或多条搜索准则(例如，一个或多个用户指定的搜索项)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示器系统112、显示器系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111，rf电路108以及浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放记录的音乐以及按照一种或多种文件格式存储的其他声音文件(诸如mp3或aac文件)的可执行指令，并且包括用以(例如，在触敏显示器系统112上或在无线地或经由外部端口124外部连接的显示器上)显示、呈现或者以其他方式回放视频的可执行指令。在一些实施例中，设备100可选地包括诸如ipod(apple公司的商标)的mp3播放器的功能。
结合触敏显示器系统112、显示器控制器156、接触模块130、图形模块132和文本输入模块134，备忘录模块153包括根据用户指令创建并且管理备忘录、待办事项列表等的可执行指令。
结合rf电路108、触敏显示器电路112、显示器控制器156、接触模块130、图形模块132、文本输入模块134、gps模块135和浏览器模块147，地图模块154包括根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾驶方向；关于在特定位置或附近的商店及其他兴趣点的数据；以及其他基于位置的数据)的可执行指令。
结合触敏显示器系统112、显示器系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、rf电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括允许用户访问、浏览、接收(例如，通过流传输和/或下载)、(例如，在触摸屏上或在无线地或经由经由外部端口124外部连接的显示器上)回放特定在线视频、发送具有到特定在线视频的链接的电子邮件以及以其他方式管理按照诸如h.264之类的一个或多个文件格式的在线视频的可执行指令。在一些实施例中，即时消息接发模块141而不是电子邮件客户端模块140被用来发送到特定在线视频的链接。
上述模块和应用中的每一个均对应于用于执行上文所述的一个或多个功能以及在本申请中描述的方法(例如，本文所述的计算机实现方法以及其他信息处理方法)的指令集。这些模块(即，指令集)无需被实施为单独的软件程序、过程或模块，并且因此这些模块的各种子集可选地在各种实施例中被组合或者重新布置。在一些实施例中，存储器102可选地存储上述模块和数据结构的子集。此外，存储器102可选地存储上文未描述的附加模块和数据结构。
在一些实施例中，设备100是其中排他地通过触摸屏和/或触摸板来执行设备上的预定的功能集合的操作的设备。通过将触摸屏和/或触摸板用作设备100的操作的主要输入控制设备，可选地减少设备100上的物理输入控制设备(诸如下压按钮、拨盘等)的数目。
排他地通过触摸屏和/或触摸板执行的该预定的功能集合可选地包括在用户界面之间的导航。在一些实施例中，当被用户触摸时，触摸板将设备100从在设备100显示上的任意用户界面导航到主画面屏幕、主画面或根菜单。在此类实施例中，“菜单按钮”使用触摸板被实施。在一些其他实施例中，菜单按钮是物理下压按钮或其他物理输入控制设备而不是触摸板。
图1b是图示了根据一些实施例的用于事件处置(handle)的示例性组件的框图。在一些实施例中，存储器102(在图1a中)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)和相应的应用136-1(例如，前述应用136、137-155、380-390中的任何应用)。
事件分类器170接收事件信息，并且确定应用136-1以及应用136-1的向其递送该事件信息的应用视图191。事件分类器170包括事件监测器171和事件分派器模块174。在一些实施例中，应用136-1包括应用内部状态192，其指示当应用活跃或执行时在触敏显示器系统112上显示的(一个或多个)当前应用视图。在一些实施例中，设备/全局内部状态157被事件分类器170用来确定那些应用当前活跃，并且应用内部状态192由事件分类器170用来确定向其递送事件信息的应用视图191。
在一些实施例中，应用内部状态192包括附加信息，诸如以下各项中的一项或多项：当应用136-1恢复执行时将被使用的恢复信息，指示应用136-1正在显示或准备好显示的信息的用户界面状态信息，使用户能够回到应用136-1的之前状态或视图的状态队列以及由用户执行的先前动作的重做/撤销队列。
事件监测器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从i/o子系统106或传感器(诸如接近传感器166、加速度计168和/或麦克风113(通过音频电路110))接收的信息。外围设备接口118从i/o子系统106接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施例中，事件监测器171以预定间隔向外围设备接口118发送请求。作为响应，外围设备接口118传输事件信息。在其他实施例中，只在存在重要事件(例如，接收到超过预定噪声阈值和/或长于预定持续时间的输入)时，外围设备接口118才传输事件信息。
在一些实施例中，事件分类器170还包括命中视图确定模块172和/或活跃事件识别器确定模块173。
命中视图确定模块172提供用于在触敏显示器系统112显示多于一个视图时确定子事件在一个或多个视图中发生的位置的软件程序。视图由用户在显示器上可以看到的控件和其他元件组成。
与应用相关联的用户界面的另一方面是一组视图，有时在本文中被称为应用视图或用户界面窗口，其中显示信息并且发生基于触摸的手势。其中检测到触摸的(相应应用的)应用视图可以对应于该应用的程序或视图层次中的程序层级。例如，其中检测到触摸的最低层级视图可选地被称为命中视图，并且可以至少部分基于开始基于触摸的手势的初始触摸的命中视图来可选地确定被识别为正确输入的事件集。
命中视图确定模块172接收与基于触摸的手势的子事件有关的信息。当应用具有以层次组织的多个视图时，命中视图确定模块172将该层次结构中应当处置该子事件的最低层视图标识为命中视图。在大部分情况下，命中视图是其中发生了发起子事件(即，子事件序列中形成事件或潜在事件的第一个子事件)的最低层级的视图。一旦命中视图由命中视图确定模块标识，该命中视图就通常接收与使其被标识为命中视图的相同触摸或输入源有关的所有子事件。
活跃事件识别器确定模块173确定视图层次中应当接收特定子事件序列的一个或多个视图。在一些实施例中，活跃事件识别器确定模块173确定只有命中视图应当接收特定子事件序列。在其他实施例中，活跃事件识别器确定模块173确定包括子事件的物理位置的所有视图都是有效涉及的视图，并且因此确定所有有效涉及的视图都应当接收特定子事件序列。在其他实施例中，即使触摸子事件被完全限定到与一个特定视图相关联的区域，层次中更高的视图仍然将保持作为有效涉及的视图。
事件分派器模块174将事件信息分派至事件识别器(例如，事件识别器180)。在包括活跃事件识别器确定模块173的实施例中，事件分派器模块174将事件信息递送至由活跃事件识别器确定模块173确定的事件识别器。在一些实施例中，事件分派器模块174将事件信息存储在事件队列中，该事件信息由相应的事件接收器模块182取回。
在一些实施例中，操作系统126包括事件分类器170。备选地，应用136-1包括事件分类器170。在更多其他实施例中，事件分类器170是单独模块，或者是存储器102中存储的另一模块(诸如接触/运动模块130)的一部分。
在一些实施例中，应用136-1包括多个事件处置器190以及一个或多个应用视图191，其中的每一个包括用于处置发生在该应用的用户界面的相应视图内的触摸事件的指令。应用136-1的每个应用视图191包括一个或多个事件识别器180。通常，相应的应用视图191包括多个事件识别器180。在其他实施例中，事件识别器180中的一个或多个事件识别器是单独模块(诸如用户接口套件(未示出))的一部分，或者应用136-1从中继承方法和其他属性的更高层对象。在一些实施例中，各事件处置器190包括以下各项中的一项或多项：数据更新器176、对象更新器177、gui更新器178和/或从事件分类器170接收的事件数据179。事件处置器190可选地利用或调用数据更新器176、对象更新器177或gui更新器178来更新应用内部状态192。备选地，应用视图191中的一个或多个应用视图包括一个或多个相应事件处置器190。同样，在一些实施例中，数据更新器176、对象更新器177和gui更新器178中的一个或多个被包括在相应的应用视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并基于该事件信息标识事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施例中，事件识别器180还包括以下各项的至少子集：元数据183和事件递送指令188(其可选地包括子事件递送指令)。
事件接收器182从事件分类器170接收事件信息。该事件信息包括关于子事件(例如，触摸或触摸移动)的信息。取决于子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息还可选地包括子事件的速度和方向。在一些实施例中，事件包括设备从一个定向到另一个定向的旋转(例如，从纵向到横向的旋转，反之亦然)，并且事件信息包括关于设备的当前定向(也被称作设备姿态)的对应信息。
事件比较器184将事件信息与预定的事件或子事件定义进行比较，并且基于该比较确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施例中，事件比较器184包括事件定义186。事件定义186包含事件(例如，预定的子事件序列)的定义，例如，事件1(187-1)、事件2(187-2)等等。在一些实施例中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多触摸。在一个示例中，针对事件1(187-1)的定义是对显示的对象的双叩击。该双叩击例如包括对显示的对象的、预定阶段的第一触摸(触摸开始)、预定阶段的第一抬起(触摸结束)、对显示对象的、预定阶段的第二触摸(触摸开始)以及预定阶段的第二抬起(触摸结束)。在另一示例中，针对事件2(187-2)的定义是对显示对象的拖拽。该拖拽例如包括对显示的对象的、预定阶段的触摸(或接触)、该触摸跨触敏显示器系统112上的移动以及触摸的抬起(触摸结束)。在一些实施例中，事件还包括针对一个或多个相关联的事件处置器190的信息。
在一些实施例中，事件定义187包括针对相应用户界面对象的事件的定义。在一些实施例中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在其中三个用户界面对象被显示在触敏显示器系统112上的应用视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中测试以确定三个用户界面对象中(如果有的话)的哪个用户界面对象与该触摸(子事件)相关联。如果每个显示对象均与相应的事件处置器190相关联，则事件比较器使用命中测试的结果来确定应当激活哪个事件处置器190。例如，事件比较器184选择与触发命中测试的子事件和对象相关联的事件处置器。
在一些实施例中，针对各事件187的定义还包括延迟的动作，其延迟事件信息的递送，直到已经确定子事件序列是否与事件识别器的事件类型对应。
当各事件识别器180确定一系列子事件不与事件定义186中的任何事件匹配时，该相应的事件识别器180进入事件不可能、事件失败或者事件结束状态，此后该相应的事件识别器180忽视基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活跃的其他事件识别器(如果有的话)，继续跟踪和处理正在进行的基于触摸的手势的子事件。
在一些实施例中，各事件识别器180包括具有可配置的属性、标志和/或列表的元数据183，其指示事件递送系统应当如何执行去往有效涉及的事件识别器的子事件递送。在一些实施例中，元数据183包括可配置的属性、标志和/或列表，其指示事件识别器如何或者能够彼此交互。在一些实施例中，元数据183包括可配置的属性、标志和/或列表，其指示子事件是否被递送到视图或程序层次中的不同层级。
在一些实施例中，各事件识别器180在事件的一个或多个特定子事件被识别时激活与事件相关联的事件处置器190。在一些实施例中，各事件识别器180向事件处置器190递送与事件相关联的事件信息。激活事件处置器190不同于向相应的命中视图发送(或延迟发送)子事件。在一些实施例中，事件识别器180抛出与识别的事件相关联的标志，并且与该标志相关联的事件处置器190抓住该标志并执行预定的过程。
在一些实施例中，事件递送指令188包括子事件递送指令，其递送关于子事件的事件信息而不激活事件处置器。相反，子事件递送指令向与一系列子事件或有效涉及的视图相关联的事件处置器递送事件信息。与一系列子事件或与有效涉及的视图相关联的事件处置器接收该事件信息并执行预定过程。
在一些实施例中，数据更新器176创建并更新在应用136-1中使用的数据。例如，数据更新器176更新在联系人模块137中使用的电话号码，或者存储在视频播放器模块145中使用的视频文件。在一些实施例中，对象更新器177创建并更新在应用136-1中使用的对象。例如，对象更新器176创建新的用户界面对象或更新用户界面对象的定位。gui更新器178更新gui。例如，gui更新器178准备显示器信息，并且将其发送至图形模块132以用于在触敏显示器上显示。
在一些实施例中，事件处置器190包括或能够访问数据更新器176、对象更新器177和gui更新器178。在一些实施例中，数据更新器176、对象更新器177和gui更新器178被包括在相应的应用136-1或应用视图191的单个模块中。在其他实施例中，它们被包括在两个或更多个软件模块中。
应当理解，前面关于触敏显示器上的用户触摸的事件处置的论述也适用于操作具有输入设备的多功能设备100的其他形式的用户输入，其中不是所有用户输入都是在触摸屏上被发起的。例如，与单个或多个键盘按压或保持可选地相配合的鼠标移动和鼠标按钮按压；触控板上的接触移动(诸如叩击、拖拽、滚动等)；触笔输入，设备的移动；口头指令；检测到的眼睛移动，生物测定的输入；和/或上述各项的任何组合，都可选地用作与定义要被识别的子事件对应的输入。
图2图示了根据一些实施例的具有触摸屏112(例如，触敏显示器系统112，图1a)的便携式多功能设备100。触摸屏可选地显示用户界面(ui)200内的一个或多个图形。在这些实施例中以及如下所述的其他实施例中，用户被使得能够通过对图形做出手势(例如，通过一个或多个手指202(在图中未按比例画出)或一个或多个触笔(在图中未按比例画出))来选择图形中的一个或多个图形。在一些实施例中，对一个或多个图形的选择发生在用户阻断与一个或多个图形接触的时候。在一些实施例中，手势可选地包括一个或多个叩击、一个或多个扫动(从左到右、从右到左、向上和/或向下)和/或已经与设备100接触的手指的转动(从右到左、从左到右、向上和/或向下)。在一些实现方式或者情况中，与图形的无意接触不选择图形。例如，当与选择对应的手势是叩击时，扫过应用图标的扫动手势可选地不会选择对应的应用。
设备100可选地还包括一个或多个物理按钮，诸如“主画面(home)”或菜单按钮204。如前所述，菜单按钮204可选地用来导航至可选地在设备100上执行的应用集合中的任何应用136。备选地，在一些实施例中，菜单按钮被实施为触摸屏显示器上显示的gui中的软按键。
在一些实施例中，设备100包括触摸屏显示器、菜单按钮204、用于打开/关闭设备电源和锁定设备的下压按钮206、(一个或多个)音量调节按钮208、订户标识模块(sim)卡槽210、耳机插口212和对接/充电外部端口124。下压按钮206可选地用来通过压下该按钮并使该按钮保持在压下状态预定的时间间隔来打开/关闭设备电源；通过压下该按钮并在经过预定的时间间隔之前释放该按钮来锁定设备；和/或解锁设备或发起解锁过程。在一些实施例中，设备100还通过麦克风113接受用于激活或去激活某些功能的口头输入。设备100可选地还包括用于在触敏显示器系统112上检测接触强度的一个或者多个接触强度传感器165和/或用于生成用于设备100的用户的触觉输出的一个或者多个触觉输出生成器167。
图3是根据一些实施例的具有显示器和触敏表面的示例性多功能设备的框图。设备300不需要是便携式的。在一些实施例中，设备300是膝上型计算机、台式计算机、平板计算机、多媒体播放器设备、导航设备、教育设备(诸如儿童的学习玩具)、游戏设备或控制设备(例如，家用或工业控制器)。设备300通常包括一个或多个处理单元(cpu)310、一个或多个网络或其他通信接口360、存储器370以及用于互连这些组件的一个或多个通信总线320。通信总线320可选地包括互连和控制在系统组件之间通信的电路(有时被称作芯片组)。设备300包括含有显示器340(其通常为触摸屏显示器)的输入/输出(i/o)接口330。i/o接口330也可选地包括键盘和/或鼠标(或其他指点设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出生成器357(例如，类似于以上参考附图1a所描述的触觉输出生成器167)、传感器359(例如，与以上参考附图1a所描述的接触强度传感器165类似的光学、加速度、接近、触敏和/或接触强度传感器)。存储器370包括高速随机访问存储器，诸如dram、sram、ddrram或其他随机访问固态存储设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器370可选地包括远离(一个或多个)cpu310的一个或多个存储设备。在一些实施例中，存储器370存储与存储在便携式多功能设备100(图1)的存储器102中的程序、模块、和数据结构类似的程序、模块、和数据结构或其子集。此外，存储器370可选地存储未存在于便携式多功能设备100的存储器102中的附加程序、模块和数据结构。例如，设备300的存储器370可选地存储画图模块380、演示模块382、文字处理模块384、网站创建模块386、盘编写模块388和/或电子表格模块390，而便携式多功能设备100(图1a)的存储器102可选地不存储这些模块。
图3中的上述元件中的每个元件可选地被存储在前述存储器设备中的一个或多个设备中。上述模块中的每个模块对应于用于执行如上所述的功能的指令集。上述模块或程序(即，指令集)不需要被实施为单独软件程序、过程或模块，并且因此这些模块的各种子集可选地在各实施例中被组合或以其他方式重新布置。在一些实施例中，存储器370可选地存储上述模块和数据结构的子集。此外，存储器370可选地存储上文未描述的附加模块和数据结构。
现在把注意力转向可选地在便携式多功能设备100上实施的用户界面(“ui”)的实施例。
图4a图示了根据一些实施例的用于便携式多功能设备100上的应用的菜单的示例性用户界面。类似用户界面可选地在设备300上被实施。在一些实施例中，用户界面400包括以下元件或其子集或超集：
用于(一个或多个)无线通信(诸如蜂窝信号和wi-fi信号)的(一个或多个)信号强度指示符402；
时间404；
蓝牙指示符；
电池状态指示符406；
具有用于频繁使用的应用的图标的托盘408，诸如：
电话模块138的图标416，被标记为“电话”，其可选地包括未接呼叫或语音电子邮件消息的数目的指示符414；
电子邮件客户端模块140的图标418，被标记为“邮件”，其可选地包括未读电子邮件的数目的指示符410；
浏览器模块147的图标420，被标记为“浏览器”；以及
视频和音乐播放器模块152的图标422，也被称为ipod(apple公司的商标)模块152，被标记为“ipod”；以及
其他应用的图标，诸如：
im模块141的图标424，被标记为“消息”；
日历模块148的图标426，被标记为“日历”；
图像管理模块144的图标428，被标记为“照片”；
相机模块143的图标430，被标记为“相机”；
在线视频模块155的图标432，被标记为“在线视频”；
股票小部件149-2的图标434，被标记为“股票”；
地图模块154的图标436，被标记为“地图”；
天气小部件149-1的图标438，被标记为“天气”；
闹钟小部件149-4的图标440，被标记为“时钟”；
锻炼支持模块142的图标442，被标记为“锻炼支持”；
备忘录模块153的图标444，被标记为“备忘录”；以及
用于设置应用或者模块的图标446，其提供对设备100的设置和其各种应用136的访问。
应当注意到，在图4a中所图示的图标标签仅为示例性。例如，在一些实施例中，视频和音乐播放器模块152的图标422被标记为“音乐”或“音乐播放器”。其他标签可选地用于各种应用图标。在一些实施例中，相应应用图标的标签包括对应于相应应用图标的应用名称。在一些实施例中，特定应用图标的标签与对应于特定应用图标的应用名称不同。
图4b图示了具有与显示器450分离的触敏表面451(例如，图3的平板计算机或触摸板355)的设备(例如，图3的设备300)上的示例性用户界面。设备300还可选地包括用于在触敏表面451上检测接触强度的一个或者多个接触强度传感器(例如，传感器357中的一个或者多个传感器)和/或用于生成用于设备300的用户的触觉输出的一个或者多个触觉输出生成器359。
图4b图示了具有与显示器450分离的触敏表面451(例如，图3的平板计算机或触摸板355)的设备(例如，图3的设备300)上的示例性用户界面。以下许多示例将参考检测在与显示器分离的触敏表面上的输入的设备被给出，如图4b中所示。在一些实施例中，触敏表面(例如，图4b中的451)具有对应于显示器(例如，450)上的主轴(例如，图4b中的453)的主轴(例如，图4b中的452)。根据这些实施例，设备检测在对应于显示器上的相应位置的位置处(例如，在图4b中，460对应于468并且462对应于470)的与触敏表面451的接触(例如，图4b中的460和462)。通过这种方式，当触敏表面与显示器分离时，由设备在触敏表面(例如，图4b中的451)上检测到的用户输入(例如，接触460和接触462及其移动)由设备使用来操纵多功能设备的显示器(例如，图4b中的450)上的用户界面。应当理解，类似方法可选地用于本文所述的其他用户界面。
此外，虽然以下示例主要针对手指输入(例如，手指接触、手指叩击手势、手指扫动手势等)而被给出，但是应当理解的是，在一些实施例中，手指输入中的一个或多个手指输入可以被来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)或同一设备上的另一类型的输入(按钮按压)替换。例如，扫动手势可选地被鼠标点击(例如，而不是接触)随后沿扫动路径移动光标(例如，而不是接触的移动)替换。作为另一示例，叩击手势可选地当光标位于叩击手势的位置上(例如，而不是检测接触随后停止检测该接触)被鼠标点击替换。类似地，当同时检测到多个用户输入时，应当理解，多个计算机鼠标可选地被同时使用，或者鼠标和手指接触可选地被同时使用。
图4c图示了与显示器450和触敏表面451通信的示例性电子设备。根据一些实施例，对于电子设备的至少子集而言，显示器450和/或触敏表面451被集成到电子设备中。虽然参考与电子设备(例如，图1a至图1b中的便携式多功能设备100或图3中的设备300)通信的触敏表面451和显示器450描述了下面更详细描述的示例，但是应当理解，根据一些实施例，触敏表面和/或显示器与电子设备集成，而在其他实施例中，触敏表面和显示器中的一个或多个与电子设备分离。此外，在一些实施例中，电子设备具有集成显示器和/或集成触敏表面并且和与电子设备分离的一个或多个附加显示器和/或触敏表面通信。
在一些实施例中，在具有用户界面导航逻辑480的单个电子设备(例如，下面参考图4c所描述的计算设备a)上执行下面参考图5a至图5ss、图6a至图6c、图7a至图7d、图8a至图8c、图9a至图9c和图10a至图10b所描述的所有操作。然而，应当理解，常常多个不同的电子设备被链接在一起以执行下面参考图5a至图5ss、图6a至图6c、图7a至图7d、图8a至图8c、图9a至图9c和图10a至图10b所描述的操作(例如，具有用户界面导航逻辑480的电子设备与具有显示器450的分离的电子设备和/或具有触敏表面451的分离的电子设备通信)。在这些实施例中的任何一个实施例中，下面参考图5a至图5ss、图6a至图6c、图7a至图7d、图8a至图8c、图9a至图9c和图10a至图10b描述的电子设备是包含用户界面导航逻辑480的(一个或多个)电子设备。此外，应当理解，在各种实施例中，可以在多个不同的模块或电子设备之间划分用户界面导航逻辑480；然而，出于本文中的描述的目的，用户界面导航逻辑480将主要地被称为驻留在单个电子设备中以便不不必要地使各实施例的其他方面难以理解。
在一些实施例中，用户界面导航逻辑480包括一个或多个模块(例如，一个或多个事件处置器190，包括一个或多个对象更新器177和一个或多个gui更新器178，如上文参考图1c更详细描述的)，其接收解译的输入并且响应于这些解译的输入，生成用于根据解译的输入更新图形用户界面的指令，该解译的输入随后被用来更新显示器上的图形用户界面。在一些实施例中，解译的输入是已经检测(例如，通过图1a至图1b和图3中的接触运动130)、识别(例如，通过图1c中的事件识别器180)和/或优先化(例如，通过图1c中的事件分类器170)的输入。在一些实施例中，通过电子设备处的模块生成解译的输入(例如，电子设备接收原始接触输入数据以便标识来自原始接触输入数据的手势)。在一些实施例中，解译的输入中的一些或全部解译的输入由电子设备接收为解译的输入(例如，包括触敏表面451的电子设备处理原始接触输入数据以便标识来自原始接触输入数据的手势并且向包括用户界面导航逻辑480的电子设备发送指示手势的信息)。
在一些实施例中，显示器450和触敏表面451两者与包含用户界面导航逻辑480的电子设备(例如，图4c中的计算设备a)集成。例如，电子设备可以是具有集成显示器(例如，图3中的340)和触摸板(例如，图3中的355)的台式计算机或膝上型计算机。作为另一示例，电子设备可以是具有触摸屏(例如，图2中的122)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施例中，触敏表面451与电子设备集成，而显示器450不与包含用户界面导航逻辑480的电子设备(例如，图4c中的计算设备b)集成。例如，电子设备可以是具有连接(经由有线或无线连接)到分离的显示器(例如，计算机监视器、电视等)的集成触摸板(例如，图3中的355)的设备300(例如，台式计算机或膝上型计算机)。作为另一示例，电子设备可以是具有连接(经由有线或无线连接)到分离的显示器(例如，计算机监视器、电视等)的触摸屏(例如，图2中的122)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施例中，显示器450与电子设备集成，而触敏表面451不与包含用户界面导航逻辑480的电子设备(例如，图4c中的计算设备c)集成。例如，电子设备可以是具有连接(经由有线或无线连接)到分离的触敏表面(例如，远程触摸板、便携式多功能设备等)的集成显示器(例如，图3中的340)的设备300(例如，台式计算机、膝上型计算机、具有集成机顶盒的电视)。作为另一示例，电子设备可以是具有连接(经由有线或无线连接)到分离的触敏表面(例如，远程触摸板、具有用作远程触摸板的触摸屏的另一便携式多功能设备等)的触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施例中，显示器450和触敏表面451两者都不与包含用户界面导航逻辑480的电子设备(例如，图4c中的计算设备d)集成。例如，电子设备可以是连接(经由有线或无线连接)到分离的触敏表面(例如，远程触摸板、便携式多功能设备等)和分离的显示器(例如，计算机监视器、电视等)的单独的电子设备300(例如，台式计算机、膝上型计算机、控制台、机顶盒等)。作为另一示例，电子设备可以是具有连接(经由有线或无线连接)到分离的触敏表面(例如，远程触摸板、具有用作远程触摸板的触摸屏的另一便携式多功能设备等)的触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、pda、平板计算机等)。
在一些实施例中，计算设备具有集成音频系统。在一些实施例中，计算设备与音频系统通信，所述音频系统与计算设备分离。在一些实施例中，音频系统(例如，集成在电视单元中的音频系统)集成有独立的显示器450。在一些实施例中，音频系统(例如，立体声系统)是与计算设备和显示器450分离的单独的系统。
用户界面和相关联的过程
现在把注意力转向可以利用与显示器和触敏表面通信和/或包括显示器和触敏表面的电子设备(诸如图4c中的计算设备a-d之一)实施的用户界面(“ui”)和相关联的过程的实施例。
图5a至图5ss图示了根据一些实施例的用于提供音频反馈的示例性用户界面。这些附图中的用户界面用来图示下面所描述的过程，包括图6a至图6c、图7a至图7d、图8a至图8c、图9a至图9c以及图10a至图10b中的过程。虽然将参考与显示器450分离的触敏表面451上的输入给出以下示例中的一些示例，但是在一些实施例中，设备检测触摸屏显示器(其中，组合触敏表面和显示器)上的输入，如图4a中所示。
现在把注意力转向可以在与显示器和音频系统通信的电子设备(诸如便携式多功能设备100或设备300，如图4c所示)上实施的用户界面(“ui”)和相关联的过程的实施例。在一些实施例中，电子设备包括显示器。在一些实施例中，电子设备包括音频系统。在一些实施例中，电子设备既不包括显示器也不包括音频系统。在一些实施例中，显示器包括音频系统(例如，显示器和音频系统是电视的组件)。在一些实施例中，音频系统和显示器的某些组件是分离的(例如，显示器是电视的组件，并且音频系统包括与电视分离的条形音响)。在一些实施例中，电子设备与分离的遥控器通信，所述电子设备通过所述遥控器接收用户输入(例如，遥控器包括用户与电子设备交互所通过的触敏表面或者触摸屏)。在一些实施例中，遥控器包括检测遥控器的运动(例如，用户拾起遥控器)的运动传感器(例如，加速度计和/或陀螺仪)。
图5a至图5g图示了根据一些实施例的用于结合改变对应于用户界面对象的音频分量来改变用户界面的视觉特性的示例性用户界面。这些附图中的用户界面用来图示下面所描述的过程，包括图6a至图6c中的过程。
图5a图示了在显示器450上显示由设备所生成的用户界面517。在一些实施例中，参考图5a至图5g所描述的各种用户界面对象的视觉特性独立于用户输入而确定(例如，在缺少用户输入的情况下确定用户界面对象的视觉特性)。在一些实施例中，用户界面517是屏幕保护程序用户界面。
用户界面517包括第一用户界面对象501-a(例如，第一气泡)。第一用户界面对象501-a具有各种视觉特性，包括形状(例如，圆形)、大小和显示器450上的位置。设备还向音频系统(例如，显示器450上的扬声器系统或单独的音频系统)提供(例如，与向显示器450提供数据并发地)对应于第一用户界面对象501-a的声音输出的第一音频分量503。
在一些实施例中，与第一用户界面对象501-a相关联的第一音频分量503的一个或多个特性对应于第一用户界面对象501-a的视觉特性。例如，如音频图516中所示，第一音频分量503的音高对应于第一用户界面对象501-a的初始大小(通过表示音频图516中的第一音频分量503的圆形的垂直位置表示第一音频分量503的音高)。作为另一示例，第一音频分量503的立体声平衡(例如，音频图516中的左/右分布)对应于显示器450上的第一用户界面对象501-a的水平位置。在一些实施例中，根据第一用户界面对象501-a的一个或多个视觉特性确定对应于第一用户界面对象501-a的第一音频分量503的一个或多个特性。备选地，在一些实施例中，根据第一音频分量503的一个或多个特性确定第一用户界面对象501-a的一个或多个视觉特性。
当用户界面517被呈现在显示器450上并且声音输出被音频系统提供时，设备向显示器450提供用于更新用户界面517的数据(例如，第一用户界面对象501-a跨越显示器450移动并且第一用户界面对象501-a的大小增加，如图5b中所示)。提供用于更新用户界面517的数据独立于用户输入而发生(例如，在图5a中的遥控器5001上未检测到用户输入)。设备还向音频系统提供用于更新声音输出的声音信息，如图5b中的音频图516中所图示的(例如，音频分量503的立体声平衡向右移位，如在图5b中的音频图516中由音频分量503的图形表示向右的移动所表示的，并且音频分量503的音量减小，如在图5b中的音频图516中由音频分量503的图形表示的减小的大小所表示的)。
图5b示出了在图5a之后不久的时间处的用户界面517。在图5b中，用户界面517包括具有可选地与第一用户界面对象501-a的视觉特性不同的视觉特性的第二用户界面对象501-b(例如，第二气泡)(例如，第二用户界面对象501-b的位置和大小与第一用户界面对象501-a的位置和大小不同)。设备还向音频系统提供(例如，与向显示器450提供数据并发地)对应于第二用户界面对象501-b的声音输出的第二音频分量505。例如，由于第二用户界面对象501-b的初始大小(图5b)比第一用户界面对象501-a的初始大小(图5a)更大，因而音频分量505的音高比第一音频分量503的音高更低(由图5b中的音频图516中的第二音频分量505的较低位置表示)。在一些实施例中，至少部分基于第一音频分量503，选择第二音频分量505。例如，在一些实施例中，第一音频分量503和第二音频分量505具有组成和弦(例如，a小调和弦)的两个音高(例如，音符)的相应音高。
如图5b中所示，更新用户界面517和更新声音输出包括结合以对应于第一用户界面对象501-a的改变的视觉特性的方式改变第一音频分量503来改变第一用户界面对象501-a的视觉特性中的至少一个特性。例如，与图5a中的第一用户界面对象501-a相比较，图5b中的第一用户界面对象501-a已经扩大，并且对应地在图5b中第一音频分量503的音量已经减小。
图5c示出了在图5b之后不久的时间处的用户界面517。在图5c中，用户界面517包括具有可选地与第一用户界面对象501-a和第二用户界面对象501-b的视觉特性不同的视觉特性的第三用户界面对象501-c(例如，第三气泡)(例如，第三用户界面对象501-c的位置和大小与第一用户界面对象501-a的位置和大小以及第二用户界面对象501b的位置和大小不同)。设备还向音频系统提供(例如，与向显示器450提供数据并发地)对应于第三用户界面对象501-c的声音输出的第三音频分量507。在一些实施例中，由于第三用户界面对象501-c的初始大小(图5c)比第二用户界面对象501-b(图5b中所示的)或者第一用户界面对象501-a(图5a中所示的)的初始大小更小，第三音频分量507的音高比第一音频分量503或者第二音频分量505的音高更高(由图5c中的音频图516中的音频分量507的较高的垂直位置表示)，如图5c中所描绘的。在一些实施例中，至少部分基于第一音频分量503，选择第三音频分量507。例如，在一些实施例中，第一音频分量503、第二音频分量505和第三音频分量507具有组成和弦(例如，a小调和弦)的三个音高(例如，音符)的相应音高。
如图5c中所示，更新用户界面517和更新声音输出包括结合以对应于第二用户界面对象501-b的改变的视觉特性的方式改变第二音频分量505来改变第二用户界面对象501-b的视觉特性中的至少一个特性。例如，图5c示出了与图5b相比较第二用户界面对象501-b已经扩大并且对应地在图5c中第二音频分量505的音量已经减小(例如，如由图5c中的音频图516中的音频分量505的图形表示的减小的大小所表示的)。另外，在图5b与图5c之间类似地更新第一用户界面对象501-a的视觉特性和对应的第一音频分量503。
图5d图示了对声音输出和用户界面517的另一更新。在该示例中，第二用户界面对象501-b变得更大并且对应的第二音频分量505的音量减小，并且第三用户界面对象501-c变得更大并且对应的第三音频分量507的音量减小。另外，第一用户界面对象501-a变得更大并且向右移动，因此对应的第一音频分量503的音量减小并且第一音频分量503的平衡向右移位。
图5e图示了对声音输出和用户界面517的另一更新。在该示例中，第二用户界面对象501-b变得更大并且对应的第二音频分量505的音量减小，并且第三用户界面对象501-c变得更大并且对应的第三音频分量507的音量减小。然而，设备已经向显示器450提供数据来更新用户界面517，包括停止显示第一用户界面对象501-a(例如，通过使第一用户界面对象501-a移动/滑出显示器450和/或淡出)。结合地，设备已经向音频系统提供数据来更新声音输出，包括停止提供对应于第一用户界面对象501-a的第一音频分量503。
图5f图示了在稍后的时间处的用户界面517。在图5f中，第四用户界面对象501-d和第五用户界面对象501-e是移动的。结合地，音频分量509和音频分量511将根据第四用户界面对象501-d和第五用户界面对象501-e的移动在其相应方向上移位。在图5f中，设备还检测到在遥控器5001的相应按钮上(例如，在菜单按钮5002上)的用户输入513。响应于检测到用户输入513，设备向音频系统提供用于改变音频分量509和音频分量511的声音信息(例如，通过中止音频分量509和音频分量511)，如图5g中所示。设备还向显示器450提供用于更新用户界面517和显示一个或多个控制用户界面对象(例如，应用图标532-a至532-e和电影图标534-a至534-c)的数据。在一些实施例中，第四用户界面对象501-d和第五用户界面对象501-e继续与控制用户界面对象一起显示。例如，与控制用户界面对象相比较，第四用户界面对象501-d和第五用户界面对象501-e在z方向上显示更低，使得第四用户界面对象501-d和第五用户界面对象501-e由控制用户界面对象重叠，如图5g中所示。
图5h图示了根据一些实施例的音频包络515。音频包络515的垂直轴表示幅度(音量)，并且水平轴表示在用户输入的时间t0开始的时间。音频包络515包括在t0与t1之间的起声(attack)期a(其中，幅度随时间增加)、在t1与t2之间的衰减(decay)期d(其中，幅度随时间减小)、在t2与t3之间的维持期s(其中，幅度随时间保持恒定)和在t3与t4之间的释放期r(其中，幅度随时间呈指数/渐近地减小)。在时间t4之后，停止对应于用户输入的声音输出。在一些实施例中，音频包络515不包括衰减期d和/或维持期s。
在一些实施例中，由音频系统所提供的相应的音频分量具有与图5h中所示的音频包络515类似的音频包络。响应于检测到用户输入(例如，图5f中的用户输入513)，电子设备向音频系统提供用于改变相应的音频分量的声音信息。在一些实施例中，响应于检测到用户输入，修改音频包络的一个或多个方面(例如，增加相应音频分量的起声)。
图5i至图5s图示了根据一些实施例的当用户操纵用户界面中的控制对象(例如，滑动条或旋钮上的滑块)时提供音频反馈的用户界面。这些附图中的用户界面用来图示下面所描述的过程，包括图7a至图7d中的过程。
图5i图示了显示器450和遥控器5001，其两者与执行下面所描述的某些操作的电子设备通信。在一些实施例中，遥控器5001具有触敏表面451。在一些实施例中，遥控器5001还具有一个或多个按钮或者可供件(affordance)，诸如菜单按钮5002、麦克风按钮5003、播放/暂停按钮5004、观看列表按钮5005、音量增加按钮5006和/或音量减小按钮5007。在一些实施例中，菜单按钮5002或者类似可供件允许主屏幕用户界面显示在显示器450上。在一些实施例中，麦克风按钮5003或者类似可供件允许用户向电子设备提供口头命令或者语音条目。在一些实施例中，播放/暂停按钮5004用来播放或者暂停在显示器450上描绘的音频或者视频媒体。在一些实施例中，观看列表按钮5005允许观看列表用户界面显示在显示器450上。在一些实施例中，观看列表用户界面给用户提供使用电子设备播放的多个音频/视频媒体项。
图5i图示了在显示器450上显示的视频回放视图500。视频回放视图500是提供媒体项(例如，电影或者电视节目)的显示的用户界面。在一些情况下，媒体项的显示处于暂停或者播放状态。在一些实施例中，视频回放视图500提供与媒体项的导航相关联的视频信息的显示。图5i图示了在正常回放期间显示的电影的开场字幕。在一些实施例中，虽然媒体项处于暂停或者播放状态，但是在触敏表面451上检测到用户输入502(例如，轻触摸接触)。
图5j图示了在一些实施例中，响应于接收到用户输入502，电子设备向显示器450提供用于提供视频回放视图500上的多个用户界面对象的数据(例如，视频回放视图用户界面)。多个用户界面对象包括导航滑动条506(有时也被称作搓擦条)上的滑块504(有时也被称作播放头)。滑块504是被配置为控制参数(例如，表示所显示的媒体项的总持续时间的时间线的导航滑动条506内的当前位置/时间)的控制用户界面对象的示例。多个用户界面对象还包括音量控制用户界面对象508(例如，指示由音频系统输出的声音的音量的音频控制用户界面对象)。
在图5j中，滑块504被表示为正方形，其提供用户的与视频回放视图500的交互的当前焦点不在滑块504上的视觉指示。为了比较，在图5k中，滑块504被表示为具有视频预览510的圆形，其提供用户的与视频回放视图500的交互的当前焦点在滑块504上的视觉指示。在一些实施例中，视频预览510显示与滑块504在滑动条506内的位置对应的媒体项内的位置的预览图像。如后续附图(例如，图5l)中所示，在一些实施例中，滑块504(具有圆形的形状)随着用户与滑块504交互而变形。
图5k图示了遥控器5001检测到在位置512-1处开始并且在位置512-2处结束(图5l)的用户输入512，其是用于拖曳滑块504在滑动条506内的位置的交互。
在一些实施例中，遥控器5001检测本文所描述的用户输入并且向电子设备传达关于用户输入的信息。当关于用户输入的信息被传达至电子设备时，电子设备接收用户输入。在一些实施例中，电子设备直接接收用户输入(例如，检测与电子设备集成的触敏表面上的用户输入)。
在一些实施例中，电子设备确定用户输入512是用于以下的交互：当用户输入512满足预定准则(诸如当当前焦点在滑块504上时，遥控器5001检测到用户输入的接触强度的增加)时调节滑块504在滑动条506内的位置。例如，在图5k中，用户输入512是当当前焦点在滑块504上时检测到的具有大于轻按压阈值itl的强度的拖曳手势。
用户输入512在显示器450上将滑块504从位置504-1(图5k)拖曳至位置504(图5l)。因此，当电子设备接收到用户输入512时(例如，与用户输入512并发地、与用户输入512连续地和/或响应于用户输入512)，电子设备向显示器450提供数据以移动滑块504使得用户似乎将实时拖曳滑块504。
当接收到用户输入512时(例如，与用户输入512并发地、与用户输入512连续地和/或响应于用户输入512)，电子设备还提供(在图5k-5l的音频图516中表示的)用于提供声音输出514的声音信息。在一些实施例中，声音输出514是对应于滑块504的拖曳的音频反馈(例如，声音输出514具有根据滑块504从位置504-1至位置504-2的拖曳而改变的一个或多个特性)。例如，根据音频图516中的声音输出514画出的箭头对应于滑块504从位置504-1至位置504-2的拖曳并且指示与用户输入512并发地和/或连续地提供声音输出514。另外，根据声音输出514画出的箭头指示声音输出514根据滑块504的移动而改变的方式(例如，声音输出514的立体声平衡向右移位)，如下面所描述的。
在该示例中，音频系统包括两个或更多扬声器，其包括左扬声器和右扬声器。声音输出514的一个或多个特性包括(在音频图516的水平轴上表示的)左扬声器与右扬声器之间的平衡(例如，声音输出强度的比例)。在一些实施例中，一个或多个特性还包括(在音频图516中的声音输出514的垂直位置上表示的)声音输出514的音高。在一些实施例中，声音输出514仅具有基于用户输入512的位置或者移动的单个特性(例如，诸如音高或者平衡)。在该示例中，根据音频图516中的声音输出514画出的箭头的方向和幅度指示音高和平衡如何根据滑块504从位置504-1至位置504-2的拖曳而改变。因此，当滑块504从位置504-1向右移动至位置504-2时，声音输出514的平衡向右移位，这给定用户向右移动的音频印象。声音输出514的音高也在滑块504的向右移动期间移位更高，这直觉地给定用户在由滑动条506表示的时间中移动“更高”的印象。备选地，在一些实施例中，音高在滑块504的向右移动期间移位更低。
图5m至图5n与图5k至图5l类似。然而，在图5m至图5n中，遥控器5001检测到在其他方面与用户输入512类似但具有更大速度的用户输入518。像用户输入512那样，用户输入518在位置504-1处开始拖曳滑块504。但是由于用户输入518具有更大的速度，该用户输入比用户输入512更远地将滑块504拖曳至位置504-3。当接收到用户输入518时(例如，与用户输入518并发地、与用户输入518连续地和/或响应于用户输入518)，电子设备提供(在图5m至5n的音频图516中表示的)用于提供声音输出520的声音信息。
在一些实施例中，电子设备向用户提供指示相应用户输入的速度的各种音频和视觉标记。例如，声音输出514的音量基于滑块504从位置504-1至位置504-2的移动的速度(或者用户输入512从位置512-1至512-2的速度)，如图5k至5l中所示；并且声音输出520的音量基于滑块504从位置504-1至位置504-3的移动的速度(或者用户输入518从位置518-1至518-2的速度)。在音频图516中(图5k至图5n)，通过表示相应声音输出的圆形的大小描绘每个相应声音输出的音量。如从声音输出514(图5k至图5l)和声音输出520(图5m至图5n)的比较可以看到，与较慢的用户输入512(图5k至图5l)和较低声的声音输出514相比较，较快的用户输入518(图5m-5n)导致较高声的声音输出520。
在一些实施例中，电子设备基于滑块504的移动(例如，速度或者位置)或者基于用户输入512/518的移动(例如，速度和/或位置)，视觉地对滑块504进行区分。例如，如图5l和图5n中所示，基于用户输入的速度和/或方向，滑块504显示有尾部(例如，滑块504被延长/伸展)。由于用户输入512和用户输入518二者向右拖曳滑块504，因而在这两个示例中滑块504向左伸展(例如，以与向右移动的彗星类似)。但是由于用户输入518比用户输入512更快，因而滑块504作为用户输入518的结果(图5n)比作为用户输入512的结果(图5l)伸展更多。
图5o至图5p图示了用户输入518从位置518-2(图5o)至图518-3(图5p)的继续，其将滑块504从在滑动条506的中间附近的位置504-3(图5o)拖曳至对应于滑动条506的终点的位置504-4(图5p)。如上文所描述的，当接收到用户输入518的继续时(例如，与用户输入518并发地、与用户输入518连续地和/或响应于用户输入518)，电子设备提供用于提供声音输出520的继续的声音信息(在图5o至图5p中的音频图516中表示的)直到滑块504到达位置504-4(或者直到在滑块504到达位置504-4之前短时间)。在一些实施例中，电子设备向音频系统提供声音信息，以提供声音输出522来指示滑块504位于滑动条506的终点处(例如，声音输出522是指示滑块504已经与滑动条506的终点“冲突”的回响“啵嘤(boing)”声音)。声音输出522与声音输出514和520不同(例如，在时间上或者在听觉上)。在一些实施例中，声音输出522不具有基于用户输入518的一个或多个特性(例如，无论何时滑块504与滑动条506的终点冲突，音频系统都提供相同声音而不管使得滑块504与滑动条506的终点冲突的用户输入的特性(诸如速度)如何)。备选地，在一些实施例中，声音输出522的音量基于当用户输入518到达滑动条506的终点时用户输入518的速度(例如，与滑动条506的终点的较快的冲突导致高声的回响“啵嘤”声音)。在一些实施例中，一旦到达滑动条506的终点，就显示滑块504抵着滑动条506的终点而吱吱响的动画。因此，在一些实施例中，电子设备提供分立的(例如，不是连续的)关于某些用户界面导航事件的音频和视觉反馈(例如，控制用户界面对象(诸如滑块)、到达其控制范围的末尾(诸如滑动条的末尾))。
图5q示出了图示电子设备如何向用户动态地并且流畅地提供音频反馈以辅助对控制用户界面对象(例如，滑动条上的滑块)的操纵的图形524。在一些实施例中，声音输出514/520的一个或多个特性(例如，平衡、音高和/或音量)每秒(例如，每秒10次、20次、30次或者60次)更新多次。例如，在一些实施例中，基于用户输入的当前位置和用户输入的先前位置(例如，先前所测量的1/60秒)之间的差异，以每秒60次计算用户输入的速度，并且基于该速度以每秒60次确定对应的声音输出的音量。因此，图524图示了与用户输入512/518连续地并且并发地提供声音输出514/520。基于用户输入512/518的位置(或者滑块504的位置，如上文所描述的)，即时感知地确定声音输出514/520的音高和平衡。随着用户输入512/518的位置(例如，速度)的改变，即时感知地确定声音输出514/520的音量。
在一些实施例中，基于用户输入512/518的位置(例如，速度)的改变，确定声音输出514/520的音高和平衡。在一些实施例中，声音输出514/520的音量基于用户输入512/518的位置(或者滑块504的位置，如上文所描述的)。
类似地，在一些实施例中，以每秒多次(例如，每秒10次、20次、30次或者60次)更新滑块504的视觉特性(例如，延长/伸展)。因此，例如，基于用户输入的速度，以每秒60次更新滑块504的尾部的长度，如上文所描述的。
图5r至图5s与图5k至图5l大部分类似，但是图示了其中连续提供的声音输出的音高与用户输入的改变或者移动成比例的实施例。图5r至图5s图示了遥控器5001检测到在526-1处开始并且在位置526-2处结束(图5s)的用户输入526，其是用于在滑动条506内将滑块504的位置从位置504-1拖曳至位置504-2的交互。因此，当遥控器5001检测到用户输入526(例如，与用户输入526并发地、与用户输入526连续地和/或响应于用户输入526)，电子设备向显示器450提供用于移动滑块504的数据使得用户似乎将实时拖曳滑块504。当接收到用户输入526时(例如，与用户输入526并发地、与用户输入526连续地和/或响应于用户输入526)，电子设备还向音频系统提供(在图5r至图5s中的音频图516中描绘的)用于提供声音输出528的声音信息。声音输出528(图5r至图5s)与声音输出514(图5k至图5l)之间的差异在于，声音输出528的音高独立于用户输入526的移动(例如，速度，或者位置的改变)，而声音输出514的音高随着用户输入512的位置而变化。在一些实施例中，相应声音输出具有基于用户输入的移动的方向(或者滑块504的移动的方向)的平衡(例如，向左移动具有左平衡并且向右移动具有右平衡，而不管滑块504的位置如何)。
图5t至图5hh图示了根据一些实施例的当用户在用户界面中的分立的用户界面对象(例如，图标)上导航时提供音频反馈的用户界面。这些附图中的用户界面用来图示下面所描述的过程，包括图8a至图8c中的过程。
图5t图示了在显示器450上显示的主画面屏幕用户界面530。主画面屏幕用户界面530包括多个用户界面对象，其在该示例中包括应用图标532(例如，应用图标532-a到532-e，其中的每一个是第一类型的用户界面对象)和电影图标534(例如，电影图标534-a到534-c，其中的每一个是第二类型的用户界面对象)。而且，在图5t中，主画面屏幕用户界面530的当前焦点在应用图标532-e上，并且应用图标532-e与多个用户界面对象中的其他用户界面对象在视觉上区分开(例如，应用图标532-e比其他应用图标532稍微更大并且具有加亮的边界)来指示当前焦点在应用532-e上。
在图5t中，当显示主画面屏幕用户界面530时，电子设备接收遥控器5001上的用户输入536。用户输入536(例如，扫动手势输入)具有幅度(例如，图5t的由脱离用户输入536的箭头的长度表示的速度和/或距离)和方向(例如，图5t的由脱离用户输入536的箭头的方向表示的用户在触敏表面45上拖曳其手指的方向)。用户输入536是用于将主画面屏幕用户界面530的当前焦点从应用图标532-e移动至应用图标532-d的请求。
图5u示出了响应于用户输入536(图5t)已经将当前焦点从应用图标532-e移动至应用图标532-d。在图5u中，将应用图标532-d与多个用户界面对象中的其他用户界面对象在视觉上区分开以指示当前焦点在应用图标532-d上。
图5u还图示了音频图516，其示出由音频系统所提供的与当前焦点从应用图标532-e至应用图标532-d的移动对应的声音输出(例如，声音输出538-1和可选的声音输出540-1)的表示。音频图516上的水平轴表示音频分量的立体声平衡(例如，音频图516中的左/右分布)。声音输出538-1指示当前焦点已经移动至应用图标532-d。可选地，音频系统提供声音输出540-1，其指示当前焦点已经从应用图标532-e移动。在一些实施例中，音频系统在提供声音输出538-1之前提供声音输出540-1。在一些实施例中，音频系统在不提供声音输出540-1的情况下提供声音输出538-1。
音频图516的垂直轴表示声音输出538和540的音高。在一些实施例中，相应的声音输出(例如，声音输出538-1和/或声音输出540-1)的音高基于与相应的声音输出相关联的用户界面对象(例如，当前焦点位于其上的用户界面对象)的大小。例如，声音输出538-1具有基于应用图标532-d的大小的音高。如下面所论述的，在一些实施例中，与大用户界面对象(例如，电影图标534)相关联的声音输出具有比与小用户界面对象(例如，应用图标532)相关联的声音输出更低的音高。
在一些实施例中，相应的声音输出的音高基于当前焦点在其上的用户界面对象的类型。例如，与电影图标534相关联的声音输出具有低音高并且与应用图标532相关联的声音输出具有高音高，而不管应用图标532和电影图标534的相应大小如何。
在图5u中，电子设备接收遥控器5001上的用户输入542。
图5v示出了响应于用户输入542(图5u)已经将当前焦点从应用图标532-d移动至应用图标532-c。在图5v中，将应用图标532-c与多个用户界面对象中的其他用户界面对象在视觉上区分开以指示当前焦点在应用图标532-c上。
图5v中的音频图516包括由音频系统提供的与当前焦点从应用图标532-d至应用图标532-c的移动对应的声音输出(例如，声音输出538-2和可选的声音输出540-2)的表示。在一些实施例中，除了声音输出538-2之外，音频系统提供声音输出540-2，其指示当前焦点已经从应用图标532-d移动。在一些实施例中，音频系统在提供声音输出538-2之前提供声音输出540-2。在一些实施例中，音频系统在不提供声音输出540-2的情况下提供声音输出538-2。
在图5v中，电子设备接收遥控器5001上的用户输入544。
图5w示出了响应于用户输入544(图5v)已经将当前焦点从应用图标532-c移动至应用图标532-b。在图5w中，将应用图标532-b与多个用户界面对象中的其他用户界面对象在视觉上区分开以指示当前焦点在应用图标532-b上。
图5w中的音频图516包括由音频系统提供的与当前焦点从应用图标532-c至应用图标532-b的移动对应的声音输出(例如，声音输出538-3和可选的声音输出540-3)的表示。
在图5w中，电子设备接收遥控器5001上的用户输入546。用户输入546具有比用户输入536(图5t)、542(图5u)和544(图5v)更高的幅度(例如，速度和/或距离)。
图5x图示了响应于用户输入546(图5w)已经将当前焦点从应用图标532-b移动至应用图标532-e(通过应用图标532-c和532-d)。
图5x中的音频图516包括由音频系统提供的与当前焦点通过应用图标532-c和532-d从应用图标532-b至应用图标532-e的移动对应的声音输出538-4、538-5和538-6的表示(例如，声音输出538-4对应于应用图标532-c，声音输出538-5对应于应用图标532-d，声音输出538-6对应于应用图标532-e)。虽然声音输出538-4、538-5和538-6一起示出在音频图516中，但是顺序地提供声音输出538-4、538-5和538-6(例如，声音输出538-4跟随有声音输出538-5，所述声音输出538-5跟随有声音输出538-6)。
声音输出538-4、538-5和538-6具有(如与图5w中的声音输出538-3的表示相比通过音频图516中更小大小的表示所表示的)降低的音量来避免降低用户体验的大音量的重复声音。
在图5x中，电子设备接收遥控器5001上的用户输入548。用户输入548对应于用于将当前焦点从应用图标532-e移动至下一行(例如，在应用图标532-e下面的图标的行)中的图标的请求。
图5y图示了响应于用户输入548主画面屏幕用户界面530已经卷曲，这展现了图标550-a到550-d。另外，响应于用户输入548，已经将当前焦点从应用图标532-e移动至图标550-d。
图5y中的音频图516包括由音频系统提供的与当前焦点从应用图标532-e至图标550-d的移动对应的声音输出538-7的表示。声音输出538-7具有比与应用图标532相关联的声音输出(例如，声音输出538-1到538-6)更低的音高。
在图5y中，电子设备接收遥控器5001上的用户输入552。用户输入552对应于用于将当前焦点从图标550-d移动至图标550-d上面的图标的行中的图标(例如，应用图标532的行)的请求。
图5z图示了响应于用户输入552主画面屏幕用户界面530已经卷曲回来。另外，响应于用户输入552，已经将当前焦点从图标550-d移动至应用图标532-e。
图5z中的音频图516包括由音频系统提供的与当前焦点从图标550-d至应用图标532-e的移动对应的声音输出538-8的表示。
在图5z中，电子设备接收遥控器5001上的用户输入554(例如，叩击手势)。用户输入552对应于用于激活应用图标532-e(或者对应的应用)的请求。
图5aa图示了响应于用户输入554显示游戏应用(例如，乒乓球游戏应用)的用户界面594。
图5aa中的音频图516包括声音输出556-1的表示，其指示已经激活应用图标532-e(图5z)。
图5aa还图示了电子设备接收遥控器5001的菜单按钮5002上的用户输入558(例如，按钮按压)。
图5bb图示了响应于用户输入558(图5aa)显示主画面屏幕用户界面530。
图5bb中的音频图516包括声音输出560-1的表示，其指示游戏应用的用户界面利用主画面屏幕用户界面530替换。
图5bb还图示了电子设备接收遥控器5001上的用户输入562。用户输入562对应于用于将当前焦点从应用图标532-e移动至应用图标532-e上面的图标的行(例如，电影图标534的行)中的图标的请求。
图5cc图示了响应于用户输入562(图5bb)已经将当前焦点从应用图标532-e移动至电影图标534-c。
图5cc中的音频图516包括与当前焦点从应用图标532-e至电影图标534-c的移动对应的声音输出538-9的表示。
图5cc还图示了电子设备接收遥控器5001上的用户输入564。
图5dd图示了响应于用户输入564(图5cc)已经将当前焦点从电影图标534-c移动至电影图标534-b。
图5dd中的音频图516包括与当前焦点从电影图标534-c至电影图标534-b的移动对应的声音输出538-10的表示。
图5dd还图示了电子设备接收遥控器5001上的用户输入566。
图5ee图示了响应于用户输入566(图5dd)已经将当前焦点从电影图标534-b移动至电影图标534-a。
图5ee中的音频图516包括与当前焦点从电影图标534-b至电影图标534-a的移动对应的声音输出538-11的表示。
图中5ee还图示了电子设备接收遥控器5001上的用户输入568(例如，叩击手势)。
图5ff图示了响应于用户输入568(图5ee)显示产品页面视图572。
图5ff中的音频图516包括声音输出556-2的表示，其指示已经激活电影图标534-a(图5ee)。
图5ff还图示了电子设备接收遥控器5001的菜单按钮5002上的用户输入570(例如，按钮按压)。
图5gg图示了响应于用户输入570(图5ff)显示主画面屏幕用户界面530。
图5gg中的音频图516包括声音输出560-2的表示，其指示产品页面视图572的用户界面利用主画面屏幕用户界面530替换。
图5gg还图示了电子设备接收遥控器5001的菜单按钮5002上的用户输入574(例如，按钮按压)。
图5hh图示了响应于用户输入574(图5gg)显示屏幕保护程序用户界面517。
图5hh中的音频图516包括声音输出560-3的表示，其指示主画面屏幕用户界面530利用屏幕保护程序用户界面517替换。在一些实施例中，在缺少用户输入的情况下，随后地更新屏幕保护程序用户界面517，如图5a至图5e中所图示的。
在一些实施例中，当屏幕保护程序用户界面517被显示在显示器450上时，用户输入(例如，遥控器5001的按钮上的按钮按压或者触敏表面451上的叩击手势)发起利用主画面屏幕用户界面530替换屏幕保护程序用户界面517。
在一些实施例中，如图5t至图5z和图5bb至图5gg中所图示的，除了其他方面，主画面屏幕用户界面530是包括多个媒体项(例如，电影图标534)的表示的视频选择用户界面。在一些实施例中，选择特定电影项的用户输入(例如，图5ee中的用户输入568)导致包括关于对应电影的描述性信息576的产品页面视图572(图5ii)的显示。因此，在一些实施例中，图5ii是针对下面参考图5jj至图5mm所描述的功能性的起始点。
图5ii至图5mm图示了根据一些实施例的与产品页面视图相关联的操作。这些附图中的用户界面用来图示下面所描述的过程，包括图9a至图9c中的过程。
图5ii图示了产品页面视图572的显示。产品页面视图572包括关于媒体项的描述性信息576(例如，图5aa的对应于电影图标534-a的视频)，诸如标题576-a、运行时间576-b、情节概述576-c、评级576-d和用于播放媒体项的可供件。虽然显示了产品页面视图572，但是电子设备还向音频系统提供声音信息以提供基于媒体项的第一声音输出(例如，声音输出)。在一些实施例中，第一声音输出基于媒体项的种类。例如，“大攀登(thegreatclimb)”被分类为激动人心的纪录片，并且第一声音输出包括胜利的管弦乐。在一些实施例中，第一声音输出包括来自媒体项的声音轨道的轨道。例如，当用户尚未开始观看媒体项时，第一声音输出包括被预选为表示电影的总体感觉的代表性轨道。在一些实施例中，当用户尚未开始观看媒体项时，第一声音输出包括还被用于媒体项的预告片的轨道。在一些实施例中，当用户尚未开始观看媒体项时，第一声音输出对应于第一场景的音调或者被用于开场字幕的声音轨道。
图5ii图示了遥控器5001检测与用于回放媒体项的请求对应的输入578(例如，用户输入，诸如播放/暂停按钮5004上的按钮按压)。图5jj图示了电子设备通过向显示器提供信息以回放媒体项(例如，通过显示下面所描述的视频回放用户界面500)来对用于回放媒体项的请求作出响应。
图5jj图示了响应于接收到与用于回放媒体项的请求对应的用户输入578，电子设备向显示器提供用于回放媒体项的数据。
图5jj还图示了电子设备接收遥控器5001的菜单按钮5002上的用户输入580(例如，按钮按压)。
图5kk图示了响应于用户输入580(图5jj)显示产品页面视图572。
在一些实施例中，响应于用户输入580(图5kk)显示的产品页面视图572与在媒体项(图5ii)的回放之前显示的产品页面视图572不同。例如，图5kk中的产品页面视图572包括来自媒体项的一个或多个选择的静止图像582。在一些实施例中，一个或多个选择的静止图像582基于回放位置。在一些实施例中，一个或多个选择的静止图像582与回放位置的帧或者暂停图像不同。例如，如从图5jj可以看到，用户正好在山羊到达山顶之前暂停媒体项。但是，如图5kk中所示，选择的静止图像582是山顶处的山羊的图像。在一些实施例中，静止图像582是针对回放位置的场景的预选择的图像。以这种方式，静止图像582可以被选择为更有代表性的场景并且当在不合时宜的时间处暂停媒体项时可以避免例如演员的脸看起来尴尬。备选地，在一些实施例中，响应于用户输入580显示的产品页面视图572与在媒体项(图5ii)的回放之前显示的产品页面视图572相同。
电子设备还向音频系统提供声音信息以提供在由显示器对媒体项信息用户界面的呈现期间对应于媒体项的声音输出。例如，当显示器显示产品页面视图572时(图5kk)，音频系统播放来自与当先前显示产品页面视图572时(例如，在图5ii中，在用户开始观看媒体项之前)播放的轨道不同的声音轨道的轨道。在一些实施例中，轨道是对应于回放位置(例如，其中用户暂停媒体项或者停止观看媒体项的位置)的轨道。在一些实施例中，声音输出不是针对媒体项的声音轨道的一部分，而是相反基于回放位置处的媒体项的一个或多个特性。例如，当回放位置在电影中的黑暗的场景中时(例如，基于场景中的显示的颜色的颜色分析)，第二声音输出是“黑暗的”音乐。
图5ll图示了在视频回放用户界面500中显示媒体项的结束字幕。图5ll还图示了当显示结束字幕时电子设备接收遥控器5001的菜单按钮5002上的用户输入582(例如，按钮按压)。
图5mm图示了响应于用户输入582(图5ll)显示产品页面视图572。在一些实施例中，图5mm中的产品页面视图572包括来自媒体项的一个或多个选择的静止图像584(例如，这示出了结束字幕)。
图5nn至图5ss图示了根据一些实施例的与视频的暂停状态相关联的操作。这些附图中的用户界面用来图示下面所描述的过程，包括图10a至图10b中的过程。
图5nn图示了媒体项的回放期间的视频回放视图500。图5nn还图示了在播放/暂停按钮5004上检测到用户输入586(例如，按钮按压)。
图5oo图示了在示例性暂停模式期间或者在暂停状态期间(例如，响应于检测到用户输入586)视频回放视图500中显示的媒体项。在一些实施例中，在该示例性暂停模式期间，在视频回放视图500中显示的媒体项上(例如，在表示其中暂停视频的视频中的点的静止图像或帧上)显示倒计时时钟588。在一些实施例中，倒计时时钟588是半透明或者部分透明的。在一些实施例中，虽然在暂停模式期间显示媒体项，但是一个或多个静止图像590被显示重叠在媒体项上。在一些实施例中，静止图像590包括从在其中暂停媒体项的媒体项中的点之前的预定时间间隔选择的代表性帧。例如，静止图像590包括从在电影的回放中的当前暂停点之前的电影的五分钟内的戏剧或者感兴趣场景的四个帧。
图5pp图示了在一些实施例中，倒计时时钟588的显示包括与在显示另一示例性暂停状态或者暂停状态的另一示例性表示之前的预定时间间隔对应的动画的显示(例如，屏幕保护程序或者幻灯片)。在一些实施例中，如果在由倒计时时钟588过去所表示的预定时间间隔之前检测到用户输入，则媒体项的回放恢复，然而在一些实施例中，倒计时时钟588的前进暂停(例如，针对预定时间或者不确定地)直到检测到与用于恢复媒体项的回放的请求对应的另一用户输入。
图5qq图示了在其相关联的预定时间间隔已经完全过去之后(例如，铃声充满，倒计时时钟588到达100％不透明，倒计时时钟588增长到某个大小等)倒计时时钟588的示例性表示。在一些实施例中，在预定时间间隔过去之后，在显示媒体项的暂停状态的另一示例性表示之前显示动画或者转换。
图5rr图示了媒体项的暂停状态的另一示例性表示。在一些实施例中，显示静止图像的幻灯片或者屏幕保护程序，这对应于其中暂停媒体项的媒体项中的点。例如，显示(例如，随机地或者以循环顺序)包括来自电影中的暂停点之前的前三至五分钟的十个静止图像的幻灯片或者屏幕保护程序。在一些实施例中，当显示幻灯片或者屏幕保护程序时，显示一个或多个暂停状态元件，诸如当前时间、状态指示符(例如，闪烁暂停符号)、媒体信息和/或结束时间指示符。在一些实施例中，静止图像是对于幻灯片或者屏幕保护程序预选择的(例如，由电影导演预选择的)媒体项的代表性帧。在一些实施例中，静止图像是从媒体项自动提取的帧。
图5ss图示了在一些实施例中，随着时间过去，修改或者更新一个或多个暂停状态的元件。例如，当前时间示出时间现在是8：00pm(而不是7：41pm，如图5rr中所示)，并且结束时间指示符也已经更新来指示暂停的媒体项将在8：53pm(而不是在8：34pm，如图5rr中所示)结束回放。图5ss还图示了对菜单按钮5002上的示例性用户输入592(例如，按钮按压)的检测。
在一些实施例中，响应于用户输入592显示产品页面视图572(例如，图5kk)。
图6a至图6c图示了根据一些实施例的结合改变对应于用户界面对象的音频分量来改变用户界面的视觉特性的方法600的流程图。在与显示器和音频系统通信的电子设备(例如，图3的设备300或者图1a的便携式多功能设备100)处执行方法600。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例中，音频系统包括信号放大器。在一些实施例中，音频系统与一个或多个扬声器耦合。在一些实施例中，音频系统与多个扬声器耦合。在一些实施例中，音频系统包括一个或多个扬声器。在一些实施例中，音频系统与显示器(例如，具有音频处理电路和扬声器的电视)集成。在一些实施例中，音频系统与显示器(例如，显示屏和分离的音频系统)不同并且分离。
可选地组合方法600中的一些操作和/或可选地改变一些操作的顺序。在一些实施例中，图5a至图5g中的用户界面用来图示关于方法600所描述的过程。
如下面所描述的，方法600包括提供针对屏幕保护程序用户界面的声音输出。该方法减少当与用户界面对象(例如，控制用户界面对象)交互时用户的认知负担，从而创建更高效的人机界面。通过提供附加信息(例如，指示屏幕保护程序的状态)，可以避免或者减少不必要的操作(例如，与设备交互来检查设备的状态)。提供声音输出帮助用户更高效地与设备交互并且减少不必要的操作节省电力。
设备向显示器提供(602)用于呈现由设备生成的用户界面的数据。在一些实施例中，由设备自动生成用户界面。该用户界面包括具有第一视觉特性的第一用户界面对象。该用户界面还包括与第一用户界面对象不同的具有第二视觉特性的第二用户界面对象。例如，设备(例如，图3的设备300或者图1a的便携式多功能设备100)自动地生成图形用户界面，其包括具有第一视觉特性的第一用户界面对象和具有第二视觉特性的第二用户界面对象。设备向显示器(例如，显示器450)发送由显示器使用以显示、示出或者以其他方式呈现图形用户界面(例如，具有第一用户界面对象501-a(第一气泡)和第二用户界面对象501-b(第二气泡)的用户界面517，如图5b中所示)的数据。在图5b中，第一用户界面对象501-a和第二用户界面对象501-b在显示器上具有不同的视觉特性，诸如不同的大小和不同的位置。
在一些实施例中，第一视觉特性包括(604)第一用户界面对象的大小和/或位置。在一些实施例中，第二视觉特性包括第二用户界面对象的大小和/或位置。例如，如上文所解释的，图5b中的第一用户界面对象501-a和第二用户界面对象501-b在显示器上具有不同的大小和不同的位置。
在一些实施例中，独立于用户输入确定(606)第一用户界面对象的第一视觉特性和第二用户界面对象的第二视觉特性。例如，可以初始地独立于用户输入确定第一用户界面对象的第一视觉特性和第二用户界面对象的第二视觉特性。在一些实施例中，伪随机地生成第一用户界面对象和第二用户界面对象。例如，伪随机地确定相应用户界面对象的移动的方向、速度、位置和/或大小。在一些实施例中，独立于用户输入生成用户界面中的所有用户界面对象。在一些实施例中，伪随机地确定对第一用户界面对象和第二用户界面对象的改变。
设备向音频系统提供(608)用于提供声音输出的声音信息。该声音输出包括对应于第一用户界面对象的第一音频分量。该声音输出进一步包括对应于第二用户界面对象并且与第一音频分量不同的第二音频分量。例如，第一音频分量可以是第一音调并且第二音频分量可以是第二音调，其中每个音调具有一个或多个听觉特性诸如音高、音色、音量、起声、维持、衰减等。在一些实施例中，声音输出包括独立于第一用户界面对象和第二用户界面对象的第三音频分量。在一些实施例中，第三音频分量独立于用户界面中的任何用户界面对象。
在一些实施例中，至少部分基于第一音频分量，选择(610)第二音频分量。在一些实施例中，基于第一音频分量的音高，选择第二音频分量的音高。例如，当第一音频分量和与第一音频分量并发地输出的任何其他音频分量(如果有的话)具有特定和弦(例如，a小调和弦)的音高(或者音符)时，第二音频分量被选择为具有特定和弦的音高(或者音符)。
在一些实施例中，用户界面包括多个用户界面对象，并且声音输出具有对应于多个用户界面对象中的相应用户界面对象的相应音频分量。在一些实施例中，声音输出具有独立于多个用户界面对象的至少一个音频分量(例如，基准音调或者旋律)。
当用户界面被呈现在显示器上并且声音输出被提供时，设备向显示器提供(图6b的612)用于更新用户界面的数据并且向音频系统提供用于更新声音输出的声音信息。更新用户界面和更新声音输出包括：结合(例如，并发地)改变对应于第一用户界面对象的第一音频分量来改变第一用户界面对象的第一视觉特性中的至少一个视觉特性(例如，大小和/或位置)；以及结合(例如，并发地)改变对应于第二用户界面对象的第二音频分量来改变第二用户界面对象的第二视觉特性中的至少一个视觉特性(例如，大小和/或位置)。例如，设备向显示器(例如，图5a至图5g的显示器450)发送由显示器使用以更新图形用户界面(例如，通过将第一用户界面对象501-a和第二用户界面对象501-b在它们在用户界面517中相应的位置之间移动，如图5b和图5c中所示)的数据。注意，第一用户界面对象501-a的大小和位置已经在图5b与图5c之间改变。类似地，第二用户界面对象501-b的大小已经在图5b与图5c之间改变。第一用户界面对象501-a的视觉特性的改变结合(例如，如由图5b和图5c中的改变的第一音频分量503表示的)对应于第一用户界面对象501-a的音频分量的改变而发生。例如，对应于第一用户界面对象501-a的声音随着第一气泡在显示器上扩大和移动而改变。类似地，第二用户界面对象501-b的视觉特性的改变结合对应于第二用户界面对象501-b的音频分量的改变而发生。例如，对应于第二用户界面对象501-b的声音随着第二气泡在显示器上扩大而改变。
提供用于更新用户界面的数据独立于用户输入而发生。在一些实施例中，提供用于更新声音输出的声音信息独立于用户输入而发生。例如，在没有用户输入的情况下，自动地更新所显示的用户界面和对应的声音。在一些实施例中，只要未检测到用户输入，就更新所显示的用户界面和对应的声音(例如，由具有第一用户界面对象和第二用户界面对象的设备生成的用户界面是屏幕保护程序用户界面，并且只要在遥控器上未按压按钮、在遥控器的触敏表面上未检测到接触等，则屏幕保护程序就继续更新)。在一些实施例中，在当未检测到用户输入时更新所显示的用户界面和对应的声音之后，检测到用户输入并且作为响应，设备停止提供用于更新用户界面的数据并且停止提供用于更新声音输出的声音信息。相反，设备向显示器提供数据来呈现第二用户界面(例如，正好在显示屏幕保护程序用户界面(诸如图5a至图5f中所示的屏幕保护程序用户界面517)与由设备所生成的第一用户界面对象和第二用户界面对象之前显示的用户界面)。
在一些实施例中，根据对第一用户界面对象的第一视觉特性的至少一个视觉特性的改变来改变(614)对应于第一用户界面对象的第一音频分量。例如，在确定对第一用户界面对象的第一视觉特性(的至少一个视觉特性)的改变之后，基于对第一用户界面对象的第一视觉特性的改变，确定对第一音频分量的改变。在一些实施例中，根据对第二用户界面对象的第二视觉特性的至少一个视觉特性的改变来改变对应于第二用户界面对象的第二音频分量。例如，在确定对第二用户界面对象的第二视觉特性的改变之后，基于对第二用户界面对象的第二视觉特性的改变，确定对第二音频分量的改变。
在一些实施例中，独立于对其他用户界面对象的改变(例如，对第二用户界面对象的第二视觉特性的至少一个视觉特性的改变)，根据对相应用户界面对象的改变(例如，对第一用户界面对象的第一视觉特性的至少一个视觉特性的改变)来改变对应于相应用户界面对象(例如，第一用户界面对象)的音频分量。例如，对应于相应用户界面对象的音频分量仅基于相应用户界面对象的改变而改变。
在一些实施例中，根据对相应用户界面对象的改变(例如，对第一用户界面对象的第一视觉特性的至少一个视觉特性的改变)来改变对应于多个用户界面对象(包括相应用户界面对象)的音频分量。例如，当相应用户界面对象出现在用户界面中时，对应于多个用户界面对象(除相应用户界面对象之外)的音频分量的音量降低。
在一些实施例中，根据对第一音频分量的改变来改变(616)第一用户界面对象的第一视觉特性的至少一个视觉特性。例如，在确定对第一音频分量的改变之后，确定对第一用户界面对象的第一视觉特性的改变。在一些实施例中，根据对第二音频分量的改变来改变第二用户界面对象的第二视觉特性的至少一个视觉特性。
在一些实施例中，更新用户界面和更新声音输出进一步包括(618)停止显示第一用户界面对象和停止提供包括与第一用户界面对象对应的第一音频分量的声音输出(例如，第一用户界面对象扩大、渐隐并且从用户界面消失，如图5e中所示)；停止显示第二用户界面对象和停止提供包括与第二用户界面对象对应的第二音频分量的声音输出(例如，第二用户界面对象扩大、渐隐并且从用户界面消失)；和/或显示一个或多个相应用户界面对象并且提供包括与一个或多个相应用户界面对象对应的一个或多个相应音频分量的声音输出(例如，显示与第一用户界面对象和第二用户界面对象不同的用户界面对象，如图5c中所示)。
在一些实施例中，更新声音输出包括(620)确定是否满足预定不活动性准则(例如，针对预定时间段尚未接收到用户输入或者放下遥控器)。根据确定满足预定不活动性准则，设备改变声音输出的音量。在一些实施例中，改变声音输出的音量包括增加或者减小相应音频分量的音量。
在一些实施例中，相应音频分量的音高对应于(图6c的622)对应的用户界面对象的初始大小(例如，图5a中音频分量503的音高对应于用户界面对象501-a的初始大小)，相应音频分量的立体声平衡对应于显示器上的对应的用户界面对象的位置(例如，图5a中音频分量503的立体声平衡对应于显示器450上的用户界面对象501-a的位置)，和/或相应音频分量的音量的改变对应于对应的用户界面对象的大小的改变(例如，图5b中音频分量503的音量的改变对应于用户界面对象501-a的大小的改变)。在一些实施例中，相应音频分量的音量对应于对应的用户界面对象的大小(例如，音量随着对应的用户界面对象的大小的增加而减小，如在图5a至图5f中所示，或者备选地，音量随着对应的用户界面对象的大小的增加而增加)。在一些实施例中，伪随机地生成音频分量。例如，伪随机地确定相应音频分量的音高、音量和/或立体声平衡。因此，音频分量不是音符的预定序列的一部分。
在一些实施例中，设备检测(624)用户输入(例如，检测按压按钮或者拾起遥控器)。响应于检测到用户输入，设备向音频系统提供用于改变对应于相应用户界面对象的相应音频分量的声音信息(例如，降低音量和/或增加相应音频分量的起声)。如本文所使用的，起声指代多么猛烈地命中音符(例如，声音的幅度随时间向其峰值音量增加的速率，如图5h中所示)。响应于检测到用户输入，设备进一步向显示器提供用于更新用户界面并且显示一个或多个控制用户界面对象(例如，包括(附加的)控制用户界面对象，诸如用户界面中的按钮、图标、滑动条、菜单等，或者利用包括一个或多个控制用户界面对象的第二用户界面替换用户界面，如图5g中所示)的数据。
在一些实施例中，向音频系统提供的声音信息包括(626)用于提供包括音频分量的声音输出的信息，所述音频分量与对应于相应用户界面对象的相应音频分量是不和谐的。在一些实施例中，向音频系统提供的声音信息包括用于提供包括音频分量的声音输出的信息，所述音频分量与对应于相应用户界面对象的相应音频分量是不和谐的。在一些实施例中，与相应音频分量不和谐的音频分量具有预设的(例如，固定的)音高。
在一些实施例中，第一音频分量和第二音频分量是和谐的。在一些实施例中，对应于相应用户界面对象的相应音频分量是和谐的(例如，相应音频分量具有特定和弦的音高)。
在一些实施例中，在检测到用户输入(例如，用户拾起遥控器)之前，设备向显示器提供(628)用于在不向音频系统提供用于提供声音输出的声音信息的情况下显示用户界面并且更新用户界面的数据。在检测到用户输入之后，设备向显示器提供用于显示用户界面和更新用户界面的数据并且向音频系统提供用于提供声音输出和更新声音输出的声音信息(例如，停止提供声音输出，如由图5g中所图示的，或者备选地降低声音输出的音量等)。在一些实施例中，第一用户界面对象和第二用户界面对象在检测到用户输入之前比在检测到用户输入之后移动更慢。
应当理解，已经描述图6a至图6c中的操作的特定顺序仅是示例性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领域的普通技术人员将认识到将本文所描述的操作重新排序的各种方式。此外，应当注意，关于在本文中所描述的其他方法(例如，方法700、800、900和1000)在本文中所描述的其他过程的细节以与上文关于图6a至图6c所描述的方法600类似的方式也是适用的。例如，上文参考方法600所描述的用户界面对象、用户界面和声音输出可选地具有参考在本文中所描述的其他方法(例如，方法700、800、900和1000)在本文中所描述的用户界面对象、用户界面和声音输出的特性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
图7a至图7d是图示了根据一些实施例的提供对应于用户的与用户界面对象的交互的声音信息的方法700的流程图。在与显示器和音频系统通信的电子设备(例如，图3的设备300或者图1a的便携式多功能设备100)处执行方法700。在一些实施例中，电子设备与具有触敏表面的用户输入设备(例如，远程用户输入设备，诸如遥控器)通信。在一些实施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面分离。在一些实施例中，用户输入设备与电子设备集成。在一些实施例中，用户输入设备与电子设备分离。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例中，音频系统包括信号放大器。在一些实施例中，音频系统包括一个或多个扬声器。在一些实施例中，音频系统与显示器(例如，具有音频处理电路和扬声器的电视)集成。在一些实施例中，音频系统与显示器(例如，显示屏和独立的音频系统)不同并且分离。在一些实施例中，设备包括触敏表面。在一些实施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面分离(例如，触敏表面与电视的遥控器集成)。
可选地组合方法700中的一些操作和/或可选地改变一些操作的顺序。在一些实施例中，使用图5i至图5s中的用户界面来图示关于方法700所描述的过程。
如下面所描述的，方法700提供对应于用户的与用户界面对象的交互的声音输出。该方法减少当与用户界面对象(例如，控制用户界面对象)交互时用户的认知负担，从而创建更高效的人机界面。提供声音输出帮助用户更快并且更高效地操纵用户界面对象，从而节省电力。
设备向显示器提供(702)用于呈现具有多个用户界面对象(包括显示器上的第一位置处的控制用户界面对象(例如，滑动条的滑块等))的用户界面的数据。控制用户界面对象被配置为控制相应参数(例如，导航滑动条中的当前位置)。在一些实施例中，控制用户界面对象不是音频控制用户界面对象。例如，控制用户界面对象是控制正显示在显示器上的视频(例如，电影)的当前位置的滑动条的滑块(例如，播放头)，如图5j至图5p和图5r至图5s中所示(滑动条506的滑块504)。
设备接收(704)对应于与显示器上的控制用户界面对象的第一交互(例如，用于调节滑动条的滑块的位置的交互)的第一输入(例如，触敏表面上的拖曳手势)。当接收(706)对应于与显示器上的控制用户界面对象的第一交互的第一输入时(例如，与第一输入的至少一部分并发地)，设备向显示器提供(708)用于根据第一输入将控制用户界面对象从显示器上的第一位置移动至与显示器上的第一位置不同的显示器上的第二位置的数据。例如，如图5k至图5l中所示，拖曳手势512将滑块504从位置504-1拖曳至位置504-2。
在一些实施例中，响应于接收到对应于与显示器上的控制用户界面对象的第一交互的第一输入：设备向显示器提供(710)数据以根据第一输入将控制用户界面对象从显示器上的第一位置移动至与显示器上的第一位置不同的显示器上的第二位置并且在从显示器上的第一位置至显示器上的第二位置的控制用户界面对象的移动期间根据第一输入在视觉上区分开控制用户界面对象(例如，设备显示滑块移动的尾部和/或在从显示器上的第一位置向显示器上的第二位置的方向上延长或者伸展滑块，如图5k至图5l、图5m至图5n和图5r至图5s中所示)。
当接收到和与显示器上的控制用户界面对象的第一交互对应的第一输入时，设备向音频系统提供(712)提供第一声音信息以提供具有与由控制用户界面对象控制的相应参数不同并且根据控制用户界面对象从显示器上的第一位置至显示器上的第二位置的移动而改变的一个或多个特性的第一声音输出(例如，第一声音输出是对应于滑动条控制的移动的音频反馈)。在一些实施例中，响应于接收到第一输入，数据被提供到显示器并且第一声音信息被提供到音频系统。在一些实施例中，在与控制用户界面对象的第一交互的持续时间期间由音频系统提供第一声音输出。
在一些实施例中，根据确定第一输入满足第一输入准则，第一声音输出具有(图7b的714)第一特性集(例如，音高、音量)。根据确定第一输入满足第二输入准则，第一声音输出具有与第一特性集(例如，音高、音量)不同的第二特性集。例如，如果第一输入比预定速度阈值移动更快，则第一声音输出的音量增加，并且如果第一输入比预定速度阈值移动更慢，则第一声音输出的音量减小。
在一些实施例中，一个或多个特性包括(716)多个空间通道上的第一声音输出的音高、第一声音输出的音量和/或第一声音输出的分布(也被称作“平衡”)。在一些实施例中，一个或多个特性包括第一声音输出的音色和/或第一声音输出的一个或多个音频包络特性(例如，起声、维持、延迟和/或释放特性)。例如，如图5i至图5r中所图示的，设备根据控制用户界面对象从显示器上的第一位置至第二位置的移动来改变声音输出的音高和平衡。在一些实施例中，声音输出的仅一个特性(例如，音高或者平衡)基于控制用户界面对象的移动。
在一些实施例中，音频系统与对应于多个空间通道的多个扬声器耦合(718)。在一些实施例中，多个空间通道包括左通道和右通道。在一些实施例中，多个空间通道包括左通道、右通道、前通道和后通道。在一些实施例中，多个空间通道包括左通道、右通道、上通道和下通道。在一些实施例中，多个空间通道包括左通道、右通道、前通道、后通道、上通道和下通道。在一些实施例中，向音频系统提供用于提供第一声音输出的第一声音信息包括根据控制用户界面对象从显示器上的第一位置至显示器上的第二位置的移动的方向，确定第一声音输出在多个空间通道上的分布(也被称作平衡)。在一些实施例中，向音频系统提供用于提供第一声音输出的第一声音信息包括根据控制用户界面对象从显示器上的第一位置至显示器上的第二位置的移动的方向，调节第一声音输出在多个空间通道上的分布。例如，控制用户界面对象的向左移动导致第一声音输出在多个空间通道上的分布的向左移动；控制用户界面对象的向右移动导致第一声音输出在多个空间通道上的分布的向右移动。在一些实施例中，第一声音信息包括用于根据所确定的第一声音输出在多个空间通道上的分布来提供第一声音输出的信息。
在一些实施例中，音频系统与对应于多个空间通道的多个扬声器耦合(720)(例如，如上文所描述的)。在一些实施例中，向音频系统提供用于提供第一声音输出的第一声音信息包括在控制用户界面对象从显示器上的第二位置至显示器上的第三位置的移动期间根据显示器上的控制用户界面对象的位置来确定第一声音输出在多个空间通道上的分布(例如，通过左通道待输出的第一声音输出的强度和通过右通道待输出的第一声音输出的强度的比例)。在一些实施例中，向音频系统提供用于提供第一声音输出的第一声音信息包括在控制用户界面对象从显示器上的第二位置至显示器上的第三位置的移动期间根据显示器上的控制用户界面对象的位置来调节第一声音输出在多个空间通道上的分布。例如，当水平滑动条的滑块被定位到滑动条的中点的左边时，第一声音输出在多个空间通道上的分布移位到左边；当水平滑动条的滑块被定位到滑动条的中点的右边时，第一声音输出在多个空间通道上的分布移位到右边。
在一些实施例中，第一声音信息包括用于根据所确定的第一声音输出在多个空间通道上的分布来提供第一声音输出的信息。例如，利用基于控制用户界面对象的位置确定的平移值(例如，立体声平移(左/右)或者其他多通道平移)播放声音输出。
在一些实施例中，向音频系统提供用于提供第一声音输出的第一声音信息包括(图7c的722)根据控制用户界面对象从显示器上的第一位置至显示器上的第二位置的移动的速度来确定第一声音输出的音量。在一些实施例中，向音频系统提供用于提供第一声音输出的第一声音信息包括根据控制用户界面对象从显示器上的第一位置至显示器上的第二位置的移动的速度来调节第一声音输出的音量。在一些实施例中，第一声音信息包括根据所确定的第一声音输出的音量来提供第一声音输出的信息。在一些实施例中，控制用户界面对象从显示器上的第一位置至显示器上的第二位置的移动的速度比(参考操作728所描述的)控制用户界面对象从显示器上的第二位置至显示器上的第三位置的移动的速度更高，并且第一声音输出的音量比(参考操作728所描述的)第二声音输出的音量更低(例如，当控制用户界面对象移动更快时，声音输出的音量降低)。在一些实施例中，控制用户界面对象(例如，滑动条的滑块)从显示器上的第一位置至显示器上的第二位置的移动的速度比控制用户界面对象从显示器上的第二位置至显示器上的(参考操作728所描述的)第三位置的移动的速度更高，并且第一声音输出的音量比(参考操作728所描述的)第二声音输出的音量更高(例如，当控制用户界面对象移动更快时，声音输出的音量增加)。
在一些实施例中，控制用户界面对象是(724)滑动条上的滑块(图5j至图5s)。第一声音输出的音高根据控制用户界面对象在滑动条上的位置(例如，控制用户界面对象与滑动条的一端的距离、控制用户界面对象与滑动条的中心的距离或者控制用户界面对象与滑动条的最近一端的距离)而改变。在一些实施例中，第一声音输出具有当滑块处于第一位置时的第一音高和当滑块处于第一位置左边的第二位置时的比第一音高更低的第二音高。在一些实施例中，当滑块更远离右边时，音高是更低的。
在一些实施例中，在对第一输入做出响应之后，设备接收(726)对应于与显示器上的控制用户界面对象的第二交互(例如，用于进一步调节滑动条的滑块的位置的交互)的第二输入。响应于并且当接收到对应于与显示器上的控制用户界面对象的第二交互时：设备向显示器提供(728)用于根据第二输入将控制用户界面对象从显示器上的第二位置移动至与显示器上的第二位置不同的显示器上的第三位置的数据；并且向音频系统提供用于提供第二声音输出的第二声音信息，该第二声音输出具有根据控制用户界面对象从显示器上的第二位置至显示器上的第三位置的移动而改变的一个或多个特性(例如，第二声音输出是对应于滑动条控制的附加移动的音频反馈)。在一些实施例中，相应声音输出具有第一音高并且后续的声音输出具有与第一音高不同的第二音高。
在一些实施例中，控制用户界面对象是(图7d的730)滑动条上的滑块。显示器上的第二位置不是滑动条的终点。在一些实施例中，显示器上的第三位置(或者作为显示器上的先前位置的另一位置)不是滑动条的终点。在一些实施例中，设备接收(732)对应于与显示器上的控制用户界面对象的相应交互的输入。响应于接收到对应于与显示器上的控制用户界面对象的相应交互的输入：设备向显示器提供(734)用于根据输入将控制用户界面对象移动至显示器上的第四位置的数据，其中，显示器上的第四位置是滑动条的终点。在一些实施例中，控制用户界面对象从显示器上的第二位置移动。在一些实施例中，控制用户界面对象从显示器上的第三位置(或者作为显示器上的先前位置的另一位置)移动。在一些实施例中，显示器上的第四位置与显示器上的第二位置不同。在一些实施例中，显示器上的第四位置与显示器上的第三位置不同。设备还向音频系统提供用于提供第三声音输出的声音信息来指示控制用户界面对象位于滑动条的终点处，其中第三声音输出与第一声音输出不同。在一些实施例中，第三声音输出与第二声音输出不同。在一些实施例中，第四声音输出是提供对应于橡胶带效应的音频反馈的弹跳声音(例如，回响“啵嘤”)(例如，如图5o至图5p中所图示的)。
应当理解，已经描述图7a至图7c中的操作的特定顺序仅是示例性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领域的普通技术人员将认识到用于将本文所描述的操作重新排序的各种方式。此外，应当注意，关于在本文中所描述的其他方法(例如，方法600、800、900和1000)在本文中所描述的其他过程的细节以与上文关于图7a至图7c所描述的方法700类似的方式也是适用的。例如，上文参考方法700所描述的用户界面对象、用户界面和声音输出可选地具有参考在本文中所描述的其他方法(例如，方法600、800、900和1000)在本文中所描述的用户界面对象、用户界面和声音输出的特性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
图8a至图8c是图示了根据一些实施例的提供对应于用户的与用户界面对象的交互的声音信息的方法800的流程图。在与显示器和音频系统通信的电子设备(例如，图3的设备300或者图1a的便携式多功能设备100)处执行方法800。在一些实施例中，电子设备与具有触敏表面的用户输入设备(例如，远程用户输入设备，诸如遥控器)通信。在一些实施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面分离。在一些实施例中，用户输入设备与电子设备集成。在一些实施例中，用户输入设备与电子设备分离。可选地组合方法800中的一些操作和/或可选地改变一些操作的顺序。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例中，音频系统包括信号放大器。在一些实施例中，音频系统包括一个或多个扬声器。在一些实施例中，音频系统与显示器(例如，具有音频处理电路和扬声器的电视)集成。在一些实施例中，音频系统与显示器(例如，显示屏和分离的音频系统)不同并且分离。在一些实施例中，设备包括触敏表面。在一些实施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面分离(例如，触敏表面与电视的遥控器集成)。
可选地组合方法800中的一些操作和/或可选地改变一些操作的顺序。在一些实施例中，图5t至图5aa中的用户界面用来图示关于方法800所描述的过程。
如下面所描述的，方法800提供对应于用户的与用户界面对象的交互的声音输出。该方法减少当与用户界面对象(例如，通过移动当前焦点)交互时用户的认知负担，从而创建更高效的人机界面。提供声音输出帮助用户更快并且更高效地操纵用户界面对象，从而节省电力。
该设备向显示器提供(802)用于呈现具有多个用户界面对象的第一用户界面的数据，其中当前焦点在多个用户界面对象的第一用户界面对象上。在一些实施例中，当当前焦点在第一用户界面对象上时，将第一用户界面对象与多个用户界面对象中的其他用户界面对象在视觉上区分开。例如，如图5t中所示，应用图标532-e通过稍微更大并且具有加亮的边界而与其他应用图标532在视觉上区分开。
当显示器正呈现第一用户界面时，设备接收(804)与用于改变当前焦点在第一用户界面中的位置的请求对应的输入(例如，触敏表面上的拖曳手势)，该输入具有方向和幅度(例如，输入的速度和/或距离)。在一些实施例中，电子设备与遥控器通信，并且从遥控器接收输入。例如，如图5t中所示，在遥控器5001的触敏表面451上检测到用户输入536。
响应于接收到与用于改变当前焦点在第一用户界面中的位置的请求对应的输入，设备向显示器提供(806)用于将当前焦点从第一用户界面对象移动至第二用户界面对象的数据，其中根据输入的方向和/或幅度针对当前焦点选择第二用户界面对象。例如，如图5t至图5u中所示，设备响应于用户输入536，将当前焦点从应用图标532-e(图5t)移动至应用图标532-d(图5u)。在一些实施例中，当当前焦点在第二用户界面对象上时，将第二用户界面对象与多个用户界面对象中的其他用户界面对象在视觉上区分开。在一些实施例中，当当前焦点在相应用户界面对象上时，将相应用户界面对象与多个用户界面对象中的其他用户界面对象在视觉上区分开。
而且，响应于接收到与用于改变当前焦点在第一用户界面中的位置的请求对应的输入，设备向音频系统提供用于提供第一声音输出的第一声音信息，该第一声音输出对应于当前焦点从第一用户界面对象至第二用户界面对象的移动，其中与当前焦点从第一用户界面对象移动至第二用户界面对象的显示并发地提供第一声音输出，并且第一声音输出的音高至少部分基于以下项而确定：第一用户界面对象的大小(例如，如果第一用户界面对象是大的则低音高，并且如果第一用户界面对象是小的则高音高)、第一用户界面对象的类型(例如，如果第一用户界面对象是种类图标则低音高，并且如果第一用户界面对象是电影海报则高音高)、第二用户界面对象的大小(如果第二用户界面对象是大的则低音高，并且如果第二用户界面对象是小的则高音高)和/或第二用户界面对象的类型(例如，如果第二用户界面对象是种类图标则低音高，并且如果第二用户界面对象是电影海报则高音高)。例如，针对应用图标532-d的图5u中所示的声音输出538-1的音高比针对比应用图标532-d更大的电影图标534-c的图5cc中所示的声音输出538-9的音高更高。
在一些实施例中，通过在多个空间通道上的分布、一个或多个音频包络特性(例如，起声、衰减、维持和/或释放)、音色、音量和/或音高来表征第一声音输出。在一些实施例中，在多个空间通道上的分布、一个或多个音频包络特性(例如，起声、衰减、维持和/或释放)、音色、音量和/或音高基于以下项中的任意项而确定：第一用户界面对象的大小、第一用户界面对象的类型、第二用户界面对象的大小、第二用户界面对象的类型、输入的幅度和/或输入的方向。
在一些实施例中，基于第二用户界面对象的特性(例如，大小和/或类型)(例如，并且不是第一用户界面对象的任何特性)，确定第一声音输出的音高。在一些实施例中，第一声音输出是给用户提供指示她将导航到的用户界面对象的大小和/或类型的音频反馈的“进入”声音或者“移至”声音。在一些实施例中，基于第一用户界面对象的特性(大小和/或类型)(例如，并且不是第二用户界面对象的任何特性)，确定第一声音输出的音高。在一些实施例中，第一声音输出是给用户提供指示她将导航远离的用户界面的大小和/或类型的音频反馈的“退出”声音或者“移走”声音。
在一些实施例中，基于输入的幅度(例如，输入的速度和/或距离)，确定(808)第一声音输出的音量。例如，根据确定输入的速度和/或距离超过预定阈值，降低第一声音输出的音量。
在一些实施例中，一个或多个用户界面对象位于显示器上的第一用户界面对象与第二用户界面对象之间，并且当前焦点根据输入的方向和/或幅度经由一个或多个用户界面对象从第一用户界面对象移动至第二用户界面对象(例如，图5w至图5x中的当前焦点经由应用图标532-c和应用图标532-d从应用图标532-b移动至应用图标532-e)。
在一些实施例中，根据对输入的幅度满足预定输入准则(例如，速度和/或距离准则)来降低(810)第一声音输出的音量。例如，第一声音输出是当第二用户界面对象在显示器上更远离时比当第二用户界面对象更接近第一用户界面对象时更安静的“移至”声音(例如，如上文所描述的)，如图5w至图5x中所示。在一些实施例中，用户界面对象的相应数目(例如，计数)位于显示器上的第一用户界面对象与第二用户界面对象之间。当前焦点经由位于第一用户界面对象与第二用户界面对象之间的用户界面对象从第一用户界面对象移动至第二用户界面对象，并且第一声音输出的音量基于位于显示器上的第一用户界面对象与第二用户界面对象之间的用户界面对象的相应数目(例如，计数)(例如，给出指示用户正在多少用户界面对象上移动的用户音频反馈)。
在一些实施例中，根据确定输入的幅度满足预定输入准则，降低(812)第一声音输出的释放。例如，对于跨越分立对象(例如，视频选择用户界面(诸如电视主画面屏幕)中的多个视频的表示)的导航而言，第一声音输出当幅度满足预定输入准则时具有较短的释放(例如，关于速度和/或距离)，并且当幅度不满足预定输入准则时具有较长的释放(例如，当第一输入的速度较慢时具有较长的释放，这给出用户指示输入更逐渐的音频反馈)。
在一些实施例中，根据第二用户界面对象在第一用户界面中的位置来调节(814)第一声音输出在多个空间通道上的分布(例如，当当前焦点移动至位于第一用户界面的左侧的用户界面对象时，左音频通道增加和/或右音频通道降低，并且当当前焦点移动至位于第一用户界面的右侧的用户界面对象时，右音频通道增加和/或左音频通道降低，如图5cc至图5ee中所示)。在一些实施例中，根据第二用户界面对象关于第一用户界面对象的相对位置(例如，上/下、左或右)调节第一声音输出在多个空间通道上的分布。在一些实施例中，根据当前焦点从第一用户界面对象至第二用户界面对象的移动(例如，上/下、左或右)来调节第一声音输出在多个空间通道上的分布。在一些实施例中，多个空间通道包括左音频通道、右音频通道、上音频通道和下音频通道。例如，当当前焦点移动至位于第一用户界面的上侧的用户界面对象时，上音频通道增加和/或下音频通道降低，并且当当前焦点移动至位于第一用户界面的下侧的用户界面对象时，下音频通道增加和/或上音频通道降低。
在一些实施例中，基于第二用户界面对象的大小和/或第二用户界面对象的类型(例如，并且不基于第一用户界面对象的大小和/或第一用户界面对象的类型)，确定(图8b的816)第一声音输出的音高。响应于接收到与用于改变当前焦点在第一用户界面中的位置的请求对应的输入，设备向音频系统提供用于提供与当前焦点从第一用户界面对象至第二用户界面对象的移动对应的第二声音输出的第二声音信息，其中至少部分基于第一用户界面对象的大小和/或第一用户界面对象的类型(例如，并且不基于第二用户界面对象的大小和/或第二用户界面对象的类型)，确定第二声音输出的音高。例如，第一声音输出指示当前焦点“移至”第二用户界面对象(例如，进入声音)，并且第二声音输出指示当前焦点从第一用户界面对象“移走”(例如，退出声音)。如图5t至图5u中所示，结合将当前焦点从应用图标532-e移动至应用图标532-d，顺序地提供声音输出540-1(示例性退出声音)和声音输出538-1(示例性进入声音)。在一些实施例中，第二声音输出在第一声音输出开始之前开始。在一些实施例中，第二声音输出在第一声音输出终止之前终止。在一些实施例中，与第一声音输出并发地提供第二声音输出的至少部分。在一些实施例中，第一声音输出在第二声音输出终止之后开始(例如，第一声音输出和第二声音输出不重叠)。
在一些实施例中，第一用户界面包括具有不同大小的三个或更多个用户界面对象，并且该三个或更多个用户界面对象对应于具有一个或多个不同的声音特性(例如，不同的音高)的声音输出。
在一些实施例中，响应于接收到与用于改变当前焦点在第一用户界面中的位置的一个或多个请求对应的一个或多个输入：设备向显示器提供(818)用于将当前焦点从第二用户界面对象移动至第三用户界面对象的数据。设备还向音频系统提供用于提供与当前焦点从第二用户界面对象至第三用户界面对象的移动对应的第三声音输出的第三声音信息，其中与当前焦点从第二用户界面对象移动至第三用户界面对象的显示并发地提供第三声音输出。设备还向显示器提供用于将当前焦点从第三用户界面对象移动至第四用户界面对象的数据，并且向音频系统提供用于提供与当前焦点从第三用户界面对象至第四用户界面对象的移动对应的第四声音输出的第四声音信息。与当前焦点从第三用户界面对象移动至第四用户界面对象的显示并发地提供第四声音输出。例如，在声音输出538-7的情况下当前焦点移动至图标550-d(图5y)，之后在声音输出538-8的情况下当前焦点移动至应用图标532-e(图5z)，并且在音输出538-9的情况下移动至电影图标534-c(图5cc)。
在一些实施例中，与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的最大对象的移动对应的声音输出具有比与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的剩余两个对象的移动对应的相应声音输出更低的音高(例如，当第三用户界面对象是第二用户界面对象、第三用户界面对象和第四用户界面对象中的最大对象时，对应于当前焦点至第三用户界面对象的移动的声音输出具有比对应于当前焦点至第二用户界面对象的移动的声音输出的音高和对应于当前焦点至第四用户界面对象的移动的声音输出的音高更低的音高)。例如，在图5y至图5cc中，电影图标534-c是图标550-d、应用图标532-e和电影图标534-c中的最大对象，并且对应的声音输出538-9具有与图标550-d、应用图标532-e和电影图标534-c相关联的声音输出中的最低音高。
在一些实施例中，与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的最小对象的移动对应的声音输出具有比与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的剩余两个对象的移动对应的相应声音输出更高的音高(例如，当第二用户界面对象是第二用户界面对象、第三用户界面对象和第四用户界面对象中的最小对象时，对应于当前焦点至第二用户界面对象的移动的声音输出具有比对应于当前焦点至第三用户界面对象的移动的声音输出的音高和对应于当前焦点至第四用户界面对象的移动的声音输出的音高更高的音高)。例如，在图5y至图5cc中，应用图标532-e是图标550-d、应用图标532-e和电影图标534-c中的最小对象，并且对应的声音输出538-9具有与图标550-d、应用图标532-e和电影图标534-c相关联的声音输出中的最高音高。
当显示器呈现具有多个用户界面对象的第一用户界面时，其中具有多个用户界面对象的第一用户界面包括在用户界面的层次结构中，设备接收(图8c的820)与用于利用用户界面的层次结构中的第二用户界面替换第一用户界面的请求对应的输入(例如，按压菜单按钮5002的输入574，如图5gg中所示，或者触敏表面451上的用户输入554，如图5z中所示)。为了描述这些特征和相关特征，假定用户界面的示例性层次结构包括屏幕保护程序用户界面(例如，图5hh中的屏幕保护程序用户界面517)、屏幕保护程序用户界面下面的主画面屏幕用户界面(例如，图5gg中的主画面屏幕用户界面530)和主画面屏幕用户界面下面的应用用户界面(例如，图5aa中的游戏用户界面594)(例如，用户界面的层次结构以从上到下的层次结构的顺序包括屏幕保护程序用户界面517、主画面屏幕用户界面530和游戏用户界面594)。响应于接收到与用于利用第二用户界面替换第一用户界面的请求对应的输入：设备向显示器提供(822)用于利用第二用户界面替换第一用户界面的数据(例如，响应于按压菜单按钮5002的输入574，屏幕保护程序用户界面517替换主画面屏幕用户界面530，如图5gg至图5hh中所示，并且响应于触敏表面451上的用户输入554，游戏用户界面594替换主画面屏幕用户界面530)。根据确定在用户界面的层次结构中第一用户界面位于第二用户界面上面(例如，在示例性层次结构中从较高的用户界面导航至较低的用户界面，诸如从主画面屏幕用户界面530导航至游戏用户界面594)，设备向音频系统提供用于提供第五声音输出(例如，高音高声音，诸如图5aa中的声音输出556-1)的第五声音信息。在一些实施例中，与利用第二用户界面替换第一用户界面并发地提供第五声音输出。在一些实施例中，在用户界面的层次结构中第一用户界面紧接地位于第二用户界面上面(例如，在示例性层次结构中主画面屏幕用户界面530紧接地位于游戏用户界面594上面)。根据确定在用户界面的层次结构中第一用户界面位于第二用户界面下面(例如，在示例性层次结构中从较低的用户界面导航至较高的用户界面，诸如从主画面屏幕用户界面530导航至屏幕保护程序用户界面517)，设备向音频系统提供用于提供与第五声音输出不同的第六声音输出(例如，低音高声音，诸如图5hh中的声音输出560-3)的第六声音信息。在一些实施例中，与利用第二用户界面替换第一用户界面并发地提供第六声音输出。在一些实施例中，在用户界面的层次结构中第一用户界面紧接地位于第二用户界面下面(例如，在示例性层次结构中主画面屏幕用户界面530紧接地位于屏幕保护程序用户界面517下面)。因此，第五声音输出和/或第六声音输出可以用来指示用户是否将向层次结构的顶部或者底部导航。
在一些实施例中，第五声音输出与第一声音输出不同。在一些实施例中，第五声音输出与第二声音输出不同。在一些实施例中，第五声音输出与第三声音输出不同。在一些实施例中，第五声音输出与第四声音输出不同。在一些实施例中，第六声音输出与第一声音输出不同。在一些实施例中，第六声音输出与第二声音输出不同。在一些实施例中，第六声音输出与第三声音输出不同。在一些实施例中，第六声音输出与第四声音输出不同。在一些实施例中，第六声音输出与第五声音输出不同。
当显示器呈现第一用户界面时，设备接收(824)与用于激活具有当前焦点的用户界面对象的请求对应的输入(例如，用户界面对象由当前焦点重叠、围绕或者在其附近)。响应于接收到与用于激活具有当前焦点的用户界面对象的请求对应的输入，根据确定第一用户界面对象具有当前焦点，设备向音频系统提供(826)用于提供第七声音输出的第七声音信息，该第七声音输出对应于第一用户界面对象的激活。例如，结合提供声音输出556-1(图5aa)激活应用图标532-e(图5z)。根据确定第二用户界面对象具有当前焦点，设备向音频系统提供用于提供第八声音输出的第八声音信息，该第八声音输出对应于第二用户界面对象的激活。第八声音输出与第七声音输出不同。例如，结合提供声音输出556-2(图5ff)，激活电影图标534-a(图5ee)。在与当前焦点至第一用户界面对象的移动对应的声音输出的一个或多个特性与第二声音输出的一个或多个特性之间的关系对应于在第七声音输出的一个或多个特性与第八声音输出的一个或多个特性之间的关系。例如，当第一用户界面对象比第二用户界面对象更小时，对应于当前焦点至第一用户界面对象的移动的声音输出具有比对应于当前焦点至第二用户界面对象的移动的声音输出的音高更高的音高，并且与第一用户界面对象的激活对应的声音输出具有比与第二用户界面对象的激活对应的声音输出的音高更高的音高(例如，在图5z中与当前焦点至应用图标532-e的移动对应的声音输出538-8具有比在图5ee中与当前焦点至电影图标534-a的移动对应的声音输出538-11更高的音高，并且在图5aa中与应用图标532-e的激活对应的声音输出556-1具有比在图5ff中与电影图标534-a的激活对应的声音输出556-2更高的音高)。
在一些实施例中，相应声音输出是单个音调或者和弦(例如，声音“叮(ding)”)。在一些实施例中，相应声音输出是旋律中的单个音调或者和弦(例如，短旋律“叮咚(dingdong)”中的声音“叮(ding)”，其中旋律包括至少两个音调和和弦)。在一些实施例中，当根据所确定的特性提供(或者确定、修改等)旋律中的单个音调或者和弦时，根据所确定的特性提供(或者确定、修改等)声音输出(例如，当旋律“叮咚中的声音“叮”提供有所确定的音高时，提供具有所确定的音高的相应声音输出)。在一些实施例中，当根据所确定的特性提供(或者确定、修改等)整个旋律时，根据所确定的特性作为旋律并且提供(或者确定、修改等)声音输出(例如，声音输出是v-i节奏，其中，i表示根据所确定的音高确定的根和弦并且v是根和弦i上面五个音阶的和弦)。在一些实施例中，音高是感知的音高。
应当理解，已经描述图8a至图8c中的操作的特定顺序仅是示例性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领域的普通技术人员将认识到用于将本文所描述的操作重新排序的各种方式。此外，应当注意，关于在本文中所描述的其他方法(例如，方法600、700、900和1000)在本文中所描述的其他过程的细节以与上文关于图8a至图8c所描述的方法800类似的方式也是适用的。例如，上文参考方法800所描述的用户界面对象、用户界面和声音输出可选地具有参考在本文中所描述的其他方法(例如，方法600、700、900和1000)在本文中所描述的用户界面对象、用户界面和声音输出的特性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
图9a至图9c是图示了根据一些实施例的针对视频信息用户界面提供声音信息的方法900的流程图。在与显示器和音频系统通信的电子设备(例如，图3的设备300或者图1a的便携式多功能设备100)处执行方法900。在一些实施例中，电子设备与具有触敏表面的用户输入设备(例如，远程用户输入设备，诸如遥控器)通信。在一些实施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面分离。在一些实施例中，用户输入设备与电子设备集成。在一些实施例中，用户输入设备与电子设备分离。可选地组合方法900中的一些操作和/或可选地改变一些操作的顺序。
在一些实施例中，音频系统包括数字模拟转换器。在一些实施例中，音频系统包括信号放大器。在一些实施例中，音频系统包括一个或多个扬声器。在一些实施例中，音频系统与显示器(例如，具有音频处理电路和扬声器的电视)集成。在一些实施例中，音频系统与显示器(例如，显示屏和分离的音频系统)不同并且分离。
可选地组合方法900中的一些操作和/或可选地改变一些操作的顺序。在一些实施例中，图5ii至图5mm中的用户界面用来图示关于方法900所描述的过程。
如下面所描述的，暂停视频的回放包括提供用于当视频的回放暂停时呈现来自视频的多个静止图像的数据。来自视频的多个静止图像帮助用户即使在视频的回放被恢复之前，也理解其中视频的回放被暂停周围的视频的上下文。因此，用户可以在视频的回放被恢复之后不久理解视频的上下文。
设备向显示器提供(902)用于呈现包括关于第一视频的描述性信息的第一视频信息用户界面的数据。例如，第一视频信息用户界面(例如，图5ii中的产品页面视图572)包括信息，诸如标题、运行时间、情节概述、评级、用于播放第一视频的可供件等。
在一些实施例中，在显示器呈现第一视频信息用户界面之前：设备向显示器提供(904)用于呈现包括多个视频的表示的视频选择用户界面的数据(例如，具有对应于多个视频中的每一个视频的海报和/或标题的图标)。设备接收与多个视频中的第一视频的表示的选择对应的输入，其中响应于接收到与第一视频的表示的选择对应的输入，呈现用于第一视频的第一视频信息用户界面。例如，在图5ii中的用户界面的显示之前显示图5gg中的用户界面，并且响应于用户激活电影图标534-a(图5gg)而呈现图5ii中的用户界面。
设备向音频系统提供(906)用于在由显示器对第一视频信息用户界面的呈现期间提供对应于(例如，基于)第一视频的第一声音输出。在一些实施例中，声音信息是基于第一视频的种类的音频(例如，戏剧的黑暗环境声音或者喜剧的明亮环境声音等)。在一些实施例中，使用与视频相关联的元数据(例如，指示对视频或者视频中的第一场景的一个或多个种类分类的元数据)确定第一视频的种类。在一些实施例中，声音信息是从第一视频自身中的声音或者音乐生成的音频(例如，音频是来自第一视频的声音轨道的音频)。在一些实施例中，声音信息是被选择为对应于第一视频中的特定场景的音调的音频。例如，在一些实施例中，设备分析第一视频的第一场景的颜色分布来确定场景是“明亮的”还是“黑暗的”并且将音频匹配为“明亮”或“黑暗”。在一些实施例中，当显示关于第一视频的第一视频信息用户界面时，第一声音输出循环(重复)。
在一些实施例中，第一视频信息用户界面包括(908)多个用户界面对象。例如，如图5ii中所示，用户界面包括“现在观看(watchnow)”的可供件和“预告片/预览”的可供件。多个用户界面对象的第一用户界面对象被配置为：当被选择(或者激活)时，发起电子设备向音频系统提供用于提供与第一视频的第一声音轨道的至少部分对应的声音输出的声音信息(例如，激活第一视频信息用户界面中的播放用户界面对象发起输出来自第一视频的枪声)。多个用户界面对象的第二用户界面对象被配置为：当被选择(或者激活)时，发起电子设备向音频系统提供用于提供对应于与第一视频的第一声音轨道不同的第二视频的第二声音轨道的至少部分的声音输出的声音信息(例如，激活第一视频信息用户界面中的预告片用户界面对象发起输出来自第一视频的马声)。
当显示器呈现包括关于第一视频的描述性信息的第一视频信息用户界面时，设备接收(910)与用于回放第一视频的请求对应的输入(例如，接收对应于视频信息用户界面中的播放图标的激活或者与设备通信的遥控器上的播放按钮的激活的输入)。响应于接收到与用于回放第一视频的请求对应的输入，设备向显示器提供(912)用于利用第一视频的回放(例如，图5jj中的视频回放视图500)替换第一视频信息用户界面的呈现的数据。例如，用户决定观看第一视频并且因此激活第一视频的回放。
在第一视频的回放期间，设备接收(图9b的914)与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入(例如，接收对应于暂停图标或者返回图标的激活或者与设备通信的遥控器上的暂停按钮或者返回按钮(诸如菜单按钮5002)的激活的输入580，如图5jj中所示)。在一些实施例中，关于第一视频的第二视频信息用户界面与关于第一视频的第一视频信息用户界面不同。例如，第二视频信息是与产品页面视图不同的“暂停”屏幕。在一些实施例中，关于第一视频的第二视频信息用户界面与关于第一视频的第一视频信息用户界面相同。在一些实施例中，当用户暂停视频时，设备返回至第一视频信息用户界面。
响应于接收到与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入：设备向显示器提供(916)用于利用关于第一视频的第二视频信息用户界面(例如，图5kk中的产品页面视图572)替换第一视频的回放的数据。设备向音频系统提供用于在由显示器对第二视频信息用户界面的呈现期间提供与第一声音输出不同的对应于(例如，基于)第一视频的第二声音输出。在一些实施例中，当显示关于第一视频的第二视频信息用户界面时，第二声音输出循环(重复)。
在一些实施例中，第二声音输出是(918)与当接收到与用于显示第二视频信息用户界面的请求对应的输入时正播放的第一视频的位置对应的第一视频的声音轨道。在一些实施例中，从与涵盖当接收到与用于显示第二视频信息用户界面的请求对应的输入时正播放的第一视频中的位置的第一视频的章节对应的第一视频的声音轨道中选择第二声音输出。
在一些实施例中，根据确定在从第一视频的结束起的预定持续时间内接收到与用于显示第二视频信息用户界面的请求对应的输入(例如，当显示结束字幕时的输入582，如图5ll中所示)，针对第二声音输出选择(920)第一视频的结束字幕声音轨道。例如，如果第一视频靠近(例如足够接近于)结束，则利用视频信息用户界面播放结束字幕声音轨道。
在一些实施例中，在发起第一视频的回放之后，设备接收(图9c的922)与用于暂停第一视频的请求对应的输入。响应于接收到与用于暂停第一视频的请求对应的输入：设备在第一视频的时间线中的第一回放位置处暂停(924)第一视频的回放并且向显示器提供用于呈现来自第一视频的一个或多个所选择的静止图像的数据，其中基于在其处暂停第一视频的第一回放位置，选择一个或多个所选择的静止图像(例如，如果当音频系统输出第一视频的第一声音轨道时接收到与用于暂停第一视频的请求对应的输入，则当暂停第一视频时，音频系统继续输出第一视频的第一声音轨道)。设备进一步向音频系统提供用于提供声音输出的声音信息，该声音输出对应于第一回放位置处的第一视频的声音轨道。
在一些实施例中，在发起第一视频的回放之后，设备接收(926)与用于暂停第一视频的请求对应的输入。响应于接收到与用于暂停第一视频的请求对应的输入：设备在第一视频的时间线中的第一回放位置处暂停(928)第一视频的回放；并且向显示器提供用于呈现来自第一视频的一个或多个所选择的静止图像的数据(例如，图5oo至图5ss)。基于在其处暂停第一视频的第一回放位置，选择一个或多个所选择的静止图像。设备还向音频系统提供用于提供声音输出的声音信息，该声音输出对应于第一回放位置处的第一视频的一个或多个特性(例如，原始声音轨道的节拍、和弦)。在一些实施例中，该方法包括标识涵盖第一回放位置的预定持续时间的时间窗处或该时间窗内的原始声音轨道的节拍和/或和弦，并且基于第一回放位置处的原始声音轨道的节拍和/或和弦，选择与原始声音轨道不同的音乐。
在一些实施例中，从第一视频的声音轨道选择(330)第一声音输出和/或第二声音输出。在一些实施例中，第一声音输出是第一视频的主题音乐。在一些实施例中，第一声音输出独立于第一视频中的当前回放位置。例如，甚至在播放第一视频之前选择第一声音输出。
在一些实施例中，基于第一视频的一个或多个特性(例如，种类、用户评级、评论评级等)，(例如，从独立于第一视频的声音轨道，诸如来自各种种类的电影的声音轨道的集合)选择(932)第一声音输出和/或第二声音输出。例如，针对科幻电影选择电子音乐，并且针对西方电影选择西方音乐(例如，基于与第一视频相关联的元数据)。例如，针对具有高于预定准则的用户评级和/或评论评级的电影选择以快节拍和/或以大和弦开始的音乐，并且针对具有低于预定准则的用户评级和/或评论评级的电影选择以慢节拍和/或以小和弦开始的音乐。
应当理解，已经描述图9a至图9c中的操作的特定顺序仅是示例性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领域的普通技术人员将认识到用于将本文所描述的操作重新排序的各种方式。此外，应当注意，关于在本文中所描述的其他方法(例如，方法600、700、800和1000)在本文中所描述的其他过程的细节以与上文关于图9a至图9c所描述的方法900类似的方式也是适用的。例如，上文参考方法900所描述的用户界面对象、用户界面、声音输出和静止图像可选地具有参考在本文中所描述的其他方法(例如，方法600、700、800和1000)在本文中所描述的用户界面对象、用户界面、声音输出和静止图像的特性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
图10a至图10b图示了根据一些实施例的当视频处于暂停状态时提供视听信息的方法1000的流程图。在与显示器(并且在一些实施例中与触敏表面)通信的电子设备(例如，图3的设备300或者图1a的便携式多功能设备100)处执行方法1000。在一些实施例中，显示器是触摸屏显示器，并且触敏表面在显示器上或者与显示器集成。在一些实施例中，显示器与触敏表面分离。可选地组合方法10中的一些操作和/或可选地改变一些操作的顺序。
如下面所描述的，方法1000提供了用于当视频处于暂停状态时提供视听信息的直观的方式。该方法减少当视频处于暂停状态时当观察到视听信息时用户的认知负担，从而创建更高效的人机界面。当视频处于暂停状态时使得用户能够观察到视听信息也节省电力。
设备100向显示器提供(1002)用于呈现第一视频的数据。例如，用于呈现电影或者电视节目的数据(例如，图5nn中的视频回放视图500)。当显示器正呈现(例如，回放)第一视频时，设备接收(1004)与用于暂停第一视频的用户请求对应的输入。例如，接收到与暂停图标的激活、设备上或者与设备通信的遥控器上的触敏表面上的暂停手势或者与设备通信的遥控器上的暂停按钮的激活对应的输入(例如，图5nn中的播放/暂停按钮5004上的输入586)。
响应于接收到与用于暂停第一视频的用户请求对应的输入，设备暂停(1006)第一视频的时间线中的第一回放位置处的第一视频的呈现。在暂停第一视频的时间线中的第一回放位置处的第一视频的呈现之后并且当暂停第一视频的呈现时，设备向显示器提供(1008)用于呈现来自第一视频的多个所选择的静止图像(例如，自动选择的静止图像)的数据，其中基于在其处暂停第一视频的第一回放位置，选择该多个所选择的静止图像。例如，设备向显示器提供用于呈现该多个所选择的静止图像的数据，如图5oo至图5ss中所示。
在一些实施例中，当第一视频暂停时，顺序地呈现多个所选择的静止图像。在一些实施例中，当第一视频暂停时，以时间顺序呈现所选择的静止图像。在一些实施例中，当第一视频暂停时，以随机顺序呈现所选择的静止图像。在一些实施例中，当第一视频暂停时，向显示器顺序地提供所选择的静止图像。在一些实施例中，当第一视频暂停时，以时间顺序呈现所选择的静止图像。在一些实施例中，当第一视频暂停时，以随机顺序呈现所选择的静止图像。
在一些实施例中，从在时间线中的第一回放位置与领先于第一回放位置的时间线中的第二回放位置之间的用于第一视频的回放位置范围中选择(1010)多个所选择的静止图像。在一些实施例中，时间线中的第二回放位置以预定时间间隔领先于第一回放位置(1012)。例如，从30秒范围中选择多个静止图像，并且第一回放位置在0：45：00处，并且第二回放位置在0：44：30。在一些实施例中，选择图像以便排除对应于第一回放位置之后的视频的回放的任何图像。例如，选择图像以避免揭示关于第一回放位置之后的故事线的任何内容。
在一些实施例中，时间线中的第二回放位置以在接收到与用于暂停第一视频的请求对应的输入之后确定的时间间隔领先于第一回放位置(1014)。例如，响应于接收到对应于暂停第一视频的请求的输入或者紧接地在提供呈现来自第一视频的多个所选择的静止图像的数据之前，确定时间间隔。在一些实施例中，如果在时间线中的第一回放位置与领先于第一回放位置的时间线中的第二回放位置之间的帧的改变小于第一预定帧改变准则，则使用较长的时间间隔。在一些实施例中，预定帧改变准则之一是帧中检测的移动量。例如，如果在领先第一回放位置的30秒或者60秒内存在非常少的移动，则时间间隔增加到领先第一回放位置2分钟。在一些实施例中，如果在时间线中的第一回放位置与领先于第一回放位置的时间线中的第二回放位置之间的帧的改变大于第二预定帧改变准则，则使用较短的时间间隔。在一些实施例中，预定帧改变准则之一是正显示的视频的种类。例如，如果第一视频是针对古典音乐演奏，则使用较长的时间间隔，并且如果第一视频是动作电影，则使用较短的时间间隔。
在一些实施例中，视频的多个所选择的静止图像包括(图10b的1016)对于多个所选择的静止图像中的任何其他静止图像在视频中不连续的静止图像。例如，通过视频的至少一个帧将静止图像与任何其他静止图像分离(例如，一个或多个帧位于任何两个所选择的静止图像之间的视频中)。在一些实施例中，未以视频速率播放静止图像(例如，每个静止图像可以显示数秒)。在一些实施例中，多个所选择的静止图像包括(1018)代表性帧。在一些实施例中，方法包括基于预定代表性帧准则标识代表性帧(例如，具有相应帧的中心区域中的字符和/或对象的帧、具有小于预定移动准则的对象的移动的帧等)。
在一些实施例中，在暂停第一视频的时间线中的第一回放位置处的第一视频的呈现之后并且当第一视频的呈现被暂停时，设备向显示器提供(1020)用于呈现指示向幻灯片模式转换的动画的数据(例如，图5pp中的倒计时时钟588)。在一些实施例中，当视频暂停时，在幻灯片模式中显示多个所选择的静止图像。在一些实施例中，指示向幻灯片模式转换的动画包括(1022)倒计时时钟。在一些实施例中，在幻灯片模式中显示多个图像包括显示时间标记，该时间标记指示对应于第一回放位置(例如，在此处暂停视频)的视频的时间线中的位置。在一些实施例中，在幻灯片模式中显示多个图像包括显示指示当前时间(例如，当前8:03pm)的时钟。
在一些实施例中，设备重复(1024)向显示器提供用于呈现来自第一视频的多个所选择的静止图像的数据。在一些实施例中，重复(例如，循环)对多个所选择的静止图像的顺序显示。在一些实施例中，以随机化方式重复多个所选择的静止图像的显示。在一些实施例中，设备向显示器提供(1026)用于呈现具有平移效果和/或缩放效果的多个所选择的静止图像的相应静止图像的数据。在一些实施例中，设备向显示器提供用于呈现具有透明度的多个所选择的静止图像的相应静止图像的数据(例如，当显示下一个静止图像时)。
在一些实施例中，设备与音频系统通信，并且设备向音频系统提供(1028)用于提供第一声音输出的声音信息，该第一声音输出对应于在显示器上正呈现的第一视频。在一些实施例中，设备向音频系统提供(1030)用于提供声音输出的声音信息，该声音输出是基于在其处暂停第一视频的第一回放位置而选择的。
应当理解，已经描述图10a至图10b中的操作的特定顺序仅是示例性的并且不旨在指示所描述的顺序是可以执行操作的仅有顺序。本领域的普通技术人员将认识到用于将本文所描述的操作重新排序的各种方式。此外，应当注意，关于在本文中所描述的其他方法(例如，方法600、700、800和900)在本文中所描述的其他过程的细节以与上文关于图10a至图10b所描述的方法1000类似的方式也是适用的。例如，上文参考方法1000所描述的用户界面对象、用户界面、静止图像和声音输出可选地具有参考在本文中所描述的其他方法(例如，方法600、700、800和900)在本文中所描述的用户界面对象、用户界面、静止图像和声音输出的特性中的一个或多个特性。为了简洁起见，此处不重复这些细节。
根据一些实施例，图11示出了根据各种所描述的实施例的原理配置的电子设备1100的功能框图。设备的功能框可选地由硬件、软件、固件或其组合实施以实现各种所描述的实施例的原理。本领域的技术人员应理解到，图11中所描述的功能框可选地组合或分离为子框来实施各种所描述的实施例的原理。因此，本文中的描述可选地支持本文所描述的功能框的任何可能组合或者分离或者进一步的定义。
如图11中所示，电子设备1100包括处理单元1106。在一些实施例中，电子设备1100与显示单元1102(例如，被配置为显示用户界面)和音频单元1104(例如，被配置为提供声音输出)通信。在一些实施例中，处理单元1106包括：显示使能单元1108、音频使能单元1110和检测单元1112。
处理单元1106被配置为向显示单元1102提供(例如，利用显示使能单元1108)用于呈现由设备生成的用户界面的数据。该用户界面包括具有第一视觉特性的第一用户界面对象。该用户界面还包括与第一用户界面对象不同的具有第二视觉特性的第二用户界面对象。
处理单元1106被配置为向音频单元1104提供(例如，利用音频使能单元1110)用于提供声音输出的声音信息。该声音输出包括对应于第一用户界面对象的第一音频分量。该声音输出还包括对应于第二用户界面对象并且与第一音频分量不同的第二音频分量。
处理单元1106被配置为：当用户界面被呈现在显示单元1102上并且声音输出被提供时，向显示单元1102提供(例如，利用显示使能单元1108)用于更新用户界面的数据，并且向音频单元1104提供(例如，利用音频使能单元1110)用于更新声音输出的声音信息。更新用户界面和更新声音输出包括：结合改变对应于第一用户界面对象的第一音频分量来改变第一用户界面对象的第一视觉特性中的至少一个视觉特性，以及结合改变对应于第二用户界面对象的第二音频分量来改变第二用户界面对象的第二视觉特性中的至少一个视觉特性。提供用于更新用户界面的数据独立于用户输入而发生。
在一些实施例中，第一视觉特性包括第一用户界面对象的大小和/或位置。
在一些实施例中，更新用户界面和更新声音输出进一步包括：停止显示第一用户界面对象和停止提供包括对应于第一用户界面对象的第一音频分量的声音输出；停止显示第二用户界面对象和停止提供包括对应于第二用户界面对象的第二音频分量的声音输出；和/或显示一个或多个相应用户界面对象并且提供包括对应于一个或多个相应用户界面对象的一个或多个相应音频分量的声音输出。
在一些实施例中，根据对第一用户界面对象的第一视觉特性中的至少一个视觉特性的改变来改变对应于第一用户界面对象的第一音频分量。
在一些实施例中，根据对第一音频分量的改变来改变第一用户界面对象的第一视觉特性中的至少一个视觉特性。
在一些实施例中，相应音频分量的音高对应于对应的用户界面对象的初始大小，相应音频分量的立体声平衡对应于显示单元1102上的对应的用户界面对象的位置，和/或相应音频分量的音量的改变对应于对应的用户界面对象的大小的改变。
在一些实施例中，独立于用户输入来确定第一用户界面对象的第一视觉特性和第二用户界面对象的第二视觉特性。
在一些实施例中，至少部分基于第一音频分量，选择第二音频分量。
在一些实施例中，更新声音输出包括：确定是否满足预定不活动性准则，并且根据确定满足预定不活动性准则，改变声音输出的音量。
在一些实施例中，处理单元1106被配置为检测(例如，使用检测单元1112)用户输入。处理单元1106被配置为响应于检测到用户输入，向音频单元1104提供(例如，使用音频使能单元1110)用于改变对应于相应用户界面对象的相应音频分量的声音信息，并且向显示单元1102提供(例如，使用显示使能单元1108)用于更新用户界面和显示一个或多个控制用户界面对象的数据。
在一些实施例中，向音频单元1104提供的声音信息包括用于提供包括音频分量的声音输出的信息，所述音频分量与对应于相应用户界面对象的相应音频分量是不和谐的。
在一些实施例中，处理单元1106被配置为在检测到用户输入之前，向显示单元1102提供(例如，使用显示使能单元1108)用于显示用户界面和更新用户界面的数据，而不向音频单元1104提供用于提供声音输出的声音信息。处理单元1106被配置为在检测到用户输入之后，向显示单元1102提供(例如，使用显示使能单元1108)用于显示用户界面和更新用户界面的数据，并且向音频单元1104提供用于提供声音输出和更新声音输出的声音信息。
根据一些实施例，图12示出了根据各种所描述的实施例的原理配置的电子设备1200的功能框图。设备的功能框可选地由硬件、软件、固件或其组合实施来实现各种所描述的实施例的原理。本领域的技术人员应理解到，图12中所描述的功能框可选地组合或分离为子框来实施各种所描述的实施例的原理。因此，本文中的描述可选地支持本文所描述的功能框的任何可能组合或者分离或者进一步的定义。
如图12中所示，电子设备1200与显示单元1202(例如，被配置为显示用户界面)、音频单元1216(例如，被配置为提供声音输出)通信，并且在一些实施例中与遥控器单元1206通信，遥控器单元1206被配置为检测用户输入并且将其发送给设备1200。在一些实施例中，遥控器单元1206包括被配置为接收接触的触敏表面单元1204。在一些实施例中，处理单元1208包括：显示使能单元1210、接收单元1212和音频使能单元1214。
根据一些实施例，处理单元1208被配置为向显示单元1202提供用于呈现具有多个用户界面对象(包括显示单元1202上的第一位置处的控制用户界面对象)的用户界面的数据(例如，利用显示使能单元1210)。该控制用户界面对象被配置为控制相应参数。处理单元1208被配置为接收(例如，利用接收单元1212)对应于与显示单元1202上的控制用户界面对象的第一交互的第一输入(例如，在触敏表面单元1204上)。处理单元1208被配置为当接收到对应于与显示单元1202上的控制用户界面对象的第一交互的第一输入时，向显示单元1202提供用于根据第一输入将控制用户界面对象从显示单元1202上的第一位置移动至与显示单元1202上的第一位置不同的显示单元1202上的第二位置的数据；并且向音频单元1216(例如，利用音频使能单元1214)提供用于提供第一声音输出的第一声音信息，第一声音输出具有与由控制用户界面对象控制的相应参数不同并且根据控制用户界面对象从显示单元1202上的第一位置到显示单元1202上的第二位置的移动而改变的一个或多个特性。
在一些实施例中，根据确定第一输入满足第一输入准则，第一声音输出具有第一特性集，并且根据确定第一输入满足第二输入准则，第二声音输出具有与第一特性集不同的第二特性集。
在一些实施例中，处理单元1208被配置为在对第一输入做出响应之后，接收(例如，利用接收单元1212)对应于与显示单元1202上的控制用户界面对象的第二交互的第二输入(例如，在触敏表面单元1204上)。处理单元1208被配置为响应于并且当接收到对应于与显示单元1202上的控制用户界面对象的第二交互的第二输入时，向显示单元1202提供(例如，利用显示使能单元1210)用于根据第二输入将控制用户界面对象从显示单元1202上的第二位置移动至与显示单元1202上的第二位置不同的显示单元1202上的第三位置的数据。处理单元1208还被配置为响应于并且当接收到第二输入时，向音频单元1216提供(例如，利用音频使能单元1214)用于提供第二声音输出的第二声音信息，该第二声音输出具有根据控制用户界面对象从显示单元1202上的第二位置至显示单元1202上的第三位置的移动而改变的一个或多个特性。
在一些实施例中，一个或多个特性包括第一声音输出的音高、第一声音输出的音量和/或第一声音输出在多个空间通道上的分布。
在一些实施例中，音频单元1216与对应于多个空间通道的多个扬声器耦合。向音频单元1216提供用于提供第一声音输出的第一声音信息包括：根据控制用户界面对象从显示单元1202上的第一位置到显示单元1202上的第二位置的移动的方向来确定(例如，利用音频使能单元1214)第一声音输出在多个空间通道上的分布。
在一些实施例中，音频单元1216与对应于多个空间通道的多个扬声器耦合。向音频单元1216提供用于提供第一声音输出的第一声音信息包括：根据控制用户界面对象从显示单元1202上的第二位置到显示单元1202上的第三位置的移动期间控制用户界面对象在显示单元1202上的位置来确定(例如，利用音频使能单元1214)第一声音输出在多个空间通道上的分布。
在一些实施例中，向音频单元1216提供用于提供第一声音输出的第一声音信息包括：根据控制用户界面对象从显示单元1202上的第一位置到显示单元1202上的第二位置的移动的速度来确定(例如，利用音频使能单元1214)第一声音输出的音量。
在一些实施例中，控制用户界面对象是滑动条上的滑块。第一声音输出的音高根据控制用户界面对象在滑动条上的定位(例如，位置)而改变。
在一些实施例中，控制用户界面对象是滑动条上的滑块。显示单元1202上的第二位置不是滑动条的终点。处理单元1208被配置为接收(例如，利用接收单元1212)对应于与显示单元1202上的控制用户界面对象的相应交互的输入(例如，在触敏表面单元1204上)。处理单元1208被配置为响应于接收到对应于与显示单元1202上的控制用户界面对象的相应交互的输入，向显示单元1202提供(例如，利用显示使能单元1210)用于根据该输入将控制用户界面对象移动至显示单元1202上的第四位置的数据，其中显示单元1202上的第四位置是滑动条的终点；并且向音频单元1216提供(例如，利用音频使能单元1214)用于提供第三声音输出的声音信息，以指示控制用户界面对象位于滑动条的终点，其中第三声音输出与第一声音输出不同。
在一些实施例中，处理单元1208被配置为响应于接收到对应于与显示单元1202上的控制用户界面对象的第一交互的第一输入，向显示单元1202提供(例如，利用显示使能单元1210)用于根据第一输入将控制用户界面对象从显示单元1202上的第一位置移动至与显示单元1202上的第一位置不同的显示单元1202上的第二位置的数据，并且在控制用户界面对象从显示单元1202上的第一位置至显示单元1202上的第二位置的移动期间根据第一输入在视觉上区分开(例如，利用显示使能单元1210)控制用户界面对象。
根据一些实施例，处理单元1208被配置为向显示单元1202提供(例如，利用显示使能单元1210)用于呈现具有多个用户界面对象的第一用户界面的数据，其中当前焦点在多个用户界面对象的第一用户界面对象上。处理单元1208被配置为当显示单元1202呈现第一用户界面时，接收(例如，利用接收单元1212)与用于改变当前焦点在第一用户界面中的位置的请求对应的输入(例如，在触敏表面单元1204上)，该输入具有方向和幅度。处理单元1208被配置为响应于接收到与用于改变当前焦点在第一用户界面中的位置的请求对应的输入，向显示单元(1202)提供(例如，利用显示使能单元1210)用于将当前焦点从第一用户界面对象移动至第二用户界面对象的数据，其中第二用户界面对象是根据输入的方向和/或幅度而针对当前焦点选择的；并且向音频单元1216提供(例如，利用音频使能单元1214)提供用于提供第一声音输出的第一声音信息，该第一声音输出对应于当前焦点从第一用户界面对象至第二用户界面对象的的移动，其中与当前焦点从第一用户界面对象移动至第二用户界面对象的显示并发地提供第一声音输出。至少部分基于第一用户界面对象的大小、第一用户界面对象的类型、第二用户界面对象的大小和/或第二用户界面对象的类型，确定第一声音输出的音高(例如，通过音频使能单元1214)。
在一些实施例中，基于输入的幅度，确定第一声音输出的音量(例如，通过音频使能单元1214)。
在一些实施例中，根据确定输入的幅度满足预定输入准则，降低第一声音输出的音量(例如，通过音频使能单元1214)。
在一些实施例中，根据第二用户界面对象在第一用户界面中的位置，调节第一声音输出在多个空间通道上的分布(例如，通过音频使能单元1214)。
在一些实施例中，基于第二用户界面对象的大小和/或第二用户界面对象的类型，确定第一声音输出的音高(例如，通过音频使能单元1214)。响应于接收到与用于改变当前焦点在第一用户界面中的位置的请求对应的输入，处理单元1208被配置为向音频单元1216提供(例如，利用音频使能单元1214)用于提供第二声音输出的第二声音信息，该第二声音输出对应于当前焦点从第一用户界面对象至第二用户界面对象的移动，其中至少部分基于第一用户界面对象的大小和/或第一用户界面对象的类型，确定第二声音输出的音高。
在一些实施例中，根据确定输入的幅度满足预定输入准则，降低第一声音输出的释放(例如，通过音频使能单元1214)。
在一些实施例中，处理单元1208被配置为响应于接收到与用于改变当前焦点在第一用户界面中的位置的一个或多个请求对应的一个或多个输入(例如，通过接收单元1212)，向显示单元1202提供(例如，利用显示使能单元1210)用于将当前焦点从第二用户界面对象移动至第三用户界面对象的数据；向音频单元1216提供(例如，利用音频使能单元1214)提供用于提供第三声音输出的第三声音信息，该第三声音输出对应于当前焦点从第二用户界面对象至第三用户界面对象的移动，其中与当前焦点从第二用户界面对象移动至第三用户界面对象的显示并发地提供第三声音输出；向显示单元1202提供(例如，利用显示使能单元1210)用于将当前焦点从第三用户界面对象移动至第四用户界面对象的数据；并且向音频单元1216提供(例如，利用音频使能单元1214)用于提供第四声音输出的第四声音信息，该第三声音输出对应于当前焦点从第三用户界面对象至第四用户界面对象的移动，其中与当前焦点从第三用户界面对象移动至第四用户界面对象的显示并发地提供第四声音输出。与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的最大对象的移动对应的声音输出具有比与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的剩余两个对象的移动对应的相应声音输出更低的音高。与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的最小对象的移动对应的声音输出具有比与当前焦点至第二用户界面对象、第三用户界面对象和第四用户界面对象中的剩余两个对象的移动对应的相应声音输出更高的音高。
在一些实施例中，具有多个用户界面对象的第一用户界面被包括在用户界面的层次结构中。处理单元1208被配置为当显示单元1202呈现具有多个用户界面对象的第一用户界面时，接收(例如，利用接收单元1212)与用于在用户界面的层次结构中利用第二用户界面替换第一用户界面的请求对应的输入(例如，在触敏表面单元1204上)；并且响应于接收到与用于利用第二用户界面替换第一用户界面的请求对应的输入，向显示单元1202提供(例如，利用显示使能单元1210)用于利用第二用户界面替换第一用户界面的数据；根据确定在用户界面的层次结构中第一用户界面位于第二用户界面上面，向音频单元1216提供(例如，利用音频使能单元1214)用于提供第五声音输出的第五声音信息；并且根据确定在用户界面的层次结构中第一用户界面位于第二用户界面下面，向音频单元1216提供(例如，利用音频使能单元1214)用于提供与第五声音输出不同的第六声音输出的第六声音信息。
在一些实施例中，处理单元1208被配置为当显示单元1202呈现第一用户界面时，接收(例如，利用接收单元1212)与用于激活具有当前焦点的用户界面对象的请求对应的输入(例如，在触敏表面单元1204上)；响应于接收到与用于激活具有当前焦点的用户界面对象的请求对应的输入：根据确定第一用户界面对象具有当前焦点，向音频单元1216提供(例如，利用音频使能单元1214)用于提供第七声音输出的第七声音信息，该第七声音输出对应于第一用户界面对象的激活；并且根据确定第二用户界面对象具有当前焦点，向音频单元1216提供用于提供第八声音输出的第八声音信息，该第八声音输出对应于第二用户界面对象的激活。第八声音输出与第七声音输出不同。在与当前焦点至第一用户界面对象的移动对应的声音输出的一个或多个特性与第二声音输出的一个或多个特性之间的关系对应于在第七声音输出的一个或多个特性与第八声音输出的一个或多个特性之间的关系。
根据一些实施例，处理单元1208被配置为向显示单元1202提供(例如，利用显示使能单元1210)用于呈现包括关于第一视频的描述性信息的第一视频信息用户界面的数据；向音频单元1216提供(例如，利用音频使能单元1214)用于在由显示单元1202对第一视频信息用户界面的呈现期间提供对应于第一视频的第一声音输出的声音信息；当显示单元1202呈现包括关于第一视频的描述性信息的第一视频信息用户界面时，接收(例如，利用接收单元1212)与用于回放第一视频的请求对应的输入(例如，在触敏表面单元1204上)；响应于接收到与用于回放第一视频的请求对应的输入，向显示单元1202提供(例如，利用显示使能单元1210)用于利用第一视频的回放替换第一视频信息用户界面的呈现的数据；在第一视频的回放期间，接收(例如，利用接收单元1212)与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入(例如，在触敏表面单元1204上)；响应于接收到与用于显示关于第一视频的第二视频信息用户界面的请求对应的输入，向显示单元1202提供用于利用关于第一视频的第二视频信息用户界面替换第一视频的回放的数据，并且向音频单元1216提供用于在由显示单元1202对第二视频信息用户界面的呈现期间提供与第一声音输出不同的对应于第一视频的第二声音输出的声音信息。
在一些实施例中，从第一视频的声音轨道选择第一声音输出和/或第二声音输出。
在一些实施例中，第二声音输出是与当接收到与用于显示第二视频信息用户界面的请求对应的输入时正播放的第一视频中的位置对应的第一视频的声音轨道。
在一些实施例中，根据确定在从第一视频的结束起的预定持续时间内接收到与用于显示第二视频信息用户界面的请求对应的输入，针对第二声音输出选择(例如，通过音频使能单元1214)第一视频的结束字幕声音轨道。
在一些实施例中，处理单元1208被配置为：在发起第一视频的回放之后，接收(例如，利用接收单元1212)与用于暂停第一视频的请求对应的输入(例如，在触敏表面单元1204上)；并且响应于接收到与用于暂停第一视频的请求对应的输入，在第一视频的时间线中的第一回放位置处暂停(例如，利用显示使能单元1210)第一视频的回放；向显示单元1202提供(例如，利用显示使能单元1210)用于呈现来自第一视频的一个或多个所选择的静止图像的数据，其中基于在其处暂停第一视频的第一回放位置，选择该一个或多个所选择的静止图像；并且向音频单元1216提供(例如，利用音频使能单元1214)用于提供与第一回放位置处的第一视频的声音轨道对应的声音输出的声音信息。
在一些实施例中，处理单元1208被配置为：在发起第一视频的回放之后，接收(例如，利用接收单元1212)与用于暂停第一视频的请求对应的输入(例如，在触敏表面单元1204上)；并且响应于接收到与用于暂停第一视频的请求对应的输入，在第一视频的时间线中的第一回放位置处暂停(例如，利用显示使能单元1210)第一视频的回放；向显示单元1202提供(例如，利用显示使能单元1210)用于呈现来自第一视频的一个或多个所选择的静止图像的数据，其中基于在其处暂停第一视频的第一回放位置，选择该一个或多个所选择的静止图像，并且向音频单元1216提供(例如，利用音频使能单元1214)用于提供与第一回放位置处的第一视频的一个或多个特性对应的声音输出的声音信息。
在一些实施例中，第一视频信息用户界面包括多个用户界面对象。多个用户界面对象的第一用户界面对象被配置为：当被选择时，发起电子设备1200向音频单元1216提供(例如，利用音频使能单元1214)用于提供与第一视频的第一声音轨道的至少部分对应的声音输出的声音信息。多个用户界面对象的第二用户界面对象被配置为：当被选择时，发起电子设备1200向音频单元1216提供(例如，利用音频使能单元1214)用于提供声音输出的声音信息，该声音输出对应于第一视频的与第一声音轨道不同的第二声音轨道的至少部分。
在一些实施例中，基于第一视频的一个或多个特性，选择第一声音输出和/或第二声音输出。
在一些实施例中，处理单元1208被配置为：在显示单元1202呈现第一视频信息用户界面之前，向显示单元1202提供用于呈现包括多个视频的表示的视频选择用户界面的数据；以及接收(例如，利用接收单元1212)与多个视频中的第一视频的表示的选择对应的输入(例如，在触敏表面单元1204上)，其中响应于接收到与第一视频的表示的选择对应的输入，呈现针对第一视频的第一视频信息用户界面。
根据一些实施例，图13示出了根据各种所描述的实施例的原理配置的电子设备1300的功能框图。设备的功能框可选地由硬件、软件、固件或其组合实施来实现各种所描述的实施例的原理。本领域的技术人员应理解到，图13中所描述的功能框可选地组合或分离为子框来实施各种所描述的实施例的原理。因此，本文中的描述可选地支持本文所描述的功能框的任何可能组合或者分离或者进一步的定义。
如图13中所示，电子设备1300与显示单元1302通信。显示单元1302被配置为显示视频回放信息。在一些实施例中，电子设备1300与音频单元1312通信。电子设备1300包括与显示单元1302通信并且在一些实施例中与音频单元1312通信的处理单元1304。在一些实施例中，处理单元1304包括：数据提供单元1306、输入接收单元1308、暂停单元1310和声音提供单元1314。
处理单元1304被配置为：向显示单元1302提供(例如，利用数据提供单元1306)用于呈现第一视频的数据；当显示单元1302呈现第一视频时，接收(例如，利用输入接收单元1308)与用于暂停第一视频的用户请求对应的输入；响应于接收到与用于暂停第一视频的用户请求对应的输入，在第一视频的时间线中的第一回放位置处暂停(例如，使用暂停单元1310)第一视频的呈现；并且在第一视频的时间线中的第一回放位置处暂停第一视频的呈现之后并且当第一视频的呈现被暂停时，向显示单元1302提供(例如，利用数据提供单元1306)用于呈现来自第一视频的多个所选择的静止图像的数据，其中基于在其处暂停第一视频的第一回放位置，选择该多个所选择的静止图像。
在一些实施例中，从在时间线中的第一回放位置与领先于第一回放位置的时间线中的第二回放位置之间的用于第一视频的回放位置范围中选择多个所选择的静止图像。
在一些实施例中，时间线中的第二回放位置以预定时间间隔领先于第一回放位置。
在一些实施例中，时间线中的第二回放位置以在接收到与用于暂停第一视频的请求对应的输入之后确定的时间间隔领先于第一回放位置。
在一些实施例中，视频的多个所选择的静止图像包括对于多个所选择的静止图像中的任何其他静止图像在视频中不连续的静止图像。
在一些实施例中，多个所选择的静止图像包括代表性帧。
在一些实施例中，设备1300与音频单元1312通信，并且处理单元1304进一步被配置为向音频单元1312提供(例如，利用声音信息提供单元1314)用于提供与在显示单元1302上呈现的第一视频对应的第一声音输出的声音信息。
在一些实施例中，处理单元1304被配置为向音频单元1312提供(例如，利用声音信息提供单元1314)用于提供声音输出的声音信息，该声音输出是基于在其处暂停第一视频的第一回放位置而选择的。
在一些实施例中，处理单元1304被配置为：在第一视频的时间线中的第一回放位置处暂停第一视频的呈现之后并且当第一视频的呈现被暂停时，向显示单元1302提供(例如，使用数据提供单元1306)用于呈现指示向幻灯片模式转换的动画的数据。
在一些实施例中，指示向幻灯片模式转换的动画包括倒计时时钟。
在一些实施例中，处理单元1304被配置为重复向显示单元1302提供用于呈现来自第一视频的多个所选择的静止图像的数据。
在一些实施例中，处理单元1304被配置为向显示单元1302提供(例如，使用数据提供单元1306)呈现具有平移效果和/或缩放效果的多个所选择的静止图像的相应静止图像的数据。
可选地，通过运行信息处理装置(诸如通用处理器(例如，如上文参考图1a和图3所描述的)或者专用芯片)中的一个或多个功能模块实施上文所描述的信息处理方法中的操作。
可选地，通过图1a至图1b或者图10或者图11中所描绘的组件实施上文参考图6a至图6c、图7a至图7d、图8a至图8c以及图10a至图10b所描述的操作。例如，可选地，通过事件分类器170、事件识别器180和事件处置器190实施接收操作704、接收操作804和接收操作910。事件分类器170中的事件监测器171检测触敏显示器112上的接触，并且事件分派器模块174向应用136-1递送事件信息。应用136-1的相应事件识别器180将事件信息与相应事件定义186相比较，并且确定是否触敏表面上的第一位置处的第一接触(或者是否设备的旋转)对应于预定事件或者子事件，诸如用户界面上的对象的选择或者设备从一个定向至另一个定向的旋转。当检测到相应的预定事件或者子事件时，事件识别器180激活与事件或者子事件的检测相关联的事件处置器190。事件处置器190可选地使用或调用数据更新器176或对象更新器177来更新应用内部状态192。在一些实施例中，事件处置器190访问相应gui更新器178来更新由应用显示的内容。类似地，对于本领域的普通技术人员而言将清楚的是，可以如何基于图1a至图1b中所描绘的组件实施其他过程。
出于解释的目的，已经参考特定实现方案描述前面的描述。然而，上文的说明性论述不旨在是详尽的或者将本发明限于所公开的精确形式。鉴于上文教导，许多修改和变型是可能的。选择并且描述实施例以便最好地解释本发明的原理和其实际应用，从而使得本领域技术人员能够最好地使用本发明和具有如适于预期的特定用途的各种修改的各种所描述的实施例。
- 还没有人留言评论。精彩留言会获得点赞！