基于头部位置和时间的具有非头部跟踪立体声的高保真度立体声响复制音频的制作方法

本申请是2017年1月30日提交的美国申请no.15/419,312的继续申请，并要求其优先权，其公开内容通过引用整体并入本文。

本说明书涉及在虚拟现实(vr)和类似环境中的声场的双声道渲染。

背景技术：

高保真度立体声响复制(ambisonics)是全球环绕声技术：除了水平面之外，它还覆盖收听者上方和下方的声源。不同于其他多声道环绕声格式，其传输通道不携带扬声器信号。相反，它们包含称为b格式的声场的与扬声器无关的表示，然后将其解码为收听者的扬声器设置。这个额外的步骤允许制作者从源的方向而不是扬声器位置的方面进行考虑，并且为收听者提供关于用于回放的扬声器的布局和数量的相当大的灵活性。

360度视频和虚拟现实(vr)应用为用户提供沉浸式视觉体验。在360度视频和vr应用中，类似的沉浸式音频体验通常需要比用户可用的计算资源更多的计算资源。b格式的高保真度立体声响复制声音向用户提供几乎没有额外的计算成本的三维音频。可以对高保真度立体声响复制声音进行头部跟踪，使得无论用户观看哪里，声音看起来源自相同位置。

技术实现要素：

在一个总体方面，一种方法可以包括，通过被配置成在人类用户的耳朵中产生声场的媒体传送计算机，利用针对所述人类用户的耳朵的头部相关传递函数(hrtf)对通过高保真度立体声响复制声道集合输出到该耳朵的声场的高保真度立体声响复制部分执行卷积运算，以通过该高保真度立体声响复制声道集合，在人类收听者耳朵中产生声场的渲染的高保真度立体声响复制部分。方法还可以包括接收(i)立体声音轨集合，该立体声音轨集合中的每一个都包括音频数据，该音频数据当由媒体传送计算机的处理电路处理时通过相应立体声通道对，将声场的一部分输出到人类用户的耳朵，以及(ii)限定事件集合的电子数据，该事件集合中的每一个都具有识别该立体声音轨集合中的相应立体声音轨的标识符。方法可以进一步包括接收指示该事件集合中的事件已经发生的消息。方法还可以包括，响应于接收到消息，执行音轨播放操作，以使得由事件的标识符识别的立体声音轨通过与所识别的立体声声源相对应的该立体声通道对，输出声场的立体声部分，声场的渲染的高保真度立体声响复制部分和声场的立体声部分通过高保真度立体声响复制声道集合和立体声通道对在人类用户的耳朵中组合。

实施方式可以单独地或彼此任意组合地包括以下特征中的一个或多个。例如，接收限定事件集合的电子数据可以包括将一组元数据文件存储在声音渲染计算机的存储器设备中，元数据文件中的每一个包括限定该事件集合的相应事件的电子数据。媒体传送计算机可以进一步被配置成在人类用户的眼睛上产生虚拟环境的图像，其中方法进一步包括检测虚拟环境内的事件，并且生成识别事件的数据，作为指示事件已经发生的消息。事件可以包括指示人类用户的头部具有等于指定角度的方向的指示符，并且检测虚拟环境内的事件可以包括测量人类用户的头部的方向。事件可以包括时间戳，并且检测虚拟环境内的事件可以包括测量虚拟环境内的时间。媒体传送计算机可以进一步被配置成在其他人类用户集合的眼睛上产生虚拟环境的图像，并且执行音轨播放操作可以包括通过与所识别的立体声声源相对应的该立体声通道对，仅向人类用户的耳朵输出声场的立体声部分。可以在事件发生后停止执行音轨播放操作。

在附图和以下描述中阐述一个或多个实施方式的细节。根据说明书和附图以及权利要求，其他特征将是显而易见的。

附图说明

图1是图示用于实现本文所描述的改进的技术的示例电子环境的示意图。

图2是图示用于实现本文所描述的改进的技术的另一个示例电子环境的示意图。

图3a和图3b是图示根据本文所描述的改进的技术的示例事件检测的示意图。

图4是图示在图1中示出的电子环境内执行改进的技术的示例方法的流程图。

图5图示可以用这里描述的电路来使用的计算机设备和移动计算机设备的示例。

具体实施方式

虽然传统音频系统中的高保真度立体声响复制(ambisonics)为使用很少的计算资源的vr应用和360度视频的用户提供沉浸式音频体验，但是它不为用户提供交互式体验。相反，改进的技术除了提供根据媒体传送系统中事件的发生而选择的立体声音轨中的高保真度立体声响复制音频之外还涉及提供交互式音频。例如，vr系统的用户观察包含许多虚拟物体的虚拟环境。用户可以体验来自任意数量的虚拟扬声器的通过n个高保真度立体声响复制通道播放的双声道渲染音频。另外，用户还可以通过将他/她的头部定位在某个角度(例如，查看特定的虚拟物体)来激活另一个音频源。作为具体示例，当用户观看人的图片时，音轨可以通过立体声通道对n+1和n+2上播放。因为它们是立体声通道，所以不需要利用hrtf执行卷积。以这种方式，可以以小的计算开销为虚拟环境中的所有虚拟物体提供音频。

图1是图示其中可以实现上述改进技术的示例电子环境100的示意图。如图1所示，示例电子环境100包括媒体传送计算机120、网络190和用户设备114。

媒体传送计算机120被配置成在沉浸式电子环境中经由用户设备114向用户112提供音频、视频和其他媒体。媒体传送计算机120包括网络接口122、一个或多个处理单元124和存储器126。网络接口122包括，例如，以太网适配器、令牌环适配器等，用于将从网络170接收的电子和/或光信号转换成电子形式以供点云压缩计算机120使用。一组处理单元124包括一个或多个处理芯片和/或组件。存储器126包括易失性存储器(例如，ram)和诸如一个或多个rom、磁盘驱动器、固态驱动器等的非易失性存储器。该组处理单元124和存储器126一起形成控制电路，该控制电路被配置并布置成执行如本文所述的各种方法和功能。

在一些实施例中，媒体传送计算机120的一个或多个部件可以是，或者可以包括被配置成处理存储在存储器126中的指令的处理器(例如，处理单元124)。如图1所示的这种指令的示例包括高保真度立体声响复制声音管理器130、解码管理器136、卷积管理器138、立体声音管理器150、音轨选择管理器170和事件检测管理器180。此外，如图1所示，存储器126被配置成存储各种数据，这些数据是相对于使用这种数据的各个管理器描述的。

高保真度立体声响复制声音管理器130被配置成从各种源获取声音数据132并从声音数据132产生高保真度立体声响复制声音。例如，高保真度立体声响复制声音管理器130可以从光学驱动器或通过网络接口122获取声音数据132。一旦声音获取管理器130获取声音数据132，声音获取管理器130还被配置成将声音数据132存储在存储器126中。在一些实施方式中，高保真度立体声响复制声音管理器130通过网络接口122流式传输声音数据132。

在一些实施方式中，以b格式或具有四个分量的一阶高保真度立体声响复制或球谐函数来对声音数据132进行编码。在其他实施方式中，以高阶高保真度立体声响复制，例如，以l阶对声音数据132进行编码。在这种情况下，将存在(l+1)²个球谐函数。

解码管理器136被配置成对由声音获取管理器130获取的声音数据132进行解码，以产生用于每个扬声器处的每个高保真度立体声响复制通道的权重。每个扬声器处的每个权重表示由该扬声器发射的与该高保真度立体声响复制通道相应的球谐函数的量。可以从声音数据132以及扬声器位置数据来确定权重。

卷积管理器138被配置成利用hrtf数据134对权重执行卷积，以在收听者的左耳和右耳两者中产生声场的渲染的高保真度立体声响复制部分。在图1中，声场的渲染的高保真度立体声响复制部分通过n个扬声器140(1)、...、140(n)输出，每个扬声器代表一个高保真度立体声响复制通道。

立体声音管理器150被配置成获取立体声音轨152和事件数据160。例如，立体声音管理器150可以从光学驱动器或通过网络接口122获取立体声音轨152和事件数据160。一旦立体声音管理器150获取立体声音轨152和事件数据160，立体声音管理器150还被配置成将立体声音轨152和事件数据160存储在存储器126中。立体声音管理器150还被配置成以由音轨选择管理器170选择的事件数据160为基础基于对音轨152(1)...152(m)中的一个或多个的选择从音轨152(1)、...152(m)中的任意一个产生立体声音。

立体声音轨152的每一个都包括音频数据，该音频数据当由处理电路124处理时通过相应立体声通道对将声场的立体声部分输出到人类用户112的耳朵。音频数据可以描述语音文本、音乐等等。

与需要用适当的hrtf的卷积以用于人类用户112的耳朵中的声场的双声道渲染的声场的高保真度立体声响复制部分相反，声场的立体声部分不需要这种卷积，这种卷积是用于双声道渲染的附加处理。更确切地说，假设播放立体声音轨的扬声器是在人类用户112的每个耳朵处，例如耳机扬声器。这样就消除了显著的计算负担，并且允许以非常小的附加的计算成本渲染声场的立体声部分。

立体声通道数据172包括左通道174(1)、...、174(m)和右通道176(1)、...、176(m)，它们分别对应于从立体声音轨152生成的声场的立体声部分在人类用户112的左耳和右耳中通过其得到渲染的通道。这些通道是除了高保真度立体声响复制通道(例如，通道140(1)、...、140(n))之外。

事件数据160包括描述各种事件的参数的值，该事件的发生可以使音轨选择管理器170选择音轨，例如，要通过立体声通道对(例如174(1)和176(1))播放的音轨152(1)。例如，当人类用户112的头部与其对称轴线成+45度时，可以发生事件。然后，事件数据160可以在一个示例中采取作为表162中的条目例如“头部方向+45音轨1(headorientation+45track1)”的形式。表162中的这样的条目可以从与该音轨相关联的xml元数据文件生成。

当人类用户112的头部朝向-45度时，可以发生第二事件；在这种情况下，事件数据160可以采取表162中的条目“头部方向-45音轨2(headorientation-45track2)”的形式。再次，这样的条目可以从与音轨152(2)相关联的xml元数据文件生成。

在一些实施方式中，针对特定音轨的事件数据160可以取决于多个条件。例如，与音轨152(1)相关联的事件数据160还可以取决于等于指定的时间戳的时钟上的时间。在这种情况下，表162中的另一个条目可以采取“时间戳21346音轨1(timestamp21346track1)”的形式。在这种情况下，当用户112的头部朝向+45度并且某个时钟(例如，媒体传送计算机内部的时钟)上的时间具有等于21346个时间单位的时间时，音轨152(1)将开始播放。

音轨选择管理器170被配置成针对描述由事件检测管理器180检测到的事件的条目在事件表162中执行查找操作。例如，假设事件检测管理器180检测到用户112的头部朝向-45度。然后，音轨选择管理器170将在表162中执行查找操作以找到具有值“头部方向-45(headorientation-45)”的条目。然后，音轨选择管理器将记录该条目中列出的音轨的标识符，即“音轨2(track2)”，并且使立体声音管理器150通过通道174(1)和176(1)播放音轨152(1)。

在一些实施方式中，音轨选择管理器170还被配置成针对具有相同音轨标识符的附加条目在表162中执行进一步的查找操作。在上述示例中，可能没有这样的条目。然而，假设事件检测管理器180检测到用户112的头部朝向+45度。然后，音轨选择管理器170将在表162中执行查找操作以找到具有值“头部方向+45(headorientation+45)”的条目。音轨选择管理器170将记录该条目中列出的音轨的标识符，即“音轨1(track1)”。然后，音轨选择管理器170可以对具有音轨标识符“音轨1(track1)”的条目执行附加的查找。在这种情况下，音轨选择管理器将定位条目“时间戳21346音轨1(timestamp21346track1)”并推迟播放音轨152(1)直到时钟时间等于时间戳中的指定时间。

事件检测管理器180被配置成检测事件，诸如表162中描述的那些事件。因此，事件检测管理器180可以与例如媒体传送设备的视频部件交互。这种交互在图2中详述。

在一些实施方式中，存储器126可以是诸如随机存取存储器、磁盘驱动器存储器、闪存等的任意类型的存储器。在一些实施方式中，存储器126可以实现为与媒体传送计算机120的部件相关联的多于一个的存储器部件(例如，多于一个ram部件或磁盘驱动器存储器)。在一些实施方式中，存储器126可以是数据库存储器。在一些实施方式中，存储器126可以是，或者可以包括非本地存储器。例如，存储器126可以是，或者可以包括由多个设备(未示出)共享的存储器。在一些实施方式中，存储器126可以与网络内的服务器设备(未图示)相关联，并且可以被配置成为媒体传送计算机120的部件服务。

媒体传送计算机120的部件(例如，模块、处理单元124)可以被配置成基于可以包括一种或多种类型的硬件、软件、固件、操作系统、运行时库和/或等等的一个或多个平台(例如一个或多个类似的或不同的平台)来操作。在一些实施方式中，媒体传送计算机120的部件可以被配置成在设备集群(例如，服务器群)内操作。在这样的实施方式中，媒体传送计算机120的部件的功能性和处理可以分配给设备集群中的若干设备。

媒体传送计算机120的部件可以是，或者可以包括被配置成处理属性的任意类型的硬件和/或软件。在一些实施方式中，图1中的媒体传送计算机120的部件中示出的部件的一个或多个部分可以是，或者可以包括基于硬件的模块(例如，数字信号处理器(dsp)、现场可编程门阵列(fpga)、存储器)、固件模块和/或基于软件的模块(例如，计算机代码模块、可以在计算机上执行的一组计算机可读指令)。例如，在一些实施方式中，媒体传送计算机120的部件的一个或多个部分可以是，或者可以包括被配置成由至少一个处理器(未示出)执行的软件模块。在一些实施方式中，部件的功能性可以包括在与图1中示出的那些不同的模块和/或不同的部件中。

尽管未示出，但是在一些实施方式中，媒体传送计算机120的部件(或其部分)可以被配置成在例如数据中心(例如，云计算环境)、计算机系统、一个或多个服务器/主机设备等等之内操作。在一些实施方式中，媒体传送计算机120的部件(或其部分)可以被配置成在网络内操作。因此，媒体传送计算机120的部件(或其部分)可以被配置成在可以包括一个或多个设备和/或一个或多个服务器设备的各种类型的网络环境内运行。例如，网络190可以是，或者可以包括局域网(lan)、广域网(wan)等等。网络可以是，或者可以包括无线网络和/或使用例如网关设备、网桥、交换机等等来实现的无线网络。网络可以包括一个或多个区段和/或可以具有基于诸如因特网协议(ip)和/或私有协议的各种协议的部分。网络190可以包括因特网的至少一部分。

在一些实施方式中，媒体传送计算机120的一个或多个部件可以是，或可以包括配置成对存储在存储器中的指令进行处理的处理器。例如，高保真度立体声响复制声音管理器130(和/或其一部分)、解码管理器136(和/或其一部分)、卷积管理器138(和/或其一部分)、立体声音管理器150(和/或其一部分)、音轨选择管理器170(和/或其一部分)以及事件检测管理器180(和/或其一部分)可以是配置成执行与实现一个或多个功能相关的指令的处理器和存储器的组合。

图2图示在向用户112以及其他用户(例如，用户212)提供虚拟现实应用的特定情况中使用的示例媒体传送计算机120。在这种情况下，事件检测管理器180包括虚拟环境(ve)管理器220，其被配置成通过网络190与用户设备114和214交互以获取限定事件的各种参数值。在执行该交互时，ve管理器220获取诸如头部位置数据222和时间戳数据224的数据。

如图2中所示，媒体传送计算机120的存储器126还存储描述由用户112和212所见的虚拟环境的ve数据230。例如，虚拟环境通常包括许多虚拟物体232(1)、...、232(k)。沿着这些思路，假设虚拟环境表示虚拟艺术博物馆。然后，物体232(1)、...、232(k)可以是墙壁上的各种绘画。物体232(1)、...、232(k)中的每一个位于相应的视口(即，视角)234(1)、...、234(k)。

图3a图示根据改进的技术的示例操作。假设用户320正在虚拟现实中探索虚拟博物馆300。在相对于用户320的视线成-45度的视口310处存在梵高(vangogh)310(1)，并且相对于用户320的视线成+45度处存在伦勃朗(rembrandt)。事件检测管理器180记录用户320的头部的位置。当用户320注视梵高时，用户320的头部的位置处在-45度。然后，事件检测管理器180向音轨选择管理器170发送消息“头部方向-45(headorientation-45)”。然后，音轨选择管理器向用户320播放音轨152(1)。

图3b图示根据改进的技术的另一个示例操作。假设用户330正在虚拟现实中探索虚拟博物馆300。事件检测管理器180还记录用户330的头部的位置。当用户330注视伦勃朗时，用户330的头部的位置处在+45度。然后，事件检测管理器180向音轨选择管理器170发送消息“头部方向+45(headorientation+45)”。然后，音轨选择管理器向用户330播放音轨152(2)。

在上面图示的示例中，媒体传送计算机120仅向触发音轨选择的用户播放立体声音轨。因此，如果用户320和330在一起，那么用户330将不会听到音轨152(1)并且用户320将不会听到音轨152(2)。然而，在其他布置中，不一定是这种情况，并且在那些情况下，在触发时所有用户可以听到任意音轨。

图4是描绘在人类用户的耳朵中产生声场的示例方法400的流程图。方法400可以由结合图1描述的软件构造来执行，该软件构造位于媒体传送计算机120的存储器126中并且由一组处理单元124运行。

在402，媒体传送计算机120利用针对人类用户的耳朵的头部相关传递函数(hrtf)对通过高保真度立体声响复制声道集合输出到该耳朵的声场的高保真度立体声响复制部分执行卷积运算，以通过该高保真度立体声响复制声道集合在人类收听者耳朵中产生声场的渲染的高保真度立体声响复制部分。

在404，媒体传送计算机120接收立体声音轨集合和限定事件集合的电子数据。立体声音轨集合中的每一个都包括音频数据，该音频数据当由媒体传送计算机120的处理电路处理时通过相应立体声通道对将声场的一部分输出到人类用户的耳朵。事件集合中的每一个都具有识别立体声音轨集合的相应立体声音轨的标识符。

在406，媒体传送计算机120接收指示事件集合中的事件已经发生的消息。

在408，媒体传送计算机120响应于接收到消息而执行音轨播放操作，以使得由事件的标识符识别的立体声音轨通过与所识别的立体声声源相对应的该立体声通道对输出声场的立体声部分。声场的渲染的高保真度立体声响复制部分和声场的立体声部分通过高保真度立体声响复制声道集合和该立体声通道对在人类用户的耳朵中组合。

在一些实施例中，包括非暂时性存储介质的计算机程序产品存储指令并且包括代码，其在执行时使得服务器计算设备的处理电路执行包括根据本文描述的任意实施例或方面的方法的操作。。

在一些实施例中，一种电子装置包括：存储器；以及处理器件，其可操作地与存储器耦合以执行包括根据本文描述的任意实施例或方面的方法的操作。

图5图示通用计算机设备500和通用移动计算机设备550的示例，其可以与本文描述的技术一起使用。

如图5所示，计算设备500旨在表示各种形式的数字计算机，例如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀锋服务器、大型机及其他适当的计算机。计算设备550旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话及其他类似的计算设备。这里示出的部件、它们的连接和关系以及它们的功能意味着仅仅是示例性的，并不意味着限制本文档中描述和/或要求保护的发明的实现。

计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口508以及连接到低速总线514和存储设备506的低速接口512。部件502、504、506、508、510以及512中的每一个都使用各种总线互连，并且可以安装在公共主板上或适当地以其他方式安装。处理器502可以处理用于在计算设备500内执行的指令，包括存储在存储器504中或存储设备506上的指令，以在诸如与高速接口508耦合的显示器516的外部输入/输出设备上显示用于gui的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和存储器的类型。而且，可以连接多个计算设备500(例如，作为服务器库、一组刀锋服务器或多处理器系统)，每个设备提供必要操作的部分。

存储器504存储计算设备500内的信息。在一个实施方式中，存储器504是易失性存储器单元或多个易失性存储器单元。在另一个实施方式中，存储器504是非易失性存储器单元或多个非易失性存储器单元。存储器504还可以是诸如磁盘或光盘的另一种形式的计算机可读介质。

存储设备506能够为计算设备500提供大容量存储。在一个实施方式中，存储设备506可以是或可以包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储设备、或设备阵列，包括存储区域网络中的设备或其他配置。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，该指令在执行时，执行诸如上述的方法的一个或多个方法。信息载体是诸如存储器504、存储设备506或处理器502上的存储器的计算机或机器可读介质。

高速控制器508管理用于计算设备500的带宽密集型操作，而低速控制器512管理较低的带宽密集型操作。这种功能的分配仅是示例性的。在一个实施方式中，高速控制器508耦合到存储器504、显示器516(例如，通过图形处理器或加速器)，并耦合到高速扩展端口510，该高速扩展端口510可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器512耦合到存储设备506和低速扩展端口514。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪、或诸如交换机或路由器的网络设备。

计算设备500可以以多种不同的形式实现，如附图中所示。例如，它可以实现为标准服务器520，或者在一组这样的服务器中实现多次。它还可以实现为机架服务器系统524的一部分。此外，它可以在诸如膝上型计算机522的个人计算机中实现。或者，来自计算设备500的部件可以与诸如设备550的移动设备中的其他部件(未示出)组合。这些设备中的每一个都可以包含计算设备500、550中的一个或多个，并且整个系统可以由彼此通信的多个计算设备500、550组成。

计算设备550包括处理器552、存储器564、诸如显示器554的输入/输出设备、通信接口566和收发器568以及其他部件。设备550还可以设有诸如微驱动器或其他设备的存储设备，以提供额外的存储。部件550、552、564、554、566和568中的每一个都使用各种总线互连，并且若干部件可以安装在公共主板上或适当地以其他方式安装。

处理器552可以执行计算设备450内的指令，包括存储在存储器564中的指令。处理器可以实现为芯片的芯片组，其包括独立的且多个模拟和数字处理器。例如，处理器可以提供用于设备550的其他部件的协调，诸如用户界面、设备550运行的应用以及设备550的无线通信的控制。

处理器552可以通过控制接口558和耦合到显示器554的显示器接口556与用户进行通信。显示器554可以是，例如，tftlcd(薄膜晶体管液晶显示器)或oled(有机发光二极管)显示器，或其他适当的显示技术。显示器接口556可以包括用于驱动显示器554以向用户呈现图形和其他信息的适当电路。控制接口558可以从用户接收命令并将它们转换以提交给处理器552。另外，可以提供与处理器552通信的外部接口562，以便能够使设备550与其他设备进行近区域通信。外部接口562可以，例如，在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且多个接口也可以被使用。

存储器564存储计算设备550内的信息。存储器564可以实现为一种或多种计算机可读介质、一个或多个易失性存储器单元、或、一个或多个非易失性存储器单元中的一个或多个。扩展存储器574也可以被提供并通过扩展接口572连接到设备550，扩展接口572可以包括，例如，simm(单列直插式存储器模块)卡接口。这样的扩展存储器574可以为设备550提供额外的存储空间，或者还可以为设备550存储应用或其他信息。具体地，扩展存储器574可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器574可以作为设备550的安全模块而被提供，并且可以用允许安全使用设备550的指令来编程。此外，可以经由simm卡提供安全应用以及附加信息，例如以不可被破解的方式将识别信息放在simm卡上。

存储器可以包括，例如，闪存和/或nvram存储器，如下所述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，该指令在执行时，执行诸如上述方法的一种或多种方法。信息载体是计算机或机器可读介质，诸如存储器564、扩展存储器574、或处理器552上的存储器，其可以，例如，通过收发器568或外部接口562被接收。

设备550可以通过通信接口566无线地进行通信，该通信接口566可以在必要时包括数字信号处理电路。通信接口566可以为诸如gsm语音呼叫、sms、ems、或mms消息、cdma、tdma、pdc、wcdma、cdma2000、或gprs以及其他的各种模式或协议下的通信而提供。这种通信可以，例如，通过射频收发器568发生。此外，短距离通信可以，例如，通过使用蓝牙、wifi或其他这样的收发器(未示出)发生。另外，gps(全球定位系统)接收器模块570可以向设备550提供附加的导航和位置相关的无线数据，该无线数据可以由在设备550上运行的应用适当地使用。

设备550还可以使用音频编解码器560可听地通信，该音频编解码器560可以从用户接收语音信息并将其转换成可用的数字信息。音频编解码器560同样可以诸如通过扬声器，例如在设备550的电话听筒中，为用户生成可听的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备550上运行的应用生成的声音。

计算设备550可以以多种不同的形式实现，如附图中所示。例如，它可以实现为蜂窝电话580。它还可以实现为智能电话582、个人数字助理、或其他类似移动设备的一部分。

这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的asic(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，该至少一个可编程处理器被耦合以从存储系统、至少一个输入设备以及至少一个输出设备接收数据和指令，并向存储系统、至少一个输入设备以及至少一个输出设备发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级程序式和/或面向对象的编程语言，和/或以汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”“计算机可读介质”指的是用于向可编程处理器提供机器指令和/或数据的任意计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(pld))，包括将机器指令作为机器可读信号而接收的机器可读介质。术语“机器可读信号”指的是用于向可编程处理器提供机器指令和/或数据的任意信号。

为了提供与用户的交互，这里描述的系统和技术可以在具有用于向用户显示信息的显示设备(例如，crt(阴极射线管)或lcd(液晶显示器)监视器)和键盘和指示设备(例如，鼠标或轨迹球)的计算机上实现，用户可以通过键盘和指示设备向计算机提供输入。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任意形式的感官反馈(例如，视觉反馈、听觉反馈、或触觉反馈)；并且可以以任意形式接收来自用户的输入，包括声音、语音、或触觉输入。

这里描述的系统和技术可以在包括后端部件(例如，作为数据服务器的)或者包括中间件部件(例如，应用服务器)或者包括前端部件(例如，具有图形用户界面或web浏览器的客户端计算机，用户可以通过该图形用户界面或浏览器与这里描述的系统和技术的实现进行交互)或者这种后端、中间件、或前端部件的组合的计算系统中实现。系统的部件可以通过数字数据通信的任意形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)、广域网(“wan”)和因特网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

已经描述了许多实施例。然而，应该理解，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。

还应当理解，当元件被称为接通到、连接到、电气连接到、耦合到、或电气耦合到另一个元件时，它可以是直接地接通到、连接到、或耦合到另一元件，或者可以存在一个或多个中间元件。相反，当元件被称为直接地接通到、直接地连接到、或直接地耦合到另一个元件时，不存在中间元件。尽管在整个详细的说明中可以不使用术语直接地接通到、直接地连接到、或直接地耦合到，但是被示出为直接地接通到、直接地连接到、或直接地耦合到的元件可以被如此称呼。可以修改本申请的权利要求以叙述说明书中描述的或附图中示出的示例性关系。

虽然已经如本文所述的对所描述的实施方式的某些特征进行了说明，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应该理解，所附权利要求旨在覆盖落入所述实施方式的范围内的所有这些修改和变化。应当理解，它们仅作为示例而非限制来呈现，并且可以进行形式和细节上的各种改变。除了互斥组合之外，本文描述的装置和/或方法的任意部分可以以任意组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、部件和/或特征的各种组合和/或子组合。

另外，附图中描绘的逻辑流程不需要所示的特定顺序或顺序次序来实现期望的结果。另外，可以向所描述的流程提供其他步骤，或从所描述的流程中消除步骤，并且可以向所描述的系统添加其他部件，或从所描述的系统中移除其他部件。因此，其他实施例在以下权利要求的范围内。