用于基于法线的纹理混合的来自深度图的平滑法线的制作方法

相关申请的交叉引用

本申请要求在2017年11月24日提交的标题为“smoothednormalsfromdepthmapsfornormal-basedtextureblending”的美国专利申请no.62/590,505的优先权，其公开内容通过引用全文并入本文中。

本说明书涉及到计算机生成的、三维对象上的纹理映射。

背景技术：

纹理映射涉及将图像应用于三维空间中的给定表面。例如，相机可以捕获包括诸如颜色和阴影的纹理属性的人的面部的图像。然后，纹理映射系统可以将纹理属性映射到表示人的面部的形状的三维几何图形上。在诸如虚拟现实系统中的游戏和电影的某些应用中，可能存在遮挡表示人的面部的对象的对象。在这种情况下，纹理映射涉及将来自其它对象的阴影或遮挡图生成到表示人的面部的对象上。为了更准确地映射纹理，纹理映射系统可以使用来自以相对于人成设定角度布置的多个相机的图像。然后，纹理映射是由每个相机捕获的图像的平均。在纹理映射中，可以基于被遮挡的阴影区域中的点附近的点的数量，使用如从每个相机看到的对象上的点处的可见性来均一地对图像的平均进行加权。这种可见性映射向基于感兴趣对象附近的遮挡对象而生成的阴影区域提供软过渡和提供来自基于感兴趣对象附近的遮挡对象而生成的阴影区域的软过渡。

技术实现要素：

在一个总体方面中，方法可包括通过被配置为对表示图像环境中的几何对象的数据执行纹理映射操作的计算机的处理电路系统，接收(i)表示图像环境中的几何对象的几何对象数据和(ii)表示由多个相机捕获的纹理对象的相应图像的图像数据，所述多个相机中的每个具有相对于纹理对象的定向。方法还可包括针对多个相机中的每个，通过处理电路系统，获得在几何对象的表面上的点处的与该相机对应的平滑法线，平滑法线通过几何对象被投影到其上的深度图中的像素的加权和进行求值。方法可进一步包括针对多个相机中的每个，通过处理电路系统生成与该相机对应的相应权重，权重基于该相机的定向和与该相机对应的平滑法线的点积。方法可进一步包括通过处理电路系统生成由多个相机捕获的纹理对象的图像的加权平均，以在图像环境中产生纹理映射对象，由多个相机中的每个捕获的纹理对象的图像由与该相机对应的权重进行加权。

在附图和以下描述中阐述了一个或者多个实施方式的细节。其它特征将从描述、附图和从权利要求变得显而易见。

附图说明

图1是图示了在其中可以实施本文中所描述的改进技术的示例电子环境的图解。

图2是图示实施如图1中所示出的改进技术的示例方法的流程图。

图3是图示了根据图1中所示出的改进技术的要向其上映射纹理的示例几何对象以及随附的示例深度图的图解。

图4a和图4b是图示了根据图1中所示出的改进技术生成平滑法线的示例过程的图解。

图5是图示了根据图1中所示出的改进技术生成加权平均纹理图像的示例过程的图解。

图6图示了可以与此处所描述的电路一起使用的计算机装置和移动计算机装置的示例。

具体实施方式

尽管在存在遮挡对象的情况下在遮挡区域中使用上述均一权重的纹理映射在阴影区域中提供了软过渡，但是所得图像是模糊的。模糊的一个原因是，上述均一加权与纹理被映射到其上的几何图形无关。例如，在一些诸如虚拟现实系统中的游戏和电影的应用中，准确地执行纹理映射的能力可能取决于观察者的视点以及捕获图像的一个或多个相机的视点。然后，这种应用可以使用取决于视图的加权，该加权不仅取决于从每个相机的可见性，还取决于视点定向与每个相机定向之间的角度的余弦的幂。然而，事实证明，尽管取决于视图的加权减少了模糊，但对于不平行于相机定向的视点，该加权会产生不准确的伪像。

为了解决在取决于视图的加权中引入伪像的问题，一些纹理映射应用使用取决于法线的加权。在取决于法线的加权中，由相机捕获的每个图像根据可见性和相机定向与在表面上的点处的到感兴趣对象的表面的法线之间的余弦的幂进行加权。尽管取决于法线的加权直接考虑所讨论的对象的形状，但是由于计算表面法线的固有噪声，当从扫描数据中的噪声局部估计得出表面法线时，该加权可将波纹引入到纹理上。

使用取决于法线的加权的一些纹理映射应用在平均之前对表面法线执行平滑操作。在纹理映射应用中平滑表面法线的传统方法涉及将整个体素栅格中的局部区域上的所有对象表面的法线平均。尽管这种方法可以导致准确的平滑和纹理映射，但是该方法也消耗大量的计算资源并且难以加速。

根据本文中所描述的实施方式，在纹理映射应用中平滑表面法线的改进技术涉及从用于捕获图像以用于纹理映射的每个相机的视角生成平滑法线。沿着这些线，用于捕获图像以用于纹理映射的相机位于相对于纹理映射计算机将纹理图像映射到其上的几何对象的定向。纹理映射计算机放置以几何对象上的一点为中心的滤波器窗口。然后，纹理映射计算机在滤波器窗口中的点上生成平均法线作为该点处的平滑法线。然后，由此针对每个相机计算出的平均法线用于作为该点处的图像值的加权平均的权重。

进一步地，纹理映射计算机仅在深度图而不是整个体素栅格上执行这些平均法线的计算。纹理映射计算机通过将几何对象投影到图像(或纹理)域中来生成深度图(或遮挡图)。这个域是二维空间，而不是如体素栅格的三维空间。

有利地，以这种方式计算的平滑法线不会经历与不使用平滑法线的纹理映射的方法相关联的伪像、波纹或模糊，或不会经历使用平滑法线的传统方法中使用的昂贵计算。在许多情况下，对象相对于遮挡几何对象或被几何对象遮挡的其它对象的平均深度图指示在几何对象的边界附近的过渡或阴影区域内计算的法线向外指向并几乎垂直于相机的定向。(平均深度图上的点的法线等效于几何对象的表面上的点处的平均法线。)因此，对过渡区域中由平均过程引起的任何误差进行减权。此外，在深度图上对法线进行平均比在整个体素栅格上快得多。

图1是图示了在其中可以实施上述改进技术的示例电子环境100的图解。如所示出，在图1中，电子环境100包括网络110、纹理映射计算机120和图像环境服务器计算机190。

网络110被配置和布置为在纹理映射计算机120与媒体服务器计算机190之间提供网络连接。网络110可以实施通常用于通过互联网或其它网络进行通信的各种协议和拓扑中的任何一种。进一步地，网络110可以包括在这种通信中使用的各种部件(例如电缆、交换机/路由器、网关/网桥等)。

纹理映射计算机120被配置为对生成几何对象的平滑法线以进行纹理映射。纹理映射计算机120包括网络接口122、一个或多个处理单元124和存储器126。网络接口122包括例如以太网适配器、令牌环适配器等以用于将从网络接收到的电子和/或光信号转换成电子形式，以供用户装置计算机120使用。处理单元124的集合包括一个或多个处理芯片和/或装配。存储器126包括易失性存储器(例如ram)和非易失性存储器两者，诸如一个或多个rom、磁盘驱动器、固态驱动器等。处理单元124的集合和存储器126一起形成控制电路系统，该控制电路系统被配置和布置为实行如本文中所描述的各种方法和功能。

在一些实施例中，纹理映射计算机120的部件中的一个或多个可以是或可以包括被配置为处理存储在存储器126中的指令的处理器(例如处理单元124)。如图1中所描绘的这种指令的示例包括几何对象数据管理器130、图像数据管理器140、相机数据管理器150、法线平滑管理器160、权重生成管理器170和纹理映射图像管理器180。进一步地，如图1中所图示，存储器126被配置为存储各种数据，关于使用这种数据的相应管理器来描述这些数据。

几何对象数据管理器130被配置为经由网络接口122通过网络110接收几何对象数据132。在一个示例中，几何对象数据132包括用于以三维方式定义几何对象(例如人类头部)的三角形或多边形。在另一示例中，几何对象数据包括例如用于定义这种几何对象的点云的点。在几何对象数据包括三角形或多边形的情况下，对象的表面的法线在每个三角形和多边形上是恒定的。在一些实施方式中，三角形或多边形的边缘处的法线是共用该边缘的三角形或多边形的法线的平均。

图像数据管理器140被配置为经由网络接口122通过网络110接收图像数据142。在一些实施方式中，图像数据142表示来自不同的视角的对象的表面的图像，该对象例如是用户的面部。这种图像数据142可以包括定义来自每个视角的图片的像素。图像的每个像素表示纹理图像空间中的点。

在一些实施方式中，几何对象数据管理器130和图像数据管理器140被配置为从图像环境服务器计算机190接收几何对象数据132和图像数据142。例如，图像环境服务器计算机190可以作为虚拟现实系统的一部分被包括，该虚拟现实系统可以扫描用户的形状并且还具有从各个视角拍摄用户的图像的相机。

相机数据管理器150被配置为获得相机定向数据152。在一些实施方式中，相机定向数据152包括相对于固定坐标系的每个相机以其获取图像数据142的角度。在一些实施方式中，相对于固定对象定义坐标系，该固定对象例如是墙壁。在一些实施方式中，相对于用户在特定时间定义坐标系。在一些实施方式中，相机定向数据152包括每个相机的方位角和极角。

法线平滑管理器160被配置为基于几何对象数据132获取几何对象的表面法线，并在几何对象数据132中定义法线的点处生成平滑法线。例如，如上所述，当几何对象数据132包括三角形或多边形时，可以基于包含点的三角形或多边形的定向来生成几何对象数据132中的点处的法线。法线平滑管理器160被配置为针对产生图像数据142的每个相机不同地平滑法线。具体地，法线平滑管理器160被配置为通过生成滤波器窗口和滤波器窗口内的点栅格来平滑相机的法线。然后，法线平滑管理器160被配置为在滤波器窗口中的点的法线上生成平均法线作为平滑法线数据162。滤波器窗口的示例大小在宽度和深度上为八个像素，其中，在任一方向上具有四个样本。其它滤波器窗口大小是可能的。关于图3、图4a和图4b论述了法线的平均的其它细节。

权重生成管理器170被配置为生成在作为点处的图像值的加权平均的计算中使用的权重数据172。权重生成管理器170被配置为计算点处的平滑法线162和相机的相机定向152的点积。在一些实施方式中，由权重数据172表示的权重与提高到预确定的幂的该点积成比例。在一些实施方式中，预确定的幂在1与10之间。在一些实施方式中，权重进一步与该点从相机的视角的可见性成比例。

纹理映射图像管理器180被配置为产生纹理映射图像数据182，该纹理映射图像数据182表示将图像数据142映射到由几何对象数据132表示的几何对象上的纹理映射操作的结果。在一些实施方式中，纹理映射图像管理器180被配置为使用权重数据172来生成图像数据142的加权平均。在一些实施方式中，纹理映射图像数据182还被配置为将纹理映射图像数据发送到图像环境服务器计算机190。

纹理映射计算机120的部件(例如模块、处理单元124)可以被配置为基于可以包括一种或多种类型的硬件、软件、固件、操作系统、运行时间库等的一个或多个平台(例如，一个或多个相似或不同的平台)进行操作。在一些实施方式中，纹理映射计算机120的部件可以被配置为在装置群集(例如服务器场)内操作。在这种实施方式中，纹理映射计算机120的部件的功能性和处理可以分布到装置群集中的几个装置。

纹理映射计算机120的部件可以是或可以包括被配置为处理属性的任何类型的硬件和/或软件。在一些实施方式中，图1中的纹理映射计算机120的部件中所示出的部件的一个或多个部分可以是或可以包括基于硬件的模块(例如数字信号处理器(dsp)、现场可编程门阵列(fpga)、存储器)、固件模块和/或基于软件的模块(例如计算机代码模块、可以在计算机上执行的计算机可读指令集合)。例如，在一些实施方式中，纹理映射计算机120的部件的一个或多个部分可以是或可以包括被配置以用于由至少一个处理器(未示出)执行的软件模块。在一些实施方式中，部件的功能性可以被包括在与图1中所示出的模块和/或部件不同的模块和/或不同的部件中。

虽然未示出，但是在一些实施方式中，用户装置120的部件(或其部分)可以被配置为在例如数据中心(例如云计算环境)、计算机系统、一个或多个服务器/主机装置等内操作。在一些实施方式中，纹理映射计算机120的部件(或其部分)可以被配置为在网络内操作。由此，纹理映射计算机120的部件(或其部分)可以被配置为在各种类型的网络环境内运行，这些网络环境可以包括一个或多个装置和/或一个或多个服务器装置。例如，网络可以是或可以包括局域网(lan)、广域网(wan)等。网络可以是或可以包括无线网络和/或使用例如网关装置、网桥、交换机等实施的无线网络。网络可以包括一个或多个网段且/或可以具有基于诸如互联网协议(ip)和/或私有协议的各种协议的部分。网络可以包括互联网的至少一部分。

在一些实施例中，纹理映射计算机120的部件中的一个或多个可以是或可以包括被配置为处理存储在存储器中的指令的处理器。例如，几何对象数据管理器130(和/或其部分)、图像数据管理器140(和/或其部分)、相机数据管理器150(和/或其部分)、法线平滑管理器160(和/或其部分)、权重生成管理器170(和/或其部分)和纹理映射图像管理器180(和/或其部分)可以是处理器和存储器的组合，该组合被配置为执行与用于实施一个或多个功能的过程有关的指令。

在一些实施方式中，存储器126可以是任何类型的存储器，诸如随机存取存储器、磁盘驱动器存储器、闪速存储器等。在一些实施方式中，存储器126可以被实施为与用户装置计算机120的部件相关联的多于一个存储器部件(例如，多于一个ram部件或磁盘驱动器存储器)。在一些实施方式中，存储器126可以是数据库存储器。在一些实施方式中，存储器126可以是或可以包括非本地存储器。例如，存储器126可以是或可以包括由多个装置(未示出)共享的存储器。在一些实施方式中，存储器126可以与网络内的服务器装置(未示出)相关联并且被配置为服务用户装置计算机120的部件。如图2中所图示，存储器126被配置为存储各种数据，该数据包括几何对象数据132、图像数据142、相机定向数据152、平滑法线数据162、权重数据172和纹理映射图像数据182。

图2是描绘使用平滑法线执行纹理映射的示例方法200的流程图。方法200可以通过结合图1所描述的软件构造来执行，这些软件构造存在于纹理映射计算机120的存储器126中并且由处理单元124的集合运行。

在202处，纹理映射计算机120接收(i)表示图像环境中的几何对象的几何对象数据和(ii)表示由多个相机捕获的纹理对象的相应图像的图像数据，所述多个相机中的每个具有相对于纹理对象的定向。

在204处，纹理映射计算机120针对多个相机中的每个获得在几何对象的表面上的点处的与该相机对应的平滑法线，平滑法线通过几何对象被投影到其上的深度图中的像素的加权和进行求值。

在206处，纹理映射计算机120针对多个相机中的每个生成与该相机对应的相应权重，权重基于该相机的定向和与该相机对应的平滑法线的点积。

在208处，纹理映射计算机120生成由多个相机捕获的纹理对象的图像的加权平均，以在图像环境中产生纹理映射对象，由多个相机中的每个捕获的纹理对象的图像由与该相机对应的权重进行加权。

图3是图示了包含如从上方看到的投影到二维深度图上的几何的示例场景的图解。在图解中，对象310在墙壁300的前面，并在其前面被光照。相机320(1)和320(2)各自以各种角度朝向对象310定向。目的是在对象310的表面上的点370处准确地计算例如颜色、亮度、凸块高度等的值(下文中称为“图像值”)。虽然在图3中仅示出了两个相机，但可以存在所使用的任何数量n个相机。大体上，点370处的图像值是相机图像ii上的加权平均：

其中，与第i个相机对应的权重wi由以下得出

其中，是在点370处与第i个相机相关联的平滑法线，是第i个相机的定向，vi是与第i个相机相关联的点370的可见性，并且α是预确定的常数。

图4a是图示根据实施方式的平均过程的第一部分的图解。根据该实施方式，将滤波器窗口330中的点分为两组：沿着s轴在点370的第一侧上的那些点(浅)和沿着s轴在点370的第二侧上的那些点(深)。滤波器窗口330中的切线由以下给出

其中，差是在滤波器窗口330中的点到点370的第一侧的和与在滤波器窗口330中的点到点370的第二侧的和之间的差。

图4b是图示根据实施方式的平均过程的第二部分的图解。根据该实施方式，将滤波器窗口330中的点分为两组：沿着t轴在点370的一侧上的那些点(浅)和沿着t轴在370的另一侧上的那些点(深)。滤波器窗口330中的切线由以下给出

其中，差是在滤波器窗口330中的点到点370的第一侧的和与在滤波器窗口330中的点到点370的第二侧的和之间的差。

然后，点370处的平滑法线等于上述平滑切线之间的叉积，即，

进一步地，图4a或图4b中的任一个图都可用于经由百分比渐进滤波来计算可见性vi。可见性定义为滤波器窗口330中的对于近距离地面向遮挡对象的其他对象可见的点的百分比。在图4a和4b中所图示的情况下，可见性是6/16。此外，该百分比渐进滤波可以使用与法线估计相同的纹理样本，从而通过组合这两个估计的成本来产生额外的加速。

返回参照图3，对象的深度图360图示了当考虑将从相机320(1)生成的图像时正在发生什么。在图3中，深度图360实际上是在过渡(阴影)区域380中具有连续行为的平滑深度图。平滑发生在基于相机320(1)的定向而定向的区域上，因此与相机320(2)相关联的相似深度图将不同。

对平均深度图360的法线表示整个场景中的点处的平均法线。因此，在过渡区域380中，如由深度图360指示的平均法线350从相机320(1)向外指向并几乎垂直于相机320(1)。在这种点处对权重wi的贡献可忽略不计，因为平滑法线与相机定向之间的点积几乎为零。由此，平均法线高度不准确的地方不会对对应的权重wi产生任何有意义的贡献。因为法线计算中的最大的不准确在过渡区域380中，所以所得图像将没有误差，诸如波纹、伪像和模糊。

图5是描绘使用平滑法线生成权重的示例过程500的流程图。方法200可以通过结合图1所描述的软件构造来执行，这些软件构造存在于纹理映射计算机120的存储器126中并且由处理单元124的集合运行。

在502处，法线平滑管理器160选择由点数据132表示的点。在504处，法线平滑管理器160通过迭代遍历相机来选择图像数据142和与该相机对应的定向152。

在506处，法线平滑管理器160生成平行于相机的定向的滤波器窗口(例如滤波器窗口330)。滤波器窗口具有指定的大小和/或点的数量，并且具有两个正交轴。

在508处，法线平滑管理器160基于滤波器窗口中靠近相机的点的数量——即靠近相机的对象的表面上的点的数量——与滤波器窗口中的点的总数量的比率，生成可见性vi。

在510处，法线平滑管理器160如上文关于图4a所描述生成沿着滤波器窗口的第一轴的平均切线。

在512处，法线平滑管理器160如上文关于图4b所描述生成沿着滤波器窗口的第二轴的平均切线。

在514处，法线平滑管理器160通过取得沿着滤波器窗口的第一轴的平均切线和沿着滤波器窗口的第二轴的平均切线的叉积来生成点处的平滑法线。然后，权重生成管理器170如上文关于图3所描述基于平滑法线和可见性来生成权重。

在516处，法线平滑管理器160评估是否已经考虑了所有相机。如果还有更多相机要考虑，则法线平滑管理器160选择下一相机定向并重复502-514。如果没有，则在518处纹理映射图像管理器180使用所生成的权重来执行图像的加权平均以产生在点处的图像值。

图6图示了可以与本文描述的技术一起使用的通用计算机装置600和通用移动计算机装置650的示例。

如图6中所示出，计算装置600旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适当的计算机。计算装置650旨在表示各种形式的移动装置，诸如个人数字助理、蜂窝电话、智能电话和其它相似的计算装置。本文所示出的部件、其连接和关系以及其功能仅仅意指作为示例性的，并且不意指限制本文档中描述的和/或要求保护的本发明的实施方式。

计算装置600包括处理器602、存储器604、存储装置606、连接至存储器604和高速扩展端口610的高速接口608以及连接至低速总线614和存储装置606的低速接口612。部件602、604、606、608、610和612中的每一个使用各种总线互相连接，并且可以安装在公共主板上，或适当地以其它的方式安装。处理器602可以处理在计算装置600内执行的指令，包括存储在存储器604中或存储装置606上以在诸如耦合至高速接口608的显示器616的外部输入/输出装置上显示gui的图形信息的指令。在其它实施方式中，适当地可以将多个处理器和/或多个总线与多个存储器和多种存储器一起使用。同样，可以连接多个计算装置600，其中，每个装置提供必要的操作的部分(例如，作为服务器库、一组刀片式服务器或多处理器系统)。

存储器604存储计算装置600内的信息。在一种实施方式中，存储器604是一个或多个易失性存储器单元。在另一实施方式中，存储器604是一个或多个非易失性存储器单元。存储器604还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储装置606能够为计算装置600提供大容量存储。在一种实施方式中，存储装置606可以是或可以包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置、或磁带装置、闪速存储器或其它相似的固态存储器装置、或装置的阵列，包括存储区域网络或其它配置中的装置。计算机程序产品可以有形地体现为信息载体。计算机程序产品还可以包含指令，这些指令在被执行时执行一种或多种方法，诸如上文所描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器604、存储装置606或在处理器602上的存储器。

高速控制器608管理计算装置500的带宽密集型操作，而低速控制器612管理较低的带宽密集型操作。这种功能分配仅仅是示例性的。在一个实施方式中，高速控制器608耦合至存储器604、显示器616(例如，通过图形处理器或加速器)和高速扩展端口610，这些高速扩展端口可以接受各种扩展卡(未示出)。在实施方式中，低速控制器612耦合至存储装置506和低速扩展端口614。可以例如通过网络适配器来将可以包括各种通信端口(例如usb、蓝牙、以太网、无线以太网)的低速扩展端口耦合至一个或多个输入/输出装置，诸如键盘、定点装置、扫描器或诸如交换机或路由器的网络装置。

如图中所示出，可以多种不同的形式来实施计算装置600。例如，可以将该计算装置实施为标准服务器620或多次实施在一组这种服务器中。还可以将该计算装置实施为机架服务器系统624的一部分。另外，该计算装置可以实施在诸如膝上型计算机622的个人计算机中。可替代地，来自计算装置600的部件可以与诸如装置650的移动装置中的其它部件(未示出)组合。这种装置中的每一个可以包含计算装置600、650中的一个或多个，并且整个系统可以由彼此通信的多个计算装置600、650组成。

除了其它部件之外，计算装置650包括处理器652、存储器664、诸如显示器654的输入/输出装置、通信接口666和收发器668。装置650还可以设置有用于提供额外存储的存储装置，诸如微型硬盘或其它装置。部件650、652、664、654、666和668中的每一个使用各种总线相互连接，并且部件中的若干个可以安装在公共主板上或适当地以其它方式安装。

处理器652可以执行计算装置650内的指令，包括存储在存储器664中的指令。可以将处理器实施为包括单独的和多个模拟和数字处理器的芯片的芯片集。处理器可以提供例如对装置650的其它部件的协调，诸如用户界面的控制、由装置650运行的应用和由装置650进行的无线通信。

处理器652可以通过耦合至显示器654的控制接口658和显示器接口656来与用户进行通信。例如，显示器654可以是tftlcd(薄膜晶体管液晶显示器)或oled(有机发光二极管)显示器或其它适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其它信息的适当的电路系统。控制接口658可以接收来自用户的命令并且对这些命令进行转换以提交至处理器652。另外，外部接口662可以被提供为与处理器652通信，以便使装置650能够与其它装置进行近区域通信。外部接口662可以在一些实施方式中提供例如有线通信或可以在其它实施方式中提供无线通信，并且还可以使用多个接口。

存储器664存储计算装置650内的信息。可以将存储器664实施为以下中的一个或多个：一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元。还可以提供扩展存储器674并且通过扩展接口672将该扩展存储器连接至装置650，该扩展接口672可以包括例如simm(单线存储器模块)卡接口。这种扩展存储器674可以为装置650提供附加存储空间或还可以存储装置650的应用或其它信息。具体地，扩展存储器674可以包括用于实行或补充上文所描述的过程的指令，并且还可以包括安全信息。由此，例如，可以将扩展存储器674作为装置650的安全模块被提供并且可以编程有允许安全使用装置650的指令。另外，可以经由simm卡与附加信息一起来提供安全应用，诸如，将识别信息以不可侵入的方式放在simm卡上。

存储器可以包括例如闪速存储器和/或nvram存储器，如下文所论述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，这些指令在被执行时执行一种或多种方法，诸如上文所描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器664、扩展存储器674或在处理器652上的存储器，可以通过例如收发机668或外部接口662来接收该信息载体。

装置650可以通过通信接口666来无线地通信，在必要时，该通信接口可以包括数字信号处理电路系统。通信接口666可以提供在各种模式或协议下的通信，诸如gsm语音通话、sms、ems或mms消息收发、cdma、tdma、pdc、wcdma、cdma2000或gprs等。这种通信可以例如通过射频收发机668发生。另外，短程通信可以诸如使用蓝牙、wifi或其它这种收发机(未示出)而发生。另外，gps(全球定位系统)接收器模块670可以将额外的与导航和位置有关的无线数据提供给装置650，适当地该无线数据可以由在装置650上运行的应用使用。

装置650还可以通过使用音频编解码器660来进行可听地通信，该音频编解码器660可以接收来自用户的口头信息，并且将口头信息转换为可用的数字信息。音频编解码器660还可以例如在装置650的听筒中诸如通过扬声器为用户生成可听见的声音。这种声音可以包括来自语音电话的声音，可以包括录制的声音(例如语音消息、音乐文件等)，并且还可以包括通过在装置650上操作的应用生成的声音。

如图中所示出，可以多种不同的形式来实施计算装置650。例如，可以将该计算装置650实施为蜂窝电话680。还可以将该计算装置650实施为智能电话682、个人数字助理或其它类似的移动装置的一部分。

本文描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括：一个或多个计算机程序中的实施方式，该一个或多个计算机程序可在包括至少一个可编程处理器的专用或通用的可编程系统上执行和/或解释，该可编程处理器可以被耦合以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置和该至少一个输出装置。

这些计算机程序(也称作程序、软件、软件应用或代码)包括可编程处理器的机器指令，并且可以高级过程和/或面向对象的编程语言和/或以汇编/机器语言来实施这些计算机程序。如本文中所使用，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备和/或装置(例如磁盘、光盘、存储器、可编程逻辑装置(pld))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处所描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或lcd(液晶显示器)监视器)；以及键盘和定点装置(例如，鼠标或轨迹球)，用户可以通过该键盘和该定点装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以包括声学输入、语音输入或触觉输入的任何形式接收来自用户的输入。

可以将此处所描述的系统和技术实施在包括后端部件(例如，作为数据服务器)的计算系统中、或包括中间件部件(例如，应用服务器)的计算系统中、或包括前端部件(例如，具有图形用户界面或web浏览器的客户端计算机，用户可以通过该图形用户界面或该web浏览器来与此处所描述的系统和技术的实施方式交互)的计算系统中或包括这种后端部件、中间件部件或前端部件的任何组合的计算系统中。可以通过任何形式或介质的数字数据通信(例如通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(“lan”)、广域网(“wan”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器普遍地远离彼此并且通常通过通信网络进行交互。通过在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

已经描述了多个实施例。然而，应理解，在不脱离本说明书的精神和范围的情况下，可以做出各种修改。

还应理解，当将元件称为在另一元件上、连接至另一元件、电连接至另一元件、耦合至另一元件或电耦合至另一元件时，该元件可以直接在另一元件上、直接连接至另一元件或直接耦合至另一元件，或可以存在一个或多个中间元件。相反，当将元件称为直接在另一元件上、直接连接至另一元件或直接耦合至另一元件时，则不存在中间元件。虽然在整个详细描述中可能不使用术语直接在上、直接连接至或直接耦合至，但是示出为直接在上、直接连接或直接耦合的元件也可以被称为这样。可以修改本申请的权利要求书，以记载说明书中所描述或附图中所示出的示例性关系。

当描述的实施方式的某些特征已经如本文中所描述地图示时，现在本领域的技术人员将会想到许多修改、代替、改变和等效物。因此，应理解，所附权利要求书旨在涵盖如落在实施方式的范围内的所有这种修改和改变。应理解,他们仅是已经通过示例而非限制的方式提出,并且可以进行各种形式和细节的改变。除了相互排斥的组合之外，本文中所描述的设备和/或方法的任何部分可以在任何组合中组合。本文中所描述的实施方式可以包括所描述的不同实施方式的功能、部件和/或特特征的各种组合和/或子组合。

另外，图中所描绘的逻辑流程不需要所示出的特定顺序或相继顺序，以实现期望的结果。另外，可以提供其它步骤或可以从描述的流程删除步骤，并且可以将其它部件添加至描述的系统或从描述的系统移除。因此，其它实施例在以下权利要求书的范围内。