用于在基于位置的用户接口中显示交互式预览信息的方法和装置制造方法

用于在基于位置的用户接口中显示交互式预览信息的方法和装置制造方法
【专利摘要】本发明提供了一种用于在基于位置的用户接口中显示交互式预览信息的方法。内容映射平台至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口。所述内容映射平台确定在所述视场外的一个或多个项目，然后确定在所述用户接口中提供一个或多个用户接口对象。所述一个或多个用户接口对象至少部分地提供与所述一个或多个项目相关的预览信息。
【专利说明】用于在基于位置的用户接口中显示交互式预览信息的方法和装置
【背景技术】
[0001]服务提供商(例如，无线、蜂窝、互联网、内容、社交网络等)和设备制造商持续面临通过例如提供有吸引力的网络服务来向消费者提供价值和方便性的挑战。一个关注方面曾经是开发利用例如导航标签和位置相关内容增强的映射和导航图形(例如，数字地图)和/或图像(例如，各位置和关注点的360度全景街道级视图)。通常，导航、映射(mapping)和其它类似服务可以显示全景视图、二维提供(rendered)的地图、三维提供的地图，以及其它基于位置的用户接口(例如，被提供以描绘真实的和/或虚拟的位置的用户接口)。然而，随着这样的基于位置的用户接口变得更复杂，服务提供商和设备制造商面临为了用户的高效访问而在基于位置的用户接口中呈现额外信息(例如，有关目的地、位置或不在当前视场内的其它项目的预览信息)的较大技术挑战。

【发明内容】

[0002]因此，存在对于用于基于位置的用户接口中的交互式预览信息的方法的需要。
[0003]根据一个实施例，一种方法包括至少部分基于视场来确定在设备处提供(render)用于基于位置的服务的用户接口。该方法还包括确定视场外的一个或多个项目。该方法还包括确定在用户接口中提供一个或多个用户接口对象。这一个或多个用户接口对象至少部分地提供与该一个或多个项目相关的预览信息。
[0004]根据另一个实施例，一种装置包括至少一个处理器以及至少一个包括计算机程序代码的存储器，该至少一个存储器和计算机程序代码配置成利用该至少一个处理器至少部分地促使所述装置至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口。该装置还被促使确定视场外的一个或多个项目。该装置还被促使确定在用户接口中提供一个或多个用户接口对象。该一个或多个用户接口对象至少部分地提供与该一个或多个项目相关的预览信息。
[0005]根据另一个实施例，一种承载一个或多个指令的一个或多个序列的计算机可读存储介质，在由一个或多个处理器执行时，这些指令至少部分地促使装置至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口。该装置还被促使确定视场外的一个或多个项目。该装置还被促使确定在用户接口中提供一个或多个用户接口对象。该一个或多个用户接口对象至少部分地提供与该一个或多个项目相关的预览信息。
[0006]根据另一实施例，一种装置包括用于至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口的构件。该装置还包括用于确定视场外的一个或多个项目的构件。该装置还包括用于确定在用户接口中提供一个或多个用户接口对象的构件。该一个或多个用户接口对象至少部分地提供与该一个或多个项目相关的预览信息。
[0007]根据另一实施例，一种计算机程序产品包括一个或多个指令的一个或多个序列，在由一个或多个处理器执行时，这些指令促使装置至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口。该装置还被促使确定视场外的一个或多个项目。该装置还被促使确定在用户接口中提供一个或多个用户接口对象。该一个或多个用户接口对象至少部分地提供与该一个或多个项目相关的预览信息。
[0008]根据另一个实施例，一种方法包括促进访问被配置来允许访问至少一个服务的至少一个接口，该至少一个服务配置成至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口。该装置还被促使确定视场外的一个或多个项目。该装置还被促使确定在用户接口中提供一个或多个用户接口对象。该一个或多个用户接口对象至少部分地提供与该一个或多个项目相关的预览信息。
[0009]此外，对于本发明的各种示例性实施例，以下适用:一种方法包括促进处理和/或处理(I)数据和/或(2)信息和/或(3)至少一个信号，该(I)数据和/或(2)信息和/或
(3)至少一个信号至少部分基于(包括至少部分得自)与本发明的任何实施例相关的在本申请中公开的方法(或过程)中的任何一个或其任何组合。
[0010]对于本发明的各种示例性实施例，以下也适用:一种方法包括促进创建和/或促进修改(I)至少一个设备用户接口元素和/或(2)至少一个设备用户接口功能，该(I)至少一个设备用户接口元素和/或(2)至少一个设备用户接口功能至少部分基于从与本发明的任何实施例相关的在本申请中公开的方法或过程之一或其任何组合得到的数据和/或信息，和/或从与本发明的任何实施例相关的在本申请中公开的方法(或过程)之一或其任何组合得到的至少一个信号。
[0011]对于本发明的各种示例性实施例，以下也适用:一种方法包括创建和/或修改(I)至少一个设备用户接口元素和/或(2)至少一个设备用户接口功能，该(I)至少一个设备用户接口元素和/或(2)至少一个设备用户接口功能至少部分基于从与本发明的任何实施例相关的在本申请中公开的方法(或过程)之一或其任何组合得到的数据和/或信息，和/或从与本发明的任何实施例相关的在本申请中公开的方法(或过程)之一或其任何组合得到的至少一个信号。
[0012]在各种示例性实施例中，方法(或过程)可以在服务提供商一侧或移动设备一侧完成，或者以服务提供商和移动设备之间的任何共享方式通过在两侧都执行动作来完成。
[0013]然而，通过以下详细描述，本发明的其它方面、特征和优势将显而易见，以下详细描述仅仅示出了包括设想的用于实施本发明的最佳方式的多个特定实施例和实现方式。本发明还具有其它和不同的实施例，并且可以在各明显的方面对本发明的若干细节进行修改，所有这些都是在不脱离本发明的精神和范围的情况下。因此，附图和描述应被视为在本质上是说明性而不是限制性的。
【专利附图】

【附图说明】
[0014]以示例而非限制的方式示出了本发明的实施例，在附图中:
[0015]图1是根据一个实施例的能够在基于位置的用户接口中显示交互式预览信息的系统的不意图；
[0016]图2是根据一个实施例的映射和用户接口应用的部件的示意图；
[0017]图3是根据一个实施例的用于在基于位置的用户接口中显示交互式预览信息的过程的流程图；
[0018]图4是根据一个实施例的用于与基于位置的用户接口中的预览信息交互的过程的流程图；
[0019]图5A-?是根据一个实施例的在图1-4的过程中利用的用户接口的示意图；
[0020]图6是可用于实现本发明的实施例的硬件的示意图；
[0021]图7是可用于实现本发明的实施例的芯片组的示意图；以及
[0022]图8是可用于实现本发明的实施例的移动终端(例如，手持设备)的示意图。
【具体实施方式】
[0023]公开了用于在基于位置的用户接口中显示交互式预览信息的方法、装置和计算机程序的实例。在以下描述中，为了解释的目的，阐述了大量具体细节，以便提供对本发明的实施例的透彻理解。然而，对于本领域技术人员而言显而易见的是，可以在没有这些具体细节或具有等同的布置的情况下实施本发明的实施例。在其它情况下，以框图形式示出了众所周知的结构和设备，以避免不必要地使本发明的实施例晦涩难懂。
[0024]如本文所使用的，术语“图像”指通过摄像机(例如，静态摄像机、数码相机、视频摄像机、摄像电话等)或任何其它成像设备获取的一个或一系列图像。尽管各种实施例是相对于活动摄像机视图来描述的，但是设想了本文描述的方法可与其它活动或实时图像(例如，静止图像、活动视图、活动网络摄像机视图等)一起使用，只要图像与图像捕获时成像设备(例如摄像/照相机)的位置和方向(例如，倾角和指向)相关即可。
[0025]如本文所使用的，术语“远景图”指在使用2D或3D显示器示出或使用2D或3D图像示出时对在其中示出的对象提供某个远景的任何视图。这样的远景图可以是实时图像(例如，在使用设备的摄像机的增强现实环境中)、全景图像(例如，预先存储的全景照片)、虚拟现实中的3D建模或对使用2D图像或3D图像构造的对象或周围事物试图示出真实或虚拟深度的其它修改的视图。在一个实施例中，远景图通过图像、区域和位置等覆盖特定的视场。
[0026]图1是根据一个实施例的能够提供具有主视图部分和预览部分的用于基于位置的服务的用户接口(UI)的系统的示意图。当使用基于位置的用户接口(例如，混合现实视图、增强现实视图、虚拟现实视图等)时，用户通常希望在位置、关注项目(例如，关注点、联系人的位置、事件位置等)等之间快速跳转。然而，在基于位置的用户接口中的位置、项目等之间切换可能引起对于空间和位置的理解的混淆，尤其是当用户对于在用户接口中所描绘的位置不是非常熟悉时，这可能成为一个问题。
[0027]为了处理这个问题，图1的系统100引入了在不改变用户接口的主要部分的情况下向用户提供一个或多个用户接口对象的能力，该一个或多个用户接口提供有关关注项目的预览信息。在一个实施例中，创建用户接口对象来指示用户接口的视场以外的区域、关注项目等。例如，如果基于位置的用户接口是混合现实城市游览，则用户可以开始查看有关用户接口(例如，增强现实接口)中所描绘的当前地标的信息。然后，系统100可以在屏幕的一段或一部分中提供用户接口对象(例如，描绘为气泡框、小插图、门户、通道等)，以描绘与其它地标相关的预览信息。在一个实施例中，系统101至少部分基于对应于用户接口对象的项目的相关性来确定提供和/或提供用户接口对象的顺序。例如，相关性可基于用户兴趣(例如，用户最感兴趣的是何种事情、哪些是联系最多的朋友等)。
[0028]在一个实施例中，将预览用户接口对象(例如，在用户接口中表示的场景或位置)置于用户接口中，从而指示预览的项目的位置相对于用户接口中用户的活动的当前位置或远景图的方向。例如，取决于预览的项目的相对接近度，预览用户接口对象也可以在大小、颜色、样式、主题等方面不同。在一个实施例中，用户接口对象可提供预览信息来描绘项目的位置、与项目相关的内容(例如，与项目相关的图像、媒体文件等)、上下文信息(例如，在预览的项目的位置处的周围事物图片、在该位置处的天气状况等)、包容项目的建筑物或结构的一部分或其组合。在一些实施例中，可提供用户接口对象为项目或项目的位置的图标、图形或其它表示，或者项目在其环境中的表示。
[0029]在一个实施例中，系统100、用户、相关应用或其它被授权的部件可使用手动和/或自动化过程来禁用和启用预览用户接口对象的显示。例如，用户可通过例如选择特征图标、做出姿势(例如，经由基于触动的输入)或在应用环境中来手动指定预览用户接口对象的显示的启用或禁用。此外或替代地，如果用户尚未与其进行交互，则在预定的时段之后，先前的用户接口对象可渐渐隐去。在其它实施例中，可通过例如晃动用户设备、将对象拖出显示区域来使预览用户接口对象消失。
[0030]在另一实施例中，也可以将预览用户接口对象拖拽或移动到其不干扰或妨碍用户接口的其余部分的查看的用户接口区域。这样，在用户继续与用户接口的其它部分进行交互时，预览用户接口对象可保留在视图中。在又一实施例中，用户可将预览用户接口对象拖拽到不同的用户接口区域，以触发不同的动作。例如，用户可将用户接口对象拖拽到用于将对象添加到喜好列表、动作列表(例如，添加到待办事项列表)等的区域。
[0031]在一个实施例中，预览用户接口对象是交互式的。例如，用户可以选择用户接口对象来“跳转”到与所选对象相关的地标或关注项目。这样，用户可以预览或获取其它地标的远程视图以考虑例如是否值得参观那里或获得有关它的更多信息。换言之，在选择预览用户接口对象时，系统100可通过例如重新提供用户接口以描绘预览的位置或项目并且然后定向用户接口以示出包括预览中的项目的特定方向的视场来“跳转”到与该对象相关的位置或项目。例如，可以提供并风格化预览用户接口对象，使得对象显现为从当前位置到由预览用户接口对象表示的位置的经过门户、通道、窗户等的视图。
[0032]在一个实施例中，可以由用户、服务提供商、网络运营商或其它被授权的实体创建用户接口的当前位置和由预览用户接口对象表示的位置中的一个或多个之间的链路或跳转并将其置于用户接口中。在一个实施例中，链路可以是双向的，这样创建从点A到点B的链路自动创建从点B到点A的反向链路(以及对应的反向预览用户接口对象)。在另一实施例中，用户可以指定用于自动创建链路的一个或多个标准。例如，用户可以定义标准或规则来在起始位置和导航应用的目的地之间自动创建链路。在另一实例中，用户可以自动创建从用户的当前位置到喜欢的联系人、朋友、家庭成员等的位置的链路，以便显示在基于位置的用户接口中。这样，预览用户接口对象可以提供查看联系人等的位置的门户。
[0033]在一个实施例中，可以将用户接口对象动画化，以表示从关注项目或远程视图相对于在用户接口中所描绘的当前视场所在的方向的移动。例如，动画可以从非遮挡区域(例如，不被其它对象(如建筑物、地形、地标等)遮掩的区域)开始，以避免与已提供在基于位置的用户接口中的其它对象(例如，建筑物)混合或混淆。设想了在不过度地遮掩其它对象的情况下可以使用任何类型的动画或提供来增强预览用户接口对象的可见性。例如，动画可以描绘源自建筑物后面、从当前视场外面飞入视图等的用户接口对象。在另一实施例中，预览用户接口对象和/或其所表示的关注项目和其它对象之间的遮挡可以至少部分基于例如建筑物模型、地形图、预先计算的遮挡模型、高程图等来确定。然后，系统100可相应地提供用户接口。
[0034]在一个实施例中，基于位置的用户接口可以是使用实时或大体上实时的图像、预先存储(预先记录)的图像显示的远景图，或者系统100可以获取并接合并排紧挨着活动图像的预先记录的静止图像，然后向用户显示无缝接合的图像。为了无缝地进行切换，系统100关联紧挨着活动图像以相同倾角和方向指向(directional heading)提供的预先记录的全景图像，并在屏幕上显示关联的预先记录的全景图像。在一个实施例中，全景图像可以覆盖给定位置的所有或大体上所有可能的倾角。这样，系统100不需要接合或关联多个图像来覆盖一系列倾角。
[0035]然而，现有照片匹配技术允许活动图像和预先记录的全景图像之间的接近100%的匹配。存在用于选择对于活动图像最匹配的全景静止图像的照片匹配应用(例如，按像素比较图像的照片匹配在线搜索引擎)。也存在使活动图像和预先记录的全景静止图像之间的边界无缝的照片接合应用。或者，用户可以利用用户接口来查看远程位置。例如，如果用户打算在当天的晚些时候参观特定Ρ0Ι，则用户可例如在用户接口的主视图部分中在地图的平面图上定位该POI (例如，通过滚动到该POI的位置、输入该POI的地址、使用关键字或该POI的名称搜索该POI等)。然后，用户可以操纵视场的方向表示来提供所需的有利点。例如，如果用户打算沿着某条路向下行进以到达该Ρ0Ι，则用户可以操纵视场来提供用户在沿着该路向下行进并抵达该POI时将看到的沿着该路的有利点。在视场设置为所需方向的情况下，然后用户可以在用户接口的预览部分中看到该POI的远景图的预览，然后用户可以将该POI的远景图切换到用户接口的主视图部分，以便查看该POI的放大图像。因此，用户将能够看到该POI的样子，从而允许用户在当天的晚些时候抵达该POI时认识该POI。POI的远景图也可以包括提供到与POI相关的内容(例如，名称、地址、电话号码、网页链路等)的链路的图形表示或标签(例如，气泡框、图标、图像、文本等)，用户可以在用户接口中选择这些图形表示或标签，以便获取关于POI的进一步的内容信息。
[0036]在一个实施例中，系统100根据用户使UElOl倾斜和/或旋转时UElOl的倾角和方向指向在用户设备的屏幕上显示预先记录的全景视图的不同部分。在本实施例中，用户可以改变预先记录的全景视图中的预先记录的全景图像，而无需在用户设备的屏幕上移动/拖拽查看标签。
[0037]在另一实施例中，系统100还利用增强现实或增强虚拟现实(例如，使用3D模型和3D映射信息)来以实时方式在活动图像视图中插入与POI相关的丰富内容信息(例如，从互联网、用户输入等得到)。在远景图中，标签显示在对象或POI的表面上并虚拟地附着到对象或POI，并在对象或POI的表面上以固定的3D方向示出。在其它实施例中，标签可提供为漂浮在远景图的固定位置上，但朝向用户或摄像机以使标签更可见。在预先记录的全景视图中，也可以看到与POI相关的内容，并且可能已经在预先记录的全景视图中嵌入/标记了联系人，或者也可以实时方式插入联系人。可以由用户、服务提供商(例如，无线、蜂窝、互联网、内容、社交网络等)和/或设备制造商预置Ρ0Ι，并且也可以由这些实体的组合中的任何一个嵌入/标记相关内容。然后，可以将此内容显示为一个或多个预览用户接口对象中的预览信息。[0038]例如，用户选择POI或POI的一部分(例如，POI的一个或多个特定楼层)，并标记与POI相关的标签内容信息(例如，从网站或其它网络源获取的内容信息)。系统100保存POI和标记的内容，并自动或按需要在活动图像视图和/或预先记录的全景视图中向用户提供最新的内容信息。例如，内容信息可包括=(I)POI的楼层平面图、(2)位于POI中的居住者/商店/设施(例如，在缩略图像中，动画、音频警报等)、(3)关于居住者/商店/设施的简介和背景内容、(4)关于居住者/商店/设施的市场营销和销售内容、(5)绑定到POI的用户生成的注释或任何其它数据或信息。还设想了内容可与多个楼层或多个POI相关。在一个实施例中，内容信息包括活动媒体、存储的媒体、与媒体相关的元数据、文本信息、其它用户设备的位置、映射数据、地理标记数据或其组合。
[0039]如图1所示，系统100包括可经由通信网络105从内容映射平台103获取内容信息(例如，内容和位置信息)和映射信息(例如，地图、GPS数据、预先记录的全景视图等)的至少一个用户设备(UE) 101。内容和映射信息可由UElOl上的映射(mapping)和用户接口应用107 (例如，增强现实应用、导航应用或其它基于位置的应用)使用来生成如关于本文所述方法的各种实施例所讨论的具有一个或多个预览用户接口对象的基于位置的用户接口。在图1的实例中，内容映射平台103在地图数据库109a中存储映射信息，并且在内容目录109b中存储内容信息。例如，映射信息包括数字地图、GPS坐标、预先记录的全景视图、地理标记数据、关注点数据或其组合。例如，内容信息包括与内容相关的一个或多个识别符、元数据、访问地址(例如，网络地址，如统一资源定位器(URL)或互联网协议(IP)地址；或本地地址，如UElOl的存储器中的文件或存储位置)、描述等。在一个实施例中，内容包括活动媒体(例如，流广播)、存储的媒体(例如，在网络上或本地存储)、与媒体相关的元数据、文本信息、其它用户设备的位置信息或其组合。内容可由包括一个或多个服务113a-113n (例如，音乐服务、映射服务、视频服务、社交网络服务、内容广播服务等)的服务平台111、一个或多个内容提供商115a-115m (例如，在线内容零售商、公共数据库等)、可经由通信网络105获得或访问的其它内容源来提供。
[0040]此外或替代地，在某些实施例中，可将UElOl的用户地图和内容数据库107与应用107结合利用，以向用户呈现内容信息、位置信息(例如，映射和导航信息)、可用性信息等。可向用户呈现与应用107和/或内容映射平台103相关的增强现实接口，从而允许在UElOl上将内容和相关信息的3D对象或其它表示叠加到实体环境的图像上。在某些实施例中，用户接口可显示混合实体和虚拟环境,其中将来自地图数据库109a的3D对象叠加到实体图像的顶部上。
[0041]例如，UElOl可执行应用107以从内容映射平台103或网络105的其它构件接收内容和/或映射信息。如上文所述，UElOl利用GPS卫星119来确定UElOl的位置以利用内容映射平台103和/或应用107的内容映射功能，并且可从真实世界建筑物和其它地点的活动摄像机视图创建存储在地图数据库109a中的地图信息。因此，可将内容增强成真实世界位置的预先记录的全景视图和/或活动摄像机视图(例如，基于位置坐标，如全球定位系统(GPS)坐标)。在一个实施例中，也可以将内容呈现为一个或多个用户接口对象中的预览信息。
[0042]例如，应用107和内容映射平台103接收有关内容的访问信息，基于访问信息来确定内容的可用性，然后呈现具有增强内容的预先记录的全景视图或活动图像视图(例如，使用相关内容(如建筑物的由来、设施信息:高度、楼层数等)增强的建筑物的活动摄像机视图)。在某些实施例中，内容信息可包括实体环境(例如，建筑物)中的对象、设施和结构的2D和3D数字地图。
[0043]例如，系统100的通信网络105包括一个或多个网络，如数据网络(未示出)、无线网络(未示出)、电话网络(未示出)或其任何组合。设想了数据网络可以是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公共数据网络(例如，互联网)、近程无线网络或任何其它适合的分组交换网络，如商业拥有、专属分组交换网络，例如专属有线电视或光纤网络等等，或其任何组合。此外，无线网络可以为例如蜂窝网络，并且可以采用各种技术，包括用于全球演进的增强数据率(EDGE)、通用分组无线服务(GPRS)、全球移动通信系统(GSM)、互联网协议多媒体子系统(MS)、通用移动通信系统(UMTS)等，以及任何其它适合的无线媒介，例如全球微波接入互操作性(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、无线LAN (WLAN)、蓝牙、互联网协议(IP)数据发送、卫星、移动自组网络(MANET )等等，或其任何组合。
[0044]UElOl是任何类型的移动终端、固定终端或便携终端，包括移动手持设备、站、单元、设备、多媒体计算机、多媒体平板设备、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备，或其任何组合，包括这些设备的配件和外设，或其任何组合。还设想了 UElOl可以支持到用户的任何类型的接口(如“可穿戴”电路等)。
[0045]例如，UElOl和内容映射平台103使用众所周知的、新的或仍然在开发的协议彼此通信并与通信网络105的其它部件通信。在此上下文中，协议包括定义通信网络105中的网络节点如何基于经由通信链路发送的信息来彼此进行交互的一组规则。协议在每个节点内的不同操作层有效，从生成并接收各种类型的物理信号，到选择用于传递这些信号的链路，到由这些信号指示的信息的格式，到识别在计算机系统上执行的哪个软件应用发送或接收信息。在开放系统互联(OSI)参考模型中描述了用于经由网络交换信息的概念上不同的协议层。
[0046]通常，通过交换离散的数据包来进行网络节点之间的通信。每个数据包通常包括(O与特定协议相关的头部信息和(2)在头部信息之后且包含可能独立于该特定协议而被处理的信息的有效载荷信息。在一些协议中，数据包包括(3)在有效载荷之后且指示有效载荷信息的结束的尾部信息。头部包括诸如数据包的源、其目的地、有效载荷的长度以及协议使用的其它属性的信息。通常，用于特定协议的有效载荷中的数据包括用于与OSI参考模型的不同的更高层相关的不同协议的头部和有效载荷。用于特定协议的头部通常指示包含在其有效载荷中的下一个协议的类型。据说，更高层协议封装在较低层协议中。包括在穿过多个异构网络(如互联网)的数据包中的头部通常包括物理层(第一层)头部、数据链路层(第二层)头部、互联网网络层(第三层)头部和传输层(第四层)头部，以及各种应用层头部(第五层、第六层和第七层)，如OSI参考模型所定义的那样。
[0047]在一个实施例中，应用107和内容映射平台103可根据客户端-服务器模型来交互，使得UElOl的应用107按需要从内容映射平台103请求映射和/或内容数据。根据客户端-服务器模型，客户端进程向服务器进程发送包括请求的消息，并且服务器进程通过提供服务(例如，提供地图信息)来响应。服务器进程也可以返回带有对客户端进程的响应的消息。通常，客户端进程和服务器进程在不同的计算机设备(称为主机)上执行，并使用用于网络通信的一个或多个协议经由网络通信。术语“服务器”传统上用于指代提供服务的进程或进程运行所在的主机计算机。类似地，术语“客户端”传统上用于指代提出请求的进程或进程运行所在的主机计算机。如本文所使用的，术语“客户端”和“服务器”指进程，而不是主机计算机，除非从上下文来看显然是主机计算机。此外，由服务器执行的进程可以分开作为多个主机上的多个进程(有时称为层级)来运行，这样做的原因包括可靠性、可伸缩性和冗余等。
[0048]图2是根据一个实施例的映射和用户接口应用的部件的示意图。例如，映射和用户接口应用107包括一个或多个部件来生成基于位置的用户接口，以例如在活动摄像机图像和预先记录的全景图像之间关联和导航。映射和用户接口应用107还包括提供和呈现用于提供有关主用户接口的远景图的视场或范围之外的一个或多个项目的预览信息的一个或多个用户接口对象的能力。设想了这些部件的功能可以组合在一个或多个部件中或由具有等同功能的其它部件执行。在本实施例中，映射和用户接口应用107包括执行用于执行映射和用户接口应用107的功能的至少一个算法的至少一个控制逻辑201。例如，控制逻辑201与图像模块203交互来向用户提供UElOl的当前位置的周围事物的活动摄像机视图。图像模块203可包括摄像机、视频摄像机或其组合等。在一个实施例中，以一个图像或一系列图像的形式捕获可见媒体。还设想了图像模块203可提供生成UElOl的当前位置之外的位置的远程远景图的能力。在这种情况下，图像模块203可以基于由UElOl或UElOl的用户指定的任何位置来生成视图。
[0049]接下来，控制逻辑201与位置模块205交互来获取UElOl的当前位置或另一指定位置的位置数据。在一个实施例中，位置数据可包括地址、地理坐标(例如，GPS坐标)或可以与当前或指定位置关联的其它指标(例如，经度和纬度信息)。例如，位置数据可由用户手动输入(例如，输入地址或标题、点击数字地图等)，或从任何地理标记数据提取或得到。设想了位置数据或地理标记数据也可由位置模块205通过获取与位置相关的元数据(如媒体标题、标签和评论)来创建。更具体地，位置模块205可以解析元数据来获得指示与特定位置的关联的任何用语。
[0050]在一个实施例中，位置模块205通过三角测量系统(如GPS、辅助GPS( A-GPS )、差分GPS (DGPS)、原点小区、无线局域网三角测量)或其它位置推断技术来确定用户的位置。标准GPS和A-GPS系统可以使用卫星119来精确定位UElOl的位置(例如，经度、纬度和海拔高度)。原点小区系统可以用于确定蜂窝UElOl被同步的相关蜂窝塔。此信息提供UElOl的粗略位置，因为蜂窝塔可以具有可以地理映射的唯一蜂窝识别符(小区ID)。位置模块205也可以利用多种技术来查明UElOl的位置。GPS坐标可以提供关于UElOl的位置的更精细的细节。如前文所注明的，位置模块205可以用来确定位置坐标，以供应用107和/或内容映射平台103使用。
[0051]此外，控制逻辑201与图像模块203交互来显示当前或指定位置的活动摄像机视图或远景图。当显示当前或指定位置的远景图时，控制逻辑201与图像模块203交互来接收用户通过例如触动UElOl的屏幕上的“切换”图标来切换视图的指示。控制逻辑201与关联模块207交互来将活动图像视图与带有位置数据的预先记录的全景视图关联，并且还与预览模块209交互来在用户接口或远景图中将显示从活动图像视图交替/切换到一个或多个预览用户接口对象。另外，预览模块209可以控制在用户接口 217的主视图部分中示出的那个视图(例如，预览的项目或位置的视图或当前或指定位置的视图)和在用户接口 217的预览部分中示出的那个视图(例如，一个或多个预览用户接口对象)之间的切换。
[0052]在另一实施例中，图像模块203和/或预览模块209与磁强计模块211和加速计模块213交互，磁强计模块211确定UElOl的水平方向或方向指向(罗盘指向)，而加速计模块213确定UElOl的垂直方向或仰角。据此，图像模块203根据用户使UElOl倾斜和/或旋转时UElOl的倾角和方向指向在UElOl的屏幕上显示预先记录的全景视图或远景图的不同部分。在这些情况下，用户可以查看预先记录的全景视图的不同部分，而无需在UElOl的屏眷上移动/拖拽查看标签。
[0053]在一个实施例中，从磁强计获得的水平定向数据用来确定UElOl的方向。磁强计模块211可包括可测量磁场的强度和/或方向的仪器。采用与罗盘相同的方法，磁强计能够使用地球的磁场确定UElOl的方向指向。图像捕获设备(例如，数码相机)的正面(或UElOl上的另一参考点)可以被标记为确定方向时的参考点。因此，如果相对于参考点磁场指向北方，则已知UElOl参考点与磁场的角度。可以进行简单的计算，以确定UElOl的方向。可将此定向信息与UElOl的位置信息关联以确定UElOl正指向哪里(例如，在哪个地理特征或对象处)。此信息可用于选择向用户提供的预先记录的全景视图的部分。
[0054]此外，加速计模块213可包括可测量加速度的仪器。采用具有X、Y和Z轴的三轴加速计，可提供具有已知角度的在三个方向上的加速度。再次，媒体捕获设备的正面可以被标记为确定方向时的参考点。因为已知加速度是由于重力的缘故，所以当UElOl静止不动时，加速计模块213可以确定UElOl相对于地球的重力所指向的角度。在一个实施例中，从加速计获取的垂直定向数据用来确定UElOl指向时所处的仰角或倾角。此信息连同磁强计信息和位置信息可用来确定用户在预先记录的全景视图中的视点。因此，可以在选择可用内容项目来向用户提供导航信息时利用此信息。此外，可利用组合的信息来确定用户可能感兴趣的特定数字地图或预先记录的全景视图的部分。
[0055]然后，每当用户使UElOl旋转/倾斜时，控制逻辑便与图像模块203交互来向用户提供在远景图中的视点(例如，预先记录或提供的全景视图)。如上文所述，关联模块207可以从摄像机获取活动图像并通过位置信息将活动图像与预先记录的全景视图关联。此外，关联模块207使用磁强计信息、加速计信息、计算机视觉技术或其组合来确定视点，以向用户显示预先记录的全景视图的一部分。
[0056]然后，控制逻辑201与内容管理模块215和图像模块203交互，以增强与活动图像中的一个或多个关注点(POI)或项目相关的内容信息。例如，可从服务平台111、服务113a-113n、内容提供商115a-115m、其它类似部件或其组合接收内容。还设想了用户或由用户授权的另一方可手动输入内容项目。在一个实施例中，内容管理模块215可创建列出向内容管理模块215提供的所有内容项目和相关访问地址的内容目录。在某些实施例中，内容目录可包括描述内容的额外描述性信息和其它元数据。可用的媒体内容或流可以采取许多形式(例如，活动视频馈送、照片、音频文件等)，并且可以使用任何数字方式(例如，流媒体、下载的媒体、自发创建的媒体等)来提供。内容管理模块215包括用于接收和/或检测采用原有格式的媒体内容或用于将媒体内容转换为与映射和用户接口应用107兼容的媒体格式的一个或多个子模块或应用编程接口(API)(未绘出)。在其它实施例中，内容管理模块215可发起验证内容或流所需的部件(例如，编解码器、播放器应用等)的下载或安装。可将内容数据高速缓存或保存在用户地图和内容数据库117中。在一个实施例中，内容可由一个或多个预览用户接口对象用来提供当前视场之外的一个或多个项目(例如，POI)的预览信息。
[0057]为了促进找到特定内容或特征，内容管理模块215使用户能够输入搜索标准(例如，内容项目、人、城市、天气等)，并且能够获得用于找到被搜索的内容项目在真实实体世界中的所在位置的方向的指导。内容管理模块215还使用户能够指定时段，以便使用位置和时间来导航内容信息。在一个实施例中，查看内容和映射信息的默认时间是当前。如果将时段设置为将来，则内容管理模块215将基于指定的时间确定一个或多个内容项目，如在接下来的三个小时中在百货商店将出售什么东西。
[0058]在一个实施例中，可以将内容描绘为在对应于关注点(例如，楼层)或关注点的一部分(例如，楼层上的设施)的位置覆盖在用户接口地图上、以固定的3D方向附加到POI或在用户接口的任何可用部分中呈现的缩略图。如已讨论的，用户接口可以为图形用户接口。此外或替代地，用户接口可以为音频或触觉接口。在一个实施例中，内容管理模块215仅提供在指定时间可用的且不与任何限制或排他性限定相关的那些内容项目。此实施例提供用户只需通过单次选择点击便可从呈现的内容项目中选择并被确保所选的项目将可用的用户体验。在其它实施例中，内容管理模块215可呈现所有可用的内容并区别对待通过一次点击便可用的内容与与额外的限制或限定相关的内容的呈现。可由用户、内容提供商115、网络运营商、服务平台111或其组合指定呈现的具体类型。然后，内容管理模块215确定是否要定期更新内容信息。
[0059]在某些实施例中，当存在比可以显示在现有用户接口中的内容更多的可用内容时，内容管理模块215不断地将内容项目的显示动画化，使得新的内容持续出现，同时较旧的内容消失。此动画过程还使用户接口对于用户更具娱乐性，并且通过动态展示传递一种世界是“鲜活的(alive)”的感觉。动画项目可以按对于用户的相关性的顺序或按时间顺序或按基于类别或用于确定兴趣的其它方法的某个预定义的顺序出现。
[0060]在某些实施例中，用户地图和内容数据库117包括地图数据库109a和内容目录10%中的信息的全部或一部分。从所选择的视点，可以将用内容增强的活动图像视图提供在UElOl的屏幕上。在某些实施例中，内容管理模块215利用从数据库117或内容映射平台103生成或获取的内容从所选择的视点提供关联的预先记录的全景视图。当在UElOl的屏幕上显示关联的预先记录的全景视图时，可以事先按需要和/或以实时方式通过另一装置或内容管理模块215将内容信息嵌入/标记在关联的预先记录的全景视图中。
[0061]可经由用户接口 217向用户呈现内容和映射信息，用户接口 217可包括各种通信方法。例如，用户接口 217可具有包括视觉部件(例如，屏幕)的输出端、音频部件(例如，言语指令)、物理部件(例如，振动)和其它通信方法。用户输入端可包括触摸屏接口、麦克风、照相/摄像机、滚动点击接口、按钮接口等。此外，用户可以输入请求来启动应用107 (例如，映射和用户接口应用)，并且可以利用用户接口 217来接收内容和映射信息。通过用户接口 217，用户可请求呈现不同类型的内容、映射或位置信息。此外，可向用户呈现特定位置和相关对象(例如，在特定位置处的建筑物、地形特征、POI等)的3D或增强现实表示，作为在UElOl的屏幕上的图形用户接口的一部分。如上文所述，UElOl与内容映射平台103、服务平台111和/或内容提供商115a-115m通信来取得内容、映射和/或位置信息。UElOl可利用客户端/服务器形式的请求来获取内容和映射信息。另外，UElOl可在获取内容和映射信息的请求中指定位置信息和/或方向信息。
[0062]图3是根据一个实施例的用于在基于位置的用户接口中显示交互式预览信息的过程的流程图。在一个实施例中，映射和用户接口应用107执行过程300并以例如如图7所示的包括处理器和存储器的芯片组来实现。此外或替代地，内容映射平台103可执行过程300的全部或部分。
[0063]在步骤301，映射和用户接口应用107至少部分基于视场来确定在设备(例如，UE101)处提供用于基于位置的服务的用户接口。例如，可通过设备指定或从用来检测例如UElOl的位置、指向和倾角的UElOl的一个或多个传感器来确定视场。如前文所述，位置、指向和倾角可以用于计算用于提供基于位置的用户接口的远景图或视场。在一个实施例中，基于位置的用户接口至少部分地描绘混合现实视图、增强现实视图、增强虚拟现实视图、全景图或其组合。
[0064]接下来，映射和用户接口应用107确定在当前显示的用户接口的视场之外的一个或多个项目(步骤305)。例如，这一个或多个项目至少部分地包括关注点、与UElOl相关的联系人的位置、约会位置、事件位置、用户生成的注释或其组合。换言之，在此步骤中可以确定的项目可包括用于关联到基于位置的用户接口的与位置信息相关的任何项目。如本文所使用的，“视场外”指在当前显示中提供的区域或远景图之外的项目的位置。设想了项目可以在从刚好在当前用户接口的视场或范围以外到离提供的用户接口的当前或指定位置距离远的任何地方。
[0065]在一个实施例中，映射和用户接口应用107处理和/或促进处理与一个或多个项目相关的位置信息，以确定关于用户接口的一个或多个其它对象、基于位置的服务或其组合的遮挡信息(步骤307)。例如，应用107可以确定项目(例如，联系人位置或Ρ0Ι)是否位于一个或多个建筑物之内或后面使得从用户接口的当前角度来看项目将不可见。至少部分基于该遮挡信息，应用107可以对于用于在提供的用户接口中表示项目的一个或多个预览用户接口对象应用不同的提供技术。
[0066]在一个实施例中，应用107可以至少部分基于遮挡信息来确定提供一个或多个预览用户接口对象，以至少部分地指示一个或多个项目的方向。在另一实施例中，应用107可以至少部分基于遮挡信息来确定在一个或多个其它对象上或附近提供一个或多个对象，或者提供一个或多个对象以避免遮挡一个或多个其它对象。例如，如果在用户接口对象中预览的项目位于建筑物的后面，则可以将用户接口对象提供为指示该位置(例如，通过将对象动画化以从建筑物后面出现、根据接近度改变对象的大小等)。类似地，如果对象在提供的用户接口的一个方向，则对象可以指示指向对象的实际位置的方向。
[0067]在某些实施例中，映射和用户接口应用107可以确定与一个或多个项目相关的相关性信息(步骤307)。例如，相关性信息至少部分地确定一个或多个项目符合用户偏好或兴趣的程度。例如，如果用户对购物具有高度的兴趣，则与购物相关的项目或POI可具有更高的相关性；或者在联系人的情况下，用户最频繁地联络的那些联系人可具有更高的相关性。设想了应用107可以使用任何方式来确定相关性信息。应用107可以处理和/或促进处理相关性信息，以确定用于在用户接口中提供或呈现一个或多个对象的顺序(步骤309)。
[0068]最后，映射和用户接口应用107可以确定在基于位置的用户接口中提供一个或多个用户接口对象，其中这一个或多个用户接口对象至少部分地呈现与一个或多个项目相关的预览信息(步骤311)。如上文所注明的，可以风格化方式将用户接口对象提供为描绘有关一个或多个项目的预览信息的气泡框、门户、通道等。在一个实施例中，预览信息至少部分地包括一个或多个项目的一个或多个表示(例如，图标、图像、视频、音频剪辑等)、与一个或多个项目相关的位置信息的一个或多个表示(例如，混合现实视图、3D模型等)、与一个或多个项目相关的内容信息(例如，文章、文档等)或其组合。
[0069]在一个实施例中，在基于位置的用户接口的远景图中，可以上覆或以其它方式提供用户接口对象和/或相关的预览信息。例如，当生成远景图时，映射和用户接口应用107从实时图像和/或预先存储的图像确定远景图的一个或多个对象的最优图像。例如，应用107可以比较特定视场的各存储的图像，并确定哪个图像最清晰、处于最有利的位置(例如，离用户选择的视场最近的有利点)，然后利用可获得的最佳图像。然后，应用可以至少部分地促使使用最优的图像在用户接口中提供远景图。此外，应注意，可以通过利用覆盖到对象的表面上的图形表示提供实时图像间、预先存储的图像间和/或实时图像与预先存储的图像的混合之间的平滑过渡以便以平滑和连续的方式来提供可能的最佳远景图来形成远景图。
[0070]另外，应注意，当应用107接收改变显示的方向的输入时，那么应用107可对应于输入同时改变远景图和一个或多个预览用户接口对象的显示的方向。因此，一个视图中的任何变化将同时导致另一个视图中的变化(如果适当的话)。
[0071]图4是根据一个实施例的用于与基于位置的用户接口中的预览信息交互的过程的流程图。图4的过程400假定图3的过程300已被执行以生成包括一个或多个预览用户接口对象的基于位置的用户接口。在一个实施例中，映射和用户接口应用107执行过程400并以例如如图7所示的包括处理器和存储器的芯片组来实现。此外或替代地，内容映射平台103可执行过程400的全部或部分。
[0072]在步骤401，映射和用户接口应用107接收用于在与用户接口相关的位置和与一个或多个用户接口对象、一个或多个项目或其组合相关的一个或多个其它位置之间创建链路的输入。如前文所述，用户、服务提供商等可以在用户接口的位置和预览的项目的一个或多个位置之间建立链路。链路使用户能够在用户接口中快速从一个位置的提供跳转到预览的位置并再返回来。
[0073]例如，如果激活或选择了链路或对象(步骤403)，则映射和用户接口应用107切换一个或多个用户接口对象、一个或多个其它位置、一个或多个项目或其组合在用户接口的至少一部分中的呈现(步骤405)。换言之，选定的用户接口对象中的预览的项目替代在基于位置的用户接口中提供的位置。然后，在新提供的用户接口上提供的预览用户接口对象中提供替换的位置。
[0074]在一个实施例中，映射和用户接口应用107确定是否要将一个或多个预览用户接口对象移动到用户接口的预定区域(步骤407)。例如，这些预定的区域与一系列喜欢的对象、一系列要操作的对象或其组合相关(步骤409)。相应地，如果用户接口对象被移动到特定区域，则应用107可以激活对应的功能，如将对象添加到喜欢的对象的列表中以便以后能够想起来或添加到要操作的对象的列表中等。在一个实施例中，预定区域可对应于对象的临时或永久存储区域。在这种情况下，如果对象被移动到存储区域，则在用户继续与基于位置的用户接口的其它部分交互时对象可以持续存在于用户接口中。在另一实施例中，用户接口的预定区域可包括当前可见的或显示区域之外的区域。换言之，可将对象移动或拖拽出屏幕以删除对象，指示用户不关注对象，或执行任何其它配置的动作或操作。
[0075]在另一实施例中，可以通过切换来启用或禁用对象(步骤411)。例如,可通过摇晃UE101、将对象拖拽出屏幕或通过使用某个其它姿势或命令来指示切换。然后，切换可促使从用户接口中移除一个或多个对象的提供(步骤413)。
[0076]图5A-?是根据一个实施例的在图1-4的过程中利用的用户接口的示意图。图5A描绘了其中预览用户接口对象503被提供为源自被建筑物对象505挡住的被遮挡区域的动画的用户接口(UI)501。在该实例中，预览用户接口对象503提供呈现当前位于建筑物505内的联系人的预览信息(例如，照片)，从而阻止基于当前提供的远景图直接查看联系人。
[0077]图5B描绘了包括多个预览用户接口对象(例如，对象523和525)的Π521。在这种情况下，两个对象都来自UI521的被遮挡区域，并且因此被动画化以指示从建筑物的起源，然后它们自身置于建筑物上以指示被遮挡的对象523和525的近似位置。
[0078]图5C描绘了作为UI521的一个版本的Π541，其中已完成对象523和525的动画，使得它们在其相应的建筑物上的其最终被提供的位置处。在一个实施例中，为了避免使用户接口杂乱，映射和用户接口应用107使用户能够将对象523或525拖拽到用户接口的不同区域。在本实例中，用户选择将对象523拖拽到UI541的另一区域，在那里即使在Π541的全景图或混合现实视图改变时对象523也仍然保留。这样，用户可以选择对象523来保持可访问，以供以后参考，而无需干扰当前视图和/或与当前视图相关的活动(例如，导航)。
[0079]图描绘了 Π561，其包括在UI561的主远景图中的城市中心的提供和呈现关于用户的度假目的地(例如，岛屿)的预览信息的用户接口对象563的提供。例如，对象563的预览信息为提供岛屿的远景图的提供。在本实例中，用户已将当前城市位置链路到对象563的岛屿位置。相应地，在选择或激活与对象563相关的链路时，映射和用户接口应用107提供Π565，其呈现在Π565的主要部分中的岛屿位置和作为预览用户接口对象567的城市位置的远景图。城市中心的视图在对象567中依然可见。此外，因为城市位置和岛屿位置之间的链路是双向的，所以用户可以选择或激活与对象567相关的链路以返回到UI561并恢复城市位置的提供。
[0080]本文描述的用于在基于位置的用户接口中显示交互式预览信息的过程可有利地通过软件、硬件、固件或软件和/或固件和/或硬件的组合来实现。例如，本文描述的过程可有利地通过处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等来实现。下文详细描述了用于执行所述功能的这种示例性硬件。
[0081]图6示出了计算机系统600，本发明的实施例可在计算机系统600上实现。尽管计算机系统600是相对于特定设备来描绘的，但设想了图6中的其它设备(例如，网络元件、月艮务器等)可以部署系统600的所示硬件和部件。计算机系统600被编程(例如，通过计算机程序代码或指令)以如本文所述在基于位置的用户接口中显示交互式预览信息，并且包括用于在计算机系统600的其它内部和外部部件之间传递信息的诸如总线610的通信机制。将信息(也称为数据)表示为可测量的现象(通常为电压，但在其它实施例中包括诸如磁、电磁、压力、化学、生物、分子、原子、亚原子和量子互动的现象)的物理表达。例如，南北磁场或零和非零电压表示二进制位(比特)的两种状态(0、1)。其它现象可以表示更高基数的位。测量前的多个同步量子状态的叠加表示一个量子比特(qubit)。一个或更多位的序列构成用于表示字符的数字或代码的数字数据。在一些实施例中，通过特定范围内的可测量值的近连续集来表示称为模拟数据的信息。计算机系统600或其一部分构成用于执行在基于位置的用户接口中显示交互式预览信息的一个或多个步骤的构件。
[0082]总线610包括信息的一个或多个并行导体，使得信息在耦接到总线610的设备之间被快速传递。用于处理信息的一个或多个处理器602与总线610耦接。
[0083]处理器(或多个处理器)602如与在基于位置的用户接口中显示交互式预览信息相关的计算机程序代码所指定的那样对信息执行一组操作。计算机程序代码为一组指令或提供指令的语句，用于处理器和/或计算机系统执行指定功能的操作。例如，可以用编译成处理器的本机指令集的计算机编程语言来编写代码。也可以直接使用本机指令集(例如，机器语言)来编写代码。操作的集合包括将信息从总线610带入和将信息放置在总线610上。操作的集合通常还包括比较两个或更多个信息单位、改变信息单位的位置，以及将两个或更多个信息单位组合，如通过加法或乘法或逻辑运算(比如0R、异OR (XOR)和ADD)。通过称为指令的信息(如一个或多个位的操作代码)来向处理器表示可由处理器执行的操作集合中的每个操作。将由处理器602执行的操作的序列(如操作代码的序列)构成处理器指令，也称为计算机系统指令，或者简称为计算机指令。可将处理器实现为机械、电气、磁、光学、化学或量子部件(以单独或组合方式，也可以包括其它形式的部件)。
[0084]计算机系统600还包括耦接到总线610的存储器604。存储器604(如随机存取存储器(RAM)或任何其它动态存储设备)存储包括用于在基于位置的用户接口中显示交互式预览信息的处理器指令的信息。动态存储器允许其中存储的信息被计算机系统600改变。RAM允许存储在称为存储器地址的位置处的信息单位独立于在相邻地址处的信息而被存储和获取。存储器604还被处理器602用来在处理器指令的执行期间存储临时值。计算机系统600还包括用于存储不被计算机系统600改变的静态信息(包括指令)的耦接到总线610的只读存储器(R0M)606或任何其它静态存储设备。一些存储器由易失性存储装置组成，当断电时，存储在易失性存储装置上的信息会丢失。非易失性(持久)存储设备608 (如磁盘、光盘或闪存卡)也被耦接到总线610，用于存储即使在计算机系统600被关闭或以其它方式断电时也将持久存在的信息(包括指令)。
[0085]从外部输入设备612 (如包含由人类用户操作的字母数字键的键盘或传感器)向总线610提供用于在基于位置的用户接口中显示交互式预览信息的信息(包括指令)，以供处理器使用。传感器检测其附近的状况，并将这些检测转换成与用于表示计算机系统600中的信息的可测量的现象兼容的物理表达。耦接到总线610的主要用于与人交互的其它外部设备包括用于呈现文本或图像的显示设备614 (如阴极射线管(CRT)、液晶显示器(IXD)、发光二极管(LED)显示器、有机LED (OLED)显示器、等离子屏幕或打印机)和用于控制在显示器614上呈现的小光标图像的位置并发布与在显示器614上呈现的图形元素相关的命令的定点设备616 (如鼠标、跟踪球、光标方向键或运动传感器)。在一些实施例中,例如,在计算机系统600自动执行所有功能而无需人的输入的实施例中，省略了外部输入设备612、显示设备614和定点设备616中的一个或更多。[0086]在图示的实施例中，将特殊用途硬件(如专用集成电路(ASIC) 620)耦接到总线610。特殊用途硬件被配置来为了特殊目的而足够快速地执行不由处理器602执行的操作。ASIC的实例包括用于生成显示器614的图像的图形加速卡、用于加密和解密通过网络发送的消息的密码板、语音识别和与特殊外部设备(如反复执行以硬件实现更高效的操作的某个复杂序列的机械臂和医疗扫描设备)的接口。
[0087]计算机系统600还包括耦接到总线610的通信接口 670的一个或多个实例。通信接口 670提供耦接到用其自身的处理器来操作的各种外部设备(如打印机、扫描仪和外部磁盘)的单向或双向通信。通常，耦接是与连接至本地网络680的网络链路678进行的，具有其自身的处理器的各种外部设备连接至本地网络680。例如，通信接口 670可以为个人计算机上的并行端口或串行端口或通用串行总线(USB)端口。在一些实施例中，通信接口 670是提供到对应类型的电话线的信息通信连接的综合业务数字网(ISDN)卡或数字用户线路(DSL)卡或电话调制解调器。在一些实施例中，通信接口 670是将总线610上的信号转换成用于经由同轴电缆的通信连接或转换成用于经由光缆的通信连接的光学信号的线缆调制解调器。作为另一个例子，通信接口 670可以是局域网(LAN)卡，以提供到兼容的LAN (如以太网)的数据通信连接。也可以实现无线链路。对于无线链路，通信接口 670发送或接收或者既发送也接收携带信息流(如数字数据)的电、声音或电磁信号，包括红外和光学信号。例如，在无线手持设备(如像手机那样的移动电话)中，通信接口 670包括称为无线电收发器的射频带电磁发射器和接收器。在某些实施例中，通信接口 670使得能够连接到通信网络105，以便经由UElOl在基于位置的用户接口中显示交互式预览信息。
[0088]如本文所使用的，术语“计算机可读介质”指参与向处理器602提供信息(包括供执行的指令)的任何介质。这样的介质可采取许多形式，包括但不限于，计算机可读存储介质(例如，非易失性介质、易失性介质)和传输介质。非瞬时性介质(如非易失性介质)包括例如光或磁盘，如存储设备608。易失性介质包括例如动态存储器604。传输介质包括例如双绞线电缆、同轴电缆、铜线、光缆，以及在不使用线缆的情况下穿过空间的载波，如声波和电磁波，包括无线电、光和红外波。信号包括通过传输介质传输的振幅、频率、相位、极化或其它物理特性的人为瞬变。常见的计算机可读介质的形式包括例如软盘、柔性磁盘、硬盘、磁带、任何其它磁介质、CD-ROM、CDRff, DVD、任何其它光学介质、穿孔卡片、纸带、光学标记片、具有孔的图案或其它在光学上可识别的标记的任何其它物理介质、RAM、PROM、EPROM、快闪EPROM、EEPROM、闪存、任何其它存储器芯片或盒、载波或任何其它计算机可读的介质。本文使用的术语计算机可读存储介质指除了传输介质以外的任何计算机可读介质。
[0089]在一个或多个有形介质中编码的逻辑包括计算机可读存储介质和特殊用途硬件(如ASIC620)上的处理器指令的其中之一或两者。
[0090]网络链路678通常通过一个或多个网络使用传输介质提供到使用或处理信息的其它设备的信息通信。例如，网络链路678可通过本地网络680提供到主机计算机682或到由互联网服务提供商(ISP)运行的设备684的连接。ISP设备684又通过现在通常称为互联网690的网络的公共、全球范围分组交换通信网络提供数据通信服务。
[0091]在连接到互联网的称为服务器主机692的计算机上运行响应于经由互联网接收到的信息而提供服务的进程。例如，在服务器主机692上运行提供表示用于在显示器614处提供的视频数据的信息的进程。设想了系统600的部件可以不同的配置部署在其它计算机系统(例如，主机682和服务器692)内。
[0092]本发明的至少一些实施例与用于实现本文描述的技术中的一些或全部的计算机系统600的使用相关。根据本发明的一个实施例，这些技术由计算机系统600响应于处理器602执行包含在存储器604中的一个或多个处理器指令的一个或多个序列来执行。可从另一计算机可读介质(如存储设备608或网络链路678)将这样的指令(也称为计算机指令、软件和程序代码)读入存储器604。包含在存储器604中的指令序列的执行促使处理器602执行本文描述的方法步骤中的一个或更多。在替代实施例中，硬件(如ASIC620)可以用来代替软件或与软件组合，以实现本发明。因此，本发明的实施例并不限于任何特定的硬件和软件的组合，除非本文另外明确说明。
[0093]通过通信接口 670经由网络链路678和其它网络传输的信号向和从计算机系统600传送信息。计算机系统600可以通过网络680、690 (除了其它的以外)、通过网络链路678以及通信接口 670发送和接收信息，包括程序代码。在使用互联网690的实例中，服务器主机692通过互联网690、ISP设备684、本地网络680和通信接口 670传输通过从计算机600发送的消息请求的特定应用的程序代码。被接收的代码在被接收到时可由处理器602执行，或者可存储在存储器604或存储设备608或任何其它非易失性存储器中，以供以后执行，或者两者兼有。这样，计算机系统600可获取以载波上的信号的形式的应用程序代码。
[0094]各种形式的计算机可读介质可参与向处理器602传送指令或数据或两者兼有的一个或多个序列，以供执行。例如，指令和数据最初可在远程计算机(如主机682)的磁盘上被携带。远程计算机将指令和数据装入其动态存储器，并使用调制解调器经由电话线发送指令和数据。在计算机系统600本地的调制解调器接收电话线上的指令和数据，并使用红外发射器来将指令和数据转换成用作网络链路678的红外载波上的信号。用作通信接口670的红外检测器接收在红外信号中携带的指令和数据，并将表示指令和数据的信息置于总线610上。总线610将信息传送到存储器604，处理器602从存储器604获取指令并使用与指令一起发送的数据中的一些来执行指令。可选地，在存储器604中接收到的指令和数据可在由处理器602执行之前或之后存储在存储设备608上。
[0095]图7示出了芯片组或芯片700，本发明的实施例可在其上实现。芯片组700被编程来如本文所述在基于位置的用户接口中显示交互式预览信息，并包括例如合并在一个或多个物理封装(例如，芯片)中的关于图6所述的处理器和存储器部件。例如，物理封装包括在结构组装件(例如，基板)上的一个或多个材料、部件和/或线的布置，以提供一种或多种特性，如物理强度、尺寸节约和/或电相互作用的限制。设想了在某些实施例中可以单个芯片来实现芯片组700。还设想了在某些实施例中可将芯片组或芯片700实现为单个“单片系统”。还设想了在某些实施例中例如将不使用单独的ASIC，并且将由处理器来执行本文所公开的所有相关功能。芯片组或芯片700或其一部分构成用于执行提供与功能的可用性相关的用户接口导航信息的一个或多个步骤的构件。芯片组或芯片700或其一部分构成用于执行在基于位置的用户接口中显示交互式预览信息的一个或多个步骤的构件。
[0096]在一个实施例中，芯片组或芯片700包括用于在芯片组700的部件之间传递信息的通信机制(如总线701)。处理器703具有到总线701的连接，以执行指令并处理存储在例如存储器705中的信息。处理器703可包括一个或多个处理核心,其中每个核心被配置成独立执行。多核心处理器使得能够在单个物理封装中进行多重处理。多核心处理器的实例包括两个、四个、八个或更大数目的处理核心。替代地或此外，处理器703可包括一个微处理器，或经由总线701协同配置的多个微处理器，以使得能够独立执行指令、进行流水线操作和进行多线程处理。处理器703还可以伴有一个或多个特殊部件，以执行特定的处理功能或任务，如一个或多个数字信号处理器(DSP) 707或者一个或多个专用集成电路(ASIC)709。通常，DSP707被配置来独立于处理器703实时处理真实世界的信号(例如，声音)。类似地，ASIC709可被配置来执行更通用的处理器不容易执行的特殊功能。用来辅助执行本文所述的本发明的功能的其它特殊部件可包括一个或多个现场可编程门阵列(FPGA)(未示出)、一个或多个控制器(未示出)或一个或多个其它特殊用途计算机芯片。
[0097]在一个实施例中，芯片组或芯片700可仅包括一个或多个处理器以及支持和/或关于和/或用于这一个或多个处理器的一些软件和/或固件。
[0098]处理器703和伴随部件具有经由总线701到存储器705的连接。存储器705包括动态存储器(例如，RAM、磁盘、可写入光盘等)和静态存储器(例如，ROM、CD-ROM等)两者，用于存储当被执行时执行本文所述的用来在基于位置的用户接口中显示交互式预览信息的本发明的步骤的可执行指令。存储器705还存储与本发明的步骤的执行相关或由其生成的数据。
[0099]图8是根据一个实施例的能够在图1的系统中操作的用于通信的移动终端(例如，手持设备)的示例性部件的示意图。在一些实施例中，移动终端801或其一部分构成用于执行在基于位置的用户接口中显示交互式预览信息的一个或多个步骤的构件。总的来说，无线电接收器通常按照前端和后端特性来定义。接收器的前端包括射频(RF)电路的全部，而后端包括基带处理电路的全部。如在本申请中所使用的，术语“电路”指:(1)仅硬件的实现(如仅以模拟和/或数字电路的实现)和(2)电路和软件(和/或固件)的组合(例如，如果适用于特定上下文的话，一起工作来促使装置(如移动电话或服务器)执行各种功能的处理器(包括数字信号处理器)、软件和存储器的组合)。此“电路”的定义适用于此术语在本申请中(包括在任何权利要求中)的所有使用。作为进一步的例子，如在本申请中所使用的且如果适用于特定上下文的话，术语“电路”将也涵盖仅仅一个处理器(或多个处理器)及其伴随软件和/或固件的实现。术语“电路”将也涵盖(如果适用于特定上下文的话)例如移动电话中的基带集成电路或应用处理器集成电路或蜂窝网络设备或其它网络设备中的类似集成电路。
[0100]电话的相关内部部件包括主控制单元(MCU) 803、数字信号处理器(DSP) 805和包括麦克风增益控制单元和扬声器增益控制单元的接收器/发射器单元。主显示单元807向用户提供支持执行或支持在基于位置的用户接口中显示交互式预览信息的步骤的各种应用和移动终端功能的显示。显示器807包括被配置来在移动终端(例如，移动电话)的用户接口的至少一部分处显示的显示电路。此外，显示器807和显示电路被配置来帮助用户控制移动终端的至少一些功能。音频功能电路809包括麦克风811和将来自麦克风811的语音信号输出放大的麦克风放大器。经过放大的来自麦克风811的语音信号输出被馈送到编码器/解码器(CODEC) 813。
[0101]无线电部分815放大功率并转换频率，以便与基站通信，基站经由天线817被包括在移动通信系统中。如本领域已知的，功率放大器(PA) 819和发射器/调制电路可操作地对MCU803进行响应，来自PA819的输出耦接到双工器821或循环器或天线开关。PA819还耦接到电池接口和电源控制单元820。
[0102]在使用中，移动终端801的用户向麦克风811讲话，他的或她的话音连同任何检测到的背景噪音被转换成模拟电压。然后，模拟电压通过模数转换器(ADC) 823被转换成数字信号。控制单元803将数字信号路由到DSP805中，以便在那里进行处理，如语音编码、信道编码、加密和交织。在一个实施例中，使用蜂窝传输协议(如用于全球演进的增强数据率(EDGE)、通用分组无线服务(GPRS)、全球移动通信系统(GSM)、互联网协议多媒体子系统(IMS)、通用移动通信系统(UMTS)等)以及任何其它适合的无线媒介(例如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi )、卫星等等)或其任何组合，通过未单独示出的单元，将经过处理的话音信号编码。
[0103]然后，经过编码的信号被路由到均衡器825，以便补偿在通过空气传输期间发生的任何频率依赖的损失(如相位和振幅失真)。在均衡位流之后，调制器827将信号与在RF接口 829中生成的RF信号组合。调制器827通过频率或相位调制生成正弦波。为了准备用于传输的信号，上变频器831将来自调制器827的正弦波输出与由合成器833生成的另一正弦波组合，以实现所需的传输频率。然后，通过PA819来发送信号，以将信号增大到适当的功率级别。在实际系统中，PA819充当可变增益放大器，其增益由DSP805从接收自网络基站的信息进行控制。然后，信号在双工器821内被滤波，并可选地被发送到天线耦合器835，以匹配阻抗，从而提供最大功率传输。最后，信号经由天线817被传输到本地基站。可提供自动增益控制(AGC)，以控制接收器的末级的增益。可将信号从那里转发到远程电话或其它电话网络，其中远程电话可以是另一蜂窝电话、任何其它移动电话或连接到公共交换电话网络(PSTN)的陆地线路。
[0104]传输到移动终端801的话音信号经由天线817来接收，并立即被低噪音放大器(LNA) 837放大。下变频器839降低载波频率，同时解调器841剥离RF，从而只留下数字位流。然后，信号经过均衡器825，并被DSP805处理。数模转换器(DAC) 843转换信号，并且所得输出通过扬声器845被传输给用户，所有这些都在主控制单元(MCU) 803的控制之下，MCU803可被实现为中央处理单元(CPU)(未示出)。
[0105]MCU803接收包括来自键盘847的输入信号的各种信号。与其它用户输入部件(例如，麦克风811)组合的键盘847和/或MCU803包括用于管理用户输入的用户接口电路。MCU803运行用户接口软件以帮助用户控制移动终端801的至少一些功能，以在基于位置的用户接口中显示交互式预览信息。MCU803还分别向显示器807和语音输出切换控制器提供显示命令和切换命令。此外，MCU803与DSP805交换信息，并可以访问可选地并入的SM卡849和存储器851。另外，MCU803执行终端的必要的各种控制功能。取决于实现，DSP805可对话音信号执行各种惯常的数字处理功能中的任何一种。此外，DSP805从由麦克风811检测到的信号确定本地环境的背景噪音级别，并将麦克风811的增益设置为被选定来补偿移动终端801的用户的自然趋势的级别。
[0106]C0DEC813包括ADC823和DAC843。存储器851存储包括来电提示音数据的各种数据，并且能够存储包括经由例如全球互联网接收的音乐数据的其它数据。软件模块可驻留在RAM存储器、闪存、寄存器或本领域中已知的任何其它形式的可写存储介质中。存储设备851可为(但不限于)单个存储器、CD、DVD、ROM、RAM、EEPROM、光学存储器、磁盘存储器、闪存存储器或能够存储数字数据的任何其它非易失性存储介质。[0107]可选地并入的SM卡849承载例如诸如蜂窝电话号码、提供服务的运营商、订阅详细信息和安全信息的重要信息。SIM卡849主要用来在无线电网络上识别移动终端801。SIM卡849还包含用于存储个人电话号码记录、文本消息和用户特定的移动终端设置的存储器。
[0108]虽然结合多个实施例和实现描述了本发明，但本发明并不被如此地限制，而是涵盖落入权利要求书的范围的各种明显的修改和等同布置。尽管本发明的特征在权利要求书中是以某些组合来表达的，但也设想了可以任何组合和顺序来安排这些特征。
【权利要求】
1.一种方法，所述方法包括: 至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口； 确定所述视场外的一个或多个项目；以及 确定在所述用户接口中提供一个或多个用户接口对象，其中所述一个或多个用户接口对象至少部分地呈现与所述一个或多个项目相关的预览信息。
2.根据权利要求1所述的方法，其还包括: 至少部分地促使处理与所述一个或多个项目相关的位置信息以确定关于所述一个或多个用户接口对象、所述用户接口的一个或多个其它对象、所述基于位置的服务或其组合的遮挡信息。
3.根据权利要求2所述的方法，其还包括: 至少部分基于所述遮挡信息来确定提供所述一个或多个用户接口对象，以至少部分地指示所述一个或多个项目的方向。
4.根据权利要求2所述的方法，其还包括: 至少部分基于所述遮挡信息来确定在一个或多个其它对象上或附近提供所述一个或多个对象，或提供所述一个或多个对象以避免遮挡所述一个或多个其它对象。
5.根据权利要求1所述的方法，其还包括: 接收用于在与所述用户接口相 关的位置和与所述一个或多个用户接口对象、所述一个或多个项目或其组合相关的一个或多个其它位置之间创建链路的输入。
6.根据权利要求5所述的方法，其还包括: 接收用于激活所述链路的另一输入， 其中所述链路的激活切换在所述用户接口的至少一部分中的所述一个或多个用户接口对象、所述一个或多个其它位置、所述一个或多个项目或其组合的呈现。
7.根据权利要求1所述的方法，其还包括: 确定与所述一个或多个项目相关的相关性信息；以及 处理和/或促进处理所述相关性信息以确定提供或呈现所述一个或多个用户接口对象的顺序。
8.根据权利要求1所述的方法，其还包括: 接收用于将所述一个或多个对象中的至少一个对象移动到所述用户接口的一个或多个预定区域的输入，其中所述一个或多个预定区域与一系列喜好对象、一系列要操作的对象或其组合相关。
9.根据权利要求1所述的方法，其中所述预览信息至少部分包括所述一个或多个项目的一个或多个表示、与所述一个或多个项目相关的位置信息的一个或多个表示、与所述一个或多个项目相关的内容信息或其组合。
10.根据权利要求1所述的方法，其中所述用户接口至少部分地描绘混合现实视图、增强现实视图、增强虚拟现实视图、全景或其组合。
11.根据权利要求1所述的方法，其中所述一个或多个项目至少部分包括关注点、联系人的登记地址或共享位置、约会位置、事件位置、用户生成的注释或其组合。
12.一种装置，所述装置包括: 至少一个处理器；以及至少一个存储器，其包括用于一个或多个程序的计算机程序代码， 所述至少一个存储器和所述计算机程序代码配置成利用所述至少一个处理器促使所述装置执行至少以下操作， 至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口； 确定所述视场外的一个或多个项目；以及 确定在所述用户接口中提供一个或多个用户接口对象， 其中所述一个或多个用户接口对象至少部分地呈现与所述一个或多个项目相关的预览信息。
13.根据权利要求12所述的装置，其中还促使所述装置来: 至少部分地促使处理与所述一个或多个项目相关的位置信息以确定关于所述一个或多个用户接口对象、所述用户接口的一个或多个其它对象、所述基于位置的服务或其组合的遮挡信息； 至少部分基于所述遮挡信息来确定提供所述一个或多个用户接口对象，以至少部分地指示所述一个或多个项目的方向；以及 至少部分基于所述遮挡信息来确定在一个或多个其它对象上或附近提供所述一个或多个对象，或提供所述一个或多个对象以避免遮挡所述一个或多个其它对象。
14.根据权利要求12所述的装置，其中还促使所述装置来: 接收用于在与所述用户接口相 关的位置和与所述一个或多个用户接口对象、所述一个或多个项目或其组合相关的一个或多个其它位置之间创建链路的输入， 其中所述链路的激活切换在所述用户接口的至少一部分中的所述一个或多个用户接口对象、所述一个或多个其它位置、所述一个或多个项目或其组合的呈现。
15.根据权利要求12所述的装置，其中还促使所述装置来: 确定与所述一个或多个项目相关的相关性信息；以及 处理和/或促进处理所述相关性信息以确定在所述用户接口中提供或呈现所述一个或多个对象的顺序。
16.根据权利要求12所述的装置，其中还促使所述装置来: 接收用于将所述一个或多个对象中的至少一个移动到所述用户接口的一个或多个预定区域的输入， 其中所述一个或多个预定区域与一系列喜好对象、一系列要操作的对象或其组合相关。
17.一种计算机可读存储介质，其承载一个或多个指令的一个或多个序列，所述指令在由一个或多个处理器执行时促使装置来至少执行以下步骤: 至少部分基于视场来确定在设备处提供用于基于位置的服务的用户接口； 确定所述视场外的一个或多个项目；以及 确定在所述用户接口中提供一个或多个用户接口对象， 其中所述一个或多个用户接口对象至少部分地呈现与所述一个或多个项目相关的预览信息。
18.根据权利要求17所述的计算机可读存储介质，其中还促使所述装置来执行: 处理和/或促进处理与所述一个或多个项目相关的位置信息以确定关于所述用户接口的一个或多个其它对象、所述基于位置的服务或其组合的遮挡信息； 至少部分基于所述遮挡信息来确定提供所述一个或多个用户接口对象，以至少部分地指示所述一个或多个项目的方向；以及 至少部分基于所述遮挡信息来确定在一个或多个其它对象上或附近提供所述一个或多个对象，或提供所述一个或多个对象以避免遮挡所述一个或多个其它对象。
19.根据权利要求17所述的方法，其中还促使所述装置来执行: 接收用于在与所述用户接口相关的位置和与所述一个或多个用户接口对象、所述一个或多个项目或其组合相关的一个或多个其它位置之间创建链路的输入， 其中所述链路的激活切换在所述用户接口的至少一部分中的所述一个或多个用户接口对象、所述一个或多个其它位置、所述一个或多个项目或其组合的呈现。
20.根据权利要求17所述的计算机可读存储介质，其中还促使所述装置来: 确定与所述一个或多个项目相关的相关性信息；以及 处理和/或促进处理所述相关性信息以确定在所述用户接口中提供或呈现所述一个或多个对象的顺序。`
【文档编号】G06T17/05GK103502982SQ201280020611
【公开日】2014年1月8日 申请日期:2012年1月30日 优先权日:2011年3月16日
【发明者】B·卡斯特罗, S·瓦蒂宁, D·墨菲 申请人:诺基亚公司