用于从局部地图视图转变到增强现实视图的方法和装置的制造方法
【专利说明】用于从局部地图视图转变到増强现实视图的方法和装置
【背景技术】
[0001] 服务提供商（例如无线、蜂窝等）和设备制造商不断地面临通过例如提供有竞争 力的网络服务来向客户传递价值和便利的挑战。以下已经成为一个感兴趣领域：开发针对 诸如移动设备（诸如移动电话或平板计算机）的用户设备的增强和/或混合现实应用（例 如，绘图和/或导航应用），它们的特征是与在特定位置中的感兴趣点（POI)对应的交互式 概览信息（例如，联系信息、工作时间、评分/评论等）。更具体地，当交互式内容和概览信 息在空间上令人信服地连接到现实世界环境中的对应的POI时，获得空间沉浸，以便用户 感觉的是，交互式场景在感知上是令人信服的以及他或她真的"在哪里"。以下已经成为另 一个感兴趣领域：开发局部地图视图（例如，二维（2D)地图抽象或小型地图），该局部地图 视图能够连同交互式场景一起被显示以向用户对提供针对在所仿真的场景内的POI的他 或她的虚拟定位和定向和空间关系的更好的理解。然而，局部地图视图一般必须足够大以 用于用户理解他或她的周围环境，以及因此，当被置于全景视图上或在角落中时，它们能够 减少空间沉浸的感觉以及挡住重要的信息。因此，服务提供商和设备制造商面对大的技术 挑战以在用户在场景内导航和交互时提供服务，该服务提供补充增强现实视图的局部地图 视图。
【发明内容】
[0002] 因此，存在对用于当用户在场景内导航和交互时提供补充增强现实视图的局部地 图视图的方法的需求。
[0003] 根据一个实施例，一种方法包括：确定位置信息的基于视角的显示的至少一个呈 现的虚拟地板表面。所述方法还包括至少部分地使得在所述虚拟地板表面上渲染局部地图 视图，其中所述局部地图视图提供所述位置信息的可替代视图。
[0004] 根据另一个实施例，一种装置包括至少一个处理器和包含针对一个或多个计算机 程序的计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被 配置为使用所述至少一个处理器至少部分地使得所述装置：确定位置信息的基于视角的显 示的至少一个呈现的虚拟地板表面。所述装置还至少部分地使得在所述虚拟地板表面上渲 染局部地图视图，其中所述局部地图视图提供位置信息的可替代视图。
[0005] 根据另一个实施例，一种计算机可读存储介质载有一个或多个指令的一个或多个 序列，当由一个或多个处理器运行所述一个或多个指令的一个或多个序列时，所述一个或 多个指令的一个或多个序列至少部分地使得装置确定位置信息的基于视角的显示的至少 一个呈现的虚拟地板表面。所述装置还至少部分地使得在所述虚拟地板表面上渲染局部地 图视图，其中所述局部地图视图提供位置信息的可替代视图。
[0006] 根据另一个实施例，一种装置包括：用于确定位置信息的基于视角的显示的至少 一个呈现的虚拟地板表面的构件。所述装置还包括：用于至少部分地使得在所述虚拟地板 表面上渲染局部地图视图的构件，其中所述局部地图视图提供位置信息的可替代视图。
[0007] 另外，对于本发明的各种示例实施例，下列是适用的：一种方法包括促进处理和/ 或处理⑴数据和/或⑵信息和/或（3)至少一个信号，所述⑴数据和/或⑵信息 和/或（3)至少一个信号至少部分地基于（或至少部分地来自）在本申请中所公开的与本 发明的任何实施例相关的方法（或过程）中的任何一个或任何组合。
[0008] 对于本发明的各种示例实施例，下列也是适用的：一种方法包括促进访问被配置 为允许访问至少一种服务的至少一个接口，所述至少一种服务被配置为执行在本申请中所 公开的网络或服务提供商方法（或过程）中的任何一个或任何组合。
[0009] 对于本发明的各种示例实施例，下列也是适用的：一种方法包括促进创建和/或 促进修改（1)至少一个设备用户接口元素和/或（2)至少一个设备用户接口功能，所述（1) 至少一个设备用户接口元素和/或（2)至少一个设备用户接口功能至少部分地基于从在本 申请中所公开的与本发明的任何实施例有关的方法（或过程）中的一个或任何组合中所产 生的数据和/或信息，和/或基于从在本申请中所公开的与本发明的任何实施例有关的方 法（或过程）中的一个或任何组合中所产生的至少一个信号。
[0010] 对于本发明的各种示例实施例，下列也是适用的：一种方法，其包括创建和/或修 改（1)至少一个设备用户接口元素和/或（2)至少一个设备用户接口功能，所述（1)至少一 个设备用户接口元素和/或（2)至少一个设备用户接口功能至少部分地基于从在本申请中 所公开的与本发明的任何实施例有关的方法（或过程）中的一个或任何组合中所产生的数 据和/或信息，和/或基于从在本申请中所公开的与本发明的任何实施例有关的方法（或 过程）中的一个或任何组合中所产生的至少一个信号。
[0011] 在各种示例实施例中，所述方法（或过程）可以在服务提供商侧或移动设备侧，或 在两侧都执行动作以服务提供商和移动设备之间的任何共享的方式来实现。
[0012] 对于各种示例实施例，下列也是适用的：一种装置，其包括用于执行原始提交的权 利要求1-10、21-30和46-48中的任何一项的所述方法的构件。
[0013] 从以下详细描述中，仅通过说明许多特定实施例和实现方式，包括用于实现本发 明所预期的最佳模式，本发明的其它方面、特征和优点是明显的。本发明还可以有其它和不 同实施例，并且在不脱离本发明精神和范围的情况下，可对本发明的若干细节在各种明显 的方面上做出修改。因此，附图和说明书本质上应被认为是说明性的，而不是限制性的。
【附图说明】
[0014] 在以下附图的图中作为示例而非作为限制来说明本发明的实施例：
[0015] 图1是根据一个实施例的能够当用户在场景内导航和交互时提供补充增强现实 视图的局部地图视图的系统的示意图；
[0016] 图2是根据一个实施例的绘图平台的组件图；
[0017] 图3和图4是根据一个实施例的用于当用户在场景内导航和交互时提供补充增强 现实视图的局部地图视图的过程的流程图；
[0018] 图5A和图5B是根据各种实施例的在图3和图4的过程中使用的用户接口的示意 图；
[0019] 图6是根据各种实施例的在图4中使用的局部用户接口的示意图；
[0020] 图7是能够用于实现本发明的实施例的硬件的示意图；
[0021] 图8是能够用于实现本发明的实施例的芯片组的示意图；以及
[0022] 图9是能够用于实现本发明的实施例的移动终端（例如，手持设备）的示意图。
【具体实施方式】
[0023] 公开了用于在用户在场景内导航和交互时提供补充增强现实视图的局部地图视 图的方法、装置和计算机程序的示例。在以下描述中，出于解释的目的，阐述了许多特定细 节，以便提供对本发明实施例的完全理解。然而，对于本领域的技术人员来说，明显的是，在 没有这些特定细节或使用等同配置的情况下，也可实践本发明的实施例。在其它情况下，以 框图的形式示出熟知结构和设备，以避免不必要地使本发明的实施例不清楚。
[0024] 图1是根据一个实施例的能够当用户在场景内导航和交互时提供补充增强现实 视图的局部地图视图的系统的示意图。如前所述，在服务提供商和设备制造商之中的一个 感兴趣的区域是开发针对诸如移动设备（诸如移动电话或平板计算机）的用户设备的增强 和/或混合现实应用（例如，场景或环境），它的特征是与在特定位置中的POI对应的交互 式概览信息。特别地，当交互式内容和概览信息在空间上令人信服地连接到现实世界环境 中的对应的POI时，获得空间沉浸。一个补充的感兴趣领域是开发局部地图视图（例如，二 维（2D)地图抽象或小型地图），该局部地图视图能够连同交互式场景一起被显示以向用户 提供对针对在所仿真的场景内的POI的他或她的虚拟定位和定向和空间关系的更好的理 解。例如，局部地图视图可以包含：表示用户的当前位置的视觉提示，用户正在面向的方向， 以及用户的观看角度或视野（FOV)。此外，局部地图视图可以向用户提供用于从增强现实视 图到全2D地图的转变的进入点（例如，用户能够在局部地图视图上点击以发起该转变）。 然而，局部地图视图一般必须足够大以用于用户理解他或她的周围环境，以及因此，当被置 于全景视图上或角落中时，它们能够减少空间沉浸的感觉以及阻挡重要的信息。
[0025] 为了解决这个问题，图1的系统100引入了当用户在场景内导航和交互时提供补 充增强现实视图的局部地图视图的能力。在一个实施例中，系统100首先确定在用户设备 (诸如移动设备（例如，移动电话或平板计算机））中的位置信息的基于视角的显示的至少 一个呈现的虚拟地板、底部或地面表面（即，虚拟3D平面）。作为示例，基于视角的显示可 以是触摸屏。在一个示例用例中，系统100的过程可以在用户将设备放置在该设备的显示 器平行于现实世界环境中地面的方位中时开始。系统100于是可以至少部分地使得在该 显示器上呈现地图视图，该地图视图包含具有已知地理坐标的一个或多个感兴趣点（POI) (例如，饭店、旅馆、旅游景点等）。特别地，在基于视角的显示内的用户虚拟位置之下的虚 拟地板表面一般不由系统100来确定，这是因为全景捕获技术的限制，以及因此，在不阻碍 重要的另外信息的情况下可以被系统100所阻挡。此外，位置信息至少部分地包含：一个或 多个Ρ0Ι、绘图信息或它们的组合，以及基于视角的显示是绘图显示，绘图显示至少部分地 包含现实世界环境的实时视图、所捕获的全景、静止图像、三维地图（3D地图）或它们的组 合。在一个示例用例中，地图视图和基于视角的显示两者包含：显示用户的当前现实世界位 置的标题区域（例如，"纽约，苏豪区"）。
[0026] 在一个或多个实施例中，系统100接着确定用于将虚拟地板表面带入基于视角的 显示中的视图中的输入（例如，用于倾斜基于视角的显示以便将虚拟地板表面带入视图中 的输入）。更具体地，该输入至少部分地包含：倾斜输入、手势输入、触控输入或它们的组 合。作为示例，如果在用户设备上一个或多个传感器（例如，倾斜或角度传感器、全球定位 系统（GPS)接收器、加速计、罗盘等）是活动的，则用户可以朝向现实世界环境中的地面向 下倾斜他或她的设备以将虚拟地板表面带入基于视角的显示的视图中。特别地，可以设想 的是，这种交互匹配以下比喻：当在街道上散步时向下看地图，以及因此，维持用户的空间 沉浸的感觉。除了倾斜设备之外，在一个示例用例中，该用户可以将他或她的手指放在显示 器上（例如，在该显示器的中心区域上）以及远离他或她的身体来按下他或她的手指，或在 该显示器上向上和向下地按他或她的手指以将虚拟地板表面带入视图中。在另一个示例用 例中，该用户还可以操控缩放控制、切换（toggle)元素或任何键按钮（例如，缩小（_))以 将虚拟地板表面带入视图中。
[0027] 在一个实施例中，系统100于是至少部分地使得至少部分地基于该输入来开始渲 染局部地图视图。例如，如果系统100确定设备的轻微倾斜（例如，〈45° )，则系统100可 以至少部分地使得激活基于视角的显示，以及转换全地图视图（例如，裁减该全地图视图） 以产生局部地图视图（例如，小型地图），以及呈现提示对该用户而言的另外动作的倾斜消 息或通知（例如，"垂直地倾斜你的设备"）。特别地，朝向地面来倾斜该设备使得局部地图 视图淡入视图，使得在该倾斜转变期间局部地图视图的定向保持垂直于现实世界的地面。 另外，在一个或多个实施例中，系统100可以至少部分地使得呈现（例如，存储在该用户设 备上或从第三方设备来获得）的相片、附加到地理位置的消息，或也出现在该场景内的一 个或多个朋友的方位。
[0028] 在一个示例用例中，局部地图视图至少部分地包含：包含罗盘定向（诸如北方向 指示符）的边界、与该用户的方位相关联的绘图信息以及在场景内该用户的定向和方位的 各自表示。另外，局部地图视图还可以由一个或多个导航箭头围绕以使用在场景内的导航 来帮助用户（例如，该箭头可以指向附近的所捕获的全景视图）。此外，系统100至少部分 地使得在与地图视图相关联的一个或多个表示（例如，种类大头针）和与增强现实视图相 关联的一个或多个表示（例如，种类方形和简化的方形）之间的转变。特别地，系统100确 定一个或多个形状和/或图形表示以表示在用户的视野中的POI以及一个或多个其他形状 或图形表示以表示在该用户的视野之外的一个或多个P0I。此外，因为箭头匹配在局部地图 视图上的街道定向，因此该用户可以至少部分地基于在场景内他或她能够移动到的箭头来 具有更好的理解。此外，局部地图视图可以含有街道矢量和名字、具有制图的感兴趣地点和 所请求的感兴趣地点的种类符号（例如搜索结果）、路由、路由引导矢量/箭头、标记、操作 (maneuver)点或支持用户的当前上下文的任何其他类型的图标。
[0029] 在一个或多个实施例中，系统100接着至少部分地使得在虚拟地板表面上渲染局 部地图视图，其中该局部地图视图提供位置信息的可替代或补充视图。作为示例，可替代的 视图可以是在现实世界环境中的用户位置的2D视图、抽象视图或它们的组合。更具体地， 例如，随着设备的倾斜增加，系统100至少部分地使得局部地图视图无缝地表现为更接近 于该显示，以及局部地图视图的中心向着该显示的底部移动。特别地，可以设想的是，在2D 地图和增强现实视图之间的平滑和反射式（reflexive)转变促进了该视图之间的强关联， 以及减少了对应于在基于视角的显示中的各自POI的一个或多个表示的模糊放置的感觉。 此外，在一个或多个实施例中，系统100还至少部分地使得呈现位于至少一个边界区域或 视野内的位置信息的雷达式的概览。作为另一个示例，雷达式概览还至少部分地包含：罗盘 定向（例如，北方向指示符）、在视野中的POI密度的至少一个表示，以及在场景内的用户的 定向和方位的各自表示。另外，雷达式概览还可以表示所选择的位置信息（例如，POI)以 及没有在用户的视野内的那些P0I。此外，雷达式概览还可以指示掩盖的区域，该掩盖的区 域描绘比活动缩放水平更接近于用户的区域，以便在该掩盖的区域上的对象对于用户而言 是不可见的。
[0030] 在某些实施例中，系统100于是至少部分地使得至少部分地基于该输入、观看方 向或它们的组合来进行局部地图视图的渲染的一个或多个修改。在一个示例用例中，如果 系统100确定输入（例如，倾斜手势>45° )，则系统100可以至少部分地使得局部地图视 图开始从基于视角的显示淡出以及雷达式的概览开始淡入。此外，系统100还可以至少部 分地使得附近的POI的一个或多个表示从局部地图视图升高以及移动到增强现实视图（例 如，全景场景）中，逐渐缩放并且相应地扩张。另外，当系统100至少部分地基于在设备上 的一个或多个传感器，确定设备在正上方位（例如，垂直于现实世界中的地面）中时，系统 100可以至少部分地使得在局部地图视图中没有显示的POI的一个或多个表示（例如，在背 景中的Ρ0Ι)出现在朝向基于视角的显示的中部/顶部的场景内，以及局部地图视图部分地 或完全地从该场景消失。在一个实施例中，如果系统100至少部分地基于设备上的一个或 多个传感器（例如，罗盘、加速计等）确定视野的改变（例如设备的旋转），则系统100可以 至少部分地使得局部地图视图相应地旋转。此外，在一个示例用例，当北方向指示符在该显 示内不可见时，系统100可以至少部分地使得外推法来在对应于在局部地图视