拐角检测器或者Harris和St印hens拐角检测器、或者用于检测拐角或斑点对象的高斯-拉普拉斯(LoG)或高斯差分(DoG)检测器。
[0052]电子设备100可以执行针对以下项中的一个或多个的空间特征检测处理:由广角成像相机114捕获的广角视图(WAV)图像帧、由窄角成像相机捕获的窄角视图(NAV)图像帧、由面对用户的成像相机118捕获的图像帧、以及由深度传感器120捕获的反射调制光图像帧(其可以包括由面对前方的成像相机114和成像相机116之一捕获的图像帧)。
[0053]图像中的空间特征的标识提供那些空间特征在二维空间中的相对位置，即“2D空间特征”。为了将2D空间特征地图构建至第三维度(即，距电子设备100的距离或“深度”)，即，以确定对应“3D图像特征”，电子设备100使用多视图图像分析或使用深度传感器数据的分析中的一者或两者来确定2D特征相对于电子设备100的深度。
[0054]对于多视图图像分析，通过使用各种特征匹配技术中的任何一种来匹配WAV图像帧中标识的空间特征与对应NAV图像帧中标识的空间特征，并且然后基于两个图像帧之间的空间特征定位的位移并且基于广角成像相机114的光轴和窄角成像相机116的光轴之间的距离来计算每个空间特征的相对深度，电子设备100依靠视差现象。为了使用深度传感器数据标识2D特征的深度，电子设备100匹配可见光图像帧中的至少一个(即，NAV图像帧或WAV图像帧之一)中标识的空间特征与深度传感器数据中标识的空间特征，并且电子设备100可以将标识的可见光空间特征确定为具有由来自深度传感器数据的匹配空间特征指示的深度-距离。不是或除了使用WAV图像帧或NAV图像帧，在一些实施例中，电子设备100可以使用从WAV图像帧和NAV图像帧的对齐和组合(或“缝合”)生成的对齐(或“缝合”)图像帧，如下面参照块720描述的。
[0055]利用本地环境112的当前捕获像中标识的3D空间特征，在块716处，电子设备100基于对3D空间特征的分析来确定或更新其当前相对定位/定向。在一个实施例中，电子设备100实现基于视觉测程法的定位/定向检测处理，由此在常称为“光流估算”的处理中，基于当前捕获像和先前捕获像之间的相同空间特征定位的位移，电子设备100确定其相对于其先前确定的定位/定向的新定位/定向。用于光流估算的算法的示例包括熟知的Lucas -Kanade方法、以及基于模板的方法或基于特征描述符匹配的方法。
[0056]在一些实施例中，电子设备100利用在块712确定的当前上下文来帮助确定当前定位/定向。在一些实施方式中，当前上下文用于验证或精炼原本通过像分析确定的定位/定向读数。为了说明，电子设备100可以从像分析确定定向读数，并且然后使用最近的来自陀螺仪传感器的6DoF读数验证基于图像的定向读数的准确性。作为另一示例，电子设备100可以从像分析确定当前定位，确定电子设备100从先前确定的定位过渡到当前定位将必需行进的平均速度，并且然后验证这一估算速度与来自加速计的一个或多个读数以便于验证估算的当前定位与测量的速度读数一致。在一些实施例中，电子设备100利用在块712确定的当前上下文来过滤在执行针对定位/定向检测的像分析中要利用的图像数据。作为一个示例，电子设备100可以使用来自陀螺仪的6DoF读数或者来自重力梯度仪的重力定向读数来确定电子设备100的当前重力定向，并且使用这一信息避免其将不可能给出电子设备100的重力定向的针对潜在空间特征匹配的空间特征关联努力。
[0057]进一步地，电子设备100可以使用用户提供的位置上下文来更精确地标识电子设备100的大体位置或区域。作为示例，电子设备100可以检测用户最近的电子邮件、音频或文本消息通信中对特定大型购物中心的引用，并且从而假定用户位于大型购物中心。由此，电子设备100可以例如访问具有大型购物中心的位置/地图构建信息的数据库，并且基于这一位置/地图构建信息来聚焦基于像的定位。
[0058]移动机器人经常实现同时定位和地图构建(SLAM)算法，以不仅为本地环境构建地图而且确定它们在地图构建环境内的相对位置，而无需本地环境的先验知识。电子设备100可以使用块716的定位/定向确定处理随时间的多次迭代来利用这些相同的SLAM技术，以便于在每个适当时间点并发确定和更新电子设备100的定位/定向的同时生成本地环境112的地图。这一本地地图构建信息可以由电子设备100用于支持各种基于位置的功能中的任何一种，诸如在确定针对用户的到指定目的地的路径以及根据这一路径向用户提供视觉导航帮助中使用的，如下面更详细描述的。
[0059]在一些实施例中，电子设备100可以保持本地环境112中标识的空间特征的全局或绝对定位/定向的估算。为此目的，在块717处，电子设备100可以使用表示全局定位/定向信息的非图像传感器数据(诸如，在块710处从GPS接收器、磁强计、回转罗盘等捕获的传感器数据)来更新在块714处标识的空间特征的全局位置估算。这一全局定位/定向信息可以用于确定电子设备100的全局定位/定向，并且从这一信息，电子设备100可以估算标识的空间特征的全局定位/定向(基于它们相对于电子设备100的定位/定向)。然后，电子设备100可以存储或更新空间特征的这一估算的全局定位/定向，作为与空间特征相关联的元数据。
[0060]而且，电子设备100可以使用空间特征的全局定位/定向的这些估算来选择性地放弃在块710的迭代处获得对某些非图像传感器数据的更新的处理。例如，如果电子设备100标识到重复的空间特征(其是还从块714的先前迭代标识的空间特征)，则电子设备100可以使用这一重复空间特征的全局定位/定向估算代替诸如来自GPS接收器的GPS数据之类的某些其它非图像传感器数据。在相似的方法中，电子设备100还可以使用一个或多个空间特征的先前确定的估算全局定位/定向，来向新遇到的空间特征指派估算全局定位/定向(基于它们相对于先前地图构建的空间特征的估算定位/定向)。
[0061]利用电子设备100的当前定位/定向的确定以及从在当前定位/定向捕获的图像数据标识的各种空间特征，在块718处，电子设备100可以基于当前定位/定向访问网络内容，以便于支持电子设备100的某个基于位置的功能或者支持与电子设备100通信的联网系统的某个基于位置的功能。作为示例，电子设备100可以支持其基于电子设备100的本地区域而提供虚拟现实的联网多玩家视频游戏。利用当前定位/定向，电子设备100可以访问玩家状态信息，以便于显示其他玩家相对于电子设备100的当前定位的定位。作为另一示例，电子设备100可以支持其为朋友、同事和用户感兴趣的其他人的位置构建地图的朋友地图构建应用。电子设备100可以向中央服务器提供其当前定位，中央服务器不仅更新其他用户的账户以反映当前定位而且使电子设备100更新有在当前位置的指定距离内的其他用户。
[0062]除了或代替下载网络内容，在块718处，电子设备100可以向网络上传设备内容。上传的设备内容可以包括例如图像数据、与标识的空间特征和它们的对应元数据有关的信息、相对定位/定向信息、估算的绝对定位/定向信息等。这一上传的设备内容可以被同化入来自大批相似设备的这种信息的数据库，并且然后这一数据库可以用于提供各种基于位置的服务。例如，来自电子设备100的内容数据可以与相似内容整合，以提供用于网络连接的导航/地图构建软件应用的像、位置和路由信息。
[0063]如上所述，电子设备100可以包括显示器108 (图1)，以显示使用面对前方的成像相机114和成像相机116中的一者或两者捕获的本地环境112的像。显示的像还可以包括增强现实图形信息，诸如上面参照图1描述的示例，由此办公室的墙壁中的电布线的定位被注释在与所显示的墙壁像同步的图形覆盖中。为此目的，在块720处，电子设备100执行图像对齐处理，以组合在块702和块704的一次或多次迭代捕获的一个或多个WAV图像和一个或多个NAV图像，以形成单个组合图像帧。图像对齐处理可以将来自NAV图像的细节添加至WAV图像，以提供WAV图像的更详细版本，或者反之亦然。替代地，可以对齐和组合多个NAV图像，以形成其描绘比任何单个单独NAV图像更大区域(例如，全景)的单个图像帧。在其它实施例中，电子设备100可以代之选择呈现WAV图像或NAV图像而无修改。
[0064]在块722处，电子设备100确定要向用户以图形呈现的作为在块720处生成或选择的图像帧的图形覆盖的AR信息，并且在块724处提供图像帧和图形覆盖以用于在电子设备100显示。AR信息可以本地存储在电子设备100，诸如在硬盘驱动器或可移除介质存储设备中。如上面参照块718讨论的，AR信息可以远程存储在诸如由电子设备100经由WLAN或蜂窝数据连接访问的因特网连接的服务器，并且AR信息可以响应于当前定位/定向的确定而被访问。结合图像帧向用户呈现的特定AR信息可以基于显式用户信息来选择，诸如由用户选择本地环境112的墙壁、地板和天花板内的采暖、通风和空调(HVAC)管道的定位的虚拟显示。被选择用于呈现的AR信息还可以基于隐式选择准则来选择。例如，响应于检测到用户正在朝向在用户的文本消息通信中标识的指定目的地行进，电子设备100可以生成其给出与用户朝向目的地的进程有关的各种度量的AR信息，诸如从用户的当前定位到达目的地所需的估算时间、目的地相对于用户的当前定位的罗盘方向等。
[0065]图形覆盖中呈现的AR信息的视图视角经常会依赖于如在块716处确定的电子设备100的特定定位/定向。例如，用户可以与电子设备100的GUI通过接口接合，以引导电子设备100帮助用户找到出口门。假设电子设备100已经通过在块716处的SLAM处理为本地环境112构建地图，并且已经通过这一地图构建标识了出口门，则电子设备100可以使用电子设备100相对于这一地图构建的当前定位来确定通过本地环境到出口门的路线，并且然后使用电子设备100的定向来指示其将用户导航到出口门的导航箭头图形。在用户(和电子设备100)沿着路径移动到出口门时，电子设备100可以更新所呈现的导航箭头图形，以反映将路径继续导航到出口门所必要的任何方向改变。在更复杂的应用中，办公室的电布线和HVAC管道位置信息可以以计算机辅助绘图(CAD)形式存储，使得电子设备100可以以与所呈现的图像中存在的对应墙壁、地板和天花板的相对定位/定向关联的三维形式来呈现面对电子设备100后方的办公室区域的所呈现图像帧中存出的电布线和HVAC管道位置的图形表示。在用户在办公室到处移动电子设备100时，所呈现的本地环境112的图像改变，并且从而电子设备100更新电布线和HVAC管道覆盖，以反映在显示器108呈现为像的办公室区域的改变。
[0066]由图形覆盖呈现的视图视角还可以基于用户的头部(或者用户的眼睛)相对于显示器108的定位的改变来修改。为此目的，电子设备100可以对如在块708处捕获的头部跟踪或眼睛跟踪信息中表示的头部/眼睛定位改变做出反应，以改变在显示器108呈现的图像和图形覆盖的视图视角。
[0067]如上所述，电子设备100循环通过方法700的迭代，以提供实时、更新的定位、地图构建和增强现实显示。然而，这些子处理不必要以相同的速率循环。为了说明，图像对齐和AR处理可以以与成像相机114、成像相机116和成像相机118相同的帧速率更新/循环，因为这些处理直接绑定到捕获像。然而，非图像传感器捕获和当前上下文确定可以以不同的循环速率进行。为了说明，可能适当的是，比帧速率更频繁地捕获陀螺仪或惯性传感器状态，以便具有足够准确的惯性导航估算。相反，电子设备100的位置有关的特征可能不要求高的定位分辨率，并且从而用于确定电子设备100的当前定位/定向的图像分析处理可以以比成像相机的帧速率更慢的循环速率发生。
[0068]图8图示依照本公开的至少一个实施例的由电子设备100实现的示例处理系统800。处理系统800包括广角成像相机114、窄角成像相机116、面对用户的成像相机118和深度传感器120。处理系统800进一步包括2D处理器802、应用处理器804、显示控制器806、电源808、非图像传感器的集810、以及用户接口 812。
[0069]在诸如平板计算机或智能电话实施方式之类的便携式用户设备实施方式中，电源808可以包括电池、太阳能电池阵列、或者用于给电子设备的电部件供电的其它便携式功率源。在非便携式设备实施方式中，电源808可以包括用于将外部电压供应转换为对于电子设备100的部件来说适当的电压电平的功率转换器。用户接口 812包括由用户操纵为向电子设备100提供用户输入的一个或多个部件，诸如触摸屏814、鼠标、键盘、麦克风816、各种按钮或开关、以及各种触觉致动器818。非图像传感器的集810可以包括用于提供电子设备100的非图像上下文或状态的各种传感器中的任何一种。这样的传感器的示例包括陀螺仪820、磁强计822、加速计824和环境光传感器826。非图像传感器可以进一步包括各种基于无线接收或传送的传感器，诸如GPS接收器828、无线局域网(WLAN)接口 830、蜂窝接口832、对等(P2P)无线接口 834、以及近场通信(NFC)接口 836。非图像传感器还可以包括诸如触摸屏814或麦克风816之类的用户接口 812的用户输入部件。
[0070]电子设备100进一步访问存储与其图像处理、位置地图构建和位置利用处理结合使用的信息或元数据的各种数据存储。这些数据存储可以包括用于存储从由电子设备100的成像相机捕获的像标识的2D空间特征的元数据的2D特征数据存储838以及用于存储从使用多视图分析或基于调制光的深度感测的2D空间特征深度感测标识的3D特征的元数据的3D空间特征数据存储840。针对2D特征和3D特征存储的元数据可以包括例如用于同步目的的时间戳、其中标识空间特征的图像帧的图像帧标识符、所使用的捕获设备的标识符、校准信息等。这一元数据可以进一步包括与含有标识的空间特征的图像帧同时期的非图像传感器数据，诸如GPS、wifi或其它无线电信息、当日时间信息、天气条件信息(其影响照明)等。数据存储可以进一步包括其存储基于SLAM的信息(诸如已经由电子设备100探测的本地环境112(图1)的区域的地图构建信息)或AR信息(诸如，本地环境112中的兴趣对象的相对位置的基于CAD的表示)的SLAM/AR数据存储842。数据存储可以是电子设备100本地的，诸如在硬盘驱动器、固态存储器或可移除存储介质(未示出)上，数据存储可以远程定位并且经由例如电子设备100的无线接口中的一个或多个可访问，或者数据存储可被实现为本地和远程数据存储的组合。
[0071]在所描绘的实施方式中，处理系统800采用两个处理器:2D处理器802，被配置为从电子设备100的成像相机捕获的可见光像和深度传感器像高效地标识2D空间特征；以及应用处理器804，被配置为从2D空间特征高效地标识3D空间特征并且高效地提供诸如视觉测程法或其它SLAM功能、AR功能等之类的基于位置的功能。然而，在其它实施例中，所描述的2D处理器802和应用处理器804的功能可以实现在单个处理器中，或者两个以上的处理器一起可以实现所描述的功能。2D处理器802可以被实现为例如单核或多核图形处理单元(GPU)，并且应用处理器804可以被实现为例如GPU或者单核或多核中央处理单元(CPU)。
[0072]2D处理器802耦合到广角成像相机114、窄角成像相机116和面对用户的成像相机118，以便于将由成像相机捕获的图像数据接收在一个或多个像素行缓冲区844中。在一个实施例中，2D处理器802包括用于每个成像相机的接口和像素行缓冲区844，以便于能够并行地从每个成像相