视图中存在的墙壁内的定位和定向。然后，电子设备100可以用相对于视频像中标识的对应空间特征(例如，拐角124、拐角126和拐角128)定位和定向的电布线的视觉表示来生成图形覆盖。如图1所示，图形覆盖可以包括表示当前视图中的电布线的彩色虚线152和彩色虚线154以及用于提供诸如布线类型、与布线相关联的标识符、以及由对应布线供电的楼部件之类的对电布线的描述的描述气球(descript1n balloon) 156和描述气球158。然后，电子设备100在显示器108共同呈现图形覆盖和视频像，以便于向用户110呈现电布线在如由窄角成像相机116捕获的本地环境112的当前视图内的位置的图形表示160。在电子设备100相对于先前视图移动时，电子设备100更新图形覆盖以便于反映改变的视角。而且，头部跟踪数据140可以用于检测用户110的头部122相对于显示器108的定位的改变，响应于此电子设备100可以调整所显示的图形表示160，以便于反映用户110相对于显示器108的改变的查看角度。
[0032]作为另一示例，本地或远程AR数据库可以用于便于经由电子设备100的室内导航。为了说明，本地环境112可以表示大型购物中心的内部，并且响应于接收到指示期望定位某个商店的用户输入，电子设备100可以访问AR数据库以确定相对于其当前位置的商店的位置。利用这一信息，电子设备100可以在由成像相机114、成像相机116或成像相机118中的一个或多个当前捕获的视频像的顶部上显示其标识相对于电子设备100指向的当前方向的商店方向(例如，经由显示“右转”、“左转”、“继续向前直行”或“转身”箭头图形)
的图形覆盖。
[0033]相对定位/定向确定处理的另一示例应用可以包括例如缺失对象/新对象检测，由此新对象的出现或者先前标识对象的消失可以基于给定相对定位和定向的电子设备100的预期本地环境视图与相同定位/定向中的电子设备100捕获的实际本地环境视图的比较来确定。如下面描述的，由预期环境和实际遇到的环境之间的差异引入的几何不确定性可以触发各种操作，包括刷新操作，由此电子设备100发起展现改变的本地环境112的部分的地图重建。
[0034]图2和图3图示依照本公开的至少一个实施例的平板外形规格的电子设备100的示例实施方式的示例平面前视图和平面后视图。电子设备100可以以诸如智能电话外形规格、医疗成像设备外形规格等之类的其它外形规格来实现，它们实现与图示的那些类似的配置。
[0035]如由图2的平面前视图200图示的，电子设备100可以包括显示器108、成像相机
118、以及诸如部署在面对用户的表面104的小键盘的触摸键202、触摸键204和触摸键206之类的一个或多个用户接口部件。而且，显示器108可以被实现为触摸屏显示器，以便于经由用户与显示器108的交互的用户输入和控制。
[0036]如由图3的平面后视图300图示的，电子设备100可以包括部署在面对前方的表面106的广视图成像相机114、窄视图成像相机116和调制光投射器119。虽然为了图4中的示例横截面图，图2和图3图示沿直线对齐的成像相机114、成像相机116和成像相机118以及调制光投射器119，但是成像相机114、成像相机116和成像相机118以及调制光投射器119可以相对于彼此偏移。例如，调制光投射器119可以定位成从延伸在成像相机114和成像相机116之间的线偏移，或者调制光投射器119和广角成像相机114可以沿与电子设备100的顶部边缘平行的线部署，并且窄角成像相机116可以部署在从该线偏移的位置处。而且，虽然调制光投射器119被图示为定位在成像相机114和成像相机116之间，但是在其它实施方式中，调制光投射器119可以定位到成像相机114和成像相机116之一的外侧。
[0037]图4图示依照本公开的至少一个实施例的沿在图2和图3的平面图中描绘的线210的电子设备100的不例横截面图400。如图不的，电子设备100包括部署在面对用户的表面104的壳体102中的孔径402或其它开口中的面对用户的成像相机118，并且包括部署在面对前方的表面106的壳体102中的分别在孔径404和孔径406或其它开口中的广角成像相机114和窄角成像相机116。广角成像相机114包括图像传感器408以及部署在图像传感器408的感测表面之上的一个或多个透镜410。窄角成像相机116包括图像传感器412以及部署在图像传感器412的感测表面之上的一个或多个透镜414。相似地，面对用户的成像相机118包括图像传感器416以及部署在图像传感器416的感测表面之上的一个或多个透镜418。
[0038]针对每个成像相机实现的透镜类型依赖于成像相机所旨在的功能。因为面对前方的成像相机114在一个实施例中旨在于用于分析本地环境112的机器视觉特定的像，所以透镜410可以被实现为具有例如在160-180度之间的视角的广角透镜或鱼眼透镜(具有已知高畸变)。面对前方的成像相机116在一个实施例中支持用户发起的图像捕获，并且从而面对前方的成像相机116的透镜414可以被实现为具有例如水平地在80-90度之间的视角的窄角透镜。注意，这些视角仅是示例性的。同样地，面对用户的成像相机118可以具有除了支持本地环境成像或头部跟踪之外的其它用途。例如，面对用户的成像相机118还可以用于支持电子设备100的视频会议功能。据此，根据应用，面对用户的成像相机118的透镜418可以被实现为窄角透镜、广角透镜或鱼眼透镜。
[0039]成像相机114的相应图像传感器408、成像相机116的相应图像传感器412和成像相机118的相应图像传感器416可以被实现为基于电荷耦合器件(CCD)的传感器、互补金属氧化物半导体(CMOS)有源像素传感器等。在基于CMOS的实施方式中，图像传感器可以包括滚动快门传感器，由此在传感器上的所有其它行继续曝光的同时读出图像传感器的一个或多个行像素传感器的组。由于更长的曝光时间或者更多有用的光敏感区域，这一方法有益于提供增加的灵敏度，但是由于帧中捕获的高速对象，具有经受畸变的缺点。畸变效应可以通过以下方式来最小化:实现滚动快门中的全局重置机制，使得传感器上的所有像素同时开始收集电荷，而不是在逐行的基础上。在基于CCD的实施方式中，图像传感器可以被实现为全局快门传感器，由此传感器的所有像素在同一时间曝光并且然后转移到遮蔽区域，这然后可以在下一图像帧曝光的同时读出。这一方法有益于较不易受到畸变的影响，而由于每个像素要求的附加电子器件，具有总体上降低的灵敏度的不利之处。
[0040]在一些实施例中，广角成像相机114和窄角成像相机116的视场在区域420中重叠，使得区域420中的本地环境112(图1)中的对象呈现在由广角成像相机114捕获的图像帧和由窄角成像相机116并发捕获的图像帧两者中，由此允许由电子设备100通过对两个并发图像帧的多视图分析来确定区域420中的对象的深度。因此，面对前方的成像相机114和成像相机116被定位在面对前方的表面106，使得区域420覆盖所旨在的相对于电子设备100的距离范围和扫程。而且，由于多视图分析依靠视差现象，所以面对前方的成像相机114和成像相机116充分分开以提供用于多视图分析的足够视差。
[0041]还在横截面图400中图示的是调制光投射器119的各种示例定位。调制光投射器119在总体上垂直于表面106的方向上投射红外调制光图案424，并且利用面对前方的成像相机114和成像相机116中的一者或两者来捕获所投射的光图案424的反射。在所描绘的示例中，调制光投射器119部署在面对前方的表面106在成像相机114和116之间的位置处。在其它实施例中，调制光投射器119可以部署在成像相机之一和壳体102边缘之间的位置处，诸如在广角成像相机114和壳体102的侧面之间的位置422处，或者在窄角成像相机116和壳体102的侧面之间的位置(未示出)处。
[0042]图5和图6图示依照本公开的各种实施例的调制光投射器119的示例实施方式。在两个实例中，调制光投射器119操作为投射由红外光(或者在一些实例中，具有指定颜色或颜色集或者指定频率的可见光)构成的调制光图案500。在一些实施例中，调制光图案500包括空间调制光图案，诸如DeBruijn序列、光特征的Μ阵列(诸如，图示的点502的矩阵，由此点502是高光强度区域)等的投射。可以实现的其它空间调制光图案包括例如同心环图案或同心矩形图案、平行线、或者平行和垂直线(即，网格)等。在其它实施例中，调制光图案500包括时间调制(时间复用)光图案序列，诸如二进制码图案序列、η元码图案序列等。在时间调制光应用中，通过反射光图案的对应序列的分析，而不是单独通过任何反射图案，深度传感器120确定深度数据。
[0043]调制光图案500向电子设备100的本地环境中的投射导致光从本地环境中的对象的反射。因为对象的表面离调制光投射器119的深度或距离影响入射在表面上的投射光的反射，所以电子设备100可以使用调制光图案500的反射中存在的图案畸变，来使用各种熟知调制光深度估算技术中的任何一种确定对象表面的深度。替代地，面对前方的成像相机114和成像相机116两者都可以用于捕获投射的调制光图案500的反射，并且可以对并行捕获的深度像执行多视图图像分析以确定本地环境中的对象的深度。在其它实施例中，电子设备100可以使用面对前方的成像相机114和成像相机116中的一者或两者作为与调制光图案500的投射同步的飞行时间成像相机，由此电子设备100使用各种熟知飞行时间深度算法中的任何一种来计算捕获反射中的对象的深度。作为又一示例，电子设备100可以采用其捕获来自调制光投射器119的红外光或近红外光的脉冲的反射光的高速曝光快门成像相机(作为面对前方的成像相机114和成像相机116之一或者作为分立的面对前方的成像相机)，由此针对传感器的每个像素收集的反射脉冲信号量对应于深度范围内的从其反射脉冲的地方，并且从而可以用于计算到主观对象上的对应点的距离。从3DV Systems公司可获得的ZCam(商标)成像相机是这一类型的基于成像的深度传感器的商业实施方式的示例。
[0044]在图5的示例中，调制光投射器119实现为其朝向准直透镜506发射发散IR激光的边缘发射激光二极管504，准直透镜506使发散激光准直并且将准直激光引导向衍射光学元件(D0E)508(还频繁称为“相息图”)，衍射光学元件(D0E) 508从准直激光生成调制光图案500。在一个实施例中，D0E 508可以实际上作为分束器起作用，以生成诸如图5中图示的点502的阵列之类的图案。
[0045]在图6的示例中，调制光投射器119使用其发射发散激光的一个或多个竖直腔面发射激光器(VCSEL) 二极管604的阵列来实现。微透镜的阵列606部署在一个或多个VCSEL二极管604的发射表面以用于准直和聚焦来自VCSEL 二极管604的激光。D0E 608部署在微透镜的阵列606之上，以将产生的准直激光投射作为调制光图案500。图6的示例实施方式具有如下益处:通常更薄，并且相比于可比拟输出的边缘发射激光二极管实施方式具有更低的功耗。在一些实施例中，调制光投射器119进一步可以包括部署在D0E 608之上的聚焦透镜(未示出)。
[0046]图7图示依照本公开的至少一个实施例的用于提供基于位置的功能的电子设备100的操作的示例方法700。为了便于说明，方法700被描绘和通常描述为其可以重复循环的操作的单个回路。然而，如下面详细描述的，并非所有的操作必须以相同的速率循环。应当理解，所描绘的图7的流程图的步骤可以以任何顺序来执行，并且依赖于实施方式，某些步骤可以省略，和/或某些其它步骤可以添加或重复。
[0047]方法700的迭代发起于各种图像传感器数据和非图像传感器数据的捕获。在一个实施例中，传感器数据的捕获触发于或者以其它方式同步于由电子设备100的成像相机114、成像相机116和成像相机118(图1)中的一个或多个捕获并发图像帧。在其它实施例中，各种传感器数据可以周期性地或以其它方式重复获得，并且然后使用时间戳或其它同步元数据同步于捕获的图像数据。这一传感器数据的捕获可以包括在块702处经由广角成像相机114(图1)捕获本地环境112(图1)的广角视图(WAV)图像数据以及在块704处经由窄角成像相机116捕获本地环境112的窄角视图(NAV)图像数据。进一步地，在深度传感器120激活的情况下，本地环境的深度数据可以在块706处经由深度传感器120捕获。此夕卜，表示用户的头部122的当前定位的头部跟踪数据可以在块708处从面对用户的成像相机118获得。
[0048]在块710处，电子设备100捕获来自一个或多个非图像传感器的传感器数据。为此目的，电子设备100可以实现各种非图像传感器中的任何一种以便于确定电子设备100的相对定位/定向。这样的非图像传感器可以包括其提供与电子设备100的相对定位、定向或速度有关的显式信息的陀螺仪、加速计、磁强计、高度计和重力梯度仪中的一个或多个。非图像传感器还可以包括用于提供本地环境112的上下文的传感器，诸如用于感测入射在电子设备上的环境光的程度的环境光传感器以及用于感测本地环境的当前温度的温度计。进一步地，由电子设备100获得的非图像传感器数据可以包括隐式上下文信息，诸如关键词、搜索项、或者从用户对电子设备100的键盘或触摸屏的操纵辨别出来的或者从如由电子设备100的麦克风捕获的用户的语音辨别出来的位置标记。用户的使用历史同样可以用作隐式上下文信息。
[0049]应当注意，可以以不同速率或频率读取不同传感器。例如，环境光读数可以针对成像相机114、成像相机116和成像相机118的每N个图像帧捕获仅被采集一次，而来自陀螺仪的六自由度(6DoF)读数可以每个图像帧捕获被采集以便于使得当捕获对应图像帧时能够检测电子设备100的相对定向。再进一步地，可以以比图像帧捕获速率大得多的速率来获得加速计读数，以便于通过电子设备100的更准确的内部导航确定。
[0050]在块712处，电子设备100使用捕获的非图像传感器数据来确定电子设备100的当前上下文。当前上下文集体表示电子设备100的非定位状态信息，其可以便于确定电子设备100的相对定位，或者其可以便于基于所确定的电子设备的相对定位来呈现增强信息。这一状态信息可以包括显式状态信息，诸如从各种非图像传感器搜集的状态信息。可以以当前上下文表示的显式状态信息的示例可以包括:电子设备100的当前6DoF定向；电子设备100的当前相对速度；入射在电子设备100上的当前环境光；当前时间、星期几或日历日期；各种无线信令(例如，来自蜂窝基站或无线局域网接入点的信令)的可用性或信号强度等。以当前上下文表示的状态信息还可以包括隐式状态信息；即，电子设备100可用的其它信息所暗指的信息。隐式状态信息的示例可以包括:对最近由用户经由键盘或触摸屏输入的文本的关键词搜索或关键项分析；最近由用户经由电子设备100执行的web搜索；用户的位置相关的习惯的历史(例如，用户往返工作的通勤历史)；从对存储在电子设备100或远程位置的电子邮件或其它记录的分析的用户所旨在的目的地的暗示等。
[0051]在块714处，电子设备100分析所捕获的图像传感器数据和深度数据，以标识其以捕获像表示的本地环境112的空间特征。可以如此标识的空间特征可以包括诸如边缘和拐角或其它兴趣点之类的捕获像中的简单结构，或者可以包括诸如曲线、平面、斑点或整个对象之类的更复杂的结构。电子设备100可以利用各种熟知数字图像处理技术中的任何一种来从捕获的图像帧提取空间特征，诸如用于检测边缘的Canny边缘检测器或Sobel算子、用于检测拐角的快速(FAST)