个触发事件可以包括超过阈值的所感测的环境光的改变(框1092)，对电子设备的运动的检测(或对不存在运动的检测)(框1094)，或者对当前由成像相机114、116和/或118所捕捉的图像中的某些几何不确定性的检测(框1096)。触发事件还可以包括表示周期性刷新触发器的定时器的流逝。
[0094]响应于检测到触发事件，在框1004，2D处理器802基于触发事件确定用于深度传感器120的适当的修正后的激活配置。作为示例，如果触发事件1002、1092是所感测的环境光超过阈值，则2D处理器802选择从基于多视图的深度感测切换到基于调制光的深度感测，因此激活深度传感器120并将调制光图案的投射的频率、强度和持续时间初始设置为指定的默认值。相反，如果触发事件1002、1092是所感测的环境光降低到阈值以下，则2D处理器802选择切换回基于多视图的深度感测，因此通过将频率、强度和持续时间设置为零来去激活深度传感器120。作为另一示例，如果触发事件1002、1094是电子设备100以超过阈值的速度行进，则2D处理器802增加调制光图案投射以及相应的反射调制光图像捕捉的频率。S卩，2D处理器802可以进入突发模式，由此实行快速序列的深度图像捕捉。相反，如果触发事件1002、1094是电子设备100以低于阈值的速度行进，则2D处理器802减小调制光图案投影以及相应的反射调制光图像捕捉的频率。作为进一步的示例，2D处理器802可以基于检测到的几何不确定性的指示符与一个或多个阈值的比较，增加或减少调制光图案投射/反射调制光图像捕捉的频率(框1096)。
[0095]电子设备100的当前场景还可以被用在确定适当的激活配置时。为了说明，如果当前场景指示用户正在使用电子设备100提供假设准确地识别不可见或掩埋的对象的位置的AR图形覆盖，则可能更重要的是，需要电子设备100准确地识别空间特征的相对3D位置，以便准确地在底层的捕捉的图像上定位AR图形覆盖。这样，2D处理器802可以将调制光投射设置为与相应的触发事件相关联的范围的较高端。然而，如果当前场景指示用户正在使用电子设备100来经由所显示的方向性区域提供一般的导航指引，准确识别空间特征的相对3D位置可能没那么重要，因此2D处理器802可以将调制光投射设置为与相应的触发事件相关联的范围的较低端。
[0096]持续时间或强度也可以基于触发事件类型或电子设备100的当前场景来修正。例如，如果更多环境光存在于本地环境中，因此有更多机会干扰调制光图案，则2D处理器802可以将调制光投影器119配置为以更高的强度和更长的持续时间投射调制光图案，以便利用反射的调制光图案更充分地激励图像传感器。作为另一示例，调制光图案的持续时间或强度也可以基于电子设备100与视场中的对象的接近度，或者存在于视场中的材料的反射率来设置。
[0097]利用所设置的修正后的激活配置，在框1006，2D处理器802激活调制光投影器119并且以在框1004设置的激活配置所指定的频率捕捉得到的深度图像(即，反射的调制光图像)。并行地，方法1000返回到框1002，由此2D处理器802继续监视另外的触发事件，以便发起由方法1000所表示的深度传感器配置过程的下一次迭代。
[0098]图11图示了根据本公开的至少一个实施例的表示更一般的方法1000的特定示例实施方式的方法1100。对于方法1100，深度传感器120的激活配置是基于入射到电子设备100上的环境光以及基于电子设备100的运动来控制的。因此，在框1102，2D处理器802对环境光传感器826 (图8)进行采样以获得当前环境光读数，并且在框1104，2D处理器802将当前环境光读数与指定的阈值进行比较。如果当前环境光读数大于阈值，则在框1106，2D处理器802进入立体或其它多视图深度感测模式(或者如果已经在多视图深度感测模式下，则停留在此模式下)，并禁用调制光投影器119。
[0099]如果当前环境光读数小于阈值，则在框1108，2D处理器802进入调制光深度感测模式(或者如果已经在此模式下，则停留在此模式下)并且启用调制光投影器119。此外，如果2D处理器802从调制光深度发送模式切换到此调制光深度感测模式，则2D处理器802将激活配置设置为默认的非零频率、强度和持续时间。当在调光深度感测模式下时，在框1110，2D处理器802监视加速计824以确定电子设备100是否在运动中。如果不在运动中，则在框1112，2D处理器802可以在自从运动停止起流逝了指定的时间之后，从默认速率减小深度图像捕捉速率(并且相应地减小调制光投射的频率)。如果在运动中，则在框1114，2D处理器802可以从默认速率增加深度图像捕捉速率(并且相应地增加调制光投射的频率)。同时，方法1100返回到框1102，由此2D处理器802捕捉下一环境光读数并且开始使深度图像捕捉速率与电子设备100所遇到的当前条件协调的下一次迭代。注意，对环境光传感器826的采样(框1104)和对加速计824的采样(框1110)，以及响应于得到的样本值而引起的过程可以以相同的速率或以不同的速率发生。
[0100]图12图示了根据至少一个实施例的在电子设备100的基于调制光的深度感测期间用于可见光图像捕捉的示例方法1200。图像传感器，诸如可以部署在成像相机114、116和118中的图像传感器，对包括可见光和红外光两者的宽范围电磁波谱敏感。因此，由调制光投影器119投射的红外或近红外调制光图案可以同时干扰尝试捕捉可见光的成像相机。通常，这种干扰表现为调制光图案在捕捉的可见光图像中可见。
[0101]在许多情况下，尝试通过捕捉后的图像处理从可见光图像去除调制光图案是不可行的。因此，方法1200表示依赖于视觉现象的持续性而去除损坏的图像帧的技术，该技术防止观看者容易地检测到去除的损坏的图像帧或在其位置使用替换图像帧。因此，如果成像相机以例如30帧每秒(fps)或者60fps运行，则电子设备100可以每秒对于单个帧闪烁调制光投影器119，然后跳过对在调制光投影器119活跃时捕捉的可见光图像帧的显示或使用。可替换地，替换图像帧可以被插入到视频馈送以代替损坏的图像帧，以便提供稍微更平滑的视频过渡。这个替换图像可以包括视频帧序列中的之前或之后的图像帧的副本。替换图像也可以是内插图像帧，其被内插在前一帧和后一帧之间。在另一种方法中，像素变形技术可以被应用到相关的深度图像以合成丢弃的图像帧的图像内容。在任何情况下，结果将是将有效帧速率稍微降低到可接受的速率29或59fps，这在大部分时间对于大多数观众而言是难以辨别的变化。
[0102]为此，方法1200的迭代开始于框1202，由此2D处理器802 (图8)操作成像相机114和116之一以捕捉可见光图像帧。在框1204，2D处理器802在图像捕捉的时候确定调制光投影器119是否是活跃的，并且因此有可能损坏可见光图像帧。在一个实施例中，2D处理器802可以实施滑动时间窗口，以使得如果它的控制历史表明在滑动时间窗内既发生调制光投影器119的激活又发生成像相机中快门的操作，则2D处理器802可以断定捕捉的可见光图像帧被损坏。在另一实施例中，2D处理器802可以执行图像分析以检测调制光图案的某些相似之处是否存在于可见光图像帧中，以确定可见光图像帧是否被损坏。
[0103]如果可见光图像帧被认为未被损坏，则在框1206，2D处理器802准许将捕捉的图像帧包括在呈现给用户的视频流中。否则，如果可见光图像帧被认为被损坏，则在框1208，2D处理器802阻止对损坏的图像帧的显示或其它使用。如以上所指出的，这可以包括简单地完全跳过损坏的帧(框1210)，通过复制视频流中的另一图像帧来生成替换图像帧(框1212)，或通过在视频流的两个或更多个其它图像之间内插或使用可替换图像内容(诸如由另一成像相机同时捕捉的深度图像)来合成存在于损坏的图像帧中的图像内容以生成替换图像帧(框1214)。
[0104]根据一个方面，一种电子设备包括:第一成像相机，被布置在第一表面并且具有第一视角；第二成像相机，被布置在第一表面并且具有大于第一视角的第二视角；以及深度传感器，被布置在第一表面。深度传感器可以包括投射调制光图案的调制光投影器，以及捕捉调制光图案的反射的第一成像相机和第二成像相机中的至少一个。调制光投影器可以包括一个或多个垂直腔表面发射激光器(VCSEL) 二极管的阵列，覆盖一个或多个VCSEL 二极管的阵列的一个或多个镜头的阵列，以及覆盖一个或多个镜头的阵列的衍射光学元件。第二成像相机可以包括鱼眼镜头，并且可以被配置用于机器视觉图像捕捉。第二成像相机可以包括滚动快门成像相机，并且可以被配置用于用户发起的图像捕捉。
[0105]电子设备还可以包括第三成像相机，其被布置在第二表面并且具有大于第一视角的第三视角。第一成像相机可以被配置用于用户发起的图像捕捉，第二成像相机可以被配置用于机器视觉图像捕捉，并且第三成像相机可以被配置用于面部识别和头部追踪中的至少一个。在一个实施例中，电子设备还包括显不器，其被布置在与第一表面相对的第二表面，并且电子设备可以被配置为经由显示器呈现经由第一成像相机和第二成像相机中的至少一个捕捉的图像。
[0106]根据本公开的另一方面，一种电子设备可以包括:第一成像相机，被布置在第一表面并且具有第一视角；第二成像相机，被布置在第一表面并且具有大于第一视角的第二视角；以及第三成像相机，被布置在第二表面并且具有大于第一视角的第三视角。第一成像相机可以被配置用于用户发起的图像捕捉，第二成像相机可以被配置用于机器视觉图像捕捉，并且第三成像相机可以被配置用于面部识别和头部追踪中的至少一个。在一个实施例中，电子设备还包括深度传感器，其具有布置在第一表面的投射调制光图案的调制光投影器，并且还包括捕捉调制光图案的反射的成像相机。深度传感器的成像相机可以包括第一成像相机和第二成像相机中的至少一个。调制光投影器可以包括一个或多个垂直腔表面发射激光器(VCSEL) 二极管的阵列，覆盖一个或多个VCSEL 二极管的阵列的一个或多个镜头的阵列，以及覆盖一个或多个镜头的阵列的衍射光学元件。在一个实施例中，电子设备包括被布置在第二表面的显示器，由此电子设备被配置为经由显示器呈现经由第一成像相机、第二成像相机和第三成像相机中的至少一个捕捉的图像数据。
[0107]根据又一方面，一种方法包括使用布置在电子设备的第一表面的第一成像相机捕捉第一图像数据，以及使用布置在电子设备的第一表面的第二成像相机捕捉第二图像数据，第二图像数据比第一图像数据表示更宽的视场。该方法还包括使用布置在电子设备的第一表面的深度传感器捕捉深度数据。该方法还可以包括从第一图像数据、第二图像数据和深度数据中的一个或多个确定至少一个空间特征，以及基于至少一个空间特征确定电子设备的相对位置和相对取向中的至少一个。该方法还可以包括使用布置在电子设备的第二表面的第三成像相机捕捉第三图像数据，第三图像数据比第一图像数据表示更宽的视场，由此，其中确定至少一个空间特征包括基于第三图像数据确定至少一个空间特征。
[0108]在一个实施例中，该方法还包括基于第一图像数据、第二图像数据和深度数据在电子设备显示图像。该方法还可以包括至少部分地基于深度数据确定电子设备的当前场景，基于当前场景确定增强图形覆盖，并且其中，显示图像还包括利用增强图形覆盖来显示图像。该方法可以包括使用布置在电子设备的第二表面的第三成像相机捕捉第三图像数据，以及基于第三图像数据确定用户的头部的位置。为此，显示图像可以包括还基于用户的头部的位置来显示图像。在一个实施例中，使用深度传感器捕捉深度数据包括投射来自电子设备的第一表面的调制光图案，以及使用第一成像相机和第二成像相机中的至少一个捕捉调制光图案的反射。
[0109]根据本公开的另一方面，一种电子设备包括:第一处理器，其从第一成像相机接收图像数据，并且确定表示从图像数据识别的一个或多个二维(2D)空间特征的2D空间特征数据。电子设备还包括第二处理器，其耦合到第一处理器，以确定表示基于2D空间特征数据识别的一个或多个三维(3D)空间特征的3D空间特征数据。第一处理器可以在接收到整个图像帧之前，根据图像帧的一部分发起对一个或多个2D空间特征的检测。电子设备还可以包括:第一成像相机，其被布置在电子设备的第一表面并且具有第一视场；以及第二成像相机，其被布置在电子设备的第一表面并且具有比第一视场更窄的第二视场。电子设备还可以包括第三成像相机，其被布置在电子设备的第二表面并且具有大于第二视场的第三视场，由此第一处理器还基于从由第三成像相机捕捉的图像数据识别的一个或多个2D空间特征来确定2D空间特征数据。
[0110]在至少一个实施例中，电子设备还包括捕捉深度数据的深度传感器，由此第二处理器还可以基于深度数据来确定3D空间特征数据。深度传感器可以包括调制光投影器，并且深度数据可以包括由第一成像相机捕捉并且表示由调制光投影器投射的调制光图案的反射的图像数据。
[0111]在至少一个实施例中，电子设备还可以包括传感器，其耦合到第二处理器以提供非图像传感器数据，由此第二处理器还可以基于非图像传感器数据确定3D空间特征数据。对于每个图像帧，第一处理器捕捉传感器的至少一个传感器状态，并且第一处理器确定在图像帧中识别的2D空间特征的2D空间特征列表并且将2D空间特征列表和至少一个传感器状态的表示发送到第二处理器。传感器可以包括从以下各项选择的至少一个:加速计；陀螺仪；环境光传感器；磁力计；重力梯度仪；无线蜂窝接口 ；无线局域网接口 ；有线网络接口 ；近场通信接口 ；全球定位系统接口 ；麦克风；以及键区。
[0112]根据另一方面，一种方法包括在电子设备的第一处理器接收由电子设备的第一成像相机捕捉的第一图像数据，第一图像数据表示第一图像帧，并且在第一处理器根据第一图像数据确定一个或多个二维(2D)空间特征的第一集合。该方法还包括在电子设备中的第二处理器使用一个或多个2D空间特征的第一集合来确定一个或多个三维(3D)空间特征的集合。该方法还可以包括在第一处理器接收由电子设备的第二成像相机捕捉的第二图像数据，第二图像数据表示第二图像帧，在第一处理器根据第二图像数据确定一个或多个2D空间特征的第二集合。确定一个或多个3D空间特征的集合可以包括基于一个或多个2D空间特征的第一集合和一个或多个2D空间特征的第二集合之间的相关性，确定一个或多个3D空间特征的集合。该方法还可以包括对准由第一成像相机捕捉的图像数据和由第二成像相机捕捉的图像数据以生成组合的图像帧，并且在电子设备显示组合的图像帧。
[0113]在一个实施例中，该方法包括在第一处理器接收由电子设备的深度传感器捕捉的深度数据，并且由此确定一个或多个3D空间特征的集合可以包括还基于深度数据来确定一个或多个3D空间特征的集合。该方法还可以包括与捕捉第一图像数据同时发生地在第一处理器确定表示电子设备的至少一个非成像传感器的传感器状态的传感器数据，由此确定一个或多个3D空间特征的集合包括还基于传感器数据来确定一个或多个3D空间特征的隹a
口 ο
[0114]根据本公开的另一方面，一种方法包括在电子设备的第一处理器接收由电子设备的第一成像相机捕捉的图像数据的第一流，图像数据的第一流表示第一图像帧。该方法还包括在第一处理器针对第一图像帧的一部分确定一个或多个二维(2D)空间特征的第一集合，并且在继续在第一处理器接收表示第一图像帧的下一部分的图像数据的第一流的一部分的同时，将表示一个或多个2D空间特征的第一集合的第一 2D空间特征数据发送到电子设备的第二处理器。该方法还可以包括在第二处理器基于第一 2D空间特征数据来确定一个或多个三维(3D)空间特征的第一部分集合。该方法还可以包括在第一处理器接收由电子设备的深度传感器捕捉的深度数据。确定一个或多个3D空间特征的第一集合可以包括还基于深度数据来确定一个或多个3D空间特征的第一集合。
[