基于上下文的深度传感器控制的制作方法
【技术领域】
[0001]本公开总体上涉及深度感测，并且更具体地涉及用于机器视觉的深度传感器的控制。
【背景技术】
[0002]机器视觉使能的设备可以采用深度传感器来确定本地环境内的对象的深度或相对距离。通常，这些深度传感器依靠由设备投射向对象的已知空间调制或时间调制光的反射的捕获。这一调制光经常实现为由红外(IR)光源生成的IR光。尽管在实现深度估算方面有效，但是反射的IR光可能干扰本地环境中操作的可见光成像相机。而且，光源用于投射调制光的传统实施方式消耗显著功率，由此限制了在电池供电设备中或者在其它有限功率实施方式中的基于调制光的深度传感器的实施方式。
【附图说明】
[0003]通过参照附图，本公开可以由本领域技术人员更好地理解，并且其众多特征和优点对本领域技术人员来说变得容易理解。在不同附图中的相同引用符号的使用指示相似或完全相同的项。
[0004]图1是图示依照本公开的至少一个实施例的被配置为使用图像传感器数据和非图像传感器数据来确定本地环境中的相对定位/定向的电子设备的示图。
[0005]图2是图示依照本公开的至少一个实施例的实现深度传感器和多个成像相机的电子设备的平面前视图的示图。
[0006]图3是图示依照本公开的至少一个实施例的图2的电子设备的平面后视图的示图。
[0007]图4是图示依照本公开的至少一个实施例的图2的电子设备的横截面图的示图。
[0008]图5是图示依照本公开的至少一个实施例的基于准直透镜的调制光投射器的横截面图的示图。
[0009]图6是图示依照本公开的至少一个实施例的基于竖直腔面发射激光器(VCSEL) 二极管的调制光投射器的横截面图的示图。
[0010]图7是图示依照本公开的至少一个实施例的用于基于图像传感器数据和非图像传感器数据来确定本地环境中的电子设备的相对定位/定向的电子设备的操作的流程图。
[0011]图8是图示依照本公开的至少一个实施例的用于从捕获的本地环境像确定二维(2D)空间特征数据和三维(3D)空间特征数据的电子设备的处理系统的框图。
[0012]图9是图示依照本公开的至少一个实施例的用于2D空间特征提取和3D空间特征提取的图8的处理系统的操作的流程图。
[0013]图10是图示依照本公开的至少一个实施例的基于调制光的深度传感器的操作的流程图。
[0014]图11是图示依照本公开的至少一个实施例的用于控制基于调制光的深度传感器的激活配置的方法的流程图。
[0015]图12是图示依照本公开的至少一个实施例的用于基于调制光投射来控制可见图像帧的显示的方法的流程图。
【具体实施方式】
[0016]通过提供涉及基于电子设备的本地环境中的对象的基于图像的标识来确定电子设备的相对定位或相对定向的若干具体实施例和细节，以下描述旨在于传达对本公开的透彻理解。然而，应当理解，本公开不限于这些具体实施例和细节，它们仅是示例，并且据此本公开的范围旨在于仅由所附权利要求及其等效物来限定。应当进一步理解理解，根据已知系统和方法，本领域普通技术人员将理解出于其旨在目的和益处在任何数目的替代实施例中的本公开的使用，这依赖于具体的设计和其它需要。
[0017]图1至图12图示用于确定本地环境内的电子设备的相对定位或相对定向的各种技术，以便于支持诸如增强现实(AR)功能、视觉测程法或其它同时定位和地图构建(SLAM)功能等之类的基于位置的功能。术语“定位/定向”在本文中用于指代定位和定向中的任一者或两者。在一些实施例中，电子设备包括部署在表面的深度传感器和两个或更多成像相机。两个或更多成像相机可以用于捕获电子设备的本地环境的多视图像，并且从这一信息电子设备可以标识表示本地环境中的对象的空间特征以及它们距电子设备的距离。进一步地，作为从分析多视图像提供的深度计算的替代或增强，深度传感器可以用于确定所标识的空间特征的距离。电子设备进一步可以包括在面对用户的表面上的另一成像相机，以便于头部跟踪或者面部识别或者获得本地环境的附加像。
[0018]本地环境中的对象的相对定位/定向的标识可以用于支持电子设备的各种基于位置的功能。为了说明，在一些实施例中，本地环境中的对象的相对定位连同诸如来自陀螺仪的定向读数之类的非图像传感器数据一起用于确定本地环境中的电子设备的相对定位/定向。电子设备的相对定位/定向可以用于便于视觉测程法、室内导航或者其它SLAM功能。而且，电子设备的相对定位/定向可以用于支持增强现实(AR)功能，诸如基于电子设备的相对定位和定向的在由电子设备捕获的像的显示中的附加信息的图形覆盖，并且这还可以基于用户的头部或眼睛相对于电子设备的定位或定向。在一些实施例中，电子设备确定其相对于本地环境而不是相对于固定或限定的定位基准的定位/定向，并且从而不依靠诸如全球定位系统(GPS)信息、蜂窝三角测量信息等之类的外部定位信息。因此，电子设备可以在其中GPS信令或蜂窝信令弱或不存在的位置中提供基于位置的功能。
[0019]在至少一个实施例中，电子设备的深度传感器实现为调制光投射器和成像相机中的一个或多个成像相机。调制光投射器将经编码的、结构化的或以其它方式调制的光(通常为红外光)投射到本地环境中，并且一个或多个成像相机捕获调制光从对象的反射，并且从这一反射光可以确定对象距电子设备的距离。由于调制光投射器在投射的同时可以消耗显著的功率，本公开描述用于深度传感器的选择性启用和控制的各种技术，以便于降低功率消耗。
[0020]本文中进一步描述的是处理架构，用于分析图像传感器数据和非图像传感器数据以高效地标识电子设备的本地环境像中的2D空间特征和3D空间特征，并且用于使用这些标识的空间特征来提供基于位置的功能。在至少一个实施例中，处理架构利用至少两个处理器，包括用于从一个或多个成像相机捕获的图像数据标识2D空间特征的一个处理器以及用于从标识的2D空间特征标识3D空间特征的另一处理器。进一步地，标识2D空间特征的处理器可以被配置为在从成像相机流式传输图像数据时标识2D空间特征并且在2D空间特征被标识时向另一处理器流式传输2D空间特征，由此降低空间特征检测中的延迟，否则延迟将产生于在开始空间特征检测之前等待整个图像帧被缓冲。
[0021]图1图示依照本公开的至少一个实施例的被配置为使用图像和非图像传感器数据来支持诸如SLAM或AR之类的基于位置的功能的电子设备100。电子设备100可以包括便携式用户设备，诸如平板计算机、计算使能的蜂窝电话(例如，“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏系统远程、电视远程等。在其它实施例中，电子设备100可以包括固定设备，诸如医疗成像设备、安全成像相机系统、工业机器人控制系统、无人机控制系统等。为了便于说明，本文中的电子设备100通常在诸如平板计算机或智能电话之类的便携式用户设备的示例上下文中进行描述；然而，电子设备100不限于这些示例实施方式。
[0022]在所描绘的不例中，电子设备100包括壳体102，壳体102具有与另一表面106相反的表面104。在所描绘的示例薄矩形块外形规格中，表面104和表面106基本上平行，并且壳体102进一步包括在表面104和表面106之间的四个侧表面(顶、底、左和右)。壳体102可以以许多其它外形规格来实现，并且表面104和表面106可以具有非平行定向。对于所图示的平板实施方式，电子设备100包括部署在表面104的显示器108，用于向用户110呈现视觉信息。据此，为了便于引用，表面106在本文中称为“面对前方的”表面，并且表面104在本文中称为“面对用户的”表面，以反映电子设备100相对于用户110的这一示例定向，虽然这些表面的定向不受这些关系指定的限制。
[0023]电子设备100包括用于获得关于电子设备100的本地环境112的信息的多个传感器。经由部署在面对前方的表面106的成像相机114和成像相机116和深度传感器120以及部署在面对用户的表面104的成像相机118，电子设备100获得针对本地环境112的视觉信息(像)。在一个实施例中，成像相机114实现为广角成像相机，其具有鱼眼透镜或其它广角透镜，以提供面对表面106的本地环境112的较广角视图。成像相机116实现为窄角成像相机，其具有典型视角透镜，以提供面对表面106的本地环境112的较窄角视图。据此，成像相机114和成像相机116在本文中还分别称为“广角成像相机114”和“窄角成像相机116”。如下面更详细描述的，广角成像相机114和窄角成像相机116可以定位和定向在面对前方的表面106上，使得它们的视场从距电子设备100的指定距离处开始重叠，由此经由多视图图像分析实现对本地环境112中定位在重叠视场区域中的对象的深度感测。成像相机118可以用于捕获针对面对表面104的本地环境112的图像数据。进一步地，在一些实施例中，成像相机118被配置用于跟踪头部122的移动或者用于面部识别，并且从而提供其可以用于调整经由显示器108呈现的像的视图视角的头部跟踪信息。
[0024]除了支持定位和定向检测，成像相机114、成像相机116和成像相机118中的一个或多个可以服务于电子设备100的其它成像功能。为了说明，窄角成像相机116可以被配置或优化用于用户发起的图像捕获，诸如用于捕获消费级照片和视频，如智能电话和平板计算机中经常发现的；并且成像相机118可以被配置或优化用于视频会议或视频电话，还如智能电话和平板计算机中经常发现的；而广角成像相机114可以主要被配置用于出于位置检测目的的机器视觉图像捕获。这一机器视觉特定的配置可以使光灵敏度、透镜畸变、帧速率、全局快门性能以及从图像传感器的更快数据读出优先于其聚焦于例如像素分辨率的以用户为中心的相机配置。
[0025]在一个实施例中，深度传感器120使用调制光投射器119将调制光图案从面对前方的表面106透射到本地环境中，并且使用成像相机114和成像相机116中的一者或两者捕获调制光图案的反射(在它们从本地环境112中的对象反射回来时)。这些调制光图案可以是空间调制光图案或时间调制光图案。所捕获的调制光图案的反射在本文中称为“深度像”。然后，基于对深度像的分析，深度传感器120可以计算对象的深度，即对象距电子设备100的距离。从深度传感器120获得的所产生的深度数据可以用于校准或以其它方式增强从对成像相机114和成像相机116捕获的图像数据的多视图分析(例如，立体分析)获得的深度信息。替代地，来自深度传感器120的深度数据可以代替从多视图分析获得的深度信息而使用。为了说明，多视图分析通常更适合于明亮的照明条件并且当对象相对遥远时，而基于调制光的深度感测更好地适合于较低的光条件或者当所观察的对象相对靠近(例如，在4-5米内)时。从而，当电子设备100感测到其处于室外或者以其它方式处于相对良好的照明条件时，电子设备100可以选择使用多视图分析来确定对象的深度。相反，当电子设备100感测到其处于室内或者以其它方式处于相对差的照明条件时，电子设备100可以切换为经由深度传感器120使用基于调制光的深度感测。
[0026]电子设备100还可以依靠非图像信息以用于定位/定向检测。这一非图像信息可以由电子设备100经由诸如陀螺仪或环境光传感器之类的一个或多个非图像传感器(图1中未示出)来获得。非图像传感器还可以包括诸如小键盘(例如，触摸屏或键盘)、麦克风、鼠标等之类的用户接口部件。表示电子设备100在给定时间点的状态的非图像传感器信息称为对于该时间点的电子设备的“当前上下文”。这一当前上下文可以包括显式上下文，诸如电子设备100的相对旋转定向或者从本地环境112入射在电子设备100上的环境光。当前上下文还可以包括隐式上下文信息，诸如从日历信息或时钟信息推断的信息、或者从用户与电子设备100的交互推断的信息。用户的交互可以包括用户的观察的过去行为(例如，对用户的工作日通勤路径和时间的确定)、最近由用户进行的搜索查询、对电子邮件、文本消息、或者其它用户通信或用户发起的操作的关键项搜索或其它分析等。
[0027]在操作中，电子设备100使用图像传感器数据和非图像传感器数据来确定电子设备100的相对定位/定向，即相对于本地环境112的定位/定向。在至少一个实施例中，相对定位/定向的确定基于成像相机114、成像相机116和成像相机118中的一个或多个捕获的图像数据中的空间特征的检测以及电子设备100相对于所检测的空间特征的定位/定向的确定。为了说明，在所描绘的图1的示例中，本地环境112包括办公楼的门厅，办公楼的门厅包括三个拐角124、126和128、护壁板130、以及电插座132。用户110已经定位和定向电子设备100，使得面对前方的成像相机114和成像相机116分别捕获其包括门厅的这些空间特征的广角成像相机图像数据134和窄角成像相机图像数据136。在这一示例中，深度传感器120还捕获深度数据138，深度数据138反映这些空间特征相对于电子设备100的当前定位/定向的相对距离。进一步地，面对用户的成像相机118捕获表示针对用户110的头部122的当前定位/定向的头部跟踪数据140的图像数据。诸如来自陀螺仪、磁强计、环境光传感器、小键盘、麦克风等的读数之类的非图像传感器数据142也由处于其当前定位/定向的电子设备100收集。
[0028]从这一输入数据，电子设备100可以确定其相对定位/定向，而无需来自外部源的显式绝对定位信息。为了说明，电子设备100可以执行对广角成像相机图像数据134和窄角成像相机图像数据136的多视图分析，以确定在电子设备100和拐角124、拐角126、拐角128之间的距离。替代地，从深度传感器120获得的深度数据138可以用于确定空间特征的距离。从这些距离，电子设备100可以三角测量或以其它方式推断其在由本地环境112表示的办公室中的相对定位。作为另一示例，电子设备100可以标识在捕获的图像数据134和图像数据136的图像帧的一个集中存在的空间特征、确定到这些空间特征的初始距离、以及然后跟踪这些空间特征在随后捕获的像中的定位和距离的改变以确定电子设备100的定位/定向的改变。在这一方法中，诸如陀螺仪数据或加速计数据之类的某些非图像传感器数据可以用于关联一个图像帧中观察到的空间特征与随后图像帧中观察到的空间特征。
[0029]由电子设备100从成像相机114、成像相机116和成像相机118捕获的图像数据获得的相对定位/定向信息可以用于支持各种基于位置的功能中的任何一种。相对定位/定向信息可以由电子设备100用于支持视觉测程法或其它SLAM功能。作为示例，电子设备100可以为本地环境112构建地图，并且然后使用这一地图构建来便于通过本地环境112的用户的导航，诸如通过向用户显示从地图构建信息生成的楼层平面图以及如从电子设备100的当前相对定位确定的用户相对于楼层平面图的当前位置的指示符。
[0030]而且，由电子设备100获得的相对定位/定向信息可以与补充信息144组合，以经由电子设备100的显示器108向用户110呈现本地环境112的增强现实(AR)视图。这一补充信息144可以包括本地存储在电子设备100的或者可由电子设备100经由有线或无线网络远程访问的一个或多个AR数据库。
[0031]为了说明，在所描绘的图1的示例中，本地数据库存储针对嵌入在由本地环境112表示的办公室的墙壁内的电布线的定位/定向计算机辅助绘图(CAD)信息。据此，电子设备100可以经由成像相机116捕获本地环境112的视图的视频像、如上面和本文中描述的确定电子设备100的相对定向/定位、以及确定电布线位于本地环境的