用于2d/3d空间特征处理的系统的制作方法
【技术领域】
[0001]本公开一般涉及图像捕捉和处理，而且更具体地，涉及使用所捕捉的图像的机器视觉。
【背景技术】
[0002]诸如同步定位和地图构建(simultaneouslocalizat1n and mapping，SLAM)、增强现实(augmented reality,AR)和虚拟现实(virtual reality,VR)的机器视觉技术经常依赖于通过对由设备捕捉的本地环境的图像的分析的对设备的本地环境内的对象的识别。这种分析传统上由图形处理单元(GPU)逐帧地执行，这可导致图像捕捉和特征识别之间的显著滞后，这又会严重影响设备对于设备的位置或取向的改变或本地环境的改变的感知响应度。
【附图说明】
[0003]本领域技术人员通过参考附图可以更好地理解本公开，并且本公开的许多特征和优点对于本领域技术人员来说变得清楚。在不同的图中使用相同的参考标记指示相似的或相同的项目。
[0004]图1是图示出根据本公开的至少一个实施例的被配置为使用图像传感器数据和非图像传感器数据来确定本地环境中的相对位置/取向的电子设备的图。
[0005]图2是图示出根据本公开的至少一个实施例的实施多个成像相机和深度传感器的电子设备的前平面图的图。
[0006]图3是图示出根据本公开的至少一个实施例的图2的电子设备的后平面图的图。
[0007]图4是图示出根据本公开的至少一个实施例的图2的电子设备的截面图的图。
[0008]图5是图示出根据本公开的至少一个实施例的基于准直镜头的调制光投影器的截面图的图。
[0009]图6是图示出根据本公开的至少一个实施例的基于垂直腔表面发射激光器(vertical-cavity surface-emitting laser，VCSEL) 二极管的调制光投影器的截面图的图。
[0010]图7是图示出根据本公开的至少一个实施例的基于图像传感器数据和非图像传感器数据来确定电子设备在本地环境中的相对位置/取向的电子设备的操作的流程图。
[0011]图8是图示出根据本公开的至少一个实施例的用于从捕捉的本地环境的图像确定二维(2D)和三维(3D)空间特征数据的电子设备的处理系统的框图。
[0012]图9是图示出根据本公开的至少一个实施例的用于2D和3D空间特征提取的图8的处理系统的操作的流程图。
[0013]图10是图示出根据本公开的至少一个实施例的基于调制光的深度传感器的操作的流程图。
[0014]图11是图示出根据本公开的至少一个实施例的用于控制基于调制光的深度传感器的激活配置的方法的流程图。
[0015]图12是图示出根据本公开的至少一个实施例的用于基于调制光投射来控制可见光图像帧的显示的方法的流程图。
【具体实施方式】
[0016]以下描述旨在通过提供多个特定实施例和细节来传达对本公开的透彻理解，所述多个特定实施例和细节涉及基于对电子设备的本地环境中的对象的基于图像的识别，来确定电子设备的相对位置或相对取向。然而，要理解，本公开并不限于这些特定实施例和细节，它们仅仅是示例，并且相应地本公开的范围旨在仅由所附权利要求及其等同物来限定。还要理解，本领域普通技术处理人员根据已知的系统和方法取决于特定设计和其它需要将会理解在任何数目的可替换实施例中针对其意图的目的和益处而对本公开的使用。
[0017]图1至图12图示了用于确定电子设备在本地环境内的相对位置或相对取向从而支持基于位置的功能，诸如增强现实(AR)功能、视觉测程(odometry)或其它同步定位和地图构建(simultaneous localizat1n and mapping, SLAM)功能等等的各种技术。术语“位置/取向”在本文中被用于指位置和取向中的任一个或这两者。在一些实施例中，电子设备包括布置在表面的两个或更多个成像相机以及深度传感器。两个或更多个成像相机可以被用于捕捉电子设备的本地环境的多视图图像，并且根据这个信息，电子设备可以识别表示本地环境中的对象以及它们距电子设备的距离的空间特征。此外，深度传感器可以被用于将所识别的空间特征的距离确定为对根据分析多视图图像而提供的深度计算的替换或者增强。电子设备还可以在面向用户的表面上包括另外的成像相机，从而便利于头部追踪或面部识别或者获得本地环境的附加图像。
[0018]对于对象在本地环境中的相对位置/取向的识别可以被用来支持电子设备的各种基于位置的功能。为了说明，在一些实施例中，对象在本地环境中的相对位置连同诸如来自陀螺仪的取向读数的非图像传感器数据一起被用来确定电子设备在本地环境中的相对位置/取向。电子设备的相对位置/取向可以被用来便利于视觉测程、室内导航或其它SLAM功能。此外，电子设备的相对位置/取向可以被用来基于电子设备的相对位置和取向，并且还可以基于用户的头部或眼睛相对于电子设备的位置或取向，来支持增强现实(AR)功能，诸如由电子设备所捕捉的图像的显示中的附加信息的图形覆盖。在一些实施例中，电子设备确定其相对于本地环境而非相对于固定的或限定的定位参考的位置/取向，因此不依赖于诸如全球定位系统(GPS)信息、蜂窝三角测量信息等的外部定位信息。因此，该电子设备可以在GPS信令或蜂窝信令较弱或不存在的位置中提供基于位置的功能。
[0019]在至少一个实施例中，电子设备的深度传感器被实施为调制光投影器以及成像相机中的一个或多个。调制光投影器将经编码的、结构化的或以其它方式调制的光——典型的是红外光一一投射到本地环境中，并且一个或多个成像相机捕捉从对象反射的调制光，并且根据该反射光可以确定对象距电子设备的距离。由于调制光投影器可以在投射时消耗显著的电力，因此本公开描述了用于选择性启用和控制深度传感器从而减少电力消耗的各种技术。
[0020]本文中进一步描述的是用于分析图像传感器数据和非图像传感器数据以有效地识别电子设备的本地环境的图像的2D和3D空间特征、并且用于使用这些识别的空间特征来提供基于位置的功能的处理架构。在至少一个实施例中，处理架构利用至少两个处理器，包括用于从由一个或多个成像相机捕捉的图像数据识别2D空间特征的一个处理器，以及用于所识别的2D空间特征来识别3D空间特征的另一处理器。此外，识别2D空间特征的处理器可以被配置为当从成像相机流传输图像数据时识别2D空间特征并且当识别出2D空间特征时将2D空间特征流传输到其它处理器，从而减少了空间特征检测中的延迟，否则将导致在开始空间特征检测之前等待缓冲整个图像帧。
[0021]图1图示了根据本公开的至少一个实施例的被配置为使用图像和非图像传感器数据来支持基于位置的功能(诸如SLAM或AR)的电子设备100。电子设备100可以包括便携式用户设备，诸如平板计算机、具备计算功能的蜂窝电话(例如，“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏系统远程控制、电视远程控制等。在其它实施例中，电子设备100可以包括固定设备，诸如医疗成像设备、安全成像相机系统、工业机器人控制系统、无人机控制系统等等。为了便于说明，电子设备100在本文中一般在诸如平板计算机或智能电话的便携式用户设备的示例场景中描述；然而，电子设备100不限于这些示例实施方式。
[0022]在所描绘的不例中，电子设备100包括壳体102，其具有与另一表面106相对的表面104。在所描绘的薄矩形框外形因子的示例中，表面104和106基本上平行，并且壳体102还在表面104和表面106之间包括四个侧表面(顶部、底部、左侧和右侧)。壳体102可以以许多其它外形因子来实施，并且表面104和106可以具有非平行的取向。对于所图示的平板实施方式，电子设备100包括布置在表面104的用于向用户110呈现视觉信息的显示器108。因此，为了便于参考，当相对于用户110反映电子设备100的这个示例取向时，表面106在本文中被称为“面向前方的”表面，并且表面104在本文中被称为“面向用户的”表面，尽管这些表面的取向并不受这些关系性名称的限制。
[0023]电子设备100包括多个传感器，以获得关于电子设备100的本地环境112的信息。电子设备100经由布置在面向前方的表面106的成像相机114和116及深度传感器120和布置在面向用户的表面104的成像相机118来获得本地环境112的视觉信息(图像)。在一个实施例中，成像相机114被实施为具有鱼眼镜头或其它广角镜头的广角成像相机，以提供面向表面106的本地环境112的更广角的视图。成像相机116被实施为具有典型视角镜头的窄角成像相机，以提供面向表面106的本地环境112的更窄角的视图。因此，成像相机114和成像相机116在本文中也分别被称为“广角成像相机114”和“窄角成像相机116”。如下面更详细描述的，广角成像相机114和窄角成像相机116可以被定位和定向在面向前方的表面106上，以使得它们的视场从距电子设备100指定的距离处开始重叠，由此使得能够经由多视图图像分析来感测本地环境112中的、位于视场重叠的区域中的对象的深度。成像相机118可以被用于捕捉面向表面104的本地环境112的图像数据。此外，在一些实施例中，成像相机118被配置用于追踪头部122的移动或用于面部识别，因此提供可以被用于调整经由显示器108呈现的图像的视图透视(perspective)的头部追踪信息。
[0024]除了支持位置和取向检测以外，成像相机114、116和118中的一个或多个还可以为电子设备100提供其它成像功能。为了说明，窄角成像相机116可以被配置或被优化用于由用户发起的图像捕捉，诸如用于捕捉消费级图片和视频，如经常在智能电话和平板计算机中进行的那样，并且成像相机118可以被配置或被优化用于视频会议或视频电话，也如经常在智能电话和平板计算机中进行的那样，而广角成像相机114可以主要被配置用于机器视觉图像捕捉，以用于位置检测。相比于聚焦于例如像素分辨率的用户为中心的相机配置，这种特定于机器视觉的配置可以优化光敏感度、镜头畸变、帧速率、全局快门能力、和从图像传感器更快的数据读取。
[0025]在一个实施例中，深度传感器120使用调制光投影器119将调制光图案从面向前方的表面106投射到本地环境中，并当调制光图案从本地环境112中的对象反射回来时使用成像相机114和116中的一个或两个来捕捉调制光图案的反射。这些调制光图案可以或者是空间调制光图案或者是时间调制光图案。捕捉的调制光图案的反射在本文中被称为“深度图像”。深度传感器120然后可以基于对深度图像的分析来计算对象的深度，即，对象距电子设备100的距离。可以使用从深度传感器120获得的结果深度数据来校准或以其它方式增强对由成像相机114和116捕捉的图像数据进行多视图分析(例如，立体分析)所获得的深度信息。可替换地，来自深度传感器120的深度数据可以代替从多视图分析所获得的深度信息来使用。为了说明，多视图分析通常更适合于明亮的照明条件以及当对象相对较远时，而基于调制光的深度感测更适合于较低光的条件或者当观察的对象相对较近(例如，在4-5米内)时。因此，当电子设备100感测到其在户外或以其它方式在相对良好的照明条件下时，电子设备100可以选择使用多视图分析来确定对象深度。相反，当电子设备100感测到其在室内或以其它方式在相对较差的照明条件下时，电子设备100可以切换到使用经由深度传感器120的基于调制光的深度感测。
[0026]电子设备100还可以依赖于用于位置/取向检测的非图像信息。这个非图像信息可以由电子设备100经由一个或多个非图像传感器(在图1中未示出)，诸如陀螺仪或环境光传感器来获得。非图像传感器还可以包括用户接口组件，诸如键区(例如，触摸屏或键盘)、麦克风、鼠标等。表示电子设备100在给定的时间点的状态的非图像传感器信息被称为电子设备在该时间点的“当前场景”。这个当前场景可以包括显式场景，诸如电子设备100的相对旋转取向或者从本地环境112入射到电子设备100上的环境光。当前场景还可以包括隐式场景信息，诸如从日历信息或时钟信息推断的信息、或者从用户与电子设备100的交互所推断的信息。用户的交互可以包括用户的被观察到的过去行为(例如，对用户工作日的通勤路径和时间的确定)、用户最近进行的搜索查询、电子邮件的关键词搜索或其它分析、文本消息、或其它用户通信或者用户发起的操作等等。
[0027]在操作中，电子设备100使用图像传感器数据和非图像传感器数据来确定电子设备100的相对位置/取向，S卩，相对于本地环境112的位置/取向。在至少一个实施例中，对相对位置/取向的确定基于对由成像相机114、116和118中的一个或多个所捕捉的图像数据中的空间特征的检测，以及对电子设备100相对于检测到的空间特征的位置/取向的确定。为了说明，在图1中所描绘的示例中，本地环境112包括办公楼的走廊，该办公楼包括三个角落124、126和128、底板130和电插座132。用户110已经定位并定向电子设备100，以使得面向前方的成像相机114和116分别捕捉包括走廊的这些空间特征的广角成像相机图像数据134和窄角相机成像图像数据136。在本示例中，深度传感器120还捕捉深度数据138，其反映了这些空间特征相对于电子设备100的当前位置/取向的相对距离。此外，面向用户的成像相机118针对用户110的头部122的当前位置/取向捕捉表示头部追踪数据140的图像数据。非图像传感器数据142，诸如来自陀螺仪、磁力计、环境光传感器、键区、麦克风的读数，也由电子设备100在其当前位置/取向中收集。
[0028]在没有来自外部源的显式绝对定位信息的情况下，电子设备100可以根据此输入数据确定其相对位置/取向。为了说明，电子设备100可以执行对广角成像相机图像数据134和窄角成像相机图像数据136的多视图分析，以确定电子设备100和角落124、126、128之间的距离。可替换地，从深度传感器120获得的深度数据138可以被用来确定空间特征的距离。根据这些距离，电子设备100可以以三角测量或以其它方式推断其在由本地环境112所表示的办公室中的相对位置。作为另一示例，电子设备100可以识别在图像数据134和136的一组捕捉的图像帧中存在的空间特征，确定到这些空间特征的初始距离，然后在随后捕捉的图像中追踪这些空间特征的位置和距离的改变以确定电子设备100的位置/取向的改变。在这种方法中，某些非图像传感器数据，诸如陀螺仪数据或加速计数据，可以被用于使在一个图像帧中观察到的空间特征与在随后的图像帧中观察的空间特征相关。
[0029]电子设备100从由成像相机114、116和118捕捉的图像数据所获得的相对位置/取向信息可以被用于支持多种基于位置的功能中的任何一种。相对位置/取向信息可以被电子设备100用于支持视觉测程或其它SLAM功能。作为示例，电子设备100可以地图构建本地环境112，然后使用这个地图构建来便利于用户导航经过本地环境112，诸如通过向用户显示根据地图构建信息生成的平面图、和根据电子设备100的当前相对位置所确定的用户相对于平面图的当前位置的指示符。
[0030]另外，通过电子设备100获得的相对位置/取向信息可以与补充信息144组合以经由电子设备100的显示器108向用户110呈现本地环境112的增强现实(AR)视图。这个补充信息144可以包括本地存储在电子设备100的或电子设备100可以经由有线或无线网络远程访问的一个或多个AR数据库。
[0031]为了说明，在图1所描绘的示例中，本地数据库存储了用于嵌入在由本地环境112所表示的办公室的墙壁内的电气布线的位置/取向计算机辅助绘图(CAD)信息。因此，电子设备100可以经由成像相机116捕捉本地环境112的视图的视频图像，如以上及此处所描述地确定电子设备100的相对取向/位置，并且确定存在于本地环境的