据流表示第一图像帧。方法进一步包括:在第一处理器确定针对第一图像帧的一部分的一个或多个二维(2D)空间特征的第一集，并且在继续在第一处理器接收表示第一图像帧的下一部分的第一图像数据流的一部分的同时，向电子设备的第二处理器发送表示一个或多个2D空间特征的第一集的第一 2D空间特征数据。方法进一步可以包括:在第二处理器基于第一 2D空间特征数据确定一个或多个三维(3D)空间特征的第一部分集。方法还可以包括:在第一处理器接收由电子设备的深度传感器捕获的深度数据。确定一个或多个3D空间特征的第一集可以包括进一步基于深度数据来确定一个或多个3D空间特征的第一集。
[0115]方法还可以包括与接收第一图像数据流并发地接收表示电子设备的至少一个非成像传感器的传感器状态的传感器数据。确定一个或多个3D空间特征的第一集可以包括进一步基于传感器数据来确定一个或多个3D空间特征的第一集。非成像传感器可以包括陀螺仪，并且其中确定一个或多个3D空间特征的第一集可以包括进一步基于来自陀螺仪的定向读数来确定一个或多个3D空间特征的第一集。
[0116]在一个实施例中，第一成像相机包括具有多行像素传感器的滚动快门成像相机，接收第一图像数据流包括接收由滚动快门成像相机捕获的逐行图像数据流，由此第一图像帧的部分包括滚动快门成像相机的一行或多行的第一集的图像数据，并且由此图像帧的下一部分包括滚动快门成像相机的一行或多行的第二集的图像数据。方法还可以包括:在第一处理器接收由电子设备的第二成像相机捕获的第二图像数据流，第二图像数据流表示第二图像帧。方法进一步可以包括:在第一处理器确定针对第二图像帧的一个或多个2D空间特征的第二集，并且向第二处理器流式传输表示一个或多个2D空间特征的第二集的第二2D空间特征数据。
[0117]依照本公开的又一方面，电子设备包括深度传感器，深度传感器包括用于投射调制光图案的调制光投射器和用于捕获调制光图案的反射的第一成像相机。电子设备进一步包括控制器，用于响应于至少一个触发事件，选择性地修改调制光投射器投射调制光图案的频率、强度和持续时间中的至少一个。电子设备进一步可以包括环境光传感器，其中至少一个触发事件包括由环境光传感器检测的环境光的改变。响应于环境光降至第一阈值以下，控制器可以增加投射的调制光图案的频率、强度和持续时间中的至少一个，并且响应于环境光升至第二阈值以上，控制器可以减少投射的调制光图案的频率、强度和持续时间中的至少一个。至少一个触发事件可以包括定时器的推移。
[0118]至少一个触发事件可以包括电子设备位于先前未遇到的环境，其中响应于电子设备位于先前未遇到的环境，控制器可以增加调制光图案的投射的频率、强度和持续时间中的至少一个。电子设备进一步可以包括用于标识电子设备的粗定位的无线信号接收器，无线信号接收器包括全球定位系统接收器、无线蜂窝接收器和无线局域网接收器中的至少一个。基于由无线信号接收器确定的粗定位，控制器可以确定电子设备处于先前未遇到的环境。电子设备进一步可以包括用于捕获电子设备的本地环境的图像的第二成像相机。基于从图像确定的一个或多个空间特征和由调制光图案的反射表示的深度数据，控制器可以为电子设备处的当前环境编目录。控制器还可以基于编目录的当前环境来确定电子设备处于先前未遇到的环境。
[0119]在至少一个实施例中，电子设备进一步包括用于捕获电子设备的本地环境的图像的第二成像相机。基于本地环境电子设备的图像，并且基于由调制光图案的反射表示的深度数据，控制器可以确定一个或多个空间特征，并且至少一个触发事件包括确定空间特征中的一个或多个空间特征是先前未遇到的空间特征。进一步地，至少一个触发事件可以包括检测到电子设备的运动高于阈值，并且响应于检测到高于阈值的运动，控制器可以增加投射的调制光图案的频率、强度和持续时间中的至少一个。
[0120]在一个实施例中，电子设备进一步包括用于捕获电子设备的环境的图像的第二成像相机，并且至少一个触发事件包括从捕获的图像检测高于阈值的运动。响应于检测到高于阈值的运动，控制器可以增加投射的调制光图案的频率、强度和持续时间中的至少一个。在一个实施例中，第二成像相机捕获电子设备的环境的图像，并且控制器阻止显示由第二成像相机与调制光投射器投射调制光图案并发捕获的图像。
[0121]依照本公开的另一方面，方法包括:使用电子设备的调制光投射器投射调制光图案，使用成像相机捕获投射的调制光图案的反射，并且响应于至少一个触发事件，控制调制光投射器选择性地修改调制光图案的投射的频率、强度和持续时间中的至少一个。至少一个触发事件可以包括以下项中的至少一个:环境照明的改变；经由电子设备的第二成像相机检测高于阈值的运动；以及确定电子设备处于先前未遇到的环境。方法可以进一步包括:捕获电子设备的环境的至少一个图像，并且基于至少一个图像来确定至少一个空间特征，其中至少一个触发事件包括确定至少一个空间特征是先前未遇到的空间特征。方法可以进一步包括阻止在调制光投射器投射调制光图案的同时在电子设备显示由电子设备的成像相机捕获的图像。
[0122]依照本公开的又一方面，电子设备包括第一成像相机、用于至少投射调制光图案的调制光投射器、以及用于检测电子设备的环境光条件的环境光传感器。方法进一步包括控制器，用于响应于环境光条件来控制调制光投射器投射调制光图案的频率、强度和持续时间中的至少一个。在一个实施例中，响应于环境光条件小于第一阈值，控制器增加投射的调制光图案的频率、强度和持续时间中的至少一个，并且响应于环境光条件大于第二阈值，控制器减少投射的调制光图案的频率、强度和持续时间中的至少一个。第一阈值和第二阈值可以包括同一阈值。响应于确定电子设备处于先前遇到的环境，控制器可以减少调制光图案的投射的频率、强度和持续时间中的至少一个。
[0123]电子设备可以进一步包括第二成像相机和深度传感器，深度传感器包括调制光投射器以及第一成像相机和第二成像相机中的至少一个。响应于确定环境光条件大于阈值，电子设备可以使用来自第一成像相机的图像数据和来自第二成像相机的图像数据来确定针对检测的空间特征的深度数据。响应于环境光条件小于阈值，电子设备可以使用由第一成像相机或第二成像相机之一捕获的调制光图案的反射来确定针对检测的空间特征的深度数据。
[0124]上面描述的许多发明功能和许多发明原理非常适用于具有或以软件程序或指令以及诸如专用IC(ASIC)之类的集成电路(1C)的实施方式。预期的是，当由本文中公开的概念和原理引导时，普通技术人员(尽管由例如可用时间、当前技术和经济上的考虑激励的可能显著的努力和许多设计选择)将容易地能够以最少的实验生成这样的软件指令和程序和1C。因此，为了简洁和最小化模糊根据本公开的原理和概念的任何风险，对这样的软件和1C的进一步讨论(如果有的话)将限于关于优选实施例内的原理和概念的基本要点。
[0125]在本文档中，诸如第一和第二等之类的关系术语可以仅用于区分一个实体或动作与另一实体或动作，而不一定要求或暗指在这样的实体或动作之间的任何实际的这样的关系或顺序。术语“包括”或其任何其它变型旨在于涵盖非排他性包含，使得包括元件列表的处理、方法、物品或装置不只包括那些元件，而是可以包括未明确列出或这样的处理、方法、物品或装置所固有的其它元件。在没有更多约束的情况下，在“包括…”后的元件不排除在包括该元件的处理、方法、物品或装置中存在附加的完全相同的元件。如本文中使用的术语“另一”被定义为至少第二或更多。如本文中使用的术语“包含”和/或“具有”被定义为包括。如本文中参考电光技术所使用的术语“耦合”被定义为连接，虽然不一定直接地，并且不一定机械地。如本文中使用的术语“程序”被定义为设计用于执行在计算机系统上的指令序列。“程序”或“计算机程序”可以包括子例程、函数、过程、对象方法、对象实施方式、可执行应用、小应用程序、小服务程序、源代码、目标代码、共享库/动态加载库和/或设计用于执行在计算机系统上的其它指令序列。
[0126]本说明书和附图应当被视为仅仅是示例，并且据此本公开的范围旨在于仅由所附权利要求及其等同物来限定。注意，并不要求上面在一般性描述中所描述的所有活动或元件，可以不要求特定活动或设备的一部分，并且除了所描述的那些，可以执行一个或多个其它活动，或者可以包括一个或多个其它元件。再进一步地，列出活动的顺序不一定是它们执行的顺序。除非另有规定，上面所描绘的流程图的步骤可以按任何顺序，并且根据实施方式，可以省略、重复和/或添加步骤。还有，已经参考具体实施例描述了概念。然而，本领域普通技术人员理解，可以做出各种修改和改变，而不脱离如所附权利要求中所阐述的本公开的范围。据此，说明书和附图要在说明性而非限制性的意义上来看待，并且所有这样的修改旨在于包括在本公开的范围内。
[0127]上面已经关于具体实施例描述了益处、其它优点和问题的解决方案。然而，益处、优点、问题的解决方案、以及其可以使得任何益处、优点或解决方案发生或变得更为显著的任何(多个)特征不应被解释为任何或所有权利要求的关键的、必需的或基本的特征。
【主权项】
1.一种电子设备，包括: 深度传感器，包括: 调制光投射器，用于投射调制光图案；以及 第一成像相机，用于至少捕获所述调制光图案的反射；以及 控制器，用于响应于至少一个触发事件而选择性地修改由所述调制光投射器投射所述调制光图案的频率、强度和持续时间中的至少一个。2.根据权利要求1所述的电子设备，其中所述至少一个触发事件包括: 定时器的推移。3.根据权利要求1所述的电子设备，进一步包括: 环境光传感器；并且 其中所述至少一个触发事件包括: 由所述环境光传感器检测的环境光的改变。4.根据权利要求3所述的电子设备，其中响应于所述环境光降至第一阈值以下，所述控制器增加投射的所述调制光图案的所述频率、所述强度和所述持续时间中的至少一个，并且响应于所述环境光升至第二阈值以上，所述控制器减少投射的所述调制光图案的所述频率、所述强度和所述持续时间中的至少一个。5.根据权利要求1所述的电子设备，其中所述至少一个触发事件包括: 所述电子设备位于先前未遇到的环境中；并且 响应于所述电子设备位于先前未遇到的环境中，所述控制器增加所述调制光图案的投射的所述频率、所述强度和所述持续时间中的至少一个。6.根据权利要求5所述的电子设备，进一步包括: 无线信号接收器，用于标识所述电子设备的粗定位，所述无线信号接收器包括全球定位系统接收器、无线蜂窝接收器和无线局域网接收器中的至少一个；并且 其中基于由所述无线信号接收器确定的所述粗定位，所述控制器确定所述电子设备处于先前未遇到的环境中。7.根据权利要求5所述的电子设备，进一步包括: 第二成像相机，用于捕获所述电子设备的本地环境的图像； 其中基于从所述图像确定的一个或多个空间特征和由所述调制光图案的所述反射表示的深度数据，所述控制器为所述本地环境编目录；并且 其中基于编目录的所述本地环境，所述控制器确定所述电子设备处于先前未遇到的环境中。8.根据权利要求1所述的电子设备，进一步包括: 第二成像相机，用于捕获所述电子设备的本地环境的图像； 其中基于所述本地环境电子设备的所述图像，并且基于由所述调制光图案的所述反射表示的深度数据，所述控制器确定一个或多个空间特征；并且其中所述至少一个触发事件包括: 确定所述空间特征中的至少一个空间特征是先前未遇到的空间特征。9.根据权利要求1所述的电子设备，其中: 所述至少一个触发事件包括: 检测所述电子设备的运动高于阈值；并且 响应于检测到高于所述阈值的所述运动，所述控制器增加投射的所述调制光图案的所述频率、所述强度和所述持续时间中的至少一个。10.根据权利要求1所述的电子设备，进一步包括: 第二成像相机，用于捕获所述电子设备的环境的图像； 所述至少一个触发事件包括: 从捕获的所述图像检测高于阈值的运动；并且 响应于检测到高于所述阈值的所述运动，所述控制器增加投射的所述调制光图案的所述频率、所述强度和所述持续时间中的至少一个。11.根据权利要求1所述的电子设备，其中所述控制器阻止由所述第一成像相机与捕获所述调制光图案的所述反射并发捕获的图像的显示。12.—种方法，包括: 使用电子设备的调制光投射器投射调制光图案； 使用成像相机捕获投射的所述调制光图案的反射；以及 响应于至少一个触发事件，控制所述调制光投射器选择性地修改所述调制光图案的投射的频率、强度和持续时间中的至少一个。13.根据权利要求12所述的方法，其中所述至少一个触发事件包括以下项中的至少一个: 环境照明的改变；检测到高于阈值的运动；以及确定所述电子设备处于先前未遇到的环境中。14.根据权利要求12所述的方法，进一步包括: 捕获所述电子设备的环境的至少一个图像； 基于所述至少一个图像，确定至少一个空间特征；并且 其中所述至少一个触发事件包括: 确定所述至少一个空间特征是先前未遇到的空间特征。15.根据权利要求12所述的方法，进一步包括: 阻止由所述电子设备的成像相机在所述调制光投射器投射调制光图案的同时捕获的图像在所述电子设备的显示。16.—种电子设备，包括: 第一成像相机； 调制光投射器，用于至少投射调制光图案； 环境光传感器，用于检测所述电子设备的环境光条件；以及 控制器，用于响应于所述环境光条件，控制所述调制光投射器投射所述调制光图案的频率、强度和持续时间中的至少一个。17.根据权利要求16所述的电子设备，其中响应于所述环境光条件小于第一阈值，所述控制器增加投射的所述调制光图案的所述频率、所述强度和所述持续时间中的至少一个。18.根据权利要求16所述的电子设备，其中响应于所述环境光条件大于第二阈值，所述控制器减少投射的所述调制光图案的所述频率、所述强度和所述持续时间中的至少一个。19.根据权利要求16所述的电子设备，进一步包括: 第二成像相机；以及 深度传感器，包括所述调制光投射器以及所述第一成像相机和所述第二成像相机中的至少一个成像相机； 其中响应于所述环境光条件大于阈值，所述电子设备使用来自所述第一成像相机的图像数据和来自所述第二成像相机的图像数据来确定用于检测的空间特征的深度数据；并且 其中响应于所述环境光条件小于所述阈值，所述电子设备使用由所述第一成像相机或所述第二成像相机之一捕获的所述调制光图案的反射来确定用于检测的空间特征的深度数据。20.根据权利要求16所述的电子设备，其中响应于确定所述电子设备处于先前遇到的环境中，所述控制器减少所述调制光图案的投射的所述频率、所述强度和所述持续时间中的至少一个。
【专利摘要】电子设备(100)包括深度传感器(120)、第一成像相机(114，116)和控制器(802)。深度传感器(120)包括用于投射调制光图案(500)的调制光投射器(119)。第一成像相机(114，116)至少捕获调制光图案(500)的反射。响应于至少一个触发事件(1002)，控制器(802)选择性地修改(1004)调制光投射器投射调制光图案的频率、强度和持续时间中的至少一个。触发事件可以包括例如入射在电子设备上的环境光的改变(1092)、电子设备的运动的检测(1094)、或者确定(1096)电子设备遇到了先前未遇到的环境。
【IPC分类】G01B11/22, G01B11/25
【公开号】CN105393079
【申请号】CN201480011049
【发明人】J·李
【申请人】谷歌技术控股有限责任公司
【公开日】2016年3月9日
【申请日】2014年1月23日
【公告号】EP2962062A1, US9398287, US20140240464, WO2014133691A1