移动装置上的深度传感器的功率有效使用_3

文档序号:9925612阅读:来源:国知局
300还包含如上文所描述的深度传感器触发模块328、深度传感器340和基于深度传感器的姿势确定模块324。深度传感器触发模块328启用以及停用深度传感器340。当由深度传感器触发模块328启用时,深度传感器340消耗功率。当由深度传感器触发模块328停用时,深度传感器340处于低功率到无功率消耗状态。深度传感器340馈送基于深度传感器的姿势确定模块324。基于深度传感器的姿势确定模块324输出深度传感器姿势。移动装置300还包含姿势跟踪滤波器模块322’,其在相机姿势和深度传感器姿势可供使用时于输入端口处接受相机姿势和深度传感器姿势两者且输出经估计的姿势。
[0047]图4说明根据本发明的一些实施例的触发深度传感器340的原因。与深度传感器触发模块328相似的深度传感器触发模块428的一些实施例接收用于启用或停用深度传感器340的单个起因。其它实施例包含接收用于启用或停用深度传感器340的两个或两个以上起因的深度传感器触发模块428。深度传感器触发模块428可对单个触发或指示符进行操作。深度传感器触发模块428可对具有两个或两个以上指示符的一或多个逻辑“与”及/或逻辑“或”门进行操作。深度传感器触发模块428可能需要某些输入以接通深度传感器340,且需要其它输入以断开深度传感器340。
[0048]可基于来自传感器(例如,一或多个惯性传感器450、光传感器412及/或相机410(与相机310相似或相似的图像捕获装置))的测量转换深度传感器触发模块428。举例来说,加速度或速度模块430确定惯性传感器测量是否表示大于或小于一阈值的来自惯性传感器450的角速度或角加速度的速率或线速度或线加速度或速度的速率,且认为移动装置300的此运动太快。此快速运动被预测为导致运动模糊及/或来自相机410的图像的其它劣化,且可忽略或补充用于姿势计算的图像。举例来说,以大于一阈值加速或在大于一阈值的速度下的移动装置300可指示来自相机410的图像被预测为太模糊或另外地不适当(例如,归因于光等级或运动模糊)。
[0049]噪声模块432确定来自惯性传感器450的惯性传感器测量是否大于一阈值噪声等级,且因此确定惯性传感器测量是否具太多噪声且图像是否被预测为太模糊。光模块434确定来自光传感器412的光等级是否小于或大于一阈值且因此来自相机410的图像被预测为太暗或太亮及/或不频繁。还可根据来自相机410的图像或替代地根据环境光等级的单独传感器测量(例如,来自光度计或环境光传感器)计算光等级。模糊度模块436确定来自相机410的图像是否大于一模糊度阈值且因此确定所述图像是否太模糊而不能用于姿势计算中。频率模块438确定来自相机410的图像是否以小于一阈值的帧率到达且因此确定所述图像的速率是否太低而不能用于姿势计算中。举例来说,到达帧率为每个图像250ms,而阈值为150ms。在此实例中,图像到达地太不频繁而不能提供适当姿势估计。
[0050]深度传感器触发模块428从这些模块(S卩,模块430到438)中的一或多者接收指示符以触发深度传感器340的启用或停用。如果实施一个以上模块,那么深度传感器触发模块428可如同“或”门及/或“与”门起作用,其中所述模块中的任一者或特定组合可触发深度传感器340。如果仅实施一个模块,那么来自所述模块的指示符可直接用于触发深度传感器340而无需单独的深度传感器触发模块428。模块(例如,模块430到438中的任一者)还可含有滞后以使得测量必须降到大于(或小于)第一阈值以启用指示符,但必须降到小于(或大于)第二阈值以停用指示符。
[0051]图5展示根据本发明的一些实施例的与移动装置300相似的移动装置500。移动装置500包含相机510、光传感器512、深度传感器540、一或多个惯性传感器550、一或多个其它传感器560、处理器570、存储器580及收发器590,以上各者通过总线505任选地耦合在一起、通过多个总线耦合在一起及/或直接耦合。
[0052]与相机410或其它图像捕获装置相似的相机510捕获多个图像且将图像提供到处理器570中的模块。相机510或图像捕获装置充当用于捕获图像、第一图像及第二图像或多个图像的装置。与光传感器412相似的光传感器512在移动装置500处测量环境光等级。可根据来自相机510的图像或直接通过光传感器512确定光等级。
[0053]与深度传感器340相似的深度传感器540可包含红外线(IR)投影仪542及IR传感器544。深度传感器540充当用于捕获单个深度图、第一深度图及第二深度图或多个深度图的装置。IR投影仪542投影IR光且IR传感器544接收经投影的IR光的反射。与惯性传感器450相似的一或多个惯性传感器550可包含加速计、陀螺仪及/或其类似者。一或多个其它传感器560可包含磁强计或罗盘、步进传感器、接近度传感器、GNSS传感器,等等。
[0054]处理器570可为如下文所描述的一或多个通用或专用处理器。处理器570可充当用于比较第一测量与第一阈值的装置、用于设置第一比较的装置、用于基于第一比较而启用深度传感器540的装置、用于根据第一深度图及第二深度图计算深度传感器姿势的装置,及/或用于将深度传感器姿势馈送到姿势跟踪滤波器模块322’的装置。处理器570可充当用于至少部分地基于多个图像中的至少一者计算姿势的装置、用于将姿势发送到姿势跟踪滤波器模块的装置、用于比较第一测量与第一阈值以确定第一测量超过第一阈值的装置、及/或用于至少部分地基于比较第一测量而启用深度传感器的装置,用于接收第一深度图的装置。处理器570可充当用于比较第二测量与第一阈值以确定第二测量超过第一阈值的装置、用于基于比较第二测量而停用深度传感器的装置,及/或用于从姿势跟踪滤波器模块计算经估计的姿势的装置。
[0055]处理器570可包含存储器580及/或存储器580可与处理器570分离。存储器580包含用于模块430到438的软件代码。收发器590直接(如图所示)或间接(例如,经由总线505)耦合到处理器570。收发器590包含接收器和发射器,且允许移动装置500分别经由(例如)蜂窝信道及/或WiFi信道及/或蓝牙信道上的WWAN(无线广域网)及/或WLAN(无线局域网)及/或WPAN(无线个人局域网)通信。
[0056]图6到9展示根据本发明的一些实施例的用以最小化深度传感器540的使用同时填充由其它传感器留下的间隔的移动装置500中的方法600、700和800。
[0057]在图6中,方法600展示当来自相机510的图像不适当时移动装置500中的启用深度传感器540的处理。不适当图像可能提供错误姿势结果。举例来说,不适当图像来自移动或加速太快速或具有具太多噪声的惯性传感器测量的移动装置500。不适当图像可能太暗、太亮或太模糊。不适当图像可能到达太慢。不适当图像可包括这些指示符中的两者或两者以上的逻辑组合。
[0058]在610处,移动装置500的相机510捕获第一图像。或者,移动装置500中的处理器570获取第一深度图,代替第一图像。在612处,相机510捕获第二图像。或者,移动装置500中的处理器570获取第二深度图或对象的模型而非第二图像。
[0059]在620处,移动装置500中的处理器570的基于相机的姿势确定模块320根据第一图像和第二图像计算相机姿势。或者,处理器570可根据第一图像或第一深度图与第二图像、第二深度图或对象的模型之间的改变计算姿势。或者,处理器570可根据第一深度图图像和第二图像计算姿势。
[0060]在630处,处理器570将相机姿势馈送到姿势跟踪滤波器模块322或姿势跟踪滤波器模块322’。只要一个指示符、所有指示符或指示符的特定组合指示测量或图像在640中不适当,那么处理在610处重复。来自一个计算的第二图像可变成下一个计算的第一图像。一些实施例实施异“或”(XOR)操作,其中当深度传感器姿势不被馈送到姿势跟踪滤波器模块322时将相机姿势馈送到姿势跟踪滤波器模块322。在其它实施例中,当相机姿势可供使用且不用考虑深度传感器姿势可供使用时,将相机姿势馈送到姿势跟踪滤波器模块322 ’,即使认为图像不适当也如此。在一些实施例中,适当指示符被馈送到姿势跟踪滤波器模块322,。
[0061 ] 在640处,处理器570比较第一测量与第一阈值以产生第一比较。比较的动作可以是为了确定第一测量是大于还是小于第一阈值。第一测量可来源于一或多个惯性传感器550、光传感器512或相机510,且可被馈送到如关于图4所描述的模块430到438中的任一者。或者,处理器570比较一或多个惯性传感器测量及/或一或多个图像与多个相应的阈值以产生多个比较或多个指示符。深度传感器触发模块428组合多个指示符以产生深度传感器接通/断开信号。深度传感器接通/断开信号用于启用以及停用深度传感器540。
[0062]在642处,处理器570基于第一比较而启用深度传感器540。或者,处理器570基于深度传感器接通/断开信号启用深度传感器540。也就是说,可在图像(或被预测为)不适当时启用深度传感器540,且可在图像(或被预测为)再次适当时停用深度传感器540。
[0063]在650处,深度传感器540捕获第一深度图。在652处,如果需要第二深度传感器540,那么深度传感器540捕获第二深度图。在660处,处理器
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1