移动装置上的深度传感器的功率有效使用_4

文档序号:9925612阅读:来源:国知局
570的基于深度传感器的姿势确定模块324根据第一深度图或第一图像以及第二深度图、模型或第二图像计算深度传感器姿势。举例来说,基于深度传感器的姿势确定模块324根据第一深度图和第二深度图计算深度传感器姿势。在其它实施例中,基于深度传感器的姿势确定模块324不需要第二深度图来计算姿势。在这些其它实施例中,基于深度传感器的姿势确定模块324比较第一深度图与在之前操作中经计算的对象的场景或模型的图来计算深度传感器姿势。以此方式,基于深度传感器的姿势确定模块324可仅根据深度图以及对象的场景或模型的图计算相机姿势。
[0064]在670处,处理器570将深度传感器姿势馈送到姿势跟踪滤波器模块322或姿势跟踪滤波器模块322’。只要一个指示符、一个以上指示符、特定组合或所有指示符(例如,运动、光、频率等等)指示惯性传感器测量或相机图像对于680不适当(或被预测为不适当),那么处理在650处继续。来自一个计算的第二深度图可变成下一个计算的第一深度图。
[0065]在680处,当指示符指示惯性传感器测量或来自相机510的图像保持(或被预测为保持)不适当时,处理在650处重复。另一方面,当指示符指示测量或来自相机510的图像(或被预测为)再次适当时,处理停用深度传感器540。也就是说,在680处,处理器570比较惯性传感器测量与阈值及/或图像。一或多个比较结果确定是否停用深度传感器540。再次,第二测量可来源于一或多个惯性传感器550、光传感器512或相机510,且可被馈送到如关于图4所描述的模块430到438中的任一者。在682处,处理器570基于一或多个比较结果停用深度传感器540。
[0066]在图7中,展示移动装置500中的方法700。在710处,移动装置500的处理器570通过相机510捕获多个图像,根据多个图像计算相机姿势,且接着将相机姿势馈送到姿势跟踪滤波器模块322。
[0067]在720处,处理器570比较第一传感器测量与第一阈值以形成比较结果。如果第一传感器测量超过第一阈值(高于或低于第一阈值),那么来自相机510的图像可能不适当。在一些实施例中,阈值为最小可允许的值。在一些实施例中,阈值为最大可允许的值。或者,可使用多个比较。举例来说,处理器570比较一或多个惯性传感器测量及/或一或多个其它传感器测量及/或一或多个相机传感器图像及/或其类似者与多个对应的阈值。每一比较结果可被馈送到深度传感器触发模块428。与第一比较结果相似,深度传感器触发模块428可产生深度传感器接通/断开信号,如图4中所展示。
[0068]在730处,处理器570基于第一比较结果或深度传感器接通/断开信号确定相机图像是否已变得不适当,或是否被预测为不适当。如果图像并非不适当,那么处理循环回到步骤710。如果图像不适当,那么处理继续到步骤740。
[0069]在740处,处理器570至少部分地基于比较结果或指示来自相机510的图像不适当或可能不适当的深度传感器接通/断开信号而启用深度传感器540。以此方式,处理器570可使用如描述于步骤750到770(如下文所描述)中的深度传感器姿势替代或补充错误相机姿势。
[0070]在750处,深度传感器540捕获深度图。在760处,基于深度传感器的姿势确定模块324根据深度图计算深度传感器姿势。举例来说,基于深度传感器的姿势确定模块324基于深度图和第二深度图计算深度传感器姿势。或者,基于深度传感器的姿势确定模块324可基于深度图和图像计算深度传感器姿势。或者,基于深度传感器的姿势确定模块324可基于深度图和深度图中的对象的模型计算深度传感器姿势。
[0071]在770处,处理器570将深度传感器姿势馈送到姿势跟踪滤波器模块322或姿势跟踪滤波器模块322’。深度传感器姿势可替代或补充相机姿势。
[0072]在780处,处理器570基于如上文所描述的比较结果或深度传感器接通/断开信号确定相机图像是否仍不适当。如果图像保持不适当,那么处理循环回到步骤750。如果图像不再不适当,那么处理继续到步骤790。在以下情形中图像再次适当(或被预测为再次适当):例如,当惯性传感器测量指示移动装置500移动或加速足够慢、惯性传感器测量具有低噪声等级、光传感器或图像指示图像不太暗或不太亮、图像不太模糊,及/或图像足够频繁时。这些指示符和阈值可与上文参考图4所论述的相同,或可不同,以使得在启用与停用深度传感器540之间形成滞后。在790处,当图像再次适当或出现超时时,可停用深度传感器540以节省电池功率。
[0073]在图8中,展示在移动装置500中用于跟踪移动装置500的姿势的方法800。在810处,移动装置500从图像捕获装置接收多个图像。所述图像捕获装置可包含相机520。所述多个图像可包含第一图像和第二图像。
[0074]在820处,移动装置500至少部分地基于多个图像中的一者计算相机姿势。可基于一个图像、两个图像或若干图像确定姿势。在830处,移动装置500将相机姿势发送到姿势跟踪滤波器模块322或322’。
[0075]在840处,移动装置500比较第一测量与第一阈值以确定第一测量超过第一阈值。第一测量可来自惯性传感器550、光传感器412、相机512或其它图像捕获装置,或其类似者。一或多个额外测量还可与相应的阈值比较且经组合以产生深度传感器触发信号。在850处,移动装置500至少部分地基于比较第一测量而启用深度传感器540。
[0076]在860处,移动装置500接收第一深度图。在870处,移动装置500部分地基于第一深度图计算深度传感器姿势。深度传感器姿势可补充或替代相机姿势。在880处,移动装置500将深度传感器姿势提供到姿势跟踪滤波器模块322或322 ’。
[0077]方法800可进一步包括捕获第二深度图,其中部分地基于第一深度图计算深度传感器姿势包括根据第一深度图和第二深度图计算深度传感器姿势。
[0078]第一测量可包括从惯性传感器测量获得的角速度的速率或角加速度的速率。第一测量可包括惯性传感器测量的噪声等级、光等级,对模糊度的指示及/或相机图像的帧率。姿势跟踪滤波器模块322或322’可包括扩展卡尔曼滤波器(EKF)或粒子滤波器。
[0079]方法800可进一步包括从姿势跟踪滤波器模块322或322’计算经估计的姿势。方法800可进一步包括停用深度传感器540。停用深度传感器540可包括:比较第二测量与第一阈值以确定第二测量超过第一阈值;以及基于比较第二测量而停用深度传感器540。
[0080]图9展示根据本发明的一些实施例的使用经估计的姿势的对惯性传感器450的校正。上文所论述的姿势跟踪滤波器模块322接收相机姿势或深度传感器姿势中的选定的一者。从(例如)图3A或3B的基于相机的姿势计算模块320接收相机姿势,所述基于相机的姿势计算模块320从相机310或510或其它图像捕获装置接收图像。从(例如)图3A或3B的基于深度传感器的姿势计算模块324接收深度传感器姿势,所述基于深度传感器的姿势计算模块324从深度传感器340或540接收深度传感器图。相似地,上文所论述的姿势跟踪滤波器模块322’接收相机姿势和深度传感器姿势。当来自相机510的图像不适当时。
[0081]深度传感器540被启用且提供深度传感器图,所述深度传感器图又用于计算深度传感器姿势。深度传感器姿势可用于替代或补充不适当相机图像。相机姿势及/或深度传感器姿势由姿势跟踪滤波器模块322或322’使用以形成经估计的姿势。经估计的姿势被馈送到偏差确定模块910以比较惯性姿势与所述经估计的姿势。根据惯性传感器测量确定惯性姿势。惯性姿势与经估计的姿势之间的差异用于计算偏差校正,所述偏差校正被馈送回到惯性传感器450。偏差校正由惯性传感器450使用以缩小或消除固有的惯性传感器偏差,进而改进惯性传感器测量。
[0082]图10展示根据本发明的一些实施例的时间线。来自相机的图像可在适当与不适当之间转换。在姿势计算产生或被预测为产生不准确的姿势计算的情况下,图像可能不适当或认为图像不适当。例如来自惯性传感器、光传感器、图像传感器、磁强计或罗盘、步进传感器、接近度传感器、GNSS传感器及/或其类似者的传感器测量可用于确定图像对于姿势计算不适当。
[0083]举例来说,惯性传感器、步进传感器或GNSS传感器可指示移动装置移动太快而不能确保不模糊的图像。对来自图像传感器的图像的分析可指示图像太模糊,因此预测不准确的姿势。对来自图像传感器的图像或来自光传感器的传感器测量的分析可指示图像太亮而不能向姿势计算给出足够的细节。对图像或光传感器测量的分析可指示图像对于足够频繁的图像太暗。
[0084]在相机可能产生不适当相机图像(其产生不准确的姿势计算)的时间期间,深度传感器可被启用且产生深度图。来自深度传感器的深度图可补充或替代相机图像,所述相机图像将独自产生不准确的姿势计算。稍后,当相机图像再次适当时,可停用深度传感器且不再产生深度图。
[0085]依据应用,可通过各种手段实施本文中所描述的方法。举例来说,这些方法可在硬件、固件、软件或其任何组合中实施。对于硬件实施方案,处理器或其它处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1