移动装置上的深度传感器的功率有效使用
【专利说明】移动装置上的深度传感器的功率有效使用
[0001 ] 相关申请案的交叉参考
[0002]本申请案主张2014年11月24日申请的名为“移动装置上的深度传感器的功率有效使用(Power efficient use of a depth sensor on a mobile device)，，的美国申请案第14/552，183号的权益和优先权，所述美国申请案主张2013年11月25日申请的名为“移动装置上的深度传感器的功率有效使用(Power efficient use of a depth sensor on amobile device)”的美国临时申请案第61/908，443号的35U.S.C.§119(e)下的权益和优先权，所述美国申请案和所述美国临时申请案的全文以引用的方式并入本文中。
技术领域
[0003]本发明大体上涉及用于最小化移动装置上的深度传感器的功率消耗的系统、设备和方法，且更具体地说涉及仅在传感器测量指示图像对于姿势计算不适当时启用深度传感器。
【背景技术】
[0004]使用可供使用的传感器的移动装置的运动估计及轨迹估计具有广泛范围的重要应用。短周期(例如，若干毫秒)内的运动估计在去模糊和超分辩率方面为重要的。经扩展的周期(例如，若干秒)内的轨迹估计适用于增强现实(AR)、近程导航及地点估计。低光情形影响运动估计和轨迹估计两者。
[0005]针对这些情形应用常常使用惯性传感器，这是因为惯性传感器以比相机高的速率测量运动。然而，惯性传感器具有固有的偏差和其它误差源，当在不具有常规偏差校正的情况下执行“航位推测”时所述偏差和误差源增加挑战性。也就是说，惯性测量单元(MU)的偏差状态的更新需要连续姿势估计。移动装置可使用惯性传感器测量计算六个自由度(6DoF)姿势轨迹。6DoF姿势计算考虑上到下(起伏)、右边到左边(摇摆)和向前到向后(浪涌)平移移动以及向前倾斜到向后倾斜(俯仰)、左边回转到右边回转(偏航)和边到边枢转(横摇)旋转移动。移动装置可历时若干100毫秒整合此移动。
[0006]在一实例中，假定移动装置不包含对MU的姿势校正，因此提供经偏差的惯性传感器测量。在短期和长期内整合此惯性传感器测量导致不利地影响结果的误差。举例来说，假定视频的每秒10巾贞(fps)巾贞率针对视频中的每一图像导致100晕秒(ms)的曝光时间。进一步假定仅使用惯性传感器测量且在不校正来自MU的惯性传感器测量的情况下计算移动装置的6DoF姿势。此计算对于頂U将引起姿势误差和过期偏差估计两者。
[0007]如果通过来自非MU装置(例如，相机)的测量来周期性地校正惯性传感器误差状态，那么移动装置可做出较佳运动估计和轨迹估计两者。此外，可通过此类装置校正惯性传感器误差状态。然而，此类非MU装置不连续地可供使用。举例来说，在视觉惯性跟踪系统中的相机中断或长图像曝光的周期期间，相机不可足够频繁地提供姿势校正和惯性状态校正。另一非相机装置可填充此间隔以较佳地维持姿势和惯性状态校正。此类姿势和惯性状态校正还可增强通常用于维持姿势和惯性状态的估计的递归滤波器的操作，例如扩展卡尔曼(Kalman)滤波器(EKF) ο
[0008]包含跟踪应用的一些视觉惯性跟踪系统使用来自惯性传感器的惯性传感器测量和来自相机的图像两者。然而，不频繁的相机更新可导致被破坏的惯性误差状态。反过来，被破坏的惯性误差状态可导致归因于不准确的运动预测的相机跟踪中断的周期。在这些中断期间不具有来自另一装置的辅助的情况下，从惯性传感器测量整合的运动可易受偏差浮动影响。此外，整体的滤波器状态可以无界的方式从其正确值偏离。
[0009]举例来说，如果相机姿势不可用于在30fps视频流中更新6帧惯性状态，那么200毫秒(ms)可在可不出现校正来自非相机装置的状态的情况下流逝。在此200ms周期期间，EKF姿势估计和惯性状态估计可浮动远离其正确值，从而导致EKF的故障。伴随此故障，取决于EKF惯性状态估计的用户应用可相似地发生故障。
[0010]为了减轻视觉惯性跟踪系统中普遍的这些缺点，当基于图像的姿势测量不可用于长于I OOms (例如，> 150ms)时，实施例在相机中断的周期期间将提供对EKF的姿势校正。来自非相机装置的此姿势估计可通过将校正性测量提供到EKF而显著地改进视觉惯性跟踪系统的稳定性。本文中所描述的实施例将来自深度传感器的校正机构提供作为非相机装置。
【发明内容】
[0011]揭示用于仅在其它模态对于维持用于运动和跟踪算法中的姿势计算不适当时对深度传感器供电的系统、设备和方法。
[0012]根据一些方面，揭示一种在移动装置中用于跟踪所述移动装置的姿势的方法，所述方法包括:从图像捕获装置接收多个图像;至少部分地基于所述多个图像中的一者计算姿势;将所述姿势发送到姿势跟踪滤波器模块；比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值;至少部分地基于比较所述第一测量来启用深度传感器;接收第一深度图；部分地基于所述第一深度图计算深度传感器姿势；以及将所述深度传感器姿势提供到所述姿势跟踪滤波器模块。
[0013]根据一些方面，揭示一种用于跟踪姿势的移动装置，所述移动装置包括:图像捕获装置，其经配置以捕获多个图像;姿势模块，其耦合到所述图像捕获装置且经配置以至少部分地基于所述多个图像中的一者计算姿势;深度传感器，其经配置以发送第一深度图；比较器模块，其经配置以比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值;深度传感器触发模块，其耦合到所述深度传感器和所述比较器模块且经配置以至少部分地基于比较所述第一测量来启用所述深度传感器;深度传感器姿势模块，其耦合到所述深度传感器且经配置以部分地基于所述第一深度图计算深度传感器姿势；和姿势跟踪滤波器模块:耦合到所述姿势模块和所述深度传感器姿势模块;且经配置以接收所述姿势和所述深度传感器姿势;且提供经估计的姿势。
[0014]根据一些方面，揭示一种移动装置，其用于跟踪所述移动装置的姿势，所述移动装置包括:用于从图像捕获装置接收多个图像的装置；用于至少部分地基于所述多个图像中的一者计算姿势的装置;用于将所述姿势发送到姿势跟踪滤波器模块的装置；用于比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值的装置；用于至少部分地基于比较所述第一测量来启用深度传感器的装置；用于接收第一深度图的装置；用于部分地基于所述第一深度图计算深度传感器姿势的装置;和用于将所述深度传感器姿势提供到所述姿势跟踪滤波器模块的装置。
[0015]根据一些方面，揭示一种非暂时性计算机可读存储媒体，其包含存储于其上的程序代码，包括用于移动装置的程序代码，所述移动装置用于跟踪所述移动装置的姿势，所述程序代码包括用于以下操作的代码:从图像捕获装置接收多个图像;至少部分地基于所述多个图像中的一者计算姿势;将所述姿势发送到姿势跟踪滤波器模块；比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值;至少部分地基于比较所述第一测量来启用深度传感器;接收第一深度图；部分地基于所述第一深度图计算深度传感器姿势；以及将所述深度传感器姿势提供到所述姿势跟踪滤波器模块。
[0016]应理解，所属领域的技术人员将从以下详细描述而容易地明了其它方面，其中借助于说明展示且描述各个方面。图式和详细描述应被视为本质上是说明性的而非限制性的。
【附图说明】
[0017]将参考图式仅借助于实例来描述本发明的实施例。
[0018]图1展示不具有深度传感器的移动装置中的处理的框图。
[0019]图2展示具有深度传感器的移动装置上的处理的框图。
[0020]图3A和3B说明根据本发明的一些实施例的用以最小化深度传感器的使用的移动装置的功能模块。
[0021]图4说明根据本发明的一些实施例的触发深度传感器的原因。
[0022]图5展示根据本发明的一些实施例的移动装置。
[0023]图6到8展示根据本发明的一些实施例的用以最小化深度传感器的使用同时填充由其它传感器留下的间隔的移动装置中的方法。
[0024]图9展示根据本发明的一些实施例的使用经估计的姿势的对惯性传感器的校正。
[0025]图10展示根据本发明的一些实施例的时间线。
【具体实施方式】
[0026]以下结合附图而阐述的详细描述意图作为对本发明的各个方面的描述，而并非意图表示其中可实践本发明的仅有方面。提供本发明中所描述的每一方面仅作为本发明的实例或说明，且其不一定解释为比其它方面优选或有利。出于提供对本发明的透彻理解的目的，详细描述包含特定细节。然而，所属领域的技术人员将明了，可在没有这些特定细节的情况下实践本发明。在一些情况下，以框图的形式展示众所周知的结构和装置以便避免混淆本发明的概念。首字母缩写词和其它描述性术语可仅出于方便和清楚的目的而使用，且不意图限制本发明的范围。
[0027]本文中所描述的位置确定技术可结合各种无线通信网络来实施，例如无线广域网(ffffAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等。术语“网络”和“系统”常常可互换地使用。WWAN可为码分多址接入(CDMA)网络、时分多址接入(TD