现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元，或其组合内。
[0086]对于固件及/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、功能等等)实施方法。任何有形地体现指令的机器可读媒体可用于实施本文中所描述的方法。举例来说，软件代码可存储在存储器中，并且由处理器单元来执行。存储器可实施在处理器单元内或在处理器单元外部。如本文中所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储器，且不应限于任何特定类型的存储器或任何特定数目的存储器或存储有存储器的媒体的类型。
[0087]如果在固件及/或软件中实施，那么功能可作为一或多个指令或代码存储在计算机可读媒体上。实例包含用数据结构编码的计算机可读媒体和用计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可通过计算机存取的任何可用媒体。借助于实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、⑶-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体;如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
[0088]除了存储在计算机可读媒体上之外，还可将指令及/或数据提供作为包含在通信设备中的发射媒体上的信号。举例来说，通信设备可包含具有指示指令和数据的信号的收发器。所述指令和数据经配置以使得一或多个处理器实施权利要求书中概述的功能。也就是说，通信设备包含具有指示用以执行所揭示的功能的信息的信号的发射媒体。在第一时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第二部分。
[0089]提供对所揭示方面的先前描述以使得所属领域的任何技术人员能够制造或使用本发明。所属领域的技术人员将容易明了对这些方面的各种修改，且本文中界定的一般原理可应用于其它方面而不脱离本发明的精神或范围。
【主权项】
1.一种在移动装置中用于跟踪所述移动装置的姿势的方法，所述方法包括: 从图像捕获装置接收多个图像； 至少部分地基于所述多个图像中的一者计算姿势； 将所述姿势发送到姿势跟踪滤波器模块； 比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值； 至少部分地基于比较所述第一测量而启用深度传感器； 接收第一深度图； 部分地基于所述第一深度图计算深度传感器姿势；以及 将所述深度传感器姿势提供到所述姿势跟踪滤波器模块。2.根据权利要求1所述的方法，其进一步包括停用所述深度传感器。3.根据权利要求2所述的方法，其中停用所述深度传感器包括: 比较第二测量与所述第一阈值以确定所述第二测量不再超过所述第一阈值；以及 基于比较所述第二测量而停用所述深度传感器。4.根据权利要求1所述的方法，其进一步包括: 捕获第二深度图； 其中部分地基于所述第一深度图计算所述深度传感器姿势包括根据所述第一深度图和所述第二深度图计算所述深度传感器姿势。5.根据权利要求1所述的方法，其中所述第一测量包括从惯性传感器测量获得的角速度的速率和角加速度的速率。6.根据权利要求1所述的方法，其中所述第一测量包括惯性传感器测量的噪声等级。7.根据权利要求1所述的方法，其中所述第一测量包括光等级。8.根据权利要求1所述的方法，其中所述第一测量包括对模糊度的指示。9.根据权利要求1所述的方法，其中所述第一测量包括图像的帧率。10.根据权利要求1所述的方法，其中所述姿势跟踪滤波器模块包括扩展卡尔曼滤波器EKF011.根据权利要求1所述的方法，其中所述姿势跟踪滤波器模块包括粒子滤波器。12.根据权利要求1所述的方法，其进一步包括从所述姿势跟踪滤波器模块计算经估计的姿势。13.—种用于跟踪姿势的移动装置，所述移动装置包括: 图像捕获装置，其经配置以捕获多个图像； 姿势模块，其耦合到所述图像捕获装置且经配置以至少部分地基于所述多个图像中的一者计算姿势； 深度传感器，其经配置以发送第一深度图； 比较器模块，其经配置以比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值； 深度传感器触发模块，其耦合到所述深度传感器和所述比较器模块且经配置以至少部分地基于比较所述第一测量而启用所述深度传感器； 深度传感器姿势模块，其耦合到所述深度传感器且经配置以部分地基于所述第一深度图计算深度传感器姿势；以及 姿势跟踪滤波器模块: 耦合到所述姿势模块和所述深度传感器姿势模块； 经配置以接收所述姿势和所述深度传感器姿势;且 提供经估计的姿势。14.根据权利要求13所述的移动装置，其进一步包括惯性传感器，其中所述第一测量包括来自所述惯性传感器的测量。15.根据权利要求13所述的移动装置，其进一步包括光传感器，其中所述第一测量包括来自所述光传感器的测量。16.根据权利要求13所述的移动装置，其中所述第一测量包括来自所述图像捕获装置的对模糊的指示。17.根据权利要求13所述的移动装置，其中所述第一测量包括来自所述图像捕获装置的图像的帧率。18.根据权利要求13所述的移动装置，其进一步包括耦合到所述图像捕获装置和所述深度传感器且包括用于以下各者的代码的处理器和存储器: 所述比较器模块； 所述深度传感器触发模块； 所述深度传感器姿势模块；以及 所述姿势跟踪滤波器模块。19.一种移动装置，其用于跟踪所述移动装置的姿势，所述移动装置包括: 用于从图像捕获装置接收多个图像的装置； 用于至少部分地基于所述多个图像中的一者计算姿势的装置； 用于将所述姿势发送到姿势跟踪滤波器模块的装置； 用于比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值的装置； 用于至少部分地基于比较所述第一测量而启用深度传感器的装置； 用于接收第一深度图的装置； 用于部分地基于所述第一深度图计算深度传感器姿势的装置；以及 用于将所述深度传感器姿势提供到所述姿势跟踪滤波器模块的装置。20.根据权利要求19所述的移动装置，其进一步包括用于停用所述深度传感器的装置，其包括:用于比较第二测量与所述第一阈值以确定所述第二测量超过所述第一阈值的装置；以及 用于基于比较所述第二测量而停用所述深度传感器的装置。21.根据权利要求19所述的移动装置，其中所述第一测量包括以下各者中的至少一者: 来自惯性传感器测量的线加速度的速率； 来自惯性传感器测量的角加速度的速率； 惯性传感器测量的噪声等级； 光等级； 对模糊度的指示;或 图像的帧率。22.根据权利要求19所述的移动装置，其进一步包括用于从所述姿势跟踪滤波器模块计算经估计的姿势的装置。23.—种非暂时性计算机可读存储媒体，其包含存储于其上的程序代码，包括用于移动装置的程序代码，所述移动装置用于跟踪所述移动装置的姿势，所述程序代码包括用于以下操作的代码: 从图像捕获装置接收多个图像； 至少部分地基于所述多个图像中的一者计算姿势； 将所述姿势发送到姿势跟踪滤波器模块； 比较第一测量与第一阈值以确定所述第一测量超过所述第一阈值； 至少部分地基于比较所述第一测量而启用深度传感器； 接收第一深度图； 部分地基于所述第一深度图计算深度传感器姿势；以及 将所述深度传感器姿势提供到所述姿势跟踪滤波器模块。24.根据权利要求23所述的非暂时性计算机可读存储媒体，其中所述第一测量包括以下各者中的至少一者: 来自惯性传感器测量的线加速度的速率； 来自惯性传感器测量的角加速度的速率； 惯性传感器测量的噪声等级； 光等级； 对模糊度的指示;或 图像的帧率。25.根据权利要求23所述的非暂时性计算机可读存储媒体，其中所述程序代码进一步包括用以从所述姿势跟踪滤波器模块计算经估计的姿势的代码。26.根据权利要求23所述的非暂时性计算机可读存储媒体，其中所述程序代码进一步包括用于以下操作的代码: 比较第二测量与所述第一阈值以设置第二比较；以及 基于所述第二比较而停用所述深度传感器。
【专利摘要】本发明呈现在移动装置中用以启用及停用用于跟踪所述移动装置的姿势的深度传感器的系统、设备和方法。在不具有深度传感器的相机上中继的移动装置可在例如低光情形中提供不适当姿势估计。具有深度传感器的移动装置在启用所述深度传感器时使用相当大的功率。本文中所描述的实施例仅在以下情况下才启用深度传感器：当图像被预测为不适当时，例如，加速或移动太快；当惯性传感器测量具过多噪声、光等级太低或太高、图像太模糊，或图像的速率太慢时。通过仅在图像被预测为不适当时使用深度传感器，可节约所述移动装置中的电池功率且仍可维持姿势估计。
【IPC分类】H04N13/02, G06T7/00, G06F3/01, H04N5/232
【公开号】CN105706438
【申请号】CN201480060665
【发明人】M·拉马钱德兰, S·萨达希瓦姆, A·史汪明纳桑
【申请人】高通股份有限公司
【公开日】2016年6月22日
【申请日】2014年11月25日
【公告号】US9336440, US20150146926, WO2015077778A1