用于基于视频输入生成准确传感器校正的系统和方法
【技术领域】
[0001] 本公开总体上涉及配备有运动感测模块的设备，并且更具体地，涉及发展针对在 这样的模块中使用的传感器的准确校正。
【背景技术】
[0002] 本文中提供的背景描述是为了总体上呈现本公开的上下文的目的。到其被描述在 这一背景部分中的程度，当前提名的发明人的工作，以及在提交申请时可能无法另外有资 格作为现有技术的描述的各方面，既不明确也不隐含地承认作为抵触本公开的现有技术。
[0003] 近年来，由于微机电系统（MEMS)领域的进步，诸如加速计、陀螺仪和磁力计之类 的传感器的成本已经降低。这些便宜的传感器被广泛用于诸如智能电话、平板计算机等之 类的移动设备中，以通过感测相对运动（上下、左右、滚动、俯仰（pitch)、偏转（yaw)等）来 控制或触发软件应用。然而，与诸如无人机或制造机器人之类的商业或工业应用中使用的 传感器相比，移动设备中使用的低成本的传感器具有低准确度。
[0004] 诸如例如加速计、磁力计和陀螺仪之类的具有三维（3D)向量输出的传感器易于 出现传感器偏置误差，其可以被看作为零的理想输出和实际非零输出之间的差、以及交叉 轴干扰误差，它们由芯片布局的非正交和模拟电路干扰造成。一般地，运动感测模块所使用 的传感器的误差可以被分类成"漂移"误差和"交叉轴"误差。漂移误差被定义为在真实数 据或预期输出和原始传感器数据之间的恒定移位。加速计的传感器偏置误差是漂移误差的 示例。交叉轴误差被定义为不可分离成与单独坐标相关联的分量的误差（即，误差耦合到 多个坐标）。磁力计的交叉轴干扰是交叉轴误差的示例。
[0005] 为了努力增加运动感测结果的准确性，具有多个传感器的某些运动感测模块使用 传感器融合来优化结果。一般来说，传感器融合指的是组合来自多个传感器的数据，使得所 产生的信息与从任何一个单独传感器所产生的信息相比具有更高的可靠度。由多个传感器 产生的数据可能是冗余的，并且可能具有变化的可靠度，因此来自多个传感器的数据往往 具有最佳组合。简单的传感器融合算法可以使用来自多个传感器的数据的加权平均，以考 虑变化的可靠度，而更复杂的传感器融合算法可以随时间优化传感器数据的组合（例如， 使用卡尔曼滤波器或线性二次估算）。
[0006] 理论上，传感器融合技术提供准确的运动感测结果，即使当所采用的单独传感器 具有低的可靠度时。然而，在实践中，对于传感器的某些组合而言，传感器融合具有某些缺 点。例如，在可用传感器（即，"特征集"）的数目增加时，传感器融合算法的复杂性剧烈增 加。从而，对于使用大量传感器和/或具有复杂误差源（例如，交叉轴误差）的传感器的运 动感测模块而言，高的计算成本使得传感器融合棘手。另一方面，少量的传感器可能严重限 制利用传感器融合的测量准确性的任何增加。因此，传感器的数目大大影响传感器融合技 术的效用。实际上，在其中可用传感器是不同和不兼容类型的某些情景中，传感器融合技术 甚至可能完全不实用。虽然某些便携式设备现在实现传感器融合，但是所实现的技术充其 量补偿基本的漂移误差，而未补偿交叉轴误差。
【发明内容】
[0007] 根据一个实施方式，便携式设备包括传感器、视频捕获模块、处理器、以及存储指 令的计算机可读存储器。当在处理器上执行时，指令操作为使得传感器生成指示物理量的 原始传感器数据；当便携式设备相对于参考对象移动时，使得视频捕获模块捕获参考对象 的视频像（video imagery)同时传感器生成原始传感器数据；以及使得处理器基于捕获的 参考对象的视频像和原始传感器数据来计算针对传感器的校正参数。
[0008] 根据另一实施方式，用于高效地开发具有传感器和相机的便携式设备中的传感器 误差校正的方法实现在一个或多个处理器上。方法包括当便携式设备相对于参考对象移动 时，使得传感器生成指示物理量的原始传感器数据。进一步地，方法包括使得相机捕获参考 对象的多个图像同时传感器生成原始传感器数据。再进一步地，方法包括基于多个图像和 参考对象的几何性质，确定便携式设备的多个定位和定向；并且使用定位和定向以及原始 传感器数据，计算针对传感器的校正参数。
[0009] 根据又一实施方式，有形计算机可读介质存储指令。当由一个或多个处理器执行 时，指令使得一个或多个处理器：接收由操作在便携式设备中的传感器生成的原始传感器 数据；并且接收由操作在便携式设备中的视频捕获模块捕获的参考对象的视频像。在便携 式设备相对于参考对象移动的同时，并发地捕获原始传感器数据和视频像。指令进一步使 得一个或多个处理器使用捕获的参考对象的视频像和原始传感器数据，来计算针对传感器 的校正参数。
【附图说明】
[0010] 图1图示其中便携式设备基于捕获的参考对象的视频像来开发传感器校正的示 例情景。
[0011] 图2图示其中便携式设备经由传感器校正例程来开发传感器校正的示例系统。
[0012] 图3是用于基于捕获的视频像来生成传感器校正的示例方法的流程图。
[0013] 图4是用于生成定期传感器校正的示例方法的流程图。
[0014] 图5是用于标识捕获的视频像中的对象并且匹配所标识的对象与参考对象的示 例方法的流程图。
【具体实施方式】
[0015] 可以利用本公开的技术以用于诸如智能电话、平板计算机、处理连续视频输入的 专用设备等之类的便携式设备，基于捕获的参考对象的视频像来开发传感器校正。参考对 象可以是标准真实世界对象，其中对象的对应表示作为数字数据（诸如，对象的三维（3D) 重构）存储在数据库中。根据本公开的技术，便携式设备配备有一个或多个传感器、捕获参 考对象的视频像、并且基于该视频像和参考对象数据库中的参考对象的表示来计算作为时 间的函数的准确定位和/或定向（定位标识便携式设备的地理位置，并且定向标识便携式 设备相对于便携式设备的质量中心的方向）。便携式设备还收集与捕获的视频像并发的原 始传感器数据（加速计数据、陀螺仪数据等）。基于定位和/或定向以及原始传感器数据， 传感器校正例程开发针对便携式设备中包含的传感器中的一个或多个传感器的校正参数。 这些校正可以连续应用并且定期更新以改善感测，从而有效地校准传感器。
[0016] 图1图示其中便携式设备10基于捕获的参考对象20的视频像来开发传感器校正 的示例情景。除了别的之外，便携式设备10包含诸如运动传感器之类的多个传感器。这些 传感器可以是便宜的MEMS传感器，诸如例如加速计、磁力计和陀螺仪。此外，一个或多个无 线接口将便携式设备10通信耦合到移动网络和/或广域网。便携式设备10的示例实施方 式将参照图2更详细地讨论。
[0017] 示例参考对象20可以是诸如例如埃菲尔铁塔或帝国大厦之类的地标建筑。在一 些情况下，对应于参考对象20的数字3D模型存储在参考对象数据库中。数字3D模型可以 用3D网格上的点、简单形状（例如，多边形、圆柱体）的组合等表示参考对象的形状，并且 用颜色、一个或多个静止图像等表示参考对象的外观。进一步地，参考对象数据库存储诸如 几何比例、测量结果、地理位置等之类的参考对象的特定性质。参考对象数据库可以是通过 例如因特网可访问的诸如谷歌3D Warehouse?之类的3D模型的数据库。
[0018] 如由路径25指示的，在便携式设备10移动通过3D空间时，便携式设备10捕获视 频像。视频像由包括参考对象20的独特相继图像或帧组成。在便携式设备10沿着路径25 移动时，便携式设备10相对于参考对象20的位置和/或方向改变，因此在沿着路径25的 不同点处捕获的视频像帧示出从不同视点的参考对象20。
[0019] 在一些实施方式中，便携式设备10从一个或多个捕获的二维（2D)视频像帧重构 参考对象20的3D几何结构和外观（例如，通过从运动恢复结构或SFM技术）。进一步地， 便携式设备10尝试匹配重构的参考对象20的3D几何结构和外观（下文中称为"3D对象 重构"）与参考对象数据库中的3D模型。示例匹配过程参照图2并且进一步参照图5详细 讨论。
[0020] 在匹配重构的3D几何结构和/或