陀螺仪调节及陀螺仪相机对准的制作方法
【专利说明】
[000。 相关申请秦的香叉参考
[0002] 本申请案主张于2012年10月12日申请且标题为"巧螺仪调节及巧螺仪相机对准 (Gyroscopeconditioningandgyro-cameraalignment)"的第 13/651, 055 号美国申请案 的优先权，所述申请案W全文引用的方式并入本文中。
技术领域
[0003] 本发明设及用于产生用于例如扩增实境应用的应用中且在一些方面用于调节巧 螺仪测量的参数的系统、设备及方法。
【背景技术】
[0004] 数目逐渐增加的现代智能电话包含一或多个相机及各种传感器。感测运动的例如 巧螺仪及加速度计等惯性传感器尤其重要（该是归因于其测量角速度及加速度的能力）， 且处于高取样率下。该些传感器可用W增强智能电话上的扩增实境（AR)应用。在基于参 考的跟踪中，跟踪失败的主要原因包含快速旋转及相对于目标的相机漂移。巧螺仪可在相 机相关跟踪失败的时段期间帮助维持对目标的跟踪。然而，常常难W调节巧螺仪W例如准 确地校准巧螺仪相对于相机的对准，且确定巧螺仪的尺度及非正交性参数。
[0005] 因此，存在获得及维持巧螺仪的准确校准的需要。巧螺仪的准确及低成本校准可 有益地适用于例如AR应用等多种应用。
【发明内容】
[0006] 根据一些方面，揭示一种在移动装置中用于产生用于移动装置的应用的参数的方 法，所述方法包括；从相机接收图像的序列；将计算机视觉算法应用于图像的序列W产生 姿态角信息；从巧螺仪测量的序列估计巧螺仪信息；及处理姿态角信息及巧螺仪信息W导 出适用于所述应用的W下各者中的至少两者；（1)旋转信息、（2)尺度信息及（3)非正交性 信息。在一些方面，所述方法包括处理姿态角信息及巧螺仪信息W导出适用于所述应用的 旋转信息、尺度信息及非正交性信息。
[0007] 根据一些方面，揭示一种用于产生用于移动装置的应用的参数的移动装置，所述 移动装置包括；经配置W提供图像的序列的相机；经配置W产生巧螺仪测量的序列的巧螺 仪；及禪合到相机及巧螺仪的处理器，其中处理器包括；经禪合W从相机接收图像的序列 的计算机视觉模块，其中计算机视觉模炔基于图像的序列产生姿态角信息；用W从巧螺仪 测量的序列产生巧螺仪信息的角速度模块；及经禪合W从计算机视觉模块接收姿态角信息 且经禪合W从角速度模块接收巧螺仪信息的参数估计模块，其中参数估计模块导出适用于 移动装置的所述应用的旋转信息、尺度信息及非正交性信息中的至少两者。
[000引根据一些方面，揭示一种用于产生用于移动装置的应用的参数的移动装置，所述 移动装置包括：用于从相机接收图像的序列的装置；用于将计算机视觉算法应用于图像的 序列W产生姿态角信息的装置；用于从巧螺仪测量的序列估计巧螺仪信息的装置；及用于 处理姿态角信息及巧螺仪信息w导出适用于移动装置的所述应用的旋转信息、尺度信息及 非正交性信息中的至少两者的装置。在一些方面，所述用于处理的装置包括用于处理姿态 角信息及巧螺仪信息W导出适用于移动装置的所述应用的旋转信息、尺度信息及非正交性 信息的装置。
[0009] 根据一些方面，揭示一种用于产生用于移动装置的应用的参数的移动装置，所述 移动装置包括处理器及存储器，其中存储器包含用于进行W下操作的指令；从相机接收图 像的序列；将计算机视觉算法应用于图像的序列W产生姿态角信息；从巧螺仪测量的序列 估计巧螺仪信息；及处理姿态角信息及巧螺仪信息W导出适用于移动装置的所述应用的旋 转信息、尺度信息及非正交性信息。
[0010] 根据一些方面，揭示一种包含存储于其上的程序代码的非暂时性计算机可读存储 媒体，所述计算机可读存储媒体用于产生用于移动装置的应用的参数，所述程序代码包括 用于进行W下操作的程序代码；从相机接收图像的序列；将计算机视觉算法应用于图像的 序列W产生姿态角信息；从巧螺仪测量的序列估计巧螺仪信息；及处理姿态角信息及巧螺 仪信息W导出适用于移动装置的所述应用的旋转信息、尺度信息及非正交性信息中的至少 两者。在一些方面，所述用于处理的程序代码包括用于处理姿态角信息及巧螺仪信息W导 出适用于移动装置的所述应用的旋转信息、尺度信息及非正交性信息的程序代码。
[0011] 应理解，对于所属领域的技术人员来说，其它方面将从W下详细描述变得容易显 而易见，其中借助于说明展示及描述各个方面。图式和详细描述将被视为本质上是说明性 的而非限制性的。
【附图说明】
[0012] 仅借助于实例，下文参看图式描述各种实施例。
[0013] 图1展示W与所揭示实施例一致的方式能够产生旋转矩阵巧J及尺度及非正交 性矩阵（A)及任选地巧螺仪偏移误差的示范性移动装置的简化框图。
[0014] 图2为W与所揭示实施例一致的方式包括处理器及禪合到处理器的多种其它模 块的示范性移动台的框图。
[0015] 图3展示详述示范性参数估计模块的一些功能的框图。
[0016] 图4展示复合矩阵做及正交旋转矩阵（RJW及尺度及非正交性矩阵（A)之间 的关系。
[0017] 图5展示移动装置中的用于产生用于移动装置的应用的参数的方法。
[0018] 图6展示说明W与所揭示实施例一致的方式使用QR因式分解从图像的序列及巧 螺仪测量的序列导出旋转矩阵（RJ及尺度及非正交性矩阵（A)的示范性方法的流程图。
[0019] 图7展示与所揭示实施例一致的额外示范性参数估计模块的框图。
[0020] 图8展示描述移动装置中的各种参数之间的关系的等式集合。
[0021] 图9展示说明W与所揭示实施例一致的方式通过使用卡尔曼滤波器从图像的序 列及巧螺仪测量的序列导出旋转矩阵（RJ及尺度及非正交性矩阵（A)及任选地巧螺仪偏 移误差（WmJ的示范性方法的流程图。
【具体实施方式】
[0022] W下结合附图而陈述的详细描述希望作为对本发明的各个方面的描述，而不希望 表示其中可实践本发明的仅有方面。提供本发明中所描述的每一方面仅作为本发明的实例 或说明，且其不应必然地解释为比其它方面优选或有利。详细描述包含用于提供对本发明 的彻底理解的目的的特定细节。然而，所属领域的技术人员将明白，可在没有该些特定细节 的情况下实践本发明。在一些例子中，W框图的形式展示众所周知的结构和装置W便避免 混淆本发明的概念。首字母缩写词和其它描述性术语可仅出于便利和清楚的目的而使用， 且不希望限制本发明的范围。
[0023] 如本文中所使用，有时被称作移动台（M巧或用户设备扣E)的移动装置可包括蜂 窝式电话、移动电话或其它无线通信装置、个人通信系统（PC巧装置、个人导航装置（PND)、 个人信息管理器（PIM)、个人数字助理（PDA)、平板、膝上型计算机或能够俘获或接收图像 且能够测量或获得巧螺仪信息的其它合适移动装置。在一些实施例中，移动台能够接收无 线通信及/或导航信号。术语"移动台"还意欲包含例如通过短程无线、红外、有线连接或其 它连接与个人导航装置（PND)通信（而不管在装置处或在PND处是否发生卫星信号接收、 辅助数据接收及/或位置相关处理）的装置。而且，"移动台"意欲包含能够例如经由因特 网、WiFi或其它网络与服务器通信的所有装置，包含无线通信装置、计算机、膝上型计算机 等，且不管在装置处、在服务器处或在与网络相关联的另一装置处是否发生卫星信号接收、 辅助数据接收及/或位置相关处理。因此，移动装置可例如使用蜂窝式或WiFi技术与一或 多个其它装置无线地通信，但在其它实施例中可省略此功能性。W上的任何可操作组合还 被视为"移动装置"。
[0024] 本文中的教示使通过处理来自相机的相机图像的序列及来自巧螺仪的巧螺仪测 量的序列而产生旋转、尺度及/或非正交性参数成为可能。旋转、尺度及非正交性参数可用 于扩增实境应用（其被称作AR应用或ARapp)。该些产生的参数也可用于调节来自在智能 电话或平板或其它移动装置中发现的巧螺仪的内部巧螺仪测量，而不需要工厂校准或外部 设备。校准或调节可仅使用来自相机的图像的序列中的跟踪特征的姿态测量W及巧螺仪测 量。
[0025] AR应用通常提供用户互动式体验，其是对现实世界情境的补充，而非创建类似人 工环境的虚拟现实。在AR中，用户的周围环境可形成用于由计算机产生的图形及其它类型 的注解及动画扩增的背景幕。
[0026] 在一些实施例中，姿态（从通过计算机视觉算法的图像的序列产生）及巧螺仪向 量的序列（从原始巧螺仪测量产生）可用W解决移动装置未对准W及调节原始巧螺仪测 量，从而考虑关于原始巧螺仪测量的尺度及非正交性误差。通过复合矩阵炬）使计算机视 觉姿态（即，姿态角向量与巧螺仪测量相关，所述复合矩阵做为线性系统的解。
[0027] 可通过包含QR因式分解（也被称作QR分解）的若干方法执行复合矩阵炬）的分 解。在QR因式分解中，分解将复合矩阵炬）分成正交旋转矩阵（RJ及上S角矩阵（A)(也 被称作尺度及非正交性矩阵（A))。上=角矩阵（A)包含可用W校准后续巧螺仪测量的尺度 及非正交性调整两者。
[002引在一些实施例中，可应用卡尔曼滤波W导出尺度及非正交性参数。在卡尔曼滤波 中，卡尔曼滤波器（例如，递归扩展卡尔曼滤波器巧KF))使用姿态角旋转及平移 (T)两者连同巧螺仪向量一起估计由尺度及非正交性矩阵（A)及旋转矩阵（RJ构成的状 态空间。除了旋转（《。")之外还使用计算机视觉