用于动态校准相机系统中旋转偏移的方法
【专利说明】用于动态校准相机系统中旋转偏移的方法 【背景技术】 技术领域
[0001] 本公开整体设及数字成像校准，并且更具体地，设及数字成像中的旋转偏移校准。
[0002] 相关领域的描述
[0003] 便携式设备上的设备传感器，例如，相机传感器被允许在传感器的制造期间W及 作为向设备中并入传感器的一部分两方面具有一定公差。理想的是，相机传感器将与设备 主体对准，使得图片阵列或像素的轴与设备的轴W及设备的取向传感器的轴对准。然而，由 于制造公差，理想的对准需要昂贵的组件且制造起来有挑战性。制造过程的各种特征，例 如，与在设备中安装相机模块或在相机模块中安装图像传感器忍片相关的公差表明相机常 常在旋转方面与设备失准。此类失准可能会导致捕获的图像从期望的对准旋转。
[0004] 可W在制造期间校准相机在设备内的取向。例如，可W测量图像传感器忍片相对 于设备外壳或设备中取向传感器重力矢量的旋转失准并作为制造过程的一部分用于校准， 但此类校准增加了制造时间和成本。此类相机传感器对准的方法需要制造商大量的资源投 资(例如，材料和时间）。此外，制造期间精确对准可能无法解决随时间发生的变化(例如，由 于水滴），并且照此，初始对准或校准可能变得过时。
【发明内容】
[0005] 本发明描述了用于确定设备中传感器旋转偏移的方法、设备和计算机可读存储介 质的各种实施例。各种实施例可W获得由相机捕获的图像，并且还获得设备的取向传感器 的取向信息。设备的取向信息来自图像捕获的时间。可W分析图像的像素数据W确定图像 的图像取向角。可W从取向传感器信息确定设备取向角。可W基于图像取向角和设备取向 角确定旋转偏移。旋转偏移可W相对于相机或取向传感器。 【附图说明】
[0006] 图1示出了根据一些实施例的一种示例设备系统。
[0007] 图2示出了根据一些实施例用于在相机系统中确定旋转偏移的方法的流程图。
[000引图3示出了根据一些实施例在假设的情况下各种方法和设备组件的输出。
[0009] 图4示出了根据各种实施例的设备和相对于设备和设备组件的各个角和线。
[0010] 图5A和图5B示出了根据一些实施例用于在相机系统中确定旋转偏移的方法的流 程图。
[0011] 图6示出了根据一些实施例确定图像取向角的方法。
[0012] 图7示出了根据各种实施例用于确定旋转偏差的模块。
[OOU] 本说明书包括对"一个实施例"（"one embodiment")或"实施例"（"an embodiment")的参照。出现短语"在一个实施例中"（"in one embodiment")或"在实施例 中"（"in an embodiment")不一定是指同一个实施例。特定特征、结构或特性可W与本公开 一致的任何适当方式结合。
[0014] "包括"。该术语是可广泛解释的。当在所附权利要求书中使用时，该术语不排除附 加的结构或步骤。考虑W下引用的【主权项】
"一种包括一个或多个处理器单元的装 置……"此类权利要求不排除该装置包括附加组件(例如，网络接口单元、图形电路等）。
[0015] "被配置为"。各种单元、电路或其他组件可被描述为或要求为"被配置为"执行一 项或多项任务。在此类上下文中，"被配置为"用于通过指示单元/电路/组件包括在操作期 间执行那些任务的结构(例如，电路)来暗指该结构。如此，据称单元/电路/组件可被配置为 即使在指定的单元/电路/组件当前不可操作（例如，未接通)时也执行该任务。与"被配置 为"语言一起使用的单元/电路/组件包括硬件一-例如，电路、存储可执行W实现操作的程 序指令的存储器等。引用单元/电路/组件"被配置为"执行一项或多项任务明确地旨在针对 该单元/电路/组件不援引35U.S.C.§112第六段。此外，"被配置为"可包括通用结构(例如， 通用电路），该通用结构受软件和/或固件操纵(例如，FPGA或执行软件的通用处理器），从而 W能够执行待解决的一项或多项任务的方式操作。"配置为"还可W包括调整制造工艺(例 如，半导体制造设施）W制造适于实施或执行一项或多项任务的设备(例如，集成电路）。
[0016] "第一""第二"等。如本文所用，运些术语用作它们所在之前的名词的标签，并且不 暗指任何类型的排序(例如空间的、时间的、逻辑的等）。例如，本文可W将缓冲电路描述为 针对"第一"和"第二"值执行写入操作。术语"第一"和"第二"未必暗示第一值必须要在第二 值之前写入。
[0017] "基于"。如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除 可能影响确定的其他因素。即，确定可仅仅基于那些因素或至少部分地基于那些因素。考虑 短语"基于B来确定A"。当B为影响A的确定的因素时，该短语不排除A的确定也可基于C。在其 他实例中，可仅基于B来确定A。 【具体实施方式】
[0018] 本发明公开了用于动态测量相机系统中存在的相对于安装相机的设备的旋转偏 移量的系统和方法的各种实施例。
[0019] 在一个实施例中，动态测量旋转偏移的方法使用两种不同的水平检测方案。第一 种方案是基于像素的方案，其分析实际图像并返回图像内的水平线相对于图像X轴所成的 角(例如，运样可W确定由于设备用户手部定位造成的设备旋转）。需注意，该算法可W不必 找到实际水平线。在一些情况下，基于像素的水平线(例如，通过图像延伸的水平线)可能足 W作为例如水平线的替代。运种第一方案确定相对于所捕获场景的相机位置。第二方案是 基于传感器的方案，使用来自传感器的取向传感器信息找到基于传感器(例如，基于重力） 的水平线。例如，运样可W确定用户对设备的手部旋转。基于传感器的方案可W提供相对于 相机主体的参照系。在一些实施例中，加速度计或巧螺仪传感器提供重力相对于设备位置 的方向的指示。在第一方案精确找到基于像素的水平线的程度上，相对于设备外壳校准或 对准该取向传感器或图像传感器，基于像素的水平线和基于传感器的水平线之间的角度差 可W提供相机和安装相机的设备X轴之间的旋转偏移指示。无论如何，该方法可W确定基于 像素的水平线和基于取向传感器的水平线之间的旋转关系。
[0020] 在一些实施例中，基于像素的方法的特定实例可能不像期望的那样准确。然而，可 W通过基于像素的方法的大量重复的统计分析，实现基于像素的方法精确度的改善。例如， 可W使用柱状图方法的曲线拟合或模式拒绝异常值，并确定基于像素和基于传感器的水平 线之间的更精确关系。
[0021] 在一些实施例中，可W对旋转偏移的多次计算进行统计分析W确定传感器或设备 的旋转偏差。可W将相机系统的旋转偏移或旋转偏差用于设备的众多特征，诸如扫描全景 和水平线调整，尽管还可W为很多其他原因使用偏移或偏差。然而，特征可W取决于比选择 的制造工艺提供(例如，相机模块可W具有几度的安装偏差)或甚至能够提供的窄得多的公 差。然而，如果已知旋转偏移或偏差，可W使用旋转偏移或偏差补偿不完善的公差并为任意 数量的设备功能提供精确得多的调整，包括扫描全景、水平线调整，或在例如裁剪图像期间 自动校正意外的图像旋转。
[0022] 在一些实施例中，可W在实时图像捕获中使用旋转偏移或旋转偏差，例如，W(例 如，实时）调整捕获时被捕获图像的旋转。对于直接上载到某种虚拟存储，诸如视频或照片 存储或者视频或照片共享网站的图像或视频，此类功能可能尤其有用。
[0023] 在一些实施例中，可W使用经时间滤波的加速度计取向传感器信息。例如，可W与 捕获图像同时捕获加速度计传感器输出，或者可W在捕获时计算取向。在一些实施例中，可 W假设加速度计在设备外壳中比相机对准更精确。然而，对于相机更精确对准的情况，可W 使用类似的技术确定加速度计传感器的偏移。
[0024] 各种加速度计可W使用不同的术语。为了本公开内清晰起见，可能有用的是描述 几种惯例。可W通过几种方式在设备内对加速度计传感器进行取向，并且取向可能影响传 感器的输出。在一些实施例中，来自加速度计的单一数字输出可W指单轴加速度计，在运种 情况下，可W有符号(例如，如果加速度计的轴与重力正交，可能出现零值）。例如，对于一些 加速度计基部向上取向的设备，传感器的输出为+Ig。在另一个示例中，对于一些加速度计 基部水平取向的设备，传感器的输出为Og。在另一个示例中，对于一些加速度计基部指向下 取向的设备，传感器的输出为-Ig。
[0025] 来自加速度计的单个数字输出还指多轴巧螺仪的大小，在运种情况下，没有符号 (如果重力与巧由加速度计的平面正交，可能为零，或者如果设备自由落体，用于1、2或巧由加 速度计）。在一些实施例中，为了获得旋转取向的目的，可W使用至少巧由加速度计。在其他 实施例中，可W使用巧由加速度计获得间距、取向和置信度值。
[0026] 通常，在本公开内，将参考加速度计W基部向上取向的设备，并且在运种取向中， 传感器的输出为+Ig。设想了传感器输出的其他惯例，它们不脱离本发明的范围。在整个本 公开中描述了各种置信度。有关加速度计的示例性置信度考虑了重力矢量的大小，如果该 大小偏离+Ig超过百分之几，重力矢量可W与低置信度相关联。如果设想对于其他加速度计 取向（例如，基部指向下），尽管确定与适当输出（例如，分别地-Ig)的差值具有类似大小，仍 然可W确定低置信度。
[0027] 加速度计能够测量由于重力导致的静态加速量度；因此，可W确定传感器（W及传 感器安装于其中的设备)相对于地球倾斜的角度。可W从针对X轴的所捕获加速度计输出计 算取向，例如，
[002引取向=atan2(Ay ,Ax)。
[0029] 也可W计算间距角度，例如，
[0030] 间距=atan2(Az ,sq;rt(Ax2+Ay2)。
[0031] 可W将间距角度用