相机运动估计和校正的方法
【技术领域】
[0001] 本发明设及监测和校正图像设备和方法。在一个示例中，本发明设及监测并校正 扫描图像。
【附图说明】
[0002] 图1示出了根据本发明的示例的示出了定位实验期间的方向误差的曲线。
[0003] 图2示出了根据本发明的示例的示出了实验期间的位置误差的曲线。
[0004] 图3示出了根据本发明的示例的示出了速度估计中的误差的曲线。
[0005] 图4示出了根据本发明示例的系统的框图。
【具体实施方式】
[0006] 在各示例中，可W估计装备有惯性测量单元（IMUK例如可W包括加速度计、磁力 计、巧螺仪和/或其他合适的设备中的一些或全部）W及扫描相机或其他通过逐帖扫描来获 得图像的图像获取系统（例如滚动快口相机）的设备的姿态（pose)(即，位置和方向 (orientation))。为此，已经研制了状态估计器，例如其可W是或可W包括扩展卡尔曼滤波 器、迭代最小化方法、滑动窗口束调整或其他估计过程，其处理对IMU和相机的测量。在各种 示例中，状态估计器可W用于对扫描相机的图像中的特征的观测。
[0007] 与全局快口相机相反，扫描相机顺序地捕获图像的行，并且作为结果，可W在非零 持续时间的时间间隔（称为图像的读出时间）期间捕获整个图像。对于消费者设备（比如智 能手机）中的典型相机，读出时间可W是几十毫秒的数量级，运足W引起潜在的显著视觉失 真。如果忽略滚动快口的效果，则估计精度可显著下降。
[000引从扫描相机对单个图像中的场景特征的观察不能取决于单个相机姿态。在示例 中，在图像读出时间期间选择参考时刻t。参考时刻t可被选为(例如)捕获图像的第一、最后 或中间行的时刻。如果在离该"参考"行n行远的图像行上检测到特征(例如，"角"点特征）， 可W通过下式描述它的测量：
[0009] z = h(Cpf (t+ntr) )+n (I)
[0010] 其中h是描述相机模型的测量函数(例如，透视函数），tr是捕获两个连续图像行之 间的时间，n是测量噪声，并且V (t+ntr)是特征在时间t+ntr处相对于相机帖的位置。该位 置矢量可W由下式给出：
[0011] + + 口）
[0012] 其中，;:'/非+ "〇是时间t+ntr处相机帖与参考的全局帖之间的旋转矩阵/Pc(t+ ntr)是t+ntr处的相机位置，W及市:是全局帖中的特征位置。因此，不同图像行处的特征测 量可W依赖于不同的相机姿态。在各示例中，为了针对状态估计处理运些测量，估计器的状 态矢量可W每个图像行包括一个相机姿态。然而，运可能针对每个图像使用将要包括在状 态矢量中的上百个姿态，并且对于全部(除了相对短的)轨迹计算强度相对较大。
[0013] 使用扫描相机进行状态估计的某些方法可W采用某种形式的相机轨迹近似。例 如，某些仅视觉(vision-only)方法使用关于记录图像的时刻之间的相机运动的假设。在一 种情况下，相机运动可W被假设为线性变化，而在另一种情况下，可W使用运动的更高阶模 型。在各示例中，为了良好的性能，W相对高的帖速率处理相机图像，使得在图像捕获时间 之间的相机运动的改变相对较小。
[0014] 在各实例中，采用图像读出时间期间线性和旋转速度恒定的假设。由于读出时间 可W显著小于使用图像的时间段，运可能是较不严格的假设。然而，在读出时间期间相机的 运动曲线显著改变(例如，当设备是手持式W及人正在快速行走，或当装置被安装在不平的 地上快速移动的机器人上）的情况下，假设可能不成立。
[0015] 在各实例中，可W通过采用基于时间的函数方案来对相机的运动建模。该方法可 W描述复杂运动，但其代价是会增加计算强度。为了对快速变化的运动建模，描述轨迹的状 态矢量可W具有大尺度（即，必须使用大尺度的基于时间的函数）。运可能使得实时应用困 难，而且采用基于时间方案的其他方法可W采用离线批处理估计。
[0016] 与各种情况相反，IMU测量可用于计算图像读出时间期间的相机轨迹，并且与使用 相机运动自身的模型相反，参数模型可W被用于对运些运动估计中的误差建模。在各示例 中，在图像读出时间期间的IMU位置被建模为：
[0017 ] 。+ r)二 7，,, (/ + T)+' 7), ('/ + r)
[0018] 其中估计6托(/+7)是通过从参考姿态开始对IMU测量进行积分来计算的，W及使 用m基函数将误差。武(/ + r)参数化为：
[0019] 。& (/+T) = 的 巧:) i=U
[0020] 其中Cl是未知的参数矢量，并且fi(T)是我们自由选择的基函数。与该位置类似，基 于巧螺仪测量的传播可W被用于计算在读出时间期间对IMU方向的估计。运些估计中的误 差可W由一个3X1的误差矢量g^ + r：)来描述，并且可W使用k基函数将其参数化为：
(4)
[0022] 其中di是未知参数矢量。该方法可W不包括任何关于轨迹的形式的假设，并且因 此可W描述任意复杂运动，只要任意复杂运动位于IMU传感器的带宽内即可。同时，运动中 的误差可W例如通过选择基函数的数量而被建模为任意所需的各种等级的精度。可W选择 基函数的类型和数量，使得可W事先预测近似误差。在各示例中，即使使用相对少的项，误 差可W被建模到足够精度。
[0023] 在各示例中，在采用线性化的任意估计器(如扩展卡尔曼滤波器或基于迭代最小 化的估计器）中，可W写出关于测量残差的估计器等式(可称为基于卡尔曼滤波器估计器中 的"创新"），其可被定义为实际特征测量与基于状态估计i预期测量之间的差异。然后运些 残差可W通过包括状态估计的误差5T的线性表达式进行近似：
[0024] V-Z-h{x) (^5)
[0025] - Hx+n (6)
[00%]其中H是测量函数关于该状态的雅可比矩阵。戈和芳不一定具有相同的参数设置 (例如，方向状态估计通常经由3X3旋转矩阵或4X1单位四元数表示，而方向误差通常经由 最小的3 Xl参数设置表示。
[0027] 等式(2)可W根据IMU姿态被重写为：
[0028] ^ '片化;/非 + "/, ')(。八-。八 ^ + W, )V'八 （7 )
[0029] 其中.作'和Cpi是IM財目对于相机的方向和位置，而抑(巧舶和Gpi(t+ntr)定义t+ntr 处的全局帖中的IMU的方向和位置。被用于计算期望测量的特征位置的估计，可W是：
[0030] 辦十，'如} ? 當各化(《中如）（(咕/…。兵如十诚)）'个。拚 撕
[0031] 其中C表示估计器中量的估计。可W使用读出期间的IMU测量W及在时间t处的IMU 状态估计（"参考姿态"的估计)来计算t+ntr处的IMU姿态。具体地，在t+ntr处估计的IMU位置 可W被计算为：
辦
[0033]其中，是IMU速度并且是IMU的估计的加速度，它们是使用加速度测量计 算的（在针对重力W及针对例如偏差、比例因子等的任意系统误