一种基于惯性测量单元IMU的实时电子稳像方法与流程

本发明是涉及一种通过在摄像机上搭载惯性测量单元（IMU）的方式，测量摄像机抖动，估计摄像机抖动模型，实现实时对抖动视频进行抑制的方法，特别是涉及一种基于惯性测量单元IMU的实时电子稳像方法，属于图像处理技术领域。

背景技术：

摄像机在拍摄视频图像时，经常受到摄像机载体的影响导致拍摄的视频出现帧间抖动。电子稳像的目的即是通常利用图像传感器的方法计算这些抖动并抑制它们达到视频稳定的目的。该技术还广泛应用于机器视觉、图像处理、模式识别等多个领域。其主要的原理是通过对摄像机采集的原始视频序列进行预处理，利用特征点匹配关系计算相邻帧间存在的差异，对帧间进行运动估计、运动补偿及图像补偿的过程，进而输出稳定的视频序列，提高视频图像质量。但当场景中存在大范围的运动前景，或场景中存在过多相似的图像信息以及特征信息不足时，通常的电子稳像算法鲁棒性变差，不能准确的提取全局运动，无法达到稳像的效果。

技术实现要素：

本发明的目的在于提供一种基于惯性测量单元IMU的实时电子稳像方法，是为了解决在摄像机采集的视频图像序列特征单一、相似和复杂情况下无法准确计算全局运动估计所带来的稳像难题。将IMU任意角度搭载在摄像机上，通过对IMU与摄像机坐标系之间的相对位姿标定，再通过IMU感知的自身姿态变化数据作为前后帧运动补偿的依据，进而完成电子稳像的过程；是一种不依赖于场景图像特征的电子稳像方法；尤其能有效应对场景复杂或单一而导致的特征信息匹配不准确或缺失的情况。本发明提出了IMU和摄像机的相对位姿标定，解决了IMU坐标系和摄像机坐标系之间的转换。

本发明技术方案是这样实现的：一种基于惯性测量单元IMU的实时电子稳像方法，其特征在于：将IMU和摄像机触发时间同步模型，将标定在同一坐标系下的IMU和摄像机同时进行运动，通过在运动过程中两坐标系产生的拐点信息进行时间配准，其具体步骤如下：

一、IMU与摄像机坐标系标定

1）基于张正友标定法的摄像机标定

假设成像平面上的二维点的坐标为，对应空间中的三维点的坐标表示为，通过将两个坐标进行齐次坐标转换得，此处，我们默认相机为小孔成像相机模型。3D点到图像的投影关系为：，为任意数，为根据棋盘格标定控制点坐标和图像坐标得到的单应性矩阵(由旋转、平移和相机参数组成)。和分别为摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。已知约束条件中相互正交。则：

设是一个对称阵，可得，根据约束条件可得：

，

其中。

标定时，需要拍摄幅标定板图像用于约束参数方程。当时，可以求出线性唯一解，进而求出摄像机内外参数。

2）IMU坐标系与摄像机坐标系的相对位姿求解

把在同一姿态下IMU采集的三轴加速度数据和相机外参数据，分别作为在世界坐标系下IMU和相机的坐标点和。假设有对这样匹配的数据点，大于3，计算刚体变换关系至少需要3对这样的匹配点。已知摄像机坐标系和IMU坐标系之间存在如下的关系：

和为IMU坐标系和相机坐标系的旋转平移关系矩阵，所以根据最小二乘法将摄像机坐标系和IMU坐标系之间的关系最小化目标函数。为使得目标函数最小化得到最小目标函数。设，此时最小化目标函数变为，

这样摄像机坐标系和IMU坐标系之间仅存在旋转变换，故，则将展开式最小化就变成了第二项的最大化问题：。求解旋转矩阵R，根据旋转矩阵R和四元数之间的关系将第二项改写成。

设相机坐标系和IMU坐标系各对点的坐标分别为

，则：

由上式可知和是正交斜对称阵，最大化IMU坐标系和摄像机坐标系之间目标函数关系。通过求解摄像机数据点和数据点之间的累积和，得到正交斜对称阵的之间的关系N。求解N最大特征值所对应的特征向量得到IMU和摄像机之间的四元数。通过四元数与旋转矩阵之间的关系求解旋转矩阵R。

IMU坐标系和摄像机坐标系之间的平移关系则根据求解。

二、IMU与摄像机触发时间同步方法

利用标定好的IMU坐标系和摄像机坐标系，通过对数据的融合达到使用IMU数据解算摄像机姿态的目的。首先同步IMU和摄像机的采集频率。设IMU频率为，摄像机的频率为与的最大公约数为d，那么应满足和为满足上述条件的乘法因子。则两个不同频率的最小公倍数为。这样无论IMU还是摄像机之间的频率都成整数倍关系，设扩展后的IMU的频率范围为，摄像机的频率范围为，集合 与的个数相同，以及相邻元素之间的间隔大小相同。设与为这些扩展的点集上的自变量，由于自变量没有相应的因变量，通过插值法对其插值。

IMU同摄像机是以刚体形式连接在一起，相机的任意晃动都将在IMU上产生反应，并产生运动轨迹。对于标定在同一坐标系下的IMU和摄像机具有相同的运动轨迹。通过求解IMU和摄像机运动过程中产生的对应拐点进行时间轴上匹配，找到IMU和摄像机之间的姿态同步触发时间。

三、基于IMU的稳像方法

基于IMU的稳像方法包括如下步骤：

1）设k为参考帧，IMU第帧在IMU坐标系的旋转弧度分别为和。把弧度作为旋转向量求解旋转矩阵，并对这个向量进行规范化得到。

根据规范化向量得到模长为1的单位化弧度向量，已知斜对称矩阵可以把形式的欧拉角变成的形式并仍保留欧拉角的意义。所以由单位化弧度向量得到的斜对称矩阵w，根据和w使用罗德里格斯绕任意轴旋转的几何关系。求解得到IMU第帧所形成的单位化旋转矩阵为。

2）单应性指把第一张二维平面上的点与第二张二维平面上具有相同特征的点，进行单应性的关联。满足一个平面到另一个平面的投影映射关系。把定义为要进行视频稳像前的视频序列帧图像的特征点集，为参考帧图像的特征点集。那么就有下面的对应关系：。相机的内参矩阵为K，根据参考帧与当前帧之间的特征点集关系可以求出单应矩阵。

3）通过第帧摄像机运动姿态求解单应性矩阵作用到图像中，再通过三维欧式空间到二维欧式空间的映射关系。得到稳定的视频帧序列。从而输出稳像视频。

本发明的积极效果是通过摄像机上搭载的IMU间接获取自身的运动姿态，代替特征点获取运动姿态的方法，有效地克服了使用图像特征点信息分析容易受到场景环境限制等问题。借助搭载在摄像机上的IMU，同时采集IMU数据和视频帧序列，对IMU坐标系和摄像机坐标系进行标定，建立IMU坐标系和摄像机坐标系之间的关系模型。针对IMU和摄像机的同一姿态触发时间不同，提出时间同步模型及同步方法。进而，利用IMU自身的姿态感知间接反映出当前时刻摄像机的运动姿态变化，通过反变换模型，实现视频图像稳定。由于未使用特征点匹配，有效避免了以往方法易受到视频图像中无法足够的稳定匹配特征而导致的稳像失败的影响。解决了IMU和摄像机触发时间不同步所带来的IMU数据无法准确反映摄像机姿态问题。最后将IMU角度信息作用到摄像机生成的图像上，从而达到稳像的效果。该方法能够有效的解决由于拍摄场景非理想情况下，图像特征信息不能稳定、准确获取进而导致无法进行摄像机运动估计的问题。

附图说明

图1是本发明的整体算法流程示意图。

图2是IMU坐标系和摄像机坐标系标定示意图。

图3是IMU和摄像机异频信号同步采集方法示意图。

图4是IMU和摄像机产生同步运动拐点方法示意图。

图5是IMU和摄像机异频率信号开始时间同步方法示意图。

具体实施方式

下面结合附图对本发明进一步的详细描述，如图1所示，一种基于惯性测量单元IMU的实时电子稳像方法，其特征在于具体步骤1，IMU与摄像机标定

（1a）参照图2可知，将IMU搭载在摄像机上IMU坐标系和摄像机坐标系是不重合的，通过这两个坐标系与世界坐标系之间的关系，对IMU坐标系和摄像机坐标系进行相对位姿标定使两个坐标系重合。首先同时对IMU和摄像机进行数据采集。获取IMU的位姿输出信息和采集摄像机生成的视频图像信息。

（1b）通过张正友标定法获得空间3D点到图像的投影关系为：，根据约束条件求解摄像机的内参K与外参R。

（1c）把在同一姿态下IMU采集的三轴加速度数据和相机外参数据，分别作为在世界坐标系下IMU和相机的坐标点和。设R为IMU坐标系和相机坐标系之间的旋转关系，计算摄像机坐标系和IMU坐标系之间存在的关系：。根据最小二乘法将摄像机坐标系和IMU坐标系之间的关系最小化目标函数。

（1d）首先，设，使得摄像机坐标系和IMU坐标系之间仅存在旋转变换。

（1e）则问题转化为最大化上式子第二项，通过IMU坐标系和摄像机坐标系之间与目标函数关系。求解摄像机数据点和数据点之间的累积和，得到正交斜对称阵的之间的关系。

（1f）求解N最大特征值所对应的特征向量得到IMU和摄像机之间的四元数。通过四元数与旋转矩阵之间的关系求解旋转矩阵R。进而求出平移向量t。

（1g）参照图3，可知IMU采集数据的频率摄像机采集图像的频率是异步的。设IMU频率为，摄像机的频率为与的最大公约数为，那么应满足和为满足上述条件的乘法因子。则两个不同频率的最小公倍数为。最后利用插值法将IMU和摄像机扩展到同一频率s上，实现数据采集同步。

（1h）参照图4，将搭载有IMU的摄像机左右晃动，在晃动的过程中IMU和摄像机各个坐标轴产生运动轨迹及角度变化产生的拐点。参照图5可知，标定在同一坐标系下的IMU和摄像机应具有相同的运动轨迹。对于摄像机，利用视频图像中角点检测的方式求得的三轴角度平方和再开方作为重心，对于IMU利用自身感知到的三轴角度平方和作为重心，计算二者在同步运动过程中重心变化曲线所表现出的拐点进行匹配，得到IMU和摄像机的姿态同步触发时间。

步骤2，IMU稳像方法

（2a）利用IMU的弧度信息作为旋转向量，对这个向量进行规范化得。

（2b）单位化旋转向量把形式旋转向量变成的矩阵形式。

（2c）根据2a和2b求得的规范化向量和矩阵使用罗德里格斯绕任意轴旋转的几何关系，求解参考帧与稳像帧（当前帧）的旋转关系。

（2d）利用相机的内参矩阵K，根据参考帧与稳像帧之间的特征点集关系可以求出单应矩阵H。

（2e）通过三维欧式空间到二维欧式空间的映射关系。得到稳定的视频帧序列。从而输出稳像视频。