一种基于惯性测量单元IMU的实时电子稳像方法与流程

技术特征：

1.一种基于惯性测量单元IMU的实时电子稳像方法，其特征在于：将IMU和摄像机触发时间同步模型，将标定在同一坐标系下的IMU和摄像机同时进行运动，通过在运动过程中两坐标系产生的拐点信息进行时间配准，其具体步骤如下：

一、IMU与摄像机坐标系标定

1）基于张正友标定法的摄像机标定

假设成像平面上的二维点的坐标为，对应空间中的三维点的坐标表示为，通过将两个坐标进行齐次坐标转换得，此处，我们默认相机为小孔成像相机模型；3D点到图像的投影关系为：，为任意数，为根据棋盘格标定控制点坐标和图像坐标得到的单应性矩阵(由旋转、平移和相机参数组成)；和分别为摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量；已知约束条件中相互正交，则：

设是一个对称阵，可得，根据约束条件可得：

，

其中；

标定时，需要拍摄幅标定板图像用于约束参数方程，当时，可以求出线性唯一解，进而求出摄像机内外参数；

2）IMU坐标系与摄像机坐标系的相对位姿求解

把在同一姿态下IMU采集的三轴加速度数据和相机外参数据，分别作为在世界坐标系下IMU和相机的坐标点和，假设有对这样匹配的数据点，大于3，计算刚体变换关系至少需要3对这样的匹配点，已知摄像机坐标系和IMU坐标系之间存在如下的关系：

和为IMU坐标系和相机坐标系的旋转平移关系矩阵，所以根据最小二乘法将摄像机坐标系和IMU坐标系之间的关系最小化目标函数，为使得目标函数最小化得到最小目标函数，设，此时最小化目标函数变为，

这样摄像机坐标系和IMU坐标系之间仅存在旋转变换，故，则将展开式最小化就变成了第二项的最大化问题：；求解旋转矩阵R，根据旋转矩阵R和四元数之间的关系将第二项改写成；

设相机坐标系和IMU坐标系各对点的坐标分别为

，则：

由上式可知和是正交斜对称阵，最大化IMU坐标系和摄像机坐标系之间目标函数关系，通过求解摄像机数据点和数据点之间的累积和，得到正交斜对称阵的之间的关系N，求解N最大特征值所对应的特征向量得到IMU和摄像机之间的四元数，通过四元数与旋转矩阵之间的关系求解旋转矩阵R；IMU坐标系和摄像机坐标系之间的平移关系则根据求解；

二、IMU与摄像机触发时间同步方法

利用标定好的IMU坐标系和摄像机坐标系，通过对数据的融合达到使用IMU数据解算摄像机姿态的目的，首先同步IMU和摄像机的采集频率，设IMU频率为，摄像机的频率为与的最大公约数为d，那么应满足和为满足上述条件的乘法因子，则两个不同频率的最小公倍数为；这样无论IMU还是摄像机之间的频率都成整数倍关系，设扩展后的IMU的频率范围为，摄像机的频率范围为，集合 与的个数相同，以及相邻元素之间的间隔大小相同，设与为这些扩展的点集上的自变量，由于自变量没有相应的因变量，通过插值法对其插值；

IMU同摄像机是以刚体形式连接在一起，相机的任意晃动都将在IMU上产生反应，并产生运动轨迹，对于标定在同一坐标系下的IMU和摄像机具有相同的运动轨迹，通过求解IMU和摄像机运动过程中产生的对应拐点进行时间轴上匹配，找到IMU和摄像机之间的姿态同步触发时间；

三、基于IMU的稳像方法

基于IMU的稳像方法包括如下步骤：

1）设k为参考帧，IMU第帧在IMU坐标系的旋转弧度分别为和；把弧度作为旋转向量求解旋转矩阵，并对这个向量进行规范化得到；

根据规范化向量得到模长为1的单位化弧度向量，已知斜对称矩阵可以把形式的欧拉角变成的形式并仍保留欧拉角的意义，所以由单位化弧度向量得到的斜对称矩阵w，根据和w使用罗德里格斯绕任意轴旋转的几何关系，求解得到IMU第帧所形成的单位化旋转矩阵为；

2）单应性指把第一张二维平面上的点与第二张二维平面上具有相同特征的点，进行单应性的关联，满足一个平面到另一个平面的投影映射关系，把定义为要进行视频稳像前的视频序列帧图像的特征点集，为参考帧图像的特征点集，那么就有下面的对应关系：；相机的内参矩阵为K，根据参考帧与当前帧之间的特征点集关系可以求出单应矩阵；

3）通过第帧摄像机运动姿态求解单应性矩阵作用到图像中，再通过三维欧式空间到二维欧式空间的映射关系，得到稳定的视频帧序列，从而输出稳像视频。