本发明涉及智能机器人、水下探测领域，具体涉及一种水下机器人实时电子稳像方法。
背景技术：
目前，随着科学技术的不断发展以及巨大市场的需求，人们对水下世界的探索欲望越来越强烈，直接促进了水下机器人技术的发展。
水下机器人作为一个复杂的系统，集成了人工智能、水下目标的探测和识别、数据融合、智能控制以及导航和通信各子系统，是一个可以在复杂水下环境中执行各种军用和民用任务的智能化无人平台。由于水下机器人在海事研究和海洋开发中具有远大前景，在未来水下信息获取、精确打击和“非对称情报战”中也有广泛应用，因此水下机器人技术在世界各个国家中都是一个重要和积极的研发领域。
现有的水下摄像方式大都为手持设备拍摄，这样拍摄出的视频时常会出现抖动现象，并且由于水下手持拍摄过程中考虑到拍摄中周期性潜水动作也会产生类似于波纹的周期性扰动存在。针对于专业情况下的水下拍摄，一般借助大型机械消抖装置，这样的装置一般成本高，并且体积大，不易携带。对于现有的水下机器人所搭载的摄像机所采集的画面存在抖动现象，严重的影响了拍摄出视频的质量。特别是，目前消费级水下机器人技术还处于起步阶段，急需能够有效应用在水下机器人上进行视频拍摄的方法。
目前，采用图像处理方法的稳像方法包含实时应用情况和离线处理情况。在实时处理情况下，为了满足实时性的要求，一般只能分析图像帧间相关性在低维度(低自由度)的变换关系，处理后的视频图像局部会出现扭曲，变形问题。在离线处理情况下，一般提取比较复杂的图像特征，或者分块提取图像特征，然后估计高维度的变换关系，这样可以减少处理后的视频图像的局部扭曲问题，但是复杂度越高，提取图像特征时越容易受到噪声的影响，提取的运动状态具有的稳定性越差，且只能应用在离线处理情况，无法满足实时性的需求。
此外，直接采用Kalman滤波算法，滑动均值滤波算法或其他平滑滤波算法来估计机器人的实际运动，不区分机器人不同运动状态，容易在机器人处于悬停状态时，消抖效果不理想；直接通过获取惯性测量单元IMU(Inertial Measurement Unit,IMU)传感器获取机器人的随机抖动信息，由于IMU测量的信息中本身就含有测量噪声，如果考虑到环境因素对传感器的影响，那么还可能受到环境噪声的影响，所以直接通过IMU模块获取运动状态的信息是不准确的。
技术实现要素：
本发明的目的在于克服现有技术的不足，提供一种水下机器人实时电子稳像方法，灵活性高，计算复杂度低，能够实时稳像，并且降低了处理后的视频图像出现局部扭曲变形的问题，进一步提高稳像质量。
本发明提供了一种水下机器人实时电子稳像方法，依次包括如下步骤：
(1)将获取的图像帧和对应获取的IMU姿态信息进行时间对准，并且确定不同传感器获取信息的时间一致性；
(2)通过IMU传感器单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计机器人旋转矩阵R；
(3)利用(2)中的旋转矩阵R，和前后帧图像之间特征点的匹配关系，估计帧间的相对状态转移矩阵d，进而得到相对于起始帧的全局运动位置状态。
(4)利用滤波方法对机器人各轴向的全局位置曲线进行滤波处理，分离机器人的实际意图运动信息和随机抖动信息；
(5)在各运动轴向上，根据滤波后的平滑曲线与原全局运行曲线在每帧的位移差，反向移动当前帧的位置，来抵消位移差。实现消抖的目的，最终对图像边沿进行剪切，消除每帧移动产生的空白区域。
进一步地，步骤(1)中时间对准是通过在传感器采样的时刻以低采样率为时间参考，或对每次的采样时刻对采样信息贴上系统时间戳，对不同采样信息的时间以时间差最近原则来对齐不同的传感器信息。
进一步地，所述步骤(2)中摆动信息为俯仰、滚转和航偏三个方向的摆动信息中的一种、两种或三种。
进一步地，所述步骤(2)具体为：
通过IMU单元检测机器人的旋转变换R，则有R＝θpitch·θroll，其中俯仰摆动为θpitch和翻滚俯仰摆动为θroll。
进一步地，所述步骤(3)中包括获取运动估计方程，其中获取运动估计方程可表示为：X′＝R·X+d＝θpitch·θroll·X+d，其中d为平移量，X和X′分别为前后帧图像的状态量。
进一步地，步骤(3)中计算得到图像帧间相关性关系采用基于灰度模块匹配的方法、基于位图统计的相关性计算方法、基于灰度统计的相关性计算方法、基于光流的相关性计算方法或基于特征的相关性计算方法。
进一步地，所述基于灰度模块匹配的方法中的块匹配是基于已匹配的特征点为中心的模块。
进一步地，所述基于灰度模块匹配的方法具体为：
1)利用特征点检测算法检测左右图像传感器成像焦平面的图像特征点信息，通过特征点描述算子，利用特征点匹配算法进行特征点的匹配；
2)通过已匹配的特征点之间的像素关系推导出特征点在相机坐标系下的三维坐标信息；
3)通过匹配帧间特征点的投影焦平面的像素信息，构建以已匹配特征点为中心的块；
4)通过帧间已匹配的块的匹配信息进一步修正基于像素级的特征点匹配误差；
5)更新帧间已匹配特征点在投影焦平面的位置关系，并利用这种关系推导低维度的帧间图像信息的转换状态。
进一步地，步骤(4)中滤波方法采用分段滤波，滑动均值滤波方法，加权滑动平均方法，限幅滤波方法或粒子滤波方法。
进一步地，采用但不限于FAST特征点提取算法，也可采用SIFT，SURF，ORB特征点提取算法。BRIEF特征点描述算子。采用直接法匹配特征点。采用RANSAC算法去除误差较大的点，利用最优估计的方式估计帧间相对运动关系。
进一步地，直接利用相对于初始帧的原全局位置曲线与平滑后的曲线，在每帧时的位移差，反向补偿原全局运动。为了减小相对于初始帧的全局累积计算和估计误差，可将整个处理视频样本均分为N段，在对每段视频进行消抖的的时候，使得相邻两段视频彼此具有M帧的重合部分，其中M理论上不大于每段的总帧数，对于重合部分采用加权求和的方式进行叠加。后段视频前M帧的权值为1/M,前段视频倒数M帧的权值与后段视频的每帧的权值相加为1，使得前段视频M帧的权值是均匀降低，后段视频M帧的权值是均匀增加。
本发明的水下机器人实时电子稳像方法，可以实现：
1)针对水下机器人悬停情况下和运动过程中(包括启停过度阶段)的稳像方法，也适用只针对其中一种情况下的稳像，灵活性高。
2)通过获取低维图像帧间相关性和IMU传感器相融合的方式，计算复杂度低，实现了视频实时稳像处理。
3)融合后的高维度帧间图像相关性估计具有较高的稳定性，降低了处理后的视频图像出现局部扭曲变形的问题。
4)通过区分机器人静止和运动状态，能更好的采用滤波器分离机器人的实际运动和随机抖动，进一步提高稳像质量。
附图说明
图1为水下机器人实时电子稳像方法流程图。
具体实施方式
下面详细说明本发明的具体实施，有必要在此指出的是，以下实施只是用于本发明的进一步说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出的一些非本质的改进和调整，仍然属于本发明的保护范围。
本发明提供了一种水下机器人实时电子稳像方法，应用在水下机器人装置中，该方法结合了基于惯性测量单元IMU的姿态测量方式和图像帧间相关性分析两种方式去估计水下机器人的全局抖动，通过分析图像帧间相关性关系，并采用状态转移矩阵表示这种帧间相关性进行快读有效的处理。
考虑到通过机器人所装载的摄像装置测量的物体图像信息呈现出的是一个二维图像平面的像素点信息，这里利用该测量到的信息直接估计前后帧图像之间的状态转移矩阵[R d]，则有运动估计方程为：X′＝R·X+d，观测方程为λx＝K(X+d)，其中K为相机的投影参数。考虑到为了满足实时性运算的需求，降低通过计算帧间图像信息估计状态转换的维度，只估计在机器人坐标下的平移状态即：X′＝X+d,其中λ为归一化参数，d为平移量，R为旋转变换量，X和X′分别为前后帧图像的状态量。
一般情况下如果只是通过图像分析方法，分析相邻两帧图像之间的变换模型，状态转移矩阵的维度决定了变换模型的复杂度。高维的变换模型能够更好的描述相连两帧图像之间的转换关系，但是维度越高，利用图像分析方法越复杂，越容易出现误差，并且状态稳定性越差，时间复杂度越高。对于水下机器人中的嵌入式平台，且需要实时的进行稳像处理的情况，很显然是不能满足要求的。所以本发明针对帧间计算图像相关性方面，采用基于灰度模块匹配的方式来计算图像帧间相关性，需要注意的是，也可以采用基于位图统计的相关性计算方法，基于灰度统计的相关性计算方法，基于光流的相关性计算方法，基于特征的相关性计算方法实现。
基于灰度模块匹配的方法基于灰度图像进行计算，本发明较常见的灰度块匹配方法不同的是，块匹配是基于已匹配的特征点为中心的模块，块的数量取决于已匹配的特征点数。具体步骤为：
1)利用特征点检测算法检测左右图像传感器成像焦平面的图像信息，通过特征点描述算子，利用特征点匹配算法进行特征点的匹配。
2)通过已匹配的特征点之间的像素关系推导出特征点的三维坐标信息。
3)通过匹配帧间特征点的投影焦平面的像素信息，构建以已匹配特征点为中心的块。
4)通过帧间已匹配的块的匹配信息进一步修正基于像素级的特征点匹配误差。
5)更新帧间已匹配特征点在投影焦平面的位置关系，并利用这种关系推导低维度的帧间图像信息的转换状态。
另外通过IMU单元检测机器人运动坐标参考系下的俯仰、滚转和航偏三个方向的摆动信息(或者是其中任意一种或两种摆动信息)，实际上在水中机器人的主要抖动来自于俯仰和滚转摆动方向，所以IMU的测量信息弥补了低维度图像帧间相关性分析机器人全局抖动信息的不足。
通过IMU单元检测机器人的旋转变换为R，这里直接根据IMU就可以提取到欧拉角，不需要其他多余的操作(欧拉角包括：俯仰，翻滚，航偏)；考虑到主要的旋转为俯仰θpitch和翻滚θroll，则有R＝θpitch·θroll，故运动估计方程可表示为：X′＝R·X+d＝θpitch·θroll·X+d，同时，满足了实时性应用的需求。
本发明考虑到机器人在获取图像和获取IMU姿态信息在时间上不一致的可能性，所以在应用该稳像系统之前，需要首先将这种不一致转换到时间一致上，使得获取的图像与IMU姿态实现同步，并且确定这种准确的时间关系。
由于IMU传感器的采样频率约为200Hz，而机器人上的图像传感器采样频率为30Hz，所以为了保证图像信息和IMU信息的时间一致性，简单的方法是在传感器采样的时刻以低采样率为时间参考，或对每次的采样时刻对采样信息贴上系统时间戳，对不同采样信息的时间一致性问题上以时间差最近原则来对齐不同的传感器信息。
本发明不仅包含水下机器人在悬停状态下的多传感器融合的稳像方法，也包含针对机器人在水下运动过程中的多传感器融合的稳像方法。在移动过程中，通过图像帧间相关性分析和IMU测量方法不仅获取了机器人的移动运动信息，也包含了随机的抖动信息，采用Kalman滤波方法分离机器人的实际运动信息和随机抖动信息，需要注意的是，也可以采用均值滤波，滑动均值滤波，加权滑动平均，限幅滤波，粒子滤波方法实现。
考虑到实际的水下应用情景，水下静态时主要的抖动呈现出类似正余弦周期性的变化，而动态过程中却少见周期性抖动，在动静状态切换过程中又存在初始幅度较大，随着时间逐级递减的趋势的正余弦变化。这种状态可以分为三种运动类型：
1.静态下为平行于时间轴的直线，即：DP(t)＝0。
2.静态向运动状态的过度为二次曲线，例如：D3P(t)＝0。
3.稳定运动状态下为线性曲线，即：D2P(t)＝0,其中DnP表示n阶微分操作。
尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。