复合mems-imu的电子稳像装置的制造方法
【技术领域】
[0001]本发明涉及图像处理领域中一种将MEMS-頂U与图像信息融合的电子稳像装置。
【背景技术】
[0002]稳像技术广泛应用于机器人远程遥控系统、观瞄系统、视频监控系统以及图像导航系统等，是目标检测与跟踪的关键预处理技术，是移动成像系统不可缺少的一种重要视频增强技术。获取稳定清晰的视频输出对其后续工作的展开具有重要意义。摄像系统的工作环境很多时候不可控，不可避免的受到载体振动的影响，造成对视频图像不稳定的抖动干扰，比如安装在车辆、飞机、舰船等运动跟踪系统的摄像装置，因载体姿态变动受到振动干扰，造成拍摄的图像模糊不清，可能导致目标识别时产生虚警和漏警或更严重的后果;有效消除因摄像装置抖动而造成的图像抖动，同时又能保留其固有的正常运动，且不降低视频图像的质量，是视频图像稳像领域的关键。稳像技术的发展经历了机械稳像，光学稳像和电子稳像三大阶段。机械稳像是将摄像机固定在稳定伺服平台上，通过伺服控制转动平台达到稳像效果，其精度要受到系统精度的影响，控制系统复杂;光学稳像是通过光路中光学元件对扰动进行补偿，使入射光线照在CCD或红外传感器的相同的位置上，这种方式对制造技术要求较高、结构复杂以及成本较高；电子稳像技术的研究始于20世纪80年代中期，电子稳像是集电子学、计算机、图像识别等技术于一体，直接确定图像序列帧间映射关系并进行补偿的新一代序列图像稳定技术，旨在消除视频序列中的随机运动。与传统的机械和光学稳像系统相比，电子稳像系统具有易于操作、稳像精度高、体积小、重量轻、能耗低以及高智能化的实时处理等优点，利用电子稳像技术实现视频图像序列稳定是现代稳像技术的发展方向之一。商用摄像机、监视器的嵌入式电子稳像系统也成为目前电子稳像技术的研究热点。
[0003]电子稳像系统结构主要由运动估计、运动滤波和图像补偿等三大模块组成。电子稳像的运动估计是指图像帧间全局运动的估计，运动估计约占整个稳像过程计算量的70%以上。帧间全局运动向量包括抖动分量和相机主动运动分量，将抖动分量分离出来的过程即是运动滤波。运动滤波的原理主要基于两种方式，一种是将抖动看作噪声干扰，采用低通FIR滤波器、卡尔曼滤波器等；另一种是从运动学角度分析，应用曲线拟合模拟出一条光滑路径，作为相机扫描运动的轨迹。图像补偿是根据分离出的抖动运动向量对每帧图像做几何变换。新图像帧中的像素值需要通过灰度插值确定，常用插值方法有最近邻插值、双线性插值和立方卷积插值。
【发明内容】
[0004]本发明目的是针对现有技术存在的不足之处，提供一种结构简单，成本低，稳像精度高，抗干扰能力强，图像处理运动估计运算量小的电子稳像装置，并且能够具备比常规单一依靠图像信息处理的电子稳像装置更强的适应能力。
[0005]本发明的目的是通过下述技术方案实现的。一种复合MEMS-MU的电子稳像装置，包括光学镜头1、图像传感器2、图像传感器读出电路3、信号处理器4和MEMS-MU 5，其特征在于:图像传感器读出电路3、信号处理器4和MEMS-MU5构成一体电路组件6;图像传感器2将光学镜头I入射的光信号转化为电信号，输送至读出电路3输出原始视频图像数据;信号处理器4在图像电子稳像的信号处理中，融入MEMS-頂U的惯性测量信息，将上述原始视频图像数据和MEMS-頂U5输出的惯性测量数据进行融合，利用MEMS-1MU5信息解算出摄像机的运动向量，通过自适应卡尔曼滤波分离出抖动分量，对原始视频数据进行运动补偿输出稳定的视频数据。
[0006]本发明相比于现有技术具有如下有益效果:
结构简单，成本低。本发明将读出电路3、信号处理器4和MEMS-頂U5与电路组件6构成一体，结构简单，并将光学镜头1、图像传感器2和电路组件6装配成为整体固件，安装在摄像机9的内框架上，确保图像传感器2与MEMS-MU5能够保持固定的坐标连接关系，所构成的复合MEMS-頂U电子稳像装置成本低。通过MEMS-頂U和图像这两类异质传感器的信息融合，具备比常规单一依靠依靠图像信息稳像的或机械稳像的稳像装置更强的处理能力，可以有效解决单纯靠图像信息难以克服的景深、旋转、误差累计等技术难题；同时有效解决了单一机械稳像装置面临的控制系统复杂、结构复杂、高成本等问题。
[0007]稳像精度高，抗干扰能力强。本发明图像传感器2将光学镜头I入射的光信号转化为电信号，输送至读出电路3输出原始视频图像数据;通过MEMS-MU与图像信息融合减小图像处理运算量和误差，提高了稳定精度和抗干扰能力。由于MEMS-MU的惯性测量信息采样速率远高于图像信息数据，因此图像稳像的信号处理中融入MEMS-MU的惯性测量信息，不仅能够提高数据的更新率，更有利于提高稳像精度。通过图像与MEMS-MU惯性信息的异质信息融合，实现两种稳像方式的优势互补，可得到更高质量、更稳定的稳像效果。
[0008]图像处理运动估计运算量小。本发明信号处理器4在图像电子稳像的信号处理中融入的MEMS-MU的惯性测量信息，利用MEMS-頂U信息解算出摄像机的运动向量，通过自适应卡尔曼滤波分离出抖动分量，对原始视频数据进行运动补偿输出稳定的视频数据，可减小图像处理运动估计的运算量，且提高了运动向量估计的精度，可将节省的运算资源用于运动滤波和图像补偿，达到减小图像信息和质量损失的目的，提高稳像的稳定性和抗干扰能力。
【附图说明】
[0009]下图结合附图和实施例进一步说明本发明，但并不因此将本发明限制在所属的实施例范围之中。
[0010]图1是本发明复合MEMS-Biu的电子稳像装置的组成原理示意图。
[0011 ]图2是图1各组件信号流向示意图。
[0012]图3是本发明的第一个实施例的组成关系示意图。
[0013]图4是本发明的第二个实施例的组成关系示意图。
[0014]图中:I光学镜头;2图像传感器;3图像传感器读出电路;4信号处理器;5MEMS-頂U;6电路组件;7摄像机;8可将光变焦镜头;9大面阵可见光CCD/CM0S图像传感器；10大面阵可见光(XD/CM0S图像传感器读出电路；11红外定焦镜头；12非制冷红外图像传感器;13红外读出电路。
【具体实施方式】
[0015]下面结合附图和实施例对本发明作进一步说明。
[0016]参阅图1、图2。在以下描述的实施例中，复合MEMS-1MU的电子稳像装置由光学镜头
1、图像传感器2、图像传感器读出电路3、信号处理器4和MEMS-MU 5及摄像机结构框架7构成。其中，光学镜头1、图像传感器2和电路组件6装配成为整体固件，安装在摄像机7的内框架上，确保图像传感器2与MEMS-MU 5能够保持固定的坐标连接关系。工作过程中，图像传感器2将入射的光信号转化为电信号，输送至可见光图像传感器读出电路3，该输出电路将电信号转化为输出的原始视频图像数据;原始视频图像数据和MEMS-1MU的惯性测量数据输送至信号处理器4，信号处理器4在图像电子稳像的信号处理中，融入MEMS-頂U的惯性测量信息，将上述原始视频图像数据和MEMS-頂U 5输出的惯性测量数据进行融合。信号处理器4利用MEMS-MU信息解算出摄像机的运动向量，通过自适应卡尔曼滤波分离出抖动分量，对原始视频数据进行运动补偿输出稳定的视频数据。光学镜头I可以是可见光变焦镜头8或红外定焦镜头11，图像传感器可以是大面阵可见光CCD/C0MS图像传感器9或非制冷红外图像传感器12，图像传感器读出电路3可以是大面阵可见光CCD/C0MS图像传感器读出电路10或红外读出电路13，其中可见光变焦镜头8或红外定焦镜头11顺次串联大面阵可见光CCD/COMS图像传感器9或非制冷红外图像传感器12、大面阵可见光CCD/C0MS图像传