一种基于fpga的实时电子稳像电路系统的处理方法
【专利摘要】本发明涉及一种基于FPGA的实时电子稳像电路系统的处理方法，属于图像处理领域。本发明首先送入视频，然后进入FPGA进行处理，接着FPGA内部进行稳像参数计算，最后视频输出。本发明可以消除输入视频中的横向和纵向抖动，并保留使用者带来的意向运动；可在大范围内稳定抖动的视频；延时在一帧以内，具有较高的实时性；可对数字以及模拟视频进行处理，接口灵活；帧存的存储量只需满足存储一幅图像数据；帧存读写速率只需高于视频传输速率2倍。
【专利说明】—种基于FPGA的实时电子稳像电路系统的处理方法
【技术领域】
[0001]本发明涉及一种基于FPGA的实时电子稳像电路系统的处理方法，属于图像处理领域。
【背景技术】
[0002]在很多情况下，摄像设备的工作平台都是处于不稳定的状态，诸如手持设备、车载设备、机载设备，甚至有些我们认为稳定的平台也会由于一些外因，引起不稳定，例如，处于高杆上的监控摄像头，有可能因为风吹而产生晃动。由于工作平台的不稳定，使得摄像设备输出的视频会产生剧烈的随机运动，从而影响观察效果。稳像技术则要克服以上的不利因素，消除视频的抖动，提高视频的观察效果。
[0003]稳像技术经历了由机械稳像到光学稳像，再到电子稳像的一个发展过程。传统的机械稳像和光学稳像通常都需要附加一些设备，如:陀螺、伺服系统、光学元件等，使得稳像系统变的复杂，成本高。电子稳像则利用图像处理技术，使得抖动视频得到稳定。因此电子稳像技术具有操作简易、体积相对较小、成本低、开发周期短、可移植性高、功耗相对较低等优点，使得电子稳像技术具有广阔的应用前景。
[0004]电子稳像系统主要由全局运动估计、全局运动平滑和全局运动补偿三个主要部分，难点在于全局运动估计。目前主要的运动估计算有:块匹配法、梯度法、灰度投影匹配法、二值位平面法等。块匹配法精度相对较高，但计算量大，难以做到实时估计，同时受匹配窗口的限制难以做到大范围匹配[I]。梯度法的缺点是在帧间位移大于5个像素的情况下匹配正确率严重下降[2]。灰度投影法的优点是计算量小，缺点是在图像灰度变化单一的场景中处理效果较差[1-2]。二值位平面法适用于位平面信息明显的场景，如建筑、室内，匹配错误发生的概率较高，抗噪声能力较差[I]。
[0005]以往的图像处理系统通常认为FPGA稳像系统难以做到实时性，则以多片DSP处理器实现[3]。这种系统通常结构复杂，功耗较高，价格昂贵。实际上单个DSP缺乏并行处理能力，才使得需要多片DSP协作处理。
[0006]其他一些电子稳像系统，如文献[3]，系统处理只专注于运动估计，并没有加入运动滤波，这样系统无法区分操作者带来的意向运动和系统的振动，只是简单的将所有运动一起补偿掉，此时使用者难以转换场景，系统缺乏实用性。
[0007]本发明的稳像系统，完整的包含了全局运动估计、全局运动平滑和全局运动补偿三个主要部分。使得系统可以区分使用者带来的意向运动，只补偿系统振动带来的影响，实用性较高。在全局运动估计采用的方法为:在灰度投影匹配法的基础上，加入了分块匹配，使得匹配的精度得到进一步提高，改善了单一的场景中的处理效果，同时计算量并没有增加太多，便于硬件实现，同时在整个图像范围内进行匹配，匹配范围广。
[0008]近年FPGA的价格越来越低、片上资源越来越丰富、运算速度越来越快、功耗也越来越低；FPGA还具有并行处理能力。这使得FPGA作为核心处理器、搭建片上系统已经成为可能，并且系统简单，实时性高，价格便宜。本发明专利利用FPGA实现，系统延时可在一帧以内。
[0009]【背景技术】参考文献:
[1]王志民，徐晓刚.电子稳像技术综述[J].中国图象图形学报，2010，15(3):470~480
[2]申请者:王宁明，朱振福.专利名:一种基于改进块匹配的电子稳像方法.专利国名:中国.申请号:201110300029.8
[3]申请者:许廷发，徐磊，吴威，闻辉，张增.专利名:一种实时并行的电子稳像系统设计方法.专利国名:中国.申请号:201110427963.6
[4]申请者:张永祥，栾中，卢岩，张伟功，关永，尚媛园，周全，田健仲.专利名:一种高速稳像系统.专利国名:中国.申请号:201120511287.6。
【发明内容】
[0010]本发明提供了一种基于FPGA的实时电子稳像电路系统的处理方法，以用于解决摄像头安装平台振动所带来的视频图像存在抖动的问题。
[0011]本发明的技术方案是:一种基于FPGA的实时电子稳像电路系统的处理方法,所述方法的具体步骤如下:
Step 1、视频送入:
当送入的为数字视频，则直接送入FPGA进行处理；
当送入的为模拟视频，则由AD芯片进行数字化，再送入FPGA进行处理；
St印2、FPGA处理:
FPGA将送入的视频存储到帧存中进行缓冲，同时在视频数据流的基础上进行稳像参数的计算；
Step3、FPGA内部稳像参数计算如下:
Step3.1、全局运动估计:
St印3.11、视频送入后，按照公式(I)和公式(2)计算第帧图像(&[1，/]"€[17])的各行均值4(/)以及各列均值&(/);
【权利要求】
1.一种基于FPGA的实时电子稳像电路系统的处理方法，其特征在于:所述方法的具体步骤如下: Step 1、视频送入: 当送入的为数字视频，则直接送入FPGA进行处理； 当送入的为模拟视频，则由AD芯片进行数字化，再送入FPGA进行处理； St印2、FPGA处理: FPGA将送入的视频存储到帧存中进行缓冲，同时在视频数据流的基础上进行稳像参数的计算； Step3、FPGA内部稳像参数计算如下: Step3.1、全局运动估计: St印3.11、视频送入后，按照公式(I)和公式(2)计算第帧图像(iea/LjeaJ])的各行均值&(i)以及各列均值aC/);
式中，I Xj为输入图像分辨率； St印3.12、将&(乃和T73C/)分为#块；其中七⑴的子块为的子块为yn’(q)；
式中，m; Step3.13、将第/?帧的及>)和忍?分别与FPGA中存储器存储的第/7-1帧的和JV1C/)进行移位匹配:当平均误差/^w(i)和/>_(/)为最小的移位值时，作为视频的帧间子全局运动估计值Offsetxlim和offsetyn，m ；
Step3.14、根据和offsetyn，m确定最终的第/?帧与第/?_1帧间的全局运动估计值 GMExn 和 GMEyn ；
Step3.2、全局运动平滑:利用FPGA内部的寄存器对GMExn和GMEyn序列进行缓冲，根据公式(11)、公式(12)分别得出横向和纵向意向运动估计值TMl和再根据公式(13)、公式(14)分别得出振动估计值KMl和VMyn ；
其中，Z为滤波器序列长度，为滤波器序列； Step3.3、全局运动补偿:根据振动估计值—^和对当前帧进行振动补偿:首先对当前帧振动估计值进行反向平移，然后对平移后空缺的图像像素填充单一颜色；
其中，ZbwGCf，/)为补偿后的图像,Gray为自定义的一种单一颜色； Step4、视频输出:根据输出视频格式进行数字视频输出或者模拟视频输出。
2.根据权利要求1所述的基于FPGA的实时电子稳像电路系统的处理方法，其特征在于:所述视频的帧周期分为数据有效期和消隐期，根据数据有效期和消隐期分配不同参数的计算: 第《帧图像数据有效期间，对xn,m和进行统计； 第《帧图像数据消隐期间，计算VMExn和VMEyn ； 第《帧图像数据消隐期间开始输出处理数据后的数据。
【文档编号】H04N5/21GK104202504SQ201410409517
【公开日】2014年12月10日 申请日期:2014年8月19日 优先权日:2014年8月19日
【发明者】范永杰 申请人:昆明理工大学