基于反卷积图像复原的高保真视频放大方法
【技术领域】
[0001] 本发明设及成像技术领域，具体设及一种基于反卷积图像复原的高保真视频放大 方法。
【背景技术】
[0002] 近年来，随着成像技术的不断发展。高帖频，高分辨率的相机越来越多的应用在军 事，工业，安防，科研等诸多领域。但是受制于成像器件的分辨率，光学系统的放大倍率，相 机的尺寸重量等诸多因素，在很多应用场合仍无法满足人们对于相机分辨力的要求。运时 往往需要结合光学系统的变倍技术和电子学图像放大技术来提升相机的分辨力。
[0003] 电子学图像放大技术通常是对原有分辨率的图像进行插值处理，通过增加图像分 辨率达到提升相机分辨力的目的。图像插值的方法有很多，如邻域插值，双线性插值，双Ξ 次插值等等。针对视频处理，需要满足系统实时性，不能采用一些过于复杂的算法。因此往 往采用易于硬件实现的方法进行插值。运类插值方法虽然能够较快的完成插值处理，但是 由于算法简单，往往对图像质量造成损失，使图像边缘能量减弱，降低了图像传函。
[0004] 图像复原技术，其数学本质是根据已知的g(x，y)W及h(x，y)与n(x，y)的部分先验 信息，W不同的准则对f(x，y)进行估计，从而得到接近于实际场景(f(x，y))的估计值一- /Ι>，.ν；)。利用图像复原技术可W较好恢复图像边缘的能量，使图像能量更为集中，提升相 机传递函数。
[0005] 综上所述，为了提升视频放大后的图像质量，并兼顾高速视频处理要求的实时性， 有必要寻求高保真的视频放大方法，且运种方法可在实际工程中得W实现。
【发明内容】
[0006] 本发明为提高相机视频放大后图像质量，解决提升分辨力与放大后图像退化之间 的矛盾，提供一种基于反卷积图像复原的高保真视频放大方法。
[0007] 基于反卷积图像复原的高保真视频放大方法，该方法由W下步骤实现：
[000引步骤一、对待测相机镜头进行测试，获得待测相机的点扩散函数h(x，y);
[0009] 步骤二、采用插值方法对原始图像进行插值，获得待复原的插值后的图像g(x，y);
[0010] 步骤Ξ、对步骤一获得的点扩散函数h(x，y)，采用傅里叶反变换到空间域中，得到 反卷积预选模板h_y (X，y);
[0011] 步骤四、对步骤Ξ获得的反卷积预选模板h_y(x，y)进行截取，获得尺寸为13X13 的反卷积模板h_m(X，y);
[0012] 步骤五、将反卷积模板h_m(x，y)与步骤二中待复原的插值后的图像g(x，y)进行实 时的二维卷积，获得复原后的放大图像/Gy，-;'）。
[0013] 本发明的有益效果：
[0014] -、本发明提供了一种在现有技术条件下可行的基于反卷积图像复原的高保真视 频放大技术，减少普通视频放大技术带来的图像退化，提升视频相机的图像放大质量。
[0015] 二、本发明并不限制插值方法，只要能够保证视频输出实时性(延迟小于40ms)。
[0016] Ξ、为了解决图像在轨复原的实时性难题，本发明将原本在频域的复原搬移到了 空间域进行处理，保留了成熟的线性滤波复原图像的可靠性(两者在数学本质上相同），截 取能量分布的主要部分，采用小尺寸的空间域反卷积模板进行卷积处理，减小了空间域处 理的计算量，W满足处理的实时性。
[0017] 四、本发明采用FPGA作为核屯、硬件平台，基于并行流水线思想按像元时钟速率进 行实时处理，降低了硬件性能要求和代码设计复杂程度，易于工程实现。同时随着FPGA集成 度和性能的提高，可针对不同倍数的放大倍率进行扩展，适应性强。
[0018] 五、本发明所述的方法可同时对非放大视频进行图像复原，整体提升相机输出图 像质量。
【附图说明】
[0019] 图1为本发明所述的基于反卷积图像复原的高保真视频放大方法的流程图；
[0020] 图2为本发明所述的基于反卷积图像复原的高保真视频放大方法中待测相机镜头 测试的原理框图；
[0021] 图3本发明所述的基于反卷积图像复原的高保真视频放大方法中根据相机参数获 得的一种典型的尺寸为7X7的在轨归一化点扩散函数h(x，y)示意图；
[0022] 图4为根据图3获得的能量分布高度集中的尺寸为256X256的空间域反卷积预选 模板h_y(x，y)的示意图；
[0023] 图5从图3中截取的尺寸为13X13的空间域反卷积模板h_m(x，y)示意图；
[0024] 图6采用本发明所述的基于反卷积图像复原的高保真视频放大方法对h_m(x，y)与 g(x，y)进行卷积运算的示意图；
[0025] 图7采用本发明所述的基于反卷积图像复原的高保真视频放大方法实时复原系统 按行处理的时序示意图；
[0026] 图8中8a和8b为采用本发明所述的基于反卷积图像复原的高保真视频放大方法对 图像进行放大的前后对比图。
【具体实施方式】
【具体实施方式】 [0027] 一、结合图1至图8说明本实施方式，基于反卷积图像复原的高保真 视频放大方法，本实施方式中Wicx415al面阵CCD相机为例，给出基于反卷积图像复原的高 保真视频放大方法的实例：
[0028] 步骤a:采用点光源，平行光管，干设仪，对待测相机镜头进行测试，结合图2,得出 点扩散函数PSF的值，利用归一化方法得出较为准确的归一化点扩散函数h(x，y)，如图5所 /J、- 〇
[0029] 步骤b:利用双线性插值的方法对原始图像进行两倍插值，在FPGA内部开辟两个缓 存空间，每个大小为两行图像数据所占用的空间，按768个水平有效像元计算，共需要768* 2*8bit = 12288bit的存储空间。采用兵鸟操作，对存储空间内数据分时进行双线性插值，分 别得出插值后的新行列图像。随后对新老图像按顺序统一输出得出待复原的插值后的图像 g(x,y)〇
[0030] 步骤c:利用步骤a所获得的点扩散函数h(x，y)，采用傅里叶反变换到空间域中，得 到反卷积预选模板h_y (X，y)。
[0031] 步骤d:将h_y(x，y)能量分布高度集中的区域截取出来，根据具体的数值分布，截 取占总能能量分布99% W上的中央区域的矩阵作为空间域反卷积模板h_m(x，y)，如图6所 /J、- 〇
[0032] 步骤e:将h_m(x，y)与待复原的插值后的图像g(x，y)进行卷积则复原的计算过程 可表述为：
[0033]
[0034] a，b为反卷积模板水平和垂直方向元素个数减1后的一半，如模板为13 X 13，则a = b = 6，S，t为模板内各元素横纵坐标。
[0035] 为了描述方便，图6给出的是一个简单的3X3空间域模板与图像卷积的示意图，首 先通过对空间域模板进行180°转置，而后用转置后的模板与图像中3X3的区域进行卷积， 所得结果为图像3X3区域中屯、点的复原后数值。为满足系统实时性，相机像元时钟为 30MHz，运样采用30MHz的时钟并行处理卷积模板和插值图像的二维卷积，图像为8bit的灰 度图像，h_m( X，y)大小为13 X 13，通过FPGA的并行处理进行实现。
[0036] 本实施方式中采用现有的XILINX公司的Videx-6系列FPGA自带748个DSP Slices，每个DSP Slices都是一个主频可W达到600MHz的25 X 18bit二进制补码乘法器W 及一个48bit的累加器，将上述的计算分配给DSP Slices进行并行处理，完全可W满足计算 的要求，从而获得复原后的图像.Z'G、'，.!，；)，如图7所示。数据流方向与模板运算方向相同，在 一个时钟下完成一个像素的复原计算，当完成一行数据后，对下一行的数据进行计算，其方 向与相机运动方向相同。
[0037] 本实施方式的步骤b中可W采用其他形式的插值方法，其余的步骤与上述方法一 致。
[0038] 采用本实施方式所述的的视频放大相机与原有普通视频放大功能的相机在系统 上的区别如图8所示，二者本职区别即本发明的视频放大功能结合图像复原技术，在对图像 插值后进行反卷积图像复原，达到弥补插值带来的图像退化的效果。
【主权项】
1. 基于反卷积图像复原的高保真视频放大方法，其特征是，该方法由以下步骤实现： 步骤一、对待测相机镜头进行测试，获得待测相机的点扩散函数h( x，y); 步骤二、采用插值方法对原始图像进行插值，获得待复原的插值后的图像g(x，y); 步骤三、对步骤一获得的点扩散函数h(x，y)，采用傅里叶反变换到空间域中，得到反卷 积预选模板h_y (X，y); 步骤四、对步骤三获得的反卷积预选模板h_y(x，y)进行截取，获得尺寸为13X13的反 卷积模板h_m(X，y); 步骤五、将反卷积模板h_m(x，y)与步骤二中待复原的插值后的图像g(x，y)进行实时的 二维卷积，获得复原后的放大图像。2. 根据权利要求1所述的基于反卷积图像复原的高保真视频放大方法，其特征在于，步 骤一中，采用点光源、平行光管以及干涉仪对待测相机镜头进行测试，点光源经平行光管后 入射至待测相机镜头，干涉仪根据接收的待测相机镜头的信息，获得待测相机的点扩散函 数。3. 根据权利要求1所述的基于反卷积图像复原的高保真视频放大方法，其特征在于，步 骤二中，采用双线性插值的方法对原始图像进行两倍插值，在FPGA内部开辟两个缓存空间， 每个缓存大小为两行图像数据所占用的空间，采用乒乓操作，对存储空间内的数据分时进 行双线性插值，获得待复原的插值后的图像。
【专利摘要】基于反卷积图像复原的高保真视频放大方法，涉及成像技术领域，本发明提高相机视频放大后图像质量，解决提升分辨力与放大后图像退化之间的矛盾等问题，本发明对待测相机镜头进行测试，获得待测相机的点扩散函数，采用插值方法对原始图像进行插值，获得待复原的插值后的图像，对的点扩散函数采用傅里叶反变换到空间域中，得到反卷积预选模板；并对其进行截取，获得尺寸为13×13的反卷积模板；将反卷积模板与待复原的插值后的图像进行实时的二维卷积，获得复原后的放大图像。本发明基于并行流水线思想按像元时钟速率进行实时处理，降低了硬件性能要求和代码设计复杂程度，易于工程实现。适应性强。
【IPC分类】H04N5/14, G06T5/00
【公开号】CN105491269
【申请号】CN201510821481
【发明人】张宇, 王文华
【申请人】长春乙天科技有限公司
【公开日】2016年4月13日
【申请日】2015年11月24日