运动模糊图像复原方法
【专利摘要】本发明属于数字图像处理【技术领域】，具体涉及一种运动模糊图像复原方法，该方法用于将两个或两个以上相机获取的同场景的视频序列通过超分辨率重构的方法来复原运动模糊图像。该方法包括：相机选型；场景序列图像获取；序列图像间时空配准；高分辨率图像序列重构等步骤。与现有技术相比较，本发明具备如下有益效果：(1)本发明充分利用了多相机获取同场景图像序列和时序控制电路的时序控制，增加了所获场景图像的细节信息；(2)本发明充分利用了分层搜索策略，提高了图像匹配的速度和精度；(3)本发明充分利用了不同视频图像间亚像素级互补信息和超分辨率重建算法，复原了运动模糊图像，提高了视频图像的分辨率。
【专利说明】运动模糊图像复原方法
【技术领域】
[0001] 本发明属于数字图像处理【技术领域】，具体涉及一种运动模糊图像复原方法，该方 法用于将两个或两个以上相机获取的同场景的视频序列通过超分辨率重构的方法来复原 运动模糊图像。
【背景技术】
[0002] 随着C⑶和CMOS图像传感器的快速发展，数字成像设备和数字处理技术被广泛地 运用到数字电视、网络播放、视频监控、医学诊断、交通管理等与人们生活息息相关的日常 领域，而且也成为了宇航、遥感、制导、预警以及天文探测等军事、科研领域中不可缺少的设 备和技术。近年来.人们对视频质量的要求不断提高，希望摄像机能捕捉到更多的动态信 息和更多的细节信息，也就是希望获得更高空间分辨率和时间分辨率的视频。
[0003] 但是，任何成像设备均具有一定的空间和时间分辨率，空间分辨率主要取决于光 电传感器件的空间分布密度和空间点扩散函数，而时间分辨率主要取决于传感器件的采样 帧率和曝光时间。图像在成像过程中，当物体与镜头存在相对运动时会产生运动模糊，其本 质是在成像时间内，运动方向上各像素叠加造成的。由于运动具有瞬时性，实际中的运动模 糊常常是空间变化的，同时由于成像单元尺寸等因素影响，往往只能得到多帧低分辨率图 像，其中图像的高频部分，即细节会有所损失。
【发明内容】
[0004] (一）要解决的技术问题
[0005] 本发明要解决的技术问题是：如何充分利用超分辨率图像重构思想来提供一种运 动模糊图像复原方法。
[0006] (二）技术方案
[0007] 为解决上述技术问题，本发明提供一种运动模糊图像复原方法，该方法基于图像 复原模块来实施，该图像复原模块包括：时序控制电路、数据缓存单元、时空配准单元、数据 处理单元；
[0008] 该方法包括如下步骤：
[0009] 步骤Sl:相机选型，根据系统所应用的场合和成本，选择合适参数的相机和相机 数量；选择相机考虑物体与镜头存在的相对运动大小，相对运动大的选择时间分辨率参数 高的相机，即曝光时间短、成像速度快的相机；
[0010] 步骤S2 :控制各个相机成像获取同场景的序列图像；
[0011] 接受到外部脉冲触发时，时序控制电路依次控制各个相机成像，即每个相机成像 触发存在微小的时间偏差，非同步触发成像；相机在接收到触发信号时成像器就会启动光 电信号转换，把光信号转换成电信号并经模数转换为数字图像后输出至数据缓存单元，等 待后续处理；
[0012] 步骤S3 :对采集到的同场景不同图像序列使用分层搜索策略进行时空配准；
[0013] 即时空配准单元先对同场景不同图像序列进行分层预处理，再从最低分辨率的分 层开始搜索匹配，确定出粗匹配的位置，然后把低分辨率上所获得的模板匹配位置传递到 上一层稍高分辨率的图像上，并初步确定这一层可能存在的搜索位置；这样依次分层搜索 下去，直到最大分辨率层确定匹配位置；
[0014] 其中，图像配准依据相似性度量，其值越大表示模板与匹配子图像越相似，这里所 采用的相似度为：
【权利要求】
1. 一种运动模糊图像复原方法，其特征在于，该方法基于图像复原模块来实施，该图像 复原模块包括：时序控制电路、数据缓存单元、时空配准单元、数据处理单元； 该方法包括如下步骤： 步骤Sl :相机选型，根据系统所应用的场合和成本，选择合适参数的相机和相机数量； 选择相机考虑物体与镜头存在的相对运动大小，相对运动大的选择时间分辨率参数高的相 机，即曝光时间短、成像速度快的相机； 步骤S2 :控制各个相机成像获取同场景的序列图像； 接受到外部脉冲触发时，时序控制电路依次控制各个相机成像，即每个相机成像触发 存在微小的时间偏差，非同步触发成像；相机在接收到触发信号时成像器就会启动光电信 号转换，把光信号转换成电信号并经模数转换为数字图像后输出至数据缓存单元，等待后 续处理； 步骤S3 :对采集到的同场景不同图像序列使用分层搜索策略进行时空配准； 即时空配准单元先对同场景不同图像序列进行分层预处理，再从最低分辨率的分层开 始搜索匹配，确定出粗匹配的位置，然后把低分辨率上所获得的模板匹配位置传递到上一 层稍高分辨率的图像上，并初步确定这一层可能存在的搜索位置；这样依次分层搜索下去， 直到最大分辨率层确定匹配位置； 其中，图像配准依据相似性度量，其值越大表示模板与匹配子图像越相似，这里所采用 的相似度为：
式中，X和y是图像上某个像素点的坐标值矢量，无和7分别为矢量X和y的均值； S(x，y)表示模板与匹配子图像间的相似测度； 步骤S4 :根据配准后的图像序列使用超分辨率重建的方法重建高帧频和高分辨率的 图像序列，复原运动模糊图像； 数据处理单元获得各个相机采集的数字图像后，根据图像配准估计出的视频间的时空 参数，使用超分辨率重建方法重构出高分辨率图像，复原运动模糊图像序列；该过程包括： 将输入的k幅低分辨率图gk的第一幅 g(l图像作为参考图像，通过图像配准，估计出低 分辨率图像gk与参考图像go的子像素位移量，得到第k张图像的几何变换算子T k; 首先，对参考图像根据插值法求出高分辨率图像的估计值作为初始值f(c0,根据该初始 值f(tl)来获取一组和观察图像丨&丨丨=1相对应的低分辨率图像;
其中，h为系统的点扩散函数，丨s为降采样算子； 然后，把插值图像丨心中的每一个值，利用反投影核P反投影到的f(c0的对应 部分，来进一步改正初始假设值，由此获得一幅较优的高分辨率图像f(1)，多次重复该过程， 直到满足公式（3)的条件，则获得正确结果；
其中，δ为（0,0)处的单位脉冲函数； 其中，多次重复的过程为迭代过程，其表示为公式（4):
其中，丨s为上采样算子，k为参与重建的影像数量； 如果反投影核P满足公式（3)，则将公式（4)按指数收敛。
【文档编号】G06T5/50GK104376547SQ201410616009
【公开日】2015年2月25日 申请日期:2014年11月4日 优先权日:2014年11月4日
【发明者】吕绍杰, 张永华, 叶旭鸣 申请人:中国航天科工集团第三研究院第八三五七研究所