一种基于振动提高视频分辨率的方法
【技术领域】
[0001] 本发明属于图像的增强或复原处理领域，具体涉及一种通过使用多幅图像提高视 频图像分辨的方法。
【背景技术】
[0002] 电子信息技术的发展使得数字视频成像和处理技术被广泛运用到数字电视、网络 播放、视频监控、医学诊断、交通管理等与人们生活息息相关的领域，也成为了天文探巧||、宇 航、遥感、制导、预警等军事和科研领域中不可缺少的技术。为了能从图像视频中获取更多 场景或目标的细节信息和动态信息，就迫切需要提高图像视频的空间分辨率和时间分辨 率。
[0003] 图像分辨率是图像质量的一个主要标志，图像的分辨率越高，表明其越接近真实 场景。提高图像分辨率主要通过改进硬件设备和改进图像处理软件的两种方式，其中改进 硬件设备的方式主要是对图像成像元件及光学系统的改进，但受到设备本身特性W及制作 工艺、加工成本的影响，高分辨率的硬件设备难于制造，且体积较大、成本高昂，难于推广普 及。
[0004] 改进图像处理软件的方式，一种是利用利用插值技术来增加图像的像元数，该方 法可W提高图形的分辨率，但实际上信息量并没有增加。另一种是采用序列图像重构的方 法获得高分辨率图像，具体是指利用多顿相互之间具有子像素位移的低分辨率图像序列， 通过相应的算法来重建得到高分辨率图像。相比于插值方法，序列图像重构能够从本质上 提高图像分辨率，也避免了升级硬件设备带来的设备体积、成本的提高。
[000引 中国专利申请CN201010350915. 0公开了一种一种基于运动估计的肺4D-CT图像 的超分辨率冠矢状面图像重建方法，采用了迭代反投影方法，对肺4D-CT图像进行了图像 重构，但是该方法是针对由10-20个不同相位的3D图像所组成，其每一相位对应不同的肺 运动时刻。其针对3D图像的重建算法较为复杂，只适用于重建静态图片，当用于视频监控 等用途时，复杂的算法会造成硬件成本高昂及且难于得到顿速较高的实时视频信息。且该 算法也只适用于与拍摄目标相对于摄像设备小范围运动的情况。
[0006] CN201010530837. 9公开了一种基于随机微位移的超分辨率图像重建方法，但该方 法只适用于图像在二维平面上发生微位移的情况，不适用于输出高分辨率的实时监控视频 信息的场合
[0007] 现有的图像重构方法，均是针对被摄录物体的平面或H维微位移情况而设计的， 而在视频监控场合，摄像设备本身的振动也会对图像质量产生影响，而送种振动与拍摄对 象移动而引起图像微位移模式并不相同，而现有的图像重建方法，并不适用于处理对于摄 像设备本身振动引起的微位移，而对于很多视频监控场合来说，摄像设备本身就处于振动 较高的场合，此时获得高分辨率图像。因此提供一种能够基于振动提高视频分辨率的方法。
【发明内容】
[0008] 本发明的目的是提供一种基于振动提高视频分辨率的方法，充分利用了临近顿图 像间亚像素级互补信息和系统结构的微小振动干扰实现了提高视频分辨率的效果。
[0009] 本发明提供了一种基于振动提高视频分辨率的方法，包括步骤：
[0010] a)光学结构振动控制设计，通过振动控制设计将光学结构的角振动消除或转化为 线振动，并控制线振动的振幅在亚像元范围内，在一个采样周期内，可W获得k幅低分辨率 图像，构成图像序列，k为大于等于2的整数；
[0011] b)临近顿图像特征点检测，利用场景或目标灰度变化明显的特征信息，检测出步 骤a)采集到的低分辨率图像中的特征点，并对检测出的特征点进行初步筛选；
[0012]C)临近顿图像特征点匹配，依据相邻两顿图像灰度相关性建立特征点匹配准则， 对经过步骤b)初步筛选得到的特征点进行初步匹配形成匹配对，最后再利用特征点在图 像分布的区域位置关系剔除粗匹配中的误匹配点；
[0013]d)通过灰度映射重建高分辨率图像顿，采用迭代反投影法（IBP,IterativeBack Projection)通过灰度映射重建高分辨率图像顿。
[0014] 所述的基于振动提高视频分辨率的方法，其特征在于优选步骤b)采用Harris角 点检测法，检测出步骤a)采集到的低分辨率图像中的特征点，初步筛选出的特征点灰度变 化明显，且在图像中分布均匀。
[0015] 所述基于振动提高视频分辨率的方法，其特征在于采用迭代反投影法通过灰度映 射重建高分辨率图像顿具体为：
[0016] 1)将输入的步骤a)获得的k幅低分辨率图gk中的第一幅g。图像作为参考图像， 通过配准，估计出低分辨率图像gk与参考图像g。的子像素位移量，得到第k张图像的几何 变换算子Tk，对参考图像通过插值法求出高分辨率图像的估计值作为初始值fW，用它来获 取一组和观察图像相对应的低分辨率图像{各;"拒,，
[0017]
…
[001引其中，h为系统的点扩散函数，iS为降采样算子；
[001引。把插值图像妃.-客户侣中的每一个值，利用反投影核P反投影到的fW的对应 部分，用来进一步改正初始假设值。送样就可W获得一幅较优的高分辨率图像fW。送个过 程将一直被重复，直到误差函数满足（2)式条件：
[0020] (2)
[0021] 其中，tS为上采样算子，k为参与重建的影像数量；
[0022] 如果反投影核P满足下（3)式，则（2)式将按指数收敛；
[0023] 饼
[0024] 其中，5为（〇,〇)处的单位脉冲函数；
[0025] 3)根据图像视频的信息对2)步得到的高分辨率图像fW进行唯一化处理。
[0026] 如上所述，本发明提供的一种基于振动提高视频分辨率的方法中系统光学结构设 计充分利用了系统结构的微小振动。振动对于成像质量有着重要的影响，振动过强会造成 图像模糊，图像分辨率下降。但通常成像平台又是各种机械和传动结构的集成，送就造成了 系统固有的存在一定振幅和频率的振动。常理上为了减少振动对成像质量的影响，一般都 是对系统进行减振设计，避免出现影响成像质量严重下降的振动。但本文则通过振动控制 设计将振动的振幅与频率控制在一定范围内，使光学结构的系统振动能够转化为成像器在 一段时间内对同一场景多次成低分辨率图像的外在动力源，从而使其能够在一个与振动频 率相关的采样周期内获得多幅用于进行图像重建的低分辨图像。
[0027] 所述方法中，步骤b)临近顿图像特征点检测充分利用了场景或目标灰度变化明 显的特征信息。对采集的低分辨率图像进Harris角点检测，检测出图像中的特征点，并且 对检测的出的特征点进行了均匀化的初步筛选处理，使其在图像中基本呈均匀分布，从而 使得图像在经过后续处理步骤后，各区域分辨率均能得到提高。
[0028] 所述方法中，步骤（C)充分利用了图像顿间特征点的灰度相关性，根据相邻图像 灰度相关性原则建立一个特征点匹配准则，对所检测的特征点进行粗匹配，形成匹配对，最 后再利用特征点在图像分布的区域位置关系剔除粗匹配中的误匹配点进行精确匹配。
[0029] 所述方法中，步骤（d)顿重建及灰度映射充分利用了微小像移的同一场景的多幅 图像。通过特征点匹配，建立图像顿之间灰度映射关系。再使用迭代反投影（IBP, Iterative Back Projection)超分辨率重建方法重建高分辨率图像顿。由于低分辨率图像经过步骤 (a)~（C)的处理，与其他的采用迭代反投影进行超分辨率重建的方法相比，算法简单，收 敛速度较快，能够适用于需要进行高分辨率监控视频