基于自适应插值核学习的视频超分辨率重建方法
【技术领域】
[0001] 本发明实施例涉及视频图像处理技术领域，具体涉及一种基于自适应插值核学习 的视频超分辨率重建方法。
【背景技术】
[0002] 数字图像超分辨率重建技术[1'2]是指利用观测到的低分辨率图像，通过信号处理 的方法重建具有较高分辨率的图像。目前，超分辨率重建技术已经在多种实际领域显现出 了重要的应用价值和广阔的应用前景，包括卫星遥感领域、夜视红外成像领域、视频监控领 域以及在军事目标分析和跟踪领域等。其中，与我们日常生活密切相关的即是在视频监控 领域中的相关应用。目前国内安防系统广为采用的是PAL标准、分辨率为352X288的视频 信号，但是这个分辨率往往不能满足实际需求。通过对某个时间段的视频信号或某个时间 点的关键图像进行超分辨率重建，提高感兴趣区域的空间分辨率，对于车牌识别、罪犯通缉 和信息捕获等是至关重要的。
[0003]目前视频超分辨率重建方法可以分为两类[2'3'4]，一类是利用计算视频帧间相关 性，计算相邻若干帧之间的运动矢量，获取互补信息，从而重建单帧高分辨率的图像；另一 类则是直接处理视频中的每一帧图像，利用基于单幅图像的超分辨率重建算法，对整个视 频中的每帧图像都进行超分辨率放大，从而获得超分辨率重建后的视频。前类方法虽然能 获得更好一些的效果，但是由于计算准确的具有亚像素精度的运动矢量并不容易，并且具 有极高的计算复杂度，因此并不能实现在视频上的实时放大，因此比较好的做法是采用单 幅图像超分辨率重建算法对视频中的每帧图像逐一处理，实现视频的实时超分辨率重建。
[0004] 针对单幅图像进行超分辨率重建的方法大致可以分为两类[5]:基于带约束重建的 算法和基于机器学习的方法。采用带约束重建的算法 [6'7'8]将超分辨率重建问题看成求解 图像降质模型的逆问题，即通过加入一些先验信息和约束条件来限定该逆问题的解空间， 从而通过单幅输入图像重建出具有高分辨率的输出图像。但是由于输入图像的信息毕竟非 常有限，重建图像在很大程度上会依赖于所加入的先验信息和约束条件，而存在一定的失 真。为了克服这些问题，基于机器学习的方法 [9'1(]]被提出并被广泛使用。基于学习的超分 辨率重建算法通常包含两个步骤：（1)建立高低分辨率对应的训练图像集，从而学习出高 低分辨率图像块之间的相关信息；（2)根据输入的低分辨率图像，利用一些预测算法，将训 练得出的相关高频信息加入到低分辨率图像中，从而获得具有较高分辨率的输入图像。相 比于带约束重建的方法，基于学习的超分辨率算法通常能获得更好的结果，但是它的计算 复杂度也更高，因此利用它实现视频的实时放大将非常困难。
[0005]目前，通过利用GPU加速，已有部分文献将基于带约束重建的方法应用到视频中， 实现了视频的实时放大重建，例如抗失真的实时放大算法[11]，基于边缘指导的核估计放大 方法[12]等。但是，利用基于学习的超分辨率重建算法在视频实时放大中还未见成熟的技术 和文献。因为在基于学习的超分辨率重建算法中，输入图像首先会被分成相互重叠的小块， 然后对每一个小块逐一进行放大都需要求解一个非线性的优化问题，因此即使采用GPU加 速的方法，也仍然难以实现视频实时超分辨率重建的要求。
[0006] 文中引用的文献如下所示，以下文献通过引用结合于此：
[0007] [1]卓力，王素玉，李晓光.图像/视频的超分辨率复原.人民邮电出版社，2011.
[0008] [2]AlanBovik.图像与视频处理手册（下）（英文版）·电子工业出版社，2006. [0009][3]王勇，郑辉，胡德文.视频的超分辨率增强技术综述.计算机应用研 究·，2005,22(1)，4-7.
[0010] [4]何小海，吴媛媛，陈为龙，卿粼波.视频超分辨率重建技术综述.信息与电子工 程·，2011，9(1)，1-6·
[0011] [5]J.Tian,K.K.Ma.Asurveyonsuper-resolutionimaging.SignalImage VideoProcessing，2011，5 (3)，329-342.
[0012] [6]汪雪林，文伟，彭思龙.基于小波域局部高斯模型的图像超分辨率.中国图像 图形学报A辑.，2004, 9 (8)，941-946.
[0013] [7]韩华，王洪剑，彭思龙.基于局部结构相似性的单幅图像超分辨率算法.计算 机辅助设计与图形学学报.，2005, 17 (5)，941-947.
[0014] [8]X.Zhang,J.Jiang,S.Peng.Commutabilityofblurandaffinewarping insuper-resolutionwithapplicationtojointestimationoftriple-coupled variables.IEEETransactionsonImageProcessing，2012,21 (4)，1796-1808.
[0015] [9]张雪松，江静，彭思龙.人脸图像超分辨率的自适应流形学习方法.计算机 辅助设计与图形学学报.，2008, 20 (7)，856-863.
[0016] [10]P.Wang,X.Hu,B.Xuan,J.Mu,S.Peng.Superresolutionreconstructionvia multipleframesjointlearning.IEEEInternationalConferenceonMultimediaand SignalProcessing, 2011, 357-361.
[0017] [11]A.Giachetti,N.Asuni.Real-timeartifact-freeimageupscaling.IEEE TransactionsonImageProcessing，2011，20(10)，2760-2768.
[0018] [12]ff.Kang,J.Jeon,E.Lee,etal.Real-timesuper-resolutionfor digitalzoomingusingfinitekernel-basededgeorientationestimation andtruncatedimagerestoration.IEEEInternationalConferenceonImage Processing，2013, 1311-1315.
[0019] 现有的基于学习的图像超分辨率重建方法，由于重建时具有极大的计算复杂度， 几乎都不能实现实时超分辨率重建的要求。
[0020] 有鉴于此，特提出本发明。
【发明内容】
[0021] 本发明实施例提供一种基于自适应插值核学习的视频超分辨率重建方法，以至少 部分地解决了如何能实现视频的实时超分辨率重建的技术问题。
[0022] 为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：
[0023] 一种基于自适应插值核学习的视频超分辨率重建方法，至少可以包括：
[0024] 根据视频图像训练集，获取高分辨率图像块的插值核字典及其对应的
[0025] 对偶矩阵，其中所述视频图像训练集包括高、低分辨率图像块；
[0026] 根据所述高分辨率图像块的插值核字典，获取所述高分辨率图像块的插值核字典 中每一原子对应的图像块结构的插值核；
[0027]