本发明属于数字图像处理技术领域，涉及一种卫星图像超分辨率重建方法，具体涉及一种l1和l2混合范式约束非局部性网络的卫星影像超分辨率重建方法。
背景技术
卫星影像的空间分辨率是衡量卫星拍摄能力的一项重要指标，如何在现有硬件水平上获取更高的分辨率己成为各国卫星的发展目标。超分辨率技术在遥感卫星领域的应用，将会提高卫星的空间分辨率，也可以在保持卫星分辨率的条件下，缩小光学仪器的焦距，使卫星相机小型化，减小其体积和重量。
视频卫星是一种新型的遥感卫星，可以捕获连续的动态视频而不是静止图像，因此非常适合船舶和飞机等大型动态目标的观测。与传统遥感卫星相比，视频卫星以牺牲空间分辨率为代价来获得高时间分辨率，因此有必要通过图像超分辨率的手段来恢复其地面分辨率和精细目标结构。
图像超分辨率技术从早期的插值算法到当前基于深度学习的方法，重建图像的性能有了明显提升。基于插值的方法，虽然运算速度快，但是结果图像缺乏细节，特别是对于视频卫星影像这种需要高精度细节纹理的应用，插值方法不适合。elad等提出的sa(shiftandadd)方法基于平移和空间不变模糊的原则，通过信息非迭代融合过程获得高分辨率图像，但是算法要求低分辨率图像序列之间必须满足一定平移关系，否则容易出现“黑色格网”现象。最近，patrickhagerty等人提出了一种基于深度学习的方法，在深度神经网络中嵌入高分辨率图像的细节，并在增强相似图像时抽取这些细节。但是该方法没有考虑和利用视频卫星图像存在的大尺度范围下地物地貌的空间相似性特点，对图像自身信息利用不充分，导致超分结果过度依赖于网络模型参数，扩展性较差。
技术实现要素：
为了解决上述技术问题，本发明提供了一种基于混合损失函数约束的卫星影像超分辨率重建方法，在残差网络中插入非局部增强块，充分利用卫星影像在空间上的自相似性，获得感受野目标区域之外的有用信息对当前区域进行增强，同时分阶段采用l1和l2范数进行约束，获得精细的重建效果。
本发明所采用的技术方案是：一种基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：选取若干卫星影像数据作为训练样本，从每帧影像中截取大小为n×n像素的图像块作为数据样本，同时将其下采样n倍得到对应大小为m×m的低分辨率图像块，作为残差网络的输入，其中n＝n×m；
步骤2：通过卷积核提取图像特征；
步骤3：将每个残差块的输出信息传入到非局部块，对输入进行特征增强处理；
步骤4：将获得的特征信息输入到重构层，同时分阶段用l1和l2范数作为网络的损失函数，优化网络的参数，输出得到残差图；
步骤5：同时将原始的输入插值放大，获得与高清图像同等尺寸的插值图像；
步骤6：将插值图像与残差网络学习到的残差图像相加，得到最终的超分辨率输出图像。
本发明因为考虑了非局部的输入信息，同时针对性地采用l1和l2范数进行特征学习，极大的增强了网络的表达能力，能够获得清晰的超分图像。
附图说明
图1为本发明非局部网络块的简图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：选取若干卫星影像数据作为训练样本，从每帧影像中截取大小为n×n(本实例n取128)像素的图像块作为数据样本，同时将其下采样得到对应大小为m×m(本实例n取32)的低分辨率图像块，作为残差网络的输入；其中n＝n×m；
步骤2：通过卷积核提取图像特征；
步骤3：将每个残差块的输出信息传入到非局部块，通过增加额外的非局部信息对输入进行特征增强处理；
为了获得较好的效果，非局部块插入位置在浅层残差块之后，用于对前面卷积区域感受野的一个增强。
本实施例采用非局部网络对特征进行增强处理，在网络训练的过程中利用算式(1)，通过softmax函数，确定非局部区域和目标区域之间的关联向量，通过权重的方式计算出非局部区域yi对目标区域的贡献wz*yi；
zi＝wzyi+xi(1)
其中，xi表示一个残差连接，同时也是非局部块的输入，zi表示通过非局部块增强的信息输出，yi对应着区别于目标区域之外的图像块区域，wz表示不同的图像块区域对当前目标区域的贡献程度，通过网络自适应学习的方式获得权重。
步骤4：将获得的特征信息输入到重构层，同时分阶段用l1和l2范数作为网络的损失函数，优化网络的参数，输出得到残差图；
由于l1范数的稀疏特性，绝大部分的特征向量系数均为0，只有小部分的特征向量得到了利用。为此，前期用l1作为网络的损失函数用于学习中低频层次的特征，以得到比较光滑的结果。l2范数也具有稀疏性，但其稀疏系数是接近0但不等于0，从而可以获得更多非零特征向量，即能够学习到高频层次的信息。因此，在网络优化后期，采用l2和l1范数联合约束的形式，以便重建更好的结果。
本实施例采用l1和l2混合范式分阶段进行约束，最后再用两个损失函数统一约束，利用算式(2)，对重构图像信号表达误差进行控制；
其中，第一部分||y-wx||1表示l1损失函数，第二部分
采用亚像素卷积操作重构，获取与放大系数相关的输出层(r2*c，其中r为放大系数，c是输出图像颜色通道数)，重构得到残差图；采用亚像素卷积操作重构，区别于传统的解卷积操作，因而能够最大限度的保留高层次特征的结构信息，获得比较细腻的细节纹理。
步骤5：同时将原始的输入用双立方插值的方法放大，获得与高清图像同等尺寸的插值图像；
步骤6：将插值图像与残差网络学习到的残差相加，得到最终的超分输出图像。
本发明能够从非局部区域中提取与当前目标区域有关的特征信息，对输入信息进行增强，极大的提升了浅层网络的表达能力；同时在保证计算效率的前提下获取性能更佳的超分结果。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。