一种多参量图像局部模糊自主辨识与恢复方法与流程

1.本发明涉及一种多参量图像局部模糊自主辨识与恢复方法，属于航天光学遥感技术领域。


背景技术：

2.研制大规模像素的焦面探测器可有效增强光学载荷性能，突破传统光学载荷空间带宽积的瓶颈，提升成像系统信息探测、传递及处理能力上限。但大规模像素焦面探测器的研制依赖于超小像元成像器件的开发与集成，其整体规模尺寸的变大及像元尺寸的减小将适用于小f数的光学系统。但小f数光学系统的后截距通常较小，大尺寸焦面探测器容易出现离焦，同时由于超小像元大规模集成工艺水平有限，器件本身平面度不够也会导致系统图像出现局部模糊的情况。为解决系统离焦导致的图像模糊，提高系统装调公差容限，需要通过算法将系统图像的模糊区域识别并加以恢复。现有的图像模糊检测及恢复算法，检出区域为规则区域，应用于实际不规则区域的检出时，检测精度较低，在图像恢复中，恢复图像在边缘处的恢复效果较差，且针对超大规模像素图像的模糊检测与恢复缺少快速有效的检测及恢复方法。
3.2020年林晨等人在《基于注意力机制的图像盲去模糊算法》中提出一种新的图像盲去模糊算法，用于解决模糊图像复原的难题。该算法基于注意力机制，提出了一种新的网络架构——多尺度注意力网络。该网络基于非对称的解编码器结构，编码侧采用残差密集块，提高网络对输入图像的提取和表达能力，解码侧引入注意力机制，实现图像金字塔的多尺度结构，最后通过多尺度均方误差的损失函数反向优化网络，在真实场景中的模糊图像复原都有更锐利的边缘和清晰的细节。但是针对局部模糊的图像，在边缘处会产生明显的振铃效应，影响图像恢复效果。


技术实现要素：

4.本发明解决的技术问题是：针对目前现有技术中，出现的对局部模糊图像恢复效果一般的问题，提出了一种多参量图像局部模糊自主辨识与恢复方法。
5.本发明解决上述技术问题是通过如下技术方案予以实现的：
6.一种多参量图像局部模糊自主辨识与恢复方法，包括：
7.计算采集的模糊图像的模糊度，根据计算结果选择网格划分所需尺度；
8.进行不同尺度下的网格划分，对各种尺度下网格划分后的各组模糊图像的网格块均进行模糊度计算；
9.根据各组模糊图像的网格块模糊度，确定模糊区域；
10.将确定模糊区域的模糊图像进行恢复计算，输出恢复后的清晰图像。
11.将采集的模糊图像分割为n
×
n个子图像块，计算各子图像块的模糊度，根据计算结果确定网格划分所需尺度。
12.所述网格划分所需尺度的确定方法为：
13.对各子图像块进行离散余弦变换，获取各子图像的频域信号分布；
14.对子图像频域信号进行求和，根据求和结果由小到大排序；
15.根据排序后结果进行网格尺度划分，前70％子图像网格尺度定为n
×
n，后30％个子图像网格尺度定为m
×
m，其中m＝3n；
16.其中，求和结果越小，对应的子图像越清晰。
17.所述各组模糊图像的网格块的模糊度计算方法具体为：
18.确定当前网格块图像的算子矩阵；
19.根据算子矩阵计算各网格块图像的相对模糊度；
20.对相对模糊度结果进行加权计算，确定各网格块图像的模糊度。
21.所述算子矩阵选取拉普拉斯算子，具体为：
[0022][0023]
式中，f为待处理的图像，laplacian表示对图像f进行拉普拉斯函数处理，x为图像水平方向，y为图像竖直方向。
[0024]
对相对模糊度结果进行加权计算时，根据所选块图像的划分尺度，确定对应的加权系数，进行该块图像的加权计算。
[0025]
计算模糊区域的具体步骤为：
[0026]
将各组模糊图像的共m块网格块模糊度定义为样本集d＝x1,x2,...,xm，并预设分类数k、最大迭代次数n；
[0027]
于样本集中随机选择k个样本，确定初始的k个质心向量μ1,μ2,...,μk；
[0028]
根据k个质心向量确定初始化簇划分c
t
，计算所选样本xi与各质心向量的距离，以标记的最小距离值对簇划分c
t
进行更新，根据更新后的簇划分判断质心向量是否发生变化，若有变化，则根据当前质心向量重新计算初始化簇划分并进行迭代更新，否则根据更新后的簇划分进行腐蚀操作，去除周边离散的模糊点，再对腐蚀操作后的结果进行膨胀操作，填充局部模糊区域中的空隙，获取局部模糊区域。
[0029]
根据簇划分确定模糊区域的方法具体为：
[0030]
确定初始化簇划分c
t
：
[0031]
计算所选样本xi与各质心向量μj(j＝1,2,...k)的距离：
[0032]
标记最小距离值d
ij
，确定类别λi用于表示模糊程度，根据所需精细度进行调整，精细度越高，确定类别λi越多；
[0033]
对簇划分c
t
进行更新：j＝1,2,...,k；
[0034]
对cj中所有的样本点重新计算新的质心：
[0035]
对更新后的k个质心向量进行判断。
[0036]
对确定模糊区域的模糊图像进行恢复计算的具体步骤为：
[0037]
建立模糊图像恢复网络架构；
[0038]
建立模糊图像数据库，将库中80％数据作为训练集，20％数据作为测试集，训练过
程中进行随机划分，将不同模糊程度的图像放入模糊图像恢复网络架构进行训练，将训练后所得清晰图像作为恢复后图像。
[0039]
所述模糊图像恢复网络选用u-net架构作为核心网络架构，完成训练后对输入的模糊图像进行特征提取，并通过随机划分对模糊图像进行恢复。
[0040]
所述模糊图像数据库的建立步骤为：
[0041]
将卫星对地观测的遥感数据进行切片处理，使用zernike函数生成初始随机波前数据，根据菲涅尔衍射公式计算对应点扩散函数，将切片后的图像与随机的点扩散函数进行卷积处理获取所有模糊图像。
[0042]
本发明与现有技术相比的优点在于：
[0043]
本发明提供的一种多参量图像局部模糊自主辨识与恢复方法，在传统的图像模糊识别中引入了多尺度的网格划分，根据图像大小的不同可实现大规模图像局部模糊的快速检测，同时在图像恢复算法中利用深度学习，根据不同模糊程度的输入，进行网络结构优化，最终实现十亿像素图像模糊检测与恢复速度达1帧/秒，并且恢复图像无明显振铃效应，恢复效果良好，大大增强光学载荷在空间环境成像的能力。
附图说明
[0044]
图1为发明提供的局部模糊检测结果示意图；
[0045]
图2为发明提供的图像恢复网络核心架构图；
[0046]
图3为发明提供的局部模糊图像与恢复结果示意图；
[0047]
图4为发明提供的图像局部模糊自主辨识与恢复方法流程图；
具体实施方式
[0048]
一种多参量图像局部模糊自主辨识与恢复方法，如图4所示，针对基于微小像元大规模集成焦面探测器的高空间带宽积光学载荷出现的图像局部模糊问题，引入局部模糊检测算法，优化恢复网络，将判定到的模糊区域结合模糊图像送入网络进行恢复，恢复图像无明显振铃效应，取得了较好的恢复结果，具体步骤为：
[0049]
计算采集的模糊图像的模糊度，根据计算结果选择网格划分所需尺度；
[0050]
进行不同尺度下的网格划分，对各种尺度下网格划分后的各组模糊图像的网格块均进行模糊度计算；
[0051]
根据各组模糊图像的网格块模糊度，确定模糊区域；
[0052]
将确定模糊区域的模糊图像进行恢复计算，输出恢复后的清晰图像。
[0053]
其中，将采集的模糊图像分割为n
×
n个子图像块，计算各子图像块的模糊度，根据计算结果确定网格划分所需尺度；
[0054]
网格划分所需尺度的确定方法为：
[0055]
对各子图像块进行离散余弦变换，获取各子图像的频域信号分布；
[0056]
对子图像频域信号进行求和，根据求和结果由小到大排序；
[0057]
根据排序后结果进行网格尺度划分，前70％子图像网格尺度定为n
×
n，后30％个子图像网格尺度定为m
×
m，其中m＝3n；
[0058]
其中，求和结果越小，对应的子图像越清晰；
[0059]
各组模糊图像的网格块的模糊度计算方法具体为：
[0060]
确定当前网格块图像的算子矩阵；
[0061]
根据算子矩阵计算各网格块图像的相对模糊度；
[0062]
对相对模糊度结果进行加权计算，确定各网格块图像的模糊度；
[0063]
算子矩阵选取拉普拉斯算子，具体为：
[0064][0065]
式中，f为待处理的图像，laplacian表示对图像f进行拉普拉斯函数处理，x为图像水平方向，y为图像竖直方向；
[0066]
对相对模糊度结果进行加权计算时，根据所选块图像的划分尺度，确定对应的加权系数，进行该块图像的加权计算；
[0067]
计算模糊区域的具体步骤为：
[0068]
将各组模糊图像的共m块网格块模糊度定义为样本集d＝x1,x2,...,xm，并预设分类数k、最大迭代次数n；
[0069]
于样本集中随机选择k个样本，确定初始的k个质心向量μ1,μ2,...,μk；
[0070]
根据k个质心向量确定初始化簇划分c
t
，计算所选样本xi与各质心向量的距离，以标记的最小距离值对簇划分c
t
进行更新，根据更新后的簇划分判断质心向量是否发生变化，若有变化，则根据当前质心向量重新计算初始化簇划分并进行迭代更新，否则根据更新后的簇划分进行腐蚀操作，去除周边离散的模糊点，再对腐蚀操作后的结果进行膨胀操作，填充局部模糊区域中的空隙，获取局部模糊区域；
[0071]
根据簇划分确定模糊区域的方法具体为：
[0072]
确定初始化簇划分c
t
：
[0073]
计算所选样本xi与各质心向量μj(j＝1,2,...k)的距离：
[0074]
标记最小距离值d
ij
，确定类别λi用于表示模糊程度，根据所需精细度进行调整，精细度越高，确定类别λi越多；
[0075]
对簇划分c
t
进行更新：j＝1,2,...,k；
[0076]
对cj中所有的样本点重新计算新的质心：
[0077]
对更新后的k个质心向量进行判断；
[0078]
对确定模糊区域的模糊图像进行恢复计算的具体步骤为：
[0079]
建立模糊图像恢复网络架构；
[0080]
建立模糊图像数据库，将库中80％数据作为训练集，20％数据作为测试集，训练过程中进行随机划分，将不同模糊程度的图像放入模糊图像恢复网络架构进行训练，将训练后所得清晰图像作为恢复后图像；
[0081]
模糊图像恢复网络选用u-net架构作为核心网络架构，完成训练后对输入的模糊图像进行特征提取，并通过随机划分对模糊图像进行恢复；
[0082]
模糊图像数据库的建立步骤为：
[0083]
将高分二号对地观测遥感数据进行切片处理，对前10阶zernike系数赋0～1随机初值，使用zernike函数生成初始随机波前数据，根据菲涅尔衍射公式计算对应点扩散函数，将切片后的图像与随机的点扩散函数进行卷积处理获取所有模糊图像。
[0084]
下面结合说明书附图与具体实施例进行进一步说明：
[0085]
在当前实施例中，进行局部模糊图像的辨识与恢复，将光学系统口径设置为300mm，视场角为2
°×2°
，焦距f为500mm，f数为1.67，谱段设置为0.4μm～0.7μm，进行图像仿真得到清晰图像，该系统焦深约为5μm，将焦面设为离焦10μm状态，得到模糊图像，将清晰图像与模糊图像拼接得到局部模糊的图像，具体步骤包括：
[0086]
对输入的模糊图像分别进行，三个不同尺度的划分，将三个尺度模糊图像作为输入分别使用laplacian算子进行模糊度计算，具体为：
[0087]
对于数字图像，以尺度为例，laplacian算子可以简化为：g(i,j)＝4f(i,j)-f(i+1,j)-f(i-1,j)-f(i,j+1)-f(i,j-1)算子用矩阵可表示为：
[0088][0089]
对计算得到的laplacian矩阵进行加权计算，以尺度为例，加权矩阵为：
[0090][0091]
对计算出的3
×
3，9
×
9，27
×
27三个尺度的模糊度进行加权计算，加权系数分别为0.25，0.5，0.25,得到不同尺度范围内的模糊程度；
[0092]
输入各子图像块模糊度数值，将其定义为样本集d＝x1,x2,...,x3，并将分类数k设为2，最大迭代次数n设为50；
[0093]
从数据集d中随机选择k个样本作为初始的k个质心向量：μ1,μ2,...,μk；
[0094]
对于n＝1,2,...,n：
[0095]
(a)将簇划分c初始化为
[0096]
(b)对于i＝1,2...m,计算样本xi和各个质心向量μj(j＝1,2,...k)的距离：将xi标记最小的为d
ij
所对应的类别λi。此时更新
[0097]
(c)对于j＝1,2,...,k,对cj中所有的样本点重新计算新的质心中所有的样本点重新计算新的质心
[0098]
(d)如果所有的k个质心向量都没有发生变化，则：
[0099]
输出簇划分c＝c1,c2,...ck,对数据进行腐蚀和膨胀操作后，得到模糊区域。
[0100]
如图1所示，具体包括：
[0101]
(a)为焦点在键盘的图像；
[0102]
(b)为3
×
3尺度的模糊图；
[0103]
(c)为9
×
9尺度的模糊图；
[0104]
(d)为27
×
27尺度的模糊图；
[0105]
(e)为加权平均后模糊图
[0106]
(f)为kmeans划分结果；
[0107]
(g)为腐蚀膨胀后最终检测结果。
[0108]
向训练网络输入模糊区域r，和模糊图像i，两者联合送入网络中进行计算；
[0109]
训练网络结构示意图如图2所示；
[0110]
通过训练网络将确定模糊区域的模糊图像进行恢复计算，输出如图3所示的(a)为局部模糊图像；(b)为恢复图像。
[0111]
当前实施例在传统的图像模糊识别中引入了多尺度的网格划分，根据图像大小的不同可实现大规模图像局部模糊的快速检测，同时在图像恢复算法中利用深度学习，根据不同模糊程度的输入，进行网络结构优化，最终实现十亿像素图像模糊检测与恢复速度达1帧/秒，并且恢复图像无明显振铃效应，恢复效果良好，大大增强光学载荷在空间环境成像的能力。
[0112]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
[0113]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。