本发明涉及模糊图像类型识别及参数计算领域，尤其是涉及一种融合记忆cnn(卷积神经网络)的图像模糊类型识别及参数整定方法。
背景技术：
网络和信息技术高速发展的今天，ccd和cmos已成为了继压力、电流等传感器之后的主流核心传感器应用于各大领域，无论是在航拍还是无人驾驶车，热门的人脸识别、文字识别还是形形色色的工业检测相机应用，以及手机相机应用。但由于环境等各种因素的影响，采集的图像不是很清晰，特别是相机高速运动环境下的图像采集含有严重的模糊信息，给下一步应用带来极大困难。因此，研究图像模糊类型、求解模糊参数对图像处理具有重要意义。
rudin等人采用全变差正则化方法识别模糊点扩展函数(rudinli,oshers,fatemie.nonlineartotalvariationbasednoiseremovalalgorithms[j].physicad:nonlinearphenomena,1992,60(1-4):259-268.)，schmidt等人利用贝叶斯模型进行模糊核估计(schmidtu,scheltenk,roths.bayesiandeblurringwithintegratednoiseestimation[c]//computervisionandpatternrecognition(cvpr),2011ieeeconferenceon.ieee,2011:2625-2632.)，这些方法都是先建立问题的数学模型，对参数进行求解。模型法、参数法在许多场合都有成功应用，但各种算法大多适用于特定模糊的解决，不能解决综合模糊导致的图像退化问题，而且大多没考虑应用到实际图像处理中，模型普适性较差。
alphago的问世，让人们再次重新认识人工智能，不少学者也将深度学习应用于图像模糊识别。参考文献(yanr,shaol.blindimageblurestimationviadeeplearning[j].ieeetransactionsonimageprocessing,2016,25(4):1910-1921.)公开了一种利用dnn来识别图像模糊类型，再用grnn来估计点扩展函数中的参数。参考文献(xul,renjsj,liuc,etal..deepconvolutionalneuralnetworkforimagedeconvolution[c].advancesinneuralinformationprocessingsystems,2014:1790-1798.)公开了一种通过结合优化和深度神经网络的方法来实现反卷积,通过两个模型的结合并利用伪逆矩阵使得传统的卷积方法更好的实现图像清晰化。参考文献(sunj,caow,xuz,etal..learningaconvolutionalneuralnetworkfornon-uniformmotionblurremoval[c].proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2015:769-777.)公开了一种用稀疏先验的方法，首先用cnn预测图像中部分块的运动模糊概率分布估计，然后用mrf模型估计整个图像的模糊核，再进行图像复原，该方法不能估计普遍的非均匀运动模糊核。参考文献(schulercj,hirschm,hamelings,etal.learningtodeblur[j].ieeetransactionsonpatternanalysisandmachineintelligence,2016,38(7):1439-1451.)公开了一种通过神经网络首先提取特征模型转换成图像梯度估计模型估计核函数，再在傅立叶空间对三个模型学习出核函数进行图像复原。这些基于深度学习的图像去模糊方法集中在应用神经网络求解模型的某些参数，对神经网络结构没有改进，现有网络不具有独立的记忆功能。
技术实现要素：
本发明的目的是提供一种融合记忆cnn的图像模糊类型识别及参数整定方法，用以克服现有模糊识别中网络不带独立记忆功能的缺点，能够提高图像模糊类型及参数计算的效率。
本发明的技术方案：一种融合记忆cnn的图像模糊类型识别及参数整定方法，包括以下步骤：
第一步，构建融合记忆网络架构：
将融合记忆cnn模型分为5层卷积层、1个深度记忆网络和1个bp网络的串行架构；
第一卷积层选择n1个卷积算子，每个卷积算子为一个大小s1×t1的卷积核，其中s1为卷积核的行数，t1为卷积核的列数；所述的卷积核由多种不同的直线和多种不同的圆盘和多种不同的圆环组成，每个卷积核提取图像子图单元的一级形状特征；
第二卷积层选择n2个卷积算子，每个卷积算子为一个大小s2×t2的卷积核，其中s2为卷积核的行数，t2为卷积核的列数；每个卷积核提取图像子图的一个二级形状特征；
第三卷积层选择n3个卷积算子，每个卷积算子为一个大小s3×t3的卷积核，其中s3为卷积核的行数，t3为卷积核的列数；每个卷积核提取图像子图的一个三级形状特征；
第四卷积层选择n4个卷积算子，每个卷积算子为一个大小s4×t4的卷积核，其中s4为卷积核的行数，t4为卷积核的列数；每个卷积核提取图像子图的一个四级形状特征；
第五卷积层选择n5个卷积算子，每个卷积算子为一个大小s5×t5的卷积核，其中s5为卷积核的行数，t5为卷积核的列数；每个卷积核提取图像子图的一个五级形状特征；
所述的深度记忆网络采用深度为d个单元的记忆模型，采用选择性更新规则；
所述的bp网络采用4层结构，一个输入层，两个隐层和一个输出层；
第二步，设置融合记忆网络各层算法：
1)对输入图像进行灰度化处理，当原输入图像为三维彩色图时，通过矢量映射法将其转换为对应的灰度图，如果输入为灰度图则跳过此步；
2)将被检测图像进行二维傅里叶变换，转化为频谱图，标记为图像p0；
3)将图像p0与第一卷积层的n1个卷积算子分别进行卷积操作，计算表达式为：
其中
4)将卷积图像进行规则化处理，处理过程为：
其中
5)将
6)根据第二层卷积核，参考步骤3)、步骤4)、步骤5)计算第二层卷积运算的结果；
7)根据第三层卷积核，参考步骤3)、步骤4)、步骤5)计算第三层卷积运算的结果；
8)对步骤7)得到的矩阵进行相似度聚类分析，保持图像第三级特征数量为m1个；
9)在步骤8)的基础上，根据第四层卷积核，参考步骤3)、步骤4)、步骤5)计算第四层卷积运算的结果；
10)对步骤9)得到的矩阵进行相似度聚类分析，保持图像第四级特征数量为m2个；
11)在步骤10)的基础上，根据第五层卷积核，参考步骤3)、步骤4)、步骤5)计算第五层卷积运算的结果；
12)对步骤11)得到的矩阵进行相似度聚类分析，以其矩阵所有元素的和为综合特征，得到m3个不同特征点；
13)对于步骤12)输出的特征值，输入到对应的记忆模型，通过记忆模型产生相应的输出信息；具体记忆模型为：
一个具有d个独立记忆单元的网络结构，网络输入x(t)与记忆单元各记忆值进行对比，其最接近输入的单元k处的误差为：
δk(t)＝min{|ci(t)-x(t)|,i＝1,2,…,d}，(4)，
当δk(t)小于或等于网络识别阀值ε时，说明网络成功识别为第k类信息，此时每个记忆单元的记忆系数βi(t)和记忆信息ci(t)的选择性记忆更新规则为：
当δk(t)大于网络识别阀值ε时，说明网络识别过程中没有输入类，记忆网络按遗忘规律更新记忆最差的信息，即将记忆系数最低的单元k处替换为当前输入信息；此时每个记忆单元的记忆系数βi(t)和记忆信息ci(t)的选择性记忆更新规则为：
βk(t)＝min{βi(t),i＝1,2,…,d}，(7)，
网络输出为：
h(t+1)＝ck(t+1)，(10)，
14)将步骤13)输出的元素作为全连接bp网络的输入，以递减方式设计中间隐层结点的数量，输出层为5个节点；输出层的每个节点的含义分别为：第1个输出结点为模糊类型，失焦模糊为1，运动模糊为2，高斯模糊为3；第2个输出结点为失焦模糊的半径r，当第1个输出结点为1时，该输出为计算得到的半径值，否则，该项输出为0；第3个输出结点为运动模糊的长度；第4个输出结点为运动模湖的方向角；第5个输出结点为高斯模糊的噪声方差；
15)网络在参数训练过程中提供人工判断反馈功能，当使用者发现网络识别错误时，将错误信息输入网络更正接口，网络将自动重新学习，更新系统权值矩阵信息；
第三步，通过网络训练获得网络参数：
网络构建和算法设置完成后,使用1～100万帧的已知图像及其特征进行学习训练，获得网络参数；
第四步，未知图像模糊类型识别及参数整定：
将实际生产过程中采集到的图像信息或者需要识别的模糊图像信息输入到本网络，经过网络计算，获得模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差网络输出，实现图像模糊类型识别及参数整定。
本发明在记忆cnn的基础上，针对高分辨率的图像采用5层变步长卷积运算，当分辨率高于200×200像素时采用步长控制加速卷积收敛；当分辨率低于200×200像素时，采用单步卷积控制保证特征数量。为避免卷积网络中后层规模激增现象，采用聚类分析降低层输出特征矩阵的数量，保证网络特征的差异性和计算规模。在得到的细节特征处理过程中模拟人类记忆过程，通过深度记忆网络模型对特征进行记忆和整形输出。最后通过bp网络对模糊类型和参数大小进行识别和计算。本发明能够提高图像模糊类型及参数计算的效率。
具体实施方式
本发明通过一种融合记忆cnn的图像模糊类型识别及参数整定方法，用以克服现有模糊识别中网络不带记忆功能的缺点。
下面结合实例(轨道表面缺陷检测)对本发明进行详细说明。
第一步，构建融合记忆网络架构：
将融合记忆cnn模型分为5层卷积层、1个深度记忆网络和1个bp网络的串行架构；
第一卷积层选择96个卷积算子，每个卷积算子为一个16×16的卷积核，卷积核包含了72种不同形态的直线和8种不同大小的圆盘和16种不同形态的圆环,每个卷积核提取图像子图单元的一级形状特征；
第二卷积层选择256个卷积算子，每个卷积算子为一个8×8的卷积核，每个卷积核提取图像子图的一个二级形状特征；
第三卷积层选择256个卷积算子，每个卷积算子为一个5×5的卷积核，每个卷积核提取图像子图的一个三级形状特征；
第四卷积层选择384个卷积算子，每个卷积算子为一个3×3的卷积核，每个卷积核提取图像子图的一个四级形状特征；
第五卷积层选择384个卷积算子，每个卷积算子为一个3×3的卷积核，每个卷积核提取图像子图的一个五级形状特征；
所述的深度记忆网络采用深度为10个单元的记忆模型，采用选择性更新规则；
所述的bp网络采用4层结构，一个输入层，两个隐层和一个输出层；
第二步，设置融合记忆网络各层算法：
1)对输入图像进行灰度化处理，当原输入图像为三维彩色图时，通过矢量映射法将其转换为对应的灰度图，如果输入为灰度图则跳过此步；
2)将被检测图像进行二维傅里叶变换，转化为频谱图，标记为图像p0，图像p0大小是1024×1024；
3)将图像p0与网络第一卷积层的96个卷积算子分别进行卷积操作，计算表达式为：
其中
4)将卷积图像进行规则化处理，处理过程为：
其中
5)将
通过最大池化作用，输出96个252×252大小的特征矩阵；
6)重复步骤3)、步骤4)、步骤5)进行第二层卷积运算，选择参数s2和t2都为8，△2为2，得到24576个61×61大小的特征矩阵；
7)重复步骤3)、步骤4)、步骤5)进行第三层卷积运算，选择参数s3和t3都为5，△3为1，得到629万个28×28大小的特征矩阵；
8)对步骤7)得到的矩阵进行相似度聚类分析，保持图像特征矩阵为10万个；
9)重复步骤3)、步骤4)、步骤5)进行第四层卷积运算，选择参数s4和t4都为3，△4为1，得到3840万个12×12大小的特征矩阵；
10)对步骤9)得到的矩阵进行相似度聚类分析，保持图像特征矩阵为1万个；
11)重复步骤3)、步骤4)、步骤5)进行第五层卷积运算，选择参数s5和t5都为3，△5为1，得到384万个4×4大小的特征矩阵；
12)对步骤11)得到的矩阵进行相似度聚类分析，以其矩阵所有元素的和为综合特征，得到1000个不同特征点；
13)对于步骤12)输出的特征值，输入到对应的记忆模型，本网络有1000个记忆深度为10的独立记忆单元，通过记忆模型产生相应的输出信息；具体记忆模型为：
一个具有10个独立记忆单元的网络结构，网络输入x(t)与记忆单元各记忆值进行对比，其最接近输入的单元k处的误差为：
δk(t)＝min{|ci(t)-x(t)|,i＝1,2,…,10}，(4)，
当δk(t)小于或等于网络识别阀值ε时，说明网络成功识别为第k类信息，此时每个记忆单元的记忆系数βi(t)和记忆信息ci(t)的选择性记忆更新规则为：
当δk(t)大于网络识别阀值ε时，说明网络识别过程中没有输入类，记忆网络按遗忘规律更新记忆最差的信息，βk(t)即将记忆系数最低的单元k处替换为当前输入信息；此时每个记忆单元的记忆系数βi(t)和记忆信息ci(t)的选择性记忆更新规则为：
βk(t)＝min{βi(t),i＝1,2,…,10}，(7)，
网络输出h(t+1)为：
h(t+1)＝ck(t+1)，(10)，
14)将步骤13)输出的元素作为全连接bp网络的输入，第一隐层设计500个节点，第二隐层设计50个节点，输出层为5个节点；输出层的每个节点的含义分别为：第1个输出结点为模糊类型，失焦模糊为1，运动模糊为2，高斯模糊为3；第2个输出结点为失焦模糊的半径r，当第1个输出结点为1时，该输出为计算得到的半径值，否则，该项输出为0；第3个输出结点为运动模糊的长度；第4个输出结点为运动模湖的方向角；第5个输出结点为高斯模糊的噪声方差；
15)网络在参数训练过程中提供人工判断反馈功能，当使用者发现网络识别错误时，将错误信息输入网络更正接口，网络将自动重新学习，更新系统权值矩阵信息；
第三步，通过网络训练获得网络参数：
以图像数据库caltech101dataset及所采集的轨道表面视频图像库为基础，构建50万幅不同模糊类型和不同参数的模糊图像，将该模糊图像集作为输入，对应的参数作为输出，进行网络训练，获得网络参数；
第四步，未知图像模糊类型识别及参数整定：
以1000张caltech101dataset数据库中的图像为被测图像，进行测试，计算每幅图像对应的模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差网络输出；将网络输出与已知结果进行对比，其正确率达到99.7％，实现图像模糊类型识别及参数整定；
同时，将融合记忆cnn应用到轨道表面缺陷检测系统中的图像去模糊处理过程，计算被测图像的模糊类型、失焦模糊的半径、运动模糊的长度、运动模湖的方向角和高斯模糊的噪声方差；将整定参数应用于图像去模糊，从结果分析得到的去模糊效果达到检测系统的要求。
所描述的实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。