一种贝叶斯卷积神经网络的图像增强的方法与流程

本发明涉及图像处理，具体为一种贝叶斯卷积神经网络的图像增强的方法。

背景技术：

1、在图卷积神经网络被提出之后，其在计算机视觉领域得到了广泛应用，同时，研究人员提出了多种基于图卷积思想的各种神经网络变体以及针对遥感图像分类的分类策略，其中的主要代表是gcn、mdgcn、s2gcn等神经网络架构，通过对超像素分割后的遥感图像特征矩阵进行空间特征提取和聚合，获得与特征矩阵对应的空间邻接矩阵，结合图卷积思想设计与不同数据集相匹配的神经网络结构进行训练及测试，cnn基于观测到的数据通过反向传播训练模型，获得模型参数的最优点估计，支持模型输出确定性结果，这种基于参数最优点估计训练的cnn网络能较好地拟合观测到的数据，但不能较好地预测未观测到的数据，即产生了对现有训练样本的过度拟合，尽管现有的正则化方法可以一定程度缓解过拟合，但模型本身不能度量不确定性，以分类任务来说，softmax函数通过压缩其他类的输出概率得分来最大化给定类的输出概率得分，这种概率不是模型对输出给定类的置信度。

2、在针对遥感图像进行地物目标分类的实际应用中，应用传统神经网络如图卷积神经网络进行目标分类时，常会面对分类精度低、模型复杂度高及由于过拟合导致的小样本类漏警等问题，而应用贝叶斯神经网络进行分类实践时，网络训练和实际分类效率会被贝叶斯神经网络庞大的参数量所限制，使得系统的实时处理能力较为低下，但是，一方面深度学习模型设计愈加复杂，数据量也存在不足的情况，这些都易导致过拟合问题的产生，另一方面，现有的卷积神经网络增强方法都是采用具体的数值作为权重，从概率论的角度来说，使用点估计作为权重是不合理的。

技术实现思路

1、针对现有技术的不足，本发明提供了一种贝叶斯卷积神经网络的图像增强的方法，解决了分类精度低、模型复杂度高及由于过拟合导致的小样本类漏警的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种贝叶斯卷积神经网络的图像增强的方法，具体包括以下步骤：

3、s1、获取高光谱图像数据集，对所述高光谱图像数据集进行预处理，之后按照预设比例划分得到训练集和测试集；

4、s2、将所述待识别图像输入预训练的卷积神经网络模型进行目标识别；

5、s3、构建图像灰度识别模型和图像像素识别模型；

6、s4、将图像数据集输入到深度卷积神经网络模型bdcnet中，在训练的过程中，通过新的损失函数计算损失率，不断迭代更新网络参数，得到最优增强模型，进行图像增强操作。

7、优选的，所述s1中，对所述高光谱图像数据集进行预处理，包括：对每个所述原始高光谱遥感图像，利用超像素分割算法分割得到对应的超像素块；对每个超像素块选择块内标签最多的种类作为该超像素块的类别标签，去除类别标签为背景的超像素块，得到表示地物类别的超像素块；获取所述表示地物类别的超像素块的邻接矩阵；构建所述表示地物类别的超像素块对应的特征向量，并根据所述特征向量和对应的类别标签，得到表示地物类别的超像素块对应的特征矩阵。

8、优选的，所述s2中，所述卷积神经网络模型包括基于贝叶斯线性的通道注意力模块，所述通道注意力模块用于对输入的初始多维特征进行平均池化得到池化特征，对所述池化特征进行贝叶斯线性，得到线性特征，将所述线性特征扩展到与所述初始多维特征的维度相同，并与所述初始多维特征相乘，得到所述通道注意力模块的输出多维特征，所述卷积神经网络模块基于所述输出多维特征对所述待识别图像进行图像识别。

9、优选的，所述s3中，首先采用所述的图像灰度识别模型和图像像素识别模型实现获取灰度图和像素值，然后基于图像的灰度图和像素值构建图像的灰度-像素图，然后基于灰度-像素图内载不同区域的亮度实现灰度-像素图的分割，获取灰度-像素子图集，每一个灰度-像素子图上均标记有其每个区域对应的像素参数，根据每一个灰度-像素子图的亮度以及每个区域对应的像素参数为每一个区域配置对应的图像增强强度，最后基于所述图像增强强度实现每一个区域的增强。

10、优选的，所述s4中，所述深度卷积神经网络模型，称为bdcnet，包括两大模块rnet和hnet；有雾图像将同时被输入rnet和hnet；rnet采用基于u-net的结构，共有3层编码层和3层解码层，中间用18个密集块连接；每一编码层由一层卷积和一层激活函数层组成，每一解码层由一层反卷积和一层激活函数层组成，密集块有三个相同模块组成，每一模块包含两层卷积夹着一层激活函数层，并将第一模块和第三模块连接；hnet包含三个部分，第一部分是3×3的卷积层和relu激活函数层；第二部分含有4个相同的模块，每一块由卷积层，batchnormalization层，简称bn层和激活函数组成；第三部分只有一层3×3的卷积层；具体地，所述步骤3中新的损失函数loss的设计为：采用retinex方法对有雾图像处理后与清晰图像计算均方误差，作为损失函数的一部分称为lossr，同时计算bdcnet模型生成清晰图像与真实清晰图像的均方误差，作为损失函数另一部分，称为lossb：

11、

12、

13、loss＝lossr+lossb

14、其中，r(x,y)为经过retinex方法后的强化图像，c(x,y)为清晰图像，d(x,y)为bdcnet模型去雾后图像，n为图像个数。

15、有益效果

16、本发明提供了一种贝叶斯卷积神经网络的图像增强的方法。与现有技术相比具备以下有益效果：该贝叶斯卷积神经网络的图像增强的方法，通过在模型的通道注意力模块中加入贝叶斯线性，在模型中构建基于贝叶斯线性的通道注意力机制，实现对局部重要信息的不确定性捕捉，从而解决现有贝叶斯卷积神经网络模型参数较多、良好先验分布难以给定、梯度近似估计的问题，可以有效地对整张图像的不确定性进行预测，利用贝叶斯全连接层对卷积神经网络提取的特征数据进行多次预测，取多次预测的平均值作为最终预测结果，并根据最终预测结果提取出不确定性度量，克服了传统深度学习在推理阶段属于点估计的缺点，同时将最终预测结果和不确定性度量输出作为图像分析结果，将贝叶斯层与图卷积神经网络相结合，提出了贝叶斯图卷积层的概念，建立了贝叶斯层图卷积神经网络，利用训练完成的贝叶斯层图卷积神经网络实现对遥感图像的高效率与高准确度分类，解决了遥感图像的分类领域的不确定性评估问题，实现了分类结果置信度的量化，解决了神经网络系统面对小样本目标时由于过拟合现象从而可能导致的漏警问题。

技术特征：

1.一种贝叶斯卷积神经网络的图像增强的方法，其特征在于：具体包括以下步骤：

2.根据权利要求1所述的一种贝叶斯卷积神经网络的图像增强的方法，其特征在于：所述s1中，对所述高光谱图像数据集进行预处理，包括：对每个所述原始高光谱遥感图像，利用超像素分割算法分割得到对应的超像素块；对每个超像素块选择块内标签最多的种类作为该超像素块的类别标签，去除类别标签为背景的超像素块，得到表示地物类别的超像素块；获取所述表示地物类别的超像素块的邻接矩阵；构建所述表示地物类别的超像素块对应的特征向量，并根据所述特征向量和对应的类别标签，得到表示地物类别的超像素块对应的特征矩阵。

3.根据权利要求1所述的一种贝叶斯卷积神经网络的图像增强的方法，其特征在于：所述s2中，所述卷积神经网络模型包括基于贝叶斯线性的通道注意力模块，所述通道注意力模块用于对输入的初始多维特征进行平均池化得到池化特征，对所述池化特征进行贝叶斯线性，得到线性特征，将所述线性特征扩展到与所述初始多维特征的维度相同，并与所述初始多维特征相乘，得到所述通道注意力模块的输出多维特征，所述卷积神经网络模块基于所述输出多维特征对所述待识别图像进行图像识别。

4.根据权利要求1所述的一种贝叶斯卷积神经网络的图像增强的方法，其特征在于：所述s3中，首先采用所述的图像灰度识别模型和图像像素识别模型实现获取灰度图和像素值，然后基于图像的灰度图和像素值构建图像的灰度-像素图，然后基于灰度-像素图内载不同区域的亮度实现灰度-像素图的分割，获取灰度-像素子图集，每一个灰度-像素子图上均标记有其每个区域对应的像素参数，根据每一个灰度-像素子图的亮度以及每个区域对应的像素参数为每一个区域配置对应的图像增强强度，最后基于所述图像增强强度实现每一个区域的增强。

5.根据权利要求1所述的一种贝叶斯卷积神经网络的图像增强的方法，其特征在于：所述s4中，所述深度卷积神经网络模型，称为bdcnet，包括两大模块rnet和hnet；有雾图像将同时被输入rnet和hnet；rnet采用基于u-net的结构，共有3层编码层和3层解码层，中间用18个密集块连接；每一编码层由一层卷积和一层激活函数层组成，每一解码层由一层反卷积和一层激活函数层组成，密集块有三个相同模块组成，每一模块包含两层卷积夹着一层激活函数层，并将第一模块和第三模块连接；hnet包含三个部分，第一部分是3×3的卷积层和relu激活函数层；第二部分含有4个相同的模块，每一块由卷积层，batchnormalization层，简称bn层和激活函数组成；第三部分只有一层3×3的卷积层；具体地，所述步骤3中新的损失函数loss的设计为：采用retinex方法对有雾图像处理后与清晰图像计算均方误差，作为损失函数的一部分称为lossr，同时计算bdcnet模型生成清晰图像与真实清晰图像的均方误差，作为损失函数另一部分，称为lossb：

技术总结
本发明公开了一种贝叶斯卷积神经网络的图像增强的方法，具体包括以下步骤：S1、获取高光谱图像数据集，对所述高光谱图像数据集进行预处理，之后按照预设比例划分得到训练集和测试集；本发明涉及图像处理技术领域。该贝叶斯卷积神经网络的图像增强的方法，通过在模型的通道注意力模块中加入贝叶斯线性，在模型中构建基于贝叶斯线性的通道注意力机制，实现对局部重要信息的不确定性捕捉，从而解决现有贝叶斯卷积神经网络模型参数较多、良好先验分布难以给定、梯度近似估计的问题，可以有效地对整张图像的不确定性进行预测，利用贝叶斯全连接层对卷积神经网络提取的特征数据进行多次预测，取多次预测的平均值作为最终预测结果。

技术研发人员：赵君成,范学峰,张翠芬
受保护的技术使用者：深圳市华安智联科技有限公司
技术研发日：
技术公布日：2024/1/15