一种基于深度学习的智能图像分割方法和系统

本发明涉及图像分割领域，并且更具体地，涉及一种基于深度学习的智能图像分割方法和系统。

背景技术：

1、图像分割是计算机视觉领域的重要研究方向。随着图像技术的发展，图像的分辨率不断提高，图像内容越来越复杂，传统的图像分割方法往往难以满足高精度和高效率的要求。

2、近年来，深度学习技术的兴起为遥感图像分割带来了新的突破。深度卷积神经网络（cnn）作为一种强大的特征提取器，在图像分割任务中取得了显著的成果。然而，由于遥感图像中存在光照变化、云雾遮挡、复杂地物等问题，传统的cnn模型在遥感图像分割中仍然面临挑战。

3、另外，图像的位置信息对于图像分割也非常重要。例如，对于土地利用分类任务，位置信息可以帮助识别不同地物的边界，提高分类准确率。因此，引入位置注意力模块可以有效提高图像分割的性能。

4、然而，目前在智能图像分割领域，还缺乏一种综合利用深度学习和注意力技术的高效、准确的图像分割方法。因此，需要一种新的智能遥感图像分割方法，以克服传统方法的局限性，并为土地利用、环境监测、城市规划等领域的应用提供更优秀的解决方案。

5、公开号为cn107610141b的中国专利公开了“一种基于深度学习的遥感图像语义分割方法”，通过完全卷积神经网络进行训练，得到最佳语义分割网络，该方法更轻量级，但是对于智能图片这种复杂场景下的图片而言，由于其包含更多细节、特征和背景信息，仅使用该网络进行分割，网络可能无法提取更细致的语义信息，导致分割精度不够。

技术实现思路

1、针对现有技术的以上缺陷或者改进需求，本发明提供了一种基于深度学习的智能图像分割方法，其目的在于通过深度学习算法有效解析图片中的信息，提高对图像中信息分割的准确度。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的智能图像分割方法，包括以下步骤：

3、步骤1，设计适用于智能图像分割的深度学习模型；

4、所述深度学习模型包括特征编码模块、浅层特征处理模块、注意力模块和拼接模块，处理过程为：图像经过特征编码模块，对图像语义信息进行提取；通过主干网络提取图像的浅层特征，将浅层特征同时送入注意力模块和浅层特征处理模块，注意力模块使得模型更加关注图像浅层特征中的重要位置，浅层特征处理模块用于对浅层特征进一步进行特征提取；然后通过拼接模块将特征编码模块、浅层特征处理模块、注意力模块这三个模块输出的特征图进行拼接，并输出最后的分割预测图。

5、步骤2，对数据集进行预处理；

6、步骤3，训练深度学习模型；

7、步骤4，使用训练好的深度学习模型对图像的每个像素点进行预测，得到像素级的分割结果。

8、进一步的，特征编码模块包括四个并行的小分支，其中三个小分支为不同的空洞率的空洞卷积层，另一个小分支为全局平均池化层，利用1×1的卷积将四个小分支输出的三组不同空洞率的特征图和全局平均池化特征图进行特征融合后进行四倍上采样作为输出。

9、进一步的，注意力模块的处理过程如下；

10、（1.3.1）首先将提取的浅层特征a分别经过两个不同的卷积操作获得新特征图b、c，b=c，大小为c×h×w，c表示通道数，h和w分别表示高和宽；

11、（1.3.2）然后将b和c都重塑为c×n的大小，其中n=h×w；将b进行转置后与c相乘，获得的结果再经过softmax操作，得到大小为n×n的特征图s，s中每行的和为1；

12、（1.3.3）同时，将a经过另一个卷积操作得到特征图d，大小为c×h×w，同样重塑为c×n的大小，将其与s的转置相乘，得到c×n大小的结果图，再重塑回c×h×w大小，乘以一个系数α；

13、（1.3.4）最后将（1.3.3）的结果与a相融合，获得最终的融合了位置信息的特征图结果e。

14、进一步的，浅层特征处理模块包括一个卷积层；拼接模块包括拼接层，3×3的卷积和上采样层。

15、进一步的，训练过程的使用的损失函数由三部分组成，包括如下子步骤：

16、（3.1）第一部分是特征编码模块的损失函数lce，公式如下：

17、

18、其中n是像素的数量，c是分类类别数量，yi,c表示第i个像素属于类别c的标签值，pi,c表示模型输出的第i个像素属于类别c的概率值；

19、（3.2）第二部分是注意力模块的损失函数，公式如下：

20、

21、

22、其中h和w分别是特征图的高度和宽度，aatt为注意力图，表示注意力模块对浅层特征进行加权后的输出，atarget为注意力图的目标分布，用于指导位置注意力图的生成；

23、（3.3）第三部分是拼接模块的损失函数lff，公式如下：

24、

25、其中f(j,k) 表示经过拼接后的特征图中第j行、第k列的特征值，p(j,k)表示模型输出的概率图中第j行、第k列的像素对应的预测概率值；

26、（3.4）综合损失函数ltotal，公式如下：

27、

28、其中，是用于平衡各个损失项的权重系数。

29、另一方面，本发明还提供一种基于深度学习的智能图像分割系统，包括以下单元：

30、模型设计单元，用于设计适用于智能图像分割的深度学习模型；

31、所述深度学习模型包括特征编码模块、浅层特征处理模块、注意力模块和拼接模块，处理过程为：图像经过特征编码模块，对图像语义信息进行提取；通过主干网络提取图像的浅层特征，将浅层特征同时送入注意力模块和浅层特征处理模块，注意力模块使得模型更加关注图像浅层特征中的重要位置，浅层特征处理模块用于对浅层特征进一步进行特征提取；然后通过拼接模块将特征编码模块、浅层特征处理模块、注意力模块这三个模块输出的特征图进行拼接，并输出最后的分割预测图。

32、预处理单元，用于对数据集进行预处理；

33、训练单元，用于训练深度学习模型；

34、预测单元，用于使用训练好的深度学习模型对图像的每个像素点进行预测，得到像素级的分割结果。

35、进一步的，特征编码模块包括四个并行的小分支，其中三个小分支为不同的空洞率的空洞卷积层，另一个小分支为全局平均池化层，利用1×1的卷积将四个小分支输出的三组不同空洞率的特征图和全局平均池化特征图进行特征融合后进行四倍上采样作为输出。

36、进一步的，注意力模块的处理过程如下；

37、（1.3.1）首先将提取的浅层特征a分别经过两个不同的卷积操作获得新特征图b、c，b=c，大小为c×h×w，c表示通道数，h和w分别表示高和宽；

38、（1.3.2）然后将b和c都重塑为c×n的大小，其中n=h×w；将b进行转置后与c相乘，获得的结果再经过softmax操作，得到大小为n×n的特征图s，s中每行的和为1；

39、（1.3.3）同时，将a经过另一个卷积操作得到特征图d，大小为c×h×w，同样重塑为c×n的大小，将其与s的转置相乘，得到c×n大小的结果图，再重塑回c×h×w大小，乘以一个系数α；

40、（1.3.4）最后将（1.3.3）的结果与a相融合，获得最终的融合了位置信息的特征图结果e。

41、进一步的，浅层特征处理模块包括一个卷积层；拼接模块包括拼接层，3×3的卷积和上采样层。

42、进一步的，训练过程的使用的损失函数由三部分组成，包括如下子步骤：

43、（3.1）第一部分是特征编码模块的损失函数lce，公式如下：

44、

45、其中n是像素的数量，c是分类类别数量，yi,c表示第i个像素属于类别c的标签值，pi,c表示模型输出的第i个像素属于类别c的概率值；

46、（3.2）第二部分是注意力模块的损失函数，公式如下：

47、

48、

49、其中h和w分别是特征图的高度和宽度，aatt为注意力图，表示注意力模块对浅层特征进行加权后的输出，atarget为注意力图的目标分布，用于指导位置注意力图的生成；

50、（3.3）第三部分是拼接模块的损失函数lff，公式如下：

51、

52、其中f(j,k) 表示经过拼接后的特征图中第j行、第k列的特征值，p(j,k)表示模型输出的概率图中第j行、第k列的像素对应的预测概率值；

53、（3.4）综合损失函数ltotal，公式如下：

54、

55、其中，是用于平衡各个损失项的权重系数。

56、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

57、（1）首先通过加深网络的深度增强模型的学习能力，再通过提供局部注意提高模型识别的精确度。

58、（2）使用创新的损失函数，使模型训练训练效果更好，更加符合图像场景。

59、（3）使用训练好的图像分割模型来分割图像，生成高精度、高质量的分割图像，为下一步进行土地利用与覆盖分类、城市规划和建设和环境检测与保护等提供稳定的技术支持。