一种基于编解码器技术的城市道路语义分割方法及系统

本公开属于图像处理，尤其涉及一种基于编解码器技术的城市道路语义分割方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、语义分割是计算机视觉的基石技术之一。它从单个像素点开始，研究图像中每个像素所包含的语义信息，并通过这些信息标识图像中的物体。语义分割在自动驾驶、遥感卫星图像处理、精准农业等应用领域发挥着重要作用。

3、具体而言，语义分割是将图像上的每个目标类别的像素点按照其语义进行标签化，以实现不同类别在图像上的分离。它也可以看作是像素级别的图像分类任务。语义分割主要使用卷积神经网络来实现。然而，卷积网络存在一个难题，即难以捕捉长距离依赖。为了解决这个问题，需要增加卷积层、扩大感受野。然而，这样做会增加网络模型的大小、参数量和复杂度，并降低网络模型的推断速度。在自动驾驶等语义分割下游任务中，实时性是一个关键需求。

4、因此，在语义分割网络模型的研究中，需要平衡网络模型的大小和推断速度与性能和准确度之间的关系。甚至可以将推断速度放在首要位置来考虑。这对实时语义分割的研究提出了新的要求，即如何设计更小、参数更少、速度更快的网络模型，同时又能保持良好的性能。这一研究方向引起了广泛关注。

5、实时语义分割领域经过多年的发展，现阶段的网络往往采用两种结构来搭建：编解码器结构和双路径结构。编解码器结构由编码器和解码器构成，编解码器结构是一种单路径的结构，而双路径由语义路径和空间路径，通过整合两个路径的信息提升网络的精度。编解码器结构往往有着更快的推理速度，而双路径结构则因为结合了语义和空间的信息，所以有着更高的精度。

6、目前的网络架构在对速度和精度的调整、提取语义信息的优化的问题上存在着以下技术问题。

7、(1)在现有的两种实时语义分割架构中，模型的速度和精度往往不匹配，精度高的模型往往会因为过于复杂而降低了推理速度，而推理速度高的模型又因为结构简单而降低了模型的推理精度。现有的网络架构对与精度和速度的取舍问题还有优化的空间，这个问题需要解决。(2)在语义信息提取上，已有的网络结构设计了一些增强模块，但这些增强模块的性能并不能满足模型的要求，该问题需要解决。

技术实现思路

1、为克服上述现有技术的不足，本公开提供了一种基于编解码器技术的城市道路语义分割方法及系统，引入了深度空间分割网络dssn，dssn网络在实时语义分割领域具有显著的技术优势，能够在保持检测精度的同时提高检测速度，同时参数量大幅减少，这使得该网络成为实时语义分割任务中的一种有力解决方案。

2、为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

3、第一方面，公开了一种基于编解码器技术的城市道路语义分割方法，包括：

4、获取道路图像数据作为原始数据，并对原始数据进行预处理，将处理后的道路图像数据输入预先训练好的深度空间分割网络；所述深度空间分割网络包括编码器模块、语义信息提取模块、解码器模块和决策模块；

5、基于编码器模块提取图像的空间信息和语义信息后得到图像特征图，将图像特征图输入至语义信息提取模块进行语义信息提取优化；

6、基于解码器模块将图像特征图与增强优化后的图像特征图融合，输入至决策模块得到图像的分类类别。

7、进一步的，所述编码器模块具体由残差网络的残差块和卷积神经网络的重参数化卷积块组成。

8、进一步的，基于编码器模块提取图像的空间信息和语义信息后得到图像特征图具体为：

9、利用所述残差块提取图像的空间信息，利用重参数化卷积块采用快速下采样提取图像的语义信息。

10、进一步的，所述语义信息提取模块具体为双重非对称金字塔池化模块，将非对称池化层和非对称卷积层结合，一重为非对称池化层，一重为非对称卷积层，并使用双向注意力提取信息细节。

11、进一步的，将图像特征图输入至语义信息提取模块进行语义信息提取优化具体为：

12、第三图像特征图输入至语义信息提取模块，所述第三图像特征图经非对称池化层、非对称卷积层分别多次提取特征，经连接操作合并为图像特征图，与另一卷积层提取的图像特征图共同输入至双向注意力模块并输出。

13、进一步的，所述解码器模块包括第一解码器和第二解码器。

14、进一步的，基于解码器模块将图像特征图与增强优化后的图像特征图融合，输入至决策模块得到图像的分类类别具体为：

15、第一解码器接收语义信息提取模块输出的图像特征图和第二图像特征图，将两种图像特征图进行融合并使用卷积强化特征；

16、第二解码器接收第一解码器输出的融合特征图，并将其与第一图像特征图融合，输出融合特征图；

17、将第二解码器输出的融合特征图输入至决策模块得到图像的分类类别。

18、第二方面，公开了一种基于编解码器技术的城市道路语义分割系统，包括：

19、获取模块：获取道路图像数据作为原始数据，并对原始数据进行预处理，将处理后的道路图像数据输入预先训练好的深度空间分割网络；所述深度空间分割网络包括编码器模块、语义信息提取模块、解码器模块和决策模块；

20、编码模块：基于编码器模块提取图像的空间信息和语义信息后得到图像特征图，将图像特征图输入至语义信息提取模块进行语义信息提取优化；

21、解码模块：基于解码器模块将图像特征图与增强优化后的图像特征图融合，输入至决策模块得到图像的分类类别。

22、以上一个或多个技术方案存在以下有益效果：

23、本发明引入了深度空间分割网络(deepspacesegmentationnetworks，dssn)。dssn综合了编解码器和双路径的优势，并设计了新的结构，同时通过改进池化层增强了语义信息提取模块。该方法在提高检测速度的同时，相较于大型网络，显著减少了参数量，但保持了与大型网络不相上下的检测精度。

24、本发明在语义分割检测过程中，dssn采用了更深的网络结构，以更好地提取图像的空间信息和语义信息。在语义信息提取模块tappm下，使用非对称池化层对现有的语义提取模块进行增强，从而提升了模型的检测精度。通过上述设计，本发明的dssn网络在实时语义分割领域具有显著的技术优势，能够在保持检测精度的同时提高检测速度，同时参数量大幅减少，这使得该网络成为实时语义分割任务中的一种有力解决方案。

25、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于编解码器技术的城市道路语义分割方法，其特征是，包括：

2.如权利要求1所述的一种基于编解码器技术的城市道路语义分割方法，其特征是，所述编码器模块具体由残差网络的残差块和卷积神经网络的重参数化卷积块组成。

3.如权利要求2所述的一种基于编解码器技术的城市道路语义分割方法，其特征是，基于编码器模块提取图像的空间信息和语义信息后得到图像特征图具体为：

4.如权利要求1所述的一种基于编解码器技术的城市道路语义分割方法，其特征是，所述语义信息提取模块具体为双重非对称金字塔池化模块，将非对称池化层和非对称卷积层结合，一重为非对称池化层，一重为非对称卷积层，并使用双向注意力提取信息细节。

5.如权利要求4所述的一种基于编解码器技术的城市道路语义分割方法，其特征是，将图像特征图输入至语义信息提取模块进行语义信息提取优化具体为：

6.如权利要求1所述的一种基于编解码器技术的城市道路语义分割方法，其特征是，所述解码器模块包括第一解码器和第二解码器。

7.如权利要求6所述的一种基于编解码器技术的城市道路语义分割方法，其特征是，基于解码器模块将图像特征图与增强优化后的图像特征图融合，输入至决策模块得到图像的分类类别具体为：

8.一种基于编解码器技术的城市道路语义分割系统，其特征是，包括：

9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。

技术总结
本公开提供了一种基于编解码器技术的城市道路语义分割方法及系统，引入了深度空间分割网络，深度空间分割网络综合了编解码器和双路径的优势，并设计了新的结构，同时通过改进池化层增强了语义信息提取模块。在提高检测速度的同时，相较于大型网络，显著减少了参数量，但保持了与大型网络不相上下的检测精度。

技术研发人员：鲁芹,王亚伦
受保护的技术使用者：齐鲁工业大学（山东省科学院）
技术研发日：
技术公布日：2024/1/16