基于多尺度特征提取的图像分割方法及装置与流程

本发明涉及图像处理，尤其涉及一种基于多尺度特征提取的图像分割方法及装置。

背景技术：

1、目前，在需要分析某个身体部位的状态时，可以通过拍摄该身体部位获得该身体部位的图像，且对图像中该身体部位(目标)和其余无关部分(背景)进行分割，获取图像中该身体部位的区域信息和边缘信息，以便更准确地分析该身体部位的状态。例如：在需要分析牙齿状态时，可以通过x光摄影技术对牙齿进行拍摄获得x光牙齿图像，且可以通过对x光牙齿图像中的牙齿部分和非牙齿部分进行分割，获取图像中牙齿区域信息和牙齿边缘信息，以便更准确地分析牙齿的状态。可见，图像分割的准确度对于分析身体部位的状态起至关重要的作用。

2、然而，实践发现，若需要进行分析的图像具有低对比度和不均匀强度分布等特性，在通过现有技术对该图像进行分割后，容易出现目标相互粘连和目标边缘无法准确分割的问题。因此，提出一种能够提高图像分割的准确性的技术方案显得尤为重要。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于多尺度特征提取的图像分割方法及装置，能够提高图像分割的准确性。

2、为了解决上述技术问题，本发明第一方面公开了一种基于多尺度特征提取的图像分割方法，所述方法包括：

3、将原始图像输入至预先训练好的u2net++网络的数据输入层进行图像尺寸缩小处理，得到目标图像，所述目标图像的图像尺寸为目标尺寸，且所述数据输入层用于将所述原始图像的图像尺寸缩小至所述目标尺寸；

4、将所述目标图像输入至所述u2net++网络的特征提取层进行多尺度特征提取，得到候选特征图集合；所述特征提取层包括多个层级，每个所述层级包括至少一个多尺度特征提取模块；当某一所述层级包括至少两个所述多尺度特征提取模块时，该层级中每相邻两个所述多尺度特征提取模块之间均设置有注意力模块，每个所述注意力模块用于识别输入至该注意力模块的特征图的感兴趣区域并将所述感兴趣区域输入至该注意力模块的在后相邻的所述多尺度特征提取模块；所述候选特征图集合包括至少两个候选特征图子集合，每个所述候选特征图子集合所包含的特征图用于特征融合以获得分割特征图；

5、将所述候选特征图集合输入至所述u2net++网络的多侧输出融合层进行特征融合处理，得到目标分割特征图。

6、作为一种可选的实施方式，在本发明第一方面中，当某一所述层级仅包括一个所述多尺度特征提取模块时，该多尺度特征提取模块用作编码器；当某一所述层级包括两个所述多尺度特征提取模块时，在该层级位置最先的所述多尺度特征提取模块用作编码器，在该层级位置最后的所述多尺度特征提取模块用作解码器，且该层级的所述编码器与该层级的所述解码器之间设置有跳跃路径；当某一所述层级包括两个以上所述多尺度特征提取模块时，该层级除所述编码器和所述解码器以外的其余所述多尺度特征提取模块用作密集残差模块，且该层级的所述编码器与该层级的每个所述密集残差模块之间、该层级的每个所述密集残差模块与该层级的所述解码器之间均设置有所述跳跃路径；其中，所述编码器用于提取输入至该编码器的图像的多尺度特征；所述解码器用于恢复输入至该解码器的图像的分辨率；所述密集残差模块用于将深层级的信息集成到该密集残差模块所处的层级；

7、其中，若某一所述层级所包含的所述多尺度特征提取模块的数量越多，则该层级越浅，最浅层级为包含所述多尺度特征提取模块的数量最多的层级；若某一所述层级所包含的所述多尺度特征提取模块的数量越少，则该层级越深，最深层级为仅包含一个所述多尺度特征提取模块的层级；

8、每一所述层级的所述编码器与相邻深层级的所述编码器之间设置有下采样路径；每一所述多尺度特征提取模块与相邻浅层级的第一相邻模块之间设置有上采样路径，其中，所述第一相邻模块在所处层级中的位置相较于该多尺度特征提取模块在所处层级中的位置在后相邻；

9、对于每一所述注意力模块，输入至该注意力模块的特征图包括第一输入特征图和第二输入特征图；其中，以接收该注意力模块所输出的感兴趣区域的所述多尺度特征提取模块作为位置基准模块，所述位置基准模块的在先相邻的多尺度特征提取模块所输出的特征图为所述第一输入特征图；所述位置基准模块的相邻深层级的第二相邻模块所输出的特征图为所述第二输入特征图，所述第二相邻模块在所处层级中的位置相较于所述位置基准模块在所处层级中的位置在先相邻。

10、作为一种可选的实施方式，在本发明第一方面中，所述将所述目标图像输入至所述u2net++网络的特征提取层进行多尺度特征提取，得到候选特征图集合，包括：

11、将所述目标图像输入至所述u2net++网络的特征提取层中所述最浅层级的编码器，并基于所述下采样路径对所述目标图像进行下采样操作直至所述最深层级的相邻浅层级，得到多尺度下采样特征图；

12、基于所述最深层级的编码器，对所述最深层级的相邻浅层级的所述编码器所输出的多尺度下采样特征图进行膨胀卷积处理，得到膨胀特征图；

13、对于除所有所述编码器之外的每一所述多尺度特征提取模块，基于接收到的感兴趣区域，对输入至该多尺度特征提取模块的所有特征图进行上采样操作，得到多尺度上采样特征图；

14、将所述最浅层级中的所有所述多尺度上采样特征图确定为第一候选特征图子集合；

15、将所述膨胀特征图以及除所述最浅层级之外的其余每一所述层级的解码器所输出的所述多尺度上采样特征图确定为第二候选特征图子集合。

16、作为一种可选的实施方式，在本发明第一方面中，当所述原始图像为x光牙齿图像时，所述目标分割特征图为以牙齿作为分割目标的分割特征图；所述多尺度特征提取模块的类型包括第一特征提取类型和第二特征提取类型；

17、所述多尺度特征提取模块包括多个子层级，每一所述子层级包括至少一个多尺度特征提取子模块；当某一所述子层级中包括用于接收输入特征图的多尺度特征提取子模块时，该子层级为最浅子层级，所述用于接收所述输入特征图的多尺度特征提取子模块为输入卷积子模块，所述最浅子层级还包括融合子模块，所述融合子模块为用作融合特征并输出融合特征图的多尺度特征提取子模块；当某一所述子层级中仅包括一个多尺度特征提取子模块时，该子层级为最深子层级；

18、当某一所述子层级包括至少两个所述多尺度特征提取子模块时，该层级中每相邻两个所述多尺度特征提取子模块之间均设置有注意力子模块，且该层级中各个所述多尺度特征提取子模块之间设置有跳跃子路径；对于每一所述注意力子模块，该注意力子模块接收在先相邻的所述多尺度特征提取子模块所输出的特征图以及相邻深子层级的位置在先的所述多尺度特征提取子模块所输出的特征图，且该注意力子模块的在后相邻的所述多尺度特征提取子模块接收该注意力子模块所输出的感兴趣区域；

19、每一所述子层级的位置最先的所述多尺度特征提取子模块与相邻深层级的位置最先的所述多尺度特征提取子模块之间设置有第一特征提取子路径；每一所述子层级的位置最后的所述多尺度特征提取子模块与相邻浅层级的位置最后的所述多尺度特征提取子模块之间设置有第二特征提取子路径。

20、作为一种可选的实施方式，在本发明第一方面中，当所述多尺度特征提取模块的类型为所述第一特征提取类型时，所述第一特征提取子路径为下采样子路径，且除所述最浅子层级以外的在所述下采样路径上的所述多尺度特征提取子模块为卷积子模块或下采样子模块；所述第一特征提取子路径为上采样子路径，且除所述最浅子层级以外的在所述上采样路径上的所述多尺度特征提取子模块为所述卷积子模块或上采样子模块；每一所述子层级中除所述上采样子模块和所述下采样子模块以外的其余所述多尺度特征提取子模块为密集卷积子模块。

21、作为一种可选的实施方式，在本发明第一方面中，当所述多尺度特征提取模块的类型为所述第二特征提取类型时，在所述多尺度特征提取模块中，除所述最浅子层级以外的其余每一所述子层级中的所述多尺度特征提取子模块均为膨胀卷积子模块；

22、其中，所述最深层级的编码器的类型为所述第二特征提取类型。

23、作为一种可选的实施方式，在本发明第一方面中，所述将所述候选特征图集合输入至所述u2net++网络的多侧输出融合层进行特征融合处理，得到目标分割特征图，包括：

24、基于预设激活函数，对所述第一候选特征图子集合中的所有所述候选特征图进行特征融合处理，得到第一分割特征图；其中，所述第一分割特征图的计算公式如下：

25、

26、式中，表示连接操作，y0,5为所述第一分割特征图，y0,1、y0,2、y0,3和y0,4均为所述第一候选特征图子集合中的特征图；

27、基于所述预设激活函数，对所述第二候选特征图子集合中的所有所述候选特征图进行特征融合处理，得到第二分割特征图；其中，所述第二分割特征图的计算公式如下：

28、

29、式中，y5,0为所述第二分割特征图，y1,0、y2,0、y3,0和y4,0均为所述第二候选特征图子集合中的特征图；

30、基于所述预设激活函数，对所述第一分割特征图和所述第二分割特征图进行特征融合处理，得到目标分割特征图；其中，所述目标分割特征图的计算公式如下：

31、

32、式中，y5,5为所述目标分割特征图。

33、本发明第二方面公开了一种基于多尺度特征提取的图像分割装置，所述装置包括：

34、图像尺寸缩小单元，用于将原始图像输入至预先训练好的u2net++网络的数据输入层进行图像尺寸缩小处理，得到目标图像，所述目标图像的图像尺寸为目标尺寸，且所述数据输入层用于将所述原始图像的图像尺寸缩小至所述目标尺寸；

35、多尺度特征提取单元，用于将所述目标图像输入至所述u2net++网络的特征提取层进行多尺度特征提取，得到候选特征图集合；所述特征提取层包括多个层级，每个所述层级包括至少一个多尺度特征提取模块；当某一所述层级包括至少两个所述多尺度特征提取模块时，该层级中每相邻两个所述多尺度特征提取模块之间均设置有注意力模块，每个所述注意力模块用于识别输入至该注意力模块的特征图的感兴趣区域并将所述感兴趣区域输入至该注意力模块的在后相邻的所述多尺度特征提取模块；所述候选特征图集合包括至少两个候选特征图子集合，每个所述候选特征图子集合所包含的特征图用于特征融合以获得分割特征图；

36、多侧输出融合单元，用于将所述候选特征图集合输入至所述u2net++网络的多侧输出融合层进行特征融合处理，得到目标分割特征图。

37、作为一种可选的实施方式，在本发明第二方面中，当某一所述层级仅包括一个所述多尺度特征提取模块时，该多尺度特征提取模块用作编码器；当某一所述层级包括两个所述多尺度特征提取模块时，在该层级位置最先的所述多尺度特征提取模块用作编码器，在该层级位置最后的所述多尺度特征提取模块用作解码器，且该层级的所述编码器与该层级的所述解码器之间设置有跳跃路径；当某一所述层级包括两个以上所述多尺度特征提取模块时，该层级除所述编码器和所述解码器以外的其余所述多尺度特征提取模块用作密集残差模块，且该层级的所述编码器与该层级的每个所述密集残差模块之间、该层级的每个所述密集残差模块与该层级的所述解码器之间均设置有所述跳跃路径；其中，所述编码器用于提取输入至该编码器的图像的多尺度特征；所述解码器用于恢复输入至该解码器的图像的分辨率；所述密集残差模块用于将深层级的信息集成到该密集残差模块所处的层级；

38、其中，若某一所述层级所包含的所述多尺度特征提取模块的数量越多，则该层级越浅，最浅层级为包含所述多尺度特征提取模块的数量最多的层级；若某一所述层级所包含的所述多尺度特征提取模块的数量越少，则该层级越深，最深层级为仅包含一个所述多尺度特征提取模块的层级；

39、每一所述层级的所述编码器与相邻深层级的所述编码器之间设置有下采样路径；每一所述多尺度特征提取模块与相邻浅层级的第一相邻模块之间设置有上采样路径，其中，所述第一相邻模块在所处层级中的位置相较于该多尺度特征提取模块在所处层级中的位置在后相邻；

40、对于每一所述注意力模块，输入至该注意力模块的特征图包括第一输入特征图和第二输入特征图；其中，以接收该注意力模块所输出的感兴趣区域的所述多尺度特征提取模块作为位置基准模块，所述位置基准模块的在先相邻的多尺度特征提取模块所输出的特征图为所述第一输入特征图；所述位置基准模块的相邻深层级的第二相邻模块所输出的特征图为所述第二输入特征图，所述第二相邻模块在所处层级中的位置相较于所述位置基准模块在所处层级中的位置在先相邻。

41、作为一种可选的实施方式，在本发明第二方面中，所述多尺度特征提取单元将所述目标图像输入至所述u2net++网络的特征提取层进行多尺度特征提取，得到候选特征图集合的具体方式包括：

42、将所述目标图像输入至所述u2net++网络的特征提取层中所述最浅层级的编码器，并基于所述下采样路径对所述目标图像进行下采样操作直至所述最深层级的相邻浅层级，得到多尺度下采样特征图；

43、基于所述最深层级的编码器，对所述最深层级的相邻浅层级的所述编码器所输出的多尺度下采样特征图进行膨胀卷积处理，得到膨胀特征图；

44、对于除所有所述编码器之外的每一所述多尺度特征提取模块，基于接收到的感兴趣区域，对输入至该多尺度特征提取模块的所有特征图进行上采样操作，得到多尺度上采样特征图；

45、将所述最浅层级中的所有所述多尺度上采样特征图确定为第一候选特征图子集合；

46、将所述膨胀特征图以及除所述最浅层级之外的其余每一所述层级的解码器所输出的所述多尺度上采样特征图确定为第二候选特征图子集合。

47、作为一种可选的实施方式，在本发明第二方面中，当所述原始图像为x光牙齿图像时，所述目标分割特征图为以牙齿作为分割目标的分割特征图；所述多尺度特征提取模块的类型包括第一特征提取类型和第二特征提取类型；

48、所述多尺度特征提取模块包括多个子层级，每一所述子层级包括至少一个多尺度特征提取子模块；当某一所述子层级中包括用于接收输入特征图的多尺度特征提取子模块时，该子层级为最浅子层级，所述用于接收所述输入特征图的多尺度特征提取子模块为输入卷积子模块，所述最浅子层级还包括融合子模块，所述融合子模块为用作融合特征并输出融合特征图的多尺度特征提取子模块；当某一所述子层级中仅包括一个多尺度特征提取子模块时，该子层级为最深子层级；

49、当某一所述子层级包括至少两个所述多尺度特征提取子模块时，该层级中每相邻两个所述多尺度特征提取子模块之间均设置有注意力子模块，且该层级中各个所述多尺度特征提取子模块之间设置有跳跃子路径；对于每一所述注意力子模块，该注意力子模块接收在先相邻的所述多尺度特征提取子模块所输出的特征图以及相邻深子层级的位置在先的所述多尺度特征提取子模块所输出的特征图，且该注意力子模块的在后相邻的所述多尺度特征提取子模块接收该注意力子模块所输出的感兴趣区域；

50、每一所述子层级的位置最先的所述多尺度特征提取子模块与相邻深层级的位置最先的所述多尺度特征提取子模块之间设置有第一特征提取子路径；每一所述子层级的位置最后的所述多尺度特征提取子模块与相邻浅层级的位置最后的所述多尺度特征提取子模块之间设置有第二特征提取子路径。

51、作为一种可选的实施方式，在本发明第二方面中，当所述多尺度特征提取模块的类型为所述第一特征提取类型时，所述第一特征提取子路径为下采样子路径，且除所述最浅子层级以外的在所述下采样路径上的所述多尺度特征提取子模块为卷积子模块或下采样子模块；所述第一特征提取子路径为上采样子路径，且除所述最浅子层级以外的在所述上采样路径上的所述多尺度特征提取子模块为所述卷积子模块或上采样子模块；每一所述子层级中除所述上采样子模块和所述下采样子模块以外的其余所述多尺度特征提取子模块为密集卷积子模块。

52、作为一种可选的实施方式，在本发明第二方面中，当所述多尺度特征提取模块的类型为所述第二特征提取类型时，在所述多尺度特征提取模块中，除所述最浅子层级以外的其余每一所述子层级中的所述多尺度特征提取子模块均为膨胀卷积子模块；

53、其中，所述最深层级的编码器的类型为所述第二特征提取类型。

54、作为一种可选的实施方式，在本发明第二方面中，所述多侧输出融合单元将所述候选特征图集合输入至所述u2net++网络的多侧输出融合层进行特征融合处理，得到目标分割特征图的具体方式包括：

55、基于预设激活函数，对所述第一候选特征图子集合中的所有所述候选特征图进行特征融合处理，得到第一分割特征图；其中，所述第一分割特征图的计算公式如下：

56、

57、式中，表示连接操作，y0,5为所述第一分割特征图，y0,1、y0,2、y0,3和y0,4均为所述第一候选特征图子集合中的特征图；

58、基于所述预设激活函数，对所述第二候选特征图子集合中的所有所述候选特征图进行特征融合处理，得到第二分割特征图；其中，所述第二分割特征图的计算公式如下：

59、

60、式中，y5,0为所述第二分割特征图，y1,0、y2,0、y3,0和y4,0均为所述第二候选特征图子集合中的特征图；

61、基于所述预设激活函数，对所述第一分割特征图和所述第二分割特征图进行特征融合处理，得到目标分割特征图；其中，所述目标分割特征图的计算公式如下：

62、

63、式中，y5,5为所述目标分割特征图。

64、本发明第三方面公开了另一种基于多尺度特征提取的图像分割装置，所述装置包括：

65、存储有可执行程序代码的存储器；

66、与所述存储器耦合的处理器；

67、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于多尺度特征提取的图像分割方法。

68、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于多尺度特征提取的图像分割方法。

69、与现有技术相比，本发明实施例具有以下有益效果：

70、本发明实施例中，将原始图像输入至预先训练好的u2net++网络的数据输入层进行图像尺寸缩小处理，得到目标图像，目标图像的图像尺寸为目标尺寸，且数据输入层用于将原始图像的图像尺寸缩小至目标尺寸；将目标图像输入至u2net++网络的特征提取层进行多尺度特征提取，得到候选特征图集合；特征提取层包括多个层级，每个层级包括至少一个多尺度特征提取模块；当某一层级包括至少两个多尺度特征提取模块时，该层级中每相邻两个多尺度特征提取模块之间均设置有注意力模块，每个注意力模块用于识别输入至该注意力模块的特征图的感兴趣区域并将感兴趣区域输入至该注意力模块的在后相邻的多尺度特征提取模块；候选特征图集合包括至少两个候选特征图子集合，每个候选特征图子集合所包含的特征图用于特征融合以获得分割特征图；将候选特征图集合输入至u2net++网络的多侧输出融合层进行特征融合处理，得到目标分割特征图。可见，实施本发明能够通过u2net++网络的数据输入层对输入至u2net++网络的原始图像的图像尺寸缩小至目标尺寸，得到目标图像，并基于u2net++网络的特征提取层对目标图像进行多尺度特征提取，得到候选特征图集合，然后通过u2net++网络的多侧输出融合层对候选特征图集合进行特征融合处理，得到目标分割特征图，能够提高图像特征提取结果的提取效率和提取准确性，基于准确度更高的图像特征提取结果进行目标检测，以检测到的目标作为图像分割依据，能够提高图像分割依据的确定准确性，有利于提高图像分割结果的分割效率和分割准确性，从而有利于提高基于图像分割结果进行分析的准确性；以及，通过设置注意力模块，以识别图像中的关键特征，能够提高图像的关键特征的提取准确性，从而提高图像分割依据的确定可靠性，有利于进一步提高图像分割结果的精准性。