一种双重注意力机制的舌裂纹提取方法

1.本发明属于图像分析领域，具体涉及一种双重注意力机制的舌裂纹提取方法。


背景技术：

2.计算机辅助诊断(简称cad)是指帮助医生解释医学图像的系统。cad系统处理数字图像时会以突出显示某些部分(例如可能的疾病)，以此提供初步诊断结果，从而支持专业人员的决策。之前，cad系统主要用于检测乳腺和胸部的节段性病变，使用时需要复杂的仪器和程序来获得输入图像。近年来，由于舌表面病理特征的可分析性和舌图像的易获取性，cad系统在舌诊中的应用逐渐受到重视。因此，舌表面病理特征的自动提取具有重要意义，而提取得到舌表面病理特征是舌诊断cad系统的基本组成部分。
3.舌裂纹是指舌表面不同深度和形状的裂纹以及深入到舌表面的肌肉层的裂纹。在大多数情况下，舌裂纹可以被视为舌体表面一种变化的曲线结构，其深度取决于舌粘膜萎缩和病变的严重程度。由于舌裂纹的一些量化指标反映了脏腑的健康状况，因此备受研究者的关注。chen等人提出了一种基于bot-hat变换和otsu自适应阈值的舌裂纹提取方法。xue等人利用alexnet提取裂纹区域的深层特征，训练多实例支持向量机(svm)进行最终决策从而得到目标检测结果。chang等人利用resnet50作为模型的主干，进而利用梯度加权类激活映射(gradcam)对舌裂区进行识别和定位，并对舌裂区进行可视化。虽然上述方法能够取得一定的效果，但是仍存在如下问题：
4.1)舌裂纹边界模糊。在实际应用中，对一些小的区域进行分割是相当困难的，例如宽度小、深度不同的裂缝区域。更重要的是，与砖、路面和钢材表面不同，舌面并不光滑不平。舌片表面呈现复杂的蓬松结构，因此对舌片裂纹的边界判断造成很大干扰。此外，舌裂受舌表面丰富的病理细节的干扰，有些裂纹甚至逐渐变为普通纹理，这使得放大图像后难以区分某些像素是否属于舌裂区域。因此，在许多图像中，裂纹区域边界很难区分，一些困难的情况甚至给像素级标记带来了挑战。
5.2)舌裂纹图片具有多样性。舌裂纹图像的多样性可以大致分为两种。一种是舌裂纹形状的多样性，有些舌裂比较厚、深，但有的又浅又薄，占据了一个小面积(可能只有几个像素大小)，难以观察和分辨，难以让模型掌握它的形状特征。而另一种则是指非裂纹区域的多样性，如舌质和舌苔的颜色多样性。在某些极端情况下，舌裂的颜色与裂纹周围的舌苔颜色有着很高的相似性，难以辨别。此外，背景中的像素差异会带来很大的干扰，例如舌缘区域带来的干扰。总之，上述所有的方法都对分割模型的前景理解有一定的危害。
6.3)准确性和效率之间无法权衡。近年来，随着家庭智能医生的普及，在家用机器人和手机等移动电子设备上应用cad系统的需求日益增长，这有助于为用户提供安全、方便、廉价的医疗服务。因此，实现舌裂的实时提取具有重要意义。然而，大多数高精度算法通常需要大量的内存和计算资源，移动电子设备有限的计算能力也限制了分割精度。此外，由于深度学习方法的解释性不足，使得神经网络结构中各参数的性能最大化是非常困难的。因此，提高计算精度，同时降低计算量是一个很大的挑战。
7.综上，目前还没有一种具有良好泛化性能的像素级的、精确的且实时性较高的舌裂纹提取方法。


技术实现要素：

8.为解决上述问题，提供一种补全信息从而提高腺体分割边界解决腺体无法从背景中分别出来的问题的图像分割方法，本发明采用了如下技术方案：
9.本发明提供了一种双重注意力机制的舌裂纹提取方法，用于用于对舌裂纹图像进行提取得到舌裂纹结果，其特征在于，包括如下步骤：步骤s1-1，调整舌裂纹图像的亮度以及对比度得到变换后图像；步骤s1-2，对舌裂纹图像以及变换后图像进行处理得到双重输入特征图；步骤s1-3，将双重输入特征图输入预先训练好的编解码器，通过编解码器中的编码器从双重输入特征图中提取得到深层次特征图，基于深层次特征图利用编解码器中的解码器进行还原得到高级别特征图；步骤s1-4，对舌裂纹图像进行卷积处理得到低级别特征图，利用双重注意力机制模块对高级别特征图以及低级别特征图进行信息融合得到像素级别的标签，从标签中得到舌裂纹结果，其中，双重输入特征图、深层次特征图以及高级别特征图均通过快速卷积模块进行快速特征提取得到。
10.根据本发明提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，步骤s1-2包括如下子步骤：步骤s1-2-1，通过不同的卷积核分别对舌裂纹图像以及变换后图像进行特征提取，得到舌裂纹图像对应的特征以及变换后图像对应的特征，并分别作为第一重特征以及第二重特征；步骤s1-2-2，对第一重特征以及第二重特征进行特征融合得到双重拼接特征；步骤s1-2-3，通过2
×
2的池化层对双重拼接特征进行最大池化，得到双重最大池化特征图；步骤s1-2-4，利用快速卷积模块从双重最大池化特征图中进行快速特征提取，得到双重输入特征图，其中，快速卷积模块先利用1
×
1的点卷积对双重最大池化特征图进行特征提取，然后进行批标准化操作，再经过relu激活函数，得到第一特征图，接着通过3
×
3的深度可分离卷积进行特征提取，然后通过批标准化操作以及relu激活函数，得到第二特征图，将第一特征图以及第二特征图进行拼接得到双重输入特征图。
11.根据本发明提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，步骤s1-3中编码器包括三组最大池化层以及快速卷积模块，解码器包括两组上采样层以及快速卷积模块，编码器中的最大池化层将双重输入特征图的长以及宽降至原来的一半得到压缩双重输入特征图，编码器中的快速卷积模块对压缩双重输入特征图进行快速特征提取并将压缩双重输入特征图的通道数增加一倍，从而获得深层次特征图，解码器中的上采样层利用反卷积操作对深层次特征图进行上采样得到还原深层次特征图，并将该还原深层次特征图与在解码器中对应的压缩双重输入特征图进行拼接操作，得到拼接后深层次特征，解码器中的快速卷积模块对拼接后深层次特征进行快速特征提取得到高级别特征图。
12.根据本发明提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，步骤s1-4包括如下子步骤：步骤s1-4-1，对舌裂纹图像进行卷积处理得到低级别特征图；步骤s1-4-2，双重注意力机制模块对高级别特征图进行上采样得到上采样后高级别特征图；步骤s1-4-3，双重注意力机制模块将上采样后高级别特征图与低级别特征图进行信息融合得到第一注意力机制特征图；步骤s1-4-4，双重注意力机制模块将第一注
意力机制特征图和低级别特征图进行逐点相乘操作，从而得到抑制特征图；步骤s1-4-5，双重注意力机制模块将上采样后高级别特征图、低级别特征图以及抑制特征图进行信息融合，从而得到第二注意力机制特征图；步骤s1-4-6，双重注意力机制模块将第二注意力机制特征图与上采样后高级别特征图进行逐点相乘操作，从而得到新特征图；步骤s1-4-7，双重注意力机制模块分别对抑制特征图以及新特征图进行上采样并拼接，从而得到信息更加全面的特征图作为全面特征图；步骤s1-4-8，根据全面特征图得到像素级别的标签，并从标签中得到舌裂纹结果。
13.根据本发明提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，编解码器在训练过程中对训练集的处理包括如下步骤：步骤s2-1，利用预定的数据筛选方法对训练集进行筛选得到预训练数据集；步骤s2-2，利用预定的数据增强方法对预训练数据集进行数据增强得到增强训练集，其中，数据筛选方法包括如下步骤：步骤s3-1，对原始训练集中的每一张原始图片进行裁剪得到多个图像块；步骤s3-2，计算每一个图像块中前景的占比从而得到占比结果；步骤s3-3，根据占比结果以及预定的前景占比率挑选出前景占比较高的图像块作为预训练数据集。
14.根据本发明提供的一种双重注意力机制的舌裂纹提取方法，还可以具有这样的技术特征，其中，步骤s2-2中数据增强方法包括如下步骤：步骤s4-1，将预训练数据集中的每张图片旋转预定的角度得到旋转后数据集；步骤s4-2，利用与图片大小相同的矩形框对旋转后数据集进行裁剪得到裁剪后数据集；步骤s4-3，对裁剪后数据集中每张裁剪后图片的空缺部分进行填充得到完整数据集；步骤s4-4，通过改变角度，从而重复步骤s4-1至步骤s4-3得到多个完整数据集并作为增强训练集。
15.发明作用与效果
16.根据本发明的一种双重注意力机制的舌裂纹提取方法，由于双重输入特征图、深层次特征图以及高级别特征图均通过快速卷积模块进行快速特征提取得到，因此可以快捷地从图像中提取到对应的特征图，从而减少了计算量，使得本发明的双重注意力机制的舌裂纹提取方法能够直接应用在移动电子设备上完成中医上的舌体病理特征提取任务，具有较好的实用性。另外，由于双重注意力机制模块先后生成两次注意力机制特征图，并利用生成后的注意力机制特征图分别抑制来自于编码器和解码器的特征图中无关的特征响应并丰富其细节语义信息，从而考虑到了舌裂纹形状多变、深浅不一的特性，因此，具有较强的泛化能力，且有较好的分割精度。
17.通过本发明的一种双重注意力机制的舌裂纹提取方法，可以从丰富多样的舌裂纹图片上快速提取到特征，并且还能精准分割得到舌裂纹。
附图说明
18.图1为本发明实施例的一种双重注意力机制的舌裂纹提取方法的流程图；
19.图2为本发明的一种双重注意力机制的舌裂纹提取方法的流程示意图；
20.图3为本发明实施例的步骤s1-2子步骤的流程示意图；
21.图4为本发明实施例的图片裁剪的示意图；
22.图5为本发明实施例的舌裂纹结果与人工标签对比图；以及
23.图6为本发明实施例的双重注意力机制模块的工作流程示意图。
具体实施方式
24.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种双重注意力机制的舌裂纹提取方法作具体阐述。
25.《实施例》
26.图1为本发明实施例的一种双重注意力机制的舌裂纹提取方法的流程图；以及
27.图2为本发明的一种双重注意力机制的舌裂纹提取方法的流程示意图。
28.如图1以及图2所示，一种双重注意力机制的舌裂纹提取方法包括如下步骤：
29.步骤s1-1，调整舌裂纹图像的亮度以及对比度得到变换后图像。
30.步骤s1-2，对舌裂纹图像以及变换后图像进行处理(即双重输入模块)得到双重输入特征图。
31.其中，舌裂纹图像大小为h
×
w，经过步骤s1-1以及步骤s1-2处理后得到的双重输入特征图的大小为h/2
×
w/2。
32.图3为本发明实施例的步骤s1-2子步骤的流程示意图。
33.如图3所示，步骤s1-2包括如下子步骤：
34.步骤s1-2-1，通过不同的卷积核分别对舌裂纹图像以及变换后图像进行特征提取，得到舌裂纹图像对应的特征以及变换后图像对应的特征，并分别作为第一重特征以及第二重特征。
35.本实施例中，利用不同的3
×
3卷积操作分别对舌裂纹图像以及变换后图像进行特征提取，从而得到第一重特征以及第二重特征。
36.步骤s1-2-2，对第一重特征以及第二重特征进行特征融合得到双重拼接特征。
37.步骤s1-2-3，通过2
×
2的池化层对双重拼接特征进行最大池化，得到双重最大池化特征图。
38.步骤s1-2-4，利用快速卷积模块从双重最大池化特征图中进行快速特征提取，得到双重输入特征图。
39.其中，快速卷积模块先利用1
×
1的点卷积对双重最大池化特征图feature1进行特征提取，然后进行批标准化操作，再经过relu激活函数，得到第一特征图feature2。
40.接着通过3
×
3的深度可分离卷积进行特征提取，然后通过批标准化操作以及relu激活函数，得到第二特征图feature3。
41.将第一特征图以及第二特征图进行拼接得到双重输入特征图feature4，即：
42.feature4＝concat{conv(x),l(conv(x))}
ꢀꢀꢀ
(1)
43.式中，x为输入的特征图，conv为1
×
1卷积、批标准化和relu激活函数，concat为级联操作，l为3
×
3深度可分离卷积、批标准化和relu激活函数。
44.步骤s1-3，将双重输入特征图输入预先训练好的编解码器，通过编解码器中的编码器从双重输入特征图中提取得到深层次特征图，基于深层次特征图利用编解码器中的解码器进行还原得到高级别特征图。
45.其中，编码器通过聚集相邻像素值，将像素位置信息转换为通道信息，该编码器包括三组最大池化层以及快速卷积模块，即先输入2
×
2的最大池化层进行池化，然后输入快速卷积模块进行特征提取。
46.解码器通过整合编码器中对应层的信息，恢复图像大小，该解码器包括两组上采
样层以及快速卷积模块。
47.编码器中的2
×
2最大池化层将双重输入特征图的长以及宽降至原来的一半得到压缩双重输入特征图。
48.编码器中的快速卷积模块对压缩双重输入特征图进行快速特征提取并将压缩双重输入特征图的通道数增加一倍，从而获得深层次特征图。
49.解码器包括两组4倍上采样以及快速卷积模块，即先输入4倍上采样层进行上采样，然后输入快速卷积模块进行特征提取。
50.解码器中的上采样层利用反卷积操作对深层次特征图进行上采样得到还原深层次特征图，并将该还原深层次特征图与在解码器中对应的压缩双重输入特征图进行拼接操作，得到拼接后深层次特征。
51.解码器中的快速卷积模块对拼接后深层次特征进行快速特征提取得到高级别特征图。
52.其中，编解码器在训练过程中对训练集的处理包括如下步骤：
53.步骤s2-1，利用预定的数据筛选方法对训练集进行筛选得到预训练数据集。
54.其中，数据筛选方法包括如下步骤：
55.步骤s3-1，对原始训练集中的每一张原始图片进行裁剪得到多个图像块。
56.图4为本发明实施例的图片裁剪的示意图。
57.如图4所示，根据原始训练集中的每一张原始图片的分辨率，将原始图片裁剪成5
×
5均等大小的图像块，裁剪后的部分图像块如图2所示。
58.步骤s3-2，计算每一个图像块中前景的占比从而得到占比结果。
59.步骤s3-3，根据占比结果以及预定的前景占比率挑选出前景占比较高的图像块作为预训练数据集。
60.步骤s2-2，利用预定的数据增强方法对预训练数据集进行数据增强得到增强训练集。
61.其中，步骤s2-2中数据增强方法包括如下步骤：
62.步骤s4-1，将预训练数据集中的每张图片旋转预定的角度得到旋转后数据集。
63.步骤s4-2，利用与图片大小相同的矩形框对旋转后数据集进行裁剪得到裁剪后数据集。
64.本实施例中，利用与未旋转图片中心点一致的矩形框对旋转后数据集进行裁剪。
65.步骤s4-3，对裁剪后数据集中每张裁剪后图片的空缺部分进行填充得到完整数据集。
66.本实施例中，使每张裁剪后图片的空缺部分全黑。
67.步骤s4-4，通过改变角度，从而重复步骤s4-1至步骤s4-3得到多个完整数据集并作为增强训练集。
68.本实施例中，总共改变了4次角度从而得到增强训练集。
69.图5为本发明实施例的舌裂纹结果与人工标签对比图。
70.步骤s1-4，利用3
×
3卷积块以及2
×
2最大池化对舌裂纹图像进行卷积处理得到低级别特征图，利用双重注意力机制模块对高级别特征图以及低级别特征图进行信息融合得到像素级别的标签，利用快速卷积模块以及点卷积对该标签进行处理得到舌裂纹结果(如
图5所示)。
71.从图5可以看出，本发明的舌裂纹提取方法分割得到的舌裂纹相较于人工标签而言，更加精确。
72.图6为本发明实施例的步骤s1-4的子步骤流程示意图。
73.如图6所示，其中，步骤s1-4包括如下子步骤：
74.步骤s1-4-1，对舌裂纹图像进行卷积处理得到低级别特征图a；
75.步骤s1-4-2，双重注意力机制模块对高级别特征图进行上采样得到上采样后高级别特征图b；
76.步骤s1-4-3，双重注意力机制模块将上采样后高级别特征图b与低级别特征图a进行信息融合得到第一注意力机制特征图c；
77.步骤s1-4-4，双重注意力机制模块将第一注意力机制特征图c和低级别特征图a进行逐点相乘操作，从而得到抑制特征图d；
78.步骤s1-4-5，双重注意力机制模块将上采样后高级别特征图b、低级别特征图a以及抑制特征图d进行信息融合，从而得到第二注意力机制特征图e；
79.步骤s1-4-6，双重注意力机制模块将第二注意力机制特征图e与上采样后高级别特征图b进行逐点相乘操作，从而得到新特征图f；
80.步骤s1-4-7，双重注意力机制模块分别对抑制特征图d以及新特征图f进行上采样并拼接，从而得到信息更加全面的特征图作为全面特征图g；
81.步骤s1-4-8，根据全面特征图g得到像素级别的标签，并从标签中得到舌裂纹结果。
82.为了验证本发明的一种双重注意力机制的舌裂纹提取方法的效果，利用本发明的舌裂纹提取方法与目前主流的分割方法fcn、unet、deeplabv3、deeplabv3+以及espnet_v2进行实验对比，它们的分割结果iou值分别为0.358，0.518，0.535，0.482，0.504，而本发明舌裂纹提取方法的平均iou达0.606，均高于主流分割方法的iou，从而证明本发明的双重注意力机制的舌裂纹提取方法分割精度高。
83.实施例作用与效果
84.根据本实施例提供的双重注意力机制的舌裂纹提取方法，由于双重输入特征图、深层次特征图以及高级别特征图均通过快速卷积模块进行快速特征提取得到，因此可以快捷地从图像中提取到对应的特征图，从而减少了计算量，使得本发明的双重注意力机制的舌裂纹提取方法能够直接应用在移动电子设备上完成中医上的舌体病理特征提取任务，具有较好的实用性。
85.另外，由于双重注意力机制模块先后生成两次注意力机制特征图，并利用生成后的注意力机制特征图分别抑制来自于编码器和解码器的特征图中无关的特征响应并丰富其细节语义信息，从而考虑到了舌裂纹形状多变、深浅不一的特性，因此，具有较强的泛化能力，且有较好的分割精度。
86.上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。