一种基于多尺度残差编解码网络的图像分割方法及系统

文档序号:28741672发布日期:2022-02-07 22:17阅读:来源:国知局

技术特征:
1.一种基于多尺度残差编解码网络的图像分割方法,其特征在于,对皮肤病变图像进行预处理;对所述预处理后的图像进行数据增强,得到更多的图像数据,即输入特征图像;基于多尺度残差编解码网络对所述输入特征图像进行特征提取、编码特征融合以及解码特征融合;其中,多尺度残差编解码网络基于cs2-net,采用多尺度特征提取模块m2f2代替cs2-net中的卷积模块,用多尺度残差编码特征融合模块msr-efm整合网络编码阶段不同层之间的多尺度上下文信息,用多尺度残差解码特征融合模块msr-dfm整合网络解码阶段不同层之间的多尺度上下文信息;多尺度特征提取模块m2f2中设置四条支路,每条支路中设置卷积层、多尺度特征提取单元以及特征拆分拼接单元,每条支路将输入特征图进行卷积以及多尺度特征提取后,分别得到对应的特征图,再过特征拼接单元将特征图进行拼接后得到需要提取的多尺度特征图;编码阶段不同层的多尺度特征图作为多尺度残差编码特征融合模块msr-efm的输入;多尺度残差编码特征融合模块msr-efm中设置卷积单元、池化单元以及权重分配单元,卷积单元用于改变多尺度特征图的通道数量,池化单元用于缩小特征图的尺寸,权重分配单元用于分别赋予不同层特征图像权重;多尺度残差解码特征融合模块msr-dfm中设置上采样单元、卷积单元、池化单元和多层感知机;上采样单元用于将解码阶段不同层的特征图统一至最终输出所需的尺寸,卷积单元用于捕获特征图的局部信息并改变特征图的通道数量;池化单元和多层感知机用于提炼特征图的空间信息,以得到特征图的空间注意力,对拼接后的特征f进行最大值池化、平均池化及soft池化,得到其空间注意力特征,然后再对其进行通道注意力操作,得到通道注意力后的特征,再对该特征进行sigmoid激活操作,得到最终的分割结果。2.根据权利要求1所述的基于多尺度残差编解码网络的图像分割方法,其特征在于,多尺度特征提取模块m2f2将输入特征图的通道数通过卷积改变至输出特征图所需的通道数,将所得到的特征图记为f1;将输入特征图的通道数通过卷积降低至1/4,再提取多尺度特征,将所得到的特征图记为f2;将输入特征图的通道数通过卷积降低至1/8,然后提取多尺度特征,将所得到的特征图记为f3;将输入特征图的通道通过卷积层数降至1/8,然后再进行卷积后提取多尺度特征,将所得到的特征图记为f4;将特征图f2、f3和f 4
拼接起来记为f
234
,,将特征图f
234
通道数变为和输出特征相同的通道数记为f
123
;m2f2最终的输出特征图f1+f
123
。3.根据权利要求1所述的基于多尺度残差编解码网络的图像分割方法,其特征在于,多尺度残差编码特征融合模块msr-efm中,首先通过卷积单元和池化单元将网络编码阶段不同层的特征图像重采样至同一尺寸,得到重采样后的特征图像,同时分别赋予各层权重,得到有效融合后的多尺度编码特征。4.根据权利要求1所述的基于多尺度残差编解码网络的图像分割方法,其特征在于,多尺度残差解码特征融合模块msr-dfm中,首先通过双线性差值的上采样方式将不同层的特征图像重采样至同一尺寸,再进行卷积处理,将卷积处理后得到的特征图沿卷积通道维度拼接,得到拼接后的特征f。5.根据权利要求1所述的基于多尺度残差编解码网络的图像分割方法,其特征在于,皮肤病变图像进行预处理时,将获取的原始皮肤病变图像处理,得到尺寸为预设像素的图像,
作为神经网络的输入。6.根据权利要求1所述的基于多尺度残差编解码网络的图像分割方法,其特征在于,数据增强时将预处理得到的图像进行随机旋转-20度至20度、水平翻转、垂直翻转以及随机裁剪四种随机操作,得到更多的训练数据。7.一种基于多尺度残差编解码网络的皮肤病变图像分割系统,其特征在于,包括图像数据处理模块以及特征编解码网络模块;图像数据处理模块用于对图像预处理并进行数据增强,得到更多的训练数据;所述特征编解码网络模块基于多尺度残差编解码网络对所述输入特征图像进行特征提取、编码特征融合以及解码特征融合;其中,多尺度残差编解码网络基于cs2-net,采用多尺度特征提取模块m2f2代替cs2-net中的卷积模块,用多尺度残差编码特征融合模块msr-efm整合网络编码阶段不同层之间的多尺度上下文信息,用多尺度残差解码特征融合模块msr-dfm整合网络解码阶段不同层之间的多尺度上下文信息;多尺度特征提取模块m2f2中设置四条支路,每条支路中设置卷积层、多尺度特征提取单元以及特征拆分拼接单元,每条支路将输入特征图进行卷积以及多尺度特征提取后,分别得到对应的特征图,再过特征拼接单元将特征图进行拼接后得到需要提取的多尺度特征图;编码阶段不同层的多尺度特征图作为多尺度残差编码特征融合模块msr-efm的输入;多尺度残差编码特征融合模块msr-efm中设置卷积单元、池化单元以及权重分配单元,卷积单元用于改变多尺度特征图的通道数量,池化单元用于缩小特征图的尺寸,权重分配单元用于分别赋予不同层特征图像权重;多尺度残差解码特征融合模块msr-dfm中设置上采样单元、卷积单元、池化单元和多层感知机;上采样单元用于将解码阶段不同层的特征图统一至最终输出所需的尺寸,卷积单元用于捕获特征图的局部信息并改变特征图的通道数量;池化单元和多层感知机用于提炼特征图的空间信息,以得到特征图的空间注意力,对拼接后的特征f进行最大值池化、平均池化及soft池化,得到其空间注意力特征,然后再对其进行通道注意力操作,得到通道注意力后的特征,再对该特征进行sigmoid激活操作,得到最终的分割结果。8.一种计算机设备,其特征在于,包括处理器以及存储器,存储器用于存储计算机可执行程序,处理器从存储器中读取所述计算机可执行程序并执行,处理器执行计算可执行程序时能实现权利要求1~6中任一项所述基于多尺度残差编解码网络的图像分割方法。9.一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,能实现如权利要求1~6中任一项所述的基于多尺度残差编解码网络的图像分割方法。

技术总结
本发明公开一种基于多尺度残差编解码网络的图像分割方法及系统,对皮肤病变图像进行预处理;对所述预处理后的图像进行数据增强,得到更多的图像数据,即输入特征图像;基于多尺度残差编解码网络对所述输入特征图进行特征提取、编码特征融合以及解码特征融合;对拼接后的特征F进行最大值池化、平均池化及soft池化,得到其空间注意力特征,然后再对其进行通道注意力操作,得到通道注意力后的特征,再对该特征进行sigmoid激活操作,得到最终的分割结果;皮肤病变分割网络Ms RED分割效果更好,尤其是于形状不规则,尺度变化大,对比度不明显,边界模糊的病变有良好的分割结果;本发明所设计的Ms RED网络,在临床皮肤病诊断中有巨大的应用潜力。巨大的应用潜力。巨大的应用潜力。


技术研发人员:代笃伟 徐颂华 李宗芳
受保护的技术使用者:西安交通大学医学院第二附属医院
技术研发日:2021.11.01
技术公布日:2022/2/6
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1