技术特征：
1.一种基于图像融合技术的多模态图像分割方法，其特征包括以下步骤：步骤1：融合多模态图像：步骤1.1：数据获取及预处理：根据分割需求选取第一模态图像s1和第二模态图像s2并作为源模态图像后对其随机裁剪成尺寸为l
×
h
×
w的图像样本后再进行归一化处理，从而得到预处理后的第一模态图像s
′1和第二模态图像s
′2；步骤1.2：建立基于像素级的融合网络：所述像素级的融合网络包含两个结构相同的分支，每个分支均包含一个卷积层conv
x
和一个残差层res-conv
x
，x＝1或2；其中，残差层是由两个卷积层跳跃连接组成；其中，卷积层包括：1个三维卷积层，1个批量归一化层以及1个relu激活函数层；每个分支接收一种模态图像集，从而将预处理后的第一模态图像集s
′1和第二模态图像集s
′2分别经过两个分支的处理后，相应输出第一模态特征图f1和第二模态特征图f2；将第一模态特征图f1和第二模态特征图f2拼接后依次输入第三个残差层res-conv3的处理后再经过两个卷积层conv3和conv4以及一个激活函数层的处理，并得到权重图m，从而利用式(1)得到所述像素级的融合网络输出的融合模态图像f：f＝ms1+(1-m)s2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)步骤1.3：构建如式(2)所示的损失函数l
fusion
：l
fusion
＝l
pixel
+αl
ssim
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式(2)中，α是平衡两项损失在同一数量级的参数，l
pixel
与l
ssim
分别代表训练的像素损失和结构相似性损失，并有：l
ssim
＝γ(1-ssim(f,s1))+(1-ssim(f,s2))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)式(3)中，β表示权重系数，表示f范数；式(4)中，γ表示权重系数，ssim(
·
)表示结构相似度；步骤1.4：基于预处理后的第一模态图像s
′1和第二模态图像s
′2训练像素级的融合网络，并采用反向传播算法对所述损失函数l
fusion
进行优化求解，从而调整所述融合网络中所有参数，当训练迭代次数达到设定的次数或损失函数l
fusion
的值达小于所设定的阈值时，训练停止，从而得到最优融合模型及其输出的融合图像，并将输出的融合图像还原至源模态图像的尺寸，得到最优融合图像f
*
；步骤2：分割多模态图像：步骤2.1：数据预处理：将源模态图像与最优融合图像f
*
拼接后随机裁剪成尺寸为l1×
h1×
w1的图像块并进行归一化处理，得到预处理后的n个图像块，且每个图像块对应一个模态；获取源模态图像对应的真实标签图像g；步骤2.2：建立基于特征级融合的多模态特征选择模块：根据图像块的模态数量n，设置所述多模态特征选择模块包含的并行分支个数为n，使得每个并行分支对应一种模态图像；第n个并行分支使用一个卷积层来提取对应第n种模态的图像块的浅层特征u
n
，从而得
到n个尺寸为l1×
h1×
w1×
c的浅层特征u1,u2,
…
,u
n
…
,u
n
，n＝1,2,...,n，c为通道数；将不同并行分支提取的浅层特征u1,u2,
…
,u
n
…
,u
n
相加得到中间融合特征u，再将中间融合特征u通过一个全局平局池化层的处理后得到尺寸为1
×1×1×
c的通道特征向量s
c
；使用一个卷积层对所述通道特征向量s
c
进行下采样操作以降低通道数量，从而得到尺寸为1
×1×1×
c/r的特征向量z；n个并行分支对所述特征向量z使用n个卷积层的上采样处理，得到n个尺寸为1
×1×1×
c的特征向量并使用softmax层的激活处理，得到n个分支上的权重向量t1,t2,
…
,t
n
,
…
,t
n
，从而利用式(5)得到多模态特征选择模块输出的融合特征v：式(5)中，t
n
表示第n个分支上的权重向量，u
n
表示第n个分支上的浅层特征；步骤2.3：建立分割网络，并将融合特征v输入所述分割网络中进行处理，得到分割结果图像p；步骤2.4：构建如式(6)所示的损失函数l
seg
：l
seg
＝l
dice
+λl
bce
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式(6)中，λ是权重系数，l
dice
与l
bce
分别代表训练的dice损失与bce损失，并有：分别代表训练的dice损失与bce损失，并有：式(7)和式(8)中，p
i
代表分割结果图像p中第i个像素点的预测值，g
i
代表真实标签图像g中第i个像素点的真实标签值，v代表图像像素点的数量；步骤2.4.2：基于源模态图像s1，s2，融合模态图像f及真实标签图像g对所述分割网络进行训练，并采用反向传播算法对所述损失函数l
seg
进行优化求解，从而调整所述分割网络中所有参数，当训练迭代次数达到设定的次数或损失函数l
seg
的值达小于所设定的阈值时，训练停止，从而得到最优分割模型；步骤2.5：将待分割的多模态图像输入至所述最优分割模型中，并得到分割结果后还原至原始尺寸，从而得到最终的分割图像。
技术总结
本发明公开了一种基于图像融合技术的多模态图像分割方法，包括：第一步，融合多模态图像：数据获取及预处理，建立基于像素级的融合网络，训练网络和输出融合模态图像；第二步，分割多模态图像：数据获取及预处理，建立基于特征级融合的多模态特征选择模块与分割网络，分割网络训练和分割图像后处理。本发明从像素级融合和特征级融合两个角度提升了图像分割的精度，为图像的进一步分析处理提供了有力的支持。持。持。
技术研发人员：刘羽 牧富豪 成娟 李畅 宋仁成 陈勋
受保护的技术使用者：合肥工业大学
技术研发日：2022.02.11
技术公布日：2022/5/16