1.一种基于多尺度特征与前背景对比的图像语义分割方法,其特征在于,包括如下步骤:
步骤a:首先对输入图像进行预处理,然后进行编码得到fenc,接着优化编码过程中的浅层特征得到
步骤b:基于步骤a搭建的核心神经网络,利用标注数据集迭代更新网络中的参数直至收敛,完成模型的训练;
步骤c:结合步骤a搭建的核心神经网络和步骤b中训练好的网络参数,从得到的语义分割概率图pss中的每个位置选取概率最大的一项作为该像素位置的分类,得到最后的语义分割结果。
2.根据权利要求1所述的基于多尺度特征与前背景对比的图像语义分割方法,其特征在于,在所述步骤a中,首先对输入图像进行预处理,然后进行编码得到fenc,接着优化编码过程中的浅层特征得到
步骤a1:预处理输入图像,对其进行标准化,即针对每张输入图像的每个通道,在原像素值的基础上减去各自的像素平均值;
步骤a2:首先用卷积网络处理步骤a1中得到的标准化图像,然后获取具有多尺度前背景对比表示的编码特征fenc;
步骤a3:选取步骤a2中卷积网络处理的中间层特征进行二次优化得到
步骤a4:基于像素重排技术和密集连接结构,结合fenc和
3.根据权利要求2所述的基于多尺度特征与前背景对比的图像语义分割方法,其特征在于,在所述步骤a2中,首先用卷积网络处理步骤a1中得到的标准化图像,然后获取具有多尺度前背景对比表示的编码特征fenc,包括以下步骤:
步骤a21:使用卷积神经网络提取特征fbase;
步骤a22:使用具有不同扩张比率的扩张卷积分别处理特征fbase得到多个不同级别的前景上下文表示特征;扩张比率越大,得到的特征级别越高;其中扩张卷积的公式如下:
ydc[m]=∑xdc[mdc+rdc·kdc]wdc[kdc]
其中,xdc与ydc分别为卷积前后的值,mdc与kdc分别为图像和卷积核的位置坐标,wdc为权重卷积核,rdc为带孔卷积的比率;
步骤a23:使用具有不同划分区域数的平均池化操作处理特征fbase得到多个不同级别的背景上下文表示特征;划分的区域越小,得到的特征级别越高;然后再分别用双线性插值缩放特征到原始输入大小;其中池化尺寸dp可通过输入特征尺寸λ和划分区域数p由如下公式计算得到:
步骤a24:将步骤a22中得到前景上下文表示特征分别减去步骤a23中得到的背景上下文表示特征,得到多个对比上下文特征;
步骤a25:将步骤a24中计算得到的全部对比上下文特征和fbase在通道维度上进行拼接,然后通过卷积核为1的卷积操作对其进行特征降维,最后利用随机失活技术处理提升泛化性能,得到多尺度前背景对比表示特征作为最终的编码特征fenc。
4.根据权利要求2所述的基于多尺度特征与前背景对比的图像语义分割方法,其特征在于,在所述步骤a3中,选取步骤a2中卷积网络处理的中间层特征进行二次优化得到
步骤a31:从步骤a2中的卷积网络中选择尺寸大于编码特征fenc的中间层特征
步骤a32:用由预激活的残差块和一个3×3卷积构成的适配卷积单元处理
其中基础块fbb由批量标准化、激活函数和3×3卷积组成,
步骤a33:对于得到的边界优化特征
步骤a34:选取不同的步长os重复步骤a32和步骤a33,得到多对
5.根据权利要求2所述的基于多尺度特征与前背景对比的图像语义分割方法,其特征在于,在所述步骤a4中,基于像素重排技术和密集连接结构,结合fenc和
步骤a41:先使用1×1卷积对待解码特征fenc进行降维,然后用适配卷积单元处理;
步骤a42:将步骤a41中经适配卷积单元处理得到的特征和具有相同尺寸的
步骤a43:陆续用3×3卷积和1×1卷积进行处理后,然后与步骤a41中的待解码特征fenc进行拼接;
步骤a44:对步骤a43中得到的特征进行像素重排得到更大尺寸的特征,即在特征中的每个位置按通道分别取rh·rw个数进行分组,然后重新排列为通道数为1,高宽分别为rh和rw的特征,其中rh和rw分别为重排后高宽缩放系数;
步骤a45:将步骤a44获得的解码特征与双线性插值缩放后的fenc进行拼接作为新的待解码特征,重复步骤a41至a44直至无剩余
其中,σc为c类别的概率,e为自然指数,γc和γk分别表示类别为c和k的未激活特征值,c为总类别数。
6.根据权利要求1所述的基于多尺度特征与前背景对比的图像语义分割方法,其特征在于,在所述步骤b中,基于步骤a搭建的核心神经网络,利用标注数据集迭代更新网络中的参数直至收敛,完成模型的训练,包括以下步骤:
步骤b1:利用已存在参数或者随机初始化模型参数;
步骤b2:使用随机缩放和随机裁剪对输入图像进行数据增强;
步骤b3:基于步骤a搭建的核心神经网络进行前向计算;
步骤b4:将步骤a中得到的
其中,σ为概率,e为自然指数,γ表示未激活特征值;
步骤b5:利用训练集的语义分割标注计算边缘检测标注,计算公式如下:
其中,yedge(i,j)和
步骤b6:利用语义分割和边缘两者的概率图与其对应标注,分别计算像素级的交叉熵,得到对应语义分割损失lss和辅助监督的边缘损失led,然后计算加权和损失l:
l=lss+αled
其中,α为led在最终损失中所占的权重;
步骤b7:基于随机梯度下降优化算法,以最小化加权和损失为目标,利用反向传播更新模型参数;
步骤b8:重复步骤b2至步骤b7,直至模型收敛后完成模型的训练,保存训练得到的模型参数。
7.一种基于多尺度特征与前背景对比的图像语义分割系统,其特征在于,包括:
核心网络模块,用于搭建模型的核心网络结构,包括编码子模块、解码子模块以及边界优化子模块;首先对输入图像进行预处理,然后通过编码子模块进行编码得到fenc,接着通过边界优化子模块优化编码过程中的浅层特征得到
模型训练模块,用于训练模型,得到优秀的网络模型参数并保存,包括参数初始化子模块、数据增强子模块、核心网络子模块、损失计算子模块以及参数更新子模块;首先,通过参数初始化子模块初始化模型参数,然后通数据增强子模块对输入图像进行数据增强,接着通过核心网络结构基于核心网络模块搭建的核心神经网络进行前向计算,而后通过损失计算子模块及参数更新子模块,对核心网络子模块的核心神经网络进行参数的更新;
图像分割模块,用于对图像语义分割的概率图pss进行进一步处理得到最后的语义分割结果,包括参数加载子模块、核心网络子模块、输出子模块;通过参数加载子模块加载模型训练模块得到的参数至核心网络模块搭建的核心神经网络,经由核心网络子模块对图像语义分割的概率图pss处理后,由输出子模块输出最后的语义分割结果。