一种基于多粒度网络融合的光学遥感图像分割方法和装置与流程

本发明涉及图像处理技术领域，具体涉及一种基于多粒度网络融合的光学遥感图像分割方法和装置。

背景技术：

随着遥感技术的快速发展，光学遥感图像空间分辨率越来越高，现今高清光学遥感图像已进入商用化阶段。得益于高清光学遥感图像的高空间分辨率，图像中许多细节能够被清楚地呈现出来，给遥感图像精细分割提供了强有力的数据支持。深度学习方法已广泛用于遥感图像分割，常见的深度学习方法有卷积神经网络，包含vgg、fcn等网络。针对复杂光学遥感图像，vgg网络能够实现光学遥感图像的精细分割，但是也同时极大受复杂背景的干扰，产生许多误检。与此同时，fcn网络虽然能够很大程度上抑制复杂背景的干扰，但是对光学遥感图像分割的精细程度不够，无法实现精细的光学遥感图像分割。

技术实现要素：

针对现有技术的不足，本发明提供一种基于多粒度网络融合的光学遥感图像分割方法和装置。

第一方面，本发明提供了一种基于多粒度网络融合的光学遥感图像分割方法，该方法包括：

步骤1，采集至少一张光学遥感图像作为训练图像，设置至少一种图像类别，并对所述训练图像标注所述图像类别。

步骤2，基于被标注的训练图像，利用反向传播算法对预先构建的多粒度网络融合模型进行训练，其中，所述多粒度网络融合模型包括四个子神经网络。

步骤3，将待处理图像输入经训练的多粒度网络融合模型中，根据所述四个子神经网络确定所述待处理图像中每个像素的所述图像类别，并将所述待处理图像中每个像素的所述图像类别作为分割结果输出。

第二方面，本发明提供了一种基于多粒度网络融合的光学遥感图像分割装置，该装置包括：

第一处理模块，用于采集至少一张光学遥感图像作为训练图像，设置至少一种图像类别，并对所述训练图像标注所述图像类别。

第二处理模块，用于基于被标注的训练图像，利用反向传播算法对预先构建的多粒度网络融合模型进行训练，其中，所述多粒度网络融合模型包括四个子神经网络。

第三处理模块，用于将待处理图像输入经训练的多粒度网络融合模型中，根据所述四个子神经网络确定所述待处理图像中每个像素的所述图像类别，并将所述待处理图像中每个像素的所述图像类别作为分割结果输出。

第三方面，本发明提供了一种基于多粒度网络融合的光学遥感图像分割装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的基于多粒度网络融合的光学遥感图像分割方法。

第四方面，本发明提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于多粒度网络融合的光学遥感图像分割方法。

本发明提供的基于多粒度网络融合的光学遥感图像分割方法和装置的有益效果是，采用包括多个不同结构特点的子神经网络的多粒度网络融合模型进行训练与辨识，由于融合的模型可分别具有精细分割光学遥感图像的特点、增强稳定性的特点以及有效抑制复杂背景干扰的特点，从而可提高对光学遥感图像的精细分割能力及复杂背景干扰抑制能力，针对复杂光学遥感图像，可有效实现对图像的精细分割并且有效抑制背景干扰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种基于多粒度网络融合的光学遥感图像分割方法的流程示意图；

图2为本发明实施例的多粒度网络融合模型的示意图；

图3为本发明实施例的一种基于多粒度网络融合的光学遥感图像分割装置的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例的一种基于多粒度网络融合的光学遥感图像分割方法包括：

步骤1，采集至少一张光学遥感图像作为训练图像，设置至少一种图像类别，并对所述训练图像标注所述图像类别。其中，图像类别可为建筑物、道路、草地、树木等，可在训练前对训练图像每个像素进行类别标注。

步骤2，基于被标注的训练图像，利用反向传播算法对预先构建的多粒度网络融合模型进行训练，获得相应模型参数，其中，所述多粒度网络融合模型包括四个子神经网络。

步骤3，将待处理图像输入经训练的多粒度网络融合模型中，根据所述四个子神经网络确定所述待处理图像中每个像素的所述图像类别，并将所述待处理图像中每个像素的所述图像类别作为分割结果输出。

在本实施例中，采用包括多个不同结构特点的子神经网络的多粒度网络融合模型进行训练与辨识，由于融合的模型可分别具有精细分割光学遥感图像的特点、增强稳定性的特点以及有效抑制复杂背景干扰的特点，从而可提高对光学遥感图像的精细分割能力及复杂背景干扰抑制能力，针对复杂光学遥感图像，可有效实现对图像的精细分割并且有效抑制背景干扰。

优选地，所述四个子神经网络包括第一子网络n1、第二子网络n2、第三子网络n3和第四子网络n4，所述步骤3的具体实现包括：由所述第一子网络n1将所述待处理图像逐层处理获得细粒度分割得分图，由所述第二子网络n2将所述待处理图像逐层处理获得中粒度分割得分图，由所述第三子网络n3将所述待处理图像逐层处理获得粗粒度分割得分图，由所述第四子网络n4融合所述细粒度分割得分图、所述中粒度分割得分图和所述粗粒度分割得分图。

第一子网络n1能够精细分割光学遥感图像，第二子网络n2能够增强模型在同时处理精细分割和背景干扰时的稳定性，第三子网络n3能够有效抑制复杂图像背景的干扰，第四子网络n4将多粒度网络n1、n2、n3进行融合，结合各种粒度网络的优点，使得基于多粒度网络融合模型的图像分割方法能够同时实现对光学遥感图像的精细分割与复杂背景的有效抑制。

优选地，所述第一子网络n1包括依次设置的至少一个卷积层c¹、下采样层p¹和全连接层f¹；所述第二子网络n2包括依次设置的至少一个卷积层c²、下采样层p²、上采样层d²和融合层a²；所述第三子网络n3包括依次设置的至少一个卷积层c³、下采样层p³和上采样层d³；所述第四子网络n4包括依次设置的至少一个融合层a⁴和卷积层c⁴。

在第一子网络n1中，还可表示为卷积层{ci¹,i＝1,…,nc¹,nc¹≥1}，下采样层{pi¹,i＝1,…,np¹,np¹≥1}，全连接层{fi¹,i＝1,…,nf¹,nf¹≥1}。其中，i为变量，nc¹表示卷积层的层数，np¹表示下采样层的层数，nf¹表示全连接层的层数。

在第二子网络n2中，还可表示为卷积层{ci²,i＝1,…,nc²,nc²≥1}，下采样层{pi²,i＝1,…,np²,np²≥1}，上采样层{di²,i＝1,…,nd²,nd²≥1}，融合层{ai²,i＝1,…,na²,na²≥1}。其中，i为变量，nc²表示卷积层的层数，np²表示下采样层的层数，nd²表示上采样层的层数，na²表示融合层的层数。

在第三子网络n3中，还可表示为卷积层{ci³,i＝1,…,nc³,nc³≥1}，下采样层{pi³,i＝1,…,np³,np³≥1}，上采样层{di³,i＝1,…,nd³,nd³≥1}。其中，i为变量，nc³表示卷积层的层数，np³表示下采样层的层数，nd³表示上采样层的层数。

在第四子网络n4中，还可表示为融合层{ai⁴,i＝1,…,na⁴,na⁴≥1}，卷积层{ci⁴,i＝1,…,nc⁴,nc⁴≥1}。其中，i为变量，na⁴表示融合层的层数，nc⁴表示卷积层的层数。

优选地，在所述第二子网络n2中，所述融合层a²拼接或相加位于所述融合层a²之前的任意至少两层的输出，并将拼接结果传给所述融合层a²之后的下一层；在所述第四子网络n4中，所述融合层a⁴拼接或相加所述第一子网络n1的最后一层、所述第二子网络n2的最后一层和所述第三子网络n3的最后一层的输出，并将拼接结果传给所述融合层a⁴之后的下一层。

优选地，如图2所示，所述第一子网络n1包括依次设置的卷积层c1¹、卷积层c2¹、下采样层p1¹、卷积层c3¹、卷积层c4¹、下采样层p2¹、卷积层c5¹、卷积层c6¹、卷积层c7¹、下采样层p3¹、卷积层c8¹、卷积层c9¹、卷积层c10¹、下采样层p4¹、卷积层c11¹、卷积层c12¹、卷积层c13¹、下采样层p5¹、全连接层f1¹、全连接层f2¹和全连接层f3¹。

也就是说，在第一子网络n1中，共包括nc¹＝13个卷积层，np¹＝5个下采样层和nf¹＝3个全连接层。

所述第二子网络n2包括依次设置的卷积层c1²、卷积层c2²、下采样层p1²、卷积层c3²、卷积层c4²、下采样层p2²、卷积层c5²、卷积层c6²、下采样层p3²、卷积层c7²、卷积层c8²、下采样层p4²、卷积层c9²、卷积层c10²、上采样层d1²、融合层a1²、卷积层c11²、卷积层c12²、上采样层d2²、融合层a2²、卷积层c13²、卷积层c14²、上采样层d3²、融合层a3²、卷积层c15²、卷积层c16²、上采样层d4²、融合层a4²、卷积层c17²、卷积层c18²和卷积层c19²。

也就是说，在第二子网络n2中，共包括nc²＝19个卷积层，np²＝4个下采样层，nd²＝4个上采样层和na²＝4个融合层。

所述第三子网络n3包括依次设置的卷积层c1³、卷积层c2³、下采样层p1³、卷积层c3³、卷积层c4³、下采样层p2³、卷积层c5³、卷积层c6³、卷积层c7³、下采样层p3³、卷积层c8³、卷积层c9³、卷积层c10³、下采样层p4³、卷积层c11³、卷积层c12³、卷积层c13³、下采样层p5³、卷积层c14³、卷积层c15³、卷积层c16³、上采样层d1³、上采样层d2³、上采样层d3³、上采样层d4³和上采样层d5³。

也就是说，在第三子网络n3中，共包括nc³＝16个卷积层，np³＝5个下采样层和nd³＝5个上采样层。

所述第四子网络n4包括依次设置的融合层a1⁴、卷积层c1⁴、卷积层c2⁴、卷积层c3⁴、卷积层c4⁴和卷积层c5⁴。

也就是说，在第四子网络n4中，共包括na⁴＝1个融合层和nc⁴＝5个卷积层。

其中，n1、n2、n3中的下采样层可以利用池化操作实现下采样，也可以利用带有步进大于1的卷积操作实现下采样，以实现对图像特征的降维。n2、n3中的上采样层可利用反卷积操作实现上采样，也可以利用上池化操作实现上采样，以实现对图像特征的升维。n2、n4中的融合层可利用拼接操作实现融合，也可以利用相加操作实现融合，以实现对图像特征的融合。

优选地，所述步骤3具体包括：

步骤3.1，将所述待处理图像裁剪成至少两个图像块，例如以待处理图像中多个像素点为中心分别裁剪出多个9ⅹ9像素尺寸的图像块，将每个所述图像块输入所述第一子网络n1中，所述图像块依次经过所述第一子网络n1中各层的处理，并由最后一层为每个所述图像块输出类别得分，将所有所述图像块对应的所述类别得分拼合成所述细粒度分割得分图。

步骤3.2，将所述待处理图像输入所述第二子网络n2中，所述待处理图像依次经过所述第二子网络n2中各层的处理，并由最后一层输出所述中粒度分割得分图。

步骤3.3，将所述待处理图像输入所述第三子网络n3中，所述待处理图像依次经过所述第三子网络n3中各层的处理，并由最后一层输出所述粗粒度分割得分图。

步骤3.4，将所述细粒度分割得分图、所述中粒度分割得分图和所述粗粒度分割得分图输入所述第四子网络n4中，所述第四子网络n4的第一个融合层将所述细粒度分割得分图、所述中粒度分割得分图和所述粗粒度分割得分图进行拼接或相加，拼接或相加后的得分图经过所述第一个融合层之后各层的处理，并由最后一层输出所述待处理图像中每个像素的所述图像类别。

第一子网络n1中卷积层用于提取图像特征，下采样层用于对图像特征降维，全连接层用于为每个图像块计算分割得分，最后通过拼合所有图像块对应的得分获得整幅图像对应的分割得分图。由上述n1的分割计算过程可知，n1能够对待处理图像中每个像素点执行分割计算，因此n1能够实现对光学遥感图像的精细分割，输出细粒度分割得分图。

第二子网络n2中卷积层用于提取图像特征，下采样层用于对图像特征降维，上采样层用于对图像特征升维，融合层a1²用于拼接c8²和d1²层输出的图像特征，融合层a2²用于拼接c6²和d2²层输出的图像特征，融合层a3²用于拼接c4²和d3²层输出的图像特征，融合层a4²用于拼接c2²和d4²层输出的图像特征。融合层融合了来自低层的细节信息和来自高层的语义信息，由此n2输出中粒度分割得分图。另外，所述细节信息有益于精细分割，所述语义信息有益于处理复杂背景干扰。因此，n2能够实现在精细分割和复杂背景干扰抑制之间的性能平衡，增强模型稳定性。

第三子网络n3中卷积层用于提取图像特征，下采样层用于对图像特征降维，上采样层用于对图像特征升维。由上述n3的结构可知，下采样层通过执行特征降维使得图像特征减少了细节信息，后端的上采样层在执行升维过程中也没有加入额外的细节信息。因此，n3输出粗粒度分割得分图，由于细节信息的减少使得n3能够尽量避免复杂背景的干扰。

第四子网络n4利用融合层a1⁴拼接n1、n2、n3输出的细粒度、中粒度和粗粒度分割得分图，接着卷积层提取图像特征，最后输出最终的图像分割结果。结合n1、n2、n3的优点，n4能够实现光学遥感图像的精细分割，同时有效抑制复杂背景干扰。

如图3所示，本发明实施例的一种基于多粒度网络融合的光学遥感图像分割装置包括：

第一处理模块，用于采集至少一张光学遥感图像作为训练图像，设置至少一种图像类别，并对所述训练图像标注所述图像类别。

第二处理模块，用于基于被标注的训练图像，利用反向传播算法对预先构建的多粒度网络融合模型进行训练，其中，所述多粒度网络融合模型包括四个子神经网络。

第三处理模块，用于将待处理图像输入经训练的多粒度网络融合模型中，根据所述四个子神经网络确定所述待处理图像中每个像素的所述图像类别，并将所述待处理图像中每个像素的所述图像类别作为分割结果输出。

优选地，所述四个子神经网络包括第一子网络n1，第二子网络n2，第三子网络n3和第四子网络n4，所述第三处理模块具体用于：由所述第一子网络n1将所述待处理图像逐层处理获得细粒度分割得分图，由所述第二子网络n2将所述待处理图像逐层处理获得中粒度分割得分图，由所述第三子网络n3将所述待处理图像逐层处理获得粗粒度分割得分图，由所述第四子网络n4融合所述细粒度分割得分图、所述中粒度分割得分图和所述粗粒度分割得分图。

在本发明另一实施例中，一种基于多粒度网络融合的光学遥感图像分割装置包括存储器和处理器。所述存储器，用于存储计算机程序。所述处理器，用于当执行所述计算机程序时，实现如上所述的基于多粒度网络融合的光学遥感图像分割方法。

在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于多粒度网络融合的光学遥感图像分割方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。