一种基于多分支网络融合模型的光学遥感图像分类方法与流程

本发属于光学遥感图像分类的技术领域，尤其涉及一种基于多分支网络融合模型的光学遥感图像分类方法。

背景技术：

随着图像传感器技术的飞速发展及广泛应用，图像数据爆发式增长，图像数据量已成为海量级。常规的人工图像分类方法已不再可行，因此目前基于计算机视觉技术的图像自动分类已经成为一个炙手可热的研究课题。近年来研究者们已经提出许多图像分类方法，但现阶段光学遥感图像分类仍面临巨大挑战：光学遥感图像中内容复杂、物体类别繁多，图像场景特征类内差异非常大。早先的浅层方法没有利用多层次结构提取图像的分层特征，仅利用浅层特征和浅层分类器实现分类，由此浅层方法的表示能力、分类能力非常有限，图像分类精度不高。近年来，随着深度学习的发展，许多基于深度学习的图像分类方法也被提出，如sae(stackedautoencoder)、dbn(deepbeliefnetwork)、cnn(convolutionalneuralnetwork)等深度模型，虽然基于深度模型的方法相比浅层方法极大提高了图像分类精度，但是针对复杂光学遥感图像，分类精度仍然有待提高。另外大部分深度模型没有融合分层特征用于分类，并且只接受固定尺寸的输入图像，无法一次计算出(即需要通过多次网络计算)与输入图像相同尺寸的密集语义分割结果。

技术实现要素：

本发明所要解决的技术问题是：目前的现有技术中大部分深度模型没有融合分层特征用于分类，并只接受固定尺寸的输入图像，无法一次计算出(即需要通过多次网络计算)与输入图像相同尺寸的密集语义分割结果。

为解决上面的技术问题，本发明提供了一种基于多分支网络融合模型的光学遥感图像分类方法，该算法包括如下步骤：

s1，构建多分支网络融合模型，包含一个主分支s、至少一个旁分支{tk，k＝1，...，k，k≥1}，其中k表示旁分支的条数；

s2，采集光学遥感图像作为训练图像，并对训练图像进行类别标注，利用反向传播算法从已标注的训练图像中学习出多分支网络融合模型参数；

s3，图像通过主分支s中的输入层i输入到已学习好参数的多分支网络融合模型中，图像经过主分支s的逐层处理和所有旁分支{tk}的逐层处理，最后通过主分支s中的裁剪层w输出分类得分图像。

本发明的有益效果：通过本发明中采用的多分支网络融合模型中多分支结构能够融合浅层和深层特征，并且通过融合特征分类光学遥感图像，极大地提高了分类精度，多分支网络融合模型中上采样层的使用使得本发明方法中输入层能够接受任意尺寸的图像输入，并能够一次生成(无需多次网络计算)与输入图像相同尺寸的密集语义分割结果，提高图像分类效率。

进一步地，所述步骤s2具体为，设置光学遥感图像的种类数量，类别数为c，采集光学遥感图像作为训练图像，并根据所述光学遥感图像种类对训练图像进行类别标注，利用反向传播算法从已标注的训练图像中学习出多分支网络融合模型参数。

进一步地，所述步骤s1中，所述的主分支s依次包含一个输入层i、至少一个卷积层{ni，i＝1，...，n，n≥1}、至少一个激励层{lj，j＝1，...，l，l≥1}、至少一个降维层{mp，p＝1，...，m，m≥1}、至少一个上采样层{uq，q＝1，...，u，u≥1}、一个裁剪层w，当n＞1或m＞1时卷积层和降维层交叉排列，其中n表示卷积层的层数，m表示降维层的层数，l表示激励层的层数，u表示上采样层的层数。

进一步地，在主分支s中，所述激励层lj中，每个激励层lj前面一层都为一个卷积层；主分支s中的最后一个卷积层nn的卷积核个数为所述类别数c。

进一步地，所述的每条旁分支tk依次包含一个卷积层ak、一个裁剪层bk、一个叠加层ck、一个上采样层dk；旁分支{tk，k＝1，...，k，k≥1}中所有卷积层{ak，k＝1，...，k，k≥1}的卷积核个数都为所述类别数c。

进一步地，所述步骤s3中包括：

s31，所述主分支s中的输入层i接收图像输入；

s32，主分支s中卷积层ni对相邻上一层的输出图像执行卷积操作，提取图像特征，并将特征图像输出；

s33，主分支s中激励层lj利用纠正线性单元对相邻上一层卷积层的输出特征图像执行非线性函数计算，并将计算生成的图像进行输出；

s34，主分支s中降维层mp对相邻上一层激励层lj的输出图像执行降维，并将降维图像输出；

s35，主分支s中上采样层uq对相邻上一层的输出图像执行反卷积操作，实现对图像的升维，并输出升维图像；

s36，从主分支s中选择k个降维层，将所述k个降维层的输出图像分别输入到旁分支{tk，k＝1，...，k，k≥1}中，所述旁分支分级排列构成多级结构，经过各旁分支的逐层计算，将最后一级旁分支tk的输出图像输入到主分支s中的裁剪层w中，主分支s中的裁剪层w将该输入图像裁剪成与主分支s中的输入层i输入的图像相同的尺寸，同时裁剪后的图像作为整个多分支网络融合模型的输出，得到分类得分图像。

上述进一步的有益效果：上述的主分支s通过各个层级的处理，及各旁分支的逐层处理，最终通过主分支中最后的裁剪层w中输出分类得分图像。

进一步地，所述步骤s32，其具体为：

所述卷积层ni对相邻上一层的输出图像执行卷积操作，若该卷积层ni相邻上一层为激励层lj，则对激励层lj输出的图像执行卷积操作；若该卷积层ni相邻上一层为卷积层ni-1，则对卷积层ni-1输出的图像执行卷积操作；若该卷积层ni相邻上一层为降维层mp，则对降维层mp输出的图像执行卷积操作。

进一步地，所述步骤s36中具体包括：

s361，从主分支s中选择k个降维层，将所述k个降维层的输出图像分别输入到旁分支{tk，k＝1，...，k，k≥1}中，即主分支s中一个降维层mp的输出图像输入到一个旁分支tk中卷积层ak中，该卷积层ak对此层的输入图像执行卷积操作；

s362，根据所述s361中旁分支{tk，k＝1，...，k，k≥1}的卷积层{ak，k＝1，...，k}的输入图像的尺寸大小，按由小到大的顺序将旁分支{tk，k＝1，...，k}排列为多级结构，同时每条旁分支tk的输出图像由该旁分支tk中的上采样层dk输出，并且该旁分支tk的输出图像作为相邻下一级旁分支的输入图像；

s363，每条旁分支tk中裁剪层bk接收两个输入，若该旁分支tk是第一级旁分支，则该旁分支tk中裁剪层bk的第一个输入是当前旁分支tk中卷积层ak的输出图像，第二个输入是主分支s中上采样层uu的输出；若该旁分支tk不是第一级旁分支，则该旁分支tk中裁剪层bk的第一个输入是当前旁分支tk中卷积层ak的输出图像，第二个输入是上一级旁分支tk-1的上采样层dk-1的输出图像；该旁分支tk中裁剪层bk将第一个输入裁剪成与第二个输入尺寸相同的图像，并将裁剪后的图像输出；

s364，每条旁分支tk中叠加层ck接收两个输入，若该旁分支tk是第一级旁分支，则该旁分支tk中叠加层ck的第一个输入是当前旁分支tk中裁剪层bk的输出图像，第二个输入是主分支s中上采样层uu的输出；若该旁分支tk不是第一级旁分支，则该旁分支tk中叠加层ck的第一个输入是当前旁分支tk中裁剪层bk的输出图像，第二个输入是上一级旁分支tk-1的上采样层dk-1的输出图像；该旁分支tk中叠加层ck将两个输入图像累加，并将累加后的图像输出；

s365，每条旁分支tk中上采样层dk对当前旁分支中的叠加层ck的输出图像执行反卷积操作，并将反卷积操作后的图像输出；

s366，将最后一级旁分支tk中的上采样层dk输出的图像输入到主分支s中的裁剪层w中，主分支s中的裁剪层w将该输入图像裁剪成与主分支s中的输入层i输入的图像相同的尺寸，同时裁剪后的图像作为整个多分支网络融合模型的输出，得到分类得分图像。

附图说明

图1为本发明的一种基于多分支网络融合模型的光学遥感图像分类方法流程图。

图2为本发明实施例多分支网络融合模型结构的示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示的，本发明一种基于多分支网络融合模型的光学遥感图像分类方法，该算法包括如下步骤：

第一步，先构建多分支网络融合模型，其中多分支网络融合模型具体包括：一个主分支s、至少一个旁分支{tk，k＝1，...，k，k≥1}；所述的主分支s依次包含一个输入层i、至少一个卷积层{ni，i＝1，...，n，n≥1}、至少一个激励层{lj，j＝1，...，l，l≥1}、至少一个降维层{mp，p＝1，...，m，m≥1}、至少一个上采样层{uq，q＝1，...，u，u≥1}、一个裁剪层w，当n＞1或m＞1时卷积层和降维层交叉排列，其中n表示卷积层的层数，m表示降维层的层数，l表示激励层的层数，u表示上采样层的层数；在主分支s中，所述激励层lj中，每个激励层lj前面一层都为一个卷积层；主分支s中的最后一个卷积层nn的卷积核个数为所述类别数c；所述的每条旁分支tk依次包含一个卷积层ak、一个裁剪层bk、一个叠加层ck、一个上采样层dk；每条旁分支将接收主分支s中两个不同层输出的图像作为两个输入并融合这两个输入，实现了不同层次的图像特征的融合；旁分支{tk，k＝1，...，k，k≥1}中所有卷积层{ak，k＝1，...，k，k≥1}的卷积核个数都为所述类别数c；本发明中的卷积层利用卷积操作从输入图像中提取图像特征，卷积操作主要是利用卷积核对图像进行卷积运算。卷积核一般为h×h的方块，h表示卷积核的尺寸大小，方块中每个位置的值是需要从训练图像中学习出来的；本发明中的激励层利用纠正线性单元对图像执行非线性函数计算，增强了网络的非线性性；本发明中的降维层对图像执行降维操作，实现图像的降维；本发明中的上采样层对图像执行反卷积操作，实现图像的升维；本发明中的裁剪层将两张图像裁剪成相同尺寸，实现图像尺寸的归一化；本发明中的叠加层将两张图像叠加，实现图像特征的融合

第二步，设置光学遥感图像的种类数量，类别数为c，例如光学遥感图像种类为建筑物、道路、草地、树木等；采集光学遥感图像作为训练图像，并根据所述光学遥感图像种类对训练图像进行类别标注，利用反向传播算法从已标注的训练图像中学习出多分支网络融合模型参数；

第三步，图像通过主分支s中的输入层i输入到已学习好参数的多分支网络融合模型中，图像经过主分支s的逐层处理和所有旁分支{tk}的逐层处理，最后通过主分支s中的裁剪层w输出分类得分图像；其中开始，所述主分支s中的输入层i接收图像输入；接着，主分支s中卷积层ni对相邻上一层的输出图像执行卷积操作，提取图像特征，并将特征图像输出；再接着，主分支s中激励层lj利用纠正线性单元对相邻上一层卷积层的输出特征图像执行非线性函数计算，并将计算生成的图像进行输出；然后，主分支s中降维层mp对相邻上一层激励层lj的输出图像执行降维，并将降维图像输出；再然后，主分支s中上采样层uq对相邻上一层的输出图像执行反卷积操作，实现对图像的升维，并输出升维图像；最后，从主分支s中选择k个降维层，将所述k个降维层的输出图像分别输入到旁分支{tk，k＝1，...，k，k≥1}中，所述旁分支分级排列构成多级结构，经过各旁分支的逐层计算，将最后一级旁分支tk的输出图像输入到主分支s中的裁剪层w中，主分支s中的裁剪层w将该输入图像裁剪成与主分支s中的输入层i输入的图像相同的尺寸，同时裁剪后的图像作为整个多分支网络融合模型的输出，得到分类得分图像。

本发明中上述所说的激励层lj前面都紧接一个卷积层ni，例如图2中卷积层n1和激励层l1，卷积层n2和激励层l2，卷积层n3和激励层l3等。另外，降维层与卷积层、激励层是交叉排列的，例如图2中，所有降维层m1、m2、m3、m4、m5穿插在卷积层n1-n15及激励层l1-l15中。

优选地，所述卷积层ni对相邻上一层的输出图像执行卷积操作，若该卷积层ni相邻上一层为激励层lj，则对激励层lj输出的图像执行卷积操作；若该卷积层ni相邻上一层为卷积层ni-1，则对卷积层ni-1输出的图像执行卷积操作；若该卷积层ni相邻上一层为降维层mp，则对降维层mp输出的图像执行卷积操作。

本发明中，从主分支s中选择k个降维层，将所述k个降维层的输出图像分别输入到旁分支{tk，k＝1，...，k，k≥1}中，即主分支s中一个降维层mp的输出图像输入到一个旁分支tk中卷积层ak中，该卷积层ak对此层的输入图像执行卷积操作；

接着，根据所述s361中旁分支{tk，k＝1，...，k，k≥1}的卷积层{ak，k＝1，...，k}的输入图像的尺寸大小，按由小到大的顺序将旁分支{tk，k＝1，...，k}排列为多级结构，同时每条旁分支tk的输出图像由该旁分支tk中的上采样层dk输出，并且该旁分支tk的输出图像作为相邻下一级旁分支的输入图像；

再接着，每条旁分支tk中裁剪层bk接收两个输入，若该旁分支tk是第一级旁分支，则该旁分支tk中叠加层bk的第一个输入是当前旁分支tk中卷积层ak的输出图像，第二个输入是主分支s中上采样层uu的输出；若该旁分支tk不是第一级旁分支，则该旁分支tk中裁剪层bk的第一个输入是当前旁分支tk中卷积层ak的输出图像，第二个输入是上一级旁分支tk-1的上采样层dk-1的输出图像；该旁分支tk中裁剪层bk将第一个输入裁剪成与第二个输入尺寸相同的图像，并将裁剪后的图像输出；

再接着，每条旁分支tk中叠加层ck接收两个输入，若该旁分支tk是第一级旁分支，则该旁分支tk中叠加层ck的第一个输入是当前旁分支tk中裁剪层bk的输出图像，第二个输入是主分支s中上采样层uu的输出；若该旁分支tk不是第一级旁分支，则该旁分支tk中叠加层ck的第一个输入是当前旁分支tk中裁剪层bk的输出图像，第二个输入是上一级旁分支tk-1的上采样层dk-1的输出图像；该旁分支tk中叠加层ck将两个输入图像累加，并将累加后的图像输出；

再接着，每条旁分支tk中上采样层dk对当前旁分支中的叠加层ck的输出图像执行反卷积操作，并将反卷积操作后的图像输出；

最后，将最后一级旁分支tk中的上采样层dk输出的图像输入到主分支s中的裁剪层w中，主分支s中的裁剪层w将该输入图像裁剪成与主分支s中的输入层i输入的图像相同的尺寸，同时裁剪后的图像作为整个多分支网络融合模型的输出，得到分类得分图像。

如图2所示，为本发明中的实施例，实施例中主分支s的分层结构为：输入层-卷积层1-激励层1-卷积层2-激励层2-降维层1-卷积层3-激励层3卷积层4-激励层4-降维层2-卷积层5-激励层5-卷积层6-激励层6-卷积层7-激励层7-降维层3-卷积层8-激励层8-卷积层9-激励层9-卷积层10-激励层10-降维层4-卷积层11-激励层11-卷积层12-激励层12-卷积层13-激励层13-降维层5-卷积层14-激励层14-卷积层15-激励层15-卷积层16，接着是上采样层1-上采样层2，最后是裁剪层3。其中，图2中第一层为主分支s的输入层，图像通过该输入层输入，接着经过卷积层，卷积层开始对输入层的图像进行卷积，然后通过激励层执行非线性函数计算，每个激励层前面连接着一个卷积层，降维层1-5穿插在卷积层1-15及激励层1-15中间，卷积层16利用c个卷积核对激励层15的输入图像执行卷积操作，上采样层1对卷积层16的输入图像执行反卷积操作，上采样层2对上采样层1的输出图像继续升维，最后裁剪层3输出分类得分图像。

如图2所示的本发明实施例中，旁分支从主分支的降维层中接收图像，若该降维层输出图像尺寸是最小的，则该旁分支是第一级，图2中第一级旁分支中卷积层17的输入是降维层4的输出图像，裁剪层1和叠加层1接收主分支的上采样层2的输出图像作为一个输入，最后通过该旁分支的上采样层3输出图像；第二级的旁分支中卷积层18的输入是降维层3的输出图像，裁剪层2和叠加层2接收第一级旁分支中的上采样层3的输出作为输入，最后通过该旁分支的上采样层4输出图像；对于第三、第四等级别的旁分支均是同样的道理，直到最后一级旁分支处理完毕，由最后一级旁分支的上采样层输出图像，同时该输出图像进入到主分支的裁剪层3中，最后裁剪层3输出本申请的分类得分图像。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。