一种基于对称式密集连接全卷积网络的云图分割网络及其方法与流程

本发明属于云图像处理
技术领域：
，特别涉及了一种基于对称式密集连接全卷积网络的云图分割网络及其方法。
背景技术：
：云作为一种重要的气象要素，在过去的几十年中已经得到了广泛的研究，目前对于云特征特性分析在各种行业都有重要的应用，例如即时降雨预测、云层覆盖预测、海洋颜色信息获取、光学遥感应用、卫星通信连接优化。分割是云图分析的第一步骤，由于云在天空中受气流的影响并没有固定的形状，并且随着时间的推移和光照的变化，云图的形状特征会发生改变，因此基于形状先验的经典图像分割方法不适合应用在云图分割领域，能够准确的分割云图仍然是一项具有挑战性的任务。目前云图分割的主要方法有：通过比较rgb颜色空间中的r通道与b通道的比值，然后通过调整比值的阈值，来生成云和非云区域的二值掩码。通过自适应阈值法、图像特征的超像素方法实现云图的分割。机器学习算法在云图领域的自动分割应用。在上述云图分割方法中，传统的基于阈值法和机器学习方法的云图分割方法对算法的参数的选取较为敏感，缺乏一定鲁棒性，而且当图像的前景与背景较为复杂时需要研究人员做大量的特征工程才能取得比较好的结果。另外云图分割方法主要为基于深度学习全卷积网络(fcn)。但是fcn是对网络最后一个卷积层的特征图仅采用一步上采样操作就使它恢复与原输入图像相同的尺寸，这种操作会导致分割的结果不够精细。技术实现要素：本发明的目的是克服上述
背景技术：
的不足，提供一种基于对称式密集连接全卷积网络的云图分割方法，克服了传统算法对云图特征利用率不够，分割粗糙的缺点。为了实现上述技术目的，本发明的技术方案为：一种基于对称式密集连接全卷积网络云图分割网络，包括对称设置的特征提取网络和全卷积网络；所述特征提取网络，用于进行特征提取，提取的特征向量作为全卷积网络的输入；该特征提取网络包括若干实现特征提取的密集连接模块，所述密集连接模块将大小相一致的特征图进行连接，并通过卷积神经网络对地基云图进行特征提取；所述全卷积网络，包括若干上采样模块，所述上采样模块根据特征提取网络提取到的特征向量，得到卷积输出结果；根据卷积输出结果和式(1)，输出概率图；其中，fij代表概率图中i行j列像素对应的概率，w为卷积核参数，t表示转置，b表示偏置项。进一步的，所述密集连接模块的数量与上采样模块数量保持一致。进一步的，每一所述密集连接模块的输入为前一个密集连接模块输出的下采样结果，当前密集连接模块的输出作为下一级密集连接模块的输入；在最后一个密集连接模块的输出作为第一个上采样模块的输入，每个所述上采样模块的输入为前一上采样模块的输出结果；每一所述密集连模块都有与其对应的上采样模块，它们之间的关系为，其输出的结果具有相同的宽和高。将每一所述密集连接模块与其对应的上采样模块的输出结果进行并联，并将并联后的结果作为下一上采样模块的输入；在最后一个上采样模块之后，采用维度为1的全卷积层，该全卷积层的输入是最后一个上采样模块的输出。本发明还公开了一种基于对称式密集连接全卷积网络云图分割方法，包括以下步骤：s1：对云图分割网络进行训练：利用已标注的样本(xi，yi)进行训练，得到训练后的网络参数，其中，xi为一个n×n的图像，yi表示xi对应的云与非云区域，i代表第i个样本，i＝1,2,3...p，p为样本总数；s2：将地基云图图像裁剪为n×n大小，作为云图分割网络的输入数据，根据式(1)得到n*n大小的概率图：其中，fij代表概率图中i行j列像素对应的概率，w为卷积核参数，代表偏置项，t表示转置，b表示偏置项；s3：根据云区域判定阈值，对s2输出的概率图进行云区域和非云区域的判定，当概率大于判定阈值的像素点作为云区域，反之作为非云区域。进一步的，所述云图分割网络包括对称设置的特征提取网络和反卷积网络；所述特征提取网络，用于进行特征提取，提取的特征向量作为反卷积网络的输入；该特征提取网络包括若干实现特征提取的密集连接模块，所述密集连接模块将大小相一致的特征图进行连接，并通过卷积神经网络对地基云图进行特征提取；所述全卷积网络，包括若干上采样模块，所述上采样模块根据特征向量，得到卷积输出结果；根据卷积输出结果，输出概率图。进一步的，所述密集连接模块的数量与上采样模块数量保持一致。进一步的，每一所述密集连接模块的输入为前一个密集连接模块输出的下采样结果，当前密集连接模块的输出作为下一级密集连接模块的输入；在最后一个密集连接模块的输出作为第一个上采样模块的输入，每个所述上采样模块的输入为前一上采样模块的输出结果；每一所述密集连模块都有与其对应的上采样模块，它们之间的关系为，其输出的结果具有相同的宽和高。将每一所述密集连接模块与其对应的上采样模块的输出结果进行并联，并将并联后的结果作为下一上采样模块的输入；在最后一个上采样模块之后，采用维度为1的全卷积层，该全卷积层的输入是最后一个上采样模块的输出。有益效果：本发明与现有技术相比，本发明首先利用对称式密集连接全卷积网络的对称式密集卷积网络层对云图的高层与浅层特征进行特融合，然后对称式密集连接全卷积网络的全卷积层利用融合后的特征信息将云图分云层与非云层区域。本发明比传统云图分割方法准确率更高、鲁棒性更强、无需对云图进行复杂的特征工程，并且相同硬件条件下样本测试时间也比大多数方法快很多。附图说明图1是本发明的基本流程图；图2是本发命中对称式密集连接全卷积网络密集连接模块的结构示意图；图3是本发明中用对称式密集连接全卷积网络进行云图处理的结构示意图。具体实施方式下面结合附图和实施例进一步阐述本发明。如图1所示的一种基于对称式密集连接全卷积网络云图分割方法，包括如下步骤：s1：对称式密集连接全卷积网模型的训练：设定网络模型为特征提取器和全卷积层两个部分；整个网络结构为一个对称结构，在整个对称结构中左侧网络为特征提取器，右侧为反卷积网络，每一层反卷积操作的步长为2，这样就可以得到特征图大小与左侧完全对称的网络结构，接着将大小一致的特征图进行连接，然后再利用全卷积层输出概率图，最后利用已标注的样本(xi，yi)，对该网络模型进行学习，使用对称的网络结构进行特征表示，全卷积层进行有监督学习并输出概率图，得到训练后的网络参数,其中，xi为一个n×n的图像，yi表示xi对应的云与非云区域，n满足244≤n≤1000，i代表第i个样本，i＝1,2,3...p，p为样本总数；s2：云图分割：将地基云图图像裁剪为为n×n大小，作为对称式密集连接全卷积网络的输入数据，并得到整个网络的特征概率图输出，最后，在概率图中判定概率大于0.5的像素点为云的区域，概率小于0.5的像素点为非云区域；对称式密集连接全卷积网络包括：特征提取网络，通过对称式密集连接来增强数据的特征表示；该特征提取网络包括密集连接模块，该密集连接模块通过卷积神经网络对具有标签为n*n大小的二值矩阵的地基云图进行特征提取，用wi*wi尺寸的卷积核窗口在n*n大小的图片上以步长为滑动，并对大小相一致的特征图进行连接，将提取的特征作为全卷积网络的输入。全卷积网络，用于监督学习，包括上采样模块，是将特征提取网络提取的特征向量作为输入，全卷积网络输出同输入图像大小相一致的概率图；基于对称式密集连接网络结构进行特征学习，得到训练后的网络参数。如图3所示，网络结构中每一密集连接模块的输入都是前一个密集连接模块输出的下采样结果，并将当前密集连接模块的处理结果输出给下一级密集连接模块。在网络结构中，在最后一个密集连接块之后是与密集连接模块数量相同的上采样模块，每个上采样模块的输入都是前一上采样模块的输出结果。在网络结构中，每一密集连模块的输出都与上采样模块的结果进行连接。每一所述密集连模块都有与其对应的上采样模块，它们之间的关系为，其输出的结果具有相同的宽和高。将每一所述密集连接模块与其对应的上采样模块的输出结果进行并联，并将并联后的结果作为下一上采样模块的输入；在最后一个上采样模块之后，采用维度为1的全卷积层，全卷积层的输入是最后一组上采样模块的输出。如图3所示，输入的图片经过批规范化、线性整流、卷积、最大池化操作产生的结果作为第一个密集连接块的输入。然后第一个密集连接块的输出结果经过批规范化、线性整流、卷积操作经过平均池化层作为第二个密集连接块的输入，同样的操作在图中所示共有4次。经过上述操作后，把最后一个密集连接块的输出结果经过上采样和线性整流函数后输出的结果与来自第三个密集连接块的输出结果并联，经过两次卷积后再次作为下一次上采样的输入。同样的操作如图3中所示进行了4次。第四次操作的结果经过一次上采样后通过s函数输出就得到最终的结果。经过多个密集连接模块、上采样模块，把全卷积输出的结果输入sigmoid函数，最终输出n*n大小的概率图。概率图中值大于0.5的像素判断为云，值小于0.5的像素判断为非云，得到分割结果；sigmoid具体算法如下：其中，fij代表概率图中i行j列像素对应的概率，w为卷积核参数，t表示转置，b表示偏置项。对概率图中，所有概率值小于0.5的置0，概率值大于0.5的置1，得到云图的分割结果，包括云区域、非云区域，输出样本设定为对应的二值掩码。本实施例通过对称式密集连接的模型结构进行特征提取保证了网络具有良好的泛化性能，充分提取了云图中的云特征，使得网络模型取得的云图分割结果更加精确。本发明利用对称式密集连接的网络结构保证能够更好的融合浅层特征与深层特征从而实现特征的多样性。本发明不需要复杂的特征工程，在准确率提高的前提下，在同等硬件条件下样本的测试速度和样本分割速度都取得了很大的提高。实验结果表明，本发明得到的结果较好，更适合后续的气象研究工作和应用。表1为本发明与传统其他的算法的实验结果对比：表1本发明与传统其他的算法的实验结果对比方法精确率召回率f1-得分误判率对称式密集连接全卷积网络结构0.9510.9460.9490.049fcn32s0.9230.9220.9230.082fcn8s0.9510.9430.9470.059slic+dbscan0.720.790.650.33gray+svm0.870.560.640.33lbp+svm0.620.650.630.36colorhist+svm0.810.640.660.31dsift+bow+svm0.650.880.720.28texture+bow+svm0.820.710.700.31color-basedsegmentation0.920.900.900.09综上，本发明方法相对于传统阈值法、机器学习算法、以及基于深度学习的fcn方法所取得的结果都要好，更合适后续的气象研究工作和应用。当前第1页12