本发明涉及降雨预测技术,尤其是一种基于卷积神经网络的高低空区域联合降雨预测方法。
背景技术:
随着社会、经济的发展,如何提高防灾减灾能力进行实时的检测评估,提供准确、及时、可靠的信息,使防灾减灾有充分的科学依据,是国民经济建设和社会保障的需要。短期气候预测可以指导防灾减灾,近些年来其在经济建设和社会发展中的重要性渐趋突出。在气候变化最为复杂的季风区,由于季风多尺度变率显著、年际差异大、极端天气、气候事件频发,开展有针对性的短期气候预测工作显得尤为重要。但是,鉴于季风气候的影响因素众多,形成原因复杂,预测结果的不确定性很大,在一定程度上导致了短期气候预测工作的极端艰巨性。
现有的降雨量预测方法多种多样,常用的方法有常规趋势法、时间序列法、回归分析法、马尔可夫模型以及神经网络模型。近年来,用神经网络进行降雨量预测呈现百花齐放的状态。文献[刘乐,王洪国,王宝伟.基于pca和改进bp网络的降雨预报模型研究[j].计算机工程与应用,2008,44(12):234-237.]中利用改进的bp神经网络预测城市降雨量,并且分析了不同气象因子对于降雨的影响程度,但是这种预测方法是按天进行预报,既而结果并不那么精确和及时。文献[计亚丽,贾克力,李畅游,等.ls-svm和rbf神经网络模型在降雨预测中的应用[j].雨科学与工程技术,2012,(2):1-4.]中利用支持向量机和径向基神经网络对月降雨时间序列进行混合性判断,能够对月降雨量进行简单的估计,然而该模型误差较大,对于降雨较多的地区预测精度还不能达到满意的程度。
技术实现要素:
发明目的:针对现有技术中存在的问题与不足,为了准确有效的预测降雨总量,本发明提供一种卷积神经网络的高低空区域联合降雨预测方法,它克服了单站点、单层空间预测降雨不精确的特点,筛选出与降雨量影响密切的相关因子,借助与目标站点气象相关联的周围站点数据进行辅助预测,并充分考虑降雨的时序影响,使得降雨预测更加准确,及时性也更强。
技术方案:为实现上述发明目的,本发明所述的一种基于卷积神经网络的高低空区域联合降雨预测方法,包括如下步骤:
(1)收集气象相关的地面数据和高空站点观测数据并对收集的数据进行预处理;
(2)根据地面数据的气象因子与降雨量实测值的相关关系确定影响降雨的气象预测因子;
(3)将距离和风向作为权重衡量周围站点对于目标站点的影响,利用加权k-means方法找出与目标站点气象相关的周围站点进行辅助预测;
(4)计算站点的高空切变值;
(5)将高空切变因子和筛选的地面气象预测因子结合并降维;
(6)将降维后的矩阵输入时间卷积网络tcn,利用tcn网络预测目标站点的降雨值。
所述步骤(1)是获取数据集和相应的标签信息,所述步骤(1)进一步为:
(11)从气象局获取数据集和相应的标签信息,其中地面数据包括风向、风速、海平面气压、3小时变压、6小时降雨、露点、温度、24小时变温、24小时变压、低云量、低云高和能见度,高空站点观测数据包括风向和风速;
(12)将数据集分为训练集和测试集;
(13)初步处理数据,将数据中存在缺失的,含有异常值的和有地面但不含高空数据的站点及相关数据去除。
所述步骤(2)中对影响降雨因素较大的因子进行选择和确定,所述步骤(2)进一步为:
(21)地面数据选取风向、风速、海平面气压、3小时变压、6小时降雨、露点、温度、24小时变温、24小时变压、低云量、低云高、能见度作为影响降雨量的候选预测因子;
(22)分别计算出各候选地面因子与降雨量的实测值的相关系数;
(23)将相关系数降序排列,选取若干相关系数较大的地面因子作为影响降雨量的预测因子。
气象具有时空的连续性,周围站点的气象状态与目标站点的气象密切相关,找到周围站点对目标站点进行辅助预测能够提高降雨预测的精度,所述步骤(3)进一步为:
(31)从高空数据中选择k个站点作为初始聚类中心centerk;
(32)同时将距离和风向作为权重衡量周围站点对于目标站点的影响,使用加权欧氏距离计算聚类对象间的相似度,两点之间的计算公式为
(33)再次计算每个类簇中心,通过获取分配给该类簇的所有数据点的位置的平均值来更新每个类簇中心,更新方式为
(34)通过手肘法的核心指标误差平方和sse确定k值,相关系数的计算公式为
(35)通过手肘法确定聚类个数k后,重复步骤(31)-(34)对站点进行聚类;
(36)在划分好的k个类簇中找到有目标站点的类簇,类簇中的其他站点视为与目标站点气象相关的周围站点。
所述步骤(4)中计算目标站点的高空切变值,具体计算公式为
步骤(5)将高空切变值作为因子和步骤(2)中筛选出的地面因子结合并进行降维处理,所述步骤5进一步为:
(51)将高空切变因子以及筛选出的地面预测因子和相关数据组成m行n列矩阵x={x1,x2,x3,...,xm},行代表数据标签,列代表站点编号;
(52)将矩阵x进行归一化处理,根据公式
(53)计算矩阵x对应的协方差矩阵
(54)求出矩阵c的特征向量并将特征向量按对应特征值大小从上到下按行排列成矩阵,取前d行组成矩阵p;
(55)矩阵y=px即为降到d维后的数据,d的选择根据公式
将高空切变值和地面因子结合的矩阵y输入到网络中预测降雨结果,所述步骤(6)进一步为:
(61)确定tcn神经网络的拓扑结构,tcn网络设计为3层网络结构,包括输入层、隐含层和输出层;输入层输入从目标站点的高空切变因子和地面因子结合并进行降维后的矩阵y,隐含层同时用因果卷积和扩张卷积作为标准卷积层,并将每两个这样的卷积层与恒等映射封装为一个残差模块;再由残差模块堆叠起深度网络,在最后几层使用全卷积层代替全连接层;输出层输出目标站点未来12小时的降雨数值;
(62)是对网络进行参数的调节,通过调节网络参数,学习率,dropout和权重初始化,对网络进行训练,直到到达最大迭代次数或网络学习率收敛;
(63)tcn模型训练集上训练好后,将测试集的数据输入到模型中,输出预测的降雨值。
有益效果:本发明提供的一种卷积神经网络的高低空区域联合降雨预测方法,与现有技术相比,本发明的优点在于:考虑了高空和地面多种气象因子对降雨产生的影响,并将与目标站点相关的区域站点结合进行降雨预报,克服了单个站点、单层空间预报降雨精度不准确的特点,对因子数据进行非线性降维处理,筛选出与降雨总量最大相关因子;通过tcn卷积神经网络进行训练和预测降雨,考虑了时间序列的因素,提高了模型的预测精度,增强了及时性。
附图说明
图1为本发明实施例的整体步骤图;
图2为本发明具体示例的方法流程图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示,一种卷积神经网络的高低空区域联合降雨预测方法,主要包括6个步骤:
步骤1:收集气象相关的地面数据和高空站点观测数据并对收集的数据进行预处理;
步骤2:根据地面数据的气象因子与降雨量实测值的相关关系确定影响降雨的气象预测因子;
步骤3:将距离和风向作为权重衡量周围站点对于目标站点的影响,利用加权k-means方法找出与目标站点气象相关的周围站点进行辅助预测;
步骤4:计算站点的高空切变值;
步骤5:将高空切变因子和筛选的地面气象预测因子结合并降维;
步骤6:将降维后的矩阵输入时间卷积网络tcn,利用tcn网络预测目标站点的降雨值。
如图2所示,卷积神经网络的高低空区域联合降雨预测方法,具体步骤如下:
步骤1:获取数据集和相应的标签信息,并对数据进行预处理。数据预处理主要是为了筛选与降雨密切相关的参数,减少无关或错误的参数影响降雨预测的准确性,具体步骤如下:
步骤11:从气象局获取数据集和相应的标签信息,其中地面数据包括风向、风速、海平面气压、3小时变压、6小时降雨、露点、温度、24小时变温、24小时变压、低云量、低云高和能见度等,高空站点观测数据包括风向、风速、海拔高度、站点级别、温度和露点差等;
步骤12:将数据集分为训练集和测试集;
步骤13:初步处理数据,将数据中存在缺失的,含有异常值的和有地面但不含高空数据的站点及相关数据去除。
步骤2:选择和确定影响降雨的气象因子,这一步主要是为了在筛选出与降雨关系最大的多个气象因子的同时又能最大程度减少整个模型的计算量。具体步骤如下:
步骤21:地面数据选取风向、风速、海平面气压、3小时变压、6小时降雨、露点、温度、24小时变温、24小时变压、低云量、低云高、能见度作为影响降雨量的候选预测因子;
步骤22:分别计算出各候选地面因子与降雨量的实测值的相关系数;相关系数的计算公式为:
步骤23:将相关系数降序排列,选取若干相关系数较大的地面因子作为影响降雨量的预测因子。
步骤3:由于气象具有空间连续性的特点,周围站点的气象状态和目标站点的气象状态息息相关,利用加权k-means方法找出与目标站点气象相关的周围站点可以对目标站点的状态进行辅助预测,以达到更精确的效果。具体步骤如下:
步骤31:从高空数据中选择k个站点作为初始聚类中心centerk;
步骤32:同时将距离和风向作为权重衡量周围站点对于目标站点的影响,使用加权欧氏距离计算聚类对象间的相似度,两点之间的计算公式为
步骤33:再次计算每个类簇中心,通过获取分配给该类簇的所有数据点的位置的平均值来更新每个类簇中心,更新方式为
步骤34:通过手肘法的核心指标误差平方和sse确定k值,相关系数的计算公式为
步骤35:通过手肘法确定聚类个数k后,重复步骤(31)-(34)对站点进行聚类;
步骤36:在划分好的k个类簇中找到有目标站点的类簇,类簇中的其他站点视为与目标站点气象相关的周围站点。
步骤4:对于目标站点和周围站点的高空数据计算切变因子,具体
计算高空切变值的公式为
步骤5:将高空切变因子和筛选的地面因子结合并降维。高空和地面因子的结合能完整地将影响降雨的因子覆盖,再通过降维方法将整个模型的计算量大大减少,具体步骤如下:
步骤51:将高空切变因子以及筛选出的地面预测因子和相关数据组成m行n列矩阵x={x1,x2,x3,...,xm},行代表数据标签,列代表站点编号;
步骤52:将矩阵x进行归一化处理,根据公式
步骤53:计算矩阵x对应的协方差矩阵
步骤54:求出矩阵c的特征向量并将特征向量按对应特征值大小从上到下按行排列成矩阵,取前d行组成矩阵p;
步骤55:矩阵y=px即为降到d维后的数据,d的选择根据公式
步骤6:将步骤5中降维后的矩阵输入tcn网络中进行训练,模型稳定后在测试集上进行降雨预测,具体步骤如下:
步骤61:确定tcn神经网络的拓扑结构,tcn网络设计为3层网络结构,包括输入层、隐含层和输出层;输入层输入从目标站点的高空切变因子和地面因子结合并进行降维后的矩阵y,隐含层同时用因果卷积和扩张卷积作为标准卷积层,并将每两个这样的卷积层与恒等映射封装为一个残差模块;再由残差模块堆叠起深度网络,在最后几层使用全卷积层代替全连接层;输出层输出目标站点未来12小时的降雨数值;
步骤62:是对网络进行参数的调节,通过调节网络参数,学习率,dropout和权重初始化,对网络进行训练,直到到达最大迭代次数或网络学习率收敛;
步骤63:tcn模型在训练集上训练好后,将测试集的数据输入到模型中,输出预测的降雨值。