一种基于lightGBM的气象目标分类方法

本发明属于气象雷达信号处理，具体涉及一种基于lightgbm的气象目标分类方法。

背景技术：

1、我国地域辽阔，具有多种多样的气候类型，随之而来的气象灾害种类也各式各样，且发生频率高。这些极端灾害性天气不仅容易造成很高的经济损失，很多时候人们的生命安全也将受到严重威胁。因此，对气象目标识别，尤其是某些威胁较大的降水粒子(冰晶，冰雹等)识别，在灾难预防，农业生产，日常出行等领域都有着十分重要的意义。

2、气象雷达是天气探测的重要手段，它通过回波信息对气象目标进行分析识别，广泛用于对大气中于云、雨、雪、雷暴、湍流等天气现象的检测。气象雷达在数值天气预报、天气告警、天气跟踪、气象防灾减灾等方面发挥了重要作用。气象目标识别一直是气象雷达应用的重要领域，气象目标分类关乎了定量降水估计的精度以及冰雹、冰晶等恶劣天气的实时告警，对云中气象目标的合理识别就是在气象雷达的基础上进行。

3、straka等根据不同类型的降水粒子的偏振参量具有不同取值范围确定相应的隶属度函数，首次将模糊逻辑算法应用到降水粒子分类中来。在模糊逻辑算法中，不同降水类型的各极化参量在模糊化过程中隶属函数的参数设置普遍采用经验值是一个不容忽视的问题。为有效解决这一问题，田凤等提出基于退极化比的stsr气象雷达回波分类方法，有效区分了气象回波与非气象回波。李海等提出一种基于t-s模型的模糊神经网络降水粒子相态识别方法算法，将神经网络与模糊逻辑算法结合起来实现识别气象目标类别；marzano等提出用多维高斯模型估计降水粒子回波数据的联合概率密度函数，依据贝叶斯原理实现了降水粒子分类；王海江等提出了基于深度学习的模糊聚类降水粒子识别算法，用卷积神经网络进行初次聚类，消除了偏振参数测量误差造成的影响，实现气象目标分类。高涌荇等提出基于rcnn的双极化气象雷达天气检测模型，能精确识别气象信号与杂波信号。这些新技术的提出，虽然克服了传统模糊逻辑算法对经验参数的依赖，但是气象目标识别的速率、准确率有待提升；或者只区分天气信号与杂波信号，对气象目标分类类别较少。综上所述，为提高现有技术对气象目标识别的速度与精度及解决只识别区分天气信号与杂波信号等问题，研究新的气象目标分类算法十分重要。

技术实现思路

1、为了解决上述背景技术提到的技术问题，本发明提出了一种基于lightgbm的气象目标分类方法。

2、为了实现上述技术目的，本发明的技术方案为：

3、一种基于lightgbm的气象目标分类方法，包括以下步骤：

4、s1、确定输入lightgbm模型的雷达参数，根据选取参数选取气象雷达观测资料制作数据集；

5、s2、搭建lightgbm初始模型并进行参数调整；

6、s3、对s2得出的模型参数，将数据集输入调参后模型进行训练得到最优模型；

7、s4、将实测数据输入步骤s3中最优模型识别分类。

8、优选地，步骤s1中所述气象雷达观测资料具体指noaa气象观测资料的反射率因子、差分反射率因子、差分相移率、相关系数以及noaa分类结果，其中，反射率因子为360×460的二维矩阵，差分反射率、相关系数、差分相移率以及分类结果数据均为360×1200的二维矩阵。

9、优选地，步骤s1中数据集制作的方法包括以下步骤：

10、将反射率因子进行距离向的校正，使其与差分反射率、相关系数、差分相移率和分类标签数据大小相等，大小均为360×1200；将4个参数矩阵一一对应，将第i个位置上的4个参数和分类标签制作为[xij,yi]，其中j＝[1，2，3，4]，xij对应位置i上的四个极化参数，yi对应位置i上的分类标签，根据分类标签等量选择地杂波、冰雹、小中雨和干雪四种粒子的[xij,yi]，再将选取的[xij,yi]纵向合并，将各个类别对应的4个极化参数中的异常值与缺省值以该类别对应各个极化参数平均值替代，得到数据集，并将数据集按[8,2]分为验证集与测试集。

11、优选地，所述，步骤s2中初始模型参数设置为：learning_rate:0.05；boosting_type:gbdt；num_leaves:31；max_depth:6；feature_fraction:0.9；bagging_fraction:0.8；bagging_freq:5；min_data_in_leaf:5；min_gain_to_split:0；reg_alpha:0；reg_lambda:0。

12、优选地，步骤s2中模型参数调整具体指：在初始模型的参数基础上，调用python的hyperopt库对lightgbm自动化调参，设置参数搜索域，定义以提升测试集准确率为需求的目标函数，选择tpe搜索算法，得到测试集准确率最高时的模型参数。

13、优选地，步骤s2中，对hyperopt调参得到的模型参数为：learning_rate:0.013；boosting_type:dart；num_leaves:63；max_depth:8；feature_fraction:0.69；bagging_fraction:0.85；bagging_freq:15；min_data_in_leaf:7；min_gain_to_split:0.28；reg_alpha:0.43；reg_lambda:0.16。

14、优选地，其特征在于，

15、lightgbm包括了基于histogram的决策树算法、带深度限制的leaf-wise叶子生长策略、单边梯度采样算法goss、特征捆绑算法efb和直接支持类别特征；其中，基于梯度的单面采样算法和特征捆绑算法，以梯度提升决策树模型为基础，对模型的训练速度与内存占用方面进行优化；基于梯度的单面采样算法具体如下：

16、设定输入空间为χs，梯度有为ψ，假设n维度的训练集样本为{x1,x2,x3,…,xn}，x1,x2,x3,…,xn是特征维度为s的向量，每次迭代梯度时，模型中数据变量的损失函数的梯度记录为g1,g2,…,gn，按照最大信息增益，决策树将数据分配至左右两个节点中，最后通过划分后的方差来测定分裂后的信息增益；

17、假设o表示某个分裂节点的训练集，则分割变量j的分割点如下式所示，vj∣0(d)表示此节点在点d处的分裂特性j的方差增益：

18、

19、其中：

20、no＝∑i[xi∈o]，式中：no表示为决策树一个固定节点上的训练数据集，为分裂后节点上的训练数据集，为j节点分裂为左右两个节点的数据变量的损失函数的梯度统计；此外，n为数据集的维度，xi表示样本i对应的特征向量；

21、对于特征j，遍历每个特征的分割点，决策树算法计算每个节点的信息增益，找到找到得出最大的信息增益根据找到的特征j的分裂节点将数据划分为左右节点；

22、在goss算法中，首先会根据数据样本的梯度绝对值进行排序，选取并保留排名前a×100％的数据样本，记为集合a，再对剩余数据进行随机抽样，生成大小为b×100％的数据集b；根据在集合a∪b上的方差增益vj(d)对数据实例进行分裂，如下式所示：

23、

24、其中：

25、al＝{xi∈a:xij≤d},ar＝{xi∈a:xij≤d}

26、bl＝{xi∈b:xij≤d},br＝{xi∈a:xij≤d}

27、式中，n为数据集的维度，xi表示样本i对应的特征向量；对随机抽取的样本都乘以常数

28、优选地，特征捆绑算法在执行过程中，首先寻找需要合并的互斥特征，该算法将特征看成图的顶点，运用贪心算法将特征的捆绑转化为图的着色问题，然后特征捆绑算法运用直方图算法对特征进行合并，将连续的特征离散化为k个整数，同时构造一个宽度为k的直方图。遍历数据的过程中，根据离散化后的值作为索引在直方图中累积统计量，最后根据直方图的离散值，寻找最优分割点。

29、采用上述技术方案带来的有益效果：

30、本发明提出了一种基于lightgbm的气象目标分类方法，该方法与传统模糊逻辑方法相比，克服了传统模糊逻辑方法依赖传统经验参数的设置，能够自适应地训练数据，适应各种天气状况，能更加准确地识别气象目标类别。相对于传统的机器学习算法，本发明方法拥有更强大的数据处理功能、适用于气象雷达的大数据处理、消耗时间显著下降，性能优越。本发明方法运用离散的气象雷达参数对气象目标进行识别，充分利用雷达极化参数，对不同气象目标的识别更加智能，识别准确度更高，识别速度更快，可有效预识别预测害性天气的发生，减少不必要的损失。