一种基于大数据思维的滑坡多场监测数据的融合及预测方法
【专利摘要】本发明公开了一种基于大数据思维的滑坡多场监测数据的融合及预测方法，该方法以获取的各类监测数据为唯一依据，通过集成方差计算、相关性分析、聚类分析、回归分析和BP神经网络分析来确定隐含在各类监测数据间的滑坡滑移预测函数；把多元统计的定量分析与BP神经网络的定性趋势分析相结合，两者相互补充、相互验证，以多元统计分析来确定参与预测函数的数据种类和初步的预测函数，以BP神经网络的趋势模拟来验证预测函数的合理性，以调整参与的数据种类使两者达到比较理想的统一，完成每个滑坡的滑移预测。该技术可以对滑坡进行实时预测，对全国滑坡进行定性普查和天气预报式预警，具有重大的现实意义和广阔的应用前景。
【专利说明】
一种基于大数据思维的滑坡多场监测数据的融合及预测方法
技术领域
[0001]本发明涉及灾害预测预警技术，尤其涉及一种基于大数据思维的滑坡多场监测数据的融合及滑移预测方法。
【背景技术】
[0002]现有滑坡滑移预测一般采用以下方法:
1、多元统计分析:是数理统计学的分支学科，主要研究客观事物中多个变量(或多个因素)之间相互依赖的统计规律性。重要的多元统计分析方法有:回归分析、判别分析、聚类分析、主成分分析、对应分析、因子分析、相关分析、方差分析等。如相关性分析可以对变量之间的密切程度进行分析，聚类分析可以在相似分析的基础上对数据进行影响程度大小的分类，回归分析可以确定两种或两种以上变量间相互依赖的定量关系。每种多元统计分析方法在滑坡滑移预测中可以起到各自的部分参考作用，但是都不足以完成滑坡的有效滑移预测。
[0003]2、BP(Back Propagat1n)神经网络:是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，其学习规则使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)。网络的学习和记忆具有不稳定性，这与学习的样本种类和样本数量有很大关系，有效的样本种类的选择对输出结果是否合理至关重要，而这是神经网络本身无能为力的，另外BP神经网络只提供趋势预测，一般没有一个比较明确的预测函数。
[0004]大数据思维与传统思维的主要区别在于:一切分析不是依据已有的公式或经验等，而是依据数据。
【发明内容】
[0005]本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于大数据思维的滑坡多场监测数据的融合及滑移预测方法。
[0006]本发明解决其技术问题所采用的技术方案是:一种基于大数据思维的滑坡多场监测数据的融合及滑移预测方法，包括以下步骤:
1)采集可以收集到的待预测滑坡的多场数据，如GPS、测斜仪、裂隙计等位移监测数据，重力仪等地球物理场数据，降雨量等气象数据，水位、含水量等水文数据，等等；
2)对采集的数据进行预处理，包括:统一坐标系;通过方差计算剔除每类数据中的奇异数据;对每类数据取单位时间(如每天)的平均值作为后续的计算和模拟数据；
3)进行相关性分析，得到钻孔测斜或GPS地表位移与其他数据种类间相对显著相关的数据类及其相关系数。
[0007]4)依据相关系数，对测斜数据、GPS位移数据和其他与滑坡滑移最相关的两个或多个变量和其他剩余数据进行聚类分析，得到对滑坡滑移影响大小的聚类结果;将对滑坡滑移影响大的因素确定为参与后续分析的变量或数据种类；
5)对选定参与的变量进行回归分析，获得回归方程和回归方程的拟合效果。
[0008]6)对选定参与的变量(与回归分析参与的变量保持一致)进行BP神经网络分析，将步骤I)中采集的对应数据的2/3数据作为训练数据，1/3数据作为校验数据，取得最佳的迭代模型和对期望拟合程度的评估数据。
[0009]7)增加参与的变量数量(前面只选取了影响较大的，再选影响在一般以上的，再选所有的变量等，视具体情况而定，甚至可以把聚类分析结果分为更多的种类)，重复步骤5)与步骤6)，这个过程可进行多次，直到找到其中回归拟合效果最好和BP神经网络拟合程度最高(误差最小)的那个回归方程。
[0010]8)用最新获得的数据再次验证最后获得的回归方程，如误差不超过第7)步的最终误差，分析结束；如误差超过，则把最新数据加入到采集的整体数据中，转入第2)步重新开始循环；
9)获得本次分析的滑坡滑移预测公式。
[0011 ]本发明产生的有益效果是:
1、这种基于大数据思维的滑坡预测方法对传统滑坡滑移理论与经验的依赖很小，可以不依赖专家而快速对单体滑坡的滑移进行预测；
2、这种方法通过集成多种多元统计分析和神经网络的不确定性或统计性或模拟性，得到一个相对可信的结果，避免了单一方法的片面性；
3、可以对每个滑坡的滑移趋势进行定量化“体检”，获取的数据越多，“体检”的效果越好，从而实现单体滑坡的滑移预测；
4、通过本发明可以快速建立大量滑坡的滑移趋势动态数据库，实现对滑坡滑移天气预报式的预测预警，起到防灾减灾的目的。
[0012]
【附图说明】
[0013]下面将结合附图及实施例对本发明作进一步说明，附图中:
图1是本发明实施例的方法流程图。
[0014]
【具体实施方式】
[0015]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0016]如图1所示，一种基于大数据思维的滑坡多场监测数据融合及滑移预测方法，包括以下步骤:
1、收集A滑坡最近某段时间(如数个月或数年)每天的河水位(如在河流边)、降雨量、过去48小时的降雨量、滑体含水量、GPS地表位移监测点1、GPS地表位移监测点2 (GPS监测点至少一个)、2个GPS监测点间的距离、裂隙计、钻孔水位、钻孔测斜(最好至少有一个，测斜数据比GPS数据要稳定)、滑体温度数据等，在收集的数据中能直接反应滑坡滑移的测斜数据或GPS数据至少有一到两项，能收集的数据越丰富，后续的分析结果越好。
[0017]2、取每类数据每天的平均值参与后续的计算和模拟，其中用GPS位移数据中主滑方向上的分量代替GPS位移数据，用钻孔测斜主滑方向上的分量代替测斜数据。
[0018]3、通过方差计算剔除每类数据中的奇异数据(偏差很大的数据)。
[0019]4、进行相关性分析，得到钻孔测斜或GPS地表位移(地下测斜数据更能代表滑坡是否滑移，如有，用测斜数据，如无，用GPS数据代替)与其他数据种类间显著相关的数据类及其相关系数。
[0020]5、依据相关系数，对测斜数据、GPS位移数据和其他与滑坡滑移密切相关的变量(如裂隙宽度等)(选两个以上)和其他数据进行聚类分析，得到对A滑坡滑移影响大的因素和影响小的因素。
[0021]建议做聚类分析时，把所有收集到的数据分为影响较大、一般和影响较小三类，这样在回归分析和BP神经网络分析时可以调整参与分析的数据类的多少，以找到其中能使回归分析与B P神经网络的误差最小那一组。
[0022]相关性分析和聚类分析的主要目的是确定参与后续分析的变量或数据种类。
[0023]6、对选定参与的变量进行回归分析(如影响较大的变量较多，先只选影响较大的那组参与，如较少，让影响一般的变量也参与，必要时，所有变量都参与)，获得回归方程和回归方程的拟合效果。
[0024]7、对选定参与的变量(与回归分析参与的变量保持一致)进行BP神经网络分析，其中选定变量的2/3数据为训练数据，1/3的数据为校验数据(具体数据的比例视整体数据量的大小可以进行调整)，取得最佳的迭代模型和对期望拟合程度的评估数据(使误差最小)。
[0025]8、调整参与的变量数量(如先选影响最大的，再选影响在一般以上的，再选所有的变量等，视具体情况而定，甚至可以把聚类分析结果分为更多的种类)，重新进行回归分析和B P神经网络验证，这个过程可进行多次，直到找到其中回归拟合效果最好和BP神经网络拟合程度最高(误差最小)的那个回归方程。
[0026]9、用最新获得的数据再次验证最后获得的回归方程，如误差不超过第8步的误差，分析结束。如误差超过，则把最新数据加入到整体数据中，从第2步重新开始新的循环。
[0027]10、获得滑坡滑移的预测公式。本次分析结束。
[0028]11、过一段时间后，对经验公式再次进行验证，使其保持动态更新。
[0029]应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
【主权项】
1.一种基于大数据思维的滑坡多场监测数据融合及滑移预测方法，其特征在于，以获取的各类监测数据为唯一依据，通过集成方差计算、相关性分析、聚类分析、回归分析和BP神经网络分析来确定隐含在各类监测数据间的滑坡滑移预测函数。2.—种基于大数据思维的滑坡多场监测数据融合及滑移预测方法，其特征在于，包括以下步骤: 1)采集待预测滑坡的多场数据，包括:位移监测数据、地球物理场数据、气象数据和水文数据； 2)对采集的数据进行预处理，包括:统一坐标系;通过方差计算剔除每类数据中的奇异数据;对每类数据取单位时间的平均值作为后续的计算和模拟数据； 3)进行相关性分析，得到钻孔测斜或GPS地表位移与其他数据种类间相对显著相关的数据类及其相关系数； 4)依据相关系数，对测斜数据、GPS位移数据和其他与滑坡滑移最相关的两个或多个变量和其他剩余数据进行聚类分析，得到对滑坡滑移影响大小的聚类结果;将对滑坡滑移影响大的因素确定为参与后续分析的变量或数据种类； 5)对选定参与的变量进行回归分析，获得回归方程和回归方程的拟合效果； 6)对选定参与的变量进行BP神经网络分析，将步骤I)中采集的对应数据的2/3数据作为训练数据，1/3数据作为校验数据，取得最佳的迭代模型和对期望拟合程度的评估数据； 7)增加参与的变量数量，重复步骤5)与步骤6)，这个过程可进行多次，直到找到其中回归拟合效果最好和BP神经网络拟合程度最高的回归方程； 8)用最新获得的数据再次验证最后获得的回归方程，如误差不超过第7)步的最终误差，分析结束；如误差超过第7)步的最终误差，则把最新数据加入到采集的整体数据中，转入第2)步重新开始循环； 9)获得本次分析的滑坡滑移预测公式。
【文档编号】G06Q50/26GK105869100SQ201610282839
【公开日】2016年8月17日
【申请日】2016年4月29日
【发明人】刘军旗, 唐辉明, 吴冲龙, 苏爱军, 刘刚, 欧阳春, 丁瑶, 林晨, 樊俊青, 王菁莪, 邹宗兴, 翁正平, 滕伟福, 周汉文, 熊承仁, 刘清秉, 龚松林, 钟成
【申请人】中国地质大学（武汉）