一种大坝变形监测数据的关联规则挖掘方法与流程

1.本发明涉及大坝安全监控领域，特别是一种适用于大坝变形监测数据的关联规则挖掘方法。


背景技术：

2.混凝土坝由于体积当量庞大，通常采用分段浇筑和灌浆处理的方式胶合坝体，导致坝体不可避免地存在接缝。接缝在温度、湿度以及时效影响下产生相对位移，影响相邻坝段间的密合性甚至会影响混凝土坝坝体的完整性。
3.为保障大坝安全运行、充分发挥工程效益，必须针对大坝具体情况和特点布设相应安全监测仪器，对大坝变形、渗流、应力应变等项目进行连续全面的监测。大坝变形监测是其中最直观反映大坝服役功能的监测项目，蕴藏着大量与大坝运行稳定有关的数据信息，对其进行分析研究是掌握大坝安全性态至关重要的技术方法。
4.然而，大坝变形测点布置于不同的高程和坝段，各自具有内在关联的空间坐标，且随时间推移形成一系列动态变化的时间序列，导致测点数据兼具时序相关性和空间关联性的典型特征，但传统大坝安全监控理论存在仅针对典型断面单一测点的变形性态的不足，难以实现大坝运行性态的整体评判；同时，伴随着监测仪器在观测尺度和精度上的提升，以及数据采集、传输和存储技术的发展，监测数据日益凸显的海量特征也给大坝变形监测分析和安全诊断造成较大困难，有必要融合多测点安全监测信息，结合关联规则挖掘理论开展研究。
5.中国专利cn109344150a公开了一种基于fp-树的时空数据挖掘分析方法，将时空数据信息的时序特征和空间特征作为数据属性直接耦合，而大坝变形监测数据在时间尺度和空间尺度各自不同的作用机理，时间尺度上，大坝变形时刻发生变化，测点的裂缝在某一时刻的性态与当时的水位、温度等环境量相关，还与之前的历史性态有关；空间尺度上，相同服役环境下，大坝不同部位的变形性态也会存在差异，原因在于不同空间位置的约束条件、材料性质及荷载作用区别较大。因此，需要一种适用于大坝变形监测数据的关联规则挖掘新方法。


技术实现要素：

6.本发明所要解决的技术问题是，针对现有技术不足，提供一种适用于大坝变形监测数据的关联规则挖掘方法，通过单测点时序关联规则挖掘出置信度高的测点，可以简化海量监测数据并了解测值变化规律，用于预测单侧点变形监测数据的未来发展趋势。通过多测点空间关联规则衡量不同测点的变化同步程度，提取出接缝变形监测数据中潜在的空间关联规则，筛选出其中变化同步程度较高的关联测点。
7.为解决上述技术问题，本发明所采用的技术方案是：一种适用于大坝变形监测数据的关联规则挖掘方法，包含以下步骤：
8.s1，输入大坝裂缝的监测数据，进行预处理：所述预处理包括剔除失真的测值并补
充缺失数据；
9.s2，将预处理后的数据划分为测值增加、测值降低、测值不变这三种属性；
10.s3，构建单测点时序关联规则的前后部和/或多测点空间关联规则的前后部，设置关联指标阈值并采用fp-growth算法筛选强关联规则；
11.s4，判断步骤s3筛选出的强关联规则是否符合工程实际，若是，输出强关联规则集合；否则返回步骤s3。
12.步骤s1中，所述监测数据数据预处理，是指大坝原始监测数据受坝体复杂性态和外部作用环境影响，以及受监测仪器和操作方法限制，易存在冗余、噪声、缺失等测值失真情况，为保证后续关联规则挖掘结果的可靠性和合理性，采用警戒极限值对比的方式，将测点测值序列局部超过警戒极限值的测值作为粗差予以剔除，并使用三次样条插值法补齐测值序列中的缺失数据。预处理的具体实现方法包括：剔除变幅较小或/和无明显周期性变化的测点，并使用三次样条插值法补齐各测点测值序列中的缺失数据。
13.步骤s2中，由于每个监测数据都是精确的定量数值，无法反映任何定性信息，同时以连续数值形式表示的测值序列不便于直接参与计算，因此需要将数据变化程度和离散情况依据现有监测水平诠释为简明易懂的定性语言，进行测值数据属性转换。所述测值数据属性转换，是将数据值域划分成若干个区间组合，并分别赋予不同区间以明确的物理含义，此处通过数据前后项对比，将数值变动情况划分为测值增加、测值降低和测值不变这三种属性。
14.步骤s3中，坝变形监测数据在时间尺度和空间尺度各自不同的作用机理，通过调整关联规则前部x和后部y的设置规则，分别构建单测点时序关联规则和多测点空间关联规则，以获取各测值序列局部变化趋势之间的潜在关联关系，以及挖掘不同空间测点之间的隐蔽相互关系。
15.所述关联规则表示为其中规则前部规则后部规则前后部满足
16.所述事务集合，表示为i＝{i1,i2,...,im}，是假设存在于大坝变形监测数据中的事务集合。
17.所述单测点时序关联规则中，大坝变形测值数据来源于大坝变形测点测值在时间推移下形成一系列动态变化的时间序列，所述时间序列普遍存在数据密集性和随机波动性的特征，且不同时段具备各异的局部变化趋势，这些变化趋势往往隐含于庞大的监测数据中难以获取，因此本方案针对每一个测点采用所述单测点时序关联规则的方法，通过发现测点的测值序列局部变化趋势之间的关联关系，简化海量监测数据并了解测点的测值变化规律，进而为大坝工程运维提供决策帮助。
18.所述多测点空间关联规则中，大坝变形测值数据来源于多个测点，这些测点各自具有由不同高程和不同坝段构成的空间位置，具有内在关联的空间坐标。所述多测点空间关联规则通过抽取同一监测项目不同空间测点进行多测点空间分析，可以生成服务于大坝健康工作的规则集合，帮助了解大坝整体结构和内在规律。
19.具体地，l
i+1-li＞e，则当前测点的测值属性为测值增加，l
i+1-li＜-e，则当前测点的测值属性为测值降低，-e＜l
i+1-li＜e，则当前测点的测值属性为测值不变；l
i+1
为当前测点当前时刻的测值，li为当前测点前一时刻的测值，e为正数，且e
→
0，其取值可根据大坝变
形数据监测仪器的精度进行设定。
20.具体地，步骤s3中，所述单测点时序关联规则的前部为当前测点第一时段变形测值的变化趋势，所述单测点时序关联规则的后部为该当前测点第二时段变形测值的变化趋势。
21.具体地，第一时段的终止时间早于第二时段的开始时间。
22.具体地，步骤s3中，所述多测点空间关联规则的前部为当前测点接缝变形测值的变动情况；所述多测点空间关联规则的后部为同一时刻非当前测点的测点接缝变形测值变动情况。
23.具体地，步骤s3中，所述关联指标阈值包括最小置信度和/或最小支持度。
24.所述支持度，是在大坝变形监测事务集合中包含x∩y的事件数目占所有事件数目的比重：所述置信度，是大坝变形监测事务集合中包含x∩y的事件数目占包含x的事件数目的比重：
25.所述最小支持度表示为min_sup，所述最小置信度表示为min_conf，是用于筛选大坝变形监测事务集合中的强关联规则的两个指标阈值，以揭示变形监测数据之间的潜在关联关系。
26.所述强关联规则，是同时满足和两个条件的关联规则，用于挖掘大坝原型观测数据中反映工程运行性状的有效信息，可作为变形测值异常的辅助判据，有助于指导后续工程的运行和维护。
27.具体地，步骤s3中，采用fp-growth算法筛选强关联规则的具体实现方法包括：
28.s301，扫描事务数据库，分别计算各项目的支持度指标，根据所述关联指标阈值筛选出其中所有频繁项集，并按照支持度计数从大到小对频繁项集进行排序，形成频繁项表l；
29.s302，二次扫描事务数据库，利用搜索出的所有频繁项集，构造频繁模式树；创建所述频繁模式树的根节点null，并按照频繁项表l的排列次序，将频繁项集依次插入所述频繁模式树中的每个分支；创建头节点表；
30.s303，利用头节点表和树结点的链接，采用自底向上的策略筛选出在所述关联指标阈值约束下的强关联规则。
31.采用fp-growth算法遍历事务数据库建立频繁项表，在保留项集信息的基础上，再次扫描事务数据库以构建时空数据挖掘的频繁模式树，接着通过频繁项表和频繁模式树的连接，采用自底向上的策略筛选出在min_sup和min_conf两个指标阈值约束下的强关联规则。所述fp-growth算法，主要采用归纳分散策略将事务数据库以频繁模式树fp-tree的形式重构，能够有效避免关联组合爆炸，并改善监测数据挖掘运行速度慢、占用内存大的问题。
32.与现有技术相比，本发明所具有的有益效果为：分别从单测点时序关联和多测点空间关联两个角度对大坝变形监测数据进行关联规则挖掘，从海量监测数据中提取有效反映大坝运行性状的客观规律，进一步为实现融合多维多测点的大坝时空监测信息协同诊断提供全新思路。通过单测点时序关联规则挖掘出置信度高的测点，不仅可以简化海量监测
数据并了解测值变化规律，用于预测单侧点变形监测数据的未来发展趋势，而且为工程安全监控理论提供一个全新视角。通过多测点空间关联规则衡量不同测点的变化同步程度，提取出接缝变形监测数据中潜在的空间关联规则，筛选出其中变化同步程度较高的关联测点，可以汇总生成服务于混凝土坝健康工作的规则集合。从大量的原型监测数据中提取出简明凝练的规律，能够有效反映工程运行性状，可以作为大坝变形测值异常的辅助判据，有助于指导后续工程的运行和维护。
附图说明
33.图1为本发明一实施例的适用于变形监测数据的关联规则挖掘方法流程图。
34.图2为本发明一实施例的fp-growth关联规则算法示意图。
35.图3为本发明一实施例的时序关联规则挖掘示意图。
36.图4为本发明一实施例的空间关联规则挖掘示意图。
37.其中，1、2、3、4、5、6均为项目编号，n1、n2、n3、n4、n5、n6均为支持度计数，t1、t2、t3、t4均为时间点，null为fp-tree的根节点，x为时序关联规则的前部，y为时序关联规则的后部。
具体实施方式
38.大坝接缝变形测点位于不同的高程和坝段，各自具有内在关联的空间坐标，且随时间推移形成一系列动态变化的时间序列，因此本发明一实施例的一种适用于变形监测数据的关联规则挖掘方法的具体实现方法包括：
39.s1，输入大坝裂缝的监测数据，进行预处理：所述预处理包括剔除失真的测值并补充缺失数据；
40.具体实现方法包括：
41.输入实例大坝工程用于监测坝体接缝情况的某测点裂缝张口位移测值序列为{li}，(i＝1,2,
…
,t,t为时序长度)，测点各自分布于2#、6#、10#、17#、21#、26#、32#、36#八个坝段以及基础廊道a、312m高程b、340m高程c、375m高程d和418m高程e这五个高程的不同位置，考虑到坝体沉降和外部环境振动等荷载因素对高程或坝段相同的测点测值影响程度相近，此处结合布置高程和坝段赋予测点空间坐标，测点f21ay表示该测点在21#坝段，基础廊道的高程，y表示缝隙张开的方向为垂直于地表，测点f2ey表示该测点在2#坝段，418m高程，y表示缝隙张开的方向为垂直于地表。
42.采用警戒极限值对比的方式，将测点测值序列局部超过警戒极限值的测值作为粗差予以剔除，并使用三次样条插值法补齐测值序列中的缺失数据，实现测值数据预处理。
43.s2，将预处理后的数据划分为测值增加、测值降低、测值不变这三种属性；
44.具体实现方法包括：
45.通过数据的前后项对比，l
i+1-li＞e为测值增加，l
i+1-li＜-e为测值降低，-e＜l
i+1-li＜e为测值不变；l
i+1
为当前测点当前时刻的测值，li为当前测点前一时刻的测值。本实施例中，e的取值为0.01，将测值属性划分为测值增加或测值降低或测值不变的情况，以实现测值数据由定量到定性的属性转换。测值增加说明接缝趋于张开，测值不变或测值减小说明接缝趋于闭合。
46.属性转换的目的在于：将数据变化程度和离散情况依据现有监测水平诠释为简明易懂的定性语言。每个监测数据都是精确的定量数值，无法反映任何定性信息，同时以连续数值形式表示的序列不便于直接参与计算，因此在不破坏数据分布的前提下，本实施例选取了某裂缝张口位移测点测值增加和测值降低的两种情况，对预处理后的数据进行属性转换。
47.s3，构建单测点时序关联规则的前后部和/或多测点空间关联规则的前后部，设置关联指标阈值并采用fp-growth算法筛选强关联规则；
48.具体实现方法包括：
49.构建单测点时序关联规则的前后部；构建多测点空间关联规则的前后部。设置最小置信度min_conf＝80％控制时序关联规则的输出数量及预测精度。
50.如图3所示，设置单测点时序关联规则前部x为当前测点在t1到t2时刻的接缝开合状态，单测点时序关联规则后部y1为该当前测点在t3到t4时刻的接缝开合状态，t1、t2、t3、t4分别对应时序中的不同时刻，且满足1≤t1＜t2＜t3＜t4≤t，表征时序关联规则前部x和时序关联规则后部y分属时序中的不同时段，且严格遵照一定的先后顺序。根据经典大坝安全监测理论，大坝变形主要是由水位、温度的变化所引起的，因此此处选取每年5至8月的高温高水位时段，将各年份同时段的测值数据进行纵向对比，关注各测点的裂缝张口位移测值序列在不同年份同比时段的局部变化趋势。
51.所述多测点空间关联规则的前部为当前测点接缝变形测值的变动情况；所述多测点空间关联规则的后部为同一时刻非当前测点的测点接缝变形测值变动情况。如图4所示，原点表示测点，箭头两端为当前测点与非当前测点。
52.如图2所示，采用fp-growth算法遍历24个接缝变形测点共15个年份的测值序列，具体实现方法包括：
53.s301，扫描事务数据库，分别计算各项目的支持度指标，根据所述关联指标阈值筛选出其中所有频繁项集，并按照支持度计数从大到小对频繁项集进行排序，形成频繁项表l；
54.s302，二次扫描事务数据库，利用搜索出的所有频繁项集，构造频繁模式树；创建所述频繁模式树的根节点null，并按照频繁项表l的排列次序，将频繁项集依次插入所述频繁模式树中的每个分支；创建头节点表；
55.s303，利用头节点表和树结点的链接，采用自底向上的策略筛选出在所述关联指标阈值约束下的强关联规则。
56.时序关联规则挖掘的结果如表1所示：
57.表1大坝接缝变形监测数据的时序关联规则挖掘结果
[0058][0059]
空间关联规则挖掘的结果如表2所示：
[0060]
表2大坝变形监测数据的空间关联规则挖掘结果
[0061][0062]
s4，判断步骤s3筛选出的强关联规则是否符合工程实际，若是，输出强关联规则集合，否则返回步骤s3。
[0063]
提取时序关联规则与空间关联规则中的强关联规则，参照大坝工程运行实际情况对生成规则进行逐一评价和解释。
[0064]
从表1可以看出，共有21个测点所监测的裂缝张口位移在高温高水位时段呈现张开趋势，其中测点f2ey和测点f36ey的规则置信度甚至达到了100％，显示该规则具有较好的参考价值。
[0065]
从表2可以看出，高程418米的接缝变形测点间基本呈现同步变化的趋势，其次从表1可以看出位于基础廊道的接缝变形测点之间呈现较明显的同步变化趋势，可见裂缝张口位移的测值数据确实与测点位置存在显著关联关系。
[0066]
通过单测点时序关联规则挖掘所发现的置信度高的测点，不仅可以用于预测自身接缝变形监测数据的未来发展趋势，而且为工程安全监控理论提供一个全新视角。通过多测点空间关联规则，衡量不同测点的变化同步程度提取出接缝变形监测数据中潜在的空间
关联规则，筛选出其中变化同步程度较高的关联测点，可以汇总生成服务于混凝土坝健康工作的规则集合。