一种水利工程水位数据处理方法与流程

本发明涉及数据处理，具体涉及一种水利工程水位数据处理方法。

背景技术：

1、水位数据变化的监测以及管理对于水库运营以及水资源管理具有重要意义。通过监测水位变化，可以了解水库储水量的变化情况，根据实时需求合理调整水库的蓄水方案，确保供水的稳定性和灵活性。同时实时地监测和管理水库内水位变化可以提高水库的运行效率，确保水库的安全稳定运营，并且最大程度地满足人们的用水需求。

2、现有的对大规模水位数据的存储方法一般都使用时间序列数据库，将水位的完整数据进行无损存储。但其存在需要大量的存储空间，成本较高，且查询的灵活性会受到限制的缺点，因此本方案对于特定水位数据进行有损压缩，在不改变水位数据的变化趋势及特征的情况下提高存储效率，节省存储空间，从而达到对水位数据高效的管理。

技术实现思路

1、本发明提供一种水利工程水位数据处理方法，以解决现有的问题：如何保障水位数据的变化特征的同时还能够降低水位数据的存储量。

2、本发明的一种水利工程水位数据处理方法采用如下技术方案：

3、本发明一个实施例提供了一种水利工程水位数据处理方法，该方法包括以下步骤：

4、获取所有水位数据，对所有水位数据分类处理得到多个水位数据集合；

5、计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合；

6、计算每个压缩水位数据集合的压缩权重，获取每个压缩水位数据集合的取值范围，根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围；

7、根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值；

8、根据最佳压缩值进行压缩存储处理。

9、优选的，所述对所有水位数据分类处理得到多个水位数据集合，包括的具体方法为：

10、利用区域生长法对所有水位数据进行处理，将属于一个区域的所有水位数据构成水位数据集合，得到多个水位数据集合。

11、优选的，所述计算每个水位数据集合的异常程度，包括的具体方法为：

12、根据水位数据集合中所有水位数据的均值以及水位数据集合中所有水位数据的标准差，获得水位数据集合的第一参数；

13、将第i个水位数据集合中水位数据的数据量与所有水位数据集合中水位数据的数据量的比值，记为第i个水位数据集合的第一比值，将记为第i个水位数据集合的第二参数；

14、将第i个水位数据集合的第一参数和第二参数的比值，记为第i个水位数据集合的异常程度，其中表示以自然常数为底的指数函数。

15、优选的，所述根据水位数据集合中所有水位数据的均值以及水位数据集合中所有水位数据的标准差，获得水位数据集合的第一参数，包括的具体方法为：

16、将第i个水位数据集合中所有水位数据的均值与所有水位数据集合中所有水位数据的均值的比值，记为第i个水位数据集合的第二比值；

17、将第i个水位数据集合中所有水位数据的标准差与第i个水位数据集合中所有水位数据的均值的比值，记为第i个水位数据集合的第三比值；

18、将记为第i个水位数据集合的第一参数，其中表示获取绝对值。

19、优选的，所述根据异常程度得到压缩水位数据集合，包括的具体方法为：

20、将异常程度小于预设异常程度阈值y1的水位数据集合作为压缩水位数据集合。

21、优选的，所述计算每个压缩水位数据集合的压缩权重，包括的具体方法为：

22、

23、其中，表示第i个压缩水位数据集合的压缩权重，表示所有压缩水位数据集合的异常程度最小值，表示所有压缩水位数据集合的异常程度最大值，表示第i个压缩水位数据集合中最大水位数据与最小水位数据的差值，表示第i个水位数据集合的异常程度。

24、优选的，所述获取每个压缩水位数据集合的取值范围，包括的具体方法为：

25、获取每个压缩水位数据集合中最大水位数据和最小水位数据，将最小水位数据和最大水位数据构成每个压缩水位数据集合的取值范围。

26、优选的，所述根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围，包括的具体方法为：

27、

28、其中，表示第i个压缩水位数据集合的取值范围的上限值，表示第i个压缩水位数据集合的取值范围的下限值，表示第i个压缩水位数据集合的调整后取值范围的上限值，表示第i个压缩水位数据集合的调整后取值范围的下限值，表示向下取整符号，表示第i个压缩水位数据集合的压缩权。

29、优选的，所述根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值，包括的具体方法为：

30、对于每个压缩水位数据集合，将调整后取值范围内的任意一个整数记为目标值，将压缩水位数据集合中每个水位数据与目标值的差值绝对值作为每个水位数据与目标值的第一差值，将所有水位数据与目标值的第一差值的累加和与压缩水位数据集合中所有水位数据的方差的比值作为目标值的损失值，在调整后取值范围内所有整数中获取损失值最小的整数作为每个压缩水位数据集合的最佳压缩值。

31、优选的，所述根据最佳压缩值进行压缩存储，包括的具体方法为：

32、每个压缩数位数据集合只存最佳压缩值，对于其他水位数据集合，需存水位数据集合中每个水位数据。

33、本发明的技术方案的有益效果是：获取所有水位数据，对所有水位数据分类处理得到多个水位数据集合；计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合；压缩水位数据集合中存在正常的水位数据，从而后续只对正常水位数据进行有损压缩，保留异常的水位数据，防止数据压缩将异常的水位数据的信息损失，影响后续的水位分析。计算每个压缩水位数据集合的压缩权重，获取每个压缩水位数据集合的取值范围，根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围；根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值；最佳压缩值为损失量最小的压缩值，通过该值对水位数据进行压缩，能够降低压缩损失。

技术特征：

1.一种水利工程水位数据处理方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述对所有水位数据分类处理得到多个水位数据集合，包括的具体方法为：

3.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述根据异常程度得到压缩水位数据集合，包括的具体方法为：

4.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述获取每个压缩水位数据集合的取值范围，包括的具体方法为：

5.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值，包括的具体方法为：

6.根据权利要求1所述一种水利工程水位数据处理方法，其特征在于，所述根据最佳压缩值进行压缩存储，包括的具体方法为：

技术总结
本发明涉及数据处理技术领域，具体涉及一种水利工程水位数据处理方法，包括：获取所有水位数据，对所有水位数据分类处理得到多个水位数据集合；计算每个水位数据集合的异常程度，根据异常程度得到压缩水位数据集合；计算每个压缩水位数据集合的压缩权重，获取每个压缩水位数据集合的取值范围，根据压缩权重和取值范围得到每个压缩水位数据集合的调整后取值范围；根据调整后取值范围得到每个压缩水位数据集合的最佳压缩值；根据最佳压缩值进行压缩存储处理。从而有效节约存储成本。

技术研发人员：刘传统,王卫军,王爱民,湛美欣,刘婧,李瑞涛,张伟杰,楚雪平
受保护的技术使用者：吉林省吉龙芯科技有限公司
技术研发日：
技术公布日：2024/5/10