网络数据存储方法及相关系统、存储介质与流程

本技术涉及数据处理，尤其涉及一种网络数据存储方法及相关系统、存储介质。

背景技术：

1、在无线通信网络规划优化领域，用户终端设备以固定周期向基站上报网络测量数据报告。为提取、存储这些报告中的数据并表征网络在地表空间上连续变化的信息，常将地表空间切分为无缝无重叠的等大栅格，并以栅格为基本单位来存储对应空间范围的网络测量数据，进而通过数据聚合支撑面向运营商客户所需的网络规划优化分析。依据分析的结果，维优工程师对网络进行优化来提升网络用户的使用体验。

2、随着5g通信技术及对应智能终端的普及，无线网络测量数据量正以指数级飞速增加，比如，5g通信使得单位面积的物联网设备数量可以达到4g通信的100倍以上，海量物联网的传感器将产生海量的数据。

3、针对无线通信网络规划优化领域，数据量的激增带来了一系列矛盾：海量数据为高层次的数据分析提供丰富的数据源，使分析结果更加精确，能良好的面向客户解决网络问题。另一方面也面临着数据治理、数据存储等方向的高开销。鉴于海量数据面向高质量网络的重要地位，如何降低栅格存储海量数据开销，并在其中取其精华，去其糟粕已成为新时代网络规划优化领域的重要课题，只有应对好数据治理、存储方向的挑战，才能充分利用海量数据提供的物质基础。

4、现有技术在存储网络数据时，使用等大栅格存储，在数据存储模块中为一个栅格对应一条数据记录，考虑到无线网络交付场景包括密集城区、一般城区、郊区、城镇乡村等，在城镇乡村或郊区等无线网络数据较为稀疏的区域，存在单个50m尺寸栅格内部并无或很少无线网络数据的情况，但该删格的经纬度仍然作为一条记录存储，这样造成存储资源的极大浪费。随着数据量飞速增加，现有技术采用数据采样的解决方式来缩减数据量，通过从全量数据中提取出少部分数据代替全量数据进行后续网络指标聚合处理，以此应对数据量飞速增加的问题，进而减少硬件开销及提升查询性能，但是采用数据采样的方式会导致网络规划优化精度下降、网络规划优化效率下降。

技术实现思路

1、本技术公开了一种网络数据存储方法及相关系统、存储介质，可以在存储全量数据的情况小同时减少数据存储占用空间。

2、第一方面，本技术实施例提供一种网络数据存储方法，包括：获取多个栅格对应的全量mr数据，并根据所述全量mr数据将所述多个栅格划分为p个子空间，p为不小于1的整数；根据所述p个子空间的全量mr数据，确定所述p个子空间的价值级别；根据所述p个子空间的价值级别对所述p个子空间中的栅格进行融合处理，以得到所述每个子空间的融合后的栅格；根据所述融合后的栅格存储所述全量mr数据。

3、本技术实施例，通过将多个栅格划分为p个子空间，并根据所述p个子空间的全量mr数据确定该p个子空间的价值级别，进而根据该p个子空间的价值级别对p个子空间中的栅格进行融合处理，然后根据融合后的栅格存储全量mr数据。采用该手段，基于不同价值级别，将不同子空间的多个原来的栅格分别进行了合并，使得栅格数量减少，在存储全量mr数据时占用的存储空间较少，相较于现有技术中采用数量极多的等大栅格存储mr数据，本发明采用融合后的栅格存储数据，在不丢失数据本身信息、存储全量数据的前提下，栅格总数有所减少，节省了存储空间。

4、作为一种可选的实现方式，所述根据所述全量mr数据将所述多个栅格划分为p个子空间，包括：

5、s1、根据每个所述栅格内的mr数据的数据量，确定每个所述栅格的数据密度；

6、s2、根据每个所述栅格的数据密度确定所述多个栅格中任意两个栅格之间的不相似度值；

7、s3、将所述多个栅格中任意两个栅格之间不相似度值最小的两个栅格记为同组栅格；

8、s4、计算包含所述同组栅格的所述多个栅格中任意两个栅格之间的不相似度值；

9、s5、重复执行步骤s3-s4，直到所述多个栅格中的每个栅格均为同组栅格中的栅格，得到p个同组栅格，所述p个子空间与p个同组栅格对应，所述p个子空间中每个子空间包含的栅格的数量不小于第一预设值。

10、该方案基于空间邻近性，将整块电信网格区域划分多个子空间，以便为后续价值分析、多尺度栅格存储创造空间载体，并提供数据支撑、理论支撑。以子空间为单位，对其价值进行排序，为多尺度栅格存储提供理论基础。

11、作为一种可选的实现方式，所述方法还包括：若存在子空间a，其中所述子空间a包含的栅格的数量小于所述第一预设值，则从所述p个子空间中获取子空间b，所述子空间b与所述子空间a的不相似度值差值小于第二预设值；将所述子空间a合并至所述子空间b中，以更新所述子空间b。

12、该手段可以让生成的子空间的范围满足实际业务分布范围，更贴合业务自身的需要。

13、作为一种可选的实现方式，所述根据所述p个子空间的全量mr数据，确定所述p个子空间的价值级别，包括：根据所述p个子空间中每个子空间所包含的栅格的数据密度和每个子空间包含的栅格的数量确定所述p个子空间中每个子空间的数据密度平均值；根据所述p个子空间中每个子空间的数据密度平均值得到所述p个子空间的价值级别，其中，所述数据密度平均值越大，所述子空间的价值级别越高。

14、通过基于数据密度平均值确定子空间的价值级别，进而便于基于子空间的价值级别确定不同的融合策略。相较于现有技术中不对地理空间进行区分，对所有地理空间都采取同样的数据存储、处理策略，本方案引入了“价值”的概念，对地理空间进行区分，如设立“高、中、低、无价值区域”等，可以针对各种区域数据特点进行不同的处理。

15、可选的，所述方法还包括：根据每个所述栅格的栅格中心点经纬度得到每个所述栅格的编码；所述根据所述p个子空间的价值级别对所述p个子空间中的栅格进行融合处理，以得到所述每个子空间的融合后的栅格，包括：根据所述p个子空间的价值级别确定所述p个子空间中每个子空间的栅格尺寸上限；根据每个所述栅格的编码，将所述每个子空间中的栅格集合进行融合，以得到所述每个子空间的融合后的栅格，其中，每个子空间中融合后的栅格尺寸不大于该子空间的栅格尺寸上限，所述每个子空间中的栅格集合中的栅格的数量为预设数值，且所述栅格集合中的栅格的编码仅最后一位不相同，所述栅格集合中的栅格为所述每个子空间中的栅格，和/或，所述栅格集合中的栅格为根据所述每个子空间中的栅格进行融合得到的；所述根据所述融合后的栅格存储所述全量mr数据，包括：根据所述融合后的栅格的编码存储所述全量mr数据，所述融合后的栅格的编码为将所述栅格集合中的栅格的编码中不相同的最后一位删除得到的。

16、例如，价值级别越高，栅格尺寸上限越低(小)。

17、本技术所述的栅格集合，可以理解为，将编码仅最后一位不相同的预设数量的栅格确定为一个栅格集合。该预设数量例如为4个等。每个子空间可以包含多个栅格集合。

18、采用该手段，基于不同价值级别，将不同子空间的多个原来的栅格分别进行了合并，使得栅格数量减少，在存储全量mr数据时占用的存储空间较少，相较于现有技术中采用数量极多的等大栅格存储mr数据，本发明采用融合后的栅格存储数据，在不丢失数据本身信息、存储全量数据的前提下，栅格总数有所减少，节省了存储空间。

19、进一步地，所述方法还包括：当所述p个子空间中的任一子空间c中的mr数据变化量超出预设变化量，根据所述子空间c中变化后的mr数据，更新所述子空间c的价值级别。其中，在同一电信网格下，单个子空间的数据量会随着时间变化，因此可应用例如时间序列异常检测判定是否需要更新现有价值模式。通过检测当前价值模式是否适用于新数据，避免重复计算增加资源开销，保障业务响应速度，且同时保证业务精确度。

20、第二方面，本技术提供了一种网络数据存储装置，包括：处理模块，用于获取多个栅格对应的全量mr数据，并根据所述全量mr数据将所述多个栅格划分为p个子空间，p为不小于1的整数；确定模块，用于根据所述p个子空间的全量mr数据，确定所述p个子空间的价值级别；融合模块，用于根据所述p个子空间的价值级别对所述p个子空间中的栅格进行融合处理，以得到所述每个子空间的融合后的栅格；存储模块，用于根据所述融合后的栅格存储所述全量mr数据。

21、本技术实施例，通过将多个栅格划分为p个子空间，并根据所述p个子空间的全量mr数据确定该p个子空间的价值级别，进而根据该p个子空间的价值级别对p个子空间中的栅格进行融合处理，然后根据融合后的栅格存储全量mr数据。采用该手段，基于不同价值级别，将不同子空间的多个原来的栅格分别进行了合并，使得栅格数量减少，在存储全量mr数据时占用的存储空间较少，相较于现有技术中采用数量极多的等大栅格存储mr数据，本发明采用融合后的栅格存储数据，在不丢失数据本身信息、存储全量数据的前提下，栅格总数有所减少，节省了存储空间。

22、可选的，所述处理模块，用于执行以下步骤：

23、s1、根据每个所述栅格内的mr数据的数据量，确定每个所述栅格的数据密度；

24、s2、根据每个所述栅格的数据密度确定所述多个栅格中任意两个栅格之间的不相似度值；

25、s3、将所述多个栅格中任意两个栅格之间不相似度值最小的两个栅格记为同组栅格；

26、s4、计算包含所述同组栅格的所述多个栅格中任意两个栅格之间的不相似度值；

27、s5、重复执行步骤s3-s4，直到所述多个栅格中的每个栅格均为同组栅格中的栅格，得到p个同组栅格，所述p个子空间与p个同组栅格对应，所述p个子空间中每个子空间包含的栅格的数量不小于第一预设值。

28、其中，所述处理模块，还用于：若存在子空间a，其中所述子空间a包含的栅格的数量小于所述第一预设值，则从所述p个子空间中获取子空间b，所述子空间b与所述子空间a的不相似度值差值小于第二预设值；将所述子空间a合并至所述子空间b中，以更新所述子空间b。

29、进一步对，所述确定模块，用于：根据所述p个子空间中每个子空间所包含的栅格的数据密度和每个子空间包含的栅格的数量确定所述p个子空间中每个子空间的数据密度平均值；根据所述p个子空间中每个子空间的数据密度平均值得到所述p个子空间的价值级别，其中，所述数据密度平均值越大，所述子空间的价值级别越高。

30、可选的，所述装置还包括编码模块，用于：根据每个所述栅格的栅格中心点经纬度得到每个所述栅格的编码；所述融合模块，用于：根据所述p个子空间的价值级别确定所述p个子空间中每个子空间的栅格尺寸上限；根据每个所述栅格的编码，将所述每个子空间中的栅格集合进行融合，以得到所述每个子空间的融合后的栅格，其中，每个子空间中融合后的栅格尺寸不大于该子空间的栅格尺寸上限，所述每个子空间中的栅格集合中的栅格的数量为预设数值，且所述栅格集合中的栅格的编码仅最后一位不相同，所述栅格集合中的栅格为所述每个子空间中的栅格，和/或，所述栅格集合中的栅格为根据所述每个子空间中的栅格进行融合得到的；所述存储模块，用于：根据所述融合后的栅格的编码存储所述全量mr数据，所述融合后的栅格的编码为将所述栅格集合中的栅格的编码中不相同的最后一位删除得到的。

31、进一步地，所述装置还包括更新模块，用于：当所述p个子空间中的任一子空间c中的mr数据变化量超出预设变化量，根据所述子空间c中变化后的mr数据，更新所述子空间c的价值级别。

32、第三方面，本技术提供了一种网络数据存储装置，包括处理器和存储器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如第一方面任一实现方式提供的方法。

33、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一实现方式提供的方法。

34、第五方面，本技术提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一实现方式提供的方法。

35、可以理解地，上述提供的第二方面所述的装置、第三方面所述的装置、第四方面所述的计算机存储介质或者第五方面所述的计算机程序产品均用于执行第一方面中任一所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。