一种基于大数据的城市数据质量管理方法及系统与流程

本发明涉及数据质量管理，具体为一种基于大数据的城市数据质量管理方法及系统。

背景技术：

1、为现代化城市构建城市数据库，是实现对现代城市管理和规划的关键工具，在信息时代，城市数据成为了决策的基础，为城市的可持续发展提供了关键支持；数据质量管理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

2、城市数据库的构建和数据质量管理是一项庞大而复杂的任务，首先，需要收集各个城市的数据，包括人口统计、土地利用、交通状况、环境指标等各个方面的信息，这些数据需要规范化和标准化，以便进行比较和分析。其次，需要建立高效的数据管理系统，确保数据的存储和检索能够满足各种用于决策分析的调用需求，此外，还需要不断更新和维护数据库，以反映城市的变化和发展。城市数据库内的数据稳定性、准确性决定了决策的稳定性、准确性。

技术实现思路

1、本发明的目的在于提供一种基于大数据的城市数据质量管理方法及系统，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的城市数据质量管理方法，方法包括：

3、步骤s1：分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至任意业务决策管理模型的数据集的信息；

4、步骤s2：梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；

5、步骤s3：根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；

6、步骤s4：反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施。

7、进一步的，步骤s1包括：

8、步骤s1-1：将通过不同移动采集终端定时从外部采集得到的智慧城市数据，按照预设的数据预处理规则完成数据预处理得到待处理数据集，将待处理数据集内各数据按照预设的数据分类规则进行分类得到若干待存储数据集，将各待存储数据集按照所对应的数据类别信息存储进入智慧城市数据库内不同的存储区域；其中，一个存储区域对应一种类别数据；

9、步骤s1-2：分别从各业务决策管理模型的每一历史应用记录中，提取在应用相应业务决策管理模型的过程中，对智慧城市数据库内不同存储区域产生的数据调用记录，分别得到在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的数据序列q={p1,p2,...,pn}，其中，p1,p2,...,pn分别表示在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的，对应调取来自第1、2、...、n个存储区域内的数据集；

10、即对在应用任意业务决策管理模型的过程中，需向任意业务决策管理模型输入的所有数据，按照类别进行划分整理，得到对应的数据集，为后续在基于相同的业务决策管理模型得到偏差较大的决策行为时，对输入数据进行数据偏差比较提供必要的技术铺垫。

11、进一步的，步骤s2包括：

12、步骤s2-1：获取在任意业务决策管理模型的每一历史应用记录中，基于模型输出结果所作出的决策行为；在任意业务决策管理模型的所有历史应用记录中，将决策行为相似度小于相似度阈值的任意两个历史应用记录，构成一个比对记录组，分别得到对应各业务决策管理模型的若干比对记录组；

13、步骤s2-2：设在某业务决策管理模型的第i个比对记录组中，包括历史应用记录a和历史应用记录b，设分别从历史应用记录a、b中提取得到向某业务决策管理模型输入的数据序列为q(a)={p1(a),p2(a),...,pm(a)}和q(b)={p1(b),p2(b),...,pm(b)}；其中，p1(a),p2(a),...,pm(a)表示在历史应用记录a中向某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；其中，p1(b),p2(b),...,pm(b)表示在历史应用记录b中，向某业务决策管理模型输入的，对应调取来自第1、2、...、m个存储区域的数据集；

14、步骤s2-3：将数据集q(a)和数据集q(b)中，对应相同存储区域的数据集进行偏差比对，得到对应各存储区域的数据偏差程度值，将m个存储区域按照对应数据偏差程度值从大到小进行排序，得到在某业务决策管理模型第i个比对记录组中的存储区域序列；

15、因为在历史应用记录a和历史应用记录b中所作决策行为间偏差较大，且因是在同一业务决策管理模型上产生的应用，在应用过程中所调用的数据在类别上的要求是相同的，因此导致应用结果出现偏差的原因应是在输入的各类别数据上的具体数值偏差，若输入属于相同类别的数据集的偏差程度值越大，说明从存储该相同类别数据的存储区域中调取得到的数据，对当前业务决策管理模型呈现出应用结果偏差较大的情况所提供的贡献程度就越大；

16、步骤s2-4：获取从任意业务决策管理模型的每一比对记录组中提取得到的存储区域序列，捕捉存储区域序列内相应存储区域所对应的排序值；设在应用某业务决策管理模型的过程中，需输入调取来自某存储区域的数据，且从某业务决策管理模型的所有比对记录组中提取得到某存储区域对应的最大排序值为kmax，最小排序值为kmin，计算得到来自某存储区域的数据对某业务决策管理模型的输出影响指数β=1/kmin+1/(kmax-kmin)；

17、kmin越大，说明输入调取来自某存储区域的数据集的差异变化，对导致当前业务决策管理模型呈现出应用结果偏差较大的情况所提供的贡献程度值越小，kmax-kmin越大，说明由于输入调取来自某存储区域的数据集的差异变化，对导致当前业务决策管理模型呈现出应用结果偏差较大的现象规律越不稳定；

18、若在应用某业务决策管理模型的过程中，不需要向某存储区域调取数据，作为某业务决策管理模型输入，则默认来自某存储区域的数据对某业务决策管理模型的输出影响指数为0。

19、进一步的，步骤s3包括：

20、步骤s3-1：获取对智慧城市构建的业务决策管理模型的总数m，若在应用m个业务决策管理模型的过程中，需调取来自某存储区域内的数据作为输入的业务决策管理模型的总数为f，计算得到某存储区域的重要程度系数α=f/m；

21、步骤s3-2：分别获取某存储区域对相应f个业务决策管理模型的输出影响指数，计算得到某存储区域对相应f个业务决策管理模型的平均输出影响指数δ；

22、步骤s3-3：评估某存储区域的数据重要程度值imp=α×δ。

23、进一步的，步骤s4包括：

24、步骤s4-1：获取数据库内各存储区域对应的数据重要程度值，将所有存储区域按照对应的数据重要程度值从大到小进行排序，得到特征存储区域序列；

25、步骤s4-2：分别为各存储区域内的数据，按照各存储区域在特征存储区域序列内所处的排序配置相对应等级的保护措施。

26、为更好的实现上述方法，还提出了一种城市数据质量管理系统，系统包括模型应用数据梳理模块、输出影响指数评估管理模块、数据重要程度值评估管理模块、反馈提示管理模块；

27、模型应用数据梳理模块，用于分别采集对智慧城市构建的各业务决策管理模型的历史应用记录，整理在应用任意业务决策管理模型的过程中，需从智慧城市数据库调取输入至任意业务决策管理模型的数据集的信息；

28、输出影响指数评估管理模块，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数；

29、数据重要程度值评估管理模块，用于根据在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况，对智慧城市数据库内各存储区域的数据重要程度值进行评估；

30、反馈提示管理模块，用于反馈管理人员端口，辅助管理人员对智慧城市数据库内各存储区域布设不同数据安全维护等级的保护措施。

31、进一步的，输出影响指数评估管理模块包括调取数据偏差梳理单元、输出影响指数计算单元；

32、调取数据偏差梳理单元，用于梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内各存储区域调取数据的偏差分布情况；

33、输出影响指数计算单元，用于接收调取数据偏差梳理单元中的数据，评估各存储区域内的数据对相应业务决策管理模型的输出影响指数。

34、进一步的，数据重要程度值评估管理模块包括信息整合单元、数据重要程度值计算单元；

35、信息整合单元，用于整理在应用各业务决策管理模型的过程中对各存储区域内数据的调用分布情况，以及各存储区域内的数据对不同业务决策管理模型所呈现的输出影响指数分布情况；

36、数据重要程度值计算单元，用于接收信息整合单元中的数据，评估计算智慧城市数据库内各存储区域的数据重要程度值。

37、与现有技术相比，本发明所达到的有益效果是：本发明通过整理在应用对智慧城市构建的各业务决策管理模型的过程中，需对智慧城市数据库内各存储区域产生的数据调用记录信息，以及梳理同一业务决策管理模型，在不同历史应用记录中对智慧城市数据库内存储区域所调取数据之间的偏差分布情况，评估基于调取来自各存储区域的数据集的数据差异变化，对导致相应业务决策管理模型呈现出应用结果偏差较大的情况所提供的贡献程度值，并且在此基础之上，进一步分析智慧城市数据库中各存储区域内的数据，对在做城市业务决策过程中的重要程度值，进而实现对智慧城市数据库中各存储区域的安全分级管理，提高智慧城市数据库内数据的准确性和可靠性，确保决策应用的准确性。