数据处理方法、设备及存储介质与流程

本技术涉及大数据，尤其涉及一种数据处理方法、设备及存储介质。

背景技术：

1、随着信息技术产业的发展，移动用户为电信运营商提供了用户信息、消费行为、网络行为等的海量数据，因此建立大数据平台成为必然趋势，而数据质量则是决定大数据平台价值程度的关键因素。

2、现有的数据处理方法通过质量评价指标配置页面配置业务需求的质量评价指标以及对应的评价指标区间，获取与质量评价指标关联的质量评价规则，并根据质量评价规则对待评价数据进行评价；将质量评价结果与评价指标区间进行比对，判断质量评价结果是否存在异常数据。

3、由于数据质量评价具有一定的主观性，且运营商行业大多为业务线广、孤立系统多的复杂环境，为运营商的经营决策带来了极大困难，进而影响数据质量评价的准确性；同时，现有的数据质量评价系统未能与用户反馈进行联动，形成管理闭环，导致无法及时对质量评价指标进行扩充和完善，因此现有技术存在数据质量评价的准确性和可扩展性低的技术问题。

技术实现思路

1、本技术提供一种数据处理方法、设备及存储介质，用以解决现有技术中数据质量评价的准确性和可扩展性低的技术问题。

2、第一方面，本技术提供一种数据处理方法，基于数据质量系统实现，数据质量系统包括数据接入模块、问题处理模块，方法包括：

3、基于数据接入模块获取待评价的目标元数据，将目标元数据发送至相应的数据仓库；

4、基于数据仓库对目标元数据进行加工，生成输出数据；基于预设规则对输出数据进行质量评价，确定评价结果和相应的交付数据；

5、获取用户根据交付数据反馈的工单信息，基于工单信息确定待优化的交付数据，并基于问题处理模块对交付数据进行优化。

6、可选地，数据质量系统还包括规则配置模块，基于数据接入模块获取待评价的目标元数据，将目标元数据发送至相应的数据仓库，包括：

7、基于预设方法对数据质量系统进行完整性分析，判断数据质量系统是否符合预设要求；若是，则确定相应的数据提供方，基于数据接入模块获取数据提供方提供的待评价的元数据；

8、基于规则配置模块对元数据进行质量分析，基于数据提供方对未通过质量分析的元数据进行溯源；

9、将通过质量分析的元数据确定为目标元数据，并将目标元数据发送至相应的数据仓库。

10、可选地，基于规则配置模块对元数据进行质量分析，包括：

11、基于规则配置模块确定用于评价元数据的多个评价维度；其中，评价维度包括准确性评价、完整性评价、一致性评价、可访问性评价和时效性评价；

12、基于评价维度对元数据进行质量分析。

13、可选地，基于评价维度对元数据进行质量分析，包括：

14、确定元数据的总数量；

15、获取元数据对应的预设期望值，确定与预设期望值相同的元数据对应的第一数量；基于第一数量和总数量，计算元数据的准确性评价结果；

16、确定元数据为非空值对应的第二数量，基于第二数量和总数量，计算元数据的完整性评价结果；

17、获取元数据在符合一致性情况下对应的预设取值范围，确定元数据在预设取值范围内对应的第三数量；基于第三数量和总数量，计算元数据的一致性评价结果；

18、确定可访问的元数据对应的第四数量，基于第四数量和总数量，计算元数据的可访问性评价结果；

19、获取数据提供方生成元数据对应的第一时间点，以及数据接入模块获取元数据对应的第二时间点；基于第一时间点和第二时间点，计算元数据的时效性评价结果。

20、可选地，基于预设规则对输出数据进行质量评价，包括：

21、基于评价维度进行扩充，选取评价维度下的多个目标评价指标；

22、基于目标评价指标构建相应的评价指标体系，基于评价指标体系对输出数据进行质量评价。

23、可选地，选取评价维度下的多个目标评价指标，包括：

24、选取评价维度下的多个评价指标，采用优序图法计算评价指标对应的权重值；

25、将大于预设阈值的权重值对应的评价指标确定为目标评价指标。

26、可选地，数据质量系统还包括任务调度模块、结果展示模块、消息下发模块，方法还包括：

27、基于任务调度模块对相应的目标元数据获取过程、目标元数据加工过程、输出数据质量评价过程进行调度，以使目标元数据获取过程、目标元数据加工过程、输出数据质量评价过程基于预设顺序执行；

28、基于结果展示模块将输出数据的质量评价结果向用户进行展示；

29、基于消息下发模块将用户反馈的工单信息和输出数据的质量评价结果发送至数据提供方。

30、第二方面，本技术提供一种数据处理设备，基于数据质量系统实现，数据质量系统包括数据接入模块、问题处理模块，设备包括：

31、第一处理模块，用于基于数据接入模块获取待评价的目标元数据，将目标元数据发送至相应的数据仓库；

32、第二处理模块，用于基于数据仓库对目标元数据进行加工，生成输出数据；基于预设规则对输出数据进行质量评价，确定评价结果和相应的交付数据；

33、第三处理模块，用于获取用户根据交付数据反馈的工单信息，基于工单信息确定待优化的交付数据，并基于问题处理模块对交付数据进行优化。

34、可选地，数据质量系统还包括规则配置模块，第一处理模块用于：

35、基于预设方法对数据质量系统进行完整性分析，判断数据质量系统是否符合预设要求；若是，则确定相应的数据提供方，基于数据接入模块获取数据提供方提供的待评价的元数据；

36、基于规则配置模块对元数据进行质量分析，基于数据提供方对未通过质量分析的元数据进行溯源；

37、将通过质量分析的元数据确定为目标元数据，并将目标元数据发送至相应的数据仓库。

38、可选地，第一处理模块还用于：

39、基于规则配置模块确定用于评价元数据的多个评价维度；其中，评价维度包括准确性评价、完整性评价、一致性评价、可访问性评价和时效性评价；

40、基于评价维度对元数据进行质量分析。

41、可选地，第一处理模块还用于：

42、确定元数据的总数量；

43、获取元数据对应的预设期望值，确定与预设期望值相同的元数据对应的第一数量；基于第一数量和总数量，计算元数据的准确性评价结果；

44、确定元数据为非空值对应的第二数量，基于第二数量和总数量，计算元数据的完整性评价结果；

45、获取元数据在符合一致性情况下对应的预设取值范围，确定元数据在预设取值范围内对应的第三数量；基于第三数量和总数量，计算元数据的一致性评价结果；

46、确定可访问的元数据对应的第四数量，基于第四数量和总数量，计算元数据的可访问性评价结果；

47、获取数据提供方生成元数据对应的第一时间点，以及数据接入模块获取元数据对应的第二时间点；基于第一时间点和第二时间点，计算元数据的时效性评价结果。

48、可选地，第二处理模块用于：

49、基于评价维度进行扩充，选取评价维度下的多个目标评价指标；

50、基于目标评价指标构建相应的评价指标体系，基于评价指标体系对输出数据进行质量评价。

51、可选地，第二处理模块还用于：

52、选取评价维度下的多个评价指标，采用优序图法计算评价指标对应的权重值；

53、将大于预设阈值的权重值对应的评价指标确定为目标评价指标。

54、可选地，数据质量系统还包括任务调度模块、结果展示模块、消息下发模块，设备用于：

55、基于任务调度模块对相应的目标元数据获取过程、目标元数据加工过程、输出数据质量评价过程进行调度，以使目标元数据获取过程、目标元数据加工过程、输出数据质量评价过程基于预设顺序执行；

56、基于结果展示模块将输出数据的质量评价结果向用户进行展示；

57、基于消息下发模块将用户反馈的工单信息和输出数据的质量评价结果发送至数据提供方。

58、本技术的第三方面，提供了一种数据处理设备，包括：

59、处理器和存储器；

60、存储器存储计算机执行指令；

61、处理器执行存储器存储的计算机执行指令，使得数据处理设备执行第一方面中任一项的数据处理方法。

62、第四方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面中任一项的数据处理方法。

63、本技术提供的数据处理方法、设备及存储介质，基于数据质量系统的数据接入模块、问题处理模块、规则配置模块、任务调度模块、结果展示模块、消息下发模块进行多模块组合、联动，及时监测并发现数据质量问题；基于数据接入模块获取待评价的元数据，并基于规则配置模块确定多个评价维度，以对元数据进行质量分析，确定相应的目标元数据；将目标元数据发送至数据仓库进行加工，生成输出数据，通过选取评价维度下的多个目标评价指标构建了适用于运营商行业大数据环境下的评价指标体系，基于评价指标体系对输出数据进行更加详细的质量评价，确定评价结果和相应的交付数据；获取用户根据交付数据反馈的工单信息，基于工单信息确定待优化的交付数据，并基于问题处理模块对交付数据进行优化，形成管理闭环，实现了提高数据质量评价的准确性和可扩展性的技术效果。