基于AI的数据管理水平的体检方法及装置与流程

基于ai的数据管理水平的体检方法及装置
技术领域
1.本发明属于大数据技术领域，具体涉及一种基于ai的数据管理水平的体检方法及装置。


背景技术：

2.近些年来，全球数字经济蓬勃发展，数字经济在国民经济中的占比越来越高，构建以数据为关键要素的数字经济是当前趋势，相关研究中把数据与土地、劳动力、资本、技术并列为生产要素，凸显了数据这一新型、数字化生产要素的重要性。在此基础上，各行各业企事业单位对自身数据管理水平空前重视。
3.相关技术中，目前绝大多数企事业单位无法通过科学、有效的方法了解和提升自身数据管理水平，虽有少数资金雄厚的企业通过聘请专业咨询公司来解决此问题，但这种方法通常是一次性的、无法自动执行的、必须持续投入资金成本的，因此不具备普适性。而针对了解和提升数据管理水平这一问题，市面上目前有数据体检相关技术，可辅助企业了解，但该项技术只能解决“发现数据问题点”这一小部分问题，不能全面覆盖企业数据管理能力的各个环节，也不能自动化发现和评估数据管理能力，更不能提出数据管理提升策略。


技术实现要素：

4.有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于ai的数据管理水平的体检方法及装置，以解决现有技术中无法提升自身数据管理水平的问题。
5.为实现以上目的，本发明采用如下技术方案：一种基于ai的数据管理水平的体检方法，包括：体检待测数据，得到体检报告；根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告；结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果；解析所述评估结果生成评估报告；所述评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。
6.进一步的，所述体检待测数据，得到体检报告，包括：配置内置业务规则和自定义业务规则；创建体检任务配置，关联所述业务规则，指定体检对象，新增体检任务；读取体检任务配置，执行体检任务，形成体检结果；解析体检结果，形成体检报告。
7.进一步的，所述根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告，包括：创建跟踪任务配置，关联所述体检任务；读取所述跟踪任务配置，执行所述跟踪任务，形成跟踪结果；解析所述跟踪结果，形成跟踪报告。
8.进一步的，所述结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果，包括：创建评估任务配置，关联所述体检任务和所述跟踪任务；采用预设评估算法读取评估任务配置，执行评估任务，形成评估结果。
9.进一步的，所述配置内置业务规则，包括配置常用业务规则，并将所述常用业务规则设置为启用状态；所述自定义业务规则，包括配置自定义业务规则名称、规则分类、体检方式、体检规则，其中，体检规则支持对字段内容进行关键字匹配和正则表达式匹配，并支持对所述自定义业务规则进行测试，验证规则的有效性；所述创建体检任务配置，包括配置任务基本信息，选择数据源，选择体检目标，读取上述业务规则；其中，所述体检目标包括数据规模体检、数据质量体检和数据使用体检；所述读取体检任务配置，包括读取体检任务配置信息并对体检任务配置进行预检查；其中，预检查包括对数据源、元数据、数据表及表字段是否存在以及各字段类型是否匹配进行检查；所述执行体检任务，包括：创建任务队列，用于存放各项体检子任务的执行器；根据体检指标生成任务总校验和，拆分总校验和创建各体检子任务，将任务执行器放入任务队列中；获取业务规则配置，完成规则匹配，并将匹配结果入库，执行业务体检任务；执行各体检指标对应的体检子任务；所述形成体检结果，包括：保存数据源、元数据、数据表及表字段体检指标的体检结果到数据库；所述解析体检结果，形成体检报告，包括：对体检指标结果进行后台加工，并通过前端界面图表进行展示，形成体检报告，所述体检报告支持多种格式导出和分享。
10.进一步的，所述创建跟踪任务配置，包括配置跟踪任务名称，关联体检任务，选择跟踪周期、跟踪任务执行频次；所述读取所述跟踪任务配置，包括按照指定周期和频次执行跟踪任务，形成跟踪结果；所述解析所述跟踪结果，包括跟踪任务执行时间、运行时长、运行结果，以及跟踪子任务所对应的结果。
11.进一步的，所述创建评估任务配置，包括：自定义配置评估任务名称，配置关联所述体检任务和所述跟踪任务，选择用于评估的ai算法；所述读取评估任务配置，包括：后台调用已选择用于评估的ai算法，通过后台执行评估任务，形成评估结果。
12.进一步的，所述提升策略分为系统规则类和人工处理类，所述系统规则类为自动添加为提升任务，由系统完成提升并记录结果，所述人工处理类为自动发送至相关责任人，由人工完成提升。
13.本技术实施例提供一种基于ai的数据管理水平的体检装置，包括：体检模块，用于体检待测数据，得到体检报告；
跟踪模块，用于根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告；评估模块，用于结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果；生成模块，用于解析所述评估结果生成评估报告；所述评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。
14.本技术实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述任一项基于ai的数据管理水平的体检方法的步骤。
15.本发明采用以上技术方案，能够达到的有益效果包括：（1）本技术提供的技术方案具有数据管理水平体检的闭环流程，覆盖探查、跟踪、评估和提升各环节，形成数据管理水平体检的完整技术解决方案，相比现有技术中只能发现、不能辅助解决问题的现有技术，本发明提供的技术方案更具实用性。
16.（2）对数据管理水平体检指标体系进行细分，使体检更具针对性，体检结果更加准确、有效。
17.（3）本技术还设有数据管理水平评估环节。
18.（4）本技术提供的数据管理水平体检方法全过程经由计算机程序执行，实现了体检全自动化，提升了数据管理水平体检的可持续性、可重复使用性，能够取代人工咨询模式，有效降低企业成本。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明基于ai的数据管理水平的体检方法的步骤示意图；图2为本发明基于ai的数据管理水平的体检方法的另一种步骤示意图；图3为本发明基于ai的数据管理水平的体检方法的另一种步骤示意图；图4为本发明基于ai的数据管理水平的体检方法的另一种步骤示意图；图5为本发明基于ai的数据管理水平的体检装置的结构示意图；图6为本发明基于ai的数据管理水平的体检方法实施环境的硬件结构示意图。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
22.下面结合附图介绍本技术实施例中提供的一个具体的基于ai的数据管理水平的体检方法及装置。
23.如图1所示，本技术实施例中提供的基于ai的数据管理水平的体检方法，包括：
s101，体检待测数据，得到体检报告；一些实施例中，如图2所示，所述体检待测数据，得到体检报告，包括：s1011，配置内置业务规则和自定义业务规则；其中，所述配置内置业务规则，包括配置常用业务规则，并将所述常用业务规则设置为启用状态；其中，常用业务规则可以是码值识别、编码长度、是否为空、中英文名称是否完整、是否立标等。
24.所述自定义业务规则，包括配置自定义业务规则名称、规则分类、体检方式、体检规则，其中，体检规则支持对字段内容进行关键字匹配和正则表达式匹配，并支持对所述自定义业务规则进行测试，验证规则的有效性。
25.s1012，创建体检任务配置，关联所述业务规则，指定体检对象，新增体检任务；所述创建体检任务配置，包括配置任务基本信息，选择数据源，选择体检目标，读取上述业务规则；其中，体检目标为数据管理水平体检指标体系，具体包括数据规模体检、数据质量体检和数据使用体检。数据规模体检包括数据类型指标、数据量指标和数据位置分布指标；数据质量体检包括数据质量问题指标、元数据质量问题指标及数据标准指标；数据使用体检包括数据调用频次指标、数据关联节点指标和数据影响深度指标。
26.s1013，读取体检任务配置，执行体检任务，形成体检结果；所述读取体检任务配置，包括读取体检任务配置信息并对体检任务配置进行预检查；其中，预检查包括对数据源、元数据、数据表及表字段是否存在以及各字段类型是否匹配进行检查。
27.所述执行体检任务，包括：创建任务队列，用于存放各项体检子任务的执行器；根据体检指标生成任务总校验和，拆分总校验和创建各体检子任务，将任务执行器放入任务队列中；获取业务规则配置，完成规则匹配，并将匹配结果入库，执行业务体检任务；执行各体检指标对应的体检子任务；所述形成体检结果，包括：保存数据源、元数据、数据表及表字段体检指标的体检结果到数据库。
28.s1014，解析体检结果，形成体检报告。
29.其中，所述解析体检结果，形成体检报告，包括：对体检指标结果进行后台加工，并通过前端界面图表进行展示，形成体检报告，所述体检报告支持多种格式导出和分享。
30.s102，根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告；一些实施例中，如图3所示，所述根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告，包括：s1021，创建跟踪任务配置，关联所述体检任务；所述创建跟踪任务配置，包括配置跟踪任务名称，关联体检任务，选择跟踪周期、跟踪任务执行频次。
31.s1022，读取所述跟踪任务配置，执行所述跟踪任务，形成跟踪结果；所述读取所述跟踪任务配置，包括按照指定周期和频次执行跟踪任务，形成跟踪
结果。
32.s1023，解析所述跟踪结果，形成跟踪报告。
33.所述解析所述跟踪结果，包括跟踪任务执行时间、运行时长、运行结果，以及跟踪子任务所对应的结果。
34.s103，结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果；一些实施例中，如图4所示，所述结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果，包括：s1031，创建评估任务配置，关联所述体检任务和所述跟踪任务；所述创建评估任务配置，包括：自定义配置评估任务名称，配置关联所述体检任务和所述跟踪任务，选择用于评估的ai算法包括：数据包络分析模型、数据管理能力成熟度模型、dama数据管理模型和数据健康度评估模型，其中，数据包络分析模型用于基于dea数学模型，构建的用于对比同一对象在不同阶段提升效果的算法；数据管理能力成熟度评估模型为基于dcmm数据管理能力成熟度评估模型，所构建评估指标体系和评分规则，用于对企业数据管理能力成熟度进行量化评分和分级；dama数据管理模型为基于dama数据管理域，所构建的数据成熟度评估模型用于对企业数据管理成熟度进行量化评分和分级；数据健康评估模型为基于数据健康度指标及ahp层次分析法所构建的评估模型，用于评估数据健康状况。可以理解的是，这些ai算法内置在系统中的评估模块，在评估任务配置时进行选择。
35.需要说明的是，本技术中预设多个ai算法，用于评估的ai算法包括s1032，采用预设评估算法读取评估任务配置，执行评估任务，形成评估结果。
36.所述读取评估任务配置，包括：后台调用已选择用于评估的ai算法，通过后台执行评估任务，形成评估结果。
37.s104，解析所述评估结果生成评估报告；所述评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。
38.一些实施例中，所述提升策略分为系统规则类和人工处理类，所述系统规则类为自动添加为提升任务，由系统完成提升并记录结果，所述人工处理类为自动发送至相关责任人，由人工完成提升。
39.综上所述，本技术提供的基于ai的数据管理水平的体检方法，具有以下特点，（1）数据管理水平体检的闭环流程，覆盖探查、跟踪、评估和提升各环节，形成数据管理水平体检的完整技术解决方案，相比现有技术中只能发现、不能辅助解决问题的现有技术，本技术更具实用性。
40.（2）对数据管理水平体检指标体系进行细分，使体检更具针对性，体检结果更加准确、有效。
41.（3）本技术在数据管理水平上增加评估环节。
42.（4）本技术提供的数据管理水平体检全过程经由计算机程序执行，实现了体检全自动化，提升了数据管理水平体检的可持续性、可重复使用性，能够取代人工咨询模式，有效降低企业成本。
43.如图5所示，本技术实施例提供一种基于ai的数据管理水平的体检装置，包括：体检模块501，用于体检待测数据，得到体检报告；
跟踪模块502，用于根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告；评估模块503，用于结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果；生成模块504，用于解析所述评估结果生成评估报告；所述评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。
44.本技术提供的基于ai的数据管理水平的体检装置的工作原理为体检模块501体检待测数据，得到体检报告；跟踪模块502根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告；评估模块503结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果；生成模块504解析所述评估结果生成评估报告；所述评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。
45.本技术提供一种计算机设备，包括：存储器和处理器，还可以包括网络接口，所述存储器存储有计算机程序，存储器可以包括计算机可读介质中的非永久性存储器，随机存取存储器（ram）和/或非易失性内存等形式，如只读存储器（rom）或闪存（flash ram）。该计算机设备存储有操作系统，存储器是计算机可读介质的示例。所述计算机程序被所述处理器执行时，使得所述处理器执行基于ai的数据管理水平的体检方法，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
46.在一个实施例中，本技术提供的基于ai的数据管理水平的体检方法可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。
47.一些实施例中，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：体检待测数据，得到体检报告；根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告；结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果；解析所述评估结果生成评估报告；所述评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。
48.本技术还提供一种计算机存储介质，计算机的存储介质的例子包括，但不限于相变内存（pram）、静态随机存取存储器（sram）、动态随机存取存储器（dram）、其他类型的随机存取存储器（ram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、快闪记忆体或其他内存技术、只读光盘只读存储器（cd-rom）、数字多功能光光盘（dvd）或其他光学存储、磁盒式磁带存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
49.一些实施例中，本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，体检待测数据，得到体检报告；根据所述体检报告对所述待测数据进行跟踪，得到跟踪报告；结合所述体检报告和所述跟踪报告，对所述待测数据进行评估，得到评估结果；解析所述评估结果生成评估报告；所述评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。
50.综上所述，本发明提供一种基于ai的数据管理水平的体检方法及装置，所述方法包括体检待测数据，得到体检报告；根据体检报告对待测数据进行跟踪，得到跟踪报告；结合体检报告和跟踪报告，对待测数据进行评估，得到评估结果；解析评估结果生成评估报
告；评估报告包括数据管理的整体得分、行业均值对比、当前优势、当前劣势、提升方向、提升策略和建议。本发明对数据管理水平体检指标体系进行细分，使体检更具针对性，体检结果更加准确、有效，引入多种ai算法，让评估过程和结果更加科学，同时，量化评估结果能够直观的与同行形成对比，提升了数据管理水平体检的可持续性、可重复使用性，能够取代人工咨询模式，有效降低企业成本。
51.可以理解的是，所述提供的方法实施例与所述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
52.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
53.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
54.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
55.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
56.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。