元数据管理方法、装置、计算机设备及存储介质与流程

本发明涉及数据管理方法，更具体地说是指元数据管理方法、装置、计算机设备及存储介质。

背景技术：

1、在现代信息化时代，数据处理和管理已经成为企业和组织中不可或缺的一部分。而元数据管理作为数据管理中的重要一环，主要用于描述和管理数据的属性、结构和关系，为数据的使用和共享提供了重要的支持。

2、对于目前的元数据管理方法，对于一些简单的数据可进行智能分类，对于一些复杂的数据只能人工筛选出来，并依据经验进行分类，无法做到智能和自动化管理元数据。

3、因此，有必要设计一种新的方法，实现智能化、自动化地管理元数据，提高数据管理的效率和精度。

技术实现思路

1、本发明的目的在于克服现有技术的缺陷，提供元数据管理方法、装置、计算机设备及存储介质。

2、为实现上述目的，本发明采用以下技术方案：元数据管理方法，包括：

3、获取待分析元数据；

4、将所述待分析元数据输入至元数据智能分析模型中进行元数据中的关键信息的处理，自动生成对应的元数据标签和注释，以得到分析结果；

5、输出所述分析结果；

6、其中，所述元数据智能分析模型是通过带有提示词信息的数据库内的字段作为样本集训练大语言模型所得的；

7、所述元数据智能分析模型是通过带有提示词信息的数据库内的字段作为样本集训练大语言模型所得的，包括：

8、获取目标数据库中的多个字段，从所述字段中确定并收集各类任务所需的数据信息；

9、对所述数据信息生成包含提示词信息的数据集，以得到样本集；

10、划分所述样本集，以得到训练集以及测试集；

11、根据训练集以及测试集对大语言模型进行训练和验证，以得到元数据智能分析模型。

12、其进一步技术方案为：所述获取目标数据库中的多个字段，从所述字段中确定并收集各类任务所需的数据信息，包括：

13、从所述目标数据库中抽取多个数据表格，并从所述数据表格中提取多个字段；

14、确定任务类型，并从多个字段确定各类任务所需的数据信息；

15、其中，任务类型包括元数据的自动化管理，元数据的自动分类、自动补全、自动验证。

16、其进一步技术方案为：所述对所述数据信息生成包含提示词信息的数据集，以得到样本集，包括：

17、将所述数据信息拼接成文本形式，以得到文本内容；

18、在所述文本内容中设置包含提示词信息的标签，以得到样本集。

19、其进一步技术方案为：所述根据训练集以及测试集对大语言模型进行训练和验证，以得到元数据智能分析模型，包括：

20、根据训练集微调大语言模型；

21、根据训练集训练打分模型；

22、利用测试集以及所述打分模型对大语言模型的输出进行反馈，并重新训练所述大语言模型，直至所述大语言模型收敛。

23、本发明还提供了元数据管理装置，包括：

24、获取单元，用于获取待分析元数据；

25、分析单元，用于将所述待分析元数据输入至元数据智能分析模型中进行元数据中的关键信息的处理，自动生成对应的元数据标签和注释，以得到分析结果；

26、输出单元，用于输出所述分析结果；

27、模型生成单元，用于通过带有提示词信息的数据库内的字段作为样本集训练大语言模型，以得到元数据智能分析模型；

28、所述模型生成单元包括：

29、信息确定子单元，用于获取目标数据库中的多个字段，从所述字段中确定并收集各类任务所需的数据信息；

30、样本集生成子单元，用于对所述数据信息生成包含提示词信息的数据集，以得到样本集；

31、划分子单元，用于划分所述样本集，以得到训练集以及测试集；

32、训练与验证子单元，用于根据训练集以及测试集对大语言模型进行训练和验证，以得到元数据智能分析模型。

33、其进一步技术方案为：所述信息确定子单元包括：

34、字段提取模块，用于从所述目标数据库中抽取多个数据表格，并从所述数据表格中提取多个字段；

35、数据信息确定模块，用于确定任务类型，并从多个字段确定各类任务所需的数据信息；其中，任务类型包括元数据的自动化管理，元数据的自动分类、自动补全、自动验证。

36、其进一步技术方案为：所述样本集生成子单元包括：

37、拼接模块，用于将所述数据信息拼接成文本形式，以得到文本内容；

38、标签设置模块，用于在所述文本内容中设置包含提示词信息的标签，以得到样本集。

39、本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

40、本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

41、本发明与现有技术相比的有益效果是：本发明通过将待分析元数据输入至元数据智能分析模型中进行元数据中的关键信息的处理，自动生成对应的元数据标签和注释，形成待分析数据的提示词信息，以便于利用提示词信息进行管理，实现智能化、自动化地管理元数据，提高数据管理的效率和精度。

42、下面结合附图和具体实施例对本发明作进一步描述。

技术特征：

1.元数据管理方法，其特征在于，包括：

2.根据权利要求1所述的元数据管理方法，其特征在于，所述获取目标数据库中的多个字段，从所述字段中确定并收集各类任务所需的数据信息，包括：

3.根据权利要求1所述的元数据管理方法，其特征在于，所述对所述数据信息生成包含提示词信息的数据集，以得到样本集，包括：

4.根据权利要求1所述的元数据管理方法，其特征在于，所述根据训练集以及测试集对大语言模型进行训练和验证，以得到元数据智能分析模型，包括：

5.根据权利要求1所述的元数据管理方法，其特征在于，所述输出所述分析结果，包括：

6.元数据管理装置，其特征在于，包括：

7.根据权利要求6所述的元数据管理装置，其特征在于，所述信息确定子单元包括：

8.根据权利要求6所述的元数据管理装置，其特征在于，所述样本集生成子单元包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

技术总结
本发明实施例公开了元数据管理方法、装置、计算机设备及存储介质。所述方法包括：获取待分析元数据；将所述待分析元数据输入至元数据智能分析模型中进行元数据中的关键信息的处理，自动生成对应的元数据标签和注释，以得到分析结果；输出所述分析结果。通过实施本发明实施例的方法可实现智能化、自动化地管理元数据，提高数据管理的效率和精度。

技术研发人员：柳遵梁,沈晨杰,周杰,闻建霞,牛自宾
受保护的技术使用者：杭州美创科技股份有限公司
技术研发日：
技术公布日：2024/1/14