一种元数据分类分级方法、装置、设备及介质与流程

文档序号:35528477发布日期:2023-09-21 04:48阅读:25来源:国知局
一种元数据分类分级方法、装置、设备及介质与流程

本发明涉及数据处理,尤其涉及一种元数据分类分级方法、装置、设备及介质。


背景技术:

1、随着信息技术的不断发展和数据的爆发式增长,组织和个人面临着处理和管理大量数据的挑战。在这样的背景下,数据分类分级的目的是为了更好地组织、管理和利用数据资源,并确保数据的安全性和合规性。同时,数据分类分级也是一种数据资产化的呈现方式,是数据治理的一种解决方案。

2、现有的一些方案是先将数据库中的数据导出到适当的格式,然后使用相应的数据处理工具或脚本对导出的数据进行分类分级操作,通过给数据打上特定的标记或标签,将其分类为不同的等级或类别,或者利用现有的分类分级工具或平台,将导出的数据导入其中进行分类分级。而这些方案需要主观判断或人工干预,导致分类结果的主观性和不一致性,效率低,并且涉敏感数据时,由于导出的数据在不同平台之间传输或存储,就会增加了数据安全风险。因此,如何通过降低人工干预,提高处理效率,已成为本领域技术人员亟待解决的技术问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种元数据分类分级方法、装置、设备及介质,以解决现有技术无法降低人工干预,导致数据处理效率较低的问题。

2、本申请实施例的第一方面提供了一种元数据分类分级方法,所述元数据分类分级方法包括:

3、对获取的原始元数据集进行数据预处理,得到预处理后的元数据集;

4、对所述预处理后的元数据集进行特征选择,根据选择到的特征,通过svm算法构建分类分级模型;

5、利用所述预处理后的元数据集对所述分类分级模型进行模型训练,并在所述分类分级模型中使用hyperopt库进行模型调参,得到训练好的分类分级模型;

6、将待测元数据集输入至所述训练好的分类分级模型中,由所述训练好的分类分级模型对所述待测元数据集进行分级预测和分类计算从而得到对应的分类分级结果;

7、对所述分类分级结果进行分析,根据分析后的反馈信息,通过参数指标来优化所述分类分级模型。

8、本申请实施例的第二方面提供了一种元数据分类分级装置,所述元数据分类分级装置包括:

9、处理模块,用于对获取的原始元数据集进行数据预处理,得到预处理后的元数据集;

10、构建模块,用于对所述预处理后的元数据集进行特征选择,根据选择到的特征,通过svm算法构建分类分级模型;

11、训练模块,用于利用所述预处理后的元数据集对所述分类分级模型进行模型训练,并在所述分类分级模型中使用hyperopt库进行模型调参,得到训练好的分类分级模型;

12、分类分级模块,用于将待测元数据集输入至所述训练好的分类分级模型中,由所述训练好的分类分级模型对所述待测元数据集进行分级预测和分类计算从而得到对应的分类分级结果;

13、优化模块,用于对所述分类分级结果进行分析,根据分析后的反馈信息,通过参数指标来优化所述分类分级模型。

14、第三方面,本发明实施例提供了一种计算机设备,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的元数据分类分级方法。

15、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的元数据分类分级方法。

16、综上所述,本发明提供了一种元数据分类分级方法、装置、设备及介质,通过对获取的原始元数据集进行数据预处理,得到预处理后的元数据集,对预处理后的元数据集进行特征选择,根据选择到的特征,通过svm算法构建分类分级模型,利用预处理后的元数据集对分类分级模型进行模型训练,并在分类分级模型中使用hyperopt库进行模型调参,得到训练好的分类分级模型,将待测元数据集输入至训练好的分类分级模型中,由训练好的分类分级模型对待测元数据集进行分级预测和分类计算从而得到对应的分类分级结果,对分类分级结果进行分析,根据分析后的反馈信息,通过参数指标来优化分类分级模型。本申请根据选择到的特征,通过svm算法构建分类分级模型,进而对元数据进行分级预测和分类计算从而得到对应的分类分级结果,减少元数据分类分级的复杂度,降低了人工干预,提高了处理效率,并且还能根据分类分级结果,通过参数指标来优化分类分级模型,极大地保证了后续数据处理的安全性和保密性,以适应特定的分类分级需求。



技术特征:

1.一种元数据分类分级方法,其特征在于,包括:

2.如权利要求1所述的元数据分类分级方法,其特征在于,所述对获取的原始元数据集进行数据预处理,得到预处理后的元数据集,包括:

3.如权利要求1所述的元数据分类分级方法,其特征在于,所述对所述预处理后的元数据集进行特征选择,包括:

4.如权利要求3所述的元数据分类分级方法,其特征在于,所述最终选定目标特征之后,包括:

5.如权利要求1所述的元数据分类分级方法,其特征在于,所述根据选择到的特征,通过svm算法构建分类分级模型,包括:

6.如权利要求1所述的元数据分类分级方法,其特征在于,所述利用所述预处理后的元数据集对所述分类分级模型进行模型训练,并在所述分类分级模型中使用hyperopt库进行模型调参,得到训练好的分类分级模型,包括:

7.如权利要求1所述的元数据分类分级方法,其特征在于,所述优化所述分类分级模型之后,包括:

8.一种元数据分类分级装置,其特征在于,包括:

9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的元数据分类分级方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的元数据分类分级方法。


技术总结
本发明涉及数据处理领域,尤其涉及一种元数据分类分级方法、装置、设备及介质。对获取的原始元数据集进行数据预处理,得到预处理后的元数据集,对其进行特征选择,根据选择到的特征,通过SVM算法构建分类分级模型,并对分类分级模型进行模型训练,使用Hyperopt库进行模型调参,得到训练好的分类分级模型,将待测元数据集输入至分类分级模型中进行分级预测和分类计算,得到分类分级结果,并对其进行分析,优化分类分级模型。本申请根据选择到的特征构建分类分级模型,对元数据进行分级预测和分类计算,降低了人工干预,提高了处理效率,并且根据优化后的分类分级模型,可以进行安全授权,极大地保证了数据的安全性和保密性,以适应特定的分类分级需求。

技术研发人员:黄杰,刘强,韦扬,朱冰洁,张开
受保护的技术使用者:深圳前海环融联易信息科技服务有限公司
技术研发日:
技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1