敏感数据识别方法、装置、设备以及存储介质与流程

本公开涉及机器学习，尤其涉及一种敏感数据识别方法、装置、设备以及存储介质。

背景技术：

1、随着云计算、大数据的快速发展，数据已经成为各行各业的重要资产，医疗、人社、保险、税务、银行和社交网络等各类数据平台和信息采集系统，汇聚了越来越多与个人隐私信息相关的敏感数据。一旦数据发生外泄，势必带来无法估计的损失和伤害。因此，在对数据的安全管理中，敏感数据的识别，是数据安全管理中的重要组成部分。

2、目前，常用的敏感数据识别方案，通常基于机器学习算法实现，普遍存在效果较差的问题。因此，如何提高敏感数据识别效果就成为了目前亟待解决的技术问题。

技术实现思路

1、本公开的实施例提供了一种敏感数据识别方法、装置、设备以及存储介质。

2、第一方面，本公开的实施例提供了一种敏感数据识别模型的训练方法，该方法包括：

3、获取样本集，其中，样本集中的样本包括特征向量及其对应的标签，标签用于标识特征向量所属的数据是否为敏感数据；

4、对样本集进行过采样；

5、根据过采样后的样本集对代价敏感模型进行训练，将训练完成的代价敏感模型作为敏感数据识别模型。

6、在第一方面的一些可实现方式中，获取样本集，包括：

7、获取多条数据及其标签；

8、对各数据进行数据清洗；

9、将清洗后的各数据输入bert模块中进行编码，得到各数据的特征向量；

10、将各数据的标签确定为各数据的特征向量对应的标签；

11、根据各数据的特征向量及其对应的标签生成样本，并根据各样本生成样本集。

12、在第一方面的一些可实现方式中，对样本集进行过采样，包括：

13、利用borderline smote算法、borderline smote svm算法或者borderline smotelogistic算法对样本集进行过采样。

14、在第一方面的一些可实现方式中，利用borderline smote logistic算法对样本集进行过采样，包括：

15、利用logistic分类器对样本集进行处理，确定样本集对应的决策边界，将样本集中处于决策边界预设范围内的少数类样本视为边界样本，并将其复制到边界样本集；

16、将样本集中的少数类样本复制到少数类样本集；

17、根据边界样本集与少数类样本集，生成多个新的少数类样本，并将其添加至样本集中。

18、在第一方面的一些可实现方式中，代价敏感模型为stacking结构，其中的基学习器包括代价敏感支持向量机cs-svm、代价敏感朴素贝叶斯模型csnb、代价敏感c4.5决策树csc4.5，元学习器包括attention模块、lr模块。

19、第二方面，本公开的实施例提供了一种敏感数据识别方法，该方法包括：

20、获取待识别的数据的特征向量；

21、将特征向量输入敏感数据识别模型，确定待识别的数据是否为敏感数据；

22、其中，敏感数据识别模型基于以上所述的敏感数据识别模型的训练方法得到。

23、第三方面，本公开的实施例提供了一种敏感数据识别模型的训练装置，该装置包括：

24、获取模块，用于获取样本集，其中，样本集中的样本包括特征向量及其对应的标签，标签用于标识特征向量所属的数据是否为敏感数据；

25、过采样模块，用于对样本集进行过采样；

26、训练模块，用于根据过采样后的样本集对代价敏感模型进行训练，将训练完成的代价敏感模型作为敏感数据识别模型。

27、第四方面，本公开的实施例提供了一种敏感数据识别装置，该装置包括：

28、获取模块，用于获取待识别的数据的特征向量；

29、确定模块，用于将特征向量输入敏感数据识别模型，确定待识别的数据是否为敏感数据；

30、其中，敏感数据识别模型基于以上所述的敏感数据识别模型的训练方法得到。

31、第五方面，本公开的实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行以上所述的方法。

32、第六方面，本公开的实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行以上所述的方法。

33、在本公开的实施例中，可以基于过采样解决样本不均衡导致的过拟合问题，并通过对代价敏感模型进行训练得到识别能力较强的敏感数据识别模型，进而基于该模型快速精确地识别待识别的数据是否为敏感数据，有效地提高敏感数据识别效果。

34、应当理解，
技术实现要素：
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

技术特征：

1.一种敏感数据识别模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取样本集，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述样本集进行过采样，包括：

4.根据权利要求3所述的方法，其特征在于，利用borderline smote logistic算法对所述样本集进行过采样，包括：

5.根据权利要求1所述的方法，其特征在于，所述代价敏感模型为stacking结构，其中的基学习器包括代价敏感支持向量机cs-svm、代价敏感朴素贝叶斯模型csnb、代价敏感c4.5决策树csc4.5，元学习器包括attention模块、lr模块。

6.一种敏感数据识别方法，其特征在于，所述方法包括：

7.一种敏感数据识别模型的训练装置，其特征在于，所述装置包括：

8.一种敏感数据识别模块，其特征在于，所述模块包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。

技术总结
本公开的实施例提供了一种敏感数据识别方法、装置、设备以及存储介质，应用于机器学习技术领域。该方法包括：获取样本集，其中，样本集中的样本包括特征向量及其对应的标签，标签用于标识特征向量所属的数据是否为敏感数据；对样本集进行过采样；根据过采样后的样本集对代价敏感模型进行训练，将训练完成的代价敏感模型作为敏感数据识别模型。以此方式，可以基于过采样解决样本不均衡导致的过拟合问题，并通过对代价敏感模型进行训练得到识别能力较强的敏感数据识别模型，进而基于该模型快速精确地识别待识别的数据是否为敏感数据，有效地提高敏感数据识别效果。

技术研发人员：孙燕杰,孔维玉,袁开国,付海涛,司大鹏,石明磊,陆毅远
受保护的技术使用者：上海速丰通联科技集团有限公司
技术研发日：
技术公布日：2024/1/13