一种数据传输方法、装置、电子设备及存储介质与流程

本发明涉及数据传输，更具体的说，涉及一种数据传输方法、装置、电子设备及存储介质。

背景技术：

1、目前，企业内部的大数据平台、安全审计平台等对接了多个系统，各系统之间数据传输频繁、数据传输量大。为提高数据传输的安全性，现有方案在进行数据传输之前，通常由开发者或业务人员根据一张敏感词列表对传输数据进行敏感字段识别，通过将识别出的敏感字段匿名化来提高数据传输的安全性。

2、但是，人为识别敏感字段不仅工作量大，而且容易遗漏传输数据中的重要字段，导致数据传输的安全性降低。

技术实现思路

1、有鉴于此，本发明公开一种数据传输方法、装置、电子设备及存储介质，以实现对待传输数据中敏感字段的自动识别，通过对敏感字段的识别结果进行有效性验证，有效减少待传输数据中重要字段识别遗漏的情况，从而提高数据传输的安全性。

2、一种数据传输方法，包括：

3、从数据源获取待传输数据；

4、采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果；

5、对所述识别结果进行有效性验证；

6、当所述识别结果验证通过时，基于所述识别结果对所述待传输数据进行脱敏处理得到目标传输数据；

7、输出所述目标传输数据。

8、可选的，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：

9、确定所述待传输数据的表结构，其中，所述表结构包括：表字段英文名和/或表字段中文名；

10、基于所述表结构，利用预设匹配算法对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。

11、可选的，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：

12、从所述待传输数据中读取指定行数的目标数据；

13、确定所述目标数据的数据格式和数据内容；

14、基于所述数据格式和所述数据内容，利用预设匹配算法对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。

15、可选的，所述预设匹配算法为：正则匹配算法或模糊匹配算法。

16、可选的，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：

17、确定预设知识库中的枚举值，其中，所述枚举值基于敏感字段确定；

18、利用所述预设知识库中的所述枚举值对所述待传输数据进行语义分析和敏感字段识别，得到所述识别结果。

19、可选的，所述对所述识别结果进行有效性验证，包括：

20、按照预设抽样比例从所述待传输数据中随机抽取数据作为待验证数据；

21、基于所述识别结果确定所述待校验数据中包含敏感字段的行数为命中行数；

22、将所述待校验数据的总行数作为抽样总行数，基于所述命中行数与所述抽样总行数得到敏感字段命中率；

23、基于所述敏感字段命中率与命中率阈值的大小关系对所述识别结果进行有效性验证；

24、其中，当所述敏感字段命中率不低于所述命中率阈值时，确定所述识别结果校验通过。

25、一种数据传输装置，包括：

26、获取单元，用于从数据源获取待传输数据；

27、识别单元，用于采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果；

28、验证单元，用于对所述识别结果进行有效性验证；

29、脱敏单元，用于当所述识别结果验证通过时，基于所述识别结果对所述待传输数据进行脱敏处理得到目标传输数据；

30、输出单元，拥有输出所述目标传输数据。

31、可选的，所述验证单元包括：

32、抽样子单元，用于按照预设抽样比例从所述待传输数据中随机抽取数据作为待验证数据；

33、确定子单元，用于基于所述识别结果确定所述待校验数据中包含敏感字段的行数为命中行数；

34、计算子单元，用于将所述待校验数据的总行数作为抽样总行数，基于所述命中行数与所述抽样总行数得到敏感字段命中率；

35、验证子单元，用于基于所述敏感字段命中率与命中率阈值的大小关系对所述识别结果进行有效性验证；其中，当所述敏感字段命中率不低于所述命中率阈值时，确定所述识别结果校验通过。

36、一种电子设备，所述电子设备包括：存储器和处理器；

37、所述存储器用于存储至少一个指令；

38、所述处理器用于执行所述至少一个指令以实现上述所述的数据传输方法。

39、一种计算机可读存储介质，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现上述所述的数据传输方法。

40、从上述的技术方案可知，本发明公开了一种数据传输方法、装置、电子设备及存储介质，从数据源获取待传输数据，采用预设语义识别算法对待传输数据进行敏感字段识别得到识别结果，当识别结果通过有效性验证时，基于识别结果对待传输数据进行脱敏处理得到目标传输数据，并输出目标传输数据。本发明采用预设语义识别算法实现了对待传输数据中敏感字段的自动识别，通过对敏感字段的识别结果进行有效性验证，有效减少了待传输数据中重要字段识别遗漏的情况，从而提高了数据传输的安全性。

技术特征：

1.一种数据传输方法，其特征在于，包括：

2.根据权利要求1所述的数据传输方法，其特征在于，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：

3.根据权利要求1所述的数据传输方法，其特征在于，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：

4.根据权利要求2或3所述的数据传输方法，其特征在于，所述预设匹配算法为：正则匹配算法或模糊匹配算法。

5.根据权利要求1～3任意一项所述的数据传输方法，其特征在于，所述采用预设语义识别算法对所述待传输数据进行敏感字段识别，得到识别结果，包括：

6.根据权利要求1～3任意一项所述的数据传输方法，其特征在于，所述对所述识别结果进行有效性验证，包括：

7.一种数据传输装置，其特征在于，包括：

8.根据权利要求7所述的数据传输装置，其特征在于，所述验证单元包括：

9.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1～6任意一项所述的数据传输方法。

技术总结
本申请公开了一种数据传输方法、装置、电子设备及存储介质，可应用于大数据领域或金融领域。数据传输方法包括：从数据源获取待传输数据，采用预设语义识别算法对待传输数据进行敏感字段识别得到识别结果，当识别结果通过有效性验证时，基于识别结果对待传输数据进行脱敏处理得到目标传输数据，并输出目标传输数据。本发明采用预设语义识别算法实现了对待传输数据中敏感字段的自动识别，通过对敏感字段的识别结果进行有效性验证，有效减少了待传输数据中重要字段识别遗漏的情况，从而提高了数据传输的安全性。

技术研发人员：徐雪莲
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/1/13