数据处理方法、装置、电子设备及计算机存储介质与流程

1.本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。


背景技术：

2.随着大数据应用的发展，数据的价值不断提升，而这些数据中包含的用户的隐私数据容易遭受网络攻击而导致数据泄露。为了避免这些隐私数据泄露，需要对这些隐私数据进行脱敏处理，使其丧失敏感性后再运用到开发和测试环境中。
3.现有技术中，通常采用静态脱敏的方法，对存量数据即系统在某一时间节点前所保有的数据，根据开发测试、运维等需求抽取隐私数据进行脱敏，将脱敏后的隐私数据再插入到目标环境中运用。但是，对于随时有新增用户或新增业务的系统来说，实时性很重要，所以还需要对增量数据即在某一段时间内系统中新增的隐私数据进行脱敏。而静态脱敏的方法想要对增量数据进行脱敏，还需进行再一轮抽取数据、脱敏、插入目标环境的过程，无法实现实时脱敏的需求。


技术实现要素：

4.有鉴于此，本发明实施例提供一种认证连接方法、系统、电子设备及计算机存储介质，以至少解决上述问题。
5.根据本发明实施例的第一方面，提供了一种数据处理方法，该数据处理方法包括对接收的用户访问请求进行解析，得到用户访问角色和目标访问数据。获取隐私保护策略表，隐私保护策略表指示用户访问角色与隐私保护策略的映射关系。查找隐私保护策略表，确定与用户访问角色匹配的隐私保护策略，隐私保护策略包括隐私数据识别算法和隐私数据脱敏算法。基于隐私数据识别算法，对目标访问数据进行识别处理，得到待脱敏数据。基于隐私数据脱敏算法，对待脱敏数据进行脱敏处理，得到脱敏数据。
6.在一种实现方式中，该数据处理方法还包括确定针对用户访问请求的目标业务系统。根据目标业务系统的访问控制信息表判断用户访问请求是否通过审核，访问控制信息表包括访问地址、用户账号及用户密码。若用户访问请求通过审核，则接收用户访问请求。
7.在另一种实现方式中，根据目标业务系统的访问控制信息表判断用户访问请求是否通过审核，包括判断用户访问请求的访问地址、用户名及用户密码是否与访问控制信息表匹配。若用户访问请求的访问地址、用户名及用户密码与访问控制信息表匹配，则用户访问请求通过审核。
8.在另一种实现方式中，该数据处理方法还包括设置与用户权限等级对应的多个隐私数据识别算法。对预存的敏感数据进行解析，得到敏感数据的数据类型和安全等级。设置与数据类型、安全等级及用户权限等级对应的多个隐私数据脱敏算法。
9.在另一种实现方式中，数据处理方法还包括获取预存的用户信息表，用户信息表指示用户访问角色与用户权限等级的映射关系。基于用户访问角色与用户权限等级的映射
关系，从多个隐私数据识别算法和多个隐私数据脱敏算法中确定与用户访问角色匹配的隐私数据识别算法和隐私数据脱敏算法。将隐私数据识别算法和隐私数据脱敏算法组合，生成与用户访问角色匹配的隐私保护策略。
10.在另一种实现方式中，多个隐私数据识别算法包括敏感数据语义分析、敏感数据关键词识别、敏感字段正则匹配中的至少两者。
11.在另一种实现方式中，多个隐私数据脱敏算法包括固定值脱敏、随机化、查找和替换、差分隐私、假名化中的至少两者。
12.根据本发明实施例的第二方面，提供了一种数据处理装置，包括解析模块，用于对接收的用户访问请求进行解析，得到用户访问角色和目标访问数据。获取模块，用于获取隐私保护策略表，隐私保护策略表指示用户访问角色与隐私保护策略的映射关系。查找模块，用于查找隐私保护策略表，确定与用户访问角色匹配的隐私保护策略，隐私保护策略包括隐私数据识别算法和隐私数据脱敏算法。识别模块，用于基于隐私数据识别算法，对目标访问数据进行识别处理，得到待脱敏数据。脱敏模块，用于基于隐私数据脱敏算法，对待脱敏数据进行脱敏处理，得到脱敏数据。
13.根据本发明实施例的第三方面，提供了一种电子设备，包括处理器、存储程序的存储器。其中，程序包括指令，指令在由处理器执行时使处理器执行如第一方面的方法。
14.根据本发明实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的方法。
15.在本发明实施例的方案中，提供了一种数据处理方法，通过实时接收并解析用户访问请求，确定与用户访问角色匹配的隐私保护策略对目标访问数据进行处理，实现了实时对新增的目标访问数据进行数据脱敏，并且根据用户访问角色的不同，选择不同的隐私保护策略进行数据脱敏，提高了数据脱敏的准确性。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例的数据处理方法的步骤流程图。
18.图2为与图1实施例对应的数据处理装置的结构框图。
19.图3为根据本发明的另一实施例的一种电子设备的结构示意图。
20.附图标记说明：
21.210、解析模块；220、获取模块；230、查找模块；240、识别模块；250、脱敏模块；300、电子设备；302、处理器；304、通信接口；306、存储器；308、总线；310、程序。
具体实施方式
22.为了对本发明实施例的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明实施例的具体实施方式。
23.在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示
意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。
24.为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个或多个，或仅标示出了其中的一个或多个。
25.为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
26.下面结合本发明实施例附图进一步说明本发明实施例具体实现。
27.根据本发明实施例的第一方面，提供了一种数据处理方法。参见图1，图1为本发明实施例的数据处理方法的步骤流程图。
28.如图1所示，本实施例主要包括以下步骤：
29.步骤s110，对接收的用户访问请求进行解析，得到用户访问角色和目标访问数据。
30.示例性地，接收用户发起的用户访问请求，该用户访问请求包括用户访问角色信息和目标访问数据信息，通过对该用户访问请求进行解析，得到用户访问角色和目标访问数据，用户访问角色可以包括开发人员、测试人员以及运维人员，目标访问数据可以是企业的业务系统中存储的业务数据。
31.步骤s120，获取隐私保护策略表，隐私保护策略表指示用户访问角色与隐私保护策略的映射关系。
32.示例性地，获取隐私保护策略表，该隐私保护策略表是提前预存在企业的业务系统中的用于指示用户访问角色与隐私保护策略的映射关系的表，该隐私保护策略表中包括多个隐私保护策略，该多个隐私保护策略中的各个隐私保护策略分别与不同的用户访问角色对应。
33.通过获取隐私保护策略表获取用户访问角色与隐私保护策略的映射关系，以便后续通过该隐私保护策略表和该映射关系进行查找操作，提高了数据查找的效率。
34.步骤s130，查找隐私保护策略表，确定与用户访问角色匹配的隐私保护策略，隐私保护策略包括隐私数据识别算法和隐私数据脱敏算法。
35.应理解，查找隐私保护策略表，确定与用户访问角色匹配的隐私保护策略，该隐私保护策略是从隐私保护策略表中的多个隐私保护策略中确定一个隐私保护策略，并且该隐私保护策略与用户访问角色匹配。
36.还应理解，与用户访问角色匹配的隐私保护策略包括的隐私数据识别算法和隐私数据脱敏算法也是与用户访问角色完全匹配的。
37.通过不同的用户访问角色确定与用户访问角色匹配的隐私保护策略，不同的用户访问角色有不同的隐私保护策略，提供了用户级别的隐私保护策略，提高了数据处理的精确度。
38.步骤s140，基于隐私数据识别算法，对目标访问数据进行识别处理，得到待脱敏数据。
39.示例性地，基于隐私数据识别算法，对目标访问数据进行识别处理，该隐私数据识别算法也与用户访问角色匹配，不同的用户角色有对应的不同的隐私数据识别算法。
40.应理解，待脱敏数据即敏感数据，对个人而言，身份证号码、家庭住址、工作单位、银行卡号等隐私信息都是敏感数据。对企业而言，客户资料、财务信息、技术资料、重大决策等公司核心信息都是敏感数据。在本发明的实施例中，敏感数据特指针对企业而言的户资料、财务信息、技术资料、重大决策等数据。因此需要对待脱敏数据即敏感数据进行脱敏，以实现隐私保护，避免数据泄露。
41.通过隐私数据识别算法得到待脱敏数据，以便后续对待脱敏数据进行脱敏，避免数据泄露。
42.步骤s150，基于隐私数据脱敏算法，对待脱敏数据进行脱敏处理，得到脱敏数据。
43.应理解，脱敏处理即数据脱敏是一种通过替换掉数据中的敏感信息，或者对数据中的敏感信息进行变形等处理的技术，其特点是处理后的数据看似真实，但是不会暴露任何敏感信息，对于想要滥用此数据的人而言没有任何使用价值，因此，基于隐私数据脱敏算法对待脱敏数据进行脱敏处理，得到脱敏数据，提升了待脱敏数据的安全性。
44.还应理解，对待脱敏数据进行脱敏处理，能够不修改目标访问数据中的其他非待脱敏数据即其他非敏感数据，进而能够保证请求访问的目标访问数据中的其他非待脱敏数据不受影响，确保数据安全，避免数据泄露。
45.综上，在本发明实施例的方案中，提供了一种数据处理方法，过实时接收并解析用户访问请求，确定与用户访问角色匹配的隐私保护策略对目标访问数据进行处理，实现了实时对新增的目标访问数据进行数据脱敏，并且根据用户访问角色的不同，选择不同的隐私保护策略进行数据脱敏，提高了数据脱敏的准确性。
46.在一种实现方式中，该数据处理方法还包括确定针对用户访问请求的目标业务系统。根据目标业务系统的访问控制信息表判断用户访问请求是否通过审核，访问控制信息表包括访问地址、用户账号及用户密码。若用户访问请求通过审核，则接收用户访问请求。
47.应理解，针对不同的用户访问请求，业务系统也不同，本发明的实施例的数据处理的方法不仅适用于大数据平台，也适用于独立的业务系统，可以通过用户访问请求的确定针对用户访问请求的目标业务系统，并通过该目标业务系统实时进行后续数据处理，满足了对数据进行实时脱敏的需求。
48.示例性地，接收用户访问请求之前要根据目标业务系统的访问控制信息表判断用户访问请求是否通过审核，若用户访问请求通过审核，则接收用户访问请求，访问控制信息表包括访问地址、用户账号及用户密码。
49.通过对用户访问请求进行审核确定是否接收用户访问请求，能够有效地防止恶意的网络攻击，保证用户访问请求的合法来源，避免数据泄露。
50.在另一种实现方式中，根据目标业务系统的访问控制信息表判断用户访问请求是否通过审核，包括判断用户访问请求的访问地址、用户名及用户密码是否与访问控制信息表匹配。若用户访问请求的访问地址、用户名及用户密码与访问控制信息表匹配，则用户访问请求通过审核。
51.通过对用户访问请求进行审核确定是否接收用户访问请求，若用户访问请求的访问地址、用户名及用户密码与访问控制信息表匹配，则用户访问请求通过审核，通过审核机制能够有效地防止恶意的网络攻击，保证用户访问请求的合法来源，避免数据泄露。
52.在另一种实现方式中，该数据处理方法还包括设置与用户权限等级对应的多个隐
私数据识别算法。对预存的敏感数据进行解析，得到敏感数据的数据类型和安全等级。设置与数据类型、安全等级及用户权限等级对应的多个隐私数据脱敏算法。
53.示例性地，用户权限等级可以包括一级用户权限、二级用户权限，设置与一级用户权限和二级用户权限对应的两个隐私数据识别算法。敏感数据的数据类型可以包括结构化数据和非结构化数据，将敏感数据的安全等级分为第一安全等级和第二安全等级，第一安全等级对应结构化数据，第二安全等级对应非结构化数据，设置与数据类型、安全等级及用户权限等级对应的两个隐私数据脱敏算法。本发明的实施例中提到的两个隐私数据识别算法和两个隐私数据脱敏算法仅作为示例，并非是对隐私数据识别算法和隐私数据脱敏算法的数量限制。
54.作为另一个示例，敏感数据的数据类型还可以包括数字、字符、文本数据、图像数据、声音数据、视频数据等。
55.通过设置多个隐私数据识别算法和隐私数据脱敏算法，满足了不同数据类型、不同用户权限等级不同安全等级的数据脱敏需求，提高了数据脱敏的准确性。
56.在另一种实现方式中，数据处理方法还包括获取预存的用户信息表，用户信息表指示用户访问角色与用户权限等级的映射关系。基于用户访问角色与用户权限等级的映射关系，从多个隐私数据识别算法和多个隐私数据脱敏算法中确定与用户访问角色匹配的隐私数据识别算法和隐私数据脱敏算法。将隐私数据识别算法和隐私数据脱敏算法组合，生成与用户访问角色匹配的隐私保护策略。
57.应理解，不同的用户角色拥有不同的用户权限等级，不同的用户权限等级对应不同的隐私数据识别算法和隐私数据脱敏算法。
58.通过获取预存的用户信息表，从多个隐私数据识别算法和多个隐私数据脱敏算法中确定与用户访问角色匹配的隐私数据识别算法和隐私数据脱敏算法。实现针对不同用户角色及用户权限等级的隐私数据识别算法和隐私数据脱敏算法，提高了数据处理的灵活性和准确度。
59.在另一种实现方式中，多个隐私数据识别算法包括敏感数据语义分析、敏感数据关键词识别、敏感字段正则匹配中的至少两者。
60.示例性地，敏感数据关键词识别可以首先解析接收的用户访问请求中的目标访问数据的字段信息，将预设的关键词字段与目标访问数据的字段信息进行对比，从目标访问数据的字段信息中筛选出与预设的关键词字段的字段长度和字段种类完全一致的目标访问字段数据，将该目标访问字段数据确定为待脱敏数据。
61.作为另一个示例，若确认敏感数据的数据类型是文本数据时，采用敏感数据语义分析的隐私数据识别算法，进行分词，提出来需要学习和训练的预设敏感数据文本的指纹模型，然后利用同样的方法对被检测文本数据进行指纹抓取，将得到的指纹与训练的指纹进行比对，根据预设的相似度阈值去确认被检测文本数据是否为待脱敏数据。
62.通过不同数据类型、不同用户权限等级及不同安全等级确定不同的隐私数据识别算法，并根据不同的隐私数据识别算法确定待脱敏数据，提高了数据处理的灵活性和准确度。
63.在另一种实现方式中，多个隐私数据脱敏算法包括固定值脱敏、随机化、查找和替换、差分隐私、假名化中的至少两者。
64.示例性地，若确认敏感数据的数据类型是文本数据时，采用查找和替换的隐私数据脱敏算法，查找到待脱敏数据在目标访问数据中的字段位置，并将其替换为符号或字母。
65.通过不同数据类型、不同用户权限等级及不同安全等级确定不同的隐私数据脱敏算法，并根据不同的隐私数据脱敏算法对待脱敏数据进行脱敏处理，得到脱敏数据，提高了数据处理的灵活性和准确度。
66.在另一种实现方式中，设定隐私数据识别算法的数量阈值，从预设的敏感数据库中选取多个敏感数据作为数据样本，将根据多个隐私数据识别算法识别得到的多个待脱敏数据与选取的多个敏感数据对比，得到多个待脱敏数据中与选取的多个敏感数据完全一致的待脱敏数据的数量，判断该数量是否设定的隐私数据识别算法的数量阈值，若该数量未超过数量阈值，则调整多个隐私数据识别算法与用户访问角色、敏感数据的数据类型及安全等级之间的对应关系，直至多个待脱敏数据中与选取的多个敏感数据完全一致的待脱敏数据的数量超过设定的隐私数据识别算法的数量阈值。
67.通过设定隐私数据识别算法的数量阈值并通过数量阈值去判断多个隐私数据识别算法识别的准确率，并通过调整多个隐私数据识别算法与用户访问角色、敏感数据的数据类型及安全等级之间的对应关系，提升了数据处理的准确度。
68.根据本发明实施例的第二方面，提供了一种数据处理装置，参见图2，图2为与图1实施例对应的数据处理装置的结构框图。本实施例的数据处理装置，包括：
69.解析模块210，用于对接收的用户访问请求进行解析，得到用户访问角色和目标访问数据。
70.获取模块220，用于获取隐私保护策略表，隐私保护策略表指示用户访问角色与隐私保护策略的映射关系。
71.查找模块230，用于查找隐私保护策略表，确定与用户访问角色匹配的隐私保护策略，隐私保护策略包括隐私数据识别算法和隐私数据脱敏算法。
72.识别模块240，用于基于隐私数据识别算法，对目标访问数据进行识别处理，得到待脱敏数据。
73.脱敏模块250，用于基于隐私数据脱敏算法，对待脱敏数据进行脱敏处理，得到脱敏数据。
74.在另一种实现方式中，本实施例的数据处理装置还包括：
75.访问控制模块260，用于确定针对用户访问请求的目标业务系统。根据目标业务系统的访问控制信息表判断用户访问请求是否通过审核，访问控制信息表包括访问地址、用户账号及用户密码。若用户访问请求通过审核，则接收用户访问请求。
76.访问控制模块260，还用于判断用户访问请求的访问地址、用户名及用户密码是否与访问控制信息表匹配。若用户访问请求的访问地址、用户名及用户密码与访问控制信息表匹配，则用户访问请求通过审核。
77.在本发明实施例的方案中，提供了一种数据处理方法，通过实时接收并解析用户访问请求，确定与用户访问角色匹配的隐私保护策略对目标访问数据进行处理，实现了实时对新增的目标访问数据进行数据脱敏，并且根据用户访问角色的不同，选择不同的隐私保护策略进行数据脱敏，提高了数据脱敏的准确性。
78.本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法
实施例的有益效果。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述。
79.根据本发明实施例的第三方面，提供了一种电子设备，参见图3，现将描述可以作为本发明的服务器或客户端的电子设备300的结构框图，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、用户数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，用户数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
80.该电子设备300可以包括：处理器(processor)302、通信接口(communications interface)304、存储器(memory)306、以及通信总线308。
81.处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304，用于与其它电子设备或服务器进行通信。
82.处理器302，用于执行程序310，具体可以执行上述方法实施例中的相关步骤。
83.具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
84.处理器302可能是处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
85.存储器306，用于存放程序310。存储器306可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
86.程序310具体可以用于使得处理器302执行以下操作：对接收的用户访问请求进行解析，得到用户访问角色和目标访问数据。获取隐私保护策略表，隐私保护策略表指示用户访问角色与隐私保护策略的映射关系。查找隐私保护策略表，确定与用户访问角色匹配的隐私保护策略，隐私保护策略包括隐私数据识别算法和隐私数据脱敏算法。基于隐私数据识别算法，对目标访问数据进行识别处理，得到待脱敏数据。基于隐私数据脱敏算法，对待脱敏数据进行脱敏处理，得到脱敏数据。
87.此外，程序310中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
88.需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
89.上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、处理器或者可编程或硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处
理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
90.至此，已经对本发明的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
91.需要说明的是，本发明实施例中所有方向性指示(诸如上、下、左、右、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
92.在本发明的描述中，术语“第一”、“第二”仅用于方便描述不同的部件或名称，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
93.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
94.应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
95.本发明实施例的示例旨在简明地说明本发明实施例的技术特点，使得本领域技术人员能够直观了解本发明实施例的技术特点，并不作为本发明实施例的不当限定。
96.最后应说明的是：以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。