本发明涉及数据处理
技术领域：
：，具体而言，涉及一种数据脱敏方法和一种数据脱敏装置。
背景技术：
：：目前，数据隐私权已成为许多受监管行业的法规之一，同时，保护敏感数据也是一项很好的商业惯例。尤其是在大数据的场景下，如何能够实现数据调用过程的自动化，以确保自动屏蔽业务数据中的敏感信息，保障数据安全，提升操作效率，满足审计及监管部门要求等成为亟待解决的技术问题。技术实现要素：本发明正是基于上述技术问题至少之一，提出了一种新的数据脱敏方案，可以自动屏蔽业务数据中的敏感信息，保障了数据安全，并且能够实现数据调用过程的自动化，提升了操作效率，从而有利于满足审计及监管部门的要求。有鉴于此，根据本发明的第一方面，提出了一种数据脱敏方法，包括：接收数据访问请求，所述数据访问请求中包含有访问者的身份标识；根据所述数据访问请求，确定待访问的目标数据源，并根据所述数据访问请求中包含的身份标识，确定对所述目标数据源的脱敏策略；根据确定的脱敏策略对所述目标数据源进行脱敏处理；基于脱敏处理后的数据，响应所述数据访问请求。在该技术方案中，通过根据数据访问请求确定待访问的目标数据源，并根据数据访问请求中包含的身份标识确定对目标数据源的脱敏策略，以基于确定的脱敏策略对目标数据源进行脱敏处理，进而基于脱敏处理后的数据响应数据访问请求，使得能够自动屏蔽业务数据中的敏感信息，保障了数据安全，并且能够实现数据调用过程的自动化，提升了操作效率，从而有利于满足审计及监管部门的要求。本发明的技术方案尤其适用于大数据脱敏调用的应用场景。在上述技术方案中，优选地，所述脱敏策略包括：与所述数据访问请求中包含的身份标识相对应的敏感数据匹配策略，以及针对所述目标数据源中的敏感数据的脱敏算法。在该技术方案中，敏感数据匹配策略是用于在目标数据源中匹配敏感数据的，并且不同身份标识对应的敏感数据匹配策略可以相同，也可以不同，即对应于不同用户的敏感数据匹配策略可以相同，也可以不同。在上述技术方案中，优选地，根据确定的脱敏策略对所述目标数据源进行脱敏处理的步骤，具体包括：根据所述脱敏策略中包含的所述敏感数据匹配策略，对所述目标数据源中的数据进行匹配，以确定所述目标数据源中的敏感数据；根据所述脱敏策略中包含的所述脱敏算法，对所述敏感数据进行脱敏处理。在该技术方案中，由于敏感数据匹配策略是与数据访问请求中包含的身份标识相对应的，因此通过根据脱敏策略中包含的敏感数据匹配策略来对目标数据源中的数据进行匹配，使得能够针对数据访问请求中包含的身份标识来在目标数据源中匹配到相应的敏感数据，进而对匹配到的敏感数据进行脱敏处理。可见，该技术方案能够实现针对不同角色、不同用户(不同角色和不同用户是由身份标识来区分的)来进行权限设置，具有较强的灵活性。在上述任一技术方案中，优选地，所述脱敏算法包括以下任一种或多种的组合：对敏感数据进行替换处理、对敏感数据进行加密处理、对敏感数据进行模糊处理、基于随机字符置换敏感数据、用户自定义脱敏算法。在该技术方案中，对敏感数据进行替换处理即为通过预定的字符(如字母、数字、符号等)对敏感数据进行替换；对敏感数据进行加密处理之后只能通过解密处理来查看脱敏处理后的敏感数据；对敏感数据进行模糊处理即为将敏感数据处理为不易查看的模糊状态；基于随机字符置换敏感数据即为通过随机字符来对敏感数据进行置换；用户自定义脱敏算法即为用户自定义的其它脱敏算法。在上述任一技术方案中，优选地，在根据确定的脱敏策略对所述目标数据源进行脱敏处理的步骤之后，还包括：生成独立于所述目标数据源的新数据源；所述基于脱敏处理后的数据，响应所述数据访问请求的步骤，具体包括：基于所述新数据源，响应所述数据访问请求。在该技术方案中，通过生成独立于目标数据源的新数据源，以基于新数据源来响应数据访问请求，使得对目标数据源进行脱敏处理之后，能够不修改原数据源中的数据，进而能够保证原数据源中的数据不受影响，确保原数据源中的数据安全。在上述任一技术方案中，优选地，所述接收数据访问请求的步骤，具体包括：基于部署在数据节点上的代理网关接收通过数据库查询语言和/或命令行发出的所述数据访问请求。在该技术方案中，通过数据库查询语言发出的数据访问请求可以是通过JDBC(JavaDataBaseConnectivity，Java数据库连接)方式发出的数据访问请求。根据本发明的第二方面，还提出了一种数据脱敏装置，包括：接收单元，用于接收数据访问请求，所述数据访问请求中包含有访问者的身份标识；确定单元，用于根据所述数据访问请求，确定待访问的目标数据源，并根据所述数据访问请求中包含的身份标识，确定对所述目标数据源的脱敏策略；处理单元，用于根据所述确定单元确定的脱敏策略对所述目标数据源进行脱敏处理；响应单元，用于基于脱敏处理后的数据，响应所述数据访问请求。在该技术方案中，通过根据数据访问请求确定待访问的目标数据源，并根据数据访问请求中包含的身份标识确定对目标数据源的脱敏策略，以基于确定的脱敏策略对目标数据源进行脱敏处理，进而基于脱敏处理后的数据响应数据访问请求，使得能够自动屏蔽业务数据中的敏感信息，保障了数据安全，并且能够实现数据调用过程的自动化，提升了操作效率，从而有利于满足审计及监管部门的要求。本发明的技术方案尤其适用于大数据脱敏调用的应用场景。在上述技术方案中，优选地，所述脱敏策略包括：与所述数据访问请求中包含的身份标识相对应的敏感数据匹配策略，以及针对所述目标数据源中的敏感数据的脱敏算法。在该技术方案中，敏感数据匹配策略是用于在目标数据源中匹配敏感数据的，并且不同身份标识对应的敏感数据匹配策略可以相同，也可以不同，即对应于不同用户的敏感数据匹配策略可以相同，也可以不同。在上述技术方案中，优选地，所述处理单元具体用于：根据所述脱敏策略中包含的所述敏感数据匹配策略，对所述目标数据源中的数据进行匹配，以确定所述目标数据源中的敏感数据；根据所述脱敏策略中包含的所述脱敏算法，对所述敏感数据进行脱敏处理。在该技术方案中，由于敏感数据匹配策略是与数据访问请求中包含的身份标识相对应的，因此通过根据脱敏策略中包含的敏感数据匹配策略来对目标数据源中的数据进行匹配，使得能够针对数据访问请求中包含的身份标识来在目标数据源中匹配到相应的敏感数据，进而对匹配到的敏感数据进行脱敏处理。可见，该技术方案能够实现针对不同角色、不同用户(不同角色和不同用户是由身份标识来区分的)来进行权限设置，具有较强的灵活性。在上述任一技术方案中，优选地，所述脱敏算法包括以下任一种或多种的组合：对敏感数据进行替换处理、对敏感数据进行加密处理、对敏感数据进行模糊处理、基于随机字符置换敏感数据、用户自定义脱敏算法。在该技术方案中，对敏感数据进行替换处理即为通过预定的字符(如字母、数字、符号等)对敏感数据进行替换；对敏感数据进行加密处理之后只能通过解密处理来查看脱敏处理后的敏感数据；对敏感数据进行模糊处理即为将敏感数据处理为不易查看的模糊状态；基于随机字符置换敏感数据即为通过随机字符来对敏感数据进行置换；用户自定义脱敏算法即为用户自定义的其它脱敏算法。在上述任一技术方案中，优选地，所述的数据脱敏装置还包括：生成单元，用于在所述处理单元根据确定的脱敏策略对所述目标数据源进行脱敏处理之后，生成独立于所述目标数据源的新数据源；所述响应单元具体用于：基于所述新数据源，响应所述数据访问请求。在该技术方案中，通过生成独立于目标数据源的新数据源，以基于新数据源来响应数据访问请求，使得对目标数据源进行脱敏处理之后，能够不修改原数据源中的数据，进而能够保证原数据源中的数据不受影响，确保原数据源中的数据安全。在上述任一技术方案中，优选地，所述接收单元具体用于：基于部署在数据节点上的代理网关接收通过数据库查询语言和/或命令行发出的所述数据访问请求。在该技术方案中，通过数据库查询语言发出的数据访问请求可以是通过JDBC方式发出的数据访问请求。通过以上技术方案，可以自动屏蔽业务数据中的敏感信息，保障了数据安全，并且能够实现数据调用过程的自动化，提升了操作效率，从而有利于满足审计及监管部门的要求。附图说明图1示出了根据本发明的实施例的数据脱敏方法的流程示意图；图2示出了根据本发明的实施例的数据脱敏装置的示意框图；图3示出了根据本发明的实施例的部署网关Agent的界面示意图；图4示出了根据本发明的实施例的在Hadoop集群中添加HiveAgent的界面示意图；图5示出了根据本发明的实施例的配置数据脱敏策略的界面示意图；图6示出了根据本发明的实施例的通过JDBC方式访问Hive数据库的示意图；图7示出了根据本发明的实施例的通过命令行方式访问Hive数据库的示意图；图8示出了根据本发明的实施例的未脱敏处理之前的数据示意图；图9示出了根据本发明的实施例的对数据中的敏感字段进行脱敏处理之后的示意图。具体实施方式为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。图1示出了根据本发明的实施例的数据脱敏方法的流程示意图。如图1所示，根据本发明的实施例的数据脱敏方法，包括：步骤S10，接收数据访问请求，所述数据访问请求中包含有访问者的身份标识。步骤S12，根据所述数据访问请求，确定待访问的目标数据源，并根据所述数据访问请求中包含的身份标识，确定对所述目标数据源的脱敏策略。步骤S14，根据确定的脱敏策略对所述目标数据源进行脱敏处理。步骤S16，基于脱敏处理后的数据，响应所述数据访问请求。在该技术方案中，通过根据数据访问请求确定待访问的目标数据源，并根据数据访问请求中包含的身份标识确定对目标数据源的脱敏策略，以基于确定的脱敏策略对目标数据源进行脱敏处理，进而基于脱敏处理后的数据响应数据访问请求，使得能够自动屏蔽业务数据中的敏感信息，保障了数据安全，并且能够实现数据调用过程的自动化，提升了操作效率，从而有利于满足审计及监管部门的要求。本发明的技术方案尤其适用于大数据脱敏调用的应用场景。进一步地，所述脱敏策略包括：与所述数据访问请求中包含的身份标识相对应的敏感数据匹配策略，以及针对所述目标数据源中的敏感数据的脱敏算法。在该技术方案中，敏感数据匹配策略是用于在目标数据源中匹配敏感数据的，并且不同身份标识对应的敏感数据匹配策略可以相同，也可以不同，即对应于不同用户的敏感数据匹配策略可以相同，也可以不同。进一步地，上述步骤S14具体包括：根据所述脱敏策略中包含的所述敏感数据匹配策略，对所述目标数据源中的数据进行匹配，以确定所述目标数据源中的敏感数据；根据所述脱敏策略中包含的所述脱敏算法，对所述敏感数据进行脱敏处理。在该技术方案中，由于敏感数据匹配策略是与数据访问请求中包含的身份标识相对应的，因此通过根据脱敏策略中包含的敏感数据匹配策略来对目标数据源中的数据进行匹配，使得能够针对数据访问请求中包含的身份标识来在目标数据源中匹配到相应的敏感数据，进而对匹配到的敏感数据进行脱敏处理。可见，该技术方案能够实现针对不同角色、不同用户(不同角色和不同用户是由身份标识来区分的)来进行权限设置，具有较强的灵活性。进一步地，所述脱敏算法包括以下任一种或多种的组合：对敏感数据进行替换处理、对敏感数据进行加密处理、对敏感数据进行模糊处理、基于随机字符置换敏感数据、用户自定义脱敏算法。在该技术方案中，对敏感数据进行替换处理即为通过预定的字符(如字母、数字、符号等)对敏感数据进行替换；对敏感数据进行加密处理之后只能通过解密处理来查看脱敏处理后的敏感数据；对敏感数据进行模糊处理即为将敏感数据处理为不易查看的模糊状态；基于随机字符置换敏感数据即为通过随机字符来对敏感数据进行置换；用户自定义脱敏算法即为用户自定义的其它脱敏算法。进一步地，在上述步骤S14之后还包括：生成独立于所述目标数据源的新数据源；步骤S16具体包括：基于所述新数据源，响应所述数据访问请求。在该技术方案中，通过生成独立于目标数据源的新数据源，以基于新数据源来响应数据访问请求，使得对目标数据源进行脱敏处理之后，能够不修改原数据源中的数据，进而能够保证原数据源中的数据不受影响，确保原数据源中的数据安全。进一步地，步骤S10具体包括：基于部署在数据节点上的代理网关接收通过数据库查询语言和/或命令行发出的所述数据访问请求。在该技术方案中，通过数据库查询语言发出的数据访问请求可以是通过JDBC方式发出的数据访问请求。图2示出了根据本发明的实施例的数据脱敏装置的示意框图。如图2所示，根据本发明的实施例的数据脱敏装置200，包括：接收单元202、确定单元204、处理单元206和响应单元208。其中，接收单元202用于接收数据访问请求，所述数据访问请求中包含有访问者的身份标识；确定单元204用于根据所述数据访问请求，确定待访问的目标数据源，并根据所述数据访问请求中包含的身份标识，确定对所述目标数据源的脱敏策略；处理单元206用于根据所述确定单元204确定的脱敏策略对所述目标数据源进行脱敏处理；响应单元208用于基于脱敏处理后的数据，响应所述数据访问请求。在该技术方案中，通过根据数据访问请求确定待访问的目标数据源，并根据数据访问请求中包含的身份标识确定对目标数据源的脱敏策略，以基于确定的脱敏策略对目标数据源进行脱敏处理，进而基于脱敏处理后的数据响应数据访问请求，使得能够自动屏蔽业务数据中的敏感信息，保障了数据安全，并且能够实现数据调用过程的自动化，提升了操作效率，从而有利于满足审计及监管部门的要求。本发明的技术方案尤其适用于大数据脱敏调用的应用场景。进一步地，所述脱敏策略包括：与所述数据访问请求中包含的身份标识相对应的敏感数据匹配策略，以及针对所述目标数据源中的敏感数据的脱敏算法。在该技术方案中，敏感数据匹配策略是用于在目标数据源中匹配敏感数据的，并且不同身份标识对应的敏感数据匹配策略可以相同，也可以不同，即对应于不同用户的敏感数据匹配策略可以相同，也可以不同。进一步地，所述处理单元206具体用于：根据所述脱敏策略中包含的所述敏感数据匹配策略，对所述目标数据源中的数据进行匹配，以确定所述目标数据源中的敏感数据；根据所述脱敏策略中包含的所述脱敏算法，对所述敏感数据进行脱敏处理。在该技术方案中，由于敏感数据匹配策略是与数据访问请求中包含的身份标识相对应的，因此通过根据脱敏策略中包含的敏感数据匹配策略来对目标数据源中的数据进行匹配，使得能够针对数据访问请求中包含的身份标识来在目标数据源中匹配到相应的敏感数据，进而对匹配到的敏感数据进行脱敏处理。可见，该技术方案能够实现针对不同角色、不同用户(不同角色和不同用户是由身份标识来区分的)来进行权限设置，具有较强的灵活性。进一步地，所述脱敏算法包括以下任一种或多种的组合：对敏感数据进行替换处理、对敏感数据进行加密处理、对敏感数据进行模糊处理、基于随机字符置换敏感数据、用户自定义脱敏算法。在该技术方案中，对敏感数据进行替换处理即为通过预定的字符(如字母、数字、符号等)对敏感数据进行替换；对敏感数据进行加密处理之后只能通过解密处理来查看脱敏处理后的敏感数据；对敏感数据进行模糊处理即为将敏感数据处理为不易查看的模糊状态；基于随机字符置换敏感数据即为通过随机字符来对敏感数据进行置换；用户自定义脱敏算法即为用户自定义的其它脱敏算法。进一步地，所述的数据脱敏装置200还包括：生成单元210，用于在所述处理单元206根据确定的脱敏策略对所述目标数据源进行脱敏处理之后，生成独立于所述目标数据源的新数据源；所述响应单元208具体用于：基于所述新数据源，响应所述数据访问请求。在该技术方案中，通过生成独立于目标数据源的新数据源，以基于新数据源来响应数据访问请求，使得对目标数据源进行脱敏处理之后，能够不修改原数据源中的数据，进而能够保证原数据源中的数据不受影响，确保原数据源中的数据安全。进一步地，所述接收单元202具体用于：基于部署在数据节点上的代理网关接收通过数据库查询语言和/或命令行发出的所述数据访问请求。在该技术方案中，通过数据库查询语言发出的数据访问请求可以是通过JDBC方式发出的数据访问请求。以下以数据节点为Hadoop(是一种分布式系统基础架构)节点，且用于访问Hive(基于Hadoop的数据仓库工具)为例详细说明本发明的技术方案。本发明的技术方案主要是在数据(如大数据)存储的Hadoop节点上部署代理网关HiveAgent，以用于对数据节点的访问进行拦截和管控。具体地，本发明的技术方案可以识别不同的访问用户，并根据用户来配置访问数据的策略，基于完整性的业务对象进行脱敏操作，确保不破坏数据的二义性以及业务关联性。其中，可以基于多种脱敏算法来进行脱敏处理，如替换、加密、随机字符置换、模糊处理、用户自定义的脱敏算法等。同时，本发明的技术方案也支持抽取式不落地脱敏(即对内存中或网络传输中的瞬时数据进行脱敏)以及就地脱敏(即对持久化处理之后的数据进行脱敏)2种模式。并且能够通过调度器自动执行测试数据抽取以及脱敏工作，减少人工干扰，实现了完善的用户权限管理策略，可以针对不同角色、不同用户来进行权限设置。具体来说，主要包括以下步骤：步骤1：在Hadoop的数据节点上部署网关Agent，部署网关Agent之后，可控制各种方式访问Hadoop集群的存储数据。其中，部署网关Agent的界面示意图如图3所示，在部署网关Agent之后的示意图如图4所示，即在Hadoop集群中添加了HiveAgent。步骤2：根据用户来配置不同的数据脱敏策略。具体地，根据不同的用户配置需访问控制的Hive表和列进行约束。如图5所示：Expression表示屏蔽策略规则；Description表示样例；selectTable表示选择源Hive表；Columns表示Hive表所影响的字段。其中，对于不同的用户，配置的数据脱敏策略可以不同，即针对不同用户配置的需要访问控制的Hive表和列可以不同。步骤3：通过不同的访问方式访问大数据存储，实现不同的数据脱敏策略。其中，访问方式包括：方式一：如图6所示，通过JDBC方式访问Hive。其中，图6中所示的HiveJdbcUtil是链接查询Hive样例，通过此JDBC方式链接Hive数据库，经过脱敏Agent方式，执行selectData方法时，可以解析所涉及到查询的tableName表，对应到图5中所设置的selectTable表和Columns字段相对应进行脱敏处理。方式二：通过命令行访问Hive。如图7所示为通过命令行链接查询Hive样例，通过此命令行方式链接Hive数据库，经过脱敏Agent方式，执行select*fromhiveomm时，可以解析所涉及到查询的tableName表，对应到图5中所设置的selectTable表和Columns字段相对应进行脱敏处理。可见，在步骤3中，用户可以通过不同的访问方式来访问Hive数据库，进而网关Agent能够根据针对不同用户配置的数据脱敏策略来确定需要脱敏处理的敏感数据，进而进行脱敏处理。其中，在将需脱敏的Table表和Columns列进行脱敏处理之后，可以将脱敏处理的结果输出到自定义新表中，避免与源表发生冲突。如图8所示为未经过脱敏处理之前的数据，经过脱敏处理之后，如图9所示，可以对敏感字段进行脱敏，进而能够自动屏蔽业务数据中的敏感信息，保障了数据安全。以上结合附图详细说明了本发明的技术方案，本发明提出了一种新的数据脱敏方案，可以自动屏蔽业务数据中的敏感信息，保障了数据安全，并且能够实现数据调用过程的自动化，提升了操作效率，从而有利于满足审计及监管部门的要求。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3 当前第1页1 2 3