一种数据脱敏中特征数据的智能感知方法及系统与流程

本发明涉及数据处理技术领域，具体涉及一种数据脱敏中特征数据的智能感知方法及系统。

背景技术：

为了解决企业所存储的包含个人隐私或公司秘密的生产环境数据在非生产环境中应用时可能出现的敏感数据泄露问题，需要将这些数据进行脱敏处理，即将数据中的个人隐私数据（如人名、电话、身份证号等）和企业秘密数据（如运营情况、客户信息等）根据实际需求，进行变形处理，以达到保护秘密及隐私的目的。现有的通常做法为企业运维人员根据需求手动编写脚本进行数据处理。以处理对象的处理结构所构成的数据库为例，当需要处理的数据量不太大时（如mb级别），手工处理基本能够满足需求，但当数据量膨胀到tb或pb级别时，手工处理在处理速度上的问题便会极大地暴露出来。此外，手工处理需要运维人员对于数据本身的结构非常了解，才能对数据进行处理。

技术实现要素：

本申请提供一种数据脱敏中特征数据的智能感知方法及系统，针对在大数据量环境下的数据脱敏需求，通过智能分析结构化数据的元数据及数据本身，得出所期望之特定数据，如姓名、电话，地址等敏感数据。

根据第一方面，一种实施例中提供一种数据脱敏中特征数据的智能感知方法,包括获取数据扫描参数；在所述数据扫描参数下对数据库或结构化文本进行扫描，获得元数据信息；所述元数据信息包括数据含义；获取不同数据库表中数据之间的关系模型；获取数据与所述数据含义的映射关系。进一步的，所述获取数据扫描参数包括，获取数据列中的主键与外键项目命名的查询特征，以及获取数据实际含义的特征信息。进一步的，所述元数据信息还包括主键与外键信息。进一步的，特征数据的智能感知方法还包括，利用数据与所述数据含义的映射关系选择数据处理方法。

根据第二方面，一种实施例中提供一种数据脱敏中特征数据的智能感知系统,包括用于获取数据扫描参数的装置；用于对数据库或结构化文本进行扫描以获取元数据信息的装置；用于获取不同数据库表中数据之间的关系模型的装置；用于获取数据与所述数据含义的映射关系的装置。

根据第三方面，一种实施例中提供一种产品，包括存储器和处理器，存储器用于存储程序，处理器用于通过执行存储器存储的程序以实现如第一方面实施例所述的方法。

根据第四方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如第一方面实施例所述的方法。

依据上述实施例的数据脱敏中特征数据的智能感知方法，由于分析了结构化数据和其元数据，得出所期望之特定数据，如姓名、电话，地址等敏感数据；由于获取了关系模型，补全数据关系，使得数据在后续处理时，不破坏数据的关系；由于在分析时已得知数据的实际含义，在扫描数据关系的同时，分析得出具有特别含义的数据列，使得数据在后续处理时能够自动根据数据与数据含义的映射关系选择后续的数据处理方法。

附图说明

图1为实施例一的数据脱敏中特征数据的智能感知方法的流程图；

图2为实施例二的数据脱敏中特征数据的智能感知系统的结构示意图；

图3为实施例二的数据脱敏中特征数据的智能感知系统的工作原理示意图；

图4为实施例三中产品的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

在本发明实施例中，根据数据实际含义的特征信息，例如人名或身份证号等数据的字符构成特征规律，设计数据扫描参数；通过对数据库或结构化文本进行扫描以获取数据库的元数据信息，分析结构化数据的元数据及数据本身，得出所期望之特定数据（如姓名、电话，地址等敏感数据），并且在分析结构化数据的元数据及数据本身的同时，获取数据的实际含义，建立数据与其含义的映射关系，以方便后续根据数据的类型自动设置相应的数据变换处理算法对数据进行脱敏处理。

实施例一：

实施例一提供了一种数据脱敏中特征数据的智能感知方法，请参考图1，包括以下步骤：

步骤s100：获取数据扫描参数。获取数据扫描参数包括，获取数据列中的主键与外键项目命名的查询特征，以及获取数据实际含义的特征信息。

步骤s110：在数据扫描参数下对数据库或结构化文本进行扫描，获得元数据信息。元数据信息包括主键与外键信息，以及数据含义。

步骤s120：获取不同数据库表中数据之间的关系模型。

步骤s130：获取数据与数据含义的映射关系。

步骤s140：利用数据与数据含义的映射关系选择数据处理方法。

实施例一中给出的方法针对在大数据量环境下的数据脱敏需求，通过智能分析结构化数据的元数据及数据本身，得出所期望之特定数据（如姓名、电话、地址等敏感数据）；并且由于在分析时已得知数据的实际含义，所以，可根据数据的类型自动设置相应的数据变换处理算法以完成数据脱敏。

实施例二：

实施例二提供了一种数据脱敏中特征数据的智能感知系统，请参考图2，系统包括用于获取数据扫描参数的装置200、用于对数据库或结构化文本进行扫描以获取元数据信息的装置210、用于获取不同数据库表中数据之间的关系模型的装置220和用于获取数据与数据含义的映射关系的装置230。图3为实施例二的工作原理示意图，通过设置数据扫描参数并对数据库或结构化文本进行扫描，分析数据与元数据信息，可获知数据库表中具体数据的数据含义，建立不同数据库表中数据之间的数据关系，以及数据与数据含义的映射关系。

实施例三：

实施例三提供了一种产品，请参考图4，该产品包括存储器300和处理器310。存储器300用于存储程序，处理器310用于通过执行存储器300存储的程序以实现如实施例一所述的方法。

实施例四：

实施例四提供了一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如实施例一所述的方法。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。