一种基于大数据的数据信息脱敏方法及系统与流程

本发明涉及数据脱敏处理技术领域，并且更具体地，涉及一种基于大数据的数据信息脱敏方法及系统。

背景技术：

随着大数据技术的迅猛发展，包含业务、账户等大量敏感信息积累在企业信息系统中，若处理不当，使得这些敏感信息遗失、泄露甚至被窃取，将会对企业造成经济上，甚至声誉上严重的负面影响。企业的正常生产经营极度依赖于信息系统的数据安全保障，一旦信息系统内数据保护不当，导致企业的经营信息、重要人员信息、客户信息、核心产品技术信息等商业机密泄露或被窃取，将造成企业生产经营方面的重大风险与隐患。

在常见的数据脱敏体系中，是在数据落地数据库之后再进行脱敏等操作，这样会存在数据泄露等不安全状况。而且在对一些带量纲的数值数据的脱敏上，只是采取一些加减固定值或随机数等简单的方式，后续需要进行的数据分析等工作在使用数据时会产生较大误差。

技术实现要素：

本发明提出一种基于大数据的数据信息脱敏方法及系统，以解决如何准确、安全地对数据进行脱敏的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种基于大数据的数据信息脱敏方法，所述方法包括：

在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；

根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；

计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；

根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。

优选地，其中所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：

根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。

优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。

优选地，其中所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：

利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；

对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；

根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。

优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。

根据本发明的另一个方面，提供了一种基于大数据的数据信息脱敏系统，所述系统包括：

第一脱敏处理单元，用于在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；

带量纲的待处理数据确定单元，用于根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；

统计参数值确定单元，用于计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；

第二脱敏处理单元，用于根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。

优选地，其中所述第一脱敏处理单元，按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：

根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。

优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。

优选地，其中所述第二脱敏处理单元，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：

利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；

对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；

根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。

优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。

本发明提供了一种基于大数据的数据信息脱敏方法及系统，在数据落地之前，从消息中间件消费到数据库的过程中，完成对重要敏感信息如姓名、手机号等数据的识别和脱敏；落地数据库之后，根据对数据的脱敏等级要求，对带量纲的数值数据，按照设定的脱敏策进行脱敏，保证其在需求条件下符合脱敏前的正态分布，进一步提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明实施方式的基于大数据的数据信息脱敏方法100的流程图；

图2为根据本发明实施方式的基于大数据的商品信息脱敏方法的流程图；以及

图3为根据本发明实施方式的基于大数据的数据信息脱敏系统300的结构示意图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为根据本发明实施方式的基于大数据的数据信息脱敏方法100的流程图。如图1所示，本发明实施方式提供的基于大数据的数据信息脱敏方法，在数据落地之前，从消息中间件消费到数据库的过程中，完成对重要敏感信息如姓名、手机号等数据的识别和脱敏；落地数据库之后，根据对数据的脱敏等级要求，对带量纲的数值数据，按照设定的脱敏策进行脱敏，保证其在需求条件下符合脱敏前的正态分布，进一步提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。本发明实施方式提供的基于大数据的数据信息脱敏方法100从步骤101处开始，在步骤101在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中。

优选地，其中所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：

根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。

优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。

在本发明的实施方式中，在了解了消息中间件中的数据结构后，确定需要进行脱敏处理的字段，在消费其中数据的程序中加入对预设字段对应的重要数据的脱敏。具体地，包括：根据需求对姓名、手机号，身份证号等进行全掩码或选择性掩码等方式的脱敏处理，脱敏处理后消费落地到hbase数据库中。

在步骤102，根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据。

在步骤103，计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中。

在本发明的实施方式中，根据数据的使用时间段不同，通过hbase的时间戳标识查询出此时间段的数据，并筛选出带量纲的待处理数据。然后，根据筛选出的带量纲的待处理数据计算出脱敏算法所需的统计参数值，包括：最大值、最小值、总体平均值和总体标准差。然后，对数值数据进行脱敏操作。

在步骤104，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。

优选地，其中所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：

利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；

对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；

根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。

优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。

在本发明的实施方式中，利用所述统计参数值对获取的带量纲的待处理数据进行归一化处理，然后按照预设的比例进行缩放，使之落入一个特定区间，缩放后得到的数据即为噪声项。然后，然后使用扰乱技术，通过加入噪声的方式对原始的带量纲的待处理数据进行干扰，以实现对原始数据的扭曲、改变，实现脱敏。常用的噪声归一化方法有：min-max归一化、z-score归一化等。由于此类算法中需要原始数据中需要处理的字段(如价格，销量等)的总量、最大值、最小值、均值等参数，因此根据hbase可以记录数据入库时间的特性，确定预设时间段(这个时间段可以是一年、一个月、一周或者特定的几天、几小时)内这些参数的值，同时将这些值存入mysql数据库中。然后，根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。

另外，在每次执行脱敏工作时，先到mysql数据库中查询是否存有所需参数，如果没有则计算统计值参数，并将结果存入mysql中，方便之后使用。

图2为根据本发明实施方式的基于大数据的商品信息脱敏方法的流程图。如图2所示，本发明实施方式提供的基于大数据的商品信息脱敏方法包括：

s1,消息中间件如hbase过程中进行重要信息的脱敏处理；

s2,选定需脱敏数据的时间段，进入脱敏执行阶段；

s3,判断mysql数据库中是否含有脱敏算法所需统计值参数；

s4,若存在，则直接执行脱敏工作，并将结果存入目标数据库；

s5,若不存在，则查询hbase数据库，计算得到统计值参数，并存入mysql数据库,然后直接执行脱敏工作，并将结果存入目标数据库。

图3为根据本发明实施方式的基于大数据的数据信息脱敏系统300的结构示意图。如图3所示，本发明实施方式提供的基于大数据的数据信息脱敏系统300，包括：第一脱敏处理单元301、带量纲的待处理数据确定单元302、统计参数值确定单元303和第二脱敏处理单元304。

优选地，所述第一脱敏处理单元301，用于在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中。

优选地，其中所述第一脱敏处理单元301，按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：

根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。

优选地，所述带量纲的待处理数据确定单元302，用于根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据。

优选地，所述统计参数值确定单元303，用于计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中。

优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。

优选地，所述第二脱敏处理单元304，用于根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。

优选地，其中所述第二脱敏处理单元304，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：

利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；

对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；

根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。

优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。

本发明的实施例的基于大数据的数据信息脱敏系统300与本发明的另一个实施例的基于大数据的数据信息脱敏方法100相对应，在此不再赘述。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。