大数据平台的数据流通与交易的敏感数据保护系统及方法
【技术领域】
[0001]本发明涉及大数据领域，具体地说，涉及大数据平台的数据流通与交易的敏感数据保护系统及方法。
【背景技术】
[0002]在大数据环境下，数据的汇集、流通、交换共享、交易、分析挖掘等需求越来越强，大量的敏感数据汇集到大数据中心平台，如何在流通、交换共享、交易、分析挖掘等数据使用中保护这些敏感数据，防止用户隐私泄露已成为大数据安全关注的重点。目前，已有的敏感数据保护采用以下四种保护方式:
[0003](I)访问控制的方法:通过对用户身份及其所属的安全等级来限制用户对数据的访问，防止敏感数据的未授权访问，实现敏感数据的保护。该方法在一定程度上降低了数据共享的可用性。
[0004](2)基于数据失真的敏感数据保护技术:采用扰动、置换、遮挡等方法对敏感数据进行处理，在处理的同时保证数据保留某些统计的特征，以便进行数据分析与挖掘。该方法效率比较高，但是会使数据中的信息丢失。
[0005](3)基于数据加密的技术:采用安全多方计算等加密技术对数据进行加密处理，保障数据流通过程中的敏感数据安全。该方法能有效地保障数据流通中数据的准确性和安全性，但是计算的效率相对较低，开销比较大。
[0006](4)基于限制发布的技术:依据实际需求，借助差分隐私、k_匿名等算法对发布的数据进行处理，比如不发布数据中的某些属性或者对某些数据型进行泛化，实现敏感数据的保护。该方法能保证共享数据的真实性，但是会存在数据中信息的丢失。
[0007]综上所述，存在的问题:
[0008](I)已有的敏感数据保护方法大都集中在对数据流通的共享与发布环节，缺乏对数据流通整个环节的敏感数据的保护。
[0009](2)过度关注用户隐私也会阻碍数据流通，如何结合不同敏感数据保护方法的优缺点为数据流通的不同环节选择恰当的技术，实现敏感数据保护与数据可用性之间的平衡，是亟待解决的问题。
[0010](3)关于敏感数据保护技术的大都是直接对敏感数据处理，但是并未考虑到如何发现敏感数据、如何验证脱敏结果的正确性、真实性。
[0011 ]因此提供一种大数据平台上数据流通过程中的敏感数据保护机制，保障数据流通过程中的敏感数据安全，平衡隐私保护与数据流通之间的关系，是迫切需要的。
【发明内容】
[0012]为了达到上述目的，本发明提供一种保障数据流通过程中的数据采集、数据共享、数据交换以及数据获取整个过程敏感数据安全的大数据平台的数据流通与交易的敏感数据保护系统及方法。
[0013]本发明的一种大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述大数据平台的数据流通与交易的敏感数据保护系统包括在数据采集中发现敏感内容并对敏感内容进行保护处理的数据采集模块、对数据共享过程中的敏感数据进行保护处理的数据共享模块、对数据交换过程中的相对敏感数据配置脱敏策略进行脱敏处理的数据交换模块、在数据获取过程中对数据文件下载链接及存储地址进行保护的数据获取模块、对敏感数据的脱敏及保护处理进行管理和监控以及审计的脱敏管理模块。
[0014]其中，所述数据采集模块包括对上传大数据平台的数据进行数据信息提取为敏感数据保护提供数据准备的元数据提取模块、在所述元数据提取模块提取的数据信息基础上自动发现涉密信息及敏感数据的第一敏感数据发现模块、为所述第一敏感数据发现模块发现的敏感内容配置相应的脱敏算法形成脱敏策略的第一脱敏策略配置模块、通过系统调用所述第一脱敏策略配置模块预定义的脱敏策略对敏感数据实现批量离线脱敏的离线脱敏模块。
[0015]所述数据共享模块包括对存储于大数据平台中的数据根据数据属性选择采用人工定义和自动发现方式中的一种进行敏感数据发现的第二敏感数据发现模块、在所述第二敏感数据发现模块发现的敏感数据基础上为每一类敏感数据配置脱敏算法形成脱敏策略的第二脱敏策略配置模块、对大数据平台中允许共享的数据进行噪声干扰处理保护敏感数据的敏感数据查询保护模块、对大数据平台中的数据检索结果进行数据脱敏保护的检索结果保护t吴块。
[0016]所述数据获取模块包括对文件存储的真实地址进行变换形成新的存储地址达到存储地址保护的文件存储地址变换模块、在所述文件存储地址编号模块对文件真实存储地址进行变换的基础上为有下载需求的数据需求方展示变换后的文件存储地址防止文件存储地址泄露保护下载链接安全的下载链接保护模块。
[0017]所述脱敏管理模块包括对数据脱敏算法进行添加、删除和修改的脱敏算法管理模块、对数据流通过过程中的数据脱敏策略进行增加、删除和修改的脱敏策略管理模块、对敏感内容和敏感数据特征分析的基础上训练得到机器学习模型并在有敏感数据自动发现需求时对敏感数据进行自动发现的自学习引擎、对数据流通过程中的各个环节的数据脱敏进行实时监控以便及时发现异常的脱敏监控模块、对数据流通和交易过程中的数据脱敏任务进行分析审计的脱敏审计模块、对数据流通和交易过程中敏感数据保护处理进行评价的脱敏效能评估t吴块。
[0018]本发明的一种大数据平台的数据流通和交易的敏感数据保护方法，采用大数据平台的数据流通和交易的敏感数据保护系统来实现，包括如下步骤:
[0019]步骤一、资源发布人在数据采集前发现数据中的敏感内容，对数据采集中的敏感数据进行保护处理再将数据上传到大数据平台；
[0020]步骤二、数据上传到大数据平台后，资源发布人对数据进行共享时，对数据共享中的敏感数据进行保护之后再共享发布；
[0021]步骤三、数据需求方对资源发布人共享的数据请求交换，资源发布人对数据需求方请求交换的数据中的敏感内容进行定义，对数据交换中的敏感数据进行保护处理后再交换给数据需求方；
[0022]步骤四、数据需求方请求下载资源发布人共享的数据，对数据下载中的敏感数据存储地址进行保护。
[0023]其中，所述对数据采集中的敏感数据进行保护包括如下步骤:
[0024]s 11、资源发布人在向大数据平台上传数据前，制定元数据提取标准；进入步骤sl2；
[0025]sl2、解析上传的数据，进入步骤sl3;
[0026]sl3、通过所述大数据平台的数据流通与交易的敏感数据保护系统中的元数据提取模块根据所述步骤sll中制定的元数据提取标准提取经步骤sl2解析后的上传数据的元数据信息，进入步骤sl4;
[0027]sl4、根据所述步骤sl3中提取的元数据信息进行敏感内容配置，进入步骤sl5;
[0028]sl5通过所述大数据平台的数据流通与交易的敏感数据保护系统中的第一敏感数据发现模块根据所述步骤sl4中配置的敏感内容，对数据中的敏感内容进行自动识别，进入步骤s 16;
[0029]sl6、通过所述大数据平台的数据流通与交易的敏感数据保护系统中的第一脱敏策略配置模块根据所述步骤sl5中识别确定的敏感内容的特点，自动配置脱敏算法，形成脱敏策略，进入步骤sl7;
[0030]sl7、根据所述步骤sl6中配置的脱敏算法，对数据进行脱敏处理，进入步骤sl8;[0031 ] sl8、将脱敏后的数据上传到大数据平台。
[0032]所述对数据共享中的敏感数据进行保护包括如下步骤:
[0033]s21、资源发布人上传数据到大数据平台，进入步骤s22;
[0034]s22、在大数据平台环境下，通过所述大数据平台的数据流通与交易的敏感数据保护系统中的第二敏感数据发现模块根据数据属性定义敏感数据，进入步骤s23;
[0035]s23、根据所述步骤s22中定义的敏感数据确定数据中的敏感数据，进入步骤s24;
[0036]s24、通过所述大数据平台的数据流通与交易的敏感数据保护系统中的第二脱敏策略配置模块为所述步骤s23中确定的敏感数据配置脱敏算法，进入步骤s25;
[0037]s25、判断为敏感数据配置的脱敏算法是否合适，若否，进入步骤s26，若是，进入步骤s27.’
[0038]s26、为敏感数据重新配置脱敏算法，进入步骤s27;
[0039]s27、根据配置的脱敏算法形成脱敏策略，进入步骤s28;
[0040]s28、保存脱敏策略，并对不同脱敏策略的使用情况进行统计分析，进入步骤s29;
[0041]s29、根据步骤s28中对脱敏策略使用情况的统计分析结果对脱敏策略使用率进行排序，进入步骤s210;
[0042 ] S210、根据脱敏策略使用率建立脱敏策略自动推荐机制。
[0043]所述对数据交换中的敏感数据进行保护包括如下步骤:
[0044]s31、数据需求方输入查询条件对数据进行查询，进入步骤s32;
[0045]s32、对与查询条件匹配的数据进行差分隐私保护处理，进步步骤s33;
[0046]s33、将经过差分隐私保护处理的数据反馈给数据需求方，进步步骤s34;
[0047]s34、将反馈给数据需求方的数据以脱敏方式将数据显示给数据需求方供其查看，进入步骤s35;
[0048]s35、数据需求方请求共享数据，进入步骤s36;
[0049]s36、资源发布人审核数据需求方的身份和数据使用权限，以此为基础通过所述大数据平台的数据流通与交易的敏感数据保护系统中的敏感数据定义模块预定义相对于数据需求方的敏感数据，进入步骤s37;
[0050]s37、判断预定义的敏感数据与数据需求方身份与权限是否相符，若否，进入步骤s38，若是，进入步骤s39 ；
[0051]s38、重新定义敏感数据，进入步骤s39;
[0052]s39、根据定义确定相对于数据需求方的