一种大数据环境下的数据管理方法
【技术领域】
[0001 ]本发明涉及大数据领域，尤其涉及一种大数据环境下的数据管理方法。
【背景技术】
[0002]大数据是一种战略资源，优化大数据环境下的数据管理可以为企业等带来巨大的经济效益。在获得了大数据资源以后，如何对获取的大数据资源进行数据综合分析、以及安全性过滤都是当前面临一个重要问题，也是当前急需解决的课题。
【发明内容】
[0003]本发明提供一种大数据环境下的数据管理方法。
[0004]本发明解决其技术问题所采用的技术方案是:
[0005]—种大数据环境下的数据管理方法，其特征在于，
[0006]步骤I，分析服务器统计分析网络中每个用户的大数据访问历史记录，生成用户特征数据库；
[0007]步骤2，用户终端将用户的资源获取请求发送至大数据资源服务器；
[0008]步骤3，大数据资源服务器根据用户的资源获取请求，获得一组大数据资源的集合;并将该组大数据资源的集合发送至分析服务器；
[0009]步骤4，分析服务器根据用户特征数据库，在该组大数据资源的集合中筛选出匹配度最高的大数据资源;将筛选后的大数据资源发送至安全过滤服务器;并更新所述用户特征数据库；
[0010]步骤5，安全过滤服务器对所述筛选后的大数据资源进行安全性过滤，并将安全性过滤后的大数据资源发送给所述用户终端。
[0011]作为优选，所述步骤I中，所述网络中每个用户的大数据访问历史记录包括用户的历史资源获取请求及其对应的大数据资源;并且在步骤I中，所述分析服务器具体执行以下步骤:
[0012]步骤1.1，分析预设的统计时间段中，网络中每个用户的大数据访问历史记录中的所有历史资源获取请求，提取出所有的关键词；
[0013]步骤1.2，统计预设的统计时间段中，网络中每个用户的大数据访问历史记录中的大数据资源中每个关键词的出现次数，将每个关键词的出现次数作为该关键词的权重值；
[0014]步骤1.3，对于每个用户，构成〈用户名、关键词、关键词的权重值〉结构的三元组，将所述三元组存储到所述用户特征数据库中。
[0015]作为优选，所述步骤3中，大数据资源服务器执行以下操作:
[0016]步骤3.1，大数据资源服务器在用户的资源获取请求中提取若干个关键词；
[0017]步骤3.2，对提取的若干个关键词进行扩展，获得N个扩展关键词；
[0018]步骤3.3，利用所述N个扩展关键词进行检索，获得一组大数据资源的集合。
[0019]作为优选，所述步骤4中，分析服务器执行以下操作:
[0020]步骤4.1，根据提出资源获取请求的用户的用户名、以及获得的N个扩展关键词，查询所述用户特征数据库，依次获得每个扩展关键词的权重值，将所述权重值构成一个N维的参考向量<K1，K2，...，■>;
[0021]步骤4.2，对于获得的一组大数据资源的集合中的每项大数据资源执行以下操作:
[0022]统计该项大数据资源中每个扩展关键词的出现次数作为权重值，将所述权重值构成一个N维的比对向量；
[0023]其中，假设所述大数据资源的集合中共有M项大数据资源，则第i项大数据资源构成的N维比对向量为<kil，ki2，=
[0024]步骤4.3，分别计算每项大数据资源的N维比对向量与所述N维的参考向量之间的余弦相似度值，将余弦相似度值最高的N维比对向量所对应的一项大数据资源确定为匹配度最高的大数据资源。
[0025]作为优选，所述步骤5中，所述将安全性过滤后的大数据资源发送给用户终端具体包括以下步骤:
[0026]所述安全过滤服务器执行以下操作:
[0027]步骤5a.1，将所述大数据资源分割为固定长度的规定格式的数据块；
[0028]步骤5a.2，将每个规定格式的数据块加密后转换为二维码图片；
[0029]步骤5a.3，在每个二维码图片中嵌入数字水印信息；
[0030]步骤5a.4，将嵌入数字水印信息的二维码图片依次发送至所述用户终端；
[0031 ]所述用户终端执行以下操作:
[0032]步骤5b.1，接收嵌入数字水印信息的二维码图片，并将所有的二维码图片按规定的顺序排列；
[0033]步骤5b.2，提取每个二维码图片中的数字水印信息，验证该二维码图片的完整性；
[0034]如果存在未通过完整性验证的二维码图片，则将所述未通过完整性验证的二维码图片滤除，执行步骤5b.3;
[0035]如果不存在未通过完整性验证的二维码图片，则执行步骤5b.4;
[0036]步骤5b.3，请求所述安全过滤服务器重新发送所有未通过完整性验证的二维码图片，直至获得通过完整性验证的所有二维码图片；
[0037]步骤5b.4，将通过所述完整性验证的所有二维码图片解密后转换为规定格式的数据块；
[0038]步骤5b.5，将所有规定格式的数据块按规定的顺序组合，获得所述大数据资源。
【具体实施方式】
[0039]为了使本发明的目的、技术方案及优点更加清楚明白，以下对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0040]本发明解决其技术问题所采用的技术方案是:
[0041]—种大数据环境下的数据管理方法，其特征在于，
[0042]步骤I，分析服务器统计分析网络中每个用户的大数据访问历史记录，生成用户特征数据库；
[0043]步骤2，用户终端将用户的资源获取请求发送至大数据资源服务器；
[0044]步骤3，大数据资源服务器根据用户的资源获取请求，获得一组大数据资源的集合;并将该组大数据资源的集合发送至分析服务器；
[0045]步骤4，分析服务器根据用户特征数据库，在该组大数据资源的集合中筛选出匹配度最高的大数据资源;将筛选后的大数据资源发送至安全过滤服务器;并更新所述用户特征数据库；
[0046]步骤5，安全过滤服务器对所述筛选后的大数据资源进行安全性过滤，并将安全性过滤后的大数据资源发送给所述用户终端。
[0047]作为优选，所述步骤I中，所述网络中每个用户的大数据访问历史记录包括用户的历史资源获取请求及其对应的大数据资源;并且在步骤I中，所述分析服务器具体执行以下步骤:
[0048]步骤1.1，分析预设的统计时间段中，网络中每个用户的大数据访问历史记录中的所有历史资源获取请求，提取出所有的关键词；
[0049]步骤1.2，统计预设的统计时间段中，网络中每个用户的大数据访问历史记录中的大数据资源中每个关键词的出现次数，将每个关键词的出现次数作为该关键词的权重值；
[0050]步骤1.3，对于每个用户，构成〈用户名、关键词、关键词的权重值〉结构的三元组，将所述三元组存储到所述用户特征数据库中。
[0051]作为优选，所述步骤3中，大数据资源服务器执行以下操作:
[0052]步骤3.1，大数据资源服务器在用户的资源获取请求中提取若干个关键词；
[0053]步骤3.2，对提取的若干个关键词进行扩展，获得N个扩展关键词；
[0054]步骤3.3，利用所述N个扩展关键词进行检索，获得一组大数据资源的集合。
[0055]作为优选，所述步骤4中，分析服务器执行以下操作:
[0056]步骤4.1，根据提