一种基于大数据处理平台的安全防护方法
【技术领域】
[0001]本发明涉及大数据的应用技术，具体是一种基于大数据处理平台的安全防护方法。
【背景技术】
[0002]当前随着物联网、云计算等新一代信息通信技术的发展，信息系统架构演变也随之变化，从传统信息系统三层架构(数据库、服务器、PC机)，转变为未来信息系统三层架构(大数据、云计算、智能终端)。因此，如何建立一套基于大数据处理平台技术的安全防护方法已成为必然趋势。
[0003]随着大数据系统的应用越来越广泛，其安全性非常重要:大数据市场年增迅速，近5年平均增速50%以上，数据爆发式增长，使得信息成为战略资产;大数据技术影响到国家治理、企业决策和人民生活等等;然而对大数据应用给信息安全提出了新的挑战(数据泄密影响重大:saleforce、GooglegTalk、CSDN，天涯等相继被曝用户数据泄漏；制约大数据业务的融合和应用发展)；安全威胁大大提高，攻击者背景更加复杂(安全威胁的目标性、隐蔽性、破坏性都大大增加，攻击者的动机、目的、方法变得更加复杂)；针对云计算的大数据应用的攻击成为新的攻击方向。
【发明内容】
[0004]本发明的目的在于提供一种基于大数据处理平台的安全防护方法，有效地解决了大数据处理平台的安全性问题，大大提高了大数据处理平台的运行安全性和运维工作效率。
[0005]为实现上述目的，本发明提供如下技术方案:
[0006]—种基于大数据处理平台的安全防护方法，利用基于大数据安全处理平台的系统从包括访问安全、存储安全、内容安全和运维安全在内的这四个方面进行安全防护;访问安全包括访问权限认证，流量和访问质量控制，用户访问行为监控，访问敏感信息告警、阻断和追踪;存储安全包括存储介质加密访问技术，文件加密存储技术，分布式存储分片加密和解密技术，数据备份和容灾；内容安全包括大数据去隐私化技术和多维度审计技术，其中，大数据去隐私化技术包括数据加密、限制发布和数据失真，多维度审计技术包括用户、数据对象、字段、敏感内容方面的审计;运维安全包括安全策略管理，系统安全审计，用户和权限管理，配置基线检查，漏洞和补丁管理。
[0007]作为本发明进一步的方案:所述的基于大数据安全处理平台的系统包括数据存储层、数据处理层、应用接口层、业务支撑层和安全运维管理层;业务支撑层依次通过应用接口层、数据处理层与数据存储层交互信息，安全运维管理层分别与数据存储层、数据处理层、应用接口层交互信息。
[0008]作为本发明进一步的方案:所述的数据存储层由HDFS/Hbase/Hive/DB组成安全访问认证模块;所述的数据处理层由去隐私化加载模块、策略化数据抽取、大数据多维度审计、大数据访问监控、批量加载服务、分析查询服务、数据迀移转换服务、数据定义服务、Hadoop*接口、数据库接口、全文检索接口组成安全大数据处理引擎;所述的应用接口层由数据访问接口组成安全访问认证模块;所述的业务支撑层由至少一种业务组成;所述的安全运维管理层包括安全策略管理、安全审计、访问安全、配置基线检查、系统监控和版本补丁管理，其中，安全策略管理包括策略管理和策略部署，安全审计包括审计管理、事件管理和关联分析，访问安全包括身份认证和弱口令检查，配置基线检查包括合规检查、变更管理和基线监控，系统监控包括漏洞扫描、状态监控和资源监控，版本补丁管理包括版本检测、补丁分发和升级管理。
[0009]作为本发明进一步的方案:具体步骤为:
[0010]—，访问安全防护，包括数据访问权限控制、数据访问流量控制、数据访问传输控制、敏感信息访问控制四个方面；
[0011]数据访问权限控制:首先分权分域;其次数据网关，聚合数据访问，支持内外网分离，多网络负载均衡、数据访问方式，进行清洗、转换、加载、查询、挖掘；
[0012]数据访问流量控制:首先流量控制技术;其次防止互联网广播风暴，或者病毒/木马造成网络瘫痪；
[0013]数据访问传输控制:首先软件加密传输，传输之间进行数据加密;其次安全网络协议，建立安全信息通道;再次系统安全认证，包括基于口令的安全认证、基于密钥的安全认证；
[0014]敏感信息访问控制:首先访问敏感信息监控和告警;其次针对异常访问的操作限制;
[0015]二，内容安全防护，包括大数据去隐私化和大数据多维度审计两方面;大数据去隐私化包括基于失真的隐私保护技术、基于加密的隐私保护技术、基于限制发布信息的隐私保护技术;大数据多维度审计包括对象审计、敏感字段、敏感内容、访问行为和访问行为，对象审计包括对象属性的约束、访问和操作权限、访问阻断和告警，敏感字段包括字段属性的约束、访问和操作权限、访问记录与监控，敏感内容包括敏感记录访问、敏感信息过滤、敏感信息统计，访问行为包括访问频率统计、用户访问轨迹、用户行为趋势；
[0016]三，存储安全防护，包括存储认证、数据加密、副本和分片、备份容灾、数据备份容灾和存储认证;存储认证包括第三方认证系统对用户和权限进行设置和认证;数据加密包括数据条、对象、文件不同粒度的加密和解密技术;副本和分片包括数据多副本级副本摆放和访问策略，数据分片和冗余存储;备份容灾包括数据导入导出、备份恢复和容灾方案;数据备份容灾包括数据备份、数据恢复和数据容灾，数据备份包括数据快照、完全备份、增量备份、条件导出、副本和压缩，数据恢复包括数据导入、数据迀移、批量导入和索引维护，数据容灾包括数据同步、一致性检查、远程镜像、异地容灾和故障切换；
[0017]四，运维安全防护，包括用户身份认证技术、配置基线、版本和补丁检测、安全审计、漏洞扫描、系统监控；
[0018]用户身份认证技术包括用户拥有的东西、用户的身体特征、多因素结合认证、用户知道的信息；其中多因素结合认证包括动态口令+静态密码、USB key+静态密码，用户知道的信息包括用户名、密码、密码提示信息、验证码；
[0019]配置基线:从快速检索系统安全配置的自动解决方案;确保关键的可执行文件、配置文件的内容、权限、属性不被恶意修改配置基线的完整性/合法性检查、变更管理与监控；
[0020]版本和补丁检测包括:I)软件版本，包括子系统软件版本号、Patch版本号、厂家包版本号;2)软件补丁，包括版本检测、补丁分发、升级；
[0021]安全审计:包括网络安全审计、数据库安全审计、业务运维安全审计和日志审计；
[0022]漏洞扫描，包括利用特征匹配技术、插件技术对应用软件漏洞、操作系统漏洞进行扫描，其中，特征匹配技术是基于规则的模式特征匹配;插件技术是调用插件进行检测，包括错误配置、简单口令、网络协议漏洞技术；
[0023]系统监控结构包括集中存储、聚合分析、系统告警、运维优化和信息采集;集中存储包括数据汇聚、信息规整、分布存储和批量入库；聚合分析包括分类统计、聚集计算和异常检测；系统告警包括告警级别、告警方式和告警响应机制;运维优化包括管理策略调整、故障处理和参数优化;信息采集包括CPU、内存、网络、操作系统、中间件、数据库和应用业务。
[0024]与现有技术相比，本发明的有益效果是:
[0025]本发明有效地解决了大数据处理平台的安全性问题，极大改善了现有的运维的方式，填补了大数据处理平台安全领域的空白，大大提高了大数据处理平台的运行安全性和运维工作效率，是对现有的大数据安全处理模式的重大改革和突破。
【附图说明】
[0026]图1为本发明提供的基于大数据系统安全技术体系图；
[0027]图2为本发明提供的基于大数据安全处理平台的系统架构图；
[0028]图3为本发明提供的数据访问权限控制图；
[0029]图4为本发明提供的大数据系统存储安全结构图；
[0030]图5为本发明提供的大数据系统运维安