基于大数据平台的数据处理方法和装置制造方法
【专利摘要】本发明公开了一种基于大数据平台的数据处理方法和装置，该数据处理方法包括：根据用户发送的访问请求信息，记录用户的访问行为及访问数据；对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等级划分；根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。本发明通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处理，解决了大数据平台的数据结构复杂性导致系统安全性低的问题。
【专利说明】基于大数据平台的数据处理方法和装置
【技术领域】
[0001] 本发明设及数据处理领域，具体来说，设及一种基于大数据平台的数据处理方法 和装置。
【背景技术】
[0002] 信息技术的飞速发展迎来了大数据时代，数据越来越成为国家和企业的战略资 产。大数据是近年来兴起的一种新型计算模式，大数据技术也在各个行业和领域得到了广 泛的应用。当用户建立起了大数据平台后，由于数据的集中和数据的重要性，对于数据访问 的行为管理员需要直观的掌握，并对关键的敏感信息访问能够实施控制，W保障核屯、数据 的安全性。
[0003] 而当前主流的大数据软件并没有提供完善的数据安全防护措施，只有基本的数据 读写功能。一旦用户能够访问大数据平台，几乎就可W获取所有数据。
[0004] 目前大数据技术处于起步阶段，由于大数据平台的数据结构复杂性，并没有足够 完善的数据安全防护措施，如果用户进入数据库中，而该些数据中对于某些用户是不应该 能够使用，或者过度使用的，该就给系统带来了极大的安全隐患。
[0005] 针对相关技术中的问题，目前尚未提出有效的解决方案。
【发明内容】
[0006] 针对相关技术中的问题，本发明提出一种基于大数据平台的数据处理方法和装 置，能够大大提高大数据平台数据的安全性。
[0007] 本发明的技术方案是该样实现的：
[000引根据本发明的一个方面，提供了一种基于大数据平台的数据处理方法。
[0009] 该数据处理方法，包括：
[0010] 根据用户发送的访问请求信息，记录用户的访问行为及访问数据；
[0011] 对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等 级划分；
[0012] 根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安 全等级对应的安全策略。
[0013] 其中，大数据平台由多个不同的数据处理平台并行组成。
[0014] 其中，根据用户发送的访问请求信息，记录用户的访问行为及访问数据，进一步包 括：
[0015] 将用户的访问请求转换成与构成大数据平台的数据处理平台相对应的请求格式。
[0016] 其中，安全策略包括W下至少之一：
[0017] 记录日志、发送告警、阻断访问；
[0018] 其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理 行为。
[0019] 其中，在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端，并 记录用户的访问数据及访问日志；
[0020] 在当前访问行为为告警的情况下，向监控服务器发送告警，并记录用户的访问数 据及访问日志；
[0021] 在当前访问行为为危险的情况下，阻断当前用户的访问请求，并向监控服务器发 送告警，同时记录用户的访问数据及访问日志。
[0022] 根据本发明的另一方面，提供了一种基于大数据平台的数据处理装置，该数据处 理装置包括：
[0023] 记录模块，用于根据用户发送的访问请求信息，记录用户的访问行为及访问数 据；
[0024] 分析模块，用于对记录的访问行为及访问数据进行分析；
[0025] 划分模块，用于根据分析模块的分析结果对访问行为进行安全等级划分；
[0026] 处理模块，用于根据预先设定的安全策略与当前访问行为的安全等级执行与当前 访问行为的安全等级对应的安全策略。
[0027] 其中，大数据平台由多个不同的数据处理平台并行组成。
[002引此外，记录模块进一步包括：
[0029] 格式转换单元，用于将用户的访问请求转换成与构成大数据平台的数据处理平台 相对应的请求格式。
[0030] 其中，安全策略包括W下至少之一：
[0031] 记录日志、发送告警、阻断访问；
[0032] 其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理 行为。
[0033] 此外，该数据处理装置还可W包括：
[0034] 第一发送模块，用于在当前访问行为为安全的情况下，将用户所要访问的数据发 送至客户端；
[00巧]记录模块进一步用于，记录用户的房屋内数据及访问日志；
[0036] 第二发送模块用于，在当前访问行为为告警的情况下，向监控服务器发送告警；
[0037] 阻断模块，用于在当前访问行为为危险的情况下，阻断当前用户的访问请求。
[003引本发明通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问 请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处 理，并且由于大数据平台的数据结构复杂性本发明通过对访问行为进行安全等级划分，实 现了根据不同的用户访问信息只能访问自己权限范围内的数据，从而大大提高了大数据平 台的安全性。
【专利附图】
【附图说明】
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据该些附图获 得其他的附图。
[0040] 图1是根据本发明实施例的基于大数据平台的数据处理方法的流程图；
[0041] 图2是根据本发明实施例的基于大数据平台的数据处理方法的示意性流程图；
[0042] 图3是根据本发明实施例的软件架构示意图；
[0043] 图4是根据本发明实施例的硬件架构示意图；
[0044] 图5是根据本发明实施例的基于大数据平台的数据处理装置的框图。
【具体实施方式】
[0045] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的 范围。
[0046] 根据本发明的实施例，提供了一种基于大数据平台的数据处理方法，其中，大数据 处理平台由多个不同和/或相同的数据处理平台组成，比如可W有hadoop平台和nosql数 据库W及其他分布式并行数据库组合构成。
[0047] 如图1所示，根据本发明实施例的基于大数据平台的数据处理方法，包括：
[0048] 步骤S101，根据用户发送的访问请求信息，记录用户的访问行为及访问数据；
[0049] 步骤S103,对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为 进行安全等级划分；
[0化0] 步骤S105,根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问 行为的安全等级对应的安全策略。
[0051] 其中，在对用户的访问行为及访问数据进行记录时，同时将用户的访问请求转换 成与构成大数据平台的数据处理平台相对应的请求格式，比如用户需要访问hadoop组件 的数据，则将访问请求转换成与hadoop平台相对应的请求格式。
[0化2] 其中，安全策略包括W下至少之一：
[0化3] 记录日志、发送告警、阻断访问；
[0化4] 其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理 行为。
[0055] 比如，在当前访问行为为安全的情况下，安全策略为记录日志，则将用户所要访问 的数据发送至客户端，并记录用户的访问数据及访问日志；
[0056] 在当前访问行为为告警的情况下，安全策略为发送告警，则向监控服务器发送告 警，并记录用户的访问数据及访问日志；
[0057] 在当前访问行为为危险的情况下，安全策略为阻断访问，则阻断当前用户的访问 请求，并向监控服务器发送告警，同时记录用户的访问数据及访问日志。
[005引上述在触发相应的安全策略后进行记录可W有助于数据的统计及数据使用情况 的追溯。
[0059] 在一个具体的实施例中，如图2所示，在大数据安全处理引擎中，增加对用户访问 数据的内容审计和属性分析的功能，对数据访问行为进行记录，包括数据的类别、属主、访 问用户、访问时间等信息；分析模块对该些记录进行合规性检查和异常检测，生成数据访问 统计报表，对访问行为进行安全等级划分，根据不同的级别采取不同的反馈措施。W确保用 户访问数据的合法性。
[0060] 如图3示出了本发明实施例的软件架构，本发明支持对hadoop平台各组件W及数 据库等用户访问行为的监控和追踪。在软件层面，将在化dooop组件和数据库之上，构建大 数据安全访问引擎，和数据访问支撑工具，大数据应用系统通过数据访问接口和支撑工具， 对底层数据进行访问，中间经过大数据安全访问引擎，会对用户的访问数据行为进行监控 和追踪，并进行相应的控制和处理。
[0061] 如图4示出了本发明实施例的硬件结构，应用节点访问安全引擎集群，安全引擎 集群将从安全引擎数据库中获取到对应的安全策略，然后对应用的数据访问进行相应的处 理，对于不允许的数据访问将直接阻断，对于允许的数据访问将数据请求转发到相应的大 数据组件上，然后将最终数据返回给客户端，并在此过程中对用户访问数据的内容和行为 进行日志审计和记录，并将结果存入数据库中，用于后期追踪和分析。
[0062] 请再参见图2,本发明支持大数据常用组件的数据访问监控和追踪，包括h壯S、 hive、数据库等，对用户的数据访问监控支持多种安全策略设置（包括策略的增删改查）， 监控对象支持对文件、数据库表空间、表、关键字段等对象的监控，追踪策略支持记录日志、 告警（发送告警邮件）、阻断=种模式，立种模式为依次包含关系，即后者会包含前者的功 能，例如阻断模式会同时记录日志，并发送告警邮件。
[0063] 具体的，管理员首先登陆安全处理引擎的Web界面，根据需求设置对关键数据的 安全策略，安全处理引擎将预先设定的安全策略存入安全引擎数据库中。当用户发送访问 请求时，通过安全访问接口发送数据访问请求，安全引擎根据用户的访问请求中的信息，从 安全引擎数据库中查询对应的安全策略。如果策略为阻断请求，则直接拒绝用户发送的访 问请求，并记录日志同时发送告警。否则则将访问请求转发到相应的大数据平台，例如h壯S 或者oracle数据库，安全引擎通过调用大数据平台相应的数据访问接口获得相应数据，然 后将数据返回给客户端。同时在处理过程中记录应用访问的数据信息，形成数据访问日志， 包括数据的类别、属主、访问用户、访问时间等信息，并实时分析处理该些信息对其进行安 全等级划分，如果其中满足告警条件，则发送相应的告警。
[0064] 此外，安全处理引擎需要根据用户的请求，进行相应的语义转换，包括解析用户 请求的数据对象、数据内容、所对应的大数据平台，在解析过程中除了安全相关的监控和 追踪外，还需将用户的数据请求转换成对应大数据平台相应的请求格式，例如h壯S、hive、 oracle都有不同的数据访问请求形式，安全处理引擎需进行相应的隐式转换。
[00化]此外，安全处理引擎和应用之间支持加密安全传输，协议支持https、ssh W及私 有加密协议。
[0066] 此外，由于大数据软件组件众多，语义复杂繁多，本发明支持的数据访问请求范围 如下：
[0067] 化acle数据平台数据访问请求为化acle所能够支持的所有的查询语句。
[0068] 化ve大数据平台数据访问请求为底层所用化ve版本对应的所有的化ve S化语 句。
[0069] H壯S大数据平台数据访问请求分为H壯S Shell的命令封装W及化doop作为提 交命令。调用文件系统（F巧化ell命令应使用h壯S.〈CMDNAME〉的形式。所有的FS shell 命令使用URI路径作为参数。URI格式是scheme://authority/path。对皿FS文件系统， scheme是h壯s，对本地文件系统，scheme是file。其中scheme和authority参数都是 可选的，如果未加指定，就会使用配置中指定的默认scheme。一个皿FS文件或目录比如/ parent/chiId 可 W表不成 hdf S: //namenode: namenodeport/parent/chiId，或者更简单的 /parent/child，大多数FS Shell命令的行为和对应的化ix Shell命令类似，不同之处会 在下表中举例介绍，下表中所举例说明的特殊命令并不完全包括其他特殊命令，仅作为介 绍使用。出错信息会输出到stderr，其他信息输出到stdout。
[0070]
【权利要求】
1. 一种基于大数据平台的数据处理方法，其特征在于，包括： 根据用户发送的访问请求信息，记录所述用户的访问行为及访问数据； 对记录的所述访问行为及访问数据进行分析，并根据分析结果对所述访问行为进行安 全等级划分； 根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等 级对应的安全策略。
2. 根据权利要求1的所述方法，其特征在于，所述大数据平台由多个不同的数据处理 平台并行组成。
3. 根据权利要求1的所述方法，其特征在于，根据所述用户发送的访问请求信息，记录 所述用户的访问行为及访问数据，进一步包括： 将所述用户的访问请求转换成与构成所述大数据平台的数据处理平台相对应的请求 格式。
4. 根据权利要求1的所述方法，其特征在于，所述安全策略包括以下至少之一： 记录日志、发送告警、阻断访问； 其中，所述发送告警包括记录日志的处理行为，所述阻断包括发送告警和记录日志的 处理行为。
5. 根据权利要求4的所述方法，其特征在于， 在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端，并记录所述 用户的访问数据及访问日志； 在当前访问行为为告警的情况下，向监控服务器发送告警，并记录所述用户的访问数 据及访问日志； 在当前访问行为为危险的情况下，阻断当前用户的访问请求，并向监控服务器发送告 警，同时记录所述用户的访问数据及访问日志。
6. -种基于大数据平台的数据处理装置，其特征在于，包括： 记录模块，用于根据用户发送的访问请求信息，记录所述用户的访问行为及访问数 据； 分析模块，用于对记录的所述访问行为及访问数据进行分析； 划分模块，用于根据所述分析模块的分析结果对所述访问行为进行安全等级划分； 处理模块，用于根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问 行为的安全等级对应的安全策略。
7. 根据权利要求6的所述装置，其特征在于，所述大数据平台由多个不同的数据处理 平台并行组成。
8. 根据权利要求6的所述装置，其特征在于，所述记录模块进一步包括： 格式转换单元，用于将所述用户的访问请求转换成与构成所述大数据平台的数据处理 平台相对应的请求格式。
9. 根据权利要求6的所述装置，其特征在于，所述安全策略包括以下至少之一： 记录日志、发送告警、阻断访问； 其中，所述发送告警包括记录日志的处理行为，所述阻断包括发送告警和记录日志的 处理行为。
10.根据权利要求9的所述装置，其特征在于，包括： 第一发送模块，用于在当前访问行为为安全的情况下，将用户所要访问的数据发送至 客户端； 记录模块进一步用于，记录所述用户的房屋内数据及访问日志； 第二发送模块用于，在当前访问行为为告警的情况下，向监控服务器发送告警； 阻断模块，用于在当前访问行为为危险的情况下，阻断当前用户的访问请求。
【文档编号】G06F17/30GK104504014SQ201410758944
【公开日】2015年4月8日 申请日期:2014年12月10日 优先权日:2014年12月10日
【发明者】郭庆, 班军成, 解元, 谢莹莹, 徐学辉 申请人:无锡城市云计算中心有限公司