本发明涉及到信息安全
技术领域：
：，特别涉及一种应用于信息安全领域的大数据分析方法。
背景技术：
：：随着信息化的迅速发展，网络规模越来越庞大，多层面的网络安全威胁和安全风险也在不断增加，网络病毒、dos/ddos攻击、黑客入侵等构成的威胁和损失越来越大，网络攻击行为向着分布化、规模化、复杂化等趋势发展，仅仅依靠防火墙、入侵检测、防病毒、访问控制等单一的网络安全防护技术，己不能满足网络安全的需求，迫切需要新的技术，及时发现网络中的异常事件，实时掌握网络安全状况，将之前很多时候亡羊补牢的事中、事后处理，转向事前自动评估预测，降低网络安全风险，提高网络安全防护能力。国家电网公司作为关系能源安全和经济命脉的重要骨干企业，承担着为国家经济社会发展提供安全、可持续电力供应的基本使命。加快建设宽带、融合、安全、泛在的下一代国家信息基础设施，推动信息化和工业化深度融合，推进经济社会各领域信息化。国家电网公司在“sg186工程、智能电网以及三集五大体系”工作的深入推进过程中，同时大力开展电力信息系统网络安全建设工作，各省市电力公司已基本完成信息网的网络安全等级保护三级要求的建设工作，部署了防火墙、入侵防御、web应用防火墙、数据库审计等安全设备，完善了边界防护、传输加密、合规审计等安全建设工作，并于2017年底初步建成了网络与信息安全风险监控预警平台（简称s6000平台），已实现了对原有安全设备、网络设备、终端管理平台等日志的统一采集和展现能力，并与电子商务平台、电子商城、95598系统、iss系统和国网的i6000平台等进行了无缝对接，网络安全防护能力和安全管理能力得到了有效的提升。现有技术中关于大数据分析报道较多，cn104967535a专利公开了一种应用于信息安全运维管理的大数据分析，通过构建p2p网络，从snmp中选择能反映网络实时状态快照的snmp特征，通过分布式数据聚类算法为各节点找到收敛效果最佳的snmp特征之值，计算的snmp观测，确定所存在的网络攻击，采用一种基于snmp统计观测的分布式数据挖掘的大数据分析来检测网络中恶意流量的方法，解决了无法直接对未知的网络攻击进行检测的难题，但不能对攻击路径进行历史回放，无法做到溯源。cn107277039a专利公开了一种网络攻击数据分析及智能处理方法，包括步骤1，将多种网络安全设备连接到一台或多台sdn交换机，形成安全资源池；步骤2，安全控制器发出安全控制指令操作sdn交换机，根据不同用户安全需求将网络流量牵引到指定的网络安全设备进行处理；步骤3，安全控制器对网络安全设备进行策略集中管理和状态实时监控，当网络安全设备出现异常，安全控制器发出安全策略指令，进行均衡负载或流量迁移，确保不影响正常的网络通信；其特征在于还包括：通过telnet协议主动收集网络设备、安全设备和服务器的实时状态信息、本机闪存信息和收集日志中心信息，进行大数据实时综合分析，更新同步第三方ids特征库，全网攻击建模，生成防御指令，组合防御，但仅能作出入侵分析，无法进行风险分析。cn108156177a专利公开了一种基于大数据的信息网安全态势感知预警方法，包括数据采集模块和数据分析模块，所述数据采集模块采集日志、网络信息流量以及ids数据，并将所述日志、网络信息流量以及ids数据发送至数据分析模块，所述数据分析模块对日志、网络信息流量以及ids数据进行预警分析，本发明能够统一采集、存储数据，能够统一分析网络运行态势，大大地提升了智能化网络运维建设，而且本发明能够结合日志数据、网络信息流量以及ids数据分析可疑行为，实现事前预警分析，本发明能够及时发现并且准确确定网络设备、终端设备存在的安全隐患，可以实现对信息网络安全薄弱环节进行定位并改进，但不能对攻击路径进行历史回放，无法做到溯源。但是随着电网业务变得越来越开放和复杂，同时也使得越来越多的主机暴露在外网中，而黑客的攻击手段不断升级，新兴apt攻击威胁层出不穷，恶意木马病毒持续泛滥，零日漏洞的精准突袭，给电网的生产系统，特别是给业务主机系统带来了另一层面的严重威胁，鉴于目前的网络安全建设情况，传统的入侵防护方案能够很好地抵御已知的攻击，对于未知和迅速变化的攻击手段仍缺乏快速的分析能力，为此，我们提出了一种应用于信息安全领域的大数据分析方法来解决上述问题。技术实现要素：发明的目的在于提供一种应用于信息安全领域的大数据分析方法，本发明通过对大数据分析方法进行资产分析、风险分析及入侵分析，方便清晰展现完整的系统内部运行轨迹，能够优化知识库并进行网络可视化展现，方便对攻击路径进行历史回放，回溯分析黑客攻击全过程，能够进行快速分析，进一步提高了数据的安全性，以解决上述
背景技术：
：中提出的问题。为实现上述目的，本发明提供如下技术方案：一种应用于信息安全领域的大数据分析方法，包括以下步骤：s1：在业务主机上安装1个轻量级采集探针，通过采集探针深度采集主机的数据信息，覆盖不同类型主机机器信息数据，采集探针仅与server端保持连接即可，无需启用任何监听端口，运行在系统ring3级别，数据采集过程中采集探针对所占用主机内的资源消耗严格控制，完全不影响操作系统；s2：采集探针通过执行脚本进行原始数据采集，采集的原始数据缓存到本地数据库的table表中并加入数据预处理队列，预处理队列通过标签自动分析对原始数据进行标记，同时利用预处理脚本中的多种规则对原始数据进行处理，继而包装成json格式的标准化数据，存放于待发送区，进行发送；s3：预处理的数据通过私有加密协议进行加密传输，继而进行数据存储；s4：从底层的安全数据中心部分抽取相关数据进行安全分析，安全分析包括：资产分析、纵向分析、横向分析、风险分析及入侵分析，其中，资产分析针对每日汇总的资产数据进行分类统计，结合不同安全视角分析资产微指标的变化，针对上下线变更资产进行标注，将资产数据信息结合大数据插件关联分析，分析展现工作包含两个分析纬度；纵向分析针对单台服务器以时间为导向，记录系统内部所有应用程序的启动以及运行轨迹，用户可以根据时间轴来观察系统内部应用程序的运行情况，同时记录不同的运维人员对不同应用的运维情况，将所有信息以时间轴的方式统一展现出来；横向分析针对所有服务器以应用程序为导向，记录同一应用程序在不同服务器中的运行轨迹，比对不同服务器中该应用的运行差异；风险分析关注系统和应用双层面，通过网络可视化展现，并补充数据库，通过客户端收集、整理数据，上报连接信息，服务端获取到所有主机发送的数据之后，向服务端前台透传，前台使用syslog进行日志并输出至splunk平台，以输出数据作为输入源，进行二次分析、统计建模、业务规则梳理的工作，通过关系网络分析进行监控和分析单位时间内主机间的访问关系，进行网络可视化展现；通过大数据插件和根据运维操作情况结合电力行业特性、威胁情报以及安全威胁等来补充并优化知识库，对现有数据进行采集，然后结合不同安全背景进行分析，根据风险信息、安全威胁结合安全插件快速分析和响应，当新的安全事件、漏洞公布时输出安全分析，安全人员通过安全防护平台可将威胁检测插件快速下发至所有主机，在数秒内响应安全事件并且将结果可视化地呈现给用户，并将所有威胁检测插件的使用方法和多插件组合性使用方法，以规范的方式进行汇总，经过评审小组对这些新的知识进行审核，并纳入知识库；入侵分析针对业务主机正常运行建立基于场景的行为模型，做定制化入侵分析，利用大数据查询技术，以一条攻击锚点告警为基础信息，通过该信息向下钻取，分析前后一定时间段内与该条信息存在关联的数据信息，通过对攻击路径的每个节点进行深入监控，结合大数据、机器学习分析方法，对攻击路径进行历史回放，回溯分析黑客攻击全过程完成一次整体攻击链的分析。进一步地，所述原始数据处理包括结构化数据处理和非结构化数据处理，结构化数据处理通过脚本提取结构化的源数据，进行简单的格式化处理，非结构化数据处理通过不同的机器数据信息通过定制脚本接口的方式生成适应分析处理的数据格式。进一步地，所述风险分析包括分析系统上的安全补丁、漏洞和文件完整性以及应用服务的配置缺陷、操作违规和异常连接。进一步地，所述采集探针设计分为底层基础库、框架层、业务层、监控模块和探针程序管理模块。进一步地，所述结构化数据包括主机名称、操作系统类型、主机ip、主机账号、主机配置和漏洞信息。进一步地，所述非结构化数据包括运行的服务、安装的软件、运行的进程、web服务、web目录、操作指令、主机发现数据、syslog日志、文件二进制数据和网络连接数据。进一步地，所述多种规则包括过滤规则、去重规则和编排规则。进一步地，所述资产数据信息包括系统、进程、应用、安装包和端口。进一步地，所述不同服务器中应用的运行差异包括安装包版本、系统申请的资源、升级时间和运维人员。进一步地，所述运行情况具体内容包括启动、停止、安装包版本、安装包变更情况和向系统申请的资源。与现有技术相比，本发明的有益效果是：本发明提出的信息安全中的大数据分析方法，通过对大数据分析方法进行资产分析、纵向分析、横向分析、风险分析及入侵分析，方便清晰展现完整的系统内部运行轨迹，能够优化知识库并进行网络可视化展现，方便对攻击路径进行历史回放，回溯分析黑客攻击全过程，能够进行快速分析，进一步提高了数据的安全性。附图说明图1为本发明提出的一种应用于信息安全领域的大数据分析方法的流程示意图。具体实施方式下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。如图1所示，本发明提出了一种应用于信息安全领域的大数据分析方法，包括以下步骤：步骤一：在业务主机上安装1个轻量级采集探针，采集探针设计主要分为底层基础库、框架层、业务层、监控模块和探针程序管理模块，通过采集探针深度采集主机的数据信息，覆盖不同类型主机机器信息数据，采集探针仅与server端保持连接即可，无需启用任何监听端口，运行在系统ring3级别，数据采集过程中采集探针对所占用主机内的资源消耗严格控制，完全不影响操作系统；步骤二：采集探针通过执行脚本进行原始数据采集，采集的原始数据缓存到本地数据库的table表中并加入数据预处理队列，预处理队列通过标签自动分析对原始数据进行标记，同时利用预处理脚本中的多种规则对原始数据进行处理，多种规则包括过滤规则、去重规则和编排规则，原始数据处理包括结构化数据处理和非结构化数据处理，结构化数据包括主机名称、操作系统类型、主机ip、主机账号、主机配置和漏洞信息，结构化数据处理通过脚本提取结构化的源数据，进行简单的格式化处理，非结构化数据包括运行的服务、安装的软件、运行的进程、web服务、web目录、操作指令、主机发现数据、syslog日志、文件二进制数据和网络连接数据，非结构化数据处理通过不同的机器数据信息通过定制脚本接口的方式生成适应分析处理的数据格式，继而包装成josn格式的标准化数据，存放于待发送区，进行发送；步骤三：预处理的数据通过私有加密协议进行加密传输，继而进行数据存储；步骤四：从底层的安全数据中心部分抽取相关数据进行安全分析，安全分析包括：资产分析、纵向分析、横向分析、风险分析及入侵分析，其中，资产分析针对每日汇总的资产数据进行分类统计，资产数据信息包括系统、进程、应用、安装包和端口，结合不同安全视角分析资产微指标的变化，针对上下线变更资产进行标注，将资产数据信息结合大数据插件关联分析，分析展现工作包含两个分析纬度；纵向分析针对单台服务器以时间为导向，记录系统内部所有应用程序的启动以及运行轨迹，用户可以根据时间轴来观察系统内部应用程序的运行情况，运行情况具体内容包括启动、停止、安装包版本、安装包变更情况和向系统申请的资源，同时记录不同的运维人员对不同应用的运维情况，将所有信息以时间轴的方式统一展现出来；横向分析针对所有服务器以应用程序为导向，记录同一应用程序在不同服务器中的运行轨迹，比对不同服务器中该应用的运行差异，不同服务器中应用的运行差异包括安装包版本、系统申请的资源、升级时间和运维人员；风险分析关注系统和应用双层面，风险分析包括分析系统上的安全补丁、漏洞和文件完整性以及应用服务的配置缺陷、操作违规和异常连接，通过网络可视化展现，并补充数据库，通过客户端收集、整理数据，上报连接信息，服务端获取到所有主机发送的数据之后，向服务端前台透传，前台使用syslog进行日志并输出至splunk平台，以输出数据作为输入源，进行二次分析、统计建模、业务规则梳理的工作，通过关系网络分析进行监控和分析单位时间内主机间的访问关系，进行网络可视化展现；通过大数据插件和根据运维操作情况结合电力行业特性、威胁情报以及安全威胁等来补充并优化知识库，对现有数据进行采集，然后结合不同安全背景进行分析，根据风险信息、安全威胁结合安全插件快速分析和响应，当新的安全事件、漏洞公布时输出安全分析，安全人员通过安全防护平台可将威胁检测插件快速下发至所有主机，在数秒内响应安全事件并且将结果可视化地呈现给用户，并将所有威胁检测插件的使用方法和多插件组合性使用方法，以规范的方式进行汇总，经过评审小组对这些新的知识进行审核，并纳入知识库；入侵分析针对业务主机正常运行建立基于场景的行为模型，做定制化入侵分析，利用大数据查询技术，以一条攻击锚点告警为基础信息，通过该信息向下钻取，分析前后一定时间段内与该条信息存在关联的数据信息，通过对攻击路径的每个节点进行深入监控，结合大数据、机器学习分析方法，对攻击路径进行历史回放，回溯分析黑客攻击全过程完成一次整体攻击链的分析。本发明中，使用时，在业务主机上安装1个轻量级采集探针，采集探针设计主要分为五部分，分别是：底层基础库、框架层、业务层、监控模块和探针程序管理模块，底层基础库主要是采集探针的核心基础，包含探针配置文件、本地数据库、网络模块组件、传输加密组件、数据采集指令脚本、自身日志，框架层接收来自上层下发的采集任务，并对采集线程进行性能控制，管理消息队列，同时执行用于信息采集的扩展脚本，业务层负责服务前端平台与采集探针之间的直接任务交互，采用多插件的管理机制，不同插件实现不同功能，包括监控和调度功能，监控模块主要用于对采集探针自身的性能监控，针对运行状态、内存占用、cpu占用等，内存、cpu占用过高采集探针可进行自动降级运行，甚至是停止运行，不影响主机的正常业务系统，管理模块主要做对主机上探针的卸载、安装、升级、调试进行管理，通过采集探针深度采集主机的数据信息，覆盖不同类型主机机器信息数据，采集探针仅与server端保持连接即可，无需启用任何监听端口，运行在系统ring3级别，数据采集过程中采集探针对所占用主机内的资源消耗严格控制，完全不影响操作系统，采集探针通过执行脚本进行原始数据采集，采集的原始数据缓存到本地数据库的table表中并加入数据预处理队列，预处理队列通过标签自动分析对原始数据进行标记，同时利用预处理脚本中的多种规则对原始数据进行处理，原始数据包括结构化数据和非结构化数据，结构化数据通过脚本提取结构化的源数据，进行简单的格式化处理，非结构化数据通过不同的机器数据信息通过定制脚本接口的方式生成适应分析处理的数据格式，继而包装成josn格式的标准化数据，存放于待发送区，进行发送，预处理的数据通过私有加密协议进行加密传输，继而进行数据存储，从底层的安全数据中心部分抽取相关数据进行安全分析，安全分析包括：资产分析、风险分析及入侵分析，资产分析针对每日汇总的资产数据进行分类统计，结合不同安全视角分析资产微指标的变化，针对上下线变更资产进行标注，将资产数据信息结合大数据插件关联分析，方便清晰展现完整的系统内部运行轨迹，分析展现工作包含两个分析纬度：纵向分析针对单台服务器以时间为导向，记录系统内部所有应用程序的启动以及运行轨迹，用户可以根据时间轴来观察系统内部应用程序的运行情况，同时记录不同的运维人员对不同应用的运维情况，将所有信息以时间轴的方式统一展现出来，横向分析针对所有服务器以应用程序为导向，记录同一应用程序在不同服务器中的运行轨迹，比对不同服务器中该应用的运行差异，风险分析关注系统和应用双层面，通过网络可视化展现，并补充数据库，通过客户端收集、整理数据，上报连接信息，服务端获取到所有主机发送的数据之后，向服务端前台透传，前台使用syslog进行日志并输出至splunk平台，以输出数据作为输入源，进行二次分析、统计建模、业务规则梳理的工作，通过关系网络分析进行监控和分析单位时间内主机间的访问关系，进行网络可视化展现，关系网络分析是基于大数据时空关系网络的分析手段，分析数据区别于流量访问关系，而是结合主机的实际连接关系、时空数据，揭示对象间的关联和对象时空相关的模式及规律，从主机的网络视角辅助分析，帮助探索未知，洞察安全隐患信息，通过大数据插件和根据运维操作情况结合电力行业特性、威胁情报以及安全威胁补充并优化知识库，对现有数据进行采集，通过bash插件获取操作命令，然后结合不同安全背景进行分析，根据风险信息、安全威胁结合安全插件快速分析和响应，当新的安全事件、漏洞公布时输出安全分析，安全人员通过安全防护平台可将威胁检测插件快速下发至所有主机，在数秒内响应安全事件并且将结果可视化地呈现给用户，并将所有威胁检测插件的使用方法和多插件组合性使用方法，以规范的方式进行汇总，经过评审小组对这些新的知识进行审核，并纳入知识库，对运维知识进行持续的收集和整理，按照一定的方法进行分类保存，并提供相应的检索手段，经过处理，将大量隐含知识编码化和数字化，信息和知识便从原来的混乱状态变得有序化，入侵分析针对业务主机正常运行建立基于场景的行为模型，做定制化入侵分析，利用大数据查询技术，以一条攻击锚点告警为基础信息，通过该信息向下钻取，分析前后一定时间段内与该条信息存在关联的数据信息，完成一次整体攻击链的分析，通过对攻击路径的每个节点进行深入监控，提供了多平台、多系统的全方位、高实时的攻击监控，方便对进程变化、文件变化、登录登出事件了如指掌，便于进行全方位实时监控，结合大数据、机器学习分析方法，对攻击路径进行历史回放，回溯分析黑客攻击全过程，能够进行快速分析，进一步提高了数据的安全性。综上所述，本发明提出的信息安全中的大数据分析方法，通过对大数据分析方法进行资产分析、纵向分析、横向分析、风险分析及入侵分析，方便清晰展现完整的系统内部运行轨迹，能够优化知识库并进行网络可视化展现，方便对攻击路径进行历史回放，回溯分析黑客攻击全过程，能够进行快速分析，进一步提高了数据的安全性。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。当前第1页12当前第1页12