本发明涉及信息安全、大数据应用技术领域，尤其涉及到基于大数据安全运维服务平台数据采集的实现方法。
背景技术：
本发明中包含的英文简称如下：
soc：securityoperationcenter安全管理中心
ids：intrusiondetectionsystems入侵检测系统
snmp：simplenetworkmanagementprotocol简单网络管理协议
clf：commonlogformat普通日志格式
json：javascriptobjectnotationjava脚本对象符号
hdfs：hadoopdistributefilesystemhadoop分布式文件系统。
安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。
当前，企业it系统都不同程度地部署了各种不同的业务系统和安全设备，有效地提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，因为一旦网络及各业务系统出现安全事件或故障，如果不能及时发现、及时处理、及时恢复，这势必直接影响承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到用户的系统将直接导致用户投诉，满意度下降，企业形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，由于各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行；日益严峻的安全威胁迫使企业不得不加强对网络及业务系统的安全防护，不断追求多层次、立体化的安全防御体系，建设安全运维服务中心，实时跟踪系统事件和实时检测各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，尽一切可能来保护企业网络及业务系统正常运营。
然而，被用来执行安全运维服务任务的各种设备、数据库、中间件、操作系统和web服务器等所产生的日志，随着企业it系统规模的不断扩大，尤其是它的种类和数量正经历了巨大规模的上升，从而使日志存储、日志分析和问题跟踪变得越来越困难。企业it系统的日志规模的这样海量地增长，迫使安全运维服务提供商采用hadoop/spark这样的大数据架构来对日志进行集中存储、对日志进行集中处理和日志分析，对系统事件进行实时跟踪，对安全攻击进行实时检测。
目前，已有的安全运维服务平台的数据采集的实现方法，都使用集中采集数据的方式，可能耗时和费钱，已无法胜任当前企业的安全运维服务平台对系统实时性能和低成本的任务。因此，迫切需要一种全新的理念来对海量日志和漏洞信息进行实时分析和管理。
为此，如何利用信息化手段提高企业的运营效益，优化企业信息系统，使得它能够为各类企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。
技术实现要素：
本发明提供了一种基于大数据的安全运维服务平台的远程数据采集的实现方法，以解决现有技术问题存在数据采集可扩展性差、性能差、成本高等缺陷。
本发明的一种基于大数据的安全运维服务平台的远程数据采集的实现方法，应用于能够为多个企业提供各种安全服务和运维监控服务的安全运维监控服务平台中。
所述安全服务包括配置管理、安全风险评估、威胁检测、漏洞扫描、防病毒等。
所述运维监控服务包括配置管理、故障管理、性能管理、问题管理、变更管理等。
所述方法包括远程数据采集模块、依赖策略配置模块。
所述远程数据采集模块，根据安全运维服务平台的配置，负责采集平台所指派的soc的漏洞、配置等信息。
所述依赖策略配置模块，配置远程数据采集的策略，远程数据采集模块承担一部分安全运维服务平台的数据采集任务，远程数据采集模块采集平台所指派的soc的漏洞等信息，而与安全运维服务平台相距较远。
进一步地，平台根据远程数据采集模块与soc的距离远近，指派相应的远程数据采集模块，
进一步地，远程数据采集模块对所述漏洞、配置等信息及时地进行分析，并将分析结果实时地传送给安全运维服务平台。
本发明通过创建远程数据采集模块和依赖策略配置模块，实现对漏洞、配置等信息的远程采集和实时分析，并将分析结果实时地上传给平台，减轻了安全运维服务平台的压力，提高了安全运维服务平台的性能及其系统的可扩展性，另一方面，也降低了安全运维服务平台的建设成本。
附图说明
图1为本发明所述的基于大数据的安全运维服务平台远程数据采集的实现方法的示意图。
具体实施方式
下面是根据附图和实例对本发明的进一步详细说明：
图1为本发明所述的基于大数据的安全运维服务平台远程数据采集的实现方法的示意图，它具有如下功能：
（1）安全运维服务平台根据远程数据采集模块与soc的距离远近，指派相应的远程数据采集模块，就近采集异地soc的安全运维信息：例如安全事件、漏洞、故障和配置信息等。
（2）减轻安全运维服务平台的数据采集压力；
（3）提升系统性能、可扩展性和降低建设成本。
所述安全运维服务平台，被设计成一种分布式的架构，由多个企业级的soc所组成，每个soc包含若干采集设备、远程采集设备、数据库、数据分析服务器等。
所述soc，其中的一个soc作为全局的安全操作中心，该soc包含若干采集设备、远程采集设备（或远程采集模块）、本地数据库、全局数据库、全局数据分析服务器、依赖策略配置模块，等。
每一个soc的采集设备负责采集所辖企业的网络设备事件信息、性能信息、漏洞信息和配置信息等，并经过预处理后转发给本地数据分析服务器。
每一个soc的远程采集模块安装了安全运维服务工具软件，例如漏洞扫描软件等，根据采集配置策略，负责采集与之相邻的soc的漏洞信息等，例如，下表所罗列的交换机采集内容与方式中，包括远程采集的内容。
所述依赖策略配置模块，通过安全运维服务平台，配置远程采集模块采集的对象，这里指的是其它soc，即该远程采集模块不属于该soc，且平台与这个soc较该远程采集模块的距离远许多。
每一个soc的远程采集模块也具有容错功能，如果当其中一台远程采集设备发生故障时，则能够自动地选择另一台备份的远程采集设备，选择的原则可以根据远程采集设备的cpu、内存、硬盘和存活信息等进行选择。
每一个soc的远程采集设备采集与之邻近的soc的网络设备的日志、格式化日志，并把这些日志发送到本地soc的数据库和数据分析模块，然后发送给全局数据库。
每一个soc，至少包含一个远程采集设备，在有多个远程采集设备的情况下，其中一个远程采集设备兼任管理角色，即它负责管理在同一个soc之内的所有远程采集设备，这里被称之为管理远程采集设备。它周期性地轮询其它所辖的远程采集设备，并且当某一个远程采集设备发生故障时，则该设备根据依赖策略选择正常的远程采集设备代替已故障的远程采集设备来采集所在soc的安全运维管理信息。负责管理的远程采集设备也有备份，这里称之为“管理远程采集设备”。
所述soc的数据分析服务器负责本地soc的安全分析和运维监控。它分析本地soc数据库里的格式化的日志信息、配置信息和漏洞信息等，并产生告警。然后，关联该告警以发现更复杂的入侵（例如，一般由多个事件所组成）。通过soc数据分析服务器，安全事件及故障告警数量减少了很多。由本地soc的数据分析服务器产生的分析结果被发送到全局数据库。
所述全局数据分析模块负责该各个本地数据库发送过来的信息，关联全局数据库里的告警和合并全局数据库里的告警，产生基于全局的最优及最准确的输出。它也能够检测出牵涉多个soc的更复杂的告警。全局数据分析服务器周期性地轮询所辖soc数据库，并且当它们其中的一个soc数据分析服务器发生故障而不能正常运行时，则全局数据分析服务器根据依赖策略代替该数据分析服务器的安全服务及运维监控。全局分析服务器也有备份。
所述全局数据分析模块，将有关分析结果发送到界面上进行显示、或发送给安全管理人员（或客服）进行处理和维护等。
所述全局的soc，即安全运维服务平台。
以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。