本发明属于电力系统，涉及电网公司信息内外网逻辑强隔离、应用服务多节点部署背景下服务器端日志的采集工作，具体地说是一种跨网络多节点日志采集的方法。
背景技术：
基于国网公司信息系统“分区、分级、分域”的总体防护策略，信息网络分为信息内网和信息外网。信息内网定位为公司信息化“SG186”工程业务应用承载网络和内部办公网络，信息外网定位为对外业务网络和访问互联网用户终端网络。信息内、外网之间实施强逻辑隔离的措施。由于应用服务器部署在信息外网，而日志数据需提交到信息内网的大数据平台进行分析，必须对外网服务器端的日志文件提供摆渡程序，将其传输到信息内网。此外，由于国网公司大多应用服务采用总部网省二级部署，需要将各网省节点日志数据定时上报到总部进行分析。
由于国网公司信息内外网采用物理强隔离的安全防护策略，且多数应用服务采用总部网省两级部署，增大了服务器端日志采集工作的难度。
技术实现要素：
本发明的目的是提供一种跨网络多节点的日志采集方法，采用该方法服务器端日志采集工作简单方便，安全可靠。
本发明的目的通过以下技术方案实现：
一种跨网络多节点的日志采集方法，其特征在于该方法包含：节点日志发送至总部外网、日志数据从总部外网发送至总部内网、数据库中日志数据恢复为原始日志文件；具体步骤如下：
1）节点日志发送至总部
应用服务器需要将每日节点日志发送到总部，采用外网传输方式，服务器每日定时执行shell脚本，对服务器上的日志文件进行压缩等处理，发送到总部服务器；
2）日志数据从总部外网发送至总部内网
将日志数据从总部外网发送至总部内网，需要提供日志摆渡程序，将日志存储到内网数据库；
3）数据库中日志数据恢复为原始日志文件
总部内网数据库中的日志数据，恢复为原始日志文件，再通过日志管理工具logstash发送到大数据平台。
本发明步骤1）中，对于文件传输，采用https协议进行文件传输。步骤2）中，由于数据要穿过隔离装置进入内网，隔离装置能否承受大量数据的实时传输存在一定的风险，采取以下措施：
（1)对数据传输频率进行限制，日志摆渡程序每隔10s从Kafka缓冲队列中读取日志数据，以blob字段的形式存储到内网数据库；
（2)对数据传输大小进行限制，对日志数据以行为单位进行分割，控制数据大小不超过2M；
（3）在使用日志管理工具logstash进行日志采集时，对请求长度超过限制或不满足规定格式的日志数据进行过滤，保证数据的有效性和安全性。
步骤3）中，开设三个线程分别对数据库中三类日志数据进行处理，实时读取到3个日志文件中，标识日志记录为已读；由于日志数据的增大会对数据库性能产生影响，每3天对已读日志数据进行清理。
本发明基于国网公司应用服务部署的特点，采用该方法服务器端日志采集工作简单方便，安全可靠。
附图说明
图1是日志采集流程图。
具体实施方式
一种跨网络多节点的日志采集方法，如图1所示，包含：节点日志发送至总部外网、日志数据从总部外网发送至总部内网、数据库中日志数据恢复为原始日志文件。具体步骤如下：
1）网省节点日志发送至总部
网省公司应用服务器需要将每日节点日志发送到总部，采用外网传输方式，网省公司服务器每日定时执行shell脚本，对服务器上的日志文件进行压缩等处理，发送到总部服务器。对于文件传输，可采用https或sftp协议。由于sftp使用ssh协议，需总部对外开放ssh端口，该端口通常是黑客扫描的对象易造成安全隐患，因而采用https协议进行文件传输。
2）日志数据从总部外网发送至总部内网
将日志数据从总部外网发送至总部内网，需要提供日志摆渡程序，将日志存储到内网数据库。由于数据要穿过隔离装置进入内网，隔离装置能否承受大量数据的实时传输存在一定的风险，采取以下措施：
（1)对数据传输频率进行限制。日志摆渡程序每隔10s从Kafka缓冲队列中读取日志数据，以blob字段的形式存储到内网数据库。
（2)对数据传输大小进行限制，对日志数据以行为单位进行分割，控制数据大小不超过2M。
此外，为避免服务器受到攻击后产生的大量无效日志数据进入内网，在使用日志管理工具logstash进行日志采集时，对请求长度超过限制或不满足规定格式的日志数据进行过滤，保证数据的有效性和安全性。
3）数据库中日志数据恢复为原始日志文件
总部内网数据库中的日志数据，需要恢复为原始日志文件，再通过日志管理工具logstash发送到大数据平台。开设三个线程分别对数据库中三类日志数据进行处理，实时读取到3个日志文件中，标识日志记录为已读。由于日志数据的增大会对数据库性能产生影响，可考虑每3天对已读日志数据进行清理。
实施例
江苏省电力公司日志搜集具体操作步骤如下：
1.网省节点服务器每日定时发送日志数据到总部外网；
2.采用日志管理工具Logstash对总部服务端日志和各网省传输过来的日志进行实时收集，使用Kafka对日志消息进行消费；
3.将Kafka中的日志数据发送到总部内网数据库；
4.将内网数据库中日志数据恢复为原始日志文件；
5.采用日志管理工具Logstash对总部内网的日志进行实时收集，以发送到大数据平台进行后续的日志分析处理。