一种网络采集异常警告自动化处理的方法
【专利摘要】本发明提供一种网络采集异常警告自动化处理的方法，基于互联网分布式采集发生异常时，记录异常并对异常进行自动化处理，这种处理方式可以有效的处理互联网采集时发生的异常，并且节省了人工监控的时间和人工异常处理的时间，不但节省了时间，而且也减少的了人工成本。用户不需要定义复杂的配置，只需要定义采集系统的异常标准和异常处理方式。除此之外，用户还可以根据异常记录，查询每个服务器的异常情况，根据查询结果对服务器进行适当调整，提高服务器的利用率。
【专利说明】一种网络采集异常警告自动化处理的方法
【技术领域】
[0001]本发明涉及互联网采集，分布式，web通信，异常处理【技术领域】，具体地说是一种网络采集异常警告自动化处理的方法。
【背景技术】
[0002]在对互联网进行信息采集时，可能会面临的问题:
1.网络异常，包括网络不稳定，网络延迟高等等；
2.定义的采集标准与目标网站有出入，导致采集程序发生异常；
3.采集程序不稳定导致异常；
4.目标网站本身的结构异常；
5.各个采集程序之间通信异常。
[0003]一旦发生上述的问题，都有可能导致信息采集过程的中止或者数据格式的异常，对于这些问题，需要一种可以及时监控并且管理采集的技术，在采集过程正常进行时，可以搜集采集过程的各项参数，比如CPU使用率，内存使用率等；在采集完成时，可以报告本次采集的情况；而一旦采集过程出现了上述问题中的一种，那么需要记录这个异常情况，并且自动采取适当的处理方式，使采集过程转为正常。本技术正是定向于解决这类问题的。
【发明内容】
[0004]本发明的目的是提供一种网络采集异常警告自动化处理的方法。
[0005]本发明的目的是按以下方式实现的，包括异常处理平台搭建和异常警告自动化处理，其中异常处理平台搭建步骤如下:
1)根据目前主流的分布式系统，给用户提供不同的通信接口；
2)搭建分布式监控处理系统，调通采集系统与监控系统，监控系统和处理系统，以及处理系统和主服务器之间的借口，各部分通信流畅；
3)将异常记录做接口，方便用户查询跟服务器运行情况；
异常警告自动化处理步骤如下:
1)根据需求定义异常标准，各种异常的标识符和异常处理方式；
2)根据定义的异常标准，设计监控程序和异常处理程序；
3)监控程序负责任务的监控工作，一旦发现发生异常，发送异常标示符给异常处理服务器；
4)异常处理服务器接收到异常标示符后，根据设计的异常处理程序，进行适当处理，将异常信息备案，并发送给主服务器；
5)主服务器根据异常处理服务器反馈的信息，采取适当措施，停止对应异常服务器的任务，然后根据异常的严重程序，或者自动重启任务，或者自动发送邮件给相关人员，由相关人员进行处理。
[0006]本发明的优异效果:这种处理方式可以有效的处理互联网采集时发生的异常，并且节省了人工监控的时间和人工异常处理的时间，不但节省了时间，而且也减少的了人工成本。用户不需要定义复杂的配置，只需要定义采集系统的异常标准和异常处理方式。除此之外，用户还可以根据异常记录，查询每个服务器的异常情况，根据查询结果对服务器进行适当调整，提高服务器的利用率。
【专利附图】
【附图说明】
[0007]图1是本发明的流程结构图。
【具体实施方式】
[0008]参照说明书附图对本发明的作以下详细地说明。
[0009]本发明的目的是基于互联网分布式采集发生异常时，记录异常并对异常进行自动化处理的技术。这种处理方式可以有效的处理互联网采集时发生的异常，并且节省了人工监控的时间和人工异常处理的时间，不但节省了时间，而且也减少的了人工成本。用户不需要定义复杂的配置，只需要定义采集系统的异常标准和异常处理方式。除此之外，用户还可以根据异常记录，查询每个服务器的异常情况，根据查询结果对服务器进行适当调整，提高服务器的利用率。
[0010]由于各个用户使用的分布式采集系统在结构上存在差异，对异常的自动化处理造成了一些困难。因此我们给用户提供了几种不同的接口，方便客户根据其采集系统，搭建本异常处理平台。分以下三步搭建该平台:
第一步，根据目前主流的分布式系统，给用户提供不同的通信接口 ；
第二步，搭建分布式监控处理系统，调通采集系统与监控系统，监控系统和处理系统，以及处理系统和主服务器之间的借口，各部分通信流畅；
第三步，将异常记录做接口，方便用户查询跟服务器运行情况。
[0011]除说明书所述的技术特征外，均为本专业技术人员的已知技术。
【权利要求】
1.一种网络采集异常警告自动化处理的方法，其特征在于包括异常处理平台搭建和异常警告自动化处理，其中异常处理平台搭建步骤如下: 1)根据目前主流的分布式系统，给用户提供不同的通信接口； 2)搭建分布式监控处理系统，调通采集系统与监控系统，监控系统和处理系统，以及处理系统和主服务器之间的借口，各部分通信流畅； 3)将异常记录做接口，方便用户查询跟服务器运行情况； 异常警告自动化处理步骤如下: 1)根据需求定义异常标准，各种异常的标识符和异常处理方式； 2)根据定义的异常标准，设计监控程序和异常处理程序； 3)监控程序负责任务的监控工作，一旦发现发生异常，发送异常标示符给异常处理服务器； 4)异常处理服务器接收到异常标示符后，根据设计的异常处理程序，进行适当处理，将异常信息备案，并发送给主服务器； 5)主服务器根据异常处理服务器反馈的信息，采取适当措施，停止对应异常服务器的任务，然后根据异常的严重程序，或者自动重启任务，或者自动发送邮件给相关人员，由相关人员进行处理。
【文档编号】H04L12/24GK104202216SQ201410459981
【公开日】2014年12月10日 申请日期:2014年9月11日 优先权日:2014年9月11日
【发明者】徐宏伟, 崔乐乐, 尤孝吉 申请人:浪潮软件集团有限公司