一种检测web业务系统可用性的监控系统及方法
【专利摘要】本发明公开了一种检测WEB业务系统可用性的监控系统，该系统包括流程录制模块、采集模块、脚本模块、统计分析模块、告警模块及系统配置模块。该系统能够零配置实现对WEB服务器及WEB业务系统的可用性进行监控，在采集客户端与服务器之间不需要通过长连接进行维护。此外，本发明还公开了一种检测WEB业务系统可用性的监控方法。本发明通过使用分布式、短连接、底端解析、中心配置管理的模式，系统具有很好的横向扩展性及开放性，可以满足同时监控多个大型WEB系统及服务器的性能要求，有效的减少占用网络资源，减轻网络负担，同时减少被入侵的可能性。
【专利说明】—种检测WEB业务系统可用性的监控系统及方法
【技术领域】
[0001]本发明涉及网络【技术领域】，尤其涉及一种检测WEB业务系统可用性的监控系统及方法。
【背景技术】
[0002]WEB业务系统基于HTTP协议的，要监控WEB业务系统是否可用，有效的方法就是定时的对WEB业务系统的各个URL链接进行访问，根据其响应是否正常，来判断该WEB业务系统是否可用，同时还可以完成对承载该WEB业务系统的服务器可用性测试。要对WEB业务系统的URL进行访问，主要有爬虫技术自动进行遍历及根据预先录制好的脚本，对WEB业务系统进行回放测试。
[0003]发明专利CN201210126433.2公开了一种“实现对WEB服务器可用性进行检测的监控系统和方法”，通过预先人工配置的监控信息项及代理配置，定时进行调度测试，根据服务器返回的内容，通过分析响应时间、响应码、单个URL的返回内容进行判断服务器是否可用。
[0004]该发明方法需要预先配置监控信息项，对使用人员的有技术门槛要求较高，且无法保证配置是完全正确的，并且要求配置人员对业务要非常熟悉。这样的系统无法实现插拔式的接入，前期需要消耗较多的配置工作，且无法保证配置和真实的业务流程相同。
[0005]同时该业务系统的采集客户端是使用了长连接，检测任务调度模块与代理模块之间通过HTTP/HTTPS协议和流推送(Comet Streaming)来实现双向通信。代理模块需要保持与检测任务调度模块的长连接，与检测任务调度模块进行心跳；从检测任务调度模块获取检测指令并执行，然后返回相应检测结果。在互联网及复杂的局域网网络环境中，这种长连接是不安全的，也不稳定，同时容易成为外来侵入者的入侵通道。当客户端感染了病毒或木马后，由于HTTP/HTTPS协议可以轻易的通过防火墙，侵入者可以轻易的对宿主及其监控的服务器进行路由跟踪及服务器所在的网络再次入侵。同时这种长连接所消耗的网络流量较大，且无法保证稳定性。
[0006]该业务系统的告警结果是由服务端进行分析及生成，在监控点数量多的情况下，会造成服务器负载过高，性能降低，扩展性也受到限制。
[0007]该系统的关注重点是WEB服务器的可用性，但对WEB业务系统内部的功能是否正常，流程是否能按正常的工作流程执行，并未关注。
【发明内容】
[0008]本发明的目的是为了克服现有技术的缺陷，提供一种检测WEB业务系统可用性的监控系统，包括流程录制模块、采集模块、脚本模块、统计分析模块、告警模块及系统配置模块。
[0009]流程录制模块，是该系统的核心模块之一，负责录制用户真实的业务流程，并上传到服务器，即用户只需要使用浏览器进行真实的业务操作，该模块即可自动将业务操作转换为监控系统需要的脚本，然后即可对WEB业务系统进行无人值守的监控及业务仿真。
[0010]采集模块，支持分布式采集，在分布式采集模式中，采集模块分散在不同的区域，通过短连接与中心进行通信，将采集结果及分析结果上传到服务中心，同时采集模块还负责执行底端解析及产生告警的功能。
[0011]脚本模块，对外提供集中式的脚本策略管理功能，在该模块中，能够在线对脚本进行测试，根据测试结果，对脚本进行二次编辑及精简，还能够对脚本进行导入、导出、测试、编辑、下发至采集模块。
[0012]统计分析模块，该模块提供数种数据报表的统计，包括告警统计、业务节点延时排行统计、业务耗时趋势图、业务节点耗时趋势图，并且能够将图表按用户需要导出为需要的格式。
[0013]告警模块，根据采集端上送的告警数据，服务中心定时根据告警的类型、告警方式、告警通知人进行告警下发，将产生的新告警及时的推送通知给维护人员。
[0014]系统配置模块，配置系统用户、数据字典、邮件服务器、授权信息、系统内部数据，该模块属于系统基础模块，是WEB业务监控系统运行的必需模块。
[0015]此外，本发明还提供了 一种检测WEB业务系统可用性的监控方法，具体流程为:
[0016](I)打开浏览器，登入业务监控系统，点击录制流程，在录制工具中设置录制参数，启动录制，然后在浏览器中输入要监控的WEB网址，进行流程录制；
[0017](2)录制完流程后，把录制好的流程脚本导入业务监控系统；
[0018](3)将该流程脚本分配给一个或多个预先配置好的采集客户端，或者在服务端先新增一个或多个采集客户端；
[0019](4)配置该流程脚本的执行策略，同时将执行策略生效；
[0020](5)采集客户端根据接收到的流程脚本及执行策略，定时进行业务仿真测试；
[0021](6)网络畅通时，采集客户端定时通过短连接和SSH的通讯方式，将结果上送到服务中心，网络不畅通时，客户端在本地冗余保存测试结果，根据配置，结果缓存若干个小时到若干天，或者一直缓存到网络畅通为止；
[0022](7)告警模块定时将被监控的WEB系统运行状况、告警信息通过短信、邮件等方式通知给相关管理人员。
[0023]本发明技术方案带来的有益效果:
[0024]本发明技术方案通过使用分布式、短连接、底端解析、中心配置管理的模式，系统具有很好的横向扩展性及开放性，可以满足同时监控多个大型WEB系统及服务器的性能要求。分布式、短连接、SSH的技术，可以降低频繁连接网络的次数，屏蔽一些威胁端口及应用，这样就能够有效的减少占用网络资源，减轻网络负担，同时减少被入侵的可能性。
[0025]此外，本发明还能够做到零配置的部署，满足对WEB服务器可用性的监控。在本发明中，通过脚本的自动录制技术，屏蔽了底层的技术细节，大大降低了配置和管理的门槛，减少了配置工作量。使用人员只需要打开浏览器，按平时的流程走一次，即可完成录制脚本。这种工作模式,显然更加智能化、傻瓜化。
[0026]本发明还能够真实的模拟仿真业务流程，完成对WEB系统的日常巡检工作。在本发明中，录制完脚本后，只需要对相关的流程节点进行简单的匹配规则设置，然后将该脚本下发到采集端，即可定时、自动对业务流程进行仿真，完成对业务系统的日常巡检。【专利附图】
【附图说明】
[0027]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0028]图1是本发明的一种检测WEB业务系统可用性的监控方法的流程图。
【具体实施方式】
[0029]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0030]本发明提供的一种检测WEB业务系统可用性的监控系统及方法，目的在于更智能化的对WEB业务系统进行自动监控，及时发现业务系统中隐患及故障。通过自动录制WEB业务系统的脚本，将脚本导入系统后，可自动对业务系统的功能及流程进行测试。通过对执行结果的数据分析，可以分析出该WEB系统的业务响应时间、繁忙时段、功能是否正常、WEB系统所在服务器是否可用。
[0031]本发明的创新点之一在于能够零配置实现对WEB服务器及WEB业务系统的可用性进行监控，使用人员只需要打开业务监控系统，执行脚本录制功能，然后在浏览器中打开相关的WEB系统，按照真实的业务流程进行业务操作，监控系统即可自动录制业务系统的流程，并自动保存到服务器中，也可以保存为脚本，导入系统中，不需要再作配置，就能够完成监控系统的初始化，把该WEB系统纳入监控范围。
[0032]本发明的另一个创新点在于采集客户端与服务器之间不需要通过长连接进行维护。采集客户端通过SSH加密通道，在采集端与服务器之间通过SFTP协议进行数据交换，交换完毕后即可断开连接，并且可以自动对交换失败的数据进行重试。该发明技术可以适应绝大多数复杂的网络，同时SSH通道及短连接，加上只开放SFTP端口，可以大大降低黑客入侵网络的可能性。
[0033]本发明还具有底端解析的特点，采集客户端即使在服务端无法正常工作的情况下，也可以独立的执行监控任务及告警分析，这种模式具有很强的扩展性及冗余性。在出现性能瓶颈的时候，可以通过添加客户端机器解决性能问题，同时可以在服务器出现故障的时候，继续进行监控工作。在服务器恢复正常后，自动将监控结果上送到服务器。
[0034]本发明重点关注WEB业务系统的可用性，能够在无人值守的情况下对业务流程进行仿真测试。测试所仿真的流程，与使用人日常的操作流程完全一致，可以真实的反映业务系统的功能是否正常。
[0035]本发明的一种检测WEB业务系统可用性的监控系统分为六大模块:分别为流程录制模块、采集模块、脚本模块、统计分析模块、告警模块及系统配置模块。
[0036]其中，流程录制模块，负责录制用户真实的业务流程，并上传到服务器。该模块是业务监控系统的核心模块之一。用户只需要使用浏览器进行真实的业务操作，该模块即可自动将业务操作转换为监控系统需要的脚本。完成该步骤后，即可对WEB业务系统进行无人值守的监控及业务仿真。
[0037]采集模块，支持分布式采集。在分布式采集模式中，采集模块分散在不同的区域，通过短连接与中心进行通信，将采集结果及分析结果上传到服务中心。采集模块只需要从服务中心下载采集策略，即可脱离服务中心，独立进行采集与分析。在离线的状态下，采集模块的采集及分析不受影响，数据也不会丢失，等再次联线后，可自动将数据上送到服务中心。采集模块同时负责执行底端解析及产生告警的功能，具体的做法是:定时从脚本库中取出需要的配置信息，然后模拟浏览器，向被监控的WEB系统发起请求。采集端根据返回的响应报文、响应码、响应时间，与脚本配置中的告警策略进行对比，当满足告警条件，即自动产生一条新的告警信息。该告警信息会保存在采集端，直到上传成功或被自动废弃为止。
[0038]脚本模块，对外提供集中式的脚本策略管理功能，在该模块中，能够在线对脚本进行测试，根据测试结果，对脚本进行二次编辑及精简，还能够对脚本进行导入、导出、测试、编辑、下发至采集模块。当需要对业务系统的内容进行精确匹配，以确定流程是否正常时，可配置每个流程的告警条件及策略。
[0039]统计分析模块，该模块提供数种数据报表的统计，包括告警统计、业务节点延时排行统计、业务耗时趋势图、业务节点耗时趋势图，并且可以将图表按用户需要导出为需要的格式。
[0040]告警模块，根据采集端上送的告警数据，服务中心定时根据告警的类型、告警方式、告警通知人进行告警下发，将产生的新告警及时的推送通知给维护人员。通知的方式分为短信、邮件、界面通知三种。被监控的系统是否产生告警，完全由采集客户端决定。
[0041]系统配置模块，配置系统用户、数据字典、邮件服务器、授权信息、系统内部数据。该模块属于系统基础模块，是业务监控系统运行的必需模块。
[0042]如图1所示，为本发明所提出的检测WEB业务系统可用性的监控方法，所述监控方法包括下列操作步骤:
[0043](I)打开浏览器，登入业务监控系统，点击录制流程，在录制工具中设置录制参数，启动录制，然后在浏览器中输入要监控的WEB网址，进行流程录制；
[0044](2)录制完流程后，把录制好的流程脚本导入业务监控系统；
[0045](3)将该流程脚本分配给一个或多个预先配置好的采集客户端，或者在服务端先新增一个或多个采集客户端；
[0046](4)配置该流程脚本的执行策略，同时将执行策略生效；
[0047](5)采集客户端根据接收到的流程脚本及执行策略，定时进行业务仿真测试；
[0048](6)网络畅通时，采集客户端定时通过短连接和SSH的通讯方式，将结果上送到服务中心，网络不畅通时，客户端在本地冗余保存测试结果，根据配置，结果缓存若干个小时到若干天，或者一直缓存到网络畅通为止；
[0049](7)告警模块定时将被监控的WEB系统运行状况、告警信息通过短信、邮件等方式通知给相关管理人员。
[0050]对本发明所提出的监控系统和监控方法，发明人已经在实际的应用场合使用，得到了实际验证。
[0051]以上对本发明实施例所提供的一种检测WEB业务系统可用性的监控系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种检测WEB业务系统可用性的监控系统，其特征在于，该系统包括流程录制模块、采集模块、脚本模块、统计分析模块、告警模块及系统配置模块； 流程录制模块，是该系统的核心模块之一，负责录制用户真实的业务流程，并上传到服务器，即用户只需要使用浏览器进行真实的业务操作，该模块即可自动将业务操作转换为监控系统需要的脚本，然后即可对WEB业务系统进行无人值守的监控及业务仿真； 采集模块，支持分布式采集，在分布式采集模式中，采集模块分散在不同的区域，通过短连接与中心进行通信，将采集结果及分析结果上传到服务中心，同时采集模块还负责执行底端解析及产生告警的功能； 脚本模块，对外提供集中式的脚本策略管理功能，在该模块中，能够在线对脚本进行测试，根据测试结果，对脚本进行二次编辑及精简，还能够对脚本进行导入、导出、测试、编辑、下发至采集模块； 统计分析模块，该模块提供数种数据报表的统计，包括告警统计、业务节点延时排行统计、业务耗时趋势图、业务节点耗时趋势图，并且能够将图表按用户需要导出为需要的格式； 告警模块，根据采集端上送的告警数据，服务中心定时根据告警的类型、告警方式、告警通知人进行告警下发，将产生的新告警及时的推送通知给维护人员； 系统配置模块，配置系统用户、数据字典、邮件服务器、授权信息、系统内部数据，该模块属于系统基础模块，是WEB业务监控系统运行的必需模块。
2.根据权利要求1所述的系统，其特征在于，采集模块负责执行底端解析及产生告警的具体的做法是:定时从 脚本库中取出需要的配置信息，然后模拟浏览器，向被监控的WEB系统发起请求，采集端根据返回的响应报文、响应码、响应时间，与脚本配置中的告警策略进行对比，当满足告警条件，即自动产生一条新的告警信息，该告警信息会保存在采集端，直到上传成功或被自动废弃为止。
3.根据权利要求1所述的系统，其特征在于，采集模块只需要从服务中心下载采集策略，即可脱离服务中心，独立进行采集与分析；在离线的状态下，采集模块的采集及分析不受影响，数据也不会丢失，等再次联线后，可自动将数据上送到服务中心。
4.根据权利要求1所述的系统，其特征在于，当脚本模块需要对业务系统的内容进行精确匹配，以确定流程是否正常时，能配置每个流程的告警条件及策略。
5.根据权利要求1所述的系统，其特征在于，告警模块通知的方式分为短信、邮件、界面通知三种。
6.根据权利要求1所述的系统，其特征在于，被监控的系统是否产生告警，完全由采集客户端决定。
7.—种检测WEB业务系统可用性的监控方法，其特征在于，该方法的具体流程为: a.打开浏览器，登入WEB业务监控系统，点击录制流程，在录制工具中设置录制参数，启动录制，然后在浏览器中输入要监控的WEB网址，进行流程录制； b.录制完流程后，把录制好的流程脚本导入业务监控系统； c.将该流程脚本分配给一个或多个预先配置好的采集客户端，或者在服务端先新增一个或多个采集客户端； d.配置该流程脚本的执行策略，同时将执行策略生效；e.采集客户端根据接收到的流程脚本及执行策略，定时进行业务仿真测试； f.网络畅通时，采集客户端定时通过短连接和SSH的通讯方式，将结果上送到服务中心，网络不畅通时，客户端在本地冗余保存测试结果，根据配置，结果缓存若干个小时到若干天，或者一直缓存到网络畅通为止； g.告警模块定时将被监控的WEB系统运行状况、告警信息通过短信、邮件、界面通知方式通知给相关管 理人员。
【文档编号】H04L29/06GK103532795SQ201310526410
【公开日】2014年1月22日 申请日期:2013年10月30日 优先权日:2013年10月30日
【发明者】柯宗贵, 柯宗庆, 杨育斌, 李佳 申请人:蓝盾信息安全技术股份有限公司