专利名称：插座式嵌入的日志收集系统及收集方法
技术领域：
本发明涉及系统信息的管理领域，具体涉及插座式嵌入的日志收集系统及收集方法。
背景技术：
日志系统普遍作为信息监控的重要手段，近年来随着大型系统承包商的细化，特别在电信运营、高速铁路等跨地域、节点繁杂的超大型信息系统的监控中，通常已不能由单独厂商包揽所有设备及系统软件的研发，以运营单位制定协议的标准，各承包商根据该协议标准作相关的开发从而形成在信息监控应用中互相兼容。由于承包厂商需要根据协议花费额外的研发成本，并且相兼容的系统中出现故障率和维护成本也相对较高；在应用层面的信息监控中难以形成对超大型信息系统中所有节点的监控。
发明内容
本发明的目的是提出插座式嵌入的日志收集系统，可以对任何规模的信息系统进行统一信息监控，降低系统故障率和成本。为达到上述目的，采用的技术方案插座式嵌入的日志收集系统，包括第一客户端，用于通过API接口嵌入操作系统业务模块，将所述操作系统业务模块产生的日志数据上传到服务器端；或者，第二客户端，用于通过API接口嵌入需收集数据设备，监听所述需收集数据设备的系统信息，将所述系统信息转换成日志数据，将所述日志数据上传到服务器端；所述服务器端，接收所述第一客户端或者所述第二客户端上传的日志数据，将所述日志数据按预定格式转换后进行存储；信息操作中心，用于汇总所有转换格式后的日志数据到数据库。本发明基于客户端/服务器架构，通过系统API (Application Programminghterface，应用程序编程接口)，接收操作系统的业务模块的日志数据；或者，通过嵌入系统API接口监听无操作系统的业务模块的系统信息，将该系统信息转换为日志数据；然后将日志数据上传给服务器端，服务器端将日志数据按预定的统一格式转换后存储，并由信息操作中心汇总到数据库，方便统一监控和管理；这样不需要各厂商根据制定出的协议标准作相关的开发从而形成在信息监控应用中互相兼容；只需要将本发明提出的日志收集系统像插座一样嵌入各业务模块，就可以实现日志数据的收集，可以对任何规模的信息系统进行统一信息监控，降低系统故障率和维护成本。本发明的目的是提出插座式嵌入的日志收集方法，可以对任何规模的信息系统进行统一的信息监控，降低系统故障率和成本。为达到上述目的，采用的技术方案
插座式嵌入的日志收集方法，包括步骤通过API接口嵌入操作系统业务模块，获取所述操作系统业务模块产生的日志数据；或者，通过API接口嵌入需收集数据设备，监听所述需收集数据设备的系统信息，将所述系统信息转换成日志数据；将所述日志数据按预定格式转换后进行存储；汇总所有转换格式后的日志数据到数据库。本发明通过系统API接口，接收操作系统的业务模块的日志数据；或者，通过嵌入系统API接口监听无操作系统的业务模块的系统信息，将该系统信息转换为日志数据；然后就将日志数据按预定的统一格式转换后存储，并由信息操作中心汇总到数据库，方便统一监控和管理；这样不需要各厂商根据制定出的协议标准作相关的开发从而形成在信息监控应用中互相兼容；只需要按本发明提出的日志收集方法像插座一样将日志数据收集系统嵌入各业务模块，就可以实现日志数据的收集，可以对任何规模的信息系统进行统一的信息监控，降低系统故障率和维护成本。
图IA是本发明提出的日志收集系统的一种结构示意图；图IB是本发明提出的日志收集系统的一种结构示意图；图2是本发明提出的日志收集系统的另一种结构示意图；图3是本发明提出的日志收集系统的另一种结构示意图；图4A是本发明中第二客户端的一个结构示意图；图4B是本发明中第二客户端的一个结构示意图；图5是本发明提出的日志收集方法的一个流程图；图6是本发明提出的日志收集方法的另一个流程图；图7是本发明具体实施例示意图。
具体实施例方式为便于理解本发明，将结合附图进行阐述。本发明提出的插座式嵌入的日志收集系统，应用在有操作系统或者无操作系统中；首先介绍在有操作系统中的应用，请参考图1A，包括第一客户端Q1，用于通过API接口嵌入操作系统业务模块，将操作系统业务模块产生的日志数据上传到服务器端T2 ；服务器端T2，用于接收客户端上传的日志数据，将日志数据按预定格式转换后进行存储；信息操作中心T3，用于汇总所有转换格式后的日志数据到数据库。请参考图1B，在无操作系统中的应用，包括第二客户端Q2，用于通过API接口嵌入需收集数据设备，监听需收集数据设备的系统信息，将系统信息转换成日志数据，将日志数据上传到服务器端T2 ；服务器端T2，用于接收客户端上传的日志数据，将日志数据按预定格式转换后进行存储；
信息操作中心T3，用于汇总所有转换格式后的日志数据到数据库。本发明基于客户端/服务器架构，通过系统API接口，接收操作系统的业务模块的日志数据；或者，通过嵌入系统API接口监听无操作系统的业务模块的系统信息，将该系统信息转换为日志数据；然后将日志数据上传给服务器端，服务器端将日志数据按预定的统一格式转换后存储，并由信息操作中心汇总到数据库，方便统一监控和管理；这样不需要各厂商根据制定出的协议标准作相关的开发从而形成在信息监控应用中互相兼容；只需要将本发明提出的日志收集系统像插座一样嵌入各业务模块，就可以实现日志数据的收集，可以对任何规模的信息系统进行统一信息监控，降低系统故障率和维护成本。考虑到业务模块的性能，可以采用异步方式上传日志数据，降低对业务模块的性能影响，作为一种具体的实施例，请参考图2，插座式嵌入的日志收集系统，在有操作系统应用时，第一客户端Ql具体包括第一接收模块T11、第一缓存模块T12及第一上传模块T13 以，其中，第一接收模块T11，用于通过API接口嵌入操作系统业务模块，接收操作系统业务模块产生的日志数据；缓存模块T2，用于将第一接收模块Tll中的日志数据存入缓冲队列，当缓冲队列数达到预定的缓冲数或者业务模块空闲时，命令上传模块T13把存储的日志数据上传到服务器端T2。上传模块T13，用于接收缓存模块T12的命令，将缓存模块T12缓存的日志数据上传到服务器端T2 ；服务器端T2具体包括第三接收模块T21、信息处理模块T22以及存储模块T23 ；其中，第三接收模块T21，用于接收上传模块T14上传的日志数据；信息处理模块T22，用于根据预定格式将接收的日志数据进行格式转换；存储模块T23，用于存储格式转换的日志数据；信息操作中心T3包括汇总模块T31，用于汇总所有转换格式后的日志数据到数据库。另外，为了节省日志收集系统的传输资源，可以设置传输条件，将不需要传输的数据过滤掉；还可以提供灵活的数据存储方式，在本地服务器端存储，或者在远程服务器端存储；若在远程服务器端存储，在客户端发送日志数据前，为了保证日志数据的安全性，先套用相应等级的安全机制，在远程服务器端接收后，再解除安全机制。请参考图3，具体的改进如下在第一客户端Ql中第一初始化模块T14，用于设置第一上传模块T13上传日志数据的预定条件和预定规则；第一上传模块T13根据预定条件对日志数据进行过滤，将不需要的日志数据删除；若预定规则为本地处理，则将滤除后的日志数据上传到本地服务器端；若预定规则为远程处理，则将滤除后的日志数据套用安全机制后上传到远程服务器端；本地服务器端的第三接收模块T21接收经过滤除的日志数据；本地服务器的存储模块23按接收日志数据的时间顺序存储日志数据；远程服务器端的第三接收模块T21接收上传的日志数据；远程服务器端的信息处理模块T22解除安全机制，将解除安全机制后的日志数据按预定格式转换后，给日志数据添加服务器端标识和业务模块标识；远程服务器端的存储模块T23按接收日志数据的时间顺序存储日志数据。客户端上传日志数据的预定条件和预定规则，除了可在上述在客户端设置外，还可以在信息操作中心中设置，然后由信息操作中心的命令下发模块统一下发至各客户端。为了节省存储空间，以及获取全面的日志数据，在信息操作中心T3中设置轮询模块T32，用于根据服务器端标识、业务模块标识以及接收日志数据的时间，对日志信息进行轮询，删除重复的日志数据。另外，在信息操作中心还包括了操作界面T33，用于监控日志数据、查询日志数据以及编辑日志数据(生成数据图表)。插座式嵌入的日志收集系统，在无操作系统应用时与在有操作系统中应用时的区别在于客户端；如图4A所示，本发明日志收集系统在无操作系统中应用时，系统包括第二客户端Q2，第二客户端Q2包括监听模块T41，用于通过API接口嵌入需收集数据设备，监听需收集数据设备的系统信息，将系统信息转换成日志数据；第二接收模块T42，接收监听模块转换的日志数据；第二缓存模块T43，用于将第二接收模块T42中的日志数据存入缓冲队列，当缓冲队列数达到预定的缓冲数或者业务模块空闲时，通知上传模块T44把存储的日志数据上传到服务器端；第二上传模块T44，用于将缓存模块T43中的日志数据上传到服务器端T2。如图4B所示，第二客户端Q2还包括第二初始化模块T45，用于设置第二上传模块T44上传日志数据的预定条件和预定规则。接着介绍，本发明提出的插座式嵌入的日志收集方法，可以应用在有操作系统的环境下，也可以应用在无操作系统的环境下；2种不同应用环境下进行日志收集的区别在于在无操作系统的环境下，客户端还具有系统信息监听功能，监听业务模块产生的系统信息，然后将其转换成日志数据，上传服务器端。下面将进行分别介绍。在有操作系统环境下的插座式嵌入的日志收集方法，请参考图5，包括步骤401、嵌入有操作系统的业务模块，获取日志数据；通过API接口嵌入操作系统业务模块，获取该业务模块产生的日志数据。402、转换日志数据格式后存储；将日志数据按预定格式转换后进行存储。403、汇总日志数据。汇总所有转换格式后的日志数据到数据库。本发明通过系统API接口，接收操作系统的业务模块的日志数据；然后将日志数据按预定的统一格式转换后存储，并由信息操作中心汇总到数据库，方便统一监控和管理； 这样不需要各厂商根据制定出的协议标准作相关的开发从而形成在信息监控应用中互相兼容；只需要按本发明提出的日志收集方法像插座一样将日志数据收集系统嵌入各业务模块，就可以实现日志数据的收集，可以对任何规模的信息系统进行统一信息监控，降低系统故障率和维护成本。
在无操作系统环境下的插座式嵌入的日志收集方法，请参考图6，包括步骤501、嵌入需收集数据设备，监听系统信息，将系统信息转换成日志数据；通过API接口嵌入需收集数据设备，监听需收集数据设备的系统信息，将系统信息转换成日志数据。502、转换日志数据格式后存储；将日志数据按预定格式转换后进行存储。503、汇总日志数据。信息操作中心汇总所有转换格式后的日志数据到数据库。本发明通过嵌入系统API接口监听无操作系统的业务模块的系统信息，将该系统信息转换为日志数据；然后将日志数据按预定的统一格式转换后存储，并由信息操作中心汇总到数据库，方便统一监控和管理；这样不需要各厂商根据制定出的协议标准作相关的开发从而形成在信息监控应用中互相兼容；只需要按本发明提出的日志收集方法像插座一样将日志数据收集系统嵌入各业务模块，就可以实现日志数据的收集，可以对任何规模的信息系统进行统一信息监控，降低系统故障率和维护成本。为了优化系统的性能，降低对业务模块的影响，可对上述图4、图5实施例，做进一步改进将日志数据存入缓冲队列，当缓冲队列数达到预定的缓冲数或者业务模块空闲时，把日志数据进行格式转换后存储。另外为了便于管理，按获取日志数据的时间顺序存储转换格式后的日志数据。另外，通过对汇总的数据进行监控、查询以及编辑，达到对整个系统的日志数据的监控目的。下面介绍本发明的一个具体实施例，请参考图6，本实施包括三层架构若干客户
端(Q41、Q42、Q43.......Q46)、服务器端包括本地服务器端(若干本地服务器端Q31、
Q32、Q33)和远程服务器端(Q21、Q22)，以及相当于后台维护的信息操作中心Ql ；各客户端与业务模块连接(客户端Q41与业务模块Q51连接、客户端Q42与业务模块Q52连接、客户端Q43与业务模块Q53连接、客户端Q44与业务模块QM连接、客户端Q45与业务模块Q55 连接以及客户端Q46与业务模块Q56连接)，接收在有操作系统环境下的业务模块产生的日志数据，或者监听无操作系统环境下的业务模块的系统信息，然后将系统信息转换成日志数据。客户端根据预定条件对日志数据进行过滤，根据预定的规则，将日志数据上传到本地服务器端，或者远程服务器端。然后有信息操作中心Ql对服务器端的数据进行汇总到数据库，并在信息操作中心Ql中提供GUI界面的人机接口，通过数据库记录对整个系统的日志数据进行操作，达到对整个系统的日志信息的监控目的。将系统分为三个层次，这样可使系统效率大大提高，更加灵活，可以随时卸载或者增加系统规模。而且对功能模块的应用功能透明。以上本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
8
权利要求
1.插座式嵌入的日志收集系统，其特征是，包括第一客户端，用于通过API接口嵌入操作系统业务模块，将所述操作系统业务模块产生的日志数据上传到服务器端；或者，第二客户端，用于通过API接口嵌入需收集数据设备，监听所述需收集数据设备的系统信息，将所述系统信息转换成日志数据，将所述日志数据上传到服务器端；所述服务器端，接收所述第一客户端或者所述第二客户端上传的日志数据，将所述日志数据按预定格式转换后进行存储；信息操作中心，用于汇总所有转换格式后的日志数据到数据库。
2.根据权利要求1所述的插座式嵌入的日志收集系统，其特征是， 所述第一客户端包括第一接收模块，用于通过API接口嵌入操作系统业务模块，接收所述操作系统业务模块产生的日志数据；第一缓存模块，用于将所述第一接收模块中的日志数据存入缓冲队列，当缓冲队列数达到预定的缓冲数或者业务模块空闲时，通知所述第一上传模块把存储的日志数据上传到所述服务器端；第一上传模块，用于将所述第一缓存模块中的日志数据上传到所述服务器端； 或者，所述第二客户端包括监听模块，用于通过API接口嵌入需收集数据设备，监听所述需收集数据设备的系统信息，将所述系统信息转换成日志数据；第二接收模块，用于接收所述监听模块转换的日志数据；第二缓存模块，用于将所述第二接收模块中的日志数据存入缓冲队列，当缓冲队列数达到预定的缓冲数或者业务模块空闲时，通知所述第二上传模块把存储的日志数据上传到所述服务器端；第二上传模块，用于将所述第二缓存模块中的日志数据上传到所述服务器端； 所述服务器端包括第三接收模块，用于接收所述第一上传模块或所述第二上传模块上传的日志数据； 信息处理模块，用于根据预定格式将接收的日志数据进行格式转换； 存储模块，用于存储格式转换的日志数据； 所述信息操作中心包括汇总模块，用于汇总所有转换格式后的日志数据到数据库。
3.根据权利要求2所述的插座式嵌入的日志收集系统，其特征是，所述第一客户端还包括第一初始化模块，用于设置所述第一上传模块上传日志数据的预定条件和预定规则；或者，所述第二客户端还包括第二初始化模块，用于设置所述第二上传模块上传日志数据的预定条件和预定规则；所述第一上传模块或者所述第二上传模块根据所述预定条件对日志数据进行过滤，若所述预定规则为本地处理，则将滤除后的日志数据上传到本地服务器端；若所述预定规则为远程处理，则将滤除后的日志数据套用安全机制后上传到远程服务器端； 所述本地服务器端的第三接收模块接收经过滤除的日志数据；所述本地服务器的存储模块按接收日志数据的时间顺序存储日志数据； 所述远程服务器端的第三接收模块接收上传的日志数据；所述远程服务器端的信息处理模块解除所述安全机制，将解除安全机制后的日志数据按预定格式进行转换，给格式转换后的日志数据添加服务器端标识和业务模块标识； 所述远程服务器端的存储模块按接收日志数据的时间顺序存储日志数据。
4.根据权利要求2所述的插座式嵌入的日志收集系统，其特征在于，所述信息操作中心还包括命令下发模块，用于向所述第一客户端和所述第二客户端下发预定条件和预定规则；所述第一上传模块或者所述第二上传模块根据所述预定条件对日志数据进行过滤，若所述预定规则为本地处理，则将滤除后的日志数据上传到本地服务器端；若所述预定规则为远程处理，则将滤除后的日志数据套用安全机制后上传到远程服务器端； 所述本地服务器端的第三接收模块接收经过滤除的日志数据； 所述本地服务器的存储模块按接收日志数据的时间顺序存储日志数据； 所述远程服务器端的第三接收模块接收上传的日志数据；所述远程服务器端的信息处理模块解除所述安全机制，将解除安全机制后的日志数据按预定格式进行转换，给格式转换后的日志数据添加服务器端标识和业务模块标识； 所述远程服务器端的存储模块按接收日志数据的时间顺序存储日志数据。
5.根据权利要求3或4所述的插座式嵌入的日志收集系统，其特征在于， 所述信息操作中心还包括轮询模块，用于根据所述服务器端标识、所述业务模块标识以及接收日志数据的时间， 对日志信息进行轮询，删除所述服务器端标识、所述业务模块标识以及接收日志数据的时间相同的日志数据。
6.根据权利要求5所述的插座式嵌入的日志收集系统，其特征在于， 所述信息操作中心还包括操作界面，用于监控日志数据、查询日志数据以及编辑日志数据。
7.插座式嵌入的日志收集方法，其特征是，包括步骤通过API接口嵌入操作系统业务模块，获取所述操作系统业务模块产生的日志数据； 或者，通过API接口嵌入需收集数据设备，监听所述需收集数据设备的系统信息，将所述系统信息转换成日志数据；将所述日志数据按预定格式转换后进行存储； 汇总所有转换格式后的日志数据到数据库。
8.根据权利要求7所述的插座式嵌入的日志收集方法，其特征是，当所述缓冲队列数达到预定的缓冲数或者所述业务模块空闲时，才进行所述将所述日志数据按预定格式转换的步骤。
9.根据权利要求7所述的插座式嵌入的日志收集方法，其特征是，在所述将日志数据按预定格式转换后进行存储的步骤中按获取日志数据的时间顺序存储格式转化后的日志数据。
10.根据权利要求7至9任一项所述的插座式嵌入的日志收集方法，其特征是，对汇总后的日志数据进行监控、查询以及编辑。
全文摘要
本发明提出插座式嵌入的日志收集系统，包括第一客户端，用于通过API接口嵌入操作系统业务模块，将操作系统业务模块产生的日志数据上传到服务器端；或者，第二客户端，用于通过API接口嵌入需收集数据设备，监听无操作系统业务模块的系统信息，将系统信息转换成日志数据，将日志数据上传到服务器端；服务器端，接收第一客户端或者第二客户端上传的日志数据，将日志数据按预定格式转换后进行存储；信息操作中心，用于汇总所有转换格式后的日志数据到数据库。本发明还提出了插座式嵌入的日志收集方法，可以对任何规模的信息系统进行统一信息监控，降低系统故障率和维护成本。
文档编号H04L12/24GK102394771SQ201110330478
公开日2012年3月28日 申请日期2011年10月26日 优先权日2011年10月26日
发明者易大中 申请人:广州杰赛科技股份有限公司