基于云计算的企业交易管理平台的混合式监控系统的制作方法
【专利摘要】本发明公开了一种基于云计算的企业交易管理平台的混合式监控系统，包括Trace系统，其通过Rsyslog日志生成器从交易流中提取所需的Trace日志并将其提交给日志分析系统中的日志分析器，对Trace日志数据进行存储和管理；TEMS系统，用于分析处理Trace日志数据，根据分析处理的Trace日志数据重构API事件，通过数据展示系统显示数据；TCP监控系统通过监听网络数据包获得交易流信息，依据其所包含的平均响应时间判断交易是否正常，若该时段的响应时间超出平均响应时间，则将其发送至日志分析系统。具有靶向性强、入侵性低、耦合性低、鲁棒性高等特点，解决了传统监控系统入侵性强与颗粒度粗的弊端。
【专利说明】
基于云计算的企业交易管理平台的混合式监控系统
技术领域
[0001]本发明涉及企业交易管理平台的APM系统，具体涉及一种基于IaaS云计算的企业交易管理平台的混合式监控系统。
【背景技术】
[0002]云计算系统随着互联网的发展一直完善着自身。云计算彻底地改变了人们的工作方式和企业的商业模式，越来越多的企业交易平台都采用了云计算。但是，由于云计算还尚未完全成熟，企业需要应对的交易量越来越繁重，依靠传统的监控系统已经越来越难以胜任时代发展的要求。应用性能管理系统的出现解决了对云计算系统大量数据进行高效监控与分析的问题。当前对于企业交易管理的监控主要有以下三种方法，即基于代理的注入式监控、基于日志分析的非注入式监控及基于TCP数据包分析的非注入式监控三种。市面上的应用性能管理系统基本上采用以上三种方法，但是上述方法存在以下不足之处:
1、基于代理的注入式监控的入侵性强、占用系统资源多，而且需要部署到每一个实体上，一旦进行系统升级，则需要对每一个实体进行升级，代价高，耗时久。
[0003]2、基于日志分析的非注入式监控避免了基于代理的注入式监控方法的缺点。但是无法准确监控每条交易信息，另外若交易量随企业发展而不断增加时，该方法的运行效率会因处理不及时而急剧下降，影响监控系统的实时性。
[0004]3、基于TCP数据包分析的非注入式监控则需要使用特定方法来对数据进行解码，并且还需要经验丰富的交易管理员来分析交易故障，这就增加了企业的运营成本。并且，该方法只能观察到整个交易流的主机信息和交易时间，如果需要对交易进行更深入的分析和了解，网络监控是无法完成的。
【发明内容】
[0005]针对上述方法存在的缺点，本发明目的是:提供一种基于云计算的企业交易管理平台的混合式监控系统，具有靶向性强、入侵性低、耦合性低、鲁棒性高等特点，解决了传统监控系统入侵性强与颗粒度粗的弊端。
[0006]本发明的技术方案是:
一种基于云计算的企业交易管理平台的混合式监控系统，其特征在于，包括Trace系统、TEMS系统和TCP监控系统；
所述Trace系统包括HBase、Rsyslog日志生成器、日志管理器、Trace注入系统；通过Rsyslog日志生成器从交易流中提取所需的Trace日志并将其提交给日志分析系统中的日志分析器，利用HBase及日志管理器对Trace日志数据进行存储和管理；
所述TEMS系统包括日志分析器、数据收集器及数据展示系统，用于分析处理Trace日志数据，根据分析处理的Trace日志数据重构API事件，通过数据展示系统显示数据；
所述TCP监控系统包括虚拟交换机、网络监听器及交易分析器，通过监听网络数据包获得交易流信息，依据其所包含的平均响应时间判断交易是否正常，若该时段的响应时间超出平均响应时间，则将其发送至日志分析系统。
[0007]优选的，所述Trace日志条目格式包括路径、唯一标识符和交易信息。
[0008]优选的，所述Trace系统根据Trace日志创建日志生成器，所述日志生成器用于对网络服务可视化监控以及检测收集到的Trace日志条目的完整性。
[0009]优选的，所述日志生成器包括Trace事件定义和Trace添加事件，所述Trace事件定义包括定义日志条目的唯一标识符、所处程序的唯一标识符、时间、判定码和属性，所述Trace添加事件包括在触发事件时，先找到与其匹配的日志条目，然后再进行添加事件。
[0010]优选的，所述数据收集器包括获取事件模块、开始事件模块、发送/接收信息模块和结束事件模块；
所述获取事件模块，传送所声称的事件到数据收集器，使其融入日志分析器并分析所有事件数据，将结果通过可视化界面显示给用户；
日志分析器在分析每一条事件时，将开始事件模块与结束事件模块匹配，若匹配成功，日志管理器会对该事件进一步分析，若匹配不成功，将跳过该事件；
接收信息模块与发送信息模块属性一一对应，若不对应，则分析服务器根据模块属性判定操作类型，如果是异步交易，等待双方均完成交易后再进行相关操作；如果是同步交易，直接跳过不对应的模块。
[0011 ]优选的，所述TEMS系统还包括日志数据查看模块和问题处理模块;所述日志数据查看模块用于查看日志分析系统中收集到的日志数据情况，包括问题类型、所在位置、详细信息;所述问题处理模块，用于管理人员根据系统提供的问题日志及其分析，确认或主动提出解决方案。
[0012]优选的，所述TCP监控系统包括异常触发模块和日志提取模块；
所述异常触发模块，实时接收实际交易时间与平均响应时间的比较结果，当网络监听器监控的交易平台出现异常时，将异常交易时间展示给用户，将当前时间戳发送到日志分析器并触发分析事件。
[0013]所述日志提取模块，在Trace系统中查找出包含给定的时间戳的日志数据，并将日志数据传给TEMS系统中的开始事件模块。
[0014]在本发明中，针对传统监控系统入侵性强与颗粒度粗的弊端，重构了一种新型的logger，避免了注入式入侵性的监控并可以根据自主设定的参数进行定点获取日志信息。另外，在日志分析系统的API设计上，更加人性化与目的化。为了增强监控系统的实时性，其监控过滤系统采用对主机层的网络运行状态进行监控。相对于传统的监控系统，节省了大量的资源消耗。本系统结合了注入式与非注入式的优点并通过监控过滤系统及重构API事件进行优化组合，使得其摆脱了注入式监控因嵌入层过深而影响系统性能的弊端，也通过结合分析网络协议数据包的方法降低日志分析量，并通过重构的API精确的分析所需要的日志信息，因此节省了企业的高级人才、云系统的开销。本发明能够较好的解决现代基于云计算的企业交易平台的监控问题，并且能够在较短时间内进行扩展和补充，有利于开发中间件及开放接口，降低整体的耦合性，在一定程度上能增强其自身的适应性，为企业的战略性发展节省大量的企业资源。
[0015]与现有技术相比，本发明的优点是:
1.本发明靶向性强、入侵性低、耦合性低。本发明先对日志进行无差别提取，减少入侵性，再对已设定的参数数据进行处理，提高靶向性，降低耦合性。这样在性能上较传统方法有较大的提升。
[0016]2.本发明新提出的网络监控过滤系统，针对平均反应时间进行TCP监控和过滤。这样使得其监控的成本较低，而且实时性高。一旦出现故障，过滤系统就会提交问题时间戳给日志分析系统，通过其系统的分析，就可以通过重构的API清晰、明了的为用户显示出可能相应的故障信息。
【附图说明】
[0017]下面结合附图及实施例对本发明作进一步描述:
图1为本发明基于云计算的企业交易管理平台的混合式监控系统的架构图；
图2为本系统的工作流程图；
图3为交易流分析的四个层次；
图4为Trace日志系统的三个要素；
图5为Trace事件系统设计图；
图6为Trace添加事件流程图；
图7为API事件设计图；
图8为获取事件模块设计图；
图9为开始事件模块设计图；
图10为发送/接收消息模块设计图；
图11为结束事件模块设计图。
[0018]
【具体实施方式】
[0019]为使本发明的目的、技术方案和优点更加清楚明了，下面结合【具体实施方式】并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0020]实施例:
如图1所示，一种基于云计算的企业交易管理平台的混合式监控系统，本监控系统主要有以下三部分组成:
(I)Trace 系统:
本系统由HBase、Rsyslog日志生成器、日志管理器、Trace注入系统组成。其主要功能是利用Rsyslog日志生成器从交易流中提取所需的Trace日志并将其提交给日志分析系统中的日志分析器。利用HBase及日志管理器对Trace日志数据进行存储和管理。另外，将Rsyslog收集到的原始数据通过新增的TraceWS对外接口接收，并将其问题数据发送至日志分析系统的数据收集器，再通过日志分析系统里的日志分析器对其问题进行分析。
[0021](2)TEMS(Tivoli Enterprise Monitoring Server)系统:
本系统主要由日志分析器、数据收集器及数据展示系统。日志分析系统通过数据收集器接收Trace系统发送来的问题数据，并通过日志分析器进行日志分析，最后通过重构的API，用数据展示系统为用户呈现其结果。用户通过该系统能迅速找到故障发生的位置，为了兼容APM的相应的功能，完成故障处理和修复这个过程，该API的重构依照Tivoli系统设
i+o
[0022](3)TCP 监控系统:
本系统由虚拟交换机、网络监听器及交易分析器组成，主要起到数据过滤器的作用。本系统通过监听网络数据包从而获得交易流的信息，并主要依靠其所包含的平均响应时间来判定交易是否正常。如该时段的响应时间超出平均响应时间，则将通知Trace系统的日志管理器，将问题数据发送至日志分析系统。
[0023]如图2所示，本系统搭建过程如下:
SI搭建Trace系统
S1.1Trace注入系统
为了方便管理员读取和分析，应当使得日志数据的格式一致，并在更新日志时，对于数据进行及时的存储。本发明为企业交易平台设计一个与Rsyslog日志生成器相匹配的Trace系统。
[0024]根据本系统的日志发生器结构进行Trace日志收集，并对Trace日志增加唯一标识符。注入系统的Trace日志条目格式如图4所示。
[0025]如若系统发生改变，因为本Trace系统只针对日志进行提取和分析，因此只需修改几个抓取参数即可。
[0026]S1.2日志生成器
日志生成器是基于S1.1所产生的Trace日志而创建的。主要完成基于网络服务的可视化监控功能及检测所收集的条目信息的完整性。通过Trace注入系统产生的日志，进行日志管理与描述。
[0027]SI.2.ITrace事件定义
通过追踪基于云计算的企业交易平台的交易故障，设计如图5的Trace事件系统。其中TraceId代表日志条目的唯一标识符，sourceld则表示所处程序的唯一标识符。时间则代表事件的开始、结束、操作时间三个部分，判定码则为判断交易事件所处的状态，根据环境不同，其具体值也不相同，一般是日志管理器的四种状态。
[0028]S1.2.2Trace 添加事件
Trace添加事件过程如图6所示。本系统将事件定义在日志收集器中，即每次触发事件时，先找到与其匹配的日志条目，然后再进行添加事件。
[0029]在开始Trace时，创建Trace日志，依据交易中的请求回应原则，本系统设计了由请求和回应组成的新Trace，以向Trace日志系统文件中写入交易信息，其中请求的组成如图5所示，响应则由请求的状态组成。
[0030]在创建Trace日志后，添加事件。为保证最大程度包含所有的日志信息，设计了如图5里所示的事件定义。这些属性可以直接通过web服务显示在远端主机上。
[0031]在Trace添加事件完成后，需要一个结束Trace行动来完成一个完整事件。结束Trace行动需要唯一标识符匹配到Trace系统，再对上述步骤的操作进行判别，以此完成一次完整的Trace事件。
[0032]为了在web上显示Trace系统的执行结果，需要定义2个执行接口，获取Trace及获取Traces，其中前者用来获取Trace文件表，后者用来抓取目标表格中的具体的单挑交易。
[0033]S2重构TEMS系统
针对SI提出的Trace系统，需要重构一个置于业务流程之外的TEMS。如图7所示为基础的C/S交易事件。
[0034]依照两次握手协议，交易流中除起止节点外的任一交易点，只有包含两次握手，SP发出/接收数据、接收/发出数据，节点才算完整。所有的节点都完整时，交易才会开始进行。
[0035]针对高并发交易情况，本系统采用时间戳作为单挑交易事件的唯一标识符，从而使得可以对单挑交易事件进行准确匹配。
[0036]如若适配到多个程序系统中，还需为每个程序再增添一个标识符，以保证系统能够分别每一个程序，用以实现应用层级的监控。
[0037]TEMS的重构API事件完全按照TT(Transact1n Tracking)格式来设计，以保证对其兼容性，具体如下:
S2.1数据收集器 S2.1.1获取事件模块
获取事件模块如图8所示，本模块定义了数据收集器的基础结构。为了响应的实时性，将直接传送所声称的事件到数据收集器，使其迅速融入日志分析系统并分析所有事件数据，将结果通过可视化界面显示给用户。
[0038]S2.1.2开始事件模块
开始时间模块如图9所示，日志分析器在分析每一条事件时，须将本模块与结束事件模块相匹配，如若匹配成功，日志管理器会对本条目进行进一步的分析与研究，如匹配不成功，将跳过这一条目。
[0039]S2.1.3发送/接收信息模块
发送/接收信息模块如图10所示，由发送信息模块及与之相对应的接收信息模块组成。
[0040]根据TT原则，事件之间的相关性主要是依靠垂直ID及水平ID，发送的原则是根据触发创建事件。依据TEMS的分析方法，交易流划分为4个层次，这样就不用考虑时间问题，从而能够绝对保证监控的实时性。
[0041 ]接收信息模块与发送信息模块属性一一对应，如若不对应，则分析服务器根据模块属性判定操作类型。如果是异步交易，本系统会等待双方均完成交易后再进行相关操作，如果是同步交易，本系统会直接跳过不对应的模块。
[0042]S2.1.4结束事件模块
结束事件模块的设计图如图11所示，该模块定义了企业交易平台的交易事件的可被监控系统识别的唯一标识符并将其发送到基于二次握手协议的数据收集器，并根据其相关属性与开始模块进行匹配。
[0043]S2.2日志分析器
日志分析器针对由Trace系统发来的问题日志进行分析。本分析器既可以针对特殊业务进行定制，由IaaS平台提供分析服务，也可以设置参数，由第三方依据其外部接入接口AntWS进行日志分析。
[0044]S2.3数据展示系统
数据展示系统主要提供日志数据的展示功能。管理人员通过该模块，可以以可视化的方式查看本日志系统中收集到的日志数据及其问题，并可以依据日志分析系统给出的建议和行动，依据权限对其进行修复和管理。
[0045]S2.3.1日志数据查看模块。
[0046]管理人员可以通过本模块查看日志分析系统中收集到的日志数据情况，如问题类型、所在位置、详细信息等，通过这些管理人员可以对当前的数据有一个宏观的掌控。
[0047]S2.3.2问题处理模块
管理人员根据系统提供的问题日志及其分析，可以确认或主动提出解决方案。方便管理人员对于企业交易出现的问题进行分析和解决。
[0048]S3 构建 TCPagentlsee 监控系统
网络监控系统是本发明的消息过滤系统。根据图2所示，本网络监控系统虽然只能抓取到主机层的交易信息，无法逐条目地进行一一审查，但是可以进行宏观上管理。日常网络异常概率性极小，因此采用监控交易流的平均响应时间来判断是否出现异常。为此，设计如下丰旲块:
S3.1异常触发模块，实际交易时间将会在此模块里与平均响应时间进行比较，其结果将会由系统实时传输给触发模块，当网络监控系统所监控的交易平台出现异常时，本系统会异常交易时间放到TEP上清晰明了的展示给用户，还会将当前时间戳发送到日志分析系统并触发分析事件。
[0049]S3.2日志提取模块，本模块定义了在Trace系统中查找出包含给定的时间戳的日志数据，并将日志数据传给TEMS中的开始事件模块。
[0050]应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
【主权项】
1.一种基于云计算的企业交易管理平台的混合式监控系统，其特征在于，包括Trace系统、TEMS系统和TCP监控系统； 所述Trace系统包括HBase、Rsys 1g日志生成器、日志管理器、Trace注入系统；通过Rsyslog日志生成器从交易流中提取所需的Trace日志并将其提交给日志分析系统中的日志分析器，利用HBase及日志管理器对Trace日志数据进行存储和管理； 所述TEMS系统包括日志分析器、数据收集器及数据展示系统，用于分析处理Trace日志数据，根据分析处理的Trace日志数据重构API事件，通过数据展示系统显示数据； 所述TCP监控系统包括虚拟交换机、网络监听器及交易分析器，通过监听网络数据包获得交易流信息，依据其所包含的平均响应时间判断交易是否正常，若该时段的响应时间超出平均响应时间，则将其发送至日志分析系统。2.根据权利要求1所述的基于云计算的企业交易管理平台的混合式监控系统，其特征在于，所述Trace日志条目格式包括路径、唯一标识符和交易信息。3.根据权利要求1所述的基于云计算的企业交易管理平台的混合式监控系统，其特征在于，所述Trace系统根据Trace日志创建日志生成器，所述日志生成器用于对网络服务可视化监控以及检测收集到的Trace日志条目的完整性。4.根据权利要求3所述的基于云计算的企业交易管理平台的混合式监控系统，其特征在于，所述日志生成器包括Trace事件定义和Trace添加事件，所述Trace事件定义包括定义日志条目的唯一标识符、所处程序的唯一标识符、时间、判定码和属性，所述Trace添加事件包括在触发事件时，先找到与其匹配的日志条目，然后再进行添加事件。5.根据权利要求4所述的基于云计算的企业交易管理平台的混合式监控系统，其特征在于，所述数据收集器包括获取事件模块、开始事件模块、发送/接收信息模块和结束事件丰旲块; 所述获取事件模块，传送所声称的事件到数据收集器，使其融入日志分析器并分析所有事件数据，将结果通过可视化界面显示给用户； 日志分析器在分析每一条事件时，将开始事件模块与结束事件模块匹配，若匹配成功，日志管理器会对该事件进一步分析，若匹配不成功，将跳过该事件； 接收信息模块与发送信息模块属性一一对应，若不对应，则分析服务器根据模块属性判定操作类型，如果是异步交易，等待双方均完成交易后再进行相关操作；如果是同步交易，直接跳过不对应的模块。6.根据权利要求1所述的基于云计算的企业交易管理平台的混合式监控系统，其特征在于，所述TEMS系统还包括日志数据查看模块和问题处理模块;所述日志数据查看模块用于查看日志分析系统中收集到的日志数据情况，包括问题类型、所在位置、详细信息;所述问题处理模块，用于管理人员根据系统提供的问题日志及其分析，确认或主动提出解决方案。7.根据权利要求1所述的基于云计算的企业交易管理平台的混合式监控系统，其特征在于，所述TCP监控系统包括异常触发模块和日志提取模块； 所述异常触发模块，实时接收实际交易时间与平均响应时间的比较结果，当网络监听器监控的交易平台出现异常时，将异常交易时间展示给用户，将当前时间戳发送到日志分析器并触发分析事件； 所述日志提取模块，在Trace系统中查找出包含给定的时间戳的日志数据，并将日志数据传给TEMS系统中的开始事件模块。
【文档编号】H04L12/24GK105915373SQ201610215127
【公开日】2016年8月31日
【申请日】2016年4月8日
【发明人】杨平乐, 蒋峰
【申请人】张家港江苏科技大学产业技术研究院