云平台基于日志实现交易回放和重做的系统及方法_2

文档序号:9399125阅读:来源:国知局
61](4-7)所述系统交易回放代理单元中,由代理自动调用该交易进行各环节的场景回放或由用户手动触发该交易的交易回放。
[0062]较佳地,所述的交易回放和重做引擎还包括业务系统交易重做代理单元和交易重做结果比对单元,所述的步骤(5)包括以下步骤:
[0063](5-11)所述的交易环境初始化数据生成单元中,选择需要重做的一个或一批交易,提取所述的日志分析报送模块中所记录的交易进行数据;
[0064](5-2)所述的交易环境初始化数据生成单元根据提取的交易进行数据和日志记录单元配置的日志记录规则,生成数据库初始化脚本;
[0065](5-3)所述的交易环境初始化数据生成单元将数据库初始化脚本发送到业务系统交易重做代理单元中;
[0066](5-4)所述业务系统交易重做代理单元接收数据库初始化脚本以及当前交易的配置数据;
[0067](5-5)所述系统交易重做代理单元执行数据库初始化脚本以及初始化交易运行环境;
[0068](5-6)所述系统交易重做代理单元中,由代理自动调用执行该交易;
[0069](5-7)所述系统交易重做代理单元中,代理调用执行交易结束后,收集本次交易执行的结果数据并发送到所述的交易重做结果比对单元;
[0070](5-8)所述交易重做结果比对单元接收所述的本次交易执行结果数据;
[0071](5-9)所述交易重做结果比对单元提取原交易结果数据,与本次交易结果数据进行比对得出比对结果并统计出报表;
[0072](5-10)所述交易重做结果比对单元将得到的比对结果报送至业务系统管理员。
[0073]采用了该发明中的云平台基于日志实现交易回放和重做的系统及方法,首先,摒弃了传统的日志记录和查看的方式,将企业所有系统的日志收集归拢到一起,提高了查看效率,方便分析和统计;其次,将异常报送告警功能集中到一起,使管理员能及时得到系统的运行状况,并对原系统的影响做到最小;再次,交易的回放和重做采用了用户界面上一键初始化环境和执行的模式,比传统的手工备份生产环境数据再恢复到验证环境执行再比对结果,操作简便执行效率上有所提高,能报送直观的报表数据,具有更广泛的应用范围。
【附图说明】
[0074]图1为本发明的云平台基于日志实现交易回放和重做的系统的总体架构图。
[0075]图2为本发明的日志收集分析的流程图。
[0076]图3为本发明的云平台基于日志实现交易回放和重做的系统的物理部署结构图。
【具体实施方式】
[0077]为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
[0078]本发明的云平台基于日志实现交易回放和重做的系统中,主要包括日志记录推送引擎,日志分析报送模块、日志查看导出模块、交易回放重做引擎。其主要特点是,所述的日志记录推送引擎包括:
[0079]日志记录单元,此单元部署嵌套在各个业务系统中,其作用是记录系统正常交易日志和系统发生异常的日志。记录时需要按照规定的格式,正常交易日志需要记录当前交易的详细数据,异常日志需要记录详细的异常对象以及异常发生时的上下文数据。
[0080]日志推送引擎,其作用是将各个系统记录的日志及时的推送到日志分析报送模块,可采用审计日志定时推送,异常日志即时推送的机制,保证不极大的增加系统压力的情况下也能及时得到系统异常的报送。
[0081]所述的日志分析报送模块,是独立部署的应用服务,不依赖于各个应用系统,是日志分析处理的核心,主要包括:
[0082]日志收集单元,其作用是接收各个应用系统推送过来的日志,根据系统、日志类型、推送时间等维度分类、分级存放与目录下,等待分析处理。
[0083]日志分析单元,其作用是将各个系统推送过来的日志文件进行分析,由于日志都是根据特定的规则记录,解析时也按照特定的规则解析。如果是异常记录日志,则分析出相关异常的信息,包括发生时间、异常名称、异常堆栈、异常发生时上下文数据等,记录到数据库。如果是正常交易日志,则提取出交易的各种信息,存放到数据库。
[0084]异常报送单元,其作用是当有分析到系统有严重的异常发生,需要报送警告时,通过此模块向系统维护人员发送警告的邮件或者短信,提醒及时处理。
[0085]所述日志查看导出模块,让用户可以查看到各个系统发生的日志以及交易的执行情况,主要包括:
[0086]日志查询单元,其作用是通过用户选择的条件,包括来源系统、日志类型、发生时间等,从日志索引中查询用户需要的内容,进行展示。
[0087]交易查询单元,其作用时通过用户选择的条件,包括来源系统、交易名称、交易环节、发生时间等,从日志提取的交易记录数据中,查询该交易的详细过程和结果,进行展示。
[0088]结果报表导出单元,其作用是将用户查询的内容通过生成excel或pdf文件,提供下载。
[0089]业务系统日志查询引擎,其作用是提供各个系统日志查询界面,和各个系统中各监控的交易运行的记录和结果,可输出图形报表,提供业务分析的依据。
[0090]所述交易回放和重做引擎,处理交易回放和重做,主要包括:
[0091]交易环境初始化数据生成单元,其作用是根据提取的数据,生成用户选择的交易的初始化环境的脚本。包括数据库操作语句和文件系统操作语句。
[0092]业务系统交易回放代理单元,部署在各应用系统回放环境中,其作用是初始化执行环境,执行交易和交易结果收集。
[0093]业务系统交易重做代理单元,部署在各应用系统重做环境中,其作用是初始化执行环境,执行交易和交易结果收集。
[0094]交易重做结果比对单元,其作用是将重做的结果与原结果进行比对,生成数据比对报表,向用户发送结果报告。
[0095]基于上述的云平台基于日志交易回放和重做的系统的方法,其主要特点是,所述的方法包括日志记录收集流程,日志分析流程,日志查询导出流程,交易回放流程,交易重做流程。
[0096]所述的日志记录流程包括以下步骤:
[0097](I)将所述日志记录推送引擎部署到各业务系统中,并初始化运行环境。
[0098](2)所述日志记录单元中,配置异常日志记录规则,修改原业务系统的日志记录功能逻辑,使之系统异常后的错误信息按照配置的规则写入日志文件。
[0099](3)所述日志记录单元中,配置日常日志记录规则,修改原业务系统的日志记录功能逻辑,使之正常运行的日志记录按照配置的规则写入日志文件。
[0100](4)所述的日志记录单元中,配置交易类功能的日志记录规则,修改原业务系统的日志记录功能逻辑,使之将交易发生前、交易过程中、交易发生后等各个环节流转的数据按照配置的规则写入日志文件。
[0101](5)所述的日志推送引擎中,配置日志推送参数,启动定时循环任务,根据参数配置的频率扫描读取本业务系统所记录的日志文件。
[0102](6)所述的日志推送引擎中,扫描到的日志内容,提取循环周期内产生的增量日志内容,进行封装压缩。
[0103](7)所述的日志推送引擎中,将压缩封装好的日志内容,采用http或者tcp等协议,调用日志分析服务器的推送接口,送到日志分析报送模块。
[0104]日志分析报送流程,包括以下步骤:
[0105](I)部署日志分析报送模块,初始化运行环境。包括执行数据库操作语句和文件操作语句以及配置文件参数的初始化。
[0106](2)所述的日志收集单元中,启动日志接收服务,等待所述日志记录推送引擎发送过来的日志内容。
[0107](3)所述的日志收集单元中,接收到各个日志记录推送引擎推送过来的日志内容,写入到本地文件系统中,并记录到数据库表。
[0108](4)所述的日志分析单元中,启动日志分析线程,使用定时循环任务,读取接收的日志内容。
[0109](5)读取日志内容后,按照所述日志记录单元中的日志记录规则,分析日志内容。
[0110](6)所述的日志分析单元中,如果分析到日志属于异常日志,则按照规则提取异常的类型、严重程度、发生时间等关键数据,保存到数据库和文件系统中,建立相关查询索引。
[0111](7)所述的日志分析单元中,如果分析到日志属于系统正常运行日志,则按照规则提取出记录的信息、发生时间等关键数据,保存到数据库和文件系统中,建立相关查询索引。
[0112](8)所述的日志分析单元中,如果分析到日志属于交易记录日志,则按照规则提取出交易类型、发生时间以及交易前、交易过程中、交易完成后等各个节点的流转数据等关键信息,保存到数据库或文件系统中,建立查询索引。
[0113](9)所述的异常报送单元中,将日志分析单元中得到的异常结果进行整理和压缩后,通过短信或者邮件的方式向业务系统管理员报送。
[0114]日志查询导出流程,包括以下步骤:
[0115](I)所述的日志查询单元中,用户通过日志查询操作界面选择日志查询条件,根据索引匹配到日志信息,通过图形化界面展示。
[0116](2)所述的交易查询单元中,用户选择某业务系统的某交易,读取历史日志数据,统计分析得到改业务交易的报表,通过图形化界面展示。
[0117](3)所述的结果报表导出单元中,用户查询到日志结果后,将结果选择导出为excel或者pdf等文件供离线查看。
[0118]交易回
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1