云平台基于日志实现交易回放和重做的系统及方法_3

文档序号:9399125阅读:来源:国知局
放流程,包括以下步骤:
[0119](I)所述的交易回放模块中,需要先部署一套原交易系统环境,部署并启动系统交易回放和重做代理模块。
[0120](2)所述的交易环境初始化数据生成单元中,选择需要回放的交易,提取日志分析单元中所记录的交易发生前、交易过程中、交易发生后等环节的数据。
[0121](3)所述的交易环境初始化数据生成单元中,根据提取的数据和配置的规则,生成数据库初始化脚本。
[0122](4)所述的交易环境初始化数据生成单元中,将数据库初始化脚本和当前交易的配置数据发送到业务系统交易回放代理单元中。
[0123](5)所述业务系统交易回放代理单元中,接收数据库初始化脚本以及当前交易的配置数据。
[0124](6)所述业务系统交易回放代理单元中,执行数据库初始化脚本以及初始化交易运行环境。
[0125](7)所述业务系统交易回放代理单元中,由代理自动调用该交易进行各环节的场景回放或者由用户手动触发该交易的交易回放。
[0126](8)所述的交易重做模块中,需要先部署一套原交易系统环境,部署并启动系统交易回放和重做代理模块。
[0127]交易重做流程,包括以下步骤:
[0128](I)所述的交易环境初始化数据生成单元中,选择需要重做的一个或一批交易,提取日志分析单元中所记录的交易发生前、交易发生后等数据。
[0129](2)所述的交易环境初始化数据生成单元中,根据提取的数据和配置的规则,生成数据库初始化脚本。
[0130](3)所述的交易环境初始化数据生成单元中,将数据库初始化脚本和当前交易的配置数据发送到业务系统交易重做代理单元中。
[0131](4)所述业务系统交易重做代理单元中,接收数据库初始化脚本以及当前交易的配置数据。
[0132](5)所述业务系统交易重做代理单元中,执行数据库初始化脚本以及初始化交易运行环境。
[0133](6)所述业务系统交易重做代理单元中,由代理自动调用执行该交易。
[0134](7)所述业务系统交易重做代理单元中,代理调用执行交易结束后,收集本次交易执行的结果数据,发送到交易重做结果比对单元。
[0135](8)所述交易重做结果比对单元中,接收业务系统交易重做代理单元中发送过来的本次交易执行结果数据。
[0136](9)所述交易重做结果比对单元中,提取原交易结果数据,与本次交易结果数据进行比对,得出比对结果,并统计出报表。
[0137](10)所述交易重做结果比对单元中,将得到的比对结果通过短信或者邮件发送给业务系统管理员。
[0138]在实际应用中,本发明的云平台基于日志实现交易回放和重做的方法的具体过程如下:
[0139]1、日志记录和推送
[0140]日志记录和推送环节是嵌入部署在各个应用系统中执行的,负责收集日志和推送到日志分析服务器。需要制定一套日志记录的规则,然后将被嵌入系统的日志记录功能按照规则进行改造。按照规则记录的日志需要定时推送到分析服务器端,具体过程如下:
[0141](I)制定日志记录规则,包括日志来源系统、日志类型、发生时间、当前交易逻辑的上下文数据等信息;
[0142](2)改造被嵌入系统的日志记录功能,按照制定的规则将需要记录的信息记录为日志文件;
[0143](3)创建日志推送定时循环任务,例如每10秒钟执行一次。读取被嵌入系统中记录的未发送的日志,经过压缩后推送到日志分析服务器。已被发送过的日志应记录为已发送;
[0144]2、日志分析和异常报送
[0145]日志分析和异常报送是本发明的核心环节,日志分析服务器需要接收来自不同系统推送过来的日志,进行文件分析、信息存档、数据提取、异常报送等关键操作。具体过程如下:
[0146](4)设计日志接收流水表,包括日志唯一 ID、来源系统、发生时间、文件路径等信息;
[0147](5)设计日志分析流水表,包括日志分析唯一 ID、分析时间、分析结果等信息,并与日志唯一 ID形成一对一关联;
[0148](6)设计异常记录表,包括异常唯一 ID、来源系统、异常名称、发生时间、异常模块、严重级别、是否报送等信息,与日志分析唯一 ID形成多对一或者一对一的关联;
[0149](7)设计系统交易记录表,包括交易唯一 ID、来源系统、交易名称、交易环节、发生时间、交易执行前数据上下文、交易执行后数据上下文等信息,与日志分析唯一 ID形成一对多或者一对一关联;
[0150](8)设计交易回放重现记录表,包括回放重现唯一 ID、交易记录ID、执行时间、交易执行前数据上下文、交易执行后数据上下文、执行结果等信息。与交易唯一 ID形成一对多或者一对一的关联;
[0151](9)订阅各个系统日志的推送,将接收到的日志文件保存到服务器下,并且将此记录保存到日志接收流水表中;
[0152](10)创建日志读取定时循环任务,例如每10秒钟执行一次,读取日志接收流水表中的记录,获取日志文件路径,读取到相关的日志信息;
[0153](11)使用特定的规则解析日志内容,日志分别为如下三种类型:异常日志、正常日志和交易日志。
[0154](12)所有日志整理存放为文件,使用Lucene建立索引,供检索使用。
[0155](13)如果是异常日志,则提取相应异常的来源系统、异常名称、发生时间、异常模块、严重级别、是否报送等信息,保存到异常记录表中。
[0156](14)如果是交易日志,则提取出来源系统、交易名称、交易环节、发生时间、交易执行前数据上下文、交易执行后数据上下文等信息,保存到系统交易记录表中。
[0157](15)创建异常报送定时循环任务,例如每10秒钟执行一次,扫描异常记录表中的数据,将未报送的异常通过邮件或者短信报送到业务系统管理员处。
[0158]3、日志查询和导出
[0159]日志的查询和导出是给业务系统管理员提供用户界面查询各个系统日志的工具,包括按条件日志查询、交易查询、统计报表导出等,具体过程如下:
[0160](16)日志查询展现,业务系统管理员通过用户界面输入查询条件,包括日志来源、日志类型、发生时间等维度,通过Lucene索引进行检索查询展现。
[0161](17)交易查询展现,业务系统管理员通过用户界面输入交易查询条件,包括交易名称、交易环节、发生时间等维度,通过检索数据库系统交易记录表,将相应交易的详情展现到用户界面。
[0162](18)报表导出,业务系统管理员查询到相应的数据列表后,点击界面的导出,生成excel或pdf格式的报表文件,提供下载。
[0163]4、交易回放
[0164]交易回放,是通过记录的日志中提取的数据,将各个系统发生的交易进行回放,还原交易场景方便异常问题的定位。具体过程如下:
[0165](19)部署交易回放执行环境。需要做交易回放的系统,部署一套与生产环境相同的应用,以便在线下回放交易;
[0166](20)部署交易执行代理。创建交易执行代理部署到交易回放执行环境中,调用执行系统中的交易;
[0167](21)生成交易回放初始化脚本。用户在界面上选择某一交易点击开始回放,则查询系统交易记录表提取该交易所有环节的详细数据,根据上下文数据生成初始化环境脚本,并传送到交易执行代理;
[0168](22)初始化执行环境。交易执行代理接收到初始化脚本后,执行该脚本进行环境的初始化;
[0169](23)执行交易回放。交易执行代理调用该系统的交易进行回放执行。并将执行结果保存到交易回放重现记录表;
[0170]5、交易重做
[0171]交易重做,是通过记录的日志中提取的数据,将应用系统发生的某一批交易使用同样的初始数据进行重做,将重做结果与原结果进行比对,以保障交易数据的正确性,具体步骤如下:
[0172](24)部署交易重做执行环境。需要做交易重做的系统,部署一套与生产环境相同的应用,以便在线下重做交易;
[0173](25)部署交易执行代理。创建交易执行代理部署到交易重做执行环境中,调用执行系统中的交易;
[0174](26)生成交易重做初始化脚本。用户在界面上选择某一批交易点击开始重做,则查询系统交易记录表提取该交易所有环节的详细数据,根据上下文数据生成初始化环境脚本,并传送到交易执行代理;
[0175](27)初始化执行环境。交易执行代理接收到初始化脚本后,执行该脚本进行环境的初始化;
[0176](28)执行交易重做。交易执行代理调用该系统的交易进行回放执行。并将执行结果保存到交易回放重现记录表;
[0177](29)数据比对。提取交易重做数据结果与原交易数据结果进行比对,获得比对结果列表,将比对结果通过邮件发送到用户的邮箱。
[0178]采用了该发明中的云平台基于日志实现交易回放和重做的系统及方法,首先,摒弃了传统的日志记录和查看的方式,将企业所有系统的日志收集归拢到一起,提高了查看效率,方便分析和统计;其次,将异常报送告警功能集中到一起,使管理员能及时得到系统的运行状况,并对原系统的影响做到最小;再次,交易的回放和重做采用了用户界面上一键初始化环境和执行的模式,比传统的手工备份生产环境数据再恢复到验证环境执行再比对结果,操作简便执行效率上有所提高,能报送直观的报表
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1