云平台基于日志实现交易回放和重做的系统及方法
【技术领域】
[0001]本发明涉及计算机软件技术领域，尤其涉及云平台应用系统领域，具体是指一种云平台基于日志实现交易回放和重做的系统及方法。
【背景技术】
[0002]随着云平台技术的发展越来越成熟，一些企业和机构也更愿意把业务系统放到云服务上运行。在云平台微服务的架构下，应用部署相对比较零散，日志也没有做到统一规整。业务系统在日常运行交易处理中不可避免会有异常情况的发生。可能会遇到如下三个普遍性的问题和需求:业务系统交易异常需要一个统一处理和报送的机制、异常后排查问题需要将发生异常的业务进行回放、交易数据需要通过交易重做来核对。因此，需要有一套系统性的方法来解决交易时异常预警、事后业务回放和交易重做等一系列问题。
[0003]针对此需求，目前各大金融领域的企业有传统的解决方案。在异常捕获和报送功能的实现方案，一般采用的是在代码级别捕获异常后进行处理和报送，每个系统有着独立的报送程序。在交易重现和交易重做的实现方案，一般采用线下模拟的方式。例如:将线上的数据库和文件系统等备份到磁盘，再将磁盘的数据导入线下环境执行一遍后和线上数据做比对，得出交易结果。
[0004]上述传统的异常捕获和报送方案，存在以下弊端:首先，异常分析和报送程序依附于原系统上，当异常处理压力较大时，会对原系统造成很大的影响，甚至更严重的会导致宕机事故。其次，当一个企业拥有多个系统时，异常不能统一收集、分析和报送，不利于归总整理。
[0005]上述传统的交易重现和交易重做方案，存在以下弊端:首先，一般交易系统数据库和文件系统的数据量非常大，备份和还原的整个过程会消耗大量时间，导致效率不高。其次，此方案无法重复执行验证，操作不方便。
【发明内容】
[0006]本发明的目的是克服了上述现有技术中异常和日志分布零散、交易重现和重做执行效率低下、操作不便的缺点，提供了一种能够实现统一日志收集、异常报送以及高效率的交易重现和交易重做、具有更广泛应用范围的云平台基于日志实现交易回放和重做的系统及方法。
[0007]为了实现上述目的，本发明的云平台基于日志实现交易回放和重做的系统及方法具有如下构成:
[0008]该云平台基于日志实现交易回放和重做的系统，其主要特点是，所述的实现交易回放和重做的系统包括:
[0009]日志记录推送引擎，用以记录业务系统的异常运行日志、正常运行日志和交易记录日志并将记录的日志文件推送至日志分析报送模块；
[0010]日志分析报送模块，用以接收推送的日志文件并分析得到异常运行数据、正常运行数据或交易进行数据以及将异常运行数据报送至业务系统管理员；
[0011]日志查看导出模块，用以根据用户选择的条件查询用户所需要的日志内容或交易信息并将查询结果导出为报表；
[0012]交易回放和重做引擎，用以根据用户选择需要回放或重做的交易提取所述的交易进行数据并执行交易回放或交易重做。
[0013]较佳地，所述的日志记录推送弓I擎包括:
[0014]日志记录单元，用以配置日志记录规则并记录业务系统的异常运行日志、正常运行日志和交易记录日志；
[0015]日志推送引擎，用以将记录的日志文件推送至日志分析报送模块。
[0016]更佳地，所述的日志分析报送模块包括:
[0017]日志收集单元，用以接收所述的日志推送引擎推送的日志文件；
[0018]日志分析单元，用以根据所述的日常记录单元配置的日志记录规则对日志文件进行分析得到异常运行数据、正常运行数据或交易进行数据；
[0019]异常报送单元，用以当分析异常运行日志时将异常运行数据报送至业务系统管理员。
[0020]较佳地，所述的日志查看导出模块包括:
[0021]日志查询单元，用以根据用户选择的条件从日志索引中查询用户需要的日志内容并进行展示；
[0022]交易查询单元，用以通过用户选择的条件从日志提取的交易进行数据中查询需要的交易信息并进行展示；
[0023]结果报表导出单元，用以将用户查询的内容生成结果报表。
[0024]较佳地，所述的交易回放和重做引擎包括:
[0025]交易环境初始化数据生成单元，用以根据用户选择需要回放或重做的交易提取所述的交易进行数据，以及根据提取的交易进行数据和配置的规则，生成数据库初始化脚本；
[0026]业务系统交易回放代理单元，用以根据需要回放的交易的数据库初始化脚本执行交易回放；
[0027]业务系统交易重做代理单元，用以根据需要重做的交易的数据库初始化脚本执行交易重做；
[0028]交易重做结果比对单元，用以将重做的结果与原结果进行比对生成数据比对报表。
[0029]本发明还涉及一种基于所述的实现交易回放和重做的系统于云平台基于日志实现交易回放和重做的方法，其特征在于，所述的方法包括以下步骤:
[0030](I)所述的日志记录推送引擎记录业务系统的异常运行日志、正常运行日志和交易记录日志并将记录的日志文件推送至日志分析报送模块；
[0031](2)所述的日志分析报送模块接收推送的日志文件并分析得到异常运行数据、正常运行数据或交易进行数据以及将异常运行数据报送至业务系统管理员
[0032](3)所述的日志查看导出模块根据用户选择的条件查询用户所需要的日志内容或交易信息并将查询结果导出为报表；
[0033](4)所述的交易回放和重做引擎根据用户选择需要回放的交易提取所述的交易进行数据并执行交易回放；
[0034](5)所述的交易回放和重做引擎根据用户选择需要重做的交易提取所述的交易进行数据并执行交易重做。
[0035]较佳地，所述的日志记录推送引擎包括日志记录单元和日志推送引擎，所述的步骤(I)包括以下步骤:
[0036](1-1)将所述的日志记录推送引擎部署到各业务系统中，并初始化运行环境；
[0037](1-2)所述的日志记录单元中配置异常运行日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统异常后的错误信息按照配置的规则写入日志文件；
[0038](1-3)所述的日志记录单元中配置正常运行日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统正常运行的日志记录按照配置的规则写入日志文件；
[0039](1-4)所述的日志记录单元中配置交易类日志记录规则，修改原业务系统的日志记录功能逻辑，使业务系统将交易数据按照配置的规则写入日志文件；
[0040](1-5)所述的日志推送引擎中配置日志推送参数并将日志文件推送至日志分析报送模块。
[0041]更佳地，所述的日志分析报送模块包括日志收集单元、日志分析单元和异常报送单元，所述的步骤(2)包括以下步骤:
[0042](2-1)部署日志分析报送模块并初始化运行环境；
[0043](2-2)所述的日志收集单元接收各个所述的日志记录推送引擎推送过来的日志内容并存储；
[0044](2-3)所述的日志分析单元根据所述的日志记录单元中的日志记录规则分析日志内容；
[0045](2-4)所述的日志分析单元中判断分析到的日志的类型，如果是异常运行日志，则继续步骤(2-5)，如果是正常运行日志，则继续步骤(2-6)，如果是交易记录日志，则继续步骤(2-7);
[0046](2-5)所述的日志分析单元提取异常运行数据并存储和建立查询索引，然后继续步骤(2-8)；
[0047](2-6)所述的日志分析单元提取正常运行数据并存储和建立查询索引，然后继续步骤⑶；
[0048](2-7)所述的日志分析单元提取交易进行数据并存储和建立查询索引，然后继续步骤⑶；
[0049](2-8)所述的异常报送单元将日志分析单元中得到的异常运行的数据向业务系统管理员报送。
[0050]较佳地，所述的日志查看导出模块包括日志查询单元、交易查询单元和结果报表导出单元，所述的步骤(3)包括以下内容:
[0051](3-1)所述的日志查询单元中根据用户选择的日志查询条件和索引匹配到用户需要的日志内容并进行展示；
[0052](3-2)所述的交易查询单元中根据用户选择的交易查询条件分析得到用户需要的交易信息并进行展示；
[0053](3-3)所述的结果报表导出单元中将查询结果选择导出报表文件供离线查看。
[0054]较佳地，所述的交易回放和重做引擎包括交易环境初始化数据生成单元和业务系统交易回放代理单元，所述的步骤(4)包括以下步骤:
[0055](4-1)部署原业务系统环境，部署并启动交易回放和重做引擎；
[0056](4-2)所述的交易环境初始化数据生成单元选择需要回放的交易，提取所述的日志分析报送模块中所记录的交易进行数据；
[0057](4-3)所述的交易环境初始化数据生成单元根据提取的交易进行数据和日志记录单元配置的日志记录规则，生成数据库初始化脚本；
[0058](4-4)所述的交易环境初始化数据生成单元将数据库初始化脚本发送到业务系统交易回放代理单元中；
[0059](4-5)所述业务系统交易回放代理单元接收数据库初始化脚本以及当前交易的配置数据；
[0060](4-6)所述业务系统交易回放代理单元执行数据库初始化脚本以及初始化交易运行环境；
[00