一种基于准生产环境的生产回放验证方法及存储介质与流程

1.本发明涉及金融风控技术领域，尤其是涉及一种基于准生产环境的生产回放验证方法及存储介质。


背景技术：

2.近年来，小微企业贷款、消费信贷相关业务增长迅猛，由此带来的逾期资产的贷后催收管理问题日益突出，主要矛盾体现在不良贷款总量不断扩大与催收人力资源不足。智能信用卡催收系统现状日均处理在催案件在300万件以上，包括多种催收作业，工作量较大。现有的催收系统主要分为批处理以及联机作业两大块功能，涉及数据量也较大。
3.为保证催收系统的正常工作，需要定期开展回归测试，目前在回归测试中存在的技术问题包括：
4.1、为确保催收系统每月常规迭代版本投产质量，需要针对催收重点核心功能进行回归测试，每次回归涉及2200个测试案例，投入1人月，但因测试案例不够丰富，难以保证回归测试功能覆盖率。
5.2、催收系统架构升级类需求功能验证，需要对全量功能进行回归测试，全量回归测试涉及案例数量较大，投入人力时间较长，测试人力成本巨大。
6.3、催收系统需要定期进行blaze策略变更，目前在数据验证区进行策略预验证，因数据验证区服务器配置为低配虚拟机，与生产环境硬件配置差异较大，所以需要较大人力协助才能完成测试工作。
7.4、催收系统数据验证区当前服务器硬件配置与生产环境差异较大，一些重要架构升级进行性能测试之前需要立项申请poc临时硬件资源进行测试，影响整个测试流程的效率。


技术实现要素：

8.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高测试效率、降低人力消耗的基于准生产环境的生产回放验证方法及存储介质。
9.本发明的目的可以通过以下技术方案来实现：
10.一种基于准生产环境的生产回放验证方法，该方法运行于一仿真实验室中，所述仿真实验室为按照实际生产配置1：1搭建获得，所述方法包括以下步骤：
11.选取生产环境数据，所述生产环境数据包括生产环境中时间点a和时间点b的数据库切片、时间点a的批量文件以及a、b时间段内的交易报文；
12.基于所述生产环境数据进行联机模拟回放或批量模拟回放，获得模拟回放数据切片；
13.将所述模拟回放数据切片与所述时间点b的数据库切片进行比对验证。
14.进一步地，采用异步存储方式获得所述交易报文。
15.进一步地，所述异步存储方式具体为：
16.在生产环境中添加报文拦截，拦截获得的报文通过mq异步方式存储于磁盘上，并在接收到指定位置数据请求时传送对应数据。
17.进一步地，所述联机模拟回放具体包括：
18.接收所述交易报文，通过报文模拟器生成模拟报文，将所述模拟报文通过模拟网关传入测试微服务模块，获得模拟回放数据切片。
19.进一步地，所述报文模拟器依次对所述交易报文进行报文筛选和报文转换后，发送至所述模拟网关。
20.进一步地，所述批量模拟回放具体包括：
21.获取时间点a的数据库切片和时间点a的批量文件，同步至数据验证区，执行批处理，得到模拟回放数据切片。
22.进一步地，该方法还包括：
23.基于比对验证结果，更新待部署的业务策略。
24.进一步地，该方法还包括：
25.通过策略模拟验证方式判断更新后的业务策略是否适用，所述策略模拟验证具体包括：
26.获取时间点a的数据库切片和时间点a的批量文件，同步至数据验证区，执行催收批处理，并基于所述更新后的业务策略获得决策结果。
27.进一步地，通过自动化验证脚本实现所述模拟回放数据切片与所述时间点b的数据库切片的比对验证。
28.本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于准生产环境的生产回放验证方法的指令。
29.与现有技术相比，本发明具有以下有益效果：
30.1、本发明使用一按照实际生产配置1：1搭建的仿真实验室进行模拟回放测试，方便实现更高效的测试结果，大大减少人力成本。经测试，人力成本可由200人月下降至1人月。
31.2、通过升级催收系统数据验证区服务器资源配置，提升blaze策略预验证效率，人力成本由7人天下降至2人天。
32.3、通过升级催收系统数据验证区服务器资源配置，后续催收系统性能测试工作可部署至数据验证区进行，确保性能测试指标真实以及准确性。
附图说明
33.图1为本发明的总体原理示意图；
34.图2为本发明联机模拟回放过程示意图；
35.图3为本发明批量模拟回放过程示意图；
36.图4为本发明策略模拟验证过程示意图。
具体实施方式
37.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案
为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
38.实施例1
39.如图1所示，本实施例提供一种基于准生产环境的生产回放验证方法，该方法运行于一仿真实验室中，所述仿真实验室为按照实际生产配置1：1搭建获得，所述方法包括以下步骤：选取生产环境数据，所述生产环境数据包括生产环境中时间点a和时间点b的数据库切片、时间点a的批量文件以及a、b时间段内的交易报文；基于所述生产环境数据进行联机模拟回放或批量模拟回放，获得模拟回放数据切片；将所述模拟回放数据切片与所述时间点b的数据库切片进行比对验证。在具体实施方式中，可通过自动化验证脚本实现所述模拟回放数据切片与所述时间点b的数据库切片的比对验证。
40.如图2所示，在联机模拟回放过程中，采用异步存储方式获得所述交易报文。所述异步存储方式具体为：
41.在生产环境中添加报文拦截，拦截获得的报文通过mq异步方式存储于磁盘上，并在接收到指定位置数据请求时传送对应数据。
42.如图2所示，基于上述异步获取数据的联机模拟回放具体为：
43.在实际生产系统中，全部联机报文都会通过三大网关(内网网关、互联网网关和api网关)发送到后台服务，当需要进行模拟回放时，在系统中打开开关，指定记录报文的时间段，利用异步存储，在不影响生产交易的情况下，将实际生产发生的交易以报文的形式做持久化。通过文传将文件传输到模拟回放环境，模拟回放环境以生产环境异步报文持久化开始前的时间点作为铺底数据，待异步报文在模拟回放环境进行回放后，将该环境的结果与生产环境报文持久化后时间点的数据进行比对验证。具体地，模拟回放环境接收异步存储的交易报文，通过报文模拟器生成模拟报文，可以方便的利用模拟回放环境的生产数据的丰富性，将所述模拟报文通过模拟网关传入测试微服务模块，获得模拟回放数据切片。
44.其中，模拟网关与前文所述三大网关相同。报文模拟器依次对所述交易报文进行报文筛选和报文转换后，发送至所述模拟网关。
45.如图3所示，批量模拟回放具体包括：
46.获取时间点a的数据库切片和时间点a的批量文件，同步至数据验证区，执行批处理，得到模拟回放数据切片。
47.优选地，可在做批量模拟回放之前，将催收系统生产全库备份切片同步到模拟回放环境。
48.上述方法通过仿真实验室以更真实地模拟实际生产环境，形成一种准生产环境，可以有效提高测试效率。
49.实施例2
50.本实施例提供的基于准生产环境的生产回放验证方法中，还包括：基于比对验证结果，更新待部署的业务策略。
51.进一步地，该方法还可以对更新的业务策略进行验证，可通过策略模拟验证方式判断更新后的业务策略是否适用，所述策略模拟验证具体包括：获取时间点a的数据库切片和时间点a的批量文件，同步至数据验证区，执行催收批处理，并基于所述更新后的业务策略获得决策结果。
52.上述方法可以方便的利用模拟回放环境的生产数据的丰富性，并利用生产交易报文，在催收模拟回放环境进行批量、联机、策略等功能的验证，降低催收系统的功能、策略投产的风险。
53.上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
54.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。