数据处理方法、装置、计算机设备及存储介质与流程

本发明涉及数据处理，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术：

1、在日常的测试工作中，当服务架构升级或重构时，需要验证原始接口逻辑，对原有的多个接口做回归测试。而对于业务逻辑复杂的场景，每个迭代版本都需要大量的时间用于回归测试，编写自动化用例时复杂场景造数麻烦，日常自动化维护成本高，同时构造模拟数据麻烦。

2、现有技术方案中的流量回放技术需要提前预埋、流量无法自由筛选、不支持单步调试，因此现有技术的准确率较低。

技术实现思路

1、本发明提供了一种数据处理方法、装置、计算机设备及存储介质，用于提高基于快照流量回放的准确率。

2、本发明第一方面提供了一种数据处理方法，所述数据处理方法包括：

3、对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

4、对所述操作数据集合进行操作类型分析，得到多个操作类型；

5、基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表；

6、对每个所述操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个所述数据快照表的id信息；

7、将每个所述操作类型的业务状态表以及多个所述数据快照表同步至预置的测试环境；

8、基于每个所述数据快照表的id信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库；

9、基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据；

10、通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告。

11、本发明第二方面提供了一种数据处理装置，所述一种数据处理装置包括：

12、采集模块，用于对预置的目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；

13、分析模块，用于对所述操作数据集合进行操作类型分析，得到多个操作类型；

14、抽取模块，用于基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表；

15、构建模块，用于对每个所述操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个所述数据快照表的id信息；

16、同步模块，用于将每个所述操作类型的业务状态表以及多个所述数据快照表同步至预置的测试环境；

17、还原模块，用于基于每个所述数据快照表的id信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库；

18、模拟模块，用于基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据；

19、比对模块，用于通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告。

20、本发明第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述一种计算机设备执行上述的数据处理方法。

21、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据处理方法。

22、本发明提供的技术方案中，对目标服务器的生产环境进行实时操作数据采集，得到操作数据集合；对操作数据集合进行操作类型分析，得到多个操作类型；基于每个操作类型对操作数据集合进行数据抽取，得到每个操作类型的业务状态表；对每个操作类型的业务状态表进行快照表构建，得到多个数据快照表，并生成每个数据快照表的id信息；将每个操作类型的业务状态表以及多个数据快照表同步至测试环境；基于每个数据快照表的id信息，通过快照回放工具以及多个数据快照表对在测试环境中的数据库进行数据还原，得到还原数据库；基于还原数据库，通过多个数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据；通过每个操作类型的业务状态表，对每个数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过数据比对结果生成目标测试报告。在本申请方案中，流量回放可以不用提前录制，流量回放支持单步调试，流量回放还可以支持按业务及特性按需筛选，同时，通过实时采集生产环境中的操作数据，可以获得真实的操作行为信息，而不仅仅依赖于静态数据。对采集的操作数据进行分析，能够帮助识别不同的操作类型，这对于理解系统用户行为和模拟测试非常关键。基于操作类型，可以从操作数据中抽取相关的信息，构建业务状态表，可以更好地理解每种操作类型的影响和需求。生成数据快照表并分配唯一的id信息，有助于在测试环境中还原数据库和进行模拟操作。业务状态表和数据快照表同步至测试环境，为测试提供了一个与生产环境相似的基础，以进行更真实的测试，通过还原数据库和模拟操作，可以在测试环境中模拟不同的操作类型和数据库状态，从而评估系统在各种情况下的性能和稳定性，以进一步提升数据处理方法的准确率。

技术特征：

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述操作数据集合进行操作类型分析，得到多个操作类型，包括：

3.根据权利要求1所述的数据处理方法，其特征在于，所述基于每个所述操作类型对所述操作数据集合进行数据抽取，得到每个所述操作类型的业务状态表，包括：

4.根据权利要求1所述的数据处理方法，其特征在于，所述基于每个所述数据快照表的id信息，通过预置的快照回放工具以及多个所述数据快照表对在所述测试环境中的数据库进行数据还原，得到还原数据库，包括：

5.根据权利要求4所述的数据处理方法，其特征在于，所述基于所述还原数据库，通过多个所述数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据，包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述基于所述数据库表数据以及所述数据库配置信息，通过预置的自动化脚本对多个所述待回放数据快照表进行用户操作行为模拟，得到每个所述数据快照表对应的模拟状态数据，包括：

7.根据权利要求1所述的数据处理方法，其特征在于，所述通过每个所述操作类型的业务状态表，对每个所述数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过所述数据比对结果生成目标测试报告，包括：

8.一种数据处理装置，其特征在于，所述数据处理装置包括：

9.一种计算机设备，其特征在于，所述一种计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的一种数据处理方法。

技术总结
本发明涉及数据处理技术领域，公开了一种数据处理方法、装置、计算机设备及存储介质。包括：对操作数据集合进行操作类型分析得到多个操作类型；进行数据抽取，得到每个操作类型的业务状态表；对每个操作类型的业务状态表进行快照表构建，得到多个数据快照表，生成每个数据快照表的ID信息；将每个操作类型的业务状态表及多个数据快照表同步至测试环境；对在测试环境中的数据库进行数据还原得到还原数据库；通过多个数据快照表进行用户操作行为模拟，得到每个数据快照表对应的模拟状态数据；对每个数据快照表对应的模拟状态数据进行数据比对，得到数据比对结果并通过数据比对结果生成目标测试报告，进而提高了基于快照流量回放的准确率。

技术研发人员：罗明亮,刘徽
受保护的技术使用者：盛业信息科技服务（深圳）有限公司
技术研发日：
技术公布日：2024/1/15