一种数据处理方法及系统与流程

本申请属于计算机领域，具体涉及一种数据处理方法及系统。

背景技术：

1、随着信息技术的不断发展，待处理分类的数据也越来越多，如保险领域，在保险公司内部的财务核算过程中，需要将各项业务交易的原始凭证，按照会计原则和会计规范进行分类、分录、审核、调整和汇总，最终形成会计凭证，以反映公司的财务状况和经营成果。

2、以保险行业为例，相关技术往往采用oracle数据库，通过一种由一系列的sql语句和pl/sql代码组成的预编译的程序进行存储，按照会计原则和会计规范进行分类合并汇总所有数据。

3、由于直接通过oracle数据库处理所有数据，容易存在效率较低的问题。

技术实现思路

1、本申请实施例提供一种数据处理方法及系统，能够解决相关技术中存在的效率较低的问题。

2、第一方面，本申请实施例提供了一种数据处理方法，该方法包括：

3、获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；

4、在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；

5、在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目n；

6、根据目标分类规则，所述待处理数据分类为n批数据；

7、对所述n批数据并行执行处理操作，得到处理结果。

8、第二方面，本申请实施例提供了一种数据处理系统，包括：获取模块、判断模块以及处理模块；

9、获取模块，用于获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；

10、判断模块，用于在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；

11、处理模块，用于在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目n；根据目标分类规则，所述待处理数据分类为n批数据；对所述n批数据并行执行处理操作，得到处理结果。

12、在本申请实施例中，获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目n；根据目标分类规则，所述待处理数据分类为n批数据；对所述n批数据并行执行处理操作，得到处理结果。如此，通过将待处理任务数据的数据量与阈值进行判断，在所述待处理数据的数据量大于阈值的情况下，根据目标分类规则，将所述待处理数据分类为n批数据，并对所述n批数据并行执行处理操作得到操作结果。通过将所述待处理数据进行分类，并对n批数据并行处理，解决了相关技术直接通过oracle数据库处理所有数据，容易存在效率较低的问题。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法由第一actor计算单元执行，在所述判断所述待处理任务数据的数据量是否大于阈值之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述获取待处理任务数据的凭证分组代码包括：

4.根据权利要求1项所述的方法，其特征在于，所述待处理任务数据为保险领域的会计任务数据；所述根据目标分类规则，所述待处理数据分类为n批数据，包括：

5.根据权利要求4所述的方法，其特征在于，在所述将所述会计任务数据分类为n批数据之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述n批数据并行执行处理操作，得到处理结果，包括：

7.根据权利要求6所述的方法，其特征在于，所述对所述n批数据并行执行处理操作，得到处理结果，还包括：

8.根据权利要求2所述的方法，其特征在于，所述第一actor计算单元设置有状态存储器，所述状态存储器用于存储所述第一actor计算单元的状态信息；所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述对所述n批数据并行执行处理操作，得到处理结果，包括：

10.一种数据处理系统，其特征在于，包括：

技术总结
本申请公开了一种数据处理方法及系统，属于计算机领域。所述数据处理方法包括：获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目N；根据目标分类规则，所述待处理数据分类为N批数据；对所述N批数据并行执行处理操作，得到处理结果。

技术研发人员：李凯,宋磊
受保护的技术使用者：人保信息科技有限公司
技术研发日：
技术公布日：2024/1/15