数据批量处理系统、方法、设备和存储介质与流程

本发明涉及计算机应用，更为具体而言，涉及一种数据批量处理系统、方法、设备和存储介质。

背景技术：

1、基于公司业务发展，接入他核算外部渠道，需要将外部核算系统的账务数据转化成自核算账务数据。然而，每个外部渠道的账务数据千差万别，每个渠道单独接入，个性化开发，存在效率低下、易出错等问题。因此，需要一种更高效、准确的批量迁移系统、设备及方法。

技术实现思路

1、为解决上述现有技术存在的问题或至少部分问题，本发明实施方式提供了一种数据批量处理系统、方法、设备和存储介质，通过自动化的方式并行获取各个渠道提供的数据文件后进行压缩和解压缩、分批导入第一数据库中，然后将转换后的标准格式数据存储至第二数据库中并生成目标数据，能够将各个渠道提供的数据文件高效地从第一数据库批量迁移至第二数据库，并降低人为错误，同时保证数据准确性和完整性。

2、根据本发明的第一方面，本发明实施方式提供了一种数据批量处理系统，其包括：数据加载模块，用于并行获取各渠道提供的数据文件，并将文件大小大于设定阈值的所述数据文件拆分为多个组分文件，以及将未拆分的数据文件和拆分后的所述多个组分文件分别压缩后并发导入多个服务实例中；所述数据加载模块还用于使所述多个服务实例对所述压缩后的未拆分的数据文件和拆分后的多个组分文件进行解压缩，并将解压缩后的未拆分的数据文件和拆分后的多个组分文件分批加载至第一数据库中；数据转换模块，用于根据预设数据格式将所述第一数据库中的存储数据转换为标准格式数据；数据存储模块，用于将所述标准格式数据存储到第二数据库中并生成目标数据。

3、根据本发明上述实施方式，通过数据加载模块并行获取各个渠道提供的数据文件并拆分压缩后并发导入多个服务实例中进行解压并分批加载至第一数据库中，然后通过数据转换模块和数据存储模块将第一数据库中的存储数据转换为标准格式数据后存储至第二数据库中并生成目标数据，能够将各个渠道提供的数据文件自动化从第一数据库批量迁移至第二数据库，从而避免各渠道单独处理，大幅提高数据迁移效率，并降低人为错误。同时，数据转换模块通过将数据转换为标准格式数据能够保证数据准确性，避免数据不匹配的问题。

4、在本发明的一些实施方式中，所述各渠道将所述数据文件压缩后存放至sftp服务器中，所述并行获取各渠道提供的数据文件包括：采用多线程模式从所述sftp服务器中下载所述压缩后的数据文件至本地后解压得到所述各渠道提供的数据文件。

5、在本发明的一些实施方式中，所述第一数据库为他核算账务数据库，所述第二数据库为自核算账务数据库。

6、在本发明的一些实施方式中，所述将所述标准格式数据存储到第二数据库中并生成目标数据包括：将所述标准格式数据保存至所述自核算账务数据库中的放款流水临时表、还款流水临时表和还款计划临时表中；将所述放款流水临时表、还款流水临时表和还款计划临时表中的标准格式数据根据交易处理流程生成自核算数据。

7、根据本发明的第二方面，本发明实施方式提供了一种数据批量处理方法，其包括：并行获取各渠道提供的数据文件，并将文件大小大于设定阈值的所述数据文件拆分为多个组分文件，以及将未拆分的数据文件和拆分后的所述多个组分文件分别压缩后并发导入多个服务实例中；所述多个服务实例对所述压缩后的未拆分的数据文件和拆分后的多个组分文件进行解压缩，并将解压缩后的未拆分的数据文件和拆分后的多个组分文件分批加载至第一数据库中；根据预设数据格式将所述第一数据库中的存储数据转换为标准格式数据；将所述标准格式数据存储到第二数据库中并生成目标数据。

8、根据本发明上述实施方式，通过自动并行获取各个渠道提供的数据文件并拆分压缩后并发导入多个服务实例中进行解压并分批加载至第一数据库中，然后自动将第一数据库中的存储数据转换为标准格式数据后存储至第二数据库中并生成目标数据，能够将各个渠道提供的数据文件自动化从第一数据库批量迁移至第二数据库，从而避免各渠道单独处理，大幅提高数据迁移效率，并降低人为错误。同时，将数据转换为标准格式数据能够保证数据准确性，避免数据不匹配的问题。

9、在本发明的一些实施方式中，所述各渠道将所述数据文件压缩后存放至sftp服务器中，所述并行获取各渠道提供的数据文件包括：采用多线程模式从所述sftp服务器中下载所述压缩后的数据文件至本地后解压得到所述各渠道提供的数据文件。

10、在本发明的一些实施方式中，所述第一数据库为他核算账务数据库，所述第二数据库为自核算账务数据库。

11、在本发明的一些实施方式中，所述将所述标准格式数据存储到第二数据库中并生成目标数据包括：将所述标准格式数据保存至所述自核算账务数据库中的放款流水临时表、还款流水临时表和还款计划临时表中；将所述放款流水临时表、还款流水临时表和还款计划临时表中的标准格式数据根据交易处理流程生成自核算数据。

12、根据本发明的第三方面，本发明实施方式提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述数据批量处理方法所包含的步骤。

13、根据本发明的第四方面，本发明实施方式提供一种包括存储器和处理器的计算机设备，所述存储器用于存储一条或多条计算机可读指令，其中，所述一条或多条计算机可读指令被所述处理器执行时能够实现如上任意一种实施方式所述的数据批量处理方法。

14、由上述可知，实施本发明提供的数据批量处理系统、方法、设备和存储介质，通过自动并行获取各个渠道提供的数据文件并拆分压缩后并发导入多个服务实例中进行解压并分批加载至第一数据库中，然后自动将第一数据库中的存储数据转换为标准格式数据后存储至第二数据库中并生成目标数据，能够将各个渠道提供的数据文件自动化从第一数据库批量迁移至第二数据库，从而避免各渠道单独处理，大幅提高数据迁移效率，并降低人为错误。同时，将数据转换为标准格式数据能够保证数据准确性，避免数据不匹配的问题。

技术特征：

1.一种数据批量处理系统，其特征在于，所述系统包括：

2.如权利要求1所述的系统，其特征在于，所述各渠道将所述数据文件压缩后存放至sftp服务器中，

3.如权利要求1所述的系统，其特征在于，所述第一数据库为他核算账务数据库，所述第二数据库为自核算账务数据库。

4.如权利要求3所述的系统，其特征在于，所述将所述标准格式数据存储到第二数据库中并生成目标数据包括：

5.一种数据批量处理方法，其特征在于，所述方法包括：

6.如权利要求5所述的方法，其特征在于，所述各渠道将所述数据文件压缩后存放至sftp服务器中，

7.如权利要求5所述的方法，其特征在于，所述第一数据库为他核算账务数据库，所述第二数据库为自核算账务数据库。

8.如权利要求7所述的方法，其特征在于，所述将所述标准格式数据存储到第二数据库中并生成目标数据包括：

9.一种计算机可读存储介质，所述计算机可读存储介质储存计算机可读指令，其特征在于，所述计算机可读指令由处理器执行以实现如权利要求5-8中任一项所述的数据批量处理方法。

10.一种计算机设备，其包括存储器和处理器，

技术总结
本发明提供了一种数据批量处理系统、方法、设备和存储介质。所述系统包括：数据加载模块，用于并行获取各渠道提供的数据文件，并将文件大小大于设定阈值的数据文件进行拆分并压缩后并发导入多个服务实例中，以及使多个服务实例对数据文件进行解压缩后分批加载至第一数据库中；数据转换模块，用于根据预设数据格式将第一数据库中的存储数据转换为标准格式数据；数据存储模块，用于将标准格式数据存储到第二数据库中并生成目标数据。采用本发明的上述系统，可以将各个渠道提供的数据文件高效地从第一数据库批量迁移至第二数据库，并降低人为错误，同时保证数据准确性和完整性。

技术研发人员：闫晶峰,李知非
受保护的技术使用者：河北幸福消费金融股份有限公司
技术研发日：
技术公布日：2024/3/11