批量数据入库方法、装置、计算机设备及存储介质与流程

本发明涉及数据存储，尤其揭露了一种批量数据入库方法、装置、计算机设备及存储介质。

背景技术：

1、目前为了提高性能，充分利用数据库连接池，所以选择了批量入库数据，但是在一些应用场景里面，无法批量入库,因为需要入库的数据还依赖于其他数据的主键，而其他数据也是批量的形式，要想使用其他的主键必须等到入库后才能得到，并且得到后还不方便重新映射回来之前的数据关系，此时在大数据情况下，通过这种方式做数据库交互的话，很容易出现接口超时，性能变慢等的问题；

2、现有技术使用uuid或者各种分布式id的获取方法，放弃通过表的主键id来维护关系，而采用多增加一个uuid字段的方式来维护这种多对多的关系，并且同时均要求入库的需求；但会存在以下方面：需要额外在表中增加一个字段；由于两张表存在较强的关联关系，所以关联查询的场景很多，使用uuid类型的字段查询性能较差，占用索引空间较多，降低了查询速度；对于一些历史数据，还必须考虑到历史数据清洗的过程；

3、因此，本领域技术人员亟需寻找一种新的技术方案来解决上述的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种批量数据入库方法、装置、计算机设备及存储介质，在批量数据入库的过程中，无需增加额外的字段，提高批量数据的查询速度，无需考虑历史数据清洗的问题。

2、一种批量数据入库方法，所述方法包括：

3、在预设数据库接收到批量数据的入库操作请求时，将所述批量数据中部分批量数据对应的第一主键id写入至预设队列；

4、通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id，并将带有所述第二主键id的批量数据存储至所述预设数据库。

5、一种批量数据入库装置，所述装置包括：

6、写入模块，用于在预设数据库接收到批量数据的入库操作请求时，将所述批量数据中部分批量数据对应的第一主键id写入至预设队列；

7、存储模块，用于通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id，并将带有所述第二主键id的批量数据存储至所述预设数据库。

8、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述一种批量数据入库方法。

9、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种批量数据入库方法。

10、上述批量数据入库方法、装置、计算机设备及存储介质，属于数据存储领域，在预设数据库接收到批量数据的入库操作请求时，将所述批量数据中部分批量数据对应的第一主键id写入至预设队列；通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id，并将带有所述第二主键id的批量数据存储至所述预设数据库；通过第一主键id形成第二主键id，不用额外地新增一个字段，对历史数据或者老系统的升级改造比较友好；部分批量数据中的数据表跟批量数据中的数据表之间的关系还是依赖主键id，以在做关联查询的时候可提高性能，并且建立索引的时候也可以很好的节省空间，提高索引的命中速度，也即提高查询速度；更多的场景是为了在批量数据上新增主键id，并用于批量数据的入库，所以不必考虑不停服情况下数据清洗以及备份过程中的数据兼容问题。

技术特征：

1.一种批量数据入库方法，其特征在于，所述方法包括：

2.根据权利要求1所述的批量数据入库方法，其特征在于，所述将所述批量数据中部分批量数据对应的第一主键id写入至预设队列，包括：

3.根据权利要求1所述的批量数据入库方法，其特征在于，所述通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id之前，还包括：

4.根据权利要求1所述的批量数据入库方法，其特征在于，所述通过所述预设队列中第一主键id形成与所述批量数据对应的第二主键id，包括：

5.根据权利要求4所述的批量数据入库方法，其特征在于，所述在所述第一主键id进行赋值，形成所述批量数据中的第二主键id，包括：

6.根据权利要求1所述的批量数据入库方法，其特征在于，所述将带有所述第二主键id的第二批量数据存储至所述预设数据库之后，还包括：

7.根据权利要求1所述的批量数据入库方法，其特征在于，所述方法，还包括：

8.一种批量数据入库装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述一种批量数据入库方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述一种批量数据入库方法。

技术总结
本发明涉及数据存储技术领域，提供了一种批量数据入库方法、装置、计算机设备及存储介质，所述方法包括：在预设数据库接收到批量数据的入库操作请求时，将所述批量数据中部分批量数据对应的第一主键I D写入至预设队列；通过所述预设队列中第一主键I D形成与所述批量数据对应的第二主键I D，并将带有所述第二主键I D的批量数据存储至所述预设数据库。本发明能够在批量数据入库的过程中，无需增加额外的字段，提高批量数据的查询速度，无需考虑历史数据清洗的问题。

技术研发人员：周和兵
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：
技术公布日：2024/3/24