数据存储方法、装置、介质及设备与流程

本申请涉及电子通信，尤其涉及一种数据更新，特别涉及一种数据存储方法、装置、介质及设备。

背景技术：

1、银行目前存在这样的业务场景，通过配置业务命中规则，对实时消息进行判断，如果客户命中规则则判定用户命中该事件，并将事件的编码、客户号及命中时间存储到数据库中，以提供查询服务。目前银行一般会选择elasticsearch(分布式搜索和分析引擎)作为存储工具，但随着业务量的增加，业务配置的事件、客户命中数据及数据更新频率也跟着增加，导致数据库压力骤增，致使数据库的数据维护成本上升。

技术实现思路

1、本申请实施例提供一种数据存储方法、装置、介质及设备，利用本申请实施例提供的数据存储方法，通过预先给每个业务方配置一个独立的mongodb数据库，利用批量消费同时处理多条数据，然后根据每条数据自带的业务方标签分类后写入对应的mongodb数据库中，再进一步写入对应的数据表。不仅能够增大数据处理的吞吐量，还能够每个业务方存储的数据是隔离的，当其中一个业务方对应的mongodb数据库出现问题时，不会影响其他业务方的mongodb数据库正常使用，同时可以减轻数据库的存储压力。

2、本申请实施例一方面提供了一种数据存储方法，所述数据存储方法包括：

3、监听命中预设规则的目标业务数据；

4、判断所述目标业务数据是否在预设时间段内首次产生；

5、将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据；

6、获取所述待写入数据携带的业务方标签；

7、根据所述业务方标签查找对应的数据库地址；

8、根据所述数据库地址，将所述待写入数据写入对应的目标数据库。

9、在本申请实施例所述的数据存储方法中，所述根据所述数据库地址，将所述待写入数据写入对应的目标数据库，包括：

10、将所述待写入数据推送至rocketmq，由所述rocketmq根据所述数据库地址，将所述待写入数据进行批量写入对应的目标数据库。

11、在本申请实施例所述的数据存储方法中，在所述将所述待写入数据写入对应的目标数据库之后，所述方法还包括：

12、获取与所述待写入数据携带的业务方标签对应的数据表地址；

13、根据所述数据表地址，将所述待写入数据写入所述目标数据库中对应的目标数据表。

14、在本申请实施例所述的数据存储方法中，每个所述数据库中包括至少两个数据表，所述至少两个数据表分别用于存储不同写入时间段的业务数据；

15、所述将所述待写入数据写入所述目标数据库中对应的目标数据表，包括：

16、根据所述待写入数据写入时刻所属的时间段写入对应的目标数据表。

17、在本申请实施例所述的数据存储方法中，在所述得到计算结果之后，所述方法还包括：

18、接收针对目标数据表的移除请求；

19、获取所述移除请求中包含的数据表编号；

20、将与所述数据表编号对应的目标数据表从数据库中移除。

21、在本申请实施例所述的数据存储方法中，所述数据库为mongodb数据库。

22、相应的，本申请实施例另一方面还提供了一种数据存储装置，所述数据存储装置包括：

23、数据监听模块，用于监听命中预设规则的目标业务数据；

24、数据判断模块，用于判断所述目标业务数据是否在预设时间段内首次产生；

25、数据确定模块，用于将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据；

26、数据获取模块，用于获取所述待写入数据携带的业务方标签；

27、数据查找模块，用于根据所述业务方标签查找对应的数据库地址；

28、数据写入模块，用于根据所述数据库地址，将所述待写入数据写入对应的目标数据库。

29、在本申请实施例所述的数据存储装置中，所述数据写入模块，用于将所述待写入数据推送至rocketmq，由所述rocketmq根据所述数据库地址，将所述待写入数据进行批量写入对应的目标数据库。

30、相应的，本申请实施例另一方面还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如上所述的数据存储方法。

31、相应的，本申请实施例另一方面还提供了一种终端设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行如上所述的数据存储方法。

32、本申请实施例提供了一种数据存储方法、装置、介质及设备，该方法通过监听命中预设规则的目标业务数据；判断所述目标业务数据是否在预设时间段内首次产生；将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据；获取所述待写入数据携带的业务方标签；根据所述业务方标签查找对应的数据库地址；根据所述数据库地址，将所述待写入数据写入对应的目标数据库。利用本申请实施例提供的数据存储方法，通过预先给每个业务方配置一个独立的mongodb数据库，利用批量消费同时处理多条数据，然后根据每条数据自带的业务方标签分类后写入对应的mongodb数据库中，再进一步写入对应的数据表。不仅能够增大数据处理的吞吐量，还能够每个业务方存储的数据是隔离的，当其中一个业务方对应的mongodb数据库出现问题时，不会影响其他业务方的mongodb数据库正常使用，同时可以减轻数据库的存储压力。

技术特征：

1.一种数据存储方法，其特征在于，包括：

2.如权利要求1所述的数据存储方法，其特征在于，所述根据所述数据库地址，将所述待写入数据写入对应的目标数据库，包括：

3.如权利要求1所述的数据存储方法，其特征在于，在所述将所述待写入数据写入对应的目标数据库之后，所述方法还包括：

4.如权利要求3所述的数据存储方法，其特征在于，每个所述数据库中包括至少两个数据表，所述至少两个数据表分别用于存储不同写入时间段的业务数据；

5.如权利要求4所述的数据存储方法，其特征在于，所述方法还包括：

6.如权利要求1所述的数据存储方法，其特征在于，所述数据库为mongodb数据库。

7.一种数据存储装置，其特征在于，所述数据存储装置包括：

8.如权利要求7所述的数据存储装置，其特征在于，所述数据写入模块，用于将所述待写入数据推送至rocketmq，由所述rocketmq根据所述数据库地址，将所述待写入数据进行批量写入对应的目标数据库。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至6任一项所述的数据存储方法。

10.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行权利要求1至6任一项所述的数据存储方法。

技术总结
本申请实施例提供一种数据存储方法、装置、介质及设备，该方法包括：监听命中预设规则的目标业务数据；判断目标业务数据是否在预设时间段内首次产生；将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据；获取待写入数据携带的业务方标签；根据业务方标签查找对应的数据库地址；根据数据库地址将待写入数据写入对应的目标数据库。本申请通过预先给每个业务方配置一个独立的数据库，根据每条数据自带的业务方标签分类后写入对应的数据库中。不仅能够增大数据处理的吞吐量，还能够每个业务方存储的数据是隔离的，当其中一个业务方对应的数据库出现问题时，不会影响其他业务方的数据库正常使用。

技术研发人员：钱玉森
受保护的技术使用者：平安银行股份有限公司
技术研发日：
技术公布日：2024/1/13