数据存储方法、装置及电子设备与流程

本发明涉及计算机，具体而言，涉及一种数据存储方法、装置及电子设备。

背景技术：

1、随着资产托管平台内的组合基金(简称：组合)数量的逐渐增多，与之对应的组合收益率结果更是呈倍数级上升。将所有数据存储于集中式数据库中面临着数据流量过大或是数据库发生系统故障时引起对数据破坏的风险。

2、为了规避此类问题，在现有技术中，通常采用分布式数据库。此方法优势在于让数据能够分布在不同的物理位置，目前通常采用哈希的分布式存储方法，例如简单哈希算法和一致性哈希算法，这两种方法的优势是一但部分节点失效，只需要对这些节点存储的部分数据移动至去除某失效节点的下一个有效节点，具有良好的可扩展性与容错性。

3、虽然简单哈希法和一致性哈希法在对大量组合进行分区存储时具有简单、快速的优点，但是主节点在确定将某组合收益结果存储在某一节点时，并不会考虑该节点的本身状态或其他因素。并且当节点较少时，会因节点的分布不均而产生数据倾斜，并且无法从历史存储信息中改进存储方法提升效率。

4、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种数据存储方法、装置及电子设备，以至少解决现有技术中在数据存储时存在的节点数据量分布不均的技术问题。

2、根据本发明实施例的一个方面，提供了一种数据存储方法，包括：获取多个存储节点的节点信息，其中，节点信息至少包括多个存储节点的参数信息、数据存储量信息以及状态信息，多个存储节点用于存储数据；基于目标模型对多个存储节点的节点信息进行处理，得到每个存储节点的存储概率值，其中，目标模型是基于多个存储节点的历史节点信息以及当前节点信息进行训练得到的，每个存储节点的存储概率值表征每个存储节点的数据存储量；基于每个存储节点的存储概率值从多个存储节点中确定目标存储节点；将待存储数据存储至目标存储节点中。

3、进一步地，在获取多个存储节点的节点信息之后，基于多个存储节点的节点信息确定每个存储节点的数据存储量；计算多个存储节点的数据存储量的方差，得到第一方差值。

4、进一步地，在将待存储数据存储至目标存储节点中之后，获取多个存储节点的当前数据存储量；计算多个存储节点的当前数据存储量的方差，得到第二方差值；计算第一方差值和第二方差值的差值，得到回报值，其中，回报值表征多个存储节点的数据存储波动量。

5、进一步地，在将待存储数据存储至目标存储节点中之前，方法还包括：步骤1，检测待存储数据是否成功存储至目标存储节点中；步骤2，若待存储数据未成功存储至目标存储节点中，确定负反馈值，并计算负反馈值与回报值之和，得到目标回报值，并重复执行步骤1-步骤2，直至待存储数据成功存储至目标存储节点中，或在未成功存储的次数大于第一预设阈值时，将待存储数据存储至候选存储节点中，其中，候选存储节点为多个存储节点中数据存储量大于或等于第二预设阈值的存储节点，目标回报值用于更新目标模型，负反馈值与未成功存储的次数呈正相关。

6、进一步地，在将待存储数据存储至目标存储节点中之后，检测第一缓存区中经验数据的数量是否大于或等于第三预设阈值，其中，经验数据为多个存储节点的历史节点信息、当前节点信息以及目标回报值；在经验数据的数量大于第二预设阈值时，将经验数据发送至计算节点，并清理第一缓存区中的经验数据，其中，计算节点用于训练目标模型。

7、进一步地，在经验数据的数量大于第二预设阈值时，将经验数据发送至计算节点，包括：监控计算节点的运行状态；在计算节点处于计算状态时，将经验数据存储至第二缓存区中；在计算节点处于计算完成状态时，将经验数据存储至经验回放池中，其中，经验回放池用于存储目标模型的更新数据。

8、进一步地，目标模型通过如下步骤更新：基于计算节点获取模型更新参数；基于模型更新参数更新目标模型。

9、进一步地，在基于计算节点获取模型更新参数之前，基于计算节点获取预设数量的经验数据；基于预设数量的经验数据确定目标模型的目标函数；基于目标函数确定模型更新参数，其中，模型更新参数为训练后的目标模型的模型参数。

10、根据本发明实施例的另一方面，还提供了一种数据存储装置，包括：获取模块，用于获取多个存储节点的节点信息，其中，节点信息至少包括多个存储节点的参数信息、数据存储量信息以及状态信息，多个存储节点用于存储数据；处理模块，用于基于目标模型对多个存储节点的节点信息进行处理，得到每个存储节点的存储概率值，其中，目标模型是基于多个存储节点的历史节点信息以及当前节点信息进行训练得到的，每个存储节点的存储概率值表征每个存储节点的数据存储量；确定模块，用于基于每个存储节点的存储概率值从多个存储节点中确定目标存储节点；存储模块，用于将待存储数据存储至目标存储节点中。

11、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的数据存储方法。

12、根据本发明实施例的另一方面，还提供了一种电子设备，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的数据存储方法。

13、根据本发明实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述的数据存储方法。

14、在本发明实施例中，采用基于目标模型从多个存储节点中确定目标存储节点进行数据存储的方式，首先通过获取多个存储节点的节点信息，其中，节点信息至少包括多个存储节点的参数信息、数据存储量信息以及状态信息，多个存储节点用于存储数据；其次基于目标模型对多个存储节点的节点信息进行处理，得到每个存储节点的存储概率值，其中，目标模型是基于多个存储节点的历史节点信息以及当前节点信息进行训练得到的，每个存储节点的存储概率值表征每个存储节点的数据存储量；然后基于每个存储节点的存储概率值从多个存储节点中确定目标存储节点；最后将待存储数据存储至目标存储节点中。

15、在上述过程中，通过基于目标模型对多个存储节点的节点信息进行处理来确定存储待存储数据的目标存储节点，使数据能够均匀的分布在每个存储节点，从而解决了在数据存储时存在的节点数据量分布不均的问题；此外，目标模型是基于多个存储节点的历史节点信息以及当前节点信息进行训练得到的，能够根据多个存储节点的数据存储程度来更新目标模型，提高了模型处理数据的精度，从而提高确定目标存储节点的准确率。

16、由此可见，本申请所提供的方案达到了基于目标模型从多个存储节点中确定目标存储节点进行数据存储的目的，从而实现了在数据存储时使节点数据量分布均匀的技术效果，进而解决了现有技术中在数据存储时存在的节点数据量分布不均技术问题。

技术特征：

1.一种数据存储方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在获取多个存储节点的节点信息之后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，在将待存储数据存储至所述目标存储节点中之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，在将待存储数据存储至所述目标存储节点中之前，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，在将待存储数据存储至所述目标存储节点中之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，在所述经验数据的数量大于所述第二预设阈值时，将所述经验数据发送至计算节点，包括：

7.根据权利要求6所述的方法，其特征在于，所述目标模型通过如下步骤更新：

8.根据权利要求7所述的方法，其特征在于，在基于所述计算节点获取模型更新参数之前，所述方法还包括：

9.一种数据存储装置，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至8任一项中所述的数据存储方法。

11.一种电子设备，其特征在于，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现用于运行程序，其中，所述程序被设置为运行时执行权利要求1至8任一项中所述的数据存储方法。

12.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至8中任一项所述的数据存储方法。

技术总结
本发明公开了一种数据存储方法、装置及电子设备。涉及计算机技术领域，该方法包括：获取多个存储节点的节点信息，其中，节点信息至少包括多个存储节点的参数信息、数据存储量信息以及状态信息，多个存储节点用于存储数据；基于目标模型对多个存储节点的节点信息进行处理，得到每个存储节点的存储概率值，其中，目标模型是基于多个存储节点的历史节点信息以及当前节点信息进行训练得到的，每个存储节点的存储概率值表征每个存储节点的数据存储量；基于每个存储节点的存储概率值从多个存储节点中确定目标存储节点；将待存储数据存储至目标存储节点中。本发明解决了现有技术中在数据存储时存在的节点数据量分布不均的技术问题。

技术研发人员：胡宏炜,吴佳俊,潘恩宇,王毅
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/12