一种分布式对象存储集群中的信息处理方法及设备与流程

本发明涉及分布式对象存储集群，具体涉及一种分布式对象存储集群中的信息处理方法及设备。

背景技术：

1、随着信息技术的发展，各个行业的网络请求以及数据在迅猛增长。市场业务对存储系统的数据存储需求变得越来越多。

2、在对象存储领域中，相关技术可以记录存储桶的性能信息，并可以通过对存储桶的性能信息进行分析，对访问流量进行测量和分析，更好分析用户对存储集群的需求。

3、当前，相关信息在获取存储桶的性能信息后，是将性能信息随机放到某个分片对象上。在实际中，桶的数量级会达到几十万之多，性能信息数量级也会达到几十万个，可能导致数量庞大的性能信息随机分布在众多的分布对象上，信息管理困难。

技术实现思路

1、有鉴于此，本发明提供了一种分布式对象存储集群中的信息处理方法及设备，以解决数量庞大的性能信息随机分布在众多的分布对象上，信息管理困难的问题。

2、第一方面，本发明提供了一种分布式对象存储集群中的信息处理方法，应用于所述存储集群中的任一节点，所述方法包括：

3、在目标时段内获取多个存储桶的性能信息，并存储至本地缓存；其中，每个所述存储桶的性能信息是根据用户的桶访问请求对所述存储桶执行相应操作后，基于本次操作中的性能指标值得到；所述性能信息中包括用户名和桶名称；

4、当所述目标时段结束时，在所述本地缓存的所有性能信息中确定第一用户名和第一桶名称，并查找出所有第一性能信息；其中，所述第一性能信息中包括所述第一用户名和所述第一桶名称；

5、对所述所有第一性能信息进行合并，并生成第一性能合并信息；其中，所述第一性能合并信息中包括所述第一用户名和所述第一桶名称；

6、根据所述第一桶名称在多个分片对象中确定第一分片对象，所述第一桶名称与所述第一分片对象对应；

7、将所述第一性能合并信息发送至所述第一分片对象。

8、在一种可选的实施方式中，所述第一性能信息中还包括性能指标值，所述第一性能合并信息中还包括性能指标合并值；所述对所述所有第一性能信息进行合并，并生成第一性能合并信息，包括：

9、获取所述所有第一性能信息中的性能指标值，并对获取的所有性能指标值进行求和，生成所述性能指标合并值；

10、根据所述第一用户名、所述第一桶名称和所述性能指标合并值，生成所述第一性能合并信息。

11、在一种可选的实施方式中，所述性能指标值中包括：操作延时、每秒请求数和带宽，所述性能指标合并值中包括：延时合并值、请求数合并值以及带宽合并值；所述对获取的所有性能指标值进行求和，生成所述性能指标合并值，包括：

12、在已获取的所有性能指标值中，分别确定所有操作延时、所有每秒请求数和所有带宽；

13、对已确定的所有操作延时进行求和，得到所述延时合并值；

14、对已确定的所有每秒请求数进行求和，得到所述请求数合并值；

15、对已确定的所有带宽进行求和，得到所述带宽合并值；

16、将所述延时合并值、所述请求数合并值和所述带宽合并值，生成所述性能指标合并值。

17、在一种可选的实施方式中，所述根据所述第一桶名称在多个分片对象中确定第一分片对象，包括：

18、利用预定义的哈希函数，将所述第一桶名称映射为第一哈希值；

19、根据所述第一哈希值在所述多个分片对象中确定出所述第一分片对象，所述第一分片对象与所述第一哈希值对应。

20、在一种可选的实施方式中，在所述当所述目标时段结束时，在所述本地缓存的所有性能信息中确定第一用户名和第一桶名称之前，所述方法还包括：

21、在所述目标时段内，当所述本地缓存中的性能信息数量大于预设数量阈值时，在所述本地缓存中查找出所有所述第一性能信息并进行合并，生成第二性能合并信息；所述第二性能合并信息中包括所述第一用户名和所述第一桶名称；

22、将所述第二性能合并信息发送至所述第一分片对象。

23、在一种可选的实施方式中，所述目标时段为一个周期时段，所述目标时段与相邻周期时段在时间上是连续的；

24、所述第二性能合并信息中还包括目标生成时间，所述目标生成时间为所述第二性能合并信息的生成时间；

25、所述第一分片对象中包括第一数据结构和第二数据结构；

26、其中，所述第一数据结构中包括第三性能合并信息和第一生成时间，所述第三性能合并信息为对所述本地缓存在所述第一周期时段内的多个所述第一性能信息进行合并得到，所述第一生成时间为所述第三性能合并信息的生成时间；

27、其中，所述第二数据结构中包括第四性能合并信息和第二生成时间，所述第四性能合并信息为对所述本地缓存在所述第二周期时段内的多个所述第一性能信息进行合并得到，所述第二生成时间为所述第四性能合并信息的生成时间；

28、所述第一周期时段与所述第二周期时段在时间上是连续的，且所述第二周期时段在所述第一周期时段之后；

29、所述将所述第二性能合并信息发送至所述第一分片对象，包括：

30、当根据所述目标生成时间与所述第二生成时间，确定所述目标时段与所述第二周期时段为同一周期时段时，根据所述第一用户名和所述第一桶名称在所述第二数据结构中查找是否存在第五性能合并信息；其中，所述第五性能合并信息中包括所述第一用户名和所述第一桶名称；

31、若未查找到，则将所述第二性能合并信息发送至所述第二数据结构中。

32、在一种可选的实施方式中，在所述根据所述第一用户名和所述第一桶名称在所述第二数据结构中查找是否存在第五性能合并信息之后，所述方法还包括：

33、若查找到，则对所述第二性能合并信息与所述第五性能合并信息进行合并，生成第六性能合并信息并发送至所述第二数据结构中。

34、在一种可选的实施方式中，所述将所述第二性能合并信息发送至所述第一分片对象，还包括：

35、当根据所述目标生成时间与所述第二生成时间，确定所述目标时段为所述第二周期时段的下一周期时段时，在所述第一数据结构中删除所述第三性能合并信息；

36、将所述第二数据结构中的所述第四性能合并信息移动至所述第一数据结构中，并将所述第一数据结构中的所述第一生成时间修改为所述第二生成时间；

37、将所述第二数据结构中的所述第二生成时间修改为所述目标生成时间，并将所述第二性能合并信息发送至所述第二数据结构中。

38、在一种可选的实施方式中，所述目标时段、所述第一周期时段和所述第二周期时段位于同一小时内，且均为完整1分钟；所述目标生成时间中包括第一分钟值，所述第二生成时间中包括第二分钟值；

39、所述当根据所述目标生成时间与所述第二生成时间，确定所述目标时段与所述第二周期时段为同一周期时段时，根据所述第一用户名和所述第一桶名称在所述第二数据结构中查找是否存在第五性能合并信息，包括：

40、在确定所述第一分钟值与所述第二分钟值相等的情况下，确定所述目标时段与所述第二周期时段为同一周期时段，以及根据所述第一用户名和所述第一桶名称在所述第二数据结构中查找是否存在所述第五性能合并信息；

41、所述当根据所述目标生成时间与所述第二生成时间，确定所述目标时段为所述第二周期时段的下一周期时段时，在所述第一数据结构中删除所述第三性能合并信息，包括：

42、在确定所述第一分钟值大于所述第二分钟值的情况下，确定所述目标时段为所述第二周期时段的下一周期时段，以及在所述第一数据结构中删除所述第三性能合并信息。

43、在一种可选的实施方式中，在所述将所述第一性能合并信息发送至所述第一分片对象之后，所述方法还包括：

44、将所述目标时段的下一周期时段作为最新的目标时段，执行所述在目标时段内获取多个存储桶的性能信息，并存储至本地缓存的步骤。

45、第二方面，本发明提供了一种分布式对象存储集群中的信息处理装置，应用于所述存储集群中的任一节点，所述装置包括：

46、第一获取模块，用于在目标时段内获取多个存储桶的性能信息；其中，每个所述存储桶的性能信息是根据用户的桶访问请求对所述存储桶执行相应操作后，基于本次操作中的性能指标值得到；所述性能信息中包括用户名和桶名称；

47、第一存储模块，用于将所述多个存储桶的性能信息存储至本地缓存；

48、第一确定模块，用于当所述目标时段结束时，在所述本地缓存的所有性能信息中确定第一用户名和第一桶名称；

49、第一查找模块，用于在所述本地缓存的所有性能信息中，查找出所有第一性能信息；其中，所述第一性能信息中包括所述第一用户名和所述第一桶名称；

50、第一合并模块，用于对所述所有第一性能信息进行合并，并生成第一性能合并信息；其中，所述第一性能合并信息中包括所述第一用户名和所述第一桶名称；

51、第二确定模块，用于根据所述第一桶名称在多个分片对象中确定第一分片对象，所述第一桶名称与所述第一分片对象对应；

52、第一发送模块，用于将所述第一性能合并信息发送至所述第一分片对象。

53、本发明提出的分布式对象存储集群中的信息处理方法及设备，可以预先指定特定数量的多个分片对象，并在存储桶和分片对象之间建立对应关系。在目标时段结束时，对本地缓存中包含相同用户名以及相同桶名称的性能合并信息进行合并，生成相应的性能合并信息，之后在多个分片对象中确定与其包含的桶名称相对应的分片对象，将性能合并信息发送至相应的分片对象中存储，避免将相关信息随机发送到分片对象上而导致的存储有相关信息的分片对象数量无限制增多，减少信息管理难度，提升信息管理效率。