一种存储系统的负载预警调节方法、系统及介质与流程

1.本发明涉及存储集群技术领域，特别是涉及一种存储系统的负载预警调节方法、系统及介质。


背景技术：

2.现有的存储技术中，对数据的存储采用集群分布式存储的方式，集群中设有若干个节点，其中设有主节点对集群中数据传输和命令执行进行处理，集群在下发命令时，采用随机分配主节点的方式，这种方式无法做到对各个节点的负载情况进行预警并根据预警情况进行均衡调配，当有节点的负载情况超出其负载阈值时，该节点会对将要处理的数据进行延后处理，这样的方式不但造成数据处理效率低下，而且对于负载情况较低的节点产生了资源的浪费。


技术实现要素：

3.本发明主要解决的技术问题是提供一种存储系统的负载预警调节方法、系统及介质，能够解决存储系统中因节点负载情况无法预警造成的数据处理效率低和资源浪费的问题。
4.为解决上述技术问题，本发明采用的一个技术方案是：一种存储系统的负载预警调节方法，包括：
5.初始化数据阈值，根据内存数据的类别设定数据阈值，将数据阈值下发给集群中的节点；
6.采集与监控内存数据，采集集群中节点的内存数据，根据数据阈值检测采集到的内存数据中的异常数据，并将异常数据上报；
7.处理异常数据，设置告警配置项，根据告警配置项将异常数据封装为告警消息；
8.处理告警消息，对告警消息采用告警恢复机制，生成最终消息，并将最终消息上报；
9.处理新请求，当集群中下发新请求时，根据采集到的内存数据对新请求进行处理。
10.进一步，所述采集与监控内存数据的步骤具体为：
11.设定采集时间段，每隔采集时间段对节点的内存数据进行采集，并将采集到的内存数据进行持久化处理，根据采集时间段对内存数据进行分类；
12.将采集到的内存数据和与该内存数据的类别对应的数据阈值进行对比，若该内存数据大于该数据阈值，则该内存数据为异常数据，将该异常数据进行持久化处理并上报。
13.进一步，所述处理异常数据的步骤具体为：
14.根据内存数据的类别对告警配置项进行分类，按照异常数据的类别所对应的告警配置项，将异常数据封装为不同级别的告警消息，将告警消息进行筛选并上报。
15.进一步，所述处理告警消息的步骤具体为：
16.对上报后的告警消息采用告警恢复机制，告警恢复机制为：设置恢复时间段，每隔
恢复时间段检测告警消息所对应的异常数据，当该异常数据等于或小于与该异常数据的类别对应的数据阈值时，生成与该告警消息对应的最终消息，并删除数据库中与该告警消息对应的异常数据；
17.将所述最终消息进行持久化处理，并将最终消息上报。
18.进一步，所述告警恢复机制为：
19.设置恢复时间段，每隔恢复时间段检测告警消息所对应的异常数据，当该异常数据等于或小于与该异常数据的类别对应的数据阈值时，生成与该告警消息对应的最终消息，并删除数据库中与该告警消息对应的异常数据。
20.进一步，所述处理新请求的步骤具体为：
21.当集群中下发新请求时，判断新请求是否需要所有节点进行处理，若是，则对该新请求标记，并将该新请求下发至所有节点，若否，则在集群的节点中选取空闲节点，并将该新请求下发至该空闲节点。
22.进一步，所述在集群的节点中选取空闲节点的步骤具体为：
23.设定空闲阈值，检测采集到的内存数据，选取该内存数据小于空闲阈值的节点作为空闲节点。
24.进一步，定义数据阈值、告警配置项、内存数据、异常数据、告警消息、最终消息和新请求为运行数据；所述运行数据通过轻量级数据交互格式进行传输；在所述运行数据进行持久化处理后，运行数据保存至集群的数据库中。
25.一种存储系统的负载预警调节系统，包括：
26.初始化单元、内存数据处理单元、中央处理单元、告警单元、异步处理单元和均衡调节单元，初始化单元设在客户端上；
27.所述初始化单元用于设定均衡机制、与内存数据的类别对应的数据阈值和告警配置项，并将数据阈值和告警配置项发送给中央处理单元；
28.所述内存数据处理单元用于采集集群中节点的内存数据和监控采集到的内存数据中的异常数据，并将异常数据上报给中央处理单元；
29.所述中央处理单元用于接收数据阈值、告警配置项和异常数据，将异常数据转换为告警消息，并将数据阈值、告警配置项和告警消息发送给告警单元；
30.所述告警单元用于将所述数据阈值下发至集群中的节点，对所述告警消息采用告警恢复机制，生成与告警消息对应的最终消息，并将最终消息上报给客户端；
31.所述均衡调节单元用于根据采集到的内存数据对新请求进行处理；
32.所述异步处理单元用于对运行数据进行筛选。
33.作为一种改进的方案，所述异步处理单元上设有消息通道，初始化单元、内存数据处理单元、中央处理单元和告警单元通过消息通道进行运行数据的传输；
34.所述运行数据包括：数据阈值、告警配置项、内存数据、异常数据、告警消息和最终消息。
35.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述存储系统的负载预警调节方法的步骤。
36.本发明的有益效果是：本发明能够对存储系统中节点的负载情况进行检测并预警，形成一套完善的调节机制，根据节点的负载情况对其进行请求的分配，提高了节点的数
据处理效率，均衡了系统中各个节点的负载情况，使系统的节点负载资源利用率达到最大。
附图说明
37.图1是本发明提供的一种存储系统的负载预警调节方法的流程图；
38.图2是本发明提供的一种存储系统的负载预警调节系统的结构示意图。
具体实施方式
39.下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
40.本发明实施例包括：
41.第一方面，见图1，一种存储系统的负载预警调节方法，包括：
42.客户端的初始化单元设定系统的不同内存数据类别的数据阈值和告警配置项，将数据阈值和告警配置项发送给中央处理单元，中央处理单元通过告警单元将该数据阈值进行持久化处理，对数据阈值进行分类并封装成阈值消息，将阈值消息按照类别分别发送给与类别对应的集群中的各个子节点；
43.内存数据处理单元在集群中各个子节点中分别创建独立进程，该独立进程包括定时进程和监控进程；定时进程中设定有采集时间段，定时进程每隔采集时间段对其所在节点的内存数据进行采集，并将采集到的内存数据进行持久化处理，其中内存数据包括：mds、ganesha、samba、swap和men；
44.监控线程通过查询接口查询采集到的内存数据与数据阈值进行对比，若内存数据大于数据阈值，则该内存数据为异常数据，将此异常数据持久化处理，并将异常数据上报给中央处理单元；
45.中央处理单元根据异常数据对应的类别，按照类别对应的等级对异常数据进行封装，将封装后得到的告警消息发送给告警单元；
46.告警单元上保存有客户端发送的告警配置项，告警单元将收到的告警消息采用告警恢复机制得到最终消息，将最终消息进行持久化处理，并将最终消息发送给客户端；
47.客户端对最终消息进行输出；
48.告警恢复机制为：告警单元上预先设有恢复时间段，告警单元每隔恢复时间段对告警消息所对应的节点的异常数据进行检测，并将检测到的异常数据与其对应的数据阈值进行对比，若该异常数据小于或等于其对应的内存数据阈值，则生成与告警消息对应的最终消息，并将最终消息发送给客户端和内存数据处理单元；内存数据处理单元删除数据库中与最终消息对应节点的异常数据；
49.其中，当集群中有新请求下发时，有此均衡机制：当新请求下发时，对新请求的处理对象进行判断，若该处理对象为集群中的每个节点，则对该新请求进行标记，之后进行下发，若该处理对象不是集群中的每个节点，则设定空闲阈值，对节点的内存数据和空闲阈值进行对比，选取内存数据小于空闲阈值的节点为空闲节点，并对此节点下发新请求，运用此机制，可以对集群中节点的负载和资源进行均衡的调节；
50.在本实施例中，所有单元的数据交互格式均使用json的格式(javascript object notation，一种轻量级的数据交换格式)，客户端、子节点、中央处理单元、告警单元和内存
数据处理单元之间通过异步处理单元的消息通道进行消息的传输，通过异步处理单元进行消息的过滤，过滤包括对重复消息的过滤等；其中提到的持久化处理为把短暂存储在内存中的数据进行处理并存储至数据库中。
51.第二方面，见图2，基于与前述实施例中一种存储系统的负载预警调节方法同样的发明构思，本说明书实施例还提供一种存储系统的负载预警调节系统，包括：初始化单元、内存数据处理单元、中央处理单元、告警单元、异步处理单元和均衡调节单元，初始化单元设在客户端上；
52.初始化单元用于设定均衡机制、与内存数据的类别对应的数据阈值和告警配置项，并将数据阈值和告警配置项发送给中央处理单元；
53.具体的，初始化单元作用于客户端，其根据客户端的不同情况对与内存数据的类别对应的数据阈值和告警配置项进行配置，并将配置后的信息通过异步处理单元的消息通道传递至中央处理单元；
54.内存数据处理单元用于采集集群中节点的内存数据和监控采集到的内存数据中的异常数据，并将异常数据上报给中央处理单元；
55.具体的，内存数据处理单元将定时进程和监控进程下沉到集群中的每个节点，内存数据处理单元通过定时进程每隔采集时间段对其所在节点的内存数据进行采集，内存数据处理单元通过监控进程经过查询接口查询采集到的内存数据，通过对比采集到的内存数据和数据阈值，找出采集到的内存数据中的异常数据，并将异常数据通过异步处理单元上报给中央处理单元；
56.中央处理单元用于接收数据阈值、告警配置项和异常数据，将异常数据转换为告警消息，并将数据阈值、告警配置项和告警消息发送给告警单元；
57.具体的，中央处理单元作用于主节点，并维护一个独立的消息进程，负责客户端和节点之间的数据交互处理和加工。中央处理单元将客户端下发的数据阈值和告警配置项通过异步处理单元的消息通道发送给告警单元；当内存数据处理单元向中央处理单元上报异常数据时，中央处理单元按照异常数据的类别对应的等级对异常数据进行封装，将封装后得到的告警消息通过异步处理单元的消息通道发送给告警单元；
58.告警单元用于将所述数据阈值下发至集群中的节点，对所述告警消息采用告警恢复机制，生成与告警消息对应的最终消息，并将最终消息上报给客户端；
59.具体的，告警单元作用于主节点，告警单元接收客户端下发的数据阈值和告警配置项，并将异常数据进行告警，具体步骤为：告警单元将中央处理单元发送的告警消息采用告警恢复机制得到最终消息，将最终消息进行持久化处理，并将最终消息按照客户端下发的告警配置项的方式发送给客户端。
60.均衡调节单元用于根据采集到的内存数据对新请求进行处理；
61.具体的，当新请求下发时，对新请求的处理对象进行判断，若该处理对象为集群中的每个节点，则对该新请求进行标记，之后进行下发，若该处理对象不是集群中的每个节点，则查询集群中各个节点的内存数据并和预先设定的空闲阈值进行对比，选取一个相对空闲或资源占用少的节点(即空闲节点)，并对此节点下发新请求；
62.异步处理单元用于对运行数据进行筛选；所述异步处理单元上设有消息通道，初始化单元、内存数据处理单元、中央处理单元和告警单元通过消息通道进行运行数据的传
输；
63.运行数据包括：数据阈值、告警配置项、内存数据、异常数据、告警消息和最终消息；
64.具体的，异步处理单元的作用类似于信使，主要负责节点间的通信和数据交互，用于传递客户端下发的的数据阈值和告警消息等。异步处理单元分散在主节点与主节点，主节点与子节点，主节点与客户端之间，并通过一致的消息格式进行通信和数据交互。
65.第三方面，基于与前述实施例中通道进行数一种存储系统的负载预警调节方法同样的发明构思，本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述存储系统的负载预警调节方法的步骤。
66.区别于现有技术，采用本申请一种存储系统的负载预警调节方法、系统及介质可以通过内存数据处理单元、中央处理单元和告警单元对集群中节点的内存数据进行监控，形成了完整的监控体系，在该监控体系下，对负载较大的节点进行及时告警，对负载较小的节点进行充分利用，均衡调节了集群中节点的负载状态，提高了集群中节点的工作效率，保证了节点之间数据传输的时效性。
67.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。