本发明涉及设备性能监测,具体为一种基于人工智能的存储设备性能监测系统及方法。
背景技术:
1、磁盘是信息系统的主要存储设备,它的性能好坏直接影响到信息系统总的性能,因此,需要对其进行性能监测以及时对异常磁盘进行维护,保障信息系统的正常运行;
2、然而,现有的磁盘性能监测方式仍存在一些弊端:现有技术中采用设置固定的时间定期对磁盘性能进行监测,但是,由于信息系统中数据被查询的次数和时间多变,在数据查询频繁时,若仍然以默认设置的期限来对磁盘性能进行监测,能够监测到磁盘异常的概率可能有所降低,现有技术无法针对性地对监测的时间进行调整,选择合适的时间对磁盘性能进行监测以在数据查询频繁时提高磁盘性能监测的有效性并进一步帮助用户顺利查询到正确数据。
3、所以,人们需要一种基于人工智能的存储设备性能监测系统及方法来解决上述问题。
技术实现思路
1、本发明的目的在于提供一种基于人工智能的存储设备性能监测系统及方法,以解决上述背景技术中提出的问题。
2、为了解决上述技术问题,本发明提供如下技术方案:一种基于人工智能的存储设备性能监测系统,所述系统包括:查询信息采集模块、数据库、时间调整选择模块、监测时间管理模块和性能监测管理模块;
3、所述查询信息采集模块的输出端连接所述数据库的输入端,所述数据库的输出端连接所述时间调整选择模块的输入端,所述时间调整选择模块的输出端连接所述监测时间管理模块的输入端,所述监测时间管理模块的输出端连接所述性能监测管理模块的输入端;
4、通过所述查询信息采集模块采集数据查询历史数据以及磁盘性能监测数据,将采集到的全部数据传输到所述数据库;
5、通过所述数据库存储采集到的全部数据;
6、通过所述时间调整选择模块建立监测时间调整判断模型,选择是否需要对监测磁盘性能的间隔时间进行调整;
7、通过所述监测时间管理模块在选择需要调整时设置合适的监测磁盘性能的间隔时间;
8、通过所述性能监测管理模块对磁盘进行性能监测。
9、进一步的,所述查询信息采集模块包括查询时间采集单元和磁盘异常信息采集单元;
10、所述查询时间采集单元和磁盘异常信息采集单元的输出端连接所述数据库的输入端;
11、所述查询时间采集单元用于采集信息系统中数据以往不同时间段被查询的次数和被查询时间信息;
12、所述磁盘异常信息采集单元用于采集在以往不同时间段内,因磁盘性能出现异常但未被监测到导致数据查询失败的次数信息。
13、进一步的,所述时间调整选择模块包括频繁程度预测单元、监测时间分析单元和时间调整判断单元;
14、所述频繁程度预测单元的输入端连接所述数据库的输出端,所述频繁程度预测单元的输出端连接所述监测时间分析单元的输入端,所述监测时间分析单元的输出端连接所述时间调整判断单元的输入端;
15、所述频繁程度预测单元用于预测信息系统中存储的数据在时间段[a,b]内被查询的频繁程度;
16、所述监测时间分析单元用于分析默认设置的对磁盘性能进行监测的间隔时间,即每隔对应间隔时间监测一次磁盘性能;
17、所述时间调整判断单元用于分析以往不同时间段内信息系统中存储的数据被查询的频繁程度和对应时间段内数据查询失败的概率,依据频繁程度和概率数据建立监测时间调整判断模型,将预测到的频繁程度代入监测时间调整判断模型中,判断是否需要在时间段[a,b]内调整监测磁盘性能的间隔时间。
18、进一步的,所述监测时间管理模块包括输出数据调取单元和监测时间调整单元;
19、所述输出数据调取单元的输入端连接所述时间调整判断单元的输出端,所述输出数据调取单元的输出端连接所述监测时间调整单元的输入端;
20、所述输出数据调取单元用于若判断出需要在时间段[a,b]内调整监测磁盘性能的间隔时间,调取监测时间调整判断模型的输出数据至所述监测时间调整单元;
21、所述监测时间调整单元用于依据输出数据调整在时间段[a,b]内监测磁盘性能的间隔时间。
22、进一步的,所述性能监测管理模块包括监测时间设置单元、磁盘性能监测单元和异常预警单元;
23、所述监测时间设置单元的输入端连接所述监测时间调整单元的输出端,所述监测时间设置单元的输出端连接所述磁盘性能监测单元的输入端,所述磁盘性能监测单元的输出端连接所述异常预警单元的输入端;
24、所述监测时间设置单元用于将时间段[a,b]内监测磁盘性能的间隔时间设置为调整后的间隔时间;
25、所述磁盘性能监测单元用于每隔一次调整后的间隔时间对磁盘进行一次性能监测,监测的磁盘性能指标包括:监测磁盘的使用率、饱和度、iops、吞吐量和响应时间;
26、所述异常预警单元用于在监测到磁盘性能出现异常时发送异常预警信号至监测终端,利用人工智能技术对磁盘进行性能监测,磁盘性能出现异常指的是监测到的磁盘性能指标超出正常值的异常情况,例如:监测到磁盘的使用率超出80%时,判断磁盘i/o存在性能瓶颈,发送异常预警信号至监测终端。
27、一种基于人工智能的存储设备性能监测方法,包括以下步骤:
28、s1:采集数据查询历史数据以及磁盘性能监测数据;
29、s2:建立监测时间调整判断模型,判断是否需要对监测磁盘性能的间隔时间进行调整,若是,执行步骤s3;若否,执行步骤s4;
30、s3:设置合适的监测磁盘性能的间隔时间;
31、s4:依据设置的时间对磁盘进行性能监测。
32、进一步的,在步骤s1中:采集信息系统中数据以往从e到f时间段内的数据查询历史数据和磁盘性能监测数据,从e到f时间段默认设置的监测磁盘性能的间隔时间为t,将从e到f时间段平均分为n个时间段,采集到n个时间段内数据被查询的次数集合为a={a1,a2,…,an},采集的数据中每个时间段内数据被查询的次数都大于1,采集到随机一个时间段内数据被查询时间之间的间隔时长集合为b={b1,b2,…,bm},其中,bm表示对应时间段内数据第m+1次被查询时间与第m次被查询之间的间隔时长,对应时间段内数据共被查询了m+1次,采集所有时间段数据被查询时间之间的间隔时长,采集到n个时间段内,因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数集合为d={d1,d2,…,dn}。
33、进一步的,在步骤s2中:根据下列公式计算随机一个时间段内信息系统中存储的数据被查询的频繁程度qi:
34、qi=[ai/(∑ni=1ai)]×[1/((∑mj=1bj)/m)];
35、其中,ai表示随机一个时间段内数据被查询的次数,bj表示随机一个时间段内数据第j+1次被查询时间与第j次被查询时间之间的间隔时长,通过相同计算方式得到n个时间段内信息系统中存储的数据被查询的频繁程度集合为q={q1,q2,…,qi,…,qn},根据公式pi=di/ai计算随机一个时间段内数据查询失败的概率pi,其中,di表示随机一个时间段内,因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数,得到n个时间段内数据查询失败的概率集合为p={p1,p2,…,pi,…,pn},对数据点{(q1,p1),(q2,p2),…,(qi,pi),…,(qn,pn)}进行直线拟合,建立监测时间调整判断模型:y=λ1*x+λ2,其中,λ1和λ2表示拟合系数;
36、通过大数据采集数据被用户查询的次数以及被查询的时间,分析数据被查询的频繁程度,数据被查询的次数越多、被查询的间隔时间越短,判断数据被查询得越频繁,在数据被查询得越频繁时,缩短磁盘性能监测的间隔时间,即增加磁盘性能监测频率,在磁盘性能出现异常但还未对数据查询造成影响前监测到异常情况的概率越高,历史数据中设置的磁盘性能监测间隔时间固定不变,在监测间隔时间不变的前提下,分析不同时间段数据被查询的频繁程度和对应时间段内因未及时发现磁盘性能出现异常导致数据查询失败的概率,将上述两种数据作为训练数据,建立监测时间调整判断模型,以历史实际数据作为判断是否需要调整未来对磁盘性能进行监测的间隔时间的参考数据,提高了判断结果的准确性。
37、进一步的,根据下列公式预测信息系统中存储的数据在第n+1个时间段内被查询的频繁程度qn+1:
38、qn+1=β*qn+(1-β)*sn;
39、其中,β表示平滑系数,sn表示数据在第n个时间段内被查询的频繁程度指数平滑值,根据公式s1=β*q1+(1-β)*(q1+q2+q3/3)计算得到数据在第1个时间段内被查询的频繁程度指数平滑值s1,根据公式s2=β*q1+(1-β)*s1计算得到数据在第二个时间段内被查询的频繁程度指数平滑值s2,以此类推根据公式sn=β*qn-1+(1-β)*sn-1计算得到sn,将qn+1代入监测时间调整判断模型中,令x=qn+1,预测得到在第n+1个时间段内数据查询失败的概率为λ1*qn+1+λ2,设置概率阈值为w,比较λ1*qn+1+λ2和w:若λ1*qn+1+λ2<w,判断不需要对监测磁盘性能的间隔时间t进行调整,监测磁盘性能的间隔时间仍为t;若λ1*qn+1+λ2≥w,判断需要对监测磁盘性能的间隔时间t进行调整,第n+1个时间段即为时间段[a,b];
40、为判断未来时间段是否需要调整监测间隔时间,预先依据历史数据预测未来时间段数据被查询的频繁程度,将预测到的频繁程度代入到监测时间调整判断模型中,预测继续以默认的间隔时间t对磁盘性能进行监测时,对对应时间段数据被查询的频繁程度而言,数据查询失败的概率,依据预测到的概率判断需不需要调整监测间隔时间,有利于及时调整磁盘性能监测间隔时间以降低未能及时监测到磁盘性能异常对数据查询造成的不良影响。
41、进一步的,在步骤s3中:若λ1*qn+1+λ2≥w,设置在第n+1个时间段内对磁盘性能进行监测的间隔时间为:t-t*(λ1*qn+1+λ2-w);
42、在步骤s4中:若λ1*qn+1+λ2<w,在第n+1个时间段内每隔时间t监测一次磁盘性能;若λ1*qn+1+λ2≥w,在第n+1个时间段内每隔时间t-t*(λ1*qn+1+λ2-w)监测一次磁盘性能,在监测到磁盘性能出现异常时发送异常预警信号至监测终端;
43、在预测到的数据查询失败的概率小于概率阈值时,判断以默认设置的间隔时间t对磁盘性能进行监测,未能够及时监测到磁盘性能异常导致数据查询失败的概率小,选择以默认间隔时间t在第n+1个时间段对磁盘进行性能监测,在预测到的数据查询失败的概率达到或者超出概率阈值时,判断以间隔时间t对磁盘性能进行监测,未能够及时监测到磁盘性能异常导致数据查询失败的概率大,需要缩短监测间隔时间以增加监测次数,适当提高监测频率,对监测工作进行时间上的动态调整,有利于提高及时发现磁盘异常的概率以及时对磁盘进行维护,在保障了磁盘的良好性能基础上进一步帮助用户顺利查询到想要查询的数据。
44、与现有技术相比,本发明所达到的有益效果是:
45、本发明通过大数据采集数据被用户查询的次数以及被查询的时间,分析数据被查询的频繁程度,历史数据中设置的磁盘性能监测间隔时间固定不变,在监测间隔时间不变的前提下,分析不同时间段数据被查询的频繁程度和对应时间段内因未及时发现磁盘性能出现异常导致数据查询失败的概率,将上述两种数据作为训练数据,建立监测时间调整判断模型,以历史实际数据作为判断是否需要调整未来对磁盘性能进行监测的间隔时间的参考数据,提高了判断结果的准确性;预先依据历史数据预测未来时间段数据被查询的频繁程度,将预测到的频繁程度代入到监测时间调整判断模型中,预测继续以默认的间隔时间t对磁盘性能进行监测时,对对应时间段数据被查询的频繁程度而言,数据查询失败的概率,依据预测到的概率判断需不需要调整监测间隔时间,有利于及时调整磁盘性能监测间隔时间以降低未能及时监测到磁盘性能异常对数据查询造成的不良影响;
46、在预测到的数据查询失败的概率小于概率阈值时,判断以默认设置的间隔时间t对磁盘性能进行监测,未能够及时监测到磁盘性能异常导致数据查询失败的概率小,选择以默认间隔时间t在第n+1个时间段对磁盘进行性能监测,在预测到的数据查询失败的概率达到或者超出概率阈值时,判断以间隔时间t对磁盘性能进行监测,未能够及时监测到磁盘性能异常导致数据查询失败的概率大,需要缩短监测间隔时间以增加监测次数,适当提高监测频率,对监测工作进行时间上的动态调整,有利于提高及时发现磁盘异常的概率以及时对磁盘进行维护,提高了磁盘性能监测的有效性,在保障了磁盘的良好性能基础上进一步帮助用户顺利查询到想要查询的数据。