一种基于历史监测数据的磁盘容量预测方法
【技术领域】
[0001]本发明涉及磁盘监控和磁盘容量预测领域，具体涉及一种基于历史监测数据的磁盘容量预测方法。
【背景技术】
[0002]随着互联网大数据的飞速发展，大规模的数据中心越来越成为现代社会发展的需要。这就为数据中心中磁盘的监管难度带来巨大挑战，一个拥有PB级存储的数据中心的磁盘监管难度已非常大，更何况目前的发展趋势下EB级、甚至更大存储的数据中心正在逐步产生。例如，一个具有1000PB存储的数据中心的监控，用传统的磁盘监控方式已经无法满足，即使传统的监控方式能够监控到磁盘的状态，也无法实现对保证对磁盘容量的充分高效利用，往往造成某些磁盘长时间空闲、而另一些磁盘资源耗费殆尽，也进一步使磁盘的成本拉高，即造成资源的浪费，使整个数据中心的存储无法真正达到最充分、合理的使用。以上挑战为大规模数据中心的磁盘使用效率带来了极大的局限性，严重影响大规模数据中心存储容量的进一步发展，因此设计基于历史监控数据的磁盘容量预测方法可以有效解决该难题，根据容量预测数据及时维护更新磁盘资源，使数据中心能够提供更大容量存储。
【发明内容】
[0003]本发明提供一种基于历史监测数据的磁盘容量预测方法和及其使用该方法的系统，该方法根据磁盘历史监测数据可序列化的特点，采用磁盘轮询监测和序列化磁盘容量数据存储，以及磁盘历史监测数据分析处理和依据数据分析结果进行磁盘容量预测，实现磁盘监测模块进行高性能轮询数据采集，磁盘监测数据分析模块按时间段对磁盘监测序列化数据进行分析处理，磁盘容量预测模块根据数据分析结果可选择的完成未来一段时间后的磁盘容量预测，从而解决磁盘容量将要耗尽时的预警，避免了因磁盘容量故障造成的服务器停机和业务应用间断等问题，进而使磁盘的利用率最大化，降低因磁盘容量不够带来的风险和资源浪费。
[0004]为了达到本发明目的，本发明提供了一种基于历史监测数据的磁盘容量预测方法，以轮询的方式对各个磁盘进行监测数据采集；将所述监测数据以序列化的方式进行存储；对所述序列化的磁盘容量监测数据进行分析；根据所述分析结果，分时间段进行磁盘容量预测。
[0005]进一步地，所述监测数据采集是以固定的时间间隔对磁盘进行轮询。
[0006]进一步地，所述监测数据采集为多线程采集动作，同时采集多个磁盘的监测数据。
[0007]进一步地，所述监测数据以统一的标准数据格式存储在数据库中。
[0008]进一步地，所述存储包括每个磁盘按固定的时间间隔记录已用磁盘容量和剩余磁盘容量。
[0009]进一步地，所述监测数据的分析为计算出各磁盘不同时间段内的磁盘剩余容量和平均使用量。
[0010]进一步地，采用排列组合原理，将计算的时间段覆盖整个历史监测数据的最早开始时间到最晚结束时间。
[0011]进一步地，所述监测数据的分析采用多线程处理，同时处理存储的多个磁盘的历史监测数据，或同时处理同一个磁盘的多条数据。
[0012]进一步地，所述预测包括磁盘容量将要耗尽的预测、磁盘容量还将使用多长时间的预测、磁盘容量使用量增长率过快的预测、或磁盘容量短时间异常增大的预警。
[0013]进一步地，根据所述预测结果，生成磁盘容量的各种预警通知消息。
[0014]为了达到本发明目的，本发明还提供了一种基于历史监测数据的磁盘容量预测装置，包括:磁盘监测模块(20)，以轮询的方式对各个磁盘进行监测数据采集；磁盘历史监测数据储存模块(30)，将所述监测数据以序列化的方式进行存储；磁盘监测数据分析模块
(40)，对所述磁盘历史监测数据储存模块(30)存储的所述监测数据进行分析；磁盘容量预测模块(50)，根据所述分析结果，分时间段进行磁盘容量预测。
[0015]进一步地，所述磁盘监测模块(20)包括监控引擎(202)、任务调度器(204)和数据采集器(2060，所述监控引擎(202)启动所述任务调度器(204)给所述数据采集器(206)分发采集任务。
[0016]进一步地，所述数据采集器(206)以固定的时间间隔进行轮询数据采集。
[0017]进一步地，所述数据采集器(206)可以包括多个数据采集器(206-1、206_2、……、206-n)，多个数据采集器中的每一个单独采集一个磁盘的监测数据。
[0018]进一步地，所述多个数据采集器中的每一个采用多线程采集动作，同时采集多个磁盘的监测数据。
[0019]进一步地，所述磁盘历史监测数据储存模块(30)包括一个数据库(302)，所述监测数据以统一的标准数据格式存储在数据库中。
[0020]进一步地，所述磁盘历史监测数据储存模块(30)还可以包括一个监测数据处理模块(304)，接收来自磁盘监测模块(20)采集到的各个磁盘的时间序列数据，并对该数据进行处理，以符合数据库(302)的存储数据格式要求。
[0021]进一步地，磁盘监测数据分析模块(40)计算出各磁盘不同时间段内的磁盘剩余容量和平均使用量。
[0022]进一步地，采用排列组合原理，将计算的时间段覆盖整个历史监测数据的最早开始时间到最晚结束时间。
[0023]进一步地，磁盘监测数据分析模块(40)采用多线程处理，同时处理磁盘历史监测数据储存模块(30)所存储的多个磁盘的历史监测数据，或同时处理同一个磁盘的多条数据。
[0024]进一步地，所述预测包括磁盘容量将要耗尽的预测、磁盘容量还将使用多长时间的预测、磁盘容量使用量增长率过快的预测、或磁盘容量短时间异常增大的预警。
[0025]进一步地，所述磁盘容量预测模块(50)将预测结果反馈到磁盘监测模块(20)，给出磁盘容量的各种预警通知消息。
[0026]为了达到本发明目的，本发明还提供了一种磁盘监测装置，包括:监控引擎(202)、任务调度器(204)和数据采集器(206)，所述监控引擎(202)启动所述任务调度器(204)给所述数据采集器(206)分发采集任务。
[0027]为了达到本发明目的，本发明还提供了一种基于历史监测数据的磁盘容量预测装置，包括:处理器；用于存储所述处理器的可执行指令的存储器；
[0028]其中，所述处理器被配置为:以轮询的方式对各个磁盘进行监测数据采集；将所述监测数据以序列化的方式进行存储；对所述序列化的磁盘容量监测数据进行分析；根据所述分析结果，分时间段进行磁盘容量预测。
【附图说明】
[0029]附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
[0030]附图1示出了根据本发明的一实施例的基于历史监测数据的磁盘容量预测的方法原理示意图；
[0031]附图2示出了根据本发明的一实施例的磁盘历史监测数据采集和存储示意图；
[0032]附图3示出了根据本发明的一实施例的磁盘监测数据分析示意图；
[0033]附图4示出了根据本发明的一实施例的磁盘容量预测示意图。
【具体实施方式】
[0034]为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0035]图1-4详细的描述本发明的基于历史监测数据的磁盘容量预测方法和及其使用该方法的装置。
[0036]以下对本发明的内容以3块磁盘6个时间点为例，采用I个监控引擎I个调度器和3个数据采集器的方式来描述这一设计方法的实现过程。这仅是示例性的，并不构成对本发明的限制。
[0037]图1示出了根据本发明一实施例的基于历史监测数据的磁盘容量预测的方法原理示意图。该方法涉及磁盘监测模块20、磁盘历史监测数据储存模块30、磁盘监测数据分析模块40和磁盘容量预测模块50。优选地，各个模块之间使用心跳连接。
[0038]磁盘监测模块20采用轮询的方式对各个磁盘进行数据采集，将采集到的时间序列数据储存到磁盘历史监测数据储存模块30，存储的方式采用序列化存储，即每个磁盘每个时间点采集到的数据分别为一条进行存储，以便磁盘监测数据分析模块能够读取所储存的时间序列化磁盘监测数据。该数据格式包括磁盘ID、时间点、以及磁盘容量，所述磁盘容量包括已用磁盘容量和剩余磁盘容量。磁盘监测数据分析模块40采用分时间段覆盖处理的方式，分析出所可能的各时间段的磁盘剩余容量和磁盘平均使用量，并逐条记录到分析结果数据表中。磁盘容量预测模块50根据磁盘监测数据分析模块40的分析结果，分时间段进行磁盘容量预测，如依据时间段al?a2的分析数据结果进行预测，磁盘将在nl天后被用完；依据时间段bl?b2的分析数据结果进行预测，磁盘将在n2天后被使用完；依据时间段Cl?c2的分析数据结果进行预测，磁盘将在n3天后被使用完。如此，完成基于历史监测数据的磁盘容量预测，最终反馈到磁盘监测模块20，给出磁盘容量的各种预警通知消息。
[0039]图2示出了根据本发明一实施例的磁盘历史监测数据采集和存储示意图。监测模块20，包括监控引擎202、任务调度器204和数据采集器206。可以采用高性能模块化使之解耦分离，监控引擎202通过心跳连接控制任务调度器204和数据采集器206。监控引擎202启动任务调度器204给数据采集器206分发采集任务，数据采集器206可以对磁盘以固定的时间间隔进行轮询数据采集，优选地，时间间隔为5分钟，将采集到的时间序列数据储存到磁盘历史监测数据储存模块30。数据采集器206可以包含多个数据采集器(206-1、206-2、……、206-