基于随机森林的资源消耗趋势预测方法、装置和设备

1.本发明属于训练保障数据的资源统筹技术领域，涉及一种基于随机森林的资源消耗趋势预测方法、装置和设备。


背景技术：

2.训练保障对于整个训练管理工作至关重要，完备的训练保障体系能够极大提高训练管理工作的整体质量。依托训练管理海量数据资源，采用大数据技术分析发掘训练管理各领域环节信息内在逻辑关联，对训练保障资源消耗趋势进行分析和预测，有助于做好训练准备工作，具有较强的实际意义。然而，在实现本发明的过程中，发明人发现在传统的训练保障体系中，尚未有专门的训练保障资源跟踪管理手段，存在着复无法对训练保障资源消耗情况进行有效预测的技术问题。


技术实现要素：

3.针对上述传统技术中存在的问题，本发明提出了一种能够对训练保障资源消耗情况进行有效预测的基于随机森林的资源消耗趋势预测方法、一种基于随机森林的资源消耗趋势预测装置、一种资源预测设备以及一种计算机可读存储介质。
4.为了实现上述目的，本发明实施例采用以下技术方案：
5.一方面，提供一种基于随机森林的资源消耗趋势预测方法，包括步骤：
6.采集设定时段的训练保障资源消耗数据并进行数据统计处理，建立训练保障资源消耗数据集；
7.根据训练保障资源消耗数据的数据特征，建立资源消耗因素集和资源消耗因素权重集；
8.根据训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法进行训练保障资源消耗趋势预测，得到资源消耗预测结果。
9.在其中一个实施例中，采集设定时段的训练保障资源消耗数据并进行数据统计处理，建立训练保障资源消耗数据集的步骤，包括：
10.按照设定时间范围对训练保障资源消耗数据进行统计处理，得到初始的训练保障资源消耗数据集；
11.对初始的训练保障资源消耗数据集进行数据预处理，得到建立的训练保障资源消耗数据集；数据预处理包括数据去重处理、缺失值和异常值删除处理。
12.在其中一个实施例中，根据训练保障资源消耗数据的数据特征，建立资源消耗因素集和资源消耗因素权重集的步骤，包括：
13.根据训练保障资源消耗数据的数据特征，分析并提取各资源消耗因素，得到资源消耗因素集；
14.分别为各资源消耗因素设置权重，得到资源消耗因素权重集。
15.在其中一个实施例中，根据训练保障资源消耗数据集、资源消耗因素集和资源消
耗因素权重集，基于随机森林算法进行训练保障资源消耗趋势预测，得到资源消耗预测结果的步骤，包括：
16.利用bootstrap随机有放回地从训练保障资源消耗数据集中进行n次抽样且每次抽取m个样本，形成n个学习样本子集；n和m均为不小于2的正整数；
17.根据n个学习样本子集发展n个决策树；
18.根据资源消耗因素集和资源消耗因素权重集，分别为每个决策树选取最优特征；
19.将每个决策树按照相应最优特征进行分裂，形成随机森林；
20.获取随机森林的预测值并取平均值作为资源消耗预测结果。
21.在其中一个实施例中，根据资源消耗因素集和资源消耗因素权重集，分别为每个决策树选取最优特征的步骤，包括：
22.根据资源消耗因素集和资源消耗因素权重集，利用信息增益率分别为每个决策树选取一个最优消耗因素作为最优特征。
23.另一方面，还提供一种基于随机森林的资源消耗趋势预测装置，包括：
24.数据采集模块，用于采集设定时段的训练保障资源消耗数据并进行数据统计处理，建立训练保障资源消耗数据集；
25.特征因素模块，用于根据训练保障资源消耗数据的数据特征，建立资源消耗因素集和资源消耗因素权重集；
26.预测输出模块，用于根据训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法进行训练保障资源消耗趋势预测，得到资源消耗预测结果。
27.在其中一个实施例中，数据采集模块包括：
28.数据统计子模块，用于按照设定时间范围对训练保障资源消耗数据进行统计处理，得到初始的训练保障资源消耗数据集；
29.预处理子模块，用于对初始的训练保障资源消耗数据集进行数据预处理，得到建立的训练保障资源消耗数据集；数据预处理包括数据去重处理、缺失值和异常值删除处理。
30.在其中一个实施例中，特征因素模块包括：
31.因素提取子模块，用于根据训练保障资源消耗数据的数据特征，分析并提取各资源消耗因素，得到资源消耗因素集；
32.权重设置子模块，用于分别为各资源消耗因素设置权重，得到资源消耗因素权重集。
33.又一方面，还提供一种资源预测设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的基于随机森林的资源消耗趋势预测方法的步骤。
34.再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的基于随机森林的资源消耗趋势预测方法的步骤。
35.上述技术方案中的一个技术方案具有如下优点和有益效果：
36.上述基于随机森林的资源消耗趋势预测方法、装置和设备，通过首先采集设定时段的训练保障资源消耗数据后，对其进行数据统计处理以建立训练保障资源消耗数据集，然后基于训练保障资源消耗数据的数据特征建立资源消耗因素集及其相应的资源消耗因素权重集，最后利用建立的训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权
重集，基于随机森林算法预测得到资源消耗预测结果。如此，针对传统的训练保障体系的实际需求，建立训练保障资源消耗的相关数据集后，利用于随机森林算法进行资源消耗预测，实现了对训练保障资源消耗情况进行有效预测的目的，确保训练保障任务中可及时补充各类资源，对训练保障资源调度起到积极的作用，当面对各类突发情况时也能提前保证提供充足的调度训练保障物资。
附图说明
37.为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为一个实施例中基于随机森林的资源消耗趋势预测方法的流程示意图；
39.图2为一个实施例中基于随机森林的资源消耗预测流程示意图；
40.图3为另一个实施例中基于随机森林的资源消耗趋势预测方法的流程示意图；
41.图4为一个实施例中基于随机森林的资源消耗趋势预测装置的模块结构示意图。
具体实施方式
42.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
43.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
44.需要说明的是，在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。
45.本领域技术人员可以理解，本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
46.随机森林指的是利用多棵决策树对样本进行训练并预测的一种分类器。该方法是结合“bootstrap aggregating”(装袋法)想法和“random subspace method”(随机子空间方法)以建造决策树的集合，其建立每颗决策树的过程如下：
47.1、用n来表示训练用例(样本)的个数，m表示特征数目。
48.2、输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于m。
49.3、从n个训练用例(样本)中以有放回抽样的方式，取样n次，形成一个训练集(即bootstrap取样)，并用未抽到的用例(样本)作预测，评估其误差。
50.4、对于每一个节点，随机选择m个特征，决策树上每个节点的决定都是基于这些特征确定的。根据这m个特征，计算其最佳的分裂方式。
51.5、每棵树都会完整成长而不会剪枝，这有可能在建完一棵正常树状分类器后会被
采用。
52.而随机森林的构建则包括两个方面：数据的随机性选取与待选特征的随机选取。
53.数据的随机性选取：第一，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。第三，如果有了新的数据需要通过随机森林得到分类结果，就可以通过对子决策树的判断结果的投票，得到随机森林的输出结果了。例如，假设随机森林中有3棵子决策树，2棵子树的分类结果是a类，1棵子树的分类结果是b类，那么随机森林的分类结果就是a类。
54.待选特征的随机选取：与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。
55.基于传统的训练保障体系的实际需求，本技术设计了基于随机森林算法的训练保障资源消耗趋势预测方法：首先对原始的资源消耗数据进行统计处理，然后根据资源消耗数据的数据特征，分析并提取资源消耗因素，设置资源消耗因素权重，建立资源消耗因素集和资源消耗因素权重集，最后基于随机森林算法对训练保障资源消耗趋势进行预测，对整个森林预测值取平均值，得到最终资源消耗预测结果，从而实现对训练保障资源消耗情况进行有效预测的目的。
56.下面将结合本发明实施例图中的附图，对本发明实施方式进行详细说明。
57.请参阅图1，在一个实施例中，本技术实施例提供了一种基于随机森林的资源消耗趋势预测方法，包括如下处理步骤s12至s16：
58.s12，采集设定时段的训练保障资源消耗数据并进行数据统计处理，建立训练保障资源消耗数据集。
59.可以理解，训练保障资源消耗过程是连续的，对某段时间的训练保障资源消耗数据进行采集并进行数据统计处理，以建立训练保障资源消耗数据集。设定时段也即选定的数据采集时间段，如前述所说的某段时间，该设定时段可以覆盖此前的训练执行的时间，也可以覆盖此前的训练准确时间及其训练执行的时间，具体可以根据之前训练执行过程中训练保障资源消耗的起止时间确定。
60.在设定时段内采集的训练保障资源消耗数据可以包括多个资源消耗数据，具体可以由设定时段内的数据采集次数及其单次采集数量确定。数据采集的方式可以但不限于通过人工上报、现场数据登记设备回传或从数据库服务器抓取，只要能够采集到所需数据均可。
61.s14，根据训练保障资源消耗数据的数据特征，建立资源消耗因素集和资源消耗因素权重集。
62.可以理解，根据训练保障资源消耗数据的数据特征进行分析，可以确定训练保障资源消耗是受到多种因素制约的，因此可以由训练保障资源消耗数据的数据特征确定制约训练保障资源消耗的各资源消耗因素，而这些资源消耗因素组成的集合即为资源消耗因素集。训练保障资源消耗数据的数据特征可以是反映训练保障资源消耗数量、速度、种类、来
源及其他消耗相关内容的特征信息，而资源消耗因素则是指直接或者间接影响到前述消耗相关内容的因素(例如但不限于训练环境因素、训练任务和人为因素等)。
63.对于每种资源消耗因素，都可以为其设置相应的权重，该权重称为资源消耗因素权重。各资源消耗因素权重组成的集合即为上述资源消耗因素权重集。针对资源消耗因素集而言，每个资源消耗因素的重要性在实际应用中或并不相同，因此，可以根据实际应用需要分别对每个资源消耗因素赋予不同的权重。
64.s16，根据训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法进行训练保障资源消耗趋势预测，得到资源消耗预测结果。
65.可以理解，在建立训练保障资源消耗数据集后，即可应用随机森林算法进行各子决策树的构建与发展，进而利用资源消耗因素集和资源消耗因素权重集提供的最优特征进行子决策树的依次分裂，形成相应的随机森林，整个随机森林的预测值取平均即为最终预测输出的资源消耗预测结果，该预测结果即可用于指示各训练保障资源消耗的预期消耗情况，从而可以为未来的训练准备工作提供有效参考与指导。
66.上述基于随机森林的资源消耗趋势预测方法，通过首先采集设定时段的训练保障资源消耗数据后，对其进行数据统计处理以建立训练保障资源消耗数据集，然后基于训练保障资源消耗数据的数据特征建立资源消耗因素集及其相应的资源消耗因素权重集，最后利用建立的训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法预测得到资源消耗预测结果。如此，针对传统的训练保障体系的实际需求，建立训练保障资源消耗的相关数据集后，利用于随机森林算法进行资源消耗预测，实现了对训练保障资源消耗情况进行有效预测的目的，确保训练保障任务中可及时补充各类资源，对训练保障资源调度起到积极的作用，当面对各类突发情况时也能提前保证提供充足的调度训练保障物资。
67.在一个实施例中，关于上述步骤s12，具体可以包括如下处理步骤：
68.按照设定时间范围对训练保障资源消耗数据进行统计处理，得到初始的训练保障资源消耗数据集；
69.对初始的训练保障资源消耗数据集进行数据预处理，得到建立的训练保障资源消耗数据集；数据预处理包括数据去重处理、缺失值和异常值删除处理。
70.可以理解，设定时间范围是指在数据采集的设定时段内所选定的数据统计时间范围，例如但不限于是设定的月数、周数、天数或小时数，具体可以根据实际应用需要进行设定。
71.具体的，按照一定的时间范围t，对训练保障资源消耗数据进行统计，得到一组数量为t的训练保障资源消耗数据集d＝{d1,d2,
…
,d
t
}，此时的该数据集称为初始的训练保障资源消耗数据集，其中，d
t
＝{d
t1
,d
t2
,
…
,d
tn
}，n表示任意时间范围t内采集的训练保障资源消耗数据的总数量。
72.对初始的训练保障资源消耗数据集进行数据预处理，如数据去重，以确保数据集中的数据无重复值，而对于数据中的缺失值和异常值，则考虑到训练保障资源消耗过程记录的连续性，对这些缺失值和异常值进行了删除。
73.通过上述处理，即可高效且准确地建立训练保障资源消耗数据集。
74.在一个实施例中，关于上述的步骤s14，具体可以包括如下处理步骤：
75.根据训练保障资源消耗数据的数据特征，分析并提取各资源消耗因素，得到资源消耗因素集；
76.分别为各资源消耗因素设置权重，得到资源消耗因素权重集。
77.具体的，根据训练保障资源消耗数据的数据特征进行分析后，可以将得到的各资源消耗因素组成的集合记为e＝{e1,e2,
…
,en}；其中，en表示第n个资源消耗因素。
78.确定了资源消耗因素后，可设置各资源消耗因素的权重，以建立相应的资源消耗因素权重集，可以记为a＝{a1,a2,
…
,an}，针对资源消耗因素集来说，每个资源消耗因素的重要性不同，因此可以对每个资源消耗因素赋予不同的权重。
79.在一个实施例中，如图2和图3所示，所示关于上述的步骤s16，具体可以包括如下处理步骤s162至s169：
80.s162，利用bootstrap随机有放回地从训练保障资源消耗数据集中进行n次抽样且每次抽取m个样本，形成n个学习样本子集；n和m均为不小于2的正整数；
81.s164，根据n个学习样本子集发展n个决策树；
82.s166，根据资源消耗因素集和资源消耗因素权重集，分别为每个决策树选取最优特征；
83.s168，将每个决策树按照相应最优特征进行分裂，形成随机森林；
84.s169，获取随机森林的预测值并取平均值作为资源消耗预测结果。
85.可以理解，bootstrap也即装袋法中常用的处理工具，利用bootstrap随机有放回地进行抽样时，被抽中的样本即称为袋内数据，未被抽中的数据则称为袋外数据。由于样本是随机选取的，因此各个决策树之间相互独立。
86.在一些实施方式中，关于上述的步骤s166，具体可以包括如下处理步骤：
87.根据资源消耗因素集和资源消耗因素权重集，利用信息增益率分别为每个决策树选取一个最优消耗因素作为最优特征。
88.具体的，对于每一个决策树，根据资源消耗因素集e和资源消耗因素权重集a，利用信息增益率选取一个最优消耗因素(即最优特征)作为该决策树的根节点，然后依次进行分裂。每个决策树都按照其最优特征进行分裂，在这个过程中不需要进行剪枝，形成随机森林。按照每个决策树的回归结果(组成整个随机森林的预测值)，取平均后即得到最终的资源消耗预测结果(集合)。
89.通过上述随机森林，利用上述数据集即可高效得到所需的资源消耗预测结果。
90.应该理解的是，虽然图1至图3流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图1至图3的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
91.请参阅图4，在一个实施例中，提供一种基于随机森林的资源消耗趋势预测装置100，包括数据采集模块11、特征因素模块13和预测输出模块15。其中，数据采集模块11用于采集设定时段的训练保障资源消耗数据并进行数据统计处理，建立训练保障资源消耗数据
集。特征因素模块13用于根据训练保障资源消耗数据的数据特征，建立资源消耗因素集和资源消耗因素权重集。预测输出模块15用于根据训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法进行训练保障资源消耗趋势预测，得到资源消耗预测结果。
92.上述基于随机森林的资源消耗趋势预测装置100，通过各模块的协作，首先采集设定时段的训练保障资源消耗数据后，对其进行数据统计处理以建立训练保障资源消耗数据集，然后基于训练保障资源消耗数据的数据特征建立资源消耗因素集及其相应的资源消耗因素权重集，最后利用建立的训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法预测得到资源消耗预测结果。如此，针对传统的训练保障体系的实际需求，建立训练保障资源消耗的相关数据集后，利用于随机森林算法进行资源消耗预测，实现了对训练保障资源消耗情况进行有效预测的目的，确保训练保障任务中可及时补充各类资源，对训练保障资源调度起到积极的作用，当面对各类突发情况时也能提前保证提供充足的调度训练保障物资。
93.在一个实施例中，上述数据采集模块11包括数据统计子模块和预处理子模块。其中，数据统计子模块用于按照设定时间范围对训练保障资源消耗数据进行统计处理，得到初始的训练保障资源消耗数据集。预处理子模块用于对初始的训练保障资源消耗数据集进行数据预处理，得到建立的训练保障资源消耗数据集；数据预处理包括数据去重处理、缺失值和异常值删除处理。
94.在一个实施例中，上述特征因素模块13包括因素提取子模块和权重设置子模块。其中，因素提取子模块用于根据训练保障资源消耗数据的数据特征，分析并提取各资源消耗因素，得到资源消耗因素集。权重设置子模块用于分别为各资源消耗因素设置权重，得到资源消耗因素权重集。
95.在一个实施例中，上述预测输出模块15包括抽样子模块、发展子模块、特征选取子模块、分裂子模块和均值子模块。其中，抽样子模块用于利用bootstrap随机有放回地从训练保障资源消耗数据集中进行n次抽样且每次抽取m个样本，形成n个学习样本子集；n和m均为不小于2的正整数。发展子模块用于根据n个学习样本子集发展n个决策树。特征选取子模块用于根据资源消耗因素集和资源消耗因素权重集，分别为每个决策树选取最优特征。分裂子模块用于将每个决策树按照相应最优特征进行分裂，形成随机森林。均值子模块用于获取随机森林的预测值并取平均值作为资源消耗预测结果。
96.在一个实施例中，上述的特征选取子模块具体用于根据资源消耗因素集和资源消耗因素权重集，利用信息增益率分别为每个决策树选取一个最优消耗因素作为最优特征。
97.关于基于随机森林的资源消耗趋势预测装置100的具体限定，可以参见上文中基于随机森林的资源消耗趋势预测方法的相应限定，在此不再赘述。上述基于随机森林的资源消耗趋势预测装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于具体数据处理功能的设备中，也可以软件形式存储于前述设备的存储器中，以便于处理器调用执行以上各个模块对应的操作，前述设备可以是但不限于本领域已有的各型数据处理设备。
98.在一个实施例中，还提供一种资源预测设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如下处理步骤：采集设定时段的训练保障资源
消耗数据并进行数据统计处理，建立训练保障资源消耗数据集；根据训练保障资源消耗数据的数据特征，建立资源消耗因素集和资源消耗因素权重集；根据训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法进行训练保障资源消耗趋势预测，得到资源消耗预测结果。
99.可以理解，上述资源预测设备除上述述及的存储器和处理器外，还包括其他本说明书未列出的软硬件组成部分，具体可以根据不同应用场景下的具体数据处理设备的型号确定，本说明书不再一一列出详述。
100.在一个实施例中，处理器执行计算机程序时还可以实现上述基于随机森林的资源消耗趋势预测方法各实施例中增加的步骤或者子步骤。
101.在一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下处理步骤：采集设定时段的训练保障资源消耗数据并进行数据统计处理，建立训练保障资源消耗数据集；根据训练保障资源消耗数据的数据特征，建立资源消耗因素集和资源消耗因素权重集；根据训练保障资源消耗数据集、资源消耗因素集和资源消耗因素权重集，基于随机森林算法进行训练保障资源消耗趋势预测，得到资源消耗预测结果。
102.在一个实施例中，计算机程序被处理器执行时，还可以实现上述基于随机森林的资源消耗趋势预测方法各实施例中增加的步骤或者子步骤。
103.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线式动态随机存储器(rambus dram，简称rdram)以及接口动态随机存储器(drdram)等。
104.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
105.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可做出若干变形和改进，都属于本技术保护范围。因此本技术专利的保护范围应以所附权利要求为准。