一种基于深度神经网络算法的网元容量分析与预测的方法与流程

文档序号:15296723发布日期:2018-08-31 19:27阅读:1203来源:国知局

本发明属于网元容量指标预测领域,尤其涉及一种基于深度神经网络算法的网元容量分析与预测的方法。



背景技术:

为了满足每种软件的功能不断丰富的需求,服务提供商通过不断扩大基础设施来简单升级数据中心。随着需求的波动,可用的云资源总是不能被充分利用。当容量被高估时,额外准备好但未被利用的物质资源纯粹被浪费,且未使用的物质资源不仅造成能源浪费,还会导致更多的购买成本。

此外,高估容量将带来额外的相关成本,如网络,人力和维护,所有这些都与基础设施的规模成正比。另一方面,低估云容量会造成资源短缺和收入损失。

对于云平台来说,硬件资源需要较长时间的采集和部署过程,如果实际需求高于现有容量,云端就不得不推迟服务新客户,从而失去潜在的收入,因此一旦资源出现短缺严重将造成现有客户的现有服务也受到巨大影响。

现有技术中,虚拟化虽然可以最大化地提高服务器各资源的使用率,但无监控和无规划的增加物理机的工作负荷最终会导致虚拟化项目的失败。虚拟化的另一个优势是资源添减的便利性,但如果管理员无计划无节制地进行空间分配会导致物理磁盘产生大量的磁盘碎片。而另一方面,如果容量管理没有分配合理或者根本就没有分配,供需就会失衡,导致资源浪费或者资源不够用,无论是购买的时间太早还是数量过多,都将带来昂贵的代价,资源短缺会直接影响到公司的业务运行并且给用户带来较差的体验。

鉴于上述现技术中存在的不能充分规划利用容量资源的缺陷,本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识,并配合学理的运用,积极加以研究创新,以期创设一种能够对网元容量分析与预测的方法,能够改进一般现有的对虚拟化服务器资源的方法,使其更具有实用性。经过不断的研究、设计,并经过反复试作样品及改进后,终于创设出确具实用价值的本发明。



技术实现要素:

针对现有技术存在的上述缺陷,本发明提供了一种基于深度神经网络算法的网元容量分析与预测的方法,本发明基于深度神经网络算法来分析和预测网元容量,从而合理规划网元容量的分配,改进现有技术中各项资源不能被合理分配使用,导致资源浪费或资源不够用的缺陷,且合理、科学的容量规划可以使企业有效避免成本浪费、资源不稳定等问题的发生,因此,采用深度神经网络算法,自动预测和规划网元容量,使资源的利用率达到最高是本发明的目的所在。

为达到上述技术目的,本发明采取如下技术方案:

一种基于深度神经网络算法的网元容量分析与预测的方法,其特征在于,

s1、获取电信网元容量的输入与输出数据,组成样本数据;

s2、利用深度神经网络算法训练样本数据得到深度神经网络模型;

s3、输入网元容量的性能数据,通过深度神经网络模型预测网元容量的资源分配指标。

作为本发明的优选,步骤s1与步骤s2之间包括:归一化处理样本数据,通过转换函数使样本数据的取值范围为(0,1)。

作为本发明的优选,步骤s2还包括:利用梯度下降的方法更新训练样本的权重矩阵,通过迭代法直到指标的输出误差小于预设误差阈值。

作为本发明的优选,权重的调整幅度为δwij(t)=η·εi(t)xi(t、δvj(t)=η·εi(t)hj(t),调整后的权重为δvj(t)=η·εi(t)hj(t)、vj(t+1)=αvj(t)+δvj(t)。

作为本发明的优选,所述输出误差的计算方法为:所述样本数据中的目标输出值与实际输出值的差。

作为本发明的优选,通过成本函数的最小化实现深度神经网络模型的实际输出趋于所述目标输出值。

作为本发明的优选,步骤s2中深度神经网络算法训练样本数据的过程包括:输入层至输出层由输入层逐层计算各层神经元的输入与输出;由输出层逐层计算各层神经元的输出误差,以及根据误差梯度下降原则调节各层的连接权值与节点误差阈值。

作为本发明的优选,步骤s3还包括通过激活函数relu分类输出网元容量的每项指标。

本发明提供的技术方案可以包括以下有益效果:

使用深度神经网络算法构建深度神经网络模型,通过深度神经网络模型预测和规划网元容量的分配指标,能够将当前的性能数据作为模型输入,预测未来所需要的配置数据,合理利用各项资源。

附图说明

图1为本发明实施例1基于深度神经网络算法的网元容量分析与预测的方法的流程示意图;

图2为本发明dnn模型基本结构。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例1:

如图1、图2所示,本实施例提供了一种基于深度神经网络算法的网元容量分析与预测的方法,整体操作过程如下:

s1、获取已知电信网元容量的输入与输出,组成样本数据;

首先,确定网元容量规划的输入与输出,输入即为业务指标以及各项性能数据,输出为各项配置数据;通过历史的、已知的、合理的输入与输出电信网元数据得到历史数据。在模型构建时,首先需要采集历史的输入(xi)和输出(yi)指标的相关数据作为样本数据,具体指标选择视实际数据情况而定。

例如:输入指标为业务指标、,以及cpu、内存、进程、文件系统、磁盘、swap、网卡、日志文件等性能数据,如表1所示,表1为容量规划业务指标体系(输入),包括但不限于以下指标:

如表2所示,表2为容量规划性能指标体系(输入),包括但不限于以下指标:

输出指标包括需要预测的网络资源、数据中心资源等配置数据,如表3所示,表3为容量规划配置指标体系(输出),包括但不限于以下指标:

s2、利用深度神经网络算法训练样本数据得到深度神经网络模型;

在训练数据样本之间须归一化处理样本数据,通过转换函数使样本数据的取值范围在0-1之间。

利用梯度下降的方法更新原有的权重矩阵,通过不断迭代,直到误差小于预设的误差阈值,最终得到深度神经网络模型;

s3、输入网元容量的性能数据,通过深度神经网络模型预测网元容量的资源分配指标,并进行输出。

dnn模型(深度神经网络模型)的基本结构包括输入层100,若干隐藏层200和输出层300,如图2所示。

深度神经网络模型在输出层采用激活函数relu进行分类,对容量指标进行输出。激活函数f(x)公式如下:f(x)=max(0,x)

深度神经网络(dnn)算法的过程可以分为两个阶段:第一阶段是由输入层开始逐层计算各层神经元的输入和输出,直到输出层为止。第二阶段是由输出层开始逐层计算各层神经元的输出误差,并根据误差梯度下降原则来调节各层的连接权值和节点阈值,使修改后的网络的最终输出能接近期望值。如果一次训练以后还达不到精度要求,可以重复训练,直到满足训练精度为止。

网络权值调节机制:设输入向量x=(x1,x2,…,xm)t,即为上述表中的各项输入数据——性能指标与业务指标,隐含层输出向量h=(h1,h2,…,hl)t,y为网络的实际输出,即为配置指标。输入层节点i到隐含层节点j的权值为wij,隐含层节点到输出层节点的权值为vj,θj与分别表示隐含层和输出层的阈值。则

其中f(x)为激活函数,这里激活函数选定为relu函数,即f(x)=max(0,x),f(x)函数将变量映射为一个连续值。

详细介绍计算网络实际输出与理想输出的误差如下:

在t时刻,将网络的实际输出yi(t)与样本给出的目标输出di(t)进行比较,输出产生的误差εi(t)定义如下:

εi(t)=di(t)-yi(t)

所产生的误差信号驱动了对学习算法的控制,其目的是对神经元的输入权重进行一系列校准调节,校准调整的目的是通过一步步的迭代,使输出信号yi(t)越来越接近目标输出di(t),该目标可以通过成本函数e(t)最小化来实现。

作为本实施例的优选方案,利用梯度下降的方法更新训练样本的权重矩阵,计算网络权值的调整量如下:

权重的调整幅度为

δwij(t)=η·εi(t)xi(t)

δvj(t)=η·εi(t)hj(t)

其中η是一个数值为正的常量,代表学习率。

调整后的权重为

wij(t+1)=αwij(t)+δwij(t)

vj(t+1)=αvj(t)+δvj(t)

α为冲量项,δwij(t)为由输入层到隐含层的权值调整幅度,δvj(t)为由隐含层到输出层的权值调整幅度。

综上所述,本实施例能够通过历史合理的数据作为样本,训练出深度神经网络模型,将当前系统的性能数据作为度神经网络模型的输入,预测和规划未来所需要的配置数据。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1