一种RACK服务器深度学习优化的方法与流程

文档序号:11323876阅读:485来源:国知局

本发明涉及rack服务器深度学习领域,具体涉及一种rack服务器深度学习优化的方法。通过对rack服务器深度学习以及系统优化,可以大大提升服务器系统的辨识准确性以及辨识效率,使人工智能在语音图像翻译等领域更加高效便捷。



背景技术:

人工智能在当前的在线服务领域发挥着越来越重要的作用,人工智能系统深度学习所依赖的是神经系统网络,神经网络最重要的用途是分类和识别。

举例说明,把一张猫的照片交给计算机让其识别,计算机通过这张照片的像素信息逐层分析,每一层都会有若干个神经元负责分解画面上的信息,比如说第一层负责分析照片上的轮廓信息,这个时候可能有一半的神经元判断这个照片上是狗另一半觉得这个照片上是猫,没关系,这时可以再交给下一层继续分析。下一层的神经元负责分析照片上的颜色信息,再下一层负责分析照片上的纹理信息,以此类推。到了最后一层计算机得出的结果是照片上的动物是狗。但如果计算得出的信息是错误的,神经网络就得重新再来一遍,这时候每层的神经网络就会反省上一次的错误,重新分析最终得出正确的结果。

再例如,如果你想要教会这种网络如何识别出猫的模样,你就要给它提供无数多的猫的图片,使用深度学习技术,不仅仅是用来识别照片、语音以及翻译文字,而且还可以使用这个技术来优化搜索结果。

这种深度学习主要表现在三个方面:

1.具有自学习功能。

例如在实现图像识别时,只需要提前把许多不同的图像样板和对应的应识别的结果输入人工神经网络,网络就会通过自学习功能,慢慢学会识别类似的图像。自学习功能对于预测具有特别重要的意义。可以预期,未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测,其应用前途是非常远大的。

2.具有联想存储功能。

用人工神经网络的反馈网络就可以实现这种联想。通过建立多个数据库,将各种信息以网络联系,通过反馈网络建立各种不同的联系,可以实现一种事物与其他多个事物之间的关联。

3.具有高速寻找优化解的能力。寻找一个复杂问题的优化解,往往需要很大的计算量,利用一个针对某问题而设计的反馈型人工神经网络,发挥计算机的高速运算能力,可能很快找到优化解。

目前,smartrack是目前较为成熟和领先的整机柜服务器。服务器的深度学习借助互联网正如火如荼的全面而来,但是服务器识别数据量和准确率有待提升,因此研究和优化系统以便更准确识别和更高效识别显得尤为必要。

针对上述问题,本发明公开了一种rack服务器深度学习系统优化的方法,主要通过三个方面完成深度学习系统的优化;首先,从数据上提升性能,通过收集和产生更多的数据并对数据做缩放和变换进行效果改善;其次,从算法上提升性能,深度学习总是与算法相关,针对不同问题尝试使用合适的算法,例如线性算法或者树模型算法;最后,从算法调优上提升性能,通过算法筛选虽能找出一到两个效果不错的算法。但想要达到这些算法的最佳状态还需要进行算法上的调优。



技术实现要素:

rack服务器深度学习系统优化主要通过三个方面进行:

一、从数据上提升性能

1)收集和产生更多的数据,深度学习在大数据集上的效果更好;

2)对数据做缩放和变换。

二、从算法上提升性能

1)决策树算法主要用来来划分物体的类属;

2)支持向量机算法具有高准确率,在动辄超高维的文本分类问题中特别受欢迎;

3)逻辑回归算法与决策树与支持向量机相比,能得到一个很好的概率解释。

三、从算法调优上提升性能

1)通过诊断性提升;

2)权重的初始化;

3)调节学习率;

4)调节网络拓扑结构。

具体地,本申请请求保护一种rack服务器深度学习优化的方法,其特征在于该方法具体包括:

对收集的数据进行处理,使数据的形态多样化,从数据上提升性能;

采用决策树算法划分物体的类属,在算法上提升性能;

对权重的初始值尝试不同策略,增加向量值,增大学习率,在网络拓扑结构中增加多节点隐藏层,从算法调优上提升性能。

如上所述的rack服务器深度学习优化的方法,其特征还在于,对收集的数据进行处理进一步包括对数据做缩放和变换,将数据缩放到激活函数的阈值范围,同时根据数据类型进行变换。

如上所述的rack服务器深度学习优化的方法,其特征还在于,在算法上提升性能进一步包括根据情况选择高偏差/低方差的分类器或低偏差/高方差的分类器。

如上所述的rack服务器深度学习优化的方法,其特征还在于,在算法上提升性能进一步包括使用向量机算法。

如上所述的rack服务器深度学习优化的方法,其特征还在于,在算法上提升性能进一步包括使用逻辑回归算法。

如上所述的rack服务器深度学习优化的方法,其特征还在于,从算法调优上提升性能进一步包括通过诊断性提升性能。

如上所述的rack服务器深度学习优化的方法,其特征还在于,对权重的初始值尝试不同策略进一步包括采用用非监督式方法预学习。

具体实施方式

本申请发明了一种rack服务器深度学习系统优化的方法。rack服务器深度学习系统优化,主要通过数据上提升优化,算法上选择和算法调优上改善来实现深度学习系统优化。

下面做进一步地详细描述:

1.从数据上提升性能

调整训练数据或是问题的抽象定义方法可以带来巨大的改善。

1)收集和产生更多的数据,深度学习在大数据集上的效果更好,因此收集更多数据有助于深度学习的改善,数据扩展或是数据生成,比如图像数据,简单地随机选择和平移已有的图像就能取得很大的提升。它能提升模型的泛化能力。

2)对数据做缩放和变换,将数据缩放到激活函数的阈值范围,同时根据数据类型进行变换,比如据是倾斜的高斯分布采用用box-cox方法纠正倾斜,数据是指数分布进行对数变换。

2从算法上提升性能

深度学习总是与算法相关,选择合适算法可以实现系统性能的提升。针对不同问题测试各式各样的算法,同时确保在每个算法上也测试不同的参数,最后使用交叉验证选择表现最好的。

比如是小训练集,高偏差/低方差的分类器要比低偏差/高方差的分类器具有优势,因为后者容易过拟合。然而随着训练集的增大,低偏差/高方差的分类器将开始具有优势(拥有更低的渐近误差),因为高偏差分类器对于提供准确模型不那么高效。

决策树算法主要用来来划分物体的类属,树中每一内部节点对应一个物体属性,而每一边对应于这些属性的可选值,树的叶节点则对应于物体的每个基本分类。它可以很好地处理特征间的交互关系并且是非参数化的,不必担心异常值或者数据是否线性可分,其缺点就是不支持在线学习,于是在新样本到来后,决策树需要全部重建。而且容易过拟合。

支持向量机算法具有高准确率,通过尽可能宽的边缘方式发现分离类的边界。其真正的亮点是强烈的数据特征,为避免过拟合提供了很好的保证,而且就算数据在原特征空间线性不可分,只要给个合适的核函数,它就能运行得很好。在动辄超高维的文本分类问题中特别受欢迎。缺点是内存消耗大,难以解释,运行和调参复杂。

逻辑回归算法与决策树与支持向量机相比,能得到一个很好的概率解释,可以利用新数据来更新模型(使用在线梯度下降算法),非常适合概率架构,比如简单地调节分类阈值,指明不确定性,可以将更多的训练数据快速整合到模型中去。

3.从算法调优上提升性能

通过算法筛选往往总能找出一到两个效果不错的算法。但想要达到这些算法的最佳状态需要对算法就行优化。

1)通过诊断性提升

通过查看模型性能的方法就是每一步计算模型在训练集和验证集上的表现,将结果绘制成图表。在训练集和验证集上测试模型的准确率,如果训练集的效果好于验证集,说明可能存在过拟合的现象,试一试增加正则项。如果训练集和验证集的准确率都很低,说明可能存在欠拟合,你可以继续提升模型的能力,延长训练步骤。

2)权重的初始化

保持你的模型结构不变,尝试不同的初始化策略,尝试所有的初始化方法,找出最好的一组初始化值,采用用非监督式方法预学习,比如自动编码机,尝试用一组现有的模型权重参数,然后重新训练输入和输出层(迁移学习)。

3)学习率

调节学习率也能带来效果提升。尝试非常大、非常小的学习率。,尝试每隔固定训练步骤衰减的学习率,尝试增加一个向量值,然后用网格搜索。大的网络模型需要更多的训练步骤,反之亦然。如果你添加了更多的神经节点和网络层,请加大学习率。

4)网络拓扑结构

调整网络的拓扑结构也会有一些帮助。通过加一层有许多节点的隐藏层(拓宽),通过一个深层的神经网络,每层节点较少(纵深)。越大的网络模型有越强的表达能力更多层的结构提供了抽象特征的更多结构化组合的可能。后期的网络模型需要更多的训练过程,需要不断地调节训练步长和学习率。

显而易见地,上述实施方式的仅仅是本发明的一个具体实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据上述实施方式获得其他的技术方案,都属于本发明保护的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1