深度学习系统及其使用方法与流程

文档序号:11678193阅读:405来源:国知局
本发明涉及一种深度学习技术,特别是涉及一种深度学习系统及其使用方法。
背景技术
:本发明涉及一种深度学习技术,特别是涉及一种深度学习系统及其使用方法。技术实现要素:本发明所要解决的技术问题是提供一种深度学习系统及其使用方法,其能够将深度学习模型和决策树模型的优点结合起来,生成一种可解释的模型,同时兼顾模型的可扩展性,可以方便的部署在基于cpu(中央处理器)或gpu(图形处理器)的计算集群中。本发明是通过下述技术方案来解决上述技术问题的:一种深度学习系统,其特征在于,其包括:变量分割模块,将一个输入的连续型变量在某一个或多个切割点进行分割,从而将其变为离散型变量;决策树生成模块,通过步骤一,将每一个连续变量编码为一个近似二进制向量,此二进制向量有且只有一个值为1,剩余值为0;权重学习模块,输入的连续型变量被转换为一个二进制编码的最终结点,将建立最终结点和输出直接的关系。本发明还提供一种深度学习系统的使用方法,其特征在于,其包括以下步骤:步骤一,变量分割:将一个输入的连续型变量在某一个或多个切割点进行分割,从而将其变为离散型变量;步骤二,决策树生成:通过步骤一将每一个连续变量编码为一个近似二进制向量,此二进制向量有且只有一个值为1,剩余值为0;步骤三,权重学习:经过步骤一、步骤二,输入的连续型变量被转换为一个二进制编码的最终结点,在步骤三中将建立最终结点和输出直接的关系。优选地,所述步骤二中利用步骤一中的输出生成一个决策树的树状结构。优选地,所述步骤一、步骤二充分考虑到了函数的可导性质,所以步骤三通过标准的反向传导算法进行实现。本发明的积极进步效果在于:本发明能够将深度学习模型和决策树模型的优点结合起来,生成一种可解释的模型,同时兼顾模型的可扩展性,可以方便的部署在基于cpu或gpu的计算集群中;相对于深度学习模型,本发明所生成的模型具有非常好的可解释性,预测结果可以回溯到单个输入变量,并进行输入、输出分析。相对于传统的决策树模型,本发明更加便于并行优化,且具有成熟的基于gpu的加速方法。附图说明图1为本发明的系统流程图。具体实施方式下面结合附图给出本发明较佳实施例,以详细说明本发明的技术方案。如图1所示,本发明深度学习系统包括以下模块:变量分割模块,将一个输入的连续型变量在某一个或多个切割点进行分割,从而将其变为离散变量;决策树生成模块,将每一个连续变量编码为一个近似二进制向量,此二进制向量有且只有一个值为1,剩余值为0;权重学习模块,输入变量被转换为一个二进制编码的最终结点,将建立最终结点和输出直接的关系。本发明深度学习系统的使用方法包括以下步骤:步骤一,变量分割步骤,变量分割是决策树模型的核心部分,其核心功能在于将一个输入的连续型变量在某一个或多个切割点进行分割,从而将其变为离散变量。下面以一个分布于[0,1]之间的连续型变量为例,假设存在一个分割点,例如0.5。即,位于[0,0.5]之间的实例将归入“区间1”,位于[0.5,1]之间的实例将归入“区间2”。此操作不能直接使用神经网络模型的结构进行实现,因为分割函数是不可导函数,在神经网络的学习中,会造成“0梯度”现象,会造成反向传导(一种流行的神经网络学习方法)出错。根据上面的例子,本发明给出一个可导的变量分割函数,如下式(1):f(x)=softmax(x.[[1,2]]+[0,-0.5])………………(1)其中,softmax函数的具体数学形式为,更为一般的,假设我们通过n个分割点:beta_1,beta_2,…,beta_n将一个连续型变量x分割为n+1个区间,其分割函数为,如下式(2):f(x)=softmax(x.[[1,2,…,n+1]]+[0,-beta_1,-beta_1-beta_2,…,-beta_1,-beta_1-beta_2-…-beta_n])……………(2)其中beta_1,beta_2,…,beta_n为模型参数,通过深度学习进行估计,其他项为常数项,在学习过程中固定。步骤二,决策树生成,通过步骤一将每一个输入的连续型变量编码为一个近似二进制向量,此二进制向量有且只有一个值为1,剩余值为0。在步骤二中,利用步骤一中的输出生成一个决策树的树状结构。根据图1,有两个输入变量,每个输入变量都被其对应的1个切割点转换成两个区间。由此可知,最终会得到4个不同的结点,如表1所示:最终结点编号变量1落入区间变量2落入区间1区间1区间12区间1区间23区间2区间14区间2区间2表1决策树生成的数学核心为克罗内克积,如表2所示:变量1最终输出变量2最终输出克罗内克积运算最终结点编码[1,0][1,0][1,0]⊗[1,0][1,0,0,0][1,0][0,1][1,0]⊗[0,1][0,1,0,0][0,1][1,0][0,1]⊗[1,0][0,0,1,0][0,1][0,1][0,1]⊗[0,1][0,0,0,1]步骤三,权重学习,经过步骤一、步骤二,输入变量被转换为一个二进制编码的最终结点,在步骤三中,将建立最终结点和输出直接的关系。如图1所示,以一个二类分类问题为例,步骤三的输入为四维,输出为二维;因此,在经典的神经网络,即向前传到式神经网络中,需要学习的变量为:(a)一个维度4x2的权重矩阵;(b)二维偏差项。得益于步骤一、步骤二的设计充分考虑到了函数的可导性质,所以步骤三可以通过标准的反向传导算法进行实现。综上所述,本发明基于乘法门神经网络,用特定的激活函数来模拟决策树模型中的变量切割操作,并利用乘法门生决策树模型中结点之间的连接结构,最终将模型纳入到标准神经网络实现的架构中。以上所述的具体实施例,对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1