一种基于结构化数据的预测系统

文档序号:26009856发布日期:2021-07-23 21:29阅读:来源:国知局

技术特征:

1.一种基于结构化数据的预测系统,其特征在于,包括预处理模块和预测模块;预处理模块将所述结构化数据元组x的每个属性值转换为嵌入向量表示后输出给预测模块,预测模块使用多个指数神经元基于所述嵌入向量建模所述x的交叉特征,然后将所有所述交叉特征聚合构建所述x的特征向量,最后基于所述特征向量进行分类预测。

2.根据权利要求1所述的系统,其特征在于,所述将属性值转换为嵌入向量表示的过程如下:当所述属性值为数值型时,先根据该属性值域范围缩放到(0,1]区间内,再与预学习的嵌入向量相乘;当所述属性值为分类型时,直接根据其值索引对应预学习的嵌入向量。

3.根据权利要求1或2所述的系统,其特征在于,所述指数神经元的个数为k×o个,其中,k表示注意头的个数,o表示每个注意头的所述指数神经元的数目,k和o都是自然数;每个注意头的所有所述指数神经元共享其双线性注意函数的权重矩阵watt;

每个注意头的第i个所述指数神经元yi表示如下:

其中,i,⊙表示哈达玛积,exp(·)函数和相应的指数wij按元素应用,ej表示所述结构化数据第j个属性值对应的嵌入向量,i,j,m,ne均为自然数,1≤i≤o,1≤j≤m,m表示所述结构化数据属性的个数,ne表示嵌入大小,表示yi对ej求导数,表示yi对wij求导数,diag(·)是对角矩阵函数;表示所述yi的动态特征交互权重,通过下式获得:

wi=zi⊙vi;

其中,表示可学习的注意权值向量,zi作为门,表示注意重校准权重,通过双线性注意对齐得分动态生成,表示如下:

其中,表示可学习的注意查询向量,t表示转置运算,表示双线性注意函数的权重矩阵,α-entmax(·)表示稀疏softmax,稀疏性随α的增大而增大,α为用于控制稀疏性的超参数,

4.根据权利要求3所述的系统,其特征在于,所述聚合为向量拼接。

5.根据权利要求4所述的系统,其特征在于,基于所述特征向量进行分类预测前先通过多层感知器mlp捕获元素的非线性特征交互,并获得编码关系的向量表示h:

其中,nh表示非线性特征交互尺寸,为自然数;

然后基于所述h进行分类预测。

6.根据权利要求5所述的系统,其特征在于,将所述系统与dnn结合进行目标预测。

7.根据权利要求3-6任一项所述的系统,其特征在于,所述系统还包括存储模块,对所述结构化数据提供底层存储支持,为所述预测模块的训练提供基于dbms的逻辑表的抽象功能,以及在模型部署后,为具体应用的学习任务提供运行时数据收集、整理、转发至预测模块的功能;所述收集包括训练后的指数神经元参数配置、权重,以及当前预测实例及其权重,所述整理包括统计全局高频交互项、全局属性重要性排名、局部属性重要性排名。

8.根据权利要求7所述的系统,其特征在于,所述系统还包括功能模块,功能模块有预测单元、全局解释单元和局部解释单元组成,预测单元提供输入数据的预测结果输出,全局解释单元对所述具体应用的学习任务的整体逻辑,提供解释性支持,输出每一个属性的标量值,指示其全局重要性,以及所述全局高频交互项;局部解释单元针对单个待预测的样本,提供逐样本的局部性解释支持,输出对应于所述样本的每一个属性的标量值,指示其局部重要性,以及对应于所述样本的交互项。

9.根据权利要求8所述的系统,其特征在于,所述系统还包括应用模块,提供对结构化数据应用的端到端的支持,对系统其它模块的接口提供调度和封装。

10.一种电子设备,其特征在于,所述电子设备包括至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述的一种基于结构化数据的预测系统。


技术总结
本发明涉及一种基于结构化数据的预测系统,属于人工智能学习预测技术领域,包括预处理模块和预测模块;预处理模块将所述结构化数据元组x的每个属性值转换为嵌入向量表示后输出给预测模块,预测模块使用多个指数神经元基于所述嵌入向量建模所述x的交叉特征,然后将所有所述交叉特征聚合构建所述x的特征向量,最后基于所述特征向量进行分类预测。本发明通过指数神经元建模交叉特征,克服了对数神经元输入必须为正的限制,提高了神经元灵活性及适用场景,提升了交叉特征建模的有效性;多头门控注意力机制能够根据输入数据动态并有选择性地建模任意阶的交叉特征,提升了特征建模的准确性和效率,提供了模型决策的可解释性以及新的见解。

技术研发人员:蔡少峰;郑凯平;陈刚;张美慧
受保护的技术使用者:北京理工大学
技术研发日:2021.05.13
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1