一种基于结构化数据的预测方法

文档序号:26009852发布日期:2021-07-23 21:29阅读:来源:国知局

技术特征:

1.一种基于结构化数据的预测方法,其特征在于,包括以下内容:

获取所述结构化数据元组x=<x1,x2,…xj,…xm>,xj表示第j个属性值,m表示所述结构化数据属性的个数;

将属性值xj转换为嵌入向量表示ej,j∈{1,2,…,m};

使用多个指数神经元基于所述嵌入向量建模所述x的特征相互作用;

将所有所述特征相互作用聚合构建所述x的特征向量;

基于所述特征向量进行分类预测。

2.根据权利要求1所述的方法,其特征在于,所述将属性值xj转换为嵌入向量表示ej的过程如下:当所述xj为数值型时,先根据该属性值域范围缩放到(0,1]区间内,再与预学习的嵌入向量相乘;当所述xj为分类型时,直接根据其值索引对应预学习的嵌入向量。

3.根据权利要求1或2所述的方法,其特征在于,所述建模所述x的特征相互作用时,阶数非固定。

4.根据权利要求3所述的方法,其特征在于,所述指数神经元的个数为k×o个,其中,k表示注意头的个数,o表示每个注意头的所述指数神经元的数目,k和o都是自然数;每个注意头的所有所述指数神经元共享其双线性注意函数的权重矩阵watt;

每个注意头的第i个指数神经元yi表示如下:

其中,i,⊙表示哈达玛积,exp(·)函数和相应的指数wij按元素应用,ej表示所述结构化数据第j个属性值对应的嵌入向量,i,j,m,ne均为自然数,1≤i≤o,1≤j≤m,m表示所述结构化数据属性的个数,ne表示嵌入大小,表示yi对ej求导数,表示yi对wij求导数,diag(·)是对角矩阵函数;表示所述yi的动态特征交互权重,通过下式获得:

wi=zi⊙vi;

其中,表示可学习的注意权值向量,zi作为门,表示注意重校准权重,通过双线性注意对齐得分动态生成,表示如下:

其中,表示可学习的注意查询向量,t表示转置运算,表示双线性注意函数的权重矩阵,α-entmax(·)表示稀疏softmax,稀疏性随α的增大而增大,α为用于控制稀疏性的超参数,

5.根据权利要求4所述的方法,其特征在于,所述聚合为向量拼接。

6.根据权利要求5所述的方法,其特征在于,基于所述特征向量进行分类预测前先通过多层感知器mlp捕获元素的非线性特征交互,并获得编码关系的向量表示h:

其中,nh表示非线性特征交互尺寸,为自然数。

7.根据权利要求6所述的方法,其特征在于,所述分类预测通过下式进行:

其中,分别表示权重和偏差,np表示预测目标数。

8.根据权利要求7所述的方法,其特征在于,将所述方法与dnn结合进行目标预测。

9.根据权利要求3-8任一项所述的方法,其特征在于,将所述多个指数神经元的vi加和平均后的排序作为所述结构化数据中各属性对目标预测的影响程度排名。

10.根据权利要求3-8任一项所述的方法,其特征在于,将所述多个指数神经元的wi加和平均后的排序作为当前所述元组中各属性值对目标预测结果的影响程度排名。


技术总结
本发明涉及一种基于结构化数据的预测方法,属于人工智能学习预测技术领域,包括获取所述结构化数据元组x=<x1,x2,...xj,...xm>;将属性值xj转换为嵌入向量表示ej;使用多个指数神经元基于所述嵌入向量建模所述x的特征相互作用;将所有所述特征相互作用聚合构建所述x的特征向量;基于所述特征向量进行分类预测。本发明通过指数神经元建模交叉特征,克服了对数神经元输入必须为正的限制,提高了神经元灵活性及适用场景,提升了交叉特征建模的有效性;多头门控注意力机制能够根据输入数据动态并有选择性地建模任意阶的交叉特征,提升了特征建模的准确性和效率,进而提升了目标预测的准确性和效率;通过门控机制动态捕捉输入样本的交互项,提供了模型决策的可解释性以及新的见解。

技术研发人员:蔡少峰;郑凯平;陈刚;张美慧
受保护的技术使用者:北京理工大学
技术研发日:2021.05.13
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1