词向量处理方法、装置以及设备与流程

文档序号:14686992发布日期:2018-06-15 04:11阅读:来源:国知局
技术特征:

1.一种词向量处理方法,包括:

获取对语料分词得到的各词;

建立所述各词的词向量;

根据所述各词的词向量,以及所述各词在所述语料中的上下文词的词向量,对卷积神经网络进行训练;

根据所述各词的词向量和训练后的所述卷积神经网络,获取所述各词的词向量的训练结果。

2.如权利要求1所述的方法,所述建立所述各词的词向量,具体包括:

确定所述各词的总数量;

分别为所述各词建立维度为所述总数量的词向量,其中,所述各词的词向量互不相同,所述词向量中有一个元素为1,其余元素为0。

3.如权利要求1所述的方法,所述根据所述各词的词向量,以及所述各词在所述语料中的上下文词的词向量,对卷积神经网络进行训练,具体包括:

根据所述各词的词向量,以及所述各词在所述语料中的上下文词和负样例词的词向量,对卷积神经网络进行训练。

4.如权利要求3所述的方法,所述根据所述各词的词向量,以及所述各词在所述语料中的上下文词和负样例词的词向量,对卷积神经网络进行训练,具体包括:

对分词后的所述语料进行遍历,对遍历到的当前词执行:

确定当前词在分词后的所述语料中的一个或多个上下文词以及负样例词;

将当前词的上下文词的词向量输入卷积神经网络的卷积层进行卷积计算;

将卷积计算结果输入所述卷积神经网络的池化层进行池化计算,得到第一向量;

将当前词的词向量输入所述卷积神经网络的全连接层进行计算,得到第二向量,以及将当前词的负样例词的词向量输入所述卷积神经网络的全连接层进行计算,得到第三向量;

根据所述第一向量、所述第二向量、所述第三向量,以及指定的损失函数,更新所述卷积神经网络的参数。

5.如权利要求4所述的方法,所述进行卷积计算,具体包括:

按照如下公式,进行卷积计算:

其中,xi表示第i个上下文词的词向量,xi:i+θ-1表示将第i~i+θ-1个上下文词的词向量拼接得到的向量,yi表示通过所述卷积计算得到的向量的第i个元素,ω表示卷积层的权重参数,ζ表示卷积层的偏置参数,σ表示激励函数。

6.如权利要求4所述的方法,所述进行池化计算,具体包括:

进行最大化池化计算或者平均池化计算。

7.如权利要求4所述的方法,所述根据所述第一向量、所述第二向量、所述第三向量,以及指定的损失函数,更新所述卷积神经网络的参数,具体包括:

计算所述第二向量与所述第一向量的第一相似度,以及所述第三向量与所述第一向量的第二相似度;

根据所述第一相似度、所述第二相似度,以及指定的损失函数,更新所述卷积神经网络的参数。

8.如权利要求4所述的方法,所述损失函数具体包括:

其中,c表示所述第一向量,w表示所述第二向量,w'm表示第m个负样例词对应的所述第三向量,ω表示卷积层的权重参数,ζ表示卷积层的偏置参数,表示全连接层的权重参数,τ表示全连接层的偏置参数,γ表示超参数,s表示相似度计算函数,λ表示负样例词的数量。

9.如权利要求1所述的方法,所述根据所述各词的词向量和训练后的所述卷积神经网络,获取所述各词的词向量的训练结果,具体包括:

将所述各词的词向量分别输入训练后的所述卷积神经网络的全连接层进行计算,获得计算后输出的向量,作为对应的词向量训练结果。

10.一种词向量处理装置,包括:

获取模块,获取对语料分词得到的各词;

建立模块,建立所述各词的词向量;

训练模块,根据所述各词的词向量,以及所述各词在所述语料中的上下文词的词向量,对卷积神经网络进行训练;

处理模块,根据所述各词的词向量和训练后的所述卷积神经网络,获取所述各词的词向量的训练结果。

11.如权利要求10所述的装置,所述建立模块建立所述各词的词向量,具体包括:

所述建立模块确定所述各词的总数量;

分别为所述各词建立维度为所述总数量的词向量,其中,所述各词的词向量互不相同,所述词向量中有一个元素为1,其余元素为0。

12.如权利要求10所述的装置,所述训练模块根据所述各词的词向量,以及所述各词在所述语料中的上下文词的词向量,对卷积神经网络进行训练,具体包括:

所述训练模块根据所述各词的词向量,以及所述各词在所述语料中的上下文词和负样例词的词向量,对卷积神经网络进行训练。

13.如权利要求12所述的装置,所述训练模块根据所述各词的词向量,以及所述各词在所述语料中的上下文词和负样例词的词向量,对卷积神经网络进行训练,具体包括:

所述训练模块对分词后的所述语料进行遍历,对遍历到的当前词执行:

确定当前词在分词后的所述语料中的一个或多个上下文词以及负样例词;

将当前词的上下文词的词向量输入卷积神经网络的卷积层进行卷积计算;

将卷积计算结果输入所述卷积神经网络的池化层进行池化计算,得到第一向量;

将当前词的词向量输入所述卷积神经网络的全连接层进行计算,得到第二向量,以及将当前词的负样例词的词向量输入所述卷积神经网络的全连接层进行计算,得到第三向量;

根据所述第一向量、所述第二向量、所述第三向量,以及指定的损失函数,更新所述卷积神经网络的参数。

14.如权利要求13所述的装置,所述训练模块进行卷积计算,具体包括:

所述训练模块按照如下公式,进行卷积计算:

其中,xi表示第i个上下文词的词向量,xi:i+θ-1表示将第i~i+θ-1个上下文词的词向量拼接得到的向量,yi表示通过所述卷积计算得到的向量的第i个元素,ω表示卷积层的权重参数,ζ表示卷积层的偏置参数,σ表示激励函数。

15.如权利要求13所述的装置,所述训练模块进行池化计算,具体包括:

所述训练模块进行最大化池化计算或者平均池化计算。

16.如权利要求13所述的装置,所述训练模块根据所述第一向量、所述第二向量、所述第三向量,以及指定的损失函数,更新所述卷积神经网络的参数,具体包括:

所述训练模块计算所述第二向量与所述第一向量的第一相似度,以及所述第三向量与所述第一向量的第二相似度;

根据所述第一相似度、所述第二相似度,以及指定的损失函数,更新所述卷积神经网络的参数。

17.如权利要求13所述的装置,所述损失函数具体包括:

其中,c表示所述第一向量,w表示所述第二向量,w'm表示第m个负样例词对应的所述第三向量,ω表示卷积层的权重参数,ζ表示卷积层的偏置参数,表示全连接层的权重参数,τ表示全连接层的偏置参数,γ表示超参数,s表示相似度计算函数,λ表示负样例词的数量。

18.如权利要求10所述的装置,所述处理模块根据所述各词的词向量和训练后的所述卷积神经网络,获取所述各词的词向量的训练结果,具体包括:

所述处理模块将所述各词的词向量分别输入训练后的所述卷积神经网络的全连接层进行计算,获得计算后输出的向量,作为对应的词向量训练结果。

19.一种词向量处理方法,包括:

步骤1,建立通过对语料分词得到的各词构成的词汇表,所述各词不包括在所述语料中出现次数少于设定次数的词;跳转步骤2;

步骤2,确定各词的总数量,相同的词只计一次;跳转步骤3;

步骤3,为各词分别建立维度为所述数量的一个不同的1-hot词向量;跳转步骤4;

步骤4,遍历分词后的所述语料,对遍历到的当前词执行步骤5,若遍历完成则执行步骤6,否则继续遍历;

步骤5,以当前词为中心,向两侧分别滑动至多k个词建立窗口,将窗口中除当前词以外的词作为上下文词,并将所有上下文词的词向量输入卷积神经网络的卷积层进行卷积计算,卷积计算结果输入所述卷积神经网络的池化层进行池化计算,得到第一向量;将当前词以及在所述语料中选择的负样例词的词向量输入所述卷积神经网络的全连接层进行计算,分别得到第二向量和第三向量;根据所述第一向量、所述第二向量、所述第三向量,以及指定的损失函数,更新所述卷积神经网络的参数;

所述卷积计算按照如下公式进行:

所述池化计算按照如下公式进行:

或者

所述损失函数包括:

其中,xi表示第i个上下文词的词向量,xi:i+θ-1表示将第i~i+θ-1个上下文词的词向量拼接得到的向量,yi表示通过所述卷积计算得到的向量的第i个元素,ω表示卷积层的权重参数,ζ表示卷积层的偏置参数,σ表示激励函数,max表示求最大值函数,average表示求平均值函数,c(j)表示池化计算后得到的所述第一向量的第j个元素,t表示上下文词的数量,c表示所述第一向量,w表示所述第二向量,w'm表示第m个负样例词对应的所述第三向量,ω表示卷积层的权重参数,ζ表示卷积层的偏置参数,表示全连接层的权重参数,τ表示全连接层的偏置参数,γ表示超参数,s表示相似度计算函数,λ表示负样例词的数量;

步骤6,将所述各词的词向量分别输入训练后的所述卷积神经网络的全连接层进行计算,得到对应的词向量训练结果。

20.一种词向量处理设备,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

对语料分词得到各词;

建立所述各词的词向量;

根据所述各词的词向量,以及所述各词在所述语料中的上下文词的词向量,对卷积神经网络进行训练;

根据所述各词的词向量和训练后的所述卷积神经网络,获取所述各词的词向量的训练结果。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1