一种词嵌入语言模型训练方法、词语识别方法及系统与流程

文档序号:15182878发布日期:2018-08-17 06:36阅读:来源:国知局

技术特征:

技术总结
本发明公开一种词嵌入语言模型训练方法,包括:确定语料库中的所有词语的属性以生成词表,所述属性包括所有词语的词性分类、所有词性分类的概率分布和所有词语在所属词性分类下的概率分布;生成所述词表中所有词语的词向量;生成对应于所述词表中所有词语的词性分类的词性分类向量;以所述词表中的词语的词向量和所述词表中的词语的词性分类向量为输入,以所述词表中的词语所属的词性分类的概率分布和所述词表中的词语在所属词性分类下的概率分布为输出进行训练,以得到所述词嵌入语言模型。本发明实施例中在进行语言模型,即便是遇到OOV词语,也能通过该OOV词语的形态学信息和所述词性分类的句法级信息来进行准确的识别。

技术研发人员:俞凯;陈瑞年
受保护的技术使用者:苏州思必驰信息科技有限公司;上海交通大学
技术研发日:2018.01.10
技术公布日:2018.08.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1