一种基于双向长短时记忆网络模型的中文分词方法与流程

文档序号:16629388发布日期:2019-01-16 06:25阅读:来源:国知局

技术特征:

技术总结
本发明公开了一种基于双向长短时记忆网络模型的中文分词方法,首先获得任一领域的数据集,并将数据集分为训练集和测试集,然后将训练集进行预处理,将预处理后的训练集和微软亚洲研究院的公开数据集msr分别进行字嵌入处理,再把处理好的训练集和数据集msr分别输入Bi‑LSTM神经网络模型中进行训练,得到训练集的模型X_Bi‑LSTM模型和msr_Bi‑LSTM模型,然后分别用X_Bi‑LSTM模型、msr_Bi‑LSTM模型对测试集进行标签预测,并对两种模型的预测概率进行权重组合,得到组合后的各汉字标签的概率,然后利用Viterbe算法对组合后的各标签概率进行计算得到各汉字属于各标签的最终概率,并将概率最大值所属标签作为各汉字的标签,从而完成中文分词,本发明可获得较好的分词结果,提高了分词的准确率。

技术研发人员:邵党国;郑娜
受保护的技术使用者:昆明理工大学
技术研发日:2018.08.16
技术公布日:2019.01.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1