N-Gram模型的建立方法与流程

文档序号:14403259阅读:来源:国知局

技术特征:

技术总结
本发明公开了一种N‑Gram模型的建立方法,包括获取原始语料;对原始语料进行分词;对分词结果进行单词统计;对N‑Gram模型进行平滑处理,得到最终的N‑Gram模型。本发明方法通过建立Witten‑Bell平滑对N‑Gram模型进行平滑,同时采用分布式平台计算建模过程中的参数,并采用Hbase数据库对计算的参数进行存储和读取,因此本发明方法在应对海量训练语料的情况下,其拓展性非常好,而且方法的建模速度和查询速度均较快。

技术研发人员:邓晓衡;吴佳祺;漆华妹;陈凌驰;黄戎
受保护的技术使用者:中南大学
技术研发日:2017.12.28
技术公布日:2018.05.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1