一种分词方法、装置、终端及计算机可读存储介质与流程

文档序号:17741053发布日期:2019-05-24 20:06阅读:来源:国知局

技术特征:

技术总结
本发明实施例提供了一种分词方法、装置、终端及计算机可读存储介质。该方法包括:确定待分词的文本信息;根据预设匹配算法、预先构建的分词模型中的一元词库和一元词库所对应的词索引表对文本信息进行分词;其中,一元词库中的词是按照每个词所包含的字符数量进行排序的;词索引表用于:索引每种字符数量的词在一元词库中的位置;得到所述文本信息的分词结果。这样,在利用预设匹配算法对文本信息进行分词的过程中,可以利用词索引表确定所要查询的词的字符数量所对应的位置区间,然后可以在该位置区间中查找是否存在该词。这样,避免了对一元词库进行遍历,缩短了查找时间,从而提高了分词速度。

技术研发人员:许晏铭
受保护的技术使用者:北京金山安全软件有限公司
技术研发日:2018.12.28
技术公布日:2019.05.24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1