1.一种基于信息论的中文自动分词算法,本发明涉及中文语义网络技术领域,具体涉及一种基于信息论的中文自动分词算法,其特征是,包括如下步骤:
步骤1:初始化训练模型,可以是《分词词典》或相关领域的语料库,或是两者结合模型
步骤2:根据《分词词典》找到待分词句子中与词典中匹配的词
步骤3:依据概率统计学,将待分词句子拆分为网状结构,即得n个可能组合的句子结构,把此结构每条顺序节点依次规定为
步骤4:基于信息论方法,给上述网状结构每条边赋予一定的权值
步骤5:找到权值最大的一条路径,即为待分词句子的分词结果
步骤6:验证此分词结果的准确率和召回率
准确率:
上式为《分词词典》识别待分词句子中字典词的个数,为此方法正确分词词的个数
召回率:
上式为待分词句子中词的总个数
最后综合考虑这两个因子,判定此系统分词结果的正确性
即
为一个很小的阈值,这个由专家给定,当d满足上述条件,则分词效果比较理想。
2.根据权利要求1中所述的一种基于信息论的中文自动分词算法,其特征是,以上所述步骤4中具体计算过程如下:
步骤4:基于信息论方法,给上述网状结构每条边赋予一定的权值,其具体计算过程如下:
根据《分词词典》匹配出的字典词与未匹配的单个词,第i条路径包含词的个数为,即n条路径词的个数集合为
得
在上述留下的剩下的(n-m)路径中,求解每条相邻路径的权重大小
在统计语料库中,计算每个词的信息量,再求解路径相邻词的共现信息量,既有下式:
上式为文本语料库中词的信息量,为含词文本信息量
上式为在文本语料库中的概率,n为含词的文本语料库的个数
上式为含词的文本数概率值,N为统计语料库中文本总数
同理
为在文本语料库中词的共现信息量,为相邻词共现的文本信息量
同理
上式为在文本语料库中词的共现概率,m为在文本库中词共现的文本数量
为文本库中相邻词共现的文本数概率
综上可得每条相邻路径的权值为
。
3.根据权利要求1中所述的一种基于信息论的中文自动分词算法,其特征是,以上所述步骤5中具体计算过程如下:
有n条路径,每条路径长度不一样,假设路径长度集合为
假设经过取路径中词的数量最少操作,排除了m条路径,m<n,即剩下(n-m)路径,设其路径长度集合为
则每条路径权重为:
上式分别为第1,2到路径边的权重值,根据步骤4可以一一计算得出, 为剩下(n-m)路径中第条路径的长度权值最大的一条路径:
。