一种新的文本相似度求解方法与流程
本发明涉及语义网络技术领域，具体涉及一种新的文本相似度求解方法。
背景技术：
文本语义相似度计算是知识产权保护、文本分类、机器翻译、自然语言处理、复制检测、自动问答和信息检索等领域的核心技术。现有的文本相似度计算方法大致可以归纳为两类，第一类是基于文本特征统计的方法，第二类则是基于文本语义理解的方法。基于文本特征统计的方法在长文本等大粒度实体的相似度计算方面取得了较好的效果，其中最具代表性的就是向量空间模型，简称VSM和广义向量空间模型，简称GVSM。GVSM在VSM的基础上利用文本特征项的共现信息，对VSM模型中特征项正交的假设进行了改进。基于语义理解的方法，通常以某种知识库作为依据实现词语之间或者句子之间相似度的计算。基于统计的方法简单高效，但是缺乏语义，没有考虑到文本中特征词汇中不同词汇对文本重要程度的差异问题。而基于语义理解的方法往往计算比较复杂，不适合大规模的文本处理。为了满足上述需求，本发明提供了一种新的文本相似度求解方法。
技术实现要素：
针对于文本中特征词汇中不同词汇对文本的重要程度的差异问题以及计算文本相似度问题，本发明提供了一种新的文本相似度求解方法。
为了解决上述问题，本发明是通过以下技术方案实现的：
步骤1：初始化文本语料库模块，对待比较文本(W1，W2)的进行预处理。
步骤2：基于信息论方法，计算词汇在文本中权重值WI。
步骤3：根据词汇位置信息，计算词汇在文本中的权重值
步骤4：综合考虑上述两因子，构造提取文本(W1，W2)中的特征值目标函数分别提取文本(W1，W2)中的特征值。
步骤5：根据皮尔森相关系数求解待比较文本(W1，W2)间的文本相似度sim(W1，W2)。
本发明有益效果是：
1、此方法比传统的文本相似度计算方法得到的结果具有更高的准确性，更符合人工提取的结果。
2、此方法在信息检索、机器翻译、自动问答系统等领域都具有更好的适用性。
3、此算法具有更大的利用价值。
4、此方法粗略计算了特征词汇中不同词汇对文本思想的贡献度。
5、计算特征词汇中不同词汇对文本思想的贡献度具有更高的精确度。
6、为后续的文本聚类提供良好的理论基础。
附图说明
图1一种新的文本相似度求解方法的结构流程图
图2 n元语法分词算法图
具体实施方式
为了解决文本中特征词汇中不同词汇对文本的重要程度的差异和计算文本间的相似度，结合图1对本发明进行了详细说明，其具体实施步骤如下：
步骤1：初始化文本语料库模块，对待比较文本(W1，W2)的进行预处理，其具体描述过程如下：
利用停用表对文本(W1，W2)进行分词和去停用词处理。
这里分词方法利用一种基于信息论中文自动分词算法，其具体分词和去停用词步骤如下：
步骤1.1：利用停用表分别对文本(W1，W2)进行去停用词处理。
步骤1.2：根据《分词词典》找到待分词句子中与词典中匹配的词，其具体描述如下：
把待分词的汉字串完整的扫描一遍，在系统的词典里进行查找匹配，遇到字典里有的词就标识出来；如果词典中不存在相关匹配，就简单地分割出单字作为词；直到汉字串为空。
步骤1.3：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为SM1M2M3M4M5E，其结构图如图2所示。
步骤1.4：基于信息论方法，给上述网状结构每条边赋予一定的权值，其具体计算过程如下：
根据《分词词典》匹配出的字典词与未匹配的单个词，第i条路径包含词的个数为ni。即n条路径词的个数集合为(n1，n2，…，nn)。
得min()＝min(n1，n2，…，nn)
在上述留下的剩下的(n-m)路径中，求解每条相邻路径的权重大小。
在统计语料库中，计算每个词的信息量X(Ci)，再求解路径相邻词的共现信
息量X(Ci，Ci+1)。既有下式：
X(Ci)＝|x(Ci)1-x(Ci)2|
上式x(Ci)1为文本语料库中词Ci的信息量，x(Ci)2为含词Ci的文本信息量。
x(Ci)1＝-p(Ci)1lnp(Ci)1
上式p(Ci)1为Ci在文本语料库中的概率，n为含词Ci的文本语料库的个数。
x(Ci)2＝-p(Ci)2lnp(Ci)2
上式p(Ci)2为含词Ci的文本数概率值，N为统计语料库中文本总数。
同理X(Ci，Ci+1)＝|x(Ci，Ci+1)1-x(Ci，Ci+1)2|
x(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现信息量，x(Ci，Ci+1)2为相邻词(Ci，Ci+1)共现的文本信息量。
同理x(Ci，Ci+1)1＝-p(Ci，Ci+1)1lnp(Ci，Ci+1)1
上式p(Ci，Ci+1)1为在文本语料库中词(Ci，Ci+1)的共现概率，m为在文本库中词(Ci，Ci+1)共现的文本数量。
X(Ci，Ci+1)2＝-P(Ci，Ci+1)2lnp(Ci，Ci+1)2
p(Ci，Ci+1)2为文本库中相邻词(Ci，Ci+1)共现的文本数概率。
综上可得每条相邻路径的权值为
w(Ci，Ci+1)＝X(Ci)+X(Ci+1)-2X(Ci，Ci+1)
步骤1.5：找到权值最大的一条路径，即为待分词句子的分词结果，其具体计算过程如下：
有n条路径，每条路径长度不一样，假设路径长度集合为(L1，L2，…，Ln)。
假设经过取路径中词的数量最少操作，排除了m条路径，m<n。即剩下(n-m)路径，设其路径长度集合为
则每条路径权重为:
上式w(C1，C2)，w(C2，C3)，…，分别为第1,2到路径边的权重值，根据步骤1.4可以一一计算得出，为剩下(n-m)路径中第Sj条路径的长度。
权值最大的一条路径:
步骤2：基于信息论方法，计算词汇在文本中权重值WI，其具体计算过程如下：
基于信息论词频的计算公式有：
上式为词汇关于词频在文档中所具有的信息量，p(c1，2)分别为词c1、c2在文本中的概率值。
基于信息论文档频率的计算公式有：
为词汇关于文档频率在文档库中所具有的信息量，为分别含有c1、c2的文档数，N为文档库中文档的总个数。
综上所述，有基于信息论计算词汇权重的函数，归一化后，如下式：
步骤3：根据词汇位置信息，计算词汇在文本中的权重值其具体计算过程如下：
根据调研资料显示，特征词越在文本靠前位置，越能代表文本的中心思想，特征词在文本中出现的次数越多，越具有文本含义的代表性。通过步骤2得到词汇在文本的权重值，取前20个特征词汇。对这些词汇进行位置权重划分。
在文本中每个特征词至少出现一次,文本特征词c(1，2)i构成的位置向量，如下：
则每个特征词位置权重函数为：
上式k为特征词ci出现在文本中的段落数，qh为含有特征词ci的第h段对文本思想的贡献值，qh值由相应文本领域专家经过调研可以得出。nh为特征词ci在第h段出现的次数。
步骤4:综合考虑上述两因子，构造提取文本(W1，W2)中的特征值目标函数分别提取文本(W1，W2)中的特征值，其具体计算过程如下：
提取文本(W1，W2)中的特征值目标函数为：
上式α、β分别为WI、对特征提取影响的权重系数，α+β＝1，一般α＞β，即基于信息论得到的词频与文档频率的权重函数对文本(W1，W2)中特征提取的影响更大，其值可以根据实验测试出来。
步骤5：根据皮尔森相关系数求解待比较文本(W1，W2)间的文本相似度sim(W1，W2)，其具体计算过程如下：
根据步骤4计算得出的特征词汇权重值，相关领域专家选取前m位关键词，这里m<20，既分别有文本(W1，W2)对应的特征词向量。
文本W1对应的特征词的平均权重函数为
同理，文本W2对应特征词的平均权重函数为
根据皮尔森相关系数，即可得文本(W1，W2)间的文本相似度sim(W1，W2)，有下式：
一种新的文本相似度求解方法,其伪代码计算过程：
输入：待比较待比较文本(W1，W2)。
输出：文本(W1，W2)间的相似度sim(W1，W2)。
- 还没有人留言评论。精彩留言会获得点赞！