文本语义相似度计算的方法及装置与流程

本发明涉及自然语言处理技术领域，尤其涉及一种文本语义相似度计算的方法及装置。

背景技术：

在自然语言处理过程中，计算文本间相似度是文本处理的基础运算，利用文本间相似度，或者反方向计算出文本间距离，可以完成类似于文本查重，热点抽取，兴趣发现等功能。此外，利用文本间相似度作为前置运算，后续可以完成针对于大量文本进行聚类或者分类等复杂计算。而对于这种复杂运算，作为前置运算的文本相似度的精度直接影响着最终运算的结果。

文本作为一种非结构化数据，在计算处理时通常被理解为无限维度的对象，所以在计算文本间相似度之前，需要进行结构化的降维处理。对于文本降维，目前常用的降维方式有根据词频统计进行降维，根据词的重要程度值(Term Frequency–Inverse Document Frequency，TFIDF)值进行降维。但是，对于词频统计和TFIDF值等方式进行文本降维时，这种运算是单纯的基于词的出现概率来进行的，即只能在相同词的维度上进行相似度的计算，即使是同义的不同词维度也无法进行相似度的计算，而对于两篇文本中词维度不同的情况下，需要使用两篇文本中相同词的维度进行相似度计算，而仅使用相同词的维度很可能无法完整地反映文本的语义特征，因此最终计算得到的相似度结果通常不能较准确的反应文本间的语义相似度。

技术实现要素：

鉴于上述问题，本发明提供一种文本语义相似度计算的方法及装置，用以解决现有的文本语义相似度计算方法准确性较低的问题。

为解决上述技术问题，第一方面，本发明提供了一种文本语义相似度计算的方法，所述方法包括：

将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋，所述第一文本和第二文本为进行相似度计算的文本，所述第一词袋中的词为第一文本进行分词得到的词，所述第二词袋中的词为第二文本进行分词得到的词；

根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，所述第一向量和所述第二向量的维度与所述维度词袋中的词一一对应；

根据向量相似度计算算法计算所述第一向量和所述第二向量的相似度值，得到所述第一文本和所述第二文本的相似度结果。

第二方面，本发明提供了一种文本语义相似度计算的装置，所述装置包括：

合并单元，用于将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋，所述第一文本和第二文本为进行相似度计算的文本，所述第一词袋中的词为第一文本进行分词得到的词，所述第二词袋中的词为第二文本进行分词得到的词；

向量化单元，用于根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，所述第一向量和所述第二向量的维度与所述维度词袋中的词一一对应；

相似度计算单元，用于根据向量相似度计算算法计算所述第一向量和所述第二向量的相似度值，得到所述第一文本和所述第二文本的相似度结果。

借由上述技术方案，本发明提供的文本语义相似度计算的方法及装置，在对进行相似度计算的两个文本进行降维处理过程中，得到的文本对应的向量中的维度词包括两个文本中的所有词，这样就不需要只选取文本中相同词的维度进行相似度的计算，因此可以完整地反映每个文本的语义特征，并且在进行文本的向量化计算时由基于语义的词转换向量工具进一步提供语义上的支持，能够充分考虑到同义不同词之间的相似关联性。因此最终计算得到的文本间相似度结果更加的准确。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种文本语义相似度计算的方法的流程图；

图2示出了本发明实施例提供的另一种文本语义相似度计算的方法的流程图；

图3示出了本发明实施例提供的一种文本语义相似度计算的装置的组成框图；

图4示出了本发明实施例提供的另一种文本语义相似度计算的装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决现有的文本语义相似度计算方法准确性较低的问题，本发明实施例提供了一种文本语义相似度计算的方法，如图1所示，该方法包括：

101、将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋。

其中第一文本和第二文本为进行相似度计算的文本，第一词袋中的词为第一文本进行分词并去掉停用词，第二词袋中的词为第二文本进行分词并去掉停用词。需要说明的是，第一词袋以及第二词袋中的词都为互不重复的词。

以具体的示例说明将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋的实现方式：假设，第一词袋为A'，第二词袋为B'，第一词袋与第二词袋中的词如下所示，其中w表示词。

A'＝[w_a1,w_a2,w_a3,w_a4,w_a5…]

B'＝[w_b1,w_b2,w_b3,w_b4,w_b5…]

将第一词袋为A'和第二词袋为B'合并后，得到的维度词袋为C

C＝[w_a1,w_a2,w_a3,w_a4,w_a5…,w_b1,w_b2,w_b3,w_b4,w_b5…]

需要说明的是，维度词袋中对应第一词袋与第二词袋中的词的先后顺序不作限定。另外，当第一词袋中关于第二词袋中有相同的词的情况下，为了降低后续计算的复杂程度，即减小后续步骤中第一向量与第二向量的维度数量，也可以将合并得到的维度词袋中对于相同的词只保留一个词，即维度词袋中的词为互不重复的词。

102、根据基于语义的词转换向量工具对第一词袋以及第二词袋进行向量化计算，得到第一向量和第二向量。

现有常用的基于语义的词转换向量工具包括Word2Vec以及GloVe等。本实施例以Word2Vec为例进行说明，实际应用中可以使用任意一种基于语义的词转换向量工具。Word2Vec是开源的一款将词表征为实数值向量的高效工具，其利用深度学习的思想，可以通过训练，把词转换为K维向量空间中的向量，本实施例是就是通过Word2Vec将第一词袋和第二词袋中的词转换为预设维度的向量，对第一词袋和维度词袋中的词以及第二词袋和维度词袋中的词进行相似度的计算，最终将第一词袋以及第二词袋向量化，向量化后，第一词袋和第二词袋对应的第一向量和第二向量的维度与维度词袋中的词一一对应，这样可以保证向量化后的第一向量和第二向量中维度都是相同的。需要说明的是，其中预设维度为根据实际的需求自由设定的，比如可以设为100、200等，通常预设维度越大，词转换后的向量能更加准确的表达词的语义特征。

需要说明的是，具体将第一词袋以及第二词袋向量化时，依据第一词袋以及第二词袋中的词与维度词袋中的词之间的相似度是由通过基于语义的词转换向量工具转换后得到的词向量之间的相似度衡量的。

103、根据向量相似度计算算法计算第一向量和第二向量的相似度值，得到第一文本和第二文本的相似度结果。

由步骤103得到的第一向量和第二向量为相同维度的实数值向量，因此可以根据向量相似度计算算法计算第一向量和第二向量的相似度值，第一向量与第二向量之间的相似度值为第一文本与第二文本之间的相似度结果。

需要说明的是，其中向量相似度计算算法可以为现有的任意一种可以计算向量之间相似度的算法，比如余弦相似度算法、相对熵计算算法、协方差计算算法等等。

本发明实施例提供的文本语义相似度计算的方法，在对进行相似度计算的两个文本进行降维处理过程中，得到的文本对应的向量中的维度词包括两个文本中的所有词，这样就不需要只选取文本中相同词的维度进行相似度的计算，因此可以完整地反映每个文本的语义特征，并且在进行文本的向量化计算时由基于语义的词转换向量工具进一步提供语义上的支持，能够充分考虑到同义不同词之间的相似关联性。因此最终计算得到的文本间相似度结果更加的准确。

对图1所示方法的细化及扩展，本实施例还提供了一种文本语义相似度计算的方法，如图2所示：

201、判断第一词袋与第二词袋中包含的词的数量是否大于预设阈值。

在实际的应用中，可能会出现进行相似度计算的两个文本的长度过长的情况，文本长度过长时维度词袋过大导致最后表现文本向量的维度过大，增加计算的复杂程度。因此在获取第一文本与第二文本对应的第一词袋和第二词袋后需要对词袋中的词的数量进行判断，以此判断是否属于文本长度过长的情况，具体在实际判断时，通常会设置一个预设阈值来衡量文本是否为长度过长的情况。预设阈值的设定可以根据实际的需求自由设定。

202、若第一词袋和/或第二词袋中包含的词的数量大于预设阈值，则对第一词袋和/或第二词袋进行词截取。

若第一词袋和/或第二词袋中包含的词的数量大于预设阈值，则表示第一词袋和/或第二词袋对应的文本属于步骤201中所述的长度过长的情况，因此需要对第一词袋和/或第二词袋进行词截取，以使第一词袋和/或第二词袋中词的数量减少到设预设阈值内。具体的对第一词袋和/或第二词袋进行词截取的过程为：

首先，计算第一词袋和/或第二词袋中每个词的重要程度TFIDF值；

TFIDF值是用来评估一个字或词对于一个文件集或一个语料库中的重要程度，其中字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TFIDF实际上是：TF*IDF，TF为词频(Term Frequency)，IDF为逆向文件频率(Inverse Document Frequency)。TF表示词在文本中出现的频率。IDF的主要思想是：如果包含某一词条t的文本越少，则对应的IDF越大，则说明词条t具有很好的类别区分能力。根据第一词袋和/或第二词袋中的词在对应的词袋中的TF值以及在对应的语料库中的IDF值可以计算得到第一词袋以及第二词袋中的词的TFIDF。

需要说明的是，对应的语料库为预先训练好的IDF库，对于IDF库的训练的样本可以某一领域中的文本集或者某一个文本获取平台(比如百度搜索等)获取到的文本集。

其次，按照TFIDF值的大小顺序对第一词袋和/或第二词袋中的词进行排序；

最后，按照排序后的结果顺序提取预设数量的词。

TFIDF值越大，表示对应TFIDF值的词在第一词袋或者第二词袋中的越重要，因此在需要进行词截取时，需要将TFIDF值小的词删除，保留TFIDF值较大的词。本实施例中提取预设数量的词可以为提取预设阈值数量的词。在实际的应用中，预设阈值和预设数量都可以根据实际的需求自由设定。

另外，若第一词袋和/或第二词袋中包含的词的数量小于等于预设阈值，则执行步骤203。

203、将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋。

本步骤的实现方式与图1步骤101的实现方式是相同的，此处不再赘述。

204、根据基于语义的词转换向量工具计算维度词袋中每个词分别与第一词袋以及第二词袋中所有的词的相似度值。

在计算维度词袋中每个词分别与第一词袋以及第二词袋中所有的词的相似度值之前，需要将词袋中的词应用基于语义的词转换向量工具转换为对应的词向量。计算词与词之间的相似度值转换为计算词向量与词向量之间的相似度值。计算词向量与词向量之间的相似度值的方法可以使用任意一种现有的可以计算向量之间相似度的算法，比如余弦相似度算法、相对熵计算算法、协方差计算算法等等。

205、分别将维度词袋中每个词与第一词袋中所有词的相似度值的最大值确定为第一向量中对应维度的维度值，得到第一向量。

给出具体的示例进行说明，假设维度词袋C中的词包括W1_a、W2_a、W3_a、W1_b、W2_b、W3_b，第一词袋A中的词包括W1_a、W2_a、W3_a，第二词袋B中的词包括W1_b、W2_b、W3_b，计算W1_a分别与W1_a、W2_a、W3_a的相似度值，分别为L1、L2、L3，若L1、L2、L3中L1最大，则将L1作为第一向量中W1_a维度的维度值，按照计算第一向量中W1_a维度对应的维度值的方法，依次可以分别得到第一向量中W2_a、W3_a、W1_b、W2_b、W3_b对应的维度的维度值，需要说明的是由步骤203可以知第一向量中的维度与维度词袋中的词一一对应。

需要说明的是，由于维度词袋中包括第一词袋中的词，因此对于维度词袋中对应的与第一词袋中相同的词在第一向量中的维度值都为1，对应于上述示例中，即得到的第一向量的大致形式为[1,1,1,L1_a,L2_a,L3_a]。

206、分别将维度词袋中每个词与第二词袋中所有词的相似度值的最大值确定为第二向量中对应维度的维度值，得到第二向量。

给出具体的示例进行说明，假设维度词袋C中的词包括W1_a、W2_a、W3_a、W1_b、W2_b、W3_b，第一词袋A中的词包括W1_a、W2_a、W3_a，第二词袋B中的词包括W1_b、W2_b、W3_b，计算W1_a分别与W1_b、W2_b、W3_b的相似度值，分别为L3、L4、L5，若L3、L4、L5中L3最大，则将L3作为第二向量中W1_a维度的维度值，按照计算第二向量中W1_a维度对应的维度值的方法，依次可以分别得到第二向量中W2_a、W3_a、W1_b、W2_b、W3_b对应的维度的维度值，需要说明的是由步骤203可以知第二向量中的维度与维度词袋中的词一一对应。

需要说明的是，由于维度词袋中包括第二词袋中的词，因此对于维度词袋中对应的与第二词袋中相同的词与第二词袋中的词的相似度值的最大值均为1，即在第二向量中的维度值都为1。对应的上述示例中，得到的第二向量的大致形式为[L1_b,L2_b,L3_b,1,1,1]。

需要说明的是，步骤205与步骤206的先后顺序不做限定，既可以同时执行，也可以先执行步骤206或步骤205。

207、根据余弦相似度算法计算第一向量和第二向量的相似度值。

本实施例中具体的应用余弦相似度算法计算由步骤205以及步骤206得到的第一向量和第二向量的相似度值，该相似度值即为对应的第一文本以及第二文本的相似度值。

另外，需要说明的是计算第一向量和第二向量的相似度值的算法还可以为其他的向量相似度计算算法，比如相对熵计算算法、协方差计算算法等等。

在实际的应用中，通常还会遇到第一文本与第二文本的长度相差较大的情况，对应的得到的第一词袋以及第二词袋中词的数量通常也会相差较大，对于这种相差较大的一长一短的文本之间的相似度计算，为了保证相似度结果的准确性，通常在将对第一文本以及第二文本对应的第一词袋以及第二词袋进行合并之前，还需要对较长的文本进行词截取，具体截取的方式与上述步骤202中截取的方式相同，也是按照词袋中词的TFIDF值的大小进行截取，删除TFIDF值较小的词，保留TFIDF值较大的值。

需要说明的是，对于判断第一文本与第二文本是否为上述相差较大一长一短的文本，具体的判断方式为：首先，计算第一词袋中包含的词的数量与第二词袋中包含的词的数量的比值，其中第一词袋中包含的词的数量大于等于第二词袋中包含的词的数量；然后比较比值与预设比值的大小；若比值超过预设比值，则确定为相差较大的一长一短的文章，则对第一词袋进行词截取，以使比值减小到预设比值内，其中预设比值可以根据用户需求设置，比如可以设为1、1.1、1.2等等。

最后，本实施例给出一个具体的计算文本语义相似度的过程，假设有两个文本，如下所示：

第一文本：A＝“我爱吃苹果”

第二文本：B＝“他喜欢吃香蕉”

将A分词后得到的第一词袋A’＝“我”“爱”“吃”“苹果”

将B分词后得到的第二词袋B’＝“他”“喜欢”“吃”“香蕉”

第一词袋和第二词袋中有相同的词“吃”，为了降低计算的复杂程度，本示例在进行词袋合并时，只保留一个“吃”。

因此，将A’和B’合并后得到的维度词袋C＝“我”“爱”“吃”“苹果”“他”“喜欢”“香蕉”

根据Word2Vec进行向量化后，得到的第一向量与第二向量分别为：

A'＝[1,1,1,1,0.7,0.8,0.7]

B'＝[0.7,0.8,1,0.7,1,1,1]

根据余弦相似度算法计算第一向量和第二向量的相似度值：

若使用现有的基于词频的文本语义相似度计算方法，对上述示例中的第一文本与第二文本之间进行相似度计算得到的结果为0.25。可以看到本实例中文本语义相似度计算的准确度更高。

进一步的，作为对上述各实施例的实现，本发明实施例的另一实施例还提供了一种文本语义相似度计算的装置，用于实现上述图1以及图2所述的方法。如图3所示，该装置包括：合并单元31、向量化单元32以及相似度计算单元33。

合并单元31，用于将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋，第一文本和第二文本为进行相似度计算的文本，第一词袋中的词为第一文本进行分词得到的词，第二词袋中的词为第二文本进行分词得到的词；

其中第一文本和第二文本为进行相似度计算的文本，第一词袋中的词为第一文本进行分词并去掉停用词，第二词袋中的词为第二文本进行分词并去掉停用词。需要说明的是，第一词袋以及第二词袋中的词都为互不重复的词。

以具体的示例说明将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋的实现方式：假设，第一词袋为A'，第二词袋为B'，第一词袋与第二词袋中的词如下所示，其中w表示词。

A'＝[w_a1,w_a2,w_a3,w_a4,w_a5…]

B'＝[w_b1,w_b2,w_b3,w_b4,w_b5…]

将第一词袋为A'和第二词袋为B'合并后，得到的维度词袋为C

C＝[w_a1,w_a2,w_a3,w_a4,w_a5…,w_b1,w_b2,w_b3,w_b4,w_b5…]

需要说明的是，维度词袋中对应第一词袋与第二词袋中的词的先后顺序不作限定。另外，当第一词袋中关于第二词袋中有相同的词的情况下，为了降低后续计算的复杂程度，即减小后续得到的第一向量与第二向量的维度数量，也可以将合并得到的维度词袋中对于相同的词只保留一个词，即维度词袋中的词为互不重复的词。

向量化单元32，用于根据基于语义的词转换向量工具对第一词袋以及第二词袋进行向量化计算，得到第一向量和第二向量，第一向量和第二向量的维度与维度词袋中的词一一对应；

现有常用的基于语义的词转换向量工具包括Word2Vec以及GloVe等。本实施例以Word2Vec为例进行说明，实际应用中可以使用任意一种基于语义的词转换向量工具。Word2Vec是开源的一款将词表征为实数值向量的高效工具，其利用深度学习的思想，可以通过训练，把词转换为K维向量空间中的向量，本实施例是就是通过Word2Vec将第一词袋和第二词袋中的词转换为预设维度的向量，对第一词袋和维度词袋中的词以及第二词袋和维度词袋中的词进行相似度的计算，最终将第一词袋以及第二词袋向量化，向量化后，第一词袋和第二词袋对应的第一向量和第二向量的维度与维度词袋中的词一一对应，这样可以保证向量化后的第一向量和第二向量中维度都是相同的。需要说明的是，其中预设维度为根据实际的需求自由设定的，比如可以设为100、200等，通常预设维度越大，词转换后的向量能更加准确的表达词的语义特征。

需要说明的是，具体将第一词袋以及第二词袋向量化时，依据第一词袋以及第二词袋中的词与维度词袋中的词之间的相似度是由通过基于语义的词转换向量工具转换后得到的词向量之间的相似度衡量的。

相似度计算单元33，用于根据向量相似度计算算法计算第一向量和第二向量的相似度值，得到第一文本和第二文本的相似度结果。

由向量化单元32得到的第一向量和第二向量为相同维度的实数值向量，因此可以根据向量相似度计算算法计算第一向量和第二向量的相似度值，第一向量与第二向量之间的相似度值为第一文本与第二文本之间的相似度结果。

需要说明的是，其中向量相似度计算算法可以为现有的任意一种可以计算向量之间相似度的算法，比如余弦相似度算法、相对熵计算算法、协方差计算算法等等。

具体的给出根据余弦相似度算法计算第一向量和第二向量的相似度值的公式如下：

其中A'_i表示第一向量A'中的第i个维度值，其中B'_i表示第一向量B'中的第i个维度值。

如图4所示，向量化单元32包括：

第一计算模块321，用于根据基于语义的词转换向量工具计算维度词袋中每个词分别与第一词袋以及第二词袋中所有的词的相似度值；

在计算维度词袋中每个词分别与第一词袋以及第二词袋中所有的词的相似度值之前，需要将词袋中的词应用基于语义的词转换向量工具转换为对应的词向量。计算词与词之间的相似度值转换为计算词向量与词向量之间的相似度值。计算词向量与词向量之间的相似度值的方法可以使用任意一种现有的可以计算向量之间相似度的算法，比如余弦相似度算法、相对熵计算算法、协方差计算算法等等。

第一确定模块322，用于分别将维度词袋中每个词与第一词袋中所有词的相似度值的最大值确定为第一向量中对应维度的维度值，得到第一向量；

给出具体的示例进行说明，假设维度词袋C中的词包括W1_a、W2_a、W3_a、W1_b、W2_b、W3_b，第一词袋A中的词包括W1_a、W2_a、W3_a，第二词袋B中的词包括W1_b、W2_b、W3_b，计算W1_a分别与W1_a、W2_a、W3_a的相似度值，分别为L1、L2、L3，若L1、L2、L3中L1最大，则将L1作为第一向量中W1_a维度的维度值，按照计算第一向量中W1_a维度对应的维度值的方法，依次可以分别得到第一向量中W2_a、W3_a、W1_b、W2_b、W3_b对应的维度的维度值，需要说明的是由向量化单元32可以知第一向量中的维度与维度词袋中的词一一对应。

需要说明的是，由于维度词袋中包括第一词袋中的词，因此对于维度词袋中对应的与第一词袋中相同的词在第一向量中的维度值都为1，对应于上述示例中，即得到的第一向量的大致形式为[1,1,1,L1_a,L2_a,L3_a]。

第二确定模块323，用于分别将维度词袋中每个词与第二词袋中所有词的相似度值的最大值确定为第二向量中对应维度的维度值，得到第二向量。

给出具体的示例进行说明，假设维度词袋C中的词包括W1_a、W2_a、W3_a、W1_b、W2_b、W3_b，第一词袋A中的词包括W1_a、W2_a、W3_a，第二词袋B中的词包括W1_b、W2_b、W3_b，计算W1_a分别与W1_b、W2_b、W3_b的相似度值，分别为L3、L4、L5，若L3、L4、L5中L3最大，则将L3作为第二向量中W1_a维度的维度值，按照计算第二向量中W1_a维度对应的维度值的方法，依次可以分别得到第二向量中W2_a、W3_a、W1_b、W2_b、W3_b对应的维度的维度值，需要说明的是由向量化单元32可以知第二向量中的维度与维度词袋中的词一一对应。

需要说明的是，由于维度词袋中包括第二词袋中的词，因此对于维度词袋中对应的与第二词袋中相同的词与第二词袋中的词的相似度值的最大值均为1，即在第二向量中的维度值都为1。对应的上述示例中，得到的第二向量的大致形式为[L1_b,L2_b,L3_b,1,1,1]。

如图4所示，装置还包括：

比值计算单元34，用于在将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋之前，计算第一词袋中包含的词的数量与第二词袋中包含的词的数量的比值，第一词袋中包含的词的数量大于等于第二词袋中包含的词的数量；

比较单元35，用于比较比值与预设比值的大小；

截取单元36，用于若比值超过预设比值，则对第一词袋进行词截取，以使比值减小到预设比值内；

执行单元37，用于若比值未超过预设比值，则执行将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋。

如图4所示，装置还包括：

判断单元38，用于在将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋之前，判断第一词袋与第二词袋中包含的词的数量是否大于预设阈值；

在实际的应用中，可能会出现进行相似度计算的两个文本的长度过长的情况，文本长度过长时维度词袋过大导致最后表现文本向量的维度过大，增加计算的复杂程度。因此在获取第一文本与第二文本对应的第一词袋和第二词袋后需要对词袋中的词的数量进行判断，以此判断是否属于文本长度过长的情况，具体在实际判断时，通常会设置一个预设阈值来衡量文本是否为长度过长的情况。预设阈值的设定可以根据实际的需求自由设定。

截取单元36，还用于若第一词袋和/或第二词袋中包含的词的数量大于预设阈值，则对第一词袋和/或第二词袋进行词截取，以使第一词袋和/或第二词袋中词的数量减少到设预设阈值内。

在实际的应用中，通常还会遇到第一文本与第二文本的长度相差较大的情况，对应的得到的第一词袋以及第二词袋中词的数量通常也会相差较大，对于这种相差较大的一长一短的文本之间的相似度计算，为了保证相似度结果的准确性，通常在将对第一文本以及第二文本对应的第一词袋以及第二词袋进行合并之前，还需要对较长的文本进行词截取。

如图4所示，截取单元36包括：

第二计算模块361，用于计算第一词袋和/或第二词袋中每个词的重要程度TFIDF值；

TFIDF值是用来评估一个字或词对于一个文件集或一个语料库中的重要程度，其中字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TFIDF实际上是：TF*IDF，TF为词频(Term Frequency)，IDF为逆向文件频率(Inverse Document Frequency)。TF表示词在文本中出现的频率。IDF的主要思想是：如果包含某一词条t的文本越少，则对应的IDF越大，则说明词条t具有很好的类别区分能力。根据第一词袋和/或第二词袋中的词在对应的词袋中的TF值以及在对应的语料库中的IDF值可以计算得到第一词袋以及第二词袋中的词的TFIDF。

需要说明的是，对应的语料库为预先训练好的IDF库，对于IDF库的训练的样本可以某一领域中的文本集或者某一个文本获取平台(比如百度搜索等)获取到的文本集。

排序模块362，用于按照TFIDF值的大小顺序对第一词袋和/或第二词袋中的词进行排序；

提取模块363，用于按照排序后的结果顺序提取预设数量的词。

TFIDF值越大，表示对应TFIDF值的词在第一词袋或者第二词袋中的越重要，因此在需要进行词截取时，需要将TFIDF值小的词删除，保留TFIDF值较大的词。

本发明实施例提供的文本语义相似度计算的装置，在对进行相似度计算的两个文本进行降维处理过程中，得到的文本对应的向量中的维度词包括两个文本中的所有词，这样就不需要只选取文本中相同词的维度进行相似度的计算，因此可以完整地反映每个文本的语义特征，并且在进行文本的向量化计算时由基于语义的词转换向量工具进一步提供语义上的支持，能够充分考虑到同义不同词之间的相似关联性。因此最终计算得到的文本间相似度结果更加的准确。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的发明名称(如文本语义相似度计算的装置)中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。