一种文本相似性的比较方法以及装置的制造方法
【技术领域】
[0001]本发明涉及互联网技术领域，尤其涉及一种信息的相似性的比较方法和装置。
【背景技术】
[0002]随着互联网技术的不断发展和日益普及，新闻等文本信息用户所面对的信息量正在以惊人的速度增长，对能够方便地获取自己感兴趣的文本信息的需求越来越迫切。
[0003]由于文本信息量急速增加，文本类别越发细化，并具有很强的实时性，往往更新迅速，时效极短，因此对文本进行有效的聚类，以提供给不同的用户或者提供给不同的应用是十分重要的。
[0004]现有技术中，首先提取文本的特征向量，再根据不同文本特征向量比较文本的相似性。例如某一文本，提取的特征向量为(马伊俐新片尺度大职场御姐范儿就得这么穿)，另一文本提取的特征向量为(欧美风服饰搭配晋级职场御姐范儿)，通过比较两个特征向量可以确定两个文本的相似性。
[0005]然而，现有技术比较文本相似性时，并不考虑文本特征向量中字词元素的重要性，因此，可能会将在实际上大众不会同时感兴趣的两个文本信息聚类到一起。
[0006]但是，现有的最小哈希算法用于对文本信息进行聚类时，并不考虑文本中每一个字词元素的重要性，因此，可能会将在实际上大众不会同时感兴趣的两个文本信息聚类到一起。
【发明内容】
[0007]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决或者减缓上述问题的一种文本相似性的比较方法和装置。
[0008]根据本发明的一个方面，提供了一种文本相似性的比较方法，包括:提取两个以上文本的初始特征向量;初始特征向量中至少一个元素的权重值被赋予最小权重值的倍数值，其他元素的权重值被赋予最小权重值;根据倍数在初始特征向量中增加相应元素形成新的特征向量;根据新的特征向量，比较两个以上文本的相似性。
[0009]可选地，在根据本发明的实施例的文本相似性的比较方法中，根据新的特征向量，比较两个以上文本的相似性具体为:对新的特征向量进行最小哈希运算，根据运算结果比较两个以上文本的相似性。
[0010]可选地，在根据本发明的实施例的文本相似性的比较方法中，根据新的特征向量，比较两个以上文本的相似性具体为:根据新的特征向量之间的内积或夹角的余弦比较所述两个以上文本的相似性。
[0011 ]可选地，在根据本发明的实施例的文本相似性的比较方法中，将文本进行分词处理，进一步进行去无用信息处理后形成初始特征向量。
[0012]可选地，在根据本发明的实施例的文本相似性的比较方法中，将文本进行分词处理并去无用信息形成字词序列，根据字词序列中字词出现频率由高到低的顺序排列字词，由前至后取出预设数量的字词形成初始特征向量。
[0013]可选地，在根据本发明的实施例的文本相似性的比较方法中，计算初始特征向量中每一个元素的字词频率，字词频率为元素在文本中出现的次数，根据字词频率确定初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。
[0014]可选地，在根据本发明的实施例的文本相似性的比较方法中，计算初始特征向量中每一个元素的文档频率，文档频率为包括了元素的文本数量，逆文档频率为与文档频率呈反比的函数值，根据逆文档频率确定初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。
[0015]可选地，在根据本发明的实施例的文本相似性的比较方法中，计算初始特征向量中每一个元素的字词频率以及逆文档频率，根据计算得到的字词频率以及逆文档频率确定特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。
[0016]可选地，在根据本发明的实施例的文本相似性的比较方法中，根据初始特征向量中每一个元素在文本中所处的位置确定元素的权重值。
[0017]可选地，在根据本发明的实施例的文本相似性的比较方法中，位置包括文本标题，文本摘要，文本正文。
[0018]根据本发明的另一个方面，提供了一种文本相似性的比较装置，包括:提取装置，用于提取两个以上文本的初始特征向量;赋值装置，用于将最小权重值的倍数值作为权重值赋予所述初始特征向量中至少一个元素，其他元素的权重值被赋予最小权重值;特征向量变换装置，用于根据所述倍数在初始特征向量中增加相应元素形成新的特征向量;相似性比较装置，用于根据所述新的特征向量，比较所述两个以上文本的相似性。
[0019]可选地，在根据本发明的实施例的文本相似性的比较装置中，相似性比较装置，用于对新的特征向量进行最小哈希运算，根据运算结果比较所述两个以上文本的相似性。
[0020]可选地，在根据本发明的实施例的文本相似性的比较装置中，相似性比较装置，用于根据新的特征向量之间的内积或夹角的余弦比较两个以上文本的相似性。
[0021]可选地，在根据本发明的实施例的文本相似性的比较装置中，提取装置，用于将文本进行分词处理，进一步进行去无用信息处理后形成初始特征向量。
[0022]可选地，在根据本发明的实施例的文本相似性的比较装置中，提取装置，用于将文本进行分词处理并去无用信息形成字词序列，根据字词序列中字词出现频率由高到低的顺序排列字词，由前至后取出预设数量的字词形成初始特征向量。
[0023]可选地，在根据本发明的实施例的文本相似性的比较装置中，赋值装置，用于计算初始特征向量中每一个元素的字词频率，字词频率为元素在文本中出现的次数，根据字词频率确定初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。
[0024]可选地，在根据本发明的实施例的文本相似性的比较装置中，赋值装置，用于计算初始特征向量中每一个元素的文档频率，文档频率为包括了元素的文本数量，逆文档频率为与文档频率呈反比的函数值，根据逆文档频率确定初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。
[0025]可选地，在根据本发明的实施例的文本相似性的比较装置中，赋值装置，用于计算初始特征向量中每一个元素的字词频率以及逆文档频率，根据计算得到的字词频率以及逆文档频率确定特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。
[0026]可选地，在根据本发明的实施例的文本相似性的比较装置中，赋值装置，用于根据初始特征向量中每一个元素在文本中所处的位置确定元素的权重值。
[0027]可选地，在根据本发明的实施例的文本相似性的比较装置中，位置包括文本标题，文本摘要，文本正文。
[0028]本发明的有益效果为:能够提高文本信息表示的准确度，使得相似性的比较结果更符合用户的需要。
[0029]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0030]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0031]图1示意性示出了根据本发明一个实施例的文本相似性的比较方法的流程图；
[0032]图2示意性示出了根据本发明一个