一种文本数据检索方法及装置与流程

本申请涉及文本检索技术领域，尤其涉及一种文本数据检索方法及装置。

背景技术：

近年来，互联网的迅猛发展，迎来了信息爆炸式增长的时代。随着日常生活逐步向互联网的全面转移，大数据时代已经成为必然。大数据作为全球互联网的前沿概念，主要包括两个特点：一是信息量急剧增加；二是个人可获得的信息量呈指数级增长。

人工智能是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。随着人工智能的发展，人工智能的也被应用到各个不同的领域中，处理各种以往计算机无法实现的问题。

文本数据，包括结构化和非结构化的，在企业it系统中，譬如日志信息、业务财务销售管理等软件文本记录、客服投诉建议及邮件评论等都蕴含着大量的文本数据。由于文本数据天然的数据零散以及跨系统跨领域的特性，再加上数据量的急剧增加，导致现有的文本的特征提取和检索技术无法适应实际的应用需求。

技术实现要素：

本申请提供了一种文本数据检索方法及装置，用于解决文本数据的杂乱无章和跨系统跨领域，以及数据量急剧增加导致检索效果较差，无法高效满足实际应用需求的技术问题。

有鉴于此，本申请第一方面提供了一种文本数据检索方法，包括：

s1：将从预置文本数据中提取到的特征向量构建成向量集合，所述特征向量包括第一关键词和第一特征权重；

s2：根据预置热点向量与所述特征向量之间的第一相似度对所述向量集合进行分类，得到特征向量类别库，所述预置热点向量为具有时效性的标准向量；

s3：根据预置检索热点构建检索向量，所述检索向量包括第二关键词和第二特征权重；

s4：在所述特征向量类别库中随机选取一个类别，计算所述类别中每个所述特征向量与所述检索向量之间的第二相似度，得到最大相似度；

s5：在所述最大相似度大于或等于阈值时，如果所述最大相似度对应的所述特征向量的所述第一特征权重大于所述第二特征权重，则将所述第一特征权重代替所述第二特征权重，重复步骤s4，直至得到唯一的检索特征向量。

优选地，步骤s1，之前还包括：

采集杂乱的原始文本数据；

对所述原始文本数据进行数据清洗操作，得到所述预置文本数据。

优选地，步骤s2，包括：

构建多个所述预置热点向量，所述预置热点向量包括第三关键词和第三特征权重，所述预置热点向量为具有时效性的标准向量；

根据预置相似度公式计算所述预置热点向量与每个所述特征向量之间的所述第一相似度；

将每个所述第一相似度超过相似阈值的所述特征向量划分到所述预置热点向量对应的热点类别中；

将分类完成的所述特征向量构建成所述特征向量类别库。

优选地，步骤s1，之后还包括：

通过预置公式计算所述第一关键词的词频率，所述预置公式为：

其中，li为所述词频率，tf为词频，ctotal为词总数；

根据所述词频率和预置词性权重计算更新权重；

采用所述更新权重调整所述第一特征权重，得到优化后的所述特征向量。

优选地，步骤s5，还包括：

在所述最大相似度小于阈值时，则判定为非目标信息，跳过本次检索。

本申请第二方面提供了一种文本数据检索装置，包括：

第一构建模块，用于将从预置文本数据中提取到的特征向量构建成向量集合，所述特征向量包括第一关键词和第一特征权重；

分类模块，用于根据预置热点向量与所述特征向量之间的第一相似度对所述向量集合进行分类，得到特征向量类别库，所述预置热点向量为具有时效性的标准向量；

第二构建模块，用于根据预置检索热点构建检索向量，所述检索向量包括第二关键词和第二特征权重；

计算模块，用于在所述特征向量类别库中随机选取一个类别，计算所述类别中每个所述特征向量与所述检索向量之间的第二相似度，得到最大相似度；

迭代模块，用于在所述最大相似度大于或等于阈值时，如果所述最大相似度对应的所述特征向量的所述第一特征权重大于所述第二特征权重，则将所述第一特征权重代替所述第二特征权重，触发所述计算模块，直至得到唯一的检索特征向量。

优选地，还包括：

预处理模块，用于采集杂乱的原始文本数据；

对所述原始文本数据进行数据清洗操作，得到所述预置文本数据。

优选地，所述分类模块包括：

第一构建子模块，用于构建多个所述预置热点向量，所述预置热点向量包括第三关键词和第三特征权重，所述预置热点向量为具有时效性的标准向量；

计算子模块，用于根据预置相似度公式计算所述预置热点向量与每个所述特征向量之间的所述第一相似度；

分类子模块，用于将每个所述第一相似度超过相似阈值的所述特征向量划分到所述预置热点向量对应的热点类别中；

第二构建子模块，用于将分类完成的所述特征向量构建成所述特征向量类别库。

优选地，还包括：

词频率模块，用于通过预置公式计算所述第一关键词的词频率，所述预置公式为：

其中，li为所述词频率，tf为词频，ctotal为词总数；

词性权重模块，用于根据所述词频率和预置词性权重计算更新权重；

调整模块，用于采用所述更新权重调整所述第一特征权重，得到优化后的所述特征向量。

优选地，所述迭代模块还用于：

在所述最大相似度小于阈值时，则判定为非目标信息，跳过本次检索。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了文本数据检索方法，包括：s1：将从预置文本数据中提取到的特征向量构建成向量集合，特征向量包括第一关键词和第一特征权重；s2：根据预置热点向量与特征向量之间的第一相似度对向量集合进行分类，得到特征向量类别库，预置热点向量为具有时效性的标准向量；s3：根据预置检索热点构建检索向量，检索向量包括第二关键词和第二特征权重；s4：在特征向量类别库中随机选取一个类别，计算类别中每个特征向量与检索向量之间的第二相似度，得到最大相似度；s5：在最大相似度大于或等于阈值时，如果最大相似度对应的特征向量的第一特征权重大于第二特征权重，则将第一特征权重代替第二特征权重，重复步骤s4，直至得到唯一的检索特征向量。

本申请提供的文本数据检索方法，将零散杂乱，且规则性显现较弱的文本数据表达成向量的形式，向量中将关键词作为特征项，且还包括关键词的相应权重，从而将抽象的文本概念转化成具象的数学模型，通过预置的相同形式的热点向量与建立的特征向量之间进行相似度计算，从而实现分类，这样的分类能够较大程度的提高检索效率，且预置热点向量具有时效性，以此作为分类标准更加符合实际情况；预置检索热点即为输入系统中进行检索的文本信息，其对应的检索向量与特征向量类别库中的向量形式一致，便于进行计算；检索的过程除了在库中计算相似度以外，并非一步检索，而是更新权重的迭代式检索，不断优化检索向量，得到唯一符合条件的检索特征向量，以此作为最终检索结果。因此，本申请提供的文本数据检索方法能够解决文本数据的杂乱无章和跨系统跨领域，以及数据量急剧增加导致检索效果较差，无法高效满足实际应用需求的技术问题。

附图说明

图1为本申请实施例提供的一种文本数据检索方法的一个流程示意图；

图2为本申请实施例提供的一种文本数据检索方法的另一个流程示意图；

图3为本申请实施例提供的一种文本数据检索装置的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种文本数据检索方法的实施例一，包括：

步骤101、将从预置文本数据中提取到的特征向量构建成向量集合，特征向量包括第一关键词和第一特征权重。

需要说明的是，预置文本数据是经过采集后经过处理的跨领域跨系统的不同层面的文本数据，如日志信息、业务财务销售管理等软件文本记录，客服投诉建议、邮件评论等；在抽象层面很难找到这些文本数据的内在联系，需要将其转化为便于研究的数学模型，即特征向量；特征向量的提取就是特征提取的过程，选择的特征项至关重要，本实施例中的特征向量与普通的向量形式不同，是由关键词和与之对应的权重组成，例如（关键词1，权重1；关键词2，权重2；……关键词n，权重n），以关键词作为特征项表达文本数据更具有针对性，且能减少文本数据冗余度，提高文本数据的处理效率。

步骤102、根据预置热点向量与特征向量之间的第一相似度对向量集合进行分类，得到特征向量类别库。

需要说明的是，预置热点向量是虽然是预置的，但是，预置热点向量为具有时效性的标准向量，热点就是最新发生的事件或者问题，出现的时间较近或者频次较高，定义为热点，以此类文本信息作为分类标准，能够有效的将杂乱的文本数据作出一定凝练，使得文本数据具有一定的规律，从而实现分类；为了便于计算，预置热点向量也要和特征向量的形式一致，预置热点向量的维数可以根据具体的情况进行设定，然后将其进行初始化，就可以得到预置热点向量，参与第一相似度的计算；预置热点向量不止一个，且每一个预置热点向量选择一个类别，仅挑选与之相似度较高的特征向量，不同的预置热点向量与向量集合中的特征向量逐个进行相似度计算，均可以选择去各自热点类别的特征向量，具体的选择可以通过设置阈值的方式进行，相似度超过阈值就归于当前分类，否则就直接忽略，具体选择过程属于可实现技术，在此不再赘述。

步骤103、根据预置检索热点构建检索向量，检索向量包括第二关键词和第二特征权重。

需要说明的是，预置检索热点就是在检索的时候输入系统进行检索的文本信息，构建其相应的检索向量就是提取检索热点的特征项的过程，检索向量的构建方法和形式与特征向量的构建方法和形式一致，便于后续的计算或者分析。

步骤104、在特征向量类别库中随机选取一个类别，计算类别中每个特征向量与检索向量之间的第二相似度，得到最大相似度。

需要说明的是，此处的相似度计算是为了寻找符合预置检索热点的文本信息，直接在杂乱无章的文本数据中检索耗时，且检索到的目标文本数量较大，效果欠佳，本实施例采用逐步优化的检索方式解决这一问题，文本的表达载体向量之间的相似度是非常直接的检索方法，可以通过现有的相似度公式计算得到第二相似度，在此不赘述；在多个第二相似度中挑选出最大的相似度以及对应的文本数据，可能不止一个，即使只有一个，也有可能文本的数据量较大，需要进一步作出优化检索。

步骤105、在最大相似度大于或等于阈值时，如果最大相似度对应的特征向量的第一特征权重大于第二特征权重，则将第一特征权重代替第二特征权重，重复步骤104，直至得到唯一的检索特征向量。

需要说明的是，通过阈值判断相似度是否满足检索目标的条件，如果都没有超过阈值的特征向量，那么选择的最大相似度也是没有意义的；超过阈值的最大相似度对应的特征向量中的每一个关键词都对应有一个第二特征权重，如果存在特征向量中的关键词对应的权重比检索向量中对应关键词的权重大的情况，在将权重进行“以大代小”的更替，使得检索向量得以更新，然后继续检索，直至迭代完整个特征向量类别库，逐步减少符合条件的特征向量，得到唯一的检索特征向量。注意的是，用第一特征权重代替第二特征权重并非是整个检索向量的第二特征权重更替，而是相同关键词对应的第一特征权重代替第二特征权重，存在部分小于的情况，就不替换，保持原有第二特征权重值不变。

本实施例提供的文本数据检索方法，将零散杂乱，且规则性显现较弱的文本数据表达成向量的形式，向量中将关键词作为特征项，且还包括关键词的相应权重，从而将抽象的文本概念转化成具象的数学模型，通过预置的相同形式的热点向量与建立的特征向量之间进行相似度计算，从而实现分类，这样的分类能够较大程度的提高检索效率，且预置热点向量具有时效性，以此作为分类标准更加符合实际情况；预置检索热点即为输入系统中进行检索的文本信息，其对应的检索向量与特征向量类别库中的向量形式一致，便于进行计算；检索的过程除了在库中计算相似度以外，并非一步检索，而是更新权重的迭代式检索，不断优化检索向量，得到唯一符合条件的检索特征向量，以此作为最终检索结果。因此，本实施例提供的文本数据检索方法能够解决文本数据的杂乱无章和跨系统跨领域，以及数据量急剧增加导致检索效果较差，无法高效满足实际应用需求的技术问题。

为了便于理解，请参阅图2，本申请实施例中提供了一种文本数据检索方法的实施例二，包括：

步骤201、采集杂乱的原始文本数据。

步骤202、对原始文本数据进行数据清洗操作，得到预置文本数据。

需要说明的是，原始文本数据包括结构化和非结构化的，在企业it系统中，譬如日志信息、业务财务销售管理等软件文本记录、客服投诉建议及邮件评论等都蕴含着大量文本数据；原始文本数据涉及系统或者领域比较杂乱，数据层次不尽相同，且没有什么关联，检索的目的是根据现有文本信息在这些众多杂乱数据中检索得到最为相近的文本信息；采集的具体方式可以是就地安装agent进行收集，分析和处理日志；对于不方便安装agent的地方，采用snmptrap和syslog的日志采集方式进行收集加存储，后续再通过agent进行处理；同时也可通过远程读取的方式进行采集。采集的原始文本数据复杂度较高，难免噪声较大，数据质量不一，所以需要对获取到的原始文本数据进行清洗操作，然后才能得到预置文本数据。

步骤203、将从预置文本数据中提取到的特征向量构建成向量集合，特征向量包括第一关键词和第一特征权重。

步骤204、通过预置公式计算第一关键词的词频率。

其中，预置公式为：

其中，li为词频率，tf为词频，ctotal为词总数。

步骤205、根据词频率和预置词性权重计算更新权重。

步骤206、采用更新权重调整第一特征权重，得到优化后的特征向量。

需要说明的是，特征向量的提取过程即为预置文本数据的特征提取过程，以关键词作为特征项，用特征向量表达预置文本数据，可以假设特征向量为n(x1,y1;x2,y2;…xm,ym)，其中xm为特征项，即第一关键词，ym为特征项对应的第一特征权重；特征向量数量较多，简单的提取关键词还没有将文本数据表达彻底，可以通过词性权重可以调整第一特征权重，关键词通常都是名词或者动词，词性权重可以衡量该关键词在文本中的重要程度，能够反应其影响力，从而使得特征向量更加优化，表达能力更强；具体的通过提取关键词调整第一特征权重的方法是：采用tf表示词频，即该关键词在文本数据中出现的次数，一个词的tf越高，说明在该文本数据中，这个词越重要，具体可以设置公式如下进行选择判定：

其中，l为阈值，一般设置为0.8，如果li超过0.8，则说明该词为重要性不高的无用信息，例如文本中的“地”、“的”、“了”之类的词，更新的词频率tfnew用于计算更新权重，预置词性权重是指第一关键词的词性的权重，主要是动词、名词之类的意义较大的词的词性权重设置，关键词的词频率和词性权重共同决定关键词在文本数据中的重要性，可以通过如下公式求得更新权重：

其中，k1、k2均为可调参数，取值均为0，1，2，3，可以调节参数k，得到不同的更新权重，用于更新第一特征权重，得到优化的特征向量。

步骤207、构建多个预置热点向量，预置热点向量包括第三关键词和第三特征权重，预置热点向量为具有时效性的标准向量。

步骤208、根据预置相似度公式计算预置热点向量与每个特征向量之间的第一相似度。

步骤209、将每个第一相似度超过相似阈值的特征向量划分到预置热点向量对应的热点类别中。

步骤210、将分类完成的特征向量构建成特征向量类别库。

需要说明的是，预置热点向量虽然是预置的，但是，预置热点向量为具有时效性的标准向量，热点就是最新发生的事件或者问题，出现的时间较近或者频次较高，定义为热点，以此类文本信息作为分类标准，能够有效的将杂乱的文本数据作出一定凝练，使得文本数据具有一定的规律，从而实现分类；为了便于计算，预置热点向量也要和特征向量的形式一致，预置热点向量的维数可以根据具体的情况进行设定，然后将其进行初始化，就可以得到预置热点向量，用e(e1,s1;e2,s2;…en,sn)表示预置特点向量，参与第一相似度的计算；预置热点向量不止一个，且每一个预置热点向量选择一个类别，仅挑选与之相似度较高的特征向量，不同的预置热点向量与向量集合中的特征向量逐个进行相似度计算，均可以选择去各自热点类别的特征向量，具体的选择可以通过设置阈值的方式进行，相似度超过阈值就归于当前分类。具体的计算第一相似度的预置相似度公式为：

将n(x1,y1;x2,y2;…xm,ym)表述为p1={x1,x2,…xm}和p2={y1,y2…ym}，用p3={t1,t2,…tm}表示n中的关键词最近的时间更新；将e(e1,s1;e2,s2;…en,sn)表述为p4={e1,e2,…en}和p5={s1,s2…sn}，用p6={q1,q2,…qn}表示e中关键词最近的时间更新；wi、sj分别是第一特征权重和第三特征权重；由该公式可以计算得到特征向量n与预置热点向量e的第一相似度；相似阈值为预置的，忽略低于相似阈值的特征向量，将高于相似阈值的特征向量归入当前预置热点向量所属的事件类别中；然后重新给定一个预置热点向量，再次进行分类，直至所有的特征向量均分类完成，就可以得到特征向量类别库。

步骤211、根据预置检索热点构建检索向量，检索向量包括第二关键词和第二特征权重。

需要说明的是，检索向量是输入系统进行检索的文本信息，需要处理成与特征向量库中的特征向量的形式，因此，检索向量的第二关键词的提取方法和优化方法如特征向量中的第一关键词的提取优化方法，即同样需要进行关键词提取，第二特征权重调整，得到优化后的检索向量，具体的过程在此不再赘述。

步骤212、在特征向量类别库中随机选取一个类别，计算类别中每个特征向量与检索向量之间的第二相似度，得到最大相似度。

需要说明的是，检索向量与特征向量类别库中的特征向量之间可以计算得到多个第二相似度。在多个第二相似度中挑选出最大的相似度以及对应的文本数据，可能不止一个，即使只有单条文本数据，也存在文本的数据量较大的问题，需要进一步作出优化检索。计算第二相似度的方法可以是计算第一相似度的方法，也可以是其他的相似度公式计算方法，在此不作限定。

步骤213、在最大相似度大于或等于阈值时，如果最大相似度对应的特征向量的第一特征权重大于第二特征权重，则将第一特征权重代替第二特征权重，重复步骤212，直至得到唯一的检索特征向量。

需要说明的是，通过阈值判断相似度是否满足检索目标的条件，如果都没有超过阈值的特征向量，那么选择的最大相似度也是没有意义的；超过阈值的最大相似度对应的特征向量中的每一个关键词都对应有一个第二特征权重，如果存在特征向量中的关键词对应的权重比检索向量中对应关键词的权重大的情况，在将权重进行“以大代小”的更替，使得检索向量得以更新，然后继续检索，遍历完整个特征向量类别库，不断减少符合条件的特征向量，得到唯一的检索特征向量。注意的是，用第一特征权重代替第二特征权重并非是整个检索向量中所有的关键词的第二特征权重更替，而是相同关键词对应的第一特征权重代替第二特征权重，存在部分小于的情况，就不替换，保持原有第二特征权重值不变。每一次迭代检索的范围不是整个特征向量类别库，是以类别作为块儿范围的形式进行检索，更新检索向量后，在另外的类别中再次进行计算，得到第二相似度，挑选最大相似度进行分析，直至遍历完整个特征向量类别库。这样检索相比较于“一次检索”可以加快检索进度，且得到的检索结果更加可靠，且符合实际情况。

步骤214、在最大相似度小于阈值时，则判定为非目标信息，跳过本次检索。

需要说明的是，在最大相似度小于阈值时，说明此次检索并未找到特别相近的特征向量，检索失败，需要跳过本次检索，可以是直接结束操作，也可以继续检索，具体可以根据实际情况进行设定。

为了便于理解，请参阅图3，本申请中还提供了一种文本数据检索装置的实施例，包括：

第一构建模块301，用于将从预置文本数据中提取到的特征向量构建成向量集合，特征向量包括第一关键词和第一特征权重；

分类模块302，用于根据预置热点向量与特征向量之间的第一相似度对向量集合进行分类，得到特征向量类别库，预置热点向量为具有时效性的标准向量；

第二构建模块303，用于根据预置检索热点构建检索向量，检索向量包括第二关键词和第二特征权重；

计算模块304，用于在特征向量类别库中随机选取一个类别，计算类别中每个特征向量与检索向量之间的第二相似度，得到最大相似度；

迭代模块305，用于在最大相似度大于或等于阈值时，如果最大相似度对应的特征向量的第一特征权重大于第二特征权重，则将第一特征权重代替第二特征权重，触发计算模块，直至得到唯一的检索特征向量。

进一步地，还包括：

预处理模块306，用于采集杂乱的原始文本数据；

对原始文本数据进行数据清洗操作，得到预置文本数据。

进一步地，分类模块302包括：

第一构建子模块3021，用于构建多个预置热点向量，预置热点向量包括第三关键词和第三特征权重，预置热点向量为具有时效性的标准向量；

计算子模块3022，用于根据预置相似度公式计算预置热点向量与每个特征向量之间的第一相似度；

分类子模块3023，用于将每个第一相似度超过相似阈值的特征向量划分到预置热点向量对应的热点类别中；

第二构建子模块3024，用于将分类完成的特征向量构建成特征向量类别库。

进一步地，还包括：

词频率模块307，用于通过预置公式计算第一关键词的词频率，词频率预置公式为：

其中，li为词频率，tf为词频，ctotal为词总数；

词性权重模块308，用于根据词频率和预置词性权重计算更新权重；

调整模块309，用于采用更新权重调整词频率第一特征权重，得到优化后的词频率特征向量。

进一步地，迭代模块305还用于：

在最大相似度小于阈值时，则判定为非目标信息，跳过本次检索。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（英文全称：read-onlymemory，英文缩写：rom）、随机存取存储器（英文全称：randomaccessmemory，英文缩写：ram）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。