短文本的聚类方法、装置、介质及电子设备与流程

本发明涉及自然语言处理技术领域，具体而言，涉及一种短文本的聚类方法、装置、介质及电子设备。

背景技术：

当今互联网技术的高速普及和社交媒体的广泛使用，促使文本数据数量飞速增长，其主要形式为短文本，例如评价信息、客户咨询问题、微保评论等。如何从短文本数据中提取有价值信息成为了一项具有挑战性的工作。

传统的文本聚类方法主要集中于文本词面上的特征，考虑其单词词频及逆文本频率等。运用向量空间模型对其构建特征向量来表示每个短文本，由于短文本单词极少，会出现特征表示稀疏性，计算量大等缺点，同时也没有考虑短文本内部词汇之间的语义信息，不适用于短文本聚类。同时，plsa、lda等主题模型给文本和词汇引入了主题的概念，分析词汇在文本中的主题分布，解决了近义词的问题，但是计算难度大，对短文本聚类时的效果差。针对目前日益增长的短文本数据，其并不适用与短文本聚类。因此，本发明基于上述问题，提出了一种基于深度学习语义匹配模型的短文本聚类方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明实施例的目的在于提供一种短文本的聚类方法、装置、介质及电子设备，进而至少可以在一定程度上克服问答文本语义匹配的准确性较低的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种短文本的聚类方法，其特征在于，该方法包括：通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，所述语义相关短文本是对所述待分类短文本的语义的补充；利用聚类算法根据k个初始聚类中心点，对所述多个待分类短文本的语义特征向量进行迭代聚类，将所述多个待分类短文本的语义特征向量分为多个短文本类，所述k个初始聚类中心点包括从所述多个待分类短文本的语义特征向量中选中的k个待分类短文本的语义特征向量。

在本发明的一些实施例中，所述聚类算法包括k-means算法。

在本发明的一些实施例中，基于前述方案，利用聚类算法根据k个初始聚类中心点，对所述多个待分类短文本的语义特征向量进行迭代聚类，将所述多个待分类短文本的语义特征向量分为多个短文本类包括：利用所述k-means算法依次计算所述多个待分类短文本的语义特征向量中未被选中的待分类短文本的语义特征向量与k个聚类中心的距离，并根据最小距离原则对所述未被选中的语义特征向量进行聚类；根据聚类的结果，将每个聚类中的每个待分类短文本的语义特征向量的均值作为所述每个聚类中的中心点；根据所述每个聚类中的中心点，对所述每个聚类中的每个待分类短文本的语义特征向量进行迭代聚类，直至满足预设条件以将所述多个待分类短文本的语义特征向量分为多个短文本类。

在本发明的一些实施例中，基于前述方案，通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量包括：利用循环神经网络获取待分类短文本的具有上下文局部特征的特征向量序列和语义相关短文本的具有上下文局部特征的特征向量序列，所述语义相关短文本是对待分类短文本的语义的补充；基于所述待分类短文本的具有上下文局部特征的特征向量序列和所述待分类短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述待分类短文本的具有上下文局部特征和全局特征的特征向量，以及基于所述语义相关短文本的具有上下文局部特征的特征向量序列和所述语义相关短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述语义相关短文本的具有上下文局部特征和全局特征的特征向量；根据所述待分类短文本的具有上下文局部特征和全局特征的特征向量、所述语义相关短文本的具有上下文局部特征和全局特征的特征向量，确定所述多个待分类短文本的语义特征向量。

在本发明的一些实施例中，基于前述方案，在利用循环神经网络获取待分类短文本的具有上下文局部特征的特征向量序列和语义相关短文本的具有上下文局部特征的特征向量序列之前，该方法还包括：对所述待分类短文本和所述语义相关短文本分别进行分词处理，得到所述待分类短文本的单词和所述语义相关短文本的单词；对所述待分类短文本的单词和所述语义相关短文本的单词分别进行分布式表示，得到待分类短文本的词向量序列和语义相关短文本的词向量序列。

在本发明的一些实施例中，基于前述方案，所述循环神经网络包括双向循环神经网络，所述双向循环神经网络中的循环神经网络包括基于长短时记忆lstm和/或基于门控循环单元gru的网络。

在本发明的一些实施例中，基于前述方案，上述方法还包括：基于所述待分类短文本的具有上下文局部特征的特征向量序列和所述语义相关短文本的具有上下文局部特征的特征向量序列，生成背景信息，所述背景信息包括待分类短文本的词向量和语义相关短文本的词向量在循环神经网络最后时刻之前的所有时间状态的语义信息；根据所述背景信息，确定所述待分类短文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和所述语义相关短文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重。

在本发明的一些实施例中，基于前述方案，基于所述待分类短文本的具有上下文局部特征的特征向量序列和所述待分类短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述待分类短文本的具有上下文局部特征和全局特征的特征向量包括：根据所述背景信息，确定所述背景信息与所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度；根据所述背景信息与所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重；根据所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权并求和，得到所述待分类短文本的具有上下文局部特征和全局特征的特征向量。

在本发明的一些实施例中，基于前述方案，基于所述语义相关短文本的具有上下文局部特征的特征向量序列和所述语义相关短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述语义相关短文本的具有上下文局部特征和全局特征的特征向量包括：根据所述背景信息，确定所述背景信息与所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度；根据所述背景信息与所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重；根据所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权并求和，得到所述语义相关短文本的具有上下文局部特征和全局特征的特征向量。

根据本发明实施例的第二方面，提供了一种短文本的聚类装置，包括：获取模块，通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，所述语义相关短文本是对所述待分类短文本的语义的补充；聚类模块，利用聚类算法根据k个初始聚类中心点，对所述多个待分类短文本的语义特征向量进行迭代聚类，将所述多个待分类短文本的语义特征向量分为多个短文本类，所述k个初始聚类中心点包括从所述多个待分类短文本的语义特征向量中选中的k个待分类短文本的语义特征向量。

根据本发明实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的短文本的聚类方法。

根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的短文本的聚类方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在本发明的技术方案中，可以通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，并利用聚类算法根据k个初始聚类中心点对所述多个待分类短文本的语义特征向量进行迭代聚类，最后将所述多个待分类短文本的语义特征向量分为多个短文本类，其中所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，这样使得对多个待分类短文本的语义特征向量聚类时可以达到较好的短文本聚类效果，即得到的多个短文本类更加准确。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的一个实施例的短文本的聚类方法的流程图；

图2示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图；

图3示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图；

图4示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图；

图5示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图；

图6示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图；

图7意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图；

图8意性示出了根据本发明的一个实施例的短文本的聚类装置的框图；

图9出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了根据本发明的一个实施例的短文本的聚类方法的流程图。

如图1所示，短文本的聚类方法包括步骤s110和步骤s120。

在步骤s110中，通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，所述语义相关短文本是对所述待分类短文本的语义的补充。

在步骤s120中，利用聚类算法根据k个初始聚类中心点，对所述多个待分类短文本的语义特征向量进行迭代聚类，将所述多个待分类短文本的语义特征向量分为多个短文本类，所述k个初始聚类中心点包括从所述多个待分类短文本的语义特征向量中选中的k个待分类短文本的语义特征向量。

该方法可以通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，并利用聚类算法根据k个初始聚类中心点对所述多个待分类短文本的语义特征向量进行迭代聚类，最后将所述多个待分类短文本的语义特征向量分为多个短文本类，其中所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，这样使得对多个待分类短文本的语义特征向量聚类时可以达到较好的短文本聚类效果，即得到的多个短文本类更加准确。

在本发明的一个实施例中，上述待分类短文本可以是购物平台的评价信息、客户咨询问题、微保评论等等，但不限于此。语义相关短文本可以是基于待分类短文本从数据库检索得到的，因此，语义相关短文本可以理解为是对待分类短文本的语义的补充，即语义相关短文本与待分类短文本相关。例如，待分类短文本为购物平台的评价信息，此时可以基于该评价信息从评价信息的数据库中检索所多个与该评价信息相关的多个评价信息。再例如，待分类短文本为客户咨询问题，此时可以基于该客户咨询问题从问答数据库中检索出与该客户咨询问题相关的多个候选答案。

在本发明的一个实施例中，步骤s110中的循环神经网络包括双向循环神经网络，该双向循环神经网络的中循环神经网络可以是基于长短时记忆lstm和/或基于门控循环单元gru的网络等等。

在本发明的一个实施例中，通过循环神经网络提取了待分类短文本和语义相关短文本的上下文局部特征信息，然后可以结合注意力机制提取待分类短文本和语义相关短文本的全局特征信息，这样可以使得得到多个待分类短文本的语义特征向量的学习到两者之间更深层的语义特征信息，有助于提高聚类效果，即得到的多个短文本类更加准确。

在本发明的一个实施例中，k个初始聚类中心点可以是事先设定的。例如，可以通过从多个待分类短文本的语义特征向量中选中k个待分类短文本的语义特征向量作为初始聚类中心点。例如，k个初始聚类中心点可以是针对多个待分类短文本的语义特征向量设置的k个初始短文类。

图2示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图。

如图2所示，上述步骤s120具体可以包括步骤s121～步骤s123。

在步骤s121中，利用所述k-means算法依次计算所述多个待分类短文本的语义特征向量中未被选中的待分类短文本的语义特征向量与k个聚类中心的距离，并根据最小距离原则对所述未被选中的语义特征向量进行聚类。

在步骤s122中，根据聚类的结果，将每个聚类中的每个待分类短文本的语义特征向量的均值作为所述每个聚类中的中心点。

在步骤s123中，根据所述每个聚类中的中心点，对所述每个聚类中的每个待分类短文本的语义特征向量进行迭代聚类，直至满足预设条件以将所述多个待分类短文本的语义特征向量分为多个短文本类。

在本发明的一个实施例中，在步骤s122的聚类结果可以是k个短文类，k个短文本类中的每个短文本类可以包括多个待分类短文本的语义特征向量。此时可以针对每个短文本类中的多个待分类短文本的语义特征向量更新k的取值。例如，计算每个聚类中的每个待分类短文本的语义特征向量的均值，并将其作为每个聚类中的中心点，此时方式可以更新k的取值，即通过该方式可以重新确定聚类过程的中心点。

在本发明的一个实施例中，可以通过循环执行步骤122和步骤123直至满足预设条件以将多个待分类短文本的语义特征向量分为多个短文本类。例如，不断对每个聚类中的每个待分类短文本的语义特征向量进行迭代聚类，直到聚类次数到了指定值或者标准测度函数收敛，即聚类算法终止，否则跳转步骤s122。

在本发明的一个实施例中，在对大量待分类短文本聚类之前，需要将其转化为待分类短文本的语义特征向量，在转化时，借助了与待分类短文本聚类相关的语义相关短文本，以对待分类短文本的语义进行扩充，使得聚类效果更好。下面参考图3～图7，具体描述获取多个待分类短文本的语义特征向量的实施过程。

图3示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图。

如图3所示，上述步骤s110具体可以包括步骤111～步骤s113.

在步骤s111中，利用循环神经网络获取待分类短文本的具有上下文局部特征的特征向量序列和语义相关短文本的具有上下文局部特征的特征向量序列。

在步骤s112中，基于所述待分类短文本的具有上下文局部特征的特征向量序列和所述待分类短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述待分类短文本的具有上下文局部特征和全局特征的特征向量，以及基于所述语义相关短文本的具有上下文局部特征的特征向量序列和所述语义相关短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述语义相关短文本的具有上下文局部特征和全局特征的特征向量。

在步骤s113中，根据所述待分类短文本的具有上下文局部特征和全局特征的特征向量、所述语义相关短文本的具有上下文局部特征和全局特征的特征向量，确定所述多个待分类短文本的语义特征向量。

该方法可以根据所述待分类短文本的具有上下文局部特征和全局特征的特征向量、所述语义相关短文本的具有上下文局部特征和全局特征的特征向量来确定所述多个待分类短文本的语义特征向量，以此方式得到的每个待分类短文本的语义特征向量都含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，即每个待分类短文本的语义特征向量学习到了待分类短文本和语义相关短文本的更深层的语义特征信息。

在本发明的一个实施例中，可以利用训练完成的深度学习语义匹配模型获取多个待分类短文本的语义特征向量。例如，使用bi-lstm提取待分类短文本和语义相关短文本的上下文局部特征信息，运用注意力机制抽取两者的全局特征信息，以此方式的多个待分类短文本的语义特征向量可以充分提取两者的深层语义特征信息。

本实施例中以某互联网保险渠道的客户问答数据作为例子来利用训练完成的深度学习语义匹配模型获取多个待分类短文本的语义特征向量，例如，问题文本可以作为上述的待分类短文本为，候选答案文本可以作为上述语义相关短文本，其中问答文本与候选答案文本语义相关。

具体地，将问题文本的词向量序列和候选答案文本的词向量的向量序列分别输入到各自的循环神经网络学习并提取具有上下文局部特征的特征向量序列。例如，以利用双向长短时记忆网络bi-lstm捕获数值化问答文本(即问题文本和候选答案文本)的上下文局部特征，以得到两者的具有上下文特征的特征向量序列为例，对步骤s111进行详细描述。

具体的，在步骤s111中，可以将利用专业问答词典转化后的相同词汇长度的问题文本和候选答案文本的词向量序列分别输入到两个双向长短时记忆网络bi-lstm提取上下文局部特征。在bi-lstm中，可以分别将正序问题文本和候选答案文本的词向量序列和倒序问题文本和候选答案文本的词向量序列输入两个长短时记忆网络lstm，在输入的过程中可以结合过去时刻的信息，计算当前时刻的文本信息。lstm的计算公式如下：

it＝σ(wxixt+whiht-1+wcict-1+bi)

ft＝σ(wxfxt+whfht-1+wcfct-1+bf)

ct＝ftct-1+ittanh(wxcxt+whcht-1+bc)

ot＝σ(wxoxt+whoht-1+wcoct+bo)

ht＝ottanh(ct)

其中，σ表示sigmoid激活函数，tanh表示双曲正切激活函数，xt表示步骤s110得到t时刻的词嵌入向量，it表示t时刻输入门的输出向量，ft表示t时刻遗忘门的输出向量，ot表示t时刻输出门的输出向量，ct和ct-1分别表示t时刻和t-1时刻的细胞单元的记忆流状态，ht和ht-1分别表示t时刻和t-1时刻隐藏层向量。权值矩阵和偏置参数描述有明显的含义，例如wxi表示输入和输入门的权值矩阵，whi表示隐藏层和输入门的权值矩阵，wci表示细胞单元和输入门的权值矩阵，bi、bf表示输入门和遗忘门的偏置参数，其角标表示所属的计算部分。这里的参数矩阵和偏置参数都是先随机初始化，然后在基于双向循环神经网络的模型训练中自动修正，最后会随循环神经网络得到最终的权值。

针对每个时刻t，可以让时刻t的输入学习到前时刻(例如，t+1)和后时刻(例如，t-1)的语义信息，通过拼接正序问答文本(即问题文本和候选答案文本)词向量序列和倒序问答文本(即问题文本和候选答案文本)词向量序列的两个长短记忆网络lstm输出的特征向量hfw和hbw，作为bi-lstm时刻t的最终特征向量输出，其特征向量的维度是lstm输出特征向量维度的2倍。

ht＝[hfw,hbw]

其中，hfw表示处理正序问答文本(即问题文本和候选答案文本)词向量序列的lstm网络的输出，hbw表示处理倒序问答文本(即问题文本和候选答案文本)词向量序列的lstm网络的输出，ht表示bi-lstm时刻t的特征向量输出。

根据本发明的实施例，上述bi-lstm是基于两个长短时记忆网络lstm形成的双向长短时记忆网络。

根据本发明的实施例，可以利用lstm的计算公式对问题文本和候选答案文本中的每个词向量进行处理后，可以得到问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列。

图4示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图。

如图4所示，在步骤s111之前，上述方法还包括步骤s210和步骤s220。

在步骤s210中，对所述待分类短文本和所述语义相关短文本分别进行分词处理，得到所述待分类短文本的单词和所述语义相关短文本的单词。

在步骤s220中，对所述待分类短文本的单词和所述语义相关短文本的单词分别进行分布式表示，得到待分类短文本的词向量序列和语义相关短文本的词向量序列。

根据本发明的实施例，针对待分类短文本和语义相关短文本使用分词工具进行分词处理，使用深度学习框架keras的embedding层对待分类短文本和语义相关短文本各自的文本单词进行分布式表示并转化为各自的词向量，embedding层的参数随深度学习模型一起训练所得。并将待分类短文本和语义相关短文本各自的词向量和句法向量组成向量序列。为了方便词向量序列的计算，对词向量序列进行长度选定，向量序列长度短是用0补充，向量序列长度大于限定值可以将其截取。

图5示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图。

如图5示，基于前述方案，上述方法还包括步骤s310和步骤s320。

在步骤s310中，基于所述待分类短文本的具有上下文局部特征的特征向量序列和所述语义相关短文本的具有上下文局部特征的特征向量序列，生成背景信息，所述背景信息包括待分类短文本的词向量和语义相关短文本的词向量在循环神经网络最后时刻之前的所有时间状态的语义信息。

在步骤s320中，根据所述背景信息，确定所述待分类短文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和所述语义相关短文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重。

该方法通过将循环神经网络最后时刻之前的所有时间状态的语义信息作为待分类短文本和语义相关短文本的背景信息，并参考该背景信息计算待分类短文本的具有上下文局部特征特征向量序列中每个时刻特征向量的注意力权重和语义相关短文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重，以此方式计算得到的注意力权重能够有效地反映出待分类短文本和语义相关短文本的深层语义信息，从而克服了现有技术只反映了短文本的单词词频及其逆文本频率的缺陷。

在本发明的一个实施例中，上述背景信息可以是分别选取待分类短文本和语义相关短文本在bi-lstm的最后时刻状态的特征向量进行向量拼接作为背景信息表示，此背景信息包含待分类短文本和语义相关短文本此前所有时间状态的语义信息。具体地，可以分别从上述待分类短文本的具有上下文局部特征的特征向量序列和语义相关短文本的具有上下文局部特征的特征向量序列中选取两者在bi-lstm的最后时刻状态的特征向量进行向量进行拼接作为上述的背景信息。另外，由于该背景信息为待分类短文本和语义相关短文本在bi-lstm的最后时刻状态的特征向量，因此可以通过lstm的计算公式得到最后时刻状态的特征向量。例如，可以通过结合lstm中最后时刻之前的所有过去时刻状态的特征向量计算得到，因此该背景信息包含待分类短文本和语义相关短文本此前所有时间状态的语义信息。

下面参考图6和图7具体描述如何获得的待分类短文本和语义相关短文本的具有上下文局部特征的和全局特征的特征向量。

图6示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图。

如图6所示，步骤s112中的“基于所述待分类短文本的具有上下文局部特征的特征向量序列和所述待分类短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述待分类短文本的具有上下文局部特征和全局特征的特征向量”具体可以包括步骤s112-1、步骤s112-2和步骤s112-3。

在步骤s112-1中，根据所述背景信息，确定所述背景信息与所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度。

在步骤s112-2中，根据所述背景信息与所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重。

在步骤s112-3中，根据所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述待分类短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权并求和，得到所述待分类短文本的具有上下文局部特征和全局特征的特征向量。

图7示意性示出了根据本发明的另一个实施例的短文本的聚类方法的流程图。

如图7所示，步骤s112中的“基于所述语义相关短文本的具有上下文局部特征的特征向量序列和所述语义相关短文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述语义相关短文本的具有上下文局部特征和全局特征的特征向量”具体可以包括步骤s112-4、步骤s112-5和步骤s112-6。

在步骤s112-4中，根据所述背景信息，确定所述背景信息与所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度。

在步骤s112-5中，根据所述背景信息与所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重。

在步骤s112-6中，根据所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述语义相关短文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权并求和，得到所述语义相关短文本的具有上下文局部特征和全局特征的特征向量。

根据本发明的实施例，通过参考上述背景信息来计算该背景信息与待分类短文本的具有上下文局部特征的特征向量序列中每个时刻的特征向量的相似度和与语义相关短文本的具有上下文局部特征的特征向量序列中每个时刻的特征向量的相似度，然后根据待分类短文本和语义相关短文本在bi-lstm中的每个时刻的特征向量的相似度来计算待分类短文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和语义相关短文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重，以此方式计算得到的注意力权重能够有效地反映出待分类短文本和语义相关短文本的深层语义信息，从而克服了现有技术只反映了短文本的单词词频及其逆文本频率的缺陷。。

在本发明的一个实施例中，可以根据注意力机制的基本思想，选取待分类短文本和语义相关短文本在bi-lstm的最后时刻状态的特征向量进行向量拼接作为背景信息表示，此背景信息包含待分类短文本和语义相关短文本此前所有时间状态的语义信息。经过全连接层，将维度降到一半，与待分类短文本和语义相关短文本在bi-lstm的输出序列向量维度一致。其参数表示为bkg。具体地可以通过三个阶段获得待分类短文本和语义相关短文本的具有上下文局部特征的特征向量序列。

第一阶段：可以分别使用文本相似度公式计算背景信息bkg和待分类短文本和语义相关短文本在bi-lstm中的时刻t输出特征向量ht的相似度，具体公式如下：

simt＝bkg·ht

其中，simt表示为背景信息bkg和待分类短文本和语义相关短文本的具有上下文局部特征的特征向量序列中的某个词向量ht的时刻t的相似度。因此根据该公式分别计算出待分类短文本和语义相关短文本对应相似度向量simq和sima。根据该公式可以分别计算出待分类短文本和语义相关短文本对应相似度向量simq和sima。

第二阶段，引入softmax计算方式，对第一阶段的相似度得分进行数值转换，一方面可以进行归一化，将原始计算分值整理成所有元素权值之和为1的概率分布；另一方面也可以通过softmax的内在机制更加突出待分类短文本和语义相关短文本中重要信息的权重。公式如下：

其中，at为第t时刻待分类短文本和语义相关短文本的具有上下文局部特征的特征向量序列中的某个特征向量的注意力权重，n为待分类短文本和语义相关短文本的特征向量序列的长度。根据该公式可以分别通过相似度向量simq和sima计算出待分类短文本和语义相关短文本每个时刻t的注意力权值aqt和aat。

第三阶段，aqt和aat分别为待分类短文本和语义相关短文本的具有上下文局部特征的特征向量序列中的某个特征向量在第t时刻的注意力权重，需要跟待分类短文本和语义相关短文本第t时刻单词的输出向量ht进行注意力权值加权，构成待分类短文本和语义相关短文本第t时刻单词新的向量st。该公式如下：

st＝atht

然后对每个时刻得到的st进行求和，生成待分类短文本和语义相关短文本各自的注意力数值向量，即待分类短文本的具有上下文局部特征和全局特征的特征向量和语义相关短文本的具有上下文局部特征和全局特征的特征向量，具体的公式如下：

其中，at为第t时刻单词的注意力权重，n为待分类短文本和语义相关短文本的特征向量序列的长度，attention为注意力数值向量。

经过以上阶段，根据背景信息计算出n为待分类短文本和语义相关短文本的特征向量序列的长度的具有上下文局部特征的特征向量序列中的每个特征向量在每个t时刻的注意力权值，然后给待分类短文本和语义相关短文本第t时刻的特征向量进行注意力权值的加权，然后求和。这样可以分别构建出待分类短文本和语义相关短文本的具有上下文局部特征和全局特征的特征向量。然后将待分类短文本的具有上下文局部特征和全局特征的特征向量和语义相关短文本的具有上下文局部特征和全局特征的特征向量拼接成一个待分类短文本的特征向量，以此方式可以得到多个待分类短文本的语义特征向量，其中，此时的多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，这样可以将多个待分类短文本的语义特征向量输入到聚类算法使用，提高了聚类效果。

图8示意性示出了根据本发明的一个实施例的短文本的聚类装置的方框图。

如图8所示，短文本的聚类装置800包括获取模块810和聚类模块820。

具体地，获取模块810，通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，所述语义相关短文本是对所述待分类短文本的语义的补充；

聚类模块820，利用聚类算法根据k个初始聚类中心点，对所述多个待分类短文本的语义特征向量进行迭代聚类，将所述多个待分类短文本的语义特征向量分为多个短文本类，所述k个初始聚类中心点包括从所述多个待分类短文本的语义特征向量中选中的k个待分类短文本的语义特征向量。

该短文本的聚类装置800可以通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，并利用聚类算法根据k个初始聚类中心点对所述多个待分类短文本的语义特征向量进行迭代聚类，最后将所述多个待分类短文本的语义特征向量分为多个短文本类，其中所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，这样使得对多个待分类短文本的语义特征向量聚类时可以达到较好的短文本聚类效果，即得到的多个短文本类更加准确。

根据本发明的实施例，短文本的聚类装置800可以用于实现上述图1～图7描述的短文本的聚类方法。

由于本发明的示例实施例的短文本的聚类装置800的各个模块可以用于实现上述短文本的聚类装方法的示例实施例的步骤，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的短文本的聚类方法的实施例。

下面参考图9其示出了适于用来实现本发明实施例的电子设备的计算机系统90的结构示意图。图9出的电子设备的计算机系统800仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9示，计算机系统900包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)902中的程序或者从存储部分908加载到随机访问存储器(ram)903中的程序而执行各种适当的动作和处理。在ram903中，还存储有系统操作所需的各种程序和数据。cpu901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。

以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的短文本的聚类方法。

例如，所述的电子设备可以实现如图1中所示的：在步骤s110中，通过循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，所述多个待分类短文本的语义特征向量中的每个待分类短文本的语义特征向量含有待分类短文本的上下文局部特征、全局特征和语义相关短文本的上下文局部特征和全局特征，所述语义相关短文本是对所述待分类短文本的语义的补充；步骤s120中，利用聚类算法根据k个初始聚类中心点，对所述多个待分类短文本的语义特征向量进行迭代聚类，将所述多个待分类短文本的语义特征向量分为多个短文本类，所述k个初始聚类中心点包括从所述多个待分类短文本的语义特征向量中选中的k个待分类短文本的语义特征向量。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。