文本分类方法、装置、设备及计算机存储介质与流程

1.本技术属于数据处理技术领域，尤其涉及一种文本分类方法、装置、设备及计算机存储介质。


背景技术：

2.通常情况下，人们会对数据进行分类，从而提高对数据的利用效率。在自然语言处理(natural language processing，nlp)领域中，文本分类是一个非常经典的任务。
3.在对文本进行分类的过程中，通常通过基于变换器的双向编码表征量模型(bidirectional encoder representations from transformers，bert)、快速文本模型(fastext)等模型进行分类。
4.但是，由于部分文本在撰写过程中，会包括大量与文本所属类目无关的内容。例如，政策公文中往往含有大量条文、举例等文本段，这部分文本段的语义信息往往与政策公文所属文本类目无关。对于这部分文本，通过bert、fastext等模型进行文本分类的准确率较低。


技术实现要素：

5.本技术实施例提供一种在文本分类方法、装置、设备及计算机存储介质，能够提高文本分类的准确率。
6.一方面，本技术实施例提供一种文本分类方法，方法包括：
7.获取待分类文本；
8.根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征；
9.从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本；
10.根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征；
11.根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征；
12.根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果。
13.可选的，根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征，具体包括：
14.确定所述待分类文本的文本标题；
15.根据文本分类模型的第一提取层，提取所述待分类文本的文本标题的第一文本特征。
16.可选的，从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本之前，所述方法还包括：
17.获取多个文本样本；
18.根据关系抽取模型，确定所述多个文本样本之间的关联关系；
19.根据所述多个文本样本的之间的关联关系，构建有向无环图。
20.可选的，获取多个文本样本，具体包括：
21.分别获取每个预设的文本类目对应的初始样本；
22.根据预设的关联关系，分别爬取与每个初始样本存在任一所述关联关系的关联样本；
23.根据所述关联关系，分别爬取与每个关联样本相关联的关联样本；
24.当确定所述初始样本与所述关联样本的总数量小于预设的数量阈值时，则返回根据所述关联关系，分别爬取与每个关联样本相关联的关联样本，直至所述总数量大于或等于所述数量阈值为止，并将所述初始样本以及所述关联样本，均作为文本样本。
25.可选的，根据关系抽取模型，确定所述多个文本样本之间的关联关系之前，所述方法还包括：
26.确定每个文本样本的分类标签；
27.根据文本样本的分类标签，分别确定每个文本类目的文本样本数量；
28.当确定任意两个文本类目的文本样本数量差值大于预设的差距阈值时，针对所述两个文本类目中文本样本数量较少的文本类目的每个文本样本，获取与该文本样本相关联的关联文本；
29.根据获取到的与文本样本相关联的关联文本，更新所述多个文本样本。
30.可选的，所述关系抽取模型，为卷积神经网络模型、循环神经网络模型、隐马尔可夫模型等模型中的任一模型；
31.根据关系抽取模型，确定所述多个文本样本之间的关联关系，具体包括：
32.针对每个文本样本，将该文本样本输入至关系抽取模型中，得到所述关系抽取模型输出的关联文本名称以及每个关联文本与该文本样本之间的关联关系。
33.可选的，根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征之前，所述方法还包括：
34.从表征文本关联关系的有向无环图中，获取与每个所述关联文本对应的关联关系；
35.根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征，具体包括：
36.针对每个关联文本，确定所述关联文本的关联关系；
37.根据所述关联关系对应的所述文本分类模型的第二特征提取层，提取该关联文本的关联文本特征，其中，不同的关联关系对应所述文本分类模型的第二特征提取层中的权重矩阵不同。
38.可选的，根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征，具体包括：
39.根据所述文本分类模型的第一合并层，将所述关联文本特征合并，得到第二文本特征；
40.根据所述文本分类模型的第二合并层，将所述第一文本特征以及所述第二文本特
征合并，得到第三文本特征。
41.可选的，所述方法还包括：
42.获取携带分类标签的训练样本，其中，每个训练样本至少与其他任一训练样本存在关联关系；
43.针对每个训练样本，根据所述文本分类模型的第一特征提取层，提取该训练样本的第一文本特征样本；
44.针对每个与该训练样本存在关联关系的其他训练样本，根据所述文本分类模型的第二特征提取层，提取关联特征样本；
45.根据所述第一文本特征样本以及所述关联特征样本，通过所述文本分类模型的合并层以及分类层，确定该训练样本的预测分类结果；
46.根据所述多个训练样本的预测分类结果以及标注标签，确定所述文本分类模型的损失函数；
47.当所述损失函数不满足训练停止条件时，调整所述文本分类模型的分类参数，并返回获取携带标注标签的训练样本，直至满足预设停止条件为止，得到训练后的文本分类模型。。
48.另一方面，本技术实施例提供了一种文本分类装置，装置包括：
49.获取单元，用于获取待分类文本；
50.第一提取单元，用于根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征；
51.关联单元，用于从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本；
52.第二提取单元，用于根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征；
53.合并单元，用于根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征；
54.确定单元，用于根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果。
55.再一方面，本技术实施例提供了一种文本分类设备，设备包括：
56.处理器以及存储有计算机程序指令的存储器；
57.所述处理器执行所述计算机程序指令时实现如上述权利要求任意一项所述的在文本分类方法。
58.再一方面，本技术实施例提供了一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上述权利要求任意一项所述的文本分类方法。
59.再一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如上述权利要求任意一项所述的文本分类方法。
60.本技术实施例的文本分类方法、装置、设备及计算机存储介质，可见，该待分类文本的文本分类结果是根据该待分类文本的第一文本特征以及若干关联文本特征确定的。考
虑到待分类文本本身的意义，第一文本特征为从待分类文本中提取的。而关联文本特征是根据至少一个待分类文本的关联文本确定出的。上述方式将表征待分类文本本身词义、句意的第一文本特征，与表征该待分类文本关联文本词义、语义的关联文本特征结合，确定该待分类文本的分类结果。提高文本分类的准确率。
附图说明
61.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
62.图1是本技术一个实施例提供的文本分类方法的流程示意图；
63.图2是本技术的一个实施例提供的有向无环图的示意图；
64.图3是本技术的一个实施例提供的有向无环图的示意图；
65.图4是本技术另一个实施例提供的文本分类方法的流程示意图；
66.图5是本技术另一个实施例提供的文本分类方法的流程示意图；
67.图6是本技术另一个实施例提供的文本分类方法的流程示意图；
68.图7是本技术另一个实施例提供的文本分类方法的流程示意图；
69.图8是本技术另一个实施例提供的文本分类方法的流程示意图；
70.图9是本技术一个实施例提供的文本分类装置的结构示意图；
71.图10是本技术一个实施例提供的文本分类设备的结构示意图。
具体实施方式
72.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
73.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
74.本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
75.通常情况下，用户在对文本进行分类时，基于bert模型、fastext模型等模型进行分类。但是，当用户通过fastext模型对政策公文类型的文本进行分类时，往往由于政策公文的文本长度不定，并且包含大量权属、承受方、共有人、划拨等公文类文字描述，导致文本分类的准确率较低，难以满足用户的需求。而由于政策公文类型文本的文本长度不定，当用
户通过bert模型在对这类型的文本进行分类时，随着文本长度的增加，bert模型的训练速度和分类速度会呈现指数增长，文本分类效率低、训练成本高，用户往往难以接受。
76.通过对政策公文类文本的研究，发现这类文本中通常会引用其他文本，例如，xx部xx局发布的文件《关于贯彻实施契税法若干事项执行口径的公告》中，包括文本段“为了贯彻落实《xx契税法》”。文件《xx市委组织部xx市xx部门关于应对xx疾病影响做好事业单位公开招聘高校毕业生工作的通知》中，包括文本段“贯彻落实
……
《关于xx的通知》”77.并且，这类文本所属类目往往与这类文本引用的其他文本类目相同。于是，本技术的一个或多个实施例中提供的文本分类方法，可在确定待分类文本的第一文本特征后，将该待分类文本引用的其他文本，作为该待分类文本的关联文本。再基于该待分类文本的关联文本，确定该待分类文本的第二文本特征，从而确定该待分类文本的分类结果。
78.为了解决现有技术问题，本技术实施例提供了一种文本分类方法、装置、设备及计算机存储介质。下面首先对本技术实施例所提供的文本分类方法进行介绍。
79.图1示出了本技术一个实施例提供的文本分类方法的流程示意图。如图1所示，本技术实施例提供的文本分类方法包括以下步骤：s101至s106。
80.s101：获取待分类文本。
81.在本技术中，由于模型的训练需要一定的算力，因此该文本分类方法，可由服务器执行。当然，该服务器具体为一台服务器，还是由多台服务器组成的服务器组，本技术不做限制，可根据需要设置。
82.在本技术的一个或多个实施例中，进行文本分类之前，该服务器可获取待分类文本。
83.s102：根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征。
84.在本技术的一个或多个实施例中，该服务器在获取待分类文本后，便可基于该文本分类模型的第一特征提取层，确定该待分类文本的第一文本特征。从而根据该第一文本特征，以及基于该待分类文本的关联文本确定的第二文本特征确定该待分类文本的分类结果。
85.具体的，该服务器可将该待分类文本输入到该文本分类模型的第一特征提取层中，提取该待分类文本的第一文本特征。其中，该第一特征提取层，可以是bert模型、标签嵌入注意力模型(label-embedding attentive model，leam)、长短期记忆网络模型(long short-term memory，lstm)等模型。该第一特征提取层具体为何种模型、算法，本技术不做限制，可根据需要设置。
86.采用上述方式，该服务器可确定该待分类文本的第一文本特征，以便确定该待分类文本的分类结果。
87.s103：从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本。
88.由于某些文本中通常会引用其他文本，继续引用上例，名称为《关于贯彻实施契税法若干事项执行口径的公告》的文本中，包括文本段“为了贯彻落实《xx契税法》”，即《关于贯彻实施契税法若干事项执行口径的公告》文本中引用了《xx契税法》。名称为《xx市委组织部xx市xx部门关于应对xx疾病影响做好事业单位公开招聘高校毕业生工作的通知》的文本
中，包括文本段“《关于xx的通知》”，即，《xx市委组织部xx市xx部门关于应对xx疾病影响做好事业单位公开招聘高校毕业生工作的通知》引用了《关于xx的通知》。
89.并且，这些文本引用的其他文本往往与这些文本属于用一类目。继续引用上例，《关于贯彻实施契税法若干事项执行口径的公告》文本中引用了《xx契税法》，显然，文本《关于贯彻实施契税法若干事项执行口径的公告》与文本《xx契税法》均属于契税类目的文本。
90.于是，在本技术的一个或多个实施例中，该服务器可确定该待分类文本的关联文本。从而根据该待分类文本的关联文本的关联文本特征以及该待分类文本的第一文本特征，确定该待分类文本的分类结果。
91.具体的，首先，该服务器可从预先设置的用于表征多个文本之间关联关系的有向无环图中，确定该待分类文本对应的节点。其中，该有向无环图可通过人工构建的方式、图神经网络模型(graph neural networks，gnn)构建的方式等多种方式构建。具体如何构建该有向无环图，本技术不做限制，可根据需要设置。
92.其次，该服务器可根据预设的关联参数，在该有向无环图中，将与该待分类文本对应的节点距离小于该关联参数的节点，均作为该待分类文本的节点的关联节点。并将每个关联节点对应的文本，作为该待分类文本的关联文本。其中，将两个直接连接的两个节点的节点距离记为1，将通过一个节点间接连接的两个节点的节点距离记为2，将通过两个节点间接连接的两个节点的节点距离记为3，以此类推。该关联参数可以为1,2,3等。
93.如图2所示，图2为本技术的一个实施例提供的有向无环图的示意图。其中，节点a对应的文本为待分类文本，关联参数3。节点b、节点c、节点d均与节点a直接相连，节点b、节点c、节点d与节点a之间的节点距离均为1。节点e、节点f、节点g、节点i、节点k均通过1个其他节点与节点a间接相连，节点e、节点f、节点g、节点i、节点k与节点a之间的节点距离均为2。节点h、节点j均同2个其他节点与节点a间接相连，节点h、节点j与节点a之间的节点距离均为3。由于关联参数为3，因此将与节点a之间的节点距离为1、2的节点，作为节点a的关联节点，即，节点b、节点c、节点d、节点e、节点f、节点g、节点i、节点k为节点a的关联节点。
94.当然，由于可能存在某个节点与待分类文本对应的节点之间的连接路径有多条，因此，该服务器在确定某个节点与该待分类文本对应的节点的至少一个节点距离后，若确定在该至少一个节点距离中存在任一节点距离小于该关联参数，即可确定该节点，为该待分类文本对应的节点的关联节点。
95.如图3所示，图3位本技术的另一个实施例提供的有向无环图的示意图。其中，节点a对应的文本为待分类文本，关联参数2。节点a与节点j直接相连，节点a与节点j之间的节点距离为1。同时，节点a与节点j通过节点b、节点f两个节点间接相连，节点a与节点j之间的节点距离为3。由于在1与3两个节点距离中，存在节点距离1小于关联参数2，因此，可确定节点j为节点a的关联节点。
96.采用上述方式，该服务器可根据预设的表征文本关联关系的有向无环图，确定该待分类文本的关联文本，以便基于关联文本确定该待分类文本的第二文本特征，从而确定该待分类文本的分类结果。
97.s104：根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征。
98.在本技术的一个或多个实施例中，该服务器确定该待分类文本的关联文本后，便
可确定该待分类文本的关联文本特征。
99.具体的，该服务器可将该待分类文本的关联文本输入到该文本分类模型的第二特征提取层中，分别提取每个关联文本的关联文本特征。其中，该第二特征提取层，可以是bert模型、leam模型、双向长短期记忆网络模型(bi-directional long short-term memory，bilstm)、lstm模型等模型。该第二特征提取层具体为何种模型、算法，本技术不做限制，可根据需要设置。
100.采用上述方式，该服务器可基于该文本分类模型的第二特征提取层，从该待分类文本的关联文本中提取关联文本特征，从而确定该待分类文本的分类结果。
101.s105：根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征。
102.在本技术的一个或多个实施例中，该服务器确定该待分类文本的第一文本特征，以及该待分类文本关联文本的关联文本特征后，便可将该第一文本特征以及关联文本特征合并，从而基于合并后的第三文本特征，确定该待分类文本的分类结果。
103.具体的，该服务器可根据该文本分类模型的合并层，将该第一文本特征，以及该待分类文本的关联文本的关联文本特征合并，得到该待分类文本的第三文本特征。
104.在本技术的一个或多个实施例中，该第一文本特征与关联文本特征均为向量形式的特征。于是，该合并层可通过按点逐位相加(point-wise addition)的方式合并该第一文本特征以及关联文本特征。该合并层也可通过向量拼接(concatenate)的方式合并该第一文本特征以及关联文本特征。具体设置该合并层以何种方式合并该一文本特征以及关联文本特征，本技术不做限制，可根据需要设置。
105.采用上述方式，该服务器可将该第一文本特征以及关联文本特征合并，从而根据得到的第三文本特征确定该待分类文本的分类结果。
106.s106：根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果。
107.在本技术的一个或多个实施例中，确定该待分类文本的第三文本特征后，便可基于该文本分类模型的分类层，确定该待分类文本的分类结果。
108.具体的，该服务器可将该待分类文本的第三文本特征输入至该文本分类模型的分类层中，得到该分类层输出的该待分类文本的分类结果。其中，该分类层可以是全连接层以及归一化(softmax)函数，当然，该分类层也可由其他算法、模型构成，该分类层具体如何构成，本技术不做限制，可根据需要设置。
109.采用上述方式，该服务器可基于合并后的该待分类文本的第三文本特征，确定该待分类文本的分类结果。
110.以上为本技术实施例提供的文本分类方法的具体实现方式。从上述实施例可以看出，该待分类文本的文本分类结果是根据该待分类文本的第一文本特征以及若干关联文本特征确定的。考虑到待分类文本本身的意义，第一文本特征为从待分类文本中提取的。而关联文本特征是根据至少一个待分类文本的关联文本确定出的。上述方式将表征待分类文本本身词义、句意的第一文本特征，与表征该待分类文本关联文本词义、语义的关联文本特征结合，确定该待分类文本的分类结果。提高文本分类的准确率。
111.为了提高文本分类的准确率，作为本技术的另一种实现方式，本技术还提供了文
本分类方法的另一种实现方式，具体参见以下实施例。
112.请参见图4，本技术提供的文本分类的另一种实现方式包括以下步骤：
113.s201：获取待分类文本。
114.介绍该步骤的具体实现方式。
115.s202：根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征。
116.s203：从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本。
117.s204：从表征文本关联关系的有向无环图中，获取与每个所述关联文本对应的关联关系。
118.s205：针对每个关联文本，确定所述关联文本的关联关系
119.通常情况下，某些文本在引用其他文本时，通常会通过特定的文本段来确定这些文本与被引用文本之间的关系。继续引用上例，《关于贯彻实施契税法若干事项执行口径的公告》中，包括文本段“为了贯彻落实《xx契税法》”，通过文本段“贯彻落实”来确定文本《关于贯彻实施契税法若干事项执行口径的公告》与文本《xx契税法》的关系。还例如，《xx部关于废止《因xx活动管理办法》的决定》中，包括文本段“现决定废止2001年6月6日发布施行的《因xx活动管理办法》”，通过文本段“废止”来确定文本《xx部关于废止《因xx活动管理办法》的决定》与文本《因xx活动管理办法》之间的关系。还例如，《xx部有关负责人就进一步推进省以下xx有关问题答记者问》中，包括文本段“上述要求，与3月份xx印发《关于加快建设全国统一大市场的意见》提出的”通过文本段“与”确定文本《xx部有关负责人就进一步推进省以下xx有关问题答记者问》与文本《关于加快建设全国统一大市场的意见》之间的关系。
120.并且，用于确定两个文本之间的文本段不同，也在一定程度上表征了这些文本与这些文本引用的其他文本所属文本类目的相关性。继续引用上例，文本段“为了贯彻落实”用于确定文本《关于贯彻实施契税法若干事项执行口径的公告》与文本《xx契税法》的关系。文本段“为了贯彻落实”在语义上存在递进的含义，因此文本《关于贯彻实施契税法若干事项执行口径的公告》与文本《xx契税法》所属文本类目的相关性较高，很可能属于同一文本类目。而文本段“与”用于确定文本《xx部有关负责人就进一步推进省以下xx有关问题答记者问》与文本《关于加快建设全国统一大市场的意见》之间的关系。文本段“与”在语义上存在并列的关系，因此文本《xx部有关负责人就进一步推进省以下xx有关问题答记者问》与文本《关于加快建设全国统一大市场的意见》属于同一文本类目的可能性较低。
121.于是，在本技术的一个或多个实施例中，该服务器确定该待分类文本的关联文本后，还可针对每个关联文本，从表征文本关联关系中，确定该关联文本与待分类文本的关联关系。
122.s206：根据所述关联关系对应的所述文本分类模型的第二特征提取层，提取该关联文本的关联文本特征，其中，不同的关联关系对应所述文本分类模型的第二特征提取层中的权重矩阵不同。
123.具体的，在本技术的一个或多个实施例中，该服务器可针对每个关联文本，根据该关联文本的关联关系，将该关联文本输入到该关联关系对应的该文本分类模型的第二特征提取层中，提取该关联文本的关联文本特征。其中，不同的关联关系对应的文本分类模型第
二特征提取层中的权重矩阵不同。
124.s207：根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征。
125.s208：根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果。
126.s201至s203与上述实施例中s101至s103相同，s207至s208与上述实施例中s105至s106相同为了简要起见，在此不再详细描述。
127.采用上述方法，该服务器在确定若干关联文本的关联文本特征时，可针对每个关联文本，基于该关联文本与该待分类文本的关联关系，确定该关联文本特征。从而使得每个关联文本特征在表征关联文本所属文本类目的同时，也可表征该关联文本特征对应的关联文本与该待分类文本的相关性，从而提高该待分类文本的分类准确率。
128.为了降低文本分类成本，作为本技术的另一种实现方式，本技术还提供了文本分类方法的另一种实现方式，具体参见以下实施例。
129.请参见图5，本技术提供的文本分类的另一种实现方式包括以下步骤：
130.s301：获取待分类文本。
131.s302：确定所述待分类文本的文本标题。
132.在本技术的一个或多个实施例中，由于通过bert模型、变压器模型(transformer)确定待分类文本的第一文本特征时，若待分类文本的文本长度过大，则分类的时间复杂度过高，时间成本过高。于是，可基于该待分类文本的文本标题，确定待分类文本的分类结果。
133.具体的，该服务器可获取待分类文本的文本标题。
134.s303：根据文本分类模型的第一提取层，提取所述待分类文本的文本标题的第一文本特征。
135.具体的，在本技术的一个或多个实施例中，该服务器可将该待分类文本的标题输入至该文本分类模型的第一特征提取层中，提取该待分类文本的文本标题的第一文本特征。
136.s304：从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本。
137.s305：根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征。
138.s306：根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征
139.s307：根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果
140.s301与上述实施例中s101相同，s304至s307与上述实施例中s103至s106相同，为了简要起见，在此不再详细描述。
141.采用上述方法，该服务器在确定该待分类文本的第一文本特征时，可基于该待分类文本的标题进行确定。降低了成本。
142.为了提高文本分类的准确率，作为本技术的另一种实现方式，本技术还提供了文本分类方法的另一种实现方式，具体参见以下实施例。
143.请参见图6，本技术提供的文本分类的另一种实现方式包括以下步骤：
144.s401：获取待分类文本。
145.s402：根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征。
146.s403：获取多个文本样本。
147.在本技术的一个或多个实施例中，该服务器可获取多个文本样本，从而构建表征文本之间的关联关系的有向无环图。
148.具体的，该服务器可随机获取一定数量的文本样本。其中，该文本样本的数量大于或等于预设的数量阈值。
149.为了提高文本分类的准确率，构建可包括属于每个文本类目的文本的有向无环图。在本技术的一个或多个实施例中，该服务器也可采用以下方式。
150.s4031：分别获取每个预设的文本类目对应的初始样本。
151.首先，该服务器可根据预设的多个文本类目，针对每个文本类目，获取该文本类目的至少一个初始样本。其中，该初始样本可由该服务器通过爬虫技术从互联网中获取，也可由人工确定并标注，再发送给该服务器。该初始样本具体如何获取，本技术不做限制，可根据需要设置。
152.s4032：根据预设的关联关系，分别爬取与每个初始样本存在任一所述关联关系的关联样本。
153.其次，该服务器可通过预设的修订、废止、贯彻落实、提及、复函、转发、根据、印发、等关联关系，通过爬虫技术，分别爬取与每个初始样本存在上述任一关联关系的关联样本。
154.其中，该服务器在确定该初始样本的关联样本时，可确定该初始样本内存在的标题对应的文本为该初始样本的关联样本，也可确定文本中包含该初始样本的标题的文本为该初始样本的关联样本。
155.例如，初始样本标题为《若干规划》，该初始样本《若干规划》中包括文本段“为了贯彻落实《会议纪要》”，则《会议纪要》为该初始样本《若干规划》的关联文本。文本《规划建议》中包含文本段“贯彻落实《若干规划》”，则文本《规划建议》也为该初始文本《若干规划》的关联文本。
156.s4033：根据所述关联关系，分别爬取与每个关联样本相关联的关联样本。
157.然后，确定每个关联文本，该服务器可根据修订、废止、贯彻落实、提及、复函、转发、根据、印发、等关联关系，通过爬虫技术，分别爬取与每个关联文本相关联的关联文本。
158.s4034：当确定所述初始样本与所述关联样本的总数量小于预设的数量阈值时，则返回根据所述关联关系，分别爬取与每个关联样本相关联的关联样本，直至所述总数量大于或等于所述数量阈值为止，并将所述初始样本以及所述关联样本，均作为文本样本。
159.最后，该服务器可确定初始文本与关联文本的总数量，当确定该总数量小于该数量阈值时，则返回步骤s4033，即通过爬虫技术继续确定与每个关联文本相关联的关联文本，直至该总数量大于或等于该数量阈值为止。当确定该总数量大于或等于该数量阈值时，该服务器可将该初始样本以及每个关联文本均作为文本样本。
160.s404：根据关系抽取模型，确定所述多个文本样本之间的关联关系。
161.在本技术的一个或多个实施例中，该服务器可针对每个文本样本，将该文本样本
输入到预设的关系抽取模型中，得到该关系抽取模型输出的该文本样本的关联文本名称，以及该文本样本的每个关联文本与该文本样本之间的关联关系。其中，该关系抽取模型，可以是卷积神经网络(convolutional neural network,cnn)模型、循环神经网络(recurrent neural network，rnn)、隐马尔可夫模型(hidden markov model，hmm)等模型，该关系抽取模型具体为何种模型，本技术不做限制，可根据需要设置。
162.s405：根据所述多个文本样本的之间的关联关系，构建有向无环图。
163.在本技术的一个或多个实施例中，该服务器在确定多个文本样本，以及每个文本样本与至少一个其他文本样本的关联关系后。便可基于该多个文本样本之间的关联关系，即基于多个文本样本中每个文本样本与至少一个其他文本样本的关联关系，构建表征文本关联关系的有向无环图。其中，该有向无环图可由该关系抽取模型构建，也可由人工构建，具体如何构建该有向无环图，本技术不做限制，可根据需要设置。
164.s406：从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本。
165.s407：根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征。
166.s408：根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征。
167.s409：根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果。
168.s401至s402与上述实施例中s101至s102相同，s406至s409与上述实施例中s103至s106相同，为了简要起见，在此不再详细描述。
169.采用上述方法，该服务器可构建包括属于每个文本类目的文本的有向无环图，更准确的确定该待分类文本的第二文本特征，提高文本分类的准确率。
170.为了提高文本分类的准确率，作为本技术的另一种实现方式，本技术还提供了文本分类方法的另一种实现方式，具体参见以下实施例。
171.本技术提供的文本分类方法的另一种实现方式包括以下步骤：
172.s501：获取待分类文本。
173.s502：根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征。
174.s503：获取多个文本样本。
175.s504：确定每个文本样本的分类标签。
176.在本技术的一个或多个实施例中，由于获取的多个文本样本分别属于不同的文本类目，而在获取若干文本样本的过程中，未对文本样本进行标注。因此，可能出现某些文本类目的文本样本数量较多，而某些文本类目的文本样本数量较少的现象。于是，在本技术的一个或多个实施例中，该服务器也可采用以下方式，确定是否再次获取多个文本样本。
177.具体的，首先，该服务器可确定每个文本样本的分类标签，即，确定每个文本样本所属文本类目。其中，该分类标签可由人工确定，即，该服务器响应于人工或用户的操作，确定每个文本样本的分类标签。该分类标签也可由其他方式确定，具体如何确定该分类标签，本技术不做限制，可根据需要设置。
178.s505：根据文本样本的分类标签，分别确定每个文本类目的文本样本数量。
179.其次，该服务器可根据每个文本样本的分类标签，分别确定属于每个文本类目的文本样本数量。
180.s506：当确定任意两个文本类目的文本样本数量差值大于预设的差距阈值时，针对所述两个文本类目中文本样本数量较少的文本类目的每个文本样本，获取与该文本样本相关联的关联文本。
181.再次，当该服务器根据预设的差距阈值以及每个文本类目的文本样本数量，确定存在任意两个文本类目的文本样本数量的差值大于该差距阈值时，该服务器可针对上述量文本类目中文本样本数量较少的文本类目，基于该文本类目的文本样本，确定与该文本类目中每个文本样本相关联的文本样本。
182.s507：根据获取到的与文本样本相关联的关联文本，更新所述多个文本样本。
183.最后，该服务器可将确定出的关联样本，作为文本样本，并基于重新确定的文本样本，更新步骤s503中确定出的多个文本样本。
184.当然，由于更新步骤s503中确定出的多个文本样本后，还可能出现某些文本类目的文本样本数量远小于其他文本类目的文本样本数量的情况。于是，该服务器可返回步骤s504，直至任意选取两个文本类目，均确定被选取的两个文本类目的文本样本数量差值小于或等于该差距阈值为止。
185.s508：根据关系抽取模型，确定所述多个文本样本之间的关联关系。
186.s509：根据所述多个文本样本的之间的关联关系，构建有向无环图。
187.s510：从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本。
188.s511：根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征。
189.s512：根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征。
190.s513：根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果。
191.s501至s503与上述实施例中s401至s403相同，s508至s513与上述实施例中s404至s409相同，为了简要起见，在此不再详细描述。
192.采用上述方法，该服务器可构建包括属于每个文本类目的文本的有向无环图，且保证任意两个文本类目的文本样本数量差小于该差距阈值，从而更准确的确定该待分类文本的第二文本特征，提高文本分类的准确率。
193.为了更准确的确定该待分类文本的第三文本特征，作为本技术的另一种实现方式，本技术还提供了文本分类的另一种实现方式，具体参见以下实施例。
194.请参见图7，本技术提供的文本分类的另一种实现方式包括以下步骤：
195.s601：获取待分类文本。
196.s602：根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征。
197.s603：从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关
联文本。
198.s604：根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征。
199.s605：根据所述文本分类模型的第一合并层，将所述关联文本特征合并，得到第二文本特征。
200.在本技术的一个或多个实施例中，该服务器可将每个关联文本的关联文本特征均输入至该文本分类模型的第一合并层中，得到该第一合并层输出的文本特征。再将该第一合并层输出的文本特征，作为第二文本特征。其中，该第一合并层可通过按点逐位相加(point-wise addition)的方式合并每个关联文本的关联文本特征。该合并层也可通过向量拼接(concatenate)的方式合并每个关联文本的关联文本特征。具体设置该合并层以何种方式合并每个关联文本的关联文本特征，本技术不做限制，可根据需要设置。
201.s606：根据所述文本分类模型的第二合并层，将所述第一文本特征以及所述第二文本特征合并，得到第三文本特征。
202.在本技术的一个或多个实施例中，该服务器可将该待分类文本的第一文本特征以及第二文本特征输入至该文本分类模型的第二合并层中，得到该第二合并层输出的该待分类文本的第三文本特征。其中，该第二合并层可通过按点逐位相加(point-wise addition)的方式合并该待分类文本的第一文本特征以及第二文本特征。该合并层也可通过向量拼接(concatenate)的方式合并该待分类文本的第一文本特征以及第二文本特征。具体设置该合并层以何种方式合并该一文本特征以及第二文本特征，本技术不做限制，可根据需要设置。
203.s607：根据所述第三文本特征以及所述文本分类模型的分类层，确定所述待分类文本的分类结果。
204.s601至s604与上述实施例中s101至s104相同，s607与上述实施例中s106相同，为了简要起见，在此不再详细描述。
205.采用上述方法，该服务器可更准确的确定该待分类文本的第三文本特征，从而更准确的确定该待分类文本的分类结果。
206.为了更准确的确定该待分类文本的分类结果，作为本技术的另一种实现方式，本技术还提供了文本分类方法的另一种实现方式，具体参见以下实施例。
207.请参见图8，本技术提供的文本分类的另一种实现方式包括以下步骤：
208.s701：获取携带分类标签的训练样本，其中，每个训练样本至少与其他任一训练样本存在关联关系。
209.该服务器可获取多个训练样本，其中，每个训练样本均携带分类标签，且每个训练样本均与至少一个其他训练样本存在关联关系。该关联关系包括修订、废止、贯彻落实、提及、复函、转发、根据、印发、等关联关系。
210.s702：针对每个训练样本，根据所述文本分类模型的第一特征提取层，提取该训练样本的第一文本特征样本。
211.该服务器可针对每个训练样本，将该训练样本输入到该文本分类模型的第一特征提取层中，得到该第一特征提取层输出的该训练样本的第一文本特征样本。
212.s703：针对每个与该训练样本存在关联关系的其他训练样本，根据所述文本分类
模型的第二特征提取层，提取关联特征样本。
213.该服务器可基于预先根据每个训练样本构建的样本有向无环图，从除了该训练样本的其他训练样本中，确定与该训练样本存在关联关系的其他训练样本。并针对每个与该训练样本存在关联关系的其他训练样本，将该其他训练样本输入至该文本分类模型的第二特征提取层中，得到该文本分类模型的第二特征提取层输出的关联特征样本。
214.s704：根据所述第一文本特征样本以及所述关联特征样本，通过所述文本分类模型的合并层以及分类层，确定该训练样本的预测分类结果。
215.在本技术的一个或多个实施例中，该服务器可将该训练样本的第一文本特征，以及确定出的关联特征样本，输入至该文本分类模型的合并层以及分类层中，得到该训练样本的预测分类结果。
216.s705：根据所述多个训练样本的预测分类结果以及标注标签，确定所述文本分类模型的损失函数。
217.在本技术的一个或多个实施例中，为了提高该文本分类模型的准确率，该服务器可根据多个训练样本的预测分类结果以及标注标签，确定该文本分类模型的损失函数。而由于现有技术中已存在较为成熟的基于预测结果以及标签确定损失函数的方法，因此，具体如何确定该损失函数，本技术不再赘述。
218.s706：当所述损失函数不满足训练停止条件时，调整所述文本分类模型的分类参数，并返回获取携带标注标签的训练样本，直至满足预设停止条件为止，得到训练后的文本分类模型。
219.在本技术的一个或多个实施例中，该服务器在确定该损失函数不满足预设的训练停止条件时，可基于该损失函数，调整该分类模型的分类参数，再返回步骤s701，直至该损失函数满足该训练停止条件为止，确定训练完成的文本分类模型。其中，该训练停止条件具体为何种条件，可根据需要设置，本技术在此不做限制。
220.采用上述方法，该服务器提高文本分类的准确率。
221.另外，本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
222.基于上述实施例提供的文本分类方法，相应地，本技术还提供了文本分类装置的具体实现方式。请参见以下实施例。
223.首先参见图9，本技术实施例提供的文本分类装置包括以下单元：
224.获取单元901，用于获取待分类文本；
225.第一提取单元902，用于根据文本分类模型的第一特征提取层，提取所述待分类文本的第一文本特征；
226.关联单元903，用于从表征文本关联关系的有向无环图中，获取与所述待分类文本相关联的关联文本；
227.第二提取单元904，用于根据所述文本分类模型的第二特征提取层，分别提取每个所述关联文本的关联文本特征；
228.合并单元905，用于根据所述文本分类模型的合并层，将所述第一文本特征与所述关联文本特征合并，得到第三文本特征；
229.确定单元906，用于根据所述第三文本特征以及所述文本分类模型的分类层，确定
所述待分类文本的分类结果。
230.可见，上述装置的确定模块906确定出的文本分类结果是根据该待分类文本的第一文本特征以及若干关联文本特征确定的。考虑到待分类文本本身的意义，第一文本特征为该第一特征提取单元902从待分类文本中提取的。而关联文本特征是第二特征提取单元904根据至少一个待分类文本的关联文本确定出的。上述方式将表征待分类文本本身词义、句意的第一文本特征，与表征该待分类文本关联文本词义、语义的关联文本特征结合，确定该待分类文本的分类结果。提高文本分类的准确率。
231.作为本技术的一种实现方式，为了降低分类成本，上述装置还可以包括：第一提取子单元9021。
232.该第一提取子单元9021，用于确定所述待分类文本的文本标题，根据文本分类模型的第一提取层，提取所述待分类文本的文本标题的第一文本特征。
233.作为本技术的一种实现方式，为了提高分类准确率，上述装置还可以包括：关联子单元9031。
234.该关联子单元9031，用于获取多个文本样本，根据关系抽取模型，确定所述多个文本样本之间的关联关系，根据所述多个文本样本的之间的关联关系，构建有向无环图。
235.作为本技术的一种实现方式，为了提高分类准确率，上述装置还可以包括：关联子单元9032。
236.该关联子单元9032，用于分别获取每个预设的文本类目对应的初始样本，根据预设的关联关系，分别爬取与每个初始样本存在任一所述关联关系的关联样本，根据所述关联关系，分别爬取与每个关联样本相关联的关联样本，当确定所述初始样本与所述关联样本的总数量小于预设的数量阈值时，则返回根据所述关联关系，分别爬取与每个关联样本相关联的关联样本，直至所述总数量大于或等于所述数量阈值为止，并将所述初始样本以及所述关联样本，均作为文本样本。
237.作为本技术的一种实现方式，为了提高分类准确率，上述装置还可以包括：关联子单元9033。
238.该关联子单元9033，用于确定每个文本样本的分类标签，根据文本样本的分类标签，分别确定每个文本类目的文本样本数量，当确定任意两个文本类目的文本样本数量差值大于预设的差距阈值时，针对所述两个文本类目中文本样本数量较少的文本类目的每个文本样本，获取与该文本样本相关联的关联文本，根据获取到的与文本样本相关联的关联文本，更新所述多个文本样本。
239.作为本技术的一种实现方式，为了提高分类准确率，上述装置还可以包括：关联子单元9034。
240.该关联子单元9034，用于针对每个文本样本，将该文本样本输入至关系抽取模型中，得到所述关系抽取模型输出的关联文本名称以及每个关联文本与该文本样本之间的关联关系。
241.作为本技术的一种实现方式，为了提高分类准确率，上述装置还可以包括：关联子单元9035。
242.该关联子单元9035，用于从表征文本关联关系的有向无环图中，获取与每个所述关联文本对应的关联关系，针对每个关联文本，确定所述关联文本的关联关系，根据所述关
联关系对应的所述文本分类模型的第二特征提取层，提取该关联文本的关联文本特征，其中，不同的关联关系对应所述文本分类模型的第二特征提取层中的权重矩阵不同。
243.作为本技术的一种实现方式，为了提高分类准确率，上述装置还可以包括：合并子单元9051。
244.该合并子单元9051，用于根据所述文本分类模型的第一合并层，将所述关联文本特征合并，得到第二文本特征，根据所述文本分类模型的第二合并层，将所述第一文本特征以及所述第二文本特征合并，得到第三文本特征。
245.作为本技术的一种实现方式，为了提高分类准确率，上述装置还可以包括：获取子单元9011。
246.该获取子单元9011，用于获取携带分类标签的训练样本，其中，每个训练样本至少与其他任一训练样本存在关联关系，针对每个训练样本，根据所述文本分类模型的第一特征提取层，提取该训练样本的第一文本特征样本，针对每个与该训练样本存在关联关系的其他训练样本，根据所述文本分类模型的第二特征提取层，提取关联特征样本，根据所述第一文本特征样本以及所述关联特征样本，通过所述文本分类模型的合并层以及分类层，确定该训练样本的预测分类结果，根据所述多个训练样本的预测分类结果以及标注标签，确定所述文本分类模型的损失函数，当所述损失函数不满足训练停止条件时，调整所述文本分类模型的分类参数，并返回获取携带标注标签的训练样本，直至满足预设停止条件为止，得到训练后的文本分类模型。
247.图10示出了本技术实施例提供的文本分类的硬件结构示意图。
248.在文本分类设备可以包括处理器1001以及存储有计算机程序指令的存储器1002。
249.具体地，上述处理器1001可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
250.存储器1002可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1002可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1002可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1002可在综合网关容灾设备的内部或外部。在特定实施例中，存储器902是非易失性固态存储器。
251.在特定实施例中，存储器1002可包括只读存储器(rom)，随机存取存储器(ram)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。
252.处理器1001通过读取并执行存储器1002中存储的计算机程序指令，以实现上述实施例中的任意一种文本分类方法。
253.在一个示例中，文本分类设备还可包括通信接口1003和总线1010。其中，如图10所示，处理器1001、存储器1002、通信接口1003通过总线1010连接并完成相互间的通信。
254.通信接口1003，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间
的通信。
255.总线1010包括硬件、软件或两者，将文本分类设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1010可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
256.该文本分类设备可以基于当前已拦截的垃圾短信以及用户举报的短信执行本技术实施例中的文本分类方法，从而实现结合图1和图9描述的文本分类方法和装置。
257.另外，结合上述实施例中的文本分类方法，本技术实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种文本分类方法。
258.需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
259.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
260.还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
261.上面参考根据本公开的实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
262.以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。