变异文本的生成、翻译模型的训练、文本分类方法和装置与流程

本申请涉及自然语言处理技术领域，特别是涉及一种变异文本的生成方 法、一种翻译模型的训练方法，一种文本分类方法，一种变异文本的生成装 置、一种翻译模型的训练装置、以及一种文本分类装置。

背景技术

一般来说，用户在表达自己的意思时，可以使用规范表达的正常文本， 也可以基于用户的习惯、爱好等原因，使用不属于规范表达的变异文本。例 如，缩略语，错别字，拼音与中文混输，英文与中文混输，以及使用同音字、 音近字、特殊符号来表音的“火星文”等。同时，在用户可以接收其他用户 或运营商发送的文字消息的平台，或者，用户可以公开文字消息的平台中， 例如，电商平台、社交网络平台、短信平台、邮箱平台等，用户通常可以接 收到其他用户或运营商发送的垃圾消息，或者，其他用户可以在平台公开垃 圾消息，导致用户收到垃圾信息的骚扰。垃圾信息可以为了避免平台的垃圾 信息识别与屏蔽，将垃圾消息变换为不属于规范表达的变异文本。例如，将 “贷款”替换为“貸歀”。

由此，当采用机器学习模型对变异文本进行情感分析、虚假评论检测、 垃圾邮件过滤、违规文本审核等任务时，由于文本可能不属于规范表达，容 易导致机器学习模型无法正确地对文本进行分类或者识别，导致机器学习模 型的处理准确率降低。

技术实现要素：

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至 少部分地解决上述问题的一种变异文本的生成方法、一种翻译模型的训练方 法，一种文本分类方法和相应的一种变异文本的生成装置、一种翻译模型的 训练装置、以及一种文本分类装置。

为了解决上述问题，本申请实施例公开了一种变异文本的生成方法，所 述方法包括：

采用预设的第一文本分类模型，确定预设的原始文本中的重要词；

将所述原始文本中的重要词转换为变异词，得到所述原始文本对应的变 异文本。

可选地，所述将所述原始文本中的重要词转换为变异词，得到所述原始 文本对应的变异文本的步骤，包括：

采用预设的变异词转换规则，将所述原始文本中的至少一个重要词，转 换为变异词，得到所述原始文本对应的变异文本；

获取所述变异文本与所述原始文本之间语义相似度；

确定所述语义相似度是否大于预设阈值；

若所述语义相似度大于预设阈值，将所述变异文本作为目标变异文本。

可选地，所述变异词转换规则包括音标转换规则、音近转换规则、形近 转换规则、同义转换规则中的至少一种。

可选地，所述目标变异文本包括第一目标变异文本以及第二目标变异文 本；

所述若所述语义相似度大于预设阈值，将所述变异文本作为目标变异文 本的步骤，包括：

若所述语义相似度大于预设阈值，确定将所述变异文本输入预设的第二 文本分类模型，获取所述变异文本对应的变异标签信息；

确定所述变异文本对应的变异标签信息是否与预设的所述原始文本对 应的原始标签信息相同；

若所述变异标签信息与所述原始标签信息相同，将所述变异文本作为第 二目标变异文本；

若所述变异标签信息与所述原始标签信息不同，将所述变异文本作为第 一目标变异文本。

可选地，所述采用预设的变异词转换规则，将所述原始文本中的至少一 个重要词，转换为变异词，得到所述原始文本对应的变异文本的步骤，包括：

针对所述原始文本中的一重要词，采用预设的变异词转换规则，生成所 述重要词的变异词集合，所述变异词集合包括至少一个变异词；

采用所述变异词集合中的变异词，替换所述重要词，得到至少一个第一 替换文本；

采用所述第一文本分类模型，获取所述原始文本、以及所述第一替换文 本的文本分类信息；

在所述第一替换文本中，查找所述第一替换文本的文本分类信息与所述 原始文本的文本分类信息相差最大的目标第一替换文本；

将所述目标第一替换文本对应的变异词，作为目标变异词；

将所述原始文本中的重要词，转换为所述重要词对应的目标变异词，得 到所述原始文本对应的变异文本。

可选地，所述方法还包括：

采用所述目标变异文本以及所述原始标签信息，对所述第一文本分类模 型进行训练，得到新的第一文本分类模型。

可选地，所述方法还包括：

将所述第一目标变异文本中的至少一个变异词替换为所述变异词对应 的重要词，得到第二替换文本；

将所述第二替换文本输入预设的第二文本分类模型，获取所述第二替换 文本对应的替换标签信息；

在所述第二替换文本中，查找所述第二替换文本对应的替换标签信息与 所述原始文本对应的原始标签信息不同的目标第二替换文本；

获取所述目标第二替换文本与所述原始文本之间的语义相似度；

查找所述语义相似度最大的目标第二替换文本，作为第三目标变异文本。

可选地，所述采用预设的第一文本分类模型，确定预设的原始文本中的 重要词的步骤，包括：

将预设的原始文本输入预设的第一文本分类模型中，获取所述原始文本 的文本分类信息；所述原始文本包括至少一个原始词；

在所述原始文本中，去除所述原始词，得到重要性识别文本；

将所述重要性识别文本输入预设的第一文本分类模型中，获取所述原始 词对应的重要性信息；

采用所述原始文本的文本分类信息以及所述重要性信息，确定所述原始 文本中的重要词。

可选地，所述方法还包括：

将预设的训练文本输入预设的第二文本分类模型中，获取所述训练文本 对应的硬标签信息；

对所述硬标签信息进行标签平滑处理，获取所述训练文本对应的软标签 信息；

采用所述训练文本、预设的所述训练文本对应的训练标签信息、以及所 述软标签信息，对预设的待训练第一文本分类模型进行训练，得到第一文本 分类模型。

可选地，所述采用所述训练文本、预设的所述训练文本对应的训练标签 信息、以及所述软标签信息，对预设的待训练第一文本分类模型进行训练， 得到第一文本分类模型的步骤包括：

采用预设的词向量转换模型，将所述训练文本转换为训练词向量序列；

将所述训练词向量序列输入预设的待训练第一文本分类模型，获取所述 待训练第一文本分类模型输出的所述训练词向量序列对应的类别概率；

采用所述类别概率、预设的所述训练文本对应的训练标签信息以及所述 软标签信息，计算联合交叉熵损失函数；

对所述待训练第一文本分类模型进行优化，直至所述联合交叉熵损失函 数达到最小，得到第一文本分类模型。

本申请实施例还提供一种翻译模型的训练方法，所述方法包括：

采用预设的第一文本分类模型，确定预设的原始文本中的重要词；

将所述原始文本中的重要词转换为变异词，得到所述原始文本对应的变 异文本；

采用所述原始文本以及所述原始文本对应的变异文本，对预设的待训练 翻译模型进行训练，得到翻译模型。

可选地，所述将所述原始文本中的重要词转换为变异词，得到所述原始 文本对应的变异文本的步骤，包括：

采用预设的变异词转换规则，将所述原始文本中的至少一个重要词，转 换为变异词，得到所述原始文本对应的变异文本；

获取所述变异文本与所述原始文本之间语义相似度；

确定所述语义相似度是否大于预设阈值；

若所述语义相似度大于预设阈值，将所述变异文本作为目标变异文本。

可选地，所述变异词转换规则包括音标转换规则、音近转换规则、形近 转换规则、同义转换规则中的至少一种。

可选地，所述目标变异文本包括第一目标变异文本以及第二目标变异文 本；

所述若所述语义相似度大于预设阈值，将所述变异文本作为目标变异文 本的步骤，包括：

若所述语义相似度大于预设阈值，确定将所述变异文本输入预设的第二 文本分类模型，获取所述变异文本对应的变异标签信息；

确定所述变异文本对应的变异标签信息是否与预设的所述原始文本对 应的原始标签信息相同；

若所述变异标签信息与所述原始标签信息相同，将所述变异文本作为第 二目标变异文本；

若所述变异标签信息与所述原始标签信息不同，将所述变异文本作为第 一目标变异文本。

可选地，所述采用预设的变异词转换规则，将所述原始文本中的至少一 个重要词，转换为变异词，得到所述原始文本对应的变异文本的步骤，包括：

针对所述原始文本中的一重要词，采用预设的变异词转换规则，生成所 述重要词的变异词集合，所述变异词集合包括至少一个变异词；

采用所述变异词集合中的变异词，替换所述重要词，得到至少一个第一 替换文本；

采用所述第一文本分类模型，获取所述原始文本、以及所述第一替换文 本的文本分类信息；

在所述第一替换文本中，查找所述第一替换文本的文本分类信息与所述 原始文本的文本分类信息相差最大的目标第一替换文本；

将所述目标第一替换文本对应的变异词，作为目标变异词；

将所述原始文本中的重要词，转换为所述重要词对应的目标变异词，得 到所述原始文本对应的变异文本。

可选地，所述方法还包括：

采用所述目标变异文本以及所述原始标签信息，对所述第一文本分类模 型进行训练，得到新的第一文本分类模型。

可选地，所述方法还包括：

将所述第一目标变异文本中的至少一个变异词替换为所述变异词对应 的重要词，得到第二替换文本；

将所述第二替换文本输入预设的第二文本分类模型，获取所述第二替换 文本对应的替换标签信息；

在所述第二替换文本中，查找所述第二替换文本对应的替换标签信息与 所述原始文本对应的原始标签信息不同的目标第二替换文本；

获取所述目标第二替换文本与所述原始文本之间的语义相似度；

查找所述语义相似度最大的目标第二替换文本，作为第三目标变异文本。

可选地，所述采用预设的第一文本分类模型，确定预设的原始文本中的 重要词的步骤，包括：

将预设的原始文本输入预设的第一文本分类模型中，获取所述原始文本 的文本分类信息；所述原始文本包括至少一个原始词；

在所述原始文本中，去除所述原始词，得到重要性识别文本；

将所述重要性识别文本输入预设的第一文本分类模型中，获取所述原始 词对应的重要性信息；

采用所述原始文本的文本分类信息以及所述重要性信息，确定所述原始 文本中的重要词。

可选地，所述方法还包括：

将预设的训练文本输入预设的第二文本分类模型中，获取所述训练文本 对应的硬标签信息；

对所述硬标签信息进行标签平滑处理，获取所述训练文本对应的软标签 信息；

采用所述训练文本、预设的所述训练文本对应的训练标签信息、以及所 述软标签信息，对预设的待训练第一文本分类模型进行训练，得到第一文本 分类模型。

可选地，所述采用所述训练文本、预设的所述训练文本对应的训练标签 信息、以及所述软标签信息，对预设的待训练第一文本分类模型进行训练， 得到第一文本分类模型的步骤包括：

采用预设的词向量转换模型，将所述训练文本转换为训练词向量序列；

将所述训练词向量序列输入预设的待训练第一文本分类模型，获取所述 待训练第一文本分类模型输出的所述训练词向量序列对应的类别概率；

采用所述类别概率、预设的所述训练文本对应的训练标签信息以及所述 软标签信息，计算联合交叉熵损失函数；

对所述待训练第一文本分类模型进行优化，直至所述联合交叉熵损失函 数达到最小，得到第一文本分类模型。

可选地，所述待训练翻译模型包括编码器以及解码器；

所述采用所述原始文本以及所述原始文本对应的变异文本，对预设的待 训练翻译模型进行训练，得到翻译模型的步骤，包括：

采用预设的词向量转换模型，将所述变异文本转换为第一词向量序列， 将原始文本转换为第二词向量序列；

将所述第一词向量序列输入所述编码器中，将第二词向量序列输入解码 器中，获取所述解码器输出的输出序列；

采用所述输出序列以及所述第二词向量序列，确定解码损失函数；

对所述待训练翻译模型进行优化，直至所述解码损失函数达到最小，得 到翻译模型。

可选地，所述将所述第一词向量序列输入所述编码器中，将第二词向量 序列输入解码器中，获取所述解码器输出的输出序列的步骤，包括：

将所述第一词向量序列输入所述编码器中，获取所述编码器输出的第一 向量；

将所述第二词向量序列输入解码器中，采用上一时刻输入的文字、解码 器的上一时刻的隐状态、以及第二向量，获取所述解码器中当前时刻的隐状 态；所述第二向量采用所述第一向量进行加权处理得到；

采用上一时刻输入的文字、当前时刻的解码器的隐状态、以及第二向量， 确定当前时刻的输出向量；

将所有时刻的输出向量，作为输出序列。

本申请实施例中还提供了一种文本分类方法，包括：

获取待分类文本；

将所述待分类文本输入翻译模型中，获取待分类翻译文本；

将所述待分类翻译文本输入预设的第三文本分类模型中，获取所述待分 类翻译文本对应的翻译标签信息。

可选地，所述将所述待分类翻译文本输入预设的第三文本分类模型中， 获取所述待分类翻译文本对应的翻译标签信息的步骤，包括：

采用预设的词向量转换模型，将所述待分类翻译文本转换为至少一种模 态对应的模态词向量序列；

将所述至少一种模态词向量序列拼接为输入词向量序列；

将所述输入词向量序列输入预设的第三文本分类模型中，获取所述待分 类翻译文本对应的翻译标签信息。

可选地，所述模态词向量序列包括语义词向量序列；所述词向量转换模 型包括第一词向量转换模型；

所述采用预设的词向量转换模型，将所述待分类翻译文本转换为至少一 种模态词向量序列的步骤，包括：

采用所述第一词向量转换模型，将所述待分类翻译文本转换为语义词向 量序列。

可选地，所述模态词向量序列包括发音词向量序列；

所述采用预设的词向量转换模型，将所述待分类翻译文本转换为至少一 种模态词向量序列的步骤，包括：

将所述待分类翻译文本转换为音标文本；

采用所述第一词向量转换模型，将所述音标文本转换为发音词向量序列。

可选地，所述模态词向量包括视觉词向量序列；所述词向量转换模型包 括第二词向量转换模型；

所述采用预设的词向量转换模型，将所述待分类翻译文本转换为至少一 种模态词向量序列的步骤，包括：

将所述待分类翻译文本转换为文本图片；

采用所述第二词向量转换模型，将所述文本图片转换为视觉词向量序列。

可选地，所述将所述待分类文本输入翻译模型中，获取待分类翻译文本 的步骤，包括：

采用预设的词向量转换模型，将所述待分类文本转换为待分类词向量序 列；

将所述待分类词向量序列输入翻译模型中，获取所述待分类翻译文本。

本申请实施例还提供一种变异文本的生成装置，所述装置包括：

第一重要词确定模块，用于采用预设的第一文本分类模型，确定预设的 原始文本中的重要词；

第一变异文本生成模块，用于将所述原始文本中的重要词转换为变异词， 得到所述原始文本对应的变异文本。

可选地，所述第一变异文本生成模块包括：

第一变异文本生成子模块，用于采用预设的变异词转换规则，将所述原 始文本中的至少一个重要词，转换为变异词，得到所述原始文本对应的变异 文本；

第一语义相似度获取子模块，用于获取所述变异文本与所述原始文本之 间语义相似度；

第一阈值确定子模块，用于确定所述语义相似度是否大于预设阈值；

第一目标变异文本确定子模块，用于若所述语义相似度大于预设阈值， 将所述变异文本作为目标变异文本。

可选地，所述变异词转换规则包括音标转换规则、音近转换规则、形近 转换规则、同义转换规则中的至少一种。

可选地，所述目标变异文本包括第一目标变异文本以及第二目标变异文 本；

所述第一目标变异文本确定子模块包括：

第一变异标签信息获取单元，用于若所述语义相似度大于预设阈值，确 定将所述变异文本输入预设的第二文本分类模型，获取所述变异文本对应的 变异标签信息；

第一标签信息比较单元，用于确定所述变异文本对应的变异标签信息是 否与预设的所述原始文本对应的原始标签信息相同；

第二目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息相同，将所述变异文本作为第二目标变异文本；

第一目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息不同，将所述变异文本作为第一目标变异文本。

可选地，所述第一变异文本生成子模块包括：

第一变异词集合生成单元，用于针对所述原始文本中的一重要词，采用 预设的变异词转换规则，生成所述重要词的变异词集合，所述变异词集合包 括至少一个变异词；

第一替换文本生成单元，用于采用所述变异词集合中的变异词，替换所 述重要词，得到至少一个第一替换文本；

第一文本分类信息获取单元，用于采用所述第一文本分类模型，获取所 述原始文本、以及所述第一替换文本的文本分类信息；

第一查找单元，用于在所述第一替换文本中，查找所述第一替换文本的 文本分类信息与所述原始文本的文本分类信息相差最大的目标第一替换文 本；

第一目标变异词确定单元，用于将所述目标第一替换文本对应的变异词， 作为目标变异词；

第一变异文本生成单元，用于将所述原始文本中的重要词，转换为所述 重要词对应的目标变异词，得到所述原始文本对应的变异文本。

可选地，所述装置还包括：

第一文本分类模型更新模块，用于采用所述目标变异文本以及所述原始 标签信息，对所述第一文本分类模型进行训练，得到新的第一文本分类模型。

可选地，所述装置还包括：

第二替换文本生成模块，用于将所述第一目标变异文本中的至少一个变 异词替换为所述变异词对应的重要词，得到第二替换文本；

第一替换标签信息获取模块，用于将所述第二替换文本输入预设的第二 文本分类模型，获取所述第二替换文本对应的替换标签信息；

第一查找模块，用于在所述第二替换文本中，查找所述第二替换文本对 应的替换标签信息与所述原始文本对应的原始标签信息不同的目标第二替 换文本；

第一语义相似度获取模块，用于获取所述目标第二替换文本与所述原始 文本之间的语义相似度；

第三目标变异文本确定模块，用于查找所述语义相似度最大的目标第二 替换文本，作为第三目标变异文本。

可选地，所述第一重要词确定模块包括：

第一文本分类信息获取子模块，用于将预设的原始文本输入预设的第一 文本分类模型中，获取所述原始文本的文本分类信息；所述原始文本包括至 少一个原始词；

第一重要性识别文本获取子模块，用于在所述原始文本中，去除所述原 始词，得到重要性识别文本；

第一重要性信息获取子模块，用于将所述重要性识别文本输入预设的第 一文本分类模型中，获取所述原始词对应的重要性信息；

第一重要词确定子模块，用于采用所述原始文本的文本分类信息以及所 述重要性信息，确定所述原始文本中的重要词。

可选地，所述装置还包括：

第一硬标签获取模块，用于将预设的训练文本输入预设的第二文本分类 模型中，获取所述训练文本对应的硬标签信息；

第一软标签获取模块，用于对所述硬标签信息进行标签平滑处理，获取 所述训练文本对应的软标签信息；

第一文本分类模型训练模块，用于采用所述训练文本、预设的所述训练 文本对应的训练标签信息、以及所述软标签信息，对预设的待训练第一文本 分类模型进行训练，得到第一文本分类模型。

可选地，所述第一文本分类模型训练模块包括：

第一训练词向量序列获取子模块，用于采用预设的词向量转换模型，将 所述训练文本转换为训练词向量序列；

第一类别概率获取子模块，用于将所述训练词向量序列输入预设的待训 练第一文本分类模型，获取所述待训练第一文本分类模型输出的所述训练词 向量序列对应的类别概率；

第一联合交叉熵损失函数计算模块，用于采用所述类别概率、预设的所 述训练文本对应的训练标签信息以及所述软标签信息，计算联合交叉熵损失 函数；

第一文本分类模型训练子模块，用于对所述待训练第一文本分类模型进 行优化，直至所述联合交叉熵损失函数达到最小，得到第一文本分类模型。

本申请实施例还提供一种翻译模型的训练装置，所述装置包括：

第二重要词确定模块，用于采用预设的第一文本分类模型，确定预设的 原始文本中的重要词；

第二变异文本生成模块，用于将所述原始文本中的重要词转换为变异词， 得到所述原始文本对应的变异文本；

翻译模型训练模块，用于采用所述原始文本以及所述原始文本对应的变 异文本，对预设的待训练翻译模型进行训练，得到翻译模型。

可选地，所述第二变异文本生成模块包括：

第二变异文本生成子模块，用于采用预设的变异词转换规则，将所述原 始文本中的至少二个重要词，转换为变异词，得到所述原始文本对应的变异 文本；

第二语义相似度获取子模块，用于获取所述变异文本与所述原始文本之 间语义相似度；

第二阈值确定子模块，用于确定所述语义相似度是否大于预设阈值；

第二目标变异文本确定子模块，用于若所述语义相似度大于预设阈值， 将所述变异文本作为目标变异文本。

可选地，所述变异词转换规则包括音标转换规则、音近转换规则、形近 转换规则、同义转换规则中的至少一种。

可选地，所述目标变异文本包括第一目标变异文本以及第二目标变异文 本；

所述第二目标变异文本确定子模块包括：

第二变异标签信息获取单元，用于若所述语义相似度大于预设阈值，确 定将所述变异文本输入预设的第二文本分类模型，获取所述变异文本对应的 变异标签信息；

第二标签信息比较单元，用于确定所述变异文本对应的变异标签信息是 否与预设的所述原始文本对应的原始标签信息相同；

第四目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息相同，将所述变异文本作为第二目标变异文本；

第三目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息不同，将所述变异文本作为第一目标变异文本。

可选地，所述第二变异文本生成子模块包括：

第二变异词集合生成单元，用于针对所述原始文本中的一重要词，采用 预设的变异词转换规则，生成所述重要词的变异词集合，所述变异词集合包 括至少一个变异词；

第二替换文本生成单元，用于采用所述变异词集合中的变异词，替换所 述重要词，得到至少一个第一替换文本；

第二文本分类信息获取单元，用于采用所述第一文本分类模型，获取所 述原始文本、以及所述第一替换文本的文本分类信息；

第二查找单元，用于在所述第一替换文本中，查找所述第一替换文本的 文本分类信息与所述原始文本的文本分类信息相差最大的目标第一替换文 本；

第二目标变异词确定单元，用于将所述目标第一替换文本对应的变异词， 作为目标变异词；

第二变异文本生成单元，用于将所述原始文本中的重要词，转换为所述 重要词对应的目标变异词，得到所述原始文本对应的变异文本。

可选地，所述装置还包括：

第二文本分类模型更新模块，用于采用所述目标变异文本以及所述原始 标签信息，对所述第一文本分类模型进行训练，得到新的第一文本分类模型。

可选地，所述装置还包括：

第三替换文本生成模块，用于将所述第一目标变异文本中的至少一个变 异词替换为所述变异词对应的重要词，得到第二替换文本；

第二替换标签信息获取模块，用于将所述第二替换文本输入预设的第二 文本分类模型，获取所述第二替换文本对应的替换标签信息；

第二查找模块，用于在所述第二替换文本中，查找所述第二替换文本对 应的替换标签信息与所述原始文本对应的原始标签信息不同的目标第二替 换文本；

第二语义相似度获取模块，用于获取所述目标第二替换文本与所述原始 文本之间的语义相似度；

第四目标变异文本确定模块，用于查找所述语义相似度最大的目标第二 替换文本，作为第三目标变异文本。

可选地，所述第二重要词确定模块包括：

第二文本分类信息获取子模块，用于将预设的原始文本输入预设的第一 文本分类模型中，获取所述原始文本的文本分类信息；所述原始文本包括至 少一个原始词；

第二重要性识别文本获取子模块，用于在所述原始文本中，去除所述原 始词，得到重要性识别文本；

第二重要性信息获取子模块，用于将所述重要性识别文本输入预设的第 一文本分类模型中，获取所述原始词对应的重要性信息；

第二重要词确定子模块，用于采用所述原始文本的文本分类信息以及所 述重要性信息，确定所述原始文本中的重要词。

可选地，所述装置还包括：

第二硬标签获取模块，用于将预设的训练文本输入预设的第二文本分类 模型中，获取所述训练文本对应的硬标签信息；

第二软标签获取模块，用于对所述硬标签信息进行标签平滑处理，获取 所述训练文本对应的软标签信息；

第二文本分类模型训练模块，用于采用所述训练文本、预设的所述训练 文本对应的训练标签信息、以及所述软标签信息，对预设的待训练第一文本 分类模型进行训练，得到第一文本分类模型。

可选地，所述第二文本分类模型训练模块包括：

第二训练词向量序列获取子模块，用于采用预设的词向量转换模型，将 所述训练文本转换为训练词向量序列；

第二类别概率获取子模块，用于将所述训练词向量序列输入预设的待训 练第一文本分类模型，获取所述待训练第一文本分类模型输出的所述训练词 向量序列对应的类别概率；

第二联合交叉熵损失函数计算模块，用于采用所述类别概率、预设的所 述训练文本对应的训练标签信息以及所述软标签信息，计算联合交叉熵损失 函数；

第二文本分类模型训练子模块，用于对所述待训练第一文本分类模型进 行优化，直至所述联合交叉熵损失函数达到最小，得到第一文本分类模型。

可选地，所述待训练翻译模型包括编码器以及解码器；

所述翻译模型训练模块包括：

词向量序列转换子模块，用于采用预设的词向量转换模型，将所述变异 文本转换为第一词向量序列，将原始文本转换为第二词向量序列；

输出序列获取子模块，用于将所述第一词向量序列输入所述编码器中， 将第二词向量序列输入解码器中，获取所述解码器输出的输出序列；

解码损失函数确定子模块，用于采用所述输出序列以及所述第二词向量 序列，确定解码损失函数；

翻译模型训练子模块，用于对所述待训练翻译模型进行优化，直至所述 解码损失函数达到最小，得到翻译模型。

可选地，所述输出序列获取子模块包括：

第一向量获取单元，用于将所述第一词向量序列输入所述编码器中，获 取所述编码器输出的第一向量；

隐状态获取单元，用于将所述第二词向量序列输入解码器中，采用上一 时刻输入的文字、解码器的上一时刻的隐状态、以及第二向量，获取所述解 码器中当前时刻的隐状态；所述第二向量采用所述第一向量进行加权处理得 到；

输出向量确定单元，用于采用上一时刻输入的文字、当前时刻的解码器 的隐状态、以及第二向量，确定当前时刻的输出向量；

输出序列获取单元，用于将所有时刻的输出向量，作为输出序列。

本申请实施例中还提供一种文本分类装置，包括：

待分类文本获取模块，用于获取待分类文本；

待分类翻译文本获取模块，用于将所述待分类文本输入翻译模型中，获 取待分类翻译文本；

翻译标签信息获取模块，用于将所述待分类翻译文本输入预设的第三文 本分类模型中，获取所述待分类翻译文本对应的翻译标签信息。

可选地，所述翻译标签信息获取模块包括：

模态词向量序列转换子模块，用于采用预设的词向量转换模型，将所述 待分类翻译文本转换为至少一种模态对应的模态词向量序列；

输入词向量序列获取子模块，用于将所述至少一种模态词向量序列拼接 为输入词向量序列；

翻译标签信息获取子模块，用于将所述输入词向量序列输入预设的第三 文本分类模型中，获取所述待分类翻译文本对应的翻译标签信息。

可选地，所述模态词向量序列包括语义词向量序列；所述词向量转换模 型包括第一词向量转换模型；

所述模态词向量序列转换子模块包括：

语义词向量序列转换单元，用于采用所述第一词向量转换模型，将所述 待分类翻译文本转换为语义词向量序列。

可选地，所述模态词向量序列包括发音词向量序列；

所述模态词向量序列转换子模块包括：

音标文本转换单元，用于将所述待分类翻译文本转换为音标文本；

发音词向量序列转换单元，用于采用所述第一词向量转换模型，将所述 音标文本转换为发音词向量序列。

可选地，所述模态词向量包括视觉词向量序列；所述词向量转换模型包 括第二词向量转换模型；

所述模态词向量序列转换子模块包括：

文本图片转换单元，用于将所述待分类翻译文本转换为文本图片；

视觉词向量序列转换单元，用于采用所述第二词向量转换模型，将所述 文本图片转换为视觉词向量序列。

可选地，所述待分类翻译文本获取模块包括：

待分类词向量序列转换子模块，用于采用预设的词向量转换模型，将所 述待分类文本转换为待分类词向量序列；

待分类翻译文本获取子模块，用于将所述待分类词向量序列输入翻译模 型中，获取所述待分类翻译文本。

本申请实施例还提供一种装置，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理 器执行时，使得所述装置执行如本申请实施例所述的一个或多个的方法。

本申请实施例还提供一个或多个机器可读介质，其上存储有指令，当由 一个或多个处理器执行时，使得所述处理器执行如本申请实施例所述的一个 或多个的方法。

本申请实施例包括以下优点：

通过本申请实施例的变异文本的生成方法，采用第一文本分类模型，确 定所述原始文本中的重要词，并将所述原始文本中的重要词转换为变异词， 得到所述原始文本对应的变异文本。从而基于原始文本即可高效地生成变异 文本，且变异文本可以一定程度上具有影响模型的输出结果的效果，符合翻 译模型、文本分类模型、文本相似度模型等模型进行训练、评价安全性、评 价抗干扰能力等的需要。

通过本申请实施例的翻译模型的训练方法，采用第一文本分类模型，确 定所述原始文本中的重要词，并将所述原始文本中的重要词转换为变异词， 得到所述原始文本对应的变异文本。从而基于原始文本即可高效地生成变异 文本。采用所述原始文本以及所述原始文本对应的变异文本，对预设的待训 练翻译模型进行训练，得到翻译模型，从而可以实现采用所述翻译模型，将 所述变异文本转换为正常文本，便于采用文本分类模型，对所述文本进行分 类，从而可以实现对变异文本的准确分类。

通过本申请实施例的文本分类方法，获取待分类文本；将所述待分类文 本输入翻译模型中，所述翻译模型将所述待分类文本中可能存在的变异词转 换为正常词，从而可以获取待分类翻译文本；将所述待分类翻译文本输入预 设的第三文本分类模型中，获取所述待分类翻译文本对应的翻译标签信息。 从而可以对不规范表达的变异文本进行正确分类，提高文本分类的准确率。

附图说明

图1是本申请实施例的一种变异文本的生成方法实施例的步骤流程图；

图2是本申请实施例的另一种变异文本的生成方法实施例的步骤流程 图；

图3是本申请实施例的一种第一文本分类模型的训练方法的流程示意 图；

图4是本申请实施例的一种变异文本的生成方法的流程示意图；

图5是本申请实施例的一种翻译模型的训练方法实施例的步骤流程图；

图6是本申请实施例的一种翻译模型的训练方法的流程示意图；

图7是本申请实施例的另一种翻译模型的训练方法实施例的步骤流程 图；

图8是本申请实施例的一种翻译模型的结构示意图；

图9是本申请实施例的一种文本分类方法实施例的步骤流程图；

图10是本申请实施例的一种文本分类方法的流程示意图；

图11是本申请实施例的另一种文本分类方法实施例的步骤流程图；

图12是本申请实施例的一种卷积神经网络的示意图；

图13是本申请实施例的一种基于TextCNN的文本分类模型的示意图；

图14是本申请实施例的一种基于Bi-LSTM模型的文本分类模型的示意 图；

图15是本申请实施例的一种变异文本的生成装置实施例的结构框图；

图16是本申请实施例的一种翻译模型的训练装置实施例的结构框图；

图17是本申请实施例的一种文本分类装置实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本申请作进一步详细的说明。

在本申请实施例中，本申请提出了一种基于翻译模型以及文本分类模型 的文本分类方法，可以采用翻译模型，将不属于规范表达的变异文本，翻译 为属于规范表达的正常文本。其后，可以采用文本分类模型，对正常文本进 行文本分类，从而实现了对变异文本的纠错以及对正常文本的分类，且准确 度高。进一步地，本申请针对正常文本与正常文本对应的变异文本收集难度 较高，正常文本与正常文本对应的变异文本数量较少，无法较好地对翻译模 型进行训练的情况，提出了一种变异文本的生成方法，可以基于正常文本， 生成不属于规范表达，且可以一定程度上影响模型正确地输出结果的变异文 本，从而可以在只有少量正常文本以及正常文本对应的变异文本的情况下， 采用正常文本生成变异文本，实现对翻译模型的训练。

参照图1，示出了本申请实施例的一种变异文本的生成方法实施例的步 骤流程图，具体可以包括如下步骤：

步骤101，采用预设的第一文本分类模型，确定预设的原始文本中的重 要词；

在本申请实施例中，所述第一文本分类模型可以用于对文本进行分类， 输出针对文本的文本分类信息。具体地，所述文本分类信息可以为所述文本 属于至少一种分类的概率。

作为本申请的一种示例，在所述第一文本分类模型可以用于确定所述文 本是否属于垃圾信息的情况下，所述第一文本分类模型的输出可以为：属于 垃圾信息的概率为P1，不属于垃圾信息的概率为P2。

在本申请实施例中，所述原始文本可以为初始收集的用于生成变异文本 的，属于规范表达的文本。所述原始文本中可以包含至少一个词。所述原始 文本可以通过网络自动抓取、人工抓取、人工编写等方式生成，本申请对此 不做限制。具体地，在通过网络自动抓取或人工抓取的情况下，所述原始文 本可以从一段文本中提取得到，也可以将图片、音频、视频转换为文本后提 取得到。例如，可以对图片进行文本识别，从而提取图片中可能存在的文本； 可以对音频进行语音识别，从而提取语音中可能存在的文本；可以将视频分 离为视频部分以及音频部分，对视频部分中的每一帧图像进行文本识别，对 音频部分进行语音识别，从而提取视频中可能存在的文本。

作为本申请的一种示例，在所述第一文本分类模型可以用于确定所述文 本是否属于垃圾信息的情况下，所述原始文本可以为垃圾信息。垃圾消息通 常可以指用户不期望收到的推广信息、虚假信息、违法违规信息等。例如， 在电商平台、社交网络平台中可以存在虚假评论、带有推广信息的评论。在 短信平台中可以存在营销短信。在邮箱平台中可以存在钓鱼邮件、或者营销 邮件等。

作为本申请的一种示例，在所述第一文本分类模型可以用于确定所述文 本对应的情感的情况下，所述原始文本可以为用户在网络平台发表的属于规 范表达的文本、出版书籍中包含的文本等。

在本申请实施例中，所述重要词可以为所述原始文本中，可以影响所述 第一文本分类模型对原始文本的分类的词。所述重要词可以为原始文本被所 述第一文本分类模型分至当前分类具有贡献。如采用所述预设的第一文本分 类模型对所述原始文本，以及在所述原始文本中去除所述重要词的文本进行 分类，所述原始文本与在所述原始文本中去除所述重要词的文本之间的分类 结果不同。

在本申请实施例中，由于重要词可以影响所述第一文本分类模型对原始 文本的分类，因此，可以认为将所述重要词替换为其他文本，可以一定程度 上具有影响模型的输出结果的效果。由此，可以采用所述第一文本分类模型， 对所述原始文本进行分类，基于所述原始文本中的词对所述原始文本的分类 的贡献，确定所述原始文本中的重要词。

步骤102，将所述原始文本中的重要词转换为变异词，得到所述原始文 本对应的变异文本。

在本申请实施例中，对于不属于规范表达的变异文本来说，用户仍然可 以理解该变异文本传达的信息。这是因为用户在阅读文本时，可以基于词的 发音、形状、语义、上下文等信息，综合地判断文本传达的信息。一般来说， 在变异文本中，不属于规范表达的变异词与规范表达的词之间，可以在发音、 形状、语义等方面中的至少一个方面存在相似之处，从而用户可以理解部分 词被替换为不属于规范表达的变异词的变异文本。

在本申请实施例中，可以将所述原始文本的中的重要词，转换为在词的 发音、形状、语义等方面中至少一个与所述重要词相似的变异词，从而得到 所述原始文本对应的变异文本。

在本申请实施例，可以采用所述原始文本以及所述原始文本对应的变异 文本，对翻译模型、文本分类模型、文本相似度模型等模型进行训练、评价 安全性、评价抗干扰能力等，本申请对此不做限制。

作为本申请的一种示例，原始文本可以为“你好，有空帮网店写好评吗”， 可以将所述原始文本输入第一文本分类模型，确定在原始文本中，词“好评” 为原始文本被分为垃圾信息提供较大的贡献，从而将词“好评”作为重要词。 其后，可以基于发音以及形状，将词“好评”替换为“好平”，从而得到变异 文本“你好，有空帮网店写好平吗”。

通过本申请实施例中的变异文本的生成方法，采用第一文本分类模型， 确定所述原始文本中的重要词，并将所述原始文本中的重要词转换为变异词， 得到所述原始文本对应的变异文本。从而基于原始文本即可高效地生成变异 文本，且变异文本可以一定程度上具有影响模型的输出结果的效果，符合翻 译模型、文本分类模型、文本相似度模型等模型进行训练、评价安全性、评 价抗干扰能力等的需要。

参照图2，示出了本申请实施例的另一种变异文本的生成方法实施例的 步骤流程图，具体可以包括如下步骤：

步骤201，将预设的原始文本输入预设的第一文本分类模型中，获取所 述原始文本对应的文本分类信息；所述原始文本包括至少一个原始词；

在本申请实施例中，所述原始文本可以为初始收集的用于生成变异文本 的，属于规范表达的文本。所述原始文本中可以包含至少一个词。所述原始 文本可以通过网络自动抓取、人工抓取、人工编写等方式生成，本申请对此 不做限制。具体地，在通过网络自动抓取或人工抓取的情况下，所述原始文 本可以从一段文本中提取得到，也可以将图片、音频、视频转换为文本后提 取得到。例如，可以对图片进行文本识别，从而提取图片中可能存在的文本； 可以对音频进行语音识别，从而提取语音中可能存在的文本；可以将视频分 离为视频部分以及音频部分，对视频部分中的每一帧图像进行文本识别，对 音频部分进行语音识别，从而提取视频中可能存在的文本。

在本申请实施例中，所述原始文本中可以包含至少一个原始词。在所述 原始文本中天然存在词语分隔的情况下，可以基于文本中的空格，确定所述 原始文本中包含的至少一个原始词，例如，英文、法语、德语等语种。在所 述原始文本中不存在词语分隔的情况下，可以对所述原始文本进行分词处理， 确定所述原始文本中包含的至少一个原始词，例如，中文、日语、韩语等语 种。具体地，可以采用词典分词算法、基于统计的机器学习算法等方式，对 所述原始文本进行分词处理，本申请对此不做限制。

在本申请实施例中，所述第一文本分类模型可以用于对文本进行分类， 输出针对文本的文本分类信息。具体地，所述文本分类信息可以为所述文本 属于至少一种分类的概率。

作为本申请的一种示例，所述第一文本分类模型可以用于确定所述文本 是否属于垃圾信息，从而所述第一文本分类模型的输出可以为：属于垃圾信 息的概率为P1，不属于垃圾信息的概率为P2。例如，针对一原始文本，所 述第一文本分类的输出可以为：90％概率为垃圾信息。

在本申请实施例中，可以将原始文本输入第一文本分类模型中，获取所 述原始文本的文本分类信息。所述文本分类信息可以为所述第一文本分类模 型的针对所述原始文本的输出结果。

步骤202，在所述原始文本中，去除所述原始词，得到重要性识别文本；

在本申请实施例中，第一文本分类模型基于原始文本中的原始词，确定 所述原始文本的文本分类信息。而在所述原始文本中，每一所述原始词对原 始文本的文本分类信息的贡献并不相同。在所述原始文本中，可以存在至少 一个原始词，对原始文本的文本分类信息没有影响；也可以存在至少一个原 始词，对原始文本的文本分类信息具有轻微影响；也可以存在至少一个原始 词，对原始文本的文本分类信息具有明显影响。

在本申请实施例中，在所述原始词对原始文本的文本分类信息具有影响 的情况下，可以认为，如果在原始文本中去除该原始词，可以导致所述文本 分类信息出现变化。由此，对于每一所述原始词，在所述原始文本中，可以 去除所述原始词，得到重要性识别文本。从而可以得到每一所述原始词对应 的重要性识别文本。

步骤203，将所述重要性识别文本输入预设的第一文本分类模型中，获 取所述原始词对应的重要性信息；

在本申请实施例中，可以将每一所述原始词的重要性识别文本输入预设 的第一文本分类模型中，获取每一所述原始词对应的重要性信息。所述重要 性信息可以为所述第一文本分类模型的针对所述重要性文本的输出结果。所 述重要性信息可以为所述重要性文本属于至少一种分类的概率。

步骤204，采用所述原始文本的文本分类信息以及所述重要性信息，确 定所述原始文本中的重要词。

在本申请实施例中，可以将所述原始文本的文本分类信息与所述重要性 信息进行比较，确定所述原始文本的文本分类信息与所述重要性信息是否存 在偏差。若所述原始文本的文本分类信息与所述重要性信息存在偏差，可以 认为所述重要性信息对应的原始词对原始文本的文本分类信息存在影响。若 所述原始文本的文本分类信息与所述重要性信息不存在偏差，可以认为所述 重要性信息对应的原始词对原始文本的文本分类信息不存在影响。

在本申请实施例中，原始词可以对原始文本的文本分类信息存在正面影 响以及负面影响。在所述原始词对原始文本的文本分类信息存在正面影响的 情况下，采用第一文本分类模型对去除后所述原始词的重要性文本进行分类， 其为正确分类的可能性会降低。在所述原始词对原始文本的文本分类信息存 在负面影响的情况下，采用第一文本分类模型对去除后所述原始词的重要性 文本进行分类，其为正确分类的可能性会升高。

在本申请实施例中，可以确定所述原始文本的文本分类信息与所述重要 性信息是否存在偏差。若所述原始文本的文本分类信息与所述重要性信息存 在偏差，可以确定所述重要性信息对应的原始词对所述原始文本的文本分类 信息存在正面影响或负面影响，并将对所述原始文本的文本分类信息存在正 面影响的原始词作为重要词。

在具体实现中，所述文本分类信息与所述重要性信息可以为一概率数值。 可以采用如下公式计算所述原始词的重要性分值R(wj)：

R(wj)＝fy(x)-fy(x\\wj)

其中，x为原始文本；wj为原始词；fy(x)为原始文本的文本分类信息， 即第一文本分类模型针对所述原始文本的输出结果；fy(x\\wj)为重要性信息， 即第一文本分类模型针对所述重要性文本的输出结果，所述重要性文本为在 所述原始文本中去除所述原始词得到的文本。

在所述重要性分值大于0且不等于0的情况下，可以认为所述重要性信 息对应的原始词对所述原始文本的文本分类信息存在正面影响，并将所述重 要性信息对应的原始词确定为重要词，从而可以得到包括至少一个重要词的 重要词集合。

在本申请实施例中，由于重要词可以影响所述第一文本分类模型对原始 文本的分类，因此，可以认为将所述重要词替换为其他文本，可以具有一定 程度上具有影响模型的输出结果。

步骤205，将所述原始文本中的重要词转换为变异词，得到所述原始文 本对应的变异文本。

在本申请实施例中，对于不属于规范表达的变异文本来说，用户仍然可 以理解该变异文本传达的信息。这是因为用户在阅读文本时，可以基于词的 发音、形状、语义、上下文等信息，综合地判断文本传达的信息。一般来说， 在变异文本中，不属于规范表达的变异词与规范表达的词之间，可以在发音、 形状、语义等方面中的至少一个方面存在相似之处，从而用户可以理解部分 词被替换为不属于规范表达的变异词的变异文本。

在本申请实施例中，可以将所述原始文本的中的重要词，转换为在词的 发音、形状、语义等方面中至少一个与所述重要词相似的变异词，从而得到 所述原始文本对应的变异文本。

在本申请实施例中，可以采用所述原始文本以及所述原始文本对应的变 异文本，对翻译模型、文本分类模型、文本相似度模型等模型进行训练、评 价安全性、评价抗干扰能力等，本申请对此不做限制。

在本申请的一种实施例中，所述将所述原始文本中的重要词转换为变异 词，得到所述原始文本对应的变异文本的步骤，包括：

S11，采用预设的变异词转换规则，将所述原始文本中的至少一个重要 词，转换为变异词，得到所述原始文本对应的变异文本；

在本申请实施例中，所述变异词转换规则可以用于将词中的至少一个字， 转换为与所述字在发音、形状、语义中的至少一个方面存在关联的至少一个 其他字，以得到经过变异的词。从而可以采用预设的变异词转换规则，将所 述原始文本中的至少一个重要词，转换为变异词，得到所述原始文本对应的 变异文本。

在本申请实施例中，可以优先选取所述重要词集合中，重要性分值较高 的重要词进行转换为变异词，得到所述原始文本对应的变异文本。由于重要 性分值较高的重要词可以对所述原始文本的文本分类信息存在比较明显的 正面影响。由此，将重要性分值较高的重要词转换为变异词得到的变异文本， 该变异文本的文本分类信息与原始文本的文本信息可以容易出现较大的差 别。采用该变异文本与原始文本对模型进行训练，可以更好地提高模型的准 确度。

在本申请的一种实施例中，所述变异词转换规则可以包括音标转换规则、 音近转换规则、形近转换规则、同义转换规则中的至少一种。

在本申请实施例中，所述音标转换规则可以用于将词中的至少一个字， 转换为所述字对应的音标。作为本申请的一种可选的实施方式，在词为中文 的情况下，所述音标可以为用英文字母表示的汉语拼音，或者，用拉丁字母 表示的国际音标。例如，词“销量”可以转换为“xiao量”，或者“销liang”， 或者“xiao liang”。在词为英语的情况下，所述音标可以为用拉丁字母表示的 国际音标。在词为日语的情况下，所述音标可以为用英文字母表示的罗马音。

在本申请实施例中，所述音近转换规则可以用于将词中的至少一个字， 转换为与所述字在发音上相近的至少一个其他字。作为本申请的一种示例， 词“豆腐”可以转换为“豆付”，词“好笑”可以转换为“好啸”，词“知道” 可以转换为“造”，词“发明”可以转换为“farming”，词“you”可以转换 为“U”。

在本申请实施例中，所述形近转换规则可以用于将词中的至少一个字， 转换为与所述字在形状上相近的至少一个其他字。作为本申请的一种示例， 词“贷款”可以转换为“貸歀”，词“吃饭”可以转换为“口乞饭”，词“人 人”可以转换为“从”。

在本申请实施例中，所述同义转换规则可以用于将词中的至少一个字， 转换为与所述字在语义上相近的至少一个其他字。例如，词“颜色”可以转 换为“color”，词“中文”可以转换为“汉语”，词“地铁”可以转换为“捷 运”。

在本申请实施例中，在所述词为中文的情况下，所述同义转换规则还可 以用于对词中的至少一个字进行繁体字与简体字之间的相互转换。例如，词 “昼夜”可以转换为“晝夜”，词“书画”可以转换为“書畫”。

在本申请的一种实施例中，所述采用预设的变异词转换规则，将所述原 始文本中的至少一个重要词，转换为变异词，得到所述原始文本对应的变异 文本的步骤，包括：

S111，针对所述原始文本中的一重要词，采用预设的变异词转换规则， 生成所述重要词的变异词集合，所述变异词集合包括至少一个变异词；

在本申请实施例中，针对所述原始文本中的一重要词，可以采用预设的 变异词转换规则，生成所述重要词的变异词集合，所述变异词集合可以包括 至少一个变异词。从而每一重要词可以对应具有至少一个变异词。

S112，采用所述变异词集合中的变异词，替换所述重要词，得到至少一 个第一替换文本；

在本申请实施例中，可以期望所述变异文本与所述原始文本之间的文本 分类信息可以具有比较明显的区别，从而实现一定程度上具有影响模型的输 出结果的效果。由此，对于所述重要词，可以采用所述变异词集合中的变异 词，依次替换所述重要词，从而可以得到至少一个替换文本。

S113，采用所述第一文本分类模型，获取所述原始文本、以及所述第一 替换文本的文本分类信息；

在本申请实施例中，可以采用所述第一文本分类模型，获取所述原始文 本，以及所述第一替换文本的文本分类信息，从而可以确定所述第一替换文 本的文本分类信息与所述原始文本的文本分类信息之间的差别。

S114，在所述第一替换文本中，查找所述第一替换文本的文本分类信息 与所述原始文本的文本分类信息相差最大的目标第一替换文本；

在本申请实施例中，所述文本分类信息可以为一概率数值。可以依次获 取所述原始文本的文本分类信息与每一所述第一替换文本的文本分类信息 之间的差值，并在该差值中查找一数值最大的差值，该数值最大的差值对应 的第一替换文本，可以为所述第一替换文本的文本分类信息与所述原始文本 的文本分类信息相差最大的目标第一替换文本。可以认为所述目标第一替换 文本与原始文本之间文本分类信息具有比较明显的区别，从而实现一定程度 上具有影响模型的输出结果的效果。

S115，将所述目标第一替换文本对应的变异词，作为目标变异词；

在本申请实施例中，在确定所述目标第一替换文本之后，可以将所述第 一替换文本对应的变异词，作为目标变异词。从而所述原始文本中的每一所 述重要词，可以对应有所述目标变异词。

在具体实现中，可以采用如下公式选取所述重要词对应的目标变异词 bk^*：

其中，为重要词wj对应的变异词集合；bk可以为所述变异词集合中 的变异词；fy(x)为所述原始文本x的文本分类信息，即第一文本分类模型针 对所述原始文本的输出结果；为采用变异词bk替换所述重要词后得到的 变异文本；为采用变异词bk替换所述重要词后得到的变异文本的文本 分类信息，即第一文本分类模型针对所述变异文本的输出结果。

可见，目标变异词bk^*为当的值达到最大时，变异文本对应的变异词。采用所述目标变异词替换所述重要词，可以使原始文本的文 本分类信息与变异文本的分类信息之间具有比较明显的差异。

S116，将所述原始文本中的重要词，转换为所述重要词对应的目标变异 词，得到所述原始文本对应的变异文本。

在本申请实施例中，可以将所述原始文本中的至少一个重要词，转换为 所述重要词对应的目标变异词，得到所述原始文本对应的变异文本。采用包 含所述目标变异词的变异文本，原始文本的文本分类信息与变异文本的分类 信息之间具有比较明显的差异。从而可以进一步影响模型的输出结果。

在本申请实施例中，可以在需要替换原始文本中的至少两个重要词的情 况下，可以先将原始文本中一重要词替换为目标变异词，得到变异文本。其 后，可以在得到的变异文本中，选取其中未被替换的重要词替换为目标变异 词，得到新的变异文本，直至生成的变异文本符合用户需要。

S12，获取所述变异文本与所述原始文本之间语义相似度；

在本申请实施例中，所述语义相似度可以用于表示文本所包含的含义之 间的相似度。作为本申请的一种可选的实施方式，可以采用经过训练的语义 匹配模型，确定所述变异文本与所述原始文本之间的语义相似度。作为本申 请的一种具体示例，所述语义匹配模型可以包括DSSM模型(深度语义匹配 模型，Deep Structured Semantic Model)、CLSM模型(基于卷积表示的深度 语义匹配模型，convolutional latent semantic model)、LSTM-DSSM模型(长 短期记忆-深度语义匹配模型，Long short-term memory deep structured semantic model)等，本申请对此不做限制。

S13，确定所述语义相似度是否大于预设阈值；

在本申请实施例中，所述语义相似度可以采用数值表示，若所述数值越 大，则所述变异文本与所述原始文本之间的相似度越高，若所述数值越低， 所述原始文本与所述变异文本之间的相似度越低。

在本申请实施例中，在所述语义相似度大于预设的阈值的情况下，可以 认为语义匹配模型判断所述原始文本以及所述变异文本所表达的语义在一 定程度上相似的，则可以认为用户也可以识别所述变异文本所包含的语义， 并可以认为所述变异文本的语义与所述原始文本的语义相似。

在本申请实施例中，所述预设阈值可以根据实际需要进行设置，例如0.7、 0.5、0.3等，本申请对此不做限制。

S14，若所述语义相似度大于预设阈值，将所述变异文本作为目标变异 文本；

在本申请实施例中，若所述语义相似度大于预设阈值，则可以认为所述 变异文本具有与所述原始文本在一定程度上语义相似，则所述变异文本可以 实现将重要词替换为变异词的同时，具有与所述原始文本相似的语义，从而 可以在与原始文本具有相似语义的情况下，一定程度上影响模型的输出结果， 可以具有更强的对模型的攻击能力。由此，若所述语义相似度大于预设阈值， 可以将所述变异文本作为目标变异文本。

在本申请实施例中，若所述语义相似度小于预设阈值，可以认为语义匹 配模型判断所述原始文本与所述变异文本所表达的语义存在比较明显的区 别，则可以认为用户可以较难基于变异文本的语义理解所述原始文本所要表 达的语义。由此，可以抛弃所述变异文本。

在本申请实施例中，在将所述变异文本作为目标变异文本之后，可以继 续替换目标变异文本中未被替换为变异词的重要词，从而可以在目标变异文 本的基础上，得到新的变异文本。若新的变异文本与所述原始文本之间的语 义相似度大于预设阈值，则可以将所述新的变异文本作为新的目标变异文本， 并继续基于新的目标变异文本生成新的变异文本，直至生成的新的变异文本 与原始文本之间的语义相似度小于预设阈值，或者，所述原始文本中的重要 词被全部替换为变异词。从而可以基于所述原始文本，得到多个目标变异文 本。

在本申请的一种实施例中，所述目标变异文本包括第一目标变异文本以 及第二目标变异文本；

在本申请实施例中，所述目标变异文本可以包括第一目标变异文本以及 第二目标变异文本。其中，所述第一目标变异文本可以为具有对抗性的目标 变异文本。所述第二目标变异文本可以为不具有对抗性的目标变异文本。

在本申请实施例中，所述对抗性可以为具有干扰模型的输出结果，使模 型输出错误的结果的性能。例如，一变异文本由作为垃圾信息的原始文本经 过词替换得到，所述变异文本与所述原始文本之间具有相似的语义，然而文 本分类模型将原始文本判断为垃圾信息的同时，将变异文本判断为非垃圾信 息。此时可以认为变异文本对文本分类模型的分类结果产生了干扰，所述文 本分类模型无法正确地判断变异文本的分类，该变异文本具有对抗性。又例 如，一熊猫图片可以被图片分类模型分类为熊猫，其后对该熊猫图片添加图 像噪声后，图片分类模型将添加图像噪声后的熊猫图片分类为长臂猿。此时 可以认为添加图像噪声后的熊猫图片对图片分类模型的分类结果产生的干 扰，所述图片分类模型无法正确地判断添加图像噪声后的熊猫图片的分类， 该添加图像噪声后的熊猫图片具有对抗性。

在本申请实施例，采用具有对抗性的目标变异文本以及原始文本对模型 进行对抗性训练，可以更好地提高模型的处理性能、鲁棒性以及安全性。

由此，可以将所述目标变异文本中查找出具有对抗性的第一目标变异文 本，从而可以根据实际需要，针对性地采用第一目标变异文本对模型进行对 抗性训练。

所述若所述语义相似度大于预设阈值，将所述变异文本作为目标变异文 本的步骤，包括：

S21，若所述语义相似度大于预设阈值，确定将所述变异文本输入预设 的第二文本分类模型，获取所述变异文本对应的变异标签信息；

在本申请实施例中，若所述语义相似度大于预设阈值，则可以认为所述 变异文本具有与所述原始文本在一定程度上语义相似。可以进一步确定所述 变异文本是否具有对抗性。

在本申请实施例中，第二文本分类模型可以是经过训练的文本分类模型， 其可以输出针对文本的标签信息。所述标签信息可以用于指示在于预设的至 少两种分类中，文本所属的分类。例如，第二文本分类模型用于对文本进行 二分类，则所述第二文本分类模型可以针对输入的文本，返回标签信息，所 述标签信息用于指示文本属于第一分类或者第二分类。

在本申请实施例中，若所述语义相似度大于预设阈值，可以将所述便以 文本输入预设的第二文本分类模型，从而可以获取第二文本分类模型输出的 所述变异文本对应的变异标签信息。所述变异标签信息可以用于指示所述变 异文本所属的分类。

S22，确定所述变异文本对应的变异标签信息是否与预设的所述原始文 本对应的原始标签信息相同；

在本申请实施例中，所述原始文本可以具有原始标签信息。所述原始标 签信息可以通过人工标注的方式，为所述原始文本进行分类。所述原始标签 信息可以认为是所述原始文本的正确分类。

在本申请实施例中，所述变异文本基于所述原始文本替换重要词得到， 则所述原始文本与所述变异文本之间可以具有相同的标签信息，即所述原始 标签信息与所述变异标签信息可以相同。

在本申请实施例中，确定所述变异文本对应的变异标签信息是否与预设 的所述原始文本对应的原始标签信息相同，从而可以确定所述变异文本是否 具有对抗性。

S23，若所述变异标签信息与所述原始标签信息相同，将所述变异文本 作为第二目标变异文本；

在本申请实施例中，若所述变异标签信息与所述原始标签信息相同，则 可以认为所述第二文本分类模型正确分类了所述变异文本，所述变异文本不 具有对抗性。从而可以将所述变异文本作为第二目标变异文本。

S24，若所述变异标签信息与所述原始标签信息不同，将所述变异文本 作为第一目标变异文本。

在本申请实施例中，若所述变异文本对应的变异标签信息与所述原始文 本对应的原始标签信息不相同，则可以认为所述第二文本分类模型错误分类 了所述变异文本，所述变异文本具有对抗性。从而可以将所述变异文本作为 第一目标变异文本。

在本申请的一种实施例中，所述方法还包括：

S31，采用所述目标变异文本以及所述原始标签信息，对所述第一文本 分类模型进行训练，得到新的第一文本分类模型。

在本申请实施例中，所述目标变异文本基于所述原始文本替换重要词得 到，则所述目标变异文本与所述原始文本可以具有相同的分类。所述原始文 本的原始标签信息可以为所述原始文本的正确分类，则所述目标变异文本对 应的原始文本的原始标签信息可以用于指示所述目标变异文本的正确分类。

在本申请实施例中，在获取目标变异文本之后，可以采用所述目标变异 文本，以及所述目标变异文本对应的原始文本的原始标签信息，对所述第一 文本分类模型进行训练。从而所述第一文本分类模型可以采用更多的数据进 行训练，可以进一步提高所述第一文本分类模型的准确性。

在本申请实施例中，采用具有对抗性的所述第一目标变异文本以及所述 第一目标变异文本对应的原始文本的原始标签信息，对所述第一文本分类模 型进行训练，可以更好地提高所述第一文本分类模型的准确性、鲁棒性以及 安全性。

在本申请实施例中，还可以采用所述第一目标变异文本以及所述第一目 标变异文本对应的原始文本的原始标签信息，对所述第二文本分类模型进行 对抗性训练，以提高第二文本分类模型的准确性、鲁棒性以及安全性。

在本申请的一种实施例中，所述方法还包括：

S41，将所述第一目标变异文本中的至少一个变异词替换为所述变异词 对应的重要词，得到第二替换文本；

在本申请实施例中，在所述变异文本中只有少量的重要词被替换，即具 有对抗性的情况下，则该变异文本在与所述原始文本具有较高语义相似度的 情况下，成功地影响模型的输出结果，可以认为该变异文本具有更好的对抗 性。采用具有更好的对抗性的变异文本对模型进行对抗性训练，可以更好地 提高模型的准确性、鲁棒性以及安全性。

在本申请实施例中，可以采用所述第一目标变异文本，将所述第一目标 变异文本的部分变异词还原为重要词，并保持还原后的文本的对抗性，从而 可以得到对抗性更好的变异文本。

在本申请实施例中，可以将所述第一目标变异文本中的至少一个变异词 替换为所述变异词对应的重要词，从而可以得到至少一个第二替换文本。

S42，将所述第二替换文本输入预设的第二文本分类模型，获取所述第 二替换文本对应的替换标签信息；

在本申请实施例中，可以将所述第二替换文本输入预设的第二文本分类 模型，获取第二替换文本对应的替换标签信息。所述替换标签信息可以用于 指示所述第二替换文本所属的分类。

S43，在所述第二替换文本中，查找所述第二替换文本对应的替换标签 信息与所述原始文本对应的原始标签信息不同的目标第二替换文本；

在本申请实施例中，若所述替换标签信息与所述第二替换文本对应的原 始文本的原始标签信息不同，可以认为所述第二替换文本还保持有对抗性。 由此，可以在所述至少一个第二替换文本中，查找所述第二替换文本对应的 替换标签信息与所述原始文本对应的原始标签信息不同的至少一个目标第 二替换文本。

S44，获取所述目标第二替换文本与所述原始文本之间的语义相似度；

在本申请实施例中，若所述目标第二替换文本与所述原始文本之间具有 比较高的语义相似度，可以认为所述目标第二替换文本可以与所述原始文本 具有较高语义相似度的情况下，成功地影响第二文本分类模型的输出结果， 可以认为所述目标第二替换文本具有更好的对抗性。

在本申请实施例中，可以计算所述目标第二替换文本与所述原始文本之 间语义相似度。作为本申请的一种可选的实施方式，可以采用经过训练的语 义匹配模型，确定所述目标第二替换文本与所述原始文本之间的语义相似度。 作为本申请的一种具体示例，所述语义匹配模型可以包括DSSM模型、CLSM 模型、LSTM-DSSM模型等，本申请对此不做限制。

S45，查找所述语义相似度最大的目标第二替换文本，作为第三目标变 异文本。

在本申请实施例中，在所述至少一个目标第二替换文本中，与所述原始 文本之间的语义相似度最大的目标第二替换文本，可以认为其在所述目标第 二替换文本中与所述原始文本最相似，且成功地影响第二文本分类模型的输 出结果。可以认为在所述至少一个目标第二替换文本中，所述语义相似度最 大的目标第二替换文本具有最好的对抗性，并可以将所述语义相似度最大的 目标第二替换文本，作为第三目标变异文本。

在本申请实施例中，采用所述第三目标变异文本以及所述第三目标变异 文本对应的原始文本的原始标签信息对模型进行训练，可以更好地提高模型 的准确性、鲁棒性以及安全性。

在本申请一种实施例中，所述方法还包括：

S51，将预设的训练文本输入预设的第二文本分类模型中，获取所述训 练文本对应的硬标签信息；

在本申请实施例中，所述第二文本分类模型可以是模型复杂度较高的文 本分类模型，其在运行时，可以需要较多的硬件资源。所述第二文本分类模 型可以对文本进行分类，输出针对文本的硬标签信息。所述硬标签信息可以 用于指示所述文本所属的分类。具体地，可以预设至少两种硬标签信息，所 述第二文本分类模型可以将文本分为所述至少两种硬标签信息中的一种。例 如，所述第二文本分类模型预设有两种硬标签信息，则所述第二文本分类模 型可以针对所述输入的文本，将文本分为两种硬标签信息中的一种，从而实 现对文本的分类。

在本申请实施例中，所述训练文本可以为用于训练所述第一文本分类模 型所使用的文本。所述训练文本可以通过网络自动抓取、人工抓取、人工编 写等方式，生成与针对所述第一文本分类模型以及所述第二文本分类模型的 用途存在关联的文本，本申请对此不做限制。

具体地，在通过网络自动抓取或人工抓取的情况下，所述训练文本可以 从一段文本中提取得到，也可以将图片、音频、视频转换为文本后提取得到。 例如，可以对图片进行文本识别，从而提取图片中可能存在的文本；可以对 音频进行语音识别，从而提取语音中可能存在的文本；可以将视频分离为视 频部分以及音频部分，对视频部分中的每一帧图像进行文本识别，对音频部 分进行语音识别，从而提取视频中可能存在的文本。

作为本申请的一种示例，在所述第一文本分类模型以及所述第二文本分 类模型用于对垃圾信息进行识别分类的情况下，所述训练文本可以包括垃圾 信息以及非垃圾信息。

作为本申请的一种示例，在所述第一文本分类模型以及所述第二文本分 类模型用于对用户在网络平台发表的文本进行情感分析的情况下，所述训练 文本可以包括开心、愤怒、悲伤、惊讶等多种情感的文本。

在本申请实施例中，为了提高第二文本分类模型、翻译模型等需要文本 进行如分类、翻译等处理的模型的准确性，需要大量获取变异文本，对模型 进行训练。特别是需要获取具有对抗性的第一目标变异文本，采用具有对抗 性的第一目标变异文本对模型进行训练，可以更好地提高所述模型的准确性。 由此，可以基于所述第二文本分类模型对文本的分类结果，获取第一目标变 异文本。

然而，所述第二文本分类模型的模型复杂度较高，因此，可以认为所述 第二文本分类模型为黑盒模型。对于黑盒模型来说，虽然其一般可以具有更 高的准确性，但是其可以不具有可解释性，模型的结构以及参数信息是不可 知的，模型的决策置信度是不可知的，用户难以理解模型内部的工作原理。 由此，用户难以得知第二文本分类模型是如何处理输入的文本，除了第二文 本输出的硬标签信息是否出现变化以外，用户无法得知变异文本对第二文本 分类模型的影响，导致用户较难采用第二文本分类模型生成变异文本。

并且，由于所述第二文本分类模型在运行时可以占用较多的系统资源， 大量地输入文本以查找可以对第二文本分类模型输出结果产生影响的变异 文本，可以消耗较多的系统资源，且生成效率较低。进一步地，若所述第二 文本分类模型已经在实际场景中应用，如额外为第二文本分类模型分配生成 变异文本的任务，可以影响第二文本分类模型在实际场景中的应用效率，且 变异文本的生成效率较低。

在本申请实施例中，为了高效地获取变异文本，可以基于所述第二文本 分类模型，生成第一文本分类模型。所述第一文本分类模型相对于第二文本 分类模型，可以具有更小的体积，运行可以消耗更少的硬件资源。且第一文 本分类模型可以专用于变异文本的生成，从而可以提高变异文本的生成效率。

在本申请实施例中，为了使第一文本分类模型可以接近所述第二文本分 类模型的文本分类能力，可以采用第二文本分类模型的输出结果，对待训练 的第一文本分类模型进行训练。由此，可以将预设的训练文本输入第二文本 分类模型中，并获取所述训练文本对应的硬标签信息。

S52，对所述硬标签信息进行标签平滑处理，获取所述训练文本对应的 软标签信息；

在本申请实施例中，由于所述第二文本分类模型输出的是硬标签信息。 硬标签信息对文本的分类可以是单一的，文本属于至少两种预设分类中的一 种，而没有文本属于一种分类的概率信息。例如，在所述第二文本分类模型 进行二分类的情况下，所述硬标签信息可以为0或1，而不存在0～1之间可 以表示概率的数值。

在本申请实施例中，为了提高第一文本分类模型的泛化能力以及学习速 度，并且避免第一文本分类模型过拟合。可以对所述硬标签信息进行标签平 滑处理，获取所述训练文本对应的软标签信息。所述软标签信息可以为对所 述硬标签信息进行加权平均处理后得到标签信息。

在具体实现中，所述软标签信息可以采用如下公式计算：

其中，i为所述第二文本分类模型的预设分类，为所述第二文本分类 模型的硬标签信息，ε为预设的超参数，用于表示标签平滑值，K为总的类别 数，T为预设的温度超参数，用于控制标签平滑效果。

通过对所述硬标签信息进行加权平均处理，得到所述软标签信息，所述 软标签信息相对于所述硬标签信息，允许模型的输出结果存在少量错误，即 超参数ε，减少了可能存在的错误的标签信息对模型的影响，从而可以进一 步提高模型的准确性，并且可以提高第一文本分类模型的泛化能力以及学习 速度，并且避免第一文本分类模型过拟合。

S53，采用所述训练文本、预设的所述训练文本对应的训练标签信息、以 及所述软标签信息，对预设的待训练第一文本分类模型进行训练，得到第一 文本分类模型。

在本申请实施例中，训练标签信息可以为通过人工标注对所述训练文本 标注的分类。可以认为所述训练标签信息为所述训练文本的正确的分类。

在本申请实施例中，采用所述第二文本分类模型输出的硬标签信息得到 软标签信息，并采用所述训练文本、预设的所述训练文本对应的训练标签信 息、以及所述软标签信息，对预设的待训练第一文本分类模型进行训练，得 到所述第一文本分类模型。所述第一文本分类模型可以学习所述第二文本分 类模型的经验，从而可以得到接近所述第二文本分类模型，且体积更小、运 行消耗的硬件资源更少的第一文本分类模型。可以将所述第一文本分类模型 专用于变异文本的生成，进一步提高变异文本的生成效率。

在本申请的一种实施例中，所述采用所述训练文本、预设的所述训练文 本对应的训练标签信息、以及所述软标签信息，对预设的待训练第一文本分 类模型进行训练，得到第一文本分类模型的步骤包括：

S61，采用预设的词向量转换模型，将所述训练文本转换为训练词向量 序列；

在本申请实施例中，可以采用预设的词向量转换模型，将所述训练文本 中的每个字转换成对应的词向量，并将所述训练文本中每个字的词向量归为 序列，得到所述训练文本对应的训练词向量序列。

在本申请实施例中，所述训练文本的长度可以统一为预设长度，对于长 度小于预设长度的训练文本，可以采用填充字符将所述训练文本补充至预设 长度。所述填充字符可以由所述第一文本分类模型预先规定。对于长度大于 预设长度的训练文本，则将所述训练文本截断至预设长度。

作为本申请的一种可选的实施例方式，所述词向量转换模型可以为 Word2Vec模型、GloVe(Global vectors for word representation，全局向量的 词嵌入)模型、BERT(Bidirectional Encoder Representation from Transformers， 基于Transformer的双向编码语言表征)模型等，本申请对此不做限制。

S62，将所述训练词向量序列输入预设的待训练第一文本分类模型，获 取所述待训练第一文本分类模型输出的所述训练词向量序列对应的类别概 率；

在本申请实施例中，可以将所述训练词向量序列输入预设的待训练第一 文本分类模型，获取所述待训练第一文本分类模型输出的所述训练词向量序 列对应的类别概率。

在具体实现中，可以将Bi-LSTM(Bidirectional Long Short-Term Memory， 双向长短记忆神经网络)模型作为所述待训练的第一文本分类模型。将所述 训练词向量序列输入预设的待训练第一文本分类模型，所述待训练第一文本 分类模型可以学习所述训练文本的前向状态HL和后向状态HR。

其中，可以对前向状态HL和后向状态HR进行求和，得到所述训练文本对 应的特征向量将特征向量H输入所述第一文本分类模型的输 出层，通过Softmax函数计算得到针对所述训练文本，第i类对应的类别概率 pi＝softmax(fi(x))。

在本申请实施例中，所述第一文本分类模型还可以为TextCNN (Convolutional Neural Networks for Sentence Classification，基于卷积神经网 络的文本分类)模型、LSTM模型等其他深度神经网络模型，本申请对此不 做限制。

S63，采用所述类别概率、预设的所述训练文本对应的训练标签信息以 及所述软标签信息，计算联合交叉熵损失函数；

在本申请实施例中，训练标签信息可以为通过人工标注对所述训练文本 标注的分类。可以认为所述训练标签信息为所述训练文本的正确的分类。

在本申请实施例中，可以采用所述类别概率、预设的所述训练文本对应 的训练标签信息以及所述软标签信息，计算联合交叉熵损失函数，以基于联 合交叉熵损失函数对第一文本分类模型进行迭代优化。

在具体实现中，联合交叉熵损失函数L(x)可以为训练标签信息对应的硬 损失L^(hard)(x)和软标签信息对应的软损失L^(soft)(x)的加权求和。

具体地，可以采用如下公式计算联合交叉熵损失函数L(x)：

L(x)＝αL^(soft)(x)+(1-α)L^(hard)(x)

其中，L^(soft)(x)为软损失，L^(hard)(x)为硬损失，α为预设的平衡超参数， 用于平衡所述软损失以及所述硬损失。

其中，所述硬损失L^(hard)(x)为训练标签信息与类别概率之间的交叉熵损 失，计算方式如下：

其中，i为类别，yi为第i类的指示变量，若类别i与所述训练标签信息的 类别相同则为1，若类别i与所述训练标签信息的类别不相同则为0，pi为第 i类对应的类别概率，K为总的类别数。

其中，软损失L^(soft)(x)为软标签与预测概率之间的交叉熵损失，计算方 式如下：

其中，i为类别，qi为第i类的软标签信息，pi为第i类对应的类别概率， K为总的类别数。

S64，对所述待训练第一文本分类模型进行优化，直至所述联合交叉熵 损失函数达到最小，得到第一文本分类模型。

在本申请实施例中，对所述待训练第一文本分类模型进行优化，直至所 述联合交叉熵损失函数达到最小，得到训练完成的第一文本分类模型。具体 地，可以对所述待训练第一文本分类模型进行迭代训练，每次迭代训练后， 可以计算所述联合交叉熵损失函数，并对模型中的参数进行调整，直至所述 联合交叉熵损失函数停止变化，或者每次迭代的变化缓慢，则可以认为所述 联合交叉熵损失函数达到最小，所述待训练第一文本分类模型已经收敛，得 到训练完成的第一文本分类模型。

在本申请实施例中，采用所述第二文本分类模型输出的硬标签信息得到 软标签信息，并采用所述训练文本、预设的所述训练文本对应的训练标签信 息、以及所述软标签信息，对预设的待训练第一文本分类模型进行训练，并 采用所述类别概率、预设的所述训练文本对应的训练标签信息以及所述软标 签信息，计算联合交叉熵损失函数，得到所述第一文本分类模型。所述第一 文本分类模型可以学习所述第二文本分类模型的经验，从而可以得到接近所 述第二文本分类模型，且体积更小、运行消耗的硬件资源更少的第一文本分 类模型。可以将所述第一文本分类模型专用于变异文本的生成，进一步提高 变异文本的生成效率。

通过本申请实施例中的变异文本的生成方法，在所述原始文本中，去除 所述原始词，得到重要性识别文本；将所述重要性识别文本输入预设的第一 文本分类模型中，获取所述原始词对应的重要性信息；采用所述原始文本的 文本分类信息以及所述重要性信息，确定所述原始文本中的重要词，并将所 述原始文本中的重要词转换为变异词，得到所述原始文本对应的变异文本。 从而基于原始文本即可高效地生成变异文本，且变异文本可以实现一定程度 上具有影响模型的输出结果的效果，符合翻译模型、文本分类模型、文本相 似度模型等模型进行训练、评价安全性、评价抗干扰能力等的需要。

作为本申请的一种具体示例，图3实施例为本申请的第一文本分类模型 的训练方法的流程示意图。本申请可以基于模型复杂度较高、体积较大的第 二文本分类模型301，提取出模型复杂度相对第二文本分类模型301较低， 且体积相对第二文本分类模型301较小的第一文本分类模型304。具体地， 可以将预设的训练文本302输入所述第二文本分类模型301，得到硬标签信 息，其后，可以采用标签平滑将所述硬标签信息处理为软标签信息303。其 后，采用所述训练文本302、预设的所述训练文本302对应的训练标签信息 305、以及所述软标签信息303，对预设的待训练第一文本分类模型304进行 训练，得到第一文本分类模型304。采用第二文本分类模型301输出的软标 签信息303对第一文本分类模型304进行训练，可以使所述第一文本分类模 型304学习所述第二文本分类模型301的经验，使所述第一文本分类模型 304可以接近所述第二文本分类模型301的效果，且所述第一文本分类模型 304的体积更小，运行需要占用的硬件资源更低，可以应用于变异文本的生 成。

作为本申请的一种具体示例，图4为本申请实施例的变异文本的生成方 法的流程示意图。本申请可以将原始文本401输入第一文本分类模型402中， 基于所述第一文本分类模型402的对所述原始文本401的文本分类信息，以 及对所述原始文本401中去除所述原始词得到的重要性识别文本的重要性信 息，确定所述原始文本401中的重要词。其后，可以采用预设的变异词生成 的规则的变异文本生成器403，将所述原始文本401中的至少一个重要词替 换为变异词，从而得到变异文本404。在获取所述变异文本404之后，可以 采用所述变异文本404，以及所述变异文本404对应的原始文本401的原始 标签信息，反向对所述第一文本分类模型402进行训练，得到新的第一文本 分类模型402，从而进一步提高了第一文本分类模型402的准确性。

参照图5，示出了本申请实施例的一种翻译模型的训练方法实施例的步 骤流程图，具体可以包括如下步骤：

步骤501，采用预设的第一文本分类模型，确定预设的原始文本中的重 要词；

在本申请实施例中，所述第一文本分类模型可以用于对文本进行分类， 输出针对文本的文本分类信息。具体地，所述文本分类信息可以为所述文本 属于至少一种分类的概率。

作为本申请的一种示例，在所述第一文本分类模型可以用于确定所述文 本是否属于垃圾信息的情况下，所述第一文本分类模型的输出可以为：属于 垃圾信息的概率为P1，不属于垃圾信息的概率为P2。

在本申请实施例中，所述原始文本可以为初始收集的用于生成变异文本 的，属于规范表达的文本。所述原始文本中可以包含至少一个词。所述原始 文本可以通过网络自动抓取、人工抓取、人工编写等方式生成，本申请对此 不做限制。具体地，在通过网络自动抓取或人工抓取的情况下，所述原始文 本可以从一段文本中提取得到，也可以将图片、音频、视频转换为文本后提 取得到。例如，可以对图片进行文本识别，从而提取图片中可能存在的文本； 可以对音频进行语音识别，从而提取语音中可能存在的文本；可以将视频分 离为视频部分以及音频部分，对视频部分中的每一帧图像进行文本识别，对 音频部分进行语音识别，从而提取视频中可能存在的文本。

作为本申请的一种示例，在所述第一文本分类模型可以用于确定所述文 本是否属于垃圾信息的情况下，所述原始文本可以为垃圾信息。

作为本申请的一种示例，在所述第一文本分类模型可以用于确定所述文 本对应的情感的情况下，所述原始文本可以为用户在网络平台发表的属于规 范表达的文本、出版书籍中包含的文本等。

在本申请实施例中，所述重要词可以为所述原始文本中，可以影响所述 第一文本分类模型对原始文本的分类的词。所述重要词可以为原始文本被所 述第一文本分类模型分至当前分类具有贡献。如采用所述预设的第一文本分 类模型对所述原始文本，以及在所述原始文本中去除所述重要词的文本进行 分类，所述原始文本与在所述原始文本中去除所述重要词的文本之间的分类 结果不同。

在本申请实施例中，由于重要词可以影响所述第一文本分类模型对原始 文本的分类，因此，可以认为将所述重要词替换为其他文本，可以一定程度 上具有影响模型的输出结果的效果。由此，可以采用所述第一文本分类模型， 对所述原始文本进行分类，基于所述原始文本中的词对所述原始文本的分类 的贡献，确定所述原始文本中的重要词。

步骤502，将所述原始文本中的重要词转换为变异词，得到所述原始文 本对应的变异文本；

在本申请实施例中，对于不属于规范表达的变异文本来说，用户仍然可 以理解该变异文本传达的信息。这是因为用户在阅读文本时，可以基于词的 发音、形状、语义、上下文等信息，综合地判断文本传达的信息。一般来说， 在变异文本中，不属于规范表达的变异词与规范表达的词之间，可以在发音、 形状、语义等方面中的至少一个方面存在相似之处，从而用户可以理解部分 词被替换为不属于规范表达的变异词的变异文本。

在本申请实施例中，可以将所述原始文本的中的重要词，转换为在词的 发音、形状、语义等方面中至少一个与所述重要词相似的变异词，从而得到 所述原始文本对应的变异文本。

在本申请实施例，可以采用所述原始文本以及所述原始文本对应的变异 文本，对翻译模型、文本分类模型、文本相似度模型等模型进行训练、评价 安全性、评价抗干扰能力等，本申请对此不做限制。

步骤503，采用所述原始文本以及所述原始文本对应的变异文本，对预 设的待训练翻译模型进行训练，得到翻译模型。

在本申请实施例中，所述翻译模型可以用于将部分词经过替换的信息， 翻译为正常的信息，由此，可以将所述原始文本对应的变异文本作为所述翻 译模型的输入，将所述原始文本作为所述翻译模型的输出，采用所述原始文 本以及所述原始文本对应的变异文本，对预设的待训练翻译模型进行训练， 从而得到经过训练的翻译模型。

在本申请实施例中，可以采用经过训练的翻译模型，将部分词经过替换 的信息翻译为正常的信息，其后，可以采用文本分类模型，对所述文本进行 分类，从而可以实现对变异文本的准确分类。

作为申请的一种具体示例，图6为本申请实施例的一种翻译模型的训练 方法的流程示意图。本申请将原始文本602输入第一文本分类模型601中， 确定所述原始文本602的重要词，其后可以采用预设的变异词生成的规则的 变异文本603生成器，将所述原始文本602中的至少一个重要词替换为变异 词，从而得到所述原始文本602对应的变异文本603。其后，可以采用所述 原始文本602以及所述原始文本602对应的变异文本603，对预设的待训练 翻译模型604进行训练，得到翻译模型604。

通过本申请实施例中的翻译模型的训练方法，采用第一文本分类模型， 确定所述原始文本中的重要词，并将所述原始文本中的重要词转换为变异词， 得到所述原始文本对应的变异文本。从而基于原始文本即可高效地生成变异 文本。采用所述原始文本以及所述原始文本对应的变异文本，对预设的待训 练翻译模型进行训练，得到翻译模型，从而可以实现采用所述翻译模型，将 所述变异文本转换为正常文本，便于采用文本分类模型，对所述文本进行分 类，从而可以实现对变异文本的准确分类。

参照图7，示出了本申请实施例的另一种翻译模型的训练方法实施例的 步骤流程图，具体可以包括如下步骤：

步骤701，采用预设的第一文本分类模型，确定预设的原始文本中的重 要词；

在本申请实施例中，所述第一文本分类模型可以用于对文本进行分类， 输出针对文本的文本分类信息。具体地，所述文本分类信息可以为所述文本 属于至少一种分类的概率。

在本申请实施例中，所述原始文本可以为初始收集的用于生成变异文本 的，属于规范表达的文本。所述原始文本中可以包含至少一个词。所述原始 文本可以通过网络自动抓取、人工抓取、人工编写等方式生成，本申请对此 不做限制。具体地，在通过网络自动抓取或人工抓取的情况下，所述原始文 本可以从一段文本中提取得到，也可以将图片、音频、视频转换为文本后提 取得到。例如，可以对图片进行文本识别，从而提取图片中可能存在的文本； 可以对音频进行语音识别，从而提取语音中可能存在的文本；可以将视频分 离为视频部分以及音频部分，对视频部分中的每一帧图像进行文本识别，对 音频部分进行语音识别，从而提取视频中可能存在的文本。

在本申请实施例中，所述重要词可以为所述原始文本中，可以影响所述 第一文本分类模型对原始文本的分类的词。所述重要词可以为原始文本被所 述第一文本分类模型分至当前分类具有贡献。如采用所述预设的第一文本分 类模型对所述原始文本，以及在所述原始文本中去除所述重要词的文本进行 分类，所述原始文本与在所述原始文本中去除所述重要词的文本之间的分类 结果不同。

在本申请实施例中，由于重要词可以影响所述第一文本分类模型对原始 文本的分类，因此，可以认为将所述重要词替换为其他文本，可以一定程度 上具有影响模型的输出结果的效果。由此，可以采用所述第一文本分类模型， 对所述原始文本进行分类，基于所述原始文本中的词对所述原始文本的分类 的贡献，确定所述原始文本中的重要词。

所述采用预设的第一文本分类模型，确定预设的原始文本中的重要词的 步骤，包括：

S71，将预设的原始文本输入预设的第一文本分类模型中，获取所述原 始文本的文本分类信息；所述原始文本包括至少一个原始词；

在本申请实施例中，在本申请实施例中，所述原始文本中可以包含至少 一个原始词。在所述原始文本中天然存在词语分隔的情况下，可以基于文本 中的空格，确定所述原始文本中包含的至少一个原始词，例如，英文、法语、 德语等语种。在所述原始文本中不存在词语分隔的情况下，可以对所述原始 文本进行分词处理，确定所述原始文本中包含的至少一个原始词，例如，中 文、日语、韩语等语种。具体地，可以采用词典分词算法、基于统计的机器 学习算法等方式，对所述原始文本进行分词处理，本申请对此不做限制。

在本申请实施例中，所述第一文本分类模型可以用于对文本进行分类， 输出针对文本的文本分类信息。具体地，所述文本分类信息可以为所述文本 属于至少一种分类的概率。

在本申请实施例中，可以将原始文本输入第一文本分类模型中，获取所 述原始文本的文本分类信息。所述文本分类信息可以为所述第一文本分类模 型的针对所述原始文本的输出结果。

S72，在所述原始文本中，去除所述原始词，得到重要性识别文本；

在本申请实施例中，在所述原始词对原始文本的文本分类信息具有影响 的情况下，可以认为，如果在原始文本中去除该原始词，可以导致所述文本 分类信息出现变化。由此，对于每一所述原始词，在所述原始文本中，可以 去除所述原始词，得到重要性识别文本。从而可以得到每一所述原始词对应 的重要性识别文本。

S73，将所述重要性识别文本输入预设的第一文本分类模型中，获取所 述原始词对应的重要性信息；

在本申请实施例中，在本申请实施例中，可以将每一所述原始词的重要 性识别文本输入预设的第一文本分类模型中，获取每一所述原始词对应的重 要性信息。所述重要性信息可以为所述第一文本分类模型的针对所述重要性 文本的输出结果。所述重要性信息可以为所述重要性文本属于至少一种分类 的概率。

S74，采用所述原始文本的文本分类信息以及所述重要性信息，确定所 述原始文本中的重要词。

在本申请实施例中，可以确定所述原始文本的文本分类信息与所述重要 性信息是否存在偏差。若所述原始文本的文本分类信息与所述重要性信息存 在偏差，可以确定所述重要性信息对应的原始词对所述原始文本的文本分类 信息存在正面影响或负面影响，并将对所述原始文本的文本分类信息存在正 面影响的原始词作为重要词。

步骤702，将所述原始文本中的重要词转换为变异词，得到所述原始文 本对应的变异文本；

在本申请实施例中，对于不属于规范表达的变异文本来说，用户仍然可 以理解该变异文本传达的信息。这是因为用户在阅读文本时，可以基于词的 发音、形状、语义、上下文等信息，综合地判断文本传达的信息。一般来说， 在变异文本中，不属于规范表达的变异词与规范表达的词之间，可以在发音、 形状、语义等方面中的至少一个方面存在相似之处，从而用户可以理解部分 词被替换为不属于规范表达的变异词的变异文本。

在本申请实施例中，可以将所述原始文本的中的重要词，转换为在词的 发音、形状、语义等方面中至少一个与所述重要词相似的变异词，从而得到 所述原始文本对应的变异文本。

在本申请实施例，可以采用所述原始文本以及所述原始文本对应的变异 文本，对翻译模型、文本分类模型、文本相似度模型等模型进行训练、评价 安全性、评价抗干扰能力等，本申请对此不做限制。

在本申请的一种实施例中，所述将所述原始文本中的重要词转换为变异 词，得到所述原始文本对应的变异文本的步骤，包括：

S81，采用预设的变异词转换规则，将所述原始文本中的至少一个重要 词，转换为变异词，得到所述原始文本对应的变异文本；

在本申请的一种实施例中，所述变异词转换规则包括音标转换规则、音 近转换规则、形近转换规则、同义转换规则中的至少一种。

在本申请实施例中，所述音标转换规则可以用于将词中的至少一个字， 转换为所述字对应的音标。所述音近转换规则可以用于将词中的至少一个字， 转换为与所述字在发音上相近的至少一个其他字。所述形近转换规则可以用 于将词中的至少一个字，转换为与所述字在形状上相近的至少一个其他字。 所述同义转换规则可以用于将词中的至少一个字，转换为与所述字在语义上 相近的至少一个其他字。在所述词为中文的情况下，所述同义转换规则还可 以用于对词中的至少一个字进行繁体字与简体字之间的相互转换。

在本申请的一种实施例中，所述采用预设的变异词转换规则，将所述原 始文本中的至少一个重要词，转换为变异词，得到所述原始文本对应的变异 文本的步骤，包括：

S811，针对所述原始文本中的一重要词，采用预设的变异词转换规则， 生成所述重要词的变异词集合，所述变异词集合包括至少一个变异词；

在本申请实施例中，针对所述原始文本中的一重要词，可以采用预设的 变异词转换规则，生成所述重要词的变异词集合，所述变异词集合可以包括 至少一个变异词。从而每一重要词可以对应具有至少一个变异词。

S812，采用所述变异词集合中的变异词，替换所述重要词，得到至少一 个第一替换文本；

在本申请实施例中，可以期望所述变异文本与所述原始文本之间的文本 分类信息可以具有比较明显的区别，从而实现一定程度上具有影响模型的输 出结果的效果。由此，对于所述重要词，可以采用所述变异词集合中的变异 词，依次替换所述重要词，从而可以得到至少一个替换文本。

S813，采用所述第一文本分类模型，获取所述原始文本、以及所述第一 替换文本的文本分类信息；

在本申请实施例中，可以采用所述第一文本分类模型，获取所述原始文 本，以及所述第一替换文本的文本分类信息，从而可以确定所述第一替换文 本的文本分类信息与所述原始文本的文本分类信息之间的差别。

S814，在所述第一替换文本中，查找所述第一替换文本的文本分类信息 与所述原始文本的文本分类信息相差最大的目标第一替换文本；

在本申请实施例中，所述文本分类信息可以为一概率数值。可以依次获 取所述原始文本的文本分类信息与每一所述第一替换文本的文本分类信息 之间的差值，并在该差值中查找一数值最大的差值，该数值最大的差值对应 的第一替换文本，可以为所述第一替换文本的文本分类信息与所述原始文本 的文本分类信息相差最大的目标第一替换文本。可以认为所述目标第一替换 文本与原始文本之间文本分类信息具有比较明显的区别，从而实现一定程度 上具有影响模型的输出结果的效果。

S815，将所述目标第一替换文本对应的变异词，作为目标变异词；

在本申请实施例中，在确定所述目标第一替换文本之后，可以将所述第 一替换文本对应的变异词，作为目标变异词。从而所述原始文本中的每一所 述重要词，可以对应有所述目标变异词。

S816，将所述原始文本中的重要词，转换为所述重要词对应的目标变异 词，得到所述原始文本对应的变异文本。

在本申请实施例中，可以将所述原始文本中的至少一个重要词，转换为 所述重要词对应的目标变异词，得到所述原始文本对应的变异文本。采用包 含所述目标变异词的变异文本，原始文本的文本分类信息与变异文本的分类 信息之间具有比较明显的差异。从而可以进一步影响模型的输出结果。

在本申请实施例中，可以在需要替换原始文本中的至少两个重要词的情 况下，可以先将原始文本中一重要词替换为目标变异词，得到变异文本。其 后，可以在得到的变异文本中，选取其中未被替换的重要词替换为目标变异 词，得到新的变异文本，直至生成的变异文本符合用户需要。

S82，获取所述变异文本与所述原始文本之间语义相似度；

在本申请实施例中，所述语义相似度可以用于表示文本所包含的含义之 间的相似度。作为本申请的一种可选的实施方式，可以采用经过训练的语义 匹配模型，确定所述变异文本与所述原始文本之间的语义相似度。

S83，确定所述语义相似度是否大于预设阈值；

在本申请实施例中，所述语义相似度可以采用数值表示，若所述数值越 大，则所述变异文本与所述原始文本之间的相似度越高，若所述数值越低， 所述原始文本与所述变异文本之间的相似度越低。

在本申请实施例中，在所述语义相似度大于预设的阈值的情况下，可以 认为语义匹配模型判断所述原始文本以及所述变异文本所表达的语义在一 定程度上相似的，则可以认为用户也可以识别所述变异文本所包含的语义， 并可以认为所述变异文本的语义与所述原始文本的语义相似。

在本申请实施例中，所述预设阈值可以根据实际需要进行设置，例如0.7、 0.5、0.3等，本申请对此不做限制。

S84，若所述语义相似度大于预设阈值，将所述变异文本作为目标变异 文本。

在本申请实施例中，若所述语义相似度大于预设阈值，则所述变异文本 可以实现将重要词替换为变异词的同时，具有与所述原始文本相似的语义， 从而可以在与原始文本具有相似语义的情况下，一定程度上影响模型的输出 结果，可以具有更强的对模型的攻击能力。由此，若所述语义相似度大于预 设阈值，可以将所述变异文本作为目标变异文本。

在本申请的一种实施例中，所述目标变异文本包括第一目标变异文本以 及第二目标变异文本；

在本申请实施例中，所述目标变异文本可以包括第一目标变异文本以及 第二目标变异文本。其中，所述第一目标变异文本可以为具有对抗性的目标 变异文本。所述第二目标变异文本可以为不具有对抗性的目标变异文本。

所述若所述语义相似度大于预设阈值，将所述变异文本作为目标变异文 本的步骤，包括：

S91，若所述语义相似度大于预设阈值，确定将所述变异文本输入预设 的第二文本分类模型，获取所述变异文本对应的变异标签信息；

在本申请实施例中，若所述语义相似度大于预设阈值，则可以认为所述 变异文本具有与所述原始文本在一定程度上语义相似。可以进一步确定所述 变异文本是否具有对抗性。

在本申请实施例中，第二文本分类模型可以是经过训练的文本分类模型， 其可以输出针对文本的标签信息。所述标签信息可以用于指示在于预设的至 少两种分类中，文本所属的分类。

在本申请实施例中，若所述语义相似度大于预设阈值，可以将所述便以 文本输入预设的第二文本分类模型，从而可以获取第二文本分类模型输出的 所述变异文本对应的变异标签信息。所述变异标签信息可以用于指示所述变 异文本所属的分类。

S92，确定所述变异文本对应的变异标签信息是否与预设的所述原始文 本对应的原始标签信息相同；

在本申请实施例中，所述原始文本可以具有原始标签信息。所述原始标 签信息可以通过人工标注的方式，为所述原始文本进行分类。所述原始标签 信息可以认为是所述原始文本的正确分类。

在本申请实施例中，确定所述变异文本对应的变异标签信息是否与预设 的所述原始文本对应的原始标签信息相同，从而可以确定所述变异文本是否 具有对抗性。

S93，若所述变异标签信息与所述原始标签信息相同，将所述变异文本 作为第二目标变异文本；

在本申请实施例中，若所述变异标签信息与所述原始标签信息相同，则 可以认为所述第二文本分类模型正确分类了所述变异文本，所述变异文本不 具有对抗性。从而可以将所述变异文本作为第二目标变异文本。

S94，若所述变异标签信息与所述原始标签信息不同，将所述变异文本 作为第一目标变异文本。

在本申请实施例中，若所述变异文本对应的变异标签信息与所述原始文 本对应的原始标签信息不相同，则可以认为所述第二文本分类模型错误分类 了所述变异文本，所述变异文本具有对抗性。从而可以将所述变异文本作为 第一目标变异文本。

在本申请的一种实施例中，所述方法还包括：

S101，采用所述目标变异文本以及所述原始标签信息，对所述第一文本 分类模型进行训练，得到新的第一文本分类模型。

在本申请实施例中，所述目标变异文本基于所述原始文本替换重要词得 到，则所述目标变异文本与所述原始文本可以具有相同的分类。所述原始文 本的原始标签信息可以为所述原始文本的正确分类，则所述目标变异文本对 应的原始文本的原始标签信息可以用于指示所述目标变异文本的正确分类。

在本申请实施例中，在获取目标变异文本之后，可以采用所述目标变异 文本，以及所述目标变异文本对应的原始文本的原始标签信息，对所述第一 文本分类模型进行训练。从而所述第一文本分类模型可以采用更多的数据进 行训练，可以进一步提高所述第一文本分类模型的准确性。

在本申请实施例中，采用具有对抗性的所述第一目标变异文本以及所述 第一目标变异文本对应的原始文本的原始标签信息，对所述第一文本分类模 型进行训练，可以更好地提高所述第一文本分类模型的准确性、鲁棒性以及 安全性。

在本申请的一种实施例中，所述方法还包括：

S111，将所述第一目标变异文本中的至少一个变异词替换为所述变异词 对应的重要词，得到第二替换文本；

在本申请实施例中，在所述变异文本中只有少量的重要词被替换，即具 有对抗性的情况下，则该变异文本在与所述原始文本具有较高语义相似度的 情况下，成功地影响模型的输出结果，可以认为该变异文本具有更好的对抗 性。采用具有更好的对抗性的变异文本对模型进行对抗性训练，可以更好地 提高模型的准确性、鲁棒性以及安全性。

在本申请实施例中，可以采用所述第一目标变异文本，将所述第一目标 变异文本的部分变异词还原为重要词，并保持还原后的文本的对抗性，从而 可以得到对抗性更好的变异文本。

在本申请实施例中，可以将所述第一目标变异文本中的至少一个变异词 替换为所述变异词对应的重要词，从而可以得到至少一个第二替换文本。

S112，将所述第二替换文本输入预设的第二文本分类模型，获取所述第 二替换文本对应的替换标签信息；

在本申请实施例中，可以将所述第二替换文本输入预设的第二文本分类 模型，获取第二替换文本对应的替换标签信息。所述替换标签信息可以用于 指示所述第二替换文本所属的分类。

S113，在所述第二替换文本中，查找所述第二替换文本对应的替换标签 信息与所述原始文本对应的原始标签信息不同的目标第二替换文本；

在本申请实施例中，若所述替换标签信息与所述第二替换文本对应的原 始文本的原始标签信息不同，可以认为所述第二替换文本还保持有对抗性。 由此，可以在所述至少一个第二替换文本中，查找所述第二替换文本对应的 替换标签信息与所述原始文本对应的原始标签信息不同的至少一个目标第 二替换文本。

S114，获取所述目标第二替换文本与所述原始文本之间的语义相似度；

在本申请实施例中，可以计算所述目标第二替换文本与所述原始文本之 间语义相似度。若所述目标第二替换文本与所述原始文本之间具有比较高的 语义相似度，可以认为所述目标第二替换文本可以与所述原始文本具有较高 语义相似度的情况下，成功地影响第二文本分类模型的输出结果，可以认为 所述目标第二替换文本具有更好的对抗性。

S115，查找所述语义相似度最大的目标第二替换文本，作为第三目标变 异文本。

在本申请实施例中，在所述至少一个目标第二替换文本中，与所述原始 文本之间的语义相似度最大的目标第二替换文本，可以认为其在所述目标第 二替换文本中与所述原始文本最相似，且成功地影响第二文本分类模型的输 出结果。可以认为在所述至少一个目标第二替换文本中，所述语义相似度最 大的目标第二替换文本具有最好的对抗性，并可以将所述语义相似度最大的 目标第二替换文本，作为第三目标变异文本。

在本申请实施例中，采用所述第三目标变异文本以及所述第三目标变异 文本对应的原始文本的原始标签信息对模型进行训练，可以更好地提高模型 的准确性、鲁棒性以及安全性。

在本申请的一种实施例中，所述方法还包括：

S121，将预设的训练文本输入预设的第二文本分类模型中，获取所述训 练文本对应的硬标签信息；

在本申请实施例中，所述第二文本分类模型可以是模型复杂度较高的文 本分类模型，其在运行时，可以需要较多的硬件资源。所述第二文本分类模 型可以对文本进行分类，输出针对文本的硬标签信息。所述硬标签信息可以 用于指示所述文本所属的分类。具体地，可以预设至少两种硬标签信息，所 述第二文本分类模型可以将文本分为所述至少两种硬标签信息中的一种。

在本申请实施例中，所述训练文本可以为用于训练所述第一文本分类模 型所使用的文本。所述训练文本可以通过网络自动抓取、人工抓取、人工编 写等方式，生成与针对所述第一文本分类模型以及所述第二文本分类模型的 用途存在关联的文本，本申请对此不做限制。

具体地，在通过网络自动抓取或人工抓取的情况下，所述训练文本可以 从一段文本中提取得到，也可以将图片、音频、视频转换为文本后提取得到。 例如，可以对图片进行文本识别，从而提取图片中可能存在的文本；可以对 音频进行语音识别，从而提取语音中可能存在的文本；可以将视频分离为视 频部分以及音频部分，对视频部分中的每一帧图像进行文本识别，对音频部 分进行语音识别，从而提取视频中可能存在的文本。

在本申请实施例中，为了使第一文本分类模型可以接近所述第二文本分 类模型的文本分类能力，可以采用第二文本分类模型的输出结果，对待训练 的第一文本分类模型进行训练。由此，可以将预设的训练文本输入第二文本 分类模型中，并获取所述训练文本对应的硬标签信息。

S122，对所述硬标签信息进行标签平滑处理，获取所述训练文本对应的 软标签信息；

在本申请实施例中，为了提高第一文本分类模型的泛化能力以及学习速 度，并且避免第一文本分类模型过拟合。可以对所述硬标签信息进行标签平 滑处理，获取所述训练文本对应的软标签信息。所述软标签信息可以为对所 述硬标签信息进行加权平均处理后得到标签信息。

S123，采用所述训练文本、预设的所述训练文本对应的训练标签信息、 以及所述软标签信息，对预设的待训练第一文本分类模型进行训练，得到第 一文本分类模型。

在本申请实施例中，训练标签信息可以为通过人工标注对所述训练文本 标注的分类。可以认为所述训练标签信息为所述训练文本的正确的分类。

在本申请实施例中，采用所述第二文本分类模型输出的硬标签信息得到 软标签信息，并采用所述训练文本、预设的所述训练文本对应的训练标签信 息、以及所述软标签信息，对预设的待训练第一文本分类模型进行训练，得 到所述第一文本分类模型。所述第一文本分类模型可以学习所述第二文本分 类模型的经验，从而可以得到接近所述第二文本分类模型，且体积更小、运 行消耗的硬件资源更少的第一文本分类模型。可以将所述第一文本分类模型 专用于变异文本的生成，进一步提高变异文本的生成效率。

在本申请的一种实施例中，所述采用所述训练文本、预设的所述训练文 本对应的训练标签信息、以及所述软标签信息，对预设的待训练第一文本分 类模型进行训练，得到第一文本分类模型的步骤包括：

S131，采用预设的词向量转换模型，将所述训练文本转换为训练词向量 序列；

在本申请实施例中，可以采用预设的词向量转换模型，将所述训练文本 中的每个字转换成对应的词向量，并将所述训练文本中每个字的词向量归为 序列，得到所述训练文本对应的训练词向量序列。

作为本申请的一种可选的实施例方式，所述词向量转换模型可以为 Word2Vec模型、GloVe(Global vectors for word representation，全局向量的 词嵌入)模型、BERT(Bidirectional Encoder Representation from Transformers， 基于Transformer的双向编码语言表征)模型等，本申请对此不做限制。

S132，将所述训练词向量序列输入预设的待训练第一文本分类模型，获 取所述待训练第一文本分类模型输出的所述训练词向量序列对应的类别概 率；

在本申请实施例中，可以将所述训练词向量序列输入预设的待训练第一 文本分类模型，获取所述待训练第一文本分类模型输出的所述训练词向量序 列对应的类别概率。

S133，采用所述类别概率、预设的所述训练文本对应的训练标签信息以 及所述软标签信息，计算联合交叉熵损失函数；

在本申请实施例中，训练标签信息可以为通过人工标注对所述训练文本 标注的分类。可以认为所述训练标签信息为所述训练文本的正确的分类。

在本申请实施例中，可以采用所述类别概率、预设的所述训练文本对应 的训练标签信息以及所述软标签信息，计算联合交叉熵损失函数，以基于联 合交叉熵损失函数对第一文本分类模型进行迭代优化。

S134，对所述待训练第一文本分类模型进行优化，直至所述联合交叉熵 损失函数达到最小，得到第一文本分类模型。

在本申请实施例中，对所述待训练第一文本分类模型进行优化，直至所 述联合交叉熵损失函数达到最小，得到训练完成的第一文本分类模型。具体 地，可以对所述待训练第一文本分类模型进行迭代训练，每次迭代训练后， 可以计算所述联合交叉熵损失函数，并对模型中的参数进行调整，直至所述 联合交叉熵损失函数停止变化，或者每次迭代的变化缓慢，则可以认为所述 联合交叉熵损失函数达到最小，所述待训练第一文本分类模型已经收敛，得 到训练完成的第一文本分类模型。

步骤703，采用预设的词向量转换模型，将所述变异文本转换为第一词 向量序列，将原始文本转换为第二词向量序列；

在本申请实施例中，可以采用所述原始文本以及所述原始文本对应的变 异文本，对所述预设的待训练翻译模型进行训练。具体地，所述待训练翻译 模型可以为编码器—解码器模型，所述待训练模型可以包括编码器以及解码 器。

在具体实现中，所述编码器以及所述解码器可以采用两层的LSTM (Long Short-Term Memory，长短期记忆网络)模型。

在本申请实施例中，可以采用预设的词向量转换模型，将所述变异文本 中的每个字转换成对应的词向量，并将所述变异文本中每个字的词向量归为 序列，得到所述变异文本对应的第一词向量序列。

在本申请实施例中，可以采用预设的词向量转换模型，将所述原始文本 中的每个字转换成对应的词向量，并将所述原始文本中每个字的词向量归为 序列，得到所述原始文本对应的第二词向量序列。

在本申请实施例中，所述变异文本以及所述原始文本的长度可以统一为 预设长度，对于长度小于预设长度的所述变异文本以及所述原始文本，可以 采用填充字符将所述训练文本补充至预设长度。所述填充字符可以由所述翻 译模型预先规定。对于长度大于预设长度的所述变异文本以及所述原始文本， 则将所述训练文本截断至预设长度。

作为本申请的一种可选的实施例方式，所述词向量转换模型可以为 Word2Vec模型、GloVe(Global vectors for word representation，全局向量的 词嵌入)模型、BERT(Bidirectional Encoder Representation from Transformers， 基于Transformer的双向编码语言表征)模型、ELMO(Embedding from Language Models，基于语言模型的词向量)模型等，本申请对此不做限制。

步骤704，将所述第一词向量序列输入所述编码器中，将第二词向量序 列输入解码器中，获取所述解码器输出的输出序列；

在本申请实施例中，可以将所述变异文本的第一词向量序列输入所述编 码器中，并将第二词向量序列输入解码器中，获取所述解码器输出的输出序 列。由此，所述输出序列可以为所述待训练的翻译模型对所述变异文本翻译 后的输出结果，可以基于所述输出序列，对所述待训练的翻译模型进行优化， 最终得到所述翻译模型。

在本申请的一种实施例中，所述将所述第一词向量序列输入所述编码器 中，将第二词向量序列输入解码器中，获取所述解码器输出的输出序列的步 骤，包括：

S141，将所述第一词向量序列输入所述编码器中，获取所述编码器输出 的第一向量；

在本申请实施例中，将所述第一词向量序列输入所述编码器中，所述编 码器可以学习所述每个字的隐状态，从而可以获取所述编码器输出的第一向 量。所述第一向量可以为所述变异文本的特征向量。

在具体实现中，可以将所述变异文本x′的所述第一词向量序列V′＝ {x1,x2,…,xT}输入所述编码器中，所述编码器可以学习每个字对应的隐状态hi， 并最终将所述变异文本x′编码为第一向量c。

其中，对于第t个时刻的编码器对应的隐状态ht，可以采用如下公式表 达：

ht＝f(xt,ht-1)

其中，ht-1为t-1个时刻的编码器对应的隐状态，xt为第t个时刻的词向 量。

可以得到所述变异文本x′对应的第一向量c可以表达为：c＝ {h1,h2,…,hT}。

S142，将所述第二词向量序列输入解码器中，采用上一时刻输入的文字、 解码器的上一时刻的隐状态、以及第二向量，获取所述解码器中当前时刻的 隐状态；所述第二向量采用所述第一向量进行加权处理得到；

在本申请实施例中，可以将所述第二词向量序列输入解码器中，作为所 述解码器的所要学习的已知的输出。所述解码器中当前时刻的隐状态，可以 基于采用上一时刻输入的文字、解码器的上一时刻的隐状态、以及第二向量。 其中，所述第二向量可以由所述翻译模型中的注意力层，对第一向量进行加 权处理得到。

在具体实现中，可以基于强制教学(teacher forcing)，将所述第二词向量 序列在上一时刻的词向量作为所述解码器在当前时刻的输入，以避免误差放 大。

其中，对于第i个时刻解码器对应的隐状态si，可以采用如下公式表达：

si＝f(yi-1,si-1,ci′)

其中，yi-1为第二词向量序列在i-1个时刻的词向量，si-1为i-1时刻 的解码器对应的隐状态，ci′为针对第i个时刻，第一向量c经过注意力层处 理后得到的第二向量。

作为本申请的一种可选的实施方式，具体地，可以采用注意力层，针对 第i个时刻，对所述第一向量c中的每一隐状态ht分配不同的权重，其后对 所述隐状态ht进行加权求和，从而得到所述经过注意力层处理后得到的第二 向量ci′。

S143，采用上一时刻输入的文字、当前时刻的解码器的隐状态、以及第 二向量，确定当前时刻的输出向量；

在本申请实施例中，可以采用上一时刻输入的文字、当前时刻的解码器 的隐状态、以及第二向量，确定当前时刻的输出向量。

在具体实现中，所述解码器可以采用如下公式进行解码，得到第i个时 刻的输出词yi：

p(yi|y1y2…yi-1,x′)＝g(yi-1,si,c′i)

其中，g表示解码函数，，解码器根据条件概率p(yi|y1y2…yi-1,x′)采样 得到第i个时刻的输出向量yi。

S144，将所有时刻的输出向量，作为输出序列。

在本申请实施例中，所述解码器可以针对每一时刻，采用S143步骤， 获取输出向量，从而可以得到所有时刻的输出向量，并将所述输出向量排列 为输出序列。

作为本申请的一种示例，图8可以为本申请实施例的一种翻译模型的结 构示意图。所述编码器以及所述解码器可以采用两层的LSTM(Long Short-Term Memory，长短期记忆网络)模型。变异文本“街边老人微微眯眼” 可以采用预设的词向量转换模型转换为第一词向量序列，输入解码器中，得 到第一向量c，其后，可以将原始文本“街边老人微微咪哏”采用预设的词 向量转换模型转换为第二词向量序列，将所述第二词向量序列作为解码器所 要学习的已知的输出，基于强制教学(teacher forcing)，将所述第二词向量 序列在第i-1个时刻的词向量作为所述解码器在第i个时刻的输入，并将第 一向量c经过注意力层处理，得到针对第i个时刻第二向量ci'，其后解码器 根据解码函数g以及条件概率p(yi|y1y2…yi-1,x')得到第i个时刻的输出向量 yi。解码器可以获取每一时刻的输出向量，从而可以得到一输出序列。

步骤705，采用所述输出序列以及所述第二词向量序列，确定解码损失 函数；

在本申请实施例中，可以采用所述输出序列以及所述第二词向量序列， 确定所述翻译模型的解码损失函数。具体地，所述解码损失函数可以为所述 输出序列与所述原始文本的第二词向量序列之间的负对数似然损失函数。

步骤706，对所述待训练翻译模型进行优化，直至所述解码损失函数达 到最小，得到翻译模型。

在本申请实施例中，可以对所述待训练的翻译模型进行优化，直至所述 解码损失函数达到最小，得到翻译模型。具体地，可以对所述待训练翻译模 型进行迭代训练，每次迭代训练之后，可以计算所述解码损失函数，并对所 述翻译模型中的参数进行调整，直至所述解码损失函数达到停止变化，或者 每次迭代的变化缓慢，则可以认为所述解码损失函数达到最小，所述待训练 的翻译模型已经训练完成，得到翻译模型。

在本申请实施例中，所述翻译模型在采用编码器-解码器模型之外，还可 以采用RNN(Recurrent neural network，循环神经网络)、GRU(Gate Recurrent Unit，门控循环单元)等循环神经网络模型，本申请对此不做限制。

通过本申请实施例的翻译模型的训练方法，采用第一文本分类模型，确 定所述原始文本中的重要词，并将所述原始文本中的重要词转换为变异词， 得到所述原始文本对应的变异文本。从而基于原始文本即可高效地生成变异 文本。采用所述原始文本以及所述原始文本对应的变异文本，对预设的待训 练翻译模型进行训练，得到翻译模型，从而可以实现采用所述翻译模型，将 所述变异文本转换为正常文本，便于采用文本分类模型，对所述文本进行分 类，从而可以实现对变异文本的准确分类。

参照图9，示出了本申请实施例的一种文本分类方法实施例的步骤流程 图，具体可以包括如下步骤：

步骤901，获取待分类文本；

在本申请实施例中，所述待分类文本可以为需要采用文本分类模型进行 分类的文本。所述待分类文本可以包括属于规范表达的正常文本，也可以包 括不属于规范表达的变异文本，本申请对此不做限制。

在本申请实施例中，所述变异文本可以为部分词被替换为在词的发音、 形状、语义等方面与被替换的词相近的变异词的文本。

步骤902，将所述待分类文本输入翻译模型中，获取待分类翻译文本；

在本申请实施例中，所述翻译模型可以用于对文本进行翻译。具体地， 可以将不属于规范表达的变异词转换为该变异词对应的属于规范表达的正 常词，从而将变异文本翻译为正常文本。所述变异词可以在词的发音、形状、 语义等方面中的至少一个方面与所述正常词相近。

在本申请实施例中，可以采用预设的第一文本分类模型，确定预设的原 始文本中的重要词；将所述原始文本中的重要词转换为变异词，得到所述原 始文本对应的变异文本；采用所述原始文本以及所述原始文本对应的变异文 本，对预设的待训练翻译模型进行训练，从而得到所述翻译模型。

其中，所述第一文本分类模型可以用于对文本进行分类，输出针对文本 的文本分类信息。所述原始文本可以为初始收集的用于生成变异文本的文本。

在本申请实施例中，可以将所述待分类文本输入翻译模型中，所述翻译 文本可以将所述待分类文本转换为待分类翻译文本。具体地，若所述待分类 文本为正常文本，则所述翻译模型可以输出与所述待分类文本相同的待分类 翻译文本。若所述待分类文本为部分词被替换为在词的发音、形状、语义等 方面与被替换的词相近的变异词的变异文本，所述翻译模型可以将还原变异 文本中的不规范表达的变异词为规范表达的正常词，获得属于正常文本的待 分类翻译文本。

步骤903，将所述待分类翻译文本输入预设的第三文本分类模型中，获 取所述待分类翻译文本对应的翻译标签信息。

在本申请实施例中，所述第三文本分类模型可以用于对文本进行分类， 输出针对文本的标签信息。所述标签信息可以用于指示在预设的至少两种分 类中，文本所属的分类。

在本申请实施例中，可以将所述待分类翻译文本输入预设的第三文本分 类模型中，获取所述待分类翻译文本对应的翻译标签信息。所述翻译标签信 息可以用于指示所述待分类翻译文本在预设的至少两种分类中，所述待分类 翻译文本所属的分类。从而可以确定所述待分类文本所述的分类。

作为本申请的一种示例，图10为本申请实施例的一种文本分类方法的 流程示意图。可以获取待分类文本1001，将待分类文本1001输入翻译模型 1002中，所述翻译模型1002可以将所述待分类文本1001中可能存在的变 异词转换为正常词，得到正常文本的待分类翻译文本1003。其后，可以将所 述待分类翻译文本1003输入预设的第三文本分类模型1004中，所述第三文 本分类模型1004可以输出所述待分类翻译文本1003对应的翻译标签信息 1005。所述翻译标签信息1005可以用于指示所述待分类翻译文本1003在预 设的至少两种分类中，所述待分类翻译文本1003所属的分类。从而可以确 定所述待分类文本1001所述的分类。

作为本申请的一种示例，所述文本分类方法可以用于垃圾信息的识别中。 所述待分类文本可以为需要确定是否为垃圾信息的文本。垃圾信息可以为了 避免被第三文本分类模型识别为垃圾信息，将文本中的部分词替换为在词的 发音、形状、语义等方面中的至少一个方面规范表达的正常词相近的变异词。 由此，所述待分类文本中可以存在部分词替换为在词的发音、形状、语义等 方面相近的变异词的文本。所述翻译模型可以将所述待分类文本中可能存在 的变异词转换为正常词，从而可以获取属于正常文本的待分类翻译文本，将 所述待分类翻译文本输入预设的第三文本分类模型中，可以获取所述待分类 翻译文本对应的翻译标签信息。所述翻译标签信息可以用于指示所述待分类 翻译文本是否属于垃圾信息，从而可以对存在变异词的垃圾信息进行正确识 别，提高垃圾信息的识别准确率。

作为本申请的一种示例，所述文本分类方法可以用于文本情感分析中。 所述待分类文本可以为需要确定其所属的情感的文本。用户在发表具有情感 的文本时，可以基于用户的习惯，爱好等原因，采用不规范表达的，包含变 异词的变异文本。所述变异词可以为在词的发音、形状、语义等方面中的至 少一个方面与规范表达的正常词相近的词。所述翻译模型可以将所述待分类 文本中可能存在的变异词转换为正常词，从而可以获取属于正常文本的待分 类翻译文本，将所述待分类翻译文本输入预设的第三文本分类模型中，可以 获取所述待分类翻译文本对应的翻译标签信息。所述翻译标签信息可以用于 指示所述待分类翻译文本所属的情感，从而可以提高对文本情感分析的准确 率。

通过本申请实施例的文本分类方法，获取待分类文本；将所述待分类文 本输入翻译模型中，所述翻译模型将所述待分类文本中可能存在的变异词转 换为正常词，从而可以获取待分类翻译文本；将所述待分类翻译文本输入预 设的第三文本分类模型中，获取所述待分类翻译文本对应的翻译标签信息。 从而可以对不规范表达的变异文本进行正确分类，提高文本分类的准确率。

参照图11，示出了本申请实施例的另一种文本分类方法实施例的步骤流 程图，具体可以包括如下步骤：

步骤1101，获取待分类文本；

在本申请实施例中，所述待分类文本可以为需要采用文本分类模型进行 分类的文本。所述待分类文本可以包括属于规范表达的正常文本，也可以包 括不属于规范表达的变异文本，本申请对此不做限制。

在本申请实施例中，所述变异文本可以为部分词被替换为在词的发音、 形状、语义等方面与被替换的词相近的变异词的文本。

在本申请实施例中，所述待分类文本可以通过网络自动抓取、人工抓取、 用户提供等方式得到。具体地，所述待分类文本可以原本即为文本形式，也 可以原本为图片、音频、视频等非文本形式，通过图像识别、语音识别等文 本识别方式，从图片、音频、视频中提取得到。

步骤1102，将所述待分类文本输入翻译模型中，获取待分类翻译文本；

在本申请实施例中，所述翻译模型可以用于对文本进行翻译。具体地， 可以将不属于规范表达的变异词转换为该变异词对应的属于规范表达的正 常词，从而将变异文本翻译为正常文本。所述变异词可以在词的发音、形状、 语义等方面中的至少一个方面与所述正常词相近。

在本申请实施例中，可以采用预设的第一文本分类模型，确定预设的原 始文本中的重要词；将所述原始文本中的重要词转换为变异词，得到所述原 始文本对应的变异文本；采用所述原始文本以及所述原始文本对应的变异文 本，对预设的待训练翻译模型进行训练，从而得到所述翻译模型。

其中，所述第一文本分类模型可以用于对文本进行分类，输出针对文本 的文本分类信息。所述原始文本可以为初始收集的用于生成变异文本的文本。

在本申请实施例中，可以将所述待分类文本输入翻译模型中，所述翻译 文本可以将所述待分类文本转换为待分类翻译文本。具体地，若所述待分类 文本为正常文本，则所述翻译模型可以输出与所述待分类文本相同的待分类 翻译文本。若所述待分类文本为部分词被替换为在词的发音、形状、语义等 方面与被替换的词相近的变异词的变异文本，所述翻译模型可以将还原变异 文本中的不属于规范表达的变异词为规范表达的正常词，获得属于正常文本 的待分类翻译文本。

在本申请的一种实施例中，所述将所述待分类文本输入翻译模型中，获 取待分类翻译文本的步骤，包括：

S151，采用预设的词向量转换模型，将所述待分类文本转换为待分类词 向量序列；

在本申请实施例中，可以采用预设的词向量转换模型，将所述待分类文 本转换为待分类词向量序列。具体地，可以将所述待分类文本中的每个词转 换为词向量，从而得到待分类词向量序列x＝{w1,w2,…,wn}。

作为本申请的一种可选的实施例方式，所述词向量转换模型可以为 Word2Vec模型、GloVe(Global vectors for word representation，全局向量的 词嵌入)模型、BERT(Bidirectional Encoder Representation from Transformers， 基于Transformer的双向编码语言表征)模型等，本申请对此不做限制。

S152，将所述待分类词向量序列输入翻译模型中，获取所述待分类翻译 文本。

在本申请实施例中，可以将所述待分类词向量序列输入翻译模型中，所 述翻译模型可以将所述待分类词向量序列转换为待分类翻译词向量序列，从 而得到所述待分类翻译文本。

在具体实现中，所述翻译模型可以采用束搜索(Beam Search)方式输出所 述待分类词向量序列对应的待分类翻译词向量序列。

作为本申请的一种示例，所述翻译模型可以为编码器—解码器模型，可 以将所述待分类词向量序列输入所述翻译模型的编码器中，所述翻译模型的 解码器采用束搜索(Beam Search)方式输出所述待分类词向量序列对应的待 分类翻译词向量序列，并得到待分类翻译文本。

具体地，对于第i时刻的输出yi，输出yi可以包括至少一个可能的输出 结果，每一输出结果对应有不同的概率，束搜索(Beam Search)方式可以设置 束宽k(beam size)，针对第i时刻的输出结果，基于在先时刻的k个候选序 列，选取概率由大至小排序在前k个的输出结果，分别作为下一时刻的输入， 直至完成对所述待分类词向量序列的处理，得到k个输出词向量序列，并在 k个输出词向量序列中选取最优的输出词向量序列作为待分类翻译词向量序 列，并得到待分类翻译文本。

在本申请实施例中，所述翻译模型在采用编码器-解码器模型之外，还可 以采用RNN(Recurrent neural network，循环神经网络)、GRU(Gate Recurrent Unit，门控循环单元)等循环神经网络模型，本申请对此不做限制。

步骤1103，采用预设的词向量转换模型，将所述待分类翻译文本转换为 至少一种模态对应的模态词向量序列；

在本申请实施例中，为了提高文本分类的准确性，在采用翻译模型对待 分类文本进行翻译的基础上，还可以进一步提高第三文本分类模型的文本分 类准确性。由此，所述第三文本分类模型在对所述待分类翻译文本进行分类 时，可以基于待分类翻译文本的语义、发音、以及视觉中的至少一个方面， 对所述待分类翻译文本进行分类，使第三文本分类模型可以更加准确地识别 所述待分类翻译文本。

在本申请实施例中，所述模态(Modality)可以指文本对应的至少一种 机器学习模型可以识别的形式。例如，所述机器学习模型可以基于语义识别 文本，则文本可以具有语义模态。所述机器学习模型可以基于发音识别文本， 则文本可以具有发音模态。所述机器学习模型可以基于视觉识别文本，则文 本可以具有视觉模态。

在本申请实施例中，可以采用预设的词向量转换模型，将所述待分类翻 译文本转换为至少一种模态对应的模态词向量序列，从而所述第三文本分类 模型可以采用至少一种模态对应的模态词向量序列，从至少一种模态对文本 进行分类，进一步提高所述第三文本分类模型的准确性。

在本申请的一种实施例中，所述模态词向量序列包括语义词向量序列； 所述词向量转换模型包括第一词向量转换模型；

在本申请实施例中，所述模态词向量序列可以包括语义词向量序列，所 述语义词向量序列可以为所述待分类翻译文本在语义模态方面的词向量表 达。

在本申请实施例中，所述词向量转换模型包括第一词向量转换模型。第 一词向量转换模型可以与语义存在关联。

所述采用预设的词向量转换模型，将所述待分类翻译文本转换为至少一 种模态词向量序列的步骤，包括：

S161，采用所述第一词向量转换模型，将所述待分类翻译文本转换为语 义词向量序列。

在本申请实施例中，可以采用所述第一词向量转换模型，将所述待分类 翻译文本转换为语义词向量序列。具体地，可以采用所述第一词向量转换模 型，将所述待分类翻译文本中的每个字转换为对应的词向量，从而可以得到 所述待分类翻译文本的语义词向量序列。

在具体实现中，所述待分类翻译文本的长度可以统一为预设长度，对于 长度小于预设长度的训练文本，可以采用填充字符将所述待分类翻译文本补 充至预设长度。所述填充字符可以由所述第三文本分类模型预先规定。对于 长度大于预设长度的待分类翻译文本，则可以将所述待分类翻译文本截断至 预设长度。

作为本申请的一种可选的实施例方式，所述词向量转换模型可以为 Word2Vec模型、GloVe(Global vectors for word representation，全局向量的 词嵌入)模型、BERT(Bidirectional Encoder Representation from Transformers， 基于Transformer的双向编码语言表征)模型等，本申请对此不做限制。

在本申请的一种实施例中，所述模态词向量序列包括发音词向量序列；

在本申请实施例中，所述模态词向量序列可以包括发音词向量序列，所 述发音词向量序列可以为所述待分类翻译文本在发音模态方面的词向量表 达。

所述采用预设的词向量转换模型，将所述待分类翻译文本转换为至少一 种模态词向量序列的步骤，包括：

S171，将所述待分类翻译文本转换为音标文本；

在本申请实施例中，可以将所述待分类翻译文本转换为音标文本。所述 音标文本可以为采用音标对所述待分类翻译文本进行表达的文本。例如，在 所述待分类翻译文本为中文的情况下，所述音标文本可以为用英文字母表示 的汉语拼音，或者，用拉丁字母表示的国际音标。在所述待分类翻译文本为 英语的情况下，所述音标文本可以为用拉丁字母表示的国际音标。在所述待 分类翻译文本为日语的情况下，所述音标文本可以为用英文字母表示的罗马 音。

S172，采用所述第一词向量转换模型，将所述音标文本转换为发音词向 量序列。

在本申请实施例中，可以采用所述第一词向量转换模型，将所述音标文 本转换为发音词向量序列。具体地，可以采用所述第一词向量转换模型，将 所述音标文本转换为与所述语义词向量序列等维度的词向量序列，从而可以 得到所述待分类翻译文本的发音词向量序列。

在本申请的一种实施例中，所述模态词向量包括视觉词向量序列；所述 词向量转换模型包括第二词向量转换模型；

在本申请实施例中，所述模态词向量序列可以包括视觉词向量序列，所 述视觉词向量序列可以为所述待分类翻译文本在视觉模态方面的词向量表 达。

在本申请实施例中，所述第二词向量转换模型可以用于提取图片特征向 量。可以将所述待分类翻译文本作为图片，从而可以获取所述待分类翻译文 本的视觉词向量序列。

所述采用预设的词向量转换模型，将所述待分类翻译文本转换为至少一 种模态词向量序列的步骤，包括：

S181，将所述待分类翻译文本转换为文本图片；

在本申请实施例中，可以将所述待分类翻译文本转换为文本图片，以采 用视觉模态对文本进行分类，具体地，可以将所述待分类翻译文本中的每个 字转换为文本图片。从而可以得到所述待分类翻译文本对应的至少一个文本 图片。

S182，采用所述第二词向量转换模型，将所述文本图片转换为视觉词向 量序列。

在本申请实施例中，可以采用所述第二词向量转换模型，将所述文本图 片转换为视觉词向量序列。具体地，可以将所述待分类翻译文本对应的至少 一个文本图片输入所述第二词向量转换模型中，并将所述至少一个文本图片 转换为与所述语义词向量序列等维度的词向量序列，从而可以得到所述待分 类翻译文本的视觉词向量序列。

在本申请实施例中，所述第二词向量转换模型可以为VGG(Visual Geometry Group，视觉几何组)模型、ResNet(Residual Network，深度残差 网络)模型等，本申请对此不做限制。

作为本申请的一种示例，参考图12，图12为本申请实施例的一种卷积 神经网络的示意图。所述第二词向量转换模型可以为卷积神经网络。所述卷 积神经网络可以包括输入层，C1层、S1层、C2层、S2层、C3层、S3层、 以及输出层。可以将所述待分类翻译文本中的每个字转换为24×24×3的文 本图片，其中3可以表示RGB三通道。其后，可以采用5×5×3的卷积核 对输入层的文本图片进行卷积，得到6@20×20(特征图数量为6，特征图大 小为20×20)的C1层。其后，可以对C1层执行最大池化，得到6@10×10 的S1层。其后，可以采用5×5的卷积核对S1层进行卷积，得到16@6×6 的C2层。其后，可以对C2层执行最大池化，得到16@3×3的S3层。其 后，可以对S3层进行卷积，得到64@3×3的C3层，其后可以对C3层执行 平均池化，得到64@1×1的S3层，最终可以输出1×64的向量作为视觉词 向量。从而可以得到所述待分类翻译文本对应的视觉词向量序列。

步骤1104，将所述至少一种模态词向量序列拼接为输入词向量序列；

在本申请实施例中，可以将所述至少一个模态词向量序列拼接为输入词 向量序列。具体地，若所述模态词向量序列为一种，则可以将所述模态词向 量序列作为输入词向量序列。若所述模态词向量序列为至少两种，则可以对 所述模态词向量序列进行拼接，得到输入词向量序列。

在具体实现中，可以基于TextCNN(Convolutional Neural Networks for Sentence Classification，基于卷积神经网络的文本分类)模型、Bi-LSTM (Bidirectional Long Short-Term Memory，双向长短记忆神经网络)模型等模 型，将所述至少一种模态词向量序列拼接为输入词向量序列，本申请对此不 做限制。

步骤1105，将所述输入词向量序列输入预设的第三文本分类模型中，获 取所述待分类翻译文本对应的翻译标签信息。

在本申请实施例中，所述第三文本分类模型可以用于对文本进行分类， 输出针对文本的标签信息。所述标签信息可以用于指示在预设的至少两种分 类中，文本所属的分类。

在本申请实施例中，可以将所述输入词向量序列输入预设的第三文本分 类模型中，获取所述待分类翻译文本对应的翻译标签信息。所述翻译标签信 息可以用于指示所述待分类翻译文本在预设的至少两种分类中，所述待分类 翻译文本所属的分类。从而可以确定所述待分类文本所述的分类。

作为本申请的一种示例，参考图13，图13为本申请实施例的一种基于 TextCNN的文本分类模型的示意图。可以将所述语义词向量序列1301、所述 发音词向量序列1302、以及所述视觉词向量序列1303，分别作为n×k的矩 阵，其中n表示述待分类翻译文本中的词的数量，k表示词对应的词向量的 维度。并将所述语义词向量序列1301、所述发音词向量序列1302、以及所 述视觉词向量序列1303分别作为一个通道，从而可以得到3通道的输入词 向量序列1304。其后采用多个尺寸不同的卷积核1305对所述输入词向量序 列1304进行卷积，其后将得到的卷积层1306进行池化处理后得到池化层 1307，最终经过输出层1308处理，输出所述待分类翻译文本对应的翻译标 签信息。

作为本申请的一种示例，参考图14，图14为本申请实施例的一种基于 Bi-LSTM模型的文本分类模型的示意图。可以将所述语义词向量序列1401 以及所述发音词向量序列1402输入第一注意力层1405，经过加权求和处理 后得到第一加权词向量序列。将所述发音词向量序列1402以及所述视觉词 向量序列1403输入第二注意力层1406，经过加权求和处理后得到第二加权 词向量序列。其后将对所述第一加权词向量序列以及第二加权词向量序列进 行中相同词对应的词向量进行拼接，得到输入词向量序列1406。其后将所述 输入词向量序列1406经过Bi-LSTM层1407以及输出层1408处理后，输出 所述待分类翻译文本对应的翻译标签信息。

通过本申请实施例的文本分类方法，获取待分类文本，将所述待分类文 本输入翻译模型中，所述翻译模型将所述待分类文本中可能存在的变异词转 换为正常词，从而可以获取规范表达的待分类翻译文本，采用预设的词向量 转换模型，将所述待分类翻译文本转换为至少一种模态对应的模态词向量序 列，将所述至少一种模态词向量序列拼接为输入词向量序列，将所述输入词 向量序列输入预设的第三文本分类模型中，获取所述待分类翻译文本对应的 翻译标签信息。可以实现基于至少一种模态，对所述待分类翻译文本进行文 本分类，进一步提高了第三文本分类模型的分类准确性。从而可以对不规范 表达的变异文本进行正确分类，提高文本分类的准确率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系 列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述 的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或 者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例 均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图15，示出了本申请的一种变异文本的生成装置实施例的结构框 图，具体可以包括如下模块：

第一重要词确定模块1501，用于采用预设的第一文本分类模型，确定预 设的原始文本中的重要词；

第一变异文本生成模块1502，用于将所述原始文本中的重要词转换为变 异词，得到所述原始文本对应的变异文本。

在本申请一种实施例中，所述第一变异文本生成模块包括：

第一变异文本生成子模块，用于采用预设的变异词转换规则，将所述原 始文本中的至少一个重要词，转换为变异词，得到所述原始文本对应的变异 文本；

第一语义相似度获取子模块，用于获取所述变异文本与所述原始文本之 间语义相似度；

第一阈值确定子模块，用于确定所述语义相似度是否大于预设阈值；

第一目标变异文本确定子模块，用于若所述语义相似度大于预设阈值， 将所述变异文本作为目标变异文本。

在本申请一种实施例中，所述变异词转换规则包括音标转换规则、音近 转换规则、形近转换规则、同义转换规则中的至少一种。

在本申请一种实施例中，所述目标变异文本包括第一目标变异文本以及 第二目标变异文本；

所述第一目标变异文本确定子模块包括：

第一变异标签信息获取单元，用于若所述语义相似度大于预设阈值，确 定将所述变异文本输入预设的第二文本分类模型，获取所述变异文本对应的 变异标签信息；

第一标签信息比较单元，用于确定所述变异文本对应的变异标签信息是 否与预设的所述原始文本对应的原始标签信息相同；

第二目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息相同，将所述变异文本作为第二目标变异文本；

第一目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息不同，将所述变异文本作为第一目标变异文本。

在本申请一种实施例中，所述第一变异文本生成子模块包括：

第一变异词集合生成单元，用于针对所述原始文本中的一重要词，采用 预设的变异词转换规则，生成所述重要词的变异词集合，所述变异词集合包 括至少一个变异词；

第一替换文本生成单元，用于采用所述变异词集合中的变异词，替换所 述重要词，得到至少一个第一替换文本；

第一文本分类信息获取单元，用于采用所述第一文本分类模型，获取所 述原始文本、以及所述第一替换文本的文本分类信息；

第一查找单元，用于在所述第一替换文本中，查找所述第一替换文本的 文本分类信息与所述原始文本的文本分类信息相差最大的目标第一替换文 本；

第一目标变异词确定单元，用于将所述目标第一替换文本对应的变异词， 作为目标变异词；

第一变异文本生成单元，用于将所述原始文本中的重要词，转换为所述 重要词对应的目标变异词，得到所述原始文本对应的变异文本。

在本申请一种实施例中，所述装置还包括：

第一文本分类模型更新模块，用于采用所述目标变异文本以及所述原始 标签信息，对所述第一文本分类模型进行训练，得到新的第一文本分类模型。

在本申请一种实施例中，所述装置还包括：

第二替换文本生成模块，用于将所述第一目标变异文本中的至少一个变 异词替换为所述变异词对应的重要词，得到第二替换文本；

第一替换标签信息获取模块，用于将所述第二替换文本输入预设的第二 文本分类模型，获取所述第二替换文本对应的替换标签信息；

第一查找模块，用于在所述第二替换文本中，查找所述第二替换文本对 应的替换标签信息与所述原始文本对应的原始标签信息不同的目标第二替 换文本；

第一语义相似度获取模块，用于获取所述目标第二替换文本与所述原始 文本之间的语义相似度；

第三目标变异文本确定模块，用于查找所述语义相似度最大的目标第二 替换文本，作为第三目标变异文本。

在本申请一种实施例中，所述第一重要词确定模块包括：

第一文本分类信息获取子模块，用于将预设的原始文本输入预设的第一 文本分类模型中，获取所述原始文本的文本分类信息；所述原始文本包括至 少一个原始词；

第一重要性识别文本获取子模块，用于在所述原始文本中，去除所述原 始词，得到重要性识别文本；

第一重要性信息获取子模块，用于将所述重要性识别文本输入预设的第 一文本分类模型中，获取所述原始词对应的重要性信息；

第一重要词确定子模块，用于采用所述原始文本的文本分类信息以及所 述重要性信息，确定所述原始文本中的重要词。

在本申请一种实施例中，所述装置还包括：

第一硬标签获取模块，用于将预设的训练文本输入预设的第二文本分类 模型中，获取所述训练文本对应的硬标签信息；

第一软标签获取模块，用于对所述硬标签信息进行标签平滑处理，获取 所述训练文本对应的软标签信息；

第一文本分类模型训练模块，用于采用所述训练文本、预设的所述训练 文本对应的训练标签信息、以及所述软标签信息，对预设的待训练第一文本 分类模型进行训练，得到第一文本分类模型。

在本申请一种实施例中，所述第一文本分类模型训练模块包括：

第一训练词向量序列获取子模块，用于采用预设的词向量转换模型，将 所述训练文本转换为训练词向量序列；

第一类别概率获取子模块，用于将所述训练词向量序列输入预设的待训 练第一文本分类模型，获取所述待训练第一文本分类模型输出的所述训练词 向量序列对应的类别概率；

第一联合交叉熵损失函数计算模块，用于采用所述类别概率、预设的所 述训练文本对应的训练标签信息以及所述软标签信息，计算联合交叉熵损失 函数；

第一文本分类模型训练子模块，用于对所述待训练第一文本分类模型进 行优化，直至所述联合交叉熵损失函数达到最小，得到第一文本分类模型。

参照图16，示出了本申请的一种翻译模型的训练装置实施例的结构框 图，具体可以包括如下模块：

第二重要词确定模块1601，用于采用预设的第一文本分类模型，确定预 设的原始文本中的重要词；

第二变异文本生成模块1602，用于将所述原始文本中的重要词转换为变 异词，得到所述原始文本对应的变异文本；

翻译模型训练模块1603，用于采用所述原始文本以及所述原始文本对应 的变异文本，对预设的待训练翻译模型进行训练，得到翻译模型。

在本申请一种实施例中，所述第二变异文本生成模块包括：

第二变异文本生成子模块，用于采用预设的变异词转换规则，将所述原 始文本中的至少二个重要词，转换为变异词，得到所述原始文本对应的变异 文本；

第二语义相似度获取子模块，用于获取所述变异文本与所述原始文本之 间语义相似度；

第二阈值确定子模块，用于确定所述语义相似度是否大于预设阈值；

第二目标变异文本确定子模块，用于若所述语义相似度大于预设阈值， 将所述变异文本作为目标变异文本。

在本申请一种实施例中，所述变异词转换规则包括音标转换规则、音近 转换规则、形近转换规则、同义转换规则中的至少一种。

在本申请一种实施例中，所述目标变异文本包括第一目标变异文本以及 第二目标变异文本；

所述第二目标变异文本确定子模块包括：

第二变异标签信息获取单元，用于若所述语义相似度大于预设阈值，确 定将所述变异文本输入预设的第二文本分类模型，获取所述变异文本对应的 变异标签信息；

第二标签信息比较单元，用于确定所述变异文本对应的变异标签信息是 否与预设的所述原始文本对应的原始标签信息相同；

第四目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息相同，将所述变异文本作为第二目标变异文本；

第三目标变异文本确定单元，用于若所述变异标签信息与所述原始标签 信息不同，将所述变异文本作为第一目标变异文本。

在本申请一种实施例中，所述第二变异文本生成子模块包括：

第二变异词集合生成单元，用于针对所述原始文本中的一重要词，采用 预设的变异词转换规则，生成所述重要词的变异词集合，所述变异词集合包 括至少一个变异词；

第二替换文本生成单元，用于采用所述变异词集合中的变异词，替换所 述重要词，得到至少一个第一替换文本；

第二文本分类信息获取单元，用于采用所述第一文本分类模型，获取所 述原始文本、以及所述第一替换文本的文本分类信息；

第二查找单元，用于在所述第一替换文本中，查找所述第一替换文本的 文本分类信息与所述原始文本的文本分类信息相差最大的目标第一替换文 本；

第二目标变异词确定单元，用于将所述目标第一替换文本对应的变异词， 作为目标变异词；

第二变异文本生成单元，用于将所述原始文本中的重要词，转换为所述 重要词对应的目标变异词，得到所述原始文本对应的变异文本。

在本申请一种实施例中，所述装置还包括：

第二文本分类模型更新模块，用于采用所述目标变异文本以及所述原始 标签信息，对所述第一文本分类模型进行训练，得到新的第一文本分类模型。

在本申请一种实施例中，所述装置还包括：

第三替换文本生成模块，用于将所述第一目标变异文本中的至少一个变 异词替换为所述变异词对应的重要词，得到第二替换文本；

第二替换标签信息获取模块，用于将所述第二替换文本输入预设的第二 文本分类模型，获取所述第二替换文本对应的替换标签信息；

第二查找模块，用于在所述第二替换文本中，查找所述第二替换文本对 应的替换标签信息与所述原始文本对应的原始标签信息不同的目标第二替 换文本；

第二语义相似度获取模块，用于获取所述目标第二替换文本与所述原始 文本之间的语义相似度；

第四目标变异文本确定模块，用于查找所述语义相似度最大的目标第二 替换文本，作为第三目标变异文本。

在本申请一种实施例中，所述第二重要词确定模块包括：

第二文本分类信息获取子模块，用于将预设的原始文本输入预设的第一 文本分类模型中，获取所述原始文本的文本分类信息；所述原始文本包括至 少一个原始词；

第二重要性识别文本获取子模块，用于在所述原始文本中，去除所述原 始词，得到重要性识别文本；

第二重要性信息获取子模块，用于将所述重要性识别文本输入预设的第 一文本分类模型中，获取所述原始词对应的重要性信息；

第二重要词确定子模块，用于采用所述原始文本的文本分类信息以及所 述重要性信息，确定所述原始文本中的重要词。

在本申请一种实施例中，所述装置还包括：

第二硬标签获取模块，用于将预设的训练文本输入预设的第二文本分类 模型中，获取所述训练文本对应的硬标签信息；

第二软标签获取模块，用于对所述硬标签信息进行标签平滑处理，获取 所述训练文本对应的软标签信息；

第二文本分类模型训练模块，用于采用所述训练文本、预设的所述训练 文本对应的训练标签信息、以及所述软标签信息，对预设的待训练第一文本 分类模型进行训练，得到第一文本分类模型。

在本申请一种实施例中，所述第二文本分类模型训练模块包括：

第二训练词向量序列获取子模块，用于采用预设的词向量转换模型，将 所述训练文本转换为训练词向量序列；

第二类别概率获取子模块，用于将所述训练词向量序列输入预设的待训 练第一文本分类模型，获取所述待训练第一文本分类模型输出的所述训练词 向量序列对应的类别概率；

第二联合交叉熵损失函数计算模块，用于采用所述类别概率、预设的所 述训练文本对应的训练标签信息以及所述软标签信息，计算联合交叉熵损失 函数；

第二文本分类模型训练子模块，用于对所述待训练第一文本分类模型进 行优化，直至所述联合交叉熵损失函数达到最小，得到第一文本分类模型。

在本申请一种实施例中，所述待训练翻译模型包括编码器以及解码器；

所述翻译模型训练模块包括：

词向量序列转换子模块，用于采用预设的词向量转换模型，将所述变异 文本转换为第一词向量序列，将原始文本转换为第二词向量序列；

输出序列获取子模块，用于将所述第一词向量序列输入所述编码器中， 将第二词向量序列输入解码器中，获取所述解码器输出的输出序列；

解码损失函数确定子模块，用于采用所述输出序列以及所述第二词向量 序列，确定解码损失函数；

翻译模型训练子模块，用于对所述待训练翻译模型进行优化，直至所述 解码损失函数达到最小，得到翻译模型。

在本申请一种实施例中，所述输出序列获取子模块包括：

第一向量获取单元，用于将所述第一词向量序列输入所述编码器中，获 取所述编码器输出的第一向量；

隐状态获取单元，用于将所述第二词向量序列输入解码器中，采用上一 时刻输入的文字、解码器的上一时刻的隐状态、以及第二向量，获取所述解 码器中当前时刻的隐状态；所述第二向量采用所述第一向量进行加权处理得 到；

输出向量确定单元，用于采用上一时刻输入的文字、当前时刻的解码器 的隐状态、以及第二向量，确定当前时刻的输出向量；

输出序列获取单元，用于将所有时刻的输出向量，作为输出序列。

参照图17，示出了本申请的一种文本分类装置实施例的结构框图，具体 可以包括如下模块：

待分类文本获取模块1701，用于获取待分类文本；

待分类翻译文本获取模块1702，用于将所述待分类文本输入翻译模型 中，获取待分类翻译文本；

翻译标签信息获取模块1703，用于将所述待分类翻译文本输入预设的第 三文本分类模型中，获取所述待分类翻译文本对应的翻译标签信息。

在本申请一种实施例中，所述翻译标签信息获取模块包括：

模态词向量序列转换子模块，用于采用预设的词向量转换模型，将所述 待分类翻译文本转换为至少一种模态对应的模态词向量序列；

输入词向量序列获取子模块，用于将所述至少一种模态词向量序列拼接 为输入词向量序列；

翻译标签信息获取子模块，用于将所述输入词向量序列输入预设的第三 文本分类模型中，获取所述待分类翻译文本对应的翻译标签信息。

在本申请一种实施例中，所述模态词向量序列包括语义词向量序列；所 述词向量转换模型包括第一词向量转换模型；

所述模态词向量序列转换子模块包括：

语义词向量序列转换单元，用于采用所述第一词向量转换模型，将所述 待分类翻译文本转换为语义词向量序列。

在本申请一种实施例中，所述模态词向量序列包括发音词向量序列；

所述模态词向量序列转换子模块包括：

音标文本转换单元，用于将所述待分类翻译文本转换为音标文本；

发音词向量序列转换单元，用于采用所述第一词向量转换模型，将所述 音标文本转换为发音词向量序列。

在本申请一种实施例中，所述模态词向量包括视觉词向量序列；所述词 向量转换模型包括第二词向量转换模型；

所述模态词向量序列转换子模块包括：

文本图片转换单元，用于将所述待分类翻译文本转换为文本图片；

视觉词向量序列转换单元，用于采用所述第二词向量转换模型，将所述 文本图片转换为视觉词向量序列。

在本申请一种实施例中，所述待分类翻译文本获取模块包括：

待分类词向量序列转换子模块，用于采用预设的词向量转换模型，将所 述待分类文本转换为待分类词向量序列；

待分类翻译文本获取子模块，用于将所述待分类词向量序列输入翻译模 型中，获取所述待分类翻译文本。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。

本申请实施例还提供了一种装置，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理 器执行时，使得所述装置执行本申请实施例所述的方法。

本申请实施例还提供了一个或多个机器可读介质，其上存储有指令，当 由一个或多个处理器执行时，使得所述处理器执行本申请实施例所述的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明 的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见 即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装 置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介 质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计 算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令 实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框 图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、 专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生 一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的 指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读 存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设 备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计 算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用 于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦 得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以， 所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所 有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得 包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或 者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……” 限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中 还存在另外的相同要素。

以上对本申请所提供的一种变异文本的生成方法、一种翻译模型的训练 方法，一种文本分类方法，一种变异文本的生成装置、一种翻译模型的训练 装置、以及一种文本分类装置，进行了详细介绍，本文中应用了具体个例对 本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解 本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申 请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说 明书内容不应理解为对本申请的限制。