训练迁移模型，文本风格迁移的方法和装置与流程

本说明书一个或多个实施例涉及机器学习领域，尤其涉及利用机器学习的方式，训练迁移模型，对文本进行风格迁移的方法和装置。

背景技术：

1、随着计算机技术的发展，机器学习得到的各种模型已经应用到各种各样的技术领域，用于分析、预测各种业务数据，还可以用于生成各种内容，例如生成文本内容。在一些场景中，存在生成特定风格的文本内容的需求。例如，在特定话术或客服回答生成的业务场景中，需要根据给定的风格/情感方面的约束，生成文本描述。

2、为了达到这样的目的，需要训练文本风格迁移模型，从而将具有一种风格的文本内容，迁移为具有另一种文本风格，或者为既定文本施加特定风格。然而，由于训练预料的缺乏，这样的模型训练存在诸多困难，使得训练效果不佳。

3、希望能有改进的方案，可以更好地实现文本风格迁移。

技术实现思路

1、本说明书一个或多个实施例描述了一种训练迁移模型，以及对文本风格进行迁移的方案，可以在缺少平行语料的情况下，训练得到迁移模型，并利用该迁移模型进行文本风格的迁移。

2、根据第一方面，提供了一种训练迁移模型的方法，所述迁移模型包括，编码解耦网络，重组网络和解码器，所述方法包括：

3、将第一文本输入所述编码解耦网络，得到与内容相关的第一内容表征，以及与风格相关的第一风格表征；所述第一文本具有风格标签；

4、通过所述重组网络，分别施加所述风格标签对应的正向风格向量和与之相反的反向风格向量，得到第二风格表征和第三风格表征；

5、将第二风格表征和第三风格表征分别与所述第一内容表征组合后，通过所述解码器进行解码，得到第二文本和第三文本；

6、通过分类器得到所述第三文本的风格类别的预测结果；

7、通过预测损失，更新所述迁移模型，所述预测损失至少包括第一损失和第二损失；所述第一损失为所述第一文本和所述第二文本之间的重构损失，所述第二损失为基于所述预测结果确定的分类损失。

8、根据一个实施例，所述编码解耦网络包括文本编码器，第一多层感知机mlp和第二mlp；相应的，编码解耦处理包括：将所述第一文本输入所述文本编码器，得到编码表征；通过第一mlp对所述编码表征进行处理，得到第一内容表征；通过第二mlp对所述编码表征进行处理，得到第一风格表征。

9、根据一种实现方式，重组网络包括再解耦网络和组合网络；所述得到第二风格表征和第三风格表征，包括：

10、通过所述再解耦网络，获得所述第一内容表征、第一风格表征和所述正向风格向量组合得到的综合表征，并对该综合表征进行解耦，得到仅与风格相关的第一向量，仅与内容相关的第三向量，与内容和风格都相关的第二向量；

11、通过所述组合网络，基于所述第二向量、第三向量和所述正向风格向量，得到所述第二风格表征；基于所述第二向量、第三向量和所述反向风格向量，得到所述第三风格表征。

12、进一步的，在一个例子中，上述再解耦网络包括三个mlp，所述三个mlp均对所述综合表征进行处理，其输出分别为所述第一向量、第二向量和第三向量。

13、在一个实施例中，所述组合网络包括第三mlp和第四mlp，其中所述第三mlp接收所述第二向量、第三向量和所述正向风格向量，对其进行处理，输出所述第二风格表征；所述第四mlp接收所述第二向量、第三向量和所述反向风格向量，对其进行处理，输出所述第三风格表征。

14、在一种实施方式中，分类损失如下确定：将反向风格作为所述第三文本的标签输出，根据所述预测结果和所述标签输出，确定所述分类损失。

15、根据一种实现方式，所述预测损失还包括第三损失，所述第三损失正相关于所述第一风格表征和所述第二风格表征之间的距离。

16、在一种实现方式中，预测损失还包括第四损失，所述方法还包括：

17、将所述第三文本输入所述编码解耦网络，得到所述第三文本中与内容相关的第二内容表征，和与风格相关的第四风格表征；

18、确定第四损失，所述第四损失包括所述第一内容表征和第二内容表征之间的第一距离，以及所述第三风格表征与第四风格表征之间的第二距离。

19、根据第二方面，提供了一种文本风格迁移的方法，包括：

20、获取根据第一方面的方法训练得到的迁移模型，其中包括，编码解耦网络，重组网络和解码器；

21、将原始文本输入所述编码解耦网络，得到与内容相关的目标内容表征，以及与风格相关的初始风格表征；

22、通过所述重组网络，施加与待迁移的目标风格对应的风格向量，得到目标风格表征；

23、将目标风格表征与所述目标内容表征组合后，通过所述解码器进行解码，得到迁移后的目标文本。

24、根据第三方面，提供了一种训练迁移模型的装置，所述迁移模型包括，编码解耦网络，重组网络和解码器，所述装置包括：

25、第一处理单元，配置为将第一文本输入所述编码解耦网络，得到与内容相关的第一内容表征，以及与风格相关的第一风格表征；所述第一文本具有风格标签；

26、重组单元，配置为通过所述重组网络，分别施加所述风格标签对应的正向风格向量和与之相反的反向风格向量，得到第二风格表征和第三风格表征；

27、第二处理单元，配置为将第二风格表征和第三风格表征分别与所述第一内容表征组合后，通过所述解码器进行解码，得到第二文本和第三文本；

28、分类单元，配置为通过分类器得到所述第三文本的风格类别的预测结果；

29、更新单元，配置为通过预测损失，更新所述迁移模型，所述预测损失至少包括第一损失和第二损失；所述第一损失为所述第一文本和所述第二文本之间的重构损失，所述第二损失为基于所述预测结果确定的分类损失。

30、根据第四方面，提供了一种文本风格迁移的装置，包括：

31、获取单元，配置为获取第三方面的装置训练得到的迁移模型，其中包括，编码解耦网络，重组网络和解码器；

32、解耦单元，配置为将原始文本输入所述编码解耦网络，得到与内容相关的目标内容表征，以及与风格相关的初始风格表征；

33、重组单元，配置为通过所述重组网络，施加与待迁移的目标风格对应的风格向量，得到目标风格表征；

34、解码单元，配置为将目标风格表征与所述目标内容表征组合后，通过所述解码器进行解码，得到迁移后的目标文本。

35、根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面所述的方法。

36、根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。

37、在本说明书的实施例中，提出一种训练迁移模型的方法，其中在迁移模型中，在从输入文本中解耦出内容相关表征和原始的第一风格表征的基础上，还分别施加输入文本的风格标签对应的正向风格向量和与之相反的反向风格向量，得到第二风格表征和第三风格表征。通过将第二风格表征和第三风格表征分别与内容表征组合，并进行解码，得到相似的第二文本和反事实推断的第三文本。基于第二文本与输入文本的重构损失，以及第三文本的分类损失，对迁移模型进行训练。如此，所需的训练数据只是包括有风格标注的训练文本，而不需要不同风格的平行语料文本。该训练方案基于反事实推断得出假定为其他风格的文本，并通过分类器实现自监督，如此在没有平行语料文本的情况下，实现风格迁移模型的训练。利用该训练好的迁移模型，就可以对文本进行风格迁移。