用于文本处理神经网络的训练方法、装置和介质与流程

本公开涉及人工智能领域，具体涉及自然语言处理、深度学习技术，特别涉及一种用于文本处理神经网络的训练方法、用于文本处理神经网络的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、预训练语言模型是近年来自然语言处理领域发展比较迅速的技术，通过增大预训练模型规模，一般来说可以使得模型取得更好的效果。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本公开提供了一种用于文本处理神经网络的训练方法、用于文本处理神经网络的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面，提供了一种用于文本处理神经网络的训练方法，包括：获取神经网络的样本输入，样本输入包括多个分词；获取神经网络中的门控矩阵，门控矩阵用于计算多个分词中的每一个分词与神经网络中的多个专家网络中的每一个专家网络的相关性，多个专家网络用于对多个分词进行强化；基于门控矩阵和门控矩阵的转置矩阵的乘积，确定中间矩阵；基于中间矩阵和单位矩阵，确定第一损失值；以及基于第一损失值，调整门控矩阵的参数，以得到训练后的神经网络。

3、根据本公开的一方面，提供了一种用于文本处理神经网络的训练装置，包括：第一获取单元，被配置为获取神经网络的样本输入，样本输入包括多个分词；第二获取单元，被配置为获取神经网络中的门控矩阵，门控矩阵用于计算多个分词中的每一个分词与神经网络中的多个专家网络中的每一个专家网络的相关性，多个专家网络用于对多个分词进行强化；第一确定单元，被配置为基于门控矩阵和门控矩阵的转置矩阵的乘积，确定中间矩阵；第二确定单元，被配置为基于中间矩阵和单位矩阵，确定第一损失值；以及第一调参单元，被配置为基于第一损失值，调整门控矩阵的参数，以得到训练后的神经网络。

4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，这些指令被至少一个处理器执行，以使至少一个处理器能够执行上述方法。

5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述方法。

6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述方法。

7、根据本公开的一个或多个实施例，通过基于门控矩阵及其转置矩阵的乘积确定中间矩阵，进而基于中间矩阵和单位矩阵确定第一损失值，并利用第一损失值调整门控矩阵的参数，能够使门控矩阵正交化，并使得训练后得到的不同的专家网络能够用于处理不同类型的分词，从而具有相应的物理意义。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种用于文本处理神经网络的训练方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，基于所述门控矩阵，将所述多个专家网络与所述多个分词进行匹配包括：

4.根据权利要求3所述的方法，其中，基于所述多个专家网络中的每一个专家网络与所述多个分词中的每一个分词的相关性，将所述多个专家网络与所述多个分词进行匹配包括：

5.根据权利要求3所述的方法，其中，基于所述多个专家网络中的每一个专家网络与所述多个分词中的每一个分词的相关性，将所述多个专家网络与所述多个分词进行匹配包括：

6.根据权利要求1所述的方法，其中，所述中间矩阵的维度与所述多个专家网络的数量相同。

7.根据权利要求1所述的方法，其中，所述第一损失值为所述中间矩阵和所述单位矩阵的均方损失。

8.一种用于文本处理神经网络的训练装置，包括：

9.根据权利要求8所述的装置，还包括：

10.根据权利要求9所述的装置，其中，所述匹配单元包括：

11.根据权利要求10所述的装置，其中，所述匹配子单元包括：

12.根据权利要求10所述的装置，其中，所述匹配子单元包括：

13.根据权利要求8所述的装置，其中，所述中间矩阵的维度与所述多个专家网络的数量相同。

14.根据权利要求8所述的装置，其中，所述第一损失值为所述中间矩阵和所述单位矩阵的均方损失。

15.一种电子设备，包括：

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种用于文本处理神经网络的训练方法、装置和介质，涉及人工智能领域，具体涉及自然语言处理、深度学习技术。该方法包括：获取神经网络的样本输入，样本输入包括多个分词；获取神经网络中的门控矩阵，门控矩阵用于计算多个分词中的每一个分词与神经网络中的多个专家网络中的每一个专家网络的相关性，多个专家网络用于对多个分词进行强化；基于门控矩阵和门控矩阵的转置矩阵的乘积，确定中间矩阵；基于中间矩阵和单位矩阵，确定第一损失值；以及基于第一损失值，调整门控矩阵的参数，以得到训练后的神经网络。

技术研发人员：卢宇翔,陈徐屹,刘佳祥,冯仕堃,黄世维
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13