一种数据增强语料在神经网络中训练方法与流程

本发明涉及图像领域，具体是一种数据增强语料在神经网络中训练方法。

背景技术：

ai时代，算法，算力，数据缺一不可，特别是自然语言领域，数据获取难度大，通用性低，导致发展远低于图像应用领域。

在获取无法在快速获取的情况下，除了调整算法外，我们还可以通过机器数据增强方式，达到算法提升的效果，对于常规机器增强的数据，如图1所示，通常做法都是直接和原始数据共同训练训练，以便增强算法效果；但是在自然语言领域，数据增强得到的数据质量相对于原始语料质量低很多，有可能得到错误的增强数据。

在图像领域，数据增强后的数据准确性很高，直接和训练数据一起训练，不会太大的负面影响效果，而在自然语言领域，数据增强常规做法如同义词替换，语言翻译转换等，得到的语句质量较差，直接训练可能起负面作用。

技术实现要素：

本发明的目的在于提供一种数据增强语料在神经网络中训练方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种数据增强语料在神经网络中训练方法，包括以下步骤：

a、利用原始数据进行数据增强，获得数据增强扩展数据；

b、利用数据增强扩展数据训练初版模型；

c、使用原始数据在初版模型上进行迁移训练得到最终模型。

作为本发明进一步的方案：数据增强扩展数据采用全量迁移方式或每轮控制语料训练顺序方式。

与现有技术相比，本发明的有益效果是：通过对数据增语料进行预训，模型学习到更多的知识，然后通过原始数据进行迁移学习，模型最后拟合真实数据目标，解决了数据增强语料质量差对最终效果的影响，并且能够学习到更多数据增强语料的知识，提高最终模型效果。

附图说明

图1为普通训练方法的流程示意图。

图2为本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中，一种数据增强语料在神经网络中训练方法，包括以下步骤：

a、利用原始数据进行数据增强，获得数据增强扩展数据；

b、利用数据增强扩展数据训练初版模型；

c、使用原始数据在初版模型上进行迁移训练得到最终模型。

对于数据增强数据，除了通过全量迁移方式，还可以通过每轮控制语料训练顺序方式解决结果离最终目标偏差问题。及在深度学习的每一轮训练时，首先把数据增强语料送入模型训练，然后使用原始语料训练，把迁移训练的步骤细化到每一轮训练中。

事例：在一个机器学习比赛平台上有一个有毒评论比赛，它提供英文维基百科评论数据，对每一个评论有6种评论情感标记，比赛任务是预测给定的用户评论，属于这6种评论情感的概率，通过数据增强+模型迁移训练得到最终模型，提升算法效果。

上述事例的实现步骤如下：

首先下载到有毒评论训练数据，总共10w条，测试数据16w条。

1、通过翻译转换技术，把训练集翻译成德文，然后在翻译回英文，得到10w英德英数据增强语料，然后同样通过法文，意大利文进行扩展，总共获得30w翻译数据增强语料。

2、使用30w翻译语料，在神经网络中进行模型预训练，得到预训练模型。

3、使用原始10w语料在预训练模型上做迁移训练，得到最终模型。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：

技术总结
本发明公开了一种数据增强语料在神经网络中训练方法，包括以下步骤：A、利用原始数据进行数据增强，获得数据增强扩展数据；B、利用数据增强扩展数据训练初版模型；C、使用原始数据在初版模型上进行迁移训练得到最终模型。通过对数据增语料进行预训，模型学习到更多的知识，然后通过原始数据进行迁移学习，模型最后拟合真实数据目标，解决了数据增强语料质量差对最终效果的影响，并且能够学习到更多数据增强语料的知识，提高最终模型效果。

技术研发人员：罗欢;乔宏利;权圣
受保护的技术使用者：北京中关村科金技术有限公司
技术研发日：2018.08.09
技术公布日：2019.01.11