一种NLP模型训练识别系统的制作方法

一种nlp模型训练识别系统
技术领域
1.本发明属于学习训练系统技术领域，尤其涉及深度学习、nlp等技术领域，具体是指一种nlp模型训练识别系统。


背景技术：

2.nlp(natural language processing)是人工智能(ai)的一个子领域，目前常规的nlp在能提供正常接口服务之前都需要经过模型的训练、发布、以及模型启动三个过程，这三个过程目前业内都需要开发人员在服务器上进行手工操作，每一次nlp语意识别模型的发布以及训练时都会存在误操作风险，容易因为人的操作错误导致故障。
3.随着基础技术的不断进步，人类信息交互形式不断进化，从声音、文字、图片到视频，形式越来越生动、高效，但也越来越庞大、复杂。其中，图片媒体近来已经成为普遍的交互形式，对图片进行高效检索在搜索、推荐、广告等领域都有着广泛应用，也一直是业界研究的热点。


技术实现要素：

4.针对上述情况，为克服现有技术的缺陷，本发明提供了一种从提取图片特征与相关的文字信息出发，实现更精准的图片检索的nlp模型训练识别系统。
5.本发明采取的技术方案如下：本发明一种nlp模型训练识别系统，包括训练更新模块和训练图像获取单元，
6.所述训练图像获取单元用于获取样本图片及每个样本图片的描述信息；
7.所述训练更新模块利用训练图像获取单元所述的样本图片及描述信息训练提取相应的特征，并根据相应的特征输入建立的模型中，得到模型输出的融合特征向量，并基于融合特征向量进行图片检索。
8.在本方案中，所述训练更新模块包括训练集、特征提取单元、第一训练单元、计算分析单元、更新单元、第二训练单元，
9.所述特征提取单元用于对待检索的样本图片进行提取图片特征操作、且对样本图片进行提取文本特征的操作，通过特征提取单元提取后的图片特征以及文本特征存入训练集内，
10.第一训练单元，利用训练集中的图片特征以及文本特征数据对图像翻译模型的生成器和判别器分别进行训练，并将训练后的图像翻译模型确定为第一模型；
11.计算分析单元，被配置成将当前训练数据序列输入所述第一模型，计算元损失函数在当前训练数据序列上的第一梯度，并对训练数据使用自然语言处理技术(nlp)进行文本分析；
12.更新单元，被配置成根据所述第一梯度与学习率更新所述第一模型的网络参数，得到第二模型；
13.第二训练单元，被配置成基于所述未来训练数据序列和更新后的学习率进行模型
训练，在第二模型的基础上训练完成后形成目标模型。
14.优选地，所述样本图片的描述信息包括但不限于样本图片上的文字信息，还包括与样本图片相关联的文字信息。
15.优选地，所述计算分析单元还包括文本合并模块、关键词提取模块和文本分析单元，所述文本合并模块用于将样本图片上的文字信息以及目标图片关联的文字信息进行合并，所述关键词提取模块用于对目标图片的文字信息构成文本分析，得到由关键词和权重组成的一组向量，所述文本分析单元，用于进行关键词提取与文本分类得到向量和分类。
16.优选地，第一训练单元中所述生成器为编码模型-解码模型结构，所述编码模型采用的是残差网络架构。
17.采用上述结构本发明取得的有益效果如下：本方案一种nlp模型训练识别系统，解决了现有技术中对图片的检索理解围绕图片像素本身，从提取图片特征与相关的文字信息出发，实现更精准的图片检索。
附图说明
18.图1为本发明一种nlp模型训练识别系统的整体组成示意图。
19.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.如图1所示，本发明一种nlp模型训练识别系统，包括训练更新模块和训练图像获取单元。
22.其中，训练图像获取单元用于获取样本图片及每个样本图片的描述信息，训练更新模块利用训练图像获取单元所述的样本图片及描述信息训练提取相应的特征，并根据相应的特征输入建立的模型中，得到模型输出的融合特征向量，并基于融合特征向量进行图片检索。
23.在本方案中，所述训练更新模块包括训练集、特征提取单元、第一训练单元、计算分析单元、更新单元、第二训练单元，
24.特征提取单元，用于对待检索的目标图片进行提取图片特征操作、且对目标图片进行提取文本特征的操作，通过特征提取单元提取后的图片特征以及文本特征存入训练集内；
25.第一训练单元，利用训练集中的图片特征以及文本特征数据对图像翻译模型的生成器和判别器分别进行训练，并将训练后的图像翻译模型确定为第一模型；
26.计算分析单元，被配置成将当前训练数据序列输入所述第一模型，计算元损失函数在当前训练数据序列上的第一梯度，并对训练数据使用自然语言处理技术(nlp)进行文本分析；
27.更新单元，被配置成根据所述第一梯度与学习率更新所述第一模型的网络参数，得到第二模型；
28.第二训练单元，被配置成基于所述未来训练数据序列和更新后的学习率进行模型训练，训练完成后形成目标模型。
29.在本方案中，样本图片的描述信息包括但不限于样本图片上的文字信息，还包括与样本图片相关联的文字信息。
30.作为优选方案，计算分析单元还包括文本合并模块、关键词提取模块和文本分析单元，所述文本合并模块用于将目标图片上的文字信息以及目标图片关联的文字信息进行合并，所述关键词提取模块用于对目标图片的文字信息构成文本分析，得到由关键词和权重组成的一组向量，所述文本分析单元，用于进行关键词提取与文本分类得到向量和分类。
31.优选地，第一训练单元中所述生成器为编码模型-解码模型结构，所述编码模型采用的是残差网络架构。
32.目前，现有技术中图像翻译模型的生成器g采用的是编码模型-解码模型，即encoder-decoder模型，其中，编码模型和解码模型可以采用cnn，rnn，birnn、lstm等深度学习算法中的任一种，现在的深度学习算法当网络很深的时候，模型效果却越来越差了，且通过实验可以发现：随着网络层级的不断增加，模型精度不断得到提升，而当网络层级增加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了，所以为了减小误差，现有的深度学习算法通过采用残差网络架构(restnetblock)来保持模型的精准度，通过残差网络结构，可以在网络层很深时，还可以保持模型的精准度。
33.在本公开实施例中，在需要基于目标图片进行图片检索的情况下，可以从一个或者多个维度获取该目标图片的文本描述信息。
34.实施例1，通过训练图像获取单元获取人工针对该目标图片标注的文本信息，还可以根据该目标图片的来源，从而获取该目标图片的文本信息。例如，对于来自百度百科某个词条下的目标图片，可以将百度百科中该词条下的文本信息作为该目标图片的文本信息。
35.其中，文本合并模块用于将目标图片上的文字信息以及目标图片关联的文字信息进行合并，关键词提取模块用于对目标图片的文字信息构成文本分析，得到由关键词和权重组成的一组向量，文本分析单元用于进行关键词提取与文本分类得到向量和分类。
36.获取到目标图片以及该目标图片的文本描述信息后，可以从该目标图片中提取图片特征，并从该目标图片的文本描述信息中提取文本特征，然后将提取的图片特征和文本特征输入预先训练好的目标模型内，从而得到融合特征向量。最后基于该融合特征向量进行图片检索，可以获得较为精准的检索结果。
37.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
38.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以
理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
39.以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。