一种数据模型的训练方法及装置与流程

文档序号:21593687发布日期:2020-07-24 16:41阅读:272来源:国知局
一种数据模型的训练方法及装置与流程

本发明涉及计算机数据挖掘领域,特别地,涉及一种数据模型的训练方法及装置。



背景技术:

通过人工智能、机器学习、统计学和数据库的交叉方法以发现数据内在关系、潜在信息和价值的数据挖掘是计算机应用之一,其本质是在相对较大型的数据集中发现模式的计算过程。数据挖掘过程中用于训练数据挖掘模型的数据被称为训练数据。训练数据选择一般有以下要求:数据样本尽可能大、数据多样化,数据样本质量较高。

目前数据模型的训练按照训练数据来源方式大致有两类:

第一类:利用来源于各开发团队搜集到的数据作为训练数据来训练数据模型。这种方法的效果取决于开发团队搜集到的样本数据来源,由于数据可能与用户实际应用场景有差别,训练后数据模型识别率低,对不同场景的识别效果适应性差。且训练一旦结束之后,除非搜集到新的一批数据,通常不会对训练结果进行更新。

例如,用于图像识别的卷积神经网络(cnn)模型,目前采取的cnn识别训练算法,其数据来源为各开发团队搜集到的数据,基于对收集的图片进行标的,再进行训练,训练完成之后进行部署。而在部署之后,如果没有收集到大量的新数据,通常不会对训练结果进行更新,用户则一直沿用原始部署的模型来进行图像的识别。

第二类:是利用公有云所存储的数据作为训练数据来训练数据模型。由于这些公有云上存储了用户大量的数据,数据具有多样性,且用户会不断地更新和增加,可以不断进行训练以得到训练结果的改进。但这种方式用户数据的隐私性无法完全保证,并且用户也可能不会将部分数据上传,某些特殊样式的数据有可能无法统计。



技术实现要素:

本发明提供了一种数据模型的训练方法,以提高数据模型训练结果的准确性。

本申请提供的一种数据模型的训练方法,该方法包括,在网络侧,

统计来自各用户侧网络设备上报的差异信息,该差异信息为用户侧网络设备部署的第一数据模型输出结果与期望结果的差异;

将统计的差异信息作为训练依据,调整第一数据模型的模型参数,;

将调整后的模型参数分发至各用户侧网络设备,使得用户侧网络设备部署的第一数据模型按照分发的模型参数更新。

其中,所述差异信息通过用户侧设备捕获对于所述输出结果的纠错操作而获得。

所述通过用户侧设备捕获对于所述输出结果的纠错操作包括,捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作生成上报的差异信息。

较佳地,所述统计来自各用户侧网络设备上报的差异信息包括,

根据所述差异信息,定期统计来自各用户侧网络设备中具有第p代子孙模型参数的第一数据模型所输出样本特征值;

所述将统计的差异信息作为训练依据,调整第一数据模型的模型参数包括,

将统计的样本特征值作为训练依据,统计各所述样本特征值与预设第一阈值的误差;

按照所述误差最小的原则,定期选择出m对第一数据模型的模型参数,

将m对第一数据模型的模型参数按照遗传算法分别进行杂交,得到第p+1代子孙模型参数,

将所述第p+1代子孙模型参数作为所述调整后的模型参数;

重复上述步骤进行迭代,直至符合迭代结束条件;

其中,p、m为自然数。

较佳地,当所述第一数据模型的模型参数为初始模型参数时,所述将统计的样本特征值作为训练依据,统计各所述样本特征值与预设的第一阈值的误差还包括,

根据统计的误差,计算所有误差的方差,以方差为变化区间为参考,对所述初始模型参数进行随机计算,得到n个第一代子孙模型参数;

所述第p+1代子孙模型参数为n个,

其中,n为自然数。

较佳地,所述n个第p+1代子孙模型参数按照一定规则或策略分发至各用户侧网络设备。

较佳地,所述数据模型为用于识别图片中的文字信息的卷积神经网络cnn模型;

所述捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作生成上报的差异信息包括,

通过应用程序以编辑的方式修正根据图片识别结果所生成的文本中的文字,并记录文本中每个文字在图片中的坐标区域,

将识别有误的文字所在坐标区域进行抠图,

将识别有误的文字、修正后的文字、以及抠图作为上报的差异信息;或者,将抠图之后的图片应用所述用于识别图片中的文字信息的cnn模型进行识别,将该模型输出的图片特征向量作为上报的差异信息。

较佳地,所述数据模型为用于识别语音中的文字信息的cnn模型;

所述捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作生成上报的差异信息包括,

通过应用程序以编辑的方式修正根据语音识别所生成的文本中的文字,并记录文字和语音时间段的对应关系,

根据记录的对应关系查找识别有误的文字所在语音时间段;

将识别的错误文字、修正后的文字、以及查找的语音时间段内的语音频谱特征向量作为上报的差异信息。

较佳地,所述数据模型为用于人脸识别的cnn模型;

所述用户侧网络设备部署的第一数据模型输出结果为,通过人工智能算法应用部署的人脸识别cnn模型对图片进行人脸识别、且按照人脸识别所得到分组,其中,识别结果相同的为同一分组;

所述捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作生成上报的差异信息包括,

如果是合并操作,则将合并分组后的各图片i的特征向量oi作为上报的差异信息,并标识该差异信息为过敏;

如果是删除操作,则将所删除图片其隶属分组中各图片i的特征向量oi、以及所删除图片的特征向量作为上报的差异信息,并标识该差异信息为低敏;

其中,i为自然数。

较佳地,所述数据模型为用于图片分类识别的cnn模型;

所述用户侧网络设备部署的第一数据模型输出结果为,通过人工智能算法应用部署的图片分类识别cnn模型对图片进行识别、且按照识别类别所得到的分类,其中,识别结果相同的为同一分类;

所述捕获用户侧设备应用程序对于输出结果的纠错操作,基于纠错操作生成上报的差异信息包括,

如果是分类错误操作,则将被移动图片移动前所属第一分类中所有图片的特征向量、移动后的所属第二分类中所有图片的特征向量、以及被移动图片的特征向量作为上报的差异信息,并标识该差异信息为过敏;

如果是不包含在分类操作,则将删除前所属第一分类中所有图片的特征向量、以及被删除的图片的特征向量作为上报的差异信息,并标识该差异信息为低敏。

较佳地,所述数据模型为用于视频中物体识别的cnn模型;

所述用户侧网络设备部署的第一数据模型输出结果为,通过人工智能算法应用部署用于视频中物体识别cnn模型将视频中的i帧作为图片进行识别、且按照识别类别所得到的分类,其中,识别结果相同的为同一分类。

较佳地,所述将统计的样本特征值作为训练依据,统计各所述样本特征值与预设的第一阈值的误差包括,

分析每一图片i的特征向量oi与作为理想值的所述第一阈值oi’的差值di,

其中,

所述第一阈值基于分类正确图片的特征向量统计信息进行计算得到,当错误信息为过敏标识时,则降低所述第一阈值;当错误信息为低敏时,则提高所述第一阈值。

本发明一方面提供的一种数据模型的训练装置,该装置包括,

统计模块,统计来自各用户侧网络设备上报的差异信息,该差异信息为用户侧网络设备部署的第一数据模型输出结果与期望结果的差异,

训练模块,将统计的差异信息作为训练依据,调整第一数据模型的模型参数,

分发模块,将调整后的模型参数分发至各用户侧网络设备,使得用户侧网络设备部署的第一数据模型按照分发的模型参数更新。

较佳地,所述统计模块还包括,定期统计来自各用户侧网络设备中具有第p代子孙模型参数的第一数据模型所输出样本特征值;

所述训练模块还包括,

遗传算法模块,将统计的样本特征值作为训练依据,统计各所述样本特征值与预设第一阈值的误差;按照所述误差最小的原则,定期选择出m对第一数据模型的模型参数;将m对第一数据模型的模型参数按照遗传算法进行杂交,得到第p+1代子孙模型参数;将所述第p+1代子孙模型参数作为所述调整后的模型参数;重复进行迭代,直至符合迭代结束条件;其中,p、m为自然数。

较佳地,当所述第一数据模型的模型参数为初始模型参数时,所述将统计的样本特征值作为训练依据,统计各所述样本特征值与预设的第一阈值的误差还包括,

根据统计的误差,计算所有误差的方差,以方差为变化区间为参考,对所述初始模型参数进行随机计算,得到n个第一代子孙模型参数;

所述第p+1代子孙模型参数为n个,

其中,n为自然数。

较佳地,所述分发模块还包括,所述n个第p+1代子孙模型参数按照一定规则或策略分发至各用户侧网络设备。

其中,所述数据模型为cnn模型,所述模型参数为系数向量。

本发明另一方面提供一种网络侧设备,包括存储器和处理器,其中,

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序,实现所述的数据模型训练方法。

本发明又一方面提供一种存储介质,存储有实现所述的数据模型训练方法的计算机程序。

本申请实施例通过收集来自各个用户侧网络设备上报的具有差异特性的差异信息来作为训练样本数据,避免了获取用户的私人数据,解决了训练数据模型所需训练数据的隐私问题,有效地保护了用户数据的隐私性,间接地丰富了训练数据的来源;通过差异信息的收集可实现定期对数据模型的训练,更新数据模型的模型参数,使得数据模型的训练更有效、更准确。

附图说明

图1为图1为cnn模型示意图;

图2为本实施例的一种组网结构。

图3为实施例1基于图2的组网结构对cnn模型进行训练的一种流程示意图。

图4为通过app来对存储于用户侧网络设备的照片进行删除错误照片和合并相册操作的一种示意。

图5为通过app来对通过用户侧网络设备部署的训练后cnn模型识别后的图像进行操作的一种示意。

图6为实施例2网络侧服务器处理的一种流程图。

图7为本实施例4的网络侧服务器的一种示意图。

图8为本实施例5的网络侧服务器的一种示意图。

图9为本发明实施例的训练装置的一种示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。

针对训练数据大数据量的需求与因私密性需求而难以获得数据样本质量高的矛盾,兼顾训练数据所要求的广泛性以及私有性,本申请通过收集来自用户侧网络设备上报的具有差异特性的差异信息,将差异信息作为训练依据对数据模型的模型参数进行调整,从而达到对数据模型进行训练的目的,并定期对训练模型的模型参数进行更新。进一步地,基于对差异信息的分析优选出杂交因子,利用遗传算法来更新数据模型,使得数据模型的训练结果趋向准确。

实施例1

cnn模型为深度学习算法模型之一,其复杂的网络型结构使得其在经过待识别对象的训练数据训练后,可应用于各种对象的识别,以下以用于人脸识别的cnn模型的训练为实施方式来说明。

参见图1所示,图1为cnn模型示意图。对于一个经过训练之后的人脸识别cnn模型,该模型参数为各节点间的系数向量c=[c1,c2,…cn]。任一一张图片i经过cnn模型之后输出的结果(数据)为特征向量oi=[o1,o2,o3…on]。

为提高训练cnn模型的训练效率,避免服务器负载过大,均衡服务器的负载分担,实施方式之一,按照功能来在网络侧部署相应的功能服务器,参见图2所示,图2为本实施例的一种组网结构。其中,应用服务器用于向用户侧网络设备提供应用服务,包括且不限于应用程序的下载、数据模型的下载、插件等,该服务器可以被用户侧网络设备所访问;信息服务器用于统计、分析来自用户侧上报信息,包括且不限于图片特征信息、错误类型、误差信息、用户点击率等;算法服务器用于根据信息服务器上报的统计信息完成数据模型的训练、遗传算法的迭代,并将更新的数据模型参数下发送应用服务器。设备为用户侧网络设备,可接入网络,相当于网络中分布式网络节点,例如,nas(networkattachedstorage)设备。

参见图3所示,图3为实施例1基于图2的组网结构对cnn模型进行训练的一种流程示意图。

步骤301,将初始模型部署至用户侧网络设备,即,将具有模型参数c0=[c01,c02,…c0n]的第0代cnn模型安装于用户侧网络设备,其中,0表示第0代模型,c0表示训练后的初始模型各节点间的系数向量;具体方式上,可以通过服务器下载,例如,通过应用服务器下载,也可以在用户侧网络设备出厂时直接配置。

当图片被存储于用户侧网络设备时,例如,用户将照片存储于家用nas设备,用户侧网络设备通过人工智能算法应用部署的人脸cnn模型对存储的图片进行人脸识别,然后按照人脸识别的结果分组存储,将识别结果相同的分在同一组,例如,识别结果为人脸1的图片存储于人脸相册a,识别结果为人脸2的图片存储于人脸相册b…..。这些分组存储的人脸相册可通过智能终端应用程序(app)进行呈现。

步骤302,通过捕获用户使用app对图片进行的纠错操作,来获得通过cnn模型所识别的人脸结果与期望结果之间的差异,即,获得当前cnn模型识别结果与期望识别结果的差异,

具体实现为,通过相册的变化、相册中图片的删除来捕获用户对图片的操作。例如,对于人脸相册,通常错误的情况是:多分和错分。多分指的是同一人物被识别成两个人、或者多个人而建立多个相册,错分是指将不同人物的照片识别成一个,这样,app提供两种操作:合并相册和删除相册中的错误照片。类似地,可以通过app的开发以提供给用户更多的纠错操作。

参见图4所示,图4示出了通过app来对存储于用户侧网络设备的照片进行删除错误照片和合并相册操作的一种示意。当图片存储于用户侧网络设备上时,用户侧网络设备通过ai算法应用部署的当前cnn模型对存储的图片进行人脸识别,并按照识别的结果分组存储于人脸相册中。用户通过运行智能终端中的app程序,对人脸相册进行纠错操作,例如,发现人脸相册c所存储的照片与人脸相册b所存储的照片是同一人物,用户操作人脸相册c和b合并为人脸相册b,该操作通过检测人脸相册的变化而捕获到;发现照片3是另一人物的照片,用户对该照片进行删除,该操作通过人脸相册a中被删除的图片而捕获到。

步骤303,智能终端app基于纠错操作生成错误信息,向用户侧网络设备报告,用户侧网络设备将出错图片i的特征向量oi上报至信息服务器,具体为,

如果是合并操作,上报合并后的人脸相册中各图片i的特征向量oi,例如,图4中上报合并后的人脸相册b中各图片i的特征向量oi;并标识该错误信息为“过敏”;

如果是删除操作,上报所删除图片其隶属相册中各图片i的特征向量oi、以及所删除照片的特征向量,例如,图4中上报人脸相册a中各图片i的特征向量oi以及被删除图片3的特征向量;并标识该错误信息为“低敏”;

步骤304,信息服务器存储所有的上报信息,并综合所有的上报信息,上报至算法服务器。

步骤305,对于每一上报信息,算法服务器分析每一出错图片i的特征向量oi与作为理想值的第一阈值oi’的差值di。所述第一阈值基于分类正确图片的特征向量统计信息进行计算得到,当错误信息为过敏标识时,则降低识别该图片的理想值,即,降低所述第一阈值,当错误信息为低敏时,则提高识别该图片的理想值,即,提高第一阈值。

例如,以来自一nas设备上报信息为例:

当服务器收到来自nas上报的信息:纠错操作类型为删除和/或低敏标识、被删除图片i特征向量oi、被删除图片i其隶属相册x中各图片的特征向量,则将被删除图片i其隶属相册x中各图片视为正确分类的图片,基于所述各图片的特征向量的统计计算,得到该相册的特征向量的统计值,并根据操作的类型和/或低敏标识,降低所述统计值,得到被删除图片i理想值的第一阈值oi’,计算被删除图片i的特征向量与第一阈值之间的差值di,

根据该差值di,可反向调节cnn网络向量c=[c1,c2…,cn](例如,使用梯度下降法),产生新的模型参数。

对于服务器端,当服务器收到来自nas上报的信息:纠错操作类型为合并和/或过敏标识、第一相册和第二相册所有图片特征向量,则将合并后的相册中的所有图片视为正确分类的图片,基于合并后相册中的所有图片特征向量的统计计算,得到合并后相册图片的特征向量的统计值,并根据操作的类型和/或过敏标识,提高所述统计值,得到合并相册中所有图片理想值的第一阈值oi’,计算并统计合并相册中各图片i的特征向量与第一阈值oi’之间的差值di

根据统计的差值di,可反向调节cnn网络向量c=[c1,c2…,cn](例如,使用梯度下降法),产生新的模型参数。

又例如,以来自一nas设备上报信息为例:

当服务器收到来自nas上报的信息:纠错操作类型为删除、底库图片(标准图片)特征向量ox、被删除图片i特征向量oi、判决门限,则可以根据该纠错操作类型判断被删除图片i与底库图片特征向量的距离dxi过小,即,理想值应该大于判决门限,由此可基于判决门限,确定出目标以导出当前dxi与理想值d’xi之间的误差:

其中,g为误差计算函数;

dxi=f(ox,oi),f为距离计算函数(如:欧式距离,)

根据误差,可反向调节cnn网络向量c=[c1,c2…,cn](例如,使用梯度下降法),产生新的模型参数。

当服务器收到来自nas上报的信息:纠错操作类型为合并、第一相册底库图片特征向量ox或第二相册底库图片特征向量oy、第一相册x或第二相册y任一图片特征向量、判决门限,则可以根据该纠错操作类型判断该图片与底库图片的特征向量的距离过大,即,理想值d’xi或d’yi应该小于判决门限,由此,可基于判决门限,确定出理想值d’xi或d’yi,可以导出当前dxi与理想值d’xi的之间的第一误差,或者,当前dyi与理想值d’yi之间的第二误差。

当服务器收到来自nas上报的信息:纠错操作类型为合并、第一相册底库图片特征向量ox以及第二相册底库图片特征向量oy、第一相册任一图片特征向量以及第二相册任一图片特征向量、判决门限,则可以根据该纠错操作类型判断合并的两相册中图片与其底库图片的特征向量的距离过大,即,理想值d’xi、d’yi应该小于判决门限,由此,可基于判决门限,确定出理想值,可以导出当前dxi与理想值d’xi之间的第一误差、dyi与理想值d’yi之间的第二误差;

将得到的第一误差与第二误差进行平均,得到平均误差,基于该平均误差可反向调节cnn网络向量c=[c1,c2…,cn](例如,使用梯度下降法),产生新的模型参数。

当服务器收到来自nas上报的信息:纠错操作类型为合并、第一相册底库图片特征向量ox或第二相册底库图片特征向量oy、第一相册所有图片特征向量或者第二相册所有图片特征向量、判决门限,则可以根据该纠错操作类型判断相册中的各个图片与底库图片的特征向量的距离过大,即,理想值d’xi或d’yi应该小于判决门限,由此,可基于判决门限,确定出理想值,可以分别导出第一相册中各图片dxi与理想值d’xi之间的第一误差、或者导出第二相册中各图片dyi与理想值d’yi之间的第二误差;

将得到的第一误差或第二误差进行统计,得到统计误差,基于该统计误差可反向调节cnn网络向量c=[c1,c2…,cn](例如,使用梯度下降法),产生新的模型参数。

当服务器收到来自nas上报的信息:纠错操作类型为合并、第一相册底库图片特征向量ox以及第二相册底库图片特征向量oy、第一相册所有图片特征向量以及第二相册所有图片特征向量、判决门限,则可以根据该纠错操作类型判断合并的相册中的各个图片与底库图片的特征向量的距离过大,即,理想值d’xi、d’yi应该分别小于判决门限,由此,可基于判决门限,确定出理想值,可以分别导出第一相册中各图片dxi与理想值d’xi之间的第一误差、以及导出第二相册中各图片dyi与理想值d’yi之间的第二误差;

将得到的第一误差以及第二误差进行统计,得到统计误差,基于该统计误差可反向调节cnn网络向量c=[c1,c2…,cn](例如,使用梯度下降法),产生新的模型参数。

这样,算法服务器定期统计所有nas上报的所有差值di,计算所有错误信息的方差,以方差为变化范围为参考,对初始模型的系数向量c0(第0代系数向量)进行随机计算后得到调整后的n个系数向量,将该n个系数向量作为第一代子孙系数向量,分别记为c11,c12,..c1n。

步骤306,算法服务器将第一代子孙系数向量发送给应用服务器,并设置迭代次数的初始值,例如,记录迭代次数p为1;

应用服务器接收后,按照一定规则或策略将第一代子孙系数向量分发给各用户侧网络设备。

步骤307,用户侧网络设备按照第一代子孙系数向量更新当前cnn模型,即,在用户侧网络设备部署第一代cnn模型;

用户侧网络设备通过人工智能算法应用部署的当前人脸cnn模型对存储的图片进行人脸识别,然后按照人脸识别的结果分组存储,将识别结果相同的分在同一组。在该步骤中,所存储的图片可以是针对新存储的图片,也可以进一步包括步骤301已进行识别过的图片,也可以不包括步骤301已进行识别过的图片。

步骤308,智能终端通过捕获用户使用app对图片进行的纠错操作,来获得当前第p代cnn模型所识别的人脸结果与期望结果之间的差异,并将智能终端app基于纠错操作生成错误信息,向用户侧网络设备报告,用户侧网络设备将出错图片i的特征向量oi上报至信息服务器,所述与步骤303相同;

步骤309,信息服务器存储所有的上报信息,并综合所有的上报信息,上报至算法服务器。

步骤310,算法服务器根据所有差值,定期选择出差值最小的m对用户侧网络设备,将该m对用户侧网络设备中所部署的当前cnn模型的系数向量作为遗传优选因子,即,按照识别结果误差最小的原则,从第p代子孙系数向量中选择的m对系数向量;

步骤311,算法服务器按照遗传算法将选择出的m对系数向量分别进行杂交,即,一对系数向量内的两两系数向量进行杂交,得到n个第p+1代子孙系数向量,然后再将该代子孙系数向量发送给应用服务器。

应用服务器将第p+1代子孙系数向量按照一定规则或策略分发给各用户侧网络设备,用户侧网络设备按照当前子孙系数向量更新当前cnn模型后,返回执行步骤308,如此反复执行步骤308~311,直至到达预设的迭代次数或者统计的差值达到预期并到达稳定时,可认定当前的cnn模型达到理想,则完成cnn模型的训练。

本实施例中,对于cnn模型的训练调整并不用获取用户的图片数据本身,而是通过cnn模型使用过程中通过app反馈的错误信息和错误信息所相关照片的特征向量,来对cnn模型进行训练,有效地保护了私有数据;通过捕获用户特定操作进行数据训练改进,相对于现有cnn网络训练中使用的少数人员手动或机器事先标注图片进行训练的方式,本实施例的训练依据客观性强,避免了现有训练数据主观性强、标准单一的缺陷,体现了人群的多样性和标准多样性;通过遗传算法对分布于各用户侧的各cnn模型的更迭,相当于使用了分布式网络进行遗传算法计算改进,能更有效获取实际场景数据,优于只能获取部分数据信息的集中训练数据模型的方式;用户侧网络设备以私有云设备分布于用户家庭或办公场景中,数据更具有多样性,更客观地反映了真实的用户场景数据样本,通过该方案训练的模型更贴近用户真实使用。

实施例2:

以下以用于图像分类的cnn模型的训练为实施方式来说明。

将初始模型部署至用户侧网络设备,即,将具有模型参数c0=[c01,c02,…c0n]的第0代cnn模型安装于用户侧网络设备,其中,0表示第0代模型,c0表示训练后的初始模型各节点间的系数向量;具体方式上,可以通过服务器下载,例如,通过应用服务器下载,也可以在用户侧网络设备出厂时直接配置。

当图片被存储于用户侧网络设备时,用户侧网络设备通过人工智能算法应用部署的cnn模型对存储的图片进行识别,然后按照识别的结果分类存储,将识别结果相同的分在同一类,例如,人物类、风景类、动物类等等。

通过捕获用户使用app对图片进行的纠错操作,来获得通过cnn模型所识别的结果与期望结果之间的差异,即,获得当前cnn模型识别结果与期望识别结果的差异;

参见图5所示,图5示出了通过app来对通过用户侧网络设备部署的训练后cnn模型识别后的图像进行操作的一种示意。

对于图像分类,错误的情况存在两种:分类错误,和不包含在分类中。对于分类错误,例如,图示所示的照片4本应归类于分类3,则可以通过操作移动照片到正确的分类3;对于不包含在分类中的情况,可以选择删除。

智能终端app基于纠错操作生成错误信息,向用户侧网络设备报告,用户侧网络设备将出错图片i的特征向量oi上报至网络侧服务器,具体为,

如果是分类错误:上报原来所属第一分类中所有图片的特征向量、移动后的所属第二分类中所有图片的特征向量、以及被移动图片自身的特征向量,以用于进行理想值的统计。

如果是不包含在分类中:上报原来所属第一分类中所有图片的特征向量、以及被删除的图片自身的特征向量;以用于进行理想值的统计。

参见图6,图6为实施例2网络侧服务器处理的一种流程图。

步骤601,网络侧服务器收集并存储来自用户侧网络设备当前数据模型输出结果与期望结果的差异信息,即,存储所有的上报信息,

步骤602,对于每一上报信息,网络侧服务器分析每一出错图片i的特征向量oi与作为理想值的第一阈值oi’的差值di。所述第一阈值基于分类正确图片的特征向量统计信息进行计算得到。

步骤603,网络侧服务器定期统计所有差值di作为误差信息,计算所有错误信息的方差,以方差为变化范围为参考,对初始模型的系数向量c0(第0代系数向量)进行随机计算后得到调整后的n个系数向量,将该n个系数向量作为第一代子孙系数向量,分别记为c11,c12,..c1n。

步骤604,网络侧服务器设置迭代次数的初始值,例如,记录迭代次数p为1;按照一定规则或策略将第一代子孙系数向量分发给各用户侧网络设备。

步骤605,用户侧网络设备按照第一代子孙系数向量更新当前cnn模型,即,在用户侧网络设备部署第一代cnn模型;

步骤606,智能终端通过捕获用户使用app对图片进行的纠错操作,来获得当前第p代cnn模型识别结果与期望结果之间的差异,并将智能终端app基于纠错操作生成错误信息,向用户侧网络设备报告,用户侧网络设备将出错图片i的特征向量oi上报至信息服务器,所述与步骤601相同;

步骤607,网络侧服务器根据所有差值,定期选择出差值最小的m对用户侧网络设备,将该m对用户侧网络设备中所部署的当前cnn模型的系数向量作为遗传优选因子,即,按照识别结果误差最小的原则,从第p代子孙系数向量中选择的m对系数向量;

步骤608,网络侧服务器按照遗传算法将选择出的m对系数向量进行杂交,得到n个第p+1代子孙系数向量;

步骤609,将p+1代子孙系数向量按照一定规则或策略分发给各用户侧网络设备。

步骤610,判断是否达到预设的迭代次数,或者误差值是否达到预期,如果是,则结束,否则,返回步骤606,如此反复执行步骤606~~步骤610,直至到达预设的迭代次数或者统计的差值达到预期并到达稳定时,可认定当前的cnn模型达到理想,则完成cnn模型的训练。

实施例3:

以下以用于视频中的物体识别的cnn模型的训练为实施方式来说明。

视频物体识别是从视频流中抽取一帧数据,一般是i帧(关键帧),将i帧视为图像,通过训练后的cnn模型进行识别,具体过程与图片的识别相似,如果识别为人物或者其他分类,则根据i帧生成图片(如jpg),然后保存在相应视频图库,或者将该帧所在的视频时段按照一段时间进行保存,例如将第n到第n+m帧保存。

当app对识别结果进行纠正操作时,对于错误处理与实施例1或2类似,如果是人物识别,可以按照实施例1中的错误信息上报;如果是分类识别,可以按照实施例2中的错误信息上报。

对于cnn模型的模型参数的训练和迭代过程,与实施例1或实施例2相同。

实施例4:

以下以用于文字识别的cnn模型的训练为实施方式来说明。

将文本以图片形式呈现,这样,通过训练后的cnn模型来识别图片中的文字,从而实现了文字的识别,即识别出图片中的文字内容。

将初始模型部署至用户侧网络设备,具体方式上,可以通过服务器下载,例如,通过应用服务器下载,也可以在用户侧网络设备出厂时直接配置。

将文字转化为图片存储于用户侧网络设备,用户侧网络设备通过人工智能算法应用部署的cnn模型对存储的图片进行识别。

参见图7所示,图7为本实施例4的网络侧服务器的一种示意图。

步骤701,通过捕获用户使用app对图片进行的纠错操作,来获得通过cnn模型所识别的结果与期望结果之间的差异,即,获得当前cnn模型识别结果与期望识别结果的差异;具体为,

用户通过app以编辑的方式修正根据图片识别内容所生成的文本中的文字,并记录文本中每个文字在图片中的坐标区域,即,当用户发现文本识别有误,通过手动编辑文本,删除错误并写入正确文字,此时app上报错误,将识别有误的文字所在坐标区域抠图上报,并同时上报错误识别的文字和修正后的文字给用户侧网络设备。

用户侧网络设备将上报的抠图、错误识别的文字、修正后的文字作为训练依据,上报至网络侧服务器;

步骤702,网络侧服务器定期进行各用户侧网络设备上报错误的统计,基于上报的训练依据对cnn模型的模型参数进行调整,将调整后的模型参数按照一定规则或策略分发给各用户侧网络设备。

上述实施方式中,由于使用抠图上报,而没有将整个文字作为训练数据,这样使得单个文字不会成隐私侵犯,有利于隐私的保护;同时对于cnn模型采用了具有差错样本的数据作为训练依据,能够使得cnn模型的训练更拟合实际的情况,训练的效率和准确性得到提高。

另一种方式,将原始图片抠图之后的图片特征向量和/或抠图本身图片、以及错误识别的文字、修正后的文字进行上报,其中,原始图片抠图之后的图片和/或抠图本身图片应用cnn模型进行识别,由cnn模型输出而得到该图片的特征向量oi(识别后的向量)。对于cnn模型的模型参数的训练和迭代过程,与实施例1或实施例2相同。这种方式由于只上报了图片的特征向量而不需上报图片数据本身,有利于保护数据的隐私,结合遗传算法的迭代来进行模型的训练,有利于提高训练的效率和模型训练的准确性。

实施例5:

以下以用于语音识别的cnn模型的训练为实施方式来说明。

语音识别是将语音输入至训练后的cnn模型,通过训练后的cnn模型将输入的语音内容识别出来,即通过训练后的cnn模型语音识别成文字。

将初始模型部署至用户侧网络设备,具体方式上,可以通过服务器下载,例如,通过应用服务器下载,也可以在用户侧网络设备出厂时直接配置。

用户侧网络设备通过人工智能算法应用部署的cnn模型对存储的语音进行识别,并将识别的语音内容以文字文本存储。

参见图8所示,图8为本实施例5的网络侧服务器的一种示意图。

步骤801,通过捕获用户使用app对文字文本进行的纠错操作,来获得通过cnn模型所识别的结果与期望结果之间的差异,即,获得当前cnn模型识别结果与期望识别结果的差异;具体为,

用户通过app以编辑的方式修正根据语音识别所生成的文本中的文字,并记录文字和语音时间段的对应关系,比如“你好”,记录时间点为0:0.89,即从0秒到0.89秒。当发现识别错误,将识别的错误文字、修正后的文字、以及该段语音的频谱特征向量上报至用户侧网络设备。

用户侧网络设备将识别的错误文字、修正后的文字、以及该段语音的频谱特征向量作为训练依据,上报至网络侧服务器;

步骤802,网络侧服务器定期进行各用户侧网络设备上报错误的统计,基于上报的训练依据对cnn模型的模型参数进行调整,将调整后的模型参数按照一定规则或策略分发给各用户侧网络设备。

在本实施例中,通过上报的差错样本数据以及频谱特征向量作为训练依据,而不上报语音数据本身,有利于保护数据隐私,同时,有利于提高cnn模型的训练效率和准确性。

在上述本申请实施例中,用户侧网络设备和智能终端可以合为一体,例如,用户侧网络设备的功能集成于智能终端,或者,将智能终端的app安装于所能支持的用户侧网络设备,不论何种形式,所应理解的是,所述用户侧网络设备、智能终端、或者云系统中服务于用户的应用都视为为用户提供业务服务的用户侧设备。

参见图9所示,图9为本申请实施例的一种训练装置,该装置包括,

统计模块,统计来自各用户侧网络设备上报的差异信息,该差异信息为用户侧网络设备部署的第一数据模型输出结果与期望结果的差异,

训练模块,将统计的差异信息作为训练依据,调整第一数据模型的模型参数,

分发模块,将调整后的第二数据模型的模型参数分发至各用户侧网络设备,使得用户侧网络设备部署的第一数据模型按照分发的模型参数更新。

所述统计模块还包括,定期统计来自各用户侧网络设备中具有第p代子孙模型参数的第一数据模型所输出样本特征值;

所述训练模块还包括,

遗传算法模块,将统计的样本特征值作为训练依据,统计各所述样本特征值与预设第一阈值的误差;按照所述误差最小的原则,定期选择出m对第一数据模型的模型参数;将m对第一数据模型的模型参数按照遗传算法进行杂交,得到第p+1代子孙模型参数;将所述第p+1代子孙模型参数作为所述第二数据模型的模型参数;重复进行迭代,直至符合迭代结束条件;其中,p、m为自然数。

当所述第一数据模型的模型参数为初始模型参数时,所述将统计的样本特征值作为训练依据,统计各所述样本特征值与预设的第一阈值的误差还包括,

根据统计的误差,计算所有误差的方差,以方差为变化区间为参考,对所述初始模型参数进行随机计算,得到n个第一代子孙模型参数;

所述第p+1代子孙模型参数为n个,

其中,n为自然数。

所述分发模块还包括,所述n个第p+1代子孙模型参数按照一定规则或策略分发至各用户侧网络设备。

所述数据模型为cnn模型,所述模型参数为系数向量。

按照本发明实施例提供的一种网络侧设备,例如,服务器,包括存储器和处理器,其中,

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序,实现所述的数据模型训练方法。

存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例还提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:

统计模块,计来自各用户侧网络设备上报的差异信息,该差异信息为用户侧网络设备部署的第一数据模型输出结果与期望结果的差异,

将统计的差异信息作为训练依据,调整第一数据模型的模型参数,

将调整后的第二数据模型的模型参数分发至各用户侧网络设备,使得用户侧网络设备部署的第一数据模型按照分发的模型参数更新。

本发明实施例提供的存储介质,训练调整并不获取用户的图片数据本身,而是通过app反馈的错误信息和错误信息所相关样本特征向量,来对数据模型进行训练,有效地保护了私有数据;通过捕获用户特定操作进行数据训练改进,相对于现有数据模型训练中使用的少数人员手动或机器事先标注的方式,本实施例的训练依据客观性强,避免了现有训练数据主观性强、标准单一的缺陷,体现了人群的多样性和标准多样性;通过遗传算法对分布于各用户侧的各数据模型的更迭,相当于使用了分布式网络进行遗传算法计算改进,能更有效获取实际场景数据,通过该方案训练的模型更贴近用户真实使用。

对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

需要说明的是,本发明所提供的数据模型训练方法的实施例,可不限于上述实施方式,数据模型可以不限于cnn模型,其他需要进行训练的数据模型均可采用。

在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1