一种标注样本确定方法、装置、机器可读介质及设备与流程

[0001]
本发明涉及人工智能领域，具体涉及一种标注样本确定方法、装置、机器可读介质及设备。


背景技术：

[0002]
近年来，不断涌现的机器学习与深度学习的多种算法模型在人工智能领域取得了迅速发展，其中深度学习技术，在计算机视觉，语音识别，自然语言处理等领域都取得了很好的成果。
[0003]
这些深度学习技术使用的模型多数是基于大量参数的神经网络，在模型训练的过程中，为了更好的拟合其中参数，往往都需要巨量的标注数据进行训练。而在细分领域的工业界应用这些深度学习算法，使用已有的公用数据进行建模往往并不能达到最优的效果。对于不同的应用领域使用不同的训练数据是当今工业界的普遍做法，原因在于这种做法可以使得训练样本集的概率分布情况接近真实值，训练处的模型效果也更好。而在计算机视觉，语音识别，自然语言处理等领域中，想要获取新的标注数据，只有使用人工对大量图片，语音，文本数据进行标注获取标签，对于时间成本和人力成本的消耗都极高。同时在训练模型的过程中，过于庞大的训练样本集也会导致较长的训练时间和较慢的迭代速度。因此，在训练迭代的过程中，如果我们能够找到合适的、对模型修正效果最佳的样本子集，那么我们就可以同时减少标注成本和训练成本。这对于机器学习和深度学习模型都能带来巨大的提升，使得我们可以在保证模型精度的同时，显著降低模型迭代所消耗的成本。


技术实现要素：

[0004]
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种标注样本确定方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
[0005]
为实现上述目的及其他相关目的，本发明提供一种标注样本确定方法，包括：
[0006]
获取经过预训练的分类模型以及分类目标；
[0007]
重复下述步骤迭代更新所述分类模型，直至满足预设停止条件，将满足预设停止条件时对应的样本集作为待标注样本集；
[0008]
利用所述分类模型对样本集中的样本进行预测，得到每个样本属于每个分类目标的分类得分；
[0009]
对每个样本属于每个分类目标的分类得分进行融合排序，得到多个融合排序结果；
[0010]
从所述多个融合排序结果中确定待标注样本集；
[0011]
利用所述待标注样本集更新所述分类模型。
[0012]
可选地，使用多个主动学习策略分别对每个样本属于每个分类目标的分类得分进行融合排序，每一个主动学习策略对应一个融合排序结果。
[0013]
可选地，从所述多个融合排序结果中确定待标注样本集，包括：
[0014]
从每个融合排序结果中确定出第一待标注样本子集，得到多个第一待标注样本子集；
[0015]
对所述多个第一待标注样本子集求交集，得到第一待标注样本集；
[0016]
从所述样本集中确定出第一待标注样本集以外的样本作为第二待标注样本集；
[0017]
则所述待标注样本集包括第一待标注样本集和第二待标注样本集。
[0018]
可选地，从每个融合排序结果中确定出前top(n*c/(m+1))个样本作为第一待标注样本子集，其中，n表示样本集中样本的个数，c表示第一待标注样本子集的样本数占相应融合排序结果中样本数的比例，m为主动学习策略的个数。
[0019]
可选地，从所述样本集中随机选择出第一待标注样本集以外的n*c/(m+1)个样本作为第二待标注样本集。
[0020]
可选地，所述预设停止条件为：
[0021]
所述分类模型的评价指标达到停止条件；
[0022]
或所述迭代次数达到设定次数。
[0023]
为实现上述目的及其他相关目的，本发明提供一种标注样本确定装置，包括：
[0024]
模型获取模块，用于获取经过预训练的分类模型以及分类目标；
[0025]
模型训练模块，用于迭代更新所述分类模型，直至满足预设停止条件，将满足预设停止条件时对应的样本集作为待标注样本集；
[0026]
所述模型训练模块包括：
[0027]
分类得分获取子模块，用于利用所述分类模型对样本集中的样本进行预测，得到每个样本属于每个分类目标的分类得分；
[0028]
融合排序子模块，用于对每个样本属于每个分类目标的分类得分进行融合排序，得到多个融合排序结果；
[0029]
待标注样本确定子模块，用于从所述多个融合排序结果中确定待标注样本集；
[0030]
模型更新子模块，用于利用所述待标注样本集更新所述分类模型。
[0031]
可选地，所述融合排序子模块使用多个主动学习策略分别对每个样本属于每个分类目标的分类得分进行融合排序，每一个主动学习策略对应一个融合排序结果。
[0032]
可选地，所述待标注样本确定子模块，包括：
[0033]
第一待标注样本子集确定单元，用于从每个融合排序结果中确定出第一待标注样本子集，得到多个第一待标注样本子集；
[0034]
运算单元，用于对所述多个第一待标注样本子集求交集，得到第一待标注样本集；
[0035]
第二待标注样本集确定单元，用于从所述样本集中确定出第一待标注样本集以外的样本作为第二待标注样本集；
[0036]
则所述待标注样本集包括第一待标注样本集和第二待标注样本集。
[0037]
可选地，所述第一待标注样本子集确定单元从每个融合排序结果中确定出前top(n*c/(m+1))个样本作为第一待标注样本子集，其中，n表示样本集中样本的个数，c表示第一待标注样本子集的样本数占相应融合排序结果中样本数的比例，m为主动学习策略的个数。
[0038]
可选地，所述第二待标注样本集确定单元从所述样本集中随机选择出第一待标注样本集以外的n*c/(m+1)个样本作为第二待标注样本集。
[0039]
可选地，所述预设停止条件为：
[0040]
所述分类模型的评价指标达到停止条件；
[0041]
或所述迭代次数达到设定次数。
[0042]
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
[0043]
一个或多个处理器；和
[0044]
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
[0045]
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
[0046]
如上所述，本发明提供的一种标注样本确定方法、装置、机器可读介质及设备，具有以下有益效果：
[0047]
本发明的一种标注样本确定方法，包括：获取经过预训练的分类模型以及分类目标；重复下述步骤迭代更新所述分类模型，直至满足预设停止条件，将满足预设停止条件时对应的样本集作为待标注样本集；利用所述分类模型对样本集中的样本进行预测，得到每个样本属于每个分类目标的分类得分；对每个样本属于每个分类目标的分类得分进行融合排序，得到多个融合排序结果；从所述多个融合排序结果中确定待标注样本集；利用所述待标注样本集更新所述分类模型。本发明可以显著减少训练模型所需要的专家标注量，节约人力成本，提高单位标注的效益，快速迭代模型，并且区别于单策略主动学习方案，使由于单一策略的融合排序所产生的高权重样本被遗漏的问题，得到有效解决。
附图说明
[0048]
图1为本发明一实施例一种标注样本确定方法的流程图；
[0049]
图2为本发明一实施例从所述多个融合排序结果中确定待标注样本集的方法流程图；
[0050]
图3为本发明一实施例一种标注样本确定装置的硬件结构示意图；
[0051]
图4为本发明一实施例待标注样本确定子模块的硬件结构示意图；
[0052]
图5为本发明一实施例中终端设备的硬件结构示意图；
[0053]
图6为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
[0054]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0055]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0056]
如图1所示，一种标注样本确定方法，包括：
[0057]
s11获取经过预训练的分类模型以及分类目标；
[0058]
s12利用所述分类模型对样本集中的样本进行预测，得到每个样本属于每个分类目标的分类得分；
[0059]
s13对每个样本属于每个分类目标的分类得分进行融合排序处理，得到多个融合排序处理结果；
[0060]
s14从所述多个融合排序结果中确定待标注样本集；
[0061]
s15利用所述待标注样本集更新所述分类模型；
[0062]
s16重复步骤s12～s15对所述分类模型进行迭代更新，直至满足预设停止条件，将满足预设停止条件时对应的样本集作为待标注样本集。
[0063]
通过本发明在多个图像分类的任务上，使用较少的标注样本，就可以达到使用全集的训练效果，节约了大量的样本标注量。
[0064]
需要说明的是，在第一次对样本集中的样本进行预测的时候是用最开始的经过预训练的分类模型对样本集中的样本进行预测；而在第二次以及后续对样本集中的样本进行预测的进候是利用更新后的分类模型预测的。
[0065]
在步骤s11中，记经过预训练的分类模型为model_1，具有k个分类目标target，即将一张图片输入到分类模型model_1中，可以得到k个分类得分。比如，若有4个分类目标，即将一张图片输入到分类模型model_1中，可以得到4个分类得分，如a1,a2,a3,a4，这4个分类得分相加为1。
[0066]
在步骤s12中，使用所述分类模型对样本集中的样本进行预测，即使用分类模型对样本集dataset_1进行一次预测/推理，得到数据集内每个样本属于每个分类目标的分类得分p
ij
(i∈[1,n],j∈[1,k])，i表示第i个样本,j表示属于第k个分类。
[0067]
在步骤s13中，对每个样本属于每个分类目标的分类得分进行融合排序处理，得到融合排序处理结果。若包括2个分类目标，则可以将2个分类目标的分类得分进行融合，然后将融合后的分类得分进行排序。一般来说，是按分类得分的大小对样本集中的样本进行排序。
[0068]
例如，若分类目标包括猫和狗2个分类目标，样本集中包括5个样本。
[0069]
表1
[0070] 猫狗样本10.50.5样本20.20.8样本30.80.2样本40.90.1样本51.00
[0071]
若对表1所示的分类目标的分类得分进行融合处理，可以将每个样本属于猫的概率减去属于狗的概率，得到融合处理结果，再将融合处理结果进行排序，得到融合排序处理结果，如表2所示。
[0072]
表2
[0073][0074][0075]
表2采用的是猫的概率减去狗的概率，当然也可以采用其他的算法例如相乘、相除等。
[0076]
当然，若包括多个分类目标，则可以采用多个分类目标的分类得分或者从多个分类目标中选择其中的几个分类目标的分类得分进行融合排序处理。
[0077]
在一实施例中，使用多个主动学习策略分别对每个样本属于每个分类目标的分类得分进行融合排序，每一个主动学习策略对应一个融合排序结果。
[0078]
其中，可以选择m个主动学习策略，用s
i
(i∈[1,m])表示，主动学习策略可以是bvssb、coreset等。当然也可以自定义新的策略对每个样本属于每个分类目标的分类得分进行融合排序处理。
[0079]
在一实施例中，如图2所示，从所述多个融合排序结果中确定待标注样本集，包括：
[0080]
s21从每个融合排序结果中确定出第一待标注样本子集，得到多个第一待标注样本子集；
[0081]
其中，在确定第一待标注样本子集的时候，是从每个融合排序结果中确定出前top(n*c/(m+1))个样本作为第一待标注样本子集，其中，n表示样本集中样本的个数，c表示第一待标注样本子集的样本数占相应融合排序结果中样本数的比例，m为主动学习策略的个数。
[0082]
s22对所述多个第一待标注样本子集求交集，得到第一待标注样本集；
[0083]
s23从所述样本集中确定出第一待标注样本集以外的样本作为第二待标注样本集；
[0084]
s24将所述第一待标注样本集加上第二待标注样本集得到待标注样本集。
[0085]
其中，在确定第二待标注样本集的时候，是从所述样本集中随机选择出第一待标注样本集以外的n*c/(m+1)个样本作为第二待标注样本集。
[0086]
因此，所述待标注样本集包括第一待标注样本集和第二待标注样本集，即第一待标注样本集加上第二待标注样本集。
[0087]
在一实施例中，所述预设停止条件为：
[0088]
所述分类模型的评价指标达到停止条件，其中，在每一次迭代更新所述分类模型的过程中，都需要对分类模型的评价指标进行计算，其中，评价指标可以用metric，当评价指标metric达到设定值时，就停止更新分类模型，将此时确定出的样本集作为待标注样本集。
[0089]
当然，也可以采用其他指标来停止更新所述分类模型，例如迭代次数，当迭代次数
达到设定次数时，就停止更新分类模型，将此时确定出的样本集作为待标注样本集。
[0090]
本发明通过多种不同策略的融合结果，产生主动学习出的待标注样本，主要解决的问题在于消除单一算法的偏差，并引入随机性修正主动学习带来的分布差异，可以规避单一主动学习策略的系统性误差，提升模型效果，减少过拟合。
[0091]
如图3所示，一种标注样本确定装置，包括：
[0092]
模型获取模块31，用于获取经过预训练的分类模型以及分类目标；
[0093]
模型训练模块32，用于迭代更新所述分类模型，直至满足预设停止条件，将满足预设停止条件时对应的样本集作为待标注样本集；
[0094]
所述模型训练模块包括：
[0095]
分类得分获取子模块321，用于利用所述分类模型对样本集中的样本进行预测，得到每个样本属于每个分类目标的分类得分；
[0096]
融合排序子模块322，用于对每个样本属于每个分类目标的分类得分进行融合排序，得到多个融合排序结果；
[0097]
待标注样本确定子模块323，用于从所述多个融合排序结果中确定待标注样本集；
[0098]
模型更新子模块324，用于利用所述待标注样本集更新所述分类模型。
[0099]
通过本发明在多个图像分类的任务上，使用较少的标注样本，就可以达到使用全集的训练效果，节约了大量的样本标注量。
[0100]
在一实施例中，所述融合排序子模块使用多个主动学习策略分别对每个样本属于每个分类目标的分类得分进行融合排序，每一个主动学习策略对应一个融合排序结果。
[0101]
在一实施例中，如图4所示，所述待标注样本确定子模块，包括：
[0102]
第一待标注样本子集确定单元41，用于从每个融合排序结果中确定出第一待标注样本子集，得到多个第一待标注样本子集；
[0103]
运算单元42，用于对所述多个第一待标注样本子集求交集，得到第一待标注样本集；
[0104]
第二待标注样本集确定单元43，用于从所述样本集中确定出第一待标注样本集以外的样本作为第二待标注样本集；
[0105]
则所述待标注样本集包括第一待标注样本集和第二待标注样本集。
[0106]
在一实施例中，所述第一待标注样本子集确定单元从每个融合排序结果中确定出前top(n*c/(m+1))个样本作为第一待标注样本子集，其中，n表示样本集中样本的个数，c表示第一待标注样本子集的样本数占相应融合排序结果中样本数的比例，m为主动学习策略的个数。
[0107]
在一实施例中，所述第二待标注样本集确定单元从所述样本集中随机选择出第一待标注样本集以外的n*c/(m+1)个样本作为第二待标注样本集。
[0108]
在一实施例中，所述预设停止条件为：
[0109]
所述分类模型的评价指标达到停止条件；
[0110]
或所述迭代次数达到设定次数。
[0111]
在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。
[0112]
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存
储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
[0113]
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
[0114]
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
[0115]
可选的，上述第一处理器1101例如可以为中央处理器(central processing unit，简称cpu)、应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
[0116]
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
[0117]
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
[0118]
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
[0119]
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
[0120]
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0121]
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
[0122]
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
[0123]
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
[0124]
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
[0125]
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
[0126]
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
[0127]
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
[0128]
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中，该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登录gprs网络，通过互联网与服务器建立通信。
[0129]
由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。
[0130]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。