一种基于小样本条件的开集识别方法及系统

1.本发明属于图像识别技术领域，尤其涉及一种基于小样本条件的开集识别方法及系统。


背景技术：

2.在近十年中，神经网络技术已经成为了计算机视觉领域的主流方法，在诸如图像分类、目标检测、图像分割等领域的研究有着广泛的应用。然而深度神经网络技术在实际应用时却依旧面临着诸多挑战，其中“开集识别(open set learning-osr)”与“小样本(few short learning-fsl)”问题一直是实际工程应用中面临的难题。
3.现有技术中，模型的开集风险取决于学习到的特征的完备性，越完备的特征可以形成越收缩的决策边界，模型的开集识别风险就越小，而完备特征的学习需要涵盖某类目标所有情况下的数据，这在在小样本条件下是难以实现的，并且数据图片的标注需要耗费极大的人力物力。


技术实现要素：

4.本发明提供一种基于小样本条件的开集识别方法及系统，用于至少解决开集识别模型在小样本条件下识别精度低以及需要标注样本类别造成识别过程复杂的技术问题。
5.第一方面，本发明提供一种基于小样本条件的开集识别方法，包括：获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；根据所述至少一个已知类别图片对预先构建的fsor模型进行闭集训练，使得到第一识别模型；基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
6.第二方面，本发明提供一种基于小样本条件的开集识别系统，包括：获取模块，配置为获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；第一训练模块，配置为根据所述至少一个已知类别图片对预先构建的fsor模型进行闭集训练，使得到第一识别模型；判断模块，配置为基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；混合模块，配置为若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；第二训练模块，配置为根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
7.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于小样本条件的开集识别方法的步骤。
8.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本发明任一实施例的基于小样本条件的开集识别方法的步骤。
9.本技术的基于小样本条件的开集识别方法及系统，在识别模型训练中增加不进行数据标注的开集数据集作为所有已知类数据的负样本，使得识别模型对于某个已知类别的学习不再只限制于类间差异的对比，以此增加识别模型学习到的知识，从而提高识别模型在小样本条件下识别精度。
附图说明
10.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本发明一实施例提供的一种基于小样本条件的开集识别方法的流程图；图2为本发明一具体实施例提供的fsor模型的总体框架图；图3为本发明一具体实施例提供的开集适应性训练流程图；图4为本发明一实施例提供的一种基于小样本条件的开集识别系统的结构框图；图5是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
12.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
13.请参阅图1，其示出了本技术的一种基于小样本条件的开集识别方法的流程图。
14.如图1所示，在步骤s101中，获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；在步骤s102中，根据所述至少一个已知类别图片对预先构建的fsor模型进行闭集训练，使得到第一识别模型；在步骤s103中，基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；在步骤s104中，若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；在步骤s105中，根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
15.综上，本技术的方法，在识别模型训练中增加不进行数据标注的开集数据集作为所有已知类数据的负样本，使得识别模型对于某个已知类别的学习不再只限制于类间差异的对比，以此增加识别模型学习到的知识，从而提高识别模型在小样本条件下识别精度。
16.在一些可选的实施例中，本方法还包括：基于所述混合训练集中某一未知类别图片对所述第二识别模型进行验证，使计算所述第二识别模型的开集识别精度，其中所述某一未知类别图片不为所述至少一个未知类别图片；判断所述第二识别模型的开集识别精度是否大于预设精度阈值；若所述第二识别模型的开集识别精度大于预设精度阈值，则训练结束并保存所述第二识别模型；若所述第二识别模型的开集识别精度不大于预设精度阈值，则基于所述混合训练集中的至少一个图片对所述第二识别模型进行开集自适应训练。
17.在一个具体实施例中，本技术提供如图2所示的fsor（few-shot open-set recognition-小样本开集识别）模型的总体框架。
18.本技术的fsor模型框架中的特征提取网络结构均采用迁移学习策略。输入图片经过特征提取的对应表达式为：，式中，为输入图片，为特征提取网络迁移的模型预训练参数，为特征提取网络输出的特征向量。
19.并且fsor模型为每一个类别设计了一个独立的分类器，在输出端使用激活函数对分类器的输出进行独立归一化到0到1之间，对于第i类别的预测概率可以表达为：，式中，为第i个类别，为当输入为时，对于而言的预测概率，为属于类别的独立分类网络，为第i个独立分类网络的模型参数，为特征提取网络输出的特征向量。
20.需要说明的是，针对每一个独立分类器的输出，使用二值交叉熵函数进行单独构建误差损失，对应的损失计算为：，式中，为输入时某个与正确标签之间产生的误差损失，为训练批次，为第k个输入图片，为第i个类别，为第k个图片的正确标签，为独立分类网络的个数，为当输入为时，对于而言的预测概率。
21.请参阅图3，其示出了本技术的一具体实施例提供的开集适应性训练流程图。
22.如图3所示，基于小样本条件的开集识别方法的具体步骤为：
step1：构建fosr模型，并在闭集条件下训练模型，直至模型收敛，保存模型。
23.step2：使用图3中所示的未知类图片
‘’
对step1中保存的模型进行开集测试，并将高于开集阈值的图片保存。
24.step3：将闭集训练集内的图片与step2中保存的图片进行混合，并用于模型训练，直至模型收敛，保存模型，其中，在训练过程中step2保存的未知类图片作为负样本数据。
25.step4：将step3保存的模型使用开集验证集进行模型验证，计算模型的开集识别精度。
26.step5：重复step2和step4直至模型的开集识别精度达到预期要求后保存最终模型，训练结束。
27.在开集测试过程中，选取模型在闭集验证集中有95%以上的样本被分类正确的预测置信度a作为基准阈值，在基准阈值的基础上留取10%的开集裕度，选取b作为开集测试的开集阈值。当输入样本的预测值大于开集阈值时被判定为开集样本，反之为闭集样本。本技术在step2中使用step1中训练好的模型对未知类图片进行自动筛选，不仅使得获取的负样本图片对模型开集性能的改善更具有针对性，还增加了系统的智能化，大大降低了人的工作量。
28.在一个具体实施例中，为了使实验更贴合实际工程应用中所面临的小样本问题，本技术制作了一个小样本数据集（fewdataset
‑‑
fds）。其中，一共包含了100类实际环境中的物品，每类物品采集20张图片，划分5张作为训练集，15张作为验证集。随机从100类中选取10类作为闭集类别用作模型训练，剩余类作为开集类别，用于验证模型的开集性能。
29.同时，本技术收集了一个不做类别分类的未知类数据集（unknowndataset
‑‑
uds）用于开集适应性训练，其中只包含图片，不包含对应的类别标签。值得指出的是，该未知类数据集与本技术制作的小样本数据集之间在类别上不存在交集。
30.此外，本技术还使用imagenet1k数据集测试了fsor模型的osr性能，为了满足小样本的实验条件，本技术随机从imagenet1k的1000个类别中选取了10个类别作为闭集类别，在剩余的990类中，划分400类作为开集类别，剩余590类别作为未知类，命名该数据集为imagenet-crop。
31.在闭集类别对应的训练集图片内选随机抽取100张图片，按照2:8的比例划分闭集类的训练集和测试集。此外，开集类包括20000张图片，未知类包括29500张图片。
32.为了说明本技术提出的fsor模型结构和开集适应性训练的设计对原有模型改进的有效性，本技术设计了消融实验进行对比分析。
33.fsor模型中每一个独立分类网络独通过sigmoid函数激活输出，可以看做是逻辑回归的二分类任务，因此设定开集拒判阈值为0.5，即模型对应最大的类别预测概率小于0.5时判断为开集类，反之为已知类。其中，fsor模型的特征提取网络以mobilenet模型为例。对比结果如表4-1所示：
表4-1的实验结果表明，使用softmax损失函数时模型在fds和imagenet-crop数据集上的均具有较高的闭集精度，但是模型的osr精度仅为39.35%和27.71%。模型在使用sigmoid函数时对模型的osr性能有所提高，但依旧存在极大的开集风险。而本技术提出的fsor模型在同样的条件下既保证了较高的闭集精度，同时对模型的osr性能有了极大的提升，在fds和imagenet-crop上的osr精度分别提升至92.75%和89.78%。
34.为了测试开集适应性训练对模型osr性能的影响，本技术在mobile+sigmoid和fsor模型的闭集训练基础上进行了模型的开集适应性训练。实验的对比结果如表4-2所示：表4-2中，（k+）表示模型加入开集适应性训练后的实验结果。实验结果表明，mobilenet+sigmoid组加入开集适应性训练后，模型在fds和imagenet1k数据集上的osr精度分别提升至90.56%和96.25%，fsor组也提升至97.63%和98.24%。因此，本技术提出的开集适应性训练对模型的osr性能具有极大的提升。同时，本技术设计的fsor模型相比于直接使用sigmoid的方法对模型的开集性能的提升更具有优势。
35.本技术设计了与其它osr算法在fds和imagenet-crop数据集上的开集精度对比。为了公平，在实验中均使用mobilenet特征提取网络进行实验，并且迁移在imagenet1k上的预训练模型参数，实验对比结果如表4-3所示：
表4-3的实验表明，在fds数据集下，相比于传统模型使用softmax函数的情况下，ampfl、slcpl、slcpl、arpl、gcpl等算法均将模型的osr精度提高至70%以上，对比传统模型使用softmax时有近一倍的精度提高，并且相比于sigmoid方法，精度最低的ampfl算法依旧高出10%左右。本技术提出的fsor模型算法在不进行开集自适应训练时，osr精度为92.75%，优于slcpl算法的78.08%，在进行开集自适应训练后，精度达到97.63%。
36.随着数据集的复杂化，在imagenet-crop数据集上ampfl、slcpl、slcpl、arpl、gcpl等算法，在复杂小样本条件下，并无法有效的改进模型的osr风险，而本技术提出的fsor模型在不进行开集适应性训练的情况下osr精度依旧达到89.78%，远高于arpl算法的54.69%。此外，fsor模型在进行开集自适应训练后，osr精度提高至98.24%。从对比实验可以看出，本技术提出的fsor模型算法和开集自适应训练方式达到了最高的osr精度，在复杂小样本条件下依旧可以有效地降低模型的osr风险。
37.请参阅图4，其示出了本技术的一种基于小样本条件的开集识别系统的结构框图。
38.如图4所示，开集识别系统200，包括获取模块210、第一训练模块220、判断模块230、混合模块240以及第二训练模块250。
39.其中，获取模块210，配置为获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；第一训练模块220，配置为根据所述至少一个已知类别图片对预先构建的fsor模型进行闭集训练，使得到第一识别模型；判断模块230，配置为基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；混合模块240，配置为若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；第二训练模块250，配置为根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
40.应当理解，图4中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图4中的诸模块，在此不再赘述。
41.在另一些实施例中，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行上述任意方法实施例中的基于小样本条件的开集识别方法；作为一种实施方式，本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令设置为：获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；根据所述至少一个已知类别图片对预先构建的fsor模型进行闭集训练，使得到第一识别模型；基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
42.计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于小样本条件的开集识别系统的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至基于小样本条件的开集识别系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
43.图5是本发明实施例提供的电子设备的结构示意图，如图5所示，该设备包括：一个处理器310以及存储器320。电子设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器320为上述的计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于小样本条件的开集识别方法。输入装置330可接收输入的数字或字符信息，以及产生与基于小样本条件的开集识别系统的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
44.上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
45.作为一种实施方式，上述电子设备应用于基于小样本条件的开集识别系统中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；
根据所述至少一个已知类别图片对预先构建的fsor模型进行闭集训练，使得到第一识别模型；基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
46.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
47.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。