基于小样本目标对象缺陷检测的方法、装置、电子设备与流程

1.本技术涉及机器学习领域，尤其涉及一种基于小样本目标对象缺陷检测的方法、装置、电子设备。


背景技术：

2.电力设备中的各个部件，如变压器，其正常运转与稳定供电是电力系统的基础保障。然而，在自身质量或外界条件影响下，变压器中常会出现漏油、锈蚀等缺陷，直接威胁到变压器的稳定运行。而在变电站实际维修巡检中，常常通过人工定期巡检来监测变压器的异常，耗费人力成本且容易产生安全事故，不能很好满足高效且精准的检测需求。
3.随着人工智能技术的发展，数据驱动型的智能化检测技术由于其安全且可靠的检测结果逐渐占据了电力设备检测的主导地位。然而，在工业生产中，在工业生产中，研究人员往往很难获得大量用于模型训练学习的变压器缺陷样本，即正样本，大部分样本都是无缺陷的正常样本，即负样本，这就带来了正负样本严重失衡的问题，进而限制了智能检测，比如电力设备缺陷检测的精度和定位。
4.因此，相关技术中存在针对某一电力器件的正负样本严重失衡，导致电力设备缺陷检测的精度较低且定位不准的问题。


技术实现要素：

5.本技术提供了一种基于小样本目标对象缺陷检测的方法、装置、电子设备，以至少解决相关技术中存在针对某一电力器件的正负样本严重失衡，导致电力设备缺陷检测的精度较低且定位不准的问题。
6.根据本技术实施例的一个方面，提供了一种基于小样本目标对象缺陷检测的方法，该方法包括：获取待检测的目标对象的目标图像信息；将所述目标图像信息输入目标检测模型中，得到所述目标对象对应缺陷的检测结果，其中，所述目标检测模型用于对所述目标对象缺陷类别进行检测，所述目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，所述中间检测模型是通过对初始检测模型的初始模型参数进行调整后得到的，所述检测结果内包含所述目标对象所属缺陷类别和所述缺陷相应的位置信息。
7.根据本技术实施例的另一个方面，还提供了一种基于小样本目标对象缺陷检测的装置，该装置包括：第一获取单元，用于获取待检测的目标对象的目标图像信息；输入单元，用于将所述目标图像信息输入目标检测模型中，得到所述目标对象对应缺陷的检测结果，其中，所述目标检测模型用于对所述目标对象缺陷类别进行检测，所述目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，所述中间检测模型是通过对初始检测模型的初始模型参数进行调整后得到的，所述检测结果内包含所述目标对象所属缺陷类别和所述缺陷相应的位置信息。
8.可选地，该装置还包括：第二获取单元，用于在所述将所述目标对象输入目标检测模型中之前，获取初始对象的初始图像信息，其中，所述初始图像信息为训练所述初始检测
模型的样本集；处理单元，用于利用预设缺陷处理方案对所述初始图像信息进行处理，得到初始样本数据集，其中，所述初始样本数据集内包含所述初始图像信息属于第一缺陷类别的标注信息和所述初始对象上对应的缺陷所处在的目标位置；划分单元，用于将所述初始样本数据集划分为第一数据集和第二数据集；生成单元，用于利用所述第一数据集训练所述初始检测模型，生成所述中间检测模型，其中，所述第一数据集中不包含目标类别缺陷数据；测试单元，用于利用所述第二数据集对所述中间检测模型进行测试，生成所述目标检测模型，其中，所述第二数据集中包含所述目标类别缺陷数据。
9.可选地，处理单元包括：获取模块，用于获取多个预设缺陷图片大小和预设缺陷标定方案；第一处理模块，用于根据所述预设缺陷图片大小和所述预设缺陷标定方案对所述初始图像信息进行位置标定和类别划分处理，得到所述初始样本数据集。
10.可选地，生成单元包括：选取模块，用于从所述第一数据集中选取预设个类别数量的第一子数据集和除了所述预设个类别数量之外的第二子数据集，其中，所述第一子数据集和所述第二子数据集均为所述第一数据集的子集；第一输入模块，用于将所述第一子数据集输入第一模型，得到所述预设个类别的区域特征，其中，所述第一模型用于对所述第一子数据集内属于每个类别下的感兴趣区域的框选；第一计算模块，用于对所述每个类别下的所述区域特征计算均值，得到所述预设个类别对应的类别模板集；第二输入模块，用于将所述第二子数据集输入第二模型，得到原始特征图，其中，所述第二模型用于图像特征提取；第二计算模块，用于利用注意力机制对目标类别模板集执行激活函数的运算，并将运算后的目标类别模板集与所述原始特征图进行元素乘法计算，得到目标类特征图，其中，所述目标类别模板集为所述类别模板集的子集，所述目标类别模板集包含至少一种类别模板，所述目标类特征图为利用所述注意力机制增强所述目标类别模板集内的类别模板的关键区域后，所得到的特征图；第二处理模块，用于利用区域生成网络、池化层对所述目标类特征图进行特征向量处理，得到目标特征向量；第三处理模块，用于利用全连接层对所述类别模板集进行处理，得到参考特征向量；结合模块，用于将所述注意力机制与所述参考特征向量相结合，得到结合后的特征向量；增强模块，用于将结合后的特征向量增强所述目标特征向量，得到增强后的目标特征向量；第四处理模块，用于利用所述全连接层对所述增强后的目标特征向量进行处理，得到所述中间检测模型。
11.可选地，第二处理模块包括：第一生成子单元，用于利用区域生成网络从所述目标类特征图中生成目标区域框；处理子单元，用于将所述目标区域框与所述原始特征图结合后利用所述池化层进行池化处理，得到所述目标特征向量。
12.可选地，第四处理模块包括：输出子单元，用于利用所述全连接层对所述增强后的目标特征向量进行处理，并利用二分类器输出属于所述第一缺陷类别的概率值，利用边界框回归器输出预测所述初始对象中出现缺陷对应的参考位置；得到子单元，用于根据所述概率值和所述参考位置调整所述初始模型参数，直到所述概率值大于或者等于预设阈值，且所述参考位置为所述目标位置之后，则停止调整所述初始模型参数，得到所述中间检测模型，其中，所述预设阈值为利用所述中间检测模型对所述初始图像信息进行处理后，能够输出所述标注信息的最小数值。
13.可选地，第一输入模块包括：选取子单元，用于从所述初始样本数据集中选取出不同缺陷类别对应的目标区域；第二生成子单元，用于将所述目标区域分别设置在多个所述
初始对象上，生成多个参考图像信息；增加子单元，用于将所述参考图像信息增加到所述第一子数据集中，得到扩充样本数据后的第三子数据集；输入子单元，用于将所述第三子数据集输入所述第一模型，得到所述预设个类别的区域特征。
14.可选地，测试单元包括：第三输入模块，用于将所述第二数据集输入所述中间检测模型，得到输出结果；调整模块，用于基于所述输出结果调整所述中间检测模型的所述模型参数，得到调整后的目标检测模型。
15.根据本技术实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
16.根据本技术实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
17.在本技术实施例中，通过获取待检测的目标对象的目标图像信息；将目标图像信息输入目标检测模型中，得到目标对象对应缺陷的检测结果，其中，目标检测模型用于对目标对象缺陷类别进行检测，目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，中间检测模型是通过对初始检测模型的初始模型参数进行调整后得到的，检测结果内包含目标对象所属缺陷类别和缺陷相应的位置信息。由于本技术实施例将获取到的目标图像信息输入训练好的目标检测模型，然后得到该目标图像内存在部件缺陷的缺陷类别和缺陷所在位置，因该目标检测模型是对初始检测模型以及中间检测模型进行不断的模型参数调整，利用元学习机制，学会学习不同类别任务中共性特征的能力，在面对新的小样本学习任务时，通过较小的微调就能较好地进行检测定位，从而有效地提高了小样本的目标对象正负样本失衡，致使设备缺陷检测精度低且定位不准的问题。
附图说明
18.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
20.图1是根据本发明实施例的一种可选的基于小样本目标对象缺陷检测的方法的硬件环境的示意图；
21.图2是根据本技术实施例的一种可选的基于小样本目标对象缺陷检测的方法的流程示意图；
22.图3是根据本技术实施例的一种可选的元学习策略示意图；
23.图4是根据本技术实施例的一种可选的小样本目标对象缺陷检测方法模型示意图；
24.图5是根据本技术实施例的一种可选的基于小样本目标对象缺陷检测的方法的整体流程示意图；
25.图6是根据本技术实施例的一种可选的基于小样本目标对象缺陷检测的装置的结构框图；
26.图7是根据本技术实施例的一种可选的电子设备的结构框图。
具体实施方式
27.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
28.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.电力设备中，如变压器的正常运转与稳定供电是电力系统的基础保障。然而，在自身质量或外界条件影响下，变压器中常会出现漏油、锈蚀等缺陷，直接威胁到变压器的稳定运行。
30.随着人工智能技术的发展，数据驱动型的智能化检测技术由于其安全且可靠的检测结果逐渐占据了电力设备检测的主导地位。然而，在工业生产中，研究人员往往很难获得大量用于学习的变压器缺陷样本，这就带来了正负样本比例严重失衡的问题，进而限制了智能检测的精度。由此可见，利用小样本学习来研究变压器缺陷检测方法有重要的理论意义和实用价值。
31.目前针对小样本变压器缺陷图像的检测技术研究较少，而在自然图像领域，国内外专家学者针对小样本学习的相关难点问题则提出了一些成效显著的实现方案。一般而言，小样本学习通常从数据和模型两个角度来进行解决方案的划分。前者从小样本数据较少这一问题作为出发点，通过数据增强方法来对小样本进行数据扩充来获得更多训练数据，缓解模型过拟合，不过它常用作辅助手段来泛化模型，针对变电站场景需要有针对性地设计数据增强方式；后者从模型优化着手，常见的为基于度量学习的策略，其主要通过相似样本对可获得高分而不相似样本对获得低分这一原则来进行参数优化。度量学习虽然可以映射样本至一个好的嵌入空间，但是当小样本与其他样本相关度极低时，它可能无法很好地工作。
32.为了解决上述问题，根据本技术实施例的一个方面，提供了一种基于小样本目标对象缺陷检测的方法。可选地，在本实施例中，上述基于小样本目标对象缺陷检测的方法可以应用于如图1所示的硬件环境中。如图1所示，终端102中可以包含有存储器104、处理器106和显示器108(可选部件)。终端102可以通过网络110与服务器112进行通信连接，该服务器112可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器112上或
独立于服务器112设置数据库114，用于为服务器112提供数据存储服务。此外，服务器112中可以运行有处理引擎116，该处理引擎116可以用于执行由服务器112所执行的步骤。
33.可选地，终端102可以但不限于为可以计算数据的终端，如移动终端(例如手机、平板电脑)、笔记本电脑、pc(personal computer，个人计算机)机等终端上，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、wifi(wireless fidelity，无线保真)及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。
34.此外，在本实施例中，上述基于小样本目标对象缺陷检测的方法还可以但不限于应用于处理能力较强大的独立的处理设备中，而无需进行数据交互。例如，该处理设备可以但不限于为处理能力较强大的终端设备，即，上述基于小样本目标对象缺陷检测的方法中的各个操作可以集成在一个独立的处理设备中。上述仅是一种示例，本实施例中对此不作任何限定。
35.可选地，在本实施例中，上述基于小样本目标对象缺陷检测的方法可以由服务器112来执行，也可以由终端102来执行，还可以是由服务器112和终端102共同执行。其中，终端102执行本技术实施例的基于小样本目标对象缺陷检测的方法也可以是由安装在其上的客户端来执行。
36.以运行在服务器为例，图2是根据本技术实施例的一种可选的基于小样本目标对象缺陷检测的方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
37.步骤s201，获取待检测的目标对象的目标图像信息；
38.步骤s202，将目标图像信息输入目标检测模型中，得到目标对象对应缺陷的检测结果，其中，目标检测模型用于对目标对象缺陷类别进行检测，目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，中间检测模型是通过对初始检测模型的初始模型参数进行调整后得到的，检测结果内包含目标对象所属缺陷类别和缺陷相应的位置信息。
39.可选地，本技术实施例是基于初始检测模型已经训练好后得到的目标检测模型进行的电力设备的缺陷检测，其主要应用为：服务器首先获取待检测的目标对象的目标图像信息，其中，目标对象可以是变压器，也可以是其他任一电力设备，在本技术实施例中，可以以变压器作为目标对象进行后续的解释说明。
40.然后将获取到的目标图像信息输入到训练好的目标检测模型内，进而利用目标检测模型输出检测结果，这时服务器就能得到目标对象对应覆盖的缺陷的检测结果。需要说明的是，这里的目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，中间检测模型是通过对初始检测模型的初始模型参数进行调整后得到的，这里的初始检测模型其实就是对最初还未进行训练前的模型，而中间检测模型其实就是对初始检测模型再进行下参数调整得到的模型，而对中间检测模型再进行参数调整，即可最终得到目标检测模型。
41.在基于目标检测模型得到检测结果后，基于该检测结果就可以确定目标对象所属缺陷类别和缺陷相应的位置信息。
42.在本技术实施例中，通过获取待检测的目标对象的目标图像信息；将目标图像信息输入目标检测模型中，得到目标对象对应缺陷的检测结果，其中，目标检测模型用于对目标对象缺陷类别进行检测，目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，中间检测模型是通过对初始检测模型的初始模型参数进行调整后得到的，检测结果
内包含目标对象所属缺陷类别和缺陷相应的位置信息。由于本技术实施例将获取到的目标图像信息输入训练好的目标检测模型，然后得到该目标图像内存在部件缺陷的缺陷类别和缺陷所在位置，因该目标检测模型是对初始检测模型以及中间检测模型进行不断的模型参数调整，利用元学习机制，学会学习不同类别任务中共性特征的能力，在面对新的小样本学习任务时，通过较小的微调就能较好地进行检测定位，从而有效地提高了小样本的目标对象正负样本失衡，致使设备缺陷检测精度低且定位不准的问题。
43.作为一种可选实施例，在将目标对象输入目标检测模型中之前，方法还包括：
44.获取初始对象的初始图像信息，其中，初始图像信息为训练初始检测模型的样本集；
45.利用预设缺陷处理方案对初始图像信息进行处理，得到初始样本数据集，其中，初始样本数据集内包含初始图像信息属于第一缺陷类别的标注信息和初始对象上对应的缺陷所处在的目标位置；
46.将初始样本数据集划分为第一数据集和第二数据集；
47.利用第一数据集训练初始检测模型，生成中间检测模型，其中，第一数据集中不包含目标类别缺陷数据；
48.利用第二数据集对中间检测模型进行测试，生成目标检测模型，其中，第二数据集中包含目标类别缺陷数据。
49.可选地，在本技术实施例的初始检测模型训练方面，利用元学习策略(分为元训练和元验证两个阶段)，针对不同子学习任务，通过支持集和查询集来更新参数优化学习能力，训练faster rcnn基础检测模型，学习到不同检测子任务的共性特征，掌握基础的小样本缺陷检测能力。测试阶段，输入待检测变压器图像，微调该模型使其快速适应新的检测任务，即可利用拥有小样本查询能力的faster rcnn检测器进行变压器缺陷识别与定位。
50.具体地，首先采集到多个历史存储的变压器图像，基于预先设定的图片大小与缺陷标定规则对图像进行裁剪分块、标定和存储，构建变压器缺陷的标识数据集，该标识数据集中包含多种类别的缺陷，其中包括无缺陷类、a类缺陷(样本量较少)以及其他类缺陷。其中，a类缺陷可以是一些单一缺陷，比如漏油类；其他类缺陷可以是电力系统异常缺陷类，如腐蚀，多点接地，电线老化，表面裂缝等。本技术实施例通过学习识别不同类缺陷的通用特征来辅助对变压器缺陷的检测。
51.图像采集与处理阶段：服务器获取到初始对象(即任一电力设备，比如变压器)的初始图像信息，该初始图像信息其实就是训练初始检测模型的一些样本集，其中，初始图像信息可以是变压器图像，然后基于上述的预设缺陷处理方案，包括预先设定的图片大小与缺陷标定规则对图像进行裁剪分块、标定和存储，构建初始样本数据集，并获取到初始样本数据集内的初始图像信息属于的缺陷类别，比如属于第一缺陷类别，则在初始样本数据集内存有与第一缺陷类别对应的标注信息以及对应的缺陷所处在的位置信息(即目标位置)。
52.数据划分阶段：为了构建元学习数据集，将初始样本数据集划分为元训练集，即第一数据集(其不含目标类别a类的缺陷数据)和元测试集，即第二数据集(其含目标类别a类的缺陷数据)，两个数据集之间样本类别不相交。
53.利用第一数据集训练初始检测模型，用于生成中间检测模型；利用第二数据集测试和调整中间检测模型，得到目标检测模型。
54.在本技术实施例中，设计的小样本rcnn检测框架结合了元学习的思想，不仅适用于变压器缺陷的小样本检测，还能利用数量较少的其余类别缺陷样本迁移至其他工业缺陷检测任务中，元学习方法提供了一个较好的可微调检测基线。
55.作为一种可选实施例，利用第一数据集用于训练初始检测模型，生成中间检测模型包括：
56.从第一数据集中选取预设个类别数量的第一子数据集和除了预设个类别数量之外的第二子数据集，其中，第一子数据集和第二子数据集均为第一数据集的子集；
57.将第一子数据集输入第一模型，得到预设个类别的区域特征，其中，第一模型用于对第一子数据集内属于每个类别下的感兴趣区域的框选；
58.对每个类别下的区域特征计算均值，得到预设个类别对应的类别模板集；
59.将第二子数据集输入第二模型，得到原始特征图，其中，第二模型用于图像特征提取；
60.利用注意力机制对目标类别模板集执行激活函数的运算，并将运算后的目标类别模板集与原始特征图进行元素乘法计算，得到目标类特征图，其中，目标类别模板集为类别模板集的子集，目标类别模板集包含至少一种类别模板，目标类特征图为利用注意力机制增强目标类别模板集内的类别模板的关键区域后，所得到的特征图；
61.利用区域生成网络、池化层对目标类特征图进行特征向量处理，得到目标特征向量；
62.利用全连接层对类别模板集进行处理，得到参考特征向量；
63.将注意力机制与参考特征向量相结合，得到结合后的特征向量；
64.将结合后的特征向量增强目标特征向量，得到增强后的目标特征向量；
65.利用全连接层对增强后的目标特征向量进行处理，得到中间检测模型。
66.可选地，本技术实施例所采用的元学习策略中数据类及子任务分配示意图如图3所示，其中，一个k way-n shot支持集和一个查询集被采样来创建一个子任务。k为类别，n为类别下被标记数据个数。
67.具体地，数据划分阶段：从第一数据集中选取预设个(即k个)类别的k*n个数量构建一个子任务，作为第一子数据集(即图3中的支持集)，再将第一数据集中除了第一子数据集之外的其他数据组成第二子数据集(即图3中的查询集)，其中，第二子数据集作为模型的预测对象进行输入。
68.第二数据集(即元测试集)与第一数据集一样，如图3，也是包含支持集和查询集，且在每个数据集的各个类别内都只有较少数量的图具有缺陷标记，构成小样本学习问题。每个子任务都是k way-n shot模式。
69.数据增强阶段：在数据方面，由于变压器缺陷区域较小，且利用裁剪的方式可以有效提取出缺陷区域，因此提出了一种复制粘贴(copy and paste)模块来对变压器支持集中各类样本进行数据扩充，增加缺陷样本量，防止模型过拟合，对于小样本目标检测效果显著。
70.具体地，利用copy and paste方法对每个子任务中的支持集进行样本扩充，来增加正样本(缺陷样本)的占比，减小正负样本之间的比例差距：从初始样本数据集中选取出不同规模的缺陷类别对应的目标区域，将目标区域随机粘贴设置在多个别的初始对象背景
图像上，生成多个参考图像信息；
71.再将参考图像信息增加到第一子数据集中，得到扩充样本数据后的第三子数据集，实现从像素级水平上实现获取丰富新颖的训练数据。
72.网络训练阶段：
73.(1)元训练期间，扩展基于faster rcnn检测模型来搭建小样本检测网络，并利用元训练数据集对其训练。具体的缺陷检测方法如图4所示，分别将每个子任务的支持集和查询集作为输入。
74.(a)如附图4上半部分所示，将扩充样本后的第三子数据集输入第一模型(即cnn+区域生成网络(rpn)+roi池化的结构)，生成属于所选的预设k个类别的物体的区域特征；然后，对于k个感兴趣对象类别中的每一个类，计算属于该类对象所对应区域特征向量的均值，作为该类模板fs(如图4中“各类别模板”)，进而得到类别模板集。
75.(b)如图4下半部分所示，将查询集图像(即第二子数据集)输入第二模型faster rcnn中，得到原始特征图；不同于支持集区域特征提取的是，在cnn结构之后，利用注意力机制a来使包含目标的关键区域更突出。其中，注意力机制模块a的具体操作为将经过sigmoid激活函数之后的“类别模板”(即目标类别模板集)与得到的原始特征图fq进行元素乘法来得到目标类特征图。
76.进一步，利用rpn从目标类特征图中生成相对应的roi目标区域框，将目标区域框与原始特征图结合后利用池化层进行池化处理，得到目标特征向量fq1。
77.(c)将支持集所得到的类别模板集向量fs通过全连接层进行通道调整得到参考特征向量fs1；并再次利用设计的注意力机制a结合fs1来增强目标特征向量fq1，得到增强后的目标特征向量，将增强后的目标特征向量通过全连接层映射到样本标记空间，进一步地对初始模型的初始模型参数进行调整，得到中间检测模型。
78.本技术实施例提出了一种复制粘贴的小样本变压器缺陷数据增强方式。通过从正样本中裁出不同规模缺陷类对应的目标区域，来随机粘贴到另一张背景图像上，从像素级水平上实现数据量的扩充，以此平衡正负样本严重失调的比例，能有效地避免模型学习过程中的过拟合，增强模型的泛化能力。同时，本技术实施例充分运用采集到的少量变压器异常缺陷图像与较多正常变压器图像，将自然图像中小样本学习的思想迁移至变压器缺陷检测任务中，基于faster rcnn检测模型，结合了数据增强和元学习的训练方法，来创造性地解决检测模型在小样本限制下检测精度低的问题，进而更有效地实现小样本变压器缺陷检测。
79.作为一种可选实施例，利用全连接层对增强后的目标特征向量进行处理，得到中间检测模型包括：
80.利用全连接层对增强后的目标特征向量进行处理，并利用二分类器输出属于第一缺陷类别的概率值，利用边界框回归器输出预测初始对象中出现缺陷对应的参考位置；
81.根据概率值和参考位置调整初始模型参数，直到概率值大于或者等于预设阈值，且参考位置为目标位置之后，则停止调整初始模型参数，得到中间检测模型，其中，预设阈值为利用中间检测模型对初始图像信息进行处理后，能够输出标注信息的最小数值。
82.可选地，如图4，在全连接层对增强后的目标特征向量进行处理后，可以使用二分类器来判定初始对象是否属于第一缺陷类别，也需要使用边界框回归器来预测初始对象中
出现缺陷的位置信息。
83.最终结合分类识别损失和回归损失作为整体损失，利用元学习策略，在不同子任务上迭代训练查询集的基础检测器得到检测结果，减小损失，优化和调整初始模型，直到概率值大于或者等于预设阈值(比如90％等)，且参考位置为目标位置之后，则停止调整初始模型参数，得到中间检测模型。
84.其中，设置预设阈值是为了将其作为利用中间检测模型对初始图像信息进行处理后，能够输出标注信息的最小数值，参考位置可以是一个矩形框，坐标形式为(x，y，w，h)，其中(x，y)是矩形框左上角坐标，w和h是矩形框的长和宽，这样就可以定位一个矩形框的位置，另外，在本技术实施例中由于将参考位置设置为一个完整的矩形框的精准难度较高，所以本技术实施例将设置一个误差范围，只要参考位置与设置的矩形框的相对位置在该误差范围内即可接受。
85.作为一种可选实施例，利用第二数据集对中间检测模型进行测试，生成目标检测模型包括：
86.将第二数据集输入中间检测模型，得到输出结果；
87.基于输出结果调整中间检测模型的模型参数，得到调整后的目标检测模型。
88.可选地，在元测试阶段，仍基于上述faster rcnn检测模型来进行，但使用包含了a缺陷类别的小样本数据(即元测试数据集)对训练好的中间检测模型进一步微调。微调是指在已训练好的模型参数的基础上，降低学习率对模型的参数做微小的调整。该调整包括对模型所有参数的调整、对模型部分参数的调整。由于在元训练阶段，中间检测模型的模型参数已包含对不同缺陷函数的拟合能力与先验知识，因此微调可以使最终得到的目标检测模型可快速具备对小样本新任务的检测能力。
89.基于上述各个实施例，这里描述一下在得到目标检测模型后的应用场景：如图5所示，采集变压器图像，变压器图像进行区域分块预处理和数据划分，然后对数据进行增强处理，输入网络中，迭代训练变压器缺陷检测模型，得到训练好的目标检测模型。
90.输入待检测变压器图像，利用训练得到的目标检测模型，针对各批次子图像区域进行缺陷检测，判断该图像是否存在该缺陷。
91.若该批次图像中存在缺陷，则存储各区域检测结果，若该批次子图像不存在缺陷，则继续利用目标检测模型对下一批次子图像进行检测，最后合并各批次检测结果图为变压器检测结果，存在缺陷情况则报警并输出检测定位信息；然后继续针对下一待检测变压器图像返回执行目标检测模型的缺陷检测流程。
92.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
93.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储
介质(如rom(read-only memory，只读存储器)/ram(random access memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
94.根据本技术实施例的另一个方面，还提供了一种用于实施上述基于小样本目标对象缺陷检测的方法的基于小样本目标对象缺陷检测的装置。图6是根据本技术实施例的一种可选的基于小样本目标对象缺陷检测的装置的结构框图，如图6所示，该装置可以包括：第一获取单元601，用于获取待检测的目标对象的目标图像信息；输入单元602，用于将目标图像信息输入目标检测模型中，得到目标对象对应缺陷的检测结果，其中，目标检测模型用于对目标对象缺陷类别进行检测，目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，中间检测模型是通过对初始检测模型的初始模型参数进行调整后得到的，检测结果内包含目标对象所属缺陷类别和缺陷相应的位置信息。
95.需要说明的是，该实施例中的第一获取单元601可以用于执行上述步骤s201，该实施例中的输入单元602可以用于执行上述步骤s202。
96.通过上述模块，将获取到的目标图像信息输入训练好的目标检测模型，然后得到该目标图像内存在部件缺陷的缺陷类别和缺陷所在位置，因该目标检测模型是对初始检测模型以及中间检测模型进行不断的模型参数调整，利用元学习机制，学会学习不同类别任务中共性特征的能力，在面对新的小样本学习任务时，通过较小的微调就能较好地进行检测定位，从而有效地提高了小样本的目标对象正负样本失衡，致使设备缺陷检测精度低且定位不准的问题。
97.作为一种可选的实施例，该装置还包括：第二获取单元，用于在将目标对象输入目标检测模型中之前，获取初始对象的初始图像信息，其中，初始图像信息为训练初始检测模型的样本集；处理单元，用于利用预设缺陷处理方案对初始图像信息进行处理，得到初始样本数据集，其中，初始样本数据集内包含初始图像信息属于第一缺陷类别的标注信息和初始对象上对应的缺陷所处在的目标位置；划分单元，用于将初始样本数据集划分为第一数据集和第二数据集；生成单元，用于利用第一数据集训练初始检测模型，生成中间检测模型，其中，第一数据集中不包含目标类别缺陷数据；测试单元，用于利用第二数据集对中间检测模型进行测试，生成目标检测模型，其中，第二数据集中包含目标类别缺陷数据。
98.作为一种可选的实施例，处理单元包括：获取模块，用于获取多个预设缺陷图片大小和预设缺陷标定方案；第一处理模块，用于根据预设缺陷图片大小和预设缺陷标定方案对初始图像信息进行位置标定和类别划分处理，得到初始样本数据集。
99.作为一种可选的实施例，生成单元包括：选取模块，用于从第一数据集中选取预设个类别数量的第一子数据集和除了预设个类别数量之外的第二子数据集，其中，第一子数据集和第二子数据集均为第一数据集的子集；第一输入模块，用于将第一子数据集输入第一模型，得到预设个类别的区域特征，其中，第一模型用于对第一子数据集内属于每个类别下的感兴趣区域的框选；第一计算模块，用于对每个类别下的区域特征计算均值，得到预设个类别对应的类别模板集；第二输入模块，用于将第二子数据集输入第二模型，得到原始特征图，其中，第二模型用于图像特征提取；第二计算模块，用于利用注意力机制对目标类别模板集执行激活函数的运算，并将运算后的目标类别模板集与原始特征图进行元素乘法计算，得到目标类特征图，其中，目标类别模板集为类别模板集的子集，目标类别模板集包含
至少一种类别模板，目标类特征图为利用注意力机制增强目标类别模板集内的类别模板的关键区域后，所得到的特征图；第二处理模块，用于利用区域生成网络、池化层对目标类特征图进行特征向量处理，得到目标特征向量；第三处理模块，用于利用全连接层对类别模板集进行处理，得到参考特征向量；结合模块，用于将注意力机制与参考特征向量相结合，得到结合后的特征向量；增强模块，用于将结合后的特征向量增强目标特征向量，得到增强后的目标特征向量；第四处理模块，用于利用全连接层对增强后的目标特征向量进行处理，得到中间检测模型。
100.作为一种可选的实施例，第二处理模块包括：第一生成子单元，用于利用区域生成网络从目标类特征图中生成目标区域框；处理子单元，用于将目标区域框与原始特征图结合后利用池化层进行池化处理，得到目标特征向量。
101.作为一种可选的实施例，第四处理模块包括：输出子单元，用于利用全连接层对增强后的目标特征向量进行处理，并利用二分类器输出属于第一缺陷类别的概率值，利用边界框回归器输出预测初始对象中出现缺陷对应的参考位置；得到子单元，用于根据概率值和参考位置调整初始模型参数，直到概率值大于或者等于预设阈值，且参考位置为目标位置之后，则停止调整初始模型参数，得到中间检测模型，其中，预设阈值为利用中间检测模型对初始图像信息进行处理后，能够输出标注信息的最小数值。
102.作为一种可选的实施例，第一输入模块包括：选取子单元，用于从初始样本数据集中选取出不同缺陷类别对应的目标区域；第二生成子单元，用于将目标区域分别设置在多个初始对象上，生成多个参考图像信息；增加子单元，用于将参考图像信息增加到第一子数据集中，得到扩充样本数据后的第三子数据集；输入子单元，用于将第三子数据集输入第一模型，得到预设个类别的区域特征。
103.作为一种可选的实施例，测试单元包括：第三输入模块，用于将第二数据集输入中间检测模型，得到输出结果；调整模块，用于基于输出结果调整中间检测模型的模型参数，得到调整后的目标检测模型。
104.此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
105.根据本技术实施例的又一个方面，还提供了一种用于实施上述基于小样本目标对象缺陷检测的方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
106.图7是根据本技术实施例的一种可选的电子设备的结构框图，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信，其中，
107.存储器703，用于存储计算机程序；
108.处理器701，用于执行存储器703上所存放的计算机程序时，实现如下步骤：
109.获取待检测的目标对象的目标图像信息；
110.将目标图像信息输入目标检测模型中，得到目标对象对应缺陷的检测结果，其中，目标检测模型用于对目标对象缺陷类别进行检测，目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，中间检测模型是通过对初始检测模型的初始模型参数进行调
整后得到的，检测结果内包含目标对象所属缺陷类别和缺陷相应的位置信息。
111.可选地，在本实施例中，上述的通信总线可以是pci(peripheral component interconnect，外设部件互连标准)总线、或eisa(extended industry standard architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类别的总线。
112.通信接口用于上述电子设备与其他设备之间的通信。
113.存储器可以包括ram，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
114.作为一种示例，如图7所示，上述存储器703中可以但不限于包括上述基于小样本目标对象缺陷检测的装置中的第一获取单元601、输入单元602。此外，还可以包括但不限于上述基于小样本目标对象缺陷检测的装置中的其他模块单元，本示例中不再赘述。
115.上述处理器可以是通用处理器，可以包含但不限于：cpu(central processing unit，中央处理器)、np(network processor，网络处理器)等；还可以是dsp(digital signal processing，数字信号处理器)、asic(application specific integrated circuit，专用集成电路)、fpga(field－programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
116.此外，上述电子设备还包括：显示器，用于显示基于小样本目标对象缺陷检测的结果。
117.可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
118.本领域普通技术人员可以理解，图7所示的结构仅为示意，实施上述基于小样本目标对象缺陷检测的方法的设备可以是终端设备，该终端设备可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图7其并不对上述电子设备的结构造成限定。例如，终端设备还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示的不同的配置。
119.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、rom、ram、磁盘或光盘等。
120.根据本技术实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行基于小样本目标对象缺陷检测的方法的程序代码。
121.可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
122.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
123.获取待检测的目标对象的目标图像信息；
124.将目标图像信息输入目标检测模型中，得到目标对象对应缺陷的检测结果，其中，目标检测模型用于对目标对象缺陷类别进行检测，目标检测模型是通过对中间检测模型的模型参数进行调整后得到的，中间检测模型是通过对初始检测模型的初始模型参数进行调
整后得到的，检测结果内包含目标对象所属缺陷类别和缺陷相应的位置信息。
125.可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
126.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、rom、ram、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
127.根据本技术实施例的又一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一个实施例中的基于小样本目标对象缺陷检测的方法步骤。
128.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
129.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例基于小样本目标对象缺陷检测的方法的全部或部分步骤。
130.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
131.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
132.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
133.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
134.以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。