一种时序物种进化的小样本目标检测装置及方法

1.本发明涉及一种时序物种进化的小样本目标检测装置，同时涉及相应的小样本目标检测方法，属于计算机视觉技术领域。


背景技术：

2.在过去的几十年里，深度学习的成功促进了传统目标检测问题的突破。然而,深度学习方法大多依赖于大量的标注数据。当标记数据稀缺时，这些模型可能会出现严重过拟合问题而展现出较差的泛化能力。
3.实际场景中，标记数据非常昂贵，而且一些类别的样本甚至难以收集。为了解决这一问题，小样本目标检测已成为研究的前沿问题。在小样本学习问题中，模型基于具有丰富实例的基础类别的知识，使用极少量的新类别图像作为支持来进行训练，可以解决新的任务。但是，小样本学习的研究进展主要集中在图像分类和识别任务上，而挑战性更大的小样本目标检测任务的性能还远远不能令人满意。
4.在现有技术中，小样本目标检测任务所面临的主要问题是因新类别训练样本少而容易出现过拟合现象，重要原因之一是现有的小样本目标检测技术中，新类别训练样本对基础类别的信息和知识继承性差，而且缺乏对新类别的特异性变化，从而导致小样本目标检测技术无法产生足够的高质量的正样本候选区域。


技术实现要素：

5.本发明所要解决的首要技术问题在于提供一种时序物种进化的小样本目标检测装置。
6.本发明所要解决的另一技术问题在于提供一种时序物种进化的小样本目标检测方法。
7.为实现上述发明目的，本发明采用下述的技术方案：
8.根据本发明实施例的第一方面，提供一种时序物种进化的小样本目标检测装置，包括：
9.突变模块，用于针对小样本中基础样本和新样本，分别生成基础候选区域和新候选区域后进行合并，得到合并候选区域；
10.检测器，用于根据合并候选区域，识别小样本中基础样本和新样本。
11.其中较优地，所述小样本目标检测装置还包括：
12.重组模块，用于将基础样本和新样本的分布进行重组，生成实例化个体；
13.所述实例化个体作为新增的新样本输入至所述检测器进行训练。
14.其中较优地，所述突变模块包括：
15.传统区域生成网络，用于输出候选框集合构成基础候选区域；
16.突变区域生成网络，用于输出候选框集合构成新候选区域；
17.合并子模块，用于在基础候选区域和新候选区域中挑选属于基础样本或新样本的
置信度高于预设阈值的候选框，构成合并候选区域。
18.其中较优地，所述传统区域生成网络和突变区域生成网络并行设置；
19.所述突变区域生成网络的初始参数根据传统区域生成网络的参数训练得到。
20.其中较优地，所述重组模块包括：
21.选择子模块，用于通过新样本与基础样本分布的相似度，选择每种新样本分布的最优相似基础样本分布，构成相似集合；
22.更新子模块，用于根据相似集合中基础样本的分布特征信息更新对应新样本的分布特征信息，得到对应新样本的抽象类别信息；
23.生成子模块，用于根据各新样本的抽象类别信息，实例化不同个体。
24.其中较优地，在所述小样本目标检测装置训练时，所述传统区域生成网络通过基础样本充分训练后，得到传统区域生成网络的固定网络参数；
25.当所述突变区域生成网络通过新样本进行训练时，所述突变区域生成网络的初始化网络参数等于传统区域生成网络的固定网络参数。
26.其中较优地，所述选择子模块，用于通过wasserstein距离来度量新样本分布与基础样本分布的相似度；并根据贪心算法和新样本分布与基础样本分布的相似度，选择每个新样本分布的最优相似基础样本分布，构成相似集合。
27.其中较优地，所述基础样本的分布特征信息，包括基础样本的分布特征的均值和协方差；
28.所述新样本的分布特征信息，包括新样本的分布特征的均值和协方差；
29.所述新样本的抽象类别信息，包括抽象类别的分布特征的均值和协方差。
30.其中较优地，所述生成子模块，具体用于根据新样本的抽象类别信息，得到抽象类别的高斯分布；
31.根据所述高斯分布，采样生成抽象类别的实例化的不同个体。
32.根据本发明实施例的第二方面，提供一种时序物种进化的小样本目标检测方法，包括如下步骤：
33.突变模块针对小样本中基础样本和新样本，分别生成基础候选区域和新候选区域后进行合并，得到合并候选区域；
34.检测器根据合并候选区域，识别小样本中基础样本和新样本。
35.在本发明中，突变模块融合了基础样本和新样本得到合并候选区域后，重组模块将基础样本的信息融合到新样本中，解决了检测样本中基础类别的信息和知识继承性差，缺乏对新类别的非特异性变化的问题，并且产生足够的高质量正样本候选区域，有效优化了小样本目标检测装置的检测性能。
附图说明
36.图1为本发明实施例中，小样本目标检测装置的结构示意图；
37.图2为本发明实施例中，新类别训练和测试样本的对比示意图；
38.图3为本发明实施例中，小样本目标检测方法的流程图；
39.图4为本发明实施例中，小样本目标检测系统的结构示意图。
具体实施方式
40.下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
41.目标检测的主要任务是对图像中的目标进行分类和定位。现有的小样本目标检测技术基于大量的标注的图像进行训练，限制了某些场景下的应用和推广。例如，工业生产中缺陷样本一般难以收集，很难构建大规模的数据集；在自动驾驶应用中，只有少量雾天暴雨等极劣天气环境下的汽车样本，难以实现普通场景下的汽车目标检测；在大部分医疗应用中，获取高质量的医疗数据、以及高质量的标注是相当困难的。在这些只有少量样本作为新类别训练集的场景下，为了使包含大量标注的基础类别和包含少量标注的新类别都达到一定的检测精度，需要利用改进的小样本目标检测技术进行目标检测。
42.如图1所示，本发明实施例提供的小样本目标检测装置，至少包括：
43.突变模块s2，用于针对小样本中基础样本和新样本，分别生成基础候选区域和新候选区域后进行合并，得到合并候选区域；
44.检测器o，用于根据合并候选区域，识别小样本中基础样本和新样本。
45.在本发明实施例中，突变模块s2融合基础样本和新样本，生成了合并候选区域。所述检测器o可检测出基础类别，也可以检测出新类别。本发明提供的小样本目标检测装置解决了检测样本中基础类别的信息和知识继承性差，而且缺乏对新类别的非特异性变化的问题，从而产生足够的高质量正样本候选区域，优化了小样本目标检测装置的检测性能。
46.如图1和2所示，在本发明实施例中，基础样本包括：狗的图像和车的图像，对应的基础类别为：狗和车；新样本为马的图像，对应的新类别为：马。在上述实际问题中，如自动驾驶中，基础类别为：路口常见的红绿灯，新类别为：山路中一些危险标识。需要说明的是，本发明以狗、车和马为例，只作出适应性的解释。一切因解决各实际问题而采用本发明所述的技术方案，均在本发明保护范围之内。
47.下面将如图1所示的小样本作为训练样本，具体解释本发明提供的小样本目标检测装置的训练过程，从而说明该小样本目标检测装置的结构设置。
48.在小样本集合c中分为含有大量样本的基础类别集合c
(b)
和少量的新类别集合c
(n)
，其中，对应的，训练数据集d也可以分为d
(b)
＝{x
(b)
,y
(b)
}和d
(n)
＝{x
(n)
,y
(n)
}两组，其中d
(n)
数量远小于d
(b)
数量。具体地，x表示图像，y＝{(cls,box)}，cls表示图像x中物体的类别标签cls∈c，box表示图像x的边界框。小样本检测问题的目的是，给定一个新类别c
(n)
的测试图像检测模型可以预测得到对应的y
(n)
。
49.例如，在图2所示的训练样本中，基础类别有：狗、车和猫；新类别是马，其中马的颜色多为白色。通过上述训练样本，训练本发明实施例提供的小样本目标检测装置，然后用黑色的马的图像作为测试样本对小样本目标检测装置进行测试，测试输出“马”。
50.如图1所示，本发明实施例提供的小样本目标检测装置，还包括：骨干网络e，用于提取小样本的特征表示作为突变模块s2的输入。
51.在本发明实施例中，骨干网络e将基础样本和新样本进行特征提取，得到对应特征表示。给定基础样本x
(b)
，通过骨干网络e提取其特征表示f
(b)
。给定新样本x
(n)
，通过骨干网络e提取其特征表示f
(n)
，然后将f
(b)
和f
(n)
输入至突变模块s2。
52.如图1所示，所述突变模块s2包括：
53.传统区域生成网络s21，用于输出候选框集合构成基础候选区域；
54.突变区域生成网络s22，用于输出候选框集合构成新候选区域；
55.合并子模块s23，用于在基础候选区域和新候选区域中挑选属于基础样本或新样本的置信度高于预设阈值的候选框，构成合并候选区域。
56.在本发明实施例中，传统区域生成网络s21可以为区域生成网络rpn。
57.传统区域生成网络s21和突变区域生成网络s22接收基础样本和新样本的特征后，分别输出对应候选框集合。在传统区域生成网络s21输出的基础候选区域中，根据包含基础类别的候选框置信度进行排序；由高到低选择第一设定值数量的候选框。在突变区域生成网络s22的输出的新候选区域中，根据包含新类别的候选框置信度进行排序；由高到低选择第二设定值数量的候选框。在传统区域生成网络s21输出的基础候选区域中，包含基础类别的候选框的置信度会更高。在突变区域生成网络s22的输出的新候选区域中，包含新类别的候选框的置信度会更高。
58.在一个图像上有若干个框，每个框为图像的一部分，被传统区域生成网络s21或突变区域生成网络s22输出的框为候选框。每个候选框对应一个置信度。所述置信度为对应候选框是否包含基础类别或新类别的置信度。
59.所述基础候选区域，包含有基础样本候选框集合和新样本候选框集合，但会倾向性地给包含基础样本的候选框更高的置信度。
60.所述新候选区域，也包含有基础样本候选框集合和新样本候选框集合，只是会倾向性地给包含新样本的候选框更高的置信度。
61.如图1所示，所述传统区域生成网络s21和突变区域生成网络s22并行设置；
62.所述突变区域生成网络s22根据传统区域生成网络s21的参数训练得到。
63.在所述小样本目标检测装置训练时：
64.所述传统区域生成网络s21通过基础样本充分训练后，得到传统区域生成网络s21的固定网络参数；
65.当所述突变区域生成网络s22通过新样本进行训练时，所述突变区域生成网络s22的初始化网络参数等于传统区域生成网络s21的固定网络参数。
66.在本发明实施例中，首先针对传统区域生成网络s21进行基础训练：
67.将传统区域生成网络s21在基础样本上进行训练生成基础候选区域，其中基础样本对应的候选框表示为p
(b)
＝r
(b)
(f
(b)
；θ
(b)
)，其中每个候选框由相关的预定义锚点的位置偏移表示，r
(b)
表示传统区域生成网络s21。在最初训练传统区域生成网络s21的训练集中只包含基础样本。
68.在训练传统区域生成网络s21时，根据锚点和真实基础样本标注框的交并比确定锚点属于正样本或负样本，所属正样本锚点与标注框交并比较大，超过一定的阈值。计算正负样本的损失和锚点的位置偏移损失，即可得到l
rpn
。
69.如图1所示，设置在突变模块s2后面的为感兴趣区域模块roi。所述roi为检测器o的特定前几层，用于将候选框区域的特征处理成同一尺度。将由s21得到的基础候选区域输入至检测器o后，会对每个候选框输出其属于各类别的置信度得分。在训练检测器o时，根据候选框与标注框的交并比得到候选框的具体判断类别，并得到正样本和负样本。所述正样本为属于当前判断类别的候选框，所述负样本为不属于当前判断类别的候选框。此时，由基础样本训练得到的正样本和负样本分别表示为p
(b)+
和p
(b)-。将上述正样本和负样本输入检
测器o来训练检测器o的分类损失l
cls
和回归损失l
reg
，对应目标函数为：
[0070][0071]
公式(1)中，o
(b)
代表基础类别的检测器，l
(b)
为基础类别总体训练损失，l
rpn
为区域生成网络rpn的损失，l
cls
为检测器o的分类损失，l
reg
为检测器o的回归损失。
[0072]
l
rpn
包括区域生成网络rpn二分类和回归的损失，l
cls
的具体形式为多分类交叉熵损失，l
reg
的具体形式为回归框smooth l1损失。
[0073]
在针对网络进行训练时，既需要确认属于类别的正样本，又要确认不属于类别的负样本。由此，网络可以学习到不同类别的分类边界，其中，负样本起到正则约束的作用。
[0074]
然后，针对传统区域生成网络s21进行突变阶段训练：
[0075]
基础训练结束后得到传统区域生成网络s21的网络参数θ
(b)
，并将网络参数θ
(b)
固定，不参与后续迭代训练，即得到固定网络参数θ
(b)
。将固定网络参数θ
(b)
运用在训练集加入了新样本的训练中，使传统区域生成网络s21输出基础候选区域，其中新样本对应的候选框表示为p
(bn)
＝r
(b)
(f
(n)
；θ
(b)
)。
[0076]
然后，设置突变区域生成网络s22的初始化网络参数θ
0(n)
为θ
(b)
。在网络参数θ
0(n)
的基础上，以新样本x
(n)
和对应特征表示f
(n)
加入训练集，输入至突变区域生成网络s22，t次迭代后得到网络参数θ
t(n)
，由此，训练结束后得到突变区域生成网络s22的网络参数θ
(n)
。此时，突变区域生成网络s22输出新候选区域，其中新样本对应的候选框表示为p
(n)
＝r
(n)
(f
(n)
；θ
(n)
)，基础样本对应的候选框表示为p
(nb)
＝r
(n)
(f
(b)
；θ
(n)
)。
[0077]
最后，合并子模块s23将基础候选区域和新候选区域中的各候选框按照包含类别的置信度进行排序。针对各候选框包含类别的置信度，该置信度只代表对应候选框是否包含类别，不判断类别的类型。合并子模块s23从各候选框中挑选包含类别的置信度高于预设阈值的候选框，构成合并候选区域会输出对应正样本和负样本
[0078]
突变模块s2是一个时序更新的突变区域生成网络。与新类别以一定随机性地完全从基础类别进行继承的重组模块不同，突变也将新类别的新特征考虑在内。
[0079]
如图1所示，所述小样本目标检测装置，还包括：
[0080]
重组模块s1，用于将基础样本和新样本的分布进行重组，生成实例化个体；
[0081]
所述实例化个体作为新增的新样本输入至所述小样本目标检测装置的检测器o进行训练。
[0082]
在本发明实施例中，重组模块s1只用于小样本目标检测装置训练过程中，在训练完成后，实际检测中，重组模块s1不工作。
[0083]
实例化个体和s23挑选出的合并候选区域样本一起作为训练样本，输入至小样本目标检测装置的检测器o。由此，增加训练的多样性。
[0084]
最后针对重组模块s1，进行重组训练：
[0085]
所述重组模块s1，包括：
[0086]
选择子模块s11，用于通过新样本与基础样本分布的相似度，选择每种新样本分布的最优相似基础样本分布，构成相似集合；
[0087]
更新子模块s12，用于根据相似集合中基础样本的分布特征信息更新对应新样本
的分布特征信息，得到对应新样本的抽象类别信息；
[0088]
生成子模块s13，用于根据各新样本的抽象类别信息，实例化不同个体。
[0089]
所述选择子模块s11，具体用于通过wasserstein距离来度量新样本分布与基础样本分布的相似度；并根据贪心算法和新样本分布与基础样本分布的相似度，选择每个新样本分布的最优相似基础样本分布，构成相似集合。
[0090]
所述基础样本的分布特征信息，包括：基础样本的分布特征的均值和协方差；所述新样本的分布特征信息，包括：新样本的分布特征的均值和协方差；所述抽象类别信息，包括：抽象类别分布的均值和协方差。
[0091]
所述相似度通过如下公式计算：
[0092][0093]
公式(2)中，i和j分别表示被计算相似度的两个类别索引，μi和μj表示对应类别的均值，
△i和
△j表示对应类别的协方差，φ表示计算两个类别分布相似性的wasserstein距离。
[0094]
所述更新子模块s12更新分布的方式具体为：
[0095][0096][0097]
公式(3)至(4)中，表示新样本更新后对应的抽象类别分布的均值，表示新样本更新后对应的抽象类别分布的协方差，和分别表示新样本特征分布的均值和协方差，和分布表示相似集合中任一基础样本特征分布的均值和协方差。
[0098]
所述生成子模块13，具体用于根据抽象类别分布的均值和协方差，得到抽象类别的高斯分布；
[0099]
根据所述高斯分布，采样生成抽象类别的实例化的不同个体。
[0100]
所述实例化的方式为：
[0101][0102]
公式(5)中，n(
·
)表示高斯分布，p表示抽象类别的概率。
[0103]
生成子模块13根据服从均值为方差为的高斯分布的抽象类别，依概率ρ生成该抽象类别的特征采样结果，即得到实例化的不同个体。
[0104]
在重组训练第t次迭代中，重组模块s1输出合成数据集，并利用其采样个体形成正样本矩阵
[0105]
将重组模块s1输出的候选区域：正样本矩阵以及突变模块s2输出的候选区
域：正样本和负样本输入检测器o中，进行参数训练，对应目标函数为：
[0106][0107]
公式(6)中，o
(n)
代表新类别的检测器，l
t(n)
为检测器o在新类别上计算的损失。
[0108]
在本发明实施例中，训练过程最后生成的实例化个体会作为新增的新类别的样本输入至小样本目标检测装置的检测器o进行训练。
[0109]
重组模块s1是一个非参数的选择性基因重组模块，它允许一个新类别通过重组从基础类别继承并重用它们的视觉信息来加速学习。此外，基因重组操作在新组合基因实例化时引入随机性，极大地促进了新类别的多样性。
[0110]
本发明实施例在基础训练阶段，用丰富的基础样本训练相应的网络，这些基础样本可以很容易地定位合适的候选区域并确定它们的类别。而在突变训练阶段和重组训练阶段，网络以稀疏的新样本作为输入，通过变异和重组的方式尝试传递基础类别的知识。
[0111]
在突变训练阶段和重组训练阶段，利用重组模块s1和突变模块s2产生多样的合理的候选区域，促进对检测器o的充分训练。由于所有的新类别间都是相互独立且和基础类别独立的，所以检测器o的识别过程可以被视为由样本的实际标注信息引导的隔离，这些信息被视为自然选择的结果。
[0112]
本发明实施例利用两个候选区域生成网络生成合并候选区域，并根据基础样本和新新样本的重组及实例化产生正样本候选区域。因此，时序物种进化网络可以同时考虑过去的类别经验和当前类别的具体情况。
[0113]
本发明实施例提供了带有进化训练的简单而有效的小样本目标检测框架，从自然进化中的遗传和突变角度出发，为解决由基础类别知识的继承性差、缺少新类别的非特异性修改导致的大多数小样本目标检测方法无法产生足够的高质量正样本候选区域，从而导致检测性能不理想的问题，提出重组模块和突变模块，分别增加正样本候选区域的多样性和合理性。这些操作简单有效，可应用于任何两阶段检测框架，不干扰原有模块，性能优越。
[0114]
下面以自动驾驶中的图像识别为例，说明本发明提供的小样本目标检测装置在实际检测中的运用：
[0115]
在自动驾驶车辆中设置有本发明所述的小样本目标检测装置，在行驶时获取行驶过程中遇见的交通信号灯和特殊路段的交通指示牌。当行驶在城市路段时：自动驾驶车辆获取到的交通信号灯图像为基础样本，输入至小样本目标检测装置。首先，骨干网络e对基础样本进行特征提取，得到的基础样本特征信息，然后同时经过传统区域生成网络s21和突变区域生成网络s22。传统区域生成网络s21和突变区域生成网络s22针对普通路段的交通信号灯图像特征信息，输出对应基础候选区域和新候选区域。此时，基础候选区域中各候选框包含“交通信号灯”的置信度较高。合并子模块s23选取一定比例的置信度高的候选框，送入感兴趣区域模块roi后，输出对应正样本和负样本。最后，检测器o经过分类和回归，判定输入的图像为普通交通信号灯图像。
[0116]
当形式在山路等特殊路段时：自动驾驶车辆获取到的来往特殊交通指示牌图像为新样本，输入至小样本目标检测装置。首先骨干网络e对新样本进行特征提取，得到的新样本特征信息，然后同时经过传统区域生成网络s21和突变区域生成网络s22。传统区域生成
网络s21和突变区域生成网络s22针对特殊路段的交通指示牌图像特征信息，输出对应基础候选区域和新候选区域。此时，新候选区域中各候选框包含“特殊路段指示牌”的置信度较高。合并子模块s23选取一定比例的置信度高的候选框，送入感兴趣区域模块roi后，经roi的处理输出每个类别对应正样本和负样本。最后，检测器o经过分类和回归，判定输入的图像为特殊路段交通指示牌图像。
[0117]
下面，将本发明实施例提供的小样本目标检测装置分别在pascalvoc数据集和coco数据集上进行检测，与现有的检测模型进行对比。
[0118]
其中，现有的检测模型，包括但不限于：
[0119]
1、基于元学习的模型，例如：fsrw、meta-rcnn和metadet；
[0120]
2、基于微调的模型，例如：frcn+joint、frcn+ft、frcn+ft-full和tfa。
[0121]
表1为本发明实施例提供的小样本目标检测装置和现有的检测模型在pascal voc数据集上进行侧评估的结果。其中，shot为样本数量，粗体表示最佳性能。
[0122]
由表1可知，本发明实施例提供的小样本目标检测装置在样本数量较少的情况下，检测性能很大程度上优于现有的检测模型。
[0123]
表2为本发明实施例提供的小样本目标检测装置和现有的检测模型在coco数据集上进行侧评估的结果。
[0124]
由表2可知，同样地，本发明实施例提供的小样本目标检测装置在样本数量较少的情况下，检测性能很大程度上优于现有的检测模型。
[0125]
表1
[0126][0127]
表2
[0128][0129]
如图3所示，本发明实施例还提供一种时序物种进化的小样本目标检测方法，至少包括如下步骤：
[0130]
101、突变模块针对小样本中基础样本和新样本，分别生成基础候选区域和新候选区域后进行合并，得到合并候选区域；
[0131]
102、检测器根据合并候选区域，识别小样本中基础样本和新样本。
[0132]
上述实施例提供的小样本目标检测方法，基于上述提供的小样本目标检测装置的实施例实现，具体实施步骤请参见装置实施例中的说明，在此不再赘述。
[0133]
为实现本发明提供的小样本目标检测方法，本发明还提供一种小样本目标检测系统。如图4所示，该小样本目标检测系统包括存储器41和处理器42，还可以根据实际需要进一步包括通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口。其中，存储器、通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口均与该处理器42连接。在本发明实施例中，存储器41可以是静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器等，处理器可以是中央处理器(cpu)、图形处理器(gpu)、现场可编程逻辑门阵列(fpga)、专用集成电路(asic)、数字信号处理(dsp)芯片等。其它通信组件、传感器组件、电源组件、多媒体组件等均可以采用现有智能手机中的通用部件实现，在此就不具体说明了。
[0134]
另一方面，在上述小样本目标检测系统中，所述处理器42读取所述存储器41中的计算机程序，用于执行以下操作：
[0135]
突变模块针对小样本中基础样本和新样本，分别生成基础候选区域和新候选区域后进行合并，得到合并候选区域；
[0136]
检测器根据合并候选区域，识别小样本中基础样本和新样本。
[0137]
上面对本发明提供的时序物种进化的小样本目标检测方法及装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何
显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。