单阶段小目标检测模型、方法、装置和相关设备

1.本发明实施例涉及图像识别技术领域，特别涉及目标物体检测模型、方 法、装置和相关设备。


背景技术：

2.目标检测是计算机视觉中最重要也是最具挑战性的领域之一，也是计算机视 觉和图像处理的一个热门方向，被广泛应用于人脸检测、车辆检测、自动驾驶、 安全系统、医疗领域和工业质检等，由于其可靠性和可持续工作性，对目标检测 算法的研究具有较高的现实意义。小目标由于尺寸小、分辨率低、边缘模糊、抗 干扰能力弱等问题，容易造成漏检误检，如何提高小目标物的检测准确率也成为 了改进目标检测算法的瓶颈问题。
3.近几年来，目标检测算法研究取得了很大的突破。目标检测算法可分为 two
‑
stage和one
‑
stage两种，其中two
‑
stage算法是基于region proposal算法，将 检测问题分为两部分，首先由算法产生一系列作为样本的目标候选框，然后通过 卷积神经网络进行样本分类，具有较高的准确率，但是预测速度较慢。该类算法 整体检测准确率较高，但是由于小目标物尺寸较小的特点，使得其在一定深度的 网络上会丢失大量边缘信息，增加了漏检率。常见的two
‑
stage算法有r
‑
cnn， fast r
‑
cnn,faster r
‑
cnn等。one
‑
stage算法不需要region proposal阶段，直接 回归物体的类别概率和位置坐标值，直接产生物体的类别概率和位置坐标值，经 过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度。常见的 one
‑
stage算法有yolo、ssd等。ssd相对yolo实现了进一步改进，使用多特征 层实现目标检测，但是ssd仅用浅层的conv4_3用于检测小目标，语义信息不 够丰富，小目标物的检测准确率仍有待提升。
4.为了提高对小目标物的检测准确率，tsung
‑
yi lin等人于2017年提出了一 种feature pyramid networks(fpn)网络结构，同时利用低层特征高分辨率和高 层特征的高语义信息，能够在不影响速度的前提下融合多层特征，使每个特征层 的特征都具有丰富的语义信息，提高cnn网络特征提取能力。但是fpn在各层 之间进行特征融合时，特征以自上而下的方式传播，低层特征可以通过更高层次 特征的更强语义信息进行改进，由于通道数的减少，最高金字塔层的小目标的边 缘特征信息反而丢失了。zuoxin li等人提出了fssd算法，该算法借鉴了fpn 的思想，利用特征层之间的上下文信息，使得算法的精度有了明显的提升，但是 增加了计算量。wei liu等人将ssd的vgg网络用resnet
‑
101进行了替换，在 分类回归之前引入了残差模块，在ssd添加的辅助卷积层后又添加了反卷积层， 从而设计出了dssd方法。与ssd相比，dssd对小目标的检测度上有了很大 的提升，但是这种方法使检测速度大幅度降低。
5.在典型的采用多特征层的目标检测模型中，一般是采用多尺度的特征层针对 多尺度的目标进行检测，浅层特征层感受野较小，细节特征信息丰富，用于预测 小目标物，深层特征图感受野较大，语义特征信息丰富，用于预测大目标物，
6.发明人发现现有技术中至少存在如下问题：难以在不改变一般流程、不硬性 需求
实施人员设计网络结构的前提下，兼顾针对小目标的检测精度、检测速度两 方面的提升。


技术实现要素：

7.本发明实施方式的目的在于提供一种单阶段小目标检测模型、方法、装置和 相关设备，使得在不改变原有训练流程的前提下，对小目标乃至中目标的检测准 确率得以显著提升，针对小目标的检测精度、检测速度都有保障。
8.为解决上述技术问题，本发明的实施方式提供了一种单阶段小目标检测模型， 包括：多层目标检测深度学习模型；所述多层目标检测深度学习模型中，含至少 六个检测特征层，其中至少一个检测特征层的输入数据由额外的特征层经反卷积 后进行特征融合得到。
9.进一步的，所述多层目标检测深度学习模型为single shot multiboxdetector模型，所述额外的特征层为检测特征层所对应single shot multiboxdetector模型中的原有特征层，有特征融合节点进行特征融合计算。
10.进一步的，所述特征融合，为将多个输入的特征向量合成为复向量。
11.进一步的，所述检测特征层和额外的特征层均由先验框和特征图组成。
12.进一步的，所述先验框中，至少部分先验框的长宽比为1、2、1/2。
13.进一步的，所述先验框，至少部分先验框的长宽比为1，边长为其中s
k
为第k个特征层中先验框大小相对于图片的比例。
14.进一步的，所述先验框的尺寸，由浅层至深层单调增大。
15.进一步的，所述检测特征层和对应的原有特征层的尺寸一致。
16.本发明的实施方式还提供了一种单阶段小目标检测方法，包括：
17.获取物体图像；
18.将物体图像输入预先构建的如上所述的单阶段小目标检测模型中，经过特征 提取和分类后，得到并标示出目标物体在所述物体图像中的位置。
19.本发明的实施方式还提供了一种单阶段小目标检测装置，包括：
20.采集模块，用于获取物体图像；
21.处理模块，用于将物体图像输入预先构建的如上所述的单阶段小目标检测模 型中，经过特征提取和分类后，得到并标示出目标物体在所述物体图像中的位置。
22.本发明实施方式相对于现有技术而言，基于反卷积与特征融合的方式，能在 不重新设计卷积层的前提下，有效提升对小目标的表征能力和检测能力，在检测 速度和检测精度上均表现良好，对目标物检测的整体能力有明显提升，同时整体 计算量增加不多，实施难度低。
23.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手 段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特 征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
24.一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示 例性说明并不构成对实施例的限定，附图中的图不构成比例限制。
25.图1是本发明一种实施方式中多层目标检测深度学习模型的模型结构图；
26.图2是图1中第一特征融合节点的模型结构图；
27.图3是图1中第二特征融合节点的模型结构图；
28.图4是现有技术中single shot multibox detector模型的模型结构图；
29.图5是ssd模型、r
‑
ssd模型、dssd模型和df
‑
ssd模型在pascal voc207数据集上的平均准确率(map)和检测速度(fps)对比图；图6是ssd模型、r
‑
ssd模型、dssd模型和df
‑
ssd模型在dior遥感 检测数据集上的平均准确率(map)和检测速度(fps)对比图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本 发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在 本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但 是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实 现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应 对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互 结合相互引用。
31.本发明的第一实施方式涉及一种单阶段小目标检测模型。其模型结构如图1 至图3所示，具体如下：为多层目标检测深度学习模型；所述多层目标检测深度 学习模型中，含至少六个检测特征层，其中至少一个检测特征层的输入数据由额 外的特征层经反卷积后进行特征融合得到，有特征融合节点进行特征融合计算。
32.本领域技术人员可以理解，检测特征层和额外的特征层均为深度学习的卷积 层。
33.下面对本实施方式的单阶段小目标检测模型的实现细节进行进一步的说明， 以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
34.通过反卷积运算结合特征融合的方式，可以增大深层特征累加到浅层特征层， 从而能够有效解决浅层特征层语义信息不够丰富的问题，从而提高对小目标物乃 至中目标物的检测效果。这其中，反卷积起到增强特征的作用，特征融合避免特 征孤立的情况，其后再经过卷积运算即可消除特征融合带来的重叠效应。
35.相对于重新涉及模型或其中特征层内部网络结构的做法，上述增加反卷积、 特征融合和再次卷积运算的方式，在生产环境中更具有实际可操作性。
36.本发明的第二实施方式涉及一种单阶段小目标检测模型。第二实施方式与第 一实施方式大致相同，在本发明第二实施方式中，多层目标检测深度学习模型具 体采用ssd(single shot multibox detector)模型，额外的特征层为检测特征层 所对应ssd模型中的原有特征层。
37.本实施方式中，额外的特征层实质上是现有技术中ssd模型中的原特征层， 原特征层的输出经反卷积、特征融合输入至检测特征层，以检测特征层替代原特 征层输出至预测层(predictionlayer)。
38.ssd模型以性能和速度著称，是一种单阶段小目标检测的典型模型，在ssd 模型的基础上，加入反卷积、特征融合、再次卷积的运算，可以在确保增加的计 算量尽量小的前提下，有效确保针对小目标乃至中目标的检测准确率。
39.本发明的第三实施方式涉及一种单阶段小目标检测模型。第三实施方式与第 一实施方式大致相同，在本发明第三实施方式中，特征融合，为将多个输入的特 征向量合成为复向量。
40.本发明的第四实施方式涉及一种单阶段小目标检测模型。第四实施方式与第 一实施方式大致相同，在本发明第四实施方式中，检测特征层和额外的特征层均 由先验框和特征图组成。
41.本发明的第五实施方式涉及一种单阶段小目标检测模型。第五实施方式与第 四实施方式大致相同，在本发明第五实施方式中，先验框中，至少部分先验框的 长宽比为1、2、1/2。
42.本发明的第六实施方式涉及一种单阶段小目标检测模型。第六实施方式与第 四实施方式大致相同，在本发明第六实施方式中，所述先验框，至少部分先验框 的长宽比为1，边长为其中s
k
为第k个特征层中先验框大小相对于图 片的比例。
43.本发明的第七实施方式涉及一种单阶段小目标检测模型。第七实施方式与第 四实施方式大致相同，在本发明第七实施方式中，所述先验框的尺寸，由浅层至 深层单调增大。
44.本发明的第八实施方式涉及一种单阶段小目标检测模型。第八实施方式与第 二实施方式大致相同，在本发明第八实施方式中，检测特征层和对应的原有特征 层的尺寸一致。
45.由于第二至第八实施方式与第一实施方式相互对应，因此第一实施方式可与 第二至第八实施方式互相配合实施。第二至第八实施方式中提到的相关技术细节 在第一实施方式中依然有效，在第二至第八实施方式中所能达到的技术效果在第 一实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，第一实 施方式中提到的相关技术细节也可应用在第二至第八实施方式中。
46.本发明第九实施方式涉及一种单阶段小目标检测方法，包括：
47.获取物体图像；
48.将物体图像输入预先构建的如上所述的单阶段小目标检测模型中，经过特征 提取和分类后，得到并标示出目标物体在所述物体图像中的位置。
49.本实施方式的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或 者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专 利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的 设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
50.本发明第十实施方式涉及一种单阶段小目标检测装置，包括：
51.采集模块，用于获取物体图像；
52.处理模块，用于将物体图像输入预先构建的如上所述的单阶段小目标检测模 型中，经过特征提取和分类后，得到并标示出目标物体在所述物体图像中的位置。
53.本实施方式所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元 可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元 的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决 本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中 不存在其它的单元。
54.值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用 中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可 以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式 中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不 表明本实施方式中不存在其它的单元。
55.本发明第十一实施方式涉及一种单阶段小目标检测模型，结合上述实施方式， 以一具体实现为目标。
56.整体构思为，以现有技术中的ssd模型为基础，具体包括两部分：(1)在 进行反卷积与特征融合时，有针对性性的选择了两组特征层，用于提高小目标和 中目标的检测效果。首先，对选定的特征层组进行反卷积后实现特征融合，再通 过一次卷积消除特征融合带来的重叠效应，最后将得到的卷积层作为特征层回归 预测结果，通过反卷积在充分利用了深层特征层语义信息提升浅层特征层语义信 息量的同时，还保证了浅层细节信息不丢失，提高了浅层特征层对小目标物的表 征能力；(2)改进先验框尺寸计算方法，为每个数据集生成一组适合的先验框 尺寸值，加入数据集信息对于模型训练的贡献，从而提高模型对于小目标物的预 测效果。
57.ssd模型以vgg16网络作为基础模型提取特征，采用多尺度特征图检测方 法预测不同大小的目标物，其中浅层特征层感受野较小，细节特征信息丰富，用 于预测小目标物；深层特征图感受野较大，语义特征信息丰富，用于预测大目标 物。ssd模型如图4所示。
58.本发明中特征融合的目的，是把从图像中提取的特征，合并成一个比输入特 征更具有判别能力的特征。以两个特征向量的特征融合为例，其具体方法为，采 用并行策略，将两个特征向量组合成复向量，对于输入特征x和y，z＝x+iy， 其中i是虚数单位。组合成复向量的计算方式，相对直接合并向量的方式，计算 量更小，性能更佳。
59.一般的，先验框的长宽比共有五种，即ar＝{1，2，3，1/2，1/3}，当先验框 的长宽比为1时，增加一个边长为的正方形先验框。对特征图 conv4_3、conv8_2、conv9_2不使用长宽比为3、1/3的先验框，而在特征图conv7、conv6_2、conv7_2都使用6个默认框，使用上述所有长宽比。具体各 特征层中先验框尺寸大小范围如表1所示。
60.表1各特征层先验框尺寸大小
61.featuremapmin_sizemax_sizeconv4_33060fc760111conv6_2111162conv7_3162213conv8_3213264conv9_3264315
62.以特征融合方式对4个卷积层实现特征融合，然后经过一次卷积运算消除特 征融合带来的重叠效应，得到卷积层conv4_3_1作为新的特征层取代原来的特征 层conv4_3，如图2所示。然后将特征层fc7、conv6_2、conv7_2反卷积至与 conv4_3大小及通道数相等，使用特征融合方式对4个卷积层实现特征融合并经 过一次卷积运算消除特征融合带来的重
叠效应，得到卷积层fc7_1作为新的特 征层取代原来的特征层fc7，如图3所示。
63.因此，本实施方式中，以conv4_3_1、fc7_1作为ssd模型的原特征层，被 替代为额外的特征层，故本实施方式中检测特征层为conv4_3_1、fc7_1、conv6_2、 conv7_2、conv8_2和conv9_2，共计6个检测特征层。
64.在6个检测特征层中，先验框的个数预测依次为4、6、6、6、4、4。先验 框长宽比依次为[[2]，[2，3]，[2，3]，[2，3]，[2]，[2]]。ssd对先验框尺寸的 计算是事先给定min_ratio＝0.2，max_ratio＝0.9，然后以如下公式进行计算：
[0065][0066]
其中，s为训练集调整至300*300后所有真实框的边长大小，设定len＝len (s)*0.05，以a1为s中最大的len个值的平均值，以a2为s中最小的len个值的平 均值，则上述s
max
和s
min
分别为：
[0067][0068]
且，s
max
和s
min
满足条件：
[0069][0070]
为了验证第十一实施方式(称为df
‑
ssd模型，下同)的方案性能，选取ssd 模型、r
‑
ssd模型、dssd模型和df
‑
ssd模型在voc2007数据集和dior遥 感检测数据集上进行对比实验，并对检测的准确率和效率指标进行分析。
[0071]
实验基于ubuntu 16.04，gpu显卡型号为rtx2080ti。采用的深度学习框 架为pytorch 1.6.0。
[0072]
ssd模型、r
‑
ssd模型、dssd模型和df
‑
ssd模型在pascal voc207 数据集上的平均准确率(map)和检测速度(fps)对比如图5所示。
[0073]
在pascal voc207数据集上，df
‑
ssd算法与ssd算法在每一类目标精 度上进行比较的统计结果如表2所示：
[0074]
表2 pascal voc2007测试集单个类别检测精度对比表
[0075][0076]
由上述对比结果可见，在输入图像尺寸为300
×
300时，本发明的方案在 pascal voc2007数据集的平均检测准确率较ssd300模型提升了1.4％，在 每一类目标上的检测精度均优于ssd模型。其中cat和bird两类小目标物的 检测准确率提升较为显著，分别提升了4.8％和3％。可见本发明的方案能有效检 测小目标，对小目标检测的平均准确率有明显的提升。
[0077]
ssd模型、r
‑
ssd模型、dssd模型和df
‑
ssd模型在dior遥感检测数据 集上的平均准确率(map)和检测速度(fps)对比如图6所示。
[0078]
可见，df
‑
ssd模型的平均检测准确率比ssd、r
‑
ssd、dssd分别高了 3.6％、2.7％和2.1％。平均检测速度略低于ssd，但远高于r
‑
ssd和dssd，其 在检测速度和检测精度上均表现良好。
[0079]
在dior遥感检测数据集上，df
‑
ssd算法与ssd算法在每一类目标精度上 进行比较的统计结果如表3所示：
[0080]
表3 dior测试集单个类别检测精度对比表
[0081][0082]
可见，df
‑
ssd模型在dior遥感检测数据集的检测精度比ssd模型高出 3.6％。并且在每一类目标物上均等于或大于ssd模型，对几类中小型目标物的 检测正确率的提升尤为明显，对ship、vehicle、windmill三类数据的检测精度分 别提升了23.2％、13.6％和8％。
[0083]
实验结果表明，上述方案在两个数据集上均表现更优。
[0084]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施 例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明 的精神和范围。