一种目标检测方法、设备及计算机可读存储介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种目标检测方法、设备及计算机可读存储介质。


背景技术：

2.深度学习使得很多计算机视觉任务的性能达到了一个前所未有的高度，而复杂的模型因高额的存储空间以及计算资源消耗使其难以有效的应用在各种软件平台上。为了解决这些问题，大量模型压缩和网络加速方法被提出，以最大程度的减少模型对于计算空间和时间的消耗。模型压缩的主要目的是保证模型准确率的前提下，尽量减少模型参数量和计算量，降低模型复杂度，进而提高模型检测速度。


技术实现要素：

3.本发明主要解决的技术问题是提供一种目标检测方法、设备及计算机可读存储介质，能够提高特征利用率，以减轻模型参数和计算量。
4.为解决上述技术问题，本发明采用的一个技术方案是：提供一种目标检测方法，该目标检测方法包括：获取输入图像；对输入图像进行特征提取，得到中间图像；融合输入图像和中间图像，得到特征图像，输入图像的权重系数与中间图像的权重系数不同；提取特征图像的预测信息，得到检测结果。
5.其中，对输入图像进行特征提取，得到中间图像包括：对输入图像进行多次卷积升维和卷积降维处理，得到中间图像。
6.其中，利用特征提取模型的特征提取模块对输入图像进行特征提取；特征提取模块包括多个特征提取层，每个特征提取层对输入本特征提取层图像进行特征提取，并将提取的中间图像与输入图像进行融合，且输入图像的权重系数与中间图像的权重系数不同。
7.其中，特征提取模块至少输出三个不同尺寸的特征图像。
8.其中，特征提取模块包括多个相互连接的特征提取层，特征提取模块至少输出三个不同尺寸的特征图像包括：输入图像连续经过三个特征提取层进行特征提取，得到第一特征图像；将第一特征图像输入下一特征提取层，再次进行特征提取，得到第二特征图像；将第二特征图像输入下一特征提取层，再次进行特征提取，得到第三特征图像；第三特征图像的尺寸大于第二特征图像的尺寸，第二特征图像的尺寸大于第一特征图像的尺寸。
9.其中，特征提取层包括b-neck模块，b-neck模块具有倒残差结构，目标检测模型的特征提取模块对输入图像进行特征提取包括：倒残差结构对输入图像依次进行卷积升维处理、深度可分离卷积处理和卷积降维处理；将提取的中间图像与输入图像进行融合，得到特征图像包括：倒残差结构的输入特征和倒残差结构中卷积降维后输出的中间图像融合，得到特征图像。
10.其中，目标检测模型为mobilenetv3-large模型，mobilenetv3-large模型包括多个b-neck模块构成的特征提取层。
11.其中，对输入图像进行特征提取之前包括：对输入样本图像进行特征提取，得到中间样本图像；融合输入样本图像和中间样本图像，得到特征样本图像；获取特征样本图像的预测输出，得到预测样本图像；获取预测样本图像与输入样本图像的偏差信息；基于偏差信息迭代更新调整输入图像的权重系数与中间图像的权重系数。
12.为解决上述技术问题，本发明采用的另一个技术方案是：提供一种目标检测设备，该目标检测设备包括处理器，处理器用于执行以实现上述的目标检测方法。
13.为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现上述的目标检测方法。
14.本发明的有益效果是：区别于现有技术的情况，本发明对特征提取模块的输入和输出进行跳远连接，并在连接时设置不同的融合权重，因此，本技术仅使用一个网络结构实现对不同层次的特征区别对待，使其对模型的最终输出具有不同的贡献表达，提高特征利用率，而不需要使用更多的网络结构去实现，解决了模型参数冗余的问题，使利用该特征提取的网络模型轻量化，进而提高检测速度。
附图说明
15.图1是本技术目标检测方法一实施方式的流程示意图；
16.图2是本技术b-neck模块的结构示意图；
17.图3是本技术特征提取方法一实施方式的流程示意图；
18.图4是本技术特征提取方法另一实施方式的流程示意图；
19.图5是本技术目标检测方法另一实施方式的流程示意图；
20.图6是本技术特征提取模块的一具体流程示意图；
21.图7是本技术目标检测模块的结构示意图；
22.图8是本技术目标检测模型训练方法一实施方式的流程示意图；
23.图9是本技术图像预处理流程示意图；
24.图10是本技术实施方式中目标检测装置的结构示意图；
25.图11是本技术实施方式中目标检测设备的结构示意图；
26.图12是本技术实施方式中计算机可读存储介质的结构示意图。
具体实施方式
27.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
28.当前的模型压缩方法主要有网络剪枝、参数共享、参数量化以及紧凑网络设计等。其主要分为(1)对训练好的模型进行修改，然后通过迭代调优的方法恢复其精度；(2)基于紧凑网络重新训练新的轻量化模型。本技术提供一种利用轻量化模型的目标检测方法，通过对特征提取模块的输入和输出进行跳远连接，并在连接时设置不同的融合权重，因此，本技术仅使用一个网络结构实现对不同层次的特征区别对待，使其对模型的最终输出具有不同的贡献表达，提高特征利用率，而不需要使用更多的网络结构去实现，解决了模型参数冗余的问题，使利用该特征提取的网络模型轻量化，进而提高检测速度。
29.请参阅图1，图1是本技术目标检测方法一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施方式包括：
30.s110：获取输入图像，对输入图像进行特征提取，得到中间图像。
31.在该实施方式中，目标检测模型的特征提取模块可以为具有跳远连接结构的网络模块，在进行跳远连接之前，主网络对输入图像进行特征提取，在特征提取模块整体输出之前得到中间图像。其中，特征提取模块可以为具有残差模块、倒残差模块等可以实现跳远连接的结构。
32.s130：融合输入图像和中间图像，得到特征图像。
33.其中，该输入图像并不是原始图像，而是待处理的原始图像输入特征提取模块的跳远连接网络的输入层之后得到的输入图像，其一般地与上述特征提取之后的中间图像直接融合。而本技术分别对输入图像和中间图像设置不同的权重系数，再将输入图像和中间图像进行融合。得到特征图像。
34.s150：提取特征图像的预测信息，得到检测结果。
35.利用上述提取得到的特征图像，进行检测，得到检测结果，检测结果包括目标所在的检测框以及置信度。其中，对检测模型不进行具体限定，可以实现图像特征检测的网络即可，包括但不限于卷积神经网络。
36.该实施方式中，通过对特征提取模块的输入和输出进行跳远连接，并在连接时设置不同的融合权重，因此，本技术仅使用一个网络结构实现对不同层次的特征区别对待，使其对模型的最终输出具有不同的贡献表达，提高特征利用率，而不需要使用更多的网络结构去实现，解决了模型参数冗余的问题，使利用该特征提取的网络模型轻量化，进而提高检测速度。
37.其中，在一实施方式中，特征提取层可以为具有跳远连接形式的残差层，将残差层的输入特征和输出特征设置不同的融合权重，以对两个特征进行差别处理，使得不同层特征对输出结果具有不同的贡献表达。在另一实施方式中，特征提取层可以包括b-neck模块，b-neck模块中具有倒残差结构，请参阅图2和图3，图2是本技术b-neck模块的结构示意图，图3是本技术特征提取方法一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施方式包括：
38.s310：目标检测模型的特征提取模块对输入图像进行多次卷积升维和卷积降维处理，得到中间图像。
39.在该实施方式中，目标检测模型的特征提取模块包括b-neck模块，b-neck模块包括输入层、残差层和输出层，检测图像输入b-neck模块的输入层，得到输入图像，利用残差层对输入图像进行特征提取。具体地，残差层为倒残差结构，与普通残差结构先降维处理后升维处理不同，倒残差结构先对输入图像进行卷积升维提取，再利用深度可分离卷积代替普通卷积进行特征提取，降低模型参数和计算量，进一步地，进行卷积降维处理，得到中间图像。同时，b-neck模块对残差层进行更多的处理，利用注意力机制将深度可分离卷积层与降维卷积层进行特征连接(图中未示出)，并在激活函数上使用h-swish代替swish函数。
40.s330：特征提取模块融合输入图像和中间图像，得到特征图像。
41.b-neck模块采用倒残差结构时，stride＝1且输入图像与中间图像尺寸相同，在输
入图像和中间图像连接到达输出层之间，分别对输入图像和中间图像设置权重系数，输入图像的权重系数与中间图像的权重系数不同，将输入图像和中间图像加权融合到输出层，得到特征图像。其中，输入图像的权重系数与中间图像的权重系数是由模型训练得到的。
42.在该实施方式中，使用深度可分离卷积代替普通卷积来降低模型参数和计算量，使用倒残差结构降低特征提取过程中的信息丢失，并将倒残差结构的输入和输出特征加权融合，对不用层次的特征信息区别对待，提高特征利用率，以减轻模型参数和计算量。
43.在一实施方式中，特征提取模块中可以包括多个特征提取层，以提取不同尺寸的特征图像，提升不同尺寸目标的检测能力，每个特征提取层对输入本特征提取层的输入图像进行特征提取，并将提取的中间图像与输入图像进行融合，且输入图像的权重系数与中间图像的权重系数不同。特征提取模块至少输出三个不同尺寸的特征图像。其中，特征提取层中b-neck模块的个数不进行限定，以实际需要提取的图像尺寸进行设定。请参阅图4，图4是本技术特征提取方法另一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。如图4所示，本实施方式包括：
44.s410：输入图像连续经过三个特征提取层进行特征提取，得到第一特征图像。
45.连续对输入图像进行三个特征提取层进行第一步的特征提取，得到第一特征图像，其中每个特征提取层中均为b-neck模块，但对b-neck模块的数量不进行限定。
46.s430：将第一特征图像输入下一特征提取层，再次进行特征提取，得到第二特征图像。
47.对步骤s410的输出特征进一步特征提取，获取更深层的特征，得到第二特征图像，其中，第二特征图像的尺寸小于第一特征图像的尺寸。
48.s450：将第二特征图像输入下一特征提取层，再次进行特征提取，得到第三特征图像。
49.进一步地，对步骤s430的输出特征进一步特征提取，获取更深层的特征，得到第三特征图像，其中，第三特征图像的尺寸小于第二特征图像的尺寸。
50.在该实施方式中，分别提取了三个不同尺寸的特征图像，但不限于三个尺寸，在另一实施方式中，可以提取四个不同尺寸的特征图像。其中，修改特征提取网络的拓扑结构，将检测尺度提高到3个或更多个，增加对小目标的检测能力，提高了检测模型对各种尺寸目标的适应能力。
51.对于目标检测而言，特征提取模块仅仅是目标检测模型中的一部分，可以将上述提供的特征提取模块应用于多种目标检测模型的特征提取过程中，解决多种情况下的特征提取。如监控图像、遥感图像、卫星图像等。其中，遥感图像的目标检测是从给定图像中提取感兴趣目标的类别和位置信息的技术，在多个领域都有着广泛的应用。近年来，随着卫星和遥感技术的不断发展，遥感图像的时间分辨率、空间分辨率和图像质量都有了个很大的提高，同时对目标检测模型的检测精度和实时性也有了更高的要求。因此遥感图像的目标检测技术一直是遥感技术领域的研究热点，具有非常重要的理论研究意义和实践应用价值。而遥感图像区别于自然场景下的图像，具有尺度多样性、尺度多样性、小目标居多以及背景复杂的特点。当用于检测遥感图像中的小目标时，可以使用轻量化目标检测模型，如mobilenet系列，shufflenet系列，xception等，使用group卷积、1x1卷积等。在一具体实施方式中，使用的目标检测模型为mobilenetv3-large模型，mobilenetv3-large模型包括多
个b-neck模块构成的特征提取层。请参阅图5，图5是本技术目标检测方法另一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施方式包括：
52.s510：对待检测图像进行特征提取，得到特征图像。
53.首先获取遥感图像作为待检测图像，待检测图像的尺寸为224
×
224
×
3，首先将待检测图像的尺寸由224
×
224
×
3提高为448
×
448
×
3，以增加图像中小目标的分辨率，减少小目标在卷积过程中的特征信息丢失。本技术针对遥感图像尺度分布多样性的特点，采用多尺度特征预测输出的策略。请参阅图6，图6是本技术特征提取模块的一具体流程示意图。如图6所示，对输入图像采取一系列的卷积操作和深度可分离卷积操作。首先输入448
×
448
×
3的待检测图像，对待检测图像进行普通卷积处理，得到224
×
224
×
16的第一特征图像，之后依次进行多次b-neck操作，其中，bneck n表示在特征提取网络中重复执行n次bneck操作。对第一特征图像进行b-neck n1操作得到112
×
112
×
16的第二特征图像，再次对第二特征图像进行b-neck n2操作得到56
×
56
×
24的第三特征图像，继续对第三特征图像进行b-neck n3操作得到28
×
28
×
40的第四特征图像y1，此时对第四特征图像进行输出，用于后续预测遥感图像中的小目标。继续对第四特征图像进行b-neck n4操作得到14
×
14
×
80的第五特征图像y2，此时对第五特征图像进行输出，用于后续预测遥感图像中的中等目标。继续对第五特征图像进行b-neck n5操作得到7
×7×
160的第六特征图像y3，此时对第六特征图像进行输出，用于后续预测遥感图像中的大目标。其中，n1，n2，n3，n4，n5的值可以根据实际应用进行设定，即在每个特征提取网络中重复执行几次bneck操作可以根据实际应用进行设定。
54.具体的b-neck操作如图2的步骤所示，将倒残差结构对输入图像依次进行卷积升维处理、深度可分离卷积处理和卷积降维处理；再将倒残差结构的输入特征和倒残差结构中卷积降维后输出的中间图像加权融合，得到特征图像。其中输入特征的权重和中间图像的权重不同。
55.s530：对特征图像进行目标预测，得到预测图像。
56.对步骤s510得到的第四特征图像y1、第五特征图像y2和第六特征图像y3分别进行目标预测。请参阅图7，图7是本技术目标检测模块的结构示意图。对第四特征图像y1、第五特征图像y2和第六特征图像y3的目标检测模块采用相同的网络结构，分别包括第一卷积层、池化层、第二卷积层和第三卷积层。如图7所示，将第四特征图像经过第一卷层处理，得到7
×7×
40的特征图，继续经过池化层得到7
×7×
80的特征图，再经过第二卷积层得到1
×1×
160的特征图，最后经过第三卷积层得到1
×1×
n的小目标预测图像，其中，n表示最后输出的目标类别数量。同样地，利用如图7所示的网络结构对第五特征图像和第六特征图像进行目标检测处理，分别得到1
×1×
n的中等目标预测图像和1
×1×
n的大目标预测图像。
57.s550：对预测图像进行后处理，得到检测结果。
58.在上述步骤中，进行目标检测得到同一类别的多个检测框，每个检测框具有对应的置信度，后处理模块是对目标检测模型的检测器模块输出的结果进行二次处理的过程，目的是为了去除重复目标检测框，优化检测输出结果，根据任务需求得到最优的期望输出。
59.在一实施方式中，可以使用非极大值抑制(non-maximum suppression,nms)，对每个类别而言首先设置重叠度(intersection over union,iou)阈值，对候选框依据类别得
分进行排序，选中类别置信度得分最高的候选框，遍历其余的候选框，如果当前类别得分最高的候选框的iou大于或等于iou阈值，将其剔除，从未处理的边框中继续选一个类别置信度得分最高的，重复上述过程，直到处理完所有的边框为止。保留下来的候选框即为检测结果。
60.在另一实施方式中，可以使用soft-nms算法对预测图像进行后处理操作。对每个类别而言首先设置iou(intersection over union,iou)阈值，对候选框依据类别得分进行排序，选中类别得分最高的候选框，遍历其余的候选框，如果当前类别得分最高的候选框的iou大于或等于iou阈值，则为其重新设置置信度得分。
61.在一实施方式中，具体地，置信度得分为：
[0062][0063]
在另一实施方式中，具体地，置信度得分为：
[0064]
si＝i(1-iou(,bi)2)，iou(m，bi)≥nt。
[0065]
其中，nt代表设定的iou的阈值，m代表得分最高的检测框。si表示一个高斯权重函数。继续从未处理的边框中继续选一个类别置信度得分最高的，重复上述过程，直到处理完所有的边框为止。保留下来的候选框即为检测结果。
[0066]
soft-nms算法将当前检测框的置信度得分乘以权重函数，这个权重函数会衰减与最高得分的检测框m有重叠的相邻检测框分数，越是与m检测框高度重叠的检测框，其得分衰减越严重。
[0067]
在该实施方式中，针对遥感图像目标较小，目标检测模型参数冗余、模型体积大、检测速度慢等问题，以mobilenetv3-large模型为基础进行轻量化设计，首先，在bneck模块的基础上，基于倒残差结构提出一种特征自适应加权机制。对跳远连接的输入特征进行加权，提高了特征利用率。这种加权后进行特征融合方法将不同层次的特征信息区别对待，它们对模型的最终输出具有不同的贡献表达，同时不需要使用更多的网络结构去实现，解决了模型参数冗余的问题，使利用该特征提取的网络模型轻量化，进而提高检测速度。其次，修改特征提取网络的拓扑结构，将检测尺度提高到3个，用于预测不同大小的目标，通过增加预测通道的数量提高检测模型对不同尺寸目标的检测能力，能够在降低模型计算量和计算复杂度的同时，提高了对多尺度目标的检测能力。
[0068]
在进行目标检测之前，需要对目标检测模型，即对mobilenetv3-large模型进行训练。请参阅图8，图8是本技术目标检测模型训练方法一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。如图8所示，本实施方式包括：
[0069]
s810：对样本图像预处理。
[0070]
对于深度学习模型来说，训练数据的有效性对模型的性能有着很大的影响，因此构建均衡完备的数据集具有非常重要的作用。请参阅图9，图9是本技术图像预处理流程示意图。
[0071]
第一、图像切割。由于作为样本图像的遥感图像的尺寸一般都比较大，无法直接将图像输入到网络进行检测，因此为了降低计算复杂度，首先对输入的样本图像进行切片处理，切片的尺寸和步长可根据感兴趣目标的尺寸来确定，确保大部分目标不会被切割掉。
[0072]
第二、数据分析。对切割图像进行数据分析，包括样本图像的图片尺寸、图片数量、标注目标类别及目标数量等方面。其中，标注目标类别用于与预测结果进行比对。目标数量是利用分析得到的数据集的样本图像中各个类别的数量。
[0073]
第三、数据清洗。根据实际的业务场景需要对数据进行清洗，去除脏数据，主要包括目标类别标注错误、目标位置标注错误以及不相关的标注信息等数据。
[0074]
第四、数据增强。评估数据的均衡性和完备性，在此阶段主要对原始图片做数据增强的操作，包括几何增强和色彩增强两种操作，最后得到数据增强后的图像，将其作为训练集用于模型的训练。具体地，评估数据集的样本图像中各个类别的数量，当各个类别的数量不均衡时，对数量少的样本图像进行数量增强，可对图像中的该类别进行目标翻转、也可以利用生成对抗网络增加样本图像中该目标类别的数量，也可以使用其他增加目标数量的方法，再次不进行具体限定。
[0075]
s830：目标检测模型的特征提取模块对输入样本图像进行特征提取，得到中间样本图像；特征提取模块融合输入样本图像和中间样本图像，得到特征样本图像。
[0076]
s850：获取特征样本图像的预测输出，得到预测样本图像；
[0077]
s870：获取预测样本图像与输入样本图像的偏差信息；基于偏差信息迭代更新特征提取模块，以调整输入图像的权重系数与中间图像的权重系数。
[0078]
具体地，在模型训练之前，设置初始的目标检测模型，输入图像的权重系数与中间图像的权重系数均设置为初始值1.0，即等比例融合。在训练过程中，对输入图像的权重系数与中间图像的权重系数进行调整，使得输入图像的权重系数与中间图像的权重系数不同，即对不同层次的特征信息区别对待，使其对模型的最终输出具有不同的贡献表达。
[0079]
请参阅图10，图10是本技术实施方式中目标检测装置的结构示意图。该实施方式中，目标检测装置包括特征提取模块01、特征融合模块02和特征输出模块03。
[0080]
其中，特征提取模块01用于目标检测模型的特征提取模块对输入图像进行特征提取，得到中间图像；特征融合模块02用于特征提取模块融合输入图像和中间图像，得到特征图像，输入图像的权重系数与中间图像的权重系数不同；特征输出模块03用于获取特征图像的预测输出，得到检测结果。该目标检测装置用于通过对特征提取模块的输入和输出进行跳远连接，并在连接时设置不同的融合权重，因此，本技术仅使用一个网络结构实现对不同层次的特征区别对待，使其对模型的最终输出具有不同的贡献表达，提高特征利用率，而不需要使用更多的网络结构去实现，解决了模型参数冗余的问题，使利用该特征提取的网络模型轻量化，进而提高检测速度。
[0081]
请参阅图11，图11是本技术实施方式中目标检测设备的结构示意图。该实施方式中，目标检测设备11包括处理器12。
[0082]
处理器12还可以称为cpu(central processing unit，中央处理单元)。处理器12可能是一种集成电路芯片，具有信号的处理能力。处理器12还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器12也可以是任何常规的处理器等。
[0083]
目标检测设备11可以进一步包括存储器(图中未示出)，用于存储处理器12运行所需的指令和数据。
[0084]
处理器12用于执行指令以实现上述本技术目标检测方法任一实施例及任意不冲突的组合所提供的方法。
[0085]
请参阅图12，图12是本技术实施方式中计算机可读存储介质的结构示意图。本技术实施例的计算机可读存储介质21存储有指令/程序数据22，该指令/程序数据22被执行时实现本技术目标检测方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据22可以形成程序文件以软件产品的形式存储在上述存储介质21中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质21包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0086]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0087]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0088]
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。