一种多尺度特征融合的复杂环境实时目标检测方法及装置

本技术涉及自动驾驶，尤其是涉及一种多尺度特征融合的复杂环境实时目标检测方法及装置。

背景技术：

1、目前，很难有网络在复杂环境中的不同尺度上捕捉空间信息，即对大尺度目标和小尺度目标均能达到较好的检测效果，因而网络具有较低的鲁棒性能且无法对场景信息进行有效地编码。

2、为了解决这一问题，现有技术采用动态选择注意力机制，每个神经元根据输入特征图的尺度自适应调节其感受野的大小，虽然该方法可以实现网络在不同尺度上获得信息的能力，但是动态神经元给网络引入了许多新参数，大大增加了网络的复杂度和计算量，难以满足实时目标检测的需求。

技术实现思路

1、有鉴于此，本技术提供了一种多尺度特征融合的复杂环境实时目标检测方法及装置，以解决上述技术问题。

2、第一方面，本技术实施例提供了一种多尺度特征融合的复杂环境实时目标检测方法，包括：

3、获取待检测的目标图像；

4、利用预先训练完成的多尺度特征融合模型对目标图像进行处理，得到多尺度融合特征图；

5、利用预先训练完成的空间注意力模型对多尺度融合特征图进行处理，得到第一特征图；

6、利用预先训练完成的通道注意力模型对多尺度融合特征图进行处理，得到第二特征图；

7、将第一特征图和第二特征图相加，得到第三特征图；

8、利用检测头对第三特征图进行处理，得到目标检测结果。

9、进一步地，所述多尺度特征融合模型包括三个并行的第一卷积层、第二卷积层和第三卷积层以及加法器；

10、其中，第一卷积层的卷积核为1×1，填充值为0，步长为1；第二卷积层的卷积核为3×3，填充值为1，步长为1；第一卷积层的卷积核为5×5，填充值为2，步长为1；

11、利用预先训练完成的多尺度特征融合模型对目标图像进行处理，得到多尺度融合特征图；包括：

12、利用第一卷积层对目标图像x进行处理，得到特征图x1，目标图像x的高度为h，宽度为w，通道数为c；

13、利用第二卷积层对目标图像x进行处理，得到特征图x2；

14、利用第三卷积层对目标图像x进行处理，得到特征图x3；

15、利用加法器对特征图x1、特征图x2和特征图x3进行相加，得到多尺度融合特征图xfea:

16、xfea＝x1+x2+x3。

17、进一步地，所述空间注意力模型包括并行第一分支、第二分支、第三分支和第四分分支；所述第一分支包括依次连接的第四卷积层、第一重塑层和第一转置层；所述第二分支包括依次连接的第五卷积层、第二重塑层、第一乘法器和第一归一化层；所述第三分支包括依次连接的第六卷积层、第三重塑层、第二乘法器和第四重塑层；第四分分支包括第二加法器；第一转置层和第一乘法器连接，第一归一化层和第二乘法器连接；第四重塑层和第二加法器连接；

18、利用预先训练完成的空间注意力模型对多尺度融合特征图进行处理，得到第一特征图；包括：

19、利用第四卷积层对多尺度融合特征图xfea进行处理，得到特征图y1，特征图y1的大小为h×w×c；利用第一重塑层对特征图y1进行维度转化，得到二维张量二维张量的大小为n×c，n＝h×w，n为中间参数；利用第一转置层对二维张量进行转置，得到二维张量二维张量的大小为c×n；

20、利用第五卷积层对多尺度融合特征图xfea进行处理，得到特征图y2，特征图y2的大小为h×w×c；利用第二重塑层对特征图y2进行维度转化，得到二维张量二维张量的大小为n×c；利用第一乘法器对二维张量和二维张量进行矩阵乘积运算，得到大小为c×c的矩阵y1,2；利用第一归一化层对矩阵y1,2进行归一化处理，得到大小为c×c的矩阵；

21、利用第六卷积层对多尺度融合特征图xfea进行处理，得到特征图y3，特征图y1的大小为h×w×c；利用第三重塑层对特征图y3进行维度转化，得到二维张量二维张量的大小为n×c；利用第二乘法器对二维张量和矩阵进行矩阵乘积运算，得到大小为n×c的矩阵y1,2,3；利用第四重塑层对矩阵y1,2,3进行维度转化，得到三维张量大小为h×w×c；

22、利用第二加法器对三维张量和多尺度融合特征图xfea进行加法操作，得到第一特征图yspa。

23、进一步地，所述通道注意力模型包括并行第五分支、第六分支、第七分支和第八分支；所述第五分支包括依次连接的第五重塑层和第二转置层；所述第六分支包括依次连接的第六重塑层、第三乘法器和第二归一化层；所述第七分支包括依次连接的第七重塑层、第四乘法器和第八重塑层；第四分支包括第三加法器；第二转置层和第三乘法器连接，第二归一化层和第四乘法器连接，第八重塑层和第三加法器连接；

24、利用预先训练完成的通道注意力模型对多尺度融合特征图进行处理，得到第二特征图；包括：

25、利用第五重塑层对多尺度融合特征图xfea进行维度转化，得到二维张量z1，二维张量z1的大小为n×c；利用第二转置层对二维张量z1进行转置，得到二维张量二维张量的大小为c×n；

26、利用第六重塑层对多尺度融合特征图xfea进行处理，得到二维张量z2，二维张量z2的大小为n×c；利用第三乘法器对二维张量z2和二维张量进行矩阵乘积运算，得到大小为n×n的矩阵z1,2；利用第二归一化层对矩阵z1,2进行归一化处理，得到大小为n×n的矩阵

27、利用第七重塑层对多尺度融合特征图xfea进行处理，得到二维张量z3，z1＝z2＝z3；利用第四乘法器对矩阵和二维张量z3进行矩阵乘积运算，得到大小为n×c的矩阵z1,2,3；利用第八重塑层对矩阵z1,2,3进行维度转化，得到三维张量大小为h×w×c；

28、利用第三加法器对三维张量和多尺度融合特征图xfea进行加法操作，得到第二特征图ycha。

29、进一步地，所述方法还包括：对多尺度特征融合模型、空间注意力模型和通道注意力模型进行联合训练的步骤。

30、第二方面，本技术实施例提供一种多尺度特征融合的复杂环境实时目标检测装置，包括：

31、获取单元，用于获取待检测的目标图像；

32、多尺度特征融合单元，用于利用预先训练完成的多尺度特征融合模型对目标图像进行处理，得到多尺度融合特征图；

33、空间注意力单元，用于利用预先训练完成的空间注意力模型对多尺度融合特征图进行处理，得到第一特征图；

34、通道注意力单元，用于利用预先训练完成的通道注意力模型对多尺度融合特征图进行处理，得到第二特征图；

35、处理单元，用于将第一特征图和第二特征图相加，得到第三特征图；

36、检测单元，用于利用检测头对第三特征图进行处理，得到目标检测结果。

37、第三方面，本技术实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术实施例的方法。

38、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本技术实施例的方法。

39、本技术通过多尺度特征融合提高了目标检测的精度，具有模型简单和计算量小的优点。