基于多尺度特征融合的图像的识别方法、计算机装置和计算机可读存储介质

本发明涉及图像处理的，具体是涉及一种基于多尺度特征融合的图像的识别方法、计算机装置和计算机可读存储介质。

背景技术：

1、现如今，深度学习方法用于图像处理时，可识别多种物品，具有广泛适用性和准确性，成为解决农业视觉应用中遇到的挑战的新手段。但由于受作物自然生长规律的约束，农业图像数据的采集代价十分昂贵且耗时。一片试验田往往一年只能获取到1-2个序列的图像，所以使得可用于神经网络模型的训练数据十分有限，使得神经网络模型的性能受到严重影响。

2、现有一种faster r-cnn神经网络，该神经网络输出单个且较小的特征层，容易丢失小目标的像素信息，不能对图片的小型目标物体进行识别，从而影响神经网络的性能。

技术实现思路

1、本发明的第一目的是提供一种增强神经网络的性能的基于多尺度特征融合的图像的识别方法。

2、本发明的第二目的是提供一种实现上述基于多尺度特征融合的图像的识别方法的计算机装置。

3、本发明的第三目的是提供一种应用上述基于多尺度特征融合的图像的识别方法的计算机可读存储介质。

4、为了实现上述的第一目的，本发明提供的基于多尺度特征融合的图像的识别方法，包括制作训练样本集；构建双向级联神经网络模型，其中，双向级联神经网络模型包括第一识别神经网络，第一识别神经网络包括第一编码器和第一解码器，第一编码器用于对图像进行下采样提取多尺度特征图；第一解码器用于获取对第一编码器输出的第一当前特征图与相对于第一当前特征图的上一级的第二当前特征图分别进行卷积，得到第一当前卷积特征图和第二当前卷积特征图，对解码器的输出的上一特征图进行上采样，将第一当前卷积特征图、第二当前卷积特征图和上采样后的第一特征图进行级联，形成第一级联图，对第一级联图进行特征重映，得到第一特征图；利用训练样本集对双向级联神经网络模型进行训练；将待识别图像输入训练完成的双向级联神经网络模型，得到识别结果。

5、由上述方案可见，在第一解码器提取特征图时，利用第一编码器输出第一当前特征图融合上一级的第二当前特征图进行融合，保留更准确定位信号，使得神经网络对于目标区域更具有判别特征的识别能力。第一解码器并且融合上一特征图，增加级联间的空间维度，提升小目标的识别性能。第一识别神经网络中，对第一当前特征图与第二当前特征图分别进行卷积使用saconv进行卷积，saconv可以自适应捕捉输入特征图中不同位置之间的关系，根据输入特征图自适应的调整卷积核的权重，对输入特征图进行上下文信息融合和增强，使得神经网络学习更多的特征信息，在少量的训练集进行训练时，也可保持良好的性能。

6、进一步的方案中，第一解码器对第一级联图进行特征重映中包括：对第一级联图进行卷积，将卷积后的第一级联图拆分为第一拆分级联图与第二拆分级联图，对第一拆分级联图进行可变形卷积，输出第一拆分卷积级联图，将第一拆分卷积级联图与第二拆分级联图进行级联并卷积，得到第一特征图。

7、由此可见，特征重映使用特征重映模块实现，第一解码器中的特征重映模块结合可变形卷积模块，可变形卷积可引入偏移量动态调整采样位置，进而更好地适应植物形态特征的形变。

8、进一步的方案中，双向级联神经网络模型还包括第二识别神经网络，第二识别神经网络包括第二编码器和第二解码器，第二编码器用于对图像进行下采样提取多尺度特征图；第二解码器用于对第二编码器输出的第四目标特征图输入注意力机制模块，进行上采样操作后与第一目标特征图进行加权融合，得到第一融合特征图，对第一融合特征图进行上采样，与第二目标特征图进行加权融合，形成第二融合特征图，对第二融合特征图进行特征重映，得到第二特征图，获取第二特征图、第一目标特征图与第一融合特征图进行加权融合，得到第三融合特征图，对第三融合特征图通过第二特征重映模块进行特征重映，得到第三特征图。

9、由此可见，第二识别神经网络中，对第四目标特征图进行上采样与上一级的第一目标特征图进行加权融合，直至第二编码器的所有特征图加权融合完毕，再进行特征重映，得到第二特征图。第二特征图则利用第二编码器输出的第一目标特征图、第一融合特征图和第二特征图作为输入，进行特征重映，得到第三特征图。该第二识别神经网络解码过程尊重梯度的多样性，将网络中各阶段的特征图整合起来，解码模块采用了权重融合技术，通过不断迭代的自底向上和自顶向下处理，第二识别神经网络能够保持较高的特征信息质量。

10、进一步的方案中，将所述待识别图像输入训练完成的双向级联神经网络模型中包括：判断当前单位时间内处理器的处理量是否大于预设值；若所述处理器的处理量大于所述预设值，则将所述待识别图像输入所述第二识别神经网络进行处理；若所述处理器的处理量小于所述预设值，则将所述第二识别神经网络输入所述第一识别神经网络进行处理。

11、由此可见，根据当前处理量确定使用第一识别神经网络还是第二识别神经网络，减少处理器的计算处理量。

12、进一步的方案中，所述解码器的输出的上一特征图进行上采样前，还包括：对第一编码器输出的第三当前特征图输入注意力机制模块，得到第三当前注意力特征图，对第三当前注意力特征图、第一当前特征图和第三当前特征图分别进行卷积，将卷积后的第三当前注意力特征图、采样后的第一当前特征图和采样后的第三当前特征图进行级联，得到第二级联图，对所述第二级联图进行特征重映，形成上一特征图。

13、由此可见，上一特征图是通过两个特征图和经过注意力机制模块输出的当前注意力特征图进行级联和特征重映获得的，而第三当前特征图比第一当前特征图高一级。融合第一编码器中一个额外低级特征，保留更准确的定位信号，这种连接方式更有效的增强我们网络对于目标区域最具判别性特征的学习能力，同时对于小目标的定位也具有重要意义。

14、进一步的方案中，第一识别神经网络还包括第一损失模块，第一损失模块对第一解码器输出的特征图进行处理。

15、由此可见，第一损失模块包括分类损失和回归损失，分类损失用于惩罚预测类别与真实类别之间的差异，回归损失用于约束模型对于预测框位置和形态的学习。合并分类损失和回归损失得到第一识别神经网络的总损失，通过迭代不断最小化这个总损失，驱动模型不断提高其分类和定位的准确性，最终实现对农业生产活动中作物的精确检测与定位。

16、进一步的方案中，所述第二识别神经网络还包括第二损失模块，第二损失模块对所述第二解码器输出的特征图进行处理。

17、由此可见，第二损失模块包括分类损失和回归损失，分类损失用于惩罚预测类别与真实类别之间的差异，回归损失用于约束模型对于预测框位置和形态的学习。合并分类损失和回归损失得到第二识别神经网络的总损失，通过迭代不断最小化这个总损失，驱动模型不断提高其分类和定位的准确性，最终实现对农业生产活动中作物的精确检测与定位。

18、为了实现上述的第二目的，本发明提供的计算机装置，其特征在于，所述计算机装置包括处理器和存储器，存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如上述的基于多尺度特征融合的图像的识别方法。

19、为了实现上述的第三目的，本发明提供的计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现上述的基于多尺度特征融合的图像的识别方法。