本发明涉及林业病虫害防治技术，具体是基于3d卷积的松材线虫病树识别方法。
背景技术：
1、近几年发表专利的基于航拍可见光图像的病树识别方法都是基于单帧图像进行识别。基于单帧图像的识别方法虽然有时在小规模测试样本上取得了不错的效果，但是在实际场景大规模应用时却面临很大的挑战；主要挑战之一是实际场景中存在大量各种类型的与病木外形相近的地物。
2、松材线虫病的发病时间一般从每年的8月初到当年的12月。在发病初期，病木外观与正常植株无明显差异；而到了发病中后期的10月份，病株树冠开始变色，但阔叶林也开始变色，此时的枫树和橡树与发病中期的病木外观相似；即使到了11、12月份阔叶林落叶后，有些白色树枝和裸土地面也与发病后期的病木外观高度相似。
3、单帧航拍图片的信息量有限，在用于区分松材线虫病木和近似地物方面有一定的局限性，单帧图像能够提供的信息有限，依赖单帧图像的识别模型在区分病木与上述相似地物时会出现较多误检；而在实际场景中存在大量各种类型的与病木外形非常相似的地物，使得现有技术实际应用时会产生大量误检信息，需要较多额外人工进行核验。
4、深度学习在计算机视觉领域的基础应用领域有图像分类、语义分割、实例分割和目标检测；应对基于可见光图像的松材线虫病木识别问题可以采用语义分割(如deeplab系列)和目标检测模型(如yolo系列和faster-rcnn)作为方案基础；语义分割模型通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像；目标检测模型从图片背景中分离出感兴趣的前景目标，并确定这一目标的描述(类别和位置)；以上这几个领域的算法模型大多是基于单帧图片；但近几年随着视频数据的日益丰富和智能视频监控领域的需求增加，基于帧序列的图像算法也有了较快发展；基于帧序列的图像算法不仅提取每一帧图像中的空间特征信息，而且提取多帧之间的时间特征信息；空间特征信息指诸如色彩、纹理和形状，时间特征信息是指以上特征随着时间变化的情况。
5、借鉴前述视频领域算法的成果，使用多张不同时间拍摄的图片构成帧序列作为模型输入，不仅可以带来更丰富的空间信息，还可以带来单帧图像输入所不具备的时间信息，从信息源头上提升模型对于病木和相似地物的分辨能力，然而能否从多帧图片中提取出可用的时间信息取决于航拍图像是否能够配准，只有配准后的多帧图像才能提供具有足够空间分辨率的时序变化信息。
6、本发明旨在放弃之前专利广泛采用的基于单帧图像的算法模型，借鉴智能视频分析领域的方法和思想，设计基于帧序列的算法模型及方法来获得更强的区分病木和相似地物的能力，降低模型误检率，减少人工核验的工作量。
技术实现思路
1、本发明的目的在于提供基于3d卷积的松材线虫病树识别方法，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：
3、基于3d卷积的松材线虫病树识别方法，包括步骤：数据准备、模型搭建和模型训练；具体为，
4、步骤s1、数据准备，分为数据采集、数据标注、数据处理三个部分；
5、步骤s11数据采集，使用带rtk模块的大疆精灵无人机执行航拍任务；对同一块待检测林区，从8月份到12月份，每隔5天执行一次拍摄任务，一共可以采集到30批数据；每次拍摄任务都使用相同的航拍参数，保持航拍图片的空间分辨率为2cm/pixel；
6、步骤s12数据标注，对最后一批采集的数据，由专业人士在图像上进行松材线虫病木的标注并对标注结果进行地面核查，确保标注准确率；具体标注内容是标注目标框和目标类别，目标框用矩形框表示，目标标注类别有松材线虫病木、白色树枝、黄土地、黄绿色树冠、橡树、阔叶林黄色树冠和枫树这七类；
7、步骤s13数据处理，包括划分网络、图像配准和标签获取；
8、步骤s131划分网络，将整个林区图像按照图像像素所带的地理坐标信息切分成均等大小的网格，每个网格内的图像面积为512像素*512像素，相邻网格之间有1/4面积重合；记录下每个网格内像素的地理坐标信息；将每批数据中的图片都按照上述的网格进行切分，注意切分时依据的是地理坐标信息，而不是网格上的像素坐标；
9、步骤s132图像配准和标签获取，将不同批次数据中，位于同一网格位置的切分图像放在一起作为一组已配准帧序列数据；将步骤s12数据标注中标注的目标框和类别信息作为一组已配准帧序列数据共同的标签信息。
10、步骤s2、模型搭建，包括3d卷积网络、对应的fpn结构、目标检测头和损失函数四个部分；
11、步骤s2模型搭建，使用pytorch框架和python语言实现；
12、步骤s21搭建3d卷积网络，设置3d卷积骨架，骨架包括有五个卷积层，其卷积核的维度是3×3×3，卷积的步长是1×1×1，卷积核的数量从低层到高层依次为64,128,256,512,1024；还包括有五个池化层，第一层池化层的维度是1*2*2，步长是1*2*2，其他池化层的维度是2×2×2，步长是2×2×2，3d卷积骨架的输入维度是是512*512*3*16，输出维度是32*32*256*1；
13、步骤s22搭建对应的fpn结构，在传统2d卷积的fpn结构上进行调整，先将sequence这个维度展平，并入到channel这个维度上，然后，和2d卷积的fpn结构一样，使用1*1卷积核将第五卷积层和第四卷积层输出的特征向量的channel这个维度调整为256，从而和第三卷积层输出的特征向量保持一致；然后将调整后的特征向量经过上采样，变成与上一卷积层输出的特征向量在height和width维度上保持一致；此时经过上采样调整的特征向量与下一卷积层输出的特征向量在height，width维度是一致的，将这两个卷积层的特征向量通过相加融合作为下一个卷积层的新的输出特征向量；
14、因为在2d卷积中，每一个卷积层的输出在不考虑batch的情况下只有三个维度height,width和channel；而在3d卷积中，每一个卷积层的输出在不考虑batch的情况下有四个维度height,width,sequence和channel，多了sequence这个维度；
15、步骤s23设置目标检测头，借鉴faster-rcnn和yolo系列，使用anchor-based的目标检测头。具体做法是用k-means聚类来得到先验框，选择9个簇(聚类中心)均匀的分布在3个尺度特征图上，每个尺度预测3个box；在第三卷积层c3、第四卷积层c4和第五卷积层c5这三个尺度的特征层上，分别预测目标框和目标类别；
16、在进行步骤s23时，首先进行边界框预测，再进行目标类别预测；
17、边界框预测时，使用直接位置预测，预测边界框中心点相对于对应cell左上角位置的相对偏移值。使用sigmoid限制偏移值tx,ty在(0,1)，以将边界框中心点约束在当前cell。tw,th用了rpn中的log函数处理；网络在特征图的每个cell上预测3个边界框，每一个边界框预测5个值：tx,ty,tw,th,t0，其中前四个是坐标的offset值，t0是置信度。这个cell距离图像左上角的边距为(cx,cy)，以及该cell对应的先验框(bounding box prior)的宽和高分别为(pw,ph)；预测目标框的中心点坐标在该特征尺度下表示为：
18、bx＝σ(tx)+cx
19、by＝σ(ty)+cy
20、预测目标框的宽高在该特征尺度下表示为：
21、bw＝pw etw
22、bh＝ph eth
23、目标类别预测时，采用了softmax函数来计算目标属于每一个类别的概率。然后使用argmax函数取得概率最大的那个类别；因为该任务的目标类别是具有排它性的，只可能属于多个类别中的一个类别，所以采用此目标类别预测方式。
24、步骤s24，确定损失函数，用逻辑回归预测每个边界框的物体置信度(objectnessscore)，训练时用了平方误差损失函数。如果先验框与gt目标的重叠比其他任何先验框多，则相应的物体置信度得分应为1。对于先验框并不是最好的，重叠大于预定义阈值(0.5)的其他先验框，不会产生任何损失，忽略这个预测。每个gt目标仅与一个先验边界框相关联；如果没有分配先验边界框，则不会导致分类和定位损失，只会有物体置信度损失。
25、步骤s3、模型训练，包括样本抽取和具体训练两个部分；
26、步骤s31样本抽取，将从步骤s12数据标注中得到的各组配准样本中随机抽取一段长度为16帧的时间连续序列，抽取的序列按照时间递增排列，将该组的标签作为抽取样本的标签。16帧的帧序列和样本标签共同构成了训练样本；
27、步骤s32具体训练，使用步骤s31样本抽取得到的训练样本作为模型训练的输入，使用旋转90度、水平翻转、垂直翻转进行数据增强，使用批归一化(batch normalization)来稳定训练，在训练100个epoch后模型的训练loss和验证loss都得到较好的收敛。
28、与现有技术相比，本发明的有益效果是：
29、1、将时序信息及相应处理方法引入松材线虫病木航拍检测领域；
30、2、基于地理信息位置构建配准的航拍序列样本；并在训练阶段采用随机抽样来增大样本多样性，使进入模型的图片序列覆盖更多发病阶段。
31、3、引入3d卷积网络同时提取航拍图片的时序信息和空间信息。
32、本发明以帧序列作为模型输入，用3d卷积神经网络进行特征提取，在空间特征以外还融合了时间特征，能够更准确地区分松材线虫病木和相似地物，降低误检率。