一种基于图像的柑橘果实检测与识别方法及系统

1.本发明涉及农业智能监测技术领域，尤其涉及一种基于图像的柑橘果实检测与识别方法及系统。


背景技术：

2.目前，柑橘是经济价值极高的树种，在区域经济中具有重要地位。随着经济的发展，柑橘林种植面积逐年扩大，柑橘林产量及人工采摘成本成倍增加。为了进一步提高采摘效率，为农民增收减负，需要更加智能化的采摘流程。近年来，图像技术的成熟为大范围的柑橘果实智能检测和识别提供了条件，因此开展基于图像的大范围柑橘果实智能检测与识别非常有必要。
3.随着人工智能与计算机视觉技术的快速发展，以深度学习为代表的新型智能算法为赋能智慧化农业生产提供了技术保障。目前主流的语义分割模型算法在复杂场景中的精细分割任务表现良好，同基于检测框的目标检测方法相比，可以借助端对端的训练框架进行快速的训练检测，检测速度和精度有一定提升，其中u-net是目前植物物种智能检测领域应用潜力较大的一种算法，具有极高的检测精度，然而该方法对目标的精细化程度和背景复杂度均有严格的要求。
4.现有柑橘林果的检测与计数方法主要是实地人工计数，采取边标记边计数的方式，避免人工计数的重复和遗漏，这种方法虽然计数结果准确率高，但耗时耗力，效率低；通过上述分析，现有技术存在的问题及缺陷为：（1）现有柑橘计数方法具有灵活性差、检测速度慢、不适合大范围快速检测。
5.（2）受到光照变化、生长姿态、遮挡、叠加、相机角度和其他恶劣工作条件的影响，导致识别难度进一步急剧增加。
6.（3）每个果实的特征（颜色、纹理、形状、大小）差异很大，常规语义分割模型不能提取多尺度空间信息。


技术实现要素：

7.本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于图像的柑橘果实检测与识别方法及系统。
8.本发明解决上述技术问题的技术方案如下：一种基于图像的柑橘果实检测与识别方法，包括如下步骤：获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；
获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
9.本发明的有益效果是：本发明的基于图像的柑橘果实检测与识别方法，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
10.在上述技术方案的基础上，本发明还可以做如下改进：进一步：所述获取柑橘果实的实景拍摄照片并对所述实景拍摄照片中果实的中心点进行标注，建立数据集具体包括如下步骤：获取柑橘果实的实景拍摄照片，利用软件对所述实景拍摄照片中柑橘过的中心点进行标注；从所述实景拍摄照片中随机抽取m张标注样本作为训练集，进行图像数据扩增，并保留n张样本作为验证数据集；将所述样本数据集划分为训练集和验证集；其中，所述图像数据扩增包括图像旋转、图像移动、图像缩放、图像增强、噪声注入和对比度变换中的一种或多种处理，m》n。
11.上述进一步方案的有益效果是：通过对所述实景拍摄照片中柑橘过的中心点进行标注，方便后续对照片进行拟合，并从所述实景拍摄照片中随机抽取m张作为标注样本，对所述实景拍摄照片进行图像数据扩增，可以提高模型的泛化能力。
12.进一步：所述基于所述中心点利用区域生长算法对所述数据集进行拟合具体包括如下步骤：采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，red为图像数据中对应像素的红光波段的值，blue为图像数据中对应像素的蓝光波段的值，gradiff为红蓝波段梯度指数，t为相邻空间红蓝波段梯度指数差值，且所述t小于预设阈值时对应像素为柑橘果，否则对应像素为背景；采用八邻域算法，以所述中心点为种子点进行区域生长，得到数据集中图像数据对应的二值图像；采用3
×
3卷积核对所述二值图像分别进行膨胀和腐蚀处理，得到分别得到膨胀和腐蚀后的图斑，通过相交求差得到每一个果实的边缘点；对所述边缘点进行圆拟合，得到果实的果实边界，并计算每个果实边界对应的半径。
13.上述进一步方案的有益效果是：通过分析所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值，结合预设阈值可以准确判断对应的像素
为柑橘果或背景，从而可以通过区域生长二值图像 ，在进行膨胀和腐蚀处理即可得到图斑，进而相交求差得到每一个果实的边缘点，最终通过圆拟合得到果实边界，并计算出果实边界的半径，方便后续生成对应的多尺度空间梯度概率图。
14.进一步：所述生成基于果实中心点的多尺度空间梯度概率图具体包括如下步骤：定义所述数据集的图像中柑橘果的位置点为,构建每个柑橘果实位置点的二维高斯核函数，具体如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，并基于所有所述二维高斯核函数的最大值构建所述多尺度空间梯度概率图：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中，为高斯核参数，为对应柑橘果的位置点属于对应类别关键点的初始概率，为所述数据集的图像中柑橘果的数量。
15.上述进一步方案的有益效果是：通过构建每个柑橘果实位置点的二维高斯核函数，确定每个果实的局部影响范围，这样将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，得到多尺度空间梯度概率图，从而方便后续基于所述多尺度空间梯度概率图对多尺度空间注意力深度学习网络模型进行训练。
16.进一步：所述构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练具体包括如下步骤：构建多尺度空间注意力深度学习网络模型，并将所述训练集中的实景拍摄照片和对应的所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络模型，对所述实景拍摄照片进行采样、裁剪处理，得到特征图；采用不同扩张率的扩张卷积层对所述训练集中的实景拍摄照片进行特征提取处理，得到不同尺度空间特征，并将所述不同尺度空间特征进行对应的空洞卷积处理后得到的空间特征进行合并，得到特征集；采用sigmoid函数对所述特征集进行处理，计算并输出预测概率作为主干网络特征的空间监督权重。
17.上述进一步方案的有益效果是：通过对所述训练集中的实景拍摄照片进行采样、裁剪处理，得到对应的特征图，并进行归一化处理，得到果实分布概率图，从而对所述果实分布概率图进行检测，得到多尺度空间梯度概率预测图；采用不同扩张率的扩张卷积层对所述训练集中的实景拍摄照片进行特征提取处理，进而得到对应的特征集，最后得到多尺度空间注意力深度学习网络模型的主干网络特征的空间监督权重，完成训练。
18.进一步：所述将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别具体包括如下步骤：采用softmax激活函数将所述特征图归一化处理，得到果实分布概率图，并对所述果实分布概率图进行检测，输出包含每个像素属于每种类别概率的多尺度空间梯度概率预测图；
利用sobel算子分别计算所述多尺度空间梯度预测概率图中每个像素的横向亮度差分近似值和纵向亮度差分近似值，并计算每个像素的梯度值；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）其中， 为sobel算子的横向卷积因子，为sobel算子的纵向卷积因子，为任一像素的横向亮度差分近似值，为任一像素的纵向亮度差分近似值，为多尺度空间梯度概率预测图中的任一像素的值，为任一像素的梯度值；根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图；将所述二值图的连通区域的中心点坐标确定为柑橘果预测定位坐标，生成柑橘果预测点位图。
19.上述进一步方案的有益效果是：通过对所述目标柑橘实景拍摄照片中的每个像素进行检测，得到多尺度空间梯度预测概率图，并计算每个像素的梯度值，从而可以将所述多尺度空间梯度预测概率图进行分割，得到包含柑橘过像素和背景像素的二值图，从而根据二值图的连通区域的中心点坐标精确确定柑橘果的预测定位坐标，得到柑橘果预测点位图。
20.进一步：所述根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图具体包括如下步骤：根据所述多尺度空间梯度预测概率图计算所述多尺度空间梯度预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，并绘制平均梯度值与分割阈值的关系曲线；选取所述平均梯度值与分割阈值的关系曲线中梯度值最大的像素点对应的分割阈值为所述多尺度空间梯度预测概率图的目标分割阈值；将所述多尺度空间梯度预测概率图中像素值大于或等于所述目标分割阈值的像素归为柑橘果像素，将所述多尺度空间梯度预测概率图中像素值小于所述目标分割阈值的像素归为背景像素，并生成柑橘果分布的二值图。
21.上述进一步方案的有益效果是：通过计算所述预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，这样可以比较精确的生成平均梯度值与分割阈值的关系曲线，方便确定目标分割阈值，从而将所述预测概率图中像素精准的分割为柑橘果像素和背景像素，以得到进精确的二值图。
22.进一步：所述的基于图像的柑橘果实检测与识别方法还包括如下步骤：
根据所述柑橘果预测点位图和柑橘果实际点位图对预测结果进行评价，具体计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（12）其中，为真实被检测出来的柑橘果数量，为非柑橘果但被检测为病害的数量，为真实柑橘果但未被检测出来的数量，为精度准确度，为召回准确度，分数是精度准确度和召回准确度之间的调和平均值。
23.上述进一步方案的有益效果是：通过计算柑橘果预测点位图的精度准确度、召回准确度和二者之间的调和平均值，可以比较科学地评估柑橘果预测点位图的准确性和完整性，从而确定柑橘果的检测和识别 ，为大范围柑橘果实检测和识别提供理论参考和科学依据。
24.本发明还提供了一种基于图像的柑橘果实检测与识别系统, 包括标注模块、拟合模块、构建训练模块和识别模块；所述标注模块，用于获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；所述拟合模块，用于基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；所述构建训练模块，用于构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；所述识别模块，用于获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
25.本发明的基于图像的柑橘果实检测与识别系统，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
26.本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现所述的基于图像的柑橘果实检测与识别方法。
27.本发明还提供了一种基于尺度自适应的乡村景观功能区划分设备，包括所述的存储介质和处理器，所述处理器执行所述存储介质上的计算机程序时实现所述的基于图像的柑橘果实检测与识别方法的步骤。
附图说明
28.图1为本发明一实施例的基于图像的柑橘果实检测与识别方法的流程示意图；
图2为本发明一实施例的不用模型训练后的训练集的损失值和验证集的损失值对比图；图3为本发明一实施例的分割阈值与平均梯度关系曲线示意图图4为本发明一实施例的基于图像的柑橘果实检测与识别系统的流程示意图。
具体实施方式
29.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
30.如图1所示，一种基于图像的柑橘果实检测与识别方法, 包括如下步骤：s1：获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；s2：基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；s3：构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；s4：获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
31.本发明的基于图像的柑橘果实检测与识别方法，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
32.在本发明的一个或多个实施例中，所述s1中，所述获取柑橘果实的实景拍摄照片并对所述实景拍摄照片中果实的中心点进行标注，建立数据集具体包括如下步骤：s11：获取柑橘果实的实景拍摄照片，利用软件对所述实景拍摄照片中柑橘过的中心点进行标注；这里，本实施例中，采用imagej软件对柑橘果的中心点进行标注，标注时去保证每个标注点在对应感觉过的范围内。
33.s12：从所述实景拍摄照片中随机抽取m张作为标注样本，进行图像数据扩增，并保留n张样本作为样本数据集；本实施例中，为提高网络的泛化能力，从拍摄的照片中随机抽取m张标注样本，作为训练数据集，采用图像旋转、图像移动、图像缩放、图像增强、噪声注入、对比度变换等方法进行数据扩增，最后保留n张作为验证数据集。
34.s13：将所述样本数据集划分为训练集和验证集；其中，所述图像数据扩增包括图像旋转、图像移动、图像缩放、图像增强、噪声注入和对比度变换中的一种或多种处理，m》n。
35.这里，将扩充数据集按 8∶ 2 分为训练集和验证集。其中训练集用于训练模型参数，验证集用于训练模型的超参数调优，测试集用于评估模型的泛化能力。
36.通过对所述实景拍摄照片中柑橘过的中心点进行标注，方便后续对照片进行拟合，并从所述实景拍摄照片中随机抽取m张标注样本作为训练集，对所述实景拍摄照片进行图像数据扩增，可以提高模型的泛化能力。
37.实际中，为了确定柑橘果和背景的区别，分析图像中柑橘果和背景的各个波段的直方图分布特征，发现red和blue重叠区较小，具有很好的区分性，因此本发明采用归一化波段指数来区分目标物和背景的值。
38.在本发明的一个或多个实施例中，所述s2中，所述基于所述中心点利用区域生长算法对所述数据集进行拟合具体包括如下步骤：s21：采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀ
（2）其中，red为图像数据中对应像素的红光波段的值，blue为图像数据中对应像素的蓝光波段的值，gradiff为红蓝波段梯度指数，t为相邻空间红蓝波段梯度指数差值，且所述t小于预设阈值时对应像素为柑橘果，否则对应像素为背景；这里，所述预设阈值去0.18，当t小于0.18时，为柑橘，大于0.18时为背景值。
39.s22：采用八邻域算法，以所述中心点为种子点进行区域生长，得到数据集中图像数据对应的二值图像；该二值图像仅包含0和1；s23：采用3
×
3卷积核对所述二值图像分别进行膨胀和腐蚀处理，得到分别得到膨胀和腐蚀后的图斑，通过相交求差得到每一个果实的边缘点；s24：对所述边缘点进行圆拟合，得到果实的果实边界，并计算每个果实边界对应的半径；圆拟合公式为：其中，为所述边缘点的横坐标，为所述边缘点的纵坐标，a为果实点的横坐标，b为果实点的纵坐标。
40.需要特别指出的是，在所述s24之前，为了减少时间成本，需要对所述边缘点进行抽稀，这里，随机抽取50个边缘点的坐标进行圆拟合，并拟合出每个柑橘果的半径，同时，还需要计算出二维高斯函数所需要的高斯核参数，计算公式为：通过分析所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值，结合预设阈值可以准确判断对应的像素为柑橘果或背景，从而可以通过区域生长得到二值图像，在进行膨胀和腐蚀处理即可得到图斑，进而相交求差得到每一个果实的边缘点，最终通过圆拟合得到果实边界，并计算出果实边界的半径，方便后续生成对应的多尺度空间梯度概率图。
41.多尺度空间梯度概率图即将每一类坐标用一个概率图来表示，对图片中的每个像
素位置都给一个概率，表示该点属于对应类别关键点的概率，距离关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0，具体可以通过高斯函数（gaussian function）进行模拟。
42.在本发明的一个或多个实施例中，所述s2中，所述生成基于果实中心点的多尺度空间梯度概率图具体包括如下步骤：s25：定义所述数据集的图像中柑橘果的位置点为,构建每个柑橘果实位置点的二维高斯核函数，具体如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，控制高斯核函数的局部作用范围，越大，高斯核函数的局部影响范围就会越大，因此会根据果实的大小得到每个果实的局部影响范围。
43.s26：将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，并基于所有所述二维高斯核函数的最大值构建所述多尺度空间梯度概率图：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中，为高斯核参数，为对应柑橘果的位置点属于对应类别关键点的初始概率，为所述数据集的图像中柑橘果的数量。
44.通过构建每个柑橘果实位置点的二维高斯核函数，确定每个果实的局部影响范围，这样将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，得到多尺度空间梯度概率图，从而方便后续基于所述多尺度空间梯度概率图对多尺度空间注意力深度学习网络模型进行训练。
45.本实施例中，多尺度空间注意力深度学习网络模型的框架包括编码器和解码器，具有三个方面的特点：（1）采用u型结构作为主架构，通过密集输出特征数据来实现边缘特征的找回，使得采样过程中更多的信息被提取使用，并舍弃全局池化层和全连接层，加快模型收敛速度；（2）为了解决空间位置损失的问题，在模型下采样过程中加入多扩张卷积联合空间注意力模块，在增大特征图感受野的同时，与拼接特征图联合，通过级联方式，加强网络对特征的传递，保持特征图尺寸，避免空间位置信息的损失；（3）解码器融合更多的浅层特征，提高模型对特征图包含的空间位置信息的利用能力。
46.在本发明的一个或多个实施例中，所述s3中，所述构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练具体包括如下步骤：s31：构建多尺度空间注意力深度学习网络模型，并将所述训练集中的实景拍摄照片和对应的所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络模型，对所述实景拍摄照片进行采样、裁剪处理，得到特征图；这里，在编码器中，输入的训练集的实景拍摄照片的尺寸为256*256，首先经过第一层卷积核大小为3
×
3的卷积，再经过最大池化操作，得到64
×
256
×
256的特征图；然后经
过四个下采样过程，在下采样过程中，分别对每一层的特征层进行裁剪，分别得到64
×
128
×
128，128
×
64
×
64，256
×
32
×
32，512
×
16
×
16的特征图，后续与上采样过程中得到的特征图融合。每一次下采样后照片的分辨率减半，通道数加倍，第一次下采样后输出端数据通道数为128，后续下采样后的通道数以此类推。
47.在解码器中，首先对1024
×
16
×
16的特征图上采样，得到512
×
16
×
16的特征图，并与下采样过程中裁剪得到的512
×
16
×
16的特征图进行特征融合，得到512
×
32
×
32的特征图，再与多扩张联合空间注意力模块得到的1
×
32
×
32特征层进行融合，得到512
×
32
×
32的特征图。经过4个上采样过程，得到64
×
256
×
256的特征图。
48.s32：采用不同扩张率的扩张卷积层对所述训练集中的实景拍摄照片进行特征提取处理，得到不同尺度空间特征，并将不同尺度空间特征进行对应的空洞卷积处理后得到的空间特征进行合并，得到特征集；实际中，通过四个不同扩张率的扩张卷积层（rate=3，6，12，18）组成的多扩张卷积联合空间注意力模块（atrous_block）提取不同尺度空间特征。
49.s33：采用sigmoid函数对所述特征集进行处理，计算并输出预测概率作为主干网络特征的空间监督权重。
50.通过对所述实景照片进行自适应高斯拟合处理，得到对应的多尺度空间梯度概率图，并对实景照片和多尺度空间梯度概率图进行数据标注、数据扩增和数据划分，得到训练集、测试集和样本集；将所述训练集输入至所述多尺度空间注意力深度学习网络进行训练，得到多尺度空间注意力深度学习网络模型的主干网络特征的空间监督权重，最后，得到多尺度空间梯度概率预测图，完成训练。
51.如图2所示，展示了deeplabv3+模型、unet模型和massunet模型分别训练50次的训练集的loss值和验证集的loss值。通过对比三个模型，结果为mssunet模型的训练集和验证集的loss值明显比其他两个模型更优越，模型的鲁棒性更好。
52.在本发明的一个或多个实施例中，所述s4中，所述将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别具体包括如下步骤：s41：采用softmax激活函数将所述特征图归一化处理，得到果实分布概率图，并对所述果实分布概率图进行检测，输出包含每个像素属于每种类别概率的多尺度空间梯度概率预测图；经过sigmoid函数处理由四个空洞卷积合并后的特征集，并输出预测概率，作为主干网络特征的空间监督权重w，来突出目标特征，弱化背景信息。随后经过卷积核为1的卷积层做密集处理，最后在上采样前与其他层特征融合。扩张卷积在增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失。
53.需要特别指出的是，训练模型设置的初始学习率为0.001，每次随机选取4张训练集中的照片组成一个batch输入至网络模型中训练，直到训练集所有数据完成训练，每一次训练看做一次迭代（iteation），每次迭代输出一次训练集与验证集的损失值。其中损失函数（loss function）是用来估量模型的预测值与真实值的不一致程度，损失函数越小，模型的鲁棒性越好，损失函数采用mse，公式如下：
其中，表示多尺度空间梯度概率图中的真实值，表示多尺度空间注意力深度学习网络模型的预测值。
54.s42：利用sobel算子分别计算所述多尺度空间梯度预测概率图中每个像素的横向亮度差分近似值和纵向亮度差分近似值，并计算每个像素的梯度值；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）（7）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）其中，为sobel算子的横向卷积因子，为sobel算子的纵向卷积因子，为任一像素的横向亮度差分近似值，为任一像素的纵向亮度差分近似值，为多尺度空间梯度概率预测图中的任一像素的值为任一像素的梯度值；s43：根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图；s44：将所述二值图的连通区域的中心点坐标确定为柑橘果预测定位坐标，生成柑橘果预测点位图。
55.通过对所述目标柑橘实景拍摄照片中的每个像素进行检测，得到多尺度空间梯度预测概率图，并计算每个像素的梯度值，从而可以将所述多尺度空间梯度预测概率图进行分割，得到包含柑橘过像素和背景像素的二值图，从而根据二值图的连通区域的中心点坐标精确确定柑橘果的预测定位坐标，得到柑橘果预测点位图。
56.在本发明的一个或多个实施例中，所述s43中，所述根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图具体包括如下步骤：s431：根据所述多尺度空间梯度预测概率图计算所述多尺度空间梯度预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，并绘制平均梯度值与分割阈值的关系曲线；实际中，将多尺度空间梯度概率预测图中预测概率的大小，按照从小到大的顺序，依次设定分割阈值，将大于阈值的像素标记为1，其他标记为0，形成二值图，计算该二值图中值为1的像素的平均梯度值；绘制平均梯度值与分割阈值的关系曲线，如图3所示。
57.s432:选取所述平均梯度值与分割阈值的关系曲线中梯度值最大的像素点对应的分割阈值为所述多尺度空间梯度预测概率图的目标分割阈值；s433:将所述多尺度空间梯度预测概率图中像素值大于或等于所述目标分割阈值的像素归为柑橘果像素，将所述多尺度空间梯度预测概率图中像素值小于所述目标分割阈值的像素归为背景像素，并生成柑橘果分布的二值图。
58.通过计算所述多尺度空间梯度预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，这样可以比较精确的生成平均梯度值与分割阈值的关系曲线，方便确定目标分割阈值，从而将所述多尺度空间梯度预测概率图中像素精准的分割为柑橘果像素和背景像素，以得到进精确的二值图。
59.在本发明的一个或多个实施例中，所述的基于图像的柑橘果实检测与识别方法还包括如下步骤：s5：根据所述柑橘果预测点位图和柑橘果实际点位图对预测结果进行评价，具体计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（12）其中，为真实被检测出来的柑橘果数量，为非柑橘果但被检测为病害的数量，为真实柑橘果但未被检测出来的数量，为精度准确度，为召回准确度，分数是精度准确度和召回准确度之间的调和平均值。
60.通过计算柑橘果预测点位图的精度准确度、召回准确度和二者之间的调和平均值，可以比较科学地评估柑橘果预测点位图的准确性和完整性，从而确定柑橘果的检测和识别 ，为大范围柑橘果实检测和识别提供理论参考和科学依据。
61.本发明对deeplabv3+、u-net和mssunet（本发明采用的模型）模型分别在相同训练样本下，训练50次得到模型，进行预测。比较果实识别的效果，以及背景噪声对于模型精度的影响，背景噪声对于deeplabv3+模型的影响相对较大，会产生较多的错检，造成模型精度较低。u-net模型对于果实密集度较高的位置，会有较多的漏检，从而造成模型精度偏低，mssnet模型的查准率、查全率和f1均高于其他两个模型。评价结果如下表1所示。
62.表1精度评价结果通过表1可以看出，本发明对比了deeplabv3+、u-net和mssunet三个深度学习模型，分别训练了50次，其中本发明采用的mssnet模型的查准率、查全率和f1均高于其他两个模型。
63.如图4所示，本发明还提供了一种基于图像的柑橘果实检测与识别系统, 包括标注模块、拟合模块、构建训练模块和识别模块；所述标注模块，用于获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果
实的中心点进行标注，建立数据集；所述拟合模块，用于基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；所述构建训练模块，用于构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；所述识别模块，用于获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
64.本发明的基于图像的柑橘果实检测与识别系统，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
65.本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现所述的基于图像的柑橘果实检测与识别方法。
66.本发明还提供了一种基于尺度自适应的乡村景观功能区划分设备，包括所述的存储介质和处理器，所述处理器执行所述存储介质上的计算机程序时实现所述的基于图像的柑橘果实检测与识别方法的步骤。
67.本发明的基于图像的柑橘果实检测与识别方法，基于深度学习算法，开展大范围的柑橘果智能检测与计数，填补了大范围柑橘果智能检测与计数的空白，主要优点如下：（1）同传统计数方法相比，客观、识别准确率高、漏检率低（2）能够实现柑橘果实不同密集度(稀疏、正常、稠密)的多次检测和识别。
68.（3）本发明提供了一种通用的基于数码照片和深度学习的大范围柑橘果实的智能检测与识别方法，进而提高大范围柑橘果实的检测精度和速度。
69.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。