一种基于多源图像的果实损伤类别与区域识别方法

本发明涉及果实损伤识别，尤其是一种基于多源图像的果实损伤类别与区域识别方法。

背景技术：

1、果实损伤通常包括虫害、病害、瘀伤、划痕和腐烂等，这些损伤可能会影响果实的质量、口感、食用价值和商业价值，还可能扩散到其他健康的苹果上，因此，及早识别和管理这些损伤对于农民和食品生产者至关重要。此外，果实损伤还会使得果实得品相、成分、营养遭受破坏，损害果实的质量，影响果实贸易的利益，带来食品安全问题。损伤检测不仅可以及时制止损伤的扩散，还可以提高果实的质量，保证食品安全，增加收益。因此，对贮藏中果实进行损伤检测是很有意义的。

2、传统上，果实损伤的检测通常依赖于人工检查，这种方法费时费力且容易出错。农民和生产者需要大量的人力资源来检查和分类果实，这可能导致效率低下和成本增加。此外，水果损伤检测主要的方法还包括光谱检测法、计算机视觉法，但它们对于难以区分的潜在损伤或表观不明显的损伤检测效果可能不佳。

技术实现思路

1、为解决现有技术无法准确判断植物果实损伤类别和区域的问题，本发明的目的在于提供一种采用rgb图像与红外图像相结合的方式对果品损伤进行检测，互相补充特性信息，提升果实损伤检测的准确度的基于多源图像的果实损伤类别与区域识别方法。

2、为实现上述目的，本发明采用了以下技术方案：一种基于多源图像的果实损伤类别与区域识别方法，该方法包括下列顺序的步骤：

3、(1)搭建可见光和ir成像系统，用于获取可见光下和不同红外波长下植物果实图像；

4、(2)通过可见光和ir成像系统进行果实图像采集与处理，获得多模态图像数据集，将多模态图像数据集划分为训练集、验证集和测试集；

5、(3)对deeplabv3深度学习模型进行改进，得到ads-deeplabv3+网络模型；

6、(4)采用训练集对ads-deeplabv3+网络模型进行训练，得到训练后的ads-deeplabv3+网络模型，将待识别的果实图像输入训练后的ads-deeplabv3+网络模型，得到果实损伤类型和区域。

7、所述步骤(1)具体是指：所述可见光和ir成像系统包括底座，底座的中心位置设置升降旋转装置，升降旋转装置的升降台上放置待识别的果实，底座上安装两个第一支架和一个第二支架，两个照明灯分别固设在第一支架上，摄像机固定在第二支架上，摄像机的镜头前安装可见光滤镜，摄像机的输出端与计算机的输入端相连。

8、所述步骤(2)具体包括以下步骤：

9、(2a)进行图像采集：

10、所述摄像机采用多光谱摄像机，用于捕获可见光图像即rgb图像，以及不同波长的ir图像；

11、(2b)进行图像配准：

12、选择固定图像：选择rgb图像作为固定图像，选择ir图像作为需要对齐的移动图像；

13、特征提取：从待配准的图像中提取特征点或特征区域；

14、特征匹配：利用尺度不变特征变换算法、加速稳健特征算法、快速特征点提取和描述算法中的任意一种对提取的特征点或特征区域进行匹配，找到它们在不同图像中的对应关系；

15、计算仿射变换参数：基于匹配的特征点或特征区域，通过最小化匹配点之间的误差来计算仿射变换参数，包括平移向量、旋转角度、缩放比例和错切参数；

16、应用仿射变换：利用计算得到的仿射变换参数，对移动图像进行变换操作，使其与固定图像对齐，通过仿射变换，调整图像的位置、旋转角度、大小和形状，实现图像的配准。

17、所述步骤(3)具体包括以下步骤：

18、(3a1)采用resnet作为骨干网络，在resnet骨干网络的编码器中加入特征金字塔，并在特征金字塔的每个层级中设计一个特征融合分支，以此融合不同层级的特征图，捕获多尺度语义信息；

19、(3a2)在resnet骨干网络与aspp模块之间引入卷积注意模块，通过将aspp模块生成的高级特征图与fpn融合生成的多尺度特征图相结合；

20、(3b)结合dice_loss损失函数和focal_loss损失函数，对ads-deeplabv3+网络模型的损失函数进行改进，得到混合损失函数：

21、dice_loss损失函数用于缓解正负样本不平衡带来的影响，该函数的表达式如下：

22、

23、其中，tp、fp和fn分别表示真正例、假正例和假负例的值；

24、focal_loss损失函数用于调节易分辨和难分辨样本之间的损失，表达式如下：

25、

26、其中，n是样本中的类别数，αi是类别的权重，pi是预测为类别的概率，yi是样本的独热标签，γ是用于调整难易样本权重的一个超参数；

27、混合损失函数的表达如下：

28、loss＝dice_loss+focal_loss。

29、由上述技术方案可知，本发明的有益效果为：第一，本发明能够更好地获取果实“反—透”射特性，提高检测准确性，具有更好的适应性和抗干扰性；第二，ads-deeplabv3+网络模型通过融入特征金字塔网络和卷积注意模块来提高小目标损伤的识别能力，结合dice_loss和focal_loss的损失函数得到的混合损失函数提高了对难区分样本的预测能力。

技术特征：

1.一种基于多源图像的果实损伤类别与区域识别方法，其特征在于：该方法包括下列顺序的步骤：

2.根据权利要求1所述的基于多源图像的果实损伤类别与区域识别方法，其特征在于：所述步骤(1)具体是指：所述可见光和ir成像系统包括底座，底座的中心位置设置升降旋转装置，升降旋转装置的升降台上放置待识别的果实，底座上安装两个第一支架和一个第二支架，两个照明灯分别固设在第一支架上，摄像机固定在第二支架上，摄像机的镜头前安装可见光滤镜，摄像机的输出端与计算机的输入端相连。

3.根据权利要求1所述的基于多源图像的果实损伤类别与区域识别方法，其特征在于：所述步骤(2)具体包括以下步骤：

4.根据权利要求1所述的基于多源图像的果实损伤类别与区域识别方法，其特征在于：所述步骤(3)具体包括以下步骤：

技术总结
本发明涉及一种基于多源图像的果实损伤类别与区域识别方法，包括：搭建可见光和IR成像系统；通过可见光和IR成像系统进行果实图像采集与处理，获得多模态图像数据集，将多模态图像数据集划分为训练集、验证集和测试集；对DeepLabv3深度学习模型进行改进，得到ADS‑DeepLabv3+网络模型；采用训练集对ADS‑DeepLabv3+网络模型进行训练，将待识别的果实图像输入训练后的ADS‑DeepLabv3+网络模型，得到果实损伤类型和区域。本发明能够更好地获取果实“反—透”射特性，提高检测准确性，具有更好的适应性和抗干扰性；ADS‑DeepLabv3+网络模型通过融入特征金字塔网络和卷积注意模块来提高小目标损伤的识别能力，结合Dice_Loss和Focal_loss的损失函数得到的混合损失函数提高了对难区分样本的预测能力。

技术研发人员：沈瓒骏,李士昌,侯芷萌,陈宗业,高振越,张子茜,方舒娴,朱彩青,叶佳怡
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/2/21