基于RGB图像重建高光谱图像的红枣水分含量等级检测方法

本技术涉及农业智能，特别涉及基于rgb图像重建高光谱图像的红枣水分含量等级检测方法。

背景技术：

1、现有的红枣业在各地实现了规模化批量生产，随着红枣产量和质量的提高，对红枣的运输和贮藏提出了新的要求，对于收获的红枣而言，水分是衡量其品质的重要因素，也是生产加工和贮藏过程中的重要标准。然而，收获红枣贮藏性差，室温下一般存放5天左右就会失去鲜脆状态；

2、为了延长红枣鲜脆状态的保存时间，一般采取机械制冷贮藏的方式对收获的红枣进行保鲜，保鲜是水分处理过程中的重要指标，一般要保证收获的红枣水分在35～45％，即使对红枣进行保鲜处理，收获的红枣也会容易因运输和保鲜贮藏不佳等情况导致水分含量流失并低于正常标准，从而导致红枣的口感欠佳、腐烂生虫等难题，因此，实现对红枣的水分含量检测，从而根据其所检测的水分含量进行相应的处理是非常迫切的需求。

3、目前，对于红枣水分含量的检测通常是使用干燥法或者蒸馏法。其中，蒸馏法是通过适宜有机溶剂作为蒸馏剂来分离红枣水分的方法，只适用于实验室水分含量测定；干燥法主要是通过烘箱干燥的方式来进行水分含量测定的，有学者基于烘箱干燥失重法原理设计出了冠亚红枣水分检测仪，该检测仪不仅操作简单，而且只需要几分钟就能快速准确地检测出红枣的水分含量，远优于传统的实验室检测法，适合于工厂生产线上的红枣水分含量检测，但是这种红枣水分检测仪仍然具有高时间成本和能源成本，不利于红枣批量进行水分含量的检测。

技术实现思路

1、针对现有技术的不足，本技术提供基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，以解决现有通常使用干燥法或者蒸馏法来检测红枣水分含量具有高时间成本和能源成本，不利于红枣批量检测的问题。

2、为了解决上述技术问题，本技术实施例第一方面提供了基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，包括：

3、采集第一红枣rgb图像，其中，所述第一红枣rgb图像是通过工业相机采集的；

4、将第一红枣rgb图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像；

5、将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签。

6、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述将第一红枣rgb图像输入到预先训练好的高光谱图像重建模型中重建，以得到第一重建红枣高光谱图像的步骤中，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积u型编码-解码器残差连接网络共同确定的；

7、其中，所述第一训练数据集包括多个第二红枣rgb图像和目标高光谱图像，所述第二红枣rgb图像是基于原始高光谱图像的三个波段送入envi软件中的rgb通道生成的，所述目标高光谱图像是基于原始高光谱图像中与红枣水分含量相关的三十一个特征波段组成的，所述原始高光谱图像是通过高光谱相机采集的。

8、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述预先训练好的高光谱图像重建模型是通过第一训练数据集和多尺度空洞卷积u型编码-解码器残差连接网络共同确定的步骤具体为：

9、获取多个目标高光谱图像和多个第二红枣rgb图像；

10、将多个第二红枣rgb图像输入到预先搭建的多尺度空洞卷积u型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像；

11、将多个第二重建红枣高光谱图像与其对应的目标高光谱图像进行对照，直至第二重建红枣高光谱图像满足第一预设条件时，将多尺度空洞卷积u型编码-解码器残差连接网络确定为训练好的高光谱图像重建模型。

12、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述将多个第二红枣rgb图像输入到预先搭建的多尺度空洞卷积u型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述预先搭建的多尺度空洞卷积u型编码-解码器残差连接网络具体包括：

13、第一特征提取模块，其用于对第二红枣rgb图像进行第一初始特征提取，并将3通道的第二红枣rgb图像变换成31通道的第一初始特征图，

14、特征映射模块，其输入端与所述第一特征提取模块的输出端连接，并用于对第二红枣rgb图像进行第二深层特征提取，以得到第二红枣rgb图像对应目标高光谱图像的深层映射关系的第二深层特征图；

15、特征转换模块，其输入端与所述特征映射模块的输出端连接，并用于将深层特征图与第一初始特征图相叠加后，再进行卷积处理，以得到第二重建红枣高光谱图像。

16、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述将多个第二红枣rgb图像输入到预先搭建的多尺度空洞卷积u型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述第一特征提取模块具体包括：依次连接第一卷积层、第一batch normalization正则化层和第一swish激活层，所述特征映射模块具体包括：顺序连接而成的三个多尺度空洞卷积u型编码-解码器，所述第一swish激活层与三个多尺度空洞卷积u型编码-解码器中的其中一个多尺度空洞卷积u型编码-解码器连接，所述特征转换模块包括第二卷积层，所述第二卷积层与三个多尺度空洞卷积u型编码-解码器中的另一个多尺度空洞卷积u型编码-解码器连接；

17、其中，所述第一卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输入通道数为3，输出通道数为31的卷积层，所述第二卷积层为一层卷积核大小为3×3，stride＝1，padding＝1，输出通道数等于输入通道数的卷积层，所述多尺度空洞卷积u型编码-解码器具体包括：两层3×3的第三卷积层、三个依次连接的组合结构和第一多尺度空洞卷积层，两层3×3的第二卷积层分别位于所述多尺度空洞卷积u型编码-解码器的初始端和结束端，并与三个组合结构中的其中一个组合结构连接，所述第一多尺度空洞卷积层与三个组合结构中的另一个组合结构连接。

18、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述将多个第二红枣rgb图像输入到预先搭建的多尺度空洞卷积u型编码-解码器残差连接网络中重建，以得到多个第二重建红枣高光谱图像的步骤中，所述组合结构具体包括第二多尺度空洞卷积层、下采样层、特征拼接环节、三层1×1的第四卷积层、上采样层和第三多尺度空洞卷积层，所述第二多尺度空洞卷积层的输出端分别与下采样层和特征拼接环节连接，所述特征拼接环节的输出端与第四卷积层连接，所述上采样层的输出端与特征拼接环节连接，所述第四卷积层的输出端与第三多尺度空洞卷积层连接，每个组合结构的下采样层的输出端与其相邻的组合结构中的第二多尺度空洞卷积层连接，每个组合结构的上采样层的输入端与其相邻的组合结构中的第三多尺度空洞卷积层连接，所述第一多尺度空洞卷积层分别连接末端的组合结构中的下采样层和上采样层，两层3×3的第三卷积层分别与首端的组合结构中的第二多尺度空洞卷积层和第三多尺度空洞卷积层连接，其中，每个多尺度空洞卷积层均包括三层并联的空洞卷积层和一层1×1的第四卷积层组成，每层空洞卷积层之后都串接一层第二batch normalization正则化层和第二swish激活层，所述三层并联的空洞卷积层的输入特征图与第四卷积层的输出特征图进行残差连接，并将所述残差连接后的结果通过第三swish激活层进行一次swish激活，所述下采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的两倍的卷积层，所述上采样层为一层卷积核大小为3×3，stride＝2，padding＝1，输出通道数为输入通道数的二分之一的反卷积层。

19、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的；

20、其中，所述第二训练数据集为多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签，所述第二重建红枣高光谱图像是通过将第一红枣rgb图像输入到预先训练好的高光谱图像重建模型中重建得到的，所述目标红枣水分含量等级标签是根据实验方法测量目标高光谱图像的水分含量结果标定的。

21、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述预先训练好的红枣水分含量等级分类模型是通过第二训练数据集和卷积神经网络共同确定的步骤具体为：

22、获取多个第二重建红枣高光谱图像、多个目标高光谱图像及其对应的目标红枣水分含量等级标签；

23、将多个第二重建红枣高光谱图像和目标高光谱图像输入到预先搭建的卷积神经网络中分类，以得到多个第二红枣水分含量等级标签；

24、将多个第二红枣水分含量等级标签与其对应的目标红枣水分含量等级标签进行对照，直至第二红枣水分含量等级标签满足第二预设条件，将卷积神经网络确定为训练好的红枣水分含量等级分类模型。

25、根据以上所述的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述预先搭建的卷积神经网络具体包括：

26、第二特征提取模块，其用于对第二重建高光谱图像或目标高光谱图像进行第二初始特征提取，并将三十一通道的第二重建高光谱图像或目标高光谱图像变换成六十四通道的第二初始特征图；

27、倒残差结构模块，其输入端与所述第二特征提取模块的输出端连接，并用于对第二重建高光谱图像或目标高光谱图像进行第二深层特征提取，以得到第二重建高光谱图像或高光谱图像对应目标红枣水分含量等级标签的深层映射关系的第二深层特征图；

28、分类模块，其输入端与所述倒残差结构模块的输出端连接。

29、根据以上所述的，所述将第一重建红枣高光谱图像输入到预先训练好的红枣水分含量等级分类模型中分类，以得到第一红枣水分含量等级标签的步骤中，所述第二特征提取模块具体包括一层卷积核大小为3×3，stride＝2，padding＝1，输入通道数为31，输出通道数为64的第六卷积层，所述倒残差结构模块具体包括：依次连接的三组fused-mbconv块、三组mbconv块和一层1×1的第七卷积层，所述第六卷积层的输出端连接三组fused-mbconv块的首端的fused-mbconv块，所述分类模块具体包括依次连接的第一自适应平均池化层、第一线性层、hardswish激活层、dropout层和第二线性层，所述第七卷积层的输出端连接自适应平均池化层；

30、其中，所述fused-mbconv块具体包括：依次连接的一层3×3的第八卷积层、第一注意力机制块和一层1×1的第九卷积层；

31、所述mbconv块具体包括：一层1×1的第十卷积层、一层3×3的第一dw卷积层、第二注意力机制块和一层1×1的第十一卷积层；

32、所述第一注意力机制块和第二注意力机制块均具体包括一层3×3的第二dw卷积层、第二自适应平均池化层、一层1×1的第十二卷积层、一层1×1的第十三卷积层、relu激活层、一层1×1的第十四卷积层、hardsigmoid激活层，所述第二dw卷积层的输出端分别与第二自适应平均池化层和第十二卷积层连接，所述第二自适应平均池化层的输出端与第十三卷积层连接，所述第十三卷积层的输出端与relu激活层连接，所述relu激活层的输出端与第十四卷积层连接，所述第十四卷积层的输出端与hardsigmoid激活层连接，所述hardsigmoid激活层的输出端与所述第十二卷积层连接。

33、本技术提供的基于rgb图像重建高光谱图像的红枣水分含量等级检测方法的有益效果至少在于：

34、本技术只需要通过工业相机采集红枣的第一红枣rgb图像，分别输入到预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型就可以快速得到红枣水分含量等级，检测效率高，并且，相比于高光谱相机，本技术在预先训练好的高光谱图像重建模型和红枣水分含量等级分类模型的基础上，只要使用工业相机采集红枣的第一红枣rgb图像输入到上述模型中即可，检测成本低。