基于果品品质检测模型的果品品质检测方法及系统

本发明属于果品品质检测，涉及一种果品品质检测方法及系统，具体涉及一种基于高光谱及果品品质检测模型的果品品质检测方法及系统。

背景技术：

1、传统的果品品质检测方法主要是通过目视检查(文献1)、感官评价(文献2)以及物理化学分析单一指标的检测法(文献3)来判断果品的品质，然而这些方法存在检测精度低、成本高以及效率低等问题，限制了它们在实际果品品质监测中的实用性。

2、pathmanaban p,gnanavel b k,anandan s s.recent application of imagingtechniques for fruit quality assessment[j].trends in food science&technology,2019,94:32-42.

3、bavay c,symoneaux r,i,et al.importance of fruit variability inthe assessment of apple quality by sensory evaluation[j].postharvest biologyand technology,2013,77:67-74.

4、farina v,lo bianco r,mazzaglia a.evaluation of late-maturing peachand nectarine fruit quality by chemical,physical,and sensory determinations[j].agriculture,2019,9(9):189.

技术实现思路

1、为了解决现有技术中果品品质检测成本高及检测精度不理想的技术问题，提供了一种于高光谱的果品品质检测方法及系统。

2、本发明的方法所采用的技术方案是：一种基于果品品质检测模型的果品品质检测方法，包括以下步骤：

3、步骤1：获取待检测的原始果品高光谱图像r，并进行预处理；

4、步骤2：将预处理后的高光谱图像r2输入果品品质检测模型，获取果品表面缺陷结果以及内部品质指标数值；

5、作为优选，步骤1中所述预处理，对果品原始高光谱影像r进行黑白校正，得到果品校正高光谱图像其中，w与b分别表示白标定图像和黑标定图像；

6、计算果品校正高光谱图像r1中每个像素的光谱反射率值的标准偏差，创建特征矩阵；然后设置阈值对特征矩阵进行二值化，并采用打开、闭合操作对二值化后的图像进行处理，检测到感兴趣边界；最后进行感兴趣区域提取，去除噪声背景，得到预处理后的果品高光谱图像r2。

7、作为优选，步骤2中所述果品品质检测模型，包括归一化层、降维层、空谱特征提取层和分类回归汇聚层；所述归一化层，用于将预处理后的果品高光谱图像r2进行归一化操作；所述降维层，用于利用主成分分析法对归一化后的高光谱图像r′进行降维，去除冗余波段信息，得到降维后的果品高光谱图像r3；所述空谱特征提取层，用于利用规范化注意力网络对降维后的果品高光谱图像r3进行特征提取，得到丰富的空间特性和光谱特征，并且与均值、对比度、相关性、能量、同质性和熵六个纹理特征进行融合；所述分类回归汇聚层，用于利用空谱特征与纹理特征的融合值输入到最小二乘支持向量机进行分类回归汇聚，在果品表面指标和内部品质指标基础上，结合光谱信息和空间信息，采用最小二乘支持向量机构建果品检测模型，区分果品表面是否有缺陷并预测内部品质指标数值。

8、作为优选，所述规范化注意力网络包括编码模块、残差模块、解码模块、融合模块和规范化注意力模块；

9、所述残差模块，用于连接输入高光谱影像x的与卷积模块c3的输出特征图f3，保证编码模块信息流的传输；所述输入高光谱影像x为降维后的果品高光谱图像r3；

10、所述解码模块，包括串联设置的三个反卷积模块d1、d2和d3；所述卷积模块均含有一层反卷积层，且卷积层之后均依次加入有归一化层和激活层；所述卷积模块c1、c2和c3的卷积核大小均为3，步长大小均为2；

11、所述融合模块，用于对所述c1、c2、c3和c4卷积模块输出的特征图f1、f2和f3分别经过一个反卷积层来使得特征分别与反卷积模块d1、d2和d3处于同一种尺度，并按照d1、d2和d3的顺序分别进行融合影像空间和光谱特征；

12、所述规范化注意力模块，用于对所述反卷积模块d3与卷积模块c1融合后的特征图进行细化，在通道方向使用批处理归一化的比例因子；

13、所述规范化注意力模块，后接一个展开层和一个带有softmax函数的全连接层用于对细化后的特征图进行分类；

14、所述编码模块，由四个卷积模块和一个残差模块组成，用于对所述输入的降维后的果品高光谱图像r3的特征进行压缩；所述编码模块的卷积模块c1的输入是降维后的果品高光谱图像r3；所述编码模块的卷积模块c2的输入是所述卷积模块c1的输出特征图f1；所述编码模块的卷积模块c3的输入是所述卷积模块c2的输出特征图f2；所述编码模块的卷积模块c4的输入是所述卷积模块c3的输出特征图f3与输入进行残差连接的结果；进入反卷积操作；所述解码模块，由三个反卷积模块、三个融合模块和一个归一化注意力模块组成，用于对所述编码模块的输出特征f5进行解码；所述解码模块的反卷积模块d1的输入是所述卷积模块c4的输出特征图f5；所述解码模块的反卷积模块d2的输入是所述反卷积模块d1的输出特征图f6与所述卷积模块c3的输出特征图f3融合后的特征图；所述解码模块的反卷积模块d3的输入是所述反卷积模块d2的输出特征图f7与所述卷积模块c2的输出特征图f2融合后的特征图；所述解码模块的归一化注意力模块的输入是所述反卷积模块d3的输出特征图f8与所述卷积模块c1的输出特征图f1融合后的特征图；所述解码模块的规范化注意力模块，输入的特征图经过该单元后，每个特征图会有一个权重图，代表通道方向特征图的重要程度；所述解码模块的输出为对所述编码模块输入的果品品质检测结果y。

15、作为优选，步骤1中所述预处理，对果品原始高光谱影像r进行黑白校正，得到果品校正高光谱图像其中，w与b分别表示白标定图像和黑标定图像；

16、计算果品校正高光谱图像r1中每个像素的光谱反射率值的标准偏差，创建特征矩阵；然后设置阈值对特征矩阵进行二值化，并采用打开、闭合操作对二值化后的图像进行处理，检测到感兴趣边界；最后进行感兴趣区域提取，去除噪声背景，得到预处理后的果品高光谱图像r2。

17、作为优选，步骤2中，根据得到的预处理后的果品高光谱图像r2表面特征，果品样品分为完整果品和缺陷果品两类，其中完整果实表示表面无缺陷的果品；获取不同果品的内部品质指标数值，所述内部品质指标包括硬度、可溶性固形物、可滴定酸度以及维生素c四个指标；根据不同果品的表面缺陷结果及内部品质指标数值设置不同果品品质等级规则。

18、作为优选，所述果品品质检测模型，是训练好的果品品质检测模型；在训练结束后采用验证集对训练结果进行验证；验证采用两种判别准则，分别是预测的确定系数和预测的均方根误差；所述果品品质检测模型在训练中采用交叉熵作为损失函数，并采用adam优化器进行优化模型训练进程，得到训练好的果品品质检测模型；采用训练好的果品品质检测模型的编码模块用于提取输入果品高光谱影像的空谱特征，并结合纹理特征输送到最小二乘支持向量机进行分类。

19、本发明的系统所采用的技术方案是：一种基于果品品质检测模型的果品品质检测系统，包括以下模块：

20、果品高光谱图像模块，用于获取待检测的原始果品高光谱图像r，并进行预处理；

21、果品品质检测模块，用于将预处理后的高光谱图像r2输入果品品质检测模型，获取果品表面缺陷结果以及内部品质指标数值；

22、作为优选，所述果品高光谱图像模块，包括成像镜头、高光谱成像仪、光源、白板、移动平台以及服务器。

23、作为优选，所述系统还包括终端、无线传感模块和处理器；所述终端，用于向无线传感模块输送指令，并接收反馈信息；所述无线传感模块，用于终端与处理器间信息指令的往来传输；所述处理器，用于处理无线传感器往来的执行指令。

24、本发明与现有技术相比在低成本、高效率的情况下，能够实现果品内部和外部品质的同时检测，得到果品品质等级结果。首先，由于果品高光谱图像获取过程中容易遭受噪声干扰，并且存在冗余的背景信息。因此，本发明通过黑白校正与自动分割等预处理操作消除噪声背景，避免人工误分割问题，提取感兴趣区域。其次，获取的果品高光谱影像具有数百条波段，含有大量的光谱信息，这无疑是对计算机硬件的挑战。本发明采用主成分分析法对预处理后的果品高光谱图像进行降维处理，以保留主要的特征信息，剔除冗余波段，降低后续数据处理成本。传统人工主观评判果品品质检测主要依赖于检测人员丰富的经验，使得检测费时耗力，效率低下。本发明基于卷积神经网络建立了规范化注意力网络，同时从空间维和通道维提取果品高光谱图像中大量的特征信息。由于果品训练样本量有限，卷积神经网络容易产生过拟合问题。因此，本发明引入了残差模块与融合模块，充分利用网络模型中的信息流，加深网络的同时缓解过拟合现象。另外，由于传统的卷积神经网络通常默认每个波段的权重是相同的，事实上每个波段特征对模型结果影响不同。本发明利用规范化注意力模块对不同波段权重进行重新赋值，并不需要额外的训练参数，从而突出对模型分类结果更好的特征，同时抑制不重要特征波段。最后，利用训练好的规范化注意力网络编码部分从果品高光谱样本中获得鉴别性的空谱特征，并且获取均值、对比度、相关性、能量、同质性和熵六个纹理特征作为额外信息补充，将空谱特征和纹理特征的融合值输入到结构简单的最小二乘支持向量机分类器中实现高效果品品质等级分类。