一种基于高光谱图像深度特征融合的甜瓜品质检测方法与流程

本发明涉及甜瓜品质检测领域，尤其涉及一种基于高光谱图像深度特征融合的甜瓜品质检测方法，通过对图像的空间信息以及光谱信息的特征学习，对甜瓜高光谱图像进行甜度和硬度的检测。

背景技术：

高光谱图像具有分辨率高的光谱，其光谱分辨率可达到纳米级，这使得相比于可见光图像，它具有更多的光谱信息，但是高光谱图像存在着两个根本问题，第一：由于光谱分辨率高，所以高光谱图像具有数据量巨大、数据冗余严重、波段众多等缺点；第二：高光谱图像的空间分辨率有限，存在着大量混合像元，会出现检测精度随着特征维数上升而下降的hughes现象。传统的方法是选择波段和特征提取，将原始数据压缩到低维空间，然后在检测阶段，使用传统的检测器，如：lr(线性回归)属于单层回归器，它无法很好地获得高级语义特征，所以利用这些方法得到的检测精度达不到现实的要求。

随着深度学习的发展，深度卷积神经网络(cnn)在图像分类以及回归等任务中表现出了极佳的性能，cnn以端到端的方式逐层地提取图像特征，然后利用训练好的模型对图像进行检测。靠近网络底部的卷积操作可以获得低级特征信息，随着网络的加深，高级语义信息会越来越强，因此，利用深度神经网络可以提高最终地检测性能。

利用深度神经网络对高光谱图像进行处理的方法极大的解决了传统方法所带来的不足，但是已有的大多数深度学习方法都具有一定的局限性：第一，多数深度学习方法需要确定大量参数，因此现有的深度网络模型复杂度高，从而需要大量的训练样本。目前存在的方法大多数都是在有监督的条件下进行的，例如：甜瓜的硬度数据集仅有240个数据，甜度数据集仅有480个数据，这对普通的网络模型来讲是远远不够的，所以设计一个无监督的网络模型是极其重要的。第二，现有的高光谱图像分类或预测，仅利用到了最深层的特征来进行预测或分类，并没有融合低层信息。在分类或预测任务上，语义信息固然很重要，但是低级信息也同样是不可忽略的。第三，图像的边缘信息对于最终的预测也是有很大影响的，现有的高光谱图像预测或分类上，都忽略了边缘信息的提取，所以在最终的预测时，图像的边缘是极其不乐观的，无法满足实际应用中的需要。

技术实现要素：

本发明提供了一种基于高光谱图像深度特征融合的甜瓜品质检测方法，本发明针对上述所提出的三点局限性，提出了一种无监督的网络模型，克服了由于标注数据过少带来的模型过拟合问题，且通过填充边缘邻域的像素，使得图像的边缘信息得到了有效的提取，详见下文描述：

一种基于高光谱图像深度特征融合的甜瓜品质检测方法，所述方法包括：

构建端到端的甜瓜甜度和硬度预测框架，将该预测框架作为无监督网络模型，该框架将甜瓜的光谱特征和空间特征集成到一个统一的神经网络中；

对边缘像素点分别进行3×3和5×5的填充，来保证图像的边缘信息丰富；

构建特征像素间相关性的小样本，计算特征像素间的距离，将此距离作为权重值，然后计算被测区域各像素点的甜度值和硬度值来估计整个甜瓜的甜度和硬度。

所述神经网络分为2个分支：

第一分支是将光谱数据送入自动编码器中以无监督的方式来提取光谱特征；

第二分支是提取空间特征：首先，高光谱图像经过主成分分析降低高光谱图像中光谱的维度；其次，以高光谱图像中的每个像素点为中心，在其周围选择多个像素点作为一个块，将块拉伸成一维向量；再次，将这一维向量送入到自动编码器中以无监督的方式提取空间特征，最后，将空间特征和光谱特征进行逐像素相加来达到空间信息与光谱信息的融合。

所述特征像素间相关性的小样本的计算公式如下：

上述公式中，si和hi分别是预测的甜度和硬度值；wli是从预测点到标记点的距离，然后归一化为0到1之间的距离；sl、hl是传统测量方法测得的甜度和硬度值；vi是预测像素的一维向量，vl是标记像素。

本发明提供的技术方案的有益效果是：

1、考虑到标注数据较少的情况下，本发明在无监督的条件下提取光谱和空间特征；

2、考虑到现有的模型只利用语义信息的情况下，本发明将局部和全局的多尺度空间特征进行融合；

3、本发明在预测上，利用极少的标签值，将特征距离作为权重，通过不断的训练，最终预测每个像素点的甜度和硬度值以达到最终的预测结果；

4、考虑到边缘信息，本发明将分布在边缘的那些像素，通过镜像图像来填充其邻域的空白像素，弥补了边缘信息仅被提取一次的缺点；

5、本发明设计的无监督网络模型，在特征提取上体现了无监督学习，在预测结果上体现了小样本学习，克服了由于标注数据过少带来的模型过拟合问题。

附图说明

图1为无监督网络模型的架构示意图；

图2为边缘像素填充示意图；

图3为像素块伸平示意图；

图4为传统方法测量甜度和硬度的位置；

其中，(a)为测量甜度的8个位置；(b)为测量硬度的4个位置。

图5为三类甜瓜的高光谱图像；

图6为甜瓜伊丽莎白的甜度分布图；

图7为甜瓜爪脆的甜度分布图；

图8为甜瓜翡翠的甜度分布图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

测量水果内部质量的传统方法是费力的并且需要对内部组织成分进行破坏性测试。近红外光谱技术的最新进展使得能够快速，无损地检测水果内部信息和水果质量测试。本方法利用近红外光谱区(900-1,700nm)的高光谱图像以及深度学习方法来测量甜瓜的品质。

实施例1

本发明实施例描述了一个基于深度多尺度特征融合的端到端的网络结构，如图1所示。

它有两个特点：首先，由于采用端到端的训练策略，所有的训练过程都被集成到一个神经网络中，这将使学习到的特征变得更具识别性。其次，与传统的光谱特征和空间特征分离的框架不同，在所提方法中同时训练光谱特征和空间特征。这样，光谱和空间信息可以更好地融合。本方法的主要贡献概括如下。

1、提出了一种端到端的甜瓜甜度和硬度预测框架(作为无监督网络模型)，该框架将甜瓜的光谱特征和空间特征集成到一个统一的神经网络中，该神经网络分为2个分支：

第一分支是将光谱数据送入自动编码器中以无监督的方式来提取光谱特征。

第二分支是提取空间特征：首先，高光谱图像经过主成分分析(pca)来降低高光谱图像中光谱的维度；其次，以高光谱图像中的每个像素点为中心，在其周围选择多个像素点(3x3或5x5)作为一个块(patch)，将块拉伸成一维向量；最后，将这一维向量送入到自动编码器(autoencoder，ae)中以无监督的方式提取空间特征，最后，将空间特征和光谱特征进行逐像素相加来达到空间信息与光谱信息的融合。

其中，上述采用无监督的方式提取光谱特征或空间特征的具体操作为本领域技术人员所公知，本发明实施例对此不做赘述。

2、在提取空间特征时，由于边界像素只能计算一次，所以本发明对边缘像素点分别进行3×3和5×5的填充(filling如图2所示)，来保证图像的边缘信息足够丰富。

3、由于甜度和硬度的标注数据较少，本发明提出了一种“特征像素间相关性”的小样本算法。此算法通过计算特征像素间的距离，将此距离作为权重值，然后计算被测区域各像素点的甜度值和硬度值来估计整个甜瓜的甜度和硬度。

其中，特征像素间相关性计算公式如下：

上述公式中，si和hi分别是本发明所提出的无监督网络模型预测的甜度和硬度值。wli是从预测点到标记点的距离，然后归一化为0到1之间的距离。sl、hl是传统测量方法测得的甜度和硬度值。vi是预测像素的一维向量，vl是标记像素。

实施例2

下面结合具体的实验对实施例1中的方案进行可行性验证，详见下文描述：

1、实验设置

数据集及评价指标：

(1)在这项研究中，数据集是从天津的蔬菜种植区共采集了60个样本。精选了三种类型的甜瓜：伊丽莎白、爪脆和翡翠。这些甜瓜经纵向切割后，在测量中心测得甜度和硬度。

甜瓜甜度用brix-90(折光仪pal-1)测定。每个样品的甜度值是在半个甜瓜的8个点上测量的：头、尾和侧面，4个点更接近果皮，4个点更接近果肉。如图4(a)所示。使用纹理检测器测试每个样品的硬度值。每个样品的硬度都是在测量甜度值的四个位置附近测量的。如图4(b)所示。

对于高光谱图像的采集，使用近红外光谱范围为900-1700nm，光谱分辨率为3nm的高光谱图像对甜瓜进行了测量。因此，高光谱成像系统总共产生256个谱带。考虑到这一过程可能受到光和噪声的影响，采用近红外高光谱系统形成的高光谱图像作为原始图像。作为附加参考，通过改变光来创建黑白图像，校准公式如下：

其中，hic是标定的高光谱图像数据，hir是原始图像数据，id和iw分别是暗色和白色参考图像。通过从高反射率(约99.99％)白色校准瓦片获得光谱图像，获得标准的白色参考图像，并且通过记录具有熄灭的光谱图像获得暗电流噪声图像(约0％)，并且相机透镜完全被黑色盖子覆盖。另外，为了减少仪器本身的影响，本发明使用了中间的216个谱带，因为前20个和后20个谱带的图像含有相当大的噪声。

(2)本方法通过均方误差(rmse)作为评估指标，公式如下：

其中，ypred代表网络模型预测的甜度值或硬度值，yact代表传统方法测量的真实值，n为样本的总和。

本实验使用nvidiagtx1080tigpu，模型代码基于python和tensorflow工具箱搭建。另外本模型使用sgd优化器，学习率设置为10e-6。

2、实验性能比较

在本实验中，使用支持向量机(svr)、随机森林(rf)、最小二乘法(plsr)、和本发明提出的仅有光谱的像素相关性(spectral-pps)、空间光谱合一的像素相关性(ssu3-pps和ssu5-pps)，如表1可以看出，提出的方法在甜度测量上优于其它的模型，取得了良好的预测效果。相反，观察到硬度测量不是很令人满意，因为甜瓜的硬度与细胞壁结构和纤维素含量有关，高光谱图像对细胞结构不敏感。因此，在使用高光谱系统测量硬度时，没有观察到显著的相关性。

表1定量评估

本方法使用ssu3-pps模型来对三种类型的甜瓜甜度值的大小进行可视化，图5是三种甜瓜的高光谱图像，图6-8显示了瓜类样品的甜度分布图。二值图中接近黑色表示甜度值越高，从可视化中可以看出，预测结果是接近现实的，接近肉体的甜度值高于果皮的甜度。

总的来说，本发明采用近红外高光谱成像系统和深度学习的方法来预测甜瓜的品质属性，可以看出，在五个预测模型中，本方法取得了良好的预测结果。因此，可以深化在医学、化工、食品等重要领域的深度学习知识。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。