基于深度学习的油茶果成熟度高光谱检测方法及分选设备

1.本发明属于木本粮油林果无损检测技术与设备领域，具体涉及一种基于深度学习的油茶果成熟度高光谱检测方法及分选设备。


背景技术：

2.油茶是我国与少数东南亚国家特有的木本油料作物，在我国已有数千年种植历史，与油棕、椰子、橄榄并称为世界四大油料作物。油茶在中国分布很广，全国油茶种植面积约6550万亩，年产茶油60万吨，产值近千亿元。中国15个油茶主要生产省(区)的油茶产量占全国的99.99％，产量与品种丰富度均是世界首位。油茶果榨出的茶油不饱和度高，堪比橄榄油。近年来全球消费者对高品质木本食用油需求逐年增加，要生产出高质量的茶油、维持茶油的核心竞争力则需要保证用于产油的果堆里没有不成熟等劣质油茶果。但我国采后农林产品加工机械化程度较低，对于检测分选不同成熟度油茶果这样的工作长期需人工作业完成，作业效率低下、成本高昂、严重影响油茶产业加工效率。
3.高光谱成像无损检测技术在如水果、蔬菜、肉、蛋、奶等农产品检测领域已有广泛应用，但在油茶果检测方面起步较晚。针对近年来出现的影响木本粮油产业发展的不同成熟度油茶果为研究对象，因会引起林果果实组织外部表达和内部成分综合变化，从融合外部对比度、无序性、随机性等光学纹理特征(二阶矩、同质性、熵等)以及内部含氢有机官能团c-h、n-h、o-h和s-h振动的合频和倍频吸收等光谱特征差异角度，明晰光学特性信息差异，确定指纹图谱基础特征参数，结合化学计量学和深度学习方法进行判别，实现由简单人工感官向光学模型预测评价方法传递，能够克服人工检测分选精度低、无法实现逐果筛查精选等缺点，集成自动化开关控制，取代人工的同时可在原材料关卡提高生产粮油品质及档次。


技术实现要素：

4.为解决上述问题，本发明公开了一种基于深度学习的油茶果成熟度高光谱检测方法及分选设备，能够快速对不同成熟度果实进行检测，并进行分类图像可视化，同时借助机械设备进行分选。
5.为达到上述目的，本发明的技术方案如下：
6.一种基于深度学习的油茶果成熟度高光谱检测方法，该方法包括如下步骤：
7.s1.获取不同成熟度的油茶果样本，
8.s2.获得s1得到的每个样本的光谱，具体方法如下：
9.s21.采用线扫描高光谱成像系统进行油茶果高光谱图像采集得到原始高光谱图像ro；
10.s22.对s21得到的原始高光谱图像ro进行黑白校正，计算公式如(1)，打开光源，待10-15分钟后光源照度稳定时对反射率为100％的白色参考板进行高光谱图像的采集w，之后，在采集环境稳定的情况下，关掉光源，盖上相机镜头盖使得反射率为0％采集黑色参考
板的高光谱图像d，原始高光谱图像ro通过如下公式进行校正，得到校正后的高光谱图像rc，
[0011][0012]
s23.对所述黑白校正后的油茶果高光谱图像采用公式(2)进行照度和曲率校正以及裁剪，具体是对某一波长下图像的每个像素点p
λ
的光谱强度值归一化，然后比上所有波长(n个)下所有像素点的光谱强度值之和，最终得到的数据立方体x
λ
就是与照度、光源方向和曲率无关的高光谱图像，
[0013][0014]
s24.对所述进行过照度和曲率校正后的高光谱图像结合波段数学算法确定感兴趣区域以去除掉包括背景、培养皿边缘的不需要像素点的光谱信息仅提取出纯样品部分，利用高反射率700nm波段处的图像减去低反射率425nm波段处的图像得到波段运算图像，在波段运算图像上以0.25作为阈值提取大于等于0.25阈值的像素点部分生成感兴趣区域roi，提取每个油茶果样品对应的平均光谱；
[0015]
s3.对s1得到的每个样本进行理化指标测定，包括果高、果径、硬度测定，以及果壳含水率、内部籽含油率、木质素、淀粉含量等理化指标进行测定；对所测定理化指标进行pearson相关性分析，主成分分析或进行kmo及bartlett检验因子分析，采用公式(3)提取指示成熟度信息的单一综合评价因子，
[0016]
cmi＝c1×
x1+c2×
x2+...+cn×
xnꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0017]
式中，cmi代表综合评价因子，c代表权重贡献率，x为参量指标，n为参量数量；
[0018]
s4.对步骤s2获得的样本的光谱进行预处理，预处理方法包括标准化、snv、msc、去趋势、导数；同时对roi内的主成分图像提取包括均值、对比度、相关度、能量、同质性、方差、差异性、的纹理信息特征，具体如下：
[0019]
求均值mean
[0020][0021]
求对比度contrast
[0022][0023]
求相关度correlation
[0024][0025]
求能量energy
[0026][0027]
求同质性homogeneity
[0028][0029]
求方差variance
[0030][0031]
求差异性dissimilarity
[0032][0033]
求熵entropy
[0034][0035]
式中，g(i,j)代表的是灰度共生矩阵，x是灰度共生矩阵的列数，y是灰度共生矩阵的行数，其中：
[0036][0037][0038][0039][0040]
s5.对步骤s4预处理光谱和纹理信息作为人工智能深度卷积神经网络的信息输入，以成熟度因子得分作为预测输出，建立模型预测并评价选取最优预处理方法和特征信息组合；
[0041]
s6.对步骤s4预处理光谱进行二维相关光谱分析，以步骤s5得到的成熟度信息为微扰，选出随成熟度变化剧烈同步谱自动峰特征波长，作为简化深度学习模型输入，建立少变量成熟度预测模型并进行评价；
[0042]
s7.将步骤s6得到的深度学习简化模型迁移植入到分选设备的主控制器中进行预测分选；具体过程是：
[0043]
油茶果由入料箱(1)落下、由通道隔板(15)进行隔档进入到不同通道(16)、动分选杆(14)和静分选杆(13)的相互作用下油茶果不断向前运动，分选杆前段直径大后端直径小，动分选杆上有螺纹带(17)，动力源来自电机(5)带动动力输出轴(4)、皮带轮(3)和皮带传动，驱动减速器(2)转动工作，随着动分选杆(14)的转动油茶果将在螺纹带(17)的推动下运送至设备的另一头，静分选杆(13)起支撑作用；先落处输送管(9)直径大后落处输送管(9)直径小，即动静态分选杆之间的缝隙会随着离入料箱(1)的距离变化，距离入料箱越远的缝隙越大，使得油茶果在分选杆上运输的过程中，小果先落、大果后落，从而完成油茶果的大小分级；
[0044]
油茶果落入落料盒(12)后，进入分选系统，油茶果在重力作用下从落料盒(12)落入输送管(9)，输送管上端固定着多光谱传感器盒(10)，内置三个多光谱相机(18)，微电脑对拍摄的多光谱图像带入到步骤s1-s6中中建立的深度学习模型中进行预测分析，根据分析结果延时控制分选管(8)下方的拨片(7)将不同成熟度油茶果拨到不同的收集箱(6)内。
[0045]
进一步的，本发明的方法还包括在步骤s2获得每个样本的光谱后进行蒙特卡罗交
叉验证(monte carlo cross-validation，mccv)剔除奇异样本以保证模型预测准确率的步骤，蒙特卡罗交叉验证的具体方法是：每次随机选取m
t
个样本，选取a个主成分建立偏最小二乘模型，剩余的m
p
(m-m
t
)个样本用于预测，计算m
p
样本各自的预测残差的均值μm和标准偏差σm；
[0046][0047][0048]
重复此随机过程k次，则每个样本都会有一组预测残差，设第m个样本在mccv中进入预测集的次数为tm，各残差分别记为r
mn
(0≤n≤k)；
[0049]
对所有样本，作μ
m-σm分布图，由于正常样本的预测残差近似服从具有低均值的正态分布，奇异样本的预测残差一般均值较高，呈现较明显的拖尾分布，在此分布图上，直观地找出奇异样本，并进行剔除。
[0050]
进一步地，步骤s4所述获取纹理信息特征后还包括应用连续投影法、竞争性自适应加权算法、蚁群优化算法、粒子群优化算法、模拟退火算法、随机蛙跳算法或遗传算法中的一种或多种算法分别建立简化模型并进行对比，选取最优简化模型植入到分选设备中。
[0051]
进一步地，所述拨片转动由马达带动，马达转动由微电脑控制以实现对油茶果的分选，延时控制时间约为0.05秒。
[0052]
本发明的另一目的是提供一种基于深度学习的油茶果成熟度高光谱检测分选设备，包括机架，所述机架上设置有料箱，所述料箱的出料口处设置有倾斜的出料通道，所述出料通道上设置一组平行的通道隔板，每个所述的通道隔板底板设置有一个静分选杆，每相邻的两个静分选杆之间设置有动分选杆，所述动分选杆上缠绕有螺纹带，所述动分选杆连接驱动装置，所述静分选杆与所述动分选杆均为一头大一头小的锥形杆，其靠近所述料箱的一头直径大于其另一端的直径，在每一条相邻的动分选杆与所述静分选杆下方设置有一列紧密排布的落料盒，每个所述的落料盒底下设置有输送管，每个所述输送管上端固定着多光谱传感器盒，内置三个多光谱相机，所述多光谱相机连接微电脑，所述微电脑内置步骤s1-s6中中建立的深度学习模型对拍摄的多光谱图像进行预测分析，所述输送管底部设置有分选管，所述分选管底部设置有拨片，所述拨片由马达带动其转动，马达转动由微电脑控制。
[0053]
进一步地，所述多光谱传感器盒内安装3个多光谱相机，每个相机夹角120
°
。
[0054]
进一步地，所述静分选杆和动分选杆材料选用尼龙，两端由轴承座支撑固定。
[0055]
进一步地，所述输送管和分选管采用透明材料制成。
[0056]
进一步地，每个所述静分选杆与动分选杆，长度设定为3050mm，最大直径设定为50mm，最小直径设定为20mm。
[0057]
本发明的有益效果为：使用本发明的检测方法可以实现不同成熟度油茶果样本的快速检测，准确率达90％以上，分选设备为木本粮油林果产地快检分选提供了途径。
[0058]
1.本发明提供的高光谱结合人工智能深度学习检测油茶果成熟的方法，扩大了高光谱无损检测的应用范围，实现木本粮油类林果无损、实时地快速、精准检测。
[0059]
2.本发明提供的分选设备，能够取代人工将油茶果产地处理总体效率提高80％以上，节约成本30％。
[0060]
3.分选设备总体结构简单、安装拆卸方便，光学检测不需要引入化学试剂，绿色、无污染、低碳环保。
[0061]
4.对收获油茶果进行品质分选环节，消费者安心按需购买生产粮油，市场整体健康发展，提高经济效益而且有利于建立品牌提升总体国内外竞争力。
[0062]
5.结合特征波长选取方法找到指纹图谱信息，有利于后续降低设备总体成本，开发相关仪器朝便携化方向发展。
附图说明
[0063]
图1为本发明实施例提供的基于深度学习的油茶果成熟度高光谱检测方法流程图；
[0064]
图2为油茶果高光谱图谱信息建模利用的深度卷积神经网络框架；
[0065]
图3为二维相关光谱确定指示油茶果成熟度特征波长；
[0066]
图4为基于深度学习的油茶果成熟度高光谱检测分选设备；
[0067]
图5为动静态分选杆；
[0068]
图6为终端分选系统结构；
[0069]
其中附图的标记为：
[0070]
图中：1-入料箱；2-减速器；3-皮带轮；4-动力输出轴；5-电机；6-收集箱；7-拨片；8-分选管；9-输送管；10-多光谱传感器盒；11-机架；12-落料盒；13-静分选杆；14-动分选杆；15-通道隔板；16-通道；17-螺纹带；18-多光谱相机。
具体实施方式
[0071]
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
[0072]
第一方面，本发明实施例提供一种基于深度学习的油茶果成熟度高光谱检测方法，整个流程如图1所示，包括：
[0073]
步骤a：收集大量不同成熟时间节点(未成熟、采收成熟度、食用成熟度、生理成熟度、过熟)不同批次生长发育的油茶果样本构成样本库(n个样本)，去除有明显差异的变异、染病或虫侵害样本。
[0074]
步骤b：使用高光谱成像系统采集高光谱图像，系统包括光谱仪、探测器(scmos相机)、一条白色食品级传送带、一套由12只50w的卤素灯和漫反射穹顶组成的照明系统以及一台计算机。被测物品置于传送带上的载物台由步进电机驱动，暗箱用于屏蔽外界杂散光对数据采集的干扰。采集两个油茶果的高光谱图像，并裁剪成230
×
290
×
150大小的单个油茶果高光谱图像，对采集后样本进行如下公式校正:
[0075][0076]
其中，re为校正后的漫反射光谱图像数据，r0为样本原始的漫反射光谱图像数，d为暗图像数据，w为白板的漫反射图像数据。
[0077]
为避免光源布置高度、角度会引起照度不均问题，对照度及表面曲率的校正以修正形态效应，其主要是首先对某一波长下图像的每个像素点p
λ
的光谱强度值归一化，然后
比上所有波长(n个)下所有像素点的光谱强度值之和，最终得到的数据立方体x
λ
就是与照度、光源方向和曲率无关的高光谱图像，具体计算见下式。
[0078][0079]
步骤c：对n个样本进行包括含油率等理化品质指标测定，油茶果的果高、果径使用游标卡尺测量并记录，油茶果的鲜果质量、鲜籽质量采用精度为0.01g的分析天平测定。将油茶鲜果剥壳后于干燥箱内烘干，并测定烘干后的果壳质量，得到油茶果壳的含水率计算公式如下式所示，式中m
干壳
为果壳烘干后的质量，m
鲜果
为油茶鲜果质量，m
鲜籽
为油茶鲜籽质量，r
水
为油茶果壳的含水率。
[0080][0081]
油茶籽含油率采用脂肪测定仪按照gb5009.6-2016规定的方法测定。首先用称取油茶仁2.000g，磨碎后移入滤纸筒内，并将滤纸筒放入索氏抽提器的抽提筒内，连接已干燥至质量恒定的接收瓶，由抽提器冷凝管上端加入60ml无水乙醚至瓶内容积的2/3处，于水浴上加热，使无水乙醚不断回流抽提6h。然后取下接收瓶，回收无水乙醚，待接收瓶内溶剂剩余1～2ml时在水浴上蒸干，再于100℃干燥箱内干燥1h，放干燥器内冷却0.5h后称量。最后计算油茶籽含油率，公式如下所示，式中：r
ratio
为油茶籽含油率，m
oil
为出油量，m
seed
为茶仁质量。
[0082][0083]
步骤d：开展成熟度相关指标的测定与量化，包括含水率、籽出油率、硬度、木质素含量、淀粉含量等，针对以上参量指标的pearson相关性分析，数值上等于协方差cov(x，y)除以标准差的乘积(σx，σy)，相关性越强说明参量间趋于共线。进一步对原始成熟度参量指标进行kmo及bartlett检验，结合检验系数取值计算变量之间偏相关性或独立性强弱，检验是否适合因子分析。提取主成分特征，利用最大平衡值法、最大方差法以及最大四次方法分别旋转，比较旋转前后结果并优选提取分析中贡献率最大公因子，作为差异参量角度反映成熟度的主要综合评价信息，见下式。
[0084][0085]
式中，x为差异参量指标，a代表因子载荷，f代表公共因子，ε代表特殊因子。其中f和ε不相关，协方差为0，而f1…fm
也不相关即是相互垂直的因子集合。
[0086]
基于载荷信息将贡献率最高的公共因子标准化后将其定义为成熟度综合评价因子(comprehensive maturity index,cmi)，对所有参量指标进行线性拟合并构造综合评价函数见式，权重系数反映该参量在综合因子中的重要性。
[0087]
cmi＝c1×
x1+c2×
x2+...+cn×
xn[0088]
式中，cmi代表综合评价因子，c代表权重贡献率，x为参量指标，n为参量数量。
[0089]
步骤e：提取指示成熟度信息的指纹图谱信息，首先利用mosaic拼接各等级图像，
基于pca、光谱角制图(sam)等进行数据降维、信噪比增强和纯净像元提取；进一步，在预处理后纯净图像上，分别借助像元空间分布及其对应图像变动、指纹谱变化等，实现成熟度的图谱数据表征，光谱上拟研究相应化学计量学算法会同mca、xca或bayesian-xca等方法进行数据挖掘和特异信息提取。图像纹理拟基于glcm、lbp、数学形态学等方法，提取可表征木质素累积、质地色泽变化、微裂纹以及排列是否紧密在宏观图像层面上的反映，如利用熵、逆差矩、能量、对比度等系列纹理特征进行特征挖掘与提取，具体方法如下：
[0090]
求均值mean
[0091][0092]
求对比度contrast
[0093][0094]
求相关度correlation
[0095][0096]
求能量energy
[0097][0098]
求同质性homogeneity
[0099][0100]
求方差variance
[0101][0102]
求差异性dissimilarity
[0103][0104]
求熵entropy
[0105][0106]
式中，g(i,j)代表的是灰度共生矩阵，x是灰度共生矩阵的列数，y是灰度共生矩阵的行数，其中：
[0107][0108][0109]
[0110][0111]
步骤f：建立模型：不同成熟阶段油茶果的生理特性复杂变化导致时间序列光学特性变化是一个非线性过程，为了利用高光谱图谱信息进行精确的检测模型构建，拟以全部采集时序图谱数据为基础，结合化学计量学方法探寻大样本量的模拟人脑神经网络理解数据的建模方法。获取图像首先进行黑白板校正，进而基于主成分分图像、波段运算、像元点云分布等特征交互式分析方法去增强信噪比并提取纯净像元光谱，对于光谱会同pca，二维相关光谱等方法探讨由成熟度带来的图谱异动，确定特征光谱图像指纹信息。
[0112]
建模拟采用人工智能深度卷积神经网络(deep cnn)方法，其基于网络块的构造，简洁工整包含足够深度，足以保证成熟度信息的深度估计结果准确性，其网络基本框架如图2所示。
[0113]
步骤g：提取特征：以油茶果成熟度t为外扰信息，进行二维相关光谱分析，外扰变量t的最小值t
min
和最大值t
max
之间的光谱强度为y(v,t)，变量v可以是任意合适的光谱量化参数，则系统受外扰所诱发的动态光谱可定义为：
[0114][0115]
其中代表的是变量v处的光谱强度参考值，虽然光谱强度参考值的选择不是固定的，一般情况下可以将整个围绕过程所得到样品光谱中变量v处的光谱平均值作为即，
[0116][0117]
实际应用中常用矩阵来代表离散的数据集合，为了表达方便，可将式中的动态光谱可以表示为如下的列向量：
[0118][0119]
光谱强度的平均值表示为，
[0120][0121]
计算二维相关同步谱和异步谱，在同步谱上提取能指示油茶果成熟度的特征信息，如图3所示选取了10个以内特征波长变量。
[0122]
步骤h：建立简化模型：针对二维相关光谱选取和纹理特征信息作为深度学习框架的输入，相应于预测成熟度因子建立少变量的简化模型，为了缩减模型运行速度，减少运算处理时间，实现快速检测；对简化模型进行评估，应用决定系数(coefficient of determination,r2)和均方根误差(root mean square error，rmse)、剩余预测偏差(residual predictive deviation，rpd)。r2越大表示相关性越大，一般在回归分析中决定
系数在数值上等于相关系数的平方，计算公式如下：
[0123][0124]
式中，n为样本总数；y
t
为第t个样本的实际值；为第t个样本的预测值；为所有样本实际值的平均值。
[0125][0126]
式中，n为样本总数；y
t
为第t个样本的实际值；为第t个样本的预测值。
[0127][0128]
式中，sd为数据集的标准偏差，rmse为均方根误差。
[0129]
步骤i：成熟度可视化：高光谱图像的可视化技术作为数据与观察者之间信息的桥梁起到重要的作用。由于高光谱图像不仅具有光谱信息还具有图像信息，光谱信息可与图像中像素点一一对应，因此对于每一个像素点处品质指标值则可以形成样本的定性或定量的模型预测分布图。
[0130]
对不同成熟度油茶果可视化主要包括以下3个步骤：(1)对高光谱图像进行处理，对背景及不需要的部分进行掩膜使得其反射率为0，选取特征波长下的图像进行resize，另存为多光谱图像；(2)编写程序将建立好的简化多光谱模型带入到多光谱图像中，每一个像素点均有一个成熟度因子预测值，将像素点拼接构成一幅图像；(3)调整选择合适的颜色、色标量程、刻度等，使指标预测的二维可视化图像清晰、明显、易懂。
[0131]
第二方面，提供了一种基于深度学习的油茶果成熟度高光谱检测分选设备，以下结合附图4-6对本设备进行进一步详细说明。
[0132]
一种基于深度学习的油茶果成熟度高光谱检测分选设备如图4所示，不同成熟度油茶果从入料箱1倒入，入料箱1安装在机架11上，油茶果由重力作用下滚入，借由通道隔板15将油茶果分隔到不同的分选通道16，进入大小分选系统，大小分选系统由动分选杆14和静分选杆13组成，动分选杆上有螺纹带17，如图5所示，动力源来自电机5带动动力输出轴4、皮带轮3和皮带传动，驱动减速器2转动工作，随着动分选杆14的转动油茶果将在螺纹带17的推动下运送至设备的另一头，静分选杆13起支撑作用。先落处输送管9直径大后落处输送管9直径小，即动静态分选杆之间的缝隙会随着离入料箱1的距离变化，距离入料箱越远的缝隙越大，故油茶果在分选杆上运输的过程中，小果先落、大果后落，从而完成油茶果的大小分级。
[0133]
油茶果落入落料盒12之后，就进入分选系统，其结构如图6所示，油茶果在重力作用下从落料盒12落入输送管9，输送管上端固定着多光谱传感器盒10，内置三个多光谱相机18，在同一水平面每隔120
°
放置一个相机，可360
°
无死角拍摄油经过此截面的油茶果，微电脑会对拍摄的多光谱图像带入到方法中建立的深度学习模型中进行预测分析，根据分析结果延时控制分选管8下方的拨片7将不同成熟度油茶果拨到不同的收集箱6内。
[0134]
本实施例中为减轻分选杆重量，所述静分选杆13和动分选杆14的材料选用尼龙，
两端由轴承座支撑固定；多光谱传感器盒10内安装3个多光谱相机18，每个相机夹角120
°
，如此便可无死角获取油茶果光谱纹理信息；输送管9和分选管8强度无特殊要求，要求透明选用改性有机玻璃材料制作；拨片7要求能承受一定下落冲击，为提高寿命选择q215作为材料；收集箱6选用q235作为材料，冲压焊接制作。所述的拨片，拨片转动由马达带动，马达转动由微电脑控制以实现对油茶果的分选，延时控制时间约为0.05秒。所述的静分选杆以及动分选杆，每根长度设定为3050mm，最大直径设定为50mm，最小直径设定为20mm。
[0135]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。