一种基于声振多域谱与近红外光谱信息融合的梨果早期内部病害无损检测方法及装置与流程

本发明属于农产品品质快速无损检测技术领域，特别是涉及一种基于声振多域谱与近红外光谱信息融合的梨果早期内部病害无损检测方法及装置。

背景技术：

中国是世界上最大的梨果生产国，新疆作为梨果主产区之一，2017年新疆香梨和苹果产量分别为123.09万吨和144.17万吨，是新疆果农重要增收创汇果品。苹果和香梨都存在不同程度内部病害，红富士苹果的霉心病果率为27.78％，贮藏期发生黑心病的库尔勒香梨最高可达30％。梨果病变体积低于5％时，果肉完好无损，不影响食用，依然具有商品价值，但由于梨果内部病害的隐蔽性，根本无法及早发现，很容易发展至腐烂变质，甚至感染整箱整垛健康果，给果商和水果保鲜企业造成严重的经济损失。此外，病害果果肉富集大量毒素，混入果汁、果酒、水果罐头等深加工环节，使果汁毒素超标(欧盟标准规定果汁毒素mmax≦50μg/kg)，这不仅严重危害人体健康，而且使我国果汁出口率极低。因此，探索一种梨果内部病害无损检测方法，尽可能实现内部病害的早发现，对提高梨果商品率和市场竞争力，促进梨果产业快速健康发展具有重大意义。

近年来，国内外研究学者尝试基于不同检测技术针对梨果内部病害无损检测问题开展了大量基础性研究。梨果内部病害无损检测所采用的方法主要有x射线成像法，核磁共振技术，近红外光谱分析技术和声学振动技术等。从所采用的技术手段看，每种方法都有一定的局限性，至今还没有出现一种针对梨果早期内部病害检测精确度高、检测速度快的无损检测方法。x射线成像法对安全防护要求高，不利于该方法推广应用。核磁共振技术所采用设备过于昂贵且具有成像速度慢、检测分析过程复杂的缺点。近红外光谱法由于光散射效应、谱峰重叠及基线漂移等因素的干扰，使早期轻微病害识别精度的提升受到限制。声振法是技术设备较为低廉的传统无损检测法，本课题组徐虎博等（2017）基于声振法的共振频率对香梨黑心病进行了判别研究，当病害程度较高时，健康果与病害果的共振频率差异大，黑心病的检测准确率可达96.7%，高于shendereyetal.（2010）和郭志明等（2016）近红外透射光谱对苹果近似程度内部病害的识别准确率。但是，当病害程度较低时，健康果与病害果的共振频率差异小，难以判别共振频率变化是否是内部病害引起的，黑心病判别准确率仅为3%。显然，仅从声振响应信号中提取频域特征参数，未能充分挖掘与梨果内部病害相关的更为丰富全面的其它潜在信息，很可能是声振法对早期内部病害香梨检测精度较低的原因之一。既然声振响应信号的多域谱特征参数敏感于梨果组织物理信息变化，而近红外光谱更胜于获取梨果组织有机分子含氢基团化学特征信息变化。倘若声振法与近红外光谱法相结合，充分利用两种检测方法的长处，取长补短，实现对内部病害果理化信息融合，可以更全面了解梨果内部病害发展程度，有助于大幅度提高梨果早期内部病害的检测精度，是梨果早期内部病害快速无损检测一个新的研究趋势，这也是一个全新的思路，没有相关的专利文献。

技术实现要素：

本发明主要解决的技术问题是提供一种基于声振多域谱与近红外光谱信息融合的梨果早期内部病害无损检测方法及装置，特别是采用不同的信息融合技术分别构建融合了声振多域谱和近红外透射光谱信息的病害判别模型，可以实现梨果早期内部病害的准确检测，为今后梨果内部病害在线检测技术研发提供必要的科学依据，解决了目前梨果分级、贮藏过程中梨果早期内部病害检测精度较低的问题。

为解决上述技术问题，本发明采用的技术方案如下：包括以下步骤。

步骤一：病害梨果样本的制备方法：首先采用创伤接种法在超净工作台上用微量注射器将浓度为1.0×10¹⁰cfu/ml青霉孢子悬浮液沿梨果萼端注入梨果果核区，注射后的梨果试样转移到恒温恒湿箱中，在温度为25℃、相对湿度为90%的环境进行内部病害发展。

步骤二：在实验装置稳定可靠的条件下，分别利用声振检测装置和近红外透射光谱仪采集时域/频域信息和光谱信息。

步骤三：采集声振信号多域谱和透射光谱后，从中心线部位将梨果切开，用canon-eos750d数码相机在焦距30~100nm范围下，对切开截面进行拍照，用matlabr2018a数字化图像处理工具箱对图像进行处理，拟采用迭代阈值分割法获取梨果内部病害病害程度指数。

步骤四：分别利用信号处理技术和光谱分析技术对获得的声振多域谱和光谱信息进行数据处理，分别提取能有效表征内部病害梨果的声振响应信号多域谱特征和透射光谱特征，以建立声振多域谱/透射光谱信息特征集。

步骤五：基于建立的声振多域谱/透射光谱信息特征集，利用机器学习算法在特征层构建判别梨果内部病害的预测模型。

步骤六：基于单一源声振信号多域谱及近红外透射光谱信息特征子集，利用机器学习算法构建梨果内部病害系列判别分析模型，然后利用d-s证据理论对构建的彼此独立的系列预测模型概率输出进行融合，建立在决策层面上融合的病害梨果判别模型。

所述步骤一中浓度为1.0×10¹⁰cfu/ml青霉孢子悬浮液的制备方法为：在sw-cf-1f型超净工作台用无菌小刀把梨果腐烂位置随机切下果肉块5mm，与适量的无菌水混合均匀得到原液，将原液依次稀释成10^-1~10^-6，把各个稀释倍数的原液取100μl涂布在pda培养基上，于25℃智能恒温培养箱中培养7d。挑选不同菌落采用平板划线法在新的pda培养基上反复接种，直至得到纯菌种。然后将纯化好的菌株接种在pda试管斜面上，25℃培养7天后，低温保藏。然后将扩展青霉接种到新鲜pda斜面上，25℃下培养14d后，加入含有0.05%tween80的无菌水，用接种环将菌落表面的孢子刮下，用4层纱布过滤去除菌丝等杂质，用血球计数板在dm2000型光学显微镜下观测并将孢子悬浮液浓度调整至1.0×10¹⁰cfu/ml待用。

所述步骤四中声振信号多域谱特征参数提取方法：采用时域/频域分析法从时、频域曲线中提取均值、均方根值、方差、峰峰值、峰值、波形指标、脉冲指标、裕度指标、平均频率、中心频率、均方根频率等常见的时、频域统计特征参数；针对短时傅里叶变换(stft)，连续小波变换(cwt)，s变换(st)和自适应最优核（aok）等时频分析处理获得的时频域分布图像，采用小波包分解、集成经验模态分析、灰度共生矩阵法、局部二值模式法提取时频域能量分布、信息熵、图像纹理等特征。为进一步选择出对梨果早期内部病害更为敏感的特征参数并消除无关、冗余信息，在上述特征提取的基础上，采用流行性学习法（ml）、距离评价法（det）或最大相关最小冗余法（mrmr）进行特征评价，以获取一个维度适中且对后续内部病害信息融合检测充分必要的声振响应信号多域谱特征子集。

所述步骤四中为了消除来自高频随机噪声、基线漂移、光散射、样本间本身成分含量信息的差异性等影响，提高模型的收敛性能，需对原始光谱数据进行预处理，本方案对采集的所有样本原始光谱变量尝试采用矢量归一化（norm）、标准正态变量变换（snv）、savitzkygolay卷积平滑（sg-2-der)和多元散射校正（msc）等多种常用的预处理方法对光谱数据进行处理，然后拟采用联合区间偏最小二乘法（is-pls）、遗传算法（ga），连续投影法（spa）、小波变换（wt）、竞争性自适应重加权算法（cars）等变量提取方法，基于吸收频率、吸收强度、峰面积、不同波段积分面积、不同波长的吸收强度比值等特性信息，揭示不同发病程度病害梨果的透射光谱信息的差异性，最终将优化筛选的敏感于内部病害梨果的有效波长变量组成近红外透射光谱特征子集。

所述步骤五中基于特征层多源信息融合的梨果内部病害预测模型的构建思路：①针对建立的可有效表征梨果内部病害信息特征集，采用的bp神经网络（bp-ann）、支持向量机（svm）、极限学习机（elm）、随机森林（rf）等传统机器学习算法分别在特征层构建判别梨果内部病害的预测模型；②利用深度学习对梨果内部病害特征自适应提取和自学习的优势，采用深度置信网络（dbn）、堆叠式自动编码器（sdae）、深度卷积神经网络（dcnn）等深度学习算法，以原始多维高域梨果内部病害信息数据集为输入，通过调节权重、隐含层节点数、学习率、噪声因子等参数，分别在特征层构建判别梨果内部病害的检测模型。

所述步骤六中基于决策层多源信息融合的梨果内部病害预测模型的构建思路：采取两种构建思路：①尝试利用d-s证据理论对声振法与近红外透射光谱法分别提取特征信息构建的彼此独立的系列预测模型概率输出进行融合，建立在决策层面上融合的病害梨果判别模型②针对异源信息特征层融合获得的初步判别结果，采用d-s证据理论进行异源信息多决策模型的信息融合，获得融合多源信息和多源决策模型的病害梨果鉴别结果。

对上述步骤五和步骤六中所建立的各模型，试样划分验证集和校正集进行分析比较不同层次构建的判别模型对病害梨果的预测性能，并进一步采用roc曲线对各模型病害梨果判别的准确性进行比较分析，最终确定多源信息融合技术定性定量分析梨果内部病害有无及病害程度分级的最优模型，实现梨果早期内部病害的准确检测。

所述的计算机对所提取的特征信号进行融合和模式处理，其中数据融合采用传统机器学习算法和现代深度学习算法来构建高精度实时模式分类系统来处理声振和透射光谱数据并与数据库联系起来进行学习、训练，得到一个知识库，使得所研制的系统能够判别被测样品的病害有无。

所述的一种基于声振多域谱与近红外光谱信息融合的梨果早期内部病害无损检测装置，由声振检测系统、近红外光谱系统以及模式识别与数据融合处理系统组成；其中声振检测系统包括信号发生器、电压放大器、压电梁式加速度传感器，vibpilot振动控制与动态信号采集分析仪及其配套的soanalyzer4.1软件；近红外透射光谱系统包括光谱采集仪、光纤探头，检测台、光源、遮光暗箱；光谱采集仪和配套的oceanview光谱分析软件分别与计算机连接；计算机内信号融合与模式识别系统模拟人的大脑对近红外光谱数据和声振多域谱数据进行融合和模式识别处理，最后由计算机决定被测梨果的病害有无。

本发明的有益效果是：本发明根据内部病害梨果的声振特性和光学特性，有机结合声振分析技术和光谱分析技术，采用多源信息融合处理方法，将声振多域谱信息和近红外透射光谱信息的融合起来，利用高精度实时模式分类系统来处理光谱和声振数据，并与经学习建立的数据库中的信息加以比较、判别，对梨果早期内部病害的有无进行无损检测。

本发明用于梨果品质分级挑选、加工过程质量控制，可在苹果入库前及时准确地分拣出早期发病梨果，防止了早期发病梨果病菌蔓延并大面积侵染健康果，有效地降低了果品生产加工及储藏期发病率，同时也辅助和代替专业检测人员，解放劳动力，排除人为主观因素，提高生产效率，其方法也可推广应用于其它农产品内部病害的快速无损检测。

本发明将深度学习算法结合多源信息融合技术应用于梨果早期内部病害检测模型的构建，充分发挥深度学习从原始数据中自提取特征的优势，更好的刻画数据丰富的内在信息，可在短时间内对声振和光谱数据融合进行分析后输出结果，满足了大数据快速、实时分析的需求，实现了梨果早期内部病害的智能化分级处理，为建设现代智能林果产业体系提供必要的技术支撑。

附图说明

图1是本发明的声振信息和透射光谱信息融合方法流程图。

图2是本发明的声振信息和透射光谱信息融合方法流程图（以dbn为例）。

图3是本发明的检测系统装置示意图。

附图中各部件的标记如下：1、声谱和光谱测试分析与报告软件系统；2、振动控制与动态信号采集分析仪；3、电压放大器；4、近红外光谱采集仪；5、试验平台。

图4是本发明的试验平台结构示意图。

附图中各部件的标记如下：1、水平滑轨；2、水平滑块；3、传感器及支架；4、滚珠丝杠；5、竖直滑台；6、竖直滑轨；7、固定螺母；8、遮光暗箱；9、光源；10、苹果试样；11、高度可调载物台；12、准直镜；13、支撑台。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施实例步骤参阅图1-图3，实例实现装置参阅图4，本发明实施例包括：

以香梨黑心病为例，其它果品内部病害的无损检测可参照该实施实例的方法，具体针对所测的样本的评价标准，建立一个新的知识库，就可以对该类产品进行无损检测。

梨果早期内部病害多源信息融合检测系统由声振检测系统、近红外光谱系统以及模式识别与数据融合处理系统组成；其中声振检测系统包括声谱和光谱测试分析与报告软件系统，vibpilot振动控制与动态信号采集分析仪，电压放大器、压电梁式加速度传感器，近红外透射光谱系统包括光谱采集仪、光纤探头，检测台、光源、遮光暗箱；光谱采集仪和配套的oceanview光谱分析软件分别与计算机连接；计算机内信号融合与模式识别系统模拟人的大脑对近红外光谱数据和声振多域谱数据进行融合和模式识别处理，最后由计算机决定被测梨果的病害有无。具体步骤如下。

首先采用创伤接种法在超净工作台上用微量注射器将浓度为1.0×10¹⁰cfu/ml青霉孢子悬浮液沿梨果萼端注入梨果果核区，注射后的梨果试样转移到恒温恒湿箱中，在温度为25℃、相对湿度为90%的环境进行内部病害发展，72h后备测。

然后将待测苹果放置于高度可调载物台上，与正对的赤道部两侧2条q220-a4-303yb型压电梁式传感器分别进行有效接触（悬臂梁中间1/3处）。一个峰值电压为2.5v的半正弦脉冲信号通过ha-405型电压放大器被线性放大为峰值电压为80v的激励信号va。此信号输入到与香梨试样赤道部接触的激励端传感器上并使试样产生振动，由于传感器的悬臂梁与香梨接触，悬臂梁随香梨振动而发生变形，试样振动产生的响应信号vre（赤道部响应信号）和vrc（萼端响应信号）被感测端的压电梁式传感器接收，随后激励信号和响应信号都被vibpilot振动控制与动态信号采集分析仪以采样频率为51200hz，持续时间为0.16s的方式采集，最后通过软件系统soanalyzer4.1进行分析处理。

与此同时，为保证光源稳定，每次采集光谱数据前15min打开光源进行预热工作。从前期预备实验可知，光源距离载物台表面130mm，spectrasuite软件设置积分时间100ms，平均扫描次数为10，平滑度为5，去除暗噪声，添加非线性校正、杂散光校正时采集的光谱数据最优。采集数据时，保持暗箱门处于关闭状态，将梨果样本放置于高度可调载物台上，果柄轴向方向与光源照射方向垂直。每个样本于赤道面处选取均匀分布且无缺陷的3个点采集光谱信息，各点之间呈120°，最终取3次数据的平均值作为样本的光谱数据。所有病害苹果光谱在相同条件下进行采集，且内部病害梨果声振多域谱信息采集完成之后立即进行近红外透射光谱采集。

通过声振检测系统、近红外光谱系统获取声振多域谱和近红外光谱数据后，采用时域/频域分析法从时、频域曲线中提取均值、均方根值、方差、峰峰值、峰值、波形指标、脉冲指标、裕度指标、平均频率、中心频率、均方根频率等常见的时、频域统计特征参数；针对短时傅里叶变换(stft)，连续小波变换(cwt)，s变换(st)和自适应最优核（aok）等时频分析处理获得的时频域分布图像，采用小波包分解、集成经验模态分析、灰度共生矩阵法、局部二值模式法提取时频域能量分布、信息熵、图像纹理等特征。

采用流行性学习法（ml）、距离评价法（det）或最大相关最小冗余法（mrmr）进行特征评价，获取一个维度适中且对后续内部病害信息融合检测充分必要的声振响应信号多域谱特征子集。采用矢量归一化（norm）、标准正态变量变换（snv）、savitzkygolay卷积平滑（sg-2-der)和多元散射校正（msc）等多种常用的预处理方法对光谱数据进行处理，然后拟采用联合区间偏最小二乘法（is-pls）、遗传算法（ga），连续投影法（spa）、小波变换（wt）、竞争性自适应重加权算法（cars）等变量提取方法，基于吸收频率、吸收强度、峰面积、不同波段积分面积、不同波长的吸收强度比值等特性信息，揭示不同发病程度病害梨果的透射光谱信息的差异性，将优化筛选的敏感于内部病害梨果的有效波长变量组成近红外透射光谱特征子集，最终构建建立香梨早期黑心病无损检测数据库。

利用声振多域谱信息和近红外光谱信息多层次融合技术，拟采用bp神经网络（bp-ann）、支持向量机（svm）、极限学习机（elm）、随机森林（rf）等传统机器学习算法和深度置信网络（dbn）、堆叠式自动编码器（sdae）、深度卷积神经网络（dcnn）等深度学习算法等方法进行声振和光谱信息融合，构建高精度实时模式分类系统来处理声振和透射光谱数据并与数据库联系起来进行学习、训练，得到一个知识库，建立在特征层/决策层面上融合的黑心病香梨的判别模型，最终实现早期黑心病香梨有无的判别。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。