对近红外数据的预处理方法及其调用方法与流程

本发明涉及近红外光谱分析和信号处理领域，具体涉及一种对近红外数据的预处理方法及其调用方法。

背景技术：

目前，在近红外光谱分析与信号处理等领域，由于采集器、采集条件、样本条件等诸多原因，采集到的数据受噪音干扰较大，需要使用一定的技术手段对原始数据进行降噪处理。如何对近红外数据进行有效降噪，在降低噪声干扰的同时保留数据特征是一项研究热点和难点问题。

技术实现要素：

本发明所要解决的技术问题是：提出一种对近红外数据的预处理方法及其调用方法，对近红外数据进行有效降噪处理，在降低噪声干扰的同时保留数据特征。

本发明解决上述技术问题所采用的技术方案是：对近红外数据的预处理方法，应用于原始数据到建模数据之间的处理链中，以及应用于预测操作的原始数据到预测数据之间的处理链中，该方法包括：采用高斯平滑滤波算法对近红外原始数据进行降噪处理，针对用户选择不同窗宽的条件下，关键参数以自适应方式的确定。

作为进一步优化，所述关键参数为标准差σ，标准差σ的取值为半窗宽的0.3～0.5倍。

此外，本发明还公开了一种上述预处理方法的调用方法，其包括：

当平台端接收到采集器传输的数据之后，经过初步验证转化为基础的原始数据进行存储，在建模阶段，将多个原始数据传入预处理算法队列进行预处理操作，所述预处理算法队列中包括高斯平滑滤波算法，所述高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波，然后，返回处理结果并传入下一级的预处理算法中，最终得到用于建模的建模数据，平台端根据建模数据生成预测模型，并记录预处理算法队列；

在使用模型进行预测时，先从采集器获取到上传的数据并进行初步验证转化为基础的原始数据，获取选用的预测模型，读取保存的预处理算法队列，将原始数据传入预处理算法队列中进行处理，预处理算法队列中的高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波；然后，返回处理结果并传入下一级的预处理算法中，最终得到用于预测的预测数据，平台端根据生成的预测数据调用模型，得出预测结果，记录并返回到采集器终端。

本发明的有益效果是：

采用高斯平滑滤波算法对近红外原始数据处理，根据选择的不同窗宽，自动调整算法参数，以实现对光谱处理的最佳效果，在降低噪声干扰的同时保留数据特征。

附图说明

图1为平台系统处理原始数据的流程图；

图2为平台系统处理测试数据的流程图；

图3为预处理算法队列的处理流程图。

具体实施方式

本发明旨在提出一种利用自适应滤波算法对近红外数据的预处理方法及其调用方法，对近红外数据进行有效降噪处理，在降低噪声干扰的同时保留数据特征。

本发明提出的利用自适应滤波算法对近红外数据的预处理方法的核心思想是：采用高斯平滑滤波算法对近红外原始数据处理，针对用户选择不同窗宽的条件下，关键参数以自适应方式的确定。即根据选择的不同窗宽，自动调整算法参数。

在高斯平滑滤波算法中，关键参数为标准差σ，确定σ的值决定了高斯滤波的结果好坏。根据实际工程试验发现，当σ取值为半窗宽的0.3～0.5倍时，对近红外光谱的原始数据噪声处理效果最好，得出的模型可靠性最高。

针对近红外的原始数据，需要处理之后才能更好的用于数据建模，故上述预处理方法宜用在原始数据到建模数据之间的处理链中。同时，针对新数据的模型分析预测，也需要经过相应的处理方式处理为建模数据相同格式才能符合模型输入标准，故上述预处理方法也需要用在预测操作的原始数据到预测数据之间的处理链中。

由此，本发明提出了对上述预处理方法的调用流程；该流程包括红外采集器上传的原始数据的预处理阶段，通过与其他预处理算法配合使用，降低噪声干扰的同时保留数据特征，进而得出可靠的数据测算模型；以及，使用模型进行预测时，对红外采集器上传的测试数据(也称之为原始数据)的预处理阶段，通过与其他预处理算法配合使用，获得用于预测的预测数据。

如图1所示，当平台端接收到采集器传输的数据之后，经过初步验证转化为基础的原始数据进行存储。在建模阶段，将多个原始数据传入如图3所示的预处理算法队列进行预处理操作，该预处理算法队列中包括高斯平滑滤波算法，所述高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波，返回处理结果并传入下一级的预处理算法中，最终得到用于建模的建模数据。平台系统根据建模数据生成预测模型，并记录预处理算法队列。

在使用模型进行预测时，如图2所示，先从采集器获取到上传的数据并进行初步验证转化为基础的原始数据，获取选用的预测模型，读取保存的预处理算法队列，将原始数据传入预处理算法队列中进行处理，预处理算法队列中的高斯平滑滤波算法接收固定格式的传入参数与上一步预处理结果数据，并针对用户选择的不同窗宽，自适应确定高斯平滑滤波算法中的关键参数后对数据进行高斯平滑滤波；返回处理结果并传入下一级的预处理算法中，最终得到用于预测的预测数据。平台根据生成的预测数据调用模型，得出预测结果，记录并返回到采集器终端。

技术特征：

技术总结
本发明涉及近红外光谱分析和信号处理领域，其公开了一种对近红外数据的预处理方法及其调用方法，对近红外数据进行有效降噪处理，在降低噪声干扰的同时保留数据特征。本发明中的对近红外数据的预处理方法，应用于原始数据到建模数据之间的处理链中，以及应用于预测操作的原始数据到预测数据之间的处理链中，该方法包括：采用高斯平滑滤波算法对近红外原始数据进行降噪处理，针对用户选择不同窗宽的条件下，关键参数以自适应方式的确定。

技术研发人员：舒云
受保护的技术使用者：四川长虹电器股份有限公司
技术研发日：2018.10.12
技术公布日：2019.03.01