一种一维光谱分类方法及系统

本发明涉及一维光谱数据处理领域，特别是涉及一种一维光谱分类方法及系统。

背景技术：

近红外光谱技术是一种充分利用被测物质中含氢基团x-h(如o-h、c-h和n-h)在近红外光谱区间振动的倍频和合频的特征吸收，从而实现对被测物质的检测。该技术所适用的样品范围广，样品用量少，无损伤且易于操作。由于采集的是单一维度的吸收光谱信号，具有分析速度快，检测成本低等优点。经过人们多年的深入钻研以及检测技术的不断完善，近红外光谱已经综合运用了数学统计学、化学计量学和机器学习等多个学科，在医学、食品与农业、环境污染、石油与化工等领域得到实际的应用，所构建的分类识别模型的性能也在不断地提升。

目前常用的一维光谱序列分类方法有最近邻、逻辑回归、朴素贝叶斯、决策树、支持向量机、神经网络等。这些机器学习方法在理论上能实现一维光谱序列的分类任务，但由于近红外光谱存在光谱范围广，数据维数高，有用信息强度弱，噪声干扰多等缺陷，这些传统的方法必须结合大量的光谱预处理，特征波长提取，维数约减等前期处理，既在无形中增加了任务量，又不可避免地错失有用的特征信息，无法确保分类结果的准确性以及模型的可应用性。

目前，随着深度学习的快速发展，研究者们开始着重研究深度神经网络结构的设计。深度卷积神经网络(convolutionneuralnetwork,cnn)作为深度学习的代表，在语音识别、计算机视觉以及自然语言处理等领域表现出优异的性能。在一维光谱领域，已有构建适合的一维度cnn的相关研究，但所建立的模型复杂且精度较低，鲁棒性较差。而要将cnn识别二维图像的优势应用于一维度的近红外光谱序列的分类，还需要解决以下问题：一是将一维光谱序列数据通过数学变换转换为能够突出其光谱特征的二维图像；二是要设计合适的卷积神经网络结构，以实现对这种特殊光谱图像的自动分类。

技术实现要素：

本发明的目的是提供一种一维光谱分类方法及系统，可以通过一维光谱与二维图像之间的双映射关系弥补丢失有用特征信息的不足。

为实现上述目的，本发明提供了如下方案：

一种一维光谱分类方法，所述分类方法包括：

获取m个待测样品的近红外光谱原始数据，记为x＝{x1,x2,…,xi,…,xn}，n为总的波长点数，xi为标量；

具体的，所采集的近红外光谱数据包含两个类别，分别为汽油和柴油数据。汽油对应类别0，柴油对应类别1，各有60组，即样本总数m＝120。汽油光谱采样范围为900nm～1700nm，采样间隔为2nm。柴油光谱采样范围为750nm～1550nm，采样间隔为2nm，即波长点数n＝401。该数据样本矩阵记为x(120×401)，输出类别矩阵为y(120×1)。为了后续二维cnn建模，将类别标签转换成独热编码的形式。

截取所述近红外光谱原始数据中所有单一光谱序列的峰值数据；

所截取的峰值数据长度为t，所截取的数据记为xi＝{x1,…,xi,…,xt}，t为当前的波长点数。

对所述峰值数据进行预处理；

对所述预处理后的峰值数据进行缩放，得到一维度光谱信号数据xf；

将所述缩放后的一维度光谱信号数据进行极坐标编码；

对所述极坐标编码后的一维度光谱信号数据进行重构，得到格拉姆角和场矩阵和格拉姆角差场矩阵；

将所述格拉姆角和场矩阵和所述格拉姆角差场矩阵存储为图像；

对所述图像进行划分，得到训练集和测试集；

采用所述训练集对卷积神经网络进行训练；

将所述测试集输入至训练好的卷积神经网络中，得到分类结果。

可选的，在对所述图像进行划分，得到训练集和测试集之后还包括：

对所述训练集进行数据增强处理，包括旋转、放缩、平移、翻转、剪切变换和通道移位。

可选的，对所述预处理后的峰值数据进行缩放具体包括：

将所述预处理后的峰值数据缩放至[0,1]内，公式如下：

其中，为波长为i对应的归一化后的有效光谱吸光度值，xi为波长为i对应的原始光谱吸光度值，xi为峰值波长范围内的光谱吸光度序列。

可选的，将所述缩放后的一维度光谱信号数据进行极坐标编码具体采用如下公式：

其中，为波长为i对应的归一化后的有效光谱吸光度值，r为半径，i＝{1,2,……,t}，t为当前的波长点数，xf为峰值波长范围内经过缩放后的局部一维度光谱吸光度序列。

由公式可知，转换后的角度φ的取值范围是[0,π]，其余弦值在该范围内单调递减，随着波长的不断增大，每个笛卡尔坐标系统中的xi在这种映射关系下只对应极坐标系统中的唯一的值，在极坐标圆上不同角度点之间发生相应弯曲。

可选的，所述格拉姆角和场矩阵的表达式如下：

其中，i为单位向量，xf为峰值波长范围内经过缩放后的局部一维度光谱吸光度序列，φi和φj分别为点i和点j的角度，和分别为波长为i/j对应的归一化后的有效光谱吸光度值。

可选的，所述格拉姆角差场矩阵的表达式如下：

其中，i为单位向量，xf为峰值波长范围内经过缩放后的局部一维度光谱吸光度序列，φi和φj分别为点i和点j的角度，和分别为波长为i/j对应的归一化后的有效光谱吸光度值。

可选的，所述训练后的卷积神经网络包括：输入层、第一卷积层、第二卷积层、第一池化层、第二池化层、第一全连接层以及第二全连接层，所述输入层、第一卷积层、第二卷积层、第一池化层、第二池化层、第一全连接层以及第二全连接层依次连接。

可选的，所述训练后的卷积神经网络还包括：规范化层和正则化层，所述规范化层和所述正则化层位于所述第二卷基层和所述第一池化层中间。

可选的，所述卷积神经网络中损失函数为交叉熵损失函数，具体公式如下：

其中，a代表神经元的实际输出，y代表期望的输出。

本发明另外提供一种一维光谱分类系统，所述系统包括：

原始数据获取模块，用于获取m个待测样品的近红外光谱原始数据，记为x＝{x1,x2,…,xi,…,xn}，n为总的波长点数，xi为标量；

截取模块，用于截取所述近红外光谱原始数据中所有单一光谱序列的峰值数据；

预处理模块，用于对所述峰值数据进行预处理；

缩放模块，用于对所述预处理后的峰值数据进行缩放，得到一维度光谱信号数据

极坐标编码模块，用于将所述缩放后的一维度光谱信号数据进行极坐标编码；

重构模块，用于对所述极坐标编码后的一维度光谱信号数据进行重构，得到格拉姆角和场矩阵和格拉姆角差场矩阵；

格式转换模块，用于将所述格拉姆角和场矩阵和所述格拉姆角差场矩阵存储为图像；

图像划分模块，用于对所述图像进行划分，得到训练集和测试集；

训练模块，用于采用所述训练集对卷积神经网络进行训练；

分类结果确定模块，用于将所述测试集输入至训练好的卷积神经网络中，得到分类结果。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中的上述方法无需传统方法中大量的人工特征提取与降维等复杂操作，特征的可解释性强，可以实现光谱信号的自动提取、学习和分类；本发明方法通过格拉姆角场实现一维光谱信号到二维图像的双向映射，不会损失原始一维光谱的任何特征；本发明通过数学运算所建立的格拉姆矩阵不会破坏光谱数据对波长特征的依赖性，有利于提升模型分类性能；本发明通过将一维光谱数据二维图像化，解决不能直接利用更为成熟的二维图像处理方法对一维光谱序列数据进行高性能分类识别的关键性技术问题，为光谱数据处理研究提供了新思路；基于格拉姆角场图像化和cnn的一维光谱分类识别方法的适用于任何一维光谱数据，应用性以及可扩展性强，在实际应用中，有助于实现一种基于一维光谱信号的精确度高、操作简单、快速检测的工业互联网系统单元的开发。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一维光谱分类方法流程图；

图2为本发明实施例原始近红外光谱图；

图3为本发明实施例局部近红外光谱图和转化到极坐标系统的示意图；

图4为本发明实施例二维化汽油图像；

图5为本发明实施例二维化柴油图像；

图6为本发明实施例进行数据增强后的训练集前21张图像显示示意图；

图7为本发明实施例二维卷积神经网络结构示意图；

图8为本发明实施例cnn训练过程示意图；

图9为本发明实施例预测结果与真实结果示意图；

图10为本发明实施例一维光谱分类系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种一维光谱分类方法及系统，可以通过一维光谱与二维图像之间的双映射关系弥补丢失有用特征信息的不足。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例一维光谱分类方法流程图，如图1所示，所述方法包括：

步骤101：获取m个待测样品的近红外光谱原始数据，每个样本在给定近红外波长内的光谱序列，记为x＝{x1,x2,…,xi,…,xn}，n为总的波长点数，xi为标量。

在本实施例中，所采集的近红外光谱数据包含两个类别，分别为汽油和柴油数据。汽油对应类别0，柴油对应类别1，各有60组，即样本总数m＝120。汽油光谱采样范围为900nm～1700nm，采样间隔为2nm。柴油光谱采样范围为750nm～1550nm，采样间隔为2nm，即波长点数n＝401。该数据样本矩阵记为x(120×401)，输出类别矩阵为y(120×1)。为了后续二维cnn建模，将类别标签转换成独热编码的形式。汽油的近红外光谱如图2中的(a)部分所示，柴油的近红外光谱如图2中的(b)部分所示。两种油类的光谱都具有两个明显的峰，形状也大体相近。

步骤102：分别截取所述近红外光谱原始数据中所有单一光谱序列的峰值数据，截取区间长度为t，截取后的峰值数据记为xi＝{x1,…,xi,…,xt}，t为当前的波长点数。

步骤103：对所述峰值数据进行预处理。

具体是将峰值数据进行归一化处理。

步骤104：对所述预处理后的峰值数据进行缩放，缩放到[0,1]内，得到新的一维度光谱信号数据，记为xf。

具体公式如下：

其中，为波长为i对应的归一化后的有效光谱吸光度值，xi为波长为i对应的原始光谱吸光度值，xi为峰值波长范围内的光谱吸光度序列。

步骤105：将所述缩放后的新的一维度光谱信号数据xf进行极坐标编码，即将数值看做角度值，波长步长i看做半径，具体公式如下：

为波长为i对应的归一化后的有效光谱吸光度值，r为半径，i＝{1,2,……,t}，t为当前的波长点数，xf为峰值波长范围内经过缩放后的局部一维度光谱吸光度序列。

由上述公式可知，转换后的角度φ的取值范围是[0,π]，其余弦值在该范围内单调递减，随着波长的不断增大，每个笛卡尔坐标系统中的xi在这种映射关系下只对应极坐标系统中的唯一的值，在极坐标圆上不同角度点之间发生相应弯曲。

在本实施例中，截取的局部光谱序列为第一个峰值附近的100个波长点对应的光谱数据，将其进行归一化后，根据公式(2)，以数值为角度值，波长步长i为半径转化到极坐标系统。汽油和柴油的局部近红外光谱图和转化到极坐标系统的各点连线如图3所示，其中图3中的(a)部分为汽油，(b)部分为柴油。

步骤106：对所述极坐标编码后的一维度光谱信号数据进行重构，得到格拉姆角和场矩阵和格拉姆角差场矩阵。

具体的，是进行不同点之间角度和的余弦值和角度差的正弦值计算，分别将一维度数据重构成格拉姆角和场矩阵和格拉姆角差场矩阵。

定义格拉姆角和场计算公式如下：

式中，θ1和θ2分别代表x和y在极坐标系统中的角度，就可以得到格拉姆角和场矩阵：

对公式(4)进行三角函数变换可以得到：

其中，i为单位向量，xf为峰值波长范围内经过缩放后的局部一维度光谱吸光度序列，φi和φj分别为点i和点j的角度，和分别为波长为i/j对应的归一化后的有效光谱吸光度值。

同理，可得格拉姆角差场矩阵计算公式如(6)所示。

其中，i为单位向量，xf为峰值波长范围内经过缩放后的局部一维度光谱吸光度序列，φi和φj分别为点i和点j的角度，和分别为波长为i/j对应的归一化后的有效光谱吸光度值。

可以看出矩阵中主对角线是由原始光谱序列构成的，矩阵中的元素通过φ值从左到右，从上到下不断移动，可以保持光谱信号对于波长的依赖性。

步骤107：将所述格拉姆角和场矩阵和所述格拉姆角差场矩阵存储为图像。

在本实施例中，按照公式(5)和(6)分别计算格拉姆角和场和格拉姆角差场矩阵，将所有样本转化为对应的二维图像，去掉坐标轴显示以及图像的白边，所绘制的图像像素大小为218×218。选取编号为1的汽油样本和编号为61的柴油样本进行生成图片的显示，如图4、和图5所示，其中(a)部分为格拉姆角和场图像，(b)部分为格拉姆角差场图像。可以看出通过将一维光谱数据二维化处理，汽油和柴油的特征差别被放大，区分度明显提高了。另外，考虑到计算机性能，在保证清晰的基础上将图像缩放至100×100，并保存成jpg格式于指定文件夹中。

步骤108：对所述图像进行划分，得到训练集和测试集，由于不同样本之间光谱差异不大，为了降低过拟合风险，对训练样本进行数据增强处理，以提升模型的泛化能力。具体采用imagedatagenerator模块实现图像的随机旋转，随机缩放，水平/垂直移动，水平/垂直翻转、剪切变换和通道移位。

在本实施例中，设置随机种子为3，以8:2的比例划分120张样本图像集合为训练集和测试集，即得到96个训练集和24个测试集。由于不同样本之间光谱差异不大，为了降低过拟合风险，对训练样本进行数据增强处理，以提升模型的泛化能力。具体采用imagedatagenerator模块实现图像的随机旋转(角度为10)，随机缩放(比例为10％)，水平/垂直移动(比例为10％)，水平/垂直翻转(比例为10％)、剪切变换(比例为10％)和通道移位(范围为10)。以格拉姆角和场图像为例，对经过数据增强的训练集的前21张图片进行了展示，如图6所示。可以看出样本的随机性大大增加，有利于提升模型的鲁棒性和泛化性能。

步骤109：采用所述训练集对卷积神经网络进行训练。

所设计的cnn模型由输入层，两个卷积层，两个池化层和两个全连接层构成，如图7所示。

输入层用于数据的输入，输入的是一个三维神经元。卷积层具有参数可训练的卷积核结构，可以实现自动特征提取。池化层又叫降采样，可以压缩网络参数以及数据量的大小，即可以在保证图像特征的前提下实现图像的自动压缩。全连接层主要实现卷积层和池化层所提取的抽象特征到目标输出之间的映射。

为避免过拟合，在此cnn结构中添加批规范化和正则化层对网络进行优化。具体地，设置两个批规范化分别加入卷积操作之后，对经卷积处理后的数据进行修正，保证训练数据服从正态分布，提高网络的表达能力。在全连接层前加入正则化层，设置断开神经元比例为α。

此外，匹配模型编译的方法。选用的是adam优化器，损失函数为交叉熵损失函数，如公式(7)，评测指标为准确率accuracy，如公式(8)。

式中，a代表神经元的实际输出，y代表期望的输出。

式中，mi是预测类别和实际类别相同的个数。

设置批大小batch_size以及训练轮次epochs，再将训练样本集的20％做验证，完成训练任务，观测训练损失的下降过程以及准确率的变化情况。

在本实施例中，由于每张图像的大小为100×100，所以输入层输入图像形状为(100,100,1)。

第一层卷积层的卷积核大小设置为(5,5)，步长为1，卷积核个数为16个。第二层卷积层的卷积核大小设置为(3,3),步长为1，卷积核个数为128个。两层卷积层的零填充均选择默认为不越过边缘取样，激活函数均为relu函数。

每个卷积层后分别连接一个池化层，池化层均选择常用的最大池化法，池化尺寸为(2,2)。

卷积层和池化层之间均连有一个批规范化层batchnormalization。

接下来，有一个正则化层，设置dropout参数α为25％的神经元随机失活。

将所有数据展平至一维，设置第一个全连接层设置参数为128，激活函数为relu。第二个全连接层参数设置为2，即为对应为两个类别，激活函数为softmax。

模型构建好以后，需要匹配训练方法，具体包括：以交叉熵为损失函数，采用adam优化器，设置初始学习率为0.001，以准确率accuracy为评测指标。设置批处理样本数目batch_size为64，训练轮次epochs为30，将增强处理后的训练集图像输入到模型中，并随机选择训练集的20％做验证，可以得到损失值和准确率的迭代曲线如图8所示。随着迭代次数的增加，训练损失和验证损失都逐渐趋近于0，训练准确率和验证准确率都逐渐趋近于1，训练过程相对稳定，所构建的模型具有良好的性能。

步骤110：将所述测试集输入至训练好的卷积神经网络中，得到分类结果。

利用构建好的模型对24个测试样本进行测试，所得的预测类别和真实类别结果如图9所示。可以明显看出预测结果全部正确，准确率达到100％。

图10为本发明实施例一维光谱分类系统结构示意图，如图10所示，所述系统包括：

原始数据获取模块201，用于获取m个待测样品的近红外光谱原始数据，记为x＝{x1,x2,…,xi,…,xn}，n为总的波长点数，xi为标量；

截取模块202，用于截取所述近红外光谱原始数据中所有单一光谱序列的峰值数据，截取后的峰值数据记为xi＝{x1,…,xi,…,xt}，t为当前的波长点数；

预处理模块203，用于对所述峰值数据进行预处理；

缩放模块204，用于对所述预处理后的峰值数据进行缩放，得到一维度光谱信号数据

极坐标编码模块205，用于将所述缩放后的一维度光谱信号数据进行极坐标编码；

重构模块206，用于对所述极坐标编码后的一维度光谱信号数据进行重构，得到格拉姆角和场矩阵和格拉姆角差场矩阵；

格式转换模块207，用于将所述格拉姆角和场矩阵和所述格拉姆角差场矩阵存储为图像；

图像划分模块208，用于对所述图像进行划分，得到训练集和测试集；

训练模块209，用于采用所述训练集对卷积神经网络进行训练；

分类结果确定模块210，用于将所述测试集输入至训练好的卷积神经网络中，得到分类结果。

综上所述，本发明所述一种基于格拉姆角场图像化和cnn的一维光谱分类方法不仅解决了不能直接利用二维图像处理方法对一维光谱序列数据进行高性能分类识别的关键性技术问题，而且避免了传统一维光谱建模需要繁琐的人工特征选择与降维等预处理过程。不仅可以保留原始一维光谱的所有特征，而且具有更好的自动特征提取能力，识别准确率更高，模型的泛化能力强，具有较高实用价值。该方法为一维光谱的智能定性分析提供了一个新颖且高效的方案。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。