一种评价方法与系统与流程

本发明涉及数据处理领域，特别是涉及一种评价方法与系统。

背景技术：

近红外光谱定量建模中需要大量的样本光谱信息以及基础数据，对于一批建模光谱和基础数据传统的数据质量判别是看两个，一个是不做模型看流动的重复性，一个是做了模型后看预测误差，但是由于平行样的重复的流动检测很困难；而模型需要大量的样本才能判别是属于事后判别。对于一批建模数据的质量缺乏前期对其整体评价，如果一批定量建模的光谱和基础数据不准确或者不对应，建立的模型往往精度不高或者适用性不强，传统遇到这种情况，要么重新取样建模，要么对模型进行更新维护，但是依然存在问题，势必造成模型再次构建失败，造成极大的人力、物力、财力的浪费。如何在建模之前就对模型质量预判是否能建立一个合格的模型变得尤为重要和必要。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种评价方法与系统，用于解决现有技术中不能对欲进行建模的近红外光谱的基础数据进行有效性预判而造成效率低下且浪费人力及财力等的问题。

为实现上述目的及其他相关目的，本发明提供一种评价方法，用于包含近红外光谱的用于建模的基础数据的质量进行评价，所述方法包括：从所述基础数据中获取多条近红外光谱，且获取与每条近红外光谱对应的化学值；对所述近红外光谱进行预处理；求解各所述近红外光谱间的相似距离以及局部相关系数；根据各所述近红外光谱间的相似距离以及局部相关系数分别获取与各所述近红外光谱对应的最大相似度的近红外光谱以及相应的化学值；分别获取各所述近红外光谱与其对应的最大相似度的近红外光谱间对应的化学值的差值，并对所有所述差值取绝对值后，得到与所述差值对应的绝对差值，求解所有所述绝对差值的平均值；将所述绝对差值的平均值与预设的误差值进行比较，当所述绝对差值的平均值大于所述预设的误差值时，评价所述基础数据的质量不合格；当所述绝对差值的平均值小于或等于所述预设的误差值时，评价所述基础数据的质量合格。

于本发明一具体实施例中，对所述近红外光谱进行预处理的方式包括S-G求导方法。

于本发明一具体实施例中，根据所述近红外光谱的信息含量，求解各所述近红外光谱间的相似距离。

于本发明一具体实施例中，各所述近红外光谱间的相似度为各所述近红外光谱间的局部相关系数与各所述近红外光谱间的相似距离的比值。

于本发明一具体实施例中，当评价所述基础数据的质量不合格时，对所述基础数据中的近红外光谱的取样方式进行调整和/或对基础流动数据进行维护。

为实现上述目的及其他相关目的，本发明还提供一种数据评价系统，用于对包含近红外光谱的用于建模的基础数据的质量进行评价，所述系统包括：基础数据获取模块，用以从所述基础数据中获取多条近红外光谱，且获取与每条近红外光谱对应的化学值；预处理模块，用以对所述近红外光谱进行预处理；最大相似度光谱获取模块，用以求解各所述近红外光谱间的相似距离以及局部相关系数；且根据各所述近红外光谱间的相似距离以及局部相关系数分别获取与各所述近红外光谱对应的最大相似度的近红外光谱以及相应的化学值；差值平均值求解模块，用以分别获取各所述近红外光谱与其对应的最大相似度的近红外光谱间对应的化学值的差值，并对所有所述差值取绝对值后，得到与所述差值对应的绝对差值，求解所有所述绝对差值的平均值；比较模块，用以将所述绝对差值的平均值与预设的误差值进行比较，当所述绝对差值的平均值大于所述预设的误差值时，评价所述基础数据的质量不合格；当所述绝对差值的平均值小于或等于所述预设的误差值时，评价所述基础数据的质量合格。

于本发明一具体实施例中，对所述近红外光谱进行预处理的方式包括S-G求导方法。

于本发明一具体实施例中，最大相似度光谱获取模块用以根据所述近红外光谱的信息含量，求解各所述近红外光谱间的相似距离。

于本发明一具体实施例中，各所述近红外光谱间的相似度为各所述近红外光谱间的局部相关系数与各所述近红外光谱间的相似距离的比值。

于本发明一具体实施例中，还包括调整模块，用以当评价所述基础数据的质量不合格时，对所述基础数据中的近红外光谱的取样方式进行调整和/或对基础流动数据进行维护。

如上所述，本发明的评价方法与系统，用于对包含近红外光谱的用于建模的基础数据的质量进行评价，所述方法包括：从所述基础数据中获取多条近红外光谱，且获取与每条近红外光谱对应的化学值；对所述近红外光谱进行预处理；求解各所述近红外光谱间的相似距离以及局部相关系数；根据各所述近红外光谱间的相似距离以及局部相关系数分别获取与各所述近红外光谱对应的最大相似度的近红外光谱以及相应的化学值；分别获取各所述近红外光谱与其对应的最大相似度的近红外光谱间对应的化学值的差值，并对所有所述差值取绝对值后，得到与所述差值对应的绝对差值，求解所有所述绝对差值的平均值；将所述绝对差值的平均值与预设的误差值进行比较，当所述绝对差值的平均值大于所述预设的误差值时，评价所述基础数据的质量不合格；当所述绝对差值的平均值小于或等于所述预设的误差值时，评价所述基础数据的质量合格。本发明可以准确高效的在对近红外光谱进行建模前，运用小量的样本进行近红外光谱与化学值质量进行评判，以对基础数据的质量进行评价，来判定基础数据是否可以建立一个稳定的准确模型，为近红外光谱数据的质量的评价提供一种有效的判别方法，避免了由于基础数据质量不高引起的大量取样建模，也促进了基础数据质量很高时，为扩充与改进针对基础数据的化学计量学方法提供指导，以排除对不合格的近红外光谱进行建模分析，提高建模分析的有效性和准确性，减少人力物力的浪费。

附图说明

图1显示为本发明的评价方法在一具体实施例中的流程示意图。

图2显示为应用本发明的评价方法的一具体实施例中的样本个数与相关系数的关系示意图。

图3显示为应用本发明的评价方法的一具体实施例中的样本个数与相似度的关系示意图。

图4显示为应用本发明的评价方法的一具体实施例中的化学值与样品个数的关系示意图。

图5显示为应用本发明的评价方法的一具体实施例中的样品个数与化学值的关系示意图。

图6显示为应用本发明的评价方法的一具体实施例中的样品个数与相对误差的关系示意图。

图7显示为应用本发明的评价方法的一具体实施例中的化学值与样品个数的关系示意图。

图8显示为应用本发明的评价方法的一具体实施例中的样品个数与相关系数的关系示意图。

图9显示为应用本发明的评价方法的一具体实施例中的样品个数与相似度的关系示意图。

图10显示为应用本发明的评价方法的一具体实施例中的样品个数与相对误差的关系示意图。

图11显示为本发明的评价系统在一具体实施例中的模块示意图。

元件标号说明

1 评价系统

11 基础数据获取模块

12 预处理模块

13 最大相似度光谱获取模块

14 差值平均值求解模块

15 比较模块

S11～S16 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，显示为本发明的评价方法在一具体实施例中的流程示意图。所述方法用于对包含近红外光谱的用于建模的基础数据的质量进行评价，即相当于多用于建模的近红外光谱的定量建模数据的质量进行评价，在建模之前对少量定量建模的光谱和基础数据的准确性和对应性能进行分析，进而评价该批次的所有的基础数据的质量，即光谱和基础数据的准确性和对应性越高，光谱的质量越高。本发明在近红外大量样本获取前，运用小量的样本进行近红外光谱与化学值质量进行评判，来判定基础数据是否可以建立一个稳定的准确模型，为近红外光谱数据的质量的评价提供一种有效的判别方法，避免了由于基础数据质量不高引起的大量取样建模，也促进了基础数据质量很高时，为扩充与改进针对基础数据的化学计量学方法提供指导。

图1所示的所述评价方法包括：

S11：从所述基础数据中获取多条近红外光谱，且获取与每条近红外光谱对应的化学值；于一具体实施例中，获取一批建模光谱和化学值其中包含M个光谱以及与其谱图标签属性相对应的基础化学值T_m(T_m表示第m个光谱对应的化学值)，光谱由m个波长点组成。

S12：对所述近红外光谱进行预处理；由于近红外光谱中虽然含有原料的化学、外观、物理信息，但是近红外光谱易受外界环境、仪器自身移动部件不稳定性的影响，所以于本发明一具体实施例中，在获取多条所述近红外光谱后，还包括采用S-G求导方法对获取的所述多条近红外光谱进行预处理。以从一定程度上能够消除或者降低上述的缺点。于本实施例中，S-G求导方法为：首先对每个光谱进行S-G平滑，窗口宽度为2k+1，之后用差分宽度为w对平滑后的光谱进行一阶求导。

S13：求解各所述近红外光谱间的相似距离以及局部相关系数；

S14：根据各所述近红外光谱间的相似距离以及局部相关系数分别获取与各所述近红外光谱对应的最大相似度的近红外光谱以及相应的化学值；其中，两条谱X_i与Y_j(i,j＝1…n,i≠j)之间的相似度为D_ij，且于具体实施例中，求解相似度为D_ij的步骤还包括：

1)求光谱X_i与Y_j之间的相关系数R_ij，构造一个移动窗口数为k的窗口，光谱X_i与Y_j中有m个波长点，将光谱X_i与Y_j从第c个波长点开始，移动到c+k-1个波长点，并计算X_i与Y_j在这段光谱中的相关系数R_cij，c是从1：m-k+1个波长点，最后求得所有移动窗口下的平均相关系数即为X_j与Y_j之间的相关系数R_ij。

$R_{c_{ij}}=\frac{{\mathrm{\Σ}}_{c=1}^{m-k+1}(X_{i,c:c+k-1}-\stackrel{\‾}{X})\×(Y_{j,c:c+k-1}-\stackrel{\‾}{Y}))}{\sqrt{{\mathrm{\Σ}}_{c=1}^{m-k+1}{(X_{i,c:c+k-1}-\stackrel{\‾}{X})}^2\×{(Y_{j,c:c+k-1}-\stackrel{\‾}{Y})}^2}}$

X_i,c表示第i条光谱中的第c个移动窗口，Y_j,c表示第j条光谱中的第c个移动窗口。

$R_{ij}=\frac{{\mathrm{\Σ}}_{i,j=1,i\≠j}^{m-k+1}{R}_{c_{ij}}}{m-k+1}$

2)计算原始光谱中的X_i与Y_j的信息含量，x_i为第i条光谱的信息含量，y_j为第j条光谱的信息含量，计算两条光谱之间互相包含的信息含量为：

$S_{xy}={\mathrm{\Σ}}_{i=1}^n{x}_i\log \frac{x_i}{y_j}$

其中，i,j＝1…n，且i≠j。

所述各所述近红外光谱间的相似距离为S_xy+S_yx，且各所述近红外光谱间的相似度为各所述近红外光谱间的局部相关系数与各所述近红外光谱间的相似距离的比值。即所述相似度为

S15：分别获取各所述近红外光谱与其对应的最大相似度的近红外光谱间对应的化学值的差值，并对所有所述差值取绝对值后，得到与所述差值对应的绝对差值，求解所有所述绝对差值的平均值；

S16：将所述绝对差值的平均值与预设的误差值进行比较，当所述绝对差值的平均值大于所述预设的误差值时，评价所述基础数据的质量不合格，即质量不高，对于后续的样本不足以建立一个好的近红外模型；当所述绝对差值的平均值小于或等于所述预设的误差值时，评价所述基础数据的质量合格。

知道每个样本间的相似度D_ij，光谱样本i从其他剩下的m-1个样本中选取一个与它相似度最大的光谱v，同时得到光谱i与光谱v相对应的两组样本的化学值T_i与T_v，求出每条光谱最大相似光谱及其对应化学值，求出他们相似组化学值的平均误差当大于阈值H(阈值H根据实际生产需求确定)，则判定这一批建模数据不适合，反之，这一批建模数据能够用于建立一个稳定、准确的模型。其中，

于本发明一具体实施例中，当评价所述基础数据的质量不合格时，还包括对所述基础数据中的近红外光谱的取样方式进行调整和/或对基础流动数据进行维护的步骤。

本发明还可以根据模型外部验证误差与质量评价验证本方法的合理性与适用性。

本发明的近红外光谱定量建模数据评价方法，能够提前预判建模数据质量的好坏，避免了数据质量不高的近红外数据大量取样，可以为建模厂家减少没必要的样本浪费，减少大量的物力、人力、财力，同时为取样方法的调整基础数据的准确性查证提供了可靠的知道依据。

通过本发明的评价方法能够对于预判质量数据很高的，但是建模数据结果不好的模型提供了基础数据可靠的保障，促使近红外定量建模方法的改进与提高，为实际生产的具体应用打下了坚实的基础。

以下将以本发明在实际生产中的具体应用实例对本发明进行进一步的说明，本实例采用打叶复烤后的原烟烟叶近红外光谱和流动分析仪所做的尼古丁基础数据作为实验对象，对一种近红外定量建模数据质量评价新方法进行具体详细的说明。

步骤一、获取近红外光谱及其相对应的化学值，具体过程：烟叶经过打叶复烤之后，经过在线近红外光谱仪获取268个样品的光谱图，光谱的波长点数为256，并将对应的样品用于流动分析仪化检得到相对应的化学值。其中，所述样本是红河复烤厂提供的烟叶。

步骤二、对近红外光谱进行预处理，具体过程：将每个光谱图转换成行矩阵，选取窗口数为7；差分宽度为3对每个光谱进行S-G卷积平滑求导。

步骤三、求取光谱的相似度，具体过程为：

1.构造一个移动窗口k＝7，将光谱从第一个波长点开始，移动到250个波长点，算得各个光谱之间的相关系数如图2所示。

2.原始光谱中各个光谱图之间信息含量，x_i为第i条光谱的信息含量，y_j为第j条光谱的信息含量，计算各个光谱之间包含的信息，将其代入下述公式分别计算两条光谱之间的信息含量：

$S_{xy}={\mathrm{\Σ}}_{i=1}^n{x}_i\log \frac{x_i}{y_j}$

$S_{yx}={\mathrm{\Σ}}_{i=1}^n{y}_i\log \frac{y_j}{x_i}$

3.则光谱之间的相似度且相似度图谱如图3所示。

步骤四、根据相似度D_ij，求其基础数据之间的平均误差来判定近红外定量建模数据的质量，其具体过程：根据步骤三，求得每个样本与其他样本之间的相似度D，从1号样品开始，选择与他相似度最高的样品进行匹配，并找到相对应的化学值，计算268个样品与他们相似度最高的匹配样品之间的化学值的误差，268个样品化学值分布如图所示4，相互匹配化学值分布如图5所示，相对误差分布图如图6所示，求出268个样品与其相似度匹配的样品间的平均相对误差为11.24％，平均绝对误差为0.26，小于实际应用中的平均绝对误差H＝0.35，可以判定这批基础数据质量能够建立一个稳定适用的近红外定量模型。根据268个光谱和基础数据建立近红外定量模型，其外部验证参数如表1所。表1为第一批近红外定量模型外部验证参数。

表1

从表1中看出建立的模型相关系数为0.82，验证标准偏差为0.33，平均相对误差为10.9％，小于实际应用中的平均相对误差和平均绝对误差，该模型能够应用于实际生产中。

在另一具体实施例中，采用获取另外一批建模光谱以及其相对应的化学值，求其光谱间的相似度，相匹配的误差来评价这批建模数据的质量，其具体过程：获取另外一批在打叶复烤后经过在线近红外的210个光谱和相对应的化学值，基础数据分布图如图7所示，按照上述步骤二、三、四，得到他们的相关系数如图8所示，得到样本间相互匹配的相似度如图9所示，相对误差分布图如图10所示，求出210个样品与其相似度匹配的样品间的平均绝对误差为0.65，平均相对误差为27.42％，平均绝对误差0.64大于实际应用中的平均绝对误差H＝0.35，判定这批光谱基础数据质量太差，无法建立一个稳定的模型。根据210个光谱和基础数据建立近红外定量模型，其外部验证参数如表2所示，表2显示为第二批数据近红外定量模型外部验证参数。

表2

从表2中可以看出，用这组基础数据建立的近红外定量模型预测值与基础数据的相关性不大，验证标准偏差为0.41，由于误差太大，建立的模型无法应用于实际或者预测不准。

从表1和表2表明，本发明方法能够对近红外建模基础数据的质量进行评价，可以在建模之前快速判定这批基础数据的质量好坏。

请参阅图11，显示为本发明一具体实施例中的模块示意图。所述评价系统1，用于对包含近红外光谱的用于建模的基础数据的质量进行评价，即光谱和基础数据的准确性和对应性越高，光谱的质量越高。所述系统1包括：

基础数据获取模块11，用以从所述基础数据中获取多条近红外光谱，且获取与每条近红外光谱对应的化学值；

预处理模块12，用以对所述近红外光谱进行预处理；

最大相似度光谱获取模块13，用以求解各所述近红外光谱间的相似距离以及局部相关系数；且根据各所述近红外光谱间的相似距离以及局部相关系数分别获取与各所述近红外光谱对应的最大相似度的近红外光谱以及相应的化学值；

差值平均值求解模块14，用以分别获取各所述近红外光谱与其对应的最大相似度的近红外光谱间对应的化学值的差值，并对所有所述差值取绝对值后，得到与所述差值对应的绝对差值，求解所有所述绝对差值的平均值；

比较模块15，用以将所述绝对差值的平均值与预设的误差值进行比较，当所述绝对差值的平均值大于所述预设的误差值时，评价所述基础数据的质量不合格；当所述绝对差值的平均值小于或等于所述预设的误差值时，评价所述基础数据的质量合格。

于本发明一具体实施例中，对所述近红外光谱进行预处理的方式包括S-G求导方法。

于本发明一具体实施例中，所述最大相似度光谱获取模块12用以根据所述近红外光谱的信息含量，求解各所述近红外光谱间的相似距离。

于本发明一具体实施例中，各所述近红外光谱间的相似度为各所述近红外光谱间的局部相关系数与各所述近红外光谱间的相似距离的比值。

于本发明一具体实施例中，还包括调整模块，用以当评价所述基础数据的质量不合格时，对所述基础数据中的近红外光谱的取样方式进行调整和/或对基础流动数据进行维护。

所述评价系统1为与所述评价方法对应的系统项，两者技术方案一一对应，所有关于所述评价方法的描述均可应用于本实施例中，在此不加赘述。

综上所述，本发明的评价方法与系统，用于对包含近红外光谱的用于建模的基础数据的质量进行评价，所述方法包括：从所述基础数据中获取多条近红外光谱，且获取与每条近红外光谱对应的化学值；对所述近红外光谱进行预处理；求解各所述近红外光谱间的相似距离以及局部相关系数；根据各所述近红外光谱间的相似距离以及局部相关系数分别获取与各所述近红外光谱对应的最大相似度的近红外光谱以及相应的化学值；分别获取各所述近红外光谱与其对应的最大相似度的近红外光谱间对应的化学值的差值，并对所有所述差值取绝对值后，得到与所述差值对应的绝对差值，求解所有所述绝对差值的平均值；将所述绝对差值的平均值与预设的误差值进行比较，当所述绝对差值的平均值大于所述预设的误差值时，评价所述基础数据的质量不合格；当所述绝对差值的平均值小于或等于所述预设的误差值时，评价所述基础数据的质量合格。本发明可以准确高效的在对近红外光谱进行建模前，运用小量的样本进行近红外光谱与化学值质量进行评判，以对基础数据的质量进行评价，来判定基础数据是否可以建立一个稳定的准确模型，为近红外光谱数据的质量的评价提供一种有效的判别方法，避免了由于基础数据质量不高引起的大量取样建模，也促进了基础数据质量很高时，为扩充与改进针对基础数据的化学计量学方法提供指导，以排除对不合格的近红外光谱进行建模分析，提高建模分析的有效性和准确性，减少人力物力的浪费。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。