基于近红外光谱相关性分析检测样品理化性质的方法与流程

文档序号:17978707发布日期:2019-06-21 23:57阅读:201来源:国知局
基于近红外光谱相关性分析检测样品理化性质的方法与流程
本发明涉及光谱信息分析
技术领域
,尤其涉及一种基于近红外光谱相关性分析检测样品理化性质的方法。
背景技术
:基于样品的近红外光谱检测该样品的理化性质具有较高的灵敏度,能够实现快速、无损、定性、定量的检测,在地质、冶金、工业、农业、医药卫生、环境、航天等多个领域都有广泛的应用。在基于样品的近红外光谱检测该样品的理化性质时,通常都是先获取待测样品的原始近红外光谱数据集,将该待测样品的原始近红外光谱数据集输入检测模型中进行理化性质检测,进而得到该样品的理化性质。然而,由于近红外光谱通常都是由宽带、弱带、非特异带和重叠带组成的,因此,通过光谱测量仪器获取的待测样品的原始近红外光谱数据集中除了有待测样品本身的波长数据外,还存在大量的与待测样品不相关的波长数据。由于待测样品的原始近红外光谱数据集中存在大量的与待测样品不相关的波长数据,使待测样品的原始近红外光谱数据集并不能真实的表征待测样品,导致该原始近红外光谱数据集输入检测模型后,得到的待测样品的理化性质也并不准确。技术实现要素:鉴于上述问题,本发明实施例的目的是提供一种基于近红外光谱相关性分析检测样品理化性质的方法,旨在基于样品的近红外光谱数据检测该样品的理化性质时,能够提高检测结果的准确性。第一方面,本发明实施例提供一种基于近红外光谱相关性分析检测样品理化性质的方法,所述方法包括:获得待测样品的原始近红外光谱数据集,所述待测样品的原始近红外光谱数据集中包括所述待测样品本身的波长数据和与所述待测样品不相关的波长数据;对所述原始近红外光谱数据集中的波长数据进行重要多元相关性(significantmultivariatecorrelation,smc)分析,去除所述原始近红外光谱数据集中的与所述待测样品不相关的波长数据,得到新近红外光谱数据集;将所述新近红外光谱数据集输入预先生成的检测模型进行理化性质检测,得到所述待测样品的理化性质,所述检测模型用于检测波长数据对应的理化性质。第二方面,本发明实施例提供一种检测模型的生成方法,所述方法包括:获得待训练样品的原始近红外光谱数据集和所述待训练样品的的理化性质,所述待训练样品的原始近红外光谱数据集中包括所述待训练样品本身的波长数据和与所述待训练样品不相关的波长数据;计算所述待训练样品的原始近红外光谱数据集中的每个波长数据的重要多元相关系数(significantmultivariatecorrelation值,smc值),并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到所述待训练样品的新近红外光谱数据集;使用机器学习算法对所述待训练样品的新近红外光谱数据集和所述待训练样品的理化性质进行机器学习,生成检测模型,所述检测模型用于检测波长数据对应的理化性质。第三方面,本发明实施例提供一种基于近红外光谱相关性分析检测样品理化性质的装置,所述装置包括:接收模块,被配置为获得待测样品的原始近红外光谱数据集,所述待测样品的原始近红外光谱数据集中包括所述待测样品本身的波长数据和与所述待测样品不相关的波长数据;处理模块,被配置为对所述原始近红外光谱数据集中的波长数据进行重要多元相关性分析,去除所述原始近红外光谱数据集中的与所述待测样品不相关的波长数据,得到新近红外光谱数据集;检测模块,被配置为将所述新近红外光谱数据集输入预先生成的检测模型进行理化性质检测,得到所述待测样品的理化性质,所述检测模型用于检测波长数据对应的理化性质。第四方面,本发明实施例提供一种检测模型的生成装置,所述装置包括:接收模块,被配置为获得待训练样品的原始近红外光谱数据集和所述待训练样品的的理化性质,所述待训练样品的原始近红外光谱数据集中包括所述待训练样品本身的波长数据和与所述待训练样品不相关的波长数据;处理模块,被配置为计算所述待训练样品的原始近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到所述待训练样品的新近红外光谱数据集;生成模块,被配置为使用机器学习算法对所述待训练样品的新近红外光谱数据集和所述待训练样品的理化性质进行机器学习,生成检测模型,所述检测模型用于检测波长数据对应的理化性质。第五方面,本发明实施例提供一种电子设备,所述电子设备包括:至少一个处理器;以及与所述处理器连接的至少一个存储器、总线;其中,所述处理器、存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行上述一个或多个技术方案中的方法。第六方面,本发明实施例提供一种计算机可读存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述一个或多个技术方案中的方法。本发明实施例提供的基于近红外光谱相关性分析检测样品理化性质的方法,在获得待测样品的原始近红外光谱数据集后,先对原始近红外光谱数据集中的波长数据进行重要多元相关性分析,去除原始近红外光谱数据集中的与待测样品不相关的波长数据,得到新近红外光谱数据集,再将新近红外光谱数据集输入预先生成的检测模型进行理化性质检测,得到待测样品的理化性质。相比于直接将待测样品的原始近红外光谱数据集输入检测模型中进行理化性质检测这种现有方法,在将待测样品的原始近红外光谱数据集输入检测模型中进行理化性质检测前,先根据原始近红外光谱数据集中的波长数据之间的重要多元相关性,将与待测样品不相关的波长数据去除,得到新近红外光谱数据集,由于新近红外光谱数据集中不存在与待测样品不相关的波长数据,因此,新近红外光谱数据集能够更加真实的表征待测样品,再将新近红外光谱数据集输入检测模型中进行理化性质检测,能够使检测出的理化性质更加符合待测样品的实际情况,能够提高检测结果的准确性。附图说明通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:图1为本发明实施例中的基于近红外光谱相关性分析检测样品理化性质的方法的流程示意图一;图2为本发明实施例中的基于近红外光谱相关性分析检测样品理化性质的方法的流程示意图二;图3为本发明实施例中的啤酒的原始近红外光谱数据集;图4为本发明实施例中的啤酒的新近红外光谱数据集;图5为本发明实施例中的基于近红外光谱相关性分析检测样品理化性质的装置的结构示意图;图6为本发明实施例中的检测模型的生成装置的结构示意图;图7为本发明实施例中的电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。本发明实施例提供了一种基于近红外光谱相关性分析检测样品理化性质的方法,图1为本发明实施例中的基于近红外光谱相关性分析检测样品理化性质的方法的流程示意图一,参见图1所示,该方法可以包括:s101:获得待测样品的原始近红外光谱数据集。其中,待测样品的原始近红外光谱数据集中包括待测样品本身的波长数据和与待测样品不相关的波长数据。在这里,由于近红外光谱通常是由宽带、弱带、非特异带和重叠带组成的,因此,通过光谱测量仪器测得的待测样品的原始近红外光谱数据集中除了有待测样品本身的波长数据外,还存在有大量的与待测样品不相关的波长数据。s102:对原始近红外光谱数据集中的波长数据进行重要多元相关性(significantmultivariatecorrelation,smc)分析,去除原始近红外光谱数据集中的与待测样品不相关的波长数据,得到新近红外光谱数据集。在这里,由于待测样品的原始近红外光谱数据集中既有待测样品本身的波长数据,又有与待测样品不相关的波长数据,因此,通过对原始近红外光谱数据集中的波长数据进行重要多元相关性分析,即分析原始近红外光谱数据集中的每个波长数据与其它光谱数据的相关性大小,根据分析结果将原始近红外光谱数据集中的与待测样品不相关的波长数据去除,使得到的新近红外光谱数据集能够更加真实的表征待测样品。s103:将新近红外光谱数据集输入预先生成的检测模型进行理化性质检测,得到待测样品的理化性质。其中,检测模型用于检测波长数据对应的理化性质,该检测模型可以是现有的模型,也可以是待训练样品的原始近红外光谱数据集经过步骤s102处理后得到的新近红外光谱数据集与该待训练样品的理化性质经过训练后生成的模型,在此不做限定。在具体实施过程中,为了能够获得待测样品的理化性质,可以将经过步骤s102处理后得到的待测样品的新近红外光谱数据集输入到检测模型中,该检测模型中存在有多个波长数据与理化性质的对应关系,将新近红外光谱数据集输入到检测模型中后,新近红外光谱数据集中的波长数据就会与检测模型中的波长数据进行匹配,若匹配成功,则会将检测模型中匹配成功的波长数据对应的理化性质作为该待测样品的理化性质。在这里,理化性质可以包括物理性质和化学性质,物理性质可以是指形态、结构等,化学性质可以是指化学成分、化学组分等。这样,通过待测样品的近红外光谱数据集就能够得到该待测样品的理化性质。例如:若待测样品中含有c-h、n-h、o-h等有机官能团,通过将待测样品的近红外光谱数据集输入检测模型中,就能够分析出该待测样品中含有c-h、n-h、o-h等有机官能团,甚至还能够对该待测样品中含有的c-h、n-h、o-h等有机官能团进行定量分析。由上述内容可知,本发明实施例提供的基于近红外光谱相关性分析检测样品理化性质的方法,在获得待测样品的原始近红外光谱数据集后,先对原始近红外光谱数据集中的波长数据进行重要多元相关性分析,去除原始近红外光谱数据集中的与待测样品不相关的波长数据,得到新近红外光谱数据集,再将新近红外光谱数据集输入预先生成的检测模型进行理化性质检测,得到待测样品的理化性质。相比于直接将待测样品的原始近红外光谱数据集输入检测模型中进行理化性质检测这种现有方法,在将待测样品的原始近红外光谱数据集输入检测模型中进行理化性质检测前,先根据原始近红外光谱数据集中的波长数据之间的重要多元相关性,将与待测样品不相关的波长数据去除,得到新近红外光谱数据集,由于新近红外光谱数据集中不存在与待测样品不相关的波长数据,因此,新近红外光谱数据集能够更加真实的表征待测样品,再将新近红外光谱数据集输入检测模型中进行理化性质检测,能够使检测出的理化性质更加符合待测样品的实际情况,能够提高检测结果的准确性。进一步地,作为图1所示方法的细化和扩展,本发明实施例还提供了一种基于近红外光谱相关性分析检测样品理化性质的方法。图2为本发明实施例中的基于近红外光谱相关性分析检测样品理化性质的方法的流程示意图二,参见图2所示,该方法可以包括:s201:获得待测样品的第n-1近红外光谱数据集。在这里,n为大于或等于1的正整数,当n为1时,第n-1近红外光谱数据集就是原始近红外光谱数据集。由于在去除待测样品的原始近红外光谱数据集中的与待测样品不相关的波长数据时不是一次性去除的,而是以迭代的方式分多次去除的,故在每次去除一部分与待测样品不相关的波长数据之后都会获得一个近红外光谱数据集。示例性的,在去除原始近红外光谱数据集中的与待测样品不相关的波长数据时需要经过10次迭代去除,即运行次数为10,那么,n就是从1至11的所有正整数,其中,最开始获得的第0近红外光谱数据集就是原始近红外光谱数据集,经过第1次迭代之后,获得的就是第1近红外光谱数据集,经过第2次迭代之后,获得的就是第2近红外光谱数据集,以此类推,经过第10次迭代之后,获得的就是第10近红外光谱数据集。s202:按照预设比例,采集第n-1近红外光谱数据集中的波长数据,得到第n-1近红外光谱数据子集。由于近红外光谱数据集中的波长数据较多,在进行数据处理的过程中数据处理量较大,进而数据处理时间较长。通过按照预设比例,采集近红外光谱数据集中的部分波长数据,得到近红外光谱数据子集,近红外光谱数据子集中的波长数据相比于近红外光谱数据集中的波长数据较少,即降低了近红外光谱数据集的维度。通过对近红外光谱数据子集中的波长数据进行处理,能够缩短后续数据处理的时间。在实际应用中,可以采用蒙特卡罗采样(montecarlosimulation,mcs),从第n-1近红外光谱数据集中按照比率r采集波长数据,采集出的波长数据就构成了第n-1近红外光谱数据子集。在这里,比率r可以根据实际情况进行设置,在此不做限定。s203:计算第n-1近红外光谱数据子集中的每个波长数据的重要多元相关系数(significantmultivariatecorrelation值,smc值),并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到删除波长数据后的第n-1近红外光谱数据子集。在具体实施过程中,在得到第n-1近红外光谱数据子集后,首先,通过第n-1近红外光谱数据子集中的波长数据建立偏最小二乘回归(partialleastsquares,pls)模型;然后,计算第n-1近红外光谱数据子集中的每个波长数据的重要多元相关系数,在这里,每个波长数据都对应有一个smc值,不同的smc值表示对某一理化性质的贡献大小,smc值越大,表示对应的波长对该理化性质的贡献越大,即该波长越重要。接着,按照smc值大小对第n-1近红外光谱数据子集中的每个波长数据排列;最后,将排列在靠后的smc值对应的波长数据去除,进而得到删除波长数据后的第n-1近红外光谱数据子集。接下来,进一步说明如何将排列在靠后的smc值对应的波长数据去除。在按照smc值大小对第n-1近红外光谱数据子集中的每个波长数据排列之后,先根据递减功能指数函数(earliestdeadlinefirs,edf),计算出本次需要消除的波长数据的数量。具体的,通过edf计算出波长数据保持比率ri=ae-ki,其中,i为迭代次数,a、k为常数;进而根据波长数据保持比率ri计算出本次迭代中需要消除的波长数据的数量p×ri,其中,p为第n-1近红外光谱数据子集中波长数据的数量。最后,将排列在最后的p×ri个波长数据去除。这样,就将排列在靠后的smc值对应的波长数据去除了,并得到了删除波长数据后的第n-1近红外光谱数据子集。在这里需要说明的是,根据edf计算出的每一次需要删除的波长数据的数量都有所不同,随着删除次数的增加,删除的波长数据的数量是呈指数递减趋势。也就是说,在进行第一次删除时,删除的力度是最大的,会删除大量的与待测样品不相关的波长数据,在随后的删除过程中,删除力度逐渐减小,直到最后一次删除时,删除的数量几乎接近于0,即模仿了“物竞天择,适者生存”的法则。s204:计算删除波长数据后的第n-1近红外光谱数据子集中的每个波长数据的权重,并删除权重小于预设权重的波长数据,得到第n近红外光谱数据集。具体的,在计算删除波长数据后的第n-1近红外光谱数据子集中的每个波长数据的权重时,可以采用计算该子集中每个波长数据的权重,其中i=1,2,……,p,p为该子集的维度,w为权重,smc为重要多元相关系数。然后,删除权重小于预设权重的波长数据,得到第n近红外光谱数据集。在此需要说明的是,在删除权重小于预设权重的波长数据时,并不会删除该波长数据对应的权重,而是将该权重值设置为0,使权重向量总是保持是p维的。在实际应用中,可以采用加权自举随机采样(weightedbootstraprandomsampling,wbs)方法计算删除波长数据后的第n-1近红外光谱数据子集中的每个波长数据的权重。至此,就实现了对第n-1近红外光谱数据集的降维,得到了降维后的第n近红外光谱数据集,且第n近红外光谱数据集中的与待测样品不相关的波长数据相对于第n-1近红外光谱数据集有所减少。在这里,每执行一次步骤s202、步骤s203和步骤s204,就能够得到一个近红外光谱数据集。例如:在对原始近红外光谱数据集执行步骤s202、步骤s203和步骤s204后,就得到了第1近红外光谱数据集,在对第1近红外光谱数据集执行步骤s202、步骤s203和步骤s204后,就得到了第2近红外光谱数据集。s205:对n个近红外光谱数据集进行交叉验证(cross-validation,cv),从n个近红外光谱数据集中选择交叉验证均方根误差(rootmeansquarederrorofcross-validation,rmsecv)最小的近红外光谱数据集作为新近红外光谱数据集。其中,n个近红外光谱数据集是从第1近红外光谱数据集至第n近红外光谱数据集的近红外光谱数据集。在实际应用中,可以采用5倍交叉验证,从n个近红外光谱数据集中选择交叉验证均方根误差最小的近红外光谱数据集作为新近红外光谱数据集。示例性的,假设对待测样品的原始近红外光谱数据集进行了3次迭代。依次执行完步骤s202、步骤s203和步骤s204后,分别得到了第1近红外光谱数据集、第2近红外光谱数据集、第3近红外光谱数据集。通过交叉验证,得到第1近红外光谱数据集、第2近红外光谱数据集、第3近红外光谱数据集的均方根误差分别为a、b、c。假设a、b、c中b的值最小,那么,就将第2近红外光谱数据集作为新近红外光谱数据集,新近红外光谱数据集能够更加真实的表征待测样品,将新近红外光谱数据集输入到检测模型中,能够得到准确地待测样品的理化性质。在待测样品的近红外光谱数据集经过上述步骤s202-s205处理后,得到的新近红外光谱数据集中的待测样品本身的波长数据最多,与待测样品不相关的波长数据最少,即能够提高新近红外光谱数据集中待测样品本身的波长数据的占比,使该新近红外光谱数据集能够更加真实的表征待测样品,将该新近红外光谱数据集输入检测模型进行理化性质检测,能够得到更加准确的待测样品的理化性质。s206:将新近红外光谱数据集输入预先生成的检测模型进行理化性质检测,得到待测样品的理化性质。其中,检测模型中存在有波长数据与理化性质的对应关系。将待测样品的波长数据输入该检测模型,当该待测样品的波长数据与检测模型中的波长数据匹配成功时,就能够检测到该待测样品的理化性质了,该待测样品的理化性质即检测模型中匹配出的波长数据对应的理化性质。至此,就完成了对待测样品的理化性质的检测。接下来,对上述检测模型的生成方法进行说明。检测模型的生成方法可以包括以下步骤:步骤一:获得待训练样品的原始近红外光谱数据集和待训练样品的的理化性质。其中,待训练样品的原始近红外光谱数据集中包括待训练样品本身的波长数据和与待训练样品不相关的波长数据。待训练样品的原始近红外光谱数据集与上述关于待测样品的原始近红外光谱数据集的解释相似,待训练样品的理化性质与上述关于待测样品的理化性质的解释相似,故在此不再赘述。步骤二:计算待训练样品的原始近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到待训练样品的新近红外光谱数据集。其中,步骤二具体可以包括:步骤a:按照预设比例,采集待训练样品的第n-1近红外光谱数据集中的波长数据,得到待训练样品的第n-1近红外光谱数据子集。步骤b:计算待训练样品的第n-1近红外光谱数据子集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到删除波长数据后的待训练样品的第n-1近红外光谱数据子集。步骤c:计算删除波长数据后的待训练样品的第n-1近红外光谱数据子集中的每个波长数据的权重,并删除权重小于预设权重的波长数据,得到待训练样品的第n近红外光谱数据集。步骤d:对待训练样品的n个近红外光谱数据集进行交叉验证,从待训练样品的n个近红外光谱数据集中选择交叉验证均方根误差最小的近红外光谱数据集作为待训练样品的新近红外光谱数据集。在这里,步骤a-d中对于待训练样品的近红外光谱数据集的具体处理方式与步骤s202-s205中对于待测样品的具体处理方式相似,故在此不再赘述。步骤三:使用机器学习算法对待训练样品的新近红外光谱数据集和待训练样品的理化性质进行机器学习,生成检测模型。在这里,由于待训练样品的新近红外光谱数据集中待训练样品本身的波长数据占有很大的比率,因此,待训练样品的新近红外光谱数据集能够真实的表征待训练样品。对待训练样品的新近红外光谱数据集和待训练样品的理化性质进行训练,能够生成更加准确的检测模型,在该检测模型中存在有波长数据与理化性质的对应关系,将待测样品的波长数据输入该检测模型,能够更加准确地检测出该待测样品的理化性质。接下来,以具体实例说明该基于近红外光谱相关性分析检测样品理化性质的方法在检测待测样品的理化性质上所具有的优势。以啤酒为例,图3为本发明实施例中的啤酒的原始近红外光谱数据集,参见图3所示,该啤酒的原始近红外光谱数据集是使用近红外吸收谱,即nirsystemsinc,在25℃下,用30mm石英池直接记录在未稀释的脱气啤酒上,并以2nm的间隔在1100-2250nm的波长范围内收集得到的。采用本发明实施例中的方法,即s202-s205中的方法,对图3中的数据集进行处理,得到啤酒的新近红外光谱数据集,图4为本发明实施例中的啤酒的新近红外光谱数据集,参见图4所示,图4中的数据集是将图3中的数据集运行50次之后的结果,从图4中可以看出,啤酒本身的近红外波长数据主要分布在1100-1350nm之间,而在这个区间对应的是o-h拉伸键振动的第一泛音和c-h拉伸键的第二泛音,这正与啤酒中酵母发酵成酒精的底物是一致的。同样的,分别采用全光谱法(pls)、竞争性自适应重加权法(cars-pls)、变量空间迭代收缩法(vissa-pls)、自举软收缩法(boss-pls)对图3中的数据集进行处理,建立检测模型,并将这些检测模型与本发明实施例中的基于近红外光谱相关性分析检测样品理化性质的方法(smcpa-pls)对图3中的数据集进行处理后生成的检测模型进行比较。其中,可以采用kennard-stone(k-s)分类法将数据集分为校正集和测试集,并通过测试集对采用校正集中的数据生成的检测模型进行验证。表1为本发明实施例中的pls、cars-pls、vissa-pls、boss-pls、smcpa-pls的建模效果对比图。表1plscars-plsvissa-plsboss-plssmcpa-plsnvar56741.0±17.850.7±0.9847.7±18.522.1±9.3nlvs105.7±1.19.5±0.77.9±1.95.5±1.3rmsecv0.6220.168±0.0300.125±0.0160.110±0.0060.115±0.010rmsep0.8230.540±0.0090.515±0.4210.591±0.0490.123±0.029q2_cv0.9400.986±0.0910.996±0.0030.995±0.0020.994±0.001q2_test0.8520.933±0.0810.934±0.0020.923±0.0120.995±0.001t/sn/a1.13162.156.21.02其中,nvar为选择变量数,nlvs为潜在变量数,rmsecv为交叉验证均方根误差,rmsep为预测均方根误差,q2_cv为交叉验证确定系数,q2_test为测试集的确定系数,t为运行50次的平均时间。参见表1,通过将smcpa-pls与pls、cars-pls、vissa-pls、boss-pls对比可知,smcpa-pls在波长数据量的选择上大大降低,以及能够缩短运行时间,尤其pls在运行时间上不适用,即n/a。并且根据交叉验证结果可知,smcpa-pls建立的检测模型的准确性较高。可见,采用本发明实施例中的方法能够很好的去除啤酒的原始近红外光谱数据集中与啤酒不相关的波长数据,并且能够既快速又准确地建立起啤酒的理化性质检测模型,进而提高啤酒的理化性质检测的准确性。基于同一发明构思,作为对上述基于近红外光谱相关性分析检测样品理化性质的方法的实现,本发明实施例还提供了一种基于近红外光谱相关性分析检测样品理化性质的装置。图5为本发明实施例中的基于近红外光谱相关性分析检测样品理化性质的装置的结构示意图,参见图5所示,该装置50可以包括:接收模块501,被配置为获得待测样品的原始近红外光谱数据集,待测样品的原始近红外光谱数据集中包括待测样品本身的波长数据和与待测样品不相关的波长数据;处理模块502,被配置为对原始近红外光谱数据集中的波长数据进行重要多元相关性分析,去除原始近红外光谱数据集中的与待测样品不相关的波长数据,得到新近红外光谱数据集;检测模块503,被配置为将新近红外光谱数据集输入预先生成的检测模型进行理化性质检测,得到待测样品的理化性质,检测模型用于检测波长数据对应的理化性质。基于前述实施例,处理模块,被配置为计算原始近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到新近红外光谱数据集。基于前述实施例,处理模块,被配置为计算第n-1近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到第n近红外光谱数据集,n为大于或等于1的正整数,当n为1时,第n-1近红外光谱数据集为原始近红外光谱数据集;对n个近红外光谱数据集进行交叉验证,从n个近红外光谱数据集中选择交叉验证均方根误差最小的近红外光谱数据集作为新近红外光谱数据集,n个近红外光谱数据集是从第1近红外光谱数据集至第n近红外光谱数据集的近红外光谱数据集。基于前述实施例,处理模块,被配置为按照预设比例,采集第n-1近红外光谱数据集中的波长数据,得到第n-1近红外光谱数据子集;计算第n-1近红外光谱数据子集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到第n近红外光谱数据集。基于前述实施例,处理模块,被配置为计算第n-1近红外光谱数据子集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到删除波长数据后的第n-1近红外光谱数据子集;计算删除波长数据后的第n-1近红外光谱数据子集中的每个波长数据的权重,并删除权重小于预设权重的波长数据,得到第n近红外光谱数据集。基于前述实施例,该装置还可以包括:模型生成模块,被配置为获得待训练样品的原始近红外光谱数据集和待训练样品的的理化性质,待训练样品的原始近红外光谱数据集中包括待训练样品本身的波长数据和与待训练样品不相关的波长数据;计算待训练样品的原始近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到待训练样品的新近红外光谱数据集;使用机器学习算法对待训练样品的新近红外光谱数据集和待训练样品的理化性质进行机器学习,生成检测模型。基于前述实施例,模型生成模块,被配置为计算待训练样品的第n-1近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到待训练样品的第n近红外光谱数据集,n为大于或等于1的正整数,当n为1时,待训练样品的第n-1近红外光谱数据集为待训练样品的原始近红外光谱数据集;对待训练样品的n个近红外光谱数据集进行交叉验证,从待训练样品的n个近红外光谱数据集中选择交叉验证均方根误差最小的近红外光谱数据集作为待训练样品的新近红外光谱数据集,待训练样品的n个近红外光谱数据集是从待训练样品的第1近红外光谱数据集至待训练样品的第n近红外光谱数据集的近红外光谱数据集。基于前述实施例,模型生成模块,被配置为按照预设比例,采集待训练样品的第n-1近红外光谱数据集中的光谱波长数据,得到待训练样品的第n-1近红外光谱数据子集;计算待训练样品的第n-1近红外光谱数据子集中的每个光谱波长数据的相关系数重要多元相关系数,并删除相关系数重要多元相关系数小于预设相关系数重要多元相关系数的光谱波长数据,得到待训练样品的第n近红外光谱数据集。基于前述实施例,模型生成模块,被配置为计算待训练样品的第n-1近红外光谱数据子集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到删除波长数据后的待训练样品的第n-1近红外光谱数据子集;计算删除波长数据后的待训练样品的第n-1近红外光谱数据子集中的每个波长数据的权重,并删除权重小于预设权重的波长数据,得到待训练样品的第n近红外光谱数据集。这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。基于同一发明构思,作为对上述检测模型的生成方法的实现,本发明实施例还提供了一种检测模型的生成装置。图6为本发明实施例中的检测模型的生成装置的结构示意图,参见图6所示,该装置60可以包括:接收模块601,被配置为获得待训练样品的原始近红外光谱数据集和待训练样品的的理化性质,待训练样品的原始近红外光谱数据集中包括待训练样品本身的波长数据和与待训练样品不相关的波长数据;处理模块602,被配置为计算待训练样品的原始近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到待训练样品的新近红外光谱数据集;生成模块603,被配置为使用机器学习算法对待训练样品的新近红外光谱数据集和待训练样品的理化性质进行机器学习,生成检测模型,检测模型用于检测波长数据对应的理化性质。基于前述实施例,处理模块,被配置为计算待训练样品的第n-1近红外光谱数据集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到待训练样品的第n近红外光谱数据集,n为大于或等于1的正整数,当n为1时,待训练样品的第n-1近红外光谱数据集为待训练样品的原始近红外光谱数据集;对待训练样品的n个近红外光谱数据集进行交叉验证,从待训练样品的n个近红外光谱数据集中选择交叉验证均方根误差最小的近红外光谱数据集作为待训练样品的新近红外光谱数据集,待训练样品的n个近红外光谱数据集是从待训练样品的第1近红外光谱数据集至待训练样品的第n近红外光谱数据集的近红外光谱数据集。基于前述实施例,处理模块,被配置为按照预设比例,采集待训练样品的第n-1近红外光谱数据集中的光谱波长数据,得到待训练样品的第n-1近红外光谱数据子集;计算待训练样品的第n-1近红外光谱数据子集中的每个光谱波长数据的相关系数重要多元相关系数,并删除相关系数重要多元相关系数小于预设相关系数重要多元相关系数的光谱波长数据,得到待训练样品的第n近红外光谱数据集。基于前述实施例,处理模块,被配置为计算待训练样品的第n-1近红外光谱数据子集中的每个波长数据的重要多元相关系数,并删除重要多元相关系数小于预设重要多元相关系数的波长数据,得到删除波长数据后的待训练样品的第n-1近红外光谱数据子集;计算删除波长数据后的待训练样品的第n-1近红外光谱数据子集中的每个波长数据的权重,并删除权重小于预设权重的波长数据,得到待训练样品的第n近红外光谱数据集。这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。基于同一发明构思,本发明实施例还提供了一种电子设备。图7为本发明实施例中的电子设备的结构示意图,参见图7所示,该电子设备70可以包括:至少一个处理器701;以及与处理器701连接的至少一个存储器702、总线703;其中,处理器701、存储器702通过总线703完成相互间的通信;处理器701用于调用存储器702中的程序指令,以执行上述一个或多个实施例中的方法。这里需要指出的是:以上电子设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明实施例的电子设备的实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。基于同一发明构思,本发明实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的方法。这里需要指出的是:以上计算机可读存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明实施例的计算机可读存储介质的实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1