一种基于LIBS光谱和图像融合的中药材产地识别方法

一种基于libs光谱和图像融合的中药材产地识别方法
技术领域
1.本发明涉及中药材产地识别领域，特别是涉及一种基于libs光谱和图像融合的中药材产地分类的方法。


背景技术：

2.现代研究表明，中药材具有抗炎、镇痛、保肝、抗氧化等作用，被广泛应用于临床，具有广阔的开发前景。中药材化学成分复杂多样，其主要化学物质在发挥药效、治疗疾病上有所差异。药材品质的优劣与其产地关系密切。中药材中各类成分的含量直接影响其药理作用的发挥，而成分含量则受产地影响。
3.传统用于中药材产地识别的方法较多，然而由于其样品制作工序复杂、样品损耗大、识别效率差、自动化程度低等因素影响，人们在中药材产地识别实践中暂未实现快速检测。激光诱导击穿光谱(laser-induced breakdown spectroscopy，libs)技术通过超短脉冲激光聚焦样品表面形成等离子体，进而对等离子体发射光谱进行分析以确定样品的物质成分及含量。libs具有样品制作简易、样品损耗小、检测效率高、可实现在线检测等优势，目前已被广泛应用于临床医学、考古学和工业等领域。
4.wei等人的文献《distinguish fritillaria cirrhosa and non-fritillaria cirrhosa using laser-induced breakdown spectroscopy》提出利用libs结合学习矢量量化来区分川贝母和非川贝母，通过实验证明了libs在中药材分类中的可行性。
5.liu等人的文献《geographical authenticity evaluation of mentha haplocalyx by libs coupled with multivariate analyzes》使用libs结合主成分分析和最小二乘支持向量机对薄荷进行分类鉴别使用，通过机器学习方法来对中药材进行分类。
6.上述方法说明了libs在中药材分类领域的应用前景和重大潜力，但其研究只聚焦于libs光谱，尚未涉及libs图像，识别难度大，精度不高。


技术实现要素：

7.本发明的目的是提出一种基于libs光谱和图像融合的方法，实现中药饮片产地的快速识别，提高产地识别的准确率。
8.为实现上述目的，本发明提供了如下的技术方案：
9.一种基于libs光谱和图像融合的中药饮片产地识别方法，包括如下步骤：
10.步骤1、使用基于偏最小二乘法判别分析法pls-da的rc值对libs光谱数据进行特征筛选，得到经过筛选后的光谱特征；
11.步骤2、利用卷积神经网络对libs光谱数据和libs图像数据进行特征提取，得到经过特征提取后的光谱特征和图像特征；
12.步骤3、将所述光谱特征和图像特征在特征层面和决策层面上进行融合；
13.步骤4、将融合后的特征放入不同分类器中进行分类；
14.步骤5、获得基于融合特征的分类结果。
15.进一步的，所述步骤1中使用基于pls-da的rc值提取libs光谱特征具体为：输入尺寸为(m
×
n)的光谱数据，记为x；为光谱数据手动添加响应值y，y为(m
×
1)矩阵；建立pls-da分类模型，得到对应不同波长(λ1，λ2，λ3……
λm)的rc值(w1.w2,w3……
wm)，通过比较rc值的大小来筛选出libs光谱的特征波长。
16.进一步的，所述步骤2中选取卷积神经网络中的残差网络(resnet18、resnet50)作为提取光谱和图像特征的网络；输入数据经过卷积，批归一化，激活，池化操作后，最后一层全连接层的特征被选择作为提取出的特征。
17.进一步的，所述步骤2中libs图像数据为经过激光打点后的中药饮片整体图像，图像由libs系统中的相机通过自动对焦程序拍摄得到，自动对焦程序采用爬山法作为搜索函数。
18.进一步的，获得图像数据的具体步骤为：1、获取当前位置的图像清晰度值记为ten0；2、放置样品的x-y-z样品台沿着指定z方向移动给定步长s0，获得当前图像清晰度ten1，若ten1》ten0，则按原方向移动相同步长s0，反之则将步长乘以收敛系数p，得到收敛后的步长s1＝p
×
s0；3、比较收敛后的步长s1给定阈值t的大小，若s1《t则对焦完成，若s1》t则样品台反向移动收敛后的步长s1，重复步骤2-3直至对焦完成。
19.进一步的，图像清晰度ten值使用tenengrad函数计算得到，tenengrad函数使用sobel算子提取水平和垂直方向的梯度值；具体过程如下：1、设sober卷积核为g
x
,gy，则图像i在点(x,y)出的梯度为定义该图像的ten值为定义该图像的ten值为n为图像中像素总数。
20.进一步的，所述步骤3中将提取出的特征分别归一化，得到尺寸为(m1×
1)的光谱数据和尺寸为(m2×
1)的图像数据，将两者进行拼接得到尺寸为((m1+m2)
×
1)的特征，拼接后的特征作为最后的融合特征分别输入不同分类器中分类。
21.进一步的，所述步骤3中的决策层融合为把不同模态信息，分别输入已经训练好的分类器，以输出打分或决策进行融合
22.进一步的，所述决策层融合具体如下：将光谱和图像特征放入各自的分类器中进行训练，得到光谱分类器输出的每类产地概率为(p1,p2,p3)，图像分类器输出的每类产地概率为(k1,k2,k3)，计算其算数平均值取算数平均值最高的类别作为中药饮片产地归属的最终决策。
23.有益效果：本发明首次将libs光谱信息和libs图像信息进行数据融合，并且基于融合数据建立模型，用来识别中药饮片产地，通过综合来源不同的信息，从而实现对同一样品进行多角度的分析，进一步了提高了libs分类的精度，实现了中药材产地识别精确率的有效提升。
附图说明
24.为了更好的说明本发明中的技术方案，具体实施步骤以及实验结果，下面将对实施过程中所需的附图作简单的介绍。
25.图1为本发明基于libs图谱融合的中药饮片产地识别的详细流程图。
26.图2是数据集中某白芍样本的平均光谱实例示意图。
27.图3是数据集中某白芷样本的平均光谱实例示意图。
28.图4是数据集中中药饮片白芍样本的libs图像。
29.图5是数据集中中药饮片白芷样本的libs图像。
30.图6是resnet18提取的光谱特征与resnet50提取的图像特征在特征层面融合过程示意图。
31.图7是光谱信息和图像信息决策层融合过程示意图。
具体实施方式
32.下面结合附图对本发明的实施方式进行详细描述。
33.本发明的目的是提出一种基于libs光谱和图像融合的中药饮片产地识别方法。
34.为了使本发明的上述目的，特征和优点能够更加清晰易懂，下面结合图片和实例对本发明作进一步的详细阐述。
35.如图所示，本发明的基于libs光谱和图像融合的中药产地识别方法，具体步骤如下：
36.步骤1、获得libs光谱数据和图像数据，libs仪器按预设的4
×
4点阵在中药材样本表面进行检测，共检测16个位置，每个点位击打九次，前四次为样本表面清洁，后五次击打获得的光谱用作具体研究。本实验在常压条件下进行，libs仪器在使用前需调整参数，其中激光脉冲能量为100mj，脉冲频率为1hz，采集延迟时间为2μs，积分时间为10μs。该采集方式能进一步的收集更多的样品表面信息，减少其他因素影响。获取到的libs光谱数据需进行预处理，预处理方法包括面积归一化和光谱平均，面积归一化是将光谱的强度除以光谱的积分面积，光谱平均是将后五次的光谱平均作为一个点位的光谱，然后将16个点位的光谱平均作为一个样品的最终光谱。光谱预处理能减少信号噪声并提高模型性能。获得到的libs图像是经过激光烧蚀后的样本全图，图片格式为灰度图。烧蚀后的图像相对于烧蚀前的图像包含了更多信息，烧蚀坑的体积，面积，深度等对于产地识别的结果具有一定的影响。此处用作实验的中药材为白芍和白芷，两类样本都来自三类不同的产地，分别标记为0，1，2。
37.步骤2、使用基于pls-da的回归系数值rc对libs光谱进行特征筛选，rc值用来衡量变量和响应值之间的关系，rc值越大的变量对模型的贡献也越大。首先对光谱数据建立pls-da分类模型，调整参数得到最优的模型，得到不同波长(λ1，λ2，λ3……
λm)对应的rc值(w1.w2,w3……
wm)。比较不同波长对应rc值的大小，对于白芍，从中选择出了37个特征波长极其前后两相邻波长的峰强度共111个特征，对于白芷，从中筛选出30个特征波长及其前后两相邻波长的峰强度共90个特征，筛选出的光谱特征波长如表1和表2所示：
[0038][0039]
表1：根据pls-da筛选出的白芍光谱特征波长。
[0040]
注：i表示元素的原子谱线；ii代表元素的一次离子谱线；-表示特征谱线无对应元素。
[0041]
[0042][0043]
表2：根据pls-da筛选出的白芷光谱特征波长。
[0044]
注：i表示元素的原子谱线；ii代表元素的一次离子谱线；-表示特征谱线无对应元素。
[0045]
步骤3、用resnet18提取光谱特征，该模型的初始学习率为0.0001，优化器为sgdm优化器，迭代次数为500次，小批量大小为50。将光谱数据输入到resnet18网络中，利用卷积操作提取高维特征，将最后一层全连接层输出的256个特征作为光谱融合特征。
[0046]
步骤4、使用resnet50提取图像特征，该模型的初始学习率为0.0001，优化器为adam优化器，迭代次数为300次，小批量大小为8。通过resnet50提取图像的高维信息，将最后一层全连接层输出的512个特征作为图像融合特征。
[0047]
步骤5、将上述pls-da和resnet18提取出的光谱特征和resnet50提取出的图像特征在特征层层面进行融合，首先将两类特征分别归一化，得到尺寸为(111
×
1)和(256
×
1)的白芍光谱数据，尺寸为(90
×
1)和(256
×
1)的白芷光谱数据，尺寸为(512
×
1)白芍和白芷图像数据，将两类中药材的光谱和图像特征分别进行拼接得到尺寸为(623
×
1)和(768
×
1)的白芍融合特征和尺寸为(602
×
1)和(768
×
1)的白芷融合特征。将融合特征输入不同的分类器得到基于特征层融合建模的结果，此处用到的分类器有支持向量机(support vector machines，svm)、pls-da和resnet18。
[0048]
步骤6、将上述提取出的光谱特征和图像特征分别放入不同的分类器中建模，用于光谱特征建模的分类器有pls-da，svm和resnet18，用于图像特征建模的分类器为resnet50。此处以白芍样本pls-da和resnet50的决策层融合作为例子说明：得到光谱分类器pls-da输出三类不同产地(0，1，2)的概率分别为(p1,p2,p3)，图像分类器resnet50输出的三类不同产地(0，1，2)的概率分别为(k1,k2,k3)，计算其光谱分类器和图像分类器三类不同
产地(0，1，2)概率的算数平均值取其算数平均值最高的类别作为决策层融合pls-da-resnet50白芍饮片产地归属的最终结果。如：若且则最后分类结果为产地0，若则最后结果在类别0和类别1中随机选取。
[0049]
步骤7、得到基于特征融合的白芍和白芷产地识别结果，和单一特征相比，基于融合特征建立的模型具有更高的识别准确率。具体结果如表3和表4所示:
[0050][0051][0052]
表3：白芍产地识别结果。
[0053]
注：img：烧蚀后完整样本图像的图像特征rc：根据pls-da模型rc值筛选出的光谱特征resnet18：根据resnet18模型筛选出的光谱特征resne50：根据resnet50筛选出的图像特征。
[0054][0055][0056]
表4：白芷产地识别结果。
[0057]
注：img：烧蚀后完整样本图像的图像特征rc：根据pls-da模型rc值筛选出的光谱特征resnet18：根据resnet18模型筛选出的光谱特征resne50：根据resnet50筛选出的图像特征。