一种基于高光谱图像的无监督医药异物检测方法及系统

本发明公开了一种基于高光谱图像的无监督医药异物检测方法及系统，属于医药高光谱图像异物检测技术。

背景技术：

1、目前常见的医药异物检测技术主要基于机器视觉图像。但是基于机器视觉图像方法的检测效果容易受到药液中气泡的影响，导致这些基于机器视觉图像的方法的误检率较高，一定程度上限制了其应用范围。另外，仅仅依靠机器视觉图像的检测方法，无法区分液体药品中的异物是液体药品中的蛋白质沉淀还是金属碎屑、橡胶等异物。上述这些情况使得现有技术在医药质量检测环节中精度不足，误检率过高，难以满足人们对医药质量安全方面的需求。

2、申请号为cn202211638549.4的中国专利公开了一种基于边界分布注意力的医药质量检测方法及系统，采用的边界分布是通过目标检测算法中获取最终回归框，利用含标签的数据集对所提出的模型进行训练，最终获得该回归框，即最终的检测结果，这个检测结果是非像素级，检测结果在分辨液体药品中的蛋白质沉淀以及金属碎屑、橡胶等异物上不够精确，而且需要大量有标签的数据对模型进行训练。

3、申请号为cn202110634697.8的中国专利公开了一种医药异物高光谱分类检测方法，采用医药高光谱图像数据降维后实现医药异物分类检测，该方案仅对医药高光谱图像的光谱维度进行了pca降维，原始医药高光谱图像的冗余度高，造成后续模型检测速度降低，而且没有排除非药液区域图像数据，容易对药液区域图像数据的检测结果造成干扰。

4、申请号为cn202210493427.4的中国专利公开了一种基于自动编码器的医药高光谱异物检测方法，基于多尺度注意块设计一种带哈希寻址的多尺度注意力机制自动编码器网络对药物高光谱图像构建的训练集和测试集进行训练和测试，其采用的自动编码器中仅含均方误差(mse)和分布误差(kl散度)损失函数，不能够很好地处理重构像素的光谱曲线与原始像素光谱曲线之间的相似性，导致网络模型对医药高光谱图片的背景像素光谱曲线的重构能力存在不足。

5、综上，现有技术提出了采用医药高光谱图像数据来对医药异物进行识别检测，但在数据处理以及对药物中异物识别的精准度方面还存在不足，存在误检率过高的问题。

技术实现思路

1、本发明解决的技术问题是：针对现有医药异物检测技术存在的精度不足、误检率过高的问题，提供一种基于高光谱图像的无监督医药异物检测方法及系统。

2、本发明采用如下技术方案实现：

3、一种基于高光谱图像的无监督医药异物检测方法，包括如下步骤：

4、s1、获取用于模型训练的待测药品的初始高光谱图像其中，w为初始高光谱图像的宽度，h为初始高光谱图像的高度，c为初始高光谱图像的光谱维数；

5、s2、对初始高光谱图像的空间维度和光谱维度进行降维处理，获得降维高光谱图像w’为降维后的药品高光谱图像的宽度，h’为降维后的药品高光谱图像的高度，c’为降维后的药品高光谱图像的光谱维数；

6、s3、将降维高光谱图像划分局部区域，获取纯净的降维高光谱图像的高光谱背景数据b，bi为第i个大小为1*c’的高光谱背景光谱向量，l为背景光谱向量总数，其中l≤w'*h'；

7、s4、基于变分自编码器构建药品高光谱重构模型，利用步骤s3获取的高光谱背景数据b训练所述药品高光谱重构模型的权重参数；

8、s5、将待测药品的降维高光谱图像输入训练完成的药品高光谱重构模型获得重构高光谱图像通过重构高光谱图像的像素与步骤s2中降维高光谱图像的像素之间的均方误差得到医药异物检测结果图。

9、在本发明的一种基于高光谱图像的无监督医药异物检测方法中，具体的，采用高光谱相机拍摄待测药品的原始高光谱图像h0’，对待测药品的原始高光谱图像进行黑白校正，分别采集黑色背景图像idark和白色背景图像iwhite，通过下式计算得到校正后的初始高光谱图像h0：

10、

11、在本发明的一种基于高光谱图像的无监督医药异物检测方法中，具体的，所述步骤s2中，采用主成分分析法对初始高光谱图像的光谱维度进行降维，然后通过边缘检测算法对初始高光谱图像的空间维度进行降维，具体包括如下子步骤：

12、s21、计算初始高光谱图像每个波段对应像素的均值和标准差，然后对每个波段的均值和标准差进行标准化处理，使得每个波段的均值为0，方差为1，消除不同波段之间的差异；

13、s22、对标准化后的初始高光谱数据进行主成分分析降维，获得光谱维度降维后的中间高光谱图像

14、s23、选取中间高光谱图像在特征值最大的波段cmax处的灰度图利用canny边缘检测算法获取中间高光谱图像的第一边缘提取图通过计算第一边缘提取图m1中每列边缘提取图的像素累加值集合c以及每行边缘提取图的像素累加值集合r，其中c＝{c1,c2,…,ci,…,cw}，ci为第i列第一边缘提取图的像素累加值，r＝{r1,r2,…,ri,…,rh}，ri为第i行第一边缘提取图的像素累加值，通过比较相邻行/列的像素累加值，取像素累加值差异最大的行/列得到药液区域的四条边界，并依据该四条边界依次对中间高光谱图像进行空间维度的降维，得到最终的降维高光谱图像

15、在本发明的一种基于高光谱图像的无监督医药异物检测方法中，具体的，所述步骤s3包括如下子步骤：

16、s31、将降维高光谱图像划分为局部高光谱图像集合p1，其中，n为局部高光谱图像的总数，p1i为第i个大小为3*3*c'的局部高光谱图像，若图像边界处无法整除进行补零操作；

17、s32、对局部高光谱图像选择主成分分析中特征值最大对应的波段cmax，利用canny边缘检测算法获取局部高光谱图像的第二边缘提取图m2，m2∈rw'*h'，将第二边缘提取图划分为局部边缘提取图像集合p2，其中，n为局部边缘提取图像的总数，p2i为第i个大小为3*3的局部边缘提取图像，若图像边界处无法整除进行补零操作；

18、s33、对局部边缘提取图像集合p2中的每个局部边缘提取图像计算像素和si，若像素和si≥1，则舍弃降维高光谱图像中对应的3*3*c'大小的局部高光谱图像p1i，得到局部高光谱图像集合，局部高光谱图像集合中的每个像素构成纯净的降维高光谱图像的高光谱背景数据b。

19、在本发明的一种基于高光谱图像的无监督医药异物检测方法中，具体的，所述步骤s4中，所述变分自编码器包括编码器和解码器两部分，所述编码器对输入的降维高光谱图像的背景像素进行编码，所述解码器利用编码后的数据对输入降维高光谱图像的背景像素进行解码，重构生成与输入降维高光谱图像的相似样本。

20、在本发明的一种基于高光谱图像的无监督医药异物检测方法中，具体的，所述变分自编码器的药品高光谱重构模型的损失函数包括kl散度项lkl和重构误差项lerror；

21、所述编码器在训练阶段，编码器损失len等于lkl，通过下式优化kl散度项lkl，

22、

23、表示隐变量分布，μ1为隐变量分布的均值，为隐变量分布的方差，n(0,i)表示标准多维正态分布，i为单位矩阵，kl(·,·)为kullback-leibler散度；

24、所述解码器在训练阶段，解码器损失lde为：

25、

26、其中，lmse为输入的高光谱背景像素光谱曲线与重构的高光谱背景像素的光谱曲线之间的均方差损失，lcos为输入的高光谱背景像素光谱曲线与重构的高光谱背景像素的光谱曲线之间的余弦相似度损失，两者相加构成重构误差项lerror，hbi表示第i个输入的高光谱背景像素的光谱曲线，h'bi表示第i个重构的高光谱背景像素的光谱曲线，mse(·，·)表示输入的高光谱背景像素的光谱曲线与重构的高光谱背景像素的光谱曲线之间的均方差，×表示点积，||·||表示范数，λ为设置的超参数。

27、在本发明的一种基于高光谱图像的无监督医药异物检测方法中，具体的，所述步骤s5中，计算降维高光谱图像中第i行第j列的降维高光谱图像像素与重构高光谱图像中对应像素的均方误差作为该像素的异常分数aij，构建降维高光谱图像与重构高光谱图像之间所有像素的异常分数图a＝{a11,…,aij,…,aw'h'}，所述异常分数图a即为最终的医药异物检测结果图。

28、本发明还公开了一种基于高光谱图像的无监督医药异物检测系统，采用本发明的上述方法对医药药品进行异物检测，具体包括：

29、图像采集模块，采集待测药品的原始高光谱图像；

30、图像处理模块，对图像采集模块获得的原始高光谱图像校正得到初始高光谱图像并对初始高光谱图像的空间维度和光谱维度进行降维处理，获得降维高光谱图像

31、图像分析模块，将降维高光谱图像划分局部区域，获取纯净的降维高光谱图像的高光谱背景数据b，基于变分自编码器构建药品高光谱重构模型，利用高光谱背景数据b训练所述药品高光谱重构模型的网络权重参数，输入降维高光谱图像获得重构高光谱图像通过重构高光谱图像的像素与步骤s2中的降维高光谱图像的像素之间的均方误差得到医药异物检测结果图aw'*h'。

32、在本发明的一种基于高光谱图像的无监督医药异物检测系统中，具体的，所述图像处理模块包括基于边缘检测算法和主成分分析算法的高光谱图像降维子模块。

33、在本发明的一种基于高光谱图像的无监督医药异物检测系统中，具体的，所述图像分析模块包括基于局部区域的高光谱图像背景获取子模块，所述高光谱图像背景获取子模块将降维高光谱图像划分局部区域，获取纯净的降维高光谱图像的高光谱背景数据b。

34、本发明采用上述技术方案具有如下有益效果：

35、(1)本发明提供的技术方案针对由高光谱相机获取的原始高光谱图像相邻波段间冗余性大，原始高光谱图像中存在瓶盖以及过多的空白背景影响最终检测精度和速度，基于边缘检测算法和主成分分析算法对待测药品的初始高光谱图像进行降维处理，一方面有效消除了无关因素对检测结果的影响，另一方面通过对初始高光谱图像进行光谱维度和空间维度的降维，降低了初始高光谱图像数据之间冗余性，减少了计算复杂度，提高了检测精度。

36、(2)相较于现有药品异物检测的图像识别技术，本发明不仅在待测药品的原始高光谱图像的光谱维度进行了降维，同时利用边缘检测算法对待测药品的初始高光谱图像的空间维度进行了降维，一方面实现了待测药品的初始高光谱图像的冗余度的降低进而提高后续模型的检测速度，另一方面排除了非药液区域对检测结果的影响进而提高后续模型的检测精度。采用的边缘检测算法更多的基于计算图像本身的图像强度来获得，不需要大量有标签的数据对模型进行训练。

37、(3)本发明提供的技术方案针对现有无监督算法难以获取纯净的光谱数据背景，结合药品高光谱图像中异常较小、异常像素在总药品高光谱图像中占比较少的特点，采用基于局部区域获取降维后的高光谱图像背景数据，获得纯净的药品高光谱图像背景检测数据，有利于训练后续基于变分自编码器的药品高光谱重构模型，使模型能够很好地重构正常像素的光谱曲线而不会重构异常像素的光谱曲线，同时药品中的蛋白质沉淀和金属碎屑、其他异物的区分来源于高光谱背景数据本身的特性，蛋白质沉淀本身与药液像素的光谱曲线较为相似，因此误检的概率会大大降低，最终提升了模型的医药异物检测精度。

38、(4)本发明提供的技术方案针对药品高光谱图像的数据特点，为了让基于变分自编码器的药品高光谱重构模型更有效地重构背景像素光谱曲线，在药品高光谱重构模型的网络权重参数训练引入了余弦相似度，用来衡量重构像素的光谱曲线与原始像素光谱曲线之间的相似性，让模型更好地重构背景像素光谱曲线，进一步优化模型的重构能力。

39、综上所述，本发明提供的一种基于高光谱图像的无监督医药异物检测方法及系统应用于医药药品异物的智能检测，具有精度高、误检率低的优势。

40、以下结合附图和具体实施方式对本发明做进一步说明。