基于计算机视觉的灵芝孢子粉显微图像识别方法及装置与流程

本发明涉及中药质量控制，尤其涉及一种基于计算机视觉的灵芝孢子粉显微图像识别方法及装置。

背景技术：

1、灵芝为我国传统名贵中药，灵芝孢子粉是灵芝在生长成熟期从菌褶中弹射出来的极其微小的孢子，是灵芝的生殖细胞。现代研究表明，灵芝孢子粉含有多糖、三萜、甾醇、脂肪酸、维生素、氨基酸等成分，具有调节免疫、抗肿瘤、抗炎、抗癫痫、神经调节等活性，应用前景广阔。灵芝孢子为淡褐色至黄褐色，呈卵形，大小约3～12μm，内含一油滴。外层是主要由几丁质构成的双层孢壁，质地坚韧，耐酸碱，极难氧化分解，阻碍了多糖、三萜等活性成分在体内的释放和吸收。因此，目前主要通过破壁处理粉碎孢壁，提高活性成分的释放和吸收。未破壁的灵芝孢子粉原料含有瘪壳孢子、破损孢子以及完整孢子：瘪壳孢子在破壁(特别是超音速气流破壁)时由于饱满度低导致破壁率极低；破损孢子是指未破壁加工前就因自身及外界等因素致使孢壁破碎的灵芝孢子，这些孢子因孢壁破碎导致孢内的脂肪酸等成分暴露在空气中，非常容易氧化，导致过氧化值偏高，造成安全隐患。品种、生长环境、采集方式等因素均会对灵芝孢子粉的质量造成影响。因此，识别灵芝孢子粉原料中瘪壳、破损、完整灵芝孢子粉对于保障灵芝孢子粉的质量具有重要意义。

2、由于灵芝孢子大小仅有微米级别，现有的检测方法主要是通过扫描电镜采集放大倍数下的灵芝孢子粉电子显微图像，再通过人工判别的方式统计瘪壳孢子、破损孢子以及完整孢子(或孢子总数)，计算瘪壳率、破损率以及合格率等参数，来评价灵芝孢子粉原料的质量。这种检测方法耗时耗力，且检测结果具有主观性，亟需开发一种可客观、高效检测灵芝孢子瘪壳、破损以及总数的技术方法。

3、随着计算机视觉技术的发展，目标检测算法不断创新，在识别的准确度和效率上都远超人工检测，在现代生产中研究和应用广泛。目前，已有若干用于基于显微图像目标检测的孢子识别技术方法可见报导。

4、在中国专利申请文献cn104651462b中，公开了一种基于显微图像分析的稻瘟病菌孢子检测方法，获取孢子悬浮液中的孢子显微图像；然后利用图像光照校正、中值滤波、边缘检测、形态学运算对孢子显微图像进行处理，并结合形状特征参数，提取出只含孢子的显微图像；最后采用改进分水岭算法对粘连孢子进行分离，进而实现显微图像中孢子的检测和数量统计；利用图像光照校正、中值滤波、边缘检测、形态学运算对孢子显微图像进行处理，具体包括以下步骤：1)图像光照校正：1.1)图像分块：将图像i(i，j)进行m×n分块，其中m＝n＝4；

5、1.2)估算图像背景的灰度：计算每个图像块的像素灰度均值μ和标准差σ，然后以max(min，μ-3σ)作为该区域的背景灰度；其中min为该区域像素的最小灰度值；1.3)图像光照不均匀校正：从原始图像中减去步骤1.2)计算出的背景灰度图像，以校正光照不均匀；2)中值滤波采用3×3型滤波模板对光照校正后图像进行中值滤波处理；3)边缘检测采用canny算子进行图像边缘检测，包括：3.1)用高斯滤波器平滑图像；3.2)利用一阶偏导的有限差分来计算梯度的幅值和方向，得到梯度图像；3.3)对梯度幅值进行非极大值抑制；3.4)用双阈值算法检测并且连接边缘；4)形态学运算：根据孢子形态特征，采用8×8的圆盘结构元素对边缘检测后的二值图像进行形态学闭运算，孢子内外环空洞均被填充，形成一个封闭的孢子区域；然后采用8×8的圆盘结构元素进行形态学开运算，去除图像中目标物上比结构元素小的突刺和无用边界，切断细长搭接而起到分离作用；采用改进分水岭算法对粘连孢子进行分离，具体如下：首先利用距离变换将只含孢子的二值图像转化为灰度图像，然后通过高斯滤波对孢子图像边缘进行平滑，使得每个孢子内部形成一个局部极小值，最后应用分水岭算法对粘连孢子进行分离。

6、在中国专利申请文献cn114299493a中，公开了一种孢子识别方法，包括以下步骤：s1、对孢子进行捕获；s2、将捕获到的孢子通过电子显微镜进行放大，获取孢子的显微图像，并将所述孢子的显微图像进行预处理；s3、对预处理后的孢子显微图像进行分割，以对粘连的孢子进行分离；s4、提取分离后孢子的特征，根据提取的特征与孢子库中标本进行对比，完成对孢子的识别。步骤s2包括以下步骤：s201、将捕获到的孢子通过电子显微镜进行放大，获取孢子的显微图像；s202、对所述孢子的显微图像进行灰度处理；s203、对经灰度处理后的孢子显微图像，利用中值滤波进行平滑处理；s204、利用直方图均衡化对经平滑处理后的孢子显微图像进行图像增强处理，完成对孢子显微图像的预处理。步骤s3包括以下步骤：s301、利用运用形态学算法对经预处理后孢子显微图像进行处理；s302、利用二维阈值化进对去除图像噪声后的孢子显微图像进行初始分割；s303、对经初始分割后的孢子显微图像作距离变换，并利用高斯滤波对孢子显微图像进行平滑处理；s304、利用分水岭算法对经高斯滤波平滑处理后的孢子显微图像进行再次分割，得到孢子的图像轮廓，完成对粘连的孢子分离。

7、通过不同的技术路径实现了显微图像中孢子的识别和数量的统计。但是上述方法无法满足智能检测待测灵芝孢子粉样品破损、瘪壳情况的需求。

8、现有技术至少存在以下不足：

9、1.只能检测孢子数量，但是瘪壳、破损孢子无法进行检测。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法及装置，步骤s1、采集灵芝孢子粉电子显微图像；步骤s2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；步骤s3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；步骤s4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；步骤s5、基于yolo网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用eiouloss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；步骤s6、将步骤s2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。本发明能够在识别孢子总数的前提下，进一步实现孢子瘪壳及破损的识别，减少人工检测的主观判断的影响，并进行批量处理。

2、本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别方法，包括如下步骤：

3、步骤s1、采集灵芝孢子粉电子显微图像；

4、步骤s2、对采集的灵芝孢子粉电子显微图像进行处理和计算，进行各孢子及孢子总数识别；

5、步骤s3、采集不同角度不同环境下的多个灵芝孢子电子显微图像；

6、步骤s4、对采集的所有灵芝孢子电子显微图像进行处理，制作数据集；

7、步骤s5、基于yolo网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用eiouloss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型；

8、步骤s6、将步骤s2识别出的各孢子图像输入训练好的孢子瘪壳和破损识别模型，进行孢子瘪壳和破损识别。

9、eiouloss损失函数包含三个部分：重叠损失leiou，中心距离损失ldis，宽高损失lasp，惩罚项公式如下：

10、leiou＝liou+lasp+ldis

11、

12、其中ch和cω分别是覆盖两个box的最小外接框的宽度和高度。

13、本发明在建立孢子瘪壳和破损识别模型时，基于yolo网络模型，并添加小目标检测层，可以让网络更加关注小目标的检测，从而提高检测效果。改进后，虽然计算量和检测速度有所增加，但对小目标的检测精度有明显改善，能够用于识别孢子的瘪壳和破损。

14、优选地，步骤s1具体为待真空准备好后，加高压，根据设定的样品台参数和观测参数，选择活动光栏和调节工作距离，采集灵芝孢子粉电子显微图像。

15、优选地，步骤s1包括如下步骤：

16、步骤s101、选择样品载台，固定好样品；

17、步骤s102、设定样品台参数和观测参数；

18、步骤s103、待真空准备好后，加高压；

19、步骤s104、通过选择活动光栏和调节工作距离对显微图像进行调整；

20、步骤s105、设置图像采集条件和保存地址，采集并保存灵芝孢子粉电子显微图像。

21、优选地，步骤s2包括如下步骤：

22、s201、将灵芝孢子粉电子显微图像转换为单通道图片；

23、s202、对单通道图片进行直方图均衡化；

24、s203、对直方图均衡化后的灵芝孢子粉电子显微图像实施二值化处理，将其转换为黑白图片；

25、s204、对二值化后的孢子图像进行开运算，将粘连的孢子图像分开来；

26、s205、对开运算后的孢子图像进行闭运算，识别出各个孢子；

27、s206、根据连通区域的大小识别出孢子总数。

28、优选地，对单通道图片进行直方图均衡化采用如下单通道值变换函数进行：

29、

30、其中，

31、pr(ri)为输入图像第i个单通道值为ri的概率密度；

32、k为图像归一化前的单通道值；

33、sk为输出图像各像素的单通道值。

34、假设r为输入图像归一化后的单通道值，s为输出图像的单通道值，即r，s∈[0，1]。某随机变量的概率分布函数等于其概率密度函数的积分。若随机变量r的概率密度函数为pr(r)，且随机变量s为r的函数，则必有：

35、

36、当输出图像的单通道值均匀分布时，由于图像做了归一化，所以其概率密度ps(s)恒为1，可得到：

37、

38、在上述公式两边对s求导数后，在两边对r积分。得到能够让输出直方图均匀化的变换函数；

39、

40、

41、这个推导过程是建立在连续概率密度函数上的，而本发明的图像的概率密度是离散的。针对离散的情况，直接用求和代替积分。由于图像进行过归一化，故最终输出乘以255，得到单通道值变换函数，只要输入图像的概率密度，就可以得到输出图像的单通道值。

42、优选地，单通道图片为灰度图片。

43、优选地，步骤s4中对灵芝孢子电子显微图像集中的图像进行处理具体为：

44、将灵芝孢子电子显微图像集中的每个图像裁剪填充为预设长宽比；

45、对裁剪填充后的图像进行放大、错切、透视变换、平移或旋转中的至少一个操作来模拟各种环境下的孢子图像。

46、优选地，预设长宽比为0.5-2。

47、优选地，步骤s4中制作数据集具体包括如下步骤：

48、根据采集的不同角度不同环境下的多个灵芝孢子电子显微图像创建计算机视觉数据集格式的灵芝孢子电子显微图像；

49、通过标注工具对灵芝孢子电子显微图像中的灵芝孢子瘪壳及破损情况进行标注；

50、将标注后的灵芝孢子电子显微图像由计算机视觉数据集格式转化为yolo格式，并按照预设比例将yolo格式的多个灵芝孢子电子显微图像随机划分为训练集、测试集和验证集。

51、优选地，计算机视觉数据集格式为voc2007格式。

52、优选地，步骤s5中的yolo模型为yolov5模型。

53、本发明在建立孢子瘪壳和破损识别模型时，基于yolo网络模型，并添加小目标检测层。以在yolov5网络输入640*640为例，其中进行了5次下采样，因此最后的检测特征图大小是20*20，40*40，80*80。其中最大的检测特征图80*80负责检测小目标，用于检测大小在8*8以上的目标。即如果原始图像中的目标宽或高小于8像素，则网络很难学习到其目标的特征信息。加入小目标检测层后，增加了160*160的检测特征图，用于检测4*4以上的目标，可以让网络更加关注小目标的检测，从而提高检测效果。改进后，虽然计算量和检测速度有所增加，但对小目标的检测精度有明显改善，能够用于识别孢子的瘪壳和破损。

54、优选地，步骤s5中添加的注意力机制包括se注意力、cbam注意力、eca注意力和ca注意力中的任一个。

55、优选地，添加se注意力机制。

56、se注意力机制主要由挤压和激励构成。给定特征信道为c1的输入x，将一系列卷积变换为特征信道数为c2的特征，然后执行三个操作以重新校准先前获得的特征。

57、挤压：原始特征图(featuremap)的维度为hwc，其中h是高度，w是宽度，c是通道数。挤压就是对输入的特征图进行通道信息的全局平均池化，得到当前特征图的全局压缩特征量，获取挤压所得的1c后，加入一个fc全连接层(fullyconnected)，对每个通道的重要性进行预测，得到不同通道的重要性大小后激励到之前的特征图的对应通道上，再进行后续操作。在输入为x的条件下，c通道相关的输出公式如下：

58、

59、在上式中zc是第c通道相关的输出，输入x是来自一个固定核大小的卷积层，挤压操作使得模型收集全局信息成为可能。

60、激励：通过两层完全连通的瓶颈结构获得特征图中每个通道的权重，并将加权后的特征图作为下层的输入。目的是为了完全捕获通道之间的依赖。相关公式如下：

61、

62、

63、上式中t1和t2是两个线性变换，通过学习来捕捉每个通道的重要性，relu为激活函数，公式如下：

64、

65、优选地，还包括步骤s7，数据整合与输出，具体包括如下步骤：

66、s701、创建表格文件，读取灵芝孢子粉电子显微图像，并将灵芝孢子粉电子显微图像信息写入文件中；

67、s702、将步骤s2识别出的孢子总数信息写入文件；

68、s703、将步骤s6识别出的破损与瘪壳孢子的个数信息写入文件；

69、s704、计算检测合格率，将输出结果写入文件。

70、本发明提供了一种基于计算机视觉的灵芝孢子粉显微图像识别装置，使用上述的任一基于计算机视觉的灵芝孢子粉显微图像识别方法进行灵芝孢子粉显微图像识别，包括灵芝孢子粉图像采集模块、孢子数量识别模块及孢子瘪壳和破损识别模块；

71、灵芝孢子粉图像采集模块，采集灵芝孢子粉电子显微图像及不同角度不同环境下的多个灵芝孢子电子显微图像；

72、孢子数量识别模块，对灵芝孢子粉图像采集模块采集的灵芝孢子粉电子显微图像进行处理，并从处理后的图像中识别出各孢子及孢子总数；

73、孢子瘪壳和破损识别模块，对灵芝孢子粉图像采集模块采集的不同角度不同环境下的多个灵芝孢子电子显微图像进行图像处理，制作数据集，基于yolo网络模型，添加小目标检测层及注意力机制，建立孢子瘪壳和破损识别模型，采用eiouloss函数为损失函数，输入处理后的灵芝孢子电子显微图像集进行孢子瘪壳和破损识别模型训练，得到训练好的孢子瘪壳和破损识别模型，并输入孢子数量识别模块识别出的各孢子图像进行孢子瘪壳和破损识别。

74、优选地，还包括数据整合与输出模块，创建表格文件，将采集的灵芝孢子粉电子显微图像信息写入文件中，将识别出的孢子总数信息写入文件，将识别出的破损与瘪壳孢子的个数信息写入文件，计算检测合格率，将输出结果写入文件。

75、与现有技术相对比，本发明的有益效果如下：

76、(1)本发明通过对yolo网络模型改进，加入小目标检测层，添加注意力机制，对损失函数进行了优化，提高了对灵芝孢子粉破损、瘪壳检测的准确度。

77、(2)本发明能准确高效地对灵芝孢子粉显微图像进行检测获取孢子总数、破损孢子个数、瘪壳孢子个数，避免人员主观因素引起的误差，较为客观地获得检测结果。

78、(3)本发明通过数据的持久化存储操作，将孢子总数计数算法与孢子破损、瘪壳检测算法的检测结果信息系统的整合到一起，使之可以表格形式查看图片信息，可批量显示不同图片中孢子总数、破损孢子个数、瘪壳孢子个与合格率，提升了孢子质量检测环节中的检测效率。