一种基于图像特征的花粉颗粒图像提取方法

1.本发明属于图像处理领域。


背景技术：

2.随着城市化进程的不断发展，花粉过敏逐渐变为一个重大的公共卫生问题。因此，准确地识别花粉，从而进行有效的花粉预报，提示花粉过敏症患者积极采取应对措施具有十分重要的意义。
3.采取有效的方法自动提取花粉图像中的花粉颗粒，有助于对花粉的识别和分类，具有重要的应用价值。目前花粉研究中直接使用基于深度学习的检测方法对图像进行目标物检测并提取，然而在花粉采集过程中，由于外部因素或操作等原因可能会出现花粉图像中存在气泡和杂质的干扰问题，即大多数气泡的轮廓与花粉颗粒轮廓相似，一些杂质与花粉颗粒同时被染色为相似的颜色，导致使用原有方法提取到的花粉颗粒效果并不理想。
4.针对这一不足，提出基于花粉图像特征的花粉颗粒图像提取方法。通过分析花粉图像的特征可知，在颜色方面花粉颗粒和部分被染色的杂质颜色相近，而气泡无法被染色呈无色，考虑基于hsv提取前景图像去除气泡的干扰；在轮廓方面花粉颗粒大多为圆形或类圆形，而杂质通常为不规则形状，少部分为类圆形，考虑基于霍夫变换提取前景图像去除大部分杂志干扰；最后考虑使用检测模型检测提取出花粉颗粒图像以去除剩余杂质的干扰。基于这三个步骤可以有效去除花粉图像中气泡和杂质的干扰，更加精准地提取出前景花粉颗粒图像。


技术实现要素：

5.本发明是一种基于图像特征的花粉颗粒图像提取方法，如图1所示，花粉颗粒图像提取算法的具体流程为：花粉图像输入后首先基于hsv提取前景图像，即去除气泡处理，如图2所示；图像去气泡后再基于霍夫变换提取前景图像，即初筛杂质处理，如图3所示；将初筛后的花粉图像基于检测模型提取花粉颗粒图像以去除剩余杂质的干扰，最终输出提取出的花粉颗粒图像。
6.具体算法参考如下：
7.(1)基于hsv提取前景图像
8.在暴露空气下采集的花粉通过染色后，由于在颜色方面花粉颗粒和部分被染色的杂质颜色相近，呈现洋红色或深洋红色，而气泡无法被染色呈无色，因此考虑基于hsv提取前景图像去除气泡的干扰。计算过程如下：
9.1.1首先，将花粉图像由rgb色彩空间转换为hsv色彩空间，公式为：
[0010][0011]cmax
＝max(r
′
,g
′
,b
′
)
ꢀꢀ
公式2
[0012]cmin
＝min(r
′
,g
′
,b
′
)
ꢀꢀ
公式3
[0013]
δ＝c
max-c
min
ꢀꢀ
公式4
[0014]
h计算：
[0015]
s计算：
[0016]
v计算：v＝c
max
ꢀꢀ
公式7
[0017]
其中，r、g、b是rgb色彩空间中红、绿、蓝三种通道的颜色，r’、g’、b’是绝对色彩信息，h、s、v代表hsv色彩空间中的色调，饱和度，明度。max函数表示对绝对色彩信息取最大值c
max
，min函数表示对绝对色彩信息取最小值c
min
，δ表示取差值。差值为0时，色调h值为0；c
max
与r’相等、g’相等、b’相等时，依据公式5计算色调h值。c
max
为0时，饱和度s值为0；c
max
不为0时，依据公式6计算饱和度s值。明度v值与c
max
值相等。
[0018]
1.2然后对图像进行二值化处理，其中(hsv)
min
和(hsv)
max
是设定的hsv阈值，依据花粉颗粒的颜色及hsv颜色空间列表设定(hsv)
min
为[100,43,46]、(hsv)
max
为[200,255,255]，src(hsv)表示在设定阈值间所取的值，公式为：
[0019]
dst＝h
min
≤src(h)≤h
max
∩s
min
≤src(s)≤s
max
∩v
min
≤src(v)≤v
max
ꢀꢀ
公式8
[0020]
1.3根据1.2中设定的阈值，构建掩膜，即名为mask的二值图像。
[0021]
1.4对图像进行掩膜操作，留下包含花粉颗粒颜色部分的区域。
[0022]
1.5根据hsv对花粉图像分割完成，输出去除气泡后的花粉图像。
[0023]
(2)基于霍夫变换提取前景图像
[0024]
在轮廓方面花粉颗粒大多为圆形或类圆形，而杂质通常为不规则形状，少部分为类圆形，因此我们去除花粉图像中的气泡后，使用基于霍夫变换原理对花粉图像进行感兴趣区域的提取，可以将花粉图像中花粉颗粒和一部分被染色的类圆形杂质提取出来，对花粉图像识别造成干扰的杂质进行初筛。计算过程如下：
[0025]
2.1首先，将去除气泡后的花粉图像进行二值化、闭运算、高斯滤波预处理。
[0026]
2.1.1设定阈值thresh，选取灰度值128作为阈值,对图像二值化处理，大于阈值的取最大值255，小于阈值的取最小值0，公式为：
[0027][0028]
2.1.2对图像采取闭运算，先使用5
×
5的卷积核进行膨胀操作，再使用7
×
7的卷积核进行腐蚀操作。
[0029]
2.1.3边缘检测容易受到噪声影响，使用15
×
15高斯滤波器先对图像进行滤波处理，去除原始图像中存在的噪声。
[0030]
2.2使用canny边缘检测算法对图像进行边缘提取。
[0031]
2.2.1采用高斯平滑滤波对图像进行降噪处理。
[0032]
2.2.2根据sobel算子计算每个像素点的梯度幅值。sobel算子是两个3
×
3的矩阵，分别为s
x
和sy。前者用于计算图像x方向像素梯度矩阵g
x
，后者用于计算图像y方向像素梯度矩阵gy，公式为：
[0033][0034]
其中，i为灰度图像矩阵，是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。
[0035]
由公式11可计算得到梯度强度矩阵g
xy
。
[0036]
2.2.3对图像的每个像素点的梯度幅值进行非极大值抑制，在一个局部邻域内确定在一个方向上连续的具有较大幅值的点，并去掉邻域内其他梯度幅值较小的点。
[0037]
2.2.4滞后阈值：设定一个双阈值，即低阈值和高阈值，如果某一像素位置的幅值超过高阈值，该像素被保留为边缘像素；如果某一像素位置的幅值小于低阈值，该像素被排除；如果某一像素位置的幅值在两个阈值之间，该像素仅仅在连接到一个高于高阈值的像素时被保留。其中，依据花粉颗粒圆形或类圆形轮廓形状，双阈值设定为[40,80]。
[0038]
2.3使用基于霍夫变换圆检测方法识别圆形区域，把图像空间转换到参数空间，公式为：
[0039][0040]
其中，a，b为圆心的横纵坐标；x，y为图像像素点的横纵坐标；r为圆的半径；为查找角度。以
△
θ步长遍历[0,2π]，
△
θ＝2π/360；r以
△
r的步长遍历[r1,r2]，依据统计得到的花粉颗粒的大小范围，[r1,r2]设为[20,50]。经霍夫变换后，在变换域中搜索峰值，即可得到圆形区域的圆心坐标(a,b)和半径r。
[0041]
2.4使用掩膜遮挡住不感兴趣的区域。依据输入的花粉图像，构建掩膜，即名为mask的二值图像，使用位运算对图像进行掩膜操作，遮挡非圆形区域。
[0042]
2.5根据霍夫变换对花粉图像分割完成，输出初筛杂质后的花粉图像。
[0043]
(3)基于检测模型提取前景花粉颗粒图像
[0044]
经过基于霍夫变换检测前景图像的初筛后，使用检测模型检测提取出花粉颗粒图像以去除剩余杂质的干扰。
[0045]
将去气泡和初筛杂质的img
′
输入检测模型，公式为：
[0046]
img
′
＝hough(hsv(img))
ꢀꢀ
公式13
[0047]
其中img为最初输出的花粉图像，hsv方法为去气泡处理，hough方法为初筛杂质处
理。
[0048]
将图像转换为矩阵，通过卷积层得到特征图，最后在位置回归分支得到目标物的位置坐标，即花粉颗粒的位置坐标位置坐标，即花粉颗粒的位置坐标和为花粉颗粒位置坐标左上角点的坐标，和为花粉颗粒位置坐标右下角点的坐标，通过位置坐标提取花粉颗粒，以去除剩余杂质的干扰，最终输出花粉颗粒图像。
[0049]
基于花粉图像特征对花粉图像进行去除气泡和杂质处理后，再使用基于检测模型提取花粉颗粒方法可以有效地避免气泡、杂质与花粉颗粒图像的相似信息对于提取花粉颗粒的干扰，使得最终提取花粉颗粒图像的效果良好。
附图说明：
[0050]
图1为“一种基于图像特征的花粉颗粒图像提取方法”流程图；
[0051]
图2为“基于hsv提取前景图像”流程图；
[0052]
图3为“基于霍夫变换提取前景图像”流程图；
[0053]
图4为“基于hsv提取前景图像”过程阶段花粉图像示例，其中，图4a为基于hsv提取前景图像前的花粉图像，图4b为转换为hsv颜色空间的图像，图4c为mask图像，图4d为基于hsv提取前景图像后的花粉图像；
[0054]
图5为“基于霍夫变换提取前景图像”过程阶段花粉图像示例，其中，图5a为霍夫变换mask图像，图5b为基于霍夫变换提取前景图像后的花粉图像；
[0055]
图6为yolov5s模型结构图；
[0056]
图7为最终提取出的花粉颗粒图像示例。
具体实施方式：
[0057]
为了验证本方法的有效性，本文采用于包含北京地区3-10月(全年主要花期)采集的包含蒿属、藜科、桑科、禾本科、柏科、杨柳科6种常见气传过敏原花粉的数据。
[0058]
(1)基于hsv提取前景图像
[0059]
要进行hsv空间的处理，需要将花粉图像的rgb数据中r值，g值，b值转换成h值，s值，v值。首先，使用公式(1)得到绝对色彩信息，使用公式(2)，公式(3)，公式(4)得出最大值cmax、最小值cmin及其差值δ。使用公式(5)，公式(6)，公式(7)进行处理，得到相应的h值、s值、v值。然后根据h
min
＝100,h
max
＝200，s
min
＝43,s
max
＝255，v
min
＝46，v
max
＝255进行二值化处理，公式为(8)。根据我们设定的阈值，构建掩膜。然后对图像进行掩膜操作，留下包含花粉颗粒颜色部分的区域，输出过滤气泡后的图像。其中，基于hsv过滤气泡前的花粉图像为图4a，转换为hsv颜色空间的图像为图4b，mask图像为图4c，基于hsv过滤气泡后的花粉图像为图4d(见图4)。
[0060]
(2)基于霍夫变换提取前景图像
[0061]
首先，将过滤气泡后的花粉图像进行二值化、闭运算、高斯滤波预处理。选取灰度值128作为阈值，使用公式(9)对图像二值化处理，大于阈值的取最大值255，小于阈值的取最小值0。对图像采取闭运算，先使用5
×
5的卷积核进行膨胀操作，再使用7
×
7的卷积核进行腐蚀操作。由于边缘检测容易受到噪声影响，使用15
×
15高斯滤波器先对图像进行滤波
处理。
[0062]
然后，使用canny边缘检测函数对图像进行边缘提取。采用高斯平滑滤波对图像进行降噪处理。根据sobel算子计算每个像素点的梯度幅值。如公式(10)。sobel算子是两个3
×
3的矩阵，分别为sx和sy。前者用于计算图像x方向像素梯度矩阵gx，后者用于计算图像y方向像素梯度矩阵gy。其中，i为灰度图像矩阵，由公式(11)可计算得到梯度强度矩阵gxy。对图像的每个像素点的梯度幅值进行非极大值抑制。之后设定一个双阈值，即低阈值和高阈值，如果某一像素位置的幅值超过高阈值,该像素被保留为边缘像素；如果某一像素位置的幅值小于低阈值,该像素被排除；如果某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈值的像素时被保留。依据花粉颗粒圆形或类圆形轮廓形状，双阈值设定为[40,80]。
[0063]
然后，使用基于霍夫变换圆检测方法识别圆形区域，把图像空间转换到参数空间，如公式(12)。其中，以
△
θ步长遍历[0,2π]，
△
θ＝2π/360；r以
△
r的步长遍历[r1,r2]，依据统计得到的花粉颗粒的大小范围，[r1,r2]设为[20,50]。经霍夫变换后，在变换域中搜索峰值，即可得到圆形区域的圆心坐标(a,b)和半径r。
[0064]
根据检测到的圆形区域构建掩膜，使用位运算对图像进行掩膜操作，遮挡非圆形区域。最后，根据霍夫变换对花粉图像过滤杂质完成。其中，基于霍夫变换过滤杂质前的致敏花粉显微图像见图4d，霍夫变换mask图像为图5a，基于霍夫变换过滤杂质后的花粉图像为图5b(见图5)。
[0065]
(3)基于检测模型提取前景花粉颗粒图像
[0066]
最后，将去除气泡和部分杂质的花粉图像输入yolov5s检测模型，yolov5s模型结构图如图5所示。该网络由input、backbone、neck以及head组成。input完成mosaic数据增强、自适应图片缩放和自适应锚框计算等基本任务；backbone用于提取图像特征；neck则是通过一系列混合和组合图像特征的网络层，并将图像特征传递到预测层(head)；head对图像特征进行预测，生成边界框并预测类别。head将输入的花粉图像划分为s
×
s的网格，在每个网格使用na个先验anchor进行类别和位置回归，输出(nc+4+1)
×
na维特征，其中na是预定义的anchor的数量；nc是类别数量；4表示对每个anchor需要预测(x,y,w,h)四维坐标信息，用于目标定位；1是objectness score表示类别的置信度，用于目标分类。使用检测模型检测提取花粉颗粒图像中，使用花粉数据集按照9：1比例划分，使用yolov5s网络训练测试数据，模型训练的批处理大小为16,每次通过bn层进行正则化，更新模型的权值，动量(动量因子)设为0.98,权重衰减设为0.001,训练迭代次数为300代，训练结束后，将模型训练最好的权重文件保存下来，并利用测试集对模型性能进行评价。最终通过检测模型得到花粉颗粒的位置坐标后通过位置坐标提取花粉颗粒图像。提取出的花粉颗粒图像为图7。