花粉颗粒检测方法、装置及电子设备与流程

1.本发明涉及图像检测技术领域，尤其涉及一种花粉颗粒检测方法、装置及电子设备。


背景技术：

2.ssd(single shot multibox detector，单级式目标检测)模型是一种单阶段检测模型，ssd将bounding box的输出空间离散化为一系列不同纵横比的default box，并能够调整box更好地匹配物体的形状。ssd将多个不同分辨率的feature map上的预测结果结合，解决了物体不同大小的问题。ssd相对于需要物体proposal的方法更简单，因为它完全去掉了产生proposal和之后的像素或特征重采样的过程，它将所有的计算封装在一个单网络中，这使得模型易于训练。
3.ssd模型作为通用目标检测模型在coco数据集和voc数据中有着不错的精度。但是，在光学显微镜的花粉数据集下，由于图像中存在着许多与花粉大小、形状、纹理、边缘相似的透明气泡。即使被染色的花粉和气泡在颜色方面有着明显的差异，ssd模型仍然很容易将透明气泡误检为花粉，降低了花粉检测的精准率，直接导致检测的花粉数量偏大，对最后关于花粉密度的计算造成很大影响。


技术实现要素：

4.针对现有技术存在的上述技术问题，本发明提供一种花粉颗粒检测方法、装置及电子设备。
5.第一方面，本发明提供一种花粉颗粒检测方法，包括：
6.获取包括有花粉颗粒的图像；
7.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像；
8.将所述待识别的图像输入目标检测模型，输出花粉颗粒检测结果；
9.其中，所述目标检测模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行监督训练后得到，所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
10.可选地，所述以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像，包括：
11.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像；
12.将所述分类后的图像转化为hsv图像，并对所述hsv图像进行二值化处理，获得二值图像；
13.基于所述包括有花粉颗粒的图像和所述二值图像，获取待识别图像。
14.可选地，所述以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为
图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像，包括：
15.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，基于k-means聚类算法对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像。
16.可选地，所述对所述hsv图像进行二值化处理，获得二值图像，包括：
17.基于h通道、s通道和v通道的颜色区间，计算二值图像中各像素点的像素值。
18.可选地，所述基于h通道、s通道和v通道的颜色区间，计算二值图像中各像素点的像素值，具体包括：
19.dst＝h
min
≤src(h)h
max
∩s
min
≤src(s)s
max
∩v
min
≤src(v)v
max
；
20.其中，dst为二值图像中各像素点的像素值，h
min
、s
min
和v
min
分别为h通道、s通道和v通道的最小值；h
max
、s
max
和v
max
分别为h通道、s通道和v通道的最大值。
21.可选地，所述将所述分类后的图像转化为hsv图像，并对所述hsv图像进行二值化处理，获得二值图像之后，还包括：
22.对所述二值图像进行去噪处理；
23.所述基于所述包括有花粉颗粒的图像和所述二值图像，获取待识别图像之后，还包括：
24.将待识别图像的黑色背景用花粉颗粒样本的样本图像的rgb平均值进行填充。
25.可选地，所述目标检测模型为ssd(single shot multibox detector，单级式目标检测)模型。
26.第二方面，本发明提供一种花粉颗粒检测装置，包括：
27.获取模块，用于获取包括有花粉颗粒的图像；
28.处理模块，用于以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像；
29.输入模块，用于将所述待识别的图像输入目标检测模型；
30.输出模块，用于输出花粉颗粒检测结果；
31.其中，所述目标检测模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行监督训练后得到，所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
32.第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
33.第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
34.本发明提供的花粉颗粒检测方法、装置及电子设备，该方法在将所述包括有花粉颗粒的图像输入目标检测模型进行检测之前，对所述包括有花粉颗粒的图像进行了像素点分类的预处理，较好地将图像背景与花粉颗粒进行了区分，避免了目标检测模型将与花粉颗粒具有相似纹理、大小、形状的透明气泡误检为花粉的问题，从而提高目标检测模型的检测效果。
附图说明
35.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是本发明提供的花粉颗粒检测方法的流程示意图；
37.图2是本发明提供的分类后的图像；
38.图3是本发明提供的hsv图像；
39.图4是本发明提供的二值图像；
40.图5是本发明提供的掩膜图像；
41.图6是本发明提供的计算后的图像；
42.图7是本发明提供的花粉颗粒检测装置的结构示意图；
43.图8是本发明提供的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.在光学显微镜的花粉数据集下，由于图像中存在着许多与花粉大小、形状、纹理、边缘相似的透明气泡。即使被染色的花粉和气泡在颜色方面有着明显的差异，ssd模型仍然很容易将透明气泡误检为花粉。同时，由于一些图片染色过度，使图片背景呈浅粉色，导致ssd模型在进行检测时会将背景颜色过滤，从而将背景误检为花粉，降低了花粉检测的精准率。
46.对此，本发明提供了一种花粉颗粒检测方法。图1为本发明提供花粉颗粒检测方法的流程示意图，如图1所述，该方法包括：
47.s101：获取包括有花粉颗粒的图像。
48.具体地，对于所述包括有花粉颗粒的图像而言，由于一些图片染色过度，使图片背景呈浅粉色，花粉染色更深，呈现深粉色；而未染色过度的图片背景呈浅灰色，背景颜色为灰色的图像中花粉颜色深浅不一，同时图像中还存在许多与花粉大小、形状、纹理、边缘相似的透明气泡。
49.s102：以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像。
50.具体地，由于背景颜色是所述包括有花粉颗粒的图像中出现次数最多的颜色，因此，所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数能够代表背景颜色的特征，以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，将所述包括有花粉颗粒的图像中的各像素点分为两类，其中一类为背景，另一类为花粉颗粒，以所述分类后的图像作为待识别图像。
51.s103：将所述待识别的图像输入目标检测模型，输出花粉颗粒检测结果；
52.其中，所述目标检测模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行监督训练后得到，所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
53.具体地，由于所述待识别图像为以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类后得到的图像，从而已将背景、气泡与花粉颗粒进行了区分，将所述待识别的图像输入目标检测模型进行花粉颗粒检测。而目标检测模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行监督训练后得到，所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
54.本发明提供的方法，在将所述包括有花粉颗粒的图像输入目标检测模型进行检测之前，对所述包括有花粉颗粒的图像进行了像素点分类的预处理，较好地将图像背景与花粉颗粒进行了区分，避免了目标检测模型将与花粉颗粒具有相似纹理、大小、形状的透明气泡误检为花粉的问题，从而提高目标检测模型的检测效果。
55.基于上述实施例，所述以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像，包括：
56.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像；
57.将所述分类后的图像转化为hsv图像，并对所述hsv图像进行二值化处理，获得二值图像。
58.具体地，由于所述分类后的图像为rgb图像，而rgb通道并不能很好地反映出物体具体的颜色信息，相对于rgb空间，hsv空间能够非常直观的表达色彩的明暗，色调，以及鲜艳程度，方便进行颜色之间的对比，因此，将所述分类后的图像转化为hsv图像；进一步地，为了便于提取图像中的花粉颗粒信息，从而增加识别效率，对所述hsv图像进行二值化处理，获得二值图像。
59.基于所述包括有花粉颗粒的图像和所述二值图像，获取待识别图像。
60.具体地，将包括有花粉颗粒的图像和所述二值图像做位“与”计算，得到待识别图像。
61.本发明提供的方法，将分类后的图像转化为hsv图像，更好地反映出图像中具体的颜色信息，并对所述hsv图像进行二值化处理，便于提取图像中的花粉颗粒信息，从而提高识别效率。
62.基于上述任一实施例，所述以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像，包括：
63.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，基于k-means聚类算法对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像。
64.具体地，由于一些图片染色过度，使图片背景呈浅粉色，而大多数图片背景为灰色，这对花粉颜色过滤预设的区间有着更加严格的要求，因此采用k-means聚类算法，以所
述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行k-means聚类以达到分类效果，防止将背景颜色过滤出来，从而更好地完成颜色过滤。
65.可选地，也可采用现有技术中任意一种聚类算法，本发明实施例对此不作具体限定。
66.本发明提供的方法，以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，通过k-means聚类算法对所述包括有花粉颗粒的图像中的像素点进行分类，将图像背景与花粉颗粒进行了区分，避免了目标检测模型将与花粉颗粒具有相似纹理、大小、形状的透明气泡误检为花粉的问题，从而提高目标检测模型的检测效果。
67.基于上述任一实施例，所述对所述hsv图像进行二值化处理，获得二值图像，包括：
68.基于h通道、s通道和v通道的颜色区间，计算二值图像中各像素点的像素值。
69.具体地，通过设定hsv颜色区间，计算二值图像中各像素点的像素值。
70.本发明提供的方法，对所述hsv图像进行二值化处理，便于提取图像中的花粉颗粒信息，从而增加识别效率。
71.基于上述任一实施例，所述基于h通道、s通道和v通道的颜色区间，计算二值图像中各像素点的像素值，具体包括：
72.dst＝h
min
≤src(h)h
max
∩s
min
≤src(s)s
max
∩v
min
≤src(v)v
max
；
73.其中，dst为二值图像中各像素点的像素值，h
min
、s
min
和v
min
分别为h通道、s通道和v通道的最小值；h
max
、s
max
和v
max
分别为h通道、s通道和v通道的最大值。
74.具体地，通过分别设定h通道、s通道和v通道的最小值和最大值，计算二值图像中各像素点的像素值，最终得到二值图像。
75.基于上述任一实施例，所述将所述分类后的图像转化为hsv图像，并对所述hsv图像进行二值化处理，获得二值图像之后，还包括：
76.对所述二值图像进行去噪处理。
77.具体地，由于包括有花粉颗粒的图像中难以避免存在噪声数据，导致获取的二值图像中存在一些噪声小白点，因此，对所述二值图像进行去噪处理；其中，去噪处理所采用的方法可采用现有技术中任意一种去噪处理方法，例如采用形态学变换(包括开操作，闭操作)去除噪声，本发明对此不作具体限定。
78.所述基于所述包括有花粉颗粒的图像和所述二值图像，获取待识别图像之后，还包括：
79.将待识别图像的黑色背景用花粉颗粒样本的样本图像的rgb平均值进行填充。
80.具体地，将待识别图像的黑色背景用花粉颗粒样本的样本图像的rgb平均值进行填充，从而将图像背景中存在的气泡完全覆盖。
81.本发明提供的方法，对二值图像进行去噪处理，降低噪声对检测的影响；将待识别图像的黑色背景用花粉颗粒样本的样本图像的rgb平均值进行填充，进一步从根本上消除气泡的影响，提高目标检测模型的检测效果。
82.基于上述任一实施例，所述目标检测模型为ssd(single shot multibox detector，单级式目标检测)模型。
83.具体地，采用ssd模型实现对花粉颗粒的检测。
84.可选地，目标检测模型也可采用现有技术中任意一种检测模型，本发明对此不作具体限定。
85.下面以一个具体的例子对本发明提供的花粉颗粒检测方法进行进一步说明。
86.第一，获取包括有花粉颗粒的图像，以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像，所述分类后的图像如图2所示；
87.第二，将所述分类后的图像转化为hsv图像，所述hsv图像如图3所示；
88.第三，根据设定的hsv颜色区间，将所述hsv图像转化为二值图像，所述二值图像如图4所示；
89.第四，将所述二值图像使用形态学变换(包括开操作，闭操作)去除噪声，得到掩膜图像，所述掩膜图像如图5所示；
90.第五，将所述包括有花粉颗粒的图像与所述掩膜图像做位“与”计算，得到计算后的图像，所述计算后的图像如图6所示；
91.第六，将所述计算后的图像中的非花粉颜色的黑色背景用花粉颗粒样本的样本图像的rgb平均值进行填充，得到待识别图像；
92.第七，将所述待识别图像输入ssd模型进行花粉颗粒检测，得到花粉颗粒检测结果。
93.下面对本发明提供的花粉颗粒检测装置进行描述，下文描述的花粉颗粒检测装置与上文描述的花粉颗粒检测方法可相互对应参照。
94.基于上述任一实施例，图7为本发明提供的花粉颗粒检测装置的结构示意图，如图7所示，该花粉颗粒检测装置包括获取模块701，处理模块702、输入模块703和输出模块704。
95.其中，获取模块701用于获取包括有花粉颗粒的图像；处理模块702用于以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像；输入模块703用于将所述待识别的图像输入目标检测模型；输出模块704用于输出花粉颗粒检测结果；其中，所述目标检测模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行监督训练后得到，所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
96.本发明提供的装置，在将所述包括有花粉颗粒的图像输入目标检测模型进行检测之前，对所述包括有花粉颗粒的图像进行了像素点分类的预处理，较好地将图像背景与花粉颗粒进行了区分，避免了目标检测模型将与花粉颗粒具有相似纹理、大小、形状的透明气泡误检为花粉的问题，从而提高目标检测模型的检测效果。
97.基于上述任一实施例，所述处理模块用于以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像，具体为：
98.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像；
99.将所述分类后的图像转化为hsv图像，并对所述hsv图像进行二值化处理，获得二值图像；
100.基于所述包括有花粉颗粒的图像和所述二值图像，获取待识别图像。
101.基于上述任一实施例，所述以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像，包括：
102.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，基于k-means聚类算法对所述包括有花粉颗粒的图像中的像素点进行分类，得到分类后的图像。
103.基于上述任一实施例，所述对所述hsv图像进行二值化处理，获得二值图像，包括：
104.基于h通道、s通道和v通道的颜色区间，计算二值图像中各像素点的像素值。
105.基于上述任一实施例，所述基于h通道、s通道和v通道的颜色区间，计算二值图像中各像素点的像素值，具体包括：
106.dst＝h
min
≤src(h)h
max
∩s
min
≤src(s)s
max
∩v
min
≤src(v)v
max
；
107.其中，dst为二值图像中各像素点的像素值，h
min
、s
min
和v
min
分别为h通道、s通道和v通道的最小值；h
max
、s
max
和v
max
分别为h通道、s通道和v通道的最大值。
108.基于上述任一实施例，所述将所述分类后的图像转化为hsv图像，并对所述hsv图像进行二值化处理，获得二值图像之后，还包括：
109.对所述二值图像进行去噪处理；
110.所述基于所述包括有花粉颗粒的图像和所述二值图像，获取待识别图像之后，还包括：
111.将待识别图像的黑色背景用花粉颗粒样本的样本图像的rgb平均值进行填充。
112.基于上述任一实施例，所述目标检测模型为ssd(single shot multibox detector，单级式目标检测)模型。
113.本发明提供的花粉颗粒检测装置，可用于执行上述各花粉颗粒检测方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
114.图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communicationsinterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行花粉颗粒检测方法，该方法包括：获取包括有花粉颗粒的图像；
115.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像；
116.将所述待识别的图像输入目标检测模型，输出花粉颗粒检测结果；
117.其中，所述目标检测模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行监督训练后得到，所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
118.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施
例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
119.另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的花粉颗粒检测方法，该方法包括：获取包括有花粉颗粒的图像；
120.以所述包括有花粉颗粒的图像中所有像素点的rgb值的中位数作为图像特征，对所述包括有花粉颗粒的图像中的像素点进行分类，得到待识别图像；
121.将所述待识别的图像输入目标检测模型，输出花粉颗粒检测结果；
122.其中，所述目标检测模型是基于花粉颗粒样本的样本图像以及对应的识别标签进行监督训练后得到，所述识别标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
123.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
124.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
125.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。