微观生物图像处理方法、设备及系统与流程

本发明涉及微观生物监测，具体而言，涉及一种微观生物图像处理方法、设备及系统。

背景技术：

1、微观生物广泛存在于各种水体，人眼难以观察、需要借助显微镜等辅助工具来进行检测，微观生物的检测对水环境和水生态系统有重要的作用，随着微观生态监测工作的逐步推进，传统的人工监测由于效率较低已经逐渐不适应时代的发展需求。

2、目前采用的设备在对个体微小、形态多样的微观生物进行检测时，由于不同微观生物在显微镜的电子成像中形态高度相似，难以区分，因此会出现误检测或者漏检测的情况，使得检测效果不佳影响最终的水环境质量的检测。

3、因此，需要提出一种微观生物检测方法，避免误检测、漏检测的情况，同时提高检测的准确率。

技术实现思路

1、本发明的目的在于，针对上述现有技术中的不足，提供一种微观生物图像处理方法、设备及系统，以便实现对多个取样水体中微观生物的准确检测。

2、为实现上述目的，本技术实施例采用的技术方案如下：

3、第一方面，本技术实施例提供了一种微观生物图像处理方法，包括：

4、获取取样水体的多个微观生物图像，每个微观生物图像对应所述取样水体在预设垂直坐标轴上的一个垂直位置；所述预设垂直坐标轴为垂直于镜头焦平面的坐标轴；

5、采用预先训练的神经网络，分别对所述多个微观生物图像进行检测，得到所述多个微观生物图像的检测结果，每个微观生物图像的检测结果包括：多个微观生物的斜检测框的信息，所述斜检测框的信息包括：框体信息、倾斜角度以及对应的微观生物类别；

6、根据所述每个微观生物图像的斜检测框的框体信息，和倾斜角度，对所述每个微观生物图像的斜检测框进行去重，得到所述每个微观生物图像的候选斜检测框；

7、根据不同微观生物图像的候选斜检测框的框体信息以及所述多个微观生物图像对应的垂直位置，对所述不同微观生物图像的候选斜检测框进行去重，得到目标斜检测框；

8、根据所述目标斜检测框的框体信息以及对应的微观生物类别，确定所述取样水体的微观生物检测结果。

9、在可选的实施方式中，所述根据所述每个微观生物图像的斜检测框的框体信息，和框体角度，对所述每个微观生物图像的斜检测框进行去重，得到所述每个微观生物图像的候选斜检测框，包括：

10、根据所述每个微观生物图像中每两个斜检测框的框体信息，计算所述每两个斜检测框的重叠率；

11、根据所述每两个斜检测框的框体角度，计算所述每两个斜检测框的角度偏差；

12、根据所述每两个斜检测框的重叠率和所述每两个斜检测框的角度偏差，对所述每个微观生物图像的斜检测框进行去重，得到所述每个微观生物图像的候选斜检测框。

13、在可选的实施方式中，所述根据不同微观生物图像的候选斜检测框的框体信息以及所述多个微观生物图像对应的垂直位置，对所述不同微观生物图像的候选斜检测框进行去重，得到目标斜检测框，包括：

14、根据所述不同微观生物图像中每两个候选斜检测框的框体信息中长边尺寸，确定所述每两个候选斜检测框的最长边尺寸；

15、根据所述不同微观生物图像对应的垂直位置，计算所述不同微观生物图像的垂直位置偏差；

16、根据所述最长边尺寸和所述垂直位置偏差，对所述不同微观生物图像的候选斜检测框进行去重，得到所述目标斜检测框。

17、在可选的实施方式中，所述获取取样水体的多个微观生物图像，包括：

18、获取显微镜针对所述取样水体的多个图像；

19、对所述多个图像进行气泡检测，得到所述多个图像的气泡检测结果；

20、根据所述多个图像的气泡检测结果，将所述多个图像中与存在气泡的图像为同一视野的所有图像进行丢弃，得到所述多个微观生物图像。

21、在可选的实施方式中，所述目标斜检测框包括：已知微观生物类别的第一检测框，和未知微观生物类别的第二检测框；所述方法还包括：

22、根据所述第一检测框的检测信息，计算所述第一检测框对应微观生物个体的第一特征信息；所述第一检测框的检测信息包括：已知微观生物的类别索引、颜色信息、纹理信息以及微观生物个体尺寸信息中的至少一项信息；

23、根据所述第二检测框的检测信息，计算所述第二检测框对应微观生物个体的第二特征信息；所述第二检测框的检测信息包括：未知微观生物的类别索引、颜色信息、纹理信息以及微观生物个体尺寸信息中的至少一项信息；

24、根据所述第一特征信息以及所述第二特征信息，确定所述第二检测框对应的微观生物类别。

25、在可选的实施方式中，所述取样水体为预先加样放置在显微镜的载物平台上的至少一个取样水体中的任一取样水体；所述获取取样水体在的多个微观生物图像，包括：

26、控制显微镜的预设镜头对所述取样水体的上面进行对焦；

27、在对焦完成后，控制所述预设镜头针对所述取样水体进行扫描，以获取所述取样水体的所述多个微观生物图像。

28、在可选的实施方式中，所述多个微观生物图像包括：多个视野的微观生物图像，每个视野的不同微观生物图像对应不同的垂直位置；

29、所述控制所述预设镜头针对所述取样水体进行扫描，以获取所述取样水体的多个微观生物图像，包括：

30、根据待检测的所述多个微观生物的尺寸，确定镜头扫描方式；

31、采用所述镜头扫描方式，控制所述预设镜头在一个视野基于所述预设垂直坐标轴上的预设对焦位置，对所述取样水体进行图像采集，并在切换后的视野下进行图像采集直至达到预设停止条件，得到所述多个视野的微观生物图像。

32、在可选的实施方式中，所述采用所述镜头扫描方式，控制所述预设镜头在一个视野基于所述预设垂直坐标轴上的预设对焦位置，对所述取样水体进行图像采集，并在切换后的视野下进行图像采集直至达到预设停止条件，得到所述多个视野的微观生物图像，包括：

33、若所述镜头扫描方式为第一扫描方式，则控制所述预设镜头在一个视野范围内，基于采用预设方向，对所述预设垂直坐标轴上的预设对焦位置和预设最低位置之间的范围进行图像采集；

34、控制所述预设镜头在切换后的视野内，基于所述预设方向的反方向，对所述预设最低位置和所述预设对焦位置之间的范围进行图像采集，直至达到所述预设停止条件，得到所述多个视野的微观生物图像。

35、在可选的实施方式中，所述采用所述镜头扫描方式，控制所述预设镜头在一个视野基于所述预设垂直坐标轴上的预设对焦位置，对所述取样水体进行图像采集，并在切换后的视野下进行图像采集直至达到预设停止条件，得到所述多个视野的微观生物图像，包括：

36、若所述镜头扫描方式为第二扫描方式，则控制第一镜头在一个视野内，基于采用预设方向，对所述预设垂直坐标轴上的第一对焦位置和第一最低位置之间的范围进行图像采集；

37、控制第二镜头在所述一个视野内，基于采用所述预设方向的反方向，对所述预设垂直坐标轴上的第二最低位置和第二对焦位置之间的范围进行图像采样；

38、控制所述第一镜头在切换后的视野内，基于采用所述预设方向，对所述第一对焦位置和所述第一最低位置之间的范围进行图像采集；

39、控制所述第二镜头在所述切换后的视野内，基于采用所述预设方向的反方向，对所述第二最低位置和所述第二对焦位置之间的范围进行图像采集，直至达到所述预设停止条件，得到所述多个视野的微观生物图像。

40、在可选的实施方式中，所述在切换后的视野下进行图像采集直至达到预设停止条件，得到所述多个视野的微观生物图像，包括：

41、随机从所述取样水体的水平区域中确定所述切换后的视野，并在所述切换后的视野下进行图像采集，直至已扫描视野的数目达到预设视野数目，得到所述多个视野的微观生物图像。

42、在可选的实施方式中，所述在切换后的视野下进行图像采集直至达到预设停止条件，得到所述多个视野的微观生物图像，包括：

43、从所述取样水体的水平区域中确定所述一个视野相邻的视野为所述切换后的视野，并在所述切换后的视野下进行图像采集，直至已扫描视野的范围覆盖所述水平区域，得到所述多个视野的微观生物图像。

44、在可选的实施方式中，所述在切换后的视野下进行图像采集直至达到预设停止条件，得到所述多个视野的微观生物图像，包括：

45、随机所述取样水体的水平区域中确定所述切换后的视野，并在所述切换后的视野下进行图像采集，直至基于已扫描视野内采集的图像进行检测得到的信息满足预设条件，得到所述多个视野的微观生物图像。

46、在可选的实施方式中，所述控制显微镜的预设镜头对所述取样水体对焦，包括：

47、采用多个线程同时对所述预设镜头在所述预设垂直坐标轴上相对移动过程中针对所述取样水体采集的显微镜图像中的各个图像块进行特征提取，得到所述各个图像块中的特征点数量；

48、在相对移动过程中，若检测到特征点数量达到预设特征数量阈值的图像块的数量或其变化规律达到预设条件，则确定所述预设镜头对焦完成，以指示所述预设镜头的焦平面到达所述取样水体的上面。

49、在可选的实施方式中，所述获取取样水体的多个微观生物图像之前，所述方法包括：

50、获取显微镜采集的多个显微镜图像，所述多个显微镜图像为：根据垂直位置依次获取的图像；

51、从所述多个显微镜图像中选择具有图像细节信息，且相邻两个显微镜图像的垂直位置的间隔大于或等于预设垂直间隔的显微镜图像为所述多个微观生物图像。

52、在可选的实施方式中，所述根据所述目标斜检测框的框体信息以及对应的微观生物类别，确定所述取样水体的微观生物检测结果，包括：

53、根据每个视野下的所述目标斜检测框的框体信息以及对应微观生物类别，统计所述每个视野下的目标微观生物信息；

54、根据多个视野下的目标微观生物信息，得到所述取样水体的微观生物检测结果。

55、在可选的实施方式中，所述根据每个视野下的所述目标斜检测框的框体信息以及对应微观生物类别，统计所述每个视野下的目标微观生物信息，包括：

56、根据每个镜头在每个视野下的所述目标斜检测框的框体信息以及对应微观生物类别，统计所述每个镜头所述每个视野下的微观生物信息；

57、根据多个镜头在所述每个视野下的微观生物信息，得到所述每个视野下的目标微观生物信息。

58、在可选的实施方式中，所述根据多个镜头在所述每个视野下的微观生物信息，得到所述每个视野下的目标微观生物信息，包括：

59、以所述多个镜头中预设基准镜头的放大倍数作为基准，对其它镜头在所述每个视野下的微观生物信息进行单位转换；

60、根据预设基准镜头在所述每个视野下的微观生物信息，以及单位转换后的所述其它镜头在所述每个视野下的微观生物信息，得到所述每个视野下的目标微观生物信息。

61、在可选的实施方式中，所述方法还包括：

62、根据每个视野中第一微观生物图像的第一斜检测框的检测置信度以及所述第一微观生物图像中所述第一斜检测框对应的像素值，对预设微观生物底图中所述第一斜检测框对应区域进行像素填充；

63、若所述每个视野中第二微观生物图像中与所述第一斜检测框位置相同的第二斜检测框的检测置信度大于所述第一斜检测框的检测置信度，则根据所述位置相同的第二斜检测框对应的像素值，对所述预设微观生物底图中所述第一斜检测框对应区域重新进行像素填充；其中，所述第二微观生物图像和所述第一微观生物图像为所述每个视野的所述多个微观生物图像中垂直不同的任意两个微观生物图像；

64、根据所述第二微观生物图像中与所述第一斜检测框位置不同的第二斜检测框的检测置信度和所述位置不同的第二斜检测框对应的像素值，对所述预设微观生物底图中所述位置不同的斜检测框对应区域进行像素填充，得到所述取样水体的检测图像；

65、输出并显示所述取样水体的检测图像。

66、第二方面，本技术实施例还提供了一种计算机设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当计算机设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如第一方面中任一所述的微观生物图像处理方法的步骤。

67、第三方面，本技术实施例还提供一种微观生物监测系统，包括：显微镜和计算机设备，其中，所述显微镜和所述计算机设备通信连接，所述显微镜用于采集取样水体的多个微观生物图像，所述计算机设备用于执行如第一方面中任一所述的微观生物图像处理方法的步骤。

68、本技术的有益效果是：

69、本技术提供一种微观生物图像处理方法、设备及系统，可通过获取取样水体的多个微观生物图像，每个微观生物图像对应取样水体在预设垂直坐标轴上的一个垂直位置，并采用预先训练的神经网络，分别对多个微观生物图像进行检测，得到多个微观生物图像的检测结果，先根据每个微观生物图像的斜检测框的框体信息，和倾斜角度，对每个微观生物图像的斜检测框进行去重，得到每个微观生物图像的候选斜检测框；还根据不同微观生物图像的候选斜检测框的框体信息以及多个微观生物图像对应的垂直位置，对不同微观生物图像的候选斜检测框进行去重，得到目标斜检测框；继而根据目标斜检测框的框体信息以及对应的微观生物类别，确定取样水体的微观生物检测结果。在本实施例提供的方法中，可采用神经网络对取样水体的多个微观生物图像分别进行检测，得到包括有多个微观生物的斜检测框的信息，由于斜检测框相比较传统检测框，其检测信息更完整更精准，更好的体现框体对应区域内微观生物的形态特征，有效避免微观生物的误检测；其次，在采用斜检测框的神经网络进行微观生物检测的情况下，还可结合斜检测框的框体信息以及框体角度，对针对每个微观生物图像所检测的斜检测框进行去重，并且，还可结合每个微观生物图像去重后的候选斜检测框的框体信息以及对应的垂直位置，对不同微观生物图像对应的候选斜检测框实现去重，可使得去重后保留的目标斜检测框更加准确，避免出现误检测或者漏检测的情况，继而可使得取样水体的微观生物检测结果更准确，保证了对于取样水体对应水生态环境监测的生物量数据得到支撑，从而实现了水生态环境的准确监测。