一种基于AI技术的浮游藻类自动监测设备与方法与流程

文档序号:21583217发布日期:2020-07-24 16:23阅读:1167来源:国知局
一种基于AI技术的浮游藻类自动监测设备与方法与流程

本发明涉及水生态环境监测技术领域,更具体涉及一种基于ai技术的浮游藻类自动监测设备与方法。适用于对水体中存在的浮游藻类的识别与统计。



背景技术:

浮游藻类也称浮游植物,是水生态系统中的最主要的初级生产者,具有种类多、数量大、繁殖快的特点,在生态系统结构中占有极其重要的位置,其数量变动及空间分布对整个水生态系统的功能运转有着巨大的影响,例如浮游藻类爆发和大量死亡导致的水华和水质恶化等可导致大量鱼群死亡等灾难性后果。因此,对水体浮游藻类的快速识别计数是水生态系统健康诊断与维护的重要手段。然而,这一监测手段长期以来受到人力资源的强烈制约。对藻类样品的鉴定计数需要经过长期培训具有丰富藻类知识的专业人员在显微镜下作长时间观察,这大大限制了藻类监测的样本数、频度和时效性。

浮游藻类监测通常包含如下步骤:1)现场采样;2)样品预处理,通常包括沉淀、分离与定容;3)显微样本制备加载,现有方法是将样品用吸管或移液枪加入计数框并盖上盖玻片,然后将计数框放到显微镜载物台上;4)在显微镜200~400倍镜下对藻类进行识别和计数,现有方法是由藻类专业人员手动进行显微镜调焦,根据专业知识进行识别、转换视野、鉴定并记录种类和数量等,耗时耗力,平均一个样品的监测时间视藻类种类与数量的多寡一般需要1~2个小时;5)统计分析和计算各种藻类数量占比、优势藻种、藻密度、生物量等。

过去十年间,有一些团队利用数字图像处理、模式识别和机器学习等技术开发藻类图像的自动识别与分类系统,但效果并不理想,缺乏实用性。目前,市面上已有的该类仪器,多是从形态差异的角度进行藻类比对识别,错误率高。该类仪器依旧处于以图搜图,未达到智能识别与计数的阶段,最终结果还需要人为进行比对,离智能化较为遥远。

本发明开发了基于深度学习的先进藻类图像识别算法,采用创新性的多路进样与显微图像扫描装置和方法相结合,形成实用的智能化浮游藻类多样品同时进样、鉴定与计数,实现了藻类的自动进样、自动聚焦、自动扫描拍摄、智能鉴定计数,大大解放了人力物力,实现了藻类的在线监测与精准识别。与国内外已有产品相比,其识别准确率显著提高。



技术实现要素:

本发明的目的之一是在于提供一种基于ai技术的浮游藻类自动监测设备,具备对多个藻类样品的自动进样,自动显微调焦,自动识别浮游藻类,自动转换视野,自动记录种类、数量、典型显微图像,以及根据多视野的数据记录自动进行统计分析和计算输出等功能,从而实现了多通道浮游藻类样品在无人值守情况下的自动监测分析。

本发明的目的之二是在于提供了一种基于ai技术的浮游藻类自动监测方法,实现了不依赖于藻类识别专业人员的自动扫描拍摄识别统计输出,大大解放了人力。

为进一步实现上述第一目的,本发明采用以下技术方案:一种基于ai技术的浮游藻类自动监测设备,包括:

图像获取装置,包括具备透射光源和显微镜物镜的光学显微镜以及数字相机,数字相机装设在光学显微镜上,并通过usb信号线连接到电脑,数字相机受电脑软件层里支持软件组件中的图像获取模块控制,向软件层提供所需图像;

机电执行装置,包括样品处理加载装置和装设在光学显微镜上的三轴电动载物台,样品处理加载装置包括插入浮游藻类样本瓶的进样软管,进样软管的中部卡入蠕动泵的泵头,另一端连接到扁平毛细玻璃管,出样软管将扁平毛细玻璃管的另一端与废液罐连接,扁平毛细玻璃管固定在三轴电动载物台上;

控制器,通过多芯电缆连接到三轴电动载物台,同时通过串口电缆连接到蠕动泵,用于驱动蠕动泵和三轴电动载物台,并获取蠕动泵和三轴电动载物台的位置和状态反馈;

电脑,通过网线与控制器进行通讯,内置软件构成电脑软件层,电脑软件层包含支持软件组件和用户界面,支持软件组件包含与控制器交互的运动控制软件模块和与数字相机交互的图像获取模块,以及图像挑选与预处理模块、识别与统计算法模块、图库和数据库;

所述图像获取模块将获取的多副图像传输到图像挑选与预处理模块进行挑选和处理,处理后的图像存入图库,并发送给智能化的识别与统计算法模块进行识别统计,获得的识别统计结果存入数据库;

所述用户界面用以和用户进行图形化人机交互。

作为优选,所述进样软管的截面为中空圆形,外径约为3mm,内径约为1mm。

进一步地,所述扁平毛细玻璃管的截面为中空的圆边矩形,外部尺寸宽约为3mm,高约为0.6mm;内部中空尺寸宽约为2.5mm,高约为0.2mm。

上述技术方案中,所述用户界面包含报表图像输出、数据库操作、图库操作、识别操作、参数设置、运动操作、自动运行等菜单和相应的对话框,用户界面与支持软件组件相互交互形成有机整体实现软件的功能。

为进一步实现上述第二目的,本发明采用以下技术方案:一种基于ai技术的浮游藻类自动监测方法,包括如下步骤:

s1、显微样本的自动制备加载:

蠕动泵在电脑与控制器的控制下,通过进样软管将多个藻类样本液体分别从浮游藻类样本瓶泵出并输送到固定在三轴电动载物台上的多个扁平毛细玻璃管中;

样本液体进入并充满扁平毛细玻璃管后,蠕动泵受控停止蠕动,扁平毛细玻璃管中的液体停止流动,形成显微样本;

当对当前扁平毛细玻璃管内的藻类样本观测完成后,蠕动泵可略微运行然后停止,使得样本中新一段藻类液体替换进入扁平毛细玻璃管,可对同一样本作更多视野的鉴定计数;

s2、样品显微图像的自动扫描、拍摄和预处理:

运动控制软件模块通过控制器驱动三轴电动载物台沿x和y方向运动使显微镜物镜定位到扁平毛细玻璃管的上方位置;

运动控制软件模块通过控制器驱动三轴电动载物台搭载扁平毛细玻璃管沿着z轴运动,使得显微镜物镜对焦到扁平毛细玻璃管内部位置,并拍摄该视野下的于此焦平面的图像;

s3、藻类目标识别与多视野统计输出:

识别与统计算法模块使用基于深度学习的藻类识别算法对步骤s2中经过预处理的图像进行藻类目标检测识别,检测识别后所发现的藻被框选出来,算法输出框选的坐标以及该藻所属的种类,当一个样本的所有视野的所有图像被检测识别完毕,软件随即对该样本的检测结果进行统计输出。

本发明一实施例中,步骤s2还包括:

以扁平毛细玻璃管的玻璃管内部下表面位置为焦平面拍照后,三轴电动载物台沿z轴运动,每运动约1.5微米,数字相机拍摄一幅图像,直到显微镜物镜的焦平面到达扁平毛细玻璃管的玻璃管内部上表面以上,完成一个视野的拍摄,获得同一视野下多个焦平面的图像;

随后三轴电动载物台驱动扁平毛细玻璃管沿x或y方向运动使显微镜物镜对准下一个指定的视野,同样z轴运动获取该视野下不同焦平面深度的多副图像,然后再进入下一个预定的视野进行多个焦平面的拍摄,直到对多个扁平毛细玻璃管样本的所有视野全部拍摄完毕。

进一步地,步骤s2还包括:

扫描拍摄过程产生了大量的图像,对于大量图像中可能有大部分为空白、对焦模糊、或对同一个藻的重复图像,为减轻后续人工智能识别的工作量,图像挑选与预处理模块对图像进行筛选,其方法是,

对每一个视野的所有焦平面的图像计算其清晰度,清晰度小于一定阈值的予以去除;对较高清晰度但焦平面相邻的图像进行清晰度比较并保留清晰度较高者。

本发明一实施例中,步骤s3还包括专家辅助判别:

将无法识别的稀有藻类或识别精度低于60%的图像挑出,单独存入一个文件夹,方便专家在线进行核查定名,将识别精度大于60%的图像单独存入另一个文件夹,并对每一个藻类图像进行单独命名,以备核查。

进一步地,步骤s3所述软件随即对该样本的检测结果进行统计输出包括:

s301、单个视野的识别计数:

对保留的图像进行识别后,获得所有识别出的藻类的种类和位置,对同一个藻个体仍可能保留有重复的清晰图像,识别后进一步去重;经过进一步去重,软件记录下这一视野中出现的各种藻的数量;

s302、样本多个视野的统计计数:

对某样本的所有视野进行合并统计,累加计算各视野中出现的不同种类的藻的数量和尺寸大小并按种类统计计数;

s303、计算输出优势藻种、藻密度、生物量等:

样本统计结果中,数量或生物量大于总数10%藻种即为优势藻种;对每一种藻类,其藻密度可以使用如下视野计数法公式计算:

式中:

n-1l水样中浮游生物的数量,cells/l;

pn-计数的浮游藻类个数;

fs-视野面积,mm2

fn-每个样本计数过的视野数;

h-扁平毛细玻璃管内部空间高度,mm;

t-水样装入样品瓶之前的浓缩倍数;

如要计算浮游藻类总量密度,式中的pn取计数的浮游藻总个数即可。

更进一步地,步骤s301进一步去重包括:

如果两张图像中识别出的藻其种类相同,所处xy坐标和大小相似,两张图像的焦平面位置接近,即可判断是同一个藻。

本发明与现有技术相比,具有以下有益效果:

1、相比于现有人工检测方法,本发明实现了不依赖于藻类识别专业人员的自动扫描拍摄识别统计输出,大大解放了人力。

2、识别方法上采用基于深度学习的目标检测算法并基于海量的专家标注训练数据库,识别准确度相比于现有计算机识别方法大幅提高,完成了从不实用到实用的质变。

3、实现了藻类样本的自动制备加载,实现了浮游藻类的在线监测,使得浮游藻类的监测效率显著提高。

4、实现了对多个样本的同时检测,也可以实现对同一样品的平行检测,减小了检测误差,提高了检测效率。

5、通过扩展标注图库和进一步训练优化算法,具有持续提高识别准确性和扩展可识别种类的能力。

6、本发明的设备和方法也适合于对浮游动物的检测识别。

附图说明

为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。

图1为本发明基于ai技术的浮游藻类自动监测设备结构示意图;

图2为本发明基于ai技术的浮游藻类自动监测设备功能总体构成;

图3为本发明充满浮游藻样本液体的扁平毛细玻璃管截面示意图;

图4为本发明基于ai技术的浮游藻类自动监测设备运行步骤框图;

图5为本发明对两张图像的藻类目标检测识别结果示意图;

图6为本发明对传统的浮游藻类计数框载玻片进行自动扫描识别统计设备。

附图标记:

01、02、03-浮游藻类样本瓶;

04、05、06-进样软管;

07-蠕动泵;

08-三轴电动载物台;

09-光学显微镜;

10-透射光源;

11、12、13-扁平毛细玻璃管;

14-显微镜物镜;

15-数字相机;

16-废液罐;

17、18、19-出样软管;

20-串口电缆;

21-usb信号线;

22-多芯电缆;

23-控制器;

24-电脑;

25-网线;

26-显示屏;

30-计数框载玻片;

31-扁平毛细玻璃管截面;

32-玻璃管外部表面;

33-玻璃管内部下表面;

34-玻璃管内部上表面;

36、37、38-多个藻类个体;

39-第一个焦平面;

40-第n个焦平面。

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例1:三个样品同时测试。

本实施例提供的基于ai技术的浮游藻类自动监测设备,如图1所示,包含插入多个浮游藻类样本瓶01、02、03的进样软管04、05、06。这些进样软管04、05、06的中部卡入蠕动泵07的泵头,另一端连接到多个扁平毛细玻璃管11、12、13。多根出样软管17、18、19将这些扁平毛细玻璃管11、12、13的另一端和废液罐16连接起来。还包含一个光学显微镜09,光学显微镜09具备透射光源10和显微镜物镜14。光学显微镜09上装设有步进电机驱动的xyz方向上运动的三轴电动载物台08,前述的多个扁平毛细玻璃管11、12、13被固定在这个三轴电动载物台08上。光学显微镜09上还装设有数字相机15。其所拍摄的图像通过usb信号线21的连接传输到电脑24上。电脑24内置软件构成浮游藻类自动监测设备的软件层,软件层包含由多个软件模块构成的支持软件组件和在显示屏26上展示的包含各种操作菜单的人机图形化操作用户界面。电脑24通过网线25与控制器23进行通讯,以利用软件层中的运动控制软件模块实现对三轴电动载物台08和蠕动泵07等的运动控制并获取设备的运行状态。控制器23通过串口电缆20连接到蠕动泵07。同时控制器23通过多芯电缆22连接到三轴电动载物台08的三个步进电机和多个位置传感器。

本实施例的浮游藻类自动监测设备的功能由电脑软件层和硬件层交互配合实现,如图2所示。本设备的硬件层由控制器23、机电执行装置、图像获取装置等三个功能部分构成。其中控制器23包含微处理器单元、信号处理电路和驱动器,可以驱动机电执行装置中的样品处理加载装置和三轴电动载物台08,并获取机电执行装置中的样品处理加载装置和三轴电动载物台08的位置和状态反馈。样品处理加载装置包含插入多个浮游藻类样本瓶01、02、03的进样软管04、05、06,蠕动泵07,多个扁平毛细玻璃管11、12、13,多根出样软管17、18、19和废液罐16。图像获取装置由数字相机15和光学显微镜09构成,其数字相机15受电脑软件层里支持软件组件中的图像获取模块控制,向软件层提供所需图像。电脑软件层包含支持软件组件和用户界面。支持软件组件包含与控制器23交互的运动控制软件模块和与数字相机15交互的图像获取模块,以及图像挑选与预处理模块、识别与统计算法模块、图库和数据库。图像获取模块所获取的多副图像会送到图像挑选与预处理模块进行挑选和处理,处理后的图像存入图库,并发送给智能化的识别与统计算法模块进行识别统计,获得的识别统计结果存入数据库。软件层中的用户界面用以和用户进行图形化人机交互。用户界面包含报表图像输出、数据库操作、图库操作、识别操作、参数设置、运动操作、自动运行等菜单和相应的对话框。用户界面与支持软件组件相互交互形成有机整体实现软件的功能。例如,运动操作菜单通过与运动控制模块交互,实现在电脑24上操作三轴电动载物台08和样品处理加载装置;参数设置菜单可以对图像获取模块、图像挑选与预处理模块、识别与统计算法模块以及运动控制软件模块进行参数修改;自动运行则会调用运动控制、图像获取、图像挑选与预处理、识别与统计算法等所有支持软件模块并自动输出报表和图像。

本实施例提供的基于ai技术的浮游藻类自动监测方法,包含如下几个步骤:

1.显微样本的自动制备加载:

蠕动泵07在电脑24与控制器23的控制下,通过进样软管04、05、06将多个藻类样本液体分别从浮游藻类样本瓶01、02、03泵出并输送到固定在三轴电动载物台08上的多个扁平毛细玻璃管11、12、13中。进样软管04、05、06的截面为中空圆形,外径约为3mm,内径约为1mm。扁平毛细玻璃管11、12、13截面为中空的圆边矩形,外部尺寸宽约为3mm,高约为0.6mm,内部中空尺寸宽约为2.5mm,高约为0.2mm。由于浮游藻类的大小一般介于几微米到两百微米之间,小于进样软管、出样软管和扁平毛细玻璃管的中空内径,样本液体中悬浮的浮游藻类可以随着液体顺利进入到扁平毛细玻璃管11、12、13中。样本液体进入并充满扁平毛细玻璃管11、12、13后,蠕动泵07受控停止蠕动,管中的液体停止流动。此时,充满样本的扁平毛细玻璃管11、12、13因其透明和扁平的特性,便于在光学显微镜09下进行观察,形成了显微样本。固定在三轴电动载物台08上的三个充满样本液体的扁平毛细玻璃管11、12、13即形成了便于显微观察的三个显微样本。当对当前扁平毛细玻璃管11、12、13内的藻类样本观测完成后,蠕动泵07可略微运行然后停止,使得样本中新一段藻类液体替换进入扁平毛细玻璃管11、12、13,可对同一样本作更多视野的鉴定计数。扁平毛细玻璃管11、12、13观测过的样本液体可以经过多根出样软管17、18、19被泵入废液罐16中收集起来。通过替换浮游藻类样本瓶01、02、03,同一进样软管、出样软管和扁平毛细玻璃管可重复使用,制备加载不同显微样本进行监测。

2.样品显微图像的自动扫描、拍摄和预处理:

样品的显微影像的自动扫描和拍摄由光学显微镜09、数字相机15、三轴电动载物台08、控制器23和电脑24中的图像获取模块和运动控制软件模块协同完成。根据需要,运动控制软件模块通过控制器23驱动三轴电动载物台08沿x和y方向运动使显微镜物镜14定位到第一个扁平毛细玻璃管的上方左上角特定位置。一个特定的x,y坐标位置定义了一个显微观测视野,如图3所示。通过沿x或者y方向移动三轴电动载物台08,也即相对于显微镜物镜14移动固定在三轴电动载物台08上的扁平毛细玻璃管的位置,浮游藻类自动监测设备可以进行视野的切换并对一个样本的多个视野进行拍摄。当到达一个视野后,运动控制软件模块通过控制器23驱动三轴电动载物台08搭载扁平毛细玻璃管沿着z轴运动,使得显微镜物镜14对焦到扁平毛细玻璃管的玻璃管内部下表面33位置,并拍摄该视野下的于此焦平面的图像。

考虑到样本液体在扁平毛细玻璃管内约200um的深度,多个藻类个体36、37、38可能处于从样本液体底部到顶部的不同深度上,如扁平毛细玻璃管截面31视图所示。同时,由于高放大倍数的显微镜成像具有很浅的景深(本例中为400倍放大,景深仅几个微米),单张拍摄图像不可能将位于扁平毛细玻璃管内样本液体底部和顶部的藻同时拍摄清楚。因此,有必要沿z轴方向扫描拍摄以获得同一视野下多个焦平面的图像,使得该视野下不同深度的藻类都获得对焦清晰的图像。具体方法是,在以扁平毛细玻璃管的玻璃管内部下表面33位置为第一个焦平面39拍照后,三轴电动载物台08沿z轴运动,每运动约1.5微米,数字相机15拍摄一幅图像,直到显微镜物镜14的焦平面到达扁平毛细玻璃管的玻璃管内部上表面34以上,但不超过扁平毛细玻璃管的玻璃管外部表面32。这样完成一个视野下第一个焦平面39至第n个焦平面40之间多个焦平面的拍摄,获得同一视野下约130个焦平面的图像。随后三轴电动载物台08驱动扁平毛细玻璃管沿x或y方向运动使显微镜物镜14对准下一个指定的视野,同样z轴运动获取该视野下不同焦平面深度的多副图像,然后再进入下一个预定的视野进行多个焦平面的拍摄,直到对多个扁平毛细玻璃管样本的所有视野全部拍摄完毕。随后,视需要可以让蠕动泵07略微运行然后停止,使得样本中新一段藻类液体替换进入扁平毛细玻璃管,然后重复以上多视野多焦平面拍摄过程。此后这一新一段藻类液体替换进入扁平毛细玻璃管然后扫描拍摄的过程也可继续重复,直到每个被测样本都拍摄了预设的足够多的视野数量(例如400个视野)。

以上的扫描拍摄过程产生了大量的图像。例如对一个样本来说如果拍摄400个视野,每个视野130张图像,这共产生52000张图像。这些图像中可能有大部分为空白、对焦模糊、或对同一个藻的重复图像。为减轻后续人工智能识别的工作量,图像挑选与预处理模块对图像进行筛选。其方法是,对每一个视野的所有焦平面的图像计算其清晰度,清晰度小于一定阈值的予以去除;对较高清晰度但焦平面相邻的图像进行清晰度比较并保留清晰度较高者。具体而言,这里所描述的清晰度阈值并非是一个数字,而是一连串的判定标准,其中包括每个边缘细节的梯度信息(这个可以衡量每个识别到的小目标的清晰度)、当前焦平面的总体边缘值之和(这个可以衡量当前焦平面中的内容的多少)、当前焦平面的物理信息(例如当前焦平面是否处在合理的位置,如果在扁平毛细玻璃管之外则不符合等等)等一系列的有必要的判定。其次,这里称之为较高者而不是最高者,其原因是我们在扫描的过程中沿z轴运动,如果比较的焦平面过多,则导致其z轴上的跨度过大,在物理上没有比较的意义,因为两个不同z轴的焦平面可能都是清晰的,只是一个物体比较多,一个比较少,所以在做比较的时候,考虑到单个藻类目标通常只出现于5个连续的焦平面,可以选择临近5个焦平面中的最清晰的那张进行保留。

清晰度的计算方法是将图像转为灰度图像,然后通过拉普拉斯掩模做卷积运算,计算标准差,以其值代表图像清晰度。当样本藻密度较低时,这一预处理过程可去除超过90%的无用或重复图像,提高后续识别效率。对每一张筛选保留下来的图像均标记其样本编号、视野编号和焦平面位置,送入下一步骤进行藻类目标识别,如图4所示。

3.藻类目标识别与多视野统计输出:

浮游藻类自动监测设备中的识别与统计算法模块使用基于深度学习的藻类识别算法对上一步骤中经过预处理的图像进行藻类目标检测识别。深度学习是基于神经网络的机器学习人工智能在近几年的最新发展,善于利用海量的数据库通过学习训练提高性能。目前,基于卷积神经网络(cnn)的深度学习算法在图像识别领域已经取得了突破,在人脸识别等应用中甚至到达了比人类更准确的识别率。多种成熟先进的算法如faster-rcnn和yolov3等均可用于搭建本发明的目标检测模型。以yolov3为例,该算法运算结构简洁、速度快,可以满足实时应用任务的需求。yolov3原型参考代码有c语言和python多种实现形式,工程化应用的实践较成熟,便于和藻类图像采集的软件系统整体化集成和部署,对硬件加速gpu性能要求较低。本发明中基于深度学习的藻类识别算法以包含数以万计的经专家标注的藻类图像的图库作为深度学习的素材对构建的目标检测模型进行训练,优化模型参数。经过多次的训练改进叠代,所获得的算法即可用于实际藻类识别。随着标注的藻类图库的持续扩大,经过反复训练,算法可以获得越来越高的准确率,以及识别越来越多的藻类。同时为了增加藻类识别的精准度,系统设计有专家辅助判别功能(可根据精度要求由用户决定是否使用),即系统将无法识别的稀有藻类或识别精度低于60%的图像挑出,单独存入一个文件夹,方便专家在线进行核查定名。将识别精度大于60%的图像单独存入另一个文件夹,并对每一个藻类图像进行单独命名,以备核查。如果用户或专家觉得某个种类命名有问题时,可针对该种藻类进行确认,若确定计算机鉴定错误时,可将正确的种(属)名输入进行替换,系统自动输出经核查后确定的结果。这个功能是用于用户对测试藻类定名精度要求较高或者测试陌生水域的藻类样品新种较多的情况,通过专家辅助判别功能在短期内帮助仪器提高测试的精度。

基于深度学习的藻类识别算法对图像进行藻类目标检测识别的结果如图5所展示,检测识别后所发现的藻被框选出来,算法输出框选的坐标以及该藻所属的种类。当一个样本的所有视野的所有图像被检测识别完毕,软件随即对该样本的检测结果进行统计输出,具体方法如下:

i.单个视野的识别计数。在前述图像预处理阶段已经将无用的图像和重复不太清晰的图像去除。在这一阶段对保留的图像进行识别后,获得所有识别出的藻类的种类和位置。考虑到对同一个藻个体仍可能保留有重复的清晰图像,这一阶段识别后进行了进一步的去重。其方法是,如果两张图像中识别出的藻其种类相同,所处xy坐标和大小相似,两张图像的焦平面位置(z轴位置)接近(例如少于10微米),即可判断是同一个藻。经过此步骤进一步去重,软件记录下这一视野中出现的各种藻的数量。

ii.样本多个视野的统计计数。对某样本的所有视野进行合并统计,累加计算各视野中出现的不同种类的藻的数量和尺寸大小并按种类统计计数。

ⅲ.计算输出优势藻种、藻密度、生物量等。样本统计结果中,数量或生物量大于总数(总量)10%藻种即为优势藻种。对每一种藻类,其藻密度可以使用如下视野计数法公式计算:

式中:

n-1l水样中浮游生物的数量,cells/l;

pn-计数的浮游藻类个数;

fs-视野面积,mm2

fn-每个样本计数过的视野数;

h-扁平毛细玻璃管内部空间高度,mm;

t-水样装入样品瓶之前的浓缩倍数;

如要计算浮游藻类总量密度,上式中的pn取计数的浮游藻总个数即可。

浮游植物生物量测量采用体积测量,然后根据109um3≈1mg鲜藻重的换算关系换算成生物量。测量时可根据浮游藻类体型自动测算其轮廓体积。具体细节可参照《内陆水域浮游植物监测技术规程》(sl733-2016)。

实施例2:单个样品的高精度检测:本发明设备既可以实现三个样品同时测试,也可以实现一个样品的三个平行样测试,从而计算测试误差,提高测试精度。其测试过程为,将进样软管04、05、06放到同一个样品瓶里,蠕动泵07在电脑24与控制器23的控制下,通过进样软管04、05、06将同一个藻类样本液体从样本瓶里进样至扁平毛细玻璃管11、12、13中,形成3个一样的平行样品,然后按照同实施例1相同的监测方法进行测试。输出三个不同的检测结果,当三个结果误差均在15%以内,取三个值的平均值作为结果进行输出;当只有两个值的误差在15%以内时,取相近的两个值的平均值作为结果进行输出;当三个值的误差均超出15%时,进行重新检测,直到满足检测精度为止。

实施例3:对传统的浮游藻类计数框载玻片进行自动扫描识别统计。

本实施例提供的基于ai技术的浮游藻类自动监测设备也可用于对传统的浮游藻类计数框载玻片进行自动扫描识别统计。如图6所示,计数框载玻片30在手工加入待测样本并盖上盖玻片后,可以手动放置到三轴电动载物台08上。程序控制的扫描系统根据计数框的尺寸位置,实施新的z轴焦平面扫描位置和新的xy方向视野扫描路径。在本实施例中,每次换样只能检测一个样本。

本实施例提供的基于ai技术的浮游藻类自动监测设备,包含一个光学显微镜09,具备透射光源10和显微物镜14。光学显微镜09上装设有步进电机驱动的xyz方向上运动的三轴电动载物台08,计数框载玻片30被固定在这个三轴电动载物台08上。光学显微镜09上还装设了数字相机15。其所拍摄的图像可通过usb信号线21的连接传输到电脑24上。电脑24内置软件构成浮游藻类自动监测设备的软件层,软件层包含由多个软件模块构成的支持软件组件和在显示屏26上展示的包含各种操作菜单的人机图形化操作用户界面。电脑24通过网线25与控制器23进行通讯,以利用软件层中的运动控制软件模块实现对三轴电动载物台08的运动控制并获取设备的运行状态。控制器23通过多芯电缆22连接到三轴电动控制器08的三个步进电机和多个位置传感器。

本实施例提供的基于ai技术的浮游藻类自动监测方法,包含如下几个步骤:

1.显微样本的加载:将加有藻类样品液体并盖上盖玻片的计数框载玻片30手动放置在三轴电动载物台08上并固定。标准的计数框可加载约0.1ml样品,加载液体的内部尺寸为20mm×20mm×0.25mm(长宽高)。

2.样品显微图像的自动扫描、拍摄和预处理:

样品的显微影像的自动扫描和拍摄由光学显微镜09、数字相机15、三轴电动载物台08、控制器23和电脑24中的图像获取模块和运动控制软件模块协同完成。根据需要,运动控制软件模块可通过控制器23驱动三轴电动载物台08沿x和y方向运动使显微镜物镜14定位到到计数框载玻片30的上方某个角落(例如左上角)的特定位置。一个特定的x,y坐标位置定义了一个显微观测视野,如图3所示。通过沿x或者y方向移动三轴电动载物台08,也即相对于显微镜物镜14移动固定在三轴电动载物台08上的计数框载玻片30的位置,浮游藻类自动监测设备可以进行视野的切换并对一个样本的多个视野进行拍摄。当到达一个视野后,运动控制软件模块通过控制器23驱动三轴电动载物台08搭载计数框载玻片30沿着z轴运动,使得显微镜物镜14对焦到计数框载玻片30内部下表面位置,并拍摄该视野下的于此焦平面的图像。

考虑到样本液体在计数框载玻片30内约0.25mm的深度,多个藻类个体可能处于从样本液体底部到顶部的不同深度上。同时,由于高放大倍数的显微镜成像具有很浅的景深(本例中为400倍放大,景深仅几个微米),单张拍摄图像不可能将位于计数框载玻片30内样本液体底部和顶部的藻同时拍摄清楚。因此,有必要沿z轴方向扫描拍摄以获得同一视野下多个焦平面的图像,使得该视野下不同深度的藻类都获得对焦清晰的图像。具体方法是,在以计数框载玻片30的内部下表面(亦即基底载玻片的上表面)位置为焦平面拍照后,载物台沿z轴运动,每运动约1.5微米,数字相机拍摄一幅图像,直到显微镜物镜14的焦平面到达计数框载玻片30的内部上表面(亦即盖玻片的下表面)以上。这样完成一个视野的拍摄,获得同一视野下约170个焦平面的图像。随后三轴电动载物台08驱动计数框载玻片30沿x或y方向运动使显微镜物镜对准下一个指定的视野,同样z轴运动获取该视野下不同焦平面深度的多幅图像,然后再进入下一个预定的视野进行多个焦平面的拍摄,直到所有预设视野全部拍摄完毕。

以上的扫描拍摄过程产生了大量的图像。例如对一个样本来说如果拍摄400个视野,每个视野130张图像,这共产生52000张图像。这些图像中可能有大部分为空白、对焦模糊、或对同一个藻的重复图像。为减轻后续人工智能识别的工作量,图像挑选与预处理模块对图像进行筛选。其方法是,对每一个视野的所有焦平面的图像计算其清晰度,清晰度小于一定阈值的予以去除;对较高清晰度但焦平面相邻的图像进行清晰度比较并保留清晰度较高者。具体而言,这里所描述的清晰度阈值并非是一个数字,而是一连串的判定标准,其中包括每个边缘细节的梯度信息(这个可以衡量每个识别到的小目标的清晰度)、当前焦平面的总体边缘值之和(这个可以衡量当前焦平面中的内容的多少)、当前焦平面的物理信息(例如当前焦平面是否处在合理的位置,如果在计数框载玻片之外则不符合等等)等一系列的有必要的判定。其次,这里称之为较高者而不是最高者,其原因是我们在扫描的过程中沿z轴运动,如果比较的焦平面过多,则导致其z轴上的跨度过大,在物理上没有比较的意义,因为两个不同z轴的焦平面可能都是清晰的,只是一个物体比较多,一个比较少,所以在做比较的时候,考虑到单个藻类目标通常只出现于5个连续的焦平面,可以选择临近5个焦平面中的最清晰的那张进行保留。

清晰度的计算方法是将图像转为灰度图像,然后通过拉普拉斯掩模做卷积运算,计算标准差,以其值代表图像清晰度。当样本藻密度较低时,这一预处理过程可去除超过90%的无用或重复图像,提高后续识别效率。对每一张筛选保留下来的图像均标记其样本编号、视野编号和焦平面位置,送入下一步骤进行藻类目标识别,如图4所示。

3.藻类目标识别与多视野统计输出:

浮游藻类自动监测设备中的识别与统计算法模块使用基于深度学习的藻类识别算法对上一步骤中经过预处理的图像进行藻类目标检测识别。深度学习是基于神经网络的机器学习人工智能在近几年的最新发展,善于利用海量的数据库通过学习训练提高性能。目前,基于卷积神经网络(cnn)的深度学习算法在图像识别领域已经取得了突破,在人脸识别等应用中甚至到达了比人类更准确的识别率。多种成熟先进的算法如faster-rcnn和yolov3等均可用于搭建本发明的目标检测模型。以yolov3为例,该算法运算结构简洁、速度快,可以满足实时应用任务的需求。yolov3原型参考代码有c语言和python多种实现形式,工程化应用的实践较成熟,便于和藻类图像采集的软件系统整体化集成和部署,对硬件加速gpu性能要求较低。本发明中基于深度学习的藻类识别算法以包含数以万计的经藻类识别专家标注的藻类图像的图库作为深度学习的素材对构建的目标检测模型进行训练,优化模型参数。经过多次的训练改进叠代,所获得的算法即可用于实际藻类识别。随着标注的藻类图库的持续扩大,经过反复训练,算法可以获得越来越高的准确率,从而识别越来越多的藻类。

基于深度学习的藻类识别算法对图像进行藻类目标检测识别的结果如图5所展示,检测识别后所发现的藻被框选出来,算法输出框选的坐标以及该藻所属的种类。当对于一个样本的所有视野的所有图像被检测识别完毕,软件随即对该样本的检测结果进行统计输出,具体方法如下:

ⅰ.单个视野的识别计数。在前述图像预处理阶段已经将无用的图像和重复不太清晰的图像去除。在这一阶段对保留的图像进行识别后,获得所有识别出的藻类的种类和位置。考虑到对同一个藻个体仍可能保留有重复的清晰图像,这一阶段识别后进行了进一步的去重。其方法是,如果两张图像中识别出的藻其种类相同,所处xy坐标和大小相似,两张图像的焦平面位置(z轴位置)接近(例如少于10微米),即可判断是同一个藻。经过此进一步去重,软件记录下这一视野中出现的各种藻的各自数量。

ⅱ.样本多个视野的统计计数。对某样本的所有视野进行合并统计,累加计算各视野中出现的不同种类的藻的数量并按种类统计计数。

ⅲ.计算输出优势藻种、藻密度、生物量等。样本统计结果中,数量最多的两个藻种即为优势藻种。对每一种藻类,其藻密度可以使用如下视野计数法公式计算:

式中:

n-1l水样中浮游生物的数量,cells/l;

pn-计数的浮游藻类个数;

fs-视野面积,mm2

fn-每个样本计数过的视野数;

h-计数框载玻片内部空间高度,mm;

t-水样装入样品瓶之前的浓缩倍数;

如要计算浮游藻类总量密度,上式中的pn取计数的浮游藻总个数即可。

浮游藻类生物量测量采用体积测量,然后根据109um3≈1mg鲜藻重的换算关系换算成生物量。测量时根据浮游藻类体型自动测算其轮廓体积。具体细节可参照《内陆水域浮游植物监测技术规程》(sl733-2016)。

以上所述是本发明的优选实施方式而已,当然不能以此来限定本发明之权利范围,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和变动,这些改进和变动也视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1