一种基于交互式深度学习的藻类识别方法

本发明涉及图像识别，尤其涉及一种基于交互式深度学习的藻类识别方法。

背景技术：

1、目前，各地水文机构在水生态监测工作中，需要对淡水水体的藻类数量及密度进行定期检测。目前普遍使用的方法为人工镜检法，即使用显微镜对采样得到的水体样本进行拍照，然后依靠人工或技术手段对藻类的数量进行统计。人工镜检法单纯依靠人工执行，对检测人员的专业知识和经验积累要求很高，而且很容易造成检测人员视觉疲劳。当有新藻类出现或外观相似藻类出现的时候，在专业知识以及经验方面积累不足的人员要靠查阅专业书籍来辅助检测工作，耗时费力，且容易出错。基于上述原因，目前出现了不少以深度学习技术为基础的解决方案。深度学习的方案有一个基础前提，就是要有相当规模，且稳定的数据集。这里所说的稳定，是指数据集所代表的藻类外观，在数学分布上比较稳定，通俗地说就是，不会出现新的藻类。

2、但是在现实中，某地区的藻类并不会一直保持稳定，可能会受到河流上游的藻类变化影响，且某个地区的藻类数据也很难(通过实际调研，也几乎不可能)保证全面，即生物学意义上的每种藻类都有相当数量的数据。所以如果出现新藻类，那么整个深度学习的训练过程都需要重新调整。且传统的深度学习训练时需要足够的批次大小才能保证训练的精度，由于出现新藻类的基础数据不全面以及数量不够丰富的原因，也会产生对于外观类似，或者当地极少出现的藻类，难以保证识别效果的问题。

技术实现思路

1、本发明提供一种基于交互式深度学习的藻类识别方法，以克服上述技术问题。

2、为了实现上述目的，本发明的技术方案是：

3、一种基于交互式深度学习的藻类识别方法，包括以下步骤：

4、s1：获取已有的藻类样本图像数据，并对所述藻类样本图像数据进行藻类标注获取藻类类别标签；并根据所述藻类样本图像数据与对应藻类样本图像的藻类类别标签，获取藻类样本数据集；

5、s2：对所述藻类样本数据集中的数据进行预处理，并将预处理后的藻类样本数据集进行随机划分为藻类样本批训练集、藻类样本批测试集以及新藻类数据集；

6、s3：构建交互式藻类识别深度卷积网络，并根据所述藻类样本批训练集对所述交互式藻类识别深度卷积网络进行训练，获取优化交互式藻类识别深度卷积网络；

7、s4：构建网络模型离线训练器，并将所述优化交互式藻类识别深度卷积网络输入至所述网络模型离线训练器进行初始离线设置；

8、启动网络模型离线训练器，将所述优化交互式藻类识别深度卷积网络切换至在线识别网络模型；根据所述藻类样本批测试集对优化交互式藻类识别深度卷积网络进行周期测试训练，识别获取藻类样本批测试集的藻类类别；

9、并根据在线模型优化策略，实时更新所述在线识别网络模型；

10、s5：基于当前所述在线识别网络模型，对所述新藻类数据集中的图像数据进行藻类识别，并根据网络优化训练策略，获取最终的交互式藻类识别深度卷积网络，并根据所述最终的交互式藻类识别深度卷积网络实现藻类的识别预测。

11、进一步的，s1中所述对所述藻类样本图像数据进行藻类标注获取藻类类别标签，具体为

12、对所述藻类样本图像数据中的所有藻类进行分类，得到藻类分类数据；

13、基于标定框，根据所述藻类分类数据框选出藻类的所在区域框，得到所述藻类的藻类特征的标定位置；所述藻类特征包括藻类外形轮廓特征、颜色特征以及结构纹理特征；并根据所述置标定信息与藻类分类数据作为藻类样本图像数据的藻类类别标签。

14、进一步的，s3中构建的所述交互式藻类识别深度卷积网络，包括输入层、卷积网络层、特征交互层、全连接层以及输出层；

15、所述输入层用于将所述藻类样本数据集中的样本图像输入至卷积网络层；

16、所述卷积网络层包括依次连接的第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、第五卷积单元以及第六卷积单元；且依次采用所述第一卷积单元、第二卷积单元、第三卷积单元以及第四卷积单元对通过所述输入层传输的样本图像进行逐级尺寸降低处理；

17、且所述第一卷积单元、第二卷积单元、第三卷积单元以及第四卷积单元均设有依次连接的第一批处理层、第一卷积层以及池化层；

18、所述第一批处理层用于对输入的图像数据进行归一化操作；并将归一化操作后的图像数据输入至第一卷积层的输入端连接；

19、所述第一卷积层用于对归一化操作后的图像数据进行卷积运算，提取所述图像数据的藻类特征，获取第一藻类特征图；所述第一卷积层的输出端与所述池化层的输入端连接；

20、所述池化层用于对第一卷积层的输出进行池化操作，降低所述藻类特征图的尺寸，获取优化藻类特征图；

21、所述第五卷积单元与第六卷积单元均设有依次连接的第二批处理层与第二卷积层；

22、所述第二批处理层用于对输入的图像数据进行归一化操作；并将所述归一化操作后的图像数据输入至第二卷积层；

23、所述第二卷积层所述第一卷积层用于对归一化操作后的图像数据进行卷积运算，提取所述图像数据的藻类特征，获取第二藻类特征图；

24、所述第六卷积单元的输出端与所述特征交互层连接，且所述特征交互层用于获取第二藻类特征图的热力特征图，并将所述第二藻类特征图的热力特征图传输至所述全连接层进行全连接运算；

25、且所述全连接层的输出端与所述输出层连接，所述输出层用于根据全连接运算后的第二藻类特征图的热力特征图，输出藻类预测结果。

26、进一步的，所述特征交互层获取第二藻类特征的热力特征图的方法为

27、对所述第六卷积单元输出的第二藻类特征图进行均值化操作，获取中间特征图；将所述中间特征图的像素值映射到(0-120区间)范围内，获取rgb映射图片；将所述rgb映射图片的色彩空间转换为hsv图片数据；

28、并根据所述hsv图片数据获取第二藻类特征的热力特征图。

29、进一步的，s3中根据所述藻类样本批训练集对所述交互式藻类识别深度卷积网络进行训练，获取优化交互式藻类识别深度卷积网络，具体包括以下步骤：

30、s31：对所述交互式藻类识别深度卷积网络进行网络参数初始化；

31、s32：将所述藻类样本批训练集中的藻类图像数据作为输入；将所述藻类样本批训练集中的藻类类别对应的标签作为输出，对交互式藻类识别深度卷积网络进行网络训练，获取预测藻类类别；

32、s33：基于网络训练损失函数，计算预测藻类类别的热力特征图与对应人工干预的藻类热力特征图的当前像素损失值，

33、判断所述当前像素损失值与预设损失阈值的大小，若所述当前像素损失值小于等于预设损失阈值，则确认当前训练完成的交互式藻类识别深度卷积网络，即为优化交互式藻类识别深度卷积网络；

34、若所述当前像素损失值大于预设损失阈值，则根据所述当前像素损失值通过导数链式法则，反向传播更新所述交互式藻类识别深度卷积网络的网络参数；重复执行步骤s32。

35、进一步的，s4中所述根据在线模型优化策略，实时更新所述在线识别网络模型；具体为

36、s41：设置训练周期最大迭代次数，通过藻类样本批测试集对优化交互式藻类识别深度卷积网络进行周期测试训练，并保留当前周期与上一周期测试完成后的优化交互式藻类识别深度卷积网络；

37、并获取当前周期与上一周期测试完成后，所述优化交互式藻类识别深度卷积网络对藻类样本批测试集的当前藻类识别准确率/召回率；

38、s42：并将所述当前藻类识别准确率/召回率与上一周期测试完成后对应的藻类识别准确率/召回率，进行比较；

39、若所述当前藻类识别准确率/召回率均大于上一周期测试完成后对应的藻类识别准确率/召回率，则保留当前周期测试完成后的优化交互式藻类识别深度卷积网络为在线识别网络模型，并将删除所述上一周期测试完成后的优化交互式藻类识别深度卷积网络；

40、若所述当前藻类识别准确率/召回率均小于等于上一周期测试完成后对应的藻类识别准确率/召回率，则保留上一周期测试完成后的优化交互式藻类识别深度卷积网络为在线识别网络模型，并将删除所述当前周期测试完成后的优化交互式藻类识别深度卷积网络；

41、重复执行步骤s41，直至达到最大迭代次数，优化交互式藻类识别深度卷积网络的测试训练结束。

42、进一步的，s5中所述网络优化训练策略，具体为：

43、s51：获取包含新藻类的新藻类数据集中的新藻类样本图像，将所述新藻类样本图像传输至所述当前在线识别网络模型；

44、s52：根据所述当前在线识别网络模型中所述特征交互层获取当前新藻类的热力特征图，并根据所述当前新藻类的热力特征图确认并人工干预调整所述当前新藻类的热力特征图的标定位置的像素值，获取中间特征图；

45、对所述新藻类数据集的新藻类样本图像进行样本扩充至训练批次大小；

46、s53：以样本扩充后的新藻类样本图像作为输入层的输入数据；

47、以所述中间特征图作为全连接层的输入数据进行当前在线识别网络模型的网络训练；

48、s54：基于网络训练损失函数，计算所述当前在线识别网络模型中第六卷积单元输出的当前新藻类的热力特征图与对应人工干预调整后的当前新藻类的热力特征图的当前新藻类的像素损失值；

49、根据所述当前新藻类的像素损失值，通过反向传播法更新所述当前在线识别网络模型的网络参数，重复执行步骤s53，直至所述当前新藻类的像素损失值达到收敛，获取最终的交互式藻类识别深度卷积网络。

50、进一步的，所述网络训练损失函数具体为

51、

52、式中：mse_loss表示均方误差；n表示热力特征图上的像素值；xi表示卷积层输出的的热力特征图第i个像素的热力值；表示人工干预的热力特征图第i个像素的热力值。

53、有益效果：本发明公开了一种基于交互式深度学习的藻类识别方法，通过构建的交互式藻类识别深度卷积网络，通过人工修改的热力图与模型产生的热力特征图之间的均方误差，并采用反向传播法更新交互式藻类识别深度卷积网络的网络参数；通过构建的网络模型离线训练器，并将优化交互式藻类识别深度卷积网络输入至网络模型离线训练器进行初始离线设置，并根据在线模型优化策略，实时更新在线识别网络模型，能大大缩小网络训练的训练量；根据当前在线识别网络模型，对新藻类数据集中的图像数据进行藻类识别，并根据网络优化训练策略，获取最终的交互式藻类识别深度卷积网络，解决了出现新藻类的基础数据不全面以及数量不够丰富的原因，造成难以保证藻类识别效果的问题，大大提高了新藻类对网络模型的识别训练精度与藻类识别准确率。