一种基于神经网络模型识别多种深部真菌菌种的方法

本发明涉及一种基于神经网络模型识别多种深部真菌菌种的方法，属于真菌菌种识别。

背景技术：

1、全世界每年有数百万人会感染危及生命的侵袭性真菌感染，即深部真菌感染。其中烟曲霉、皮炎外瓶霉、茄病镰刀菌、尖端赛多孢和裴氏着色霉引起的侵袭性真菌病 (ifd)逐年增加，其极易发生在器官移植受者、艾滋病、免疫抑制、血液病等患者身上，由于分子识别技术的限制以及抗真菌药物耐药性产生，导致侵袭性真菌病难以诊断及治疗，每年约150万人的死于侵袭性真菌感染。

2、传统的对于侵袭性真菌病患者的诊断治疗，首先需要对真菌进行培养后，再通过分子检测技术及质谱检测设备，依靠真菌学专家人工进行识别鉴定，存有识别鉴定效率低下的问题，不利于对重患者的有效诊治。

3、为了解决传统侵袭性真菌识别方式效率低下的问题，目前存有基于全卷积神经网络模型对真菌种类进行识别的方法，如申请公布号为cn 108520206a的发明专利公开的一种基于全卷积神经网络的真菌显微图像识别方法，其虽然在一定程度上解决了上述问题，但是其依然存有如下方面的问题：

4、第一、申请号为2018102403664的发明专利申请中图3图片可知其获得的真菌照片是进行小培养后染色制片显微镜下拍摄获得进行训练，其依然存有耗时长且应用限制性高，不能广泛用于临床。

5、第二、现有的基于全卷积神经网络模型对真菌种类进行识别的方法主要是设计了一个以卷积运算为主要特征的神经网络模型，它由10层卷积层和1层全连接层线性连接组成，能够使用已有的已知类别真菌图片对该模型进行训练。当训练完成后，能够对未知类别的真菌图片进行判断识别。但是由于模型设计的结构单一，层数不足以学习到该真菌类别图片的所有特征，所以会出现识别率不高，灵敏度与特异度低的问题。

6、由此有必要研发一种新的深部真菌菌种的识别方法，以解决现有识别方法存有的以上问题。

技术实现思路

1、本发明的目的在于：提供一种基于神经网络模型识别多种深部真菌菌种的方法，以解决现有识别方法存有的识别效率低下、应用局限、灵敏度与特异度低的问题。

2、本发明的技术方案是：

3、一种基于神经网络模型识别多种深部真菌菌种的方法, 其特征在于：该种基于神经网络模型识别多种深部真菌菌种的方法，包括如下步骤：

4、1、制备沙氏培养基，采购菌株；

5、从合法渠道采购烟曲霉、皮炎外瓶霉、茄病镰刀菌、尖端赛多孢和裴氏着色霉；将沙式葡萄糖液体加入2％琼脂粉后高压灭菌，倒入培养皿，凝固后在4℃保存制得沙氏固体培养基；随后将烟曲霉、皮炎外瓶霉、茄病镰刀菌、尖端赛多孢和裴氏着色霉分别接种在各自的沙氏固体培养基上；

6、2、菌株培养

7、将接种烟曲霉、皮炎外瓶霉、尖端赛多孢的沙氏固体培养基上的放在35℃温箱培养2-3天，将接种裴氏着色霉菌、茄病镰刀菌的沙氏固体培养基上的放在30℃温箱培养3-5天；

8、3、图片收集

9、将培养好的5种深部真菌的孢子收集后均匀的的涂抹在各自载玻片上，用乳酸酚棉蓝染色液染色制片得到5种不同的深部真菌制片，在40倍显微镜下观察形态结构，用摄像头拍摄真菌的特征性结构-分生孢子、产孢结构及菌丝，生成尺寸大小为1920×1080的rgb色彩的jpg格式图片即样本图片；

10、4、图片数据集分组

11、为了得到一个较好的训练结果，将拍摄好的样本图片数据集分为训练集及验证集，分别用于训练与验证；其中用作训练模型的训练集由816张深部真菌图片组成，六种深部真菌的照片数量相等；另一个数据集由294张图片组成，六种深部真菌的照片数量相等不参与模型训练，用于测试模型的鲁棒性和准确度；

12、5、数据预处理

13、第一步，由于训练集及验证集中的样本图片的分辨率为1920×1080，在满足模型输入形状的情况下对该样本图片进行了数据增强，即由原来的训练集及验证集中的一张样本图片截取出两张样本图片，使用新的真菌图像图片作为新的训练集及新的验证集；截取的具体方法是：以样本原图的左上角顶点为坐标原点，设为（0，0），第一个值表示在x轴上距离原点的距离，第二个值表示在y轴上距离原点的距离；截取的第一张图片的左上角顶点（0，0），右下角顶点（1080，1080）；截取的第二张图片的左上角顶点（840，0），右下角顶点（1920，1080）；

14、第二步，由于对培养的真菌进行拍照时，无法保证统一的背景颜色，统一的背景光照强度，所以真菌的类别识别判断对训练集和验证集中的真菌图像中的各种颜色不应该建立规则关联；因此：

15、（1）首先对第一步的结果，所有新的训练集和验证集中的真菌图像进行灰度化处理,得到原始灰度图；

16、（2）其次为了在灰度化的结果中加深对真菌轮廓的模式识别，能够让深度神经网络模型在训练中尽快收敛，对真菌的原始灰度图进行了轮廓加深处理，最终将前面每张新的训练集和验证集中的原始灰度图生成三张新的特征灰度图像；轮廓加深处理步骤如下：

17、1）使用拉普拉斯变换对（1）的结果，即原始灰度图进行处理，拉普拉斯算子为3×3矩阵 [[0,1,0],[1,-4,1],[0,1,0]] ；主要的目的是突出细节；

18、2）使用5×5的值全是1的矩阵盒式滤波平滑梯度第1）步的结果图像，生成第一个训练特征灰度图像数据；

19、3）为了得到更加锐化的效果，先是使用第1）步的结果乘以第2）小步的结果得到mask遮罩模板数据；然后将该数据以0.3倍缩小后与原始灰度图像结果相加，生成第二个训练特征灰度图像数据；

20、4）为了增大3）灰度图像结果的灰度级的动态范围，将上面第3）小步的结果进行了gamma变换，生成第三个训练特征灰度图像数据；

21、经过上述数据预处理的第一步和第二步，真菌图像样本的训练集和验证集在数量上变成了原来的6倍。模型在后面的训练和验证过程中使用扩展成6倍的新的由灰度特征图像数据组成的训练集和验证集；

22、第三步，因为模型在训练过程中，数据集在训练的每一次迭代过程中都会被重复使用；为了增强模型的鲁棒性，在随机抽取第二步结果中的训练集的真菌灰度特征图像进行训练前增加了将这张图像进行随机角度旋转一定角度的功能，这样每一个训练特征图像数据样本被取出时，里面的内容会进行随机角度的旋转；

23、第四步，数据标准化，为了加速训练过程，降低模型在训练过程中陷入局部最优的可能性；对所有的输入数据进行数据标准化操作，即以图像颜色通道为单位，计算训练图像的均值和标准差；这里只有灰度一个通道，所以只有一个均值和方差；即将每张图像的每个归一化后的像素值减去均值，除以标准差，最终得到一个均值为0，标准差为1的服从标准正态分布的数据；由于内存有限，随机抽取第二步结果的训练集和验证集中 600 张灰度特征图像，计算得到的灰度值的均值：[0.769783976586836]，标准差：[0.137332066521843]；

24、

25、x为原始的像素值，μ为平均值，σ为标准差，x'为标准化后的像素值；

26、上面第三步和第四步的实现都是在读取第二步的结果的基础上，经过程序的动态运行计算得到结果，不存储成静态图像数据，直接参与后面的模型训练。

27、6.训练图片-深度神经网络模型

28、选用深度神经网络模型属于卷积神经网络结构大类，它能够通过隐藏层的神经元学习分析它“视野范围”里的特征；为了能够让卷积神经网络模型学习到图片中更好的特征，目前存有大量的基于卷积神经网络结构的深度神经网络模型；在本次项目中，选用3种特点鲜明的卷积神经网络模型进行分别训练，每一张待分类的真菌图像都需要经过下面3种模型的计算后得到各自模型下的6种真菌类别的概率值，一共是三组6种真菌类别的概率值；最终的分类结果输出为一组6种真菌类别的概率值，它是对3种模型的结果进行加权平均，其中每个模型下的6种真菌类别的权值由该模型的验证结果计算得到，即为该种真菌识别的精准度；

29、模型一：resnet，即residual networks残差网络；主要的设计思路是引入一种残差网络结构，即跨层跳连接，用于解决当神经网络模型堆叠到更深的层次时会出现sgd优化困难，反向求导梯度消失或爆炸，从而导致模型性能退化问题；使用残差结构的神经网络模型，可以将网络设计得更深，训练速度更快；因为它并没有引入额外的参数和计算复杂度，只做了简单的加法运算，相对于卷积运算消耗的算力可以忽略不计；resnet设计了18、34、50、101、152层，从效率和成本上综合考虑，本项目使用的是更改了输入输出层的101层的resnet；文献摘要地址：https://arxiv.org/abs/1512.03385；

30、模型二：senet，这个模型提出的背景是常规的卷积神经网络模型通过多个卷积核的卷积运算，在局部感受野上将图片的空间和特征维度上的信息进行聚合到特征通道上，每个特征通道的数据都是平等的；但是在现实中，每张图片是有重点特征区域，这部分数据转换的通道数据应该更被重视；senet模型的特点是设计了se模块，通过全局平均池化和1x1卷积核的一系列全连接激活运算，得到通道数据的缩放系数，然后通过乘法加权到先前的特征上；这样就完成了在通道维度上对原始特征的重标定；se模块和resnet相结合得到senet。本项目使用的是更改了输入输出层的101层的senet；文献摘要地址：https://arxiv.org/abs/1709.01507；

31、模型三：efficientnnet，scaling，即模型扩展，一直以来都是提高卷积神经网络模型效果的重要方法。模型扩展的方向主要分为网络宽度，深度，分辨率，但是这些扩展都会额外的消耗大量的算力资源；efficientnet-b0是通过网格结构搜索得到的一个结构比较简单的基线网络；然后利用一个复合系数来综合上面3种维度的模型扩展，使额外多消耗的算力资源能够得到最大化的精度提升。文献地址：https://arxiv.org/pdf/1905.11946.pdf；本项目使用的是更改了输入输出层的efficientnet-b6；

32、深度神经网络模型训练过程

33、输入和输出；本项目中真菌灰度特征图像的训练集和验证集，即第5步，数据预处理中第二步的结果，里面每张图像尺寸是1080×1080个像素点，resnet-101和senet-101模型的标准的输入大小都是224×224个像素点，因此在标准的resnet-101和senet-101的输入层前增加了一个卷积层，卷积核大小是7×7，步长是2，填充是3，这样使模型的输入大小变成了448×448；efficientnet-b6模型的输入大小是528×528；因此，在训练集训练前需要将图片缩放至模型所需尺寸；为了使模型的输出适配项目的目标，对真菌灰度特征图像的训练集和验证集的每张图像进行6种真菌分类概率的计算；将标准的resnet-101、senet-101、efficientnet-b6模型的最后一个全连接层替换成为具有6个输出节点的新的全连接层；

34、在机器学习的过程中，是否选用预训练权重数据，每个批次放置进的图片数量，反向求导更新权重参数的学习率，优化器的选择都需要人工选择测试；项目使用的是pytorch框架，在2个图形处理单元上进行训练；经过对多个模型进行多次训练，最终得到的最优超参数是：使用预训练权重，批大小4，学习率0.001，优化器sgd；

35、7.使用

36、用户按照第2、3步培养真菌后制片拍摄多张真菌照片通过前端子系统的页面上传至服务器的特定存储空间中，然后经过业务逻辑子系统的校验和清理后，由图片分类子系统对这真菌图片进行6分类的预测：烟曲霉、皮炎外瓶霉、茄病镰刀菌、尖端赛多孢、裴氏着色霉。在模型运算完成后，这一个批次的每一张图片都得到6种分类的百分数，即每种种类这个数值表示的是该图片是这种分类的概率值，总和为100%；最后将这些数据经由业务子系统通过web服务传递到前端页面提供给用户进行诊断参考。

37、本发明优点在于：

38、本发明能够利用6种常见深部真菌的各种图片，经过图像前期特征处理后，放置进特定的人工智能深度神经网络模型中进行训练，从而使得模型能够快速识别深部真菌，能够以web的形式反馈，为早期诊断早期治疗提供辅助决策。