基于深度学习的最低抑菌浓度识别方法与流程

本发明涉及最低抑菌浓度识别的技术领域，尤其是涉及一种基于深度学习的最低抑菌浓度识别方法。

背景技术：

最低抑菌浓度(minimuminhibitoryconcentration，mic)，是指经过18至24小时的培养后，能使细菌的发育受到阻滞并被观察到的抗细菌药的最小浓度。mic是抗菌药、抗病毒药物的药效的重要指标，因此，在临床上经常被使用到。在药物培养完成后，在培养液中通过肉眼观察以确认是否起效，如果溶液仍然浑浊则未达到mic标准，若看不到浑浊则为最低抑菌浓度mic。此时微生物的发育已被阻止。因为只有达到最低抑菌浓度，才能达到使细菌总数开始下降。可见溶液的浑浊与否是判断是否达到最低抑菌浓度的关键。

微孔板是抑菌试验中常用的实验器具，其由若干规则排列的圆孔组成。在不同孔中可以对不同种类或不同浓度的药物做实验，方便同时检测多个样品。基于不同用途，微孔板有不同颜色之分，常见的有黑底、透明底、白底。同时，也存在不同孔密度的微孔板，常见的有96孔板，384孔板等。

随着计算机性能的提高与相关理论的推进，使得训练非常多层的神经网络成为了可能。通过堆叠多层网络构建深度神经网络，以学习训练集中更为抽象的表达，这就是我们所知的深度学习技术。深度学习技术发展迅速，已经在图像处理、语音识别与自然语言处理等领域取得了喜人的成就，是目前这些领域的研究热点。其中在图像处理领域，表现最好的深度学习模型是卷积神经网络(cnn)。卷积神经网络主要由卷积层与池化层组成，同时也包括对应于经典神经网络的全连接层，其主要架构如图1所示。

1)卷积层(convolution)

卷积层是一个卷积神经网络中最为重要的部分，不同于全连接层，卷积层中每一个节点的输入来自上一层神经网络的一个小块，如3*3的矩形。卷积层通过对神经网络中的每一小块进行深入的分析从而得到抽象程度更高的特征。卷积层中最重要的部分是过滤器(filter)，如图2所示，它可以将当前层神经网络上的一个子节点矩阵转化为下一层神经网络上的一个单位节点矩阵，即长宽都为1，但深度不限的节点矩阵。

2)池化层(pool)

卷积神经网络中常在卷积层之间加上一个特殊的网络结构，称作池化层。池化层可以有效地缩小矩阵的尺寸，从而减少最后全连接层中的参数。与卷积层相似，池化层也是通过移动一个类似过滤器的结构完成的，不过池化层的过滤器中的计算只是简单的最大值或平均值运算。使用最大值操作的池化层称之为最大池化层(maxpooling)，使用平均值操作的池化层称之为平均池化层(averagepooling)。池化层的过滤器与卷积层相比，还有一点不同，就是卷积层使用的过滤器是横跨整个深度的，而池化层使用的过滤器只影响一个深度上的节点，如图所示3。

全连接层(fullyconnected)

全连接层，顾名思义，即下一层神经网络的每个节点都由当前层神经网络上的整个节点矩阵转化得到，也就是说下一层的每一个节点与当前层的所有节点都有连接权重，如图4所示。

要测定某种药品的最低抑菌浓度，首先需要在微孔板上对这种药品做抑菌试验。我们规定微孔板上每一行测定一种药品，每一行从左到右药品的浓度逐渐降低；从图5中可以看出，在浓度较大时，孔中液体是清澈的，这是因为孔中的病菌已被药物消灭，即药物产生了抑菌作用；而在浓度较小时，液体时浑浊的，这是由于孔中病菌仍有残留。故每一行中从左到右最后一个清澈的圆孔对应的浓度即为药品的最低抑菌浓度。在日常实验中，用肉眼去判断每个孔中的浑浊与否，非常耗费精力，若能快速地判断孔中的浑浊度，进而得到最低抑菌浓度，且不用借助专用设备，那将给研究人员提供巨大的便利。

技术实现要素：

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度学习的最低抑菌浓度识别方法，采用深度学习技术，只需操作人员用手机或其他数码设备拍摄微孔板，同时提供微孔板中药品种类与浓度，就能在较短的时间内自动给出药物对应的最低抑菌浓度。

为了达到上述目的，本发明采用以下技术方案：

本发明基于深度学习的最低抑菌浓度识别方法，包括下述步骤：

s1、图像切割得到单孔图像：对原始图像进行预处理，将原始图像处理成模型能够接收的单孔图像；

s2、构造样本：给用作训练的单孔图像加上对应标签，构成深度学习模型能够用来训练的样本，所述标签是指注明了溶液浑浊与否；

s3、构建及训练模型：构建能够用来识别溶液浑浊与否的模型，并用训练样本集进行训练；

s4、使用模型判断浑浊与否：模型训练完成之后的操作，此时模型可以接收训练集以外的图像，判断其溶液是浑浊还是清澈；

s5、得到药品对应最低抑菌浓度：模型对原始图像所有圆孔都判断完后，根据微孔板中各个圆孔的浑浊/清澈情况得出药品最低抑菌浓度。

作为优选的技术方案，步骤s1中，所述原始图像包含一整个微孔板，使用图像处理技术找出微孔板中每个孔的位置，将原始图像切割成若干不同的单孔图像，切割时同时保留每个单孔图像对应到微孔板中的位置，该位置代表了孔中药品对应的种类与浓度，从而分别得到微孔板中每个孔中药品的抑菌情况。

作为优选的技术方案，步骤s2中，通过肉眼判断每张单孔图像中的溶液是否浑浊，为每一张用作训练的单孔图像标注上对应标签，标注完成后，样本即构造完成。

作为优选的技术方案，步骤s3中，构建模型包括下述步骤：

基于迁移学习的思想，利用google在imagenet数据集上训练好的inception-v3模型，inception-v3模型最后的全连接层输出1000个节点，再经过softmax层后，输出imagenet数据集中1000类样本中每一类的概率，将模型迁移到浑浊度识别问题上，替换inception-v3模型的最后一层全连接层与softmax层，使新的全连接层的输出节点为2，再经softmax层后，能输出浑浊与清澈分别的概率，而构建后的模型其他部分保持与原inception-v3模型相同。

作为优选的技术方案，inception结构是inception-v3模型中的重要组成部分，它将不同的卷积层通过并联的方式结合在一起，使得神经网络具有不同的视野尺度，进一步提高了模型的表达能力；

concat层为简单的拼接层，用于将多个神经网络节点矩阵拼接成一个节点矩阵；

dropout层是一种良好的模型过拟合问题解决方案，它基于训练整体神经网络模型，并平均整个集合的结果，具体上，它在训练时的每次前向运算中以一定概率舍弃部分神经元，只保留剩下的神经元输出运算结果，即被舍弃的神经元的输出结果为0；

softmax层用于将神经网络的输出变成一个概率分布。

假设原始神经网络的输出为y1,y2,…,yn，那么经过softmax层处理之后的输出为：

从公式中可以看出，经过softmax层处理后的新输出满足概率分布的所有要求。

作为优选的技术方案，步骤s3中，训练模型包括下述步骤：

使用步骤s2得到的标注数据对模型进行训练，训练期间，选择保持最后一层全连接层之前的所有网络层的参数不变，只更新最后一层全连接层的参数

作为优选的技术方案，步骤s4中，判断溶液是浑浊还是清澈的方法为：

s4.1、使用模型预测图像浑浊与否的概率分布；

s4.2、如果浑浊的概率大于清澈的概率，则标记该单孔图像的类别为浑浊；

s4.3、如果浑浊的概率小于清澈的概率，则标记该单孔图像的类别为清澈。

作为优选的技术方案，步骤s5中，得到药品对应最低抑菌浓度的方法为：

s5.1、得到微孔板每一行对应的药品类别；

s5.2、如果药品对应行中不存在清澈的孔，则行中不存在最低抑菌浓度；

s5.3、如果药品对应行中存在清澈的孔，记录药品对应行中从左到右最后一个清澈的孔的位置；

s5.1、查阅该孔对应的浓度。

本发明的基本原理为：

首先，对于图像分类任务，目前效果最好的深度学习模型是卷积神经网络(convolutionalneuralnetwork，cnn)，这主要源于它的参数共享机制，并且能挖掘图像的局部相关性；故本发明也选择卷积神经网络来应用我们的图像分类任务。

其次，目前效果较好的卷积神经网络模型中，模型层数与复杂度较大，训练这样复杂的卷积神经网络需要非常多的标注数据，和足够长的训练时间。而在本发明的分类任务中，由于药品本身成本与抑菌试验所需时间问题，所能收集的标注数据相当有限，不足以重头训练复杂的神经网络。为了解决标注数据不足的问题，本发明使用迁移学习技术，利用imagenet数据集上训练好的inception-v3模型，替换其最后一层全连接层，使其能应用在我们的图像分类任务上。

最后，利用训练完成的模型，就可以快速地判断照片中微孔板各个圆孔是否浑浊，此时只需操作人员提供各个圆孔对应的药物及浓度，本发明的方法就可以成功识别出每种药物的最低抑菌浓度。

本发明与现有技术相比，具有如下优点和有益效果：

1)便捷性：基于深度学习来识别最低抑菌浓度使得操作人员只要拍摄微孔板就能得到识别结果，方便省时。

2)准确度高：使用深度学习及卷积神经网络来判断图像中溶液的浑浊度，准确率上超越了传统图像处理算法，可靠性强。

3)模型所需样本较少：利用迁移学习思想构建及训练模型，使得模型无需海量样本也能训练出不错的效果。

4)模型训练速度较快：在迁移学习思想的帮助下，使得模型训练时需要更新的参数大大减少，这让模型训练速度得到明显提高。

附图说明

图1是现有技术中卷积神经网络的结构示意图；

图2是图1中卷积层过滤器(filter)结构示意图；

图3是图1中池化层过滤器示意图；

图4是图1中全连接层示意图；

图5是微孔板抑菌试验示意图；

图6是本发明基于深度学习的最低抑菌浓度识别方法的流程图；

图7是本发明图像切割示意图；

图8是本发明人工标注示意图；

图9是本发明构建模型结构示意图；

图10是本发明迁移学习示意图；

图11(a)、图11(b)分别是变换前后变换后的dropout示意图；

图12是本发明使用模型预测是否浑浊流程图；

图13是本发明得到药品最低抑菌浓度流程图；

图14是本发明识别结果示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本发明的目标在于，在微孔板抑菌实验中，快速识别药物的最低抑菌浓度，需要在药物培养完成后，从含有微孔板的照片中准确识别出每个圆孔中溶液的浑浊度，进而得到对应药物的最低抑菌浓度。而识别药品的最低抑菌浓度中关键的一步在于，确定微孔板中每个孔中的药品的抑菌程度，可以通过观察孔中液体是否清澈来判断。为此，本发明通过建立深度学习模型来完成这项辨别图像中液体是清澈还是浑浊的分类任务。

本发明基于深度学习的最低抑菌浓度识别方法的总体思路是先构建模型、训练模型，然后使用训练好的模型来进行预测，最终，本方法能检测出微孔板中每个孔中药品的抑菌情况，从而得到药品对应的最低抑菌浓度，如图6所示，具体包括下述步骤：

s1、图像切割得到单孔图像：对原始图像进行预处理，将原始图像处理成模型能够接收的单孔图像；

该原始图像包含一整个微孔板，为了分别得到微孔板中每个孔中药品的抑菌情况，需要对图像作切割，使其变成若干张不同的单孔图像。这里可以使用图像处理技术找出微孔板中每个孔的位置，然后进行切割，切割效果图7所示。切割的时候需要同时保留每个单孔图像对应到微孔板中的位置，因为这个位置同时代表了孔中药品对应的种类与浓度。

s2、构造样本：给用作训练的单孔图像加上对应标签，构成深度学习模型能够用来训练的样本，所述标签是指注明了溶液浑浊与否；

上述步骤s2的目的在于为深度学习模型提供训练样本，本发明的深度学习模型需要的样本是注明了浑浊与否的单孔图片，即带有标签的数据。故必须为每一张用来做训练的图片标注上对应标签，这个步骤需要人工完成，即用肉眼去判断每张图片中的溶液是否浑浊。例如图8中12张单孔图片，通过肉眼可以明显判断出其中有10张图片溶液浑浊，2张图片溶液清澈，标注完成之后，样本即构造完成。

s3、构建及训练模型：构建能够用来识别溶液浑浊与否的模型，并用训练样本集进行训练；

步骤s2中得到了模型训练所需的样本集，现在可以构建深度学习模型来训练。由于抑菌试验需要的成本，特别是时间成本较高，所以所能得到的样本数量较为有限，不足以重头训练大型的深度学习模型，故本发明利用迁移学习(transferlearning)的思想来构建我们的模型。迁移学习，可以理解为将一个问题上训练好的模型通过简单的调整，使其适用于一个新的与原问题类似的问题。类似于已经会骑自行车的人类学习骑摩托车，可能会比重头开始学习骑摩托车要学得快且好，迁移学习将在一个问题上训练好的提取特征的能力迁移到一个类似的新的问题上，使得应用于新的问题的模型在训练上的难度显著降低。

基于迁移学习的思想，利用google在imagenet数据集上训练好的inception-v3模型，如图10所示，该模型最后的全连接层输出1000个节点，再经过softmax层后，输出imagenet数据集中1000类样本中每一类的概率。如图10所示，为将模型迁移到浑浊度识别问题上，替换该模型的最后一层全连接层与softmax层，使新的全连接层的输出节点为2，再经softmax层后，能输出浑浊与清澈分别的概率。而模型其他部分保持与原模型相同，故，修改后的模型结构图如图9所示。

深度学习模型由于其模型规模较大，要想在处理问题上要取得良好表现，需要海量的标注数据，例如imagenet图像分类数据集中有120万标注图片，所以才能将152层的resnet的模型训练到96.5％的正确率。而在实际的应用中，很难收集到这么多的样本，此时就可以利用迁移学习思想，将已经训练好的大型深度学习模型进行简单的调整，例如只是替换最后一层全连接层，使其能应用到新的问题，之后只需较少的样本进行训练，就能得到足够好的模型表现。

s3.1、构建模型，具体包括下述内容：

由于图像识别这类问题的共通点很多，都是需要检测出图像中物体的轮廓与某些特定结构，所以有理由认为一个在原图像问题上已经训练好的模型迁移到另一个新的图像识别问题，是能发挥一定作用的，特别是当原图像识别问题比新问题要更复杂时。imagenet分类任务的类别数量为1000，远比本发明的任务要更复杂，所以在imagenet数据集上训练好的模型在捕捉图片关键特征的能力足够强大，可以将这种模型迁移到我们的分类任务上，进行微调后，就可以得到一个效果不错的模型。

因此，本发明的模型基于迁移学习的思想，利用google在imagenet数据集上训练好的inception-v3模型，替换这个预训练模型的最后一层全连接层与softmax层，使其能够将输入样本分成两类(浑浊与清澈)，从而满足我们的需求。模型结构和迁移学习如图9、图10所示。

下面对图9中的inception结构、concat层、dropout层、softmax层作详细分析。

1)inception结构；

inception结构是inception-v3模型中的重要组成部分。它将不同的卷积层通过并联的方式结合在一起，使得神经网络具有不同的视野尺度，进一步提高了模型的表达能力。

2)concat层；

concat层只是一个简单的拼接层，用于将多个神经网络节点矩阵拼接成一个节点矩阵，一般是在第三维度，即深度上拼接的。

3)dropout层；

dropout层是一种良好的模型过拟合问题解决方案，它基于训练整体神经网络模型，并平均整个集合的结果。具体上，它在训练时的每次前向运算中以一定概率舍弃部分神经元，只保留剩下的神经元输出运算结果，即被舍弃的神经元的输出结果为0，如图11(a)、图11(b)所示。

4)softmax层

softmax层的用途在于将神经网络的输出变成一个概率分布。

假设原始神经网络的输出为y1,y2,…,yn，那么经过softmax层处理之后的输出为：

从公式中可以看出，经过softmax层处理后的新输出满足概率分布的所有要求。

神经网络的输出变为概率分布能够让我们从直观上了解神经网络在执行分类任务时的确信度，即判断一个样例为不同类别的概率分别是多大，映射到我们的问题就是浑浊和清澈的概率分别是多大。同时，神经网络的输出变为概率分布，使得我们可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的差距，由此能定义我们训练所需的损失函数。

s3.2、训练模型，具体包括下述内容：

模型构建完成后，使用上一个流程得到的标注数据对模型进行训练，训练期间，选择保持最后一层全连接层之前的所有网络层的参数不变，只更新最后一层全连接层的参数。

这样处理的原因在于：样本的数量较少，可能不足以训练整个网络，容易出现严重的过拟合现象；由于最后一层全连接层之前的所有网络层在训练期间参数不变，所以整个训练阶段中，一个样本进入网络模型，直到最后一层全连接层之前，计算得到的结果不变，故本发明可以暂存这个结果，这样在训练期间每一个样本在到达最后一层全连接层之前的计算就只需要计算一次，这大大加快了训练的速度。

s4、使用模型判断浑浊与否：模型训练完成之后的操作，此时模型可以接收训练集以外的图像，判断其溶液是浑浊还是清澈；

模型训练完成后，就可以判断新输入的单孔图片中溶液的浑浊与否了。当一张单孔图片进入模型后，模型将会输出其对图像中溶液浑浊与否的预测结果，结果表示为浑浊与清澈的概率分布。我们可以从浑浊与清澈的概率上看出模型对预测结果的确信度，若是浑浊的概率大于清澈的概率，那么模型即认为溶液时浑浊的，反之亦然。

如图12所示，使用模型判断浑浊与否具体步骤如下：

s4.1、使用模型预测图像浑浊与否的概率分布。

s4.2、如果浑浊的概率大于清澈的概率，则标记该单孔图像的类别为浑浊。

s4.3、如果浑浊的概率小于清澈的概率，则标记该单孔图像的类别为清澈。

s5、得到药品对应最低抑菌浓度：模型对原始图像所有圆孔都判断完后，根据微孔板中各个圆孔的浑浊/清澈情况得出药品最低抑菌浓度。

前面通过模型的预测，对微孔板图像中每个单孔的浑浊与否都做好了标记，现在可以通过这些标记好的单孔与对应的药物浓度，得到药品的最低抑菌浓度。

由于本实施例规定微孔板中每一行检测一种药品，行中从左到右药品浓度逐渐减少，即抑菌能力逐渐减弱，所以理想情况下，行中将会出现，左侧若干圆孔溶液清澈，右侧若干圆孔溶液浑浊，且越往右越浑浊。此时从左到右最后一个清澈的圆孔对应的药品浓度即为药品的最低抑菌浓度，因为比这浓度更低的圆孔溶液是浑浊的，这说明其细菌还未被完全抑制生长。不过有时行中最高浓度的药物依然无法让溶液变浑浊，则此时行中不存在最低抑菌浓度。

如图13所示，得到药品最低抑菌浓度的流程具体如下：

s5.1、得到微孔板每一行对应的药品类别。

s5.2、如果药品对应行中不存在清澈的孔，则行中不存在最低抑菌浓度。

s5.3、如果药品对应行中存在清澈的孔，记录药品对应行中从左到右最后一个清澈的孔的位置。

s5.4、查阅该孔对应的浓度。

具体识别结果如图14所示，负号(-)表示清澈，正号(+)表示浑浊，圆环标记的圆孔溶液浓度为对应药品的最低抑菌浓度。

通过上述基于深度学习的最低抑菌浓度识别方法，无需其他专用设备，且几乎没有学习成本，只需要操作人员拍摄药物抑菌试验中的微孔板，就能快速地识别出对应药物的最低抑菌浓度。该方法大大提高了操作人员的工作效率，并且由于其无需专用设备的特性，能够推广到大多数的工作单位，为工作研究提供方便。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。