一种基于卷积神经网络的人体粪便自动识别方法与流程

本发明属于数字图像处理领域和深度学习领域，具体涉及卷积神经网络和多输出分类的人体粪便自动识别方法。

技术背景

人体粪便的外观性状特征包括形状和颜色两方面特征，这两个特征可以反映出人体的病理情况。在医院的粪便检查中，性状的检查往往需要由病人取少量样本放置于样本盒中，然后送往检验科由专业检验师进行人工判断。其中存在三个问题，其一是取少量样本进行观察难以反应出整体样本的真实情况；其二是虽然在专业医师的判读下可以得到相对准确的结果，但是这对于常规用途是不切实际的，特别是针对在一般人群的使用情况无法在其便后立即的大片粪便样本的准确评估；其三是粪便检查作为三大常规检查之一，日常检查量相对于其它非常规检查项目来说较大，对于人工识别来说不仅仅是工作强度高、效率低下的问题，更为重要的是由于检测速度慢带来的样本性状发生改变，导致不准确的识别结果。另一方面，基于传统图像特征的图像分类识别算法，例如hog特征以及glcm特征等，由于其容易受到环境等因素的影响，导致其在实际应用中存在许多困难。

随着数字图像处理技术以及深度学习技术的不断发展，越来越多的领域使用自动识别技术代替人工完成相关工作。针对于人体粪便的自动识别问题，实现是利用粪便区域在图像不同颜色空间中的特征差异和形态学操作去掉图像中无用的背景区域，得到图像中的粪便区域。然后构建两个相同结构的卷积神经网络分支，其中一个是粪便形状识别分支，以粪便区域的灰度图像作为输入，使其能够专注于学习粪便的形状结构特征；另一个分支是粪便颜色识别分支，以粪便区域的hsv彩色空间图像作为输入，使其能够专注于学习图像中粪便的颜色特征。进一步利用迁移学习将网络在源数据域上学习到的知识迁移到粪便形状和颜色识别的目标任务上，使得网络能够快速达到收敛。最后联合多个相互独立的mlp(multi-layerperceptron，多层感知机)分类器，先对类间差异明显的类别进行分类，再对类间差异较小的类别进行分类。

技术实现要素：

本发明针对目前医院粪便常规检测中存在的问题：少量样本不能代表整体样本真实情况、因需要专业检验师判读而难以用于常规用途、由于样本量较大导致人工检查效率低而导致的错误的检验结果，设计了一种基于深度学习的人体粪便自动识别方法，以此实现快速、可靠、低成本高度自动化的识别人体粪便性状的目的。

本发明技术方案是一种基于卷积神经网络的人体粪便自动识别方法，该方法包括以下步骤：

步骤1：采集人群便后的粪便图像；

步骤2：对步骤1采集到的样本图像，为每张图像创建形状和颜色标签；

步骤3：对步骤2处理后的rgb彩色空间中的图像，转换为hsv彩色空间表示的图像，提取hsv彩色空间s通道图像后，再对s通道图像二值化得二值图像m1；

步骤4：对步骤3得到的图像m1进行形态学开操作得图像m2；

步骤5：对步骤4得到的图像m2计算最大连通域，该区域即为粪便区域，然后在步骤2中的原始图像中裁剪对应最大连通域的图像的外接矩形roi图像；

步骤6：基于vgg19卷积神经网络搭建两个分支结构，利用其在源域imagenet数据集上的预训练模型，针对粪便形状识别分支将步骤5输出的rgb彩色图像转换为灰度图像作为网络的输入，针对粪便颜色识别分支将步骤5输出的rgb彩色图像转换为hsv彩色图像作为该分支的输入；

步骤7：对步骤6搭建的两个神经网络分支进行迁移学习，并且将两个分支的第一个全连接层fc6的输出分别作为粪便区域的形状特征和颜色特征；

步骤8：对步骤7中输出的粪便区域的形状特征，训练多个mlp分类器进行形状分类；对步骤7中输出的粪便区域的颜色特征，训练多个mlp分类器进行颜色分类，对于每个分类器使用每个类70％的数据作为训练集，30％的数据作为测试集；

步骤9：对于新采集的粪便样本图像，经过步骤3到步骤7的处理后，使用步骤8训练的mlp分类器，对其进行分类。

其中，所述步骤2具体为：根据专业检验师的建议，将粪便的颜色分为黄色、金黄色、棕黄色(褐色)、黑色、鲜红色、暗红色、灰白色、绿色；并且按照布里斯托分类表中对大便形状进行分类标注分别为类型1、2、…、7。

其中，所述步骤5具体为：

步骤5.1：对步骤4得到的图像m2计算8连通域图像；

步骤5.2：返回像素个数最大的连通域；

步骤5.3：对步骤5.2得到的最大连通域求外接矩形；

步骤5.4：对步骤5.3得到的外接矩形位置；

步骤5.5：以步骤5.4得到外接矩形的中心位置为中心，以外接矩形的较长边为边长，在步骤2原图中的对应位置裁剪正方形区域(如果超出原图范围，则以边界行列像素进行镜像填充)即为图像中的粪便区域。

其中，所述步骤6具体为：搭建vgg19网络结构，该网络结构具有4个卷积块，即4个block，每一个block之后接一个maxpooling，每个卷积层之后都接一个relu非线性变换操作，并且对最后一个卷积层进行maxpooling之后接一个fullyconnected，最终得到一个4096维的特征，对于粪便形状识别和粪便颜色识别两个分支，它们具有相同的网络结构；需要注意的是这两个分支具有不同的输入，对于粪便识别分支以三个通道的灰度图像作为输入，对于粪便颜色识别分支以hsv彩色空间的三通道图像作为输入。

其中，所述步骤8具体为：

步骤8.1：对于粪便形状识别分支，按照标准的布里斯托尔分类表将其分为了1、2、3、4、5、6、7类，但是在实际的情况中，3类和4类、5类与6类粪便在形状上非常接近，因此先将3类和4类合并为同一类(类标签为34)，将5类和6类合并为同一类(类标签为56类)，训练一个分类器mlp-1对1类、2类、34类、56类、7类进行5分类；

步骤8.2：对步骤8.1的分类结果，训练分类器mlp-2对34类进行二分类——3类和4类，训练分类器mlp-3对56类进行二分类——5类和6类，需要注意的是mlp-1、mlp-2和mlp-3这三个分类器都以粪便形状识别分支输出的特征向量作为输入，联合上述三个分类器对粪便形状进行准确分类；

步骤8.3：对于粪便颜色识别分支，按照医生建议将粪便颜色分为了黄色、金黄色、棕黄色、黑色、鲜红色、暗红色、灰白色、绿色，在实际情况中，黄色、金黄色和棕黄色，鲜红色和暗红色在颜色特征上非常相近，因此先将黄色、金黄色和褐色合并为同一类(类标签为黄色)，将鲜红色和暗红色合并为同一类(类标签为红色)，训练一个分类器mlp-4对黄色、黑色、红色、灰白色、绿色进行5分类；

步骤8.4：对步骤8.3的分类结果，训练分类器mlp-5对黄色进行三分类——黄色、金黄色、棕黄色，训练分类器mlp-6对红色进行二分类——鲜红色和暗红色，需要注意的是mlp-4、mlp-5和mlp-6这三个分类器都以粪便颜色识别分支输出的特征向量作为输入，联合这三个分类器对粪便颜色进行准确分类；

步骤8.5：在经过粪便区域外接矩形框提取的样本中每个类别随机选取70％数量的样本作为训练集，30％数量的样本作为测试集，保存在测试集上表现最好的模型。

步骤8.6：采用召回率f1-score来对模型进行评估，f1-score＝precision*recall*2/(precision+recall)，其中精确率precision＝tp/(tp+fp)，召回率recall＝tp/(tp+fn)，其中tp表示模型对某一类正确分类的个数，fp表示模型将其他类别识别为该类的个数，fn表示模型将该类识别为其它类别的个数；

本发明是一种基于图像彩色与卷积神经网络的人体粪便自动识别方法，该方法首先是对图像的hsv彩色空间中的s通道进行二值化后进行形态开操作，得到图像中粪便区域的准确位置，然后基于vgg19卷积神经网络搭建两个分支结构，一个分支用于粪便形状特征学习，另一个分支进行粪便颜色特征学习，利用其在imagenet上的预训练模型进行迁移学习，分别对粪便形状和粪便颜色进行特征提取，进一步对于粪便形状识别分支和粪便颜色识别分支分别联合多个mlp分类器，先对类间差异大的类别进行分类，再对类间差异小的类别进行精确分类。独立的两个网络分支使得粪便形状和颜色可以同时预测，进行多输出分类；互不影响的联合mlp分类器结构使得粪便形状和颜色识别能够得到更准确的结果。本发明与需要专业检验师检测的人工检测方法相比，具有大众实用性强、时效性高、低成本高度自动化的特点，与基于传统图像特征的例如hog、glcm特征的分类方法相比，使用基于卷积神经网络的特征提取技术具有更好的鲁棒性。

附图说明

图1是布里斯托粪便类型分类表；

图2是粪便颜色分类表；

图3是原始图像中粪便roi区域提取流程图；

图4是发明方法的整体框架；

图5是基于vgg19微调的卷积神经网络结构；

具体实施方式

下面结合附图，对本发明一种基于卷积神经网络的人体粪便自动识别方法进行详细说明：

步骤1：为了适应一般人群的使用，因此首先对一定数量的人群采集其便后马桶中的粪便图像；

步骤2：对步骤1采集到的样本图像，为每张图像创建形状和颜色标签，其具体为根据专业检验师的建议，将粪便的颜色分为黄色、金黄色、棕黄色(褐色)、黑色、鲜红色、暗红色、灰白色、绿色；并且按照布里斯托分类表中对大便形状进行分类标注分别为类型1、2、…、7；

步骤3：对步骤2处理后的rgb彩色空间中的图像，转换为hsv彩色空间表示的图像，提取hsv彩色空间s通道图像后，再对s通道图像二值化得二值图像m1；

步骤4：对步骤3得到的图像m1进行形态学开操作得图像m2；

步骤5：对步骤4得到的图像m2计算最大连通域，该区域即为粪便区域，然后在步骤2中的原始图像中裁剪对应最大连通域的图像的外接矩形roi图像；

步骤5.1：对步骤4得到的图像m2计算8连通域图像；

步骤5.2：返回像素个数最大的连通域；

步骤5.3：对步骤5.2得到的最大连通域求外接矩形；

步骤5.4：对步骤5.3得到的外接矩形位置；

步骤5.5：以步骤5.4得到外接矩形的中心位置为中心，以外接矩形的较长边为边长，在步骤2原图中的对应位置裁剪正方形区域(如果超出原图范围，则以边界行列像素进行镜像填充)即为图像中的粪便区域；

步骤6：基于vgg19卷积神经网络搭建两个分支结构，利用其在源域imagenet数据集上的预训练模型，针对粪便形状识别分支将步骤5输出的rgb彩色图像转换为灰度图像作为网络的输入，针对粪便颜色识别分支将步骤5输出的rgb彩色图像转换为hsv彩色图像作为该分支的输入,vgg19网络结构具有5个卷积块，即5个block，每一个block之后接一个maxpooling，每个卷积层之后都接一个relu非线性变换操作，并且对最后一个卷积层进行maxpooling之后接一个fullyconnected，最终得到一个4096维的特征。对于粪便形状识别和粪便颜色识别两个分支，它们具有相同的网络结构；需要注意的是这两个分支具有不同的输入，对于粪便识别分支以三个通道的灰度图像作为输入，对于粪便颜色识别分支以hsv彩色空间的三通道图像作为输入。；

步骤7：对步骤6搭建的两个神经网络分支进行迁移学习，并且将两个分支的第一个全连接层fc6的输出分别作为粪便区域的形状特征和颜色特征；

步骤8：对步骤7中输出的粪便区域的形状特征，训练多个mlp分类器进行形状分类；对步骤7中输出的粪便区域的颜色特征，训练多个mlp分类器进行颜色分类，对于每个分类器使用每个类70％的数据作为训练集，30％的数据作为测试集；

步骤8.1：对于粪便形状识别分支，按照标准的布里斯托尔分类表将其分为了1、2、3、4、5、6、7类，但是在实际的情况中，3类和4类、5类与6类粪便在形状上非常接近，因此先将3类和4类合并为同一类(类标签为34)，将5类和6类合并为同一类(类标签为56类)，训练一个分类器mlp-1对1类、2类、34类、56类、7类进行5分类；

步骤8.2：对步骤8.1的分类结果，训练分类器mlp-2对34类进行二分类——3类和4类，训练分类器mlp-3对56类进行二分类——5类和6类，需要注意的是mlp-1、mlp-2和mlp-3这三个分类器都以粪便形状识别分支输出的特征向量作为输入，联合上述三个分类器对粪便形状进行准确分类；

步骤8.3：对于粪便颜色识别分支，按照医生建议将粪便颜色分为了黄色、金黄色、棕黄色、黑色、鲜红色、暗红色、灰白色、绿色，在实际情况中，黄色、金黄色和棕黄色，鲜红色和暗红色在颜色特征上非常相近，因此先将黄色、金黄色和褐色合并为同一类(类标签为黄色)，将鲜红色和暗红色合并为同一类(类标签为红色)，训练一个分类器mlp-4对黄色、黑色、红色、灰白色、绿色进行5分类；

步骤8.4：对步骤8.3的分类结果，训练分类器mlp-5对黄色进行三分类——黄色、金黄色、棕黄色，训练分类器mlp-6对红色进行二分类——鲜红色和暗红色，需要注意的是mlp-4、mlp-5和mlp-6这三个分类器都以粪便颜色识别分支输出的特征向量作为输入，联合这三个分类器对粪便颜色进行准确分类；

步骤8.5：在经过粪便区域外接矩形框提取的样本中每个类别随机选取70％数量的样本作为训练集，30％数量的样本作为测试集，保存在测试集上表现最好的模型。

步骤8.6：采用召回率f1-score来对模型进行评估，f1-score＝precision*recall*2/(precision+recall)，其中精确率precision＝tp/(tp+fp)，召回率recall＝tp/(tp+fn)，其中tp表示模型对某一类正确分类的个数，fp表示模型将其他类别识别为该类的个数，fn表示模型将该类识别为其它类别的个数；

步骤9：对于新采集的粪便样本图像，经过步骤3到步骤7的处理后，使用步骤8训练的mlp分类器，对其进行分类。