本发明属于医学图像处理领域，一种基于trimmedssd的尿沉渣有形成分自动识别方法。
背景技术：
显微图像的尿沉渣生物颗粒检测是医学实验室中最常见的筛查诊断实验之一。它能够辅助医师诊断肾脏和尿路等方面的疾病，也是监测身体健康状况的重要指标。传统方法上，经过培训的技师通过肉眼观测统计各种尿沉渣有形成分的数目。这种人工尿沉渣检测方法虽然是有效的，但耗时耗力并且存在一定的主观性，不适用于大批量的实验室操作。
人工尿沉渣有形成分检测中存在的问题激发了大量尿显微图像自动化分析方法的产生。伴随计算机视觉和图像处理领域相关技术的发展，已有的自动化方法几乎都采用了多阶段的识别流程，即首先基于精确的目标分割生成多个候选区域，然后基于开发人员的工作经验和对问题的分析为候选区域全面提取多种有效的手工特征，最后还需选择并训练合适的分类器以完成最终的分类。因此，这些方法的表现很大程度上取决于各个阶段的有效实现和紧密配合，尤其是目标区域分割的精确性和手工特征设计的有效性。然而，尿沉渣显微图像的复杂特点使得精确的区域分割相当困难，同时这又进一步导致了提取的手工特征不具鉴别性，影响最终分类的性能。因此，近年来开发人员对于更好的尿沉渣有形成分自动识别方案的需求也愈加迫切。
与此同时，具备卓越表现的深度卷积神经网络(cnn)自复兴以来就受到了广泛的关注。当前，计算机视觉领域的很多最先进算法都采用了神经网络相关的深度学习技术。尤其在自然对象检测领域，以卷积神经网络为基础的检测框架不断改进，在速度和精度上已经能够满足很多的应用需求。但是，目前还没有看到其在尿沉渣有形成分自动识别领域的研究和尝试。
技术实现要素：
本发明提供了一种基于trimmedssd的尿沉渣有形成分自动识别方法，将尿沉渣有形成分识别作为物体的检测问题，通过构建全卷积的trimmedssd识别框架，避免了精确的区域分割阶段和手工特征提取过程，针对尿沉渣有形成分识别任务以一种端到端的有监督方式自主地进行特征提取、分类和定位的学习。
一种基于trimmedssd的尿沉渣有形成分自动识别方法，包括以下步骤：
步骤1：构建尿沉渣图像训练集和测试集；
采集尿沉渣显微图像，对尿沉渣显微图像中的尿沉渣有形成分进行标注操作，随机选取经过标注操作后的尿沉渣显微图像构建训练集和测试集；
其中，对尿沉渣显微图像中的尿沉渣有形成分进行标注操作是指对尿沉渣显微图像中的尿沉渣有形成分所在的区域进行矩形框标注，并记录各矩形框的中心坐标位置、宽和高，以及矩形框中有形成分类别；
所述尿沉渣有形成分包括红细胞、白细胞、上皮细胞、晶体、管型、霉菌以及上皮细胞核七类；
步骤2：构建trimmedssd尿沉渣有形成分识别网络；
所述trimmedssd尿沉渣有形成分识别架构包括依次相连的特征提取网络和目标识别网络；
其中，所述特征提取网络包括依次相连的提取局部细节特征的基础卷积网络和提取全局语义特征的辅助卷积网络，所述基础卷积网络和辅助卷积网络均由多层卷积模块构建；
所述目标识别网络包括依次相连的离散化模块、卷积滤波模块以及预测结果筛选模块，所述离散化模块，首先将输入到目标识别网络的特征图映射回原始图像，然后按照特征图的尺寸大小对原始图像进行均匀网格划分，接着依次在每个网格的位置上根据不同的尺度和比例设置获得多个默认方框，再将所有默认方框输入到所述卷积滤波模块进行滤波处理，得到每个默认方框对所有类别的置信度和默认方框到预测框的调整值；所述预测结果筛选模块，依据设置的置信度阈值对预测框进行筛选；
其中，默认方框和预测框的位置信息包括中心点坐标及宽和高；
步骤3：初始化所述trimmedssd尿沉渣有形成分识别网络的卷积权重参数；
所述基础卷积网络中的卷积权重的初始化值采用imagenet数据集上用于分类任务的预训练的cnn模型参数；
所述辅助卷积网络和目标识别网络的卷积权重参数的初始化值采用xavier随机初始化获得；
使得随机初始化参数满足如下均匀分布：
其中m和n分别代表所在卷积层的输入和输出维度；
步骤4：设置所述trimmedssd尿沉渣有形成分识别网络的训练参数；
输入图像的尺寸为300×300，单个gpu上的小批量尺寸为32，学习率策略采用多步学习率策略，其步长为[8000010000120000]，初始学习率为0.001，gamma值为0.1，最大迭代次数为12000；
步骤5：获取基于trimmedssd的尿沉渣有形成分预测模型；
在caffe深度学习平台上，利用步骤1得到的尿沉渣图像训练集，结合步骤3和步骤4设置的初始化参数和训练参数，训练trimmedssd尿沉渣有形成分识别网络，迭代至最大迭代次数后获得基于trimmedssd的尿沉渣有形成分预测模型；
在训练过程中，计算每个默认方框调整到预测框和被分类到具体有形成分的过程对应的损失函数，以所有默认方框对应的损失函数最小时，确定所述trimmedssd尿沉渣有形成分识别网络的卷积权重参数；
步骤6：输入任意待预测尿沉渣图像至基于trimmedssd的尿沉渣有形成分预测模型，得到待预测尿沉渣图像中包含的各类尿沉渣有形成分类别以及所在的矩形框位置；
所述矩形框位置包括中心点坐标及宽和高。
进一步地，所述基础卷积网络采用截去头部全连接层和softmax层的vgg-16卷积模型，包含五组卷积模块，具体形式如下，
input->[[conv->relu]*2->pool]*2->[[conv->relu]*3->pool]*3
其中，input在训练时代表尿沉渣图像和标注信息，*代表重复次数，conv代表卷积核尺寸为3×3，步长为1的卷积层，relu为非线性激活函数层，pool代表池化区域，大小为2×2，步长为2的最大值池化层。
进一步地，所述辅助卷积网络包含四组卷积模块，具体形式如下，
[3×3conv->relu]->[1×1conv->relu]*2->[3×3conv->relu]
其中，第一组和第四组的卷积核尺寸为3×3，第二组和第三组的卷积核尺寸为1×1，前三组卷积步长均为1，第四组卷积步长为2。
进一步地，所述目标识别网络中的卷积滤波模块包含三组并列的卷积模块，均由卷积核尺寸为3×3，步长为1的卷积层组成；
以所述基础卷积网络的第四组卷积模块及所述辅助卷积网络的第二组和第四组卷积模块输出的特征图分别作为所述卷积滤波模块中三组并列的卷积模块的输入数据，且所述卷积滤波模块中三组并列的卷积模块的卷积输出数目均为k×(c+sl)，其中，k代表以每个网格单元的中心点设置的默认方框数量，c代表预测目标类别数，sl代表记录每个默认方框的位置信息所使用的数据位数；
依据第k个特征图的尺寸对原始图像进行网格划分，所述特征图的尺寸大小为fk×fk，划分后的网格图像中，第i行、第j列方格的中心点坐标为
中心点坐标被归一化到[0，1]之间；
其中，ar代表默认方框的宽和高的比例值，
其中，smin和smax分别为输入至卷积滤波模块的第一层和最后一层的特征图对应的最小尺度和最大尺度，m为由输入至卷积滤波模块的特征图数量。
进一步地，所述损失函数由分类损失和定位损失两部分组成，具体形式如下：
其中，l(x，c，t，l，g)表示损失函数，n代表所有默认方框数量，x代表默认方框是否与标注框匹配，匹配为1，不匹配为0，c代表预测的类别置信度，t、l、g均为向量，t代表默认方框中心坐标及宽、高，l代表预测的预测框中心坐标及宽、高，g代表标注方框中心坐标及宽、高，α代表权重项，lconf(x，c)为分类损失，采用sofmax损失，lloc(x，t，l，g)为定位损失，采用smoothl1损失。
进一步地，在训练trimmedssd尿沉渣有形成分识别网络过程中，通过小批量随机梯度下降算法迭代优化损失函数，使得损失函数值达到最小，调整trimmedssd尿沉渣有形成分识别网络的卷积权重参数。
进一步地，所述预测结果筛选模块的处理过程如下：
(1)将置信度低于0.01的所有预测框均删除，得到第一剩余预测框组；
用于去除大部分无用的预测；
(2)依据设定的交并比iou阈值，采用非极大值抑制处理分类别去除预测框的重叠框，从第一剩余预测框组中筛选出置信度较高的第二剩余预测框组；
(3)对非极大值抑制处理之后得到的预测框依置信度高低进行排序，保留前600个预测框。
进一步地，所述非极大值抑制处理中设定的交并比iou阈值为0.45。
进一步地，目标类别数c等于8，最小尺度smin为0.1，最大尺度smax为0.9，待预测的特征图数m为3，对应三个不同层特征图，默认方框的数目k分别为3、5、5，默认方框的比例ar分别属于{1,2,1/2}、{1,2,3,1/2,1/3}和{1,2,3,1/2,1/3}三个比例集合。
有益效果
本发明提出了一种基于trimmedssd的尿沉渣有形成分自动识别方法，将尿沉渣有形成分识别作为物体的检测问题，通过构建全卷积的trimmedssd识别框架，避免了精确的区域分割阶段和手工特征提取过程，针对尿沉渣有形成分识别任务以一种端到端的有监督方式自主地进行特征提取、分类和定位的学习。最终，在我们自有的尿沉渣测试集上对红细胞、白细胞、上皮细胞、晶体、管型、霉菌、上皮细胞核7类有形成分的预测结果进行评估，训练得到的trimmedssd模型获得了77.3％的最佳map，同时每张图像的识别只需21ms。
附图说明
图1是传统的多阶段尿沉渣颗粒识别流程图。
图2是基于trimmedssd的端到端尿沉渣有形成分识别流程图。
图3是显微图像中七类尿沉渣有形成分的形态采样图。
图4是trimmedssd结构直观图；
图5是trimmedssd的结构细节图。
图6是默认方框机制图。
图7是一个测试样例示意图，其中，(a)为专家标注图，(b)为应用本发明所述方法的检测结果图。
具体实施方式
下面将结合附图和实例对本发明做进一步的说明。
如图1所示，已有的尿显微图像自动化分析方法采用传统的多阶段识别流程，包括分割，手工特征提取和分类器训练三个主要阶段。尽管每个阶段都有大量的算法可供选择，但这些算法对于尿沉渣显微图像的表现很大程度上取决于各个阶段的适用性改良和紧密配合，其中目标区域分割的精确性和手工特征设计的有效性尤为关键。
如图2所示，本发明将尿沉渣有形成分识别作为物体的检测问题，通过构建全卷积的trimmedssd框架，将分割，特征提取和分类有效整合到一个网络中。这种端到端的检测方法不仅大大简化了算法开发的复杂性，还可以针对尿沉渣有形成分识别的特定任务以一种有监督方式自主地进行特征提取、分类和定位的学习。
本发明一种基于trimmedssd的尿沉渣有形成分自动识别方法主要包括如下步骤：
步骤1：采集尿沉渣显微图像，并对图像中的尿沉渣有形成分进行标注操作，随机选取制作训练集和测试集。所述尿沉渣有形成分包括红细胞(eryth)、白细胞(leuko)、上皮细胞(epith)、晶体(cryst)、管型(cast)、霉菌(mycete)、上皮细胞核(epithn)7种类型。如图3所示，每种尿沉渣有形成分均呈现出了多样的表现形态，并且类与类之间也存在着一定的相似性，例如红细胞与白细胞、上皮细胞、上皮细胞核甚至晶体之间都有着难以区分的相似形态。所述标注操作是指对图像中出现的所有有形成分用矩形框给出位置坐标，并用文本给出对应的类别。
步骤2：构建trimmedssd尿沉渣有形成分识别网络；
如图4所示，trimmedssd为全卷积的识别架构，由特征提取网络(featureextraction)和目标识别网络(prediction)两部分组成，其中，特征提取网络由浅入深又可继续分为提取局部细节特征的基础卷积网络(base-net)和提取全局语义特征的辅助卷积网络(auxiliary-net)，目标识别网络从特征提取网络的不同层中选取三个特征图(featuremap)作为输入，通过离散化每个特征图的输出空间得到默认方框，然后在每个默认方框上经三组卷积滤波获得默认方框对全部类别的置信度(confidences)和具体位置的矩形框坐标(locations)。
具体细节如图5所示，trimmedssd是一个前向传播的卷积神经网络，可以在多个不同分辨率的特征图上同时产生类别和位置的预测。trimmedssd框架最开始部分是基础网络，选自用于图像分类的标准结构，如vgg-16，并且裁掉了所有涉及分类的层。在基础网络之后，继续添加了额外的辅助网络结构，用来进一步提取抽象级别更高的全局特征。接着，从以上两个网络中选取不同层的卷积输出作为特征图，如基础卷积网络的第四组conv4_3、辅助卷积网络的第二组conv6_2和第四组conv6_4，输入到目标识别网络。目标识别网络对每一个特征图都使用一组卷积滤波器来产生一组特定的预测。对一个大小为m×n，通道数为p的特征图，使用一个3×3×p的卷积核卷积可以得到默认方框的一个类别概率或者是一个默认方框到预测框的调整值。在m×n特征图的每个默认方框位置上运用上面的卷积核即会产生一组对应属性的输出值。
假设特征图单元的每个位置上有k个默认方框，需要预测c类目标以及每个默认方框的sl个矩形框坐标表示值，那么就需要有(c+sl)×k个卷积核，对于以上m×n大小的特征图，即会产生(c+sl)×k×m×n个输出结果。最后综合所有的预测，通过预测结果筛选模块(selectmodule)之后得到最终的检测结果(detectionresults)。
如图6所示，默认方框是离散化特征图的输出空间得到的，代表待预测候选区域，具有不同的比例，对应于不同深度的特征图还具有不同的尺度。由于特征提取网络中不同的层有着不同大小的感受野，所以默认方框的尺度大小与相应层的感受野大小呈正相关，其计算方式如下，
其中，smin和smax作为最大和最小尺度分别对应于最浅层和最深层的特征图，m是所有待预测的特征图数，处于最浅层和最深层之间的特征图的默认方框尺度则根据被上式均匀划分，sk既是第k个特征图中默认方框的尺度大小，默认方框的宽
公式中参数ar代表假设默认方框的比例。
针对7类尿沉渣有形成分识别，目标类别数c等于8，每个默认方框的坐标表示值数s等于4，最小尺度smin为0.1，最大尺度smax为0.9，待预测的特征图数m为3，对应三个不同层特征图，默认方框的数目k分别为3、5、5，默认方框的比例ar分别属于{1,2,1/2}、{1,2,3,1/2,1/3}和{1,2,3,1/2,1/3}三个比例集合。
步骤3：设置trimmedssd网络的卷积初始化参数；
所述卷积初始化参数的设置分为两部分：基础卷积网络的初始化采用imagenet数据集上用于分类任务的预训练的cnn模型参数，辅助卷积网络和目标识别网络的初始化采用”xavier”随机初始化方法，即，使得随机初始化参数满足如下均匀分布，其中m和n分别代表所在卷积层的输入和输出维度；
步骤4：设置trimmedssd网络的训练参数，包括输入图片的尺寸为300×300，单个gpu上的小批量尺寸为32，学习率策略采用多步学习率策略，其步长为[8000010000120000]，初始学习率为0.001，gamma值为0.1，最大迭代次数为12000。
步骤5：在caffe深度学习平台上，利用步骤1所述的尿沉渣训练集训练trimmedssd尿沉渣有形成分识别网络，并通过小批量随机梯度下降算法迭代优化损失函数，进而调整网络的参数，迭代至最大迭代次数后即可获得用于尿沉渣有形成分自动识别的trimmedssd预测模型。
其中，l(x，c，t，l，g)表示损失函数，n代表所有默认方框数量，x代表默认方框是否与标注框匹配，匹配为1，不匹配为0，c代表预测的类别置信度，t、l、g均为向量，t代表默认方框中心坐标及宽、高，l代表预测的预测框中心坐标及宽、高，g代表标注方框中心坐标及宽、高，α代表权重项，lconf(x，c)为分类损失，采用sofmax损失，lloc(x，t，l，g)为定位损失，采用smoothl1损失。
步骤6：利用步骤1所述的尿沉渣测试集对步骤5获得的trimmedssd预测模型进行识别精度和识别速度评估；
所述识别精度为交并比阈值设置为0.5时测试集图像中所有类别的平均识别精度map，所述识别速度为每张图像所需的预测时间；经测试，对全部的7类有形成分trimmedssd模型获得了77.3％的最佳map，同时每张图像的识别只需21ms。
步骤7：输入任意待预测尿沉渣图片至步骤5获得的trimmedssd预测模型均可输出对步骤1所述7类有形成分的识别结果，使用者可以通过设定置信度阈值来显示大于所设置信度阈值的预测结果。
图7(a)是一张测试图片的专家标注结果，图7(b)是图7(a)所用的原始图片经训练好的trimmedssd模型的预测结果，其置信度阈值设定为0.7，即仅显示置信度大于0.7的预测结果。两张图片对比可知，在置信度设置很高的情况下本发明方法也基本可以正确检测图片中的所有目标。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。