本发明属于多目标跟踪领域，设计了一种基于深度学习检测的癌细胞跟踪方法。
背景技术：
在生物和医学领域，观查细胞形态，观测细胞在药物环境下的反应，对研究细胞的行为属性来完成医学药物试验具有非常重要的作用，也是图像处理与模式识别领域的前沿研究方向。传统细胞的研究主要是在显微镜下对细胞进行染色，再人工完成细胞分类、计数和跟踪等工作，这些工作都太过繁杂，耗费大量人力财力却不能得到可靠的结果。为了降低工作人员的负担，同时提高研究效率，研究人员提出将计算机图像处理技术应用到目标跟踪领域，用计算机来实现细胞的跟踪。
目标跟踪领域被应用到细胞跟踪中的传统方法有：卡尔曼滤波，粒子滤波等预测算法、camshift等优化搜索方向类算法，这些算法使用追踪器利用上一帧的位置来预测其在下一帧的位置，虽然能对单目标进行快速的跟踪，但在跟踪过程中不仅会产生累计误差，同时当目标在跟踪过程中出现较大程度形变或遮挡问题时，这些算法的适应性较差，甚至当目标跟踪丢失时，追踪器就会永久失效，导致跟踪被限定在较为简单的背景之下。为了解决这些问题，研究人员提出集成检测、学习、跟踪算法为一体的跟踪算法：tld算法。tld算法中跟踪器根据前一帧目标的位置估计其在当前帧的位置，产生目标的运动轨迹，从这条运动轨迹可以为学习模块提供正样本；检测器对每一帧图像都做全面的扫描，找到与目标特征相似的所有位置，从检测结果中选择交给学习模块的正、负样本，算法从正样本中选取置信度最高的样本作为tld在当前帧的输出结果，然后使用这个结果重新初始化跟踪器的起始位置；学习模块根据检测器和追踪器产生的正负样本训练分类器，以此来改善检测器精度。tld算法虽然可以有效的解决细胞目标失跟问题，但在目标的检测与跟踪中依然使用传统特征来描述。同时传统跟踪方法大多应用于单目标跟踪，在多目标跟踪任务中，往往随着目标数量的增多，搜索时间效率呈指数级增长，并且不能有效的解决多目标跟踪场景中新目标的出现和旧目标的消失以及由于目标的分裂或合并造成的目标数目变化等问题。
技术实现要素：
为了克服已有癌细胞检测方式的准确性较低、癌细胞多目标的跟踪效率较低的不足，本发明提供一种准确性较高、癌细胞多目标的跟踪效率较高的基于深度学习检测的癌细胞跟踪方法。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习检测的癌细胞跟踪方法，所述方法包括以下步骤：
步骤1，进行数据集的预处理，采用pascal_voc数据集，所以数据的预处理需要将自己的数据集做成pascal_voc数据集格式，数据的预处理是对图片进行标定，得到带有目标类别和目标位置的图片标签；
步骤2，对数据集进行训练，实现目标的检测，采用fasterr-cnn网络，在数据预处理之后得到图片的标签，这里将这些标签和数据集作为fasterr-cnn网络的输入，进行网络训练之后得到最终的检测模型；
步骤3，最后对目标进行跟踪，得到的最终癌细胞检测模型已经完成对癌细胞的检测，可以精确地定位每个目标的位置，正确的判断目标的个数，再利用跟踪算法实现癌细胞的匹配关联实现目标的跟踪。
进一步，所述步骤2中，fasterr-cnn网络通过rpn网络确定目标的位置，fasterr-cnn网络确定目标类别并对目标位置进行精修，fasterr-cnn网络结构如下：
(1)convnet：convnet是一种cnn网络目标检测方法，抽取输入图片的特征图，前五层使用的是zfmodel，先进行一系列的卷积池化操作，将最后的conv5输出作为图片的特征图；
(2)rpn：rpn网络用于生成regionproposals，rpn网络输入为convnet的特征图，rpn先对conv5后的特征图进行3*3卷积操作，得到256维的输出，即每个像素点融合周边3*3的空间信息；接着用9个anchor对每个像素点进行映射，每个像素点映射回原图，映射的感受野中心点相同但比例大小不同，之后会采用iou指标对候选框进行筛选；同时，左支路将这些anchors输入到网络中的softmax来判断anchors属于前景还是背景，右支路输入到boundingboxregression进行anchors修正，获取准确的proposals；在这里采用了iou和回归操作来提高候选区域的准确性，进行这一系列操作，rpn网络就相当于实现了目标定位；
iou是定义同一候选区域的两个候选框重叠率的大小值，实现在选取最少候选框的情况下保证有较高的召回率。
a和b代表统一候选框的两个不同boundingbox，这时的重叠率iou计算方法：
iou＝(a∩b)/(a∪b)
数学表达式为两个框的公共面积与两个框所占总面积的比值；
在进行anchor的前景和背景判定时就是采用iou指标，当anchor与任意groundtruth包围框的iou值大于设定阈值时判定该anchor为fganchor；当anchor与任意groundtruth包围框的iou值小于设定阈值则判定该anchor为bganchor；得到fganchors后，有部分前景框和标签gt框相差太多，定位不准，就需要对前景框进行回归微调，使前景框和gt框更加接近；回归微调操作为：先对前景框进行平移，再进行框的缩放，目标是寻找一种关系使得输入的原始窗口p(proposal)经过映射达到一个跟真实标定窗口g更接近的回归预测窗口
(3)roipooling：roi池化输入为convnet输出的featuremap和rpn网络得到的proposals，这里是综合提取proposalfeaturemaps并进行尺寸的固定作用，方便送入后续全连接层判断目标类别；
(4)classification：利用roi池化得到固定大小的proposalfeaturemaps，通过全连接层与softmax计算每个proposal属于每个类别的概率值，同时再次利用boundingboxregression回归操作获得每个proposal的位置偏移量，最终得到检测框的精确位置，通过本结构后完全实现目标的分类和定位。
再进一步，所述步骤3中，利用跟踪算法对癌细胞的多目标跟踪，包括以下步骤：
3.1)找出数据集中目标：基于深度学习检测，数据集中的目标位置都得到很好的确定；
3.2)将不同帧的目标进行匹配关联：每一帧图片的目标位置确定之后，利用多特征融合的匹配方法完成每一帧每个目标的匹配，多特征融合函数为：
cost＝para1*conv+para2*position+para3*size
conv＝||fc·fced||
size＝(w-w0)·(h-h0)
fc代表当前检测帧中所有检测到细胞的卷积特征，fced表示匹配细胞的卷积特征，这里计算了两者卷积特征的欧氏距离来代表检测帧和匹配帧之间的目标差异程度；x、y代表当前检测帧中的细胞横纵向坐标x0、y0代表匹配细胞的横纵坐标，并且直接使用了空间距离来评价距离代价；w、h分别代表当前检测帧中细胞的长宽尺寸，w0、h0表示匹配细胞的长宽尺寸，这里使用两者差值的乘积来表示细胞之间尺寸的差异的代价，para1、para2和para3分别代表卷积特征、距离特征和尺寸大小特征的权重值；
3.3)将匹配好的目标进行序列号的对应：为了使每一帧中目标更容易对应并区分，对每一帧中每个目标进行标号，通过序号来实现目标的对应。
本发明的技术构思为：随着深度学习在计算机视觉领域的发展，深度学习的应用范围已经不局限在目标识别与检测领域，由于深度神经网络强大的特征描述能力以及鲁棒性，研究者也尝试将深度学习应用到目标跟踪领域，不断提出通过深度学习算法改进传统跟踪模型。本发明使用基于检测的方法对癌细胞进行多目标跟踪，并针对癌细胞的特点，本发明设计了包括卷积特征在内的综合特征描述子。其优势在于不仅利用神经网络实现癌细胞检测的高准确性，还利用神经网络的卷积特征，完成跟踪过程中特征的选取，提高了癌细胞多目标的跟踪效率。
具体通过深度学习fasterr-cnn网络实现癌细胞的检测，精确地定位每个目标的位置，正确的判断目标的个数，再利用基于检测的多目标跟踪算法保持癌细胞的连续跟踪。
本发明的有益效果主要表现在：基于检测的多目标跟踪，利用了fasterr-cnn深度检测器全连接层的特征，利用该特征包含了目标的轮廓和颜色信息，并且对目标的微小形变更加鲁棒的特点，设计了融合卷积特征、距离特征和尺寸大小特征的多特征匹配函数，最终达到优于传统跟踪方法的多目标跟踪效果；提高癌细胞跟踪系统结果的准确性、可靠性及快速性。
附图说明
图1为本发明所述基于检测的癌细胞跟踪系统的流程图；
图2为本发明所述fasterr-cnn基本结构图；
图3为跟踪序列中随机连续四帧的跟踪示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于深度学习检测的癌细胞跟踪方法，所述方法包括以下步骤：
步骤1，进行数据集的预处理，采用pascal_voc数据集，所以数据的预处理需要将自己的数据集做成pascal_voc数据集格式，数据的预处理是对图片进行标定，得到带有目标类别和目标位置的图片标签；
步骤2，对数据集进行训练，实现目标的检测，采用fasterr-cnn网络，在数据预处理之后得到图片的标签，这里将这些标签和数据集作为fasterr-cnn网络的输入，进行网络训练之后得到最终的检测模型；
步骤3，最后对目标进行跟踪，得到的最终癌细胞检测模型已经完成对癌细胞的检测，可以精确地定位每个目标的位置，正确的判断目标的个数，再利用跟踪算法实现癌细胞的匹配关联实现目标的跟踪。
进一步，所述步骤2中，癌细胞的检测：采用fasterr-cnn算法，主要实现rpn(regionproposalnetwork)卷积神经网络和fastr-cnn卷积神经网络的联合训练。通过rpn和fastr-cnn两网络共享zf网络输出的特征图，大大降低训练时间，提高训练速度。其中rpn网络利用特征图得到图片中的候选区域，实现目标的定位；fastr-cnn网络结合特征图和rpn网络得到的候选区域，通过softmax和回归操作，实现目标的分类和位置的精修，实现癌细胞的准确检测。
所述步骤3中，癌细胞的跟踪包括以下步骤：
3.1)找出数据集中目标：本发明是基于深度学习检测，通过fasterr-cnn网络检测，数据集中的目标类别及目标位置都得到很好的确定；
3.2)将不同帧的目标进行匹配关联：每一帧图片的目标类别及目标位置确定之后，本发明利用多特征融合的匹配方法完成每一帧每个目标的匹配。多特征融合函数为：
cost＝para1*conv+para2*position+para3*size
conv＝||fc·fced||
size＝(w-w0)·(h-h0)
fc代表当前检测帧中所有检测到细胞的卷积特征，fced表示匹配细胞的卷积特征，这里计算了两者卷积特征的欧氏距离来代表检测帧和匹配帧之间的目标差异程度；x、y代表当前检测帧中的细胞横纵向坐标x0、y0代表匹配细胞的横纵坐标，并且直接使用了空间距离来评价距离代价；w、h分别代表当前检测帧中细胞的长宽尺寸，w0、h0表示匹配细胞的长宽尺寸，这里使用两者差值的乘积来表示细胞之间尺寸的差异的代价，para1、para2和para3分别代表卷积特征、距离特征和尺寸大小特征的权重值，本发明使用的权重值分别为[0.30.30.4]；
3.3)将匹配好的目标进行序列号的对应：为了使每一帧中目标更容易对应并区分，本发明对每一帧中每个目标进行标号，可以通过序号来实现目标的对应。
本发明以剑桥大学肿瘤研究所提供的一组膀胱癌t24相称显微细胞图片序列为研究对象，完成了基于癌细胞的检测癌细胞的多目标跟踪，为进一步自动分析癌细胞的生命形态做好了准备。
本发明癌细胞的检测使用的是fasterr-cnn网络，该网络由一个rpn卷积神经网络和一个fastr-cnn卷积神经网络组成，其中rpn卷积神经网络处理的是回归问题，在本发明中主要负责获得图片中目标的候选区域；fastr-
cnn卷积神经网络处理的是分类问题，在发明中负责对rpn获取的候选区域进行进一步的筛选，再判别候选区域是否属于癌细胞。本发明癌细胞的跟踪使用的是基于检测的多目标跟踪方法，该方法首先利用fasterr-cnn深度检测器的检测结果得到癌细胞的位置信息，再利用fasterr-cnn网络第一层全连接层的卷积特征作为匹配函数的一个约束条件，同时还融入距离特征和尺寸大小特征到匹配函数中，实现多条件约束，最终得到细胞的匹配与关联。
以下将参照附图，对本发明进行详细的描述。
如图1所示，本发明采用的是fasterr-cnn算法，将事先人工做好标注和带有标签的任意大小图片作为网络的输入训练集，再训练rpn卷积神经网络来获取处理的训练集图片中目标的候选区域，然后将候选区域送入训练好的fastr-cnn卷积神经网络中做分类工作，根据fastr-cnn卷积神经网络的输出向量判别癌细胞的候选区域是否属于最佳癌细胞区域，若为最佳候选区域，则得到癌细胞检测的结果。得到检测结果之后，取出fasterr-cnn网络第一层全连接层的特征，与细胞间的距离特征和尺寸大小特征按一定的权重值组合成匹配函数，实现匹配函数的最小化即实现目标跟踪的匹配。
如图2所示，该fasterr-cnn网络基本结构图中主要包括convnet、rpn、roipooling和classification四部分，下面将对每一部分做详细说明：
(1)convnet：convnet是一种cnn网络目标检测方法，主要抽取输入图片的特征图。本发明前五层使用的是zfmodel，先进行一系列的卷积池化操作，将最后的conv5输出作为图片的特征图。
(2)rpn：rpn网络用于生成regionproposals，由图中可看出rpn网络输入为convnet的特征图。rpn先对conv5后的特征图进行3*3卷积操作，得到256维的输出，即每个像素点融合周边3*3的空间信息，提高特征的鲁棒性；接着用9个anchor对每个像素点进行映射，每个像素点映射回原图，映射的感受野中心点相同但比例大小不同，之后会采用iou指标对候选框进行筛选；同时，左支路将这些anchors输入到网络中的softmax来判断anchors属于前景还是背景，右支路输入到boundingboxregression进行anchors修正，获取准确的proposals。在这里采用了iou和回归操作来提高候选区域的准确性，进行这一系列操作，rpn网络就相当于实现了目标定位。
iou(intersectionoverunion)，是定义同一候选区域的两个候选框重叠率的大小值，实现在选取最少候选框的情况下保证有较高的召回率。
a和b代表统一候选框的两个不同boundingbox，这时的重叠率iou计算方法：
iou＝(a∩b)/(a∪b)
数学表达式为两个框的公共面积与两个框所占总面积的比值。
本发明在进行anchor的前景和背景判定时就是采用iou指标，当anchor与任意groundtruth包围框的iou值大于设定阈值(如0.7)时判定该anchor为fganchor；当anchor与任意groundtruth包围框的iou值小于设定阈值(如0.3)则判定该anchor为bganchor。得到fganchors后，有部分前景框和标签gt框相差太多，定位不准，就需要对前景框进行回归微调，使前景框和gt框更加接近。回归微调操作为：先对前景框进行平移，再进行框的缩放，目标是寻找一种关系使得输入的原始窗口p(proposal)经过映射达到一个跟真实标定窗口g(groundtruth)更接近的回归预测窗口
(3)roipooling：roi池化输入为convnet输出的featuremap和rpn网络得到的proposals，这里是综合提取proposalfeaturemaps并进行尺寸的固定作用，方便送入后续全连接层判断目标类别。
(4)classification：本结构利用roi池化得到固定大小的proposalfeaturemaps，通过全连接层与softmax计算每个proposal属于每个类别的概率值，同时再次利用boundingboxregression回归操作获得每个proposal的位置偏移量，最终得到检测框的精确位置，通过本结构后完全实现目标的分类和定位。
如图2所示，fasterr-cnn深度检测器对癌细胞已经实现较好的检测结果，得到每一帧数据集目标的位置信息，接下来就是利用检测结果，实现每一帧数据之间目标的匹配与关联。
本发明使用的是基于检测的多特征融合跟踪算法，解释算法中的参数：
trajectory为细胞的轨迹；
dist_mat为待匹配细胞与检测细胞的距离；
min_distn为与待匹配细胞最近的n个检测细胞索引；
fc_ed为待匹配帧的细胞卷积特征；
boxes为检测出细胞的边界框；
fc为检测帧的卷积特征；
cost_size_mat表示待匹配目标与观测值的尺度代价匹配矩阵；
cost_dist_mat表示待匹配目标与观测值之间的位置差异匹配矩阵；
cost_fc_mat表示待匹配目标与观测值之间的卷积特征的欧氏距离矩阵。
因为细胞为非刚体，外观没有固定的轮廓，同时本发明使用的是药物溶液中培养的癌细胞，药物对癌细胞正常生长形态造成的影响，相邻两帧同一个癌细胞的形态变化可能非常大，所以只将观测帧的细胞与前一帧的卷积特征进行对比，然而由于短时间内在细胞未出现分裂的情况下，细胞内部的物质综合发生较大改变的可能性较小，因此相邻帧中同一个细胞的尺寸相对比较稳定，因此为了降低对某一个细胞进行检测时的检测框受到随机性的影响，尺寸检测失误从而造成误匹配，也为了增加使用细胞尺寸特征的鲁棒性，使用匹配帧中的前3帧尺寸特征与观测帧计算匹配代价，最后整体的匹配代价函数中的距离特征、卷积特征与尺寸特征的参数分别设置为[0.30.30.4]。
图3为所有的跟踪序列中随机选取的连续四帧整体跟踪效果图，可知本发明的跟踪算法对大部分细胞都实现了准确的跟踪，并且大部分由跟踪目标框生成的目标中心点与细胞手工标注的中心点相差距离都比较小，说明本发明的跟踪算法跟踪效果良好。
表1中数据为本发明的跟踪指标结果，
表1
本发明采用的跟踪指标有motp(multipleobjecttrackingprecision)、mota(multipleobjecttrackingaccuracy)、auc和缺失率、误判率，下面介绍跟踪指标的含义：
假设当前帧是第t帧，跟踪器输出假设位置{h1…hm}，当前的跟踪目标有{o0…on}。假设根据欧氏距离来判断假设与目标之间是否匹配，并且以t为阈值，则匹配判断如下公式所示：
匹配完成之后，统计所有累计匹配误差，包括：
(1)丢失目标的个数(缺失数)，即当前帧中没有上一帧目标的假设位置；
(2)假设位置未匹配个数(误判数)，即：给出的假设位置没有跟踪目标与对应；
(3)失配误差数(误配数)，比如由目标位置过近导致的跟踪轨迹交叉错误。
在整个跟踪过程中，连续统计每一帧中的缺失数(用mt表示)、误判数(用fpt表示)和误配数(用mmet表示)，并用gt表示第t帧跟踪目标的个数，则mota(多目标跟踪准确率)指标计算过程如下：
motp(多目标跟踪准确率)是位置误差评价指标，假设在每一帧中假设位置与目标位置中心的距离为