一种基于深度学习的Cell-SORT细胞跟踪方法和装置

本发明属于视觉目标跟踪领域，涉及一种基于深度学习的cell-sort细胞跟踪方法和装置。

背景技术：

1、研究细胞活动对生物医学领域具有重要的意义。细胞是生物体的基本结构和功能单位，了解细胞的活动可以深入了解生物体的正常功能和疾病发生的机制，从而推动医学领域的发展和进步。研究细胞活动对于疾病诊断和治疗至关重要。通过观察细胞的异常变化，可以提供疾病的诊断和治疗线索，如癌症的早期标志物发现。此外，细胞是药物研发的重要目标和模型，通过评估药物对细胞的影响，可以为新药的开发提供基础。了解细胞活动对于器官和组织的形成和功能恢复至关重要，通过控制细胞活动，可以推动组织工程和人工器官的发展。研究细胞的基因调控网络和信号通路也为基因治疗提供理论基础，通过修正或调节细胞的基因表达，可以纠正疾病发生过程中的异常。总的来说，研究细胞活动可深化对生物体结构和功能的理解，为疾病的诊断、治疗和预防提供科学依据，推动药物研发、器官和组织工程以及基因治疗等领域的发展具有重要意义。为了进一步分析细胞在其生命周期内的活动，研究人员记录活细胞的图像视频并对其进行分析，即随着时间的推移准确的记录细胞位置和运动轨迹，也称为细胞跟踪任务。

2、细胞跟踪是一种应用于生物医学领域的多目标跟踪任务，但与主流的多目标跟踪任务相比，细胞跟踪任务则更具有挑战性，具体表现在三个方面。

3、(1)细胞外观特征少。

4、(2)细胞在整个视频中形变明显。

5、(3)背景复杂。

6、因此，亟需一种既能对噪声、细胞形变以及细胞事件具有鲁棒性，又有优异的跟踪性能的方法来进行细胞跟踪。

技术实现思路

1、本发明针对细胞跟踪中，目标外观特征少、分辨率低的难点，选择当前主流目标检测模型yolo系列中的最优模型yolov7-x作为细胞检测模型，并修改其特征融合模块，提出高分辨率的yolov7-x-a细胞检测模型。针对细胞跟踪中，目标形变明显，且背景噪声复杂多变的挑战，基于sort数据关联架构，采用优化后的卡尔曼滤波器(kf+)以便更好的预测目标的位置，同时引入byte匹配机制对目标检测框进行两次匹配，并引入轨迹插值后处理方法对轨迹进行填充。最后将改进的yolov7-x-a细胞检测模型与重建的sort数据关联方法相结合，提出一种基于深度学习的cell-sort细胞跟踪方法，实现鲁棒性强，准确性更高的细胞跟踪。

2、本发明提供一种基于深度学习的cell-sort细胞跟踪方法，具体包括如下步骤：

3、(1)将视频帧送入训练好的目标检测模型中，并获得检测目标框置信度分数bbpred；

4、(2)使用卡尔曼滤波器预测上一帧轨迹在该帧中的位置；如果是第一帧，则根据bbpred新建轨迹，如果不是第一帧，则根据之前帧所建立的轨迹使用卡尔曼滤波器预测细胞在该帧的位置；

5、(3)利用byte机制对bbpred和轨迹使用iou作为相似度度量指标并使用匈牙利算法进行最小代价匹配，首先根据置信度阈值μhigh和μlow，将bbpred划分为高分检测框dhigh和低分检测框dlow，然后使用匈牙利算法将高分检测框dhigh与轨迹进行第一次匹配，第一次匹配完成后，使用匈牙利算法对低分检测框dlow与未匹配的轨迹进行第二次匹配；在两次匹配结束后，为dhigh中仍未匹配的目标框建立新的轨迹并更新到轨迹集合中；

6、(4)返回步骤(2)，处理下一帧，直到处理完所有视频帧；

7、(5)处理完所有视频帧后得到轨迹集合t，然后对t使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果tracks。

8、进一步的，所述目标检测模型采用原始yolov7-x模型，所述yolov7-x由三部分构成：backbone、neck以及head，其中backbone由多个cbs、elan、mpconv模块组成，用来提取图像的特征，其中cbs是具有不同尺度的一组卷积操作，包括一个卷积层，一个批数据归一化层以及激活函数silu层，elan是由多个cbs和连接操作组合而成，mpconv则是由cbs卷积操作和maxpooling层组合而成，增强了模型对特征的融合提取能力；neck部分则用来融合不同维度的特征以获得更丰富的语义信息；head则根据特征信息预测目标物体的位置和类别。

9、进一步的，所述目标检测模型采用yolov7-x-a，yolov7-x-a是在原始yolov7-x的基础上修改了neck部分的融合路径，

10、在原始yolov7-x模型中，neck融合的特征图分别来自backbone中的28层，43层以及59层，其中28层的特征图输入到76层再输入到77层进行融合，43层的特征图输入到62层的再输入到63层进行融合，59层的特征图则输入到107层进行融合；

11、而在yolov7-x-a中，neck融合的特征图分别来自backbone中的13层，28层以及43层，即13层的特征图输入到76层再输入到77层进行融合，28层的特征图输入到62层的再输入到63层进行融合，在43层的融合路径中，增加一个3*3卷积模块，此处为107层，原本的107层变为108层，后续层序号均加一，即43层特征图输出到107层后再输入到108层进行融合，并将原模型中76层与62层的1*1卷积模块替换为3*3的卷积模块，其余部分与原模型相同。

12、进一步的，步骤(2)中使用卡尔曼滤波器kf+包括两个步骤：预测和更新，预测阶段则是预测细胞的状态以及协方差，细胞的状态即中心坐标以及宽高，更新步骤则是利用目标检测模型得到的细胞状态和预测阶段得到的状态估计更新系统的后验估计并更新协方差矩阵；经过不断的预测和更新后，卡尔曼滤波可以精确的预测细胞在下一时刻的位置；

13、预测的目标状态向量表示为一个八元组，如公式(1)所示，如公式(1)所示，其中(xc,yc)代表某个目标在图像平面上目标的中心坐标，(w,h)代表目标框的宽高，后面四个参数代表前四个参数的变化率，观测向量如公式(2)所示，代表传感器即检测模型得到的某个目标的中心坐标(zxc,zyc)以及宽zw和高zh；根据修改后的卡尔曼滤波状态向量以及观测向量，即公式(1)和公式(2)，其过程噪声矩阵qk和观测噪声矩阵rk也相应的被修改，如公式(3)

14、和(4)所示，

15、

16、

17、

18、

19、

20、此处，σp与σv代表噪声因子，与分别代表k-1时刻更新阶段获得的宽与高，即下述更新阶段中中的第三个与第四个参数；

21、

22、此处，σm代表噪声因子，与代表第k时刻预测阶段的宽与高，即下述预测阶段中的第三个与第四个参数；

23、其具体预测与更新实现步骤如下：

24、

25、此处，代表k时刻预测的状态量，具体如公式(1)所示，qk代表过程噪声矩阵，即公式(3)，pk|k-1代表的协方差矩阵，fk代表预测矩阵，fk具体形式为：

26、

27、

28、此处，pk|k代表更新后的协方差矩阵，zk代表观测量，即公式(2)，rk代表观测噪声矩阵，即公式(4)，hk代表映射矩阵，hk具体形式为：

29、

30、进一步的，步骤(3)的具体实现方式如下；

31、(31)将视频帧送入目标检测模型并获得检测目标框bbpred；

32、(32)根据预测目标框bbpred的置信度分数以及检测置信度阈值μhigh，μlow将步骤(31)中获得的检测目标框分为高分检测框dhigh和低分检测框dlow，即预测目标框bbpred的置信度分数大于μhigh，则将该目标框添加到高分检测框集合dhigh中，如果如果预测目标框bbpred的置信度分数小于μhigh并且大于μlow，则将该目标框加入到低分检测框集合dlow中；

33、(33)使用卡尔曼滤波器对上一帧轨迹集合中的每一条轨迹预测新的位置，获得当前轨迹集合t；

34、(34)将iou作为相似度度量指标，使用匈牙利算法对轨迹集合t与高分检测框dhigh进行第一次匹配，未匹配的轨迹加入集合tremain，未匹配的目标框加入dremain，随后将iou作为相似度度量指标，并再次使用匈牙利算对将未匹配轨迹tremain与低分检测框dlow进行第二次匹配，删除仍未分配的轨迹；

35、(35)为dremain中的目标框新建轨迹；

36、(36)重复步骤(31)-(35)，直到处理完所有视频帧。

37、进一步的，步骤(34)中匹配使用到的iou指标指的是交并比，是度量两个检测框的交叠程度，公式如下：其中，bpred和bgt分别为算法估计的目标边界框pred与真实标签边界框gt，|·|表示区域面积。

38、进一步的，步骤(5)的具体实现方式如下；

39、假设现在有一个细胞轨迹t，由于细胞运动的原因导致轨迹在t1帧到t2帧之间丢失目标，其中轨迹t在t1帧时的位置为pt1(x1，y1，x2，y2)，即左上角和右下角坐标组成的四元组，pt2则是轨迹t在t2帧的坐标，设置超参数μ作为执行轨迹插值的最大间隔，即当t2-t1≤μ时，轨迹插值方法会被执行，在第t帧轨迹的插值位置计算方式如下：

40、

41、其中，t1<t<t2。

42、进一步的，还包括步骤(6)，采用客观评价指标mota和idf1对细胞跟踪效果进行评价。

43、本发明还提供一种基于深度学习的cell-sort细胞跟踪装置，包括以下模块：

44、置信度分数获取模块，用于将视频帧送入训练好的目标检测模型中，并获得检测目标框置信度分数bbpred；

45、位置预测模块，用于使用卡尔曼滤波器预测上一帧轨迹在该帧中的位置；如果是第一帧，则根据bbpred新建轨迹，如果不是第一帧，则根据之前帧所建立的轨迹使用卡尔曼滤波器预测细胞在该帧的位置；

46、轨迹更新模块，用于利用byte机制对bbpred和轨迹使用iou作为相似度度量指标并使用匈牙利算法进行最小代价匹配，首先根据置信度阈值μhigh和μlow，将bbpred划分为高分检测框dhigh和低分检测框dlow，然后使用匈牙利算法将高分检测框dhigh与轨迹进行第一次匹配，第一次匹配完成后，使用匈牙利算法对低分检测框dlow与未匹配的轨迹进行第二次匹配；在两次匹配结束后，为dhigh中仍未匹配的目标框建立新的轨迹并更新到轨迹集合中；

47、返回位置预测模块，处理下一帧，直到处理完所有视频帧，处理完所有视频帧后得到轨迹集合t，然后对t使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果tracks。

48、与现有技术相比，本发明的优点和有益效果：利用新的细胞跟踪数据集ctmc进行训练，并使用更加粗糙的边界框进行细胞检测而不是要求更为精确的细胞分割方法，并且根据细胞的特点优化了目标检测模型和关联方法。与以往方法相比，具有更高的鲁棒性，可以在外观特征少、背景复杂等情况下取得良好的跟踪效果。