一种面向精子识别的轨迹追踪方法和装置与流程

本发明属于计算机辅助精子样本分析，尤其地，涉及一种面向精子识别的轨迹追踪方法和装置。

背景技术：

1、全球人口收到不孕不育的影响，而此中病例30%-50%源自于男性，精子分析是诊断男性不育的重要手段。而利用基于深度学习和机器学习的计算机视觉技术实现自动精子质量分析已为趋势，该方法可以降低人工质量分析时的主观性误差、提高时效性、容易得到量化的分析指标并且能够较为稳定的检测运动特征和形态特征。精子活性是衡量精子质量的重要指标，它由精液中精子的运动状态表征。因此自动精子活性分析技术主要是通过连续的精子图像序列得到图像中精子的运动状态从而导出活性指标。在连续的图像序列分析过程中，首先需要自动识别每张图像的精子，然后将序列中识别出的精子进行关联，从而获取精子运动特征，进一步对精子运动特征分析判断精子活性。然而精子的识别、关联、运动特征分析都直接的影响了最终精子活性判断的准确性。而现有技术存在着以下缺陷：

2、基于深度学习模型的识别算法缺少数据集的支撑。

3、关联时通常使用的形态原则是通过权重的或者单一的考虑精子头部的面积、离心率、方向角等，但对于精子而言大部分头部形状是类似的在关联时无法很好的区分同一视野下不同精子且需要引入额外的计算增加了时间复杂度。

4、在应对遮挡重叠时，通常会以预测的位置为精子在当前帧的位置，这导致误差的累积影响后续帧的匹配。

技术实现思路

1、鉴于上述缺陷，本发明的目的在于提供面向精子识别的轨迹追踪方法和装置，旨在提出数据引擎降低数据集制作成本，提高匹配准确率，降低遮挡和重叠对目标追踪的影响并降低检测器漏检和误检导致的误差，采用非直线模型的的预测方法减少算法对硬件的依赖性。

2、根据本发明第一方面，本发明请求保护一种面向精子识别的轨迹追踪方法，包括：

3、将待检测精子视频进行帧切分，得到多个精子检测帧，构成精子检测帧集合；

4、训练精子检测模型，对所述多个精子检测帧进行特征识别，得到各帧的特征向量集；

5、采用关联匹配算法对所述多个精子检测帧中两帧之间的目标精子的特征向量集进行相似度匹配，得到目标精子的第一运动轨迹；

6、对所述第一运动轨迹进行合链操作和补链操作，得到所述目标精子的第二运动轨迹；

7、对所述第一运动轨迹进行合链操作，还包括：

8、从所述第一运动轨迹中筛选轨迹头出现在非第一帧的视野中间处的片段轨迹，得到片段轨迹集合；

9、判断，若轨迹存在缺帧的情况则在缺帧处断开得到新轨迹加入集合；

10、在的头节点的邻域内寻找缺失部分帧的轨迹和轨迹终止的轨迹得到集合，对于集合中缺失帧的轨迹，比较缺失部位与头节点是否吻合以及缺失帧数和长度是否相同，当均吻合且相同时保留在中否则删除；

11、再对集合中的轨迹则按照速度方向最相似以及头尾距离最近的原则找到最优合并轨迹，将合并到最优合并轨迹之上，得到的新轨迹记为合链轨迹；

12、判断轨迹的尾部，若尾部靠近边缘或尾部所在帧为视频的最后一帧则将轨迹从集合中删除，否则在的尾节点所处在的帧的下一帧中寻找是否存在头节点在尾节点相邻位置处的轨迹，若存在轨迹则按照速度方向最相似、头尾距离最近的原则找到最优合并轨迹，将片段轨迹与最优合并轨迹合并，将合并的轨迹记为合链轨迹；

13、重复直到为空或者集合大小不再改变时删除中的轨迹。

14、进一步的，所述训练精子检测模型前，还包括：

15、将样本图片先按照不同的权重经过mixup数据增强后再将增强后的数据集通过mosaic数据增强进一步增强；

16、所述mixup数据增强将两张图像以不同权重合成一张图降低图片的对比度，增加困难样本数量，所述mosaic数据增强将样本图片进行缩小拼凑成一张新图片。

17、进一步的，所述训练精子检测模型，还包括：

18、采用数据引擎构建训练数据集，所述数据引擎首先由人工对样本视频中部分帧的精子目标进行标注，训练出初始模型；

19、再由所述初始模型对其他帧的精子进行检测得到有缺陷的标注数据，由人工修正后将所有数据作为训练集再次训练模型，重复训练过程直到模型被训练满足预设泛化条件。

20、进一步的，所述精子检测模型，还包括：

21、采用基于深度学习的目标检测算法中的faster-rcn模型，包括输入层、backbone层、区域候选层、输出层；

22、所述输入层输入图片，上述backbone层提取整个图片的特征，所述区域候选层为后续层提供含有目标物体的潜在区域，上述输出层将输出检测框位置、检测框大小、标定候选框中是否为目标物体的置信度以及该目标物体属于每个类别的置信度；

23、在训练时使用mosaic数据增强和mixup数据增强，所述区域候选层完成检测框回归任务，使用giou损失函数训练；

24、所述backbone层和输出层完成分类任务，使用交叉熵损失函数训练。

25、进一步的，所述采用关联匹配算法对所述多个精子检测帧中两帧之间的目标精子的特征向量集进行相似度匹配，得到目标精子的第一运动轨迹，还包括：

26、所述关联匹配算法为采用多原则匹配方法，包括个体特征最相似原则、平均速度平滑原则；

27、所述个体特征最相似原则为精子从第i-1帧移动到第i帧通过精子识别模型中的roipooling得到的特征相似度最高；

28、所述平均速度平滑原则指精子从第i-1帧移动到第i帧的位移与平均速度大小和方向特征相似度最高；

29、所述个体特征最相似原则、平均速度平滑原则的所占权重不同，其中所述个体特征最相似原则所占权重大于所述平均速度平滑原则所占权重。

30、进一步的，还包括：

31、计算第i-1帧的精子与第i帧的精子的特征相似度得到对应的匹配度，根据速度平滑原则得到对应的匹配度，按照预设权重加和得到最终的匹配度；

32、结合当存在保留追踪的跳帧匹配场景，计算出第i-1帧中所有精子与第i帧中精子的得到匹配度矩阵；

33、采用所述关联匹配算法对第i-1帧和第i帧中精子进行关联匹配；

34、重复关联匹配直到所有相邻帧完成匹配，得到目标精子的第一运动轨迹。

35、进一步的，计算精子的特征相似度，还包括：

36、距离采用欧氏距离计算，计算公式如下：

37、；

38、其中，分别为i帧中的精子的坐标位置；

39、特征相似度使用点积运算采用公式：

40、；

41、其中为第i-1帧中的精子特征的向量描述，对值域进行压缩得到；

42、平均速度平滑原则在推断i-1帧的精子在第i帧出现在与点()相距处同时考虑的方向不在下一帧出现大角度变化，采用公式：

43、；

44、其中为超参数，表示第i-1帧的精子l的速度大小，表示第i帧精子l和第i-1帧精子k的夹角，表示第i-1帧的精子l的速度方向；

45、按照权重加和得到总匹配度。

46、进一步的，对所述第一运动轨迹进行补链操作，还包括：

47、获取所述合链轨迹中间有缺失的轨迹，如果缺失第i帧，则计算精子的光流，得到光流方向和光流大小以及精子的速度方向和速度大小；

48、按照预设权重加和光流和速度得到预测向量方向为+，预测向量大小为+；

49、将所述预测向量作为轨迹加入到所述合链轨迹中，重复直到整个轨迹链完整，得到所述目标精子的第二运动轨迹。

50、根据本发明第二方面，本发明请求保护一种面向精子识别的轨迹追踪装置，包括：

51、精子帧切分模块，将待检测精子视频进行帧切分，得到多个精子检测帧，构成精子检测帧集合；

52、精子特征检测模块，训练精子检测模型，对所述多个精子检测帧进行特征识别，得到各帧的特征向量集；

53、特征相似匹配模块，采用关联匹配算法对所述多个精子检测帧中两帧之间的目标精子的特征向量集进行相似度匹配，得到目标精子的第一运动轨迹；

54、轨迹链优化模块，对所述第一运动轨迹进行合链操作和补链操作，得到所述目标精子的第二运动轨迹；

55、所述一种面向精子识别的轨迹追踪装置用于执行所述的一种面向精子识别的轨迹追踪方法。

56、本发明的方案通过一种数据引擎训练精子目标识别模型，利用该模型自动的检测出图片序列中每一帧中的精子目标，同时将每个精子目标的特征描述向量保存用于关联匹配，在关联匹配时使用多原则匹配，提高了配准率，采用保留追踪跳帧匹配的方法降低了由于检测器误差以及遮挡重叠导致的丢失率，采用合链操作优化轨迹链，利用光流计算和历史轨迹信息对精子进行预测补链，提高了轨迹链的鲁棒性降低对硬件的依赖。