基于时差培养箱的胚胎异常多级联智能综合分析系统的制作方法

1.本发明涉及人工智能技术领域，特别是涉及一种基于时差培养箱的胚胎异常多级联智能综合分析系统。


背景技术：

2.胚胎发育过程中的异常情况会降低胚胎形成优质囊胚的潜能，移植异常胚胎会直接影响患者的妊娠率。当胚胎发育到第三天时，胚胎学家通过观察胚胎特征筛除发生异常的胚胎，将优质的胚胎进行移植，提升患者妊娠率。时差培养箱不仅可为胚胎提供稳定的体外培养环境，其同时具备周期性不断获取胚胎在体外发育的全过程图像。胚胎学家通过时差培养箱拍摄的胚胎图像，可以精准地捕获胚胎异常状态及异常发生的时间。胚胎学家根据时差培养箱拍摄的胚胎图像以及发育过程中不同时刻胚胎形态学特征变化获取胚胎分裂时间点、细胞多核性以及细胞均一性等核心参数，判别胚胎发育是否发生异常。为了很好地解决不同胚胎学家对胚胎异常结果判断差异性问题以及胚胎学家人工判别时效性问题，借助于图像处理技术可以快速准确地帮助胚胎学家完成判别工作，然而，从图像处理技术角度出发，目前胚胎异常识别存在以下几个问题：（1）胚胎学家对胚胎异常的判断需要依赖于自身长期胚胎观察积累的丰富经验。对于经验不足的胚胎医生而言，胚胎发育过程中发生异常的情况极其复杂，难以准确地判断胚胎异常信息，影响胚胎优劣的筛选，目前，缺乏标准的带有异常标签的胚胎数据集已成为急需解决的难题之一；（2）时差培养箱拍摄的图像中包含胚胎区域和背景区域，胚胎发育过程中胚胎的动力学参数是判断胚胎活跃程度的重要指标，胚胎活跃程度反映了胚胎的优劣，由于时差培养箱拍摄图像中的背景区域存在杂质和光源等干扰因素，导致如何精准地通过计算机计算方法智能获取胚胎动力学参数成为了另一待解决的难题；（3）胚胎发育过程中，胚胎分裂时间点、胚胎均一性、多核性在医学领域是判断胚胎是否发生异常的最为重要的几个因素。仅仅依赖于单个因素对胚胎质量进行评估是不准确的，目前，多个因素综合胚胎智能评分模型尚不存在，如何借助于专家经验知识利用计算机方法构建多因素综合的胚胎智能评分模型具有一定的挑战性。


技术实现要素：

3.本发明针对上述问题，提出了一种基于时差培养箱的胚胎异常多级联智能综合分析系统，用于准确识别时差培养箱胚胎图像的胚胎分裂、胚胎均一性、多核性特征以及其发生的时间，构建胚胎异常评分模型，帮助胚胎学家更快地完成胚胎异常的判定。
4.为实现上述目的，本发明所设计的一种基于时差培养箱的胚胎异常多级联智能综合分析系统，其特殊之处在于，所述系统包括：图像预处理模块：用于对时差培养箱采集的胚胎图像进行预处理；标准数据库：用于存储胚胎异常数据库，所述胚胎异常数据库包含带有胚胎异常
标签的胚胎图像；变化监测模块：用于对经过预处理的胚胎图像进行光流分析，输出胚胎发育过程中的分裂特征和对应时间点，所述分裂特征指胚胎发生第一次分裂、第二次分裂、第三次分裂；均一性识别模块：用于将经过预处理的胚胎图像输入至均一性识别网络模型进行均一性识别，输出胚胎发生不均等分裂的异常因子，所述均一性识别网络模型采用标准数据库进行训练和验证；多核识别模块：用于将经过预处理的胚胎图像输入至多核识别网络模型进行多核识别，输出胚胎发生多核的异常因子，所述多核识别网络模型采用标准数据库进行训练和验证；异常评分模块：用于根据分裂特征和对应时间点、所述胚胎发生不均等分裂的异常因子、胚胎发生多核的异常因子计算输出胚胎发育过程中胚胎异常的评分。
5.进一步地，所述变化监测模块基于yolo3网络模型进行光流分析，所述yolo3网络模型依图片拍摄时间顺序检测胚胎图像中胚胎的roi区域，以上一张图像中的胚胎的roi区域为模板截取下一张图像中的胚胎roi区域，计算相邻两张胚胎roi区域图像的光流值，超过设定阈值的图像为胚胎处于分裂状态的图像，输出分裂特征和对应的图像拍摄时刻即分裂对应时间点。
6.更进一步地，所述标准数据库包括变化监测分析数据集、均一性识别数据集和多核识别数据集，每个数据集都包括经过标注的带有胚胎异常标签的胚胎图像，并分为训练集、验证集和测试集。
7.更进一步地，所述均一性识别网络模型利用coco数据集对网络模型进行参数初训练，获取初始化模型；以初始化模型为基础，运用标准数据库中均一性识别数据集训练集中的胚胎图像对网络模型进行精训练，运用验证集中的胚胎图像对网络模型超参数进行调整，得到精训练后的网络模型；利用精训练的网络模型对测试集胚胎数据进行预测，输出胚胎发生不均等分裂的异常因子或均一性标志位。
8.更进一步地，所述均一性识别网络模型利用精训练的网络模型对胚胎数据进行预测后，统计预测结果，若超过设定比例的胚胎图像均识别到胚胎非均一性，则判断胚胎是非均一性的，并以检测到非均一性的第一张图像对应的时间为胚胎出现非均一性的时间，输出胚胎发生不均等分裂的异常因子；反之则输出胚胎是均一性的标志位。
9.更进一步地，所述均一性识别网络模型采用resnet网络作为基础网络，该网络主要包括100层卷积层，34层池化层，包括编码器和解码器；所述编码器采用deeplabv3+网络框架对图像中的细胞进行实例分割，将步长为2和步长为4的空洞卷积替换deeplabv3的最后两个卷积块，并使用空间金字塔结构融入图像特征，以获得具有不同尺度的特征；所述解码器将编码器生成的特征图经过4倍的双线性差值进行上采样，并与图像的低层特征进行融合，最后采用4倍的双线性插值完成特征的解码。
10.更进一步地，所述多核识别网络模型利用imagenet数据集对网络模型进行参数初训练，获取初始化模型；以初始化模型为基础，运用标准数据库中多核识别数据集训练集中的胚胎图像对网络模型进行精训练，运用验证集中的胚胎图像对网络模型超参数进行调
整，得到精训练后的网络模型；利用精训练的网络模型对测试集胚胎数据进行预测，输出胚胎发生多核的异常因子或非多核标志位。
11.更进一步地，所述多核识别网络模型利用精训练的网络模型对胚胎数据进行预测后，统计预测结果，若超过设定比例的胚胎图像均识别到胚胎图像的多核，则判断胚胎是多核的，并以检测到多核的第一张图像对应的时间为胚胎出现多核的时间，输出胚胎发生多核的异常因子；反之则输出胚胎是非多核的标志位。
12.更进一步地，所述多核识别网络模型采用swin transformer网络作为基础网络，共分为4个不同的层，每个层逐层扩大图像的感受野，同时缩小输入特征图的分辨率。
13.更进一步地，所述异常评分模块计算胚胎发育过程中胚胎异常的评分的公式为：式中，t1,t2,t3分别表示胚胎发生第一次分裂、第二次分裂、第三次分裂的分裂时间，α1,α2,α3分别表示胚胎发生第一次分裂、第二次分裂、第三次分裂的分裂时间参数，β表示胚胎发生多核的异常因子，1(
·
)为指示函数，θ表示发生多核的标志位，t表示胚胎发生发育的时间，γ表示胚胎发生不均等分裂的异常因子，τ表示胚胎发生不均等分裂的标志位，f表示胚胎发育过程中胚胎异常的评分结果。
14.本发明的有益效果为：1、本发明将深度学习技术引入到胚胎的异常检测中，在胚胎变化监测过程中，创造性地将yolo3与模板匹配融合，以此消除图像中胚胎区域外的杂质干扰，并根据光流特性，首次将lucas-kanade光流用于量化胚胎的变化，为胚胎学家监测胚胎发育过程中的变化的异常提供了更方便、更直观的数据支撑。
15.2、本发明准确识别时差培养箱胚胎图像的胚胎分裂、胚胎均一性、多核性特征以及其发生的时间，构建胚胎异常评分模型，帮助胚胎学家更快地完成胚胎异常的判定。
16.3、本发明运用图像处理技术，根据时差拍摄图像中的胚胎变化，消除背景区域中的光源、杂质等干扰，精准地捕获时差拍摄图像中的胚胎区域，监测胚胎发育过程中的变化。
17.4、本发明综合考虑了胚胎发育过程中的多个胚胎异常因素，从胚胎的动力学以及胚胎的形态学两方面评估胚胎的异常，并结合胚胎学家共识以及国内外的胚胎评分共识，提出了一种异常评分模型，用于量化胚胎异常，辅助胚胎学家快速筛除异常胚胎。
18.5、本发明构建了标准的胚胎异常数据库，并提出了一种胚胎异常的计算模型，通过结合多个胚胎异常现象，实现了胚胎异常自动化、智能化的评分，为胚胎学家评估胚胎异常提供了有效的数据支撑。
附图说明
19.图1为本发明基于时差培养箱的胚胎异常多级联智能综合分析系统的结构框图。
20.图2为变化监测模块光流分析流程示意图。
21.图3(a)为胚胎定位单元输出的胚胎图像。
22.图3(b)为根据yolo3检测到胚胎的roi区域。
23.图3(c)为变化监测模块对胚胎roi进行分析得到的胚胎变化监测图，图中标注的
t1,t2,t3分别表示胚胎的第一次，第二次，第三次分裂的时间点。
24.图4为均一性识别模块的识别过程流程示意图。
25.图5为均一性识别网络模型结构示意图。
26.图6为胚胎均一性分析结果示意图。
27.图7为多核识别模块的识别过程流程示意图。
28.图8为多核识别网络模型结构示意图。
29.图9为多核识别结果示意图。
具体实施方式
30.以下结合附图和具体实施例对本发明作进一步的详细描述。
31.如图1所示，本发明一种基于时差培养箱的胚胎异常多级联智能综合分析系统，包括图像预处理模块、标准数据库、变化监测模块、均一性识别模块、多核识别模块、异常评分模块，其中：图像预处理模块：用于对时差培养箱采集的胚胎图像进行预处理；时差培养箱在胚胎发育过程中会间隔一定的时间对胚胎进行拍摄，在实际的拍摄过程中，时差培养箱会存在外界的干扰而影响图像的明暗度与清晰度等，为了解决这一实际问题，在将图像送入网络模型之前，需要对每张图像进行预处理操作，达到网络模型能够识别的效果；标准数据库：用于存储胚胎异常数据库，所述胚胎异常数据库包含带有胚胎异常标签的胚胎图像；变化监测模块：用于对经过预处理的胚胎图像进行光流分析，输出胚胎发育过程中的分裂特征和对应时间点，所述分裂特征指胚胎发生第一次分裂、第二次分裂、第三次分裂，送入变化监测模块的胚胎图像为同一培养皿在时差培养箱内按时间顺序拍摄，整个时间周期为d1~d3（第一天~第三天），期间会发生三次分裂，因此，变化监测模块根据同一培养皿的胚胎图像依次输出三次分裂特征和对应时间点；均一性识别模块：用于将经过预处理的胚胎图像输入至均一性识别网络模型进行均一性识别，输出胚胎发生不均等分裂的异常因子，所述均一性识别网络模型采用标准数据库进行训练和验证；多核识别模块：用于将经过预处理的胚胎图像输入至多核识别网络模型进行多核识别，输出胚胎发生多核的异常因子，所述多核识别网络模型采用标准数据库进行训练和验证；异常评分模块：用于根据分裂特征和对应时间点、所述胚胎发生不均等分裂的异常因子、胚胎发生多核的异常因子计算输出胚胎发育过程中胚胎异常的评分。
32.为构建胚胎异常的标准数据库，本发明从多个中心收集了d1~d3（时差培养箱中第一天至第三天）包含有异常的15000个胚胎，并组织了多名胚胎学家完成数据集标注。为了保障数据集的多样性，本发明在胚胎均一性、多核的数据集收集过程中采用了随机间隔采样的方式，收集了50000张胚胎细胞均一性异常的胚胎图像，40000张包含有多核的胚胎图像。对每一张图像，邀请多名胚胎专家进行标注，采用投票数最多的作为该张图像的最终标签。为了提高胚胎的位置、形状的多样性，本发明针对训练集中的图像采用了翻转、旋转等方式扩充了胚胎均一性与胚胎多核的图像数据集，以增强模型对胚胎识别的泛化性。
33.变化监测模块基于yolo3网络模型进行光流分析，分析流程如图2所示，yolo3网络模型依图片拍摄时间顺序检测胚胎图像中胚胎的roi区域，以上一张图像中的胚胎的roi区域为模板截取下一张图像中的胚胎roi区域，计算相邻两张胚胎roi区域图像的光流值，超过设定阈值的图像为胚胎处于分裂状态的图像，输出分裂特征和对应的图像拍摄时刻即分裂对应时间点。
34.变化监测模块包括胚胎定位单元、提取roi单元、光流值计算单元、分裂时间点的计算单元、结果输出单元；胚胎定位单元将胚胎发育序列中的第一张图像输入到训练好的yolo3模型中，输出图像中是否存在胚胎，若存在胚胎，则向提取roi单元输出并同时输出胚胎在图像中的位置，如图3（a）所示，反之则向结果输出单元输出不存在胚胎；提取roi单元根据胚胎定位单元得到的胚胎位置，如图3（b）所示，截取图像中胚胎的roi区域，采用canny边缘算子计算roi区域的边缘图像以及下一时刻胚胎的边缘图像，以roi区域的边缘图像为模板，计算下一时刻胚胎所对应的位置，进而得到下一时刻胚胎的roi区域，并以该roi区域为新的模板，输出至光流值计算单元，如此反复，提取所有图像中胚胎的roi区域；光流值计算单元将提取的roi区域按照胚胎发育时间依次排列，采用lucas-kanade方法计算相邻两帧的光流值，通过光流值的变化监测胚胎的变化；分裂时间点的计算单元绘制按时间顺序反映光流值变化的光流曲线，结合大量胚胎分裂数据与光流变化的对比分析以及胚胎的发育规律设置参照值，本实施例中取17.8，超过参照值的峰值为分裂时间点，如图3（c）所示；结果输出单元基于胚胎的分裂时间点输出胚胎发生第一次分裂、第二次分裂、第三次分裂的分裂时间t1,t2,t3和基于先验知识的胚胎发生第一次分裂、第二次分裂、第三次分裂的分裂时间参数α1,α2,α3，这三个参数是由多个生殖中心正常胚胎发育的分裂时间统计得到，在本发明中分别取值为26,44,68。
35.本发明提出的均一性识别模块中的均一性识别模型采用端到端的分割网络，将处于非分裂期的胚胎图像输入到训练好的胚胎均一性识别模型中，通过deeplabv3+模型的计算，输出图像中每个细胞的分割区域。统计每个分割细胞的像素值，若最大细胞的像素值与最小细胞的像素值相差超过了10%，则判断为胚胎是非均一性的，反之，则判断为胚胎是均一性的。
36.均一性识别模块的识别过程如图4所示，均一性识别网络模型利用coco数据集对网络模型进行参数初训练，获取初始化模型；以初始化模型为基础，运用标准数据库中均一性识别数据集训练集中的胚胎图像对网络模型进行精训练，运用验证集中的胚胎图像对网络模型超参数进行调整，得到精训练后的网络模型；利用精训练的网络模型对测试集胚胎数据进行预测，并完成测试集预测结果统计，若超过设定比例（例如50%、60%等）的胚胎图像均识别到胚胎非均一性，则判断胚胎是非均一性的，并以检测到非均一性的第一张图像对应的时间为胚胎出现非均一性的时间，输出胚胎发生不均等分裂的异常因子γ；反之则输出胚胎是均一性的标志位0。
37.在本实施例中，均一性识别网络模型主要采用resnet网络作为基础网络，如图5所示，该网络主要包括100层卷积层，34层池化层，包括编码器和解码器。
38.编码器采用deeplabv3+网络框架对图像中的细胞进行实例分割，将步长为2和步长为4的空洞卷积替换deeplabv3+的最后两个卷积块，并使用空间金字塔结构融入图像特征，以获得具有不同尺度的特征。空洞卷积通过控制深度神经网络计算特征的分辨率，并调节卷积层的视野，捕获胚胎图像的多尺度信息，进而建立标准的卷积运算，具体计算方法如公式（1）所示：y[i]=σkx[i+r*k]w[k]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中y表示输出的特征，i表示输出特征y中的位置，x表示输入的特征，r表示空洞卷积的步长，w表示卷积核，k表示卷积核中的索引。
[0039]
解码器将编码器生成的特征图经过4倍的双线性差值进行上采样，并与图像的低层特征进行融合，最后采用4倍的双线性插值完成特征的解码。
[0040]
本实施例提供的均一性识别网络模型可以实现对卵裂期胚胎的均一性进行预测。时差培养箱将拍摄的卵裂期胚胎图像地上传到服务器中，本发明的模型可以在0.1s内给出预测结果，胚胎均一性分析结果如图6所示，以帮助胚胎学家快速准确地完成胚胎均一性的评估。
[0041]
本发明设计的多核识别模块将处于非分裂期的胚胎图像输入到训练好的胚胎多核识别模型中，通过swin transformer模型的计算，输出图像中是否存在多核，若存在，则标注图像中的多核。
[0042]
多核识别模块的识别过程如图7所示，多核识别网络模型利用imagenet数据集对网络模型进行参数初训练，获取初始化模型；以初始化模型为基础，运用标准数据库中多核识别数据集训练集中的胚胎图像对网络模型进行精训练，运用验证集中的胚胎图像对网络模型超参数进行调整，得到精训练后的网络模型；利用精训练的网络模型对测试集胚胎数据进行预测，统计预测结果，若超过设定比例（例如50%~99%）的胚胎图像均识别到胚胎图像的多核，则判断胚胎是多核的，并以检测到多核的第一张图像对应的时间为胚胎出现多核的时间，输出胚胎发生不均等分裂的异常因子β或非多核标志位为0。
[0043]
本实施例中多核识别网络模型采用的swin transformer网络，如图8所示，共分为4个不同的“层”，每个“层”逐层扩大图像的感受野，同时缩小输入特征图的分辨率。
[0044]
在特征图传入到第一个“层”之前，需要通过一个卷积层将图像转为不同的块，并将得到的块展平得到图像的嵌入向量。
[0045]
在每个“层”对嵌入向量进行处理时，主要采用了移动窗口自注意的机制对特征图进行计算，以保障可以更好完成胚胎图像中的信息交互，提取到具有代表性多核特征信息。
[0046]
在前三个“层”的特征输出时，对计算得到的特征块进行降采样，缩小特征图的分辨率，调整其通道数，进而形成层次化的特征向量。
[0047]
多核识别模块通过swintransformer完成胚胎图像特征向量的提取，进而采用线性分类器完成对图像中的多核坐标回归与分类预测。
[0048]
本方法提供多核识别模块可以实现对卵裂期胚胎细胞数为2~4的多核进行预测，胚胎多核的识别结果如图9所示，通过本发明的模型对时差拍摄的胚胎图像进行细胞多核的检测，辅助胚胎学家快速准确地完成细胞多核的评估。
[0049]
异常评分模块计算胚胎发育过程中胚胎异常的评分的公式为：
ꢀꢀꢀꢀ
（2）式（2）中，t1,t2,t3分别表示胚胎发生第一次分裂、第二次分裂、第三次分裂的分裂时间，α1,α2,α3分别表示胚胎发生第一次分裂、第二次分裂、第三次分裂的分裂时间参数，β表示胚胎发生多核的异常因子，1(
·
)为指示函数，θ表示发生多核的标志位0或1，t表示胚胎发生发育的时间，该时间显示于对应帧的图像上，γ表示胚胎发生不均等分裂的异常因子，τ表示胚胎发生不均等分裂的标志位0或1，f表示胚胎发育过程中胚胎异常的评分结果。在本专利中，β，γ根据专家经验分别取值为0.8,0.5。
[0050]
异常评分模块运用公式(2)输出对该胚胎的异常状态的评分，若得分越低，则表示该胚胎发育为优质囊胚的潜能越高，反之则表示该胚胎发育为优质囊胚的潜能越低。
[0051]
根据胚胎学家的共识以及临床数据显示，胚胎的分裂与发育速度是胚胎正常发育的关键因素，卵裂过快或过慢都会降低胚胎发育潜能，引起胚胎发育的异常，而且胚胎异常卵裂时间发生的越早，胚胎异常可能性越高。同时，非均一性的胚胎以及多核的胚胎对胚胎的着床以及妊娠均具有不同程度的影响。
[0052]
公式（2）采用了加权的方式将胚胎的分裂时间、胚胎多核、胚胎不均等分裂三个异常点结合起来计算胚胎的异常评分。在计算项中，1(
•
)该指示函数用来判断该胚胎是否发生了异常，若该值为0，则表明没有发生异常，反之，则表明发生了异常。根据计算项中分裂时间ti,(i=1,2,3)与胚胎发育时间t（根据先验知识设置）对胚胎异常评分的结果可知，发生异常的时间越早，胚胎异常的评分越高，进而胚胎发育为优质囊胚的潜力越低。通过分析可知，胚胎异常评分f越小，胚胎的发生异常的可能性越低，发育成优质胚胎的可能性越高。
[0053]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
[0054]
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。