基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法与流程

1.本发明涉及人工智能技术领域，特别是涉及一种基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法。


背景技术：

2.胚胎发育过程中分裂时间是胚胎发育潜力的主要体现，移植发育潜力较高的胚胎可以提升患者的妊娠率。时差培养箱不仅可为胚胎提供稳定的体外培养环境，其同时具备周期性不断获取胚胎在体外发育的全过程图像的功能。胚胎学家对比时差拍摄图像中胚胎的运动变化，定位分裂周期，结合国内外胚胎评分共识，挑选最优质的胚胎为患者进行移植。为了解决胚胎学家定位胚胎分裂周期的时效性问题，借助于图像处理技术可以监测胚胎发育过程中的活跃度，进而快速准确地帮助胚胎学家完成胚胎分裂周期定位的工作。
3.然而，时差培养箱拍摄的图像中包含胚胎区域和背景区域，胚胎发育过程中胚胎的动力学参数是判断胚胎活跃程度的重要指标，胚胎活跃程度反映了胚胎的优劣，由于时差培养箱拍摄图像中的背景区域存在杂质和光源等干扰因素，从而计算机无法精准地通过计算智能获取胚胎动力学参数，达到监测胚胎发育过程中变化的目的。


技术实现要素：

4.本发明针对现有技术的不足之处，提出了一种基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法，旨在运用图像处理技术，刻画胚胎在变化过程中的剧烈程度，进而用于监测胚胎发育中的变化。
5.为实现上述目的，本发明所设计的一种基于胚胎动力学参数的胚胎分裂周期智能预测系统，其特殊之处在于，所述系统包括：图像预处理模块：用于对时差培养箱采集的图像进行预处理；网络模型：用于存储yolo3网络模型，所述yolo3网络模型用于输出具有胚胎roi区域和不具有胚胎roi区域的图像；图像数据库：用于存储经过标注后的时差培养箱采集的图像，包括训练集、验证集和测试集；变化检测分析模块：用于使用yolo3网络模型分析具有胚胎roi区域的图像，并通过模板匹配定位后序图像中胚胎roi区域，再对胚胎roi区域进行光流分析，输出胚胎发育过程中的分裂特征和对应时间点；输出模块：用于输出预测结果，其中对于不具有胚胎roi区域的图像输出无胚胎，对于具有胚胎roi区域的图像，分析光流值的变化，输出胚胎发育过程中是否分裂，若分裂，则输出胚胎发育过程中的分裂特征和对应时间点。
6.进一步地，所述变化检测分析模块包括胚胎定位单元、提取roi单元、光流值计算单元、分裂时间点分析单元；所述胚胎定位单元：将胚胎发育序列中的图像按时间顺序输入到训练好的yolo3
模型中，输出图像中是否存在胚胎，若存在胚胎，则向提取roi单元输出并同时输出胚胎roi区域在图像中的位置，反之则输出不具有roi区域；所述提取roi单元：根据胚胎定位单元得到的胚胎位置，截取图像中胚胎的roi区域，采用canny边缘算子计算胚胎roi区域的边缘图像以及下一时刻胚胎的边缘图像，以胚胎roi区域的边缘图像为模板，计算下一时刻胚胎所对应的位置，进而得到下一时刻胚胎的roi区域，并以该胚胎roi区域为新的模板，如此反复，提取所有图像中胚胎的roi区域，输出至光流值计算单元；所述光流值计算单元：将提取的胚胎roi区域按照胚胎发育时间依次排列，采用lucas-kanade方法计算相邻两帧图像的光流值；所述分裂时间点分析单元：按照胚胎发育时间绘制光流曲线，当光流值变化大于预设值时胚胎处于分裂状态，对应帧图像记为分裂特征帧，并记录对应的分裂时间点。
7.进一步地，所述分裂时间点分析单元将图像光流值按照胚胎发育的时间依次排列，记为v1,v2,
…
, v
l-1
，l表示采集的图像数量，以m为滑动窗口的大小，计算v1,v2,
…
,vm的平均值，记为第一个窗口的平均光流值a1，计算v2,v3,
…
,v
m+1
的平均值，记为第二个窗口的平均光流值a2，重复直至计算v
l-m
, v
l-m+1
,
…
, v
l-1
的平均值，记为最后一个窗口的平均光流值 a
l-m
；取超过设定值的平均光流值并按时间顺序排列，第一个平均光流值对应的滑动窗口包含了胚胎的分裂时刻，取窗口内包含的最后一个光流值所对应的时间即为第j次分裂的时间点，j=1,2,3。
8.更进一步地，所述光流值计算单元计算光流值的公式为：更进一步地，所述光流值计算单元计算光流值的公式为：其中n为胚胎roi区域内所有像素点个数，xi,yi, i=1,2,
…
,n，分别表示上一帧胚胎roi区域中第i个点的横坐标与纵坐标，i
xi
, i
yi
, i=1,2,
…
,n分别表示上一帧胚胎roi区域在点(xi,yi)处沿x方向与y方向的灰度梯度，δii, i=1,2,
…
,n表示相邻两帧图像roi区域在第i个点的灰度差，v
x
, vy分别表示相邻两帧图像roi区域在x方向与y方向上的光流值，v表示相邻两帧图像roi区域的光流值。
9.更进一步地，所述胚胎定位单元输出第一张存在胚胎的图像后，停止检测，将后序所有图像直接输出至提取roi单元，所述提取roi单元提取所有图像中胚胎的roi区域。
10.更进一步地，所述图像预处理模块进行预处理的方法为采用高斯滤波算子消除胚胎roi区域内的噪声，并通过sobel算子分别计算x方向以及y方向的边缘增强图像，采用加权平均的方式完成对图像中的边缘增强。
11.本发明还提出一种基于上述的基于胚胎动力学参数的胚胎分裂周期智能预测系
统的方法，其特殊之处在于，包括如下步骤：s1 采集时差培养箱的图像，输入至所述图像预处理模块进行图像预处理；s2 将经过预处理的图像输入至所述变化检测分析模块，所述变化检测分析模块中胚胎定位单元将图像分为具有胚胎roi区域图像和不具有胚胎roi区域图像，前者转步骤s3，后者转步骤s6；s3 所述变化检测分析模块提取所有图像中胚胎的roi区域；s4 所述变化检测分析模块将提取的胚胎roi区域按照胚胎发育时间依次排列，采用lucas-kanade方法计算相邻两帧图像的光流值；s5 所述变化检测分析模块按照胚胎发育时间绘制光流曲线，当光流值变化大于预设值时胚胎处于分裂状态，对应帧图像记为分裂特征帧，并记录对应的分裂时间点；s6所述输出模块输出每帧图像的分裂状态，对于不具有胚胎roi区域的图像输出无胚胎状态，对于具有胚胎roi区域的图像，分析光流值的变化，输出胚胎发育过程中是否分裂，若分裂，则输出第j次分裂和对应的分裂时间点，j=1,2,3。
12.优选地，步骤s1中采集时差培养箱的图像为对于同一胚胎在d1~d3周期内采集的所有图像。
13.优选地，步骤s3中提取胚胎roi区域的方法为，截取第一帧图像中胚胎的roi区域，采用canny边缘算子计算胚胎roi区域的边缘图像以及下一时刻胚胎的边缘图像，以胚胎roi区域的边缘图像为模板，计算下一时刻胚胎所对应的位置，进而得到下一时刻胚胎的roi区域，并以该胚胎roi区域为新的模板，进行下一轮的计算，如此反复，提取所有图像中胚胎的roi区域。
14.本发明另外提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
15.胚胎在时差培养箱发育过程中，为了获取图像，需要提供光源，然而由于机器的运动等干扰，光源会产生一定的晃动，对胚胎光流值的计算会产生影响。本发明采用了yolo3网络与模板匹配结合的方法，准确地定位到胚胎发育序列中的胚胎区域，很好地解决了光源晃动对胚胎光流值计算的影响，更准确地反映了胚胎的活跃度。
16.本发明的有益效果为：1、本发明提供的系统用于对经过预处理的胚胎roi区域进行光流分析，准确输出胚胎发育过程中的分裂特征和对应时间点。
17.2、本发明能够消除由于时差培养箱拍摄图像中的背景区域存在杂质和光源等干扰因素，精准地通过计算机计算方法智能获取胚胎动力学参数。
18.3、本发明采用的光流算法通过计算相邻图像中胚胎区域内对应像素点的速度矢量大小，刻画了胚胎在变化过程中的剧烈程度，进而用于监测胚胎发育中的变化，辅助胚胎学家完成胚胎分裂时间的快速定位。
附图说明
19.图1为本发明一种基于胚胎动力学参数的胚胎分裂周期智能预测系统的结构框图；图2为图1中变化检测分析模块的结构框图；
图3为实施例中方法的流程图；图4为实施例中具有胚胎roi区域的第一帧图像；图5为实施例中胚胎roi区域提取结果示意图；图6为实施例中胚胎发育过程中的分裂特征曲线，图中标注的t1,t2,t3分别表示胚胎的第一次，第二次，第三次分裂的时间点。
具体实施方式
20.以下结合附图和具体实施例对本发明作进一步的详细描述。
21.如图1所示，本发明一种基于胚胎动力学参数的胚胎分裂周期智能预测系统，包括图像预处理模块、网络模型、图像数据库、变化检测分析模块、输出模块，其中：图像预处理模块：用于对时差培养箱采集的图像进行预处理；时差培养箱在胚胎发育过程中会间隔一定的时间对胚胎进行拍摄，在实际的拍摄过程中，时差培养箱会存在外界的干扰而影响图像的明暗度与清晰度等，为了解决这一实际问题，在将图像送入网络模型之前，需要对每张图像进行预处理操作，达到网络模型能够识别的效果；图像预处理的方法包括采用了高斯滤波算子消除胚胎roi区域内的噪声，并通过sobel算子分别计算x方向以及y方向的边缘增强图像，采用加权平均的方式完成对图像中的边缘增强；网络模型：用于存储yolo3网络模型，yolo3网络模型经过训练集的图像训练并通过验证和测试，用于输出具有胚胎roi区域和不具有胚胎roi区域的图像；图像数据库：用于存储经过标注后的时差培养箱采集的图像，包括训练集、验证集和测试集；本发明收集发育到第三天的图像，组织多名胚胎学家对胚胎进行标注。将标注好的图像划分为训练集、验证集和测试集，并对训练集中的图像进行翻转、旋转、平移等预处理操作，扩充数据集；变化检测分析模块：用于使用yolo3网络模型分析具有胚胎roi区域的图像，并通过模板匹配定位后序图像中胚胎roi区域，再对具有胚胎roi区域进行光流分析，输出胚胎发育过程中的分裂特征和对应时间点；输出模块：用于输出预测结果，其中对于不具有胚胎roi区域的图像输出无胚胎，对于具有胚胎roi区域的图像，分析光流值的变化，输出胚胎发育过程中是否分裂，若分裂，则输出胚胎发育过程中的分裂特征和对应时间点。
22.具体地，如图2所示，变化检测分析模块包括胚胎定位单元、提取roi单元、光流值计算单元、分裂时间点分析单元。其中：胚胎定位单元：将同一培养皿胚胎发育序列中的图像输入到训练好的yolo3模型中，输出图像中是否存在胚胎，若存在胚胎，则向提取roi单元输出并同时输出胚胎roi区域在图像中的位置，反之则输出不具有胚胎roi区域；当yolo3模型输出第一张图像后，说明胚胎已经形成，停止计算，将后序所有图像直接输出至提取roi单元。
23.提取roi单元：根据胚胎定位单元得到的胚胎位置，截取图像中胚胎的roi区域，采用canny边缘算子计算胚胎roi区域的边缘图像以及下一时刻胚胎的边缘图像，以胚胎roi区域的边缘图像为模板，计算下一时刻胚胎所对应的胚胎位置，进而得到下一时刻胚胎的roi区域，并以该胚胎roi区域为新的模板，如此反复，提取所有图像中胚胎的roi区域，输出至光流值计算单元。
24.光流值计算单元：将提取的胚胎roi区域按照胚胎发育时间依次排列，采用lucas-kanade方法计算相邻两帧图像的光流值；光流值计算单元计算光流值的公式为：kanade方法计算相邻两帧图像的光流值；光流值计算单元计算光流值的公式为：其中n为胚胎roi区域内所有像素点个数，xi,yi, i=1,2,
…
,n，分别表示上一帧胚胎roi区域中第i个点的横坐标与纵坐标，i
xi
, i
yi
, i=1,2,
…
,n分别表示上一帧胚胎roi区域在点(xi,yi)处沿x方向与y方向的灰度梯度，δii, i=1,2,
…
,n表示相邻两帧胚胎roi区域在第i个点的灰度差，v
x
, vy分别表示相邻两帧胚胎roi区域在x方向与y方向上的光流值，v表示相邻两帧胚胎roi区域的光流值。
25.分裂时间点分析单元：将图像的光流值按照胚胎发育的时间依次排列，记为v1,v2,
…
, v
l-1
，l表示采集的图像数量，以m为滑动窗口的大小（在本实例中m取值为15），计算v1,v2,
…
,vm的平均值，记为第一个窗口的平均光流值a1，计算v2,v3,
…
,v
m+1
的平均值，记为第二个窗口的平均光流值a2，重复直至计算v
l-m
, v
l-m+1
,
…
, v
l-1
的平均值，记为最后一个窗口的平均光流值a
l-m
。
26.胚胎随着分裂次数的增加，胚胎持续变化的时间逐步增加，进而胚胎光流值的变化时间逐渐增加，记kj为第j（j=1,2,3）次分裂时光流值变化的图像张数（本实施例中k1,k2,k3,分别取值为8,12,15）。若ai,a
i+1
,a
i+2
,
…
,a
i+kj (i=1,2,
…
,l-m-kj)均超过设定值σ（根据专家经验知识，σ本实例中取值为17.8），则认定ai计算窗口首次包含了胚胎的分裂时刻，且窗口内包含的最后一个光流值所对应的时间即为第j次分裂的时间点，记为tj(j=1,2,3)。
27.胚胎发育过程中的变化在相邻两张图像中体现为胚胎区域内像素点的变化。光流算法通过计算相邻图像中胚胎区域内对应像素点的速度矢量大小，刻画了胚胎在变化过程中的剧烈程度，进而用于监测胚胎发育中的变化，辅助胚胎学家完成胚胎分裂时间的快速定位。
28.考虑到图像中胚胎周边的颗粒细胞等杂质对lucas-kanade光流法计算的干扰，本发明采用了yolo3与模板匹配的方法，仅仅以图像中的胚胎roi区域作为lucas-kanade光流法分析的目标，更精准地刻画了胚胎的变化。
29.基于上述系统，如图3所示，本发明提出的基于胚胎动力学参数的胚胎分裂周期智能预测方法，包括如下步骤：s1 采集时差培养箱的图像，输入至图像预处理模块进行图像预处理；该图像为对于同一胚胎在d1~d3周期内采集的所有图像；s2 将经过预处理的第一帧图像输入至胚胎定位单元，将图像分为具有胚胎roi区域图像和不具有胚胎roi区域图像，前者转步骤s3输出胚胎在图像中的具体位置以备下一步计算，后者转步骤s6无需进行后续计算，图4所示为具有胚胎roi区域的第一帧图像；
s3 变化检测分析模块提取所有图像中胚胎的roi区域，提取结果如图5所示；变化检测分析模块从网络模型输出的图像中的胚胎roi区域得到胚胎位置，截取图像中胚胎的roi区域，采用canny边缘算子计算roi区域的边缘图像以及下一时刻胚胎的边缘图像，以胚胎roi区域的边缘图像为模板，计算下一时刻胚胎所对应的胚胎位置，进而得到下一时刻胚胎的roi区域，并以该胚胎roi区域为新的模板，进行下一轮的计算，如此反复，提取所有图像中胚胎的roi区域；s4 变化检测分析模块将提取的胚胎roi区域按照胚胎发育时间依次排列，采用lucas-kanade方法计算相邻两帧图像的光流值；s5 变化检测分析模块按照胚胎发育时间绘制光流曲线，当光流值变化大于预设值时胚胎处于分裂状态，对应帧图像记为分裂特征帧，并记录对应的分裂时间点；根据光流值与胚胎变化的统计分析，当胚胎处于分裂时，光流值会急剧增加，达到峰值，当分裂完成时，光流值又逐渐降低，整个分裂过程呈现出波峰形状。按照胚胎分裂时光流的变化特性，设定峰值的阈值，当光流高于该阈值时，胚胎处于分裂过程，并输出该过程中光流最大值所对应的时刻为该胚胎的分裂时间点；s6输出模块输出该胚胎在d1~d3周期内胚胎发育过程中的分裂特征曲线，按照时间顺序绘制分裂状态，对于不具有胚胎roi区域的图像输出无胚胎，对于具有胚胎roi区域的图像，分析光流值的变化，输出胚胎发育过程中是否分裂，若分裂，则输出第j次分裂和对应的分裂时间点，j=1,2,3，输出结果如图6所示。
30.使用胚胎分裂周期智能预测系统进行预测之前，需要对网络模型进行训练、验证和测试。本发明收集时差培养箱采集的图像，邀请胚胎师对胚胎区域和空皿图像进行标注；将标注图像输入到本发明搭建的yolo3网络模型中，训练模型中的参数，保存最优参数模型，经过验证和测试，得到可以进行预测的网络模型。
31.时差培养箱拍摄的图像不仅包含了胚胎区域，还存在有杂质、光源等干扰的背景区域，而胚胎的变化检测仅仅与胚胎区域相关。为了更准确地检测胚胎在发育过程中的变化，本发明结合了yolo3与模板匹配两种不同算法。通过yolo3检测到时差图像中的第一张胚胎区域，为了保障后续计算中由于图像大小对结果的影响，以该区域为模板，采用模板匹配的方法检测第二张图像中的胚胎区域，并以第二张胚胎区域匹配第三张图像中的胚胎区域，以此类推，可以提取到整个发育过程中的胚胎区域。
32.光流是由于目标对象或者摄像机的移动造成的图像对象在连续两帧图像中的移动。为了量化图像中胚胎的变化，lucas-kanade光流给胚胎roi区域中的像素点赋予一个速度矢量，进而在图像中形成了一个运动矢量场，根据像素点速度矢量的大小与方向，可以对胚胎进行动态分析。如果胚胎发育过程中胚胎变化不大，则光流矢量在胚胎roi区域中的变化也不大，反之，当胚胎roi区域中存在变化时，变化的像素点与背景存在着相对运动，所形成的速度大小必然变化较大，如此便可以监测胚胎发育过程中的变化。
33.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
34.本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。