基于多模态数据的胚胎评估方法及装置与流程

本发明涉及生物信息领域，具体地，本发明涉及基于多模态数据的胚胎评估方法及装置，更具体的，本技术涉及一种训练机器学习模型的方法、训练机器学习模型的装置、评估胚胎质量的系统、计算设备和计算机可读存储介质。

背景技术：

1、体外受精(ivf)是治疗不孕症最常见的方法之一。其治疗过程包括促排卵、取卵、受精、胚胎移植和着床。然而，这一技术目前只能达到大约35％的受孕率。胚胎质量评估在ivf诊疗过程中是关键性的一环。医生基于胚胎的形态选择最具生存力的胚胎植入到母体子宫中。然而，由于医生在评分胚胎时存在主观差异，往往导致胚胎评估结果评测的差异化；并且病人的其他生理信息、治疗方案及相关指标，如激素、卵泡数量形态、子宫内膜厚度也会影响胚胎质量进而影响最终的妊娠结局。

2、目前，国内外一些公司和学者进行了基于人工智能算法的胚胎质量评估的研究，其方法主要集中在利用计算机视觉技术对胚胎静态图片或时序图像进行特征提取，对胚胎进行分类。胚胎是一个三维组织，其包含多种组成，例如当胚胎生长到第五天形成囊胚，会形成内细胞团、滋养层、透明带等多种结构，不同结构会继续进化为胎儿或胎盘等组织，对最终的妊娠结局有不同的影响。仅利用其图像信息无法细化各组织之间的关系和区别，从而无法正确有效的评估各组织结构的生长情况，无法定量评判最终胚胎质量。由于胚胎的生长不仅仅依赖于体外培养的环节，而且与母体的生理指标，促排前后的卵泡数量质量、年龄、激素水平息息相关。但到目前为止，还未见有通过多模态综合数据对胚胎质量进行评估的机器学习模型。

3、因此，本领域亟需开发一种基于多模态的数据对胚胎质量进行定量评估的机器学习模型，用以提高胚胎检测的效率和准确率。

技术实现思路

1、本技术是发明人基于对以下问题和事实的发现而提出的：

2、针对现有胚胎质量评估的效率低、准确度差以及主观差异大等问题，发明人通过提取图像和文字信息中的多种超参数进行结合构建多模态评估模型，能够最大化利用图片和文字信息对胚胎质量进行评估。同时，多模态模型采用了不同于传统分类模型的概率计算方式，这一改进使得模型能够更加充分地利用模型中提取的超参数信息，提高检索准确性和效率。

3、本发明旨在至少在一定程度上解决上述技术问题之一。

4、为此，在本发明的第一方面，本发明提出了一种训练机器学习模型的方法，所述机器学习模型用于对胚胎质量进行评估。根据本发明的实施例，所述机器学习模型包括图像特征提取器子模型、文本特征提取器子模型和匹配度预测子模型，所述方法包括：获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；将所述图像信息输入至图像特征提取器子模型，以便获得所述训练胚胎样本的图像特征；和将所述文本信息输入至文本特征提取器子模型，以便获得所述训练胚胎样本的文本特征；将所述图像特征和所述文本特征输入至匹配度预测子模型，所述匹配度预测模型输出所述图像特征和所述文本特征的匹配度；和基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度，对所述图像特征提取器子模型、所述文本特征提取器子模型和所述匹配度预测子模型进行训练，以便获得所述机器学习模型。

5、通过上述方法训练的用于胚胎质量评估的机器学习模型可以综合利用图像和文本信息，更全面地评估胚胎质量，提高了评估准确度；此外，该机器学习模型的自动化评估方式减少了人工主观性误差，提高了评估效率；由于该机器学习模型基于大量的训练数据进行训练，能够提供高准确度的胚胎质量评估结果。

6、需要说明的是，在本技术中，所述图像特征提取器子模型选用swin-tiny模型作为图像的编码器，通过卷积层、池化层等一系列层次化的操作，将原始图像中的特征提取出来，并将其表示为一系列特征图。这些特征图可以用于进行图像分类、目标检测等任务。

7、需要说明的是，所述文本特征提取器子模型是指用于从文本数据中提取有用特征的一种机器学习模型。这些模型可以将文本数据转换成数字向量，以便用于各种机器学习任务，如分类、聚类、信息检索等。在本技术中，选取文本transfomer模型对文本数据集进行训练，用于学习出最有效的特征提取方式。

8、需要说明的是，所述匹配度预测子模型基于深度学习的方法用于预测所述图像数据集与所述文本数据集之间的相似度。通过采用监督学习方式，通过训练数据集来学习图像集与文本集之间的相似程度，并用于预测新的相似度。

9、根据本发明的实施例，上述训练机器学习模型的方法还可以包括下列技术特征中的至少之一：

10、根据本发明的实施例，所述机器学习模型进一步包括胚胎质量评估子模型，所述胚胎质量评估子模型用于生成胚胎质量评估结果。通过计算机视觉技术和人工智能算法自动化地对胚胎的形态、细胞数、细胞对称性等特征进行评估，减轻了人工评估的负担，提高了准确性和可靠性。

11、根据本发明的实施例，所述质量评估结果选自图文描述、评估分数、评估级别以及分区域评估中的至少之一。具体而言，所述质量评估结果包括：

12、1)图文描述：通过文字和图像结合方式来描述胚胎的质量信息，进而简化分析流程。

13、2)评估级别：通过将胚胎进行一个级别的划分，如优秀、良好、一般等，来评估其质量。

14、3)评估分数：通过对胚胎的质量进行打分，并进一步规定高于一定阈值分数即为高品质胚胎。

15、4)分区域评估：通过对胚胎图像的不同位置或不同时期进行评估，进一步确定在某一特定时间点的胚胎质量，有助于帮助医生分析造成胚胎质量优良的原因。

16、需要说明的是，不同的评估方法可以得出不同的质量评估结果，因此在进行质量评估时需要选择合适的评估方法，并结合具体情况进行分析和判断。

17、根据本发明的实施例，所述图像信息与文本信息的预训练模型选自clip模型。利用clip模型可以同时处理文本和图像的优点，本发明实施例选取clip模型对胚胎图像以及文本信息进行大规模训练学习，基于clip模型的通用性，可以选择性输入不同类型的图像和文本训练学习，用以增强模型的鲁棒性。这样即使在输入特殊图像的情况下，也能够产生准确的结果。

18、根据本发明的实施例，所述图像特征提取器子模型选自swin-tiny模型。发明人选择swin-tiny模型是基于模型轻量化、泛化性能强以及训练效率高的优势。

19、根据本发明的实施例，所述图像特征提取器子模型基于swin-tiny模型对图像中基础卵泡、促排后卵泡、移植前子宫内膜、卵子、卵裂期和囊胚期信息中的至少之一作为特征参数监督训练获得。根据本发明的实施例，基于swin-tiny模型进行开发的图像特征提取器子模型，在输入图像中提取出基础卵泡、促排后卵泡、移植前子宫内膜、卵子、卵裂期和囊胚期等信息，并将其作为特征参数进行监督训练，通过学习这些特征参数来识别和分类不同类型的卵泡和子宫内膜，进而帮助医生更好地判断胚胎的质量。

20、根据本发明的实施例，所述文本特征提取器子模型选自文本transfomer模型。文本transformer模型作为深度学习模型的一种，被广泛用于自然语言处理。本发明实施例中选取文本transformer模型作为处理文本信息的模型是因transformer采用了多头自注意力机制，能够有效地建模长期依赖性，可以更好地处理长文本。此外，transformer可以进行完全并行的运算，在训练和推理时都可以更快地处理数据，减少训练时间成本和资源。

21、根据本发明的实施例，所述文本特征提取器子模型基于文本transfomer模型对文本中生理信息、激素信息、用药信息、卵泡信息、胚胎发育信息中的至少之一作为特征参数监督训练获得。具体来说，该子模型会利用先前已经标注好的相关文本数据集进行训练，以学习如何提取出与生理、激素、用药、卵泡、胚胎发育等信息相关的有效特征参数，进而在后续的任务中更好地处理和分析文本数据。

22、根据本发明的实施例，所述机器学习模型文本特征选自患者。

23、根据本发明的实施例，所述匹配度预测子模型基于图像特征与文本特征之间的相似度进行训练获得。该子模型的训练基于图像特征和文本特征之间的相似度，即通过比较两个特征向量之间的相似程度来确定它们之间的匹配度。通过使用已知的匹配度数据集进行训练，用于预测两个未知图像或文本之间的相似度，从而确定它们之间的匹配度。

24、根据本发明的实施例，所述匹配度对应于图像特征与文本特征之间的相似度。

25、示例性的，在本技术已经训练完成的胚胎质量评估模型中输入图像与文本信息，通过分析输入的图像和文本信息来预测胚胎的质量。在输出结果时，用户可以选择输出相似度排序前n(n为正整数，如1、2、3、4、5等)数量的相似图像与对应文本信息。需要说明的是，该模型还可以将输出结果修改为胚胎质量评分、胚胎质量评级或者在输入的连续时间点图像进行胚胎质量评估。这些不同的输出格式提供了更多的选项，适合不同的临床需求。此外，用户也可以选择输出的图像与对应文本信息与胚胎质量评估评分、评级以及连续时间点图像进行组合评估等方式。

26、根据本发明的实施例，所述图像信息进一步包括超声图像。

27、需要说明的事，本技术中所述图像信息包括但不限于超声图像。

28、根据本发明的实施例，所述超声图像包括b超。

29、根据本发明的实施例，所述机器学习模型图像信息选自显微镜下单一图像或连续图像或图像中的不同区域中的至少之一。根据本发明的实施例，所述机器学习模型图像信息选自显微镜下单一rgb图像、连续rgb图像以及单一rgb图像中的部分区域进行训练，以便于做出更全面、准确的质量评估。通过对胚胎全流程的生长发育状况的分析，生成评估报告具有更高的评级准确率，在实际临床应用中能够辅助生殖医生进行胚胎选择性移植。

30、在本发明的第二方面，本发明提出了一种训练机器学习模型的装置。根据本发明的实施例，所述装置用于对胚胎质量进行评估，所述装置包括：信息获取模块，所述信息获取模块用于获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；特征获取模块，所述特征获取模块用于获取训练胚胎样本的图像特征和所述训练胚胎样本的文本特征；匹配度预测模块，所述匹配度预测模块用于获取所述图像特征和所述文本特征的匹配度；训练模块，所述训练模块基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度对所述机器学习模型进行训练；其中，所述机器学习模型是本发明第一方面所述的方法训练的。

31、本发明实施例所述装置具有以下优点：

32、1)提高胚胎质量评估的准确性：前述装置可以同时获取胚胎的图像信息和文本信息，并对其进行特征提取和匹配度预测，基于大规模的训练数据，可以显著增加胚胎质量评估准确性。

33、2)自动化程度高：前述装置可以自动化地完成胚胎质量评估的过程，节省了人力成本(并避免观察者的主观性误差)和时间成本。

34、3)支持机器学习模型的训练：前述装置还可以基于所获取的图像特征和文本特征对机器学习模型进行数据集训练，增加模型的鲁棒性。

35、4)适用范围广：前述装置可以适用于不同类型的胚胎质量评估任务，具有通用性。

36、根据本发明的实施例，上述训练机器学习模型的装置还可以包括下列技术特征中的至少之一：

37、根据本发明的实施例，所述图像信息进一步包括超声图像。

38、根据本发明的实施例，所述超声图像包括b超。

39、在本发明的第三方面，本发明提出了一种评估胚胎质量的系统。根据本发明实施例，所述系统包括：信息获取单元，用于获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；特征获取单元，用于获取训练胚胎样本的图像特征和所述训练胚胎样本的文本特征；匹配度预测单元，用于获取所述图像特征和所述文本特征的匹配度；胚胎评估单元，用于基于机器学习模型进行评估胚胎质量。其中，所述机器学习模型是经过本发明第一方面所述的方法训练获得的。根据本发明的实施例，所述系统的优势在于它可以自动化地评估胚胎质量，减少了人为主观差异因素的影响。此外，所述系统使用机器学习模型进行评估，可以更精确地预测胚胎的发育能力和健康状况，提高了胚胎移植成功率，同时也有助于降低不必要的医疗费用和时间成本。

40、根据本发明的实施例，上述评估胚胎质量的系统还可以包括下列技术特征中的至少之一：

41、根据本发明的实施例，所述图像信息进一步包括超声图像。

42、根据本发明的实施例，所述超声图像包括b超。

43、根据本发明的实施例，所述质量评估结果选自图文描述、评估分数、评估级别以及分区域评估匹配度中的至少之一。

44、在本发明第四方面，本发明提出了一种计算设备。根据本发明的实施例，所述计算设备包括：处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序以实现本发明第一方面所述的方法。根据本发明的实施例，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，用以实现对机器学习模型的训练。所述设备可以快速执行计算机程序，使其更加高效。此外，所述设备可以根据需要存储各种类型的计算机程序，增强了处理计算机程序时提供灵活性。更重要的是，相对于其他高端计算设备，这种计算设备的成本可能要低得多，因为它是由常见的硬件组件和开源软件组合实现。

45、需要说明的是，本技术所述设备具有可扩展性，例如在实际应用中，如果需要更大的存储空间或更强大的处理能力，可以通过添加额外的存储器或处理器来扩展该计算设备；还可以支持多任务并行处理：进而提高计算效率。

46、在本发明的第五方面，本发明提出了一种计算机可读存储介质。根据本发明的实施例，所述存储介质包括计算机指令，当所述指令被计算机执行时，使得所述计算机实现本发明第一方面所述的方法。所述计算机可读存储介质中包含的计算机程序可以更准确的处理胚胎图像以及文本信息中所包含的复杂信息，基于前期的大量训练，可以给出一个更为准确的结果。并且，所述计算机可读存储介质可以存储大量数据信息，避免人为错误，保证了数据的准确可靠性。而且，可以随时随地进行访问，以便于调取用户不同时间的检测记录等等。

47、需要说明的是，在本技术中，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。本发明描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

48、应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

49、本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

50、此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

51、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。