用于评估宠物放射学图像的系统和方法与流程

本公开总体上涉及使用一个或多个机器学习模型或工具来评估宠物或动物放射学图像。

背景技术：

1、越来越多的兽医利用基于图像的诊断技术(例如x射线)以诊断或识别动物或宠物的健康问题。然而，全世界接受过兽医培训的放射科医生的人数不到1100人。因此，许多兽医无法利用基于图像的诊断技术所提供的优势。即使对于那些接受过放射学培训的兽医而言，查看医学图像也可能是费时且麻烦的。加剧这些困难的是，动物或宠物放射学图像可能被错误定向和/或缺失或具有错误的侧向标记(laterality marker)。因此需要一种系统，该系统可以自动处理和解释宠物诊断图像，并将临床上可靠的结果返回给接受过放射学培训或未受过放射学培训的兽医。

技术实现思路

1、在某些非限制性实施例中，本公开提供了用于训练和使用机器学习模型来处理、解释和/或分析动物或宠物的放射学数字图像的系统和方法。图像可以是用于医疗状况诊断的任何数字图像存储格式，例如医学数字成像和通信(“dicom”)，以及用于显示图像的其他格式。在特定实施例中，可以使用自动化自然语言处理(“nlp”)工具对放射影像图像进行标记：在一种计算机实现的方法中，nlp工具接受放射影像图像的自然语言文本摘要的表示作为输入，并输出表征放射影像图像的图像标签或标记。在一个实施例中，放射影像图像的自然语言文本摘要是放射学报告。在一个实施例中，放射影像图像和相应的nlp生成的标签可以用作训练数据，以训练一个或多个机器学习分类器模型，这些模型被配置或编程为对动物或宠物放射影像图像进行分类。在其他非限制性实施例中，兽医放射学专家可以手动标记各种图像。在特定实施例中，可以使用手动标记的训练数据训练一个或多个机器学习分类器模型，例如由兽医放射学专家或另一种类型的人类特定领域专家标记的医学图像。如本文进一步解释的，在一些实施例中实现的机器学习模型可以有效地使用nlp生成的标记的训练数据和人类生成的标记的图像训练数据的混合数据。

2、在一个实施例中，本公开提供了用于动物或宠物放射影像图像的自动分类的系统和方法。在不同的实施例中，可以使用一个或多个机器学习模型或工具对采集的、收集的和/或接收的图像进行分析和/或分类。在一些实施例中，机器学习模型可以包括神经网络，其可以是卷积神经网络(“cnn”)。机器学习模型可用于使用各种标记、标签或类别对图像进行分类。例如，这种分类可以指示健康的组织或存在异常。在一个实施例中，被分类为具有异常的图像可以被进一步分类为，例如，心血管、肺部结构、纵隔结构、胸膜腔和/或胸腔外。在本公开中，分类中的这种分类可被称为子分类。

3、在一个实施例中，本公开提供了用于训练和使用被编程的机器学习模型(在一些情况下，在本文中表示为“rapidreadnet”)来对宠物放射学图像进行分类的技术，其中rapidreadnet可以是单独的、经校准的深度神经网络student模型的集成，如本文进一步更具体描述的。术语rapidreadnet以及本公开中类似的每个其他术语或标签在本公开中的使用仅仅是为了方便和简洁，以便于简明的解释；其他实施例可以在不使用术语rapidreadnet的情况下实现功能相当的工具、系统或方法。在一个实施例中，可以首先使用第一人类标记的图像训练数据集来训练机器学习神经teacher模型。然后可以使用nlp模型来标记较大的未标记的图像训练数据集，该数据集包含与自然语言文本摘要相关联的医学图像。例如，数据集可以包含放射学报告。然后可以使用teacher模型在较大的图像数据集上生成软伪标签。最后，软伪标签可以与nlp衍生标签结合使用，以进一步生成更多衍生标签，并且可以使用这些衍生标签来训练一个或多个机器学习神经student模型。在一个实施例中，rapidreadnet可以包括所述student模型的集成。

4、在一个实施例中，本公开提供了用于在不依赖于dicom元数据或侧向标记的情况下自动确定兽医放射影像中的正确解剖学方向的系统和方法。一个公开的方法可以包括使用经训练的机器学习模型(“adjustnet”)，其包含两个子模型(“rotationnet”和“flipnet”)。在一些实施例中，rotationnet和flipnet中的每一个都可以被编程为多个cnn的集成。在一个实施例中，rotationnet模型可用于确定图像(例如动物或宠物放射影像图像)是否被正确地旋转。在一个实施例中，flipnet模型可用于确定是否应该翻转图像(例如动物或宠物放射影像图像)。在一个实施例中，adjustnet和/或rotationnet和/或flipnet可被纳入用于对动物或宠物放射影像图像进行分类的端到端系统或管道中，与所报道的最先进的系统相比，该端到端系统或管道具有许多技术优势。术语adjustnet、rotationnet和flipnet，以及本公开中类似的每个其他术语或标签，其在本公开中的使用仅仅是为了方便和简洁，以便于简明的解释；其他实施例可以在不使用术语adjustnet、rotationnet或flipnet的情况下实现功能相当的工具、系统或方法。

5、在各种实施例中，rotationnet和flipnet中的每一个都可以多种方式中的任何一种进行编程和/或训练。例如，每个模型可以是单一模型或两阶段模型。在非限制性实施例中，可以使用多种不同的权重初始化技术来开发模型。例如，可以使用(例如，在imagenet上)预训练的模型权重来执行迁移学习方法，或者可以随机初始化模型，然后在增强数据上进一步预训练模型。在非限制性实施例中，一个或多个不同的训练管道也可以用于开发模型。例如，roationnet和flipnet中的每一个都可以使用增强数据进行预训练，然后使用真实数据进行微调。在其他实施例中，一个或两个模型可以用增强数据和真实数据联合训练。

6、在一个实施例中，本公开提供了一种用于对动物或宠物放射影像图像进行分类的端到端系统或管道。在这种情况下，“端到端”可以指系统或管道被配置为接收数字图像数据作为输入并输出分类数据或标签。如本文进一步更具体解释的，所述端到端系统或管道可以包括使用adjustnet来确定目标图像的正确解剖学方向，以及使用rapidreadnet来对所述目标图像进行分类。在一个实施例中，在(使用adjustnet)确定目标图像的正确解剖学方向之后以及在(使用rapidreadnet)输出目标图像的一个或多个分类之前，可以使用另一个经训练的模型来验证目标图像对应正确的身体部位。在一个实施例中，基础设施管道可以依赖于微服务，这些微服务可以使用软件容器进行部署，使用例如来自docker公司的docker或google公司的kubernetes的库，并且可通过使用表征状态转移(restful api)的应用程序编程接口进行调用。在一个实施例中，可以对ai orchestrator容器进行编程，以协调来自不同ai模型(例如adjustnet和rapidreadnet模型)的推理的执行。本公开提供了一种示例性的新颖的非限制性系统架构，在其上可以实现本公开所提供的某些方法或技术，但其他方法或技术也是可能的。

7、本文所公开的实施例仅是示例，并且本公开的范围不限于它们。某些非限制性实施例可以包括本文所公开的实施例的所有、一些或没有的组件、元件、特征、功能、操作或步骤。根据本发明的实施例具体公开在所附的涉及方法的权利要求中。所附权利要求中的从属关系或引用关系仅出于形式原因而选择。然而，也可以要求主张因有意引用到任何先前的权利要求(特别是多重从属关系)而产生的任何主题，因此，无论所附权利要求中选择何种从属关系，都可以公开并要求主张权利要求及其特征的任何组合。可以要求主张的主题不仅包括所附权利要求中所列特征的组合，还包括权利要求中特征的任何其他组合，其中权利要求中提及的各个特征可以与权利要求中的任何其他特征或其他特征的组合进行组合。此外，本文所描述或描绘的任何实施例和特征可以在单独的权利要求中、和/或与本文所描述或描绘的任何实施例或特征、或者与所附权利要求的任何特征的任何组合中要求保护。