眼科疾病和病症的基于深度学习的诊断和转诊的制作方法
交叉引用
本申请要求2017年10月13日提交的第62/572,384号美国临时申请、2018年5月8日提交的第62/668,698号美国临时申请以及2018年7月6日提交的第62/694,939号美国临时申请的权益，所述申请中的每一个以引用的方式全文并入本文中。
发明背景
基于例如视网膜成像的医学成像诊断出许多眼科疾病和病症。医学成像传统上依靠人类专家单独地分析图像。随着医学成像程序数目的增加，对高效准确的图像分析的需求超过了能够执行此功能的专家资源。
技术实现要素：
传统的医学图像分析算法存在许多技术缺陷，这些缺陷与无法在没有大量人工干预和/或指导的情况下充分执行分析有关，这与用于革新疾病诊断和管理的人工智能和机器学习的应有前景不符。例如，一种方法依赖于(1)手工对象分割，(2)使用专门为每种类别的对象设计的统计分类器或浅层神经计算机器学习分类器识别每个分割的对象，以及(3)图像的分类。因此，多个分类器的创建和完善需要大量的专业知识和时间并且需要大量的计算。另外，由于训练集中缺少足够的医学图像，因此机器学习分类器的训练通常是有缺陷的。在相对罕见或无法充分获取医学图像的疾病或病状的情况下，这个问题会更加严重。此外，因为机器学习通常表现得像黑箱，所以由于有关分类器如何评估医学图像以生成预测的方法缺乏透明性，接受通过此类方法生成的诊断可能会受到阻碍。
通过提供不需要专家进行实质干预来生成分类器的改进系统和技术，本公开解决了现有计算机系统执行图像分析的这些技术问题。这些包括例如提供多个处理层的卷积神经网络层，在这些处理层上应用了图像分析滤波器或卷积。通过在图像上系统地卷积多个滤波器以产生用作下一层的输入的特征图来构造每一层内的图像的抽象表示。这种总体架构使图像能够被处理成像素作为输入并生成所需的分类作为输出。因此，不再需要用于传统图像分析技术的多个资源密集型步骤，例如手工对象分割，使用浅层分类器识别分割的对象以及图像的分类。
另外，本公开解决了相关领域中用于训练算法以有效地执行图像分析和/或诊断的图像(例如，用于特定眼科疾病的医学图像)不足的技术问题。本公开的某些实施方案包括应用迁移学习算法以对感兴趣的特定领域之外的图像训练例如卷积神经网络的初始机器学习算法，以优化下层中的权重来辨识图像中发现的结构的系统和技术。然后冻结下层的权重，同时使用来自相关域的图像对上层的权重进行重新训练，以根据所需诊断(例如，识别或预测特定眼科疾病或病状)识别输出。此方法允许分类器使用明显更少的训练图像，同时需要实质上更少的计算能力更快地辨识特定种类的图像(例如，眼睛的图像)的区别特征。使用非域图像来部分地训练或预训练分类器允许使用与数千种类对应的可用图像的深层存储来优化一个或多个神经网络层的权重。结果是特别地考虑到速度、效率和所需计算能力的改进，分类器具有比传统方法出乎意料且令人惊讶的敏感性、特异性和准确性。实际上，分类器的某些实施方案在根据敏感性、特异性、准确性或其组合来正确地诊断医学图像方面优于人类专家。
通过允许识别对分类器的预测诊断贡献最大的关键区域，本公开还解决了机器学习的黑箱性质。本公开的某些实施方案利用对测试图像的遮挡测试来识别对分类器生成准确诊断的能力具有最重要贡献的感兴趣区域。专家可证实这些区域以验证系统，从而提高诊断的透明度和可信度。
有效地实施本文所描述的基于计算机的算法图像分析的技术问题的技术解决方案打开了机器学习技术的先前未实现潜力，从而革新医学图像分析和诊断。此外，本公开提供比下文更详细描述的现有计算机系统和技术更多的技术优势。
在某些实施方案中，本公开涉及一种用于提供眼科诊断的方法，所述方法包括：获得医学图像；对医学图像执行机器学习程序；以及通过机器学习程序确定医学图像是否指示疾病或病症，所述确定具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括卷积神经网络。在一些非限制性实施方案中，所述方法还包括使医学图像经受图像遮挡程序。在一些非限制性实施方案中，所述方法还包括执行迁移学习程序。在一些非限制性实施方案中，迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练机器学习程序，以获得预训练后的机器学习程序。在一些非限制性实施方案中，迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的机器学习程序。在一些非限制性实施方案中，所述方法还包括基于所述确定做出医学治疗建议。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，医学病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。
在某些实施方案中，本公开涉及一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实施用于提供眼科诊断的方法，所述方法包括：获得医学图像；对医学图像执行机器学习程序；以及通过机器学习程序确定医学图像是否指示疾病或病症，所述确定具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括卷积神经网络。在一些非限制性实施方案中，所述方法还包括使医学图像经受图像遮挡程序。在一些非限制性实施方案中，所述方法还包括执行迁移学习程序。在一些非限制性实施方案中，迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练机器学习程序，以获得预训练后的机器学习程序。在一些非限制性实施方案中，迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的机器学习程序。在一些非限制性实施方案中，所述方法还包括基于所述确定做出医学治疗建议。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，医学病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。
在某些实施方案中，本公开涉及一种计算机实施的系统，包括：数字处理装置，所述数字处理装置包括：至少一个处理器、被配置成执行可执行指令的操作系统、存储器以及计算机程序，所述计算机程序包括可由数字处理装置执行以创建用于提供医学诊断的应用程序的指令，所述应用程序包括：用于获得医学图像的软件模块；用于对医学图像执行机器学习程序的软件模块；以及用于通过机器学习程序确定医学图像是否指示疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括卷积神经网络。在一些非限制性实施方案中，所述应用程序还包括用于使医学图像经受图像遮挡程序的软件模块。在一些非限制性实施方案中，所述应用程序还包括用于执行迁移学习程序的软件模块。在一些非限制性实施方案中，迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练机器学习程序，以获得预训练后的机器学习程序。在一些非限制性实施方案中，迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的机器学习程序。在一些非限制性实施方案中，所述应用程序还包括用于基于所述确定做出医学治疗建议的软件模块。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，医学病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。
在某些实施方案中，本公开涉及一种用于提供眼科诊断的方法，包括：a)获得医学图像；b)通过机器学习程序分析医学图像；以及c)通过机器学习程序基于医学图像生成视敏度的预测，所述预测具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，卷积神经网络每层具有不超过5个神经元。在一些非限制性实施方案中，机器学习程序利用包括年龄、眼轴长和黄斑敏感性的输入。在一些非限制性实施方案中，所述方法还包括基于所述确定做出医学治疗建议。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病、病症或病状的信息的眼科图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科图像是黄斑敏感性阈值图像。在一些非限制性实施方案中，眼科疾病、病症或病状选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)、脉络膜新生血管(cnv)、脉络膜视网膜萎缩、黄斑劈裂、术中玻璃体丢失、术后视网膜撕裂或脱落，以及后巩膜葡萄肿。
在某些实施方案中，本公开涉及一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实施用于提供医学诊断的方法，所述方法包括：b)获得医学图像；b)通过机器学习程序分析医学图像；以及c)通过机器学习程序基于医学图像生成视敏度的预测，所述预测具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，卷积神经网络每层具有不超过5个神经元。在一些非限制性实施方案中，机器学习程序利用包括年龄、眼轴长和黄斑敏感性的输入。在一些非限制性实施方案中，所述方法还包括基于所述预测做出医学治疗建议。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病、病症或病状的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科图像是黄斑敏感性阈值图像。在一些非限制性实施方案中，眼科疾病、病症或病状选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)、脉络膜新生血管(cnv)、脉络膜视网膜萎缩、黄斑劈裂、术中玻璃体丢失、术后视网膜撕裂或脱落，以及后巩膜葡萄肿。
在某些实施方案中，本公开涉及一种计算机实施的系统，包括：数字处理装置，所述数字处理装置包括：至少一个处理器、被配置成执行可执行指令的操作系统、存储器以及计算机程序，所述计算机程序包括可由数字处理装置执行以创建用于提供医学诊断的应用程序的指令，所述应用程序包括：a)获得医学图像的软件模块；b)通过机器学习程序分析医学图像的软件模块；以及c)使用机器学习程序来基于医学图像生成视敏度的预测的软件模块，所述预测具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，卷积神经网络每层具有不超过5个神经元。在一些非限制性实施方案中，机器学习程序利用包括年龄、眼轴长和黄斑敏感性的输入。在一些非限制性实施方案中，所述应用程序还包括用于基于所述确定做出医学治疗建议的软件模块。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病、病症或病状的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)、脉络膜新生血管(cnv)、脉络膜视网膜萎缩、黄斑劈裂、术中玻璃体丢失、术后视网膜撕裂或脱落，以及后巩膜葡萄肿。
在某些实施方案中，本公开涉及一种用于提供医学诊断的计算机实施的方法，包括：a)获得个人的医学数据；b)对医学数据执行机器学习程序；以及c)通过机器学习程序基于医学数据生成视敏度或视觉障碍或病状的预测，所述预测具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，医学数据包括与近视相关联的输入，所述输入由机器学习程序处理以生成视敏度的预测。在一些非限制性实施方案中，医学数据包括医学图像。在一些非限制性实施方案中，医学图像是用微视野检查结果覆盖的眼底的图像。在一些非限制性实施方案中，医学数据包括近视的至少一种度量。在一些非限制性实施方案中，医学数据包括年龄、眼轴长、黄斑敏感性图像，或其任何组合。在一些非限制性实施方案中，预测包括在白内障手术之后个体的预测视敏度。在一些非限制性实施方案中，预测包括在白内障手术之后个体的良好或不良视敏度的诊断。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，使用包括分类为近视黄斑病变类别的医学图像的数据集来训练迁移学习程序。在一些非限制性实施方案中，所述方法还包括基于所述预测做出医学治疗建议。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。在一些非限制性实施方案中，预测包括最佳矫正视敏度(bcva)。在一些非限制性实施方案中，机器学习程序包括使用结果分类的患者数据训练机器学习算法，所述患者数据包括黄斑敏感性、眼轴长、最佳矫正视敏度(bcva)、双变量轮廓椭圆面积(bcea)或其任何组合。在一些非限制性实施方案中，患者数据根据至少四个近视黄斑病变类别进行分类。
在某些实施方案中，本公开涉及一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实施用于提供医学诊断的方法，所述方法包括：a)获得个人的医学数据；b)对医学数据执行机器学习程序；以及c)通过机器学习程序生成视敏度或医学疾病或病症的预测，所述预测具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，医学数据包括与近视相关联的输入，所述输入由机器学习程序处理以生成视敏度的预测。在一些非限制性实施方案中，医学数据包括医学图像。在一些非限制性实施方案中，医学图像是用微视野检查结果覆盖的眼底的图像。在一些非限制性实施方案中，医学数据包括近视的至少一种度量。在一些非限制性实施方案中，医学数据包括年龄、眼轴长、黄斑敏感性图像，或其任何组合。在一些非限制性实施方案中，预测包括在白内障手术之后个体的预测视敏度。在一些非限制性实施方案中，预测包括在白内障手术之后个体的良好或不良视敏度的诊断。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，使用包括分类为近视黄斑病变类别的医学图像的数据集来训练迁移学习程序。在一些非限制性实施方案中，其中所述方法还包括基于所述预测做出医学治疗建议。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。在一些非限制性实施方案中，预测包括最佳矫正视敏度(bcva)。在一些非限制性实施方案中，机器学习程序包括使用结果分类的患者数据训练机器学习算法，所述患者数据包括黄斑敏感性、眼轴长、最佳矫正视敏度(bcva)、双变量轮廓椭圆面积(bcea)或其任何组合。在一些非限制性实施方案中，患者数据根据至少四个近视黄斑病变类别进行分类。
在某些实施方案中，本公开涉及一种计算机实施的系统，包括：数字处理装置，所述数字处理装置包括：至少一个处理器、被配置成执行可执行指令的操作系统、存储器以及计算机程序，所述计算机程序包括可由数字处理装置执行以创建用于提供医学诊断的应用程序的指令，所述应用程序包括：a)用于获得个人的医学数据的软件模块；b)用于对医学数据执行机器学习程序的软件模块；以及c)用于通过机器学习程序生成视敏度或医学疾病或病症的预测的软件模块，所述预测具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，医学数据包括与近视相关联的输入，所述输入由机器学习程序处理以生成视敏度的预测。在一些非限制性实施方案中，医学数据包括医学图像。在一些非限制性实施方案中，医学图像是用微视野检查结果覆盖的眼底的图像。在一些非限制性实施方案中，医学数据包括近视的至少一种度量。在一些非限制性实施方案中，医学数据包括年龄、眼轴长、黄斑敏感性图像，或其任何组合。在一些非限制性实施方案中，预测包括在白内障手术之后个体的预测视敏度。在一些非限制性实施方案中，预测包括在白内障手术之后个体的良好或不良视敏度的诊断。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，使用包括分类为近视黄斑病变类别的医学图像的数据集来训练迁移学习程序。在一些非限制性实施方案中，所述方法还包括基于所述预测做出医学治疗建议。在一些非限制性实施方案中，医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。在一些非限制性实施方案中，预测包括最佳矫正视敏度(bcva)。在一些非限制性实施方案中，机器学习程序包括使用结果分类的患者数据训练机器学习算法，所述患者数据包括黄斑敏感性、眼轴长、最佳矫正视敏度(bcva)、双变量轮廓椭圆面积(bcea)或其任何组合。在一些非限制性实施方案中，患者数据根据至少四个近视黄斑病变类别进行分类。
在某些实施方案中，本公开涉及一种计算机实施的系统，包括：a)电子装置，所述电子装置包括：处理器、存储器、显示器、摄像头以及被配置成执行可执行指令的操作系统；b)便携式装置，所述便携式装置包括成像组件，所述便携式装置被配置成接收和定位电子装置以将摄像头与成像组件对准；以及c)计算机程序，所述计算机程序存储在电子装置的存储器中，所述计算机程序包括可由用户电子装置执行以创建应用程序的指令，所述应用程序包括：i)控制摄像头以捕获受试者的眼科图像或视频的软件模块；以及ii)确定眼科图像或视频是否指示医学疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，确定眼科图像或视频是否指示医学疾病或病症包括将眼科图像或视频上传到云网络，以由使用机器学习程序生成的受训分类器进行分析。在一些非限制性实施方案中，确定眼科图像或视频是否指示医学疾病或病症包括用使用机器学习程序生成的分类器分析眼科图像或视频。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，所述应用程序还包括显示所述确定的软件模块。在一些非限制性实施方案中，所述应用程序还包括使眼科图像或视频经受图像遮挡程序的软件模块。在一些非限制性实施方案中，显示所述确定的软件模块还显示眼科图像或视频的区域，所述区域通过图像遮挡程序识别为对所述确定具有重要意义。在一些非限制性实施方案中，机器学习程序还包括迁移学习程序。在一些非限制性实施方案中，迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练未受训分类器，以获得预训练后的分类器。在一些非限制性实施方案中，迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的分类器以获得受训分类器。在一些非限制性实施方案中，所述应用程序还包括基于所述确定做出医学治疗建议的软件模块。在一些非限制性实施方案中，眼科图像或视频传达有关是否存在眼科疾病或病症的信息。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。在一些非限制性实施方案中，成像组件是使摄像头能够从受试者的眼睛捕获眼科图像或视频的检眼镜。在一些非限制性实施方案中，便携式装置包括适配器，所述适配器被配置成接收和定位电子装置。在一些非限制性实施方案中，所述系统还包括网络服务器，所述网络服务器接收由电子装置上传的眼科图像或视频，用受训分类器分析眼科图像或视频以获得确定，以及将所述确定提供给电子装置。在一些非限制性实施方案中，所述应用程序还包括将眼科视频的屏幕截图拼接在一起以生成复合眼科图像的软件模块。
在某些实施方案中，本公开涉及一种计算机实施的系统，包括：a)医学成像装置，所述医学成像装置被配置成捕获受试者的眼科图像；b)电子装置，所述电子装置可操作地耦合到医学成像装置，包括：处理器、存储器、显示器，以及被配置成执行可执行指令的操作系统；c)计算机程序，所述计算机程序存储在电子装置的存储器中，所述计算机程序包括可由用户电子装置执行以创建应用程序的指令，所述应用程序包括：i)控制医学成像装置以捕获受试者的眼科图像的软件模块；以及ii)确定眼科图像是否指示医学疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性。在一些非限制性实施方案中，确定眼科图像是否指示医学疾病或病症包括将眼科图像上传到云网络，以由使用机器学习程序生成的受训分类器进行分析。在一些非限制性实施方案中，确定眼科图像是否指示医学疾病或病症包括用使用机器学习程序生成的分类器分析眼科图像。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，所述应用程序还包括显示所述确定的软件模块。在一些非限制性实施方案中，所述应用程序还包括使眼科图像或视频经受图像遮挡程序的软件模块。在一些非限制性实施方案中，显示所述确定的软件模块还显示眼科图像的区域，所述区域通过图像遮挡程序识别为对所述确定具有重要意义。在一些非限制性实施方案中，机器学习程序还包括迁移学习程序。在一些非限制性实施方案中，迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练未受训分类器，以获得预训练后的分类器。在一些非限制性实施方案中，迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的分类器以获得受训分类器。在一些非限制性实施方案中，所述应用程序还包括基于所述确定做出医学治疗建议的软件模块。在一些非限制性实施方案中，眼科图像传达有关是否存在眼科疾病或病症的信息。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。在一些非限制性实施方案中，医学成像装置是光学相干断层扫描(oct)装置。在一些非限制性实施方案中，其中所述系统还包括网络服务器，所述网络服务器接收由电子装置上传的眼科图像，用受训分类器分析眼科图像或视频以获得确定，以及将所述确定提供给电子装置。在一些非限制性实施方案中，系统被配置成自助服务亭。在一些非限制性实施方案中，自助服务亭包括定位组件，用于将受试者的头部定位在医学成像装置的前面以捕获眼科图像。在一些非限制性实施方案中，定位组件被配置成减小或最小化受试者的头部倾斜。在一些非限制性实施方案中，自助服务亭还包括麦克风和扬声器，并且被配置成提供与远程医疗保健提供者的电话会议，以讨论确定以及任选地治疗建议。在一些非限制性实施方案中，自助服务亭包括用于接收支付信息的接口。在一些非限制性实施方案中，所述接口包括读卡器、扫描仪、rfid系统、存款器、用于输入支付信息的触摸屏，或其组合。
在某些实施方案中，本公开涉及一种计算系统，所述计算系统包括至少一个处理器、存储器以及用程序编码的非暂时性计算机可读存储介质，所述程序包括可由至少一个处理器执行以创建网络应用程序的指令，所述网络应用程序包括：a)接收由电子装置通过网络上传的医学图像的软件模块；b)用受训分类器分析眼科图像以确定眼科图像是否指示医学疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性；以及c)将所述确定发送到电子装置的软件模块。在一些非限制性实施方案中，通过机器学习程序产生受训分类器。在一些非限制性实施方案中，机器学习程序包括深度学习程序。在一些非限制性实施方案中，机器学习程序包括训练卷积神经网络。在一些非限制性实施方案中，所述应用程序还包括使眼科图像经受图像遮挡程序的软件模块。在一些非限制性实施方案中，所述应用程序还包括将眼科图像发送到电子装置的软件模块，其中在视觉上强调通过图像遮挡程序识别为对所述确定具有重要意义的眼科图像的区域。在一些非限制性实施方案中，机器学习程序还包括迁移学习程序。在一些非限制性实施方案中，迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练未受训分类器，以获得预训练后的分类器。在一些非限制性实施方案中，迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的分类器以获得受训分类器。在一些非限制性实施方案中，所述应用程序还包括基于所述确定做出医学治疗建议的软件模块。在一些非限制性实施方案中，眼科图像传达有关是否存在眼科疾病或病症的信息。在一些非限制性实施方案中，眼科图像是视网膜图像。在一些非限制性实施方案中，眼科图像是光学相干断层扫描(oct)图像。在一些非限制性实施方案中，眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。在一些非限制性实施方案中，系统是集成到云网络中的服务器。
援引并入
本说明书中提到的所有出版物，专利和专利申请都以相同的程度通过引用并入本文，就如同每个单独的出版物，专利或专利申请被明确地并单独地指出通过引用并入一样。
附图说明
通过参考下面的详细说明，将更好地理解本发明的特征和优点，以下详细说明阐述了说明性实施例，在这些说明性实施例中利用了本发明的原理及其附图：
图1示出卷积神经网络的示意图，以及可如何在1,000个类别的数据集上对卷积神经网络进行训练，以提高准确性并且缩短在oct图像的新颖数据集上训练的网络的训练持续时间。
图2a示出代表性光学相干断层扫描(oct)图像。
图2b示出展示实验设计的示意图，通过标记和分级过程描述光学相干断层扫描(oct)图像流，之后创建迁移学习模型，然后对所述模型进行训练和后续测试。
图3a示出由3个卷积层组成的resnet架构的“瓶颈”构建块，这些卷积通过具有标识加法函数的relu非线性分开。
图3b使用lenet架构的卷积神经网络的示意图，用于演示滤波器如何通过层进行卷积。
图4a至图4c示出cnv、dme、玻璃疣和正常情况之间的多类别比较。图4a示出“紧急转诊”(脉络膜新生血管(cnv)和糖尿病性黄斑水肿(dme)检测)的接受者操作特征曲线与人类专家表现以进行比较。图4b示出验证图像集的最佳模型分类的混淆表。图4c示出以金色描绘神经网络并且以蓝色描绘人类专家的基于图10a所示处罚的加权误差结果。
图5a示出使用tensorboard创建的绘图，所述绘图表示在10,000个步骤的过程中对多类别分类器进行训练期间训练(橙色)和验证(蓝色)准确性。
图5b示出表示训练期间的交叉熵损失的绘图。为了清楚地形象化趋势，用平滑因子0.6将绘图标准化。
图6示出突出显示糖尿病性黄斑水肿(左)、脉络膜新生血管(中)和玻璃疣(右)中的病理区域的遮挡图。
图7a至图7c示出使用tensorboard训练和验证数据集时的二进制性能。对脉络膜新生血管(cnv)与正常情况(图7a)、糖尿病性黄斑水肿(dme)与正常(图7b)和玻璃疣与正常(图7c)进行比较。
图8a至图8c示出对于脉络膜新生血管(cnv)与正常情况(图8a)、糖尿病性黄斑水肿(dme)与正常情况(图8b)和玻璃疣与正常情况(图8c)的二元分类器的接受者操作特征曲线。
图9a和图9b分别示出描绘阳性似然比和阴性似然比的绘图，其中标记其对应95％置信区间。
图10a示出在加权误差计算和专家对oct图像进行分级的混淆矩阵期间针对错误标记提出的处罚。
图10b示出比较真实标签和各个人类专家的预测标签的结果。
图11a至图11f示出湿性amd(a-c)或糖尿病性视网膜病变(d-f)伴黄斑水肿的患者中央凹的水平横断面oct图像：每月3次贝伐单抗玻璃体内注射之前(左)和之后(右)。评估所有患者的视敏度(va)：(图11a)20/320至20/250，5个月，(图11b)20/40至20/32，9个月，(图11c)20/400至20/250，3个月，(图11d)20/80至20/50，7个月，(图11e)20/40至20/25，7个月，以及(图11f)20/32至20/25，7个月。(图11g)dme患者左眼的治疗前水平横截面oct图像(左上)显示通过黄斑中心的黄斑水肿(箭头)，并且在连续三次抗vegf治疗后视网膜内液消失(右上)。
图12示出可上传并进行诊断的诊断网关云。
图13示出总体实验设计的工作流程图，描述了患者入院流程，接着是眼底分类和黄斑功能测试，然后进行了机器训练和后续测试。已发现，较长的眼轴长(≥26mm)可能是白内障手术后视力预后不良的危险因素。
图14a至图14b示出具有较长眼轴长的眼睛的术后视功能明显更差。图14a示出将高度近视白内障和与年龄相关的白内障患者进行比较的所有成人白内障病例的术后视功能。图14b示出将眼轴长进行比较的术后视功能。
图15a至图15d示出眼底图像分级的实例。与现有的近视黄斑病变的国际摄影分类和分级系统相比，显示出不同疾病类别的近视黄斑病变的患者的眼底图像：类别1，棋盘状眼底(图15a)；类别2，弥漫性脉络膜视网膜萎缩(图15b)；类别3，斑片性脉络膜视网膜萎缩(图15c)；类别4，黄斑萎缩(图15d)。
图15e分别示出高度近视黄斑病变类别1至4中的患者百分比。
图16a至图16f评估岛状黄斑萎缩模式的患者及其术后视功能(图16a至图16c)，以及在所有患者的黄斑敏感性、眼轴长和bcea的相关性(图16d至图16f)。图16a示出超宽视野的视网膜图像显示出岛状黄斑萎缩。图16b示出包括固视bcea和平均黄斑敏感性的微视野仪图像。图16c示出在类别3的所有患者中的术后视功能。图16d示出ms与眼轴长之间的相关性。图16e示出ms与bcea之间的相关性。图16f示出bcea与眼轴长之间的相关性。
图17示出深度神经网络的示意图。
图18a至图18c示出深度学习模型的性能的绘图。图18a示出黄斑敏感性图像的第一主要分量(pc0)。图18b示出阈值图像的pc0，以对患者的术后bcva(logmar)进行分类。图18c示出在训练和测试队列中神经网络相对于训练步骤数(x轴)的跟踪精度(y轴)变化。图18d示出使用受训分层神经网络的验证队列中模型的分类准确性。
图19a至图19d示出散点图，其示出房水中生长因子水平与眼轴长之间的相关性的散点图。图19a示出房水中的生长分化因子-15(gdf-15)水平与眼轴长呈正相关。图19b示出房水中的肝细胞生长因子(hgf)水平与眼轴长呈正相关。图19c示出房水中的血小板衍生生长因子(pdgf-aa)水平与眼轴长呈正相关。图19d示出房水中的血管内皮生长因子(vegf)水平与眼轴长呈负相关。
图20a至图20c示出基于bio-plexprotm多重磁珠的免疫测定中检测到的细胞因子的标准曲线。图20a示出gdf-15的标准曲线。图20b示出hgf的标准曲线。图20c示出pdgf-aa的标准曲线。
图21示意性地示出被编程或另外配置成实施本文所提供的方法的计算机控制系统或平台。
图22示出耦合至具有成像组件的便携式装置的电子装置(移动电话)的一个实施方案的图式。
具体实施方式
公认的是，可通过本公开的技术特征之一或组合来实施具有改进的可靠性和临床可解释性的用于医学成像的临床决策支持算法。根据一些方面，本文公开一种诊断工具，所述诊断工具用于通过呈现针对例如常见和可治疗的致盲性视网膜疾病的眼科疾病或病状而开发的机器学习框架来正确地识别与眼睛有关的问题。在一些实施方案中，机器学习框架利用例如人工神经网络的深度学习模型。所公开框架的某些实施方案实施迁移学习算法，所述迁移学习算法允许通过更常规方法中所需的一部分数据来训练高精度的神经网络。在一些实施方案中，本文公开的模型概括许多医学分类任务并且在许多医学分类任务上表现良好。此框架可应用于例如眼睛的医学图像的医学数据，以识别或诊断眼科疾病或病状。在一些情况下，为了准确可靠地诊断各种视网膜病变，采用多种成像模式。此方法的某些实施方案在许多成像技术中产生优异的性能。在一些实施方案中，本文公开的算法在各种计算装置上实施。计算装置包括便携式通信设备，例如任选地耦合至专用便携式成像装置的智能手机、可操作地耦合至成像装置的数字处理装置，例如自助服务亭的专用诊断装置，以及其它实施方式。
在某些实施方案中，此机器学习方法应用于oct(光学相干断层扫描)图像的大型且临床上异类的数据集，并且能够实现与人类专家在例如老年性黄斑变性(amd)和糖尿病性黄斑水肿(dme)的眼科疾病或病状分类方面相当或优于其的诊断性能。在一些实施方案中，与传统的深度学习算法相比，本文所公开的算法通过使用图像遮挡突出显示如神经网络所理解的图像中的临床上重要区域来提供更透明和更可解释的诊断。此外，迁移学习方法的某些实施方案随着额外的训练图像和临床成像数据集的发展以及卷积神经网络(cnn)和图像处理领域的不断发展而扩展。在一些实施方案中，本文提供一种平台，所述平台与上传oct图像以用于高精度的远程诊断的网络和/或移动应用程序介接。所述算法不仅显示出对视网膜疾病的强大性能，而且在基于图像的其它疾病诊断中具有广泛的临床实用性。
在本公开中认识到，人工智能(ai)具有通过执行当前对于人类专家而言困难的分类并且通过快速查看大量的成像数据来革新疾病诊断和医疗保健管理的潜力。尽管具有潜力，但ai的临床可解释性和可行准备工作仍然充满挑战。
传统的图像分析通常依赖于手工分割对象，然后使用专门为每种对象设计的浅层机器学习分类器识别每个对象。创建和完善多个分类器需要许多技术人员和大量时间。成熟分析系统对图像进行分类所需的多个步骤需要大量的计算。深度学习网络(dnn)在机器学习技术方面迈出了革命性的一步，因为dnn分类器包含以前需要手工制作才能从图像生成诊断的复杂步骤。因此，在各种实施方案中，与人类相比，受训dnn在明显更少的时间内对医学图像进行分类。
在一些实施方案中，使用有限数量的图像数据来开发自动识别系统。随着智能手机和数码相机的出现，图像数据呈指数增长。数据的此种爆炸式增长及其在网络上的广泛可用性导致需要一种有效的方法来有效地分析大量数据，而又不具有耗时且复杂的步骤。如本文所公开，dnn使得可以分析当前正在生成的大量数据，并且类似地，大量数据使得可以对dnn进行良好的训练。
如本文所公开，在某些实施方案中，卷积神经网络(cnn)层允许对图像进行分类和检测图片中的对象的能力显著提高。在各种实施方案中，cnn由多个处理层组成，在这些处理层上应用了图像分析滤波器或卷积。在一些实施方案中，通过在图像上系统地卷积多个滤波器以产生用作下一层的输入的特征图来构造每一层内的图像的抽象表示。cnn通过对图像内容的多层次增强理解来学习图像表示，这使网络更加深入。这种深度学习方法能够通过使用反向传播学习算法改变其内部参数以将进行所需分类时的误差降至最低来发现大型数据集中的复杂结构。与上一层相比，每一层在表示数据组织方面都越来越复杂。神经网络的前几层可提取简单的结构，例如线和边，而链上方的各层开始确定更复杂的结构。这种架构使得可以处理像素形式的图像作为输入并提供所需的分类作为输出。因此，在某些实施方案中，一个分类器中的图像分类方法代替先前图像分析方法的多个步骤。因此，本文公开的cnn极大地改进了视觉对象识别的最新技术。
在眼科内，深度学习可以有限的能力应用于从眼底照片中自动检测出糖尿病性视网膜病变，从视野检查中检测出青光眼，核性白内障分级以及中央凹微脉管系统的分割，每一项都具有令人鼓舞的初步发现。然而，相对少量的图像数据是有问题的，因为所述图像数据可能不足以训练调制解调器dnn中的数千万个参数。
在某些方面中，本文公开通过利用来自类似域的数据来解决给定域中缺乏数据的方法。例如，已经收集带有标签图像的大型数据库，并且可用作具有1000个对象类别的imagenet。在某些实施方案中，首先对此数据集训练cnn，以在其下层开发对区分对象很重要的特征。在另外的实施方案中，创建第二网络，所述第二网络复制第一网络的参数和结构，但是最终层任选地根据新任务的需要而重新构造(图1)。在某些实施方案中，这些最终层被配置成执行视网膜图像的分类(图2)。因此，在一些实施方案中，第二网络使用第一网络来植入其结构。这使培训继续进行新的但相关的任务。在一些实施方案中，使用包括非域图像的标记图像(例如，未用分类标记的图像)来训练第一网络，并且使用包括域图像的标记图像(例如，分类图像)来训练第二网络，以完成允许高精度地诊断眼科病症和/或病状的训练。将一般分类知识从一个域迁移至另一个域的方法称为迁移学习。如本文所公开，迁移学习在基于机器学习的眼科疾病和病状的诊断领域中的应用已被证明是一种高效的技术，特别是当面对数据有限的领域时。通过使用已优化的权重来重新训练模型以识别标准对象的特征，而不是训练完全空白的网络，模型或分类器可更快地识别图像的区别特征，而训练实例却少得多。
在一些实施方案中，机器学习方法应用于医学数据以预测患者的视敏度。在一些实施方案中，此机器学习框架包括基于针对高度近视眼的黄斑病变等级、眼轴长和固视稳定性的近视黄斑病变的综合功能评估系统。此系统可准确地预测白内障手术后的视力预后，这样会提高术前指导患者的能力并设定期望值，从而提高临床决策的知情性并潜在地提高患者满意度。在一些，机器学习方法利用医学数据，例如手术后的黄斑敏感性阈值图像。在一些实施方案中，机器学习方法利用两层分层神经网络。在一些实施方案中，首先应用无监督方法，即主要分量分析(pca)来识别与视敏度相关的黄斑敏感性图像中的较低维度特征。在一些实施方案中，例如深度学习的分层神经网络以及年龄和眼轴长应用于黄斑敏感性图像，这些信息还有助于预测术后bcva。在一些实施方案中，神经网络模型使用黄斑敏感性测试结果以高精度预测患者的视敏度。
医学成像
在某些方面中，本文公开的机器学习框架用于分析医学成像数据。在一些实施方案中，医学成像数据包括眼科图像，所述眼科图像可包括例如视网膜和/或视网膜脉管系统、黄斑和视神经之类的眼睛内部结构的图像。本文描述的框架可应用于包括眼科成像的各种类型的医学成像。眼科成像是扫描或捕获眼睛的一个或多个结构的一种医学成像。在一些实施方案中，使用机器学习框架分析使用至少一种眼科医学成像技术生成的眼科图像，所述眼科医学成像技术选自光学相干断层扫描(oct)、视网膜彩色眼底照相(cfp)、角膜地形图、裂隙灯照相、荧光素血管造影、吲哚菁绿血管造影、眼底自发荧光、视神经头部分析、内皮细胞层成像和外部成像。在一些实施方案中，使用专用成像设备生成眼科图像。在一些实施方案中，使用数字视网膜相机进行彩色眼底照相和荧光素血管造影。在一些实施方案中，光学相干断层扫描能够对视网膜进行截面成像，例如用于黄斑和视神经头部成像。在一些实施方案中，使用扫描激光检眼镜进行眼底自发荧光、荧光素血管造影和吲哚菁绿血管造影。在一些实施方案中，使用照相裂隙灯显微照相为眼前结构(例如角膜、虹膜、结膜和晶状体)照相。在一些实施方案中，使用角膜地形图测量角膜的厚度、屈光力和形状。在一些实施方案中，使用视神经头部分析仪进行视神经头部成像。在一些实施方案中，使用外部摄影对眼睛、眼睑或靠近眼睛的其它结构的外部进行成像。在一些实施方案中，使用罗斯托克角膜模块(rcm)产生角膜层的高放大倍率图像，这允许对内皮细胞进行计数。
缺乏足够的合适医学图像或医学成像数据可能会导致分类器不准确或训练不足。然而，本文公开的系统、方法和装置的实施方案实施迁移习，以使用不适合直接训练分类器的图像或成像数据来改进模型的训练。在一些实施方案中，在第一步期间使用非医学图像训练模型。在一些实施方案中，实施迁移学习以对合适的医学图像(例如，具有相关诊断结果的oct图像)进一步训练模型。通过利用非医学图像进行部分训练，可生成经过训练的模型或分类器，与仅使用可用医学图像进行训练的模型相比，所述经过训练的模型或分类器提供改进的预测准确性。
在一些实施方案中，本文公开的算法，例如机器学习算法使用迁移学习。在一些实施方案中，本文公开的算法使用非医学图像来预训练模型或分类器。在一些实施方案中，本文公开的算法利用使用非医学图像和医学图像的组合的迁移学习程序，所述算法实现独立数据集(例如，不用于训练的测试数据集)的至少一个性能度量(准确性、敏感性、特异性、auc、阳性预测值、阴性预测值或其任何组合)，所述算法与单独使用医学图像训练的算法至少80％、85％、90％、95％、96％、97％、98％或至少99％类似。在一些实施方案中，当迁移学习程序和非迁移学习程序利用同一组医学图像进行训练时，获得相似的性能度量。
在一些实施方案中，使用数量为约1,000至约300,000的非医学图像来预训练机器学习算法或模型。在一些实施方案中，使用数量为至少约1,000的非医学图像来预训练机器学习算法或模型。在一些实施方案中，使用数量为至多约300,000的非医学图像来预训练机器学习算法或模型。在一些实施方案中，使用数量为约1,000至约2,000、约1,000至约5,000、约1,000至约10,000、约1,000至约15,000、约1,000至约20,000、约1,000至约30,000、约1,000至约40,000、约1,000至约50,000、约1,000至约100,000、约1,000至约200,000、约1,000至约300,000、约2,000至约5,000、约2,000至约10,000、约2,000至约15,000、约2,000至约20,000、约2,000至约30,000、约2,000至约40,000、约2,000至约50,000、约2,000至约100,000、约2,000至约200,000、约2,000至约300,000、约5,000至约10,000、约5,000至约15,000、约5,000至约20,000、约5,000至约30,000、约5,000至约40,000、约5,000至约50,000、约5,000至约100,000、约5,000至约200,000、约5,000至约300,000、约10,000至约15,000、约10,000至约20,000、约10,000至约30,000、约10,000至约40,000、约10,000至约50,000、约10,000至约100,000、约10,000至约200,000、约10,000至约300,000、约15,000至约20,000、约15,000至约30,000、约15,000至约40,000、约15,000至约50,000、约15,000至约100,000、约15,000至约200,000、约15,000至约300,000、约20,000至约30,000、约20,000至约40,000、约20,000至约50,000、约20,000至约100,000、约20,000至约200,000、约20,000至约300,000、约30,000至约40,000、约30,000至约50,000、约30,000至约100,000、约30,000至约200,000、约30,000至约300,000、约40,000至约50,000、约40,000至约100,000、约40,000至约200,000、约40,000至约300,000、约50,000至约100,000、约50,000至约200,000、约50,000至约300,000、约100,000至约200,000、约100,000至约300,000，或约200,000至约300,000的非医学图像来预训练机器学习算法或模型。在一些实施方案中，使用数量为约1,000、约2,000、约5,000、约10,000、约15,000、约20,000、约30,000、约40,000、约50,000、约100,000、约200,000，或约300,000非医学图像来预训练机器学习算法或模型。
在一些实施方案中，使用数量为约50至约50,000的医学图像来预训练机器学习算法或模型。在一些实施方案中，使用数量为至少约50的医学图像来训练机器学习算法或模型。在一些实施方案中，使用数量为至多约50,000的医学图像来训练机器学习算法或模型。在一些实施方案中，使用数量为约50至约100、约50至约200、约50至约300、约50至约400、约50至约500、约50至约1,000、约50至约5,000、约50至约10,000、约50至约20,000、约50至约30,000、约50至约50,000、约100至约200、约100至约300、约100至约400、约100至约500、约100至约1,000、约100至约5,000、约100至约10,000、约100至约20,000、约100至约30,000、约100至约50,000、约200至约300、约200至约400、约200至约500、约200至约1,000、约200至约5,000、约200至约10,000、约200至约20,000、约200至约30,000、约200至约50,000、约300至约400、约300至约500、约300至约1,000、约300至约5,000、约300至约10,000、约300至约20,000、约300至约30,000、约300至约50,000、约400至约500、约400至约1,000、约400至约5,000、约400至约10,000、约400至约20,000、约400至约30,000、约400至约50,000、约500至约1,000、约500至约5,000、约500至约10,000、约500至约20,000、约500至约30,000、约500至约50,000、约1,000至约5,000、约1,000至约10,000、约1,000至约20,000、约1,000至约30,000、约1,000至约50,000、约5,000至约10,000、约5,000至约20,000、约5,000至约30,000、约5,000至约50,000、约10,000至约20,000、约10,000至约30,000、约10,000至约50,000、约20,000至约30,000、约20,000至约50,000，或约30,000至约50,000的医学图像来训练机器学习算法或模型。在一些实施方案中，使用数量为约50、约100、约200、约300、约400、约500、约1,000、约5,000、约10,000、约20,000、约30,000，或约50,000非医学图像来预训练机器学习算法或模型。
机器学习
在各种实施方案中，本文公开用于分析医学数据的机器学习方法，所述医学数据包括例如眼科图像和与眼睛有关的数据(例如，黄斑病变等级、眼轴长和固视稳定性)。在示例性实施方案中，本文公开的机器学习框架用于分析光学相干断层扫描(oct)图像，以诊断例如致盲性视网膜疾病的常见原因的眼科疾病或病状。眼科疾病、病症或病状的实例包括糖尿病性视网膜病变、老年性黄斑变性、糖尿病性黄斑水肿和脉络膜新生血管。在一些实施方案中，根据本文描述的系统、方法和装置产生的预测或诊断包括眼科疾病、病症或病状的检测或诊断。在一些实施方案中，所述预测或诊断包括眼科疾病、病症或病状的风险或可能性的评估。在一些实施方案中，所述预测或诊断包括眼科疾病、病症或病状的类别或分类。例如，预测或诊断可包括高度近视黄斑病变和/或高度近视黄斑病变的类别(例如，类别1-4)的诊断。
在各种实施方案中，使用医学成像执行本文描述的预测或诊断。例如，光学相干断层扫描(oct)是使用光来捕获视网膜活体组织的高分辨率三维横截面图像的三维医学成像技术。oct已成为最常执行的医学成像程序之一，仅2014年就在美国医保人群中进行了超过500万次oct扫描(医疗保险和医疗补助中心)。现在，oct成像在发达国家已成为指导诊断和治疗失明的主要原因：老年性黄斑变性(amd)和糖尿病性黄斑水肿(dme)的医疗标准。在美国约有800万人患有早期或中期amd，并且在未来5年内将有近100万人发展为晚期amd(stevens等人，2013年)。在美国每年有超过25万人发展为脉络膜新生血管，这是amd的一种严重致盲形式(stevens等人，2013年)。此外，近750,000个40岁以上的人患有dme。由于人口老龄化和全球糖尿病流行，这些疾病的患病率随着时间的推移可能还会进一步增加。然而，抗血管内皮生长因子(抗vegf)药物的出现和广泛使用彻底改变了视网膜疾病的治疗。视网膜液或血液(无论由于dme还是由于脉络膜新生血管(cnv)(amd的晚期致盲性并发症)引起)的抗vegf治疗显示降低进入晚期并发症和不可逆转的视力丧失的可能性。现在，关于何时施用抗vegf药物的决策通常由中央视网膜的oct图像中的发现所决定(图2a)。随着oct在社区环境中的使用越来越多，对这些致盲性眼疾病的快速且准确的诊断筛查变得更加重要。这在农村地区或发展中/低收入地区等难以获得专业医生帮助的地区尤为重要。延迟诊断和/或治疗可能会导致视觉功能严重丧失。在本公开中认识到一种解决方案是实施用于解释例如oct图像的医学成像的计算决策支持算法。
在某些实施方案中，使用oct成像检测或诊断amd和dme。在一些实施方案中，使用其它类型的医学图像可靠地诊断各种其它视网膜病理。作为实例，眼底成像对于识别糖尿病性视网膜病变的关键征兆是必不可少的，在美国，糖尿病性视网膜病变是失明的常见且可预防的原因。在一些实施方案中，本文公开当暴露于例如不同图像类型的不同模式时可靠地诊断(例如，等于或优于接受过诊断训练的一般临床医生或专家)视网膜病理的技术。
在各个方面中，本文公开结合机器学习技术(例如，利用卷积神经网络的深度学习)的方法，所述方法使用视网膜图像来展示巨大的诊断能力，所述视网膜图像利用包括公共数据库的视网膜图像的数据库。由于无法获得带有标签的医学图像的大型数据集，因此在其它医学领域中使用深度学习的传统计算机视觉方法遇到了重大挑战。本文公开使用例如迁移学习的应用的创新方法来解决这些挑战的方法。
因此，在一些实施方案中，本文提供一种ai迁移学习框架，用于利用oct图像的数据集来诊断常见的威胁视力的视网膜疾病，所述oct图像的数据集能够实现与人类专家的表现相当的高精度诊断。在一些实施方案中，此ai框架将具有cnv或dme的图像分类为“紧急转诊”，并将具有玻璃疣的图像分类为“常规转诊”。在一些实施方案中，正常情况的图像被标记为“观察”。因此，本公开的某些实施方案将ai框架用作分诊系统来产生转诊，从而模拟社区设置、初级保健和急诊诊所中的实际应用。这些实施方案可通过促进疾病进展的早期诊断和检测来最终对公众健康产生广泛影响，从而促进可改善视功能和生活质量的治疗。
根据本公开的一个方面，本文公开一种用于严重视力丧失的一种或多种原因的诊断和转诊的ai或机器学习平台。严重视力丧失的常见原因的实例包括糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)，这可在新生血管老年性黄斑变性中观察到。通过采用迁移学习算法，根据本文公开的方法(例如，分类器或受训ml算法)生成的模型证明oct图像分析的竞争性能，而无需高度专业化的深度学习机器，也无需数百万个实例图像的数据库。此外，所述模型在诊断视网膜oct图像方面的性能可与具有丰富视网膜疾病临床经验的人类专家相当。当使用较少数目的图像(每个类别约有1000张)训练模型时，与使用总数超过150,000张图像训练的模型相比，其准确性、敏感性、特异性和roc曲线下的面积均略有下降，但是所述模型总体上仍是非常高效的系统，从而说明了迁移学习系统即使在训练数据集非常有限的情况下也可进行高效分类的功能。
在某些方面中，本文公开用于生成诊断一种或多种眼科疾病或病状的模型或分类器的机器学习框架。这些模型或分类器可在本文公开的任何系统或装置中实施，例如诊断自助服务亭或便携式装置，例如具有可附接成像装置(例如检眼镜)的智能手机。如本文所使用，眼科疾病或病状的诊断可包括医疗程序之后的视功能的预测或诊断。在一些实施方案中，机器学习框架生成模型或分类器，所述模型或分类器生成例如手术后视功能(例如，白内障手术)的预测。在一些实施方案中，所述预测包括例如糖尿病性视网膜病变或其症状/病状的眼科疾病或病状的指示。在一些实施方案中，所述预测包括对例如玻璃疣、dme和cnv的多种眼科疾病或病状(任选地包括术后视功能)中的一种或多种的指示。在一些实施方案中，本文公开一种基于一个或多个医学图像来诊断一种或多种眼科疾病或病状的分类器。在一些实施方案中，一种或多种眼科疾病或病状选自糖尿病性黄斑水肿、脉络膜新生血管和玻璃疣。在一些实施方案中，眼科疾病或病症包括老年性黄斑变性。
在一些实施方案中，分类器展现针对独立样本集的性能度量，例如准确性、敏感性、特异性、阳性预测值、阴性预测值和/或auc。在一些实施方案中，与平均人类临床医生(例如，普通眼科医生)相比，分类器展现针对独立样品集的性能度量，例如更高的准确性、敏感性、特异性、阳性预测值、阴性预测值和/或auc。在一些实施方案中，当相对于至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如，图像)测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％，或至少99％的准确性。在一些实施方案中，当相对于至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如，图像)测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％、至少99％的敏感性(真阳性率)，和/或至少70％、至少75％、至少80％、至少85％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％，或至少99％的特异性(真阴性率)。在一些实施方案中，当相对于至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如，图像)测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％，或至少99％的阳性预测值(ppv)。在一些实施方案中，当相对于至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如，图像)测试时，分类器提供至少70％、至少75％、至少80％、至少85％、至少90％、至少91％、至少92％、至少93％、至少94％、至少95％、至少96％、至少97％、至少98％，或至少99％的阴性预测值(npv)。在一些实施方案中，当相对于至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如，oct图像)测试时，分类器具有至少0.7、0.75、0.8、0.85、0.9、0.91、0.92、0.93、0.94、0.95、0.96、0.97、0.98或0.99的auc。在一些实施方案中，当相对于至少100、200、300、400、500、600、700、800、900或1000个独立样本(例如，oct图像)测试时，分类器与一个或多个独立专家相比具有不超过20％、不超过15％、不超过12％、不超过10％、不超过9％、不超过8％、不超过7％、不超过6％、不超过5％、不超过4％、不超过3％、不超过2％，或不超过1％的加权误差。
本文公开的框架的实施方案展示在oct和眼底模态两者上的竞争性能，而无需高度专业化的深度学习机器，也无需数百万个实例图像的数据库。由于在oct图像中疾病的区别特征通常更为直接，因此所述模型在诊断oct图像方面表现得与人类专家一样出色。此外，尽管在眼底图像中更微妙的病理指标和属于同一类的图像之间更大变异性可能会对模型精度产生负面影响，但是根据本框架生成的模型的性能具有竞争力并且随着输入图像增加，所述模型的性能仍将扩大。
根据本公开的一个方面，执行遮挡测试以识别模型在分配诊断中使用的最重要区域。遮挡测试的最大益处在于，遮挡测试揭示了对神经网络决策的见解，这些神经网络有时称为没有透明性的“黑箱”。由于在训练完成之后执行此测试，因此使算法简单化而不会影响其结果。遮挡测试还确认网络使用准确的区分功能做出决策。在一些实施方案中，本文叙述的各种平台、系统、介质和方法包括向用户或受试者提供由阻塞测试识别的一个或多个最重要区域。在一些实施方案中，以报告的形式(模拟或电子/数字)提供一个或多个区域。在一些实施方案中，将报告提供给临床医生、报告的受试者、第三方或其组合。在一些实施方案中，所述报告用医学观察注释，例如关于一个或多个区域如何与诊断相关的描述或解释。这样做的益处在于在方法学上建立了更大的信任和信心。在一些实施方案中，医学观察被简化为非临床医生或医学从业人员(例如，受试者或第三方)(例如,受试者的父母)的外行术语。在一些实施方案中，报告包括在诊断或预测中使用的遮挡图像(例如，显示最重要区域的图像)。在一些实施方案中，机器学习算法包括神经网络。在一些实施方案中，神经网络包括至少1个、至少2个、至少3个、至少4个、至少5个、至少6个、至少7个、至少8个、至少9个、至少10个、至少15个、至少20个、至少25个、至少30个、至少40个、至少50个、至少60个、至少70个、至少80个、至少90个、至少100个、至少150个、至少200个、至少250个、至少300个、至少350个、至少400个、至少450个、至少500个、至少600个、至少700个、至少800个、至少900个、至少1000个、至少5000个，或至少10000个或更多个神经元或节点，和/或不超过2个、不超过3个、不超过4个、不超过5个、不超过6个、不超过7个、不超过8个、不超过9个、不超过10个、不超过15个、不超过20个、不超过25个、不超过30个、不超过40个、不超过50个、不超过60个、不超过70个、不超过80个、不超过90个、不超过100个、不超过150个、不超过200个、不超过250个、不超过300个、不超过350个、不超过400个、不超过450个、不超过500个、不超过600个、不超过700个、不超过800个、不超过900个、不超过1000个、不超过5000个，或不超过10000个神经元或节点。在一些实施方案中，神经元的数目限制在阈值数目以下以防止过度拟合。在一些实施方案中，神经元的数目是不超过5、6、7、8、9或10个神经元。
尽管迁移学习允许通过相对较小的训练数据集来训练高度准确的模型，但是其性能将不如通过对极大的oct图像数据集进行随机初始化而训练的模型，因为即使内部权重也可直接针对oct特征检测进行优化。然而，在为其它医学分类重新训练层时，使用在数百万种不同医学图像上训练的预训练模型进行的迁移学习可生成更准确的模型。
模型的性能可高度取决于预训练模型的权重。因此，在一些实施方案中，当使用本文所述的更高级深度学习技术和架构在较大型imagenet数据集上进行测试时，增强此模型的性能。此外，在某些实施方案中，通过结合应用于医学成像之外的卷积神经网络领域中正在进行的开发来改进此方法的性能。
在一些实施方案中，oct成像用作医学图像解释和后续决策中的通用方法的演示。所公开框架在组织图上识别潜在病理状况以做出与人类专家相当的转诊决策，从而能够及时地诊断出不可逆的严重视力丧失的两个最常见原因。oct在视网膜疾病的管理中特别有用，因为oct已成为指导在许多视网膜病状中观察到的视网膜内和/或视网膜下液的抗vegf治疗的关键。检查者的眼睛通常无法通过传统的生物显微镜清楚地看到这种液体。另外，oct外观通常与视敏度密切相关。液体的存在通常与较差的视敏度相关联，一旦使用抗vegf治疗将液体溶解，视敏度就会改善。为了证明这种成像模式的价值，治疗决策现在更多地由oct指导，而不是由临床检查或眼底照相指导。基于oct成像在指导治疗中的关键作用，本文公开的主题将人工智能的应用扩展到图像的诊断或分类之外并并扩展到提出治疗建议的领域。在一些实施方案中，除了眼科疾病或病状的诊断或检测之外，本文公开的系统、方法和装置还提供一个或多个治疗建议。在一些实施方案中，治疗建议是抗vegf治疗。在一些实施方案中，基于对dme或cnv的检测或诊断来提出抗vegf治疗建议。在一些实施方案中，抗vegf治疗包括向受试者施用或提供抗vegf药物以治疗例如糖尿病性视网膜病变或其症状或病状的眼科疾病。在一些实施方案中，治疗建议包括血压药物、抗vegf药物、激光手术、玻璃体切除术或其任何组合中的一个或多个。例如，血压和抗vegf药物可降低血压以减轻黄斑肿胀。激光手术可帮助密封泄漏的血管以减少视网膜肿胀。在严重的眼科疾病或病状(例如，晚期糖尿病性视网膜病变)的情况下，可建议或执行玻璃体切除术以从渗漏的血管中去除玻璃凝胶和血液(以及任选地去除疤痕组织)从而恢复或改善视敏度。在一些实施方案中，治疗建议包括生活方式建议，例如通过饮食、运动、药物和其它因素控制血糖的方法。在一些实施方案中，治疗建议还包括适合于提供建议治疗的一个或多个医疗保健提供者。在一些实施方案中，基于与用户和/或提供建议的系统或装置的位置的位置接近度来选择一个或多个医疗保健提供者。在一些实施方案中，基于用于提供建议治疗的可用资源来选择医疗保健提供者。在一些实施方案中，提供用于医疗保健提供者的附加信息，所述信息可包括估计的到达时间(用于前往医疗保健提供者位置)、估计的等待时间、估计的成本和/或与医疗保健提供者相关联的其它信息。在一些实施方案中，基于诊断或检测到的眼科疾病或病状向患者施用治疗。在一些实施方案中，基于诊断或检测到的眼科疾病或病状向患者施用建议治疗。在一些实施方案中，本文公开的系统、方法和装置提供建议以用于进一步测试。
可使用各种算法生成基于图像分析生成预测的模型。在一些情况下，机器学习方法应用于此类模型(例如，受训分类器)的生成。在一些实施方案中，通过向机器学习算法提供训练数据来生成模型，在所述训练数据中预先知道期望的输出。
在一些实施方案中，本文描述的系统、装置和方法生成针对受试者的一个或多个建议，例如治疗和/或医疗保健选项。在一些实施方案中，本文中的系统、装置和方法包括向用户提供一个或多个建议的软件模块。在一些实施方案中，治疗和/或医疗保健选项专用于诊断出的疾病或病状。例如，建议可提议具有用于治疗疾病或病症的必要设施或资源的附近医院、医生或诊所。
在一些实施方案中，本公开的分类器或受训机器学习算法包括特征空间。在一些情况下，分类器包括两个或更多个特征空间。两个或更多个特征空间可彼此不同。在一些实施方案中，特征空间包括例如来自图像的像素数据的信息。当训练机器学习算法时，将例如图像数据的训练数据输入到算法中，所述算法处理输入特征以生成模型。在一些实施方案中，机器学习算法具有包括分类(例如，诊断或测试结果)的训练数据，从而使算法能够通过将其输出与实际输出进行比较来进行训练，以修改和改进模型。这通常称为监督学习。或者，在一些实施方案中，机器学习算法可具有未标记或未分类数据，这使得所述算法识别案例中的隐藏结构(称为无监督学习)。有时，无监督学习可用于识别对将原始数据分类成单独队列最有用的特征。
在一些实施方案中，使用一组或多组训练数据训练机器学习算法。尽管本公开的示例性实施方案包括使用卷积神经网络的机器学习算法，但是构想各种类型的算法。在一些实施方案中，所述算法利用预测模型，例如神经网络、决策树、支持向量机或其它适用模型。在一些实施方案中，机器学习算法选自由以下项组成的群组：有监督、半监督和无监督学习，例如支持向量机(svm)、朴素贝叶斯分类、随机森林、人工神经网络、决策树、k均值、学习矢量量化(lvq)、自组织图(som)、图形模型，回归算法(例如线性、逻辑、多元、关联规则学习、深度学习、降维和集成选择算法。在一些实施方案中，机器学习算法选自由以下项组成的群组：支持向量机(svm)、朴素贝叶斯分类、随机森林和人工神经网络。机器学习技术包括装袋程序、提升程序、随机森林算法及其组合。用于分析数据的说明性算法包括但不限于直接处理大量变量的方法，例如，统计方法和基于机器学习技术的方法。统计方法包括处罚逻辑回归、微阵列预测分析(pam)、基于收缩质心的方法、支持向量机分析和正则化线性判别分析。
诊断平台、系统、装置和介质
在某些方面中，本文提供用于根据本公开的任何方法分析医学数据的平台、系统、装置和介质。在一些实施方案中，系统和电子装置与程序集成，所述程序包括可由处理器执行以执行医学数据分析的指令。在一些实施方案中，分析包括用例如神经网络的分类器处理至少一个医学图像，所述分类器任选地使用迁移学习在非领域医学图像上训练。在一些实施方案中，利用集成到装置中的本地软件在装置上本地执行分析。在一些实施方案中，在远程系统或服务器上远程地执行分析。在一些实施方案中，在系统或装置通过网络上传图像之后，在云上远程地执行分析。在一些实施方案中，系统或装置是适合于与在网络或云上运行的网络应用程序介接，以用于上传和分析例如眼科图像的图像数据的现有系统或装置。在一些实施方案中，系统或装置例如在usb驱动器或其它便携式硬盘驱动器上提供便携式图像存储。便携式存储使图像能够传递到装置，所述装置能够对图像执行分析和/或具有网络连接性以上传图像供云上进行远程分析。
基于云的诊断
在某些实施方案中，本文提供用于提供用于远程数据分析或诊断(例如，“云”诊断)的网络应用或门户的系统、装置和方法。为了解决由于在受保护或专有数据集(例如，医学oct图像)上进行培训和测试而带来的可重复性和透明性问题，本文提供一种易于使用的应用程序(例如，网络工具)，允许在提供的任何oct图像(图12)测试模型。在一些实施方案中，应用程序允许用户加载训练的模型并预测任何用户提供的图像的诊断。在一些实施方案中，应用程序提供例如使用softmax概率生成的诊断的细目。在一些实施方案中，应用程序允许用户测试算法，甚至上传oct图像的智能手机捕获并产生可比的准确性。在一些实施方案中，应用程序与本文所描述的诊断或成像装置通信。例如，在例如医院或诊所外的护理点使用的诊断或成像装置(例如，在家中使用便携式诊断或成像装置)可用于获得受试者的图像，然后通过例如互联网的网络上传图像以使用应用程序进行远程诊断。随后可将诊断提供给上传图像的用户和/或从其获得图像的受试者。在一些实施方案中，使用电子邮件、文本消息传递、网络门户、常规邮件或其它可用通信方法向用户和/或受试者提供诊断和/或任何附加信息(例如，统计细目、指令、治疗建议等)。在一些实施方案中，通过安全的符合hipaa的应用程序或门户(例如，要求安全和加密的登录)提供诊断和/或附加信息。在一些实施方案中，向用户和/或受试者发送包含链接和/或信息的非识别消息，所述链接和/或信息允许用户或受试者例如通过符合hipaa的门户从安全存储位置中检索诊断和/或附加信息。
此外，所公开的网络表示通用平台，所述平台可潜在地应用于非常广泛的医学成像技术(例如，mri、ct等)以做出临床诊断决策。这可以促进筛选程序并创建更有效的转诊系统，尤其是在偏远或资源贫乏地区，从而带来广泛的临床和公共卫生影响。
在一些方面中，本文公开一种计算机实施的系统，所述计算机实施的系统被配置成执行例如眼科图像的医学数据的基于云的分析。在一些实施方案中，系统包括可操作地耦合至网络的一个或多个服务器。在一些实施方案中，系统被配置成提供网络门户，所述网络门户包括网络上的最终用户可访问的基于浏览器的网络门户、基于网络的应用程序或基于网络的应用编程接口(api)。在一些实施方案中，网络门户包括用于接收用户指令和/或医学数据上传的接口。在一些实施方案中，系统从终端用户或终端用户的电子装置接收至少一个眼科图像。在一些实施方案中，由最终用户的电子装置在护理点捕获眼科图像并且上传到云上的系统以进行分析。在一些实施方案中，通过加密的密码保护登录来保护网络门户。在一些实施方案中，系统使用本文所描述的任何诊断方法接收上传的指令和/或医学数据并执行医学数据的分析。在一些实施方案中，系统从医学数据的分析生成输出。在一些实施方案中，系统将分析的输出提供给网络上的最终用户。在一些实施方案中，系统将输出发送到最终用户的电子装置，例如计算机、智能手机、平板电脑或配置用于网络通信的其它数字处理装置。
硬件/软件集成
在一些方面中，本文公开电子装置，所述电子装置包括配置用于执行本文所描述的机器学习算法的软件。在一些实施方案中，电子装置包括用于捕获受试者的图像的成像组件、用于与用户或受试者通信和/或从用户或受试者接收指令的用户接口、存储器、至少一个处理器以及非暂时性计算机可读介质，所述非暂时性计算机可读介质提供可由至少一个处理器执行以对所捕获图像执行分析的指令。在一些实施方案中，电子装置包括用于与网络或云通信的网络组件。网络组件被配置成使用有线或无线技术通过网络进行通信。在一些实施方案中，网络组件使用wi-fi、蓝牙、2g、3g、4g、4glte、5g、wimax、wiman或其它射频通信标准和协议在网络上进行通信。
在一些实施方案中，系统或电子装置捕获多个图像以供分析。在一些实施方案中，对多个图像进行合并和/或综合分析。在一些实施方案中，电子装置未被配置成本地执行所捕获图像的分析，而是将所捕获图像上传到网络以用于基于云或远程分析。在一些实施方案中，电子装置包括与网络或云介接以进行远程分析并且不本地执行任何分析的网络门户应用程序。此配置的优点是图像数据不在本地存储，因此较不容易受到黑客攻击或丢失。替代地或组合地，电子装置被配置成本地执行所捕获图像的分析。这种配置的优点是能够在缺乏网络访问或覆盖的位置(例如，在缺乏互联网覆盖的某些远程位置)中执行分析。在一些实施方案中，电子装置被配置成当网络访问不可用作备份功能时，例如在互联网中断或临时网络故障的情况下，本地执行所捕获图像的分析。在一些实施方案中，无论在何处执行分析，都将图像数据上传以存储在云上。例如，在某些情况下，图像数据会临时存储在电子装置上以进行分析，然后被上传到云上和/或从电子装置的本地存储器中删除。
在一些实施方案中，系统包括电子装置和执行分析和/或存储图像数据的基于云的服务器。在一些实施方案中，系统包括电子装置以及与电子装置物理上分开的成像组件。作为实例，系统包括电子装置，所述电子装置是耦合至成像组件(例如，视网膜摄像头)或与另外成像组件通信的台式计算机。在一些实施方案中，系统允许使用成像组件来捕获图像，并且在上传图像之后由电子装置，或替代地由云执行分析。在一些实施方案中，系统包括用于分析和/或上传图像的电子装置、用于捕获图像并被配置成将图像或图像数据发送到电子装置的成像组件，以及用于接收上传的图像以及存储和/或分析图像并且生成经由电子装置或其它方法，例如通过消息传递、电子邮件或电话提供给用户的结果的基于云的服务器。在一些实施方案中，系统或装置包括多个成像组件。在一些实施方案中，多个成像组件被配置成捕获多个类型的图像。在一些实施方案中，通过在不同图像类型上训练的不同分类器对多种类型的图像进行分析，以提供多于一种诊断或结果。替代地，在一些实施方案中，将多于一个诊断或结果合并或组合成单个结果度量(例如，对例如cnv、dme或amd的特定病症的预测的平均值)。
在一些实施方案中，电子装置包括用于提供分析结果的显示器，例如诊断或预测(疾病或病症的存在和/或进展)、治疗建议、治疗选择、医疗保健提供者信息(例如，可提供建议治疗和/或确认诊断的附近医疗保健提供者)，或其组合。在一些实施方案中，与同一用户的先前捕获图像相比，从所捕获图像的分析中生成诊断或预测以确定疾病或病症的进展。在一些实施方案中，所捕获图像是带有时间戳的。在一些实施方案中，将所捕获图像存储为数据，所述数据任选地包括元数据，例如时间戳、位置、用户信息或与图像相关联的其它信息)。在一些实施方案中，对图像数据进行质量筛选。在一些实施方案中，对图像进行筛选以适于分析。在一些实施方案中，将无法通过屏幕的图像丢弃或以其它方式拒绝进一步分析。在一些实施方案中，电子装置提示用户拍摄一个或多个附加图像。
在一些实施方案中，电子装置包括门户，所述门户为用户提供了一个或多个工具来输入信息，例如姓名、地址、电子邮件、电话号码和/或其它标识信息。在一些实施例中，门户包括用于获得或输入医学数据的接口。在一些实施方案中，门户被配置成通过网络从装置接收用于预测或诊断的医疗数据(例如，经由移动应用程序或网络门户通过互联网接收由用户智能手机提供的医疗数据)。在一些实施方案中，医学数据包括黄斑病变等级、眼轴长和固视稳定性中的至少一个。
在一些实施方案中，门户被配置成通过电子装置提供健康评估。在一些实施方案中，健康评估包括眼科疾病或病状的诊断。在一些实施方案中，眼科疾病或病状是医疗程序之后的预期视功能。在一些实施方案中，在医学程序，即白内障手术之后，预测的视功能是近视黄斑病变。
在一些实施方案中，门户向用户提供以下选项：通过电子邮件、消息传递(例如，sms、文本消息)、物理打印输出(例如，打印的报告)、社交媒体、通过电话(例如，由医疗保健提供者或顾问进行的自动电话留言或咨询)，或其组合接收分析的结果。在一些实施方案中，将所捕获图像提供给用户。例如，可在通过遮挡测试识别出的对诊断最重要的区域上以图形强调(例如突出显示、在区域周围绘制边界、放大视图等)来显示图像，这可有助于促进对诊断方法的理解和信任。在一些实施方案中，门户显示在电子装置的数字屏幕上。在一些实施方案中，电子装置包括模拟接口。在一些实施方案中，电子装置包括例如触摸屏的数字接口。在各种实施方案中，现有系统和装置能够适于执行本文公开的方法，或者能够与用于执行眼科图像的远程分析的网络应用程序介接。此类系统和电子装置的实例包括非散瞳视网膜摄像头，例如trc-nw400视网膜摄像头、cr-2视网膜摄像头、s40ptikcobra眼底摄像头和volkpictorplus便携式视网膜摄像头。
在一些实施方案中，电子装置具有适于根据本文所描述的方法捕获受试者的图像以进行分析的硬件配置。在一些实施方案中，电子装置包括可操作地耦合至检眼镜的专用成像组件，例如摄像头。在一些实施方案中，摄像头和检眼镜被配置成单个集成单元。在一些实施方案中，摄像头、检眼镜和电子装置被配置成例如便携式诊断装置的单个集成单元。在一些实施方案中，成像组件是数字检眼镜。在一些实施方案中，成像组件被配置成捕获图像和/或视频(包括来自视频的静止图像)。在一些实施方案中，所捕获图像是高清照片。如本文所使用，高清晰度可指代具有1920x1080或更多像素的照片。在一些实施方案中，所捕获图像是眼底照片或如本公开全文所描述的其它图像。
自助服务亭
在一些实施方案中，系统或电子装置是自助服务亭或自助服务亭的组件。在一些实施方案中，自助服务亭包括存储内部组件的壳体，所述内部组件例如成像组件、处理器、存储器、存储装置、网络组件和其它硬件。在一些实施方案中，自助服务亭包括用于使用户坐在成像组件前面的座椅。在一些实施方案中，自助服务亭包括定位组件，用于将用户的头部定位在成像组件的前面以捕获图像。在一些实施方案中，定位组件被配置成减小头部倾斜。由于眼睛是3维结构，因此视轴方向和眼球自旋会扭曲眼睛及其内部结构的所拍摄图像。因此，头部倾斜会导致眼球自旋，并可能对所捕获眼科图像的质量和一致性产生负面影响。因此，在一些实施方案中，本文公开的系统和装置(例如，自助服务亭)包括头部定位器，所述头部定位器减少和/或管理头部倾斜以减少眼球自旋对图像质量或分析的影响。在一些实施方案中，头部定位器包括下巴托和前额托，所述下巴托和前额托被配置成将用户的头部定位在中性位置或接近中性位置，从而将向前或向后头部倾斜最小化。在一些实施方案中，头部定位器包括用于最小化或减少横向头部倾斜的横向托或支架。在一些实施方案中，头部定位器是用户可调节的。在一些实施方案中，本文公开的系统和装置被配置成捕获并显示用户头部的视频内容或相机图像，以帮助定位头部以最小化头部倾斜。
在一些实施方案中，自助服务亭包括用于获得或输入医学数据的接口。在一些实施方案中，自助服务亭被配置成例如通过网络从另一装置接收用于预测或诊断的医学数据(例如，经由移动应用程序或网络门户通过互联网接收由用户智能手机提供的医学数据)。在一些实施方案中，医学数据包括黄斑病变等级、眼轴长和固视稳定性中的至少一个。
在一些实施方案中，自助服务亭被配置成提供多于一个健康评估。在一些实施方案中，健康评估包括眼科疾病或病状的诊断。在一些实施方案中，眼科疾病或病状是医疗程序之后的预期视功能。在一些实施方案中，在医学程序，即白内障手术之后，预测的视功能是近视黄斑病变。在一些实施方案中，自助服务亭包括用于测量用户的体重、脉搏、血压(收缩压和舒张压)、体重指数(bmi)、水合作用、体脂含量或其组合的一种或多种工具。在一些实施方案中，自助服务亭包括座椅，所述座椅被配置成充当用于测量就座用户的体重的秤。在一些实施方案中，自助服务亭的座椅和地板一起作为秤运行。在一些实施方案中，自助服务亭包括地板，所述地板用作用于测量用户的体重的秤。在一些实施方案中，自助服务亭包括脚凳，使得座椅和脚凳充当用于测量用户的体重的秤。在一些实施方案中，自助服务亭包括被配置成测量血压和脉搏的血压袖带。在一些实施方案中，自助服务亭包括体脂分析仪。在一些实施方案中，体脂分析仪是配置成测量人体电阻抗的阻抗计。在一些实施方案中，体脂分析仪被配置成测量身体成分，所述身体成分可包括脂肪、骨头、水、肌肉或其组合的估计量。在一些实施方案中，自助服务亭被配置成从用户捕获眼科图像。替代地或组合地，自助服务亭被配置成测量用户的体重、脉搏、血压、水合作用、体脂含量或其组合。
便携式诊断装置
在一些实施方案中，电子装置是被配置成手持式或以其它方式能够由个人携带的便携式装置。在一些实施方案中，便携式装置包括用于获得或输入医学数据的接口。在一些实施方案中，便携式装置被配置成例如通过网络从另一装置接收用于预测或诊断的医学数据(例如，经由移动应用程序或网络门户通过互联网接收由用户智能手机提供的医学数据)。在一些实施方案中，医学数据包括黄斑病变等级、眼轴长和固视稳定性中的至少一个。在一些实施方案中，便携式装置包括用于捕获医学图像的摄像头。在一些实施方案中，便携式装置包括用于捕获眼科图像的专用摄像头。在一些实施方案中，专用摄像头是视网膜扫描仪。在一些实施方案中，视网膜扫描仪是oct成像装置(时域或谱域)。在一些实施方案中，视网膜扫描仪是非散瞳眼底摄像头。在一些实施方案中，视网膜扫描仪执行数字视网膜成像。在一些实施方案中，视网膜扫描仪是本公开全文所描述的成像装置中的任一个。在一些实施方案中，便携式装置包括用于处理所捕获图像和/或生成诊断或诊断预测的数字处理装置。在一些实施方案中，便携式装置被配置成将一个或多个所捕获图像上传到网络上以进行远程预测。在一些实施方案中，便携式装置包括被配置成分析所捕获图像以生成预测的数字处理装置。在一些实施方案中，便携式装置被配置成接收对数字处理装置的软件的更新(例如，更新cnn)。在一些实施方案中，便携式装置被配置成在远程预测不可用时(例如，由于缺乏网络访问)本地分析所捕获图像，或者在远程预测可用时上传所捕获图像。图22中示出具有可操作地耦合至便携式装置的摄像头的电子装置的实例，所述便携式装置包括成像组件。
在一些实施方案中，便携式装置被配置成结合例如智能手机、平板电脑、膝上型计算机或计算机的用户电子装置捕获眼科图像。在一些实施方案中，便携式装置被配置成通过有线和/或无线技术与用户电子装置通信。例如，便携式装置可通过例如usb、microusb或lightning电缆的电缆物理地连接至用户电子装置。在一些实施方案中，有线连接允许便携式装置从用户电子装置接收电力和/或电荷。例如，可通过usb连接由用户的智能手机为用于对用户视网膜成像的专用微型摄像头和任选闪光灯供电。在一些实施方案中，便携式装置与用户电子装置无线地通信。在一些实施方案中，便携式装置被配置成通过电缆和/或无线地将所捕获图像发送到用户电子装置。在一些实施方案中，用户电子装置包括例如移动应用程序的程序，所述程序与网络应用程序介接并将所捕获图像上传至网络应用程序以在网络或云上进行远程分析。
在一些实施方案中，便携式装置包括检眼镜，并且被配置成将检眼镜与用户电子装置上的摄像头对准，以允许在检眼镜的帮助下由摄像头捕获受试者眼睛的眼底图像。作为非限制性实例，便携式装置被配置成将检眼镜与智能手机摄像头(例如，android电话或iphone)对准。在一些实施方案中，便携式装置被配置成将检眼镜与面向前的摄像头(例如，面向用户和/或与触摸屏在同一侧)、面向后的摄像头(例如，远离用户)，或两者对准。在一些实施方案中，便携式装置被配置成允许用户调节检眼镜与用户电子装置的摄像头之间的对准。在一些实施方案中，便携式装置包括适配器，所述适配器被成形为附接至用户电子装置或夹在用户电子装置上。在一些实施方案中，适配器被配置成紧密地配合在用户电子装置的外部轮廓周围。在一些实施方案中，适配器包括智能手机外壳。在某些实施方案中，智能手机外壳适配器的形状适用于特定的手机型号，以便将检眼镜定位成与手机的摄像头(前和/或后)对准。在一些实施方案中，适配器包括可缠绕在用户电子装置周围的可调节带(例如，可紧固在手机周围的维可牢尼龙搭扣带)。在一些实施方案中，检眼镜耦合至适配器。在一些实施方案中，检眼镜可拆卸地耦合至适配器。在一些实施方案中，检眼镜相对于适配器可移动，以实现在适配器已经适当地安装至电子装置之后，对检眼镜到用户电子装置的摄像头的定位进行用户调节。例如，检眼镜可通过柔性附件耦合至适配器，所述柔性附件可被调节以使检眼镜相对于适配器并且因此相对于电子装置的摄像头移动。
在一些实施方案中，用户电子装置被配置成结合检眼镜使用其摄像头来捕获眼科图像。在一些实施方案中，用户电子装置被配置成捕获多个眼科图像。在一些实施方案中，对多个眼科图像进行筛选，其中对通过质量筛选的一个或多个图像进行分析。在一些实施方案中，用户电子装置被配置成捕获视频。在一些实施方案中，对捕获的视频进行筛选以识别视频的一个或多个屏幕截图，并且随后对通过质量控制筛选的那些屏幕截图进行分析以提供结果，例如诊断和/或治疗建议。在一些实施方案中，检眼镜与用户电子装置的摄像头和闪光灯都介接，使得闪光灯通过检眼镜的滤波器以调制闪光灯的强度。在一些实施方案中，检眼镜包括覆盖闪光灯以减小闪光灯强度的半透明区域。在一些实施方案中，所述半透明区域是可调节的(例如，所述半透明区域是可被去除并用来自不透明度变化的一组滤波器中的另一滤波器替换的滤波器)。
在一些实施方案中，用户电子装置被配置成在捕获眼科图像或视频的同时向用户提供指令或警告。使用视频的一个优点是这种方法使检眼镜相对于眼睛或瞳孔重新定位，以随着时间的推移捕获视网膜和/或眼底的不同区域。例如，某些形式的传统成像要求瞳孔散大，因为未散大的瞳孔会遮断眼结构的完整视图。然而，在患者或非医疗保健提供者试图在诊所环境之外捕获眼科图像的情况下，可能无法使用散瞳滴眼液。因此，在一些实施方案中，通过视频馈送获得眼科数据，其中根据本文描述的各种方法，将来自视频馈送的屏幕截图拼接在一起以生成对于准确分析非常重要的眼睛区域的合成图像。作为实例，用户电子装置是包括移动应用程序的智能手机，所述智能手机在其显示屏上可视化受试者眼睛的检眼镜增强后的摄像头馈送。在一些实施方案中，移动应用程序主动监测摄像头馈送，并提供正确捕获眼科图像或视频的指令。在一些情况下，指令包括执行图像捕获协议的步骤。在一些情况下，提供警告，指示摄像头未与检眼镜或瞳孔正确对准、馈送模糊、摄像头/用户装置晃动、馈送受阻，或其它影响图像捕获的并发症。在一些实施方案中，在用户电子装置的屏幕上可视地提供指令和/或警告。在一些实施方案中，通过音频提供指令和/或警告(例如，通过用户电子装置的音频扬声器发出指令/警告)。
在一些实施方案中，便携式装置被配置成被用户用来捕获不是用户的受试者的眼睛的眼科图像。在一些实施方案中，便携式装置被配置成被用户用来捕获用户自己的眼睛的眼科图像。例如，被配置成将检眼镜定位在前置摄像头上方的智能手机可以在其显示屏上提供指令和/或警告，从而使用户能够自行放置检眼镜以使检眼镜与用户的眼睛对准(例如，使检眼镜与用户的瞳孔对准)。替代地，被配置成将检眼镜定位在后置摄像头上方的智能手机可以提供音频指令和/或警告。指令的非限制性实例包括(没有特定顺序)：1)向用户解释程序(例如，程序的持续时间、用户是否将暴露于强光下)；2)应用一种或多种散瞳滴眼液散大瞳孔的指令；3)关于看向哪里的指令(例如，用没有成像的眼睛看向远处物体)；4)如何将检眼镜与用户电子装置对准；5)如何将检眼镜与眼睛或瞳孔对准；6)检眼镜与眼睛保持的距离；以及7)对准正确时保持静止的指令。
在一些实施方案中，医学数据包括医学图像，例如眼科图像。在一些实施方案中，眼科图像包括视网膜图像。在一些实施方案中，系统或装置包括用于捕获受试者的图像的成像组件。在一些实施方案中，图像是视网膜图像。在一些实施方案中，成像组件被配置用于光学相干断层扫描(oct)、视网膜彩色眼底照相(cfp)、角膜地形图、裂隙灯照相、荧光素血管造影、吲哚菁绿血管造影、眼底自发荧光、视神经头部分析、内皮细胞层成像，或外部成像(例如标准照相)。在一些实施方案中，使用专门的成像设备来生成眼科图像。在一些实施方案中，将数字视网膜摄像头用于彩色眼底照相和荧光素血管造影。在一些实施方案中，成像组件是光学相干断层扫描、扫描激光检眼镜、照相裂隙灯显微照相、角膜地形图、视神经头部分析仪、照相机或罗斯托克角膜模块(rcm)。在一些实施方案中，成像组件是用于捕获视网膜图像的自动摄像头(例如，自动眼底摄像头)。
数字处理装置
在一些实施方案中，本文描述的系统、装置、平台、介质、方法和应用包括数字处理装置、处理器，或其使用。例如，在一些实施方案中，数字处理装置是即时装置的一部分，所述即时装置例如集成本文描述的诊断软件的医学诊断装置。在一些实施方案中，医学诊断装置是面向消费者的便携式医学诊断装置，所述便携式医学诊断装置被配置成在临床环境之外使用(例如，消费者在家中使用)。在一些实施方案中，医学诊断装置包括诊断设备，例如用于捕获医学数据(例如医学图像)的成像硬件(例如摄像头)。在一些实施方案中，医学诊断装置包括数字处理装置，所述数字处理装置被配置成执行本文描述的诊断方法，例如基于医学图像的疾病检测或分类。在另外的实施方案中，数字处理装置包括执行装置功能的一个或多个处理器或硬件中央处理单元(cpu)。在又另外的实施方案中，数字处理装置还包括被配置成执行可执行指令的操作系统。在一些实施方案中，数字处理装置可选地连接至计算机网络。在另外的实施方案中，数字处理装置可选地连接至互联网，使得数字处理装置能访问万维网。在另外的实施方案中，数字处理装置可选地连接至云计算基础设施。在其它实施方案中，数字处理装置可选地连接至内联网。在其它实施方案中，数字处理装置可选地连接至数据存储装置。根据本文的描述，作为非限制性实例，合适的数字处理装置包括服务器计算机、台式计算机、膝上型计算机、笔记本、亚笔记本、上彀本、上网本、机顶计算机、手持式计算机、互联网设备、移动智能手机、平板计算机、个人数字助理、视频游戏机和车辆。本领域技术人员将认识到，许多智能手机适用于本文描述的系统。本领域技术人员还将认识到，具有可选的计算机网络连接性的选定的电视机、视频播放器和数字音乐播放器适用于本文描述的系统。合适的平板计算机包括本领域技术人员已知的具有小册子、平板和可转换配置的那些计算机。
在一些实施方案中，数字处理装置包括被配置成执行可执行指令的操作系统。所述操作系统是例如包括程序和数据的软件，所述软件管理装置的硬件并提供用于执行应用程序的服务。本领域技术人员将认识到，借助于非限制性实例，合适的服务器操作系统包括freebsd、openbsd、
在一些实施方案中，装置包括存储装置和/或存储器装置。所述存储装置和/或存储器装置是用于临时或永久地存储数据或程序的一个或多个物理设备。在一些实施方案中，装置是易失性存储器，并且需要电力来维持所存储的信息。在一些实施方案中，装置是非易失性存储器，并且在数字处理装置不通电时保留所存储的信息。在另外的实施方案中，非易失性存储器包括快闪存储器。在一些实施方案中，非易失性存储器包括动态随机存取存储器(dram)。在一些实施方案中，非易失性存储器包括铁电随机存取存储器(fram)。在一些实施方案中，非易失性存储器包括相变随机存取存储器(pram)。在一些实施方案中，非易失性存储器包括磁阻随机存取存储器(mram)。在其它实施方案中，装置是存储装置，借助于非限制性实例，所述存储装置包括cd-rom、dvd、快闪存储器装置、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储装置。在另外的实施方案中，存储装置和/或存储器装置是例如本文公开的那些装置的组合。
在一些实施方案中，数字处理装置包括用于将视觉信息发送给受试者的显示器。在一些实施方案中，显示器是阴极射线管(crt)。在一些实施方案中，显示器是液晶显示器(lcd)。在另外实施方案中，显示器是薄膜晶体管液晶显示器(tft-lcd)。在一些实施方案中，显示器是有机发光二极管(oled)显示器。在各种另外的实施方案中，oled显示器是无源矩阵oled(pmoled)或有源矩阵oled(amoled)显示器。在一些实施方案中，显示器是等离子体显示器。在一些实施方案中，显示器是电子纸或电子墨水。在其它实施方案中，显示器是视频投影仪。在另外的实施方案中，显示器是例如本文公开的那些装置的组合。
在一些实施方案中，数字处理装置包括用于从受试者接收信息的输入装置。在一些实施方案中，输入装置是键盘。在一些实施方案中，输入装置是指示装置，借助于非限制性实例，所述指示装置包括鼠标、轨迹球、轨迹板、操纵杆、游戏控制器或手写笔。在一些实施方案中，输入装置是触摸屏或多点触摸屏。在其它实施方案中，输入装置是捕获语音或其它声音输入的麦克风。在其它实施方案中，输入装置是用于捕获运动或视觉输入的摄像机或其它传感器。在另外的实施方案中，输入装置是kinect、leapmotion等。在另外的实施方案中，输入装置是例如本文公开的那些装置的组合。
非暂时性计算机可读存储介质
在一些实施方案中，本文描述的平台、介质、方法和应用包括用程序编码的一种或多种非暂时性计算机可读存储介质，所述程序包括可由可选联网的数字处理装置的操作系统执行的指令。在另外的实施方案中，计算机可读存储介质是数字处理装置的有形组件。在另外的实施方案中，计算机可读存储介质可选地可从数字处理装置移除。在一些实施方案中，借助于非限制性实例，计算机可读存储介质包括cd-rom、dvd、快闪存储器装置、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令被永久、基本上永久、半永久或非临时地编码在介质上。
计算机程序
在一些实施方案中，本文描述的平台、介质、方法和应用包括至少一个计算机程序或其使用。计算机程序包括一系列指令，所述指令可在数字处理装置的cpu中执行，编写成执行指定任务。计算机可读指令可以被实施为执行特定任务或实施特定抽象数据类型的程序模块，例如功能、对象、应用程序编程接口(api)、数据结构等。根据本文提供的公开内容，本领域技术人员将认识到，可用各种语言的各种版本来编写计算机程序。
计算机可读指令的功能可在各种环境中根据需要进行组合或分布。在一些实施方案中，计算机程序包括一个指令序列。在一些实施方案中，计算机程序包括多个指令序列。在一些实施方案中，从一个位置提供计算机程序。在其它实施方案中，从多个位置提供计算机程序。在各种实施方案中，计算机程序包括一个或多个软件模块。在各种实施方案中，计算机程序部分或全部包括一个或多个网络应用程序、一个或多个移动应用程序、一个或多个独立运行应用程序、一个或多个网络浏览器插件、扩展项、加载项或添加项，或其组合。
网络应用程序
在一些实施方案中，计算机程序包括网络应用程序。根据本文提供的公开内容，本领域技术人员将认识到，在各种实施方案中，网络应用程序利用一个或多个软件框架和一个或多个数据库系统。在一些实施方案中，基于例如
移动应用程序
在一些实施方案中，计算机程序包括提供给例如智能手机的移动数字处理装置的移动应用程序。在一些实施方案中，在制造时将移动应用程序提供给移动数字处理装置。在其它实施方案中，通过本文描述的计算机网络将移动应用程序提供给移动数字处理装置。
鉴于本文提供的公开内容，通过本领域技术人员已知的技术，使用本领域已知的硬件、语言和开发环境来创建移动应用程序。本领域技术人员将认识到，移动应用程序是用几种语言编写的。借助于非限制性实例，合适的编程语言包括c、c++、c#、objective-c、javatm、javascript、pascal、objectpascal、pythontm、ruby、vb.net、wml，以及具有或不具有css的xhtml/html，或其组合。
合适的移动应用程序开发环境可从多个来源获得。借助于非限制性实例，可商购的开发环境包括airplaysdk、alchemo、
本领域技术人员将认识到，几个商业论坛可用于分发移动应用程序，借助于非限制性实例，包括
独立运行应用程序
在一些实施方案中，计算机程序包括独立运行应用程序，所述独立运行应用程序是作为独立计算机进程而不是现有进程的添加项(例如，不是插件)运行的程序。本领域技术人员将认识到，经常编译独立运行的应用程序。编译器是将以编程语言编写的源代码转换成例如汇编语言或机器代码的二进制目标代码的计算机程序。借助于非限制性实例，合适的编译程序语言包括c、c++、objective-c、cobol、delphi、eiffel、javatm、lisp、pythontm、visualbasic和vb.net，或其组合。通常至少部分地执行编译以创建可执行程序。在一些实施方案中，计算机程序包括一个或多个可执行的编译应用程序。
软件模块
在一些实施方案中，本文描述的平台、介质、方法和应用程序包括软件、服务器和/或数据库模块，或其使用。鉴于本文提供的公开内容，通过本领域技术人员已知的技术使用本领域已知的机器、软件和语言来创建软件模块。本文公开的软件模块以多种方式实施。在各种实施方案中，软件模块包括文件、代码段、编程对象、编程结构或其组合。在另外的各种实施方案中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构，或其组合。在各种实施方案中，借助于非限制性实例，一个或多个软件模块包括网络应用程序、移动应用程序和独立运行应用程序。在一些实施方案中，软件模块在一个计算机程序或应用程序中。在其它实施方案中，软件模块在不止一个计算机程序或应用程序中。在一些实施方案中，软件模块托管在一台机器上。在其它实施方案中，软件模块托管在不止一台机器上。在其它实施方案中，软件模块托管在云计算平台上。在一些实施方案中，软件模块托管在一个位置的一台或多台机器上。在其它实施方案中，软件模块托管在不止一个位置的一台或多台机器上。
数据库
在一些实施方案中，本文公开的平台、系统、介质和方法包括一个或多个数据库或其使用。鉴于本文提供的公开内容，本领域技术人员将认识到，许多数据库适合于存储和检索条形码、路线、包裹、主题或网络信息。在各种实施方案中，借助于非限制性实例，合适的数据库包括关系数据库、非关系数据库、面向对象的数据库、对象数据库、实体关系模型数据库、关联数据库和xml数据库。在一些实施方案中，数据库是基于互联网的。在另外的实施方案中，数据库是基于网络的。在另外的实施方案中，数据库是基于云计算的。在其它实施方案中，数据库基于一个或多个本地计算机存储装置。
详细附图描述
图1.卷积神经网络的示意图。示意图描绘了可如何对在1,000个类别的imagenet数据集上训练的卷积神经网络进行调适，以显著提高准确性并缩短在新颖oct图像数据集上训练的网络的训练时间。将局部连接的(卷积)层冻结并转移到新的网络中，而最终完全连接的层将在转移层之上重新创建并从随机初始化中重新训练。
图2.(a)代表性光学相干断层扫描(oct)图像。最左面：伴有相关视网膜下液(箭头)的脉络膜新生血管(cnv)。左中面：伴有相关视网膜内液(箭头)的糖尿病性黄斑水肿(dme)。右中面：早期amd中存在的多个玻璃疣(箭头)。最右面：视网膜正常，中心凹轮廓保留，没有任何视网膜液。(b)显示整个实验设计的工作流程图，通过标记和分级过程描述光学相干断层扫描(oct)图像流，之后创建迁移学习模型，然后对所述模型进行了训练和后续测试。训练数据集仅包含最初收集的数据集中符合充分质量和诊断标准要求的图像。
图3a至图3b.(a)由3个卷积层组成的resnet架构的“瓶颈”构建块，这些卷积层通过具有标识加法函数的relu非线性分开。(b)使用lenet架构的卷积神经网络的示意图，用于演示滤波器如何通过层进行卷积。
图4a至图4c.cnv、dme、玻璃疣和正常情况之间的多类比较。(a)“紧急转诊”(脉络膜新生血管(cnv)和糖尿病性黄斑水肿(dme)检测)的接受者操作特征曲线，需要专业人员进行比较。(b)验证图像集的最佳模型分类的混淆表。(c)基于图10a所示的处罚的加权误差结果。图10a以金色描绘神经网络，以蓝色描绘人类专家。图4c中所示的加权误差为：0.40％(专家5)、1.20％(专家1)、2.40％(专家3)、6.40％(专家4)、6.60％(最佳模型)、7.70％(专家6)、10.50％(专家2)、12.70％(有限模型)。
图5a至图5b.使用tensorboard创建的绘图，所述绘图表示在10,000个步骤过程中的多分类器训练期间训练(橙色)和验证(蓝色)准确性(a)以及交叉熵损失(b)。为了使趋势清晰可见，用平滑因子0.6将绘图标准化。
图6.突出显示糖尿病性黄斑水肿(左)、脉络膜新生血管(中)和玻璃疣(右)的病理区域的遮挡图。通过在输入图像上卷积遮挡内核来生成遮挡图。通过将正确标记的softmax概率分配给每个遮挡区域，在预测之后创建遮挡图。然后可将遮挡图叠加在输入图像上，以突出显示模型在进行诊断时认为重要的区域。
图7.显示使用tensorboard训练和验证数据集时的二进制性能的绘图，与图5有关。对脉络膜新生血管(cnv)与正常情况(a)、糖尿病性黄斑水肿(dme)与正常情况(b)，以及玻璃疣与正常情况(c)进行比较。为了使趋势清晰可见，用平滑因子0.6将绘图标准化。验证准确性和损失显示出更好的性能，因为训练集中还包括噪声更大且质量更低的图像，以减少过度拟合并有助于分类器的泛化。训练数据集：橙色。验证数据集：蓝色。
图8.二进制分类器的接受者操作特征曲线，与图4相关。图表中roc下的对应区域(auroc)分别为：100％为脉络膜新生血管(cnv)与正常情况(a)、99.87％为糖尿病性黄斑水肿(dme)与正常情况(b)，以及99.96％为玻璃疣与正常情况(c)。(a)中的竖直直线和水平直线以及(b)和(c)中的近似直线表明，二进制卷积神经网络模型具有近乎完美的分类性能。
图9.描绘阳性似然比和阴性似然比的绘图，并标出了其对应的95％置信区间，与图4相关。(a)阳性似然比定义为真阳性率高于假阳性率，因此，大于1的似然比增加表示预测结果与疾病相关的可能性增加。(b)阴性似然比定义为假阴性率高于真阴性率，因此小于1的下降比率表示预测结果与没有疾病相关的可能性增加。
图10.在加权误差计算和专家对oct图像进行分级的混淆矩阵期间针对错误标记提出的处罚，与图4相关。(a)处罚包括对“紧急转诊”的错误评分为4分(正常情况)，以及对“紧急转诊”的错误评分为2分(玻璃疣)。所有其它不正确的答案的错误评分为1。(b)这里描绘了比较每个评分者的真实标签和各个人类专家的预测标签的结果。
图11a至图11g.(a-f)湿性amd(a-c)或糖尿病性视网膜病变(d-f)伴黄斑水肿患者的中央凹的水平横截面oct图像：每月3次贝伐单抗玻璃体内注射之前(左)和之后(右)。治疗后视网膜内或视网膜下液(箭头)减少。所有患者的视敏度(va)都得到了改善：(a)20/320至20/250，5个月。(b)20/40至20/32，9个月，(c)20/400至20/250，3个月，(d)20/80至20/50，7个月，(e)20/40至20/25，7个月，以及(f)20/32至20/25，7个月。(g)dme患者左眼的治疗前水平横截面oct图像(左上)显示出通过黄斑中心的黄斑水肿(箭头)，并且在连续三次抗vegf治疗后视网膜内液消失(右上)。6个月后va得到改善：从20/70至20/25。但是从最后一次访视开始5个月(左下，箭头)后，oct上发现了黄斑水肿的复发。va降至20/125。连续三个月每月给患者注射贝伐单抗，并在1个月后症状再次缓解(右下)，va改善为20/80。
图12.可上传并进行诊断的诊断网关云。所述诊断网关云允许上传任何jpegoct图像，以进行迅速自动诊断，并提供每次诊断的概率。
图13.示出总体实验设计的工作流程图，描述了患者入院流程，接着是眼底分类和黄斑功能测试，然后进行了机器训练和后续测试。已发现，较长的眼轴长(≥26mm)可能是白内障手术后视力预后不良的危险因素。
图14a至图14b.注意到具有较长眼轴长的眼睛的术后视功能明显更差。(a)在所有成人白内障病例中，眼轴长较长(≥26mm)的眼睛的术后视功能比眼轴长<24.5mm的眼睛的术后视功能更差。平均术后ucva(logmar)视敏度为0.71，而术后平均视敏度为0.29，***-p<0.001；ucva＝未矫正的视敏度；hmc＝高度近视性白内障；arc＝老年性白内障；)。(b)在1,005名入院患者中，注意到眼轴长较长(>30mm)的眼睛的术后视功能比眼轴长<30mm的眼睛的术后视功能明显更差。(平均术后bcva(logmar)视敏度：al<28mm＝0.17±0.38(325)；28mm≤al≤30mm＝0.24±0.41(292)；al>30mm＝0.30±0.31(388)；anova随后进行tukey测试：p<0.0001；al<28mm对比al>30mm，p<0.0001；al<28mm对比28mm≤al≤30mm，p＝0.03；28mm≤al≤30mm对比al>30mm，p＝0.04；****-p<0.0001；*-p<0.05；bcva＝最佳矫正视敏度)
图15a至图15e.眼底图像分级的样本。(a-d)与现有的近视黄斑病变的国际摄影分类和分级系统相比，显示出不同疾病类别的近视黄斑病变的患者的眼底图像：类别1，棋盘格眼底(a)；类别2，弥漫性脉络膜视网膜萎缩(b)；类别3，斑片性脉络膜视网膜萎缩(c)；类别4，黄斑萎缩(d)。(e)高度近视黄斑病变类别1至4中的患者百分比分别为类别1：67.46％(678/1,005)；类别2：13.53％(136/1,005)；类别3：15.32％(154/1,005)；类别4：3.68％(37/1,005)。
图16a至图16f.岛状黄斑萎缩模式的患者及其术后视功能(a-c)，以及所有患者的黄斑敏感性、眼轴长和bcea的相关性(d-f)。(a)超宽视野视网膜图像显示出岛状黄斑萎缩。(b)包括固视bcea和平均黄斑敏感性的微视野仪图像。黄斑网格中的黑色区域表示萎缩的功能失调区域，而固视椭圆位于剩余黄斑组织的很小区域。bcea＝双变量轮廓椭圆面积。(c)在类别3的所有患者中，患有岛状黄斑萎缩模式的眼(154只眼中有14只眼)的术后视功能比类别3内的眼的术后视功能更差。平均术后bcva(logmar)视敏度为0.54，而术后平均视敏度为0.36，*-p<0.05，t-测试；bcva＝最佳矫正视敏度)。(d)ms与眼轴长之间的相关性(皮尔逊相关系数：r＝-0.34，p<0.001，f-测试)。(e)ms与bcea之间的相关性。(r＝-0.32，p＜0.001，f-测试)。(f)bcea与眼轴长之间的相关性。(r＝0.13，p<0.001，f-测试)。ms＝平均敏感性；bcea＝双变量轮廓椭圆面积。
图17.深度神经网络示意图。总共输出和收集了1,005个患者的微视野仪结果，得到覆盖了所有图像的177个点。还将年龄(岁)和眼轴长(mm)信息纳入模型中。建立了两层的分层神经网络，并在每层中用5个神经元进行了验证，以预测患者手术后的视敏度。具有高置信度诊断的患者，将术后bcva(logmar)小于或等于0.5的患者定义为阴性实例(具有高置信度的患者具有良好的视力)，将术后bcva(logmar)大于0.5的患者定义为阳性实例(具有高置信度的患者具有较差的视力)。
图18a至图18d.显示深度学习模型性能的绘图。(a)黄斑敏感性图像的第一主要分量(pc0)追踪患者术后bcva(logmar)视敏度水平。pc0(y轴)与手术后bcva(logmar)水平相关(r＝0.48，p<le-16，f测试)。(b)使用阈值图像的pc0对患者的术后bcva(logmar)进行高准确性分类(roc-auc＝0.851)。(c)追踪训练(红色，n＝502)和测试队列(蓝色，n＝503)中的神经网络相对于10,000个训练步骤(x轴)的数量的准确性(y轴)变化。最终模型产生的准确性为0.931。(d)使用受训分层神经网络的验证队列中模型的分类准确性。roc曲线下预测术后视敏度的面积为0.918。
图19a至图19d.显示房水中生长因子水平与眼轴长之间的相关性的散点图。(a)房水中生长分化因子-15(gdf-15)水平与眼轴长呈正相关(spearman系数＝0.503，p<0.001，spearman相关分析)。(b)房水中的肝细胞生长因子(hgf)水平与眼轴长呈正相关(spearman系数＝0.567，p<0.001，spearman相关分析)。(c)房水中的血小板衍生生长因子(pdgf-aa)水平与眼轴长呈正相关(spearman系数＝0.458，p<0.001，spearman相关分析)。(d)房水中的血管内皮生长因子(vegf)水平与眼轴长呈负相关(spearman系数＝-0.777，p<0.001，spearman相关分析)。
图20a至图20c.bio-plexprotm基于多重磁珠的免疫测定中检测到的细胞因子的标准曲线。(x轴刻度不是线性的，图是对数刻度)。(a)gdf-15：生长分化因子-15；(b)hgf：肝细胞生长因子；(c)pdgf-aa：血小板衍生生长因子；uloq：量化上限；lloq：量化下限。
图21示意性地示出被编程或另外配置成实施本文所提供的方法的计算机控制系统或平台。在一些实施方案中，所述系统包括计算机系统2101，所述计算机系统2101被编程或以其它方式被配置成执行可执行指令，例如用于执行图像分析。计算机系统包括至少一个cpu或处理器2105。计算机系统包括至少一个存储器或存储器位置2110和/或至少一个电子存储单元2115。在一些实施方案中，计算机系统包括通信接口2120(例如网络适配器)。在一些实施方案中，计算机系统2101可借助于通信接口2120可操作地耦合至计算机网络(“网络”)2130。在一些实施方案中，最终用户装置2135用于上传医学数据，例如眼科图像。数据库2145的常规浏览或其它任务的执行。在一些实施方案中，数据库2145是与计算机系统2101分开的一个或多个数据库。
图22示出附接至便携式装置2201的例如蜂窝电话或智能手机2202的电子装置的一个实施方案的图，所述便携式装置具有成像组件2203(例如检眼镜)，所述成像组件具有一个或多个镜片2204，所述镜片2204被配置用于与电子装置2202的摄像头镜片2205对准。图显示出手机的后视图(不面向触摸屏)，其中检眼镜位于面向后的摄像头上方。虚线表示对象被另一个对象覆盖或遮挡。
编号实施方案
通过参考本文中的编号实施方案进一步阐明本公开。1.一种用于提供医学诊断的方法，包括：a)获得医学图像；b)对医学图像执行机器学习程序；以及c)通过机器学习程序确定医学图像是否指示医学疾病或病症，所述确定具有大于90％的敏感性和大于90％的特异性。2.如实施方案1所述的方法，其中机器学习程序包括深度学习程序。3.如实施方案1或2所述的方法，其中所述机器学习程序包括训练卷积神经网络。4.如实施方案1-3中任一项所述的方法，还包括使医学图像经受图像遮挡程序。5.如实施方案1-4中任一项所述的方法，还包括执行迁移学习程序。6.如实施方案5所述的方法，其中迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练机器学习程序，以获得预训练后的机器学习程序。7.如实施方案6所述的方法，其中迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的机器学习程序。8.如实施方案1-7中任一项所述的方法，还包括基于所述确定做出医学治疗建议。9.如实施方案1至8中任一项所述的方法，其中医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。10.如实施方案9所述的方法，其中眼科图像是视网膜图像。11.如实施方案9或10所述的方法，其中眼科图像是光学相干断层扫描(oct)图像。12.如实施方案10或11所述的方法，其中医学疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。13.一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实施用于提供眼科诊断的方法，所述方法包括：a)获得医学图像；b)对医学图像执行机器学习程序；以及c)通过机器学习程序确定医学图像是否指示疾病或病症，所述确定具有大于90％的敏感性和大于90％的特异性。14.如实施方案13所述的非暂时性计算机可读介质，其中机器学习程序包括深度学习程序。15.如实施方案13或14所述的非暂时性计算机可读介质，其中机器学习程序包括训练卷积神经网络。16.如实施方案13-15中任一项所述的非暂时性计算机可读介质，其中所述方法还包括使医学图像经受图像遮挡程序。17.如实施方案13-16中任一项所述的非暂时性计算机可读介质，其中所述方法还包括执行迁移学习程序。18.如实施方案17所述的非暂时性计算机可读介质，其中迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练机器学习程序，以获得预训练后的机器学习程序。19.如实施方案18所述的非暂时性计算机可读介质，其中迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的机器学习程序。20.如实施方案13-19中任一项所述的非暂时性计算机可读介质，其中所述方法还包括基于所述确定做出医学治疗建议。21.如实施方案13-20中任一项所述的非暂时性计算机可读介质，其中医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。22.如实施方案21所述的非暂时性计算机可读介质，其中眼科图像是视网膜图像。23.如实施方案21或22所述的非暂时性计算机可读介质，其中眼科图像是光学相干断层扫描(oct)图像。24.如实施方案22或23所述的非暂时性计算机可读介质，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。25.一种计算机实施的系统，包括：数字处理装置，所述数字处理装置包括：至少一个处理器、被配置成执行可执行指令的操作系统、存储器以及计算机程序，所述计算机程序包括可由数字处理装置执行以创建用于提供医学诊断的应用程序的指令，所述应用程序包括：a)用于获得医学图像的软件模块；b)用于对医学图像执行机器学习程序的软件模块；以及c)用于通过机器学习程序确定医学图像是否指示医学疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性。26.如实施方案25所述的计算机实施的系统，其中机器学习程序包括深度学习程序。27.如实施方案25或26所述的计算机实施的系统，其中机器学习程序包括训练卷积神经网络。28.如实施方案25-27中任一项所述的计算机实施的系统，其中所述应用程序还包括用于使医学图像经受图像遮挡程序的软件模块。29.如实施方案25-28中任一项所述的计算机实施的系统，其中所述应用程序还包括用于执行迁移学习程序的软件模块。30.如实施方案29所述的计算机实施的系统，其中迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练机器学习程序，以获得预训练后的机器学习程序。31.如实施方案30所述的计算机实施的系统，其中迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的机器学习程序。32.如实施方案25-31中任一项所述的计算机实施的系统，其中所述应用程序还包括用于基于所述确定做出医学治疗建议的软件模块。33.如实施方案25-32中任一项所述的计算机实施的系统，其中医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。34.如实施方案33所述的计算机实施的系统，其中眼科图像是视网膜图像。35.如实施方案33或34所述的计算机实施的系统，其中眼科图像是光学相干断层扫描(oct)图像。36.如实施方案34或35所述的计算机实施的系统，其中医学疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。37.一种用于提供医学诊断的方法，包括：a)获得医学图像；b)通过机器学习程序分析医学图像；以及c)通过机器学习程序基于医学图像生成视敏度的预测，所述预测具有大于90％的敏感性和大于90％的特异性。38.如实施方案37所述的方法，其中机器学习程序包括深度学习程序。39.如实施方案37或38所述的方法，其中机器学习程序包括训练卷积神经网络。40.如实施方案39所述的方法，其中卷积神经网络每层具有不超过5个神经元。41.如实施方案37-40中任一项所述的方法，其中机器学习程序利用包括年龄、眼轴长和黄斑敏感性的输入。42.如实施方案37-41中任一项所述的方法，还包括基于所述确定做出医学治疗建议。43.如实施方案37-42中任一项所述的方法，其中医学图像是传达有关是否存在眼科疾病、病症或病状的信息的眼科图像。44.如实施方案43所述的方法，其中眼科图像是光学相干断层扫描(oct)图像。45.如实施方案43所述的方法，其中眼科图像是黄斑敏感性阈值图像。46.如实施方案43-45中任一项所述的方法，其中眼科疾病、病症或病状选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)、脉络膜新生血管(cnv)、脉络膜视网膜萎缩、黄斑劈裂、术中玻璃体丢失、术后视网膜撕裂或脱落，以及后巩膜葡萄肿。47.一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实施用于提供医学诊断的方法，所述方法包括：a)获得医学图像；b)通过机器学习程序分析医学图像；以及c)通过机器学习程序基于医学图像生成视敏度的预测，所述预测具有大于90％的敏感性和大于90％的特异性。48.如实施方案47所述的非暂时性计算机可读介质，其中机器学习程序包括深度学习程序。49.如实施方案47或48所述的非暂时性计算机可读介质，其中机器学习程序包括训练卷积神经网络。50.如实施方案49所述的非暂时性计算机可读介质，其中卷积神经网络每层具有不超过5个神经元。51.如实施方案47-50中任一项所述的非暂时性计算机可读介质，其中机器学习程序利用包括年龄、眼轴长和黄斑敏感性的输入。52.如实施方案47-51中任一项所述的非暂时性计算机可读介质，其中所述方法还包括基于所述预测做出医学治疗建议。53.如实施方案47-52中任一项所述的非暂时性计算机可读介质，其中医学图像是传达有关是否存在眼科疾病、病症或病状的信息的眼科图像。54.如实施方案53所述的非暂时性计算机可读介质，其中眼科图像是视网膜图像。55.如实施方案53或54所述的非暂时性计算机可读介质，其中眼科图像是光学相干断层扫描(oct)图像。56.如实施方案53-55所述的非暂时性计算机可读介质，其中眼科图像是黄斑敏感性阈值图像。57.如实施方案53-56所述的非暂时性计算机可读介质，其中眼科疾病、病症或病状选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)、脉络膜新生血管(cnv)、脉络膜视网膜萎缩、黄斑劈裂、术中玻璃体丢失、术后视网膜撕裂或脱落，以及后巩膜葡萄肿。58.一种计算机实施的系统，包括：数字处理装置，所述数字处理装置包括：至少一个处理器、被配置成执行可执行指令的操作系统、存储器以及计算机程序，所述计算机程序包括可由数字处理装置执行以创建用于提供医学诊断的应用程序的指令，所述应用程序包括：a)获得医学图像的软件模块；b)通过机器学习程序分析医学图像的软件模块；以及c)使用机器学习程序来基于医学图像生成视敏度的预测的软件模块，所述预测具有大于90％的敏感性和大于90％的特异性。59.如实施方案58所述的计算机实施的系统，其中机器学习程序包括深度学习程序。60.如实施方案58或59所述的计算机实施的系统，其中机器学习程序包括训练卷积神经网络。61.如实施方案60所述的计算机实施的系统，其中卷积神经网络每层具有不超过5个神经元。62.如实施方案58-61中任一项所述的计算机实施的系统，其中机器学习程序利用包括年龄、眼轴长和黄斑敏感性的输入。63.如实施方案58-62中任一项所述的计算机实施的系统，其中所述应用程序还包括用于基于所述确定做出医学治疗建议的软件模块。64.如实施方案58-63中任一项所述的计算机实施的系统，其中医学图像是传达有关是否存在眼科疾病、病症或病状的信息的眼科图像。65.如实施方案64所述的计算机实施的系统，其中眼科图像是视网膜图像。66.如实施方案64或65所述的计算机实施的系统，其中眼科图像是光学相干断层扫描(oct)图像。67.如实施方案64-66所述的计算机实施的系统，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)、脉络膜新生血管(cnv)、脉络膜视网膜萎缩、黄斑劈裂、术中玻璃体丢失、术后视网膜撕裂或脱落，以及后巩膜葡萄肿。68.一种用于提供医学诊断的计算机实施的方法，包括：a)获得个人的医学数据；b)对医学数据执行机器学习程序；以及c)通过机器学习程序基于医学数据生成视敏度或视觉障碍或病状的预测，所述预测具有大于90％的敏感性和大于90％的特异性。69.如实施方案68所述的方法，其中医学数据包括与近视相关联的输入，所述输入由机器学习程序处理以生成视敏度的预测。70.如实施方案68或69所述的方法，其中医学数据包括医学图像。71.如实施方案70所述的方法，其中医学图像是用微视野检查结果覆盖的眼底的图像。72.如实施方案68-71中任一项所述的方法，其中医学数据包括近视的至少一种度量。73.如实施方案68-72中任一项所述的方法，其中医学数据包括年龄、眼轴长、黄斑敏感性图像，或其任何组合。74.如实施方案68-73中任一项所述的方法，其中预测包括在白内障手术之后个体的预测视敏度。75.如实施方案68-74中任一项所述的方法，其中预测包括在白内障手术之后个体的良好或不良视敏度的诊断。76.如实施方案68-75中任一项所述的方法，其中机器学习程序包括深度学习程序。77.如实施方案68-76中任一项所述的方法，其中机器学习程序包括训练卷积神经网络。78.如实施方案68-77中任一项所述的方法，其中使用包括分类为近视黄斑病变类别的医学图像的数据集来训练迁移学习程序。79.如实施方案68-78中任一项所述的方法，还包括基于所述预测做出医学治疗建议。80.如实施方案70-71中任一项所述的方法，其中医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。81.如实施方案80所述的方法，其中眼科图像是视网膜图像。82.如实施方案80或81所述的方法，其中眼科图像是光学相干断层扫描(oct)图像。83.如实施方案80-82中任一项所述的方法，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。84.如实施方案68-83中任一项所述的方法，其中预测包括最佳矫正视敏度(bcva)。85.如实施方案84所述的方法，其中机器学习程序包括使用结果分类的患者数据训练机器学习算法，所述患者数据包括黄斑敏感性、眼轴长、最佳矫正视敏度(bcva)、双变量轮廓椭圆面积(bcea)或其任何组合。86.如实施方案85所述的方法，其中患者数据根据至少四个近视黄斑病变类别进行分类。87.一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实施用于提供医学诊断的方法，所述方法包括：a)获得个人的医学数据；b)对医学数据执行机器学习程序；以及c)通过机器学习程序生成视敏度或医学疾病或病症的预测，所述预测具有大于90％的敏感性和大于90％的特异性。88.如实施方案87所述的非暂时性计算机可读介质，其中医学数据包括与近视相关联的输入，所述输入由机器学习程序处理以生成视敏度的预测。89.如实施方案87或88所述的非暂时性计算机可读介质，其中医学数据包括医学图像。90.如实施方案89所述的非暂时性计算机可读介质，其中医学图像是用微视野检查结果覆盖的眼底的图像。91.如实施方案87-90中任一项所述的非暂时性计算机可读介质，其中医学数据包括近视的至少一种度量。92.如实施方案87-91中任一项所述的非暂时性计算机可读介质，其中医学数据包括年龄、眼轴长、黄斑敏感性图像，或其任何组合。93.如实施方案87-92中任一项所述的非暂时性计算机可读介质，其中预测包括在白内障手术之后个体的预测视敏度。94.如实施方案87-93中任一项所述的非暂时性计算机可读介质，其中预测包括在白内障手术之后个体的良好或不良视敏度的诊断。95.如实施方案87-94中任一项所述的非暂时性计算机可读介质，其中机器学习程序包括深度学习程序。96.如实施方案87-95中任一项所述的非暂时性计算机可读介质，其中机器学习程序包括训练卷积神经网络。97.如实施方案87-96中任一项所述的非暂时性计算机可读介质，其中使用包括分类为近视黄斑病变类别的医学图像的数据集来训练迁移学习程序。98.如实施方案87-97中任一项所述的非暂时性计算机可读介质，其进一步包括基于所述预测做出医学治疗建议。99.如实施方案89-90中任一项所述的非暂时性计算机可读介质，其中医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。100.如实施方案99所述的非暂时性计算机可读介质，其中眼科图像是视网膜图像。101.如实施方案99或100所述的非暂时性计算机可读介质，其中眼科图像是光学相干断层扫描(oct)图像。102.如实施方案99-101中任一项所述的非暂时性计算机可读介质，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。103.如实施方案87-102中任一项所述的非暂时性计算机可读介质，其中预测包括最佳矫正视敏度(bcva)。104.如实施方案103所述的非暂时性计算机可读介质，其中机器学习程序包括使用结果分类的患者数据训练机器学习算法，所述患者数据包括黄斑敏感性、眼轴长、最佳矫正视敏度(bcva)、双变量轮廓椭圆面积(bcea)或其任何组合。105.如实施方案105所述的非暂时性计算机可读介质，其中患者数据根据至少四个近视黄斑病变类别进行分类。106.一种计算机实施的系统，包括：数字处理装置，所述数字处理装置包括：至少一个处理器、被配置成执行可执行指令的操作系统、存储器以及计算机程序，所述计算机程序包括可由数字处理装置执行以创建用于提供医学诊断的应用程序的指令，所述应用程序包括：a)用于获得个人的医学数据的软件模块；b)用于对医学数据执行机器学习程序的软件模块；以及c)用于通过机器学习程序生成视敏度或医学疾病或病症的预测的软件模块，所述预测具有大于90％的敏感性和大于90％的特异性。107.如实施方案106所述的计算机实施的系统，其中医学数据包括与近视相关联的输入，所述输入由机器学习程序处理以生成视敏度的预测。108.如实施方案106或107所述的计算机实施的系统，其中医学数据包括医学图像。109.如实施方案108所述的计算机实施的系统，其中医学图像是用微视野检查结果覆盖的眼底的图像。110.如实施方案106-109中任一项所述的计算机实施的系统，其中医学数据包括近视的至少一种度量。111.如实施方案106-110中任一项所述的计算机实施的系统，其中医学数据包括年龄、眼轴长、黄斑敏感性图像，或其任何组合。112.如实施方案106-111中任一项所述的计算机实施的系统，其中预测包括在白内障手术之后个体的预测视敏度。113.如实施方案106-112中任一项所述的计算机实施的系统，其中预测包括在白内障手术之后个体的良好或不良视敏度的诊断。114.如实施方案106-113中任一项所述的计算机实施的系统，其中机器学习程序包括深度学习程序。115.如实施方案106-114中任一项所述的计算机实施的系统，其中机器学习程序包括训练卷积神经网络。116.如实施方案106-115中任一项所述的计算机实施的系统，其中使用包括分类为近视黄斑病变类别的医学图像的数据集来训练迁移学习程序。117.如实施方案106-116中任一项所述的计算机实施的系统，还包括基于所述预测做出医学治疗建议。118.如实施方案116或117中任一项所述的计算机实施的系统，其中医学图像是传达有关是否存在眼科疾病或病症的信息的眼科图像。119.如实施方案118所述的计算机实施的系统，其中眼科图像是视网膜图像。120.如实施方案118或119所述的计算机实施的系统，其中眼科图像是光学相干断层扫描(oct)图像。121.如实施方案118-120中任一项所述的计算机实施的系统，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。122.如实施方案106-121中任一项所述的计算机实施的系统，其中预测包括最佳矫正视敏度(bcva)。123.如实施方案122所述的计算机实施的系统，其中机器学习程序包括使用结果分类的患者数据训练机器学习算法，所述患者数据包括黄斑敏感性、眼轴长、最佳矫正视敏度(bcva)、双变量轮廓椭圆面积(bcea)或其任何组合。124.如实施方案123所述的计算机实施的系统，其中患者数据根据至少四个近视黄斑病变类别进行分类。125.一种计算机实施的系统，包括：a)电子装置，所述电子装置包括：处理器、存储器、显示器、摄像头以及被配置成执行可执行指令的操作系统；b)便携式装置，所述便携式装置包括成像组件，所述便携式装置被配置成接收和定位电子装置以将摄像头与成像组件对准；以及c)计算机程序，所述计算机程序存储在电子装置的存储器中，所述计算机程序包括可由用户电子装置执行以创建应用程序的指令，所述应用程序包括：i)控制摄像头以捕获受试者的眼科图像或视频的软件模块；以及ii)确定眼科图像或视频是否指示医学疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性。126.如实施方案125所述的系统，其中确定眼科图像或视频是否指示医学疾病或病症包括将眼科图像或视频上传到云网络，以由使用机器学习程序生成的受训分类器进行分析。127.如实施方案125所述的系统，其中确定眼科图像或视频是否指示医学疾病或病症包括用使用机器学习程序生成的受训分类器分析眼科图像或视频。128.如实施方案126或127所述的系统，其中机器学习程序包括深度学习程序。129.如实施方案126-128中任一项所述的系统，其中机器学习程序包括训练卷积神经网络。130.如实施方案125-129中任一项所述的系统，其中所述应用程序还包括显示所述确定的软件模块。131.如实施方案125-130中任一项所述的系统，其中所述应用程序还包括使眼科图像或视频经受图像遮挡程序的软件模块。132.如实施方案131所述的系统，其中显示所述确定的软件模块还显示眼科图像或视频的区域，所述区域通过图像遮挡程序识别为对所述确定具有重要意义。133.如实施方案126-132中任一项所述的系统，其中机器学习程序还包括迁移学习程序。134.如实施方案133所述的系统，其中迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练未受训分类器，以获得预训练后的分类器。135.如实施方案134所述的系统，其中迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的分类器以获得受训分类器。136.如实施方案125-135中任一项所述的系统，其中所述应用程序还包括基于所述确定做出医学治疗建议的软件模块。137.如实施方案125-136中任一项所述的系统，其中眼科图像或视频传达有关是否存在眼科疾病或病症的信息。138.如实施方案125-137中任一项所述的系统，其中眼科图像是视网膜图像。139.如实施方案125-138中任一项所述的系统，其中眼科图像是光学相干断层扫描(oct)图像。140.如实施方案137所述的系统，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。141.如实施方案125-140中任一项所述的系统，其中成像组件是使摄像头能够从受试者的眼睛捕获眼科图像或视频的检眼镜。142.如实施方案141所述的系统，其中便携式装置包括适配器，所述适配器被配置成接收和定位电子装置。143.如实施方案125-142中任一项所述的系统，其进一步包括网络服务器，所述网络服务器接收由电子装置上传的眼科图像或视频，用受训分类器分析眼科图像或视频以获得确定，以及将所述确定提供给电子装置。144.如实施方案125-143中任一项所述的系统，其中所述应用程序还包括将眼科视频的屏幕截图拼接在一起以生成复合眼科图像的软件模块。145.一种计算机实施的系统，包括：a)医学成像装置，所述医学成像装置被配置成捕获受试者的眼科图像；b)电子装置，所述电子装置可操作地耦合至医学成像装置，包括：处理器、存储器、显示器，以及被配置成执行可执行指令的操作系统；c)计算机程序，所述计算机程序存储在电子装置的存储器中，所述计算机程序包括可由用户电子装置执行以创建应用程序的指令，所述应用程序包括：iii)控制医学成像装置以捕获受试者的眼科图像的软件模块；以及iv)确定眼科图像是否指示医学疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性。146.如实施方案145所述的系统，其中确定眼科图像是否指示医学疾病或病症包括将眼科图像上传到云网络，以由使用机器学习程序生成的受训分类器进行分析。147.如实施方案145所述的系统，其中确定眼科图像是否指示医学疾病或病症包括用使用机器学习程序生成的分类器分析眼科图像。148.如实施方案146或147所述的系统，其中机器学习程序包括深度学习程序。149.如实施方案146-148中任一项所述的系统，其中机器学习程序包括训练卷积神经网络。150.如实施方案145-149中任一项所述的系统，其中所述应用程序还包括显示所述确定的软件模块。151.如实施方案145-150中任一项所述的系统，其中所述应用程序还包括使眼科图像或视频经受图像遮挡程序的软件模块。152.如实施方案151所述的系统，其中显示所述确定的软件模块还显示眼科图像的区域，所述区域通过图像遮挡程序识别为对所述确定具有重要意义。153.如实施方案146-152中任一项所述的系统，其中机器学习程序还包括迁移学习程序。154.如实施方案153所述的系统，其中迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练未受训分类器，以获得预训练后的分类器。155.如实施方案154所述的系统，其中迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的分类器以获得受训分类器。156.如实施方案145-155中任一项所述的系统，其中所述应用程序还包括基于所述确定做出医学治疗建议的软件模块。157.如实施方案145-156中任一项的系统，其中眼科图像传达有关是否存在眼科疾病或病症的信息。158.如实施方案145-157中任一项的系统，其中眼科图像是视网膜图像。159.如实施方案145-158中任一项所述的系统，其中眼科图像是光学相干断层扫描(oct)图像。160.如实施方案157所述的系统，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。161.如实施方案145-160中任一项所述的系统，其中医学成像装置是光学相干断层扫描(oct)装置。162.如实施方案145-161中任一项所述的系统，还包括网络服务器，所述网络服务器接收由电子装置上传的眼科图像，用受训分类器分析眼科图像或视频以获得确定，以及将所述确定提供给电子装置。163.如实施方案145-162中任一项所述的系统，其中系统被配置为自助服务亭。164.如实施方案163所述的系统，其中自助服务亭包括定位组件，用于将受试者的头部定位在医学成像装置的前面以捕获眼科图像。165.如实施方案164所述的系统，其中定位组件被配置成减小或最小化受试者的头部倾斜。166.如实施方案163所述的系统，其中自助服务亭进一步包括麦克风和扬声器，并且被配置成提供与远程医疗保健提供者的电话会议，以讨论确定以及任选地治疗建议。167.如实施方案163所述的系统，其中自助服务亭包括用于接收支付信息的接口。168.如实施方案167所述的系统，其中所述接口包括读卡器、扫描仪、rfid系统、存款器、用于输入支付信息的触摸屏，或其组合。169.一种计算系统，所述计算系统包括至少一个处理器、存储器以及用程序编码的非暂时性计算机可读存储介质，所述程序包括可由至少一个处理器执行以创建网络应用程序的指令，所述网络应用程序包括：a)接收由电子装置通过网络上传的医学图像的软件模块；b)用受训分类器分析眼科图像以确定眼科图像是否指示医学疾病或病症的软件模块，所述确定具有大于90％的敏感性和大于90％的特异性；以及c)将所述确定发送到电子装置的软件模块。170.如实施方案169所述的系统，其中通过机器学习程序产生受训分类器。171.如实施方案170所述的系统，其中机器学习程序包括深度学习程序。172.如实施方案170或171所述的系统，其中机器学习程序包括训练卷积神经网络。173.如实施方案169-172中任一项所述的系统，其中所述应用程序还包括使眼科图像经受图像遮挡程序的软件模块。174.如实施方案173所述的系统，其中所述应用程序还包括将眼科图像发送到电子装置的软件模块，其中在视觉上强调通过图像遮挡程序识别为对所述确定具有重要意义的眼科图像的区域。175.如实施方案170-174中任一项所述的系统，其中机器学习程序还包括迁移学习程序。176.如实施方案175所述的系统，其中迁移学习程序包括使用从大型图像数据集获得的非医学图像预训练未受训分类器，以获得预训练后的分类器。177.如实施方案176所述的系统，其中迁移学习程序还包括使用小于大型图像数据集的一组医学图像来训练预训练后的分类器以获得受训分类器。178.如实施方案169-177中任一项所述的系统，其中所述应用程序还包括基于所述确定做出医学治疗建议的软件模块。179.如实施方案169-178中任一项所述的系统，其中眼科图像传达有关是否存在眼科疾病或病症的信息。180.如实施方案169-179中任一项所述的系统，其中眼科图像是视网膜图像。181.如实施方案169-180中任一项所述的系统，其中眼科图像是光学相干断层扫描(oct)图像。182.如实施方案179所述的系统，其中眼科疾病或病症选自由以下项组成的群组：老年性黄斑变性(amd)、糖尿病性黄斑水肿(dme)和脉络膜新生血管(cnv)。183.如实施方案169-182中任一项所述的系统，其中系统是集成到云网络中的服务器。
实例
实例1
最初共获得207,130个oct图像，将其中来自4,686名患者的108,312个图像(cnv为37,206个，dme为11,349个，玻璃疣为8617个，正常情况为51,140个)用于训练ai系统。然后用来自633名患者的1,000个图像(每个类别——cnv、dme、玻璃疣和正常情况——各250个)对受训模型(例如受训机器学习算法或分类器)进行测试。
在100期(遍历整个数据集的迭代)之后，因准确性(图4a)和交叉熵损失(图4b)均无进一步改善而停止训练。
在cnv、dme、玻璃疣和正常情况之间的多类比较中，实现96.6％的准确性(图4)，并且敏感性为97.8％，特异性为97.4％，加权误差为6.6％。生成roc曲线以对模型区分正常情况和玻璃疣检查中的“紧急转诊”(定义为cnv或dme)的能力进行评估。roc曲线下的面积为99.9％(图4)。
训练了另一“有限模型”以在同样的四个类别之间进行分类，但相比于使用大型数据集的结果，在训练期间仅使用从每个类别中随机选择的1,000个图像来比较使用有限数据的迁移学习性能。使用相同的测试图像，模型达到的准确性为93.4％，敏感性为96.6％，特异性为94.0％，而加权误差为12.7％。区分“紧急转诊”的roc曲线的曲线下面积为98.8％。
还实施了二元分类器，以使用相同的数据集比较cnv/dme/玻璃疣与正常情况，以便确定模型性能的细分。如图7a和图7b所示，区分cnv图像与正常图像的分类器达到100.0％的准确性、100.0％的敏感性和100.0％的特异性。roc曲线下的面积为100.0％(图8a)。区分dme图像与正常图像的分类器达到98.2％的准确性、96.8％的敏感性以及99.6％的特异性。roc曲线下的面积为99.87％(图8b)。区分玻璃疣图像与正常图像的分类器达到99.0％的准确性、98.0％的敏感性和99.2％的特异性。roc曲线下的面积为99.96％(图8c)。
进行遮挡测试以识别对神经网络的预测诊断分配有最大贡献的区域。此测试成功地识别出对深度学习算法贡献最高重要性的受关注区(图6)。此外，这些区与人类专家所认为的临床上重要的病理区域一致。
对胸部x射线图像的训练需要分级以确定每个图像的真实标签，然后进行预处理，这涉及裁剪图像以仅包括胸部。将图像分为训练集(460份病毒性的和460份细菌性的)和验证集(67份病毒性的和67份细菌性的)。具有gtx970gpu的pytorch框架用于训练在imagenet数据集上预训练的最先进resnet-50架构的最后一层。在训练期间，使用224x224像素的随机裁剪和随机水平翻转对数据进行人工扩充，以增强小型数据集并使模型最小化过度拟合。在训练期间使用随机梯度下降(sgd)作为优化器时，使用0.1的初始学习率，每10期一次指数递减。训练执行了50期或遍历整个数据集的迭代，并在每期之后执行验证以测量当前性能。具有最佳验证性能的模型权重保存为具有66％的准确性的最佳模型。删除先前标记为不正确的图像并重新运行训练后，具有最佳准确性的模型报告的准确性为78.7％。
实例2
来自633名患者的1000个图像的独立测试集用于将ai网络的转诊决定(例如，使用实例1中的ai)与人类专家所做的决定进行比较。指示六名在学术眼科中心具有丰富临床经验的专家仅使用测试患者的oct图像对每名患者做出转诊决定。区分相比于正常情况患者需要“紧急转诊”的患者(患cnv或dme的患者)的临床上最重要决定的性能显示为roc曲线，并且此性能在ai系统与人类专家之间具可比性(图4a)。
建立标准的专家性能评估系统后，比较网络与人类专家之间的患者转诊决定的潜在影响。在受训模型的roc曲线上绘制专家的敏感性和特异性，并确定模型与人类专家之间通过似然比测得的诊断性能差异在统计上相近，在95％置信区间内(图9)。纯误差率不会准确反映错误的转诊决定可能对个别患者的结果产生的影响。举例说明，当患者正常或只是患有玻璃疣但被错误转诊时，就会出现假阳性结果，而这会给患者造成不当困扰或不必要的检查，并给医疗保健系统带来额外负担。然而，假阴性结果要严重得多，因为在这种情况下，cnv或dme患者未得到适当诊治，这可能导致不可逆的视力丧失。为了解决这些问题，在模型评估和专家测试期间并入了加权误差评分(图10a)。通过将这些扣分分配给模型和专家做出的每个决定，可计算各者的平均误差。
在此加权误差系统下，最佳cnn模型的得分为6.6％。为了建立参考标准，将此分数与基于验证数据集测验过的6位人类专家的分数进行比较。专家的加权误差范围在0.5％至10.5％之间，平均加权平均值为4.8％。如图10b所见，基于此加权比例和roc曲线，最佳模型优于一些人类专家。
方法
数据集
光学相干断层扫描(oct)图像选自2013年7月1日至2017年3月1日期间来自加利福尼亚大学圣地亚哥分校希利眼科学院(shileyeyeinstituteofuniversityofcaliforniasandiego)、加利福尼亚视网膜研究基金会(californiaretinalresearchfoundation)和上海第一人民医院的成年患者的回顾性队列，这些机构将oct成像(spetralisoct，德国海德堡工程公司)作为患者日常临床护理的一部分。搜索本地电子病历数据库中的cnv、dme、玻璃疣和正常情况的诊断以初步分配图像。oct原始数据被导出并通过海德堡工程师提供的matlab脚本将单个横向扫描(b-scan)以及容积扫描的3个最中心切部导出为标准图像格式进行重新处理。已获得机构审查委员会(irb)/道德委员会的批准。这项工作以符合《美国健康保险携带和责任法案》(unitedstateshealthinsuranceportabilityandaccountabilityact，hipaa)的方式进行，并且符合《赫尔辛基宣言》(declarationofhelsinki)的宗旨。不存在基于年龄、性别或种族的纳入标准。
这项研究共纳入170,637次oct扫描。为了创建代表现实世界临床应用的测试集，在回顾性研究期间选择了另外633名患者(平均年龄63.1；男性443位，女性551位)，并且仅选择了其转诊oct检查纳入测试集中；所包括的数目基于583名患者的样本量要求，从而以0.05的边际误差和99％的置信度检测敏感性和特异性。
临床特征
解读oct检查以形成诊断，然后在视网膜门诊环境中做出转诊决定(cnv或dme的诊断为“紧急转诊”，玻璃疣为“常规转诊”，正常情况为“仅观察”)。所述数据集代表在所有参与诊所就诊并接受治疗的最常见的医学视网膜患者。
图像标记
在训练之前，每个图像经过分层的分级系统，所述系统由专业知识不断增加的多层受训分级员组成以对图像进行核实和校正。导入数据库的每个图像均以与患者最新诊断相匹配的标签开始。第一层分级员由已接受并通过oct解读课程审查的本科生和医学生组成。研究排除了含有严重伪影或图像分辨率明显降低的oct图像。还排除了无法附着诊断标签的扫描(如下所述)。记录是否存在脉络膜新生血管、黄斑水肿、玻璃疣和在oct扫描上可见的其它病理。第二层分级员包括对通过第一层的每个图像进行独立分级的两名眼科医师。最后，第三层独立视网膜专家核实每个图像的真实标签。为了解决分级中的人为误差，由对高级视网膜专家所裁定的临床标签存在分歧的两名眼科医师分级员分别对具有993次扫描的验证子集进行分级。
迁移学习方法
称为resnet的残余dnn(he等人，2016年)和多层前馈dnninception(szegedy等人，2015)用于迁移学习。在tensorflow中实施预训练的inception-v3架构，而在pytorch中实施三个预训练的resnet变体(resnet-50、resnet-101、resnet-152)。尽管resnet变体在imagenet数据集中显示明显较少误差，但inception模型在oct分类中的准确性稍微高些。
对于这两种模型，重新训练包括使用预训练的权重初始化卷积层并且重新训练最终柔性最大值层以从头开始分辨类别。在这项研究中，将卷积层冻结并用作固定特征提取器。卷积“瓶颈”是每个训练和测试图像通过模型的冻结层之后的值，而由于卷积权重未更新，因此这些值最初会被计算和存储以减少冗余过程并加快训练。通过使用趋向于因过度拟合而降低性能的反向传播针对医学图像来训练预训练的权重，尝试对卷积层进行“微调”。
在具有2个intelxeoncpu的ubuntu16.04计算机上使用用于训练和测试的、可用ram内存为256gb的nvidiagtx10808gbgpu对inception模型进行训练。使用学习率为0.001的adam优化器以每步1,000个图像批次通过随机梯度下降完成各层的训练。所有类别的训练运行10,000步或100期，因为届时对于所有类别，训练都将收敛。每步之后都进行验证并保留性能最佳的模型以供
使用具有inteli5-4690kcpu的ubuntu16.04计算机，使用用于训练和测试的、可用ram内存为4gb的nvidiagtx9704gbgpu对resnet变体进行训练。训练通过初始学习率0.1以8个图像批次使用随机梯度下降，所述初始学习期每7期呈指数减少0.1倍。对类别的训练运行了100期。每期之后都进行验证并保留性能最佳的模型以供分析。
专家比较
为了在临床专家的背景下评估模型，使用了1000个图像的验证集(633名患者)来将网络转诊决定与人类专家所做决定进行比较。加权误差评分用于反映以下事实：假阴性结果(未能就诊)比假阳性结果(在没必要时进行转诊)更有害。使用这些加权扣分，计算模型和每个人类专家的误差率。
遮挡测试
对491个图像进行了遮挡测试，以识别对神经网络的预测诊断分配贡献最大的区域。将空白的20x20像素盒系统地移动跨越图像中的每个可能位置，并记录疾病的概率。概率的最大幅下降代表对深度学习算法贡献最高重要性的受关注区(图6)。此测试成功地识别出94.7％的图像中对深度学习算法贡献最高重要性的受关注区(图6)。通过遮挡测试识别的这些区也被人类专家核实为临床上最重要的病理区域。
示范网站和工具
我们在https://www.medfirstview.com上公开可用的受训模型允许感兴趣的各方测试模型的分类性能。python工具实施tkinter用户界面，所述用户界面允许用户上传oct图像，加载受训模型并通过神经网络流式传输图像以进行分类。所述网站使用相同的方法而不使用tkinter用户界面。
量化和统计分析
将收集的170,367个图像减少到来自4,686名患者的用于训练的oct图像总数(n＝108,312)。基于583名患者的样本量要求，收集了不在训练集中的633名患者的另一子集，从而以0.05的边际误差和99％的置信度来检测敏感性和特异性。测试图像(n＝1000)用于评估模型和人类专家的表现。接受者操作特性(roc)曲线绘制真阳性率与假阳性率。roc曲线是使用紧急转诊与其它情况的分类概率以及每个测试图像的真实标签和pythonscikit-learn库的roc函数而生成。roc曲线下的面积(auroc)等于分类器使随机选择的“紧急转诊”实例的排名高于随机选择的正常或玻璃疣实例的概率。通过将正确标记的图像数目除以测试图像的总数目来测量准确性。敏感性(真阳性率)和特异性(真阴性率)是通过如此正确标记的紧急转诊总数目和正确标记的非紧急标签总数目分别除以测试图像的总数目而确定。
数据和软件可用性
所有深度学习方法均使用tensorflow(https://www.tensorflow.org)或pytorch(https://www.pytorch.org)实施。可在https://www.image-net.org找到imagenet公共图像数据库。使用专有的heidelberg脚本将oct数据转换为高分辨率tiff图像，以提取横向扫描以及容积扫描的3个最凹切部。此项目的所有其它脚本和分析均由python和bash中写入的此项目的研究人员创建。
在非眼科疾病中的应用
尽管关于眼科疾病进行了描述，但本文中还预期本公开中的方法、系统和/或计算机可读介质可用于非眼科疾病或病状的诊断。
实例3
小结
尽管白内障手术在改善视力方面上整体有效，但仍有大量患者在白内障摘除术后视力下降。了解持续的术后视力障碍的潜在病因非常重要。在中国，近视是视力障碍的第一大原因，近一半的人群受到影响。尽管近视很普遍，但它对白内障手术后的视功能的影响尚不清楚。在这项研究中，在1,005名高度近视患者(眼轴长≥26mm)中，对高度近视在白内障手术后对视功能的影响进行了一项前瞻性试验。进行多变量分析以识别影响视功能的因素。然后将黄斑敏感性图像用于训练深度学习模型以预测术后视敏度。此模型在验证集中显示出超过90％的准确性，表明人工智能(ai)在近视黄斑病变预后中具有很高的实用性。此外，在高度近视眼中检测到gdf-15、hgf、pdgf-aa和vegf等促生长因子水平升高，这可能是病理性近视中眼睛后段伸长的可能机制。
白内障手术是全球最常做的眼科手术，每年进行了超过2000万次术。在1999年，中国政府和国际狮子会基金会发起了名为“视力第一中国行动(sightfirstchinaaction)”的全国性失明预防和治疗项目，以支持中国的白内障手术和眼保健基础设施。在研究队列的22,032名患者中，2015年10月至2017年7月手术时有7,116名高度近视患者。
注意到，高度近视患者的术后视敏度较差，高度近视在东亚地区是视力障碍和失明的主要原因。例如高度近视相关的视网膜和视神经盘损伤的并发症可能是不可逆的，并会导致严重的眼病。例如脉络膜新生血管、脉络膜视网膜萎缩和黄斑劈裂的近视黄斑病变与眼睛过度伸长和脉络膜视网膜组织变性相关。因此，近视黄斑病变在高度近视的眼睛中引起较高的视觉障碍风险。此外，高度近视的眼睛由于后巩膜葡萄肿和近视黄斑病变而导致术中玻璃体丢失、术后视网膜撕裂或脱落的风险较高，并且人工晶状体计算的准确性较低，所有这些都可能导致白内障手术后视敏度下降。
已经提出了几种现有分类系统来对近视黄斑病进行分类。matsui等人在2015年结合了来自各种分类方案的概念，并提出了用于近视黄斑病变的五类国际摄影分类和分级系统。然而，此系统仍然是形态学分类，并且不包括任何反映黄斑功能的测量。
此项研究招募了22,023名患者，包括7,116名高度近视患者。检查了固视稳定性和黄斑敏感性，这是可以更好地量化黄斑功能的两个相辅相成的度量。在非近视眼中，由于黄斑功能未受损害，因此可以获得良好的固视稳定性。相反，在高度近视的眼睛中，黄斑病变的严重程度增加会导致固视稳定性受损。在评估黄斑功能方面，认为通过微视野检查测量的黄斑平均敏感性(ms)是比视敏度更为精确的方法。黄斑完整性评估(maia)微视野检查(centervue，意大利帕多瓦)能够在眼周检查期间精确实时监测固视眼的运动，并提供视网膜敏感性与病理性结果之间的准确相关性。
训练了人工智能(ai)系统以使用黄斑功能测试结果对病理性近视进行分类。ai已显示出极大的潜力来促进临床决策和疾病管理。通过使用深度学习算法，ai能够审查大型数据集以获得经验并从不同方面检查训练实例。在训练之后，系统可在几秒钟内修改庞大的数据库，进行计算并相应做出决策。ai的巨大潜力使得未来可在更短的时间帧内进行更准确的疾病诊断和治疗。在这项研究中，通过使用黄斑功能图像和相关临床协变量开发深度学习算法，建立了准确的病理性近视预后模型。
除了分析视网膜图像和黄斑功能分类外，还使用免疫测定法研究了近视黄斑病变潜藏的分子机制。尽管眼轴伸长是近视黄斑病变的最重要原因之一，尤其是后巩膜葡萄肿中的局灶性伸长，但近视眼整体伸长的潜在机制仍是未知的。因此，本项研究调查了与高度近视相关的生长因子，代表了治疗干预措施的可能未来目标。
总之，建立了全面的ai评估系统来预测白内障手术后近视黄斑病变对视功能的影响(图13)，同时阐明潜在的干预机制。
材料和方法
研究参与者
上海高度近视研究是复旦大学附属眼耳鼻喉科(eent)医院自2015年10月起一直在进行的对计划进行白内障手术的高度近视患者的基于医院的前瞻性队列研究。2015年10月至2017年7月，进行了高度近视对白内障手术后视功能的影响的前瞻性研究，共招募22,023名患者。所有患者均接受了详细的术前检查以及手术后1至2个月的随访。有7,116名高度近视患者，定义为眼轴长>26.00mm。其中1,005名患者因没有其它导致视力不良的眼内病理学原因(例如前节疾病、外伤等)而入组。对所有患者进行黄斑功能研究，并随机选择每位患者的一只眼睛进行检查。复旦大学附属眼耳鼻喉科医院机构审查委员会批准了此项研究方案。所有参与者均知悉研究目标并签署知情同意书。此项研究已在www.clinicaltrials.gov上注册(登录号：nct03062085)，且所有程序均符合《赫尔辛基宣言》的宗旨。
术前和术后检查
术前检查包括视敏度、屈光度、眼底镜检查、眼压测量、角膜地形图、横向扫描、光学相干断层扫描(oct)黄斑扫描(zeisscirrushd-oct5000，蔡司公司(carlzeissag)，德国耶拿)和眼轴长测量(iolmaster500；7.7版，蔡司公司(carlzeissag)，德国耶拿)。手术后1至2个月进行了眼科随访检查，包括视敏度、屈光度、眼压测量、视网膜摄像、眼底镜检查，以及oct黄斑扫描评估。
术后使用非散瞳的超广角扫描激光检眼镜(optomap200tx；optosplc.dunfermline，英国苏格兰)在标准设置下获得超广角视网膜图像。根据国际摄影分类和分级系统，来自眼底照片的近视黄斑病变可分为五类。具体来说：类别0，没有近视性视网膜退行性病变；类别1，棋盘格眼底；类别2，弥漫性脉络膜视网膜萎缩；类别3，斑片性脉络膜视网膜萎缩；类别4，黄斑萎缩。此外，在被分类为类别3的患者中，将具有大于9个椎间盘直径的斑块性萎缩和岛状残留的中央凹结构的一组患者作为单独的子集进行了专门研究。
固视和黄斑敏感性评估
为了避免混浊镜片的干扰，在术后随访期间使用maia微视野仪系统对眼内固视进行了研究。由于中央固视刺激与注视方向之间的未对准，因此眼动仪会检测到固视损失。在检查过程中，指示患者凝视固视刺激(直径为1°的红色圆圈)，同时眼动仪记录固视点。微视野仪测量了两个固视变量：双变量轮廓椭圆面积(bcea)，其表示包含微视野仪测试过程中登记的大多数固视位置的椭圆的平方度(deg2)；以及固视椭圆角，即bcea长轴的方向。
ms测量是使用“专家检查”获得的，所述检查在静态检查程序中采用了4-2阶梯阈值策略。微视野检查使用了标准的预定栅格，其中37个投影位置分布在12个点和一个中心点的3个同心圆(直径：2°、6°和10°)中。通过仪器软件评估不同位置的敏感性和平均阈值。
图像数据预处理
总共导出和收集1,005个患者微视野仪结果。每个图像的x-y坐标分辨率从浮点降低到整数级，这有利于在相同坐标空间中进行图像比较，并产生覆盖了所有图像的177个点。这产生了包含图像患者的矢量阈值矩阵。
主要分量分析
最初使用无监督方法评估数据。为了实现这一目标，使用来自python机器学习库skleam的fit_transform函数将第一主要分量(pc0)拟合到所有黄斑敏感性阈值图像上。将第一pc用作分类评分以将患者分为两组：1)视功能较差的患者，定义为最佳矫正视敏度(bcva)为logmar>0.7(20/100)，以及2具有更好视敏度(bcva(logmar)≤0.7)的患者。使用sklearn软件包的metrics.roc_auc_score函数计算分类得分roc-auc(接受者操作特征-曲线下面积)。
用于患者预后的神经网络
基于python(版本3.6.4)和tensorflow(版本1.6.0)库构建了我们的ai框架。为避免过度拟合，每层仅使用5个神经元。在最初的分析中，仅包括明确诊断的患者。术后bcva(logmar)≤0.5的患者(20/63，很有可能拥有良好视力的患者)被定义为阴性病例，而术后bcva(logmar)>0.7的患者(20/100，很有可能拥有不良视力的患者)被定义为阳性病例。在这些实例中，数据按1:1的比例分为训练队列和测试队列。年龄(岁)和眼轴长(mm)信息也被纳入模型中。用于训练神经网络的学习率是0.001，并且训练了总共10,000个步骤。还记录了训练队列和测试队列的每个训练步骤中模型的准确性。
房水获取
如前所述，在进行穿刺术后不久开始白内障手术时，从36只高度近视眼(眼轴长≥26mm)和32只对照眼(眼轴长<24.5mm)中获得房水。
为了进行初步筛选，使用了基于载玻片的多重抗体阵列平台
基于bio-plexprotm多重磁珠的免疫测定
使用人类预混合的多分析试剂盒(bio-rad，美国加利福尼亚州赫拉克勒斯)和
统计分析
使用kappa统计量评估了两名观察者的眼底图像分类的观察者间一致性。计算得出加权kappa统计量(κ)，如果κ≥0.6，则认为令人满意。使用bland-altman方法评估了两名观察者之间的视神经盘方向、视神经盘倾斜率和视神经盘旋转度的一致性，所述方法绘制了每个观察者的均值与差异的关系。连续变量表示为平均值±标准偏差。χ2测试用于比较分类数据。使用mann-whitneyu测试比较没有正态分布的两组的平均值。使用单向方差分析(anova)比较多组之间的连续变量。使用pearson的相关分析对连续变量之间的关系进行了评估。使用spearman的相关分析对连续变量和分类变量之间的关系进行了评估。进行了针对年龄、性别和手术眼睛进行调整的多元线性回归分析，以确定以下因素对ms的影响：眼轴长、bcea、固视角度和近视黄斑病变等级。在所有分析中，认为p值<0.05具有统计学意义。使用pythonscipy软件包(版本1.0.0)进行统计分析。
结果
患者信息和临床特征
审查2015年10月至2017年7月期间在中心进行了白内障手术的22,032只眼(包括7,116只高度近视眼)时，长的眼轴长(≥26mm)成为术后视力不良的危险因素(图13a)。招募了1,005名符合入选标准的高度近视患者(眼轴长≥26mm，排除了前段眼病、外伤或影响视力表现的全身性疾病的病史)。表1列出了此项研究的基线患者特征。平均年龄为61.33±9.19岁，数据库包括544名(54.1％)女性和461名(45.9％)男性。平均眼轴长为29.47±2.27mm(范围为25.76-36.42mm)。术后平均bcva(logmar)为0.24±0.37(20/35)。黄斑敏感性测试的平均结果为：黄斑敏感性为22.51±5.14db，bcea为20.38±24.64deg2。
术后视功能、眼轴长与黄斑病变分级之间的关系
在所有患者中，眼轴长相对较长的眼睛的术后视功能明显较差(图14b，anova测试统计＝9.54，p＜0.0001)。为了分析可能影响视功能的因素，使用当前的近视黄斑病变国际分级系统对患者的眼底图像的黄斑改变进行分类(图15a至图15e)。1级有678名患者(67.46％)，2级有136名患者(13.53％)，3级有154名患者(15.32％)，且4级有37名患者(3.68％)。使用中央凹固视稳定性和黄斑敏感性对黄斑功能进行定量。在四类近视黄斑病变中，眼轴长、黄斑平均敏感性和固视特征明显不同(表2)。黄斑病变的严重程度与平均眼轴长增加有关。此外，随着黄斑病变等级的增加，黄斑敏感性降低，而bcea升高，这均表明更严重的黄斑视功能受损(p<0.001)。
图16a中示出了岛状黄斑萎缩模式的代表性情况。黄斑网格中的黑色区域表示萎缩的功能失调区域，且固视椭圆位于剩余的黄斑组织上(图16b)。在类别3的154名患者中的14名患有岛状黄斑萎缩的患者中，与类别3的其余患者相比，此子组的术后视功能明显不良(bcva(logmar)为0.54对比0.36)，p＜0.05，t测试，图16c)。
如预期的那样，黄斑敏感性与眼轴长(pearson相关：r＝-0.34，p<0.001，图16d)和bcea(pearson相关：r＝-0.32，p<0.001，图16e)呈负相关。bcea与眼轴长(pearson相关：r＝0.13，p<0.001，图16f)呈正相关。
使用深度学习预测高度近视患者的视力预后
使用术后黄斑敏感性阈值图像建立并验证了两层分层神经网络，以预测患者的视敏度(见方法，图17)。首先，应用主要分量分析(pca)(无监督方法)来识别与视敏度相关的黄斑敏感性图像中的低维特征。假设图像的变化是由视敏度的变化驱动的。实际上，患者的第一主要分量(pc0)评分与bcva相关(图18a，r＝0.48，p<le-16，f测试)，并且已经做出了相当准确的预后预测(图18b，roc-auc＝0.851)。
这表明黄斑功能图像的变化与患者术后视敏度的变化相关。
用于患者预后的神经网络
要建立预测患者术后视功能的预测模型，将例如深度学习的分层神经网络与年龄和眼轴长一起应用于黄斑敏感性图像，它们也具有关于预测术后bcva的信息(图14b，表3)。将数据分为训练和测试(请参见方法)队列。对模型进行10,000步骤的训练，图18c显示了在5000步后收敛的神经网络，因为通过进一步的训练，训练队列和测试队列的准确性都得以稳定。最终模型在验证队列中得出的准确性为0.931，且roc-auc为0.918(图18d)，这表明神经网络可使用黄斑敏感性测试结果以高精度预测患者的视敏度。
高度近视眼轴长伸长的分子机制
据推测，某些生长因子可能与球体伸长有关，因此增加了眼轴长。因此，调查了水性液体中的生长因子。在评估的40种生长因子中，与有年龄相关白内障(arc)的对照眼相比，发现有白内障(hmc)的高度近视眼的房水中的生长分化因子15(gdf-15)、肝细胞生长因子(hgf)和血小板衍生生长因子aa(pdgf-aa)显著升高(p＝0.03；请参见表4)。gdf-15与炎症过程有关，而hgf和pdgf-aa与细胞生长和增殖有关。gdf-15、hgf和pdgf-aa的水平也与眼轴长显著相关(spearman系数＝0.503、0.567、0.458，所有p＜0.001；参见图19)。此测定中检测到的细胞因子的标准曲线于图20中在线提供。
结论
近视黄斑病变可能导致高度近视眼在白内障手术后视敏度持续下降。阐明哪些近视患者可能因黄斑病变而在白内障手术后有可能出现视功能不良的风险，这样可为适当的术前咨询和预期提供帮助。在这项研究中，设计了人工智能框架来准确预测高度近视患者的白内障手术后的视力预后。
首先，将临床协变量与视敏度进行比较。标准化的近视黄斑病变分类系统能够可靠地比较研究之间的病变发生率和病变模式，研究表明，随着黄斑病变分级的严重程度增加，平均黄斑敏感性降低且bcea升高。由于黄斑敏感性和bcea形式的固视稳定性均被认为是黄斑功能的敏感指标，因此目前的数据表明，matsui等人的照相分类系统虽然不是很精确，但可以区分黄斑功能的逐渐损伤。但是，使用所述系统，就不再需要单独表征形态变化，例如漆裂纹、福克斯斑点或脉络膜视网膜萎缩等。
进一步研究了图像分辨率以改善预后模型，结果表明，即使在类别3的患者中，此子组的视功能也明显更差。小子组中的岛状黄斑萎缩表明临床上需要密切监测以保持视觉功能，因为这些患者唯一可用来维持其残余视觉功能的结构是完整视网膜中由眼底照片上可见的萎缩区域包围的小区域。因此，在决定手术前，白内障外科医生在考虑白内障手术的可能预后时应仔细分析这种结构。近视黄斑改变是由于眼轴伸长而使视网膜机械拉伸导致的，并且在类别1(棋盘格眼底)中，上方的视网膜变得更薄，并且更深的脉络膜血管更明显。
此外，应用了最先进的机器学习方法(特别是深度学习)以分析图像并评估白内障手术后高度近视眼的视敏度。此综合系统的优势在于，相比单独的黄斑形态等级考虑了更多的度量。ai系统结合了功能和形态指标，并能够对近视黄斑病变进行多维评估。通过利用黄斑敏感性图像、眼轴长和年龄，模型可预测视功能为良好(bcva(logmar)<0.5)或不良(bcva(logmar)>0.5)。将来，随着更多患者和图像类型(例如：眼底图像、光学相干断层扫描、光学相干断层扫描血管造影、荧光素血管造影)的添加，深度学习框架中的层数可能会增加，并且有可能进一步提高预后模型的准确性和分辨率。
关于近视黄斑病变的发病机理，潜在机制呈现的是整个眼睛的眼轴伸长。因此，可以预见在这种眼睛中的促进生长的微环境。先前研究提出，高度近视眼内可能存在特殊的微环境，单核细胞趋化蛋白1异常升高，白介素1受体拮抗剂降低，这很可能引发炎症细胞聚集，随后可能导致生长因子过度分泌。在当前研究中，与对照眼相比，在高度近视眼的房水中证实了生长因子gdf-15、hgf和pdgf-aa的水平明显更高。这些生长因子的水平倾向于随着眼睛的眼轴长增加而增加。在将来的研究中，由于有可能在房水和玻璃体中检测到更多的生长因子，因此有可能鉴定出更多与高度近视眼的伸长有关的小分子或蛋白质，这可能进一步阐明导致病理性近视眼出现正性病变的详细分子机制。
总之，此项研究采用了新方法来评估白内障结果。尤其是，识别类别3的患者中的岛状黄斑萎缩模式对于该组患者的视觉功能预后和预期很重要。然后建立了深度学习算法，以预测高度近视患者白内障手术后的视功能。此机器学习框架包括基于黄斑病变等级、眼轴长和高度近视眼的固视稳定性的近视黄斑病变的综合功能评估系统。此系统可准确地预测白内障手术后的视力预后，这样会提高术前指导患者的能力并设定期望值，从而提高临床决策的知情性并潜在地提高患者满意度。最后，对高度近视眼内促生长微环境的调查增加了对后巩膜葡萄肿的发展以及与近视黄斑病变恶化的关系的了解。
实例4-集成到硬件中的软件
将实施深度学习卷积神经网络以分析视网膜扫描来筛查糖尿病性视网膜病变的诊断软件安装到在医疗诊所集成了成像设备和计算装置的系统上。计算装置可操作地耦合至包括立体彩色眼底照相的成像设备。在患者就诊期间，成像设备用于捕获两个视网膜的眼科图像。图像被本地存储在可操作地耦合至成像设备的计算装置上。然后，安装在计算装置上的软件应用程序使用受训卷积神经网络分析图像，以将图像分类为阳性或阴性糖尿病性视网膜病变。应用程序通过网络将图像上传到远程服务器以进行远程分类或预测，然后下载结果。当与远程服务器的通信不可用时，将软件应用程序配置成使用本地存储的卷积神经网络执行分析。
实例5-便携式诊断系统
将实施深度学习卷积神经网络以分析视网膜扫描来筛查糖尿病性视网膜病变的诊断软件作为移动应用程序安装在用户的智能手机上。移动应用程序使智能手机能够上传视网膜扫描以进行糖尿病性视网膜病变的远程诊断。移动应用程序还允许智能手机集成成像设备，以使用智能手机自带的摄像头捕获视网膜图像。包括检眼镜的设备可拆卸地耦合至智能手机，使得检眼镜位于智能手机的摄像头上方，从而使摄像头能够捕获期望的视网膜扫描。视网膜扫描图像本地存储在智能手机上。然后，安装在手机上的移动应用程序使用受训卷积神经网络分析图像，以将图像分类为阳性或阴性糖尿病性视网膜病变。分析包括通过网络将图像上传到远程服务器以进行远程分类或预测，以及下载结果。当与远程服务器的通信不可用时，移动应用程序被配置成使用本地存储的卷积神经网络执行分析。因此，此便携式诊断系统充分结合设备和检眼镜利用了智能手机的电子装置和摄像头，以有效地捕获视网膜扫描并获得诊断预测。
实例6-诊断硬件
利用包括专用摄像头和数字处理装置的诊断装置来捕获视网膜的眼科图像并生成糖尿病性视网膜病变的诊断预测。装置包括专用摄像头，用于捕获视网膜扫描，所述视网膜扫描存储在数字处理装置的存储器中，并随后由装置进行分析。安装在数字处理装置上的软件应用程序使用受训卷积神经网络分析图像，以将图像分类为阳性或阴性糖尿病性视网膜病变。分析包括通过网络将图像上传到远程服务器以进行远程分类或预测，以及下载结果。当与远程服务器的通信不可用时，软件应用程序被配置成使用本地存储的卷积神经网络执行分析。
- 还没有人留言评论。精彩留言会获得点赞！