使用机器学习模型处理眼底图像的制作方法

本说明书涉及使用机器学习模型处理图像。

背景技术：

机器学习模型接收输入并且基于接收的输入生成输出，例如预测的输出。一些机器学习模型是参数模型，并且基于接收的输入和模型的参数值生成输出。

一些机器学习模型是深度模型，所述深度模型采用多层模型来为接收的输入生成输出。例如，深度神经网络是深度机器学习模型，所述深度机器学习模型包括输出层和一个或多个隐藏层，所述输出层和一个或多个隐藏层各自对接收的输入应用非线性转变以生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从所述输入序列生成输出序列的神经网络。特别地，在从所述输入序列中的当前输入生成输出中，在处理输入序列中的前一个输入之后，递归神经网络使用网络的内部状态中的一些或全部。

技术实现要素：

本说明书总体上描述一种通过使用眼底图像处理机器学习模型处理包括患者的一个或多个眼底图像的数据来生成有关患者的健康分析数据的系统。

可以实现本说明书中所描述的主题的特定实施例，以便实现以下优点中的一个或多个。健康分析系统可以仅使用患者的眼睛的眼底的一个或多个图像以及最少或没有其它患者数据来有效地分析患者的健康。特别地，健康分析系统可以使用眼底图像有效地分析特定身体状况的存在或可能的进展。替代地或另外，健康分析系统可以有效地预测在治疗身体状况的过程中哪些治疗或后续举措将是最有效的。替代地或另外，健康分析系统可以准确地评估患者出现不期望的健康事件的风险，或者使用眼底图像准确地评估患者的整体健康。替代地或另外，健康分析系统可以使用眼底图像准确地预测导致患者会出现特定一组健康事件的风险的一组因素的值。

在一些实现方式中，系统可以向系统的用户呈现数据，所述数据解释针对由系统生成的预测值的基础，即机器学习模型所专注的以生成特定预测的眼底图像部分。在执行该操作时，所述系统可以允许医师或其他用户洞察预测过程。

附图和下面的描述中阐述了本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求，所述主题的其它特征、方面和优点将变得显而易见。

附图说明

图1示出示例眼底图像分析系统。

图2a是用于生成健康分析数据的示例过程的流程图。

图2b示出通过眼底图像处理机器学习模型处理示例眼底图像。

图3是用于生成特定于特定身体状况的健康分析数据的示例过程的流程图。

图4是用于生成识别患者后续举措的健康分析数据的示例过程的流程图。

图5是用于生成预测身体状况的可能进展的健康分析数据的示例过程的流程图。

图6是用于生成预测针对给定患者的身体状况的适当治疗的健康分析数据的示例过程的流程图。

图7是用于生成包括预测的眼底图像的健康分析数据的示例过程的流程图。

图8是用于生成预测健康事件发生的风险的健康分析数据的示例过程的流程图。

图9是用于生成表征患者的整体健康的健康分析数据的示例过程的流程图。

图10是用于生成包括有关一个或多个风险因素的预测值的健康分析数据的示例过程的流程图。

图11是用于生成包括识别眼底图像中的位置的数据的健康分析数据的示例过程的流程图，当生成模型输出时所述眼底图像被机器学习模型所专注。

各种附图中的相同参考编号和名称指示相同的元件。

具体实施方式

本说明书总体上描述一种可以从包括患者的一个或多个眼底图像和可选地其它患者数据的输入生成健康分析数据的系统。眼底图像是患者的眼睛中的一个的眼底的照片。眼睛的眼底是眼睛的与透镜相对的内部表面，并且除其他之外包括视网膜和视神经盘。

一般而言，为了生成针对给定患者的健康分析数据，系统使用眼底图像处理机器学习模型处理一个或多个眼底图像和可选地其它患者数据，以生成有关患者的模型输出，并且然后从所述模型输出生成健康分析数据。

图1示出示例眼底图像分析系统100。眼底图像分析系统100是实现为一个或多个位置处的一个或多个计算机上的计算机程序的系统的示例，其中可以实现下面所描述的系统、组件和技术。

对于给定患者，眼底图像分析系统100接收包括患者的眼睛的一个或多个眼底图像的眼底图像数据122，并且生成表征患者的健康的健康分析数据142。

在一些实现方式中，眼底图像分析系统100包括眼底图像捕获系统110或与其通信，眼底图像捕获系统110生成眼底图像并且将所述眼底图像作为输入眼底图像数据122提供给眼底图像分析系统。特别地，眼底图像捕获系统110包括例如图像捕获装置120的一个或多个图像捕获装置，所述一个或多个图像捕获装置被配置成捕获患者的眼底的图像。一般而言，图像捕获装置120是专用眼底相机，所述专用眼底相机被配置成捕获合适类型的眼底图像，例如使用彩色眼底照相、立体照相术、广域或超广域照相术或扫描激光检眼镜(slo)。在一些情况下，图像捕获系统110包括捕获不同类型的眼底图像的多个图像捕获装置。

在其它实现方式中，眼底图像分析系统100例如通过数据通信网络从外部系统接收输入眼底图像数据122。

眼底图像分析系统100使用眼底图像处理机器学习模型130处理输入眼底图像数据122和可选的有关给定患者的其它数据。眼底图像处理机器学习模型130是被配置成处理输入眼底图像数据122和可选地其它患者数据124以生成表征患者的健康的模型输出132的机器学习模型。

眼底图像数据122中有多少眼底图像，系统100是否接收其它患者数据124和如果接收，那么接收的其它患者数据124是什么性质，以及模型输出132的组成取决于眼底图像处理机器学习模型130的配置。下面参考图2到图9更加详细地描述眼底图像数据、机器学习模型130的示例配置和模型输出132的示例组成。

眼底图像分析系统100还包括患者健康分析子系统140，所述患者健康分析子系统140接收模型输出132并且生成患者健康分析数据142。一般而言，患者健康分析子系统140以可以呈现给系统用户的方式生成表征模型输出的健康分析数据。患者健康分析子系统140然后可以提供健康分析数据142以便在例如在患者的用户计算机上或者在医学专家的计算机上的用户界面中呈现给用户，存储健康分析数据142供未来使用，或者出于一些其它直接目的提供健康分析数据142供使用。

在一些实现方式中，眼底图像分析系统100通过数据通信网络从用户计算机的远程用户接收对患者健康分析数据142的请求。例如，上面实现了眼底图像捕获系统110的计算机的用户计算机可以能够通过数据通信网络向眼底图像分析系统100提交请求，做法是提供眼底图像数据作为对眼底图像分析系统100进行应用程序编程接口(api)调用的一部分。响应于api调用，眼底图像分析系统100可以生成健康分析数据142，并且通过数据通信网络将健康分析数据传输给用户计算机。

另外，在一些实现方式中，机器学习模型130通过远离眼底图像分析系统100的一个或多个计算机实现。在这些实现方式中，眼底图像分析系统100可以访问机器学习模型130，做法是通过网络做出包括对机器学习模型130的输入的api调用，并且可以响应于api调用接收模型输出132。

虽然本说明书中的描述总体上描述生成特定模型输出的单个机器学习模型130，但是在一些情况下，系统100包括给定类别的模型输出的多个机器学习模型的集合或与其通信。每个机器学习模型130生成相同类别的模型输出，并且系统100或其它系统可以将由所述集合生成的模型输出加以组合，例如通过计算模型输出的集中趋势的度量。然后，可以将组合的输出视为系统100的模型输出132。

图2a是用于生成健康分析数据的示例过程200的流程图。为了方便起见，过程200将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程200。

系统接收输入眼底图像数据和可选地其它患者数据(步骤202)。

一般而言，眼底图像数据包括患者的眼睛的一个或多个眼底图像。

在一些实现方式中，眼底图像数据包括单个眼底图像，例如捕获患者的眼底的当前状态的图像。

在一些其它实现方式中，眼底图像数据包括捕获患者的眼底的当前状态的多个眼底图像。例如，眼底图像数据可以包括患者的左眼中的眼底的一个或多个图像和患者的右眼中的眼底的一个或多个图像。举另一示例来说，眼底图像可以包括多个不同类型的眼底照片。例如，眼底图像可以包括以下中的两个或更多个：彩色眼底照片、立体眼底照片、广域或超广域眼底照片或扫描激光检眼镜(slo)眼底照片。举另一示例来说，眼底图像可以包括使用不同的成像技术(例如光学相干层析成像(oct)与海德堡视网膜层析成像(hrt))捕获的多个图像。

在其它实现方式中，眼底图像数据包括眼底图像的时间序列所述眼底图像捕获眼底的状态是如何随时间演变的。也就是说，所述时间序列包括多个眼底图像，其中每个眼底图像是在不同的时间拍摄的。在一些实现方式中，眼底图像按照从最远到最近的时间顺序排序。

其它患者数据是表征患者的眼睛的数据，总体上表征患者的数据，或二者。例如，其它患者数据可以包括：眼部测量数据，例如眼压、视野、视敏度、中央角膜厚度等；患者人口统计信息，例如年龄、性别、种族、家族史等；或二者。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据，以生成模型输出(步骤204)。

可选地，在使用机器学习模型处理眼底图像数据之前，系统可以预处理眼底图像。例如，对于给定图像，系统可以将多种常见图像处理技术中的任何一个应用于图像，以提高由机器学习模型生成的输出的品质。举例来说，系统可以裁剪、缩放、纠偏或使图像回到中心位置。举另一个示例来说，系统可以使用常见图像处理技术从图像移除变形，例如移除模糊或重新聚焦图像。

在眼底图像数据包括单个眼底图像的实现方式中，眼底图像处理机器学习模型是前馈机器学习模型，已经通过在适当标记的训练数据上训练来配置所述前馈机器学习模型以处理眼底图像数据和可选地其它患者数据，以生成表征患者健康的特定方面的模型输出。例如，眼底图像处理机器学习模型可以是深度卷积神经网络。在szegedy、christian等人的2015年ieee计算机视觉和模式识别会议论文集“goingdeeperwithconvolutions”中描述了可以训练以处理眼底图像以生成本说明书中描述的模型输出的深度卷积神经网络的示例。在http://arxiv.org/abs/1602.07261可获得的szegedy、christian等人的文章“inception-v4,inception-resnetandtheimpactofresidualconnectionsonlearning”中描述了深度卷积神经网络的其他示例，包括具有残余连接的卷积神经网络，所述卷积神经网络可以被训练以处理眼底图像以生成本说明书中描述的模型输出。

在眼底图像数据包括表征患者的眼底的当前状态的多个眼底图像的实现方式中，眼底图像处理机器学习模型可以是前馈眼底图像处理机器学习模型，已经通过在适当标记的训练数据上训练来配置所述前馈眼底图像处理机器学习模型以处理所有眼底图像，以生成表征患者健康的特定方面的模型输出。例如，眼底图像处理机器学习模型可以是包括多个卷积层塔的深度卷积神经网络。在yue-heing、joe等人的2015年ieee计算机视觉和模式识别会议论文集“beyondshortsnippets:deepnetworksforvideoclassification”中描述了可以训练以处理多个眼底图像以生成本说明书中描述的模型输出的深度卷积神经网络的示例。

在眼底图像数据包括眼底图像的时间序列的实现方式中，眼底图像处理机器学习模型可以是递归眼底图像处理机器学习模型，所述递归眼底图像处理机器学习模型已经被配置成逐个处理时间序列中的每个图像，以针对每个图像更新递归眼底图像处理机器学习模型的内部状态，以及在已经处理了时间序列中的最后一个图像之后，生成表征患者健康的特定方面的模型输出。例如，眼底图像处理机器学习模型可以是包括一个或多个长短期记忆(lstm)层的递归神经网络。在venugopalan、subhashini等人的2015年ieee计算机视觉会议论文集“sequencetosequence-videototext”中描述了可以被训练以处理眼底图像的序列以生成本说明书中描述的模型输出的递归神经网络。

在一些实现方式中，模型输出特定于特定身体状况。下面参考图3到图6更加详细地描述了特定于特定身体状况的模型输出。

在一些其它实现方式中，模型输出是患者眼睛的眼底的未来状态的预测。下面参考图7更加详细地描述了为眼底的未来状态预测的模型输出。

在其它实现方式中，模型输出是在未来发生的特定健康事件的风险的预测。下面参考图8更加详细地描述了为特定事件发生的风险的预测的模型输出。

在其它实现方式中，模型输出表征患者的整体健康。下面参考图9更加详细地描述了表征患者的整体健康的模型输出。

在其它实现方式中，模型输出是导致特定类别的健康相关风险的因素的值的预测。下面参考图10更加详细地描述了为风险因素的值的预测的模型输出。

系统从模型输出生成健康分析数据(步骤206)。一般而言，健康分析数据以可以呈现给系统的用户的方式表征模型输出。

在一些实现方式中，健康分析数据还包括从机器学习模型的中间输出导出的数据，所述数据解释当生成模型输出时机器学习模型所专注的一个或多个眼底图像的各部分。特别地，在一些实现方式中，机器学习模型包括关注机制，所述关注机制将相应关注权重指派给输入眼底图像的多个区域中的每个，并且然后根据关注权重处理从这些区域提取的特征。在这些实现方式中，系统可以生成识别关注权重的数据，并且包括生成的数据作为健康分析数据的一部分。例如，生成的数据可以是眼底图像的反映指派给图像的各区域的关注权重的关注图表。例如，关注图表可以叠加在眼底图像上方，以识别当生成模型输出时机器学习模型所专注的患者的眼底的区域。下面参考图11更加详细地描述了生成识别机器学习模型所专注的眼底区域的数据。

系统然后可以提供健康分析数据以便在例如在患者的用户计算机上或者在医学专家的计算机上的用户界面中呈现给用户，或存储健康分析数据供未来使用。

图2b示出通过眼底图像处理机器学习模型130处理示例眼底图像150。特别地，在图1b的示例中，眼底图像处理机器学习模型130是深度卷积神经网络，所述深度卷积神经网络被配置成接收眼底图像150和处理眼底图像150，以生成表征患者的健康的特定方面的模型输出。

图2b中示出的卷积神经网络是深度卷积神经网络的简化示例，并且包括一组卷积神经网络层162，后面是一组完全连接的层164和输出层166。应当理解，在实践中，深度卷积神经网络可以包括其它类型的神经网络层，例如池化层、标准化层等，并且可以布置成各种配置，例如作为多个模块、多个子网络等。

在通过卷积神经网络处理眼底图像150期间，输出层166接收由所述一组完全连接的层164中的最后一个完全连接的层生成的输出，并且生成有关眼底图像150的模型输出。在图2b的示例中，模型输出是一组分值170，其中每个分值由输出层166中的对应节点生成。如下面将更加详细地描述，在一些情况下，一组分值170特定于特殊身体状况。在一些其他情况下，所述一组分值170中的每个分值是未来发生的相应健康事件的风险的预测。在其它情况下，所述一组分值170中的分值表征患者的整体健康。

一旦已经生成了所述一组分值170，眼底图像分析系统就根据所述分值170生成表征患者的健康的方面的患者健康分析数据，并且提供健康分析数据142以便在例如在患者的用户计算机上或者在医学专家的计算机上的用户界面中呈现给用户，存储健康分析数据供未来使用，或者出于一些其它直接目的提供健康分析数据供使用。

图3是用于生成特定于特定身体状况的健康分析数据的示例过程300的流程图。为了方便起见，过程300将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如，图1的眼底图像分析系统100)当被适当编程时可以执行过程300。

系统接收输入眼底图像数据和可选地其它患者数据(步骤302)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据，以生成一组状况状态分值(步骤304)。

一般而言，所述一组状况状态分值特定于系统已经被配置成分析的特定身体状况。

在一些实现方式中，身体状况是特定的眼睛相关状况。

例如，特定眼睛相关状况可以是青光眼。一般而言，青光眼是视神经被损坏的状况，可能会导致失明。

举另一示例来说，特定眼睛相关状况可以是年龄相关的黄斑变性。一般而言，年龄相关的黄斑变性是黄斑(视网膜中心附近区域)劣化的状况，这可能会导致部分或全部视力丧失。

举另一示例来说，特定眼睛相关状况可以是视网膜脱落。一般而言，视网膜脱落是视网膜部分或完全脱离其下面的支持组织层的一种疾病。

举另一示例来说，特定眼睛相关状况可以是眼部闭塞。一般而言，眼部闭塞是输送血液进出眼睛的某一部分(例如进出视网膜)的血管的堵塞或闭合。

在一些其它实现方式中，特定状况不是眼睛相关状况，而是神经退行性状况，例如帕金森或阿尔茨海默，或者是可以使用眼底图像有效地分析的另一状况。

在一些实现方式中，所述一组状况状态分值包括单个分值，所述单个分值表示患者具有身体状况的可能性。

例如，在青光眼的情况下，单个分值可以表示患者具有青光眼的可能性。

举另一示例来说，在年龄相关的黄斑变性的情况下，单个分值可以表示患者具有年龄相关的黄斑变性的可能性。

举另一示例来说，在视网膜脱落的情况下，单个分值可以表示患者具有视网膜脱落的可能性。

举另一示例来说，在眼部闭塞的情况下，单个分值可以表示患者具有一个或多个眼部闭塞的可能性。

举另一示例来说，在神经退行性状况的情况下，单个分值可以表示患者具有神经退行性状况(例如，帕金森或阿尔茨海默)的可能性。

在一些其它实现方式中，所述一组状况状态分值包括有关多个可能的等级的身体状况中的每个的相应分值，其中每个状况分值表示对应等级是有关患者的当前状况等级的可能性。

例如，在青光眼的情况下，所述一组分值可以包括有关非青光眼、轻微或早期青光眼、中期青光眼、严重阶段的青光眼和可选地不确定的或未指定阶段的分值。

举另一示例来说，在年龄相关的黄斑变性的情况下，所述一组分值可以包括有关非黄斑变性、早期黄斑变性、中期黄斑变性、晚期黄斑变性和可选地不确定的或未指定阶段的分值。

举另一示例来说，在视网膜脱落的情况下，所述一组分值可以包括有关非视网膜脱落、初始视网膜脱落(即，仅视网膜撕裂或破裂)、晚期视网膜脱落和可选地不确定的或未指定阶段的分值。

举另一示例来说，在眼部闭塞的情况下，所述一组分值可以包括有关非眼部闭塞、轻微眼部闭塞、严重眼部闭塞和可选地不确定的或未指定阶段的分值。

举另一示例来说，在神经退行性状况的情况下，所述一组分值可以包括有关不具有神经退行性状况的分值，有关多个阶段的神经退行性状况中的每个和可选地不确定的或未指定阶段的分值。

所述系统从状况状态分值生成健康分析数据(步骤306)。例如，系统可以生成健康分析数据，所述健康分析数据识别患者具有身体状况或识别具有最高状况状态分值的一个或多个状况等级的可能性。

图4是用于生成识别患者后续举措的健康分析数据的示例过程400的流程图。为了方便起见，过程400将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程400。

系统接收输入眼底图像数据和可选地其它患者数据(步骤402)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据，以生成一组后续分值(步骤404)。

所述一组后续分值包括有关患者可能会采取以治疗特定身体状况的多个可能的后续举措中的每个的相应分值。例如，所述一组可能的后续举措可以包括在未来的时间执行重新筛查，在未来的时间去看医生，和立即去看医生。每个后续分值表示对应的后续举措是将采取以有效地治疗身体状况的适当举措的可能性。

所述系统根据后续分值生成健康分析数据(步骤406)。例如，系统可以生成推荐患者采取具有最高后续分值的后续举措的健康分析数据。

图5是用于生成预测身体状况的可能进展的健康分析数据的示例过程500的流程图。为了方便起见，过程500将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程500。

系统接收输入眼底图像数据和可选地其它患者数据(步骤502)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据，以生成一组进展分值(步骤504)。所述一组进展分值特定于系统已经被配置成分析的特定身体状况。所述一组状况状态分值包括有关多个可能的等级的身体状况中的每个的相应分值，其中每个状况分值表示对应等级将是有关患者在预确定未来时间(例如，6个月、1年或5年)的状况等级的可能性。

例如，在青光眼的情况下，所述一组分值可以包括针对非青光眼、轻微或早期青光眼、中期青光眼和严重阶段的青光眼的分值，其中针对每个阶段的分值表示对应阶段将是针对患者在未来时间的青光眼阶段的可能性。

举另一示例来说，在年龄相关的黄斑变性的情况下，所述一组分值可以包括针对非黄斑变性、早期黄斑变性、中期黄斑变性和晚期黄斑变性和可选地不确定的或未指定阶段的分值，其中针对每个阶段的分值表示对应阶段将是针对患者在未来时间的黄斑变性阶段的可能性。

举另一示例来说，在神经退行性状况的情况下，所述一组分值可以包括有关不具有神经退行性状况的分值，和有关多个阶段的神经退行性状况中的每个的分值，其中有关每个阶段的分值表示对应阶段将是有关未来时间患者状况的阶段的可能性。

所述系统根据进展分值生成健康分析数据(步骤506)。健康分析数据识别患者的身体状况的可能进展。例如，系统可以生成识别可能的状况条件等级中的一个或多个的健康分析数据，并且针对每个可能的状况等级识别对应等级将是患者的未来状况等级的可能性。

图6是用于生成预测针对给定患者的身体状况的适当治疗的健康分析数据的示例过程600的流程图。为了方便起见，过程600将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程600。

系统接收输入眼底图像数据和任选地其它患者数据(步骤602)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和任选地其它患者数据，以生成一组治疗分值(步骤604)。

所述一组治疗分值包括针对给定身体状况的多个可能的治疗中的每个的相应分值，其中每个治疗分值表示对应治疗是针对当前患者的状况的最有效治疗的可能性。

例如，所述一组治疗分值可以包括针对可以向具有身体状况的患者开处方的多个药物中的每个的相应分值。

举另一示例来说，所述一组治疗分值可以包括针对给定身体状况的多个治疗方案中的每个的相应分值，例如针对一个或多个医疗过程的相应分值和针对在不经历该过程的情况下复原的分值。

所述系统根据进展分值生成健康分析数据(步骤606)。例如，健康分析数据可以识别最高得分治疗中的一个或多个。

图7是用于生成包括预测的眼底图像的健康分析数据的示例过程700的流程图。为了方便起见，过程700将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程700。

系统接收输入眼底图像数据和任选地其它患者数据(步骤702)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据，以生成预测的眼底图像(步骤704)。

预测的眼底图像是将在特定未来时间(例如，六个月、一年或五年)观察的、如预测的患者的眼睛的眼底的图像。

例如，眼底图像处理机器学习模型可以是卷积神经网络，其被配置成通过训练，针对输入眼底图像中的每个像素，预测特定未来时间的像素的颜色。

举另一示例来说，当眼底图像数据包括眼底图像的时间序列时，眼底图像处理机器学习模型可以是递归神经网络，其被配置成通过训练，针对所述序列中的最近眼底图像中的每个像素，预测特定未来时间的像素的颜色。所述系统可以使用针对像素的预测颜色值来生成预测眼底图像。

所述系统根据进展分值生成健康分析数据(步骤706)。例如，健康分析数据可以包括预测的眼底图像和任选地附加健康分析数据。

图8是用于生成预测健康事件发生的风险的健康分析数据的示例过程800的流程图。为了方便起见，过程800将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程800。

系统接收输入眼底图像数据和任选地其它患者数据(步骤802)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据，以生成一组风险分值(步骤804)。

在一些实现方式中，所述一组风险分值包括单个分值，所述单个分值测量特定类别的风险。例如，所述分值可以测量患者的预测心血管疾病风险，例如可以是测量患者的10年心血管疾病风险的预测的framingham风险分值。

在一些其它实现方式中，所述一组风险分值可以特定于特定的不良健康事件。

例如，不良健康事件可以是心脏病发作、中风、死亡、住院治疗、摔倒、术前或术后并发症等。在这些实现方式中的一些中，所述一组风险分值包括单个分值，所述单个分值表示未来(例如，在指定的未来时间窗内)发生不良健康事件的可能性。在这些实现方式中的其它实现方式中，所述一组风险分值包括针对健康事件的多个风险等级(例如，低、中和高)中的每个的相应分值，其中每个风险分值表示对应风险等级是发生的健康事件的当前风险等级的可能性。

在其它实现方式中，所述一组分值可以包括多个分值，其中每个分值对应于相应不良健康事件，并且表示未来(例如，在指定的未来时间窗内)将发生对应不良健康事件的可能性。

所述系统根据风险分值生成健康分析数据(步骤806)。例如，在所述一组分值包括单个分值的实现方式中，健康分析数据可以识别单个分值。举另一示例来说，在所述一组分值包括多个分值的情况下，健康分析数据可以识别最高得分风险等级。

图9是用于生成表征患者的整体健康的健康分析数据的示例过程900的流程图。为了方便起见，过程900将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程900。

系统接收输入眼底图像数据和任选地其它患者数据(步骤902)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和可选地其它患者数据，以生成一组安康(wellness)分值(步骤904)。

在一些实现方式中，所述一组安康分值包括单个分值，所述单个分值以预确定比例测量患者的整体健康。

在一些其它实现方式中，所述一组安康分值可以包括针对多个安康标签中的每个的相应分值，所述多个安康标签各自表征患者的整体健康。例如，安康标签可以是“非常健康”、“健康”、“有点不健康”和“非常不健康”。每个分值表示对应安康标签准确地表征患者的当前健康的可能性。因此，例如针对安康标签“非常健康”的分值表示患者非常健康的可能性，而针对“有点不健康”标签的分值表示患者有点不健康的可能性。

所述系统根据风险分值生成健康分析数据(步骤906)。例如，在所述一组分值包括单个分值的实现方式中，健康分析数据可以识别单个分值。举另一示例来说，在所述一组分值包括多个分值的情况下，健康分析数据可以识别最高得分安康标签。

图10是用于生成包括针对一个或多个风险因素的预测的值的健康分析数据的示例过程1000的流程图。为了方便起见，过程1000将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程1000。

系统接收包括一个或多个眼底图像的输入眼底图像数据(步骤1002)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据，以生成针对一个或多个风险因素中的每个的相应预测值(步骤1004)。

风险因素中的每个是导致患者会出现特定一组健康相关事件中的一个的风险的因素。例如，当风险是心血管疾病风险时，所述特定一组健康相关事件可以是被分类成主要心血管疾病健康事件的健康事件，例如心肌梗死、心脏衰竭、心脏介入治疗、冠状动脉旁路移植术、恶性心律失常、心脏休克、入式心脏复律除颤器、恶性心律失常、心脏相关死亡率等。

继续举心血管疾病风险的示例来说，风险因素可以包括以下中的一个或多个：年龄、性别、体重指数、收缩压、舒张压、hba1c(糖化血红蛋白)的测量或抽烟状况，即患者是否抽烟。

在一些实现方式中，系统采用多个机器学习模型，所述多个机器学习模型各自生成针对风险因素的不同子集的预测值。例如，一个模型可以生成针对可以仅采用两个值(例如，抽烟状态和性别)中的一个的二元风险因素的预测值，而另一模型可以生成针对可以采用来自某一值范围的连续值(例如年龄、体重指数和血压)的连续风险因素的预测值。两个模型中的每个可以具有类似的架构，但是具有不同的参数值。

系统根据预测值生成健康分析数据(步骤1006)。例如，健康分析数据可以识别每个生成的预测值。在一些情况下，系统可以使用预测值来计算特定风险的测量，并且提供风险的计算的测量作为健康分析数据的一部分。例如，系统可以提供预测值作为到被配置成预测风险的测量的另一机器学习模型，或者到获得计算的测量的硬编码的公式的输入。例如，在心血管疾病风险的情况下，系统可以使用预测值计算framingham风险分值。或者，系统可以提供预测值作为到机器学习模型的输入，所述机器学习模型已经被训练来基于风险因素的值而预测风险测量。

图11是用于生成包括识别眼底图像中的位置的数据的健康分析数据的示例过程1100的流程图，当生成模型输出时所述眼底图像被机器学习模型所专注。为了方便起见，过程1100将被描述成由位于一个或多个位置处的一个或多个计算机的系统执行。例如，眼底图像分析系统(例如图1的眼底图像分析系统100)当被适当地编程时可以执行过程1100。

系统接收输入眼底图像数据和任选地其它患者数据(步骤1102)。

系统使用眼底图像处理机器学习模型处理输入眼底图像数据和任选地其它患者数据，以生成模型输出(步骤1104)。所述模型输出可以是上面参考图2到图10所描述的模型输出中的任何一个。

特别地，机器学习模型是包括一个或多个初始卷积层的模型，所述一个或多个初始卷积层后面是关注机制，而所述关注机制后面是一个或多个附加神经网络层。

初始卷积层处理眼底图像数据中的每个眼底图像，以提取针对眼底图像中的多个区域中的每个的相应特征向量。

关注机制确定针对眼底图像中的区域中的每个的关注权重，并且然后根据对应关注权重来处理特征向量，以生成关注输出。一般而言，关注机制通过计算特征向量的加权和或加权平均值来处理特征向量，其中针对每个特征向量的权重是针对对应区域的关注权重。为了确定关注权重，系统可以使用多种关注方案中的任何一个来确定特征向量中的每个与生成针对眼底图像的模型输出的关联，并且然后使确定的关联标准化以计算关注权重。示例关注方案包括使用一个或多个完全连接的层来处理特征向量以确定关联，以及通过计算特征向量与学习的语境向量之间的余弦相似性来确定给定特征向量的关联。在https://arxiv.org/abs/1502.03044可获得的xu等人的“show,attendandtell:neuralimagecaptiongenerationwithvisualattention”中描述了可以适于在眼底图像处理机器学习模型中使用的示例关注机制。

在关注机制后面的附加的神经网络层接收针对眼底图像中的每个的一个或多个关注输出，并且根据关注输出生成模型输出。例如，当机器学习模型是递归神经网络时，附加的神经网络层包括一个或多个递归层。当机器学习模型是卷积神经网络时，附加的神经网络层可以包括卷积神经网络层、完全连接的层或其它卷积前馈神经网络层。

系统根据风险分值生成健康分析数据(步骤1106)。特别地，如上所述，健康分析数据以可以呈现给系统用户的方式表征模型输出。

另外，健康分析数据包括表征机器学习模型所专注的眼底图像的区域以生成模型输出的数据。特别地，健康分析数据包括识别指派给眼底图像中的区域的关注权重的数据。例如，系统可以生成关注图表，所述关注图表针对眼底图像中的每个像素识别指派给所述像素的关注权重，即像素所属图像区域的关注权重。例如，关注图表可以是热图，所述热图将关注权重表示成颜色。在一些实现方式中，系统提供关注图表作为对应眼底图像的叠加。

本说明书结合系统和计算机程序组件使用术语“配置”。具有将被配置成执行特定操作或动作的一个或多个计算机的系统意味着所述系统上安装有软件、固件、硬件或以上的组合，在操作中致使系统执行所述特定操作或动作。将被配置成执行特定操作或动作的一个或多个计算机程序意味着一个或多个程序包括指令，所述指令当被数据处理设备实行时致使设备执行所述操作或动作。

本说明书中描述的主题和功能操作的实施例可以在数字电子电路中，在有形地体现的计算机软件或固件中，在计算机硬件中实现，包括本说明书中公开的结构以及其结构等效形式或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性存储媒体上以便由数据处理设备实行或者控制数据处理设备的操作的计算机程序指令的一个或多个模块。计算机存储介质可以是机器可读存储装置、机器可读存储衬底、随机或串行存取存储器装置或它们中的一个或多个的组合。可选地或另外，程序指令可以编码在人工生成的传播信号上，例如机器生成的电气、光学或电磁信号，所述信号被生成以编码信息以便传输到合适的接收器设备以供数据处理设备执行。

术语“数据处理设备”表示数据处理硬件，并且涵盖所有类别的设备、装置和机器以便处理数据，包括举例来说可编程处理器、计算机或多个处理器或计算机。所述设备还可以是或另外包括专用逻辑电路，例如fpga(现场可编程门阵列)或者asic(专用集成电路)。除了硬件以外，所述设备可以可选地包括为计算机程序创建实行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们的一个或多个的组合的代码。

可以被称为或描述为程序、软件、软件应用、应用程序、模块、软件模块、脚本或代码的计算机程序可以以任何形式的编程语言编写，所述编程语言包括编译或解释语言或程序性语言或过程性语言；并且可以部署成任何形式，包括部署成独立程序或部署成模块、组件、子程序或适合于在计算环境中使用的其它单元。程序可以但不必对应于文件系统中的文件。程序可以存储在容纳其它程序或数据的文件的一部分中，例如存储在标记语言文献中的一个或多个脚本，存储在专用于讨论中的程序的单个文件，或者存储在多个协调文件中，例如存储一个或多个模块、子程序或代码的部分的文件。计算机程序可以被部署成在一个计算机或多个计算机上实行，所述一个计算机或多个计算机位于一个地点或跨多个地点分布并且通过数据通信网络互连。

在本说明书中，术语“数据库”被广泛地用于表示数据的任何集合：数据不需要以任何特定方式构建，或者根本不需要构建，并且可以存储在一个或多个位置的存储装置上。因此，例如，索引数据库可以包括数据的多个集合，所述多个集合中的每个可以以不同方式加以组合和访问。

类似地，在本说明书中，术语“引擎”被广泛地用于被编程来执行一个或多个特定功能的基于软件的系统、子系统或过程。一般而言，引擎将被实现为一个或多个软件模块或组件，安装在一个或多个位置处的一个或多个计算机上。在一些情况下，一个或多个计算机将专用于特定引擎；在其它情况下，多个引擎可以在一个或多个相同的计算机上安装和运行。

本说明书中描述的过程和逻辑流可以由实行一个或多个计算机程序的一个或多个可编程计算机执行，以通过对输入数据进行操作和生成输出来执行各功能。过程和逻辑流还可以由例如fpga或asic的专用逻辑电路执行，或者通过专用逻辑电路和一个或多个编程的计算机的组合执行。

适合于实行计算机程序的计算机可以基于通用或专用微处理器或二者，或任何其它类别的中央处理单元。一般而言，中央处理单元将从只读存储器或随机存取存储器或二者接收指令和数据。计算机的主要元件是用于执行或实行指令的中央处理单元和用于存储指令和数据的一个或多个存储器装置。中央处理单元和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。一般而言，计算机还将包括或可操作地联接以从用于存储数据的一个或多个大容量存储装置接收数据或将数据传递给一个或多个大容量存储装置或二者，所述一个或多个大容量存储装置例如为磁盘、磁光盘或光盘。然而，计算机不必具有这种装置。此外，计算机可以嵌在另一装置中，仅举几个示例来说，所述另一装置例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏机、全球定位系统(gps)接收器或便携式存储装置(例如，通用串行总线(usb)闪存盘)。

适合用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置，包括举例来说半导体存储器装置(例如，eprom、eeprom)和快闪存储器装置；磁盘(例如，内部硬盘或可移除盘)；磁光盘；以及cdrom和dvd-rom盘。

为了提供与用户的交互，本说明书中所描述的主题的实施例可以在计算机上实现，所述计算机具有用于向用户显示信息的显示装置(例如，crt(阴极射线管)或lcd(液晶显示器)监视器)以及可以被用户用来向计算机提供输入的键盘和指向装置(例如，鼠标或轨迹球)。其它类别的装置也可以被用来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且来自用户的输入可以以任何形式被接收，包括声学、语音或触觉输入。另外，计算机可以通过发送文献给用户所使用的装置和从所述装置接收文献来与用户交互；例如，通过响应于接收到来自网络浏览器的请求而将网页发送到用户的装置上的网络浏览器。而且，计算机可以通过发送文本消息或其它形式的消息给个人装置(例如，正在运行消息应用的智能电话)以及反过来接收来自用户的响应消息来与用户交互。

用于实现机器学习模型的数据处理设备还可以包括例如专用硬件加速器单元，所述专用硬件加速器单元用于处理机器学习训练或生产的常见和计算密集型部分，即推理、工作量。

机器学习模型可以使用机器学习框架(例如，tensorflow框架、microsoftcognitivetoolkit框架、apachesinga框架或apachemxnet框架)来实现和部署。

本说明书中所描述的主题的实施例可以在计算机系统中实现，所述计算机系统包括后端组件(例如，作为数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有图形用户界面、网络浏览器的客户端计算机或可以被用户用来与本说明书中所描述的主题的实现方式交互的应用程序)，或者一个或多个这种后端组件、中间件组件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(lan)和广域网(wan)，例如互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施例中，服务器将数据(例如，html页面)传输给用户装置，例如出于向与装置交互的用户显示数据以及接收来自所述用户的用户输入的目的，所述装置充当客户端。可以在服务器处从装置接收在用户装置处生成的数据，例如用户交互的结果。

虽然本说明书含有许多特定实现方式细节，这些不应被理解成对任何发明的范围或可能要求保护的范围的限制，而是作为可能特定于特定发明的特定实施例的特征的描述。在单独实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合中切除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化形式。

类似地，虽然在附图中描绘了操作并且以特定顺序在权利要求中叙述，但是这不应该被理解为要求以所示出的特定顺序或先后顺序执行这些操作，或者执行所有示出的操作以实现期望的结果。在某些情形下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或包装成多个软件产品。

已经描述了主题的特定实施例。其它实施例在以下权利要求的范围内。例如，可以以不同的顺序执行权利要求中所阐述的动作并且仍然实现期望的结果。举一个示例来说，附图中所阐述的过程不一定要求所示出的特定顺序或先后顺序来实现期望的结果。在一些情况下，多任务和并行处理可以是有利的。