用于最小闪光的眼病诊断的图像保留和拼接的制作方法

1.本发明总体上涉及视网膜异常的自主诊断，并且更具体地涉及减少对患者视网膜闪光的需要的图像保留。


背景技术：

2.用于诊断视网膜异常的自主系统捕获患者视网膜的图像(本文可以与词语眼底互换使用)，并且分析这些图像的异常。通常，视网膜的不同部分的图像被捕获(例如，以视网膜中央凹为中心的图像和以视盘为中心的图像)。当捕获的图像不足以执行诊断时，捕获另外的图像直到视网膜的每个部分的足够的图像被获得。由成像设备重复暴露于闪光可能导致进一步的瞳孔限制，使得在每次闪光之后成功成像的可能性较小。因此，减少在捕获到足够的图像之前捕获更多图像的需要从而减少了闪光的数目，并且减少了拍摄无数照片的需要，或者迫使患者等待诊断直到瞳孔恢复到正常扩张。另外，减少对更多图像的需要使能更快的诊断，因为导致瞳孔限制急剧增加的闪光的数目将不太可能一口气达到，因此防止了延迟患者诊断的需要，直到再次可能产生对患者眼睛闪光的可行图像的时间。


技术实现要素：

3.本文提供的系统和方法用于减少对患者眼睛重新闪光的需求，以捕获先前捕获的图像不足的视网膜区域的图像。作为示例，可以捕获两个图像以对患者的右眼执行诊断－以视网膜中央凹为中心的图像和以视盘为中心的图像。在这两个图像中描绘的视网膜的部分之间存在一些重叠。在图像中的一个图像中描绘的视网膜的区域由于任何原因(例如，曝光过度或曝光不足)而不可用，而不是重新捕获图像的情况下，系统可以确定在另一图像中是否描绘了没有相同缺陷的相同区域。如果该区域是可以从另一图像使用，则系统将避免需要重新闪光患者的右眼来捕获该区域的另一个图像，而是可以将两个图像的部分拼接在一起以执行诊断。
4.在一个实施例中，为了在用于诊断的图像采集期间最小化视网膜暴露于闪光，视网膜图像预处理工具捕获多个视网膜图像(例如，通过指示成像设备以拍摄图像并且将其发送到视网膜图像预处理工具)。每个视网膜图像可以与多个视网膜区域中的不同视网膜区域相对应(例如，以视网膜中央凹为中心和以视盘为中心)。视网膜图像预处理工具可以确定第一图像的第一部分(例如，以视网膜中央凹为中心)不满足标准(例如，图像曝光过度或曝光不足、具有阴影或其他伪影等)，而第一图像的第二部分(例如，以视盘为中心)满足标准(例如，第二图像被适当地曝光)。
5.视网膜图像预处理工具可以标识第一部分中描绘的、不满足标准的视网膜的部分，并且可以确定视网膜的相同部分被描绘在第二图像的第三部分中。视网膜图像预处理工具可以确定第三部分是否满足该标准。响应于确定第三部分满足标准，可以使用多个视网膜图像执行诊断。响应于确定视网膜的该部分未在第二图像中被描绘，视网膜图像预处理工具可以捕获在第一图像中描绘的视网膜区域的附加图像。
附图说明
6.图1是根据一个实施例的、用于利用视网膜图像预处理工具的环境中的系统组件的示例性框图。
7.图2是根据一个实施例的成像设备的模块和组件的示例性框图。
8.图3是根据一个实施例的视网膜图像预处理工具的模块和组件的示例性框图。
9.图4是示出能够从机器可读介质读取指令并且在处理器(或控制器)中执行该指令的示例机器的组件的框图。
10.图5描绘了根据一个实施例的患者眼睛的示例性图像。
11.图6描绘了根据一个实施例的用于在用于诊断的图像采集期间最小化视网膜对闪光的暴露的示例性流程图。
12.附图仅出于说明的目的描绘了本发明的各种实施例。本领域技术人员将从以下讨论中容易地认识到，在不脱离本文所述的本发明的原理的情况下，可以采用本文所示的结构和方法的替代实施例。
具体实施方式
13.(a)环境概述
14.图1是根据一个实施例的用于利用视网膜图像预处理工具的环境中的系统组件的示例性框图。环境100包括成像设备110、网络120、视网膜图像预处理工具130和视网膜疾病诊断工具140。成像设备110是被配置为捕获患者眼睛的视网膜的一个或多个图像的设备。可以使成像设备110通过手动操作，如计算机程序指令或外部信号(例如，从视网膜色素沉着确定工具130接收的)所指示的自主操作或其组合来捕获这些图像。在2017年3月22日提交的共同拥有的美国专利申请no.15/466,636中描述了这些图像可能看起来像什么以及它们是如何得出的示例，其公开内容通过引用整体并入本文。参考本公开的图5描述了其他示例。
15.在捕获图像之后，成像设备110将图像传输到视网膜疾病诊断工具140。视网膜疾病诊断工具140可以将一个或多个图像作为输入，并且可以使用机器学习模型基于该输入完全自主地输出诊断。视网膜疾病诊断工具140自主地分析视网膜图像并且使用其中生物标记的机器学习分析来确定诊断。诊断可以具体是确定用户患有特定疾病，诸如糖尿病性视网膜病，或者可以是确定用户可能患有疾病并且因此应该看医生进行确认和治疗。视网膜疾病诊断工具140执行分析和确定诊断的方式在2019年10月30日授权的共同拥有的美国专利no.10,115,194中进一步被讨论，该专利的公开内容在此全文引入作为参考。
16.在执行诊断之前，视网膜疾病诊断工具140可以使视网膜图像预处理工具130确定由成像设备110捕获的(多个)图像是否足以执行诊断。视网膜图像预处理工具130执行该分析的方式在下面参考图3被进一步详细描述。尽管被描述为视网膜疾病诊断工具140的组件，但是视网膜图像预处理工具130可以是独立的实体，其接收图像、针对图像进行足够的审查，并且如果图像足够用于诊断，则将图像传输到视网膜疾病诊断工具140。视网膜图像预处理工具130和/或视网膜疾病诊断工具140可以在一个或多个服务器上被实例化。此外，视网膜图像预处理工具130和/或视网膜疾病诊断工具140可以全部或部分地在成像设备110处被实例化，从而消除针对网络120上的通信业务的一些或全部需要。
17.(b)示例性成像设备组件
18.图2是根据一个实施例的成像设备的模块和组件的示例性框图。成像设备110包括图像捕获组件211、闪光组件212、视网膜疾病诊断工具应用协议接口(api)214和用户界面215。虽然未被描绘，但是成像设备110可以包括其他组件，诸如视网膜图像预处理工具130和视网膜疾病诊断工具140中的任一项或两项的板上实例及其任何组件。成像设备110可以包括用于执行本文描述的任何功能的任何数据库或存储器。成像设备110也可以排除某些描绘的组件。
19.图像捕获组件211可以是被配置为捕获患者视网膜的图像的任何传感器。例如，可以使用专用透镜来捕获患者视网膜的图像。闪光组件212可以是能够在通过图像捕获组件211的图像捕获期间照射患者视网膜的任何组件，并且可以被配置为与图像捕获组件211的图像捕获操作一致地发射光。
20.视网膜疾病诊断工具api 214与视网膜疾病诊断工具130连接，以将命令从视网膜图像预处理工具130转换到成像设备110。示例性命令可以包括捕获或重新捕获图像的命令、调节由闪光组件212发射的光的强度的命令等。下面参考图3更详细地讨论这些命令以及它们是如何生成的。
21.用户界面215是如下的界面，即成像设备110的操作者可以通过该界面命令成像设备110执行其能够执行的任何功能，诸如捕获图像、调整闪光强度等。用户界面215可以是任何硬件或软件界面，并且可以包括物理组件(例如，按钮)和/或图形组件(例如，在诸如触摸屏显示器的显示器上)。用户界面215可以位于成像设备110上、可以是成像设备110外围的设备、或者可以位于通过网络120与成像设备110分离的设备上，从而使能成像设备110的远程操作。参考图5更详细地示出和讨论了示例性用户界面。
22.(c)示例性视网膜图像预处理工具组件
23.图3是根据一个实施例的视网膜图像预处理工具的模块和组件的示例性框图。视网膜图像预处理工具130包括初始图像捕获模块331、预处理模块232、后退图像评估模块233、图像重新捕获模块234和图像拼接模块235。尽管未描述，但是视网膜图像预处理工具110可以包括其他组件，诸如附加模块，以及用于执行本文描述的任何功能的任何数据库或存储器。视网膜图像预处理工具130也可以排除一些描绘的组件。
24.初始图像捕获模块331捕获患者的一只眼睛或两只眼睛的视网膜图像。如本文中所使用，术语捕获可以指代拍摄图像，即“捕获”可以涉及从远程设备或服务器命令成像设备110拍摄图像并且经由网络120将图像传输到初始图像捕获模块331。备选地，在初始图像捕获模块331驻存在成像设备110上的情况下，初始图像捕获模块331可以通过如下来捕获图像：命令成像设备获取图像并且将其该图像部路由到预处理模块332。
25.由初始图像捕获模块331捕获的初始图像可以包括患者视网膜的不同部分的图像。当不同部分的图像一起被用作视网膜疾病诊断工具140的一个或多个机器学习模型的输入时，产生视网膜疾病诊断的输出。视网膜区域可以是预定义的。例如，视网膜疾病诊断工具140的管理员可以指示某些视网膜区域的图像将被捕获用于诊断。这些区域可以被限定为以视网膜中央凹为中心的图像和以视盘为中心的图像。因此，初始图像捕获模块331可以捕获以指定视网膜区域为中心的患者的一只眼睛或两只眼睛的图像。
26.在一个实施例中，捕获的图像可以是时间跨度上的多帧视频。例如，类似于“实况
照片”，帧可以从首次发射闪光的时刻被捕获，直到闪光完全消失的时刻，其中如果帧被顺序地显示，则帧将形成视频。捕获多个帧提高了其中一个帧包括由图像描绘的、满足预处理标准(下面描述)的视网膜的部分的机会，即使另一帧中的该部分不满足该标准。例如，根据闪光示例，如果闪光被调整到另一强度时(例如，.05秒后，闪光在其被关闭时是暗淡的)，由闪光的一个强度引起的曝光不足、曝光过度或阴影被校正，则在帧中以另一个强度描绘的视网膜的部分可以被使用以满足该标准。
27.预处理模块332被用于确定捕获的图像是否足以输入到机器学习模型中。满足性也可以由管理员限定，并且可以基于诸如曝光不足(例如，使用过低的闪光强度捕获图像)、曝光过度(例如，使用过高的闪光强度捕获图像)、模糊(例如，当捕获图像时患者移动，导致图像不清楚)、阴影和/或任何其他指定参数的参数。可以基于这些参数来建立用于确定图像是否足够的标准－例如，图像必须在一定的曝光范围内，和/或界标(例如，视盘的边界)必须足够窄(其中宽的边界指示模糊)。预处理模块332将图像的参数与标准进行比较，以确定每个图像是否足以输入到机器学习模型中。
28.在一个实施例中，当预处理模块332确定图像不足以输入到机器学习模型中时，视网膜图像预处理工具130可以命令重新捕获不足的图像。然而，由于需要对患者眼睛的额外闪光，该实施例导致可能影响患者健康的缺点。因为需要额外的带宽和处理能力来捕获图像并且将其重新传输到视网膜图像预处理工具130，因此也还存在技术上的缺点。在一个实施例中，使用后退图像评估模块333来确定是否可以执行诊断而不管给定图像的不足，而无需重新捕获该图像。
29.后退图像评估模型333标识图像中的、不满足一个或多个标准的视网膜的一个或多个描绘的部分。例如，图像可能部分曝光过度或曝光不足，因为患者视网膜中的视网膜色素沉着是不一致的，导致闪光水平一致，从而在患者视网膜的一些部分中导致适当的曝光，同时在患者视网膜的其它部分中导致不适当的曝光。作为另一示例，图像可以具有阴影，其可以遮蔽视网膜的描绘的一个或多个生物标记部分，同时留下具有足够质量的图像的剩余部分。因此，满足一个或多个标准的(多个)部分和/或不满足一个或多个标准的(多个)部分可以由后退图像评估模型333隔离。后退图像评估模型333可以通过在任何基础上(例如，逐像素、逐象限、逐区域等)检查用于图像的满足和不满足标准的部分来标识这些部分。
30.在由图像描绘的视网膜的部分被确定为不足的情况下，后退图像评估模型333检查由初始图像捕获模块331捕获的一个或多个其他图像，以确定该部分是否可恢复而无需重新捕获图像来治愈不足。例如，如果在患者视网膜的中央凹中心图像中描绘的视网膜的部分不足，则后退图像评估模型333可以确定在初始图像捕获期间也捕获的患者视网膜的以视盘为中心的图像中是否描绘了该视网膜的相同部分。另一示例可以包括评估多帧视频中不充分图像是其一部分的帧是否可以被使用。因为后退图像评估模型333评估每个捕获的图像是否足以用于诊断，所以后退图像评估模型333能够容易地确定视网膜的相同部分是否被描绘在另一图像中，该相同部分是否具有足够的质量。在相同部分具有足够质量的情况下，后退图像评估模块333确定不需要重新捕获图像，因为后退图像可用。在后退图像评估模块333确定视网膜的相同图像没有以足够的质量被描绘在另一图像中的情况下，后退图像评估模块333确定该图像要被重新捕获。在一个实施例中，两个或更多个图像可以一起被用作用于单个图像的后退，其中图像的不同不足部分由来自两个或更多个后退图像的
部分来修复。
31.图像重新捕获模块334重新捕获其中图像不足的图像，并且在一些实施例中，其中没有足够的后退图像来解决不足。除了用于捕获视网膜的已捕获区域的图像之外，图像重新捕获模块334以与图像捕获模块331相同的方式工作。
32.图像拼接模块335将图像的足够部分与用于图像不足部分的替换物拼接在一起，替换物是来自后退图像。本文使用的术语“拼接”是指来自两个图像的部分的实际的或逻辑的聚集。实际拼接是指生成包括来自至少两个图像的部分的合成图像。逻辑拼接是指从不同的图像中获取不同的部分，并且将这些分开的部分用于诊断。例如，在不生成合成图像的情况下将这些部分分别输入到机器学习模型中，并且从中输出诊断。作为另一示例，可以使用图像的足够部分来生成第一分析，而不考虑该图像的不足部分。后退图像可以具有与用于生成第二分析的第一图像的(多个)不足部分相对应的部分。两种分析可以被用于执行诊断(例如，通过将带有或不带有图像本身的分析输入到机器学习模型中)。在一个实施例中，图像拼接模块335可以基于生物标记在那些区域中相对于离解剖标记(如视网膜中央凹和视盘)的距离的普遍性，来加权图像质量不足的区域，以允许在处理那些检查时具有更高的置信度，即使在拼接图像的视网膜中央凹中存在图像质量不足的一些区域。这种加权可以基于在代表性数据集上对随机森林、ann等的训练，以学习和加权视网膜中央凹中各种足够图像质量区域的重要性。虽然图像拼接模块335被描述为视网膜图像预处理工具130的模块，但是图像拼接模块335可以全部或部分地替代为视网膜疾病诊断工具140的模块。
33.(d)示例性计算机体系结构
34.图4是示出能够从机器可读介质读取指令并且在处理器(或控制器)中执行它们的示例机器的组件的框图。具体地，图4示出了计算机系统400的示例形式中的机器的图形表示，其中可以执行用于使机器执行本文讨论的任何一个或多个方法的程序代码(例如软件)。程序代码可以包括由一个或多个处理器402可执行的指令424。在备选实施例中，机器作为独立设备操作或可以被连接(例如，被联网)到其它机器。在联网部署中，机器可以在服务器－客户端网络环境中的服务器机器或客户端机器的能力中操作，或者作为对等(或分布式)网络环境中的对等机器操作。
35.机器可以是服务器计算机、客户端计算机、个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、蜂窝电话、智能电话，web设备、网络路由器、交换机或网桥、或者能够执行指定机器要采取的动作的指令424(顺序地或以其他方式)的任何机器。此外，虽然仅示出了单个机器，但是术语“机器”还应当被理解为包括单独地或联合地执行指令124以执行本文讨论的任何一个或多个方法的机器的任何集合。
36.示例计算机系统400包括处理器402(例如，中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、一个或多个专用集成电路(asic)、一个或多个射频集成电路(rfic)或这些的任意组合)，主存储器404和静态存储器406，其被配置为经由总线408彼此通信。计算机系统400可以进一步包括可视显示界面410。可视界面可以包括能够在屏幕(或显示器)上显示用户界面的软件驱动器。可视界面可以直接地(例如，在屏幕上)或间接地(例如，经由可视投影单元)在表面、窗口等上显示用户界面。为了便于讨论，可视界面可以被描述为屏幕。可视界面410可以包括触摸使能屏幕或可以与触摸使能屏幕接口。计算机系统400还可以包括字母数字输入设备412(例如，键盘或触摸屏键盘)、光标控制设备414(例
如，鼠标、跟踪球、操纵杆、运动传感器或其他定点工具)、存储单元416、信号生成设备418(例如，扬声器)和网络接口设备420，其也被配置为经由总线408进行通信。
37.存储单元416包括机器可读介质422，在机器可读介质422上存储有体现本文描述的任何一个或多个方法或功能的指令424(例如，软件)。指令424(例如，软件)在由计算机系统400执行期间也可以完全或至少部分地驻留在主存储器404内或处理器402内(例如，在处理器的高速缓冲存储器内)，主存储器404和处理器402也构成机器可读介质。指令424(例如，软件)可以经由网络接口设备420在网络426上被传输或接收。
38.虽然机器可读介质422在示例实施例中被示为单个介质，但是术语“机器可读介质”应当被理解为包括能够存储指令(例如，指令424)的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应当被理解为包括能够存储用于由机器执行的指令(例如，指令424)并且使得机器执行本文公开的任何一个或多个方法的任何介质。术语“机器可读介质”包括但不限于固态存储器、光学介质和磁性介质形式的数据存储库。
39.(e)示范图像和用户界面
40.图5描绘了根据一个实施例的患者眼睛的示例性图像。用户界面500可以作为用户界面215的一部分被显示给成像设备110的操作者。用户界面500包括图像510、520、530和540。如所描绘的，患者已经具有每只眼睛捕获的两个图像，即以视网膜中央凹为中心的图像和以视盘为中心的图像。如图所描绘的，这些图像仅仅是示例性的；可以使用任何参数来指示图像要居中的位置，作为由成像设备110的操作者和/或限定需要什么图像来执行诊断的管理员的输入。此外，虽然在描绘的示例中使用两个图像，但可以使用任何数目的图像。在图像以视盘和视网膜中央凹为中心的情况下，图像的部分将重叠，并且因此，如果一个图像的任何重叠部分不满足指定的标准，则每个图像可以被用作每个其它图像的后退。
41.(f)用于在用于诊断的图像采集期间最小化视网膜对闪光的高炉的示例性数据流
42.图6描绘了根据一个实施例的用于在用于诊断的图像采集期间最小化视网膜暴露于闪光的示例性流程图。过程600开始于用于运行视网膜图像预处理工具130的设备的一个或多个处理器(例如，处理器402)捕获602(例如，使用初始图像捕获模块331)多个视网膜图像，每个视网膜图像与多个视网膜区域中的不同视网膜区域相对应，多个视网膜图像包括第一图像和第二图像。多个视网膜图像可以包括例如针对每只眼睛的视网膜中央凹为中心的图像和以视盘为中心图像。第一图像可以是患者左眼的以视网膜中央凹为中心的图像510，而第二图像可以是患者左眼的以视盘为中心的图像530，并且不同的视网膜区域可以对应于每个图像在其中居中的视网膜区域。
43.视网膜图像预处理工具130确定604第一图像的第一部分不满足标准，而第一图像的第二部分满足标准。例如，由于视网膜条纹、过度曝光、曝光不足、阴影或其它问题，以视网膜中央凹为中心的左眼图像510的部分被确定为不足，而以视网膜中央凹为中心的左眼图像510的其余部分被确定为足够。满足性确定可由预处理模块332使用本文所述的任何方式来执行。
44.视网膜图像预处理工具130标识606在第一部分中描绘的不满足标准的视网膜的部分。即，视网膜本身的部分可以被描绘在后退图像的不同坐标处，并且因此，是视网膜的部分(而不是图像的部分)被标识。后退图像评估模块333可以以本文描述的任何方式执行
该确定。然后，视网膜图像预处理工具130确定608视网膜的该部分是否被描绘在第二图像的第三部分中。即，后退图像评估模块333确定另一捕获图像是否包括在另一捕获的图像的某一部分处的视网膜的相同部分的描绘。例如，视网膜图像预处理工具130确定视盘中心左眼图像530是否描绘了在中央凹中心左眼图像510中不足的视网膜的相同部分。
45.视网膜图像预处理工具130确定610第二图像的第三部分(例如，以视盘为中心的左眼图像530的部分，其捕获与以视网膜中央凹为中心的左眼图像510中不足的部分相同的视网膜的部分)是否满足标准。响应于第三部分满足标准，视网膜图像预处理工具130使用多个视网膜图像(例如，使用图像拼接模块335)来执行612诊断。响应于第三部分不满足标准，视网膜图像预处理工具130捕获614在第一图像中描绘的视网膜区域的附加图像(例如，使用图像重新捕获模块334)。
46.(g)发明内容
47.已经出于说明的目的给出了本发明的实施例的以上描述；其并不旨在穷举或将本发明限制为所公开的精确形式。相关领域的技术人员可以理解，根据上述公开内容，许多修改和变化是可能的。
48.虽然本公开特别集中于视网膜疾病，但是本公开一般适用于疾病诊断，以及患者身体其他部分的图像的捕获(和潜在的重新捕获)以及预处理。例如，公开的预处理可以应用于其他器官的诊断，诸如人的肾、肝、脑或心脏、或其的部分，并且本文所讨论的图像可以是相关器官的图像。
49.本说明书的某些部分根据对信息的操作的算法和符号表示来描述本发明的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来有效地向本领域的其他技术人员传达其工作的实质。虽然在功能上、计算上或逻辑上描述了这些操作，但是这些操作被理解为由计算机程序或等效电路、微代码等来实现。此外，在不失一般性的情况下，将这些操作布置称为模块有时也被证明是方便的。所描述的操作及其相关联的模块可以以软件、固件、硬件或其任何组合来实现。
50.本文所描述的任何步骤、操作或过程可以单独地或与其它设备组合地用一个或多个硬件或软件模块来执行或实施。在一个实施例中，用计算机程序产品来实现软件模块，计算机程序产品包括包含计算机程序代码的计算机可读介质，计算机程序代码可以由计算机处理器执行以用于执行描述的任何或所有步骤、操作或过程。
51.本发明的实施例还可以涉及用于执行本文中的操作的装置。该装置可以是为所需目的而专门构造的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以被存储在非瞬态的、有形的计算机可读存储介质或在适合于存储电子指令的任何类型的介质中，其可以被耦合到计算机系统总线。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以增加计算能力的体系结构。
52.本发明的实施例还可涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中该信息被存储在非瞬态的有形计算机可读存储介质上，并且可以包括本文描述的计算机程序产品或其他数据组合的任何实施例。
53.最后，说明书中使用的语言主要是出于可读性和指导性的目的而选择的，并且可能没有被选择来描绘或限制本发明的主题。因此，本发明的范围不限于该详细描述，而是由
基于本技术的任何权利要求来限定。因此，本发明的实施例的公开旨在说明而非限制本发明的范围，本发明的范围在所附权利要求中阐述。