多模态地图状萎缩病变分割的制作方法

本说明书一般地涉及评估视网膜中的地图状萎缩。更具体地，本说明书提供了用于使用来自多种模态的图像来评估地图状萎缩的方法和系统，这些图像包括眼底自发荧光(faf)图像以及近红外(nir)图像和光学相干断层扫描(oct)图像中的一者或两者。

背景技术：

1、年龄相关性黄斑变性(amd)是50岁或以上患者视力丧失的主要原因。地图状萎缩(ga)是amd的两个晚期阶段之一，其特征是脉络膜毛细血管、视网膜色素上皮(rpe)和光感受器的逐步发展且不可逆的丧失。可以使用眼底自发荧光(faf)图像执行ga病变扩大的诊断和监测，该图像是通过共焦激光扫描眼底镜(cslo)获得的。这种类型的成像技术展示了rpe中脂褐素的地形图，可以用于测量ga病变随时间推移的变化。在faf图像上，由于rpe及以致脂褐质的丧失，ga病变表现为具有清晰边界的低自发荧光区域。然而，由于中央凹处自然出现的低强度，量化faf图像上的ga病变可能具有挑战性。此外，使用faf图像量化ga病变通常是一个手动过程，比预期的更耗时且更容易出现观察者间和观察者内的易变性。因此，期望具有认识到这些问题中的一个或多个并将其考虑在内的一种或多种方法、系统或两者。

技术实现思路

1、本公开的一些实施例包括一种方法，该方法包括接收具有一个或多个地图状萎缩(ga)病变的视网膜的一组眼底自发荧光(faf)图像。该方法进一步包括：接收视网膜的一组红外(ir)图像或视网膜的一组光学相干断层扫描(oct)图像中的一者或两者；以及使用该组faf图像以及该组ir图像或该组oct图像中的一者或两者，生成ga病变分割掩膜，该ga病变分割掩膜包括与视网膜中的一个或多个ga病变相对应的一个或多个ga病变节段。

2、在一些实施例中，一种系统包括非暂时性存储器；和硬件处理器，该硬件处理器与非暂时性存储器耦合并且配置成从非暂时性存储器读取指令以使系统执行操作。在一些情况下，操作包括：接收具有一个或多个ga病变的视网膜的一组faf图像；接收视网膜的一组ir图像或视网膜的一组oct图像中的一者或两者；以及使用该组faf图像以及该组ir图像或该组oct图像中的一者或两者，生成ga病变分割掩膜，该ga病变分割掩膜包括与视网膜中的一个或多个ga病变相对应的一个或多个ga病变节段。

3、本公开的一些实施例公开了一种非暂时性计算机可读介质(crm)，其上存储有计算机可读指令，该计算机可读指令可执行以使计算机系统执行操作，这些操作包括接收具有一个或多个ga病变的视网膜的一组faf图像。在一些实施例中，操作进一步包括：接收视网膜的一组ir图像或视网膜的一组oct图像中的一者或两者；以及使用该组faf图像以及该组ir图像或该组oct图像中的一者或两者，生成ga病变分割掩膜，该ga病变分割掩膜包括与视网膜中的一个或多个ga病变相对应的一个或多个ga病变节段。

4、在结合附图回顾本发明的具体示例性实施例的以下描述后，本发明的其他方面、特征和实施例对于本领域普通技术人员将变得显而易见。虽然本发明的特征可以相对于下面的某些实施例和图式进行论述，但是本发明的所有实施例可以包括本文所论述的有利特征中的一者或多者。换句话说，虽然一个或多个实施例可以被论述为具有某些有利特征，但是根据本文所论述的本发明的各种实施例也可以使用此类特征中的一者或多者。以类似方式，虽然示例性实施例可以在下面作为设备、系统或方法实施例来论述，但是应当理解，此类示例性实施例可以在各种系统和方法中实现。

技术特征：

1.一种方法，其包括：

2.根据权利要求1所述的方法，其进一步包括由处理器从所述ga病变分割掩膜提取所述视网膜中的所述一个或多个ga病变的特征。

3.根据权利要求2所述的方法，其进一步包括：由所述处理器基于提取的特征来生成用于治疗所述一个或多个ga病变的建议。

4.根据权利要求2所述的方法，其中所述提取的特征包括所述一个或多个ga病变的数量。

5.根据权利要求2所述的方法，其进一步包括：由所述处理器将所述一个或多个ga病变节段组合成单个病变组分，所述提取的特征包括所述单个病变组分的面积、周长、feret直径或过度边缘强度中的一者或多者。

6.根据权利要求1所述的方法，其中所述生成包括使用神经网络来生成所述ga病变分割掩膜，所述神经网络包括具有编码器和解码器的u-net深度学习神经网络。

7.根据权利要求6所述的方法，其进一步包括使用所述编码器，通过连接所述一组faf图像与所述一组ir图像或所述一组oct图像中的一者或两者来生成编码的图像输入。

8.根据权利要求7所述的方法，其中生成所述ga病变分割掩膜包括使用所述u-net深度学习神经网络的所述解码器对所述编码的图像输入进行解码。

9.根据权利要求1所述的方法，其中所述生成包括使用神经网络来生成所述ga病变分割掩膜，所述神经网络包括y-net深度学习神经网络，所述y-net深度学习神经网络具有：第一编码器；第二编码器或第三编码器中的一者或两者；以及解码器。

10.根据权利要求9所述的方法，其进一步包括：

11.根据权利要求10所述的方法，其进一步包括：

12.一种系统，其包括：

13.根据权利要求12所述的系统，其中所述处理器进一步配置成从所述ga病变分割掩膜提取所述视网膜中的所述一个或多个ga病变的特征。

14.根据权利要求13所述的系统，其中所述特征包括所述一个或多个ga病变的数量、单个病变组分的面积、所述单个病变组分的周长、所述单个病变组分的feret直径或所述单个病变组分的过度边缘强度，其中所述一个或多个ga病变被组合成所述单个病变组分。

15.根据权利要求13所述的系统，其中所述处理器进一步配置成基于提取的特征来生成用于治疗所述一个或多个ga病变的建议。

16.根据权利要求12所述的系统，其中所述处理器配置成使用神经网络来生成所述ga病变分割掩膜，所述神经网络包括具有编码器和解码器的u-net深度学习神经网络。

17.根据权利要求16所述的系统，其中所述u-net深度学习神经网络进一步配置成：

18.根据权利要求12所述的系统，其中所述处理器配置成使用神经网络来生成所述ga病变分割掩膜，所述神经网络包括y-net深度学习神经网络，所述y-net深度学习神经网络包括：第一编码器；第二编码器或第三编码器中的一者或两者；以及解码器。

19.根据权利要求18所述的系统，其中所述y-net深度学习神经网络进一步配置成：

20.一种非暂时性计算机可读介质(crm)，其上存储有计算机可读指令，所述计算机可读指令可执行以使计算机系统执行操作，所述操作包括：

技术总结
本文公开了一种用于生成与视网膜中的GA病变相对应的地图状萎缩(GA)病变分割掩膜的方法和系统。在一些实施方案中，可以使用具有一个或多个地图状萎缩(GA)病变的视网膜的一组眼底自发荧光(FAF)图像以及所述视网膜的一组红外(IR)图像或所述视网膜的一组光学相干断层扫描(OCT)图像中的一者或两者来生成所述GA病变分割掩膜，所述GA病变分割掩膜包括与所述视网膜中的所述一个或多个GA病变相对应的一个或多个GA病变节段。在一些情况下，可以使用神经网络来生成所述GA病变分割掩膜。

技术研发人员：N·S·阿内贡迪,S·S·高,蒋佳翔,M·G·考钦斯基,J·帕蒂尔,T·C·斯派德
受保护的技术使用者：基因泰克公司
技术研发日：
技术公布日：2024/1/14