白内障分类方法、病灶点可视化方法及相关装置

1.本技术实施例涉及图像处理领域，尤其涉及一种白内障分类方法、病灶点可视化方法及相关装置。


背景技术：

2.老化、遗传、局部营养障碍、免疫与代谢异常、外伤、中毒、辐射等引起的晶状体代谢紊乱，从而导致晶状体蛋白质变性而发生浑浊的眼部疾病，称为白内障。白内障患者的晶状体浑浊使得光线无法投射在视网膜上，导致患者视线模糊。目前，临床上将根据病灶位置将白内障分为皮质性白内障、核性白内障、后囊下白内障。
3.相关技术中，临床上通过locs iii分类方法观察裂隙镜和回照反射图像，对患者的白内障类型进行评估，然而，该方法依赖于眼科医生对白内障类型的人工判断，且需要使用多种仪器设备，花费较长时间。由于眼科医生和设备的资源有限，对白内障类型的判断容易出现误诊，导致部分白内障患者无法得到及时有效的治疗。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本技术实施例提供一种白内障分类方法、病灶点可视化方法及相关装置，能够减少白内障分类的时间，使得患者的治疗更加即时，提升了用户的使用体验。
6.第一方面，本发明提供一种白内障分类方法，包括：
7.获取待测眼底图像；
8.将所述待测眼底图像输入至已训练好的白内障分类网络，得到输出特征向量；
9.根据所述输出特征向量，得到所述待测眼底图像的类型信息。
10.根据本发明第一方面提供的白内障分类方法，至少具有如下有益效果：获取待测眼底图像，将待测眼底图像输入至已训练好的白内障分类网络，得到特征向量，并根据输出特征向量，对待测眼底图像进行分类，得到待测眼底图像的类型信息，该白内障分类方法能够获取待测眼底图像对应的白内障分类结果，减少了人工判断的过程，使得患者的治疗更加即时，提升了用户的使用体验。
11.根据本发明第一方面的一些实施例，所述待测眼底图像的类型信息包括至少一种以下眼底图像类型：皮质性白内障、核性白内障、后囊下白内障、无白内障。
12.根据本发明第一方面的一些实施例，所述白内障分类网络的训练步骤包括：
13.获取多张样本眼底图像以及所述样本眼底图像对应的白内障类别；
14.将所述样本眼底图像输入至待训练的所述白内障分类网络，得到所述样本眼底图像对应的样本特征向量；
15.将所述样本特征向量进行分类，得到的所述样本特征向量与所述样本眼底图像对应的白内障类别相对应。
16.根据本发明第一方面的一些实施例，所述将所述待测眼底图像输入至已训练好的白内障分类网络之前，包括：
17.对所述待测眼底图像的尺寸均一化；
18.对所述待测眼底图像的rgb值均一化；
19.将尺寸、rgb值均一化后的结果更新为所述待测眼底图像。
20.根据本发明第一方面的一些实施例，所述对所述待测眼底图像的尺寸均一化，包括：
21.将所述待测眼底图像的尺寸统一为n0*n0，其中，n0为大于等于1的正整数；
22.所述对所述待测眼底图像的rgb值均一化，包括：
23.根据预设的rgb均值和rgb方差，计算所述待测眼底图像的rgb值，其中，所述待测眼底图像的rgb值可以表示为：
24.x＝(x-mean(x))/std(x)
25.其中，mean为预设的rgb均值，std为预设的rgb方差，且经过尺寸、rgb值均一化后的所述待测眼底图像为3通道的n0*n0结构。
26.根据本发明第一方面的一些实施例，所述将所述待测眼底图像输入至已训练好的白内障分类网络，得到输出特征向量，包括：
27.将所述待测眼底图像通过多级卷积网络模块进行扩充，得到第一特征图集，其中，所述第一特征图集为m通道的n
t
*n
t
结构，m为大于等于1的正整数,n
t
为大于等于1的正整数；
28.将所述第一特征图集依次通过池化层、全连接层和激活函数，得到输出特征向量。
29.根据本发明第一方面的一些实施例，所述卷积网络模块的通道数逐级增加，和/或，所述卷积网络模块生成的特征图的尺寸逐级递减，以使得所述第一特征图集中特征图的尺寸满足：n
t
＝n0/2s，s为卷积网络模块的级数。
30.根据本发明第一方面的一些实施例，所述待测眼底图像为3通道的n*n结构；
31.所述将所述待测眼底图像通过多级卷积网络模块进行扩充，得到第一特征图集，包括：
32.将所述待测眼底图像通过第一级卷积网络模块，得到第二特征图集，其中，所述第二特征图集为m/25通道的n/22*n/22的结构；
33.将所述第二特征图集通过第二级卷积网络模块，得到第三特征图集，其中，所述第三特征图集为m/23通道的n/22*n/22结构；
34.将所述第三特征图集通过第三级卷积网络模块，得到第四特征图集，其中，所述第四特征图集为m/22通道的n/23*n/23结构；
35.将所述第四特征图集通过第四级卷积网络模块，得到第五特征图集，其中，所述第五特征图集为m/2通道的n/24*n/24结构；
36.将所述第五特征图集通过第五级卷积网络模块，得到第一特征图集,其中，n
t
＝n0/2537.根据本发明第一方面的一些实施例，
38.所述将所述待测眼底图像通过第一级卷积网络模块，得到第二特征图集，包括：
39.将所述待测眼底图像通过卷积核；
40.将经过所述卷积核的所述待测眼底图像依次通过批量归一化层、激活函数以及最
大池化层，得到第二特征图集。
41.根据本发明第一方面的一些实施例，所述第二级卷积网络模块、所述第三级卷积网络模块、所述第四级卷积网络模块和所述第五级卷积网络模块分别包括多个残差模块。
42.第二方面，本发明提供一种病灶点可视化方法，包括：
43.获取待测眼底图像；
44.将所述待测眼底图像通过已训练好的白内障分类网络中的多级卷积网络模块，得到第一特征图集；
45.根据所述第一特征图集，计算所述第一特征图集对应的类激活图；
46.将所述类激活图与所述待测眼底图像叠加，得到用于可视化病灶点的目标图像；
47.输出所述目标图像。
48.根据本发明第二方面提供的病灶点可视化方法，至少具有如下有益效果：将待测眼底图像输入已训练好的白内障分类网络中的多级分类网络模块，计算得到第一特征图集，并根据第一特征图集，计算其对应的类激活图，将类激活图与待测眼底图像叠加，能够得到用于可视化病灶点的目标图像，对待测眼底图像病灶点的可视化便于用户得到病灶点的位置，便于后期治疗，提升了用户的使用体验。
49.根据本发明第二方面的一些实施例，所述根据所述第一特征图集，计算所述第一特征图集对应的类激活图，包括：
50.根据所述第一特征图集，计算所述第一特征图集对应的梯度图集；
51.对所述梯度图集的梯度图求取平均，得到所述第一特征图集中的特征图对应的权重；
52.将所述第一特征图集中的特征图与对应的权重进行加权求和并通过激活函数，得到所述第一特征图集对应的类激活图。
53.第三方面，本发明提供一种白内障分类装置，包括：
54.图像采集模块，所述图像采集模块用于获取待测眼底图像；
55.分类网络模块，所述分类网络模块用于将所述待测眼底图像输入至已训练好的白内障分类网络，得到输出特征向量；
56.分类判别模块，所述图像判别模块用于根据所述输出特征向量，得到所述待测眼底图像的类型信息。
57.由于第三方面的白内障分类装置可执行第一方面任一项的白内障分类方法和/或第二方面任一项的病灶点可视化方法，因此具有本发明第一方面的所有有益效果。
58.第四方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时如第一方面任一项所述的白内障分类方法和/或如第二方面任一项所述的病灶点可视化方法。
59.由于第四方面的处理器执行所述计算机程序时如第一方面任一项的白内障分类方法和/或如第二方面任一项的病灶点可视化方法，因此具有本发明第一方面的所有有益效果。
60.第五方面，本发明提供一种计算机存储介质，包括存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面任一项所述的白内障分类方法和/或如第二方面任一项所述的病灶点可视化方法。
61.由于第五方面的计算机存储介质可执行如第一方面任一项的白内障分类方法和/或如第二方面任一项的病灶点可视化方法，因此具有本发明第一方面的所有有益效果。
62.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
63.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
64.图1是本技术一个实施例提供的白内障分类装置的结构框图；
65.图2是本技术一个实施例提供的白内障分类方法的主要步骤图；
66.图3是本技术一个实施例提供的白内障分类网络的训练步骤图；
67.图4是本技术一个实施例提供的白内障分类方法的预处理的方法步骤图；
68.图5是本技术一个实施例提供的白内障分类方法的预处理的另一方法步骤图；
69.图6是本技术一个实施例提供的白内障分类方法的白内障分类网络处理的方法步骤图；
70.图7是本技术一个实施例提供的白内障分类方法的白内障分类网络处理的另一方法步骤图；
71.图8是本技术一个实施例提供的白内障分类方法的卷积网络模块处理的方法步骤图；
72.图9是本技术一个实施例提供的病灶点可视化方法的主要步骤图；
73.图10是本技术一个实施例提供的病灶点可视化方法的类激活图计算的方法步骤图；
74.图11是本技术一个实施例提供的白内障分类网络的结构框图；
75.图12是本技术一个实施例提供的白内障分类网络生成的特征图的示意图；
76.图13是本技术一个实施例提供的输出特征向量的示意图；
77.图14是本技术一个实施例提供的白内障的病灶点可视化的对比图。
具体实施方式
78.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术实施例。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术实施例的描述。
79.需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
80.还应当理解，在本技术实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构
或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
81.老化、遗传、局部营养障碍、免疫与代谢异常、外伤、中毒、辐射等引起的晶状体代谢紊乱，从而导致晶状体蛋白质变性而发生浑浊的眼部疾病，称为白内障。白内障患者的晶状体浑浊使得光线无法投射在视网膜上，导致患者视线模糊。白内障按照按晶状体浑浊的部位主要分为皮质性、核性和后囊下三种类型。
82.目前，临床上通过locs iii分类方法观察裂隙镜和回照反射图像，对三种类型分别进行分别评估。locs iii评估方法完全基于医生的主观观察和临床经验，耗时耗力，且很多基层和社区门诊并不具备这样的诊断条件。而三种不同类型白内障在手术时机，手术方法和病人病程特征上都有所不同，对白内障类型的判断可能会占用较多时间，导致白内障患者无法得到及时治疗。
83.基于此，本技术实施例提供了一种白内障分类方法、病灶点可视化方法及相关装置。本技术实施例通过已知的眼底图像和与其对应的类别建立白内障分类网络模型，实现基于眼底图像对不同类型白内障的分类。
84.下面结合附图，对本技术实施例作进一步阐述。
85.如图1所示，图1是本技术一个实施例提供的白内障分类装置的结构框图。在图1的示例中，白内障分类装置包括图像采集模块100、分类网络模块200和分类判别模块300。
86.其中，图像采集模块100与分类网络模块200通信连接，图像采集模块100用于获取待测眼底图像。
87.分类网络模块200分别于图像采集模块100、分类判别模块300通信连接，分类网络模块200用于将待测眼底图像输入至已训练好的白内障分类网络，得到输出特征向量。
88.分类判别模块300与分类网络模块200通信连接，分类判别模块300用于根据输出特征向量，得到待测眼底图像的类型信息。
89.在本实施例中，图像采集模块100将获取到的待测眼底图像发送给分类网络模块200；分类网络模块200将获取到的待测眼底图像输入至已训练好的白内障分类网络，得到输出特征向量，并将输出特征向量发送给分类判别模块300；分类判别模块300根据得到的输出特征向量，得到待测眼底图像的类型信息。
90.本技术实施例描述的装置以及应用场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
91.本领域技术人员可以理解的是，图1中示出的装置结构并不构成对本技术实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
92.在图1所示的装置结构中，各个模块可以分别调用其储存的白内障分类程序，以执行类白内障分类方法。
93.基于上述装置，提出本技术实施例的白内障分类方法的各个实施例。
94.如图2所示，图2是本技术一个实施例提供的白内障分类方法的主要步骤图。该白内障分类方法包括但不限于以下步骤：
95.步骤s100、获取待测眼底图像。
96.步骤s200、将待测眼底图像输入至已训练好的白内障分类网络，得到输出特征向量。
97.可以理解的是，白内障分类网络通过多组白内障类型已知的眼底图像训练生成，随着眼底图像数据量的增大，白内障分类网络的性能改善，其识别待测眼底图像的准确率提高。
98.步骤s300、根据输出特征向量，得到待测眼底图像的类型信息。
99.可以理解的是，白内障分类方法能够对多种白内障进行分类，优选的，本技术实施例提供的白内障分类方法可以对输出特征向量进行三分类或四分类，对于四分类而言，该白内障分类方法将待测眼底图像判断为“皮质性白内障、核性白内障、后囊下白内障”的一种，对于三分类而言，该白内障分类方法将待测眼底图像判断为“皮质性白内障、核性白内障、后囊下白内障”的一种。
100.可以理解的是，参照图13，根据输出特征向量所对应的折线图的走向，对待测眼底图像进行判别。
101.可以理解的是，本技术实施例提供的白内障分类方法通过获取待测眼底图像，将待测眼底图像输入至已训练好的白内障分类网络，得到特征向量，并根据输出特征向量，对待测眼底图像进行分类，得到待测眼底图像的类型信息，该白内障分类方法能够获取待测眼底图像对应的白内障分类结果，减少了人工判断的过程，使得患者的治疗更加即时，提高了用户的使用体验。
102.需要说明的是，参照图3，图3是本技术实施例提供的白内障分类网络的训练方法的步骤图，该白内障分类网络的训练方法包括但不限于以下步骤：
103.步骤s310、获取多张样本眼底图像以及样本眼底图像对应的白内障类别。
104.步骤s320、将样本眼底图像输入至待训练的白内障分类网络，得到样本眼底图像对应的样本特征向量。
105.步骤s330、将样本特征向量进行分类，得到的样本特征向量与样本眼底图像对应的白内障类别相对应。
106.可以理解的是，样本眼底图像与白内障类别之间的对应关系需要保持极的准确率越高，白内障分类网络的性能也就越好，判别能力也就更强。
107.可以理解的是，样本眼底图像的数量越高，会改善白内障分类网络的性能，增强白内障分类网络的判别能力。
108.需要说明的是，参照图4，图4是本技术一个实施例提供的白内障分类方法的预处理的方法步骤图，该白内障分类方法的预处理位于步骤s100与s200之间，且该方法包括但不限于以下步骤：
109.步骤s410、对待测眼底图像的尺寸均一化。
110.步骤s420、对待测眼底图像的rgb值均一化。
111.步骤s430、将尺寸、rgb值均一化后的结果更新为待测眼底图像。
112.可以理解的是，对尺寸和rgb值的均一化使得待测眼底图像保持统一，使得待测眼
底图像能够匹配白内障分类网络的三色均值，便于后期处理。
113.需要说明的是，参照图5，图5是本技术一个实施例提供的白内障分类方法的预处理的另一方法步骤图，其中，步骤s410包括但不限于以下步骤：
114.步骤s411、将待测眼底图像的尺寸统一为n0*n0，其中，n0为大于等于1的正整数。
115.可以理解的是，通过对待测眼底图像的上下边缘进行切图，实现待测眼底图像的均一化。另外，还可以通过对待测眼底图像的四个边缘的任意组合方式进行切图，例如，对待测眼底图像的左右边缘进行切图，或者，对待测眼底图像的四个边缘同时进行切图，并且还可以对待测眼底图像进行等比例缩小或放大的方式实现待测眼底图像尺寸的均一化。对于待测眼底图像，任意的均一化方式进行组合也能够实现尺寸的均一化。
116.在一实施例中，将待测眼底图像的尺寸统一为224*224。
117.步骤s410包括但不限于以下步骤：
118.步骤s421、根据预设的rgb均值和rgb方差，计算待测眼底图像的rgb值。
119.待测眼底图像的rgb值可以表示为：
120.x＝(x-mean(x))/std(x)
121.其中，mean为预设的rgb均值，std为预设的rgb方差，且经过尺寸、rgb值均一化后的待测眼底图像为3通道的n0*n0结构。
122.可以理解的是，预设的rgb均值和rgb方差为白内障分类网络训练过程中对样本眼底图像进行处理所得到的，rgb均值为所有样本眼底图像的均值，rgb方差为所有样本眼底图像的方差。
123.需要说明的是，参照图6和图11，图6是本技术一个实施例提供的白内障分类方法的白内障分类网络处理的方法步骤图，步骤s200包括但不限于以下步骤：
124.步骤s210、将待测眼底图像通过多级卷积网络模块进行扩充，得到第一特征图集，其中，第一特征图集为m通道的n
t
*n
t
结构，m为大于等于1的正整数,n
t
为大于等于1的正整数。
125.可以理解的的是，通过将待测眼底图像通过多级卷积网络模块进行扩充，得到的第一特征图集的结构能够满足所需，方便输出特征向量的计算。
126.步骤s220、将第一特征图集依次通过池化层、全连接层和激活函数，得到输出特征向量。
127.可以理解的是，第一特征图集通过的池化层为平均池化层，能够降低输出向量的维度，提取更好的、具有更强烈的语义信息的特征，且平均池化可以保留背景信息，便于后期对白内障的类型进行判别。
128.可以理解的是，
129.需要说明的是，卷积网络模块的通道数逐级增加，和/或，卷积网络模块生成的特征图的尺寸逐级递减，以使得第一特征图集中特征图的尺寸满足：n
t
＝n0/2s，s为卷积网络模块的级数，待测眼底图像的尺寸为n0*n0。
130.可以理解的是，在待测眼底图像通过多级卷积网络模块进行扩充以得到第一特征图集的过程中，当待测眼底图像的尺寸满足所需时，卷积网络模块的通道数逐级增加，或者，当待测眼底图像的通道数满足所需时，卷积网络模块生成的特征图的尺寸逐级递减，或者，当待测眼底图像的尺寸、通道数都不满足需求时，卷积网络模块的通道数逐级增加，且
卷积网络模块生成的特征图的尺寸逐级递减。
131.需要说明的是，参照图7和图11，图7是本技术一个实施例提供的白内障分类方法的白内障分类网络处理的另一方法步骤图，且待测眼底图像为3通道的n*n结构，步骤s210包括但不限于以下步骤：
132.步骤s211、将待测眼底图像通过第一级卷积网络模块，得到第二特征图集，其中，第二特征图集为m/25通道的n/22*n/22的结构。
133.步骤s212、将第二特征图集通过第二级卷积网络模块，得到第三特征图集，其中，第三特征图集为m/23通道的n/22*n/22结构。
134.步骤s213、将第三特征图集通过第三级卷积网络模块，得到第四特征图集，其中，第四特征图集为m/22通道的n/23*n/23结构。
135.步骤s214、将四特征图集通过第四级卷积网络模块，得到第五特征图集，其中，第五特征图集为m/2通道的n/24*n/24结构。
136.步骤s215、将第五特征图集通过第五级卷积网络模块，得到第一特征图集,其中，n
t
＝n0/25137.可以理解的是，参照图12，对于结构为3通道的224*224的待测眼底图像，将待测眼底图像通过第一级卷积网络模块，得到结构为64通道56*56的第二特征图集；将第二特征图集通过第二级卷积网络模块，得到结构为256通道的56*56第三特征图集；将第三特征图集通过第三级卷积网络模块，得到结构为512通道的28*28第四特征图集；将四特征图集通过第四级卷积网络模块，得到结构为1024通道的14*14第五特征图集；将第五特征图集通过第五级卷积网络模块，得到结构为2048通道的7*7第一特征图集。
138.需要说明的是，参照图8，图8是本技术一个实施例提供的白内障分类方法的卷积网络模块处理的方法步骤图，步骤s211包括但不限于以下步骤：
139.步骤s216、将待测眼底图像通过卷积核。
140.步骤s217、将经过卷积核的待测眼底图像依次通过批量归一化层、激活函数以及最大池化层，得到第二特征图集。
141.可以理解的是，第一级卷积网络模包括卷积核、批量归一化层、激活函数以及最大池化层，通过步骤s217至步骤s217实现第一级卷积网络对待测眼底图像的扩充。
142.在一实施例中，将结构为64通道112*112的待测眼底图像输入至步长为2的7*7的64通道卷积核，再将经过卷积核的待测眼底图像依次通过批量归一化层、relu激活函数以及步长为2最大池化层，得到结构为64通道56*56的第二特征图集，其中，最大池化层通过一个3*3矩阵实现。
143.可以理解的是，参照图12，第一列中的前四个图像分别为待测眼底图像通过卷积核、批量归一化层、激活函数以及最大池化层的图像。
144.需要说明的是，第二级卷积网络模块、第三级卷积网络模块、第四级卷积网络模块和第五级卷积网络模块分别包括多个残差模块。
145.可以理解的是，本技术实施例对第二级卷积网络模块、第三级卷积网络模块、第四级卷积网络模块和第五级卷积网络模块中残差模块的数量不做限制，可根据实际情况对残差模块的数量进行改变。
146.在一实施例中，第二级卷积网络模块包括3个残差模块，第三级卷积网络模块包括
4个残差模块，第四级卷积网络模块包括6个残差模块，第五级卷积网络模块包括3个残差模块。
147.可以理解的是，参照图12，第一行从左到右此次为待测眼底图像通过卷积核、批量化归一层、激活函数、最大池化第二级卷积网络的图像，第二行从左到右此次为通过第三级卷积网络、第四级卷积网络、第五级卷积网络、平均池化层、全连接层的图像。
148.可以理解的是，参照图12至图13，图13中的图像由上至下分别为皮质性白内障、核性白内障、后囊下白内障的所对应的输出特征向量。其中横坐标中，“1”代表的为皮质性白内障，“2”代表的是核性白内障，“3”代表的是后囊下白内障，能够根据输出特征向量判断白内障的具体类别。
149.参照图11至图13，待测眼底图像经过预处理，对待测眼底图像实现尺寸和rgb值的均一化，然后将将待测眼底图像输入至已训练好的白内障分类网络，得到输出特征向量，白内障分类网络包括多级卷积网络模块和池化层、全连接层、激活函数，多级卷积网络模块用于对图像进行扩充，根据输出特征向量，能够得到待测眼底图像的类型信息，该白内障分类方法减少了人工判断的过程，使得患者的治疗更加即时，提升了用户的使用体验。
150.另外，如图9所示，本技术实施例提供一种病灶点可视化方法，包括但不限于以下步骤：
151.步骤s510、获取待测眼底图像。
152.步骤s520、将待测眼底图像通过已训练好的白内障分类网络中的多级卷积网络模块，得到第一特征图集。
153.可以理解的是，白内障分类网络中的多级卷积网络模块为步骤s310至步骤s330、步骤s210至步骤s220的多级卷积网络模块。
154.步骤s530、根据第一特征图集，计算第一特征图集对应的类激活图。
155.步骤s540、将类激活图与待测眼底图像叠加，得到用于可视化病灶点的目标图像。
156.步骤s550、输出目标图像。
157.可以理解的是，参照图14，第一行为核性白内障对应的待测眼底图像和第四特征图集、第五特征图就、第一特征图集对应的目标图像，第一行为皮质性白内障对应的待测眼底图像和第四特征图集、第五特征图就、第一特征图集对应的目标图像，第一行为后囊下白内障对应的待测眼底图像和第四特征图集、第五特征图就、第一特征图集对应的目标图像，可以得到第一特征图集的可视化效果最好，并能够根据目标图像得到白内障病灶点的位置。
158.根据本发明第二方面提供的病灶点可视化方法，至少具有如下有益效果：将待测眼底图像输入已训练好的白内障分类网络中的多级分类网络模块，计算得到第一特征图集，并根据第一特征图集，计算其对应的类激活图，将类激活图与待测眼底图像叠加，能够得到用于可视化病灶点的目标图像，对待测眼底图像病灶点的可视化便于用户得到病灶点的位置，便于后期治疗，提升了用户的使用体验。
159.需要说明的是，参照图10，图10是本技术一个实施例提供的病灶点可视化方法的类激活图计算的方法步骤图，步骤s530包括但不限于以下步骤：
160.步骤s531、根据第一特征图集，计算第一特征图集对应的梯度图集；
161.步骤s532、对梯度图集的梯度图求取平均，得到第一特征图集中的特征图对应的
权重；
162.步骤s533、将第一特征图集中的特征图与对应的权重进行加权求和并通过激活函数，得到第一特征图集对应的类激活图。
163.可以理解的是，计算第一特征图集的类激活图，并与待测眼底图像进行叠加，够得到用于可视化病灶点的目标图像，对待测眼底图像病灶点的可视化便于用户得到病灶点的位置，便于后期治疗，提升了用户的使用体验。
164.另外，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时如步骤s100至步骤s300的白内障分类方法和/或如步骤s510至步骤s550的病灶点可视化方法。
165.处理器和存储器可以通过总线或者其他方式连接。
166.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
167.实现上述实施例的白内障分类方法和/或病灶点可视化方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的白内障分类方法，例如，执行以上描述的图2中的方法步骤s100至s300，或者，执行上述实施例中的病灶点可视化方法，例如，执行以上描述的图9中的方法步骤s510至步骤s550。
168.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
169.此外，本技术实施例的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，可使得上述处理器执行上述实施例中的白内障分类方法，例如，执行以上描述的图2中的方法步骤s100至s300、图3中的方法步骤s310至s330、图4中的方法步骤s410至s430、图5中的方法步骤s411和s421、图6中的方法步骤s210至s220、图7中的方法步骤s211至s215、图8中的方法步骤s216至s217。又如，被上述实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的眼底图像增强方法，例如，执行以上描述的图9中的方法步骤s510至s550、图10中的方法步骤s531至s533。
170.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、
cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
171.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。