利用迁移学习的眼底图像质量评价装置及方法

1.本发明涉及眼底图像质量评价装置及方法，更具体地，涉及一种利用迁移学习的眼底图像质量评价装置及方法，其利用使用卷积神经网络(convolution neural network，cnn)模型的迁移学习，对所获取的眼底图像进行数据预处理后，评价眼底图像的质量，从而丢弃低质量的图像，仅将高质量的图像应用于学习，其中，卷积神经网络是对一般图像进行学习的图像分类人工智能模型。


背景技术：

2.糖尿病性视网膜病变(diabetic retinopathy，dr)作为视网膜的血管并发症，会对视网膜造成损害，由此，如果不立即进行治疗，则会导致严重视力丧失。
3.可以通过根据定期筛查糖尿病性视网膜病变的早期检测和适当治疗来将由糖尿病性视网膜病变引起的失明风险降低50％程度。
4.通常，为诊断眼科疾病，进行光学相干断层成像等来获取眼底图像。
5.眼底图像用于诊断和检查糖尿病性视网膜病变(diabetic retinopathy，dr)、青光眼(glaucoma)、年龄相关性黄斑变性(age-related maculas degeneration，amd)等许多眼科疾病。因此，眼底图像的质量可能影响临床医生能够进行正确检查和诊断的能力。
6.手动检查是有限的，且进行手动检查需要更多的时间。许多研究人员研究和开发了一种眼底图像质量评价装置，该装置自动评价视网膜图像的质量，用于区分低质量的眼底图像，并将高质量的眼底图像用于眼部疾病的诊断。
7.眼底图像质量评价是在自动检查及眼病诊断之前，过滤低质量的视网膜图像的重要过程。
8.现有的眼底图像质量评价装置，基于检测普通的图像特征(颜色、焦点、对比度及照度)，在视网膜图像中，将具有暗、亮、模糊、边界线及低对比度的眼底图像评价为低质量的图像，并将具有聚焦图像及高对比度的眼底图像评价为高质量的图像。
9.并且，其他现有的眼底图像质量评价装置检测不均匀区域，并评价划分的噪声掩膜(noise mask)是否影响临床相关区域(黄斑周围)。
10.为了分析如上所述的眼底图像的特征，开发了眼底图像质量评价装置，其使用了利用人工智能的方法。这种人工智能方式的眼底图像质量评价装置的准确度，会根据所学习的数据集而不同。
11.上述人工智能方式，通常使用卷积神经网络(convolution neural network，cnn)方式，该方式具有能够从许多图像提取一般特征的能力。
12.然而，为了学习对眼底图像的质量评价，需要经过利用5个以上的卷积(convolution)层和2个以上的全连接(fully connected，fc)层，对给出的复杂图像的特征进行提取的学习过程，因此具有在单个cpu环境中学习所需的时间可能会消耗数百小时～数千小时的问题。
13.并且，当直接使用眼底图像时，存在需要消耗大量时间来分析不必要的图像区域
的问题。
14.现有技术文献
15.专利文献
16.专利文献1：韩国公开专利第10-2020-0065923号(2020.06.09公开)


技术实现要素：

17.发明所要解决的问题
18.因此，本发明的目的在于提供一种利用迁移学习的眼底图像质量评价装置及方法，其利用使用卷积神经网络模型的迁移学习，对所获取的眼底图像进行数据预处理后，评价眼底图像的质量，从而丢弃低质量的图像，仅将高质量的图像应用于学习，其中，卷积神经网络是对一般图像进行学习的图像分类人工智能模型。
19.用于解决问题的方案
20.用于达成上述目的的，根据本发明的利用迁移学习的眼底图像质量评价装置包括：眼底图像获取部，其获取学习数据集并输出，其中，上述学习数据集为低质量的多个眼底图像及高质量的多个眼底图像；迁移学习部，将平均池化2d层、扁平(flatten)层及全连接层设于从图像提取特征的卷积神经网络(cnn)人工智能模型上，并接收上述学习数据集来执行迁移学习，从而生成用于评价上述眼底图像的质量的眼底图像质量评价模型；评价图像获取部，其获取待评价的评价对象眼底图像并输出；及图像质量评价部，其接收上述眼底图像质量评价模型并驱动，且将上述评价对象眼底图像适用于上述眼底图像质量评价模型来评价上述评价对象眼底图像的质量，并输出评价结果。
21.上述装置还包括：图像预处理部，其执行对上述学习数据集的眼底图像及上述评价对象眼底图像的尺寸及数量进行调节的数据预处理并输出。
22.上述图像预处理部包括：感兴趣区域获取部，其对上述学习数据集的眼底图像及上述评价对象眼底图像的尺寸进行调节，并提取感兴趣区域；及图像增量部，其增加上述学习数据集的眼底图像及上述评价对象眼底图像的图像数量。
23.上述感兴趣区域获取部包括：背景画面去除部，其去除上述眼底图像的背景画面；掩膜部，其掩膜上述眼底图像的视神经盘部分并获取；及图像改善部，其降低上述掩膜的强度梯度特性且增加对比度并输出。
24.上述图像获取部获取数据集，其中，上述数据集包括125个高质量的眼底图像、69个低质量的眼底图像及未使用的22个外层眼底图像。
25.用于达成上述目的的，根据本发明的利用迁移学习的眼底图像质量评价方法包括：眼底图像获取步骤，眼底图像获取部获取学习数据集并输出，其中，上述学习数据集为低质量的多个眼底图像及高质量的多个眼底图像；迁移学习步骤，迁移学习部将平均池化2d层、扁平(flatten)层及全连接层设于从图像提取特征的卷积神经网络(cnn)人工智能模型上，并接收上述学习数据集来执行迁移学习，从而生成用于评价上述眼底图像的质量的眼底图像质量评价模型；评价图像获取步骤，评价图像获取部从光学相干断层视频摄像机获取待评价的评价对象眼底图像并输出；及图像质量评价步骤，图像质量评价部接收上述眼底图像质量评价模型并驱动，且将上述评价对象眼底图像适用于上述眼底图像质量评价模型来评价上述评价对象眼底图像的质量，并输出评价结果。
26.上述方法还包括：图像预处理步骤，图像预处理部执行对从上述眼底图像获取部输出的上述学习数据集的眼底图像及从评价图像获取部输出的上述评价对象眼底图像的尺寸及数量进行调节的数据预处理并输出。
27.上述图像预处理步骤包括：感兴趣区域获取步骤，调节上述学习数据集的眼底图像及上述评价对象眼底图像的尺寸，并提取感兴趣区域；及图像增量步骤，增加上述学习数据集的眼底图像及上述评价对象眼底图像的图像数量。
28.上述感兴趣区域获取步骤包括：背景画面去除步骤，去除上述眼底图像的背景画面；掩膜步骤，掩膜上述眼底图像的视神经盘部分并获取；及图像改善步骤，降低上述掩膜的强度梯度特性且增加对比度并输出。
29.发明效果
30.由于本发明利用迁移学习，因此只需获取最少眼底图像即可，从而具有容易构建眼底图像质量评价装置的效果。
31.并且，由于本发明利用迁移学习，因此具有将学习时间最小化且可以提高眼底图像质量评价性能的效果，由此还具有容易构建眼底图像质量评价装置的效果。
32.并且，本发明执行从学习及评价之前所获取的眼底图像去除不必要的区域，仅获取感兴趣区域的预处理，从而，具有能够更快、更准确地评价眼底图像质量的效果。
33.并且，本发明将仅获取感兴趣区域的一个眼底图像增量至多个图像，因此具有能够提高学习及评价时的学习性能及评价性能的效果。
附图说明
34.图1是示出根据本发明的利用迁移学习的眼底图像质量评价装置的结构的图。
35.图2是示出根据本发明的眼底图像的增量图像的图。
36.图3是示出根据本发明的利用迁移学习的眼底图像质量评价装置的眼底图像评价的训练准确度及有效准确度的曲线图。
37.图4是示出根据本发明的利用迁移学习的眼底图像质量评价方法的流程图。
38.图5是在根据本发明的利用迁移学习的眼底图像质量评价方法中示出数据预处理方法的流程图。
39.附图标记说明：
40.100：眼底图像获取部
ꢀꢀꢀꢀ
200：评价图像获取部
41.300：图像预处理部
ꢀꢀꢀꢀꢀꢀ
310：感兴趣区域获取部
42.311：背景画面去除部
ꢀꢀꢀꢀ
312：掩膜部
43.313：图像改善部
ꢀꢀꢀꢀꢀꢀꢀꢀ
320：图像增量部
44.400：迁移学习部
ꢀꢀꢀꢀꢀꢀꢀꢀ
500：图像质量评价部。
具体实施方式
45.以下，参照附图对根据本发明的利用迁移学习的眼底图像质量评价装置的构成及动作进行详细的描述，并且对上述装置的眼底图像质量评价方法进行说明。
46.图1是示出根据本发明的利用迁移学习的眼底图像质量评价装置的结构的图，图2是示出根据本发明的眼底图像的增量图像的图，图3是示出根据本发明的利用迁移学习的
眼底图像质量评价装置的眼底图像评价的训练准确度及有效准确度的曲线图。以下参照图1至图3进行说明。
47.根据本发明的利用迁移学习的眼底图像质量评价装置包括：眼底图像获取部100、评价图像获取部200、图像预处理部300、迁移学习部400及图像质量评价部500。
48.上述眼底图像获取部100获取数据集并输出到图像预处理部300。其中，数据集包括，通过眼底相机提前获取并由专家选择的多个高质量的眼底图像、低质量的眼底图像及未使用的外层(outlayer)眼底图像。作为一例，上述数据集可以包括共216个眼底图像，其中，上述高质量的眼底图像为125个，低质量的眼底图像为69个，外层眼底图像为22个。
49.评价图像获取部200获取实际要评价的评价对象眼底图像并输出到图像预处理部300。上述评价对象眼底图像可以从眼底相机获取，也可以从其他装置接收而获取。
50.图像预处理部300包括感兴趣区域获取部310及图像增量部320，以便从上述眼底图像获取部100输出的学习数据集的眼底图像及从评价图像获取部200所获取的眼底图像提取感兴趣区域，并且增加被提取的感兴趣区域的眼底图像的数量。
51.感兴趣区域获取部310包括：背景画面去除部311、掩膜部312及图像改善部313。
52.背景画面去除部311去除包括在被输入的眼底图像的背景画面并输出。
53.掩膜部312从去除了背景画面的眼底图像中，掩膜(masking)包括视神经盘的感兴趣区域并输出。上述掩膜也可以通过根据本发明的利用cnn的迁移学习来执行。
54.图像改善部313通过降低上述掩膜的眼底图像的强度梯度特性，并且提高对比度来改善质量并输出。
55.图像增量部320通过数学式1调节一个眼底图像的增加量α(或称为“对比度调整值”)来生成多个眼底图像，以增加眼底图像的数量。
56.【数学式1】
57.g(x)＝αf(x)+β
58.其中，α为增加量及对比度调整值，β为偏差极限(bias limit)或亮度，f(x)为图像像素的源，g(x)为图像像素的结果值。
59.例如，上述α的初始值可以为0.52，并且可以将α值从0.06增加至1.12来获取10个对比性的图像的结果值，并且，如图2所示，通过根据数学式1的增量计算，可以获取包括原图的15个(根据β值获取4个增量眼底图像)增量眼底图像。
60.迁移学习部400适用对诸多一般图像进行预先学习的卷积神经网络(convolution neural networks，cnn)，为了本发明的迁移学习，上述cnn额外包括3个层。
61.上述cnn包括输入层、隐藏层及输出层。隐藏层包括卷积层、池化层、全连接层、泛化层(relu)。
62.cnn在初始层会学习图像的基本特征。池化层将会减少图像集。泛化层被参考为将过滤的图像的负值设置为0的relu过程。该过程在过滤的所有图像中反复，且增加模型的非线性。cnn存在多种模型，但优选地，可以使用inception-v3模型。
63.迁移学习部400为了迁移学习，包括上述cnn的所学习的人工智能模型，且上述人工智能模型还包括平均池化2d层、扁平(flatten)层及全连接层，并且，接收通过上述图像预处理部300进行数据预处理的学习数据集，进行用于眼底图像的质量评价的学习，生成眼底图像质量评价模型后，提供至图像质量评价部500。上述质量评价可以由2个等级构成，也
可以由3个以上的等级构成。
64.上述迁移学习部400将从上述图像预处理部300收到的学习数据集中的80％使用于学习，将上述学习数据集中的20％使用于验证。
65.根据本发明的迁移学习结果，如图3所示，神经网络的训练准确度显示为97.93％，验证结果显示为96.97％。
66.图4是示出根据本发明的利用迁移学习的眼底图像质量评价方法的流程图。
67.参照图4，首先迁移学习部400通过管理员构造眼底图像质量评价模型，该眼底图像质量评价模型为，在现有的cnn人工智能模型(例如，inception v3等)中，结合了用于根据本发明的眼底图像质量评价的3个层(即由平均池化2d层、扁平层及全连接层)的迁移学习模型(s111)。
68.眼底图像获取部100获取学习数据集，并输出到图像预处理部300，其中，上述学习数据集包括高质量的多个眼底图像和低质量的多个眼底图像(s113)。
69.当图像预处理部300从眼底图像获取部100接收学习数据集时，从学习数据集的各个眼底图像获取感兴趣区域，并针对获取的感兴趣区域的各个眼底图像，改变增量值及亮度等参数来进行增加眼底图像数量的数据预处理后，将眼底图像的数量增加的学习数据集输出到迁移学习部400(s115)。
70.迁移学习部400将从图像预处理部300接收的学习数据集适用于眼底图像质量评价模型(即迁移学习模型)，并使其学习，并且将已学习的眼底图像质量评价模型提供至图像质量评价部500(s117)。
71.评价图像获取部200监测，在通过迁移学习部400进行眼底图像质量评价模型的学习后，是否有评价对象眼底图像输入(s119)，当有评价对象眼底图像输入时，输出到图像预处理部300。
72.接收上述评价对象眼底图像的图像预处理部300，对评价对象眼底图像进行如上所述的数据预处理，并输出到图像质量评价部500。
73.当图像质量评价部500从图像预处理部300接收数据预处理的评价对象眼底图像时，适用于眼底图像质量评价模型(即上述已学习的迁移学习模型)(s123)，输出质量评价结果(s125)。也可以对上述评价对象眼底图像执行感兴趣区域数据预处理，但不执行图像增量。
74.当眼底图像增量时，图像质量评价部500在对增量的各个眼底图像进行质量评价后，可以输出对各个眼底图像的质量评价结果，也可以输出平均质量评价结果。
75.图5是在根据本发明的利用迁移学习的眼底图像质量评价方法中示出数据预处理方法的流程图。
76.参照图5，图像预处理部300通过感兴趣区域获取部310，从接收的学习数据集的各个眼底图像获取感兴趣区域(s210)。
77.具体地，图像预处理部300去除各个眼底图像的背景画面(s211)，并执行从去除背景画面的各个眼底图像裁剪包括视神经盘的特定尺寸的区域的掩膜(masking)动作(s213)。
78.当完成掩膜时，图像预处理部300在获得期望部分的期望尺寸的眼底图像时，降低强度梯度特性，改善质量使得对比度提高(s215)。
79.当生成仅包括感兴趣区域的眼底图像时，图像预处理部300通过图像增量部320改变仅包括上述感兴趣区域的各个眼底图像的参数来增加上述各个眼底图像的图像数量后，输出到迁移学习部400(s220)。
80.上述图像预处理部300针对从图像获取部200接收的评价对象眼底图像，可以同样地进行感兴趣区域提取动作及图像数量增加动作，也可以仅进行感兴趣区域提取动作。
81.一方面，本领域技术人员能够容易地理解，本发明不限于上述典型的优选实施例，而是在不脱离本发明主旨的范围内，可以以改进、改变、替换或附加等各种方式来实施。如果通过这样的改进、改变、替换或附加而实现的实施落入所附权利要求的范围内，那么其技术思想也应该属于本发明。