视网膜病变评估模型建立方法及系统与流程

[0001]
本发明涉及一种评估模型建立方法，特别是涉及一种视网膜病变评估模型建立方法及系统。


背景技术：

[0002]
糖尿病是一种因胰岛素缺乏或拮抗胰岛素功能的因子出现导致血糖上升的疾病，而长期血糖上升会引起眼部视网膜微细血管病变，称为糖尿病视网膜病变(diabetic retinopathy)。
[0003]
大部分的第一型(胰岛素依赖型iddm)糖尿病患在患病的15至20年后都会发生视网膜病变，其中有20％至30％的病患会导致失明；而第二型(非胰岛素依赖型niddm)糖尿病患则会有超过60％的机率发生视网膜病变。
[0004]
糖尿病视网膜病变真正的致病机转(mechanism)，至今仍未十分明了，但基本上可知长期血糖升高，会导致血小板凝集力上升，微细血管受损，进而引起微细血管局部膨大，渗漏、出血、阻塞等现象，而微细血管阻塞会造成视网膜缺氧进而导致网膜新生血管，过程中血管增生(angiogenic factors)的同时也会伴随着纤维性增生，最后造成增殖期糖尿病视网膜病变的变化。
[0005]
一般而言，糖尿病视网膜病变是借眼底镜(ophthalmoscope)医疗图像，依据血管、出血及斑点的程度判断进行评估分级，临床上，糖尿病视网膜病变严重程度的类目可分为7级，从无明显病变，到出现微细血管瘤甚至是严重的视网膜出血、静脉念珠状变化、网膜内微细血管异常、出现新生血管、出现玻璃体，或网膜前出血，更甚者达“增殖期”。
[0006]
然而，在医师根据眼底镜医疗图像进行评估分级时，是根据医师的经验进行评估分级，不同的医师间评估的等级也可能有些许的差异，例如，某地区医院的医师判断某患者视网膜病变为4级程度，另一地区医院的医师可能判断为5级程度，因此现有糖尿病视网膜病变的评估分级并没有一套精确的标准，且医师对于视网膜病变的评估不够客观，不同医师评估的落差对患者恐会造成负向的影响。


技术实现要素：

[0007]
本发明的目的在于提供一种能够建立起一套诊断标准的视网膜病变评估模型的视网膜病变评估模型建立方法。
[0008]
本发明的视网膜病变评估模型建立方法，由视网膜病变评估模型建立系统执行，所述视网膜病变评估模型建立系统存储多张分别相关于多个训练者的视网膜图像，每一视网膜图像对应病变严重程度等级，所述视网膜病变评估模型建立方法包含步骤(a)、步骤(b)、步骤(c)，及步骤(d)。
[0009]
在所述步骤(a)中，所述视网膜病变评估模型建立系统将所述视网膜图像进行图像校正，以获得多张校正后图像。
[0010]
在所述步骤(b)中，所述视网膜病变评估模型建立系统将所述校正后图像分群成
训练子集、验证子集，及测试子集。
[0011]
在所述步骤(c)中，所述视网膜病变评估模型建立系统根据所述训练子集中的每一校正后图像及其对应的病变严重程度等级，与所述验证子集中的每一校正后图像及其对应的病变严重程度等级，建立视网膜病变评估模型。
[0012]
在所述步骤(d)中，所述视网膜病变评估模型建立系统根据所述测试子集检测所述视网膜病变评估模型的准确率。
[0013]
较佳地，本发明的视网膜病变评估模型建立方法，每一视网膜图像包括感兴趣区域，步骤(a)包括以下子步骤：
[0014]
(a-1)对于每一视网膜图像，调整该视网膜图像的亮度值、灰阶值及色阶的其中至少一者，以去除该视网膜图像的噪声；及
[0015]
(a-2)对于每一调整后的视网膜图像，将调整后的该视网膜图像进行边界调整、裁切、翻转、平移及缩放的其中至少一者，以获得校正后图像，所述校正后图像包括的所述感兴趣区域具有相同大小、角度，及位置。
[0016]
较佳地，本发明的视网膜病变评估模型建立方法，步骤(c)包括以下子步骤：
[0017]
(c-1)对于所述训练子集的每一校正后图像，进行卷积运算，以获得特征图组；
[0018]
(c-2)对于每一特征图组，进行池化运算，以获得降低维度的特征图组；及
[0019]
(c-3)对于每一降低维度的特征图组及其对应的病变严重程度等级，利用归一化指数函数方法进行全连接运算，以建立训练模型；
[0020]
(c-4)根据所述训练子集中的每一校正后图像及其对应的病变严重程度等级、所述验证子集中的每一校正后图像及其对应的病变严重程度等级，及所述训练模型，建立所述视网膜病变评估模型。
[0021]
较佳地，本发明的视网膜病变评估模型建立方法，步骤(c-4)包括以下子步骤：
[0022]
(c-4-1)根据所述训练子集中的每一校正后图像及其对应的病变严重程度等级与所述验证子集中的每一校正后图像及其对应的病变严重程度等级判定所述训练模型是否过拟合或欠拟合；
[0023]
(c-4-2)当判定出所述训练模型过拟合或欠拟合时，调整所述训练模型，并重复步骤(c-4-1)；
[0024]
(c-4-3)当判定出所述训练模型未有过拟合且欠拟合时，所述训练模型即为所述视网膜病变评估模型。
[0025]
较佳地，本发明的视网膜病变评估模型建立方法，在步骤(c-4-2)中，进行调整相关于所述训练模型的超参数组，以及将所述训练子集中的每一校正后图像进行随机灰阶值调整以获得多张不同灰阶值的灰阶图像、进行随机平移以获得多张对应有不同感兴趣区域位置的平移图像、进行随机翻转以获得多张具有不同翻转角度的翻转图像，及进行随机缩放以获得多张具有不同大小且图像大小在224*224～299*299间的缩放图像的其中至少一者后，进行步骤(c-1)～(c-3)重新建立所述训练模型的其中至少一者，以调整所述训练模型。
[0026]
本发明的另一目的在于提供一种能够建立起一套诊断标准，并提供客观评估的视网膜病变评估模型的视网膜病变评估模型建立系统，所述系统包含存储单元、电连接所述存储单元的图像校正单元，及电连接所述图像校正单元的模型建立单元。
[0027]
所述存储单元存储多张分别相关于多个训练者的视网膜图像，每一视网膜图像对应病变严重程度等级。
[0028]
所述图像校正单元将所述视网膜图像进行图像校正，以获得多张校正后图像。
[0029]
所述模型建立单元将所述校正后图像分群成训练子集、验证子集，及测试子集，并根据所述训练子集中的每一校正后图像及其对应的病变严重程度等级，与所述验证子集中的每一校正后图像及其对应的病变严重程度等级，建立视网膜病变评估模型，最后根据所述测试子集检测所述视网膜病变评估模型的准确率。
[0030]
较佳地，本发明的视网膜病变评估模型建立系统，所述图像校正单元对于每一视网膜图像，调整所述视网膜图像的亮度值、灰阶值及色阶的其中至少一者，以去除所述视网膜图像的噪声，并对于每一调整后的视网膜图像，将调整后的该视网膜图像进行边界调整、裁切、翻转、平移及缩放的其中至少一者，以获得校正后图像，所述校正后图像包括的感兴趣区域具有相同大小、角度，及位置。
[0031]
较佳地，本发明的视网膜病变评估模型建立系统，所述模型建立单元对于所述训练子集的每一校正后图像，进行卷积运算，以获得特征图组，并对于每一特征图组，进行池化运算，以获得降低维度的特征图组，且对于每一降低维度的特征图组及其对应的病变严重程度等级，利用归一化指数函数方法进行全连接运算，以建立训练模型，再根据所述训练子集中的每一校正后图像及其对应的病变严重程度等级、所述验证子集中的每一校正后图像及其对应的病变严重程度等级，及所述训练模型，建立所述视网膜病变评估模型。
[0032]
较佳地，本发明的视网膜病变评估模型建立系统，所述模型建立单元根据所述训练子集中的每一校正后图像及其对应的病变严重程度等级与所述验证子集中的每一校正后图像及其对应的病变严重程度等级判定所述训练模型是否过拟合或欠拟合，并在判定出所述训练模型过拟合或欠拟合时，调整所述训练模型，并再判定所述训练模型是否过拟合或欠拟合，直到判定出所述训练模型未有过拟合且欠拟合，而在判定出所述训练模型未有过拟合且欠拟合时，将所述训练模型作为所述视网膜病变评估模型。
[0033]
较佳地，本发明的视网膜病变评估模型建立系统，所述模型建立单元进行调整相关于所述训练模型的超参数组，以及将所述训练子集中的每一校正后图像进行随机灰阶值调整以获得多张不同灰阶值的灰阶图像、进行随机平移以获得多张对应有不同感兴趣区域位置的平移图像、进行随机翻转以获得多张具有不同翻转角度的翻转图像，及进行随机缩放以获得多张具有不同大小且图像大小在224*224～299*299间的缩放图像的其中至少一者后，重新建立所述训练模型的其中至少一者，以调整所述训练模型。
[0034]
本发明的有益效果在于：借由所述模型建立单元根据所述训练子集中的每一校正后图像及其对应的病变严重程度等级，与所述验证子集中的每一校正后图像及其对应的病变严重程度等级建立能提供客观的视网膜病变评估的所述视网膜病变评估模型。
附图说明
[0035]
本发明的其他的特征及功效，将于参照图式的实施方式中清楚地呈现，其中：
[0036]
图1是一方块图，说明本发明视网膜病变评估模型建立系统的一实施例；
[0037]
图2是一流程图，说明本发明视网膜病变评估模型建立方法的一实施例；
[0038]
图3是一流程图，辅助说明图2的步骤21的子步骤211、212；
[0039]
图4是一流程图，辅助说明图2的步骤23的子步骤231～234；
[0040]
图5是一流程图，辅助说明图4的步骤234的子步骤2341～2343；及
[0041]
图6是一示意图，说明该视网膜病变评估模型输出的一预测结果。
具体实施方式
[0042]
在本发明被详细描述前，应当注意在以下的说明内容中，类似的组件是以相同的编号来表示。
[0043]
参阅图1，本发明视网膜病变评估模型建立系统1的一实施例，包含一存储单元11、一图像校正单元12，及一模型建立单元13。
[0044]
该存储单元11存储多张分别相关于多个训练者的视网膜图像，每一视网膜图像对应一病变严重程度等级，且包括一感兴趣区域。在本实施例中，该病变严重程度等级包括一指示出正常的第0等级、一指示出轻微症状的视网膜病变的第1等级、一指示出视网膜病变的第2等级，及一指示出严重程度的视网膜病变的第3等级，但不以此为限。
[0045]
该图像校正单元12电连接该存储单元11，该模型建立单元13电连接该图像校正单元12。
[0046]
参阅图1及图2，说明了本发明视网膜病变评估模型建立系统1如何执行本发明视网膜病变评估模型建立方法的该实施例，该实施例包含以下步骤。
[0047]
在步骤21中，该图像校正单元12将该存储单元11存储的所述视网膜图像进行图像校正，以获得多张校正后图像。搭配参阅图3，步骤21包括子步骤211、212，以下说明步骤211、212。
[0048]
在步骤211中，对于每一视网膜图像，该图像校正单元12调整该视网膜图像的亮度值、灰阶值及色阶的其中至少一者，以去除该视网膜图像的噪声。
[0049]
在步骤212中，对于每一调整后的视网膜图像，该图像校正单元12将调整后的该视网膜图像进行边界调整、裁切、翻转、平移及缩放的其中至少一者，以获得一校正后图像，所述校正后图像包括的所述感兴趣区域具有相同大小、角度，及位置，借此处理不同图像机器拍摄的视网膜图像的边界、角度，以及数据大小，以避免图像数据的遗失信息、极端信息与噪声影响。
[0050]
在步骤22中，该模型建立单元13将所述校正后图像分群成一训练子集、一验证子集，及一测试子集。
[0051]
在步骤23中，该模型建立单元13根据该训练子集中的每一校正后图像及其对应的病变严重程度等级，与该验证子集中的每一校正后图像及其对应的病变严重程度等级，建立一视网膜病变评估模型。搭配参阅图4，步骤23包括子步骤231～234，以下说明步骤231～234。
[0052]
在步骤231中，对于该训练子集的每一校正后图像，该模型建立单元13进行卷积(convolution)运算(进行特征选取与特征保留)，以获得一特征图(feature map)组。
[0053]
在步骤232中，对于每一特征图组，该模型建立单元13进行池化(pooling)运算(进行整合性的特征保留)，以获得一降低维度的特征图组。
[0054]
在步骤233中，对于每一降低维度的特征图组及其对应的病变严重程度等级，该模型建立单元13利用归一化指数(softmax)函数方法进行全连接(fully connected)运算，以
建立一训练模型。值得注意的是，该归一化指数函数能将一个含任意实数的n维向量z作为输入，并将其归一化为由n个机率组成的机率分布，使得每一个机率的范围都在(0，1)间，并且所有机率的和为1，该归一化指数函数以下式表示：
[0055][0056]
其中，z
j
表示向量z的第j个元素。在本实施例中，n＝4，即表示该训练模型会输出4个分别对应该第0等级、该第l等级、该第2等级，及该第3等级的机率σ(z)1、σ(z)2、σ(z)3，及σ(z)4。
[0057]
在步骤234中，该模型建立单元13根据该训练子集中的每一校正后图像及其对应的病变严重程度等级、该验证子集中的每一校正后图像及其对应的病变严重程度等级，及该训练模型，建立该视网膜病变评估模型。
[0058]
搭配参阅图5，步骤234包括子步骤2341～2343，以下说明步骤2341～2343。
[0059]
在步骤2341中，该模型建立单元13根据该训练子集中的每一校正后图像及其对应的病变严重程度等级与该验证子集中的每一校正后图像及其对应的病变严重程度等级判定该训练模型是否过拟合(overfitting)或欠拟合(underfitting)。值得注意的是，该模型建立单元13对于该验证子集中的每一校正后图像及该训练子集中的每一校正后图像进行预测，若利用该训练模型对该训练子集中的校正后图像进行预测而获得的预测结果的准确率高于一第一预设阀值，但利用该训练模型对该验证子集中的校正后图像进行预测而获得的预测结果的准确率低于一第二预设阀值，则该模型建立单元13判定该训练模型为过拟合；若利用该训练模型对该训练子集中的校正后图像进行预测，而获得的预测结果的准确率低于该第一预设阈值，则该模型建立单元13判定为欠拟合。值得注意的是，在本实施例中，该第一预设阈值介于75％～95％间，该第二预设阈值介于75％～90％间，但不以此为限。
[0060]
在步骤2342中，当该模型建立单元13判定出该训练模型过拟合或欠拟合时，该模型建立单元13调整该训练模型，并重复步骤2341。
[0061]
值得注意的是，在本实施例中，该模型建立单元13是调整一相关于该训练模型的超参数组(hyperparamters)，以调整该训练模型，在其他实施方式中，该模型建立单元13也可将该训练子集中的每一校正后图像进行数据增强(data augmentation)以获得所对应的增强后图像，接着，再次进行步骤231～233以重新建立该训练模型，再次进行的步骤231是以每一增强后图像来进行卷积运算，以调整该训练模型，或是该模型建立单元13同时进行调整该超参数组及根据该训练子集中的每一校正后图像进行数据增强后进行步骤231～233重新建立该训练模型，以调整该训练模型，对于该训练子集的每一校正后图像，该模型建立单元13所进行的数据增强例如为，该模型建立单元13将该校正后图像进行随机灰阶值调整以获得多张不同灰阶值的灰阶图像、该模型建立单元13将该校正后图像进行随机平移以获得多张对应有不同感兴趣区域位置的平移图像、该模型建立单元13将该校正后图像进行随机翻转以获得多张具有不同翻转角度的翻转图像，及该模型建立单元13将该校正后图像进行随机缩放以获得多张具有不同大小且图像大小在224*224～299*299间的缩放图像的其中至少一种图像处理，以获得更多的数据，但不以此为限。
[0062]
在步骤2343中，当该模型建立单元13判定出该训练模型未有过拟合且欠拟合时，该训练模型即为该视网膜病变评估模型，该模型建立单元13将该训练模型作为该视网膜病变评估模型。
[0063]
在步骤24中，该模型建立单元13根据该测试子集检测该视网膜病变评估模型的准确率。对于每一测试子集的校正后图像，该模型建立单元13根据该视网膜病变评估模型输出一包括该第0等级、该第1等级、该第2等级，及该第3等级的其中机率最高者的预测结果(如图6)，该模型建立单元13根据该预测结果与该校正后图像对应的该病变严重程度等级，判断该预测结果是否正确，举例来说，图6的该预测结果为机率最高的该第0等级，其机率为0.932，而该校正后图像对应的该病变严重程度等级为第0级，故该预测结果为正确。该模型建立单元13再根据所有预测结果获得准确率，评估该视网膜病变评估模型的性能和分类能力，以作为参考。
[0064]
综上所述，本发明视网膜病变评估模型建立方法及系统，该图像校正单元12将所述视网膜图像进行图像校正，以提升该模型建立单元13建立的该视网膜病变评估模型的效能，并借由该模型建立单元13根据该训练子集中的每一校正后图像及其对应的病变严重程度等级，与该验证子集中的每一校正后图像及其对应的病变严重程度等级建立能提供客观的视网膜病变评估的该视网膜病变评估模型，该视网膜病变评估模型输出的预测结果可供医疗人员作为参考依据，以辅助医疗人员的诊断，故确实能达成本发明的目的。
[0065]
以上所述者，仅为本发明的实施例而已，当不能以此限定本发明实施的范围，即凡依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，皆仍属本发明的范围。