眼睛状态评估方法及电子装置与流程

1.本发明涉及一种人体状态评估方法及电子装置，且尤其涉及一种眼睛状态评估方法及电子装置。


背景技术：

2.经统计，青光眼为造成美国民众失明的第二大主因。一般而言，青光眼的诊断方式为使用眼科光学同调断层扫描(optical coherence tomography，oct)计算视网膜神经纤维层厚度(retinal nerve fiber layer，rnfl)，然而一般人不会刻意去拍摄oct图像。
3.相较于oct的高成本与不易取得，彩色眼底图图像(color fundus photography)相对容易获取。从眼底图图像中可以观察到许多眼睛疾病的病征，其中视神经盘(optic disc)与视神经杯(optic cup)的杯盘比值(cup-to-disc ratio，cdr)与视网膜神经纤维层缺损(rnfl defect)均可从眼底图图像取得，从而判断青光眼程度。
4.然而，由于不同医师基于眼底图图像所判断的青光眼程度可能有所差异，因此，对于本领域技术人员而言，如何设计一种能够辅助医师进行判断的机制实为一项重要议题。


技术实现要素：

5.有鉴于此，本发明提供一种眼睛状态评估方法及电子装置，其可用于解决上述技术问题。
6.本发明提供一种眼睛状态评估方法，适于一电子装置，包括：取得一眼睛的一第一眼底图，其中第一眼底图包括一视神经盘图像区域；从第一眼底图中取得视神经盘图像区域，并由多个第一模型基于视神经盘图像区域产生多个视神经杯盘比值评估结果；基于所述多个视神经杯盘比值评估结果取得眼睛的一第一评估结果；对第一眼底图进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图；由多个第二模型基于所述多个第二眼底图产生多个视神经纤维层缺损评估结果；基于所述多个视神经纤维层缺损评估结果取得眼睛的一第二评估结果；以及基于第一评估结果及第二评估结果取得眼睛的一视神经评估结果。
7.本发明提供一种电子装置，包括存储电路及处理器。存储电路存储一程序代码。处理器耦接存储电路，并访问程序代码以执行：取得一眼睛的一第一眼底图，其中第一眼底图包括一视神经盘图像区域；从第一眼底图中取得视神经盘图像区域，并由多个第一模型基于视神经盘图像区域产生多个视神经杯盘比值评估结果；基于所述多个视神经杯盘比值评估结果取得眼睛的一第一评估结果；对第一眼底图进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图；由多个第二模型基于所述多个第二眼底图产生多个视神经纤维层缺损评估结果；基于所述多个视神经纤维层缺损评估结果取得眼睛的一第二评估结果；以及基于第一评估结果及第二评估结果取得眼睛的一视神经评估结果。
附图说明
8.包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
9.图1是依据本发明的实施例示出的电子装置示意图；
10.图2是依据本发明的实施例示出的眼睛状态评估方法流程图；
11.图3是依据本发明的实施例示出的取得眼睛的第一评估结果的示意图；
12.图4是依据图3示出的取得眼睛的第二评估结果的示意图。
具体实施方式
13.现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。
14.请参照图1，其是依据本发明的实施例示出的电子装置示意图。在不同的实施例中，电子装置100例如是各式计算机装置及/或智能型装置，但可不限于此。
15.如图1所示，电子装置100可包括存储电路102及处理器104。存储电路102例如是任意型式的固定式或可移动式随机访问内存(random access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、硬盘或其他类似装置或这些装置的组合，而可用以记录多个程序代码或模块。
16.处理器104耦接于存储电路102，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(application specific integrated circuit，asic)、现场可程序门阵列电路(field programmable gate array，fpga)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(advanced risc machine，arm)的处理器以及类似品。
17.在本发明的实施例中，处理器104可访问存储电路102中记录的模块、程序代码来实现本发明提出的眼睛状态评估方法，其细节详述如下。
18.请参照图2，其是依据本发明的实施例示出的眼睛状态评估方法流程图。本实施例的方法可由图1的电子装置100执行，以下即搭配图1所示的组件说明图2各步骤的细节。
19.首先，在步骤s210中，处理器104可取得眼睛a的第一眼底图。在一实施例中，所述眼睛a例如是某患者的其中一眼，而所述第一眼底图例如是经医疗人员通过操作用于拍摄眼底图的仪器对上述眼睛a拍摄而得的彩色眼底图，但可不限于此。
20.在一实施例中，由于一般所拍摄的眼底图可能包括黑边，因此处理器104可在取得眼底图之后，先对此眼底图进行黑边的裁切，以产生未具有黑边的眼底图作为上述第一眼底图，但可不限于此。为使本发明的概念更易于理解，以下将辅以图3作进一步说明。
21.请参照图3，其是依据本发明的实施例示出的取得眼睛的第一评估结果的示意图。在图3中，假设处理器104在步骤s210取得如图3所示的第一眼底图310，其中第一眼底图310可包括视神经盘图像区域311及视神经杯图像区域312，而其分别对应于上述眼睛a中的视神经盘及视神经杯。
22.在取得第一眼底图310之后，在步骤s220中，处理器104可从第一眼底图310中取得视神经盘图像区域311，并由多个第一模型基于视神经盘图像区域311产生多个cdr评估结
果。
23.在一实施例中，处理器104可将第一眼底图310输入经预训练的参考神经网络320，其中参考神经网络320可因应于第一眼底图310而辨识并输出视神经盘图像区域311。
24.在一实施例中，在将参考神经网络320用于找出第一眼底图310中的视神经盘图像区域311之前，参考神经网络320可先基于标注有特定感兴趣区域(region of interest，roi)的训练图像进行训练，藉以通过训练图像学习这些roi所具有的特征。因此，在本实施例中，为了令参考神经网络320具有辨识任一眼底图图像中视神经盘图像区域的能力，参考神经网络320可先基于以标注有视神经盘图像区域的多个训练图像(即，眼底图图像)进行学习，以学习眼底图图像中视神经盘图像区域的特征，但可不限于此。
25.之后，处理器104可将参考神经网络320输出的视神经盘图像区域311提供予所述多个第一模型，以产生对应的cdr评估结果。在本发明的实施例中，各第一模型的cdr评估结果可上述眼睛a中的视神经杯的轴长与视神经盘的轴长之间的比值(即，cdr)是正常或异常，但可不限于此。
26.在图3情境中，假设所考虑的所述多个第一模型(其数量例如为n，且n为单数)包括所示的第一神经网络331、第二神经网络332及第三神经网络333，但可不限于此。
27.在一实施例中，第一神经网络331可因应于视神经盘图像区域311而输出cdr评估结果r11(例如正常或异常)。
28.在一实施例中，为了令第一神经网络331具有因应于任一视神经盘图像区域而辨识其对应的cdr是否正常的能力，第一神经网络331可先基于cdr为正常的多个视神经盘图像区域进行学习，以学习具正常cdr的视神经盘图像区域的特征。此外，第一神经网络331也可基于cdr为异常的多个视神经盘图像区域进行学习，以学习具异常cdr的视神经盘图像区域的特征，但可不限于此。
29.在一实施例中，处理器104可将视神经盘图像区域311输入第二神经网络332，而第二神经网络332可因应于视神经盘图像区域311而输出上述眼睛a的第一cdr。
30.在一实施例中。为了令第二神经网络332具有因应于任一视神经盘图像区域而辨识其对应的cdr的能力，第二神经网络332可先基于标注有对应cdr的多个视神经盘图像区域进行学习，以学习各种cdr对应的视神经盘图像区域的特征，但可不限于此。
31.在取得第一cdr之后，处理器104可判断第一cdr是否高于一预设门限值(例如0.7)。在一实施例中，反应于判定第一cdr高于此预设门限值，处理器104可判定第二神经网络332的cdr评估结果r12为异常。另一方面，反应于判定第一cdr未高于此预设门限值，处理器104可判定第二神经网络332的cdr评估结果r12为正常，但可不限于此。
32.在一实施例中，处理器104可将视神经盘图像区域311输入第三神经网络333，而第三神经网络333可因应于视神经盘图像区域311而输出上述眼睛a的视神经杯轴长及视神经盘轴长。
33.在一实施例中，为了令第三神经网络333具有因应于任一视神经盘图像区域而辨识其对应的视神经杯轴长及视神经盘轴长的能力，第三神经网络333可先基于标注有对应视神经杯轴长及视神经盘轴长的多个视神经盘图像区域进行学习，以学习各种视神经杯轴长及视神经盘轴长对应的视神经盘图像区域的特征，但可不限于此。
34.在取得视神经盘图像区域311对应的视神经杯轴长及视神经盘轴长之后，处理器
104可据以取得上述眼睛a的第二cdr。举例而言，处理器104可将上述视神经杯轴长除以视神经盘轴长以取得第二cdr，但可不限于此。
35.接着，处理器104可判断第二cdr是否高于上述预设门限值(例如0.7)。在一实施例中，反应于判定第二cdr高于此预设门限值，处理器104可判定第三神经网络333的cdr评估结果r13为异常。另一方面，反应于判定第二cdr未高于此预设门限值，处理器104可判定第三神经网络333的cdr评估结果r13为正常，但可不限于此。
36.在取得cdr评估结果r11～r13之后，在步骤s230中，处理器104可基于所述多个cdr评估结果r11～r13取得眼睛a的第一评估结果rr1。
37.在一实施例中，处理器104在cdr评估结果r11～r13出指示正常的多个第一结果，并在cdr评估结果r11～r13找出指示异常的多个第二结果。之后，反应于判定上述第一结果多于上述第二结果，处理器104可判定第一评估结果rr1指示正常(即，眼睛a的cdr为正常)。另一方面，反应于判定上述第一结果少于上述第二结果，处理器104可判定第一评估结果rr1指示异常(即，眼睛a的cdr为异常)。
38.简言之，处理器104可以cdr评估结果r11～r13进行多数决。若cdr评估结果r11～r13中指示正常的第一结果较多，则处理器104可判定第一评估结果rr1指示正常；若cdr评估结果r11～r13中指示异常的第二结果较多，则处理器104可判定第一评估结果rr1指示异常，但可不限于此。
39.此外，在步骤s240中，处理器104可对第一眼底图310进行多种数据扩增操作，以产生分别对应于所述多个数据扩增操作的多个第二眼底图。为使本发明的概念更易于理解，以下将辅以图4作进一步说明。
40.请参照图4，其是依据图3示出的取得眼睛的第二评估结果的示意图。在图4中，处理器104可对第一眼底图310进行m种(m为正整数)数据扩增操作，以产生m个第二眼底图411～41m，其中所述m种数据扩增操作可包括对第一眼底图310进行旋转、平移、翻转、缩放、伸展等，但可不限于此。
41.之后，在步骤s250中，处理器104可将第二眼底图411～41m分别输入至第二模型421～42m，以由各第二模型421～42m输出对应的预测信心值作为rnfl缺损评估结果r21～r2m。在一实施例中，各第二模型421～42m对应的预测信心值(即，rnfl缺损评估结果r21～r2m)可指示上述眼睛a的rnfl的异常程度。
42.在一实施例中，为了令各第二模型421～42m具有因应于经数据扩增的眼底图而辨识其对应的rnfl的异常程度的能力，各第二模型421～42m可先基于标注有对应的rnfl的异常程度的多个(经数据扩增的)眼底图进行学习，以学习各种rnfl的异常程度对应的眼底图的特征，但可不限于此。
43.在取得各第二模型421～42m的预测信心值(即，rnfl缺损评估结果r21～r2m)之后，在步骤s260中，处理器104可基于所述多个rnfl缺损评估结果r21～r2m取得眼睛a的第二评估结果rr2。
44.在一实施例中，处理器104可取得各第二模型421～42m对应的预测信心值与参考基准值(例如0.5)之间的一平方差，并据以在第二模型421～42m中找出一候选模型。在一实施例中，此候选模型对应的平方差在第二模型421～42m中可为最大。
45.之后，处理器104可判断此候选模型对应的预测信心值是否高于上述参考基准值。
若是，则处理器104可判定上述眼睛a的第二评估结果rr2指示异常，反之则可判定上述眼睛a的第二评估结果rr2指示正常。
46.在取得上述眼睛a的第一评估结果rr1(其可指示正常或异常)及第二评估结果rr2(其可指示正常或异常)之后，在步骤s270中，处理器104可基于第一评估结果rr1及第二评估结果rr1取得眼睛a的视神经评估结果。
47.在一实施例中，反应于判定第一评估结果rr1指示正常且第二评估结果rr2指示正常，判定眼睛a的视神经评估结果属于一第一风险程度；反应于判定第一评估结果rr1指示异常且第二评估结果rr2指示正常，判定眼睛a的视神经评估结果属于一第二风险程度，其中第二风险程度大于第一风险程度；反应于判定第一评估结果rr1指示正常且第二评估结果rr2指示异常，判定眼睛a的视神经评估结果属于一第三风险程度其中第三风险程度大于第二风险程度；反应于判定第一评估结果rr1指示异常且第二评估结果rr2指示异常，判定眼睛a的视神经评估结果属于一第四风险程度，其中第四风险程度大于第三风险程度。
48.在一实施例中，第一、第二、第三及第四风险程度可理解为眼睛a罹患青光眼的概率。例如，当眼睛a的视神经评估结果属于第一风险程度时，此即代表眼睛a罹患青光眼的概率较低。另一方面，当眼睛a的视神经评估结果属于第四风险程度时，此即代表眼睛a罹患青光眼的概率较高，但可不限于此。藉此，本发明即可将所取得的视神经评估结果呈现予医师或其他相关人员，以作为对眼睛a进行诊断的辅助信息，但可不限于此。
49.在一实施例中，第一、第二、第三及第四风险程度可概略地理解为正常、低风险、中风险及高风险，而其可经整理为下表1所示内容，但可不限于此。
50.第一评估结果rr1第二评估结果rr2视神经评估结果正常正常正常异常正常低风险正常异常中风险异常异常高风险
51.表1
52.综上所述，本发明在取得视神经盘图像区域之后，可由具不同辨识机制的多个第一模型个别基于视神经盘图像区域产生对应的cdr评估结果，再据以进行多数决以决定第一评估结果系指示正常或异常。另外，本发明还可在对第一眼底图执行多种不同数据扩增以得到多个第二眼底图之后，由各第二模型基于这些第二眼底图之一而产生对应的rnfl缺损结果，并据以得到指示眼睛的rnfl属于正常或异常的第二评估结果。之后，本发明可再综合考虑第一、第二评估结果，以得到眼睛的视神经评估结果。藉此，本发明可提供医师在评估患者眼睛状态时的参考，进而有助于医师对患者眼睛给出适当的评估结果。举例而言，医师可基于本发明实施例所提供的视神经评估结果而对患者是否罹患青光眼而作出适当的评估，进而改善诊断的质量。
53.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。