一种基于眼部图像的疾病检测系统及方法与流程

1.本发明涉及医学图像处理领域，具体涉及一种基于眼部图像的疾病检测系统及方法。


背景技术：

2.在过去的几十年里，基于深度学习(dl)的人工智能技术在各种计算机视觉任务方面取得了显著的进展，例如目标检测、图像分类、实例分割和物体识别等等。深度学习的优势使其在医学图像分析中也得到了广泛的应用，例如，根据医学图像用来对不同疾病进行分类。已知的应用领域已经不可自闭症谱系障碍或大脑中的阿尔茨海默病，乳腺癌，糖尿病性视网膜病变和青光眼，以及肺癌或肺炎等常见病症。
3.目前，已有一些工作采用深度学习技术学习并提取医学影像特征进行疾病患者的识别与筛查，并取得良好效果。但是，医学影像的拍摄需要使用专业的医学影像设备进行拍摄并需要依赖专业人员进行操作，同时由于进行拍摄并成像的耗时较长，所以无法快速对医学影像特征进行提取并完成疾病患者的识别与筛查。也就是说，现有的基于医学影像特征的疾病患者筛查技术中存在时效性差、设备要求高、依赖专业人员等不足，难以满足大规模和快速筛查的需求。
4.眼睛作为多脏器健康状况的观察窗口，是人类活体唯一可以在无创下肉眼观察到血管的器官，借助这一解剖学和影像学优势，人体内部脏器的病变在眼部的影像表现，可以反映出内分泌系统、心血管和肝脏等脏器的健康状态。但是当前主要是通过眼底相机设备进行图像检测，成本昂贵且操作难度高，目前尚没有基于眼部图像检测的技术，基于眼部图像检测算法技术的准确率和稳定性尚不成熟。


技术实现要素：

5.为了解决上述问题，本发明提供一种基于眼部图像的疾病检测系统和方法，能够通过拍摄得到的人脸图片中的眼部区域来进行患者的疾病检测。根据本发明实施例的第一方面，提出了一种基于眼部图像的疾病检测系统，包括：
6.人脸图像预处理模块，用于对上述人脸图像进行剪裁和预处理，得到眼部区域图片；
7.眼部特征病理数据库，用于存储根据临床观察的经验知识和西医病理知识构建的眼部病理特征知识图谱；
8.眼部图像特征提取模块，用于根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取；
9.眼部图像特征过滤模块，用于基于上述眼部病理特征知识图谱对上述基础特征进行过滤；
10.疾病语义属性分析模块，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，用于根据过滤后的上述基础特征对疾病进行检测。
11.在第一方面的一种可能的实施方式中，还包括图像采集模块，用于对人脸图像进行采集。
12.在第一方面的一种可能的实施方式中，上述图像采集模块为具有拍摄功能的终端，包括手机、电视、数码相机、个人电脑或便携式医疗设备。
13.在第一方面的一种可能的实施方式中，，上述人脸图像预处理模块进一步包括人脸位置识别模块、人脸图像截取模块和眼部图像筛选模块，
14.上述人脸位置识别模块用于通过人脸检测模型获取上述人脸图像中人脸的位置区域以及面部关键点坐标；
15.上述人脸图像截取模块根据上述面部关键点坐标对人脸眼部区域进行截取获得眼部截取图片；
16.上述眼部图像筛选模块用于对上述眼部截取图片进行筛选，获得上述眼部区域图片。
17.在第一方面的一种可能的实施方式中，上述面部关键点坐标包括人脸左右眼关键点，上述人脸检测模型根据上述人脸左右眼关键点得到上述人脸眼部区域的横纵坐标的最大值和最小值，对人脸眼部区域进行截取。
18.在第一方面的一种可能的实施方式中，上述根据中医专家临床经验构建眼部病理特征知识图谱的步骤进一步包括：
19.a：知识图谱训练集标注：预先定义覆盖眼部的5个区域，按照上述5个区域对眼部特征进行标注并形成特定疾病的向量编码；
20.b：属性机器学习模型过程：根据步骤a标注形成的知识图谱训练集，利用机器学习模型，学习以基于眼部图像为输入，预测相应上述眼部图像中上述5个区域的属性标注。
21.c:生成特定疾病的向量编码：根据步骤b生成对应的向量编码，进一步利用属性空间聚类结果，计算不同疾病向量编码的距离构成具有疾病属性知识图谱。
22.在第一方面的一种可能的实施方式中针对特定疾病，通过收集一定数量的眼部照片，按照上述步骤b进行对应的属性标注，然后利用无监督聚类算法对全部数据在属性空间进行聚类，以上述特定疾病所在类别簇的所有样本数据的算术平均值或几何平均值作为特定疾病的向量编码。
23.在第一方面的一种可能的实施方式中，上述特定疾病包括但不限于新冠肺炎、糖尿病、病毒性流感、肺部疾病、肝部疾病、眼部疾病。
24.在第一方面的一种可能的实施方式中，上述步骤a中标注的眼部特征包括形态、血丝、浊环、色泽、斑点、穹窿大小、穹窿位置结构的动态变化以及眼部的旁支细络。
25.在第一方面的一种可能的实施方式中，上述步骤b中的机器学习模型包括支持向量机、神经网络、随机树森林、逻辑回归以及线性回归。
26.在第一方面的一种可能的实施方式中，上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
27.在第一方面的一种可能的实施方式中，上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
28.在第一方面的一种可能的实施方式中，上述眼部图像特征提取模型通过hopfield
网络、多层感知机进行训练获取。
29.在第一方面的一种可能的实施方式中，还包括可视化辅助决策模块，用于根据上述眼部图像特征过滤模块的模型注意力分布生成相应的热力图。
30.在第一方面的一种可能的实施方式中，还包括系统控制模块，用于对各模块进行状态控制以及各模块间的消息传递。
31.根据本发明实施例的第二方面，提出了一种基于眼部图像的疾病检测方法，包括以下步骤：
32.人脸图像预处理，获取人脸图像并对上述人脸图像进行剪裁和预处理获得眼部区域图像；
33.眼部病理特征知识图谱构建，根据中国传统医学专家临床观察经验和西医病理知识构建眼部病理特征知识图谱，并存储形成眼部特征病理数据库；
34.眼部图像特征提取，根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取；
35.眼部图像特征过滤，根据上述眼部病理特征知识图谱对上述基础特征进行过滤；
36.疾病语义属性分析，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，根据过滤后的上述基础特征对疾病进行检测。
37.在第二方面的一种可能的实施方式中，包括：
38.生成可视化热力图，根据上述眼部图像特征过滤步骤中的模型注意力分布生成相应的热力图。
39.在第二方面的一种可能的实施方式中，在对人脸图像进行预处理之前采集人脸图像。
40.在第二方面的一种可能的实施方式中，上述人脸图像预处理步骤进一步包括：
41.通过人脸检测模型获取人脸图像中人脸的位置区域以及面部关键点坐标；
42.根据面部关键点坐标中的人脸左右眼关键点，得到人脸眼部区域的横纵坐标的最大值和最小值，同时对横纵坐标进行一定数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内，并对人脸眼部区域进行截取，得到眼部截取图片；
43.对眼部截取图片进行筛选，得到眼部区域图片。
44.在第二方面的一种可能的实施方式中，上述面部关键点坐标包括人脸左右眼关键点，上述人脸检测模型根据该人脸左右眼关键点得到人脸眼部区域的横纵坐标的最大值和最小值，由此对人脸眼部区域进行截取。
45.在第二方面的一种可能的实施方式中，上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
46.在第二方面的一种可能的实施方式中，上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
47.在第二方面的一种可能的实施方式中，上述眼部图像特征过滤步骤，进一步包括：
48.基于提取的上述基础特征，采用线性分类器，进行结果预测；
49.通过构建损失函数，根据眼部图像特征过滤结果和眼部区域图片的真实患病类别，对眼部图像特征提取模型和分类特征进行监督学习；
50.采用sgd优化器对眼部图像特征提取模型进行迭代训练。
51.根据本发明实施例的第三方面，还提出了一种电子设备，上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存储的程序时，实现上述实施例第二方面中的方法。
52.根据本发明实施例的第三方面，还提出了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述实施例第二方面中的方法步骤。
53.通过采用本发明实施例的技术方案，利用普通照相机可采集图像，而不需使用专业的医学影像设备，并且不需依赖专业人员就可操作，可以便捷、快速、准确实现对基于眼部特征的多类疾病(如非新冠肺炎、新冠肺炎、肝病、糖尿病人体内部代谢与脏器类疾病等)的患者进行疾病检测。
附图说明
54.通过结合附图进行阅读，将会更好地了解以上概述以及以下详细描述。为了便于说明，附图中示出本公开的某些实施例。但是，应当理解，本发明并不局限于所示的准确布置和工具。结合到本说明书中并且构成其部分的附图示出按照本发明的系统和设备的实现，并且连同本描述一起用来说明按照本发明的优点和原理。
55.图1是根据本发明的一个实施例的疾病检测系统的功能框图；
56.图2是根据本发明的一个实施例的疾病检测系统的功能框图；
57.图3是根据本发明的一个实施例的疾病检测方法流程图；
58.图4是根据本发明的一个实施例的人像预处理方法流程图；
59.图5是根据本发明的一个实施例的高维疾病语义属性空间构建流程图；
60.图6是根据本发明的一个实施例的目诊法中的a-e五区域示意图；
61.图7根据本发明的一个实施例的硬件系统图；
62.图8根据本发明的一个实施例的电子设备；
63.图9根据本发明的一个实施例疾病检测流程示意图。
具体实施方式
64.下面将参考附图并结合实施例来详细说明本发明。
65.图1是根据本发明的一个实施例的疾病检测系统100的功能模块结构图。如图1所示，本实施例的疾病检测系统用于通过拍摄得到的人脸图片中的眼部区域来进行患者的疾病风险筛查，其包括人脸图像预处理模块101、眼部特征病理数据库102、眼部图像特征提取模块103、眼部图像特征过滤模块104、疾病语义属性分析模块105、可视化辅助决策模块106以及系统控制模块107。其中上述人脸图像预处理模块101用于对上述人脸图像进行剪裁和预处理，得到眼部区域图片；如图2所示，上述人脸图像预处理模块进一步包括人脸位置识别模块1011、人脸图像截取模块1012和眼部图像筛选模块1013，上述人脸位置识别模块1011用于通过人脸检测模型获取上述人脸图像中人脸的位置区域以及面部关键点坐标；上述人脸图像截取模块1012根据上述面部关键点坐标对人脸眼部区域进行截取获得眼部截
取图片；上述面部关键点坐标包括人脸左右眼关键点，上述人脸检测模型根据人脸左右眼关键点得到人脸眼部区域的横纵坐标的最大值和最小值，对人脸眼部区域进行截取。上述眼部图像筛选模1013块用于对上述眼部截取图片进行筛选，获得上述眼部区域图片。
66.上述眼部特征病理数据库102，用于存储根据中医临床观察的经验知识和西医病理知识构建的眼部病理特征知识图谱。根据中国传统医学借鉴目诊法，据在《太平圣惠方
·
眼论》记载：“肝脏病者，应于风轮，心脏病者，应于血轮，脾脏病者，应于肉轮，肺脏病者，应于气轮，肾脏病者，应于水轮”。杨士瀛的《仁斋直指方论》指出：“眼属五脏，首尾赤皆属心，满眼白睛属肺，其上下肉胞属脾，两中间黑瞳一点如漆者，肾实主之”。结合上述中国传统医学经验，将五轮的眼部分属明确为5个主要部分。根据上述目诊法，本实施例分别采用5个不同眼部区域进行特征提取，5个区域分别定义为：a区域、b区域、c区域、d区域、e区域，其中c区域为包含黑睛和白睛的区域，a区域、d区域、e区域、b其余分别位于上述c区域的上、下、左、右区域，并可与上述c区域有一定重叠，如图6所示。
67.根据我们的经验性数据分析，上述5个眼部区域提取的特征，分别反应不同人体内脏的状体：a区域主要反应脾的状态，b区域主要反应心脏的状态,c区域主要反应肝和肾的状态,d区域主要反应人体整体精神状态,e区域主要反应肺和肝的状态。
68.本实施例所依据的目诊法根据患者眼睛各部位的形态、血丝、浊环、色泽、斑点、穹窿的大小、位置结构的动态变化、以及眼部的旁支细络等，来诊断身体上疾病所在各部位的病变、损伤及机能紊乱的全息诊法。本实施例中的针对上述中国传统医学理论构建知识图谱的具体包括如下步骤：
69.(1)知识图谱训练数据集标注：首先由中医专家根据自身的临床经验按照图6中的“五轮“区域进行标注，按照形态、血丝、浊环、色泽、斑点、穹窿的大小、位置结构的动态变化、以及眼部的旁支细络等标注，形成针对特定疾病的向量编码。
70.表1根据a-e五个区域进行标注形成针对特定疾病的向量编码
71.[0072][0073]
(2)属性机器学习模型过程：利用a-e五区域图像及整体眼部图像，及相应的属性标注做为样本标签，利用机器学习模型学习以基于眼部图像为输入，预测相应眼部a-e五区域属性标注。对于上述采用的机器学习模型包括支持向量机、神经网络、随机树森林、逻辑回归、线性回归等机器学习算法。
[0074]
(3)特定疾病聚类：针对某些特定类疾病，例如包括但不限于新冠肺炎、糖尿病、病毒性流感、肺部疾病、肝部疾病、眼部疾病等，通过采集患者小样本的眼部照片，根据步骤(2)预测每张眼部照片，并进行对应的属性标注。进一步利用无监督聚类算法(如k-means等)，对所有数据，在属性空间进行聚类。一般而言，每种疾病会聚成一个类别簇，利用该类别簇，所有样本数据的算术平均值或者几何平均值，做为该特定疾病的向量编码。
[0075]
(4)生成特定疾病的向量编码：对于每种疾病，我们都可以按照步骤(3)生成对应的向量编码，进一步利用属性空间聚类结果，计算不同疾病向量编码的距离(如欧式距离、角度距离等)，最终构成具有疾病属性知识图谱。
[0076]
上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
[0077]
上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，具体而言，现代西医球结膜微循环理论中的病理特征描述，特定疾病患者眼部的临床观察研究统计，医学专家对眼部特征的启发标注与修正标注，利用眼部图像做为输入，使用机器学习模型(如支持向量机、深度神经网络等)学习并输出医学专家标注。
[0078]
上述眼部图像特征提取模块103用于根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取，上述眼部图像特征提取模型通过hopfield网络、多层感知机进行训练获取。上述眼部图像特征过滤模块104用于基于上述眼部病理特征知识图谱对上述基础特征进行过滤；上述疾病语义属性分析模块，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，用于根据过滤后的上述基础特征对疾病进行检测。
[0079]
在另一个实施例中，上述疾病检测系统还包括图像采集模块，用于对人脸图像进行采集。图像采集模块为具有拍摄功能的终端，包括手机、电视、数码相机、个人电脑或便携式医疗设备。
[0080]
在另一个实施例中，还包括可视化辅助决策模块，用于根据上述眼部图像特征过滤模块的模型注意力分布生成相应的热力图。
[0081]
在另一个实施例中，还包括系统控制模块107，用于对各模块进行状态控制以及各
模块间的消息传递。
[0082]
本发明的另一个实施例提出了一种基于眼部图像的疾病检测方法，具体步骤如图3所示。上述疾病检测方法包括以下步骤：
[0083]
s1:人脸图像预处理，获取人脸图像并对上述人脸图像进行剪裁和预处理获得眼部区域图像；
[0084]
首先，为了保证模型输入的统一性，输入图片首先必须经过预处理对齐。在本实施例中，人脸图像预处理单元1用于对人脸图片进行预处理并得到眼部区域图片。
[0085]
其中，人脸图像预处理单元1中配置有人脸检测模型，人脸图像预处理单元1基于该人脸检测模型对人脸图片进行预处理，如图4中预处理单元所示，该预处理包括以下步骤:
[0086]
s11：通过人脸检测模型获取人脸图片中人脸的位置区域以及面部关键点坐标。应当理解，由于数据采集的非标性，原始的人脸图片通常不仅包含眼部区域，还可能会包括背景或面部的其他区域，如鼻子、耳朵和嘴巴。如果直接使用原始的人脸图片进行分类，必然会引入噪声或者不相关的信息，比如背景噪声或鼻子的特征，这有可能使得眼部图像特征的提取结果不准确、不可靠。因此，为了聚焦于提取眼部图像特征，在本实施例采用人脸检测模型获取图片中人脸的位置区域以及面部关键点坐标。该面部关键点坐标中包括人脸左右眼以及优选的面部其他器官的位置坐标。
[0087]
s12：根据面部关键点坐标中的人脸左右眼关键点坐标，计算得到人脸眼部区域的横纵坐标的最大值和最小值。在本实施例中，优选地同时对横纵坐标进行一定数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内，然后对人脸眼部区域进行截取，得到眼部截取图片。
[0088]
s13：对眼部截取图片进行筛选，得到眼部区域图片。对眼部截取图片进行筛选时，优选地将眼部截取图片中纵向长度长于横向长度的图片进行剔除，然后得到眼部区域图片。应当理解，考虑到因存在人脸角度、背景噪声等影像，人脸检测模型得到的面部关键点坐标并非完全准确无误，因而人脸眼部区域的截取也随之会有相应的偏差；又考虑到人脸眼部区域应为横向较长的长方形区域，因此优选地在横纵长度上凡纵向长度长于横向的均可以认为是人脸眼部区域定位失败的结果，需将此类眼部截取图片剔除。
[0089]
s2:眼部病理特征知识图谱构建，根据中国传统医学专家经验和西医病理知识构建眼部病理特征知识图谱，并存储形成眼部特征病理数据库；上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
[0090]
上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
[0091]
s3:眼部图像特征提取，根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取；在本实施例中，眼部图像特征提取步骤用于将眼部区域图片输入眼部图像特征提取模型中提取基础特征。优选地，采用神经网络提取高阶特征，并用于分类器的输入。
[0092]
s4:眼部图像特征过滤，根据上述眼部病理特征知识图谱对上述基础特征进行过滤；图片级分类单元3根据基础特征预测眼部区域图片中对应患者是否患有多类疾病并输
出图片级分类结果，其数据处理流程则包括以下部分：
[0093]
s41：将眼部区域图片输入眼部图像特征提取模型中提取基础特征，分类部根据基础特征预测眼部区域图片中对应患者的多类患病类别并输出图片级分类结果。本实施例中，该分类结果为判断眼部区域图片对应的患者是否患有某种疾病(例如，肝炎、新冠肺炎、非新冠肺炎、糖尿病等)。应当理解，这种判断并非对该类疾病的诊断，只是基于该类疾病的患者可能具有的眼部特征，例如眼部特征，对所输入的眼部区域图片进行标记。
[0094]
s42：通过构建损失函数(例如、交叉熵)，根据图片级分类结果和眼部区域图片对应患者的真实患病类别，对眼部图像特征提取模型提取的基础特征进行监督。
[0095]
s43：采用sgd(随机梯度下降，stochastic gradient descent)优化器对眼部图像特征提取模型进行迭代训练。例如，采用带动量的sgd优化器来提高训练速度。
[0096]
应当理解，在本发明的其他实施形式中，眼部图像特征过滤也可以不包括特征监督(s41)和迭代训练(s42)这两个部分，而是使用已经充分训练好的眼部图像特征提取模型。
[0097]
s5:疾病语义属性分析，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，根据过滤后的上述基础特征对疾病进行检测。上述高维疾病语义属性空间可以根据中国传统医学经验知识进行因果推断和关联性分析，从而获得特定疾病传统中国医学解释及相关疾病描述。同时可以根据西方医学表征定义得到的特定疾病向量编码和知识图谱获得针对特定疾病的西方医学解释，具体如图5所示。上述知识图谱的具体构建过程在前述部分已经详细描述，在此处不再赘述。
[0098]
继续参见图3，疾病语义属性分析步骤用于进行病患级分类，其采用最高优先级投票决策。具体而言，将患病类别中最紧急的疾病设为最高优先级别患病类别，对于一位患者的多张眼部区域图片中，当预测得到的图片级分类结果中的最高优先级别患病类别的个数大于等于1时，则判断患者患有该疾病的可能性较大，从而得到病患级预测结果。
[0099]
应当理解，在本发明的其他实施形式中，可以不集成疾病语义属性分析，而是将眼部图像特征过滤的输出结果呈现给医疗人员，交由他们去判断。
[0100]
可视化辅助决策步骤s6则根据模型分类过程中图像各区域参与得分评估的权重和影响力，优选地以热力图的形式将各区域的重要度进行可视化展示，从而增强模型的可解释性。关于热力图的内容可以参考图8。
[0101]
应当理解，该可视化辅助决策也可以用于辅助医疗人员进行判断。还应当理解，在本发明的其他实施形式中，也可以不配备可视化辅助决策步骤。
[0102]
图7显示的是图1中实施例的硬件系统图。如图7所示，该系统分为服务端和客户端两部分。在优选的实施形式中，计算模型部署在服务端。服务端的计算机设备由处理器以及内存构成：处理器是用于计算以及运行可执行代码的硬件处理器，如中央处理器cpu或图形计算处理器gpu；内存是非易失的存储设备，用于储存可执行代码从而让处理器执行相应的计算过程。同时，内存也会存储各类中间数据及参数。内存存储内容包括模型相关参数、可执行代码。硬盘存储包含了模型所需要的训练数据。服务容器运行在服务器的计算和存储资源之上，为多类疾病患者风险筛查深度学习模型提供底层支持。
[0103]
在一个实施例中，通过服务端采用跨国的a服务器和b服务器两个服务器来进行数据处理和传输。对于处于一国的a服务器中具有探测模型，主要通过对采集的人脸数据进行
输入并根据机器学习模型形成高维分析数据(hda)，并将该高维分析数据传输到具有矩阵模型的另一国的b服务器。上述b服务器通过对接收的hda进行计算，并对疾病进行预测，并将结果输出到探测模型上。上述a服务器对计算资源需求较少，可以部署在终端设备上，而b服务器需要较强的计算能力，并应当部署在具有gpu的服务器上。
[0104]
本实施例中，媒体数据通过各类数据采集设备拍摄得到，如智能手机等，媒体数据可以是视频内容，也可以是图像内容。当然，应当理解，本发明的其他实施例中，也可以将媒体数据采集设备，例如照相机，继承在本发明的系统中。优选地，从媒体数据中得到人脸图像数据。更优选地，人脸图像数据包括多个不同身份以及患病类型的患者的人脸图像数据。
[0105]
图8示出了根据本发明一实施例的电子设备的结构示意图。该电子设备200可以包括：处理器(processor)201、存储器(memory)202和通讯总线203，其中，处理器201，存储器202通过通讯总线203完成相互间的通信。
[0106]
处理器201可以调用存储器202中的计算机程序，以执行上述实施例提供的任意一种基于眼部图像的疾病检测方法的各步骤。
[0107]
本发明的一个实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现上述实施例提供任意一种基于眼部图像的疾病检测方法的各步骤。
[0108]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0109]
图9显示了根据本发明的一个实施例的疾病检测流程示意图。如图所示，预处理之后的眼睛图片被输入到图片级分类模型之后，便生成疾病分类的概率预测分布。另外，判断基于的重点区域也以热力图的形式呈现。其中热力图在右眼中红色区域的眼部特征所受关注最高，而左眼区域的眼部特征所受关注程度则较低。
[0110]
根据本实施例所涉及的基于眼部特征的疾病患者风险筛查深度学习系统，因为能够根据疾病患者眼部往往有着类结膜炎的表现，包括结膜充血、化瘀、溢液或分泌物增多等特征，借助深度学习网络的特征提取和分类预测能力，通过眼部图像特征提取模型提取的基础特征来进行图片级以及病患级的患病类别预测，针对人脸眼部区域进行特征的学习表达，通过捕获更具分辨力和识别力的特征，能够实现基于眼部特征的疾病患者风险筛查；并且本发明通过拍摄人脸图片并根据人脸图片中的眼部区域图片就能够进行疾病患者的筛查工作，能够提高疾病风险筛查的快捷性、准确性以及方便性，同时能够摆脱专业人员依赖等限制，可大规模普及，在疫情阶段能够实现随时随地的定量检测，动态监测病毒感染的程度，观察治疗效果，进行疫情跟踪和疫情地图绘制，从而实现高效的疫情防控。
[0111]
进一步地，因为先通过对人脸图片进行预处理并筛选得到眼部区域图片再输入眼部图像特征提取模型，能够确保输入的图片均为定位准确的眼部区域图片，有效去除了人
脸图片中的噪声和不相关的信息，保证眼部图像特征提取模型能够正确的处理眼部区域图片。
[0112]
应该指出，上述详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本技术所属技术领域的普通技术人员的通常理解所相同的含义。
[0113]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术上述的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0114]
需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本技术的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
[0115]
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0116]
为了便于描述，在这里可以使用空间相对术语，如“在
……
之上”、“在
……
上方”、“在
……
上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在
……
上方”可以包括“在
……
上方”和“在
……
下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
[0117]
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
[0118]
以上上述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。