一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统的制作方法

本发明涉及人工智能技术领域，更具体地，涉及一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统。

背景技术：

周围神经病变，是指由感觉丧失，肌肉无力与萎缩，腱反射的减退以及血管运动症状，单独地或以任何组合方式形成的综合征。病变早期主要以感觉障碍为主，疾病早期准确判断神经损伤的范围和程度的辅助检查方法对于帮助临床医生采取正确治疗方法是很必要的。目前临床上用于评估周围神经损伤范围及程度的方法除临床病史、体征外，主要采用有创的神经电生理检查、肌肉活检以及昂贵的mri检查。

角膜神经属于由三叉神经分支组成，是人体神经支配最密集的组织。活体共聚焦显微镜可以快速、无创的在活体状态下观察角膜神经纤维密度，分支密度和长度，并且与皮肤活组织检查相比具有相似的诊断和优异的识别神经再生的能力。活体共聚焦显微镜是唯一能在活体情况下快速观察人体神经纤维的仪器，通过共聚焦检查可以获得清晰的具有神经纤维的图像，医生能够通过共聚焦显微镜图像中角膜层间神经纤维形态、密度的改变实现为患者诊断局部或全身神经病变情况。而目前并没有利用角膜神经识别全身多系统神经病变的相关技术。因此，发明一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统势在必行。

神经卷积网络在图像处理中表现出优异的准确性。因此，本发明利用神经卷积网络分析共聚焦显微镜图像中角膜层间神经纤维形态、密度的改变实现辅助医生为患者诊断局部或全身神经病变情况，并达到对相关疾病的随访的观察的目的。

技术实现要素：

本发明的目的在于利用现有的人工智能方法，根据活体共聚焦显微镜图像的角膜层间神经纤维的特征进行智能分析，从而实现通过眼病诊断全身病的目的。本发明提供了一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，通过神经卷积网络深度学习和传统算法相结合，分析角膜神经纤维特征和损伤程度及其变化过程，并用以评估局部或全身神经病变情况。

为达到上述目的，提供了一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，包括：

信息记录模块，用于记录或存储检测对象的个人基本信息、全身和局部神经系统患病信息、治疗情况及临床体征情况；

角膜图像采集模块，用于采集检测对象的指定部位的角膜各层的若干张共焦显微镜图像；

信息提取模块，用于提取每一张共焦显微镜图像的角膜共聚焦图片的基本信息；

图像初筛模块，通过第一神经网络模型从每一张角膜共聚焦图片定位出包括异常角膜组织结构的异常角膜组织共聚焦图片；

特征分析模块，用于利用图像识别算法对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析；

特征对比模块，用于比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；

病情分级模块，包括病程严重程度分级模块和病情转归分级模块；所述病程严重程度分级模块为全部角膜共聚焦图片通过第二神经网络模型后获得病程严重程度等级；所述病情转归分级模块为全部角膜共聚焦图片通过第三神经网络模型后获得病情转归等级；

结果发送模块，用于将检测对象的病程严重程度等级和病情转归等级发送到医生端口；所述医生端口能够对信息记录模块进行记录或存储操作；

其中，所述第一神经网络模型将若干个正常的角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为训练样本集，并以角膜共聚焦图片作为输入，以定位出异常角膜组织共聚焦图片的角膜共聚焦图片作为输出；

所述第二神经神经网络模型的训练样本集为根据神经专科专家依据全身和局部神经系统患病信息及临床体征情况对病程严重程度进行病程严重程度等级判定后，采集若干个对应病程严重程度等级的角膜共聚焦图片；所述第二神经神经网络模型以角膜共聚焦图片作为输入，以病程严重程度等级为输出；

所述第三神经网络模型将若干个治疗前后的角膜共聚焦图片及其病程严重程度等级作为训练样本集，并以角膜共聚焦图片作为输入，根据病情变化情况输出病情转归等级。

特别的，所述图像采集模块的设备为活体共聚焦显微镜。

特别的，所述指定部位包括角膜中央、距离角膜中心的上下鼻颞、角膜缘上下鼻颞。

特别的，所述特征分析包括计算角膜神经纤维密度直径、密度、数量、神经纤维上球形或月形膨大的数量以及分析神经纤维周边细胞异常情况。

特别的，所述角膜共聚焦图片的基本信息包括角膜图像、角膜图像序号、日期、眼别和图像衸数。

特别的，所述特征对比模块利用对比度拉伸算法将所述异常角膜组织共聚焦图片进行处理，使异常角膜组织共聚焦图片的神经纤维和其他细胞的特征突出，再比对不同时间获取的异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；其具体过程如下：

将异常角膜组织共聚焦图片的灰度值拉伸到整个0-255的区间，增强图片对比度；最佳灰度值为：

其中，imin，imax是异常角膜组织共聚焦图片的最小灰度值和最大灰度值，min和max是要拉伸到的灰度空间的灰度最小值和最大值，i（x,y）为最佳灰度值。

特别的，所述病程严重程度等级包括轻度级别、中度级别和重度级别。

特别的，所述病情转归等级包括好级别和坏级别。

根据上述利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统的分析方法，包括训练神经网络模型阶段和智能分析阶段；所述训练神经网络模型阶段包括以下步骤：

a1.采集若干张正常角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为第一神经网络模型的训练样本集；

a2.将第一神经网络模型的训练样本集输入至第一神经网络模型进行训练，获得经过训练的第一神经网络模型；

a3.神经专科专家依据病史资料、角膜神经检测信息及临床体征情况对病程严重程度进行病程严重程度等级判定；

a4.采集若干个对应病程严重程度等级的角膜共聚焦图片作为并以当前的角膜共聚焦图片作为第二神经网络模型的训练样本集；

a5.将第二神经网络模型的训练样本集输入至第二神经网络模型进行训练，获得经过训练的第二神经网络模型；

a6.采集若干个治疗前后的角膜共聚焦图片及角膜共聚焦图片对应的病程严重程度等级作为第三神经网络模型的训练样本集；

a7.将第三神经网络模型的训练样本输入至第三神经网络模型进行训练，获得经过训练的第三网络模型；

所述智能分析阶段包括以下步骤：

b1.从信息记录模块获取检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；若获取失败，则记录检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；

b2.角膜图像采集模块采集检测对象的指定部位的若干张角膜各层的共焦显微镜图像；

b3.提取每一张提取共焦显微镜图像的角膜共聚焦图片的基本信息；

b4.将每一张共焦显微镜图像输入至图像初筛模块的第一神经网络模型，定位出包括异常角膜组织结构的异常角膜组织共聚焦图片；

b5.特征分析模块对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析；

b6.特征对比模块比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；

b7.将全部角膜共聚焦图片输入至病程严重程度分级模块的第二神经网络模型后获得病程严重程度等级；

b8.将全部角膜共聚焦图片输入至病情转归分级模块的第三神经网络模型后获得病情转归等级；

b9.将检测对象的病程严重程度等级和病情转归等级发送到医生端口，辅助医生进行诊断、病情评估和指导治疗，并通过信息记录模块进行记录或存储操作。

本发明的有益效果：

1.本发明设立信息记录模块，能够记录或存储患者的个人基本信息、全身和局部神经系统患病信息、治疗情况及临床体征情况，便于医生查阅和记录每个患者的医疗信息，对患者进行初步诊断和治疗，为本发明的系统提供数据支撑，用以为评估全身和局部神经纤维相关疾病提供信息；并在本发明的方法的智能分析阶段后医生通过医生端口能够将结果记录到信息记录模块以便下次检查时医生对该患者的医疗信息进行查阅。

2.本发明设立角膜图像采集模块能够采集患者的角膜中央、距离角膜中心的上下鼻颞、角膜缘上下鼻颞等部位的角膜各层的若干张共焦显微镜图像，供后续本发明的系统的对比、分析和诊断；设立信息提取模块，提取共焦显微镜图像的基本信息，利于后续本发明的系统进行智能分析。

3.本发明设立图像初筛模块，通过第一神经网络模型从每一张角膜共聚焦图片定位出包括异常角膜组织结构的异常角膜组织共聚焦图片。利用深度训练过的第一神经网络模型，能够精准快速地从角膜共聚焦图片中找到异常角膜组织结构的异常角膜组织共聚焦图片。

4.本发明设立特征分析模块和特征对比模块，分别通过传统图像识别算法和传统图像对比算法，分别对角膜神经纤维特征和其他组织进行特征分析和分时对比。

5.本发明设立病情分级模块通过第二神经网络模型和第三神经模型，以全部角膜共聚焦图片为输入分别获得病程严重程度等级和病情转归等级。且第二神经网络模型的训练样本集为根据神经专科专家依据全身和局部神经系统患病信息及临床体征情况对病程严重程度进行病程严重程度等级判定后，采集若干个对应病程严重程度等级的角膜共聚焦图片；第三神经网络模型的训练样本集则为若干个治疗前后的角膜共聚焦图片及其病程严重程度等级。第二神经网络模型和第三神经模型都进行深度训练，能够科学、有效、快速地提高神经系统的诊断准确率。

6.利用神经卷积网络分析共聚焦显微镜图像中角膜层间神经纤维形态、密度的改变实现辅助医生为患者诊断局部或全身神经病变情况，并达到对相关疾病的随访的观察的目的。本发明从全新的角度去识别全身多系统神经病变，有效地提高神经系统的诊断准确率。本发明结合传统图像分析和对比算法，利用深度卷积网络对图像处理从而实现神经系统的智能诊断，有效地提高医疗服务质量与效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统进行智能分析的流程图；

图2为本发明实施例的分析方法中的训练神经网络模型阶段的流程图；

图3为本发明实施例的分析方法中的智能分析阶段的流程图；

图4为角膜结构、正常的角膜组织结构共聚焦图片和异常的角膜组织结构共聚焦图片；其中（a）为角膜结构图；（b）为角膜在眼部的示意图；（c）为正常的角膜组织结构共聚焦图片；（d）为异常的角膜组织结构的共聚焦图片；

图5为经过本发明实施例的系统获得的角膜组织结构共聚焦图片，其中（e）、（f）、（g）为经过本发明实施例的第二神经网络模型判断出病程严重程度等级分别为轻度级别、中度级别、重度级别的角膜组织结构共聚焦图片；（h）、（i）、（j）为（e）、（f）、（g）在之前经过特征分析模块的角膜组织结构共聚焦图片。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示，本发明实施例一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，包括信息记录模块、角膜图像采集模块、信息提取模块、图像初筛模块、特征分析模块、特征对比模块、病情分级模块和结果发送模块。

信息记录模块：用于记录或存储检测对象的个人基本信息、全身和局部神经系统患病信息、治疗情况及临床体征情况。个人基本信息包括检测对象的姓名、年龄、性别、民族等。全身和局部神经系统患病信息包括全身和局部神经系统相关疾病的疾病病程、治疗周期、全身相关其他血液学检查结果、磁共振、肌电图等。用以为评估全身和局部神经纤维相关疾病提供信息。

角膜图像采集模块：图像采集模块的设备为活体共聚焦显微镜，用于采集检测对象的指定部位的角膜各层的若干张共焦显微镜图像。指定部位包括角膜中央、距离角膜中心的上下鼻颞（距离角膜中央5mm）、角膜缘上下鼻颞或者观察者重点想要观察的其他部分。每个部分可以采集不同深度的图像，并最终获得所需的共焦显微镜图像。

信息提取模块：用于提取每一张共焦显微镜图像的角膜共聚焦图片的基本信息。角膜共聚焦图片的基本信息包括角膜图像、角膜图像序号、日期、眼别和图像衸数。

图像初筛模块：通过第一神经网络模型从每一张角膜共聚焦图片定位出包括异常角膜组织结构的异常角膜组织共聚焦图片。异常角膜组织结构包括但不限于活化的树突细胞或炎症细胞、真菌菌丝。第一神经网络模型将若干个正常角膜组织结构（如：角膜上皮细胞、角膜内皮细胞、正常的神经纤维）和异常角膜组织结构（如：水肿的组织细胞，活化的朗格汉斯细胞、炎症细胞、异常神经纤维等）的共聚焦图片进行二分类构建分类作为训练样本集，并以角膜共聚焦图片作为输入，以定位出异常角膜组织共聚焦图片的角膜共聚焦图片作为输出。

特征分析模块：用于利用图像识别算法，本实施例采用brjef算法，对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析：在角膜神经纤维特征点周围邻域内选取若干个像素点对，通过对这些点对的灰度值比较，将比较的结果组合成一个二进制串字符串用来描述角膜神经纤维特征点。最后，使用汉明距离来计算在特征描述子是否匹配。特征分析包括计算角膜神经纤维密度直径、密度、数量、神经纤维上球形或月形膨大的数量以及分析神经纤维周边细胞异常情况。

特征对比模块：用于比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织。特征对比模块利用对比度拉伸算法将异常角膜组织共聚焦图片进行处理，使异常角膜组织共聚焦图片的神经纤维和其他细胞的特征突出，再比对不同时间获取的异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织。其具体过程如下：

将异常角膜组织共聚焦图片的灰度值拉伸到整个0-255的区间，增强图片对比度；最佳灰度值为：

其中，imin，imax是异常角膜组织共聚焦图片的最小灰度值和最大灰度值，min和max是要拉伸到的灰度空间的灰度最小值和最大值，i（x,y）为最佳灰度值。

病情分级模块：包括病程严重程度分级模块和病情转归分级模块。

病程严重程度分级模块为全部角膜共聚焦图片通过第二神经网络模型后获得病程严重程度等级。病程严重程度等级包括轻度级别、中度级别和重度级别。第二神经神经网络模型的训练样本集为根据神经专科专家依据全身和局部神经系统患病信息及临床体征情况对病程严重程度进行病程严重程度等级判定后，采集若干个对应病程严重程度等级的角膜共聚焦图片；所述第二神经神经网络模型以角膜共聚焦图片作为输入，以病程严重程度等级为输出。

病情转归分级模块为全部角膜共聚焦图片通过第三神经网络模型后获得病情转归等级。病情转归等级包括好级别和坏级别。第三神经网络模型将若干个治疗前后的角膜共聚焦图片及其病程严重程度等级作为训练样本集，并以角膜共聚焦图片作为输入，根据病情变化情况输出病情转归等级。

结果发送模块，用于将检测对象的病程严重程度等级和病情转归等级发送到医生端口。医生端口能够对信息记录模块进行记录或存储操作。

根据上述实施例的分析方法，包括训练神经网络模型阶段和智能分析阶段。

如图2所示，训练神经网络模型阶段包括以下步骤：

a1.采集大量正常角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为第一神经网络模型的训练样本集。

a2.将第一神经网络模型的训练样本集输入至第一神经网络模型进行训练，获得经过训练的第一神经网络模型。

a3.神经专科专家依据病史资料、角膜神经检测信息及临床体征情况对病程严重程度进行病程严重程度等级判定。

a4.采集大量对应病程严重程度等级的角膜共聚焦图片作为并以当前的角膜共聚焦图片作为第二神经网络模型的训练样本集。

a5.将第二神经网络模型的训练样本集输入至第二神经网络模型进行训练，获得经过训练的第二神经网络模型。

a6.采集大量治疗前后的角膜共聚焦图片及角膜共聚焦图片对应的病程严重程度等级作为第三神经网络模型的训练样本集。

a7.将第三神经网络模型的训练样本输入至第三神经网络模型进行训练，获得经过训练的第三网络模型。

如图3所示，智能分析阶段包括以下步骤：

b1.从信息记录模块获取检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；若获取失败，则记录检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况。

b2.角膜图像采集模块采集检测对象的指定部位的若干张角膜各层的共焦显微镜图像；

b3.提取每一张提取共焦显微镜图像的角膜共聚焦图片的基本信息。

b4.将每一张共焦显微镜图像输入至图像初筛模块的第一神经网络模型，定位出包括异常角膜组织结构的异常角膜组织共聚焦图片。

b5.特征分析模块对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析。

b6.特征对比模块比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织。

b7.将全部角膜共聚焦图片输入至病程严重程度分级模块的第二神经网络模型后获得病程严重程度等级。

b8.将全部角膜共聚焦图片输入至病情转归分级模块的第三神经网络模型后获得病情转归等级。

b9.将检测对象的病程严重程度等级和病情转归等级发送到医生端口，辅助医生进行诊断、病情评估和指导治疗，并对信息记录模块进行记录或存储操作。

如图4、图5所示，为角膜结构和本实施例的检测对象为糖尿病患者的角膜组织结构共聚焦图片。其中（a）为角膜结构图；（b）为角膜在眼部的示意图；（c）为正常的角膜组织结构共聚焦图片；（d）为异常的角膜组织结构的共聚焦图片；（e）、（f）、（g）为经过第二神经网络模型判断出病程严重程度等级分别为轻度级别、中度级别、重度级别的角膜组织结构共聚焦图片；（h）、（i）、（j）为（e）、（f）、（g）在之前经过特征分析模块的角膜组织结构共聚焦图片。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。