基于深度学习的睑板腺共聚焦显微镜智能分析评估系统及方法与流程

本发明属于医疗检测技术领域，涉及一种睑板腺共聚焦显微镜智能分析评估系统及方法，具体涉及一种基于深度学习的睑板腺共聚焦显微镜智能分析评估系统及方法。

背景技术：

随着现代社会快节奏发展，人们不可避免的越来越多的接触手机、电脑等电子设备，睑板腺功能障碍(mgd)所致的干眼发病率持续上升；另一方面，由于睑缘与角膜、结膜密切的毗邻关系，睑板腺功能障碍常引起眼表的异常，严重者可引起角膜病变。因此，加强对睑板腺功能的认知，更加准确的评估睑板腺的情况，更加个体化的治疗方案已成为临床工作者的迫切诉求。

临床上常用共聚焦显微镜来评价睑板腺功能，但由于缺乏相应的系统支持，仅能凭医师肉眼判断腺管及腺泡细胞的异常情况，但由于结果图像中腺泡细胞数量多，医师无法进行精确计算，得出的结果较为粗略，；另一方面，肉眼评估腺泡数量费时费力，医生容易疲劳，评价结果受医生主观状态和经验水平影响大。因此，目前临床上患者也无法得到最准确的个性化治疗方案。

技术实现要素：

为了解决上述技术问题，本发明提供了一种基于深度学习的睑板腺共聚焦智能分析评估系统及方法，帮助检查者快速且准确的分析检查结果，智能识别异常部位，并对异常细胞进行计数，提供客观检查依据，提高检查效率。

本发明的系统所采用的技术方案是：一种基于深度学习的睑板腺共聚焦显微镜智能分析评估系统，其特征在于：客户端、服务端、睑板腺共聚焦显微镜、数据库；

所述客户端，用于监听并通过网络上传当前睑板腺共聚焦显微镜采集的睑板腺图像，接收和显示反馈的分析结果；

所述服务端，根据从客户端采集的睑板腺共聚焦显微镜图像，即时判断睑板腺共聚焦显微镜图像对应的部位及部位病变特征，将分析结果反馈给客户端；

所述数据库，用于保存所述睑板腺共聚焦显微镜采集的睑板腺图像；

所述客户端、服务端、数据库通过网络连接通信。

本发明的方法所采用的技术方案是：一种基于深度学习的睑板腺共聚焦显微镜智能分析评估方法，其特征在于，包括以下步骤：

步骤1：当睑板腺共聚焦显微镜进行图像采集，客户端被触发获取所采集的睑板腺图像，并上传至服务端；

步骤2：服务端接收睑板腺图像作为参数，调用病变卷积神经网络模型进行识别：

首先判断共聚焦显微镜图像是否为睑板腺共聚焦图像(即包含睑板腺腺泡细胞及睑板腺腺管组织)，若是则判断为合格图片；若不合格则输出分析结果为不合格；

当睑板腺图像判断为合格图片后，识别该睑板腺图像中的具体部位和部位病变特征并输出；

步骤3：客户端接收并显示分析结果；

步骤4：操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集睑板腺图像；

当识别出的具体部位不够完整时继续采集遗漏的部位；

当识别出的具体部位完整时，结束操作。

本发明的有益效果为：通过本发明对采集的图像进行图像质量识别、部位识别和部位病变特征的识别，并对识别部位自动进行计数，在客户端进行显示，为操作者提供更为客观的参考依据，提高检测的准确性和效率，简单易用，避免了因为操作者主观估计带来的误差。

附图说明

图1为本发明实施例的系统结构框图；

图2为本发明实施例的病变卷积神经网络模型训练流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于深度学习的睑板腺共聚焦显微镜智能分析评估系统，客户端、服务端、睑板腺共聚焦显微镜、数据库；客户端、服务端、数据库通过网络连接通信。

本实施例至少一个客户端，用于监听并通过网络上传当前睑板腺共聚焦显微镜采集的睑板腺图像，接收和显示反馈的分析结果。每个客户端均包括通信模块和图像演示模块；其中，通信模块用于发送请求到服务端，及从服务端获取分析结果，具体实现为http通信方式；图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位病变特征的标记进行叠加展示。

本实施例中，图像演示模块包括一张包含睑板腺腺管及睑板腺腺泡细胞的共聚焦显微镜背景图像；两张用于表示睑板腺腺管和腺泡细胞的png格式的示意图；用于表示存在异常(即部位病变特征)的红点图片。根据服务端发回的信息用表示腺管及腺泡细胞的图片和病灶(即部位病变特征)的红点图片在背景示意图上覆盖以表示共聚焦显微镜操作存在病变的部位。

服务端，用于采用j2ee架构，根据从客户端采集的睑板腺共聚焦显微镜图像，即时判断睑板腺共聚焦显微镜图像对应的部位及部位病变特征，将分析结果反馈给客户端。所述的服务端包括样本数据库、卷积神经网络模型和web服务模块。

样本数据库用于存储典型睑板腺共聚焦显微镜图像的样本，包括合格图片库、部位库和部位病变特征库，合格图片库中存储的是拍摄清楚的睑板腺图像，部位库中存储的是对合格图片中的腺管、腺泡细胞形态进行部位标注的胃镜图像，部位病变特征库中存储的是对合格图片中的睑板腺图像进行病变标注的睑板腺图像。通常一份完整的睑板腺共聚焦显微镜检查报告需要包含腺管、腺泡细胞。因此，本实施例中，部位库中包含所需要的睑板腺腺管、腺泡细胞；在进行部位判断时，必须包含所有上述部位的共聚焦显微镜图像的识别，若缺少其中的部位，则发出提示给客户端。部位病变特征包括腺管塌陷，腺管内存在高反光颗粒，腺泡细胞形态异常。具体为结构体数组。在此，需要强调的是，本实施例中所提及的“睑板腺腺管，腺泡细胞”、“腺管塌陷，高反光颗粒，腺泡细胞形态异常”并非对疾病的诊断，只是作为图片中的特征，可以理解为一个参数，而对它们的判断和识别是对图片的特征比对。

卷积神经网络模型为根据合格图片库、部位库和部位病变特征库训练好的三个模型，分别用于睑板腺共聚焦显微镜图像是否合格、部位判断和部位病变特征识别。模型有vgg-16，resnet-50,densenet.，通过训练三个模型，根据测试效果选用最佳模型。采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用。病变卷积神经网络模型的训练过程如图2所示，卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述。

web服务模块用于接收客户端的请求，将接收到的睑板腺共聚焦显微镜图像作为参数调用卷积神经网络模型依次进行睑板腺共聚焦显微镜图像是否合格、部位判断和部位病变特征识别的分析，得到分析结果反馈给客户端。

本发明提供的一种基于深度学习的睑板腺共聚焦显微镜智能分析评估方法，包括以下步骤：

步骤1：当睑板腺共聚焦显微镜进行图像采集，客户端被触发获取所采集的睑板腺图像，并上传至服务端；

步骤2：服务端接收睑板腺图像作为参数，调用病变卷积神经网络模型进行识别：

首先判断共聚焦显微镜图像是否为睑板腺共聚焦图像(即包含睑板腺腺泡细胞及睑板腺腺管组织)，若是则判断为合格图片；若不合格则输出分析结果为不合格；

当睑板腺图像判断为合格图片后，识别该睑板腺图像中的具体部位和部位病变特征并输出；

本实施例中，具体部位包括睑板腺腺管、睑板腺腺泡细胞；在进行部位判断时，必须包含上述部位的共聚焦显微镜的识别，若缺少其中的部位，则发出提示。部位病变特征包括腺管塌陷、腺泡细胞形态异常、高反光颗粒。

步骤3：客户端接收并显示分析结果；

本实施例中，客户端根据获取的分析结果，调用表示各部位的图片和部位病变特征的标记进行叠加展示；

客户端实时记录采集的睑板腺共聚焦显微镜图像的数量、服务端发回的部位数量及部位病变特征数量，并进行显示。

步骤4：操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集睑板腺图像；

当识别出的具体部位不够完整时继续采集遗漏的部位；

当识别出的具体部位完整时，结束操作。

本发明解决了临床上睑板腺共聚焦显微镜缺乏客观依据的问题，省去了操作者计数异常细胞数的时间与精力，节省了医疗资源。同时又减少了因人为估算造成的误差，为该项检查提供了可靠准确的凭据，有利于医师进行疾病分级，指导治疗，通过治疗前后检查结果的比较，可以更准确的评估为病人的治疗效果。该发明提高检测的准确度和有效性，简单易用，具有显著的社会及经济价值。一个服务器能够对应若干个客户端，每个客户端对应一台共聚焦显微镜设备。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。