一种便携式智能眼底病灶检测装置及病灶图像检测方法

本发明属于疾病检测装置，涉及一种便携式智能眼底病灶检测装置及病灶图像检测方法。

背景技术：

1、糖尿病视网膜病变是糖尿病最严重也最常见的并发症之一，表现为眼部的微血管病变，是导致失明的主要原因。目前专家诊断的过程依赖于对视网膜眼底图像进行分析，找出病灶所在进而给出诊断结果和相应的治疗措施，但往往受限于医疗条件分布差异以及人工效率较低等原因，使得不少患者错失了最佳诊治时间，从而导致视觉损伤。因而提供自动视网膜眼底图像分析算法并构建模型对于辅助医疗诊断过程具有重要的意义。

2、目前，已有一些ai辅助糖网病筛查的临床落地平台。但目前仍存在的问题包括：

3、(1)主要为定性分类，训练基于深度学习的分类的模型判断眼底图像是否为病变图像，对病灶类型和位置缺乏标注。而基于深度学习方法的分类可能出现误判，需要人类医师复核，而医师诊断需要识别图像中的病灶和位置，只给出分类结果难以提升医师复核的效率；

4、(2)分类模型多部署于云端，需要联网使用，且眼底图像采集上传设备笨重，难以移动，而糖网病的社区筛查往往需要便携性的设备，且偏远地区可能无法接入网络；

5、(3)缺乏检测报告和智能统计分析，目前的辅助诊断工具往往只能简单给出图像分类结果，即为正常图像还是病变图像，缺乏判断依据，医师复核时仍需重新读图，效率较低；

6、(4)眼底病灶目标属于小目标，未改进的fast-rcnn模型在小目标检测上检测准确率不够高。

技术实现思路

1、为了解决现有技术存在的不足，本发明的目的是提供一种便携式智能眼底病灶检测装置，其中包含一种基于改进的faster-rcnn的眼底病灶目标检测方法。

2、本发明采用的技术方案是：一种便携式智能眼底病灶检测装置，由照相机、处理主机、显示器等部件组成；进一步地，包括：眼底照相模块、主处理器模块、显示模块、无线通信模块、存储模块、彩色打印模块和云服务端，所述主处理器模块和云服务端中均设置有检测分析模块；

3、本发明中，眼底照相模块、显示模块、无线通信模块、存储模块、彩色打印模块分别与所述主处理器模块相连；所述主处理器模块、无线通信模块、存储模块、彩色打印模块均安装在本地的处理主机中，可以使用例如树莓派等的硬件，所述云服务端为远程服务器；

4、所述眼底照相模块可以使用眼底照相机，例如九辰医疗手持眼底照相机dsc200-dec200，采集人类眼底医学图像；

5、所述主处理器模块用于控制眼底照相模块、显示模块、无线通信模块、存储模块、彩色打印模块；所述主处理器模块对眼底照相模块采集获得的眼底医学图像进行预处理，并将预处理后的图像分别传输至所述主处理器模块和云服务端中的检测分析模块；

6、所述无线通信模块用于建立所述主处理器模块和云服务端之间的通信连接，用于将主处理器模块预处理后的图像传输至云服务端；

7、主处理器模块或云服务端上设置的所述检测分析模块对接收的图像进行处理，标注出图像中可能为病灶的区域和病灶类型、置信概率，并将结果图像返回至所述主处理器模块；

8、所述显示模块用于显示用户信息和眼底病灶检测结果图像。

9、所述存储模块用于存储检测及处理结果；

10、所述云服务端自行搭建，用于部署运行自行开发的病灶检测系统及本发明中涉及到的算法模型。

11、本发明中，所述便携式智能眼底病灶检测装置还包括了彩色打印模块，所述彩色打印模块用于打印用户信息和眼底病灶检测结果分析报告。

12、主处理器模块或云服务端上设置的所述检测分析模块检测眼底照相中病灶位置和类型的方法应用了改进的基于faster-rcnn模型的病灶目标检测方法。

13、本发明还提出了一种眼底病灶图像检测方法，包括包括以下步骤：

14、1)初始构建眼底照相病灶目标检测训练数据集；所述训练数据集来自与相关医院医生合作标注的初始训练集和本领域中的公开数据集；

15、2)用步骤1)中获得的训练数据集训练神经网络，得到用于眼底照相病灶的目标检测网络模型；

16、3)将接收的待检测的眼底医学图像输入得到的眼底照相病灶的目标检测网络模型，输出检测结果图像，并将结果传输至所述云服务端和主处理器模块；

17、4)将步骤3)中得到的结果上传到云服务端数据库，用于后续更新步骤1)中的训练数据集。

18、其中，在主处理器模块和云服务端之间的通信有效时，所述主处理器模块和云服务端中的检测分析模块同步运行进行病灶目标的检测；

19、当主处理器模块和云服务端之间的通信失效时，采用所述主处理器模块中的检测分析模块进行病灶目标的检测并在显示模块显示处理结果，同时将结果存储于所述存储模块。

20、所述步骤(1)主要包括：

21、委托眼科医生使用预先开发的眼底病灶目标检测数据在线标注系统，所述系统基于web云原生开发，医师可通过该系统对眼底照相中的病变和位置进行标注，后台服务端会收集标注数据并将其转化为目标检测算法模型训练所需的数据格式；医师对临床眼底照相图像中的微动脉瘤、出血点和渗出进行标注，需要标注的内容为图像中的病变位置(矩形框标注)及病变类型。标注结果存储在云服务端数据库中，云服务端对原始标注数据(图像及标注框坐标数据、标注类别)进行处理，生成voc、coco等标准格式的目标检测数据集。

22、所述步骤(2)主要包括：

23、第一步，对输入的训练图像进行预处理和数据增强以提升训练效果，主要包括去噪、缩放图片大小、随机旋转、随机剪裁、图片标准化等操作；通过预处理和数据增强使模型学习到更高质量的、更多的目标特征，提升模型泛化能力和准确性。

24、第二步，将第一步处理后的图像数据和对应的标签数据输入基于改进fasterrcnn结构的神经网络模型，所述基于改进faster rcnn结构的神经网络模型进行了如下的改进：

25、1)使用swin transformer模型结合特征金字塔网络(fpn)替换标准faster-rcnn中常用的resnet-50等模型作为骨干网络模型提取图像特征。所述的骨干网络模型用于提取待检测图像的特征，获得特征图(feature map)。本发明中使用swin transformer模型替换resnet-50作为骨干网络进行图片特征的提取网络，可以提升特征提取质量，解决特征提取不充分导致的检测准确率不够高问题，提升检测质量。引入特征金字塔提高网络对多尺度特征的检测效果，改善原网络结构对眼底病灶这类小目标检测效果较差的问题。

26、2)替换faster-rcnn结构中的anchor尺寸参数，针对步骤(1)中眼底病灶数据集使用k-means聚类方法选取最优的anchor大小，适应眼底病灶目标的特点，针对眼底病灶的目标大小通过kmeans得到最合适的anchor尺寸，可以提升anchor的质量，更好的定位目标，以提高anchor质量，从而提升最终的检测准确性。

27、本发明中改进的faster-rcnn网络模型主要分为骨干网络、区域候选网络(rpn)、特征金字塔(fpn)、感兴趣区域池化(roi pooling)和全连接层，其中骨干网络使用swintransformer，在区域候选网络生成anchor时，anchor的尺寸使用预先在训练数据集上使用k-means聚类得到的优化后的尺寸，并根据fpn生成的feature map生成对应的多组尺寸。骨干网络进行图片特征提取，生成feature map。在骨干网络和区域候选网络之间使用特征金字塔(fpn)进行特征融合，将骨干网络中不同stage输出的feature map进行特征融合，得到的新feature map结合深层和浅层信息，提高网络对小尺寸目标的检测能力。区域候选网络在提取到的feature map上生成候选区域，具体为采用滑动窗口机制，以feature map上的点为中心，生成多个不同大小和比例的候选框，这些候选框称为anchor。随后rpn分为两个分支，分别进行分类和回归学习。分类指对anchor进行分类，包含待检测目标的anchor为正样本，否则为负样本。回归则是对bounding box进行回归，学习anchor到真实目标框的偏移量。感兴趣区域池化(roi pooling)收集rpn层生成的候选区域的feature map，使用最大池化将每个候选区域的feature map统一为相同尺寸，以输入全连接层进行分类和回归，得到最终检测结果。

28、本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述眼底病灶图像检测方法。

29、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述眼底病灶图像检测方法。

30、本发明的有益效果包括：

31、(1)本发明提供眼底病灶目标检测能力，对眼底照相中病灶的类型和位置提供标注，进而提升人类医师对相关图像复核的效率。

32、(2)本发明提供便携式检测装置，模型部署于装置中，无需联网即可使用，解决社区筛查场景下的痛点问题，对于偏远无网络地区也可以适用。

33、(3)本发明中装置的检测分析模块提供检测报告生成功能，根据模型输出的病灶位置提供简单分析报告，给医师提供判断依据。

34、(4)本发明提出的改进的faster-rcnn模型结构提高了模型在眼底病灶小目标检测上的准确率。