一种基于图像深度学习的眼部上睑下垂自动识别方法

本发明涉及眼部检测，尤其涉及一种基于图像深度学习的眼部上睑下垂自动识别方法。

背景技术：

1、眼部上睑下垂是临床常见的多发病，该疾病不仅影响患者的外观，而且会对视力功能造成不良影响。正常情况下，睁眼平视时上睑缘遮盖角膜上缘≤2mm；排除额肌作用下，遮盖＞2mm即可诊断为上睑下垂。上睑下垂的术前评估包括：睑缘角膜映光距离(marginreflex distance，mrd)、睑裂大小、上睑提肌肌力、额肌肌力、bell征，眼科相关的视力功能检查、屈光状态测定、眼位及眼球运动检查等，其中mrd值是目前国际通用的上睑下垂程度的测评指标，也是上睑下垂治疗评价的常用指标。

2、检测mrd值时，检查者拇指沿眉毛长轴方向按压住额肌，同时用一光源置于患者眼前，此时角膜中央反光处到上睑缘距离即为上睑缘角膜映光距离(mrd1)，到下睑缘距离即为下睑缘角膜映光距离(mrd2)；肌力较差，睁眼时无法暴露中央反光处时，则检查者用手上提睑缘，上提的量同时计作负数则为该眼的mrd1。

3、现有测量及数据分析方法在临床应用中存在一定的局限性。首先测量评估主要依赖临床医生的主观判断，难以于患者眼部直接精准测量；采集临床图像后使用软件人工标画位点进行测量的数据客观便于分析，但耗时耗力，将像素值转换为毫米测量单位存在一定误差，且无法在患者诊疗过程中迅速提供参考；mrd1值的单一指标不能显示上睑内外侧肌力强弱差别，无法对上睑缘内外侧形态及双侧上睑形态对称性提供参考。

技术实现思路

1、本发明主要解决现有技术的眼部上睑下垂程度测量及数据分析方法在临床应用中存在一定的局限性的技术问题，提出一种基于图像深度学习的眼部上睑下垂自动识别方法，通过计算机图像处理及深度学习，以虹膜直径尺为测量单位，自动识别并测量眼部相关特征指标，以对眼部上睑下垂的严重程度进行识别，上睑内中外侧的下垂差异提供参考，从而更全面、更快速、更精准的辅助上睑下垂的术前诊断、术中调整及术后评价。

2、本发明提供了一种基于图像深度学习的眼部上睑下垂自动识别方法，包括：

3、步骤1，采集人脸正面图像，并提取眼部图像；

4、步骤2，将眼部图像输入到人眼分割模型中，得到分割后的眼部图像；所述分割后的眼部图像包括虹膜掩膜分割图像和巩膜掩膜分割图像；

5、步骤3，对分割后的眼部图像进行hough变换检测，获得虹膜轮廓并进行圆拟合，得到虹膜圆，进而确定虹膜中心；

6、步骤4，以双侧虹膜中心连线为水平线，进行图像校正；

7、步骤5，通过对分割后的眼部图像进行轮廓提取检测，进而确定上睑缘轮廓、下睑缘轮廓、虹膜缘与上睑缘交点；

8、步骤6，使用虹膜直径尺进行测量，得到上睑缘角膜映光距离和下睑缘角膜映光距离；

9、步骤7，确定虹膜与上睑缘交点所形成的虹膜睑缘交角、内侧交角、外侧交角；

10、步骤8，根据上睑缘角膜映光距离、下睑缘角膜映光距离、虹膜睑缘交角、内侧交角、外侧交角，对眼部上睑下垂程度进行识别。

11、优选的，在步骤1中，通过分类器提取眼部图像；所述分类器采用haar级联分类器。

12、优选的，所述通过分类器提取眼部图像，包括以下过程：

13、使用一个针对人脸训练的haar级联分类器在图像中扫描并定位人脸区域；

14、在每个人脸区域内使用一个针对眼睛训练的haar级联分类器进一步扫描并定位眼睛区域。

15、优选的，在步骤1和步骤2之间，还包括：对眼部图像进行处理；

16、对眼部图像的处理包括letterbox图像大小调整、数据增强、睫毛降噪处理中的一种或多种。

17、优选的，所述人眼分割模型通过以下过程得到：

18、步骤a，获取大量的包含人眼上睑下垂图像，作为训练数据；其中，人眼上睑下垂图像上，具有眼部虹膜区域和眼部巩膜区域的打标信息；

19、步骤b，建立图像深度学习u-net网络；

20、步骤c，将训练数据输入到图像深度学习u-net网络中进行训练，得到人眼分割模型。

21、优选的，在步骤3中，对分割后的眼部图像进行hough变换检测，包括以下过程：

22、对于虹膜掩膜分割图像中的每个边缘点，hough变换将这些点映射到参数空间；其中，参数空间通常由三个参数表示：圆心的x坐标、圆心的y坐标和圆的半径；

23、对于每个边缘点，hough变换在参数空间中绘制一条曲线，表示与该点对应的可能的圆；当多个边缘点在参数空间中的曲线交叉点处汇聚时，表明在图像中存在一个圆并进行虹膜圆拟合的操作。

24、优选的，在步骤4中，以双侧虹膜中心连线为水平线，进行图像校正，包括以下过程：

25、将双侧虹膜中心连线为水平线，通过计算两眼虹膜中心连线与图像水平方向进行角度计算，通过角度计算结果旋转图像，使两侧虹膜中心连线与水平方向平行进而实现图像校正。

26、优选的，在步骤7中，确定虹膜睑缘交角、内侧交角、外侧交角，包括以下过程：

27、设虹膜中心为点o，虹膜轮廓于上睑缘内侧交点为点a，外侧交点为点b，过虹膜中心的垂线与上睑缘交点为点c，∠aoc为内侧交角，∠boc为外侧交角，∠aob为虹膜睑缘交角，虹膜暴露度s＝虹膜暴露面积/虹膜面积。

28、优选的，在步骤8中，对眼部上睑下垂程度进行识别，包括：

29、当上睑缘角膜映光距离小于第一角膜映光距离阈值，识别为可能存在上睑下垂；

30、当上睑缘角膜映光距离小于第二角膜映光距离阈值，识别为中度上睑下垂；

31、当上睑缘角膜映光距离为负值，识别为重度上睑下垂。

32、本发明提供的一种基于图像深度学习的眼部上睑下垂自动识别方法，以简易的方式获取患者的平视正面照片，通过深度学习，自动识别处理分析图像，并以虹膜中心作为传统测量中的角膜映光点，以虹膜直径尺替代传统的毫米测量单位，以自身作为参考，且本发明提出了一个新的眼部测量指标睑缘虹膜交角，更全面的更个性化的采集眼部数据，在自动检测上睑下垂的严重程度的同时，能够通过补充角度的测量而对上睑内中外侧肌力差异提供一定参考。本发明基于深度学习的自动识别测量结果与软件(digimizer)图片选点测量结果具有高度一致性，可辅助临床医生对患者上睑下垂的程度、上睑内中外侧肌力差异、双侧上睑形态及对称性做出判断，从而提高诊疗过程中对上睑下垂评价的准确性、客观性和全面性。本发明符合未来医学发展方向，基于图像资料存储传输和深度学习自动识别分析的先进、迅速、简便，本发明有望应用于体检筛查、远程医疗、眼部美学测量等领域，有利于节约优化医疗资源和眼部测量美学探索。

技术特征：

1.一种基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，包括：

2.根据权利要求1所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，在步骤1中，通过分类器提取眼部图像；所述分类器采用haar级联分类器。

3.根据权利要求2所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，所述通过分类器提取眼部图像，包括以下过程：

4.根据权利要求1所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，在步骤1和步骤2之间，还包括：对眼部图像进行处理；

5.根据权利要求1所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，所述人眼分割模型通过以下过程得到：

6.根据权利要求1所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，在步骤3中，对分割后的眼部图像进行hough变换检测，包括以下过程：

7.根据权利要求1所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，在步骤4中，以双侧虹膜中心连线为水平线，进行图像校正，包括以下过程：

8.根据权利要求1所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，在步骤7中，确定虹膜睑缘交角、内侧交角、外侧交角，包括以下过程：

9.根据权利要求1所述的基于图像深度学习的眼部上睑下垂自动识别方法，其特征在于，在步骤8中，对眼部上睑下垂程度进行识别，包括：

技术总结
本发明涉及眼部检测技术领域，提供一种基于图像深度学习的眼部上睑下垂自动识别方法，包括：采集人脸正面图像，并提取眼部图像；将眼部图像输入到人眼分割模型中，得到分割后的眼部图像；对分割后的眼部图像进行Hough变换检测，获得虹膜轮廓并进行圆拟合，得到虹膜圆，进而确定虹膜中心；进行图像校正；通过对分割后的眼部图像进行轮廓提取检测，进而确定上睑缘轮廓、下睑缘轮廓、虹膜缘与上睑缘交点；使用虹膜直径尺进行测量，得到MRD1和MRD2；确定虹膜与上睑缘交点所形成的虹膜睑缘交角、内侧交角、外侧交角；对眼部上睑下垂程度进行识别。本发明自动识别并测量眼部相关特征指标，以对眼部上睑下垂的严重程度进行识别。

技术研发人员：赵穆欣,陈思,刘俐,雷斯文
受保护的技术使用者：大连医科大学附属第二医院
技术研发日：
技术公布日：2024/2/8