眼部图像斜视类型的分类方法、系统、设备及存储介质

本发明涉及人工智能，涉及一种眼部图像斜视类型的分类方法，尤其涉及一种眼部图像斜视类型的分类方法、系统、设备及存储介质。

背景技术：

1、斜视是眼科临床常见疾病，患病率约为 3%，可引起患者单眼抑制和视网膜对应异常，从而导致永久性视觉损伤。此外，斜视还会对患者产生严重的心理社会后果。综上所述，斜视在视觉功能、外表、学习能力、工作机会、心理健康等方面对患者有着重大而长期的影响。斜视起病隐匿，许多年轻的斜视患者如果及早诊断，将获得更好的治愈机会。因此，尽早进行斜视的筛查和诊断至关重要。目前，斜视筛查、诊断主要由眼科医生通过几种测试手动进行，如遮盖和去遮盖测试、三棱镜遮盖测试等，需要患者和医生高度合作，且检查时间较长。这些测试非常依赖医生的技能和经验，检查结果较为主观，但目前我国眼科医师资源缺口巨大，良莠不齐，因此存在着漏诊、误诊的风险。因此利用深度学习方法开发可靠的人工智能系统，实现快速、自动斜视筛查与诊断，并提供相对更客观的诊断结果，进而尽早启动治疗干预，对于斜视患者视觉功能的保护以及生活质量的改善具有重大意义。

2、在当前的人工智能眼部图像分类技术领域中，通过对眼部图像进行分类，得出图像中眼部斜视的分类结果，其主要有两大类研究方法：基于传统分步学习的眼部关键区域分割算法和基于端到端学习的分类算法。在眼部关键区域分割算法的研究中，研究者们多采用预先训练好的人脸检测模型提取人脸图像的眼部区域，并得到瞳孔中心、角膜映光点等关键区域的坐标进行运算，然后利用预先设定的阈值和坐标运算结果进行数值比较，判断有无斜视以及斜视的类型。choi等人提出了一种基于图像处理的斜视筛查模型，该模型使用第一眼部图像，对分割算法得到的眼部轮廓边缘上的所有像素点进行采样，并应用最小二乘法得到瞳孔中心的坐标。通过计算瞳孔中心到内、外眼角的距离来衡量斜视照片中双眼位置的相似性，判断有无斜视；ma等人采用相似的方法分别得到双眼角膜中心和角膜映光点的坐标，并通过坐标的相对位置分别测算角膜映光点相对于相应角膜中心的水平和垂直偏移，判断有无斜视；kang等人则首次利用第一、第二和第三眼部图像，基于u-net分割算法得到角膜映光点、瞳孔中心、双眼内外眼角以及上下眼睑沿点坐标，通过将第二和第三眼部图像上的坐标依照参考系平移到第一眼部图像上，进行坐标运算，实现了内斜视、外斜视、上斜视、下斜视的多分类任务。在端到端分类算法的研究中，zheng等人基于r-cnn架构，使用水平斜视和正位的第一眼部图像训练深度学习模型，实现了水平斜视和正常的二分类任务；lin等人则基于inceptionresnetv2架构，使用各种类型的斜视和正位的第一眼部图像训练深度学习模型，实现了斜视和正常的二分类任务。

3、基于传统分步学习的眼部关键区域分割算法的研究，通过将眼部特征点坐标运算的结果和预先设定的阈值进行比较，判定有无斜视以及斜视的类型；该类方法利用的是较小范围内的统计数据进行阈值选取，较为主观，且均在较小数据集上进行验证，导致所选阈值容易形成偏倚，难以大范围推广，对斜视类型的分类准确率较低。基于端到端学习的分类算法的研究，虽利用了大量的图像数据进行训练，可推广性更好，但目前仍停留于斜视和正常的二分类任务，对临床的实践应用帮助有限，对斜视类型的分类准确率较低。

技术实现思路

1、本发明的目的在于：为了解决上述现有技术中对眼部图像的斜视类型分类准确率较低的技术问题，本发明提供一种眼部图像斜视类型的分类方法、系统、设备及存储介质。

2、本发明为了实现上述目的具体采用以下技术方案：

3、一种眼部图像斜视类型的分类方法，包括如下步骤：

4、步骤s1，获取样本数据

5、获取样本数据，所述样本数据包括眼部图像样本数据、文本样本数据；

6、步骤s2，构建特征提取网络模型

7、构建特征提取网络模型，特征提取网络模型包括特征预提取网络模型、特征粗提取网络模型、特征细提取网络模型以及分类网络，特征预提取网络模型包括resnet50v2图像提取模型、文本提取模型；

8、步骤s3，训练特征提取网络模型

9、采用步骤s1获取的样本数据对步骤s2构建的特征提取网络模型进行训练；

10、将眼部图像样本数据作为resnet50v2图像提取模型的输入，文本样本数据作为文本提取模型的输入，resnet50v2图像提取模型、文本提取模型的输出作为特征粗提取网络模型的输入，特征粗提取网络模型的输出作为特征细提取网络模型的输入，特征细提取网络模型的输出作为分类网络的输入，分类网络输出分类结果；

11、步骤s4，斜视实时分类

12、获取实时的眼部图像数据、文本数据，并将眼部图像数据、文本数据输入步骤s3训练完成的特征提取网络模型，特征提取网络模型输出分类结果。

13、进一步地，步骤s2中，resnet50v2图像提取模型包括依次连接的零填充、二维卷积层、零填充、最大池化层、残差模块、批量归一化层、线性整流单元、平均池化层以及全连接层。

14、更进一步地，残差模块包括依次连接的多个残差块，最后一个残差块包括两个基本块，其余残差块包括三个基本块。

15、更进一步地，每个基本块均包括依次连接的第一批量归一化层、第一线性整流单元；第一线性整流单元的输出分成并列的两路，一路依次经第一二维卷积层、第二批量归一化层、第二线性整流单元、零填充、第二二维卷积层、第三批量归一化层、第三线性整流单元输入第三二维卷积层，另一路输入第四二维卷积层，第三二维卷积层、第四二维卷积层的输入融合后作为整个基本块的输出。

16、进一步地，步骤s3中，训练特征提取网络模型时，特征预提取网络模型的残差块借助relu函数进行非线性激活，具体公式为：

17、

18、其中，表示残差单元序列，表示该残差单元的输入，是和该残差单元相关的一些列权重和变差，是残差单元的网络层的数目，表示激活函数，一般使用relu。

19、进一步地，步骤s2中，特征粗提取网络模型、特征细提取网络模型均为联合注意力机制的特征提取网络，包括依次设置的多个自注意力网络块；

20、将图像信息作为注意力机制中的k和v，将文本信息作为注意力机制中的q，整个注意力机制的过程是将文本信息作为模型对图像信息的关注程度进行评分，得到矩阵，这个矩阵的乘积作为权重作用于对图像信息分析所得出的结果v上，得到最终的注意力计算结果。

21、更进一步地，步骤s3中，训练特征提取网络模型时，特征粗提取网络模型、特征细提取网络模型的前向学习注意力的计算公式为：

22、

23、其中，表示矩阵的维度，矩阵qk所含有的一个样本所含信息的维度；表示转置。

24、一种眼部图像斜视类型的分类系统，包括：

25、样本数据获取模块，用于获取样本数据，所述样本数据包括眼部图像样本数据、文本样本数据；

26、特征提取网络模型构建模块，用于构建特征提取网络模型，特征提取网络模型包括特征预提取网络模型、特征粗提取网络模型、特征细提取网络模型以及分类网络，特征预提取网络模型包括resnet50v2图像提取模型、文本提取模型；

27、特征提取网络模型训练模块，用于采用样本数据获取模块获取的样本数据对特征提取网络模型构建模块构建的特征提取网络模型进行训练；

28、将眼部图像样本数据作为resnet50v2图像提取模型的输入，文本样本数据作为文本提取模型的输入，resnet50v2图像提取模型、文本提取模型的输出作为特征粗提取网络模型的输入，特征粗提取网络模型的输出作为特征细提取网络模型的输入，特征细提取网络模型的输出作为分类网络的输入，分类网络输出分类结果；

29、斜视实时分类模块，用于获取实时的眼部图像数据、文本数据，并将眼部图像数据、文本数据输入特征提取网络模型训练模块训练完成的特征提取网络模型，特征提取网络模型输出分类结果。

30、一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

31、一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

32、本发明的有益效果如下：

33、1、本发明中，相比于既往基于传统分步学习的眼部关键区域分割算法的研究受制于较小数据集容易形成偏倚，难以大范围推广的问题，本技术可以利用大量双模态（影像+文本）的数据训练网络，减少了模型的偏倚，使模型更具有普适性。

34、2、本发明中，相比于既往基于端到端学习的分类算法的研究仅停留于斜视和正常的二分类任务，对临床的实践应用帮助有限的问题，本技术可实现的斜视分类涵盖了临床上常见的所有斜视种类，具有较强的现实意义和临床价值。

35、3、本发明中，相比于既往人工智能斜视筛查与诊断研究仅利用眼位照片进行斜视的筛查和诊断，信息源单一与临床实践不相符的问题，本技术通过多模态特征融合，参考文本信息和图像信息两个模态的信息源，使模型综合学习到图片和图片对应的电子病例特征，进一步提升分类模型的准确度，提高分类结果的准确性。

36、4、本发明中，考虑到部分水平斜视亚型与垂直斜视亚型特征高度相似，如果直接进行分类任务，会使得相似的小类分类准确率不高。本技术通过层级分类方法，改善因部分水平斜视亚型与垂直斜视亚型特征高度相似而导致模型类间混淆的问题，从而提高多分类精度，减少类间错误