基于眼部CT图像的甲状腺相关眼疾识别方法和装置与流程

基于眼部ct图像的甲状腺相关眼疾识别方法和装置
技术领域
1.本发明涉及图像处理技术，尤其涉及一种基于眼部ct图像的甲状腺相关眼疾识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.甲状腺相关性眼病是成年人常见的眼眶疾病之一，通常认为它是一种与甲状腺疾病相关的器官特异性的自身免疫性疾病。眼球突出是甲状腺相关性眼病(tao，thyroid associated ophthalmopathy)的症状之一，通常伴随眼睑挛缩、眼睑肿胀、结膜发红等，不仅影响美观，而且还影响用户视力，从而降低了用户的生活质量。
3.相关技术中，甲状腺眼突的检查包括：眼部常规的检查、ct扫描和mri扫描等。其中，通过ct扫描得到的ct图像，需要医生人为对ct图像中的每个ct切片进行标注和分析，来判断tao患者眼外肌是否出现肥大，病变是否累及肌腹等，但是，对于不同的患者，ct图像的层数也不同，对于层数比较厚的ct图像，需要消耗医生的大量时间和精力进行标注和诊断，偶尔还会出现误诊，漏诊的情况，不但增加了标注成本，还导致诊断效率降低的问题。
4.所以，如何提高ct图像中的甲状腺相关性眼病的诊断效率，是目前有待解决的技术问题。


技术实现要素：

5.本发明提供一种基于眼部ct图像的甲状腺相关眼疾识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以至少解决相关技术中需要花费大量的时间来标注和诊断ct图像是否为甲状腺相关性眼病，导致ct图像的诊断成本高，效率低的技术问题。本发明的技术方案如下：
6.根据本发明实施例的第一方面，提供一种基于眼部ct图像的甲状腺相关眼疾识别方法，包括：
7.获取眼部图像的多个切片图；
8.对所述多个切片图进行筛选，获取目标ct切片图，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图；
9.对每个所述目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息；
10.基于所述眼球和眼眶的轮廓定位信息得到甲状腺相关眼疾的识别结果。
11.可选的，所述对所述多个切片图进行筛选，获取目标ct切片图，包括：
12.通过筛选模型对所述多个切片图进行筛选，获取目标ct切片图，其中，所述筛选模型包括：
13.四分类模型，用于识别所述切片图是否为ct切片图以及所述ct切片图的拍摄位；以及
14.二分类模型，用于基于所述ct切片图的拍摄位判断所述ct切片是否为目标ct切片
图。
15.可选的，所述ct切片图的拍摄位包括：水平位、冠状位和矢状位。
16.可选的，所述二分类模型，还用于基于所述ct切片图的拍摄位以及对应的眼部组织判断所述ct切片是否为目标ct切片图。
17.可选的，所述对每个所述目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息，包括：通过分割模型对每个所述目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息，具体包括：
18.通过形状检测算法对所述目标ct切片图中的圆形区域进行检测，得到眼球的所在区域；
19.通过二值分割算法以及眼眶区域的高光特征对所述目标ct切片图进行分析，得到所述目标ct切片图中的颅骨区域，并分析所述颅骨区域的位置和面积，确定左右眼眶所在的区域；以及
20.基于所述眼球的所在区域以及所述左右眼眶所在的区域，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息。
21.可选的，所述基于所述眼球和眼眶的轮廓定位信息得到甲状腺相关眼疾的识别结果，包括：
22.基于所述眼球和眼眶的轮廓定位信息获得所述目标ct切片图中眼眶和眼球的相对位置信息；
23.基于所述眼眶和眼球的相对位置信息，得到所述甲状腺相关眼疾的识别结果。
24.可选的，所述眼眶和眼球的相对位置信息为眼球突出眼眶部分的面积占比，所述基于所述眼球和眼眶的轮廓定位信息获得所述目标ct切片图中眼眶和眼球的相对位置信息，包括：
25.对所述眼眶和眼球的轮廓定位信息进行图像分割，输出眼眶和眼球的分割区域图片；
26.利用所述分割区域图片中的眼球和眼眶所在的轮廓，确定所述目标ct切片图的方向；
27.基于确定的所述目标ct切片图的方向，连接左右两个眼眶的轮廓在所述分割区域图片上的最高点的连线作为参考线；以及
28.根据所述参考线获取眼球突出眼眶部分的面积占比。
29.根据本发明实施例的第二方面，提供一种基于ct图像的甲状腺相关眼疾识别装置，包括：
30.获取模块，用于获取眼部图像的多个切片图；
31.筛选模块，用于对所述多个切片图进行筛选，获取目标ct切片图，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图；
32.分割模块，用于对所述每个目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息；
33.识别模块，用于基于所述眼球和眼眶的轮廓定位信息得到甲状腺相关眼疾的识别结果。
34.可选的，所述筛选模块，具体用于通过筛选模型对所述多个切片图进行筛选，获取
目标ct切片图，其中，所述筛选模型包括：
35.四分类模型，用于识别所述切片图是否为ct切片图以及所述ct切片图的拍摄位；以及
36.二分类模型，用于基于所述ct切片图的拍摄位判断所述ct切片是否为目标ct切片图。
37.可选的，所述ct切片图的拍摄位包括：水平位、冠状位和矢状位。
38.可选的，所述二分类模型，还用于基于所述ct切片图的拍摄位以及对应的眼部组织判断所述ct切片是否为目标ct切片图。
39.可选的，所述分割模块，具体用于通过分割模型对每个所述目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息。
40.可选的，所述分割模块包括：
41.检测模块，用于通过形状检测算法对所述目标ct切片图中的圆形区域进行检测，得到眼球的所在区域；
42.分析模块，用于通过二值分割算法以及眼眶区域的高光特征对所述目标ct切片图进行分析，得到所述目标ct切片图中的颅骨区域；
43.区域确定模块，用于分析所述颅骨区域的位置和面积，确定左右眼眶所在的区域；以及
44.提取模块，用于基于所述眼球的所在区域以及所述左右眼眶所在的区域，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息。
45.可选的，所述识别模块包括：
46.位置获取模块，用于基于所述眼球和眼眶的轮廓定位信息获得所述目标ct切片图中眼眶和眼球的相对位置信息；
47.眼疾识别模块，用于基于所述眼眶和眼球的相对位置信息，得到所述甲状腺相关眼疾的识别结果。
48.可选的，所述位置获取模块包括：
49.图像分割模块，用于在所述眼眶和眼球的相对位置信息为眼球突出眼眶部分的面积占比时，对所述眼眶和眼球的轮廓定位信息进行图像分割，输出眼眶和眼球的分割区域图片；
50.方向确定模块，用于利用所述分割区域图片中的眼球和眼眶所在的轮廓，确定所述目标ct切片图的方向；
51.连接模块，用于基于确定的所述目标ct切片图的方向，连接左右两个眼眶的轮廓在所述分割区域图片上的最高点的连线作为参考线；以及面积占比获取模块，用于根据所述参考线获取眼球突出眼眶部分的面积占比。
52.根据本发明实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述任一种基于眼部ct图像的甲状腺相关眼疾识别方法。
53.根据本发明实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备执行上述任一种基于眼部ct图像的甲状腺相关眼疾识别方法。
54.根据本发明实施例的第五方面，提供根据一种计算机程序产品，包括计算机程序或指令，当所述计算机程序程序或指令被处理器执行时，实现如上述任一种基于眼部ct图像的甲状腺相关眼疾识别方法。
55.本发明的实施例提供的技术方案至少可以包括以下有益效果：
56.本发明实施例示中，获取眼部图像的多个切片图；对所述多个切片图进行筛选，获取目标ct切片图，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图；对每个所述目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息；基于所述眼球和眼眶的轮廓定位信息得到甲状腺相关眼疾的识别结果。也就是说，本发明实施例中，通过对多个切片图进行筛选，以及对筛选出来的目标ct切片图中的眼球和眼眶的轮廓定位信息的提取和识别，得到甲状腺相关眼疾的识别结果，即本实施例通过对多个切片图进行自动筛选和识别，不但减少了标注的数量，节省开发成本，而且还提高了甲状腺相关性眼病的诊断效率，使诊断流程清晰，中间结果可控。
57.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
58.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。
59.图1是本发明实施例提供的一种基于眼部ct图像的甲状腺相关眼疾识别方法的流程图。
60.图2是本发明实施例提供的一种可用作诊断分析的水平面ct切片图的示例图。
61.图3是本发明实施例提供的一种基于眼部ct图像的甲状腺相关眼疾识别的建模和标注的流程图。
62.图4是本发明实施例提供的一种基于眼部ct图像的甲状腺相关眼疾识别方法的应用实例图。
63.图5是本发明实施例提供的一种基于眼部ct图像的甲状腺相关眼疾识别装置的框图。
64.图6是本发明实施例提供的一种分割模块的框图。
65.图7是本发明实施例提供的一种识别模块的框图。
66.图8是本发明实施例提供的一种获取模块的框图。
67.图9是本发明实施例提供的一种眼疾识别模块的框图。
68.图10是本发明实施例提供的一种基于眼部ct图像的甲状腺相关眼疾识别的装置的结构框图。
具体实施方式
69.为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
70.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
71.技术术语介绍：
72.ct是用x线束对人体某部一定厚度的层面进行扫描，由探测器接收透过该层面的x线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器(analog/digital converter)转为数字，输入计算机处理。
73.图1是根据一示例性实施例示出的一种基于眼部ct图像的甲状腺相关眼疾识别方法的流程图，如图1所示，该基于眼部ct图像的甲状腺相关眼疾识别方法用于终端或服务器中，包括以下步骤：
74.步骤101，获取眼部图像的多个切片图；
75.该步骤中，终端或服务器先获取用户的一张眼部图像(比如眼部ct图像等)；然后，再对所述眼部图像进行切分，得到所述眼部图像的多个切片图。其中，每张眼部图像可以包括多个不同大小的多个图片，通过对该眼部图像进行切分，就可以得到多个切片图，也就是说，眼部图像是由多个不同大小的切片图拼接而成的。其中，眼部图像可以为正视拍摄的图像，也可以是畸变小的图像。
76.需要说明的是，本实施例中对眼部图像的切分可以采用人工切分方式，也可以通过切分模型进行切分的方式。当然还可以通过其他的切分方式，本实施例不做限制。
77.其中，该步骤中，获取用户的眼部图像，可以从影像系统获取的眼部图像，也可以从医生手机上获取的拍摄的眼部图像，本实施例不做限制。
78.该实施例中，在获取眼部图像后，需要对其进行切分，其切分的过程可以通过人工参与的半自动方法对眼部图像进行切分。当然，也可以采用训练好的内切片识别模型进行切分。
79.具体的，具体的切分方式包括：
80.一种方式是：通过训练好的内切片识别模型对所述眼部图像进行识别，得到包括行数和列数的识别结果；根据所述识别结果，对所述眼部图像进行分块，得到所述眼部图像的多个切片图；也就是说，这种方式就是使用构建的图片内切片识别模型进行自动识别，系统按照识别的结果进行图片的切分。
81.其中，内切片识别模型为自动识别的模型，具体可以为多标签分类模型。该多标签分类模型训练时输入包含多个切片图，预测出其包含的目标ct切片图的行和列的个数。该多标签分类模型可选用常用的卷积神经网络，后接输出层为2个节点(分别表示行和列的个数)，包含若干层的全连接神经网络。
82.训练时为了提供更丰富的训练数据，提升模型性能。本实施例除了使用标注好的真实ct切片图外，还通过已经完成ct切片图进行随机拼接成的ct图片作为输入。通过这种方法，可以扩大了样本的数量，从而提高模型的精度。
83.另一种方式是：在检测到用户输入分割所述切片图的行数和列数的操作指令时，根据所述指令操作对所述眼部图像进行切分，得到所述眼部图像的多个切片图。也就是说，这种方式是操作者手动输入眼部图像中包含切片图的行数和列数，程序根据这个信息自动
进行切分。
84.也就是说，本实施例中对眼部图像的切分方式，在实际应用中，本实施例并不限于上述两种方式，还可以是其他的切分方式。
85.步骤102，对所述多个切片图进行筛选，获取目标ct切片图，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图。
86.该步骤中，终端或服务器将所述多个切片图输入训练好的筛选模型，通过该筛选模型对所述多个切片图进行筛选，获取目标ct切片图，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图。
87.其中，所述筛选模型包括：
88.四分类模型，用于识别所述切片图是否为ct切片图以及所述ct切片图的拍摄位；以及
89.二分类模型，用于基于所述ct切片图的拍摄位判断所述ct切片是否为目标ct切片图。
90.其中，本实施例中的筛选模型是预先构建好的筛选模型，具体通过显示两个层次来构建：
91.先构建四分类的分类模型，用来区分ct切片图是非ct切片图、水平位ct切片图、冠状位ct切片图和矢状位ct切片图中的哪一类。之后，针对每种ct切片图的拍摄位，构建是否可用于诊断的二分类模型，即输出为是否可以作为判断甲状腺眼突的二值标签。由此实现在应用场景中判断输入的ct切片图是否适合用于判断是否具有甲状腺眼突。
92.步骤103，对所述每个目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息。
93.该步骤中，终端或服务器将所述目标ct切片图输入到训练好的分割模型中，输出每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息；其中，分割模型是预先训练好的模型，具体按照下述方式训练：
94.先识别每个所述目标ct切片图中的眼球和眼眶所在的区域；然后，再对识别出的眼球和眼眶所在的区域进行标注调整(或者标注优化)，得到用来判断甲状腺相关眼病所需的标注轮廓的目标ct切片图，以标注的轮廓区域为分割模型的学习目标，将所述目标ct切片图输入到分割模型进行训练，得到训练好的分割模型，所述分割模型的输出结果用来判断甲状腺相关眼病。
95.其中，一种识别每个所述目标ct切片图中的眼球和眼眶所在的区域，体包括：
96.通过形状检测算法对目标ct切片图中的圆形区域进行检测，得到眼球的所在区域；以及通过二值分割算法以及眼眶区域的高光特征对目标ct切片图进行分析，得到所述目标ct切片图中的颅骨区域；分析所述颅骨区域的位置和面积，确定左右眼眶所在的区域。
97.也即是说，本实施例中，如果直接精细标注眼球的分割区域和眼眶的区域十分耗时，标注成本高。本实施例中，利用形状检测算法得到眼球的所在区域，通过二值分割算法确定左右眼眶所在的区域，之后再交由医生对识别的结果进行修改和微调，也就是说，在粗标注后，对于不易通过图像处理解决的分割任务和对自动处理中的错误，再有针对性地进行精细标注优化，以达到降低标注工作量的目的，节约了大量人力，降低标注成本，提高了标注效率。
98.其中，当眼球具有明显的形状信息时，本实施例利用形状检测算法结合霍夫变换来检测ct切片图中的圆形，即眼球的大致区域；之后，对该区域的范围使用形态学方法适当扩大，确保眼球目标位于选区内；对选区进行边缘提取以及轮廓提取，可以得到眼球的轮廓。之后，沿眼球的轮廓线进行等距离采样，即可以得到一系列的关于眼球的标注点。即利用形态学算法对识别出的所述眼球的区域进行扩大，确保所述眼球的区域位于选区内，对所述选区进行边缘提取好标注，得到所述目标ct切片中眼球的轮廓。
99.同理，本实施例对眼眶的提取类似，通过观察可以发现，眼眶区域具有明显的高亮特征。首先，通过二值分割法可以得到目标ct切片图中的颅骨区域。对该区域的范围使用形态学方法适当扩大，确保眼眶目标位于选区内，对选区进行边缘提取以及轮廓提取，可以得到眼框的轮廓，对其提取眼眶的轮廓，分析不同眼眶轮廓的位置和面积。就可以得到左右眼眶所在的区域。依照类似方法，本实施例也可以获得关于左右颅骨区域的标注点，具体与上述过程类似，在此不再赘述。
100.步骤104，基于所述眼球和眼眶的轮廓定位信息得到甲状腺相关眼疾的识别结果。
101.对提取的所述轮廓定位信息进行图像识别，得到甲状腺相关眼疾的识别结果。
102.该步骤中，一种识别方式是：终端或服务器对提取的所述轮廓定位信息进行图像分割，输出眼眶和眼球的分割区域图片；然后，利用所述分割区域图片中的眼球和眼眶所在的轮廓，确定所述目标ct切片的方向；再后，连接左右两个眼眶的轮廓在所述分割区域图片上的最高点的连线作为参考线，并根据所述参考线获取眼球突出眼眶部分的面积占比；最后，根据所述面积占比确定用于甲状腺相关眼疾的识别结果。
103.另一种识别方式为：终端或服务器对提取的所述轮廓定位信息进行图像分割，输出眼眶和眼球的分割区域图片，将所述眼眶和眼球的分割区域图片输入到分类模型进行识别，得到用于甲状腺相关眼疾的识别结果。
104.其中，该实施例中，基于图像处理的结构提取，可以获取判断甲状腺眼突所需的标注轮廓，并在提取的标注轮廓的基础上，利用人工精细的标注优化，实现通过人工核验，对基于图像处理的自动标注方法的处理偏差进行手动修改，来提高标注的准确性，同时相比于一般的二值标签，本实例中的分割标注方法包含了更多的可用于诊断的信息。
105.该模型为预先建立的多标签的分割模型，该分割模型的结构可选用深度学习分割模型等，当然并不限于此。本实施例，如果将ct切片图像输入该深度学习分割模型，输出为带有背景、眼眶和眼球三种标签的分割图像，并基于此进行甲状腺眼突的判别。但是，相关技术中，都是直接输入图片，输出是否患病的标签。因此，本实施例中判断的依据更加直观且可以可视化展示。流程更加贴近医生人工判断的方法，也就是说，本实施例增加了深度学习模型在医学场景中应用的可解释性。
106.之后，本实施例可以结合提取的眼球和眼眶的区域的位置，可以判断出切片的方向，如果不是如图2所示的水平面ct切片示例的方向，可以通过旋转来调整ct切片的方向。
107.再后，本实施例将左右两个眼眶轮廓在图像上的最高点的连线作为所需的参考线；根据所述参考线可以很容易地获得眼球突出眼眶部分的面积占比，根据所述面积占比确定用于甲状腺相关眼疾的识别结果。
108.也就是说，眼眶和眼球的相对位置信息为眼球突出眼眶部分的面积占比，根据所述面积占比可以确定用于甲状腺相关眼疾的识别结果。
109.根据眼球和眼眶的位置，可以判断出ct切片的方向，之后连接左右两个眼眶轮廓在图像上的最高点的连线，作为所需的参考线，根据该参考线就可以获得眼球突出眼眶部分的面积占比。
110.当然，在该实施例中，还可以根据分割模型的输出的每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息，构建分类模型来判断甲状腺相关眼疾的识别结果。
111.也就是说，通过识别结果既可以定性地用于甲状腺眼突疾病的诊断，也可以用于定量地分析甲状腺眼突疾病的严重程度。具体如图2所示，图2为本发明实施例提供的一种可用作诊断分析的水平面ct切片图的示例图。
112.如图2所示，本发明实施例中，选用水平面的ct切片图作为研究对象的示意图。该图2中具有晶状体可见，适用于分析眼球突出眼眶程度的特点。而眼球的突出程度可以通过如图2所示进行判断，一种判断方式为：眼眶的最前端连线与眼球交叉，将眼球划分为两个部分，通过计算超出眼眶的部分占眼球的面积，就可以定量地来诊断眼球的突出程度，但在实际应用中，并不限于此。
113.本发明实施例中，获取眼部图像的多个切片图；对所述多个切片图进行筛选，获取目标ct切片图，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图；对每个所述目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息；基于所述眼球和眼眶的轮廓定位信息得到甲状腺相关眼疾的识别结果。也就是说，本发明实施例中，通过对多个切片图进行筛选，以及对筛选出来的目标ct切片图中的眼球和眼眶的轮廓定位信息的提取和识别，得到甲状腺相关眼疾的识别结果，即本实施例通过对多个切片图进行自动筛选和识别，不但减少了标注的数量，节省开发成本，而且还提高了甲状腺相关性眼病的诊断效率，使诊断流程清晰，中间结果可控。也就是说，本发明实施例中，通过对多个切片图进行筛选，以及对筛选出来的目标ct切片图中的眼球和眼眶的轮廓定位信息的提取和识别，不但减少了标注的数量，节省了开发成本，其诊断流程清晰、中间结果可见可控，模型具有直观的可解释性，有利于在临床中的验证与推广。
114.还请参阅图3，为本发明实施例提供的一种基于眼部ct图像的甲状腺相关眼疾识别的建模和标注的流程图，如图3所示，包括建模流程和标注流程，具体包括：
115.步骤301：获取数据集，该数据据包括多张眼部的切片图；
116.该步骤中，数据集可以包括不同大小的多张切片图，当然，也可以是多个切片图拼接组合而成的图片。为了丰富使用场景，本实施例中的数据集可以从影像系统中导入的图片，又可以是通过医生手机拍摄上传的图片，不过需要对其进行切分，可以通过人工参与的半自动方法对图片进行切分，也可以通过切分模型对其进行切分。
117.步骤302：对获取的所述数据集中的每张切片图进行粗标注，得到粗标注后的切片图，其中，粗标注后的切片图包括：每张切片图的拍摄位，以及每张切片图是否可用于诊断等。
118.其中，本实施例中，该粗标注为分类标注，即给每张切片图打上标签，粗标注较为简单快速，能够高效筛选出所需的带有分类标签的切片图，避免了全量标注的负担。
119.也就是说，本实施例中，粗标注，就是对每个切片图的数据特征进行分类，并根据分类结果，在每个切片图上标注对应的标签。之后，在粗标注后，得到带有分类标签的切片图，然后结合数据情况，分析带有分类标签的切片图的数据特征，利用基于图像处理的结构
提取方法，对带有分类标签的ct切片图的数据特征进行轮廓标注提取，获取判断甲状腺眼突所需的标注轮廓，即预先对相关区域进行识别，之后再交由医生进行修改和微调，节约了大量人力成本并提高了标注效率。在此基础上，本实施例中，对于不容易通过图像处理解决的分割任务和对自动处理中的错误失误，再有针对性地进行精细标注优化(具体的详见下述过程，在此不再赘述)，以达到降低标注工作量的目的。
120.其中，本实施例提供的粗标注的标签以下述七类为例，但在实际应用中，并不限于此，具体包括：
121.非ct图像，可用于诊断的水平位ct图片，不可用于诊断的水平位ct图片，可用于诊断的冠状位ct图片，不可用于诊断的冠状位ct图片，可用于诊断的矢状位ct图片，不可用于诊断的矢状位ct图片。
122.需要说明的是，对于每个拍摄的体位中，可用于诊断的ct图片也可以根据不同的诊断依据分出多种子类型，但为了便于描述，本实施例在此不做区分。
123.步骤303：根据获取的数据集和所述粗标注后的切片图构建筛选模型，实现数据集的分类；
124.该实施例中，通过粗标注，已经获取了带有分类标签的切片图(即图片样本)。可以通过这些带有分类标签的切片图，构建数据集，构建可用于诊断照片的筛选模型。
125.其中，本实施例采用分层构建筛选模型：
126.首先，构建四分类的分类模型，用于区分图片是非ct图片、水平位ct图片、冠状位ct图片和矢状位ct图片中的哪一类。
127.也就是说，终端或服务器通过建立的四分类的分类模型对所述带有分类标签的切片图进行识别，得到每个所述切片图所属的分类；比如：切片图所属分类是非ct图片、水平位ct图片、冠状位ct图片或矢状位ct图片等。
128.其次，针对每种图片的拍摄位，构建是否可用于诊断的二分类模型，即输出为是否可以作为判断甲状腺眼突的二值标签。由此实现在应用场景中判断输入的ct切片图是否适合用于判断是否具有甲状腺眼突。也就是说，对于每种图片的拍摄位，终端将分类后的所述ct切片图通过建立的二分类模型，选取用来判断甲状腺相关眼病的带有分类标签的ct切片图，通过选出的所述带有分类标签的ct切片图可以判断，输入的ct切片图是否适合用于判断具有甲状腺眼突的疾病。
129.筛选模型，用于实现数据集的分类，一方面，筛选出可用于诊断的ct切片图，另一方面，可以根据数据集的分类建立分类模型。
130.步骤304：对所述筛选模型筛选出的可用于诊断的ct切片图，基于图像处理的结构提取，得到提取后的ct切片图；
131.其中，结构提取，就是初步诊断ct切片图中参考解刨结构的轮廓和定位等标签，用于判断甲状腺眼突所需的标注轮廓。
132.该实施例中，直接精细标注眼球的分割区域和眼眶的区域十分耗时，标注成本高。基于此，本实施例提供基于图像处理的结构提取方法，预先对相关区域进行识别，之后再交由医生进行修改和微调，节约了大量人力成本并提高了标注效率。
133.眼球具有明显的形状信息，在此，我们使用边缘检测结合霍夫变换来检测ct切片图中的圆形，首先得到眼球的大致区域。对此区域范围使用形态学方法适当扩大，确保眼球
目标位于选区内。对选区进行边缘提取以及轮廓提取，从而可以得到眼球的轮廓。所有，本实施例沿眼球的轮廓线进行等距离采样，即可以得到一系列的关于眼球的标注点。
134.对眼眶的提取类似，通过观察可以发现，眼眶区域具有明显的高亮特征。首先本实施例通过二值分割可以得到ct切片图中的颅骨区域。在对其提取轮廓时，分析不同轮廓的位置和面积。就可以得到左右眼眶所在的区域。依照类似方法，就也可以获得关于左右颅骨区域的标注点。
135.步骤305：在对提取后的ct切片图进行精细标注优化，判断所述ct切片图是否为患病标签；
136.该步骤中，基于图像处理的结构提取，获取了判断甲状腺眼突所需的标注轮廓，但因为是无监督的操作，未经过人工的核验，如有偏差，则将导致模型性能的下降。因此，本实施例使用人工在之前提取的轮廓的基础上，进行精细的标注优化。通过人工核验，对基于图像处理的自动标注方法处理偏差的地方进行手动修改，从而提高了标注的准确度。
137.步骤306：对患病标签的ct切片图通过人工是审核修正，得到修正后的ct切片图；
138.其修正过程就是对该ct切片图的解刨结构的轮廓、定位的等标签进行微调整的过程。
139.步骤307：将分类后的数据集以及修正后的ct切片图输入到构建的分割模型进行训练，得到ct切片图中的目标轮廓和定位等信息。
140.该实施例中，基于分类后数据集以及修正后的ct切片图，可以构建多标签的分割模型，分割模型结构可选用常用的深度学习分割模型。输入为ct切片图(或ct切片图像等)，输出为带有背景、眼眶和眼球三种标签的分割图像。
141.此时，本实施例结合提取的眼球和眼眶的位置，可以判断出切片的方向，如果不是如图2所示的水平方向，可以通过旋转到如图2所示的水平方向的状态。左右两个眼眶轮廓在图像上的最高点的连线即为所需的参考线。至此，本实施例能够容易地获得眼球突出眼眶部分的面积占比，既可以定性地用于甲状腺眼突的诊断，也可以用于定量地分析甲状腺眼突的严重程度。
142.步骤308：通过所述ct切片图中的目标轮廓和定位等信息构建用于判断是否患病的分类模型。
143.本实施例提出的构建的分类模型，可以直接区分ct切片图所属的7个类别，从而提升分类模型识别分类的准确率。
144.进一步，本发明实施例以标注好的轮廓作为学习目标，学习得到分割模型，能够输出眼球和眼眶的分割区域，标注的轮廓都是在训练阶段为得到分割模型服务的。在实际应用过程中，直接使用分割模型即可。
145.进一步，本发明实施例中，采用图像处理与深度学习相结合的方式，能够有效减少人工标注的工作量，降低开发成本。
146.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本实施公开并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
147.还请参阅图4，为本发明实施例提供的一种基于眼部ct图像的甲状腺相关眼疾识
别方法的应用实例图，所述方法包括：
148.步骤401：获取一张眼部图片。
149.该步骤中，眼部图片可以是2d图像，而非3d格式的医学影像，其在具体实施例时，对终端的硬件设备要求低，有利于降低部署成本。
150.步骤402：对所述眼部图片进行切片预处理，得到多个切片图。
151.其中，该步骤中的切片方式具体详见上述，在此不再赘述。
152.步骤403：将所述多个切片图输入到筛选模型进行筛选，筛选出用于诊断的目标ct切片图，其中，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图；
153.该步骤中，对于筛选出不能用于诊断的切片图，直接丢弃。
154.步骤404：对筛选出的所述目标ct切片图输入到分割模型进行轮廓定位提取分割，提取到该目标ct切片图中眼球和眼眶的目标轮廓和定位信息。
155.步骤405：将该目标ct切片图中眼球和眼眶的目标轮廓和定位信息输入到分类模型进行患病判断，从而得到是否患病的诊断结果。
156.本发明实施例中，通过对多个切片图进行自动筛选和识别，采用图像处理与深度学习相结合的方式，不但减少了标注的数量，降低了开发成本，而且还提高了甲状腺相关性眼病的诊断效率。采用本实施例提供的方法可以对甲状腺眼突进行定量的测量，不但满足动了态监控病程发展，还精细化了医疗的需求。
157.图5是根据一示例性实施例示出的一种基于眼部ct图像的甲状腺相关眼疾识别装置框图。参照图5，该装置包括获取模块501，筛选模块502，分割模块503和识别模块504，其中，
158.该获取模块501，用于获取眼部图像的多个切片图；
159.该筛选模块502，用于对所述多个切片图进行筛选，获取目标ct切片图，所述目标ct切片图为能够用于判断甲状腺相关眼病的ct切片图；
160.该分割模块503，用于对所述每个目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息；
161.该识别模块504，用于基于所述眼球和眼眶的轮廓定位信息得到甲状腺相关眼疾的识别结果。
162.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述筛选模块502，具体用于通过筛选模型对所述多个切片图进行筛选，获取目标ct切片图，其中，所述筛选模型包括：
163.四分类模型，用于识别所述切片图是否为ct切片图以及所述ct切片图的拍摄位；以及
164.二分类模型，用于基于所述ct切片图的拍摄位判断所述ct切片是否为目标ct切片图。
165.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述ct切片图的拍摄位包括：水平位、冠状位和矢状位。
166.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述二分类模型，还用于基于所述ct切片图的拍摄位以及对应的眼部组织判断所述ct切片是否为目标ct切片图。
167.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述分割模块，具体用于通过分割模型对每个所述目标ct切片图进行分割，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息。
168.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述分割模块503包括：检测模块601，分析模块602，区域确定模块603和提取模块604，其结构示意图如图6所示，其中，
169.该检测模块601，用于通过形状检测算法对所述目标ct切片图中的圆形区域进行检测，得到眼球的所在区域；
170.该分析模块602，用于通过二值分割算法以及眼眶区域的高光特征对所述目标ct切片图进行分析，得到所述目标ct切片图中的颅骨区域；
171.该区域确定模块603，用于分析所述颅骨区域的位置和面积，确定左右眼眶所在的区域；以及
172.该提取模块604，用于基于所述眼球的所在区域以及所述左右眼眶所在的区域，提取每个所述目标ct切片图中的眼球和眼眶的轮廓定位信息。
173.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述识别模块504包括：位置获取模块701和眼疾识别模块702，其结构示意图如图7所示，其中
174.该位置获取模块701，用于基于所述眼球和眼眶的轮廓定位信息获得所述目标ct切片图中眼眶和眼球的相对位置信息；
175.该眼疾识别模块702，用于基于所述眼眶和眼球的相对位置信息，得到所述甲状腺相关眼疾的识别结果。
176.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述获取模块501包括：图像分割模块801、方向确定模块802、连接模块803和面积占比获取模块804，其结构示意图如图8所示，其中，
177.该图像分割模块801，用于在所述眼眶和眼球的相对位置信息为眼球突出眼眶部分的面积占比时，对所述眼眶和眼球的轮廓定位信息进行图像分割，输出眼眶和眼球的分割区域图片；
178.该方向确定模块802，用于利用所述分割区域图片中的眼球和眼眶所在的轮廓，确定所述目标ct切片图的方向；
179.该连接模块803，用于基于确定的所述目标ct切片图的方向，连接左右两个眼眶的轮廓在所述分割区域图片上的最高点的连线作为参考线；
180.该面积占比获取模块804，用于根据所述参考线获取眼球突出眼眶部分的面积占比。
181.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述眼疾识别模块702包括：连接模块901，面积占比获取模块902和结果确定模块903，其结构示意图如图9所示，其中，
182.该连接模块901，用于基于确定的所述目标ct切片图的方向，连接左右两个眼眶的轮廓在所述分割区域图片上的最高点的连线作为参考线；
183.该面积占比获取模块902，用于根据所述参考线获取眼球突出眼眶部分的面积占比；以及
184.该结果确定模块903，用于根据所述面积占比得到甲状腺相关眼疾的识别结果。
185.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，相关之处参见方法实施例的部分说明即可，此处将不做详细阐述说明。
186.本发明实施例还提供一种电子设备，包括：
187.处理器；
188.用于存储所述处理器可执行指令的存储器；
189.其中，所述处理器被配置为执行所述指令，以实现如上所述的基于眼部ct图像的甲状腺相关眼疾识别方法。
190.本发明实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上所述的基于眼部ct图像的甲状腺相关眼疾识别方法。
191.本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的基于眼部ct图像的甲状腺相关眼疾识别方法。
192.在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
193.图10是根据一示例性实施例示出的一种基于眼部ct图像的甲状腺相关眼疾识别的装置1000的框图。例如，装置1000可以被提供为一服务器。参照图10，装置1000包括处理组件1022，其进一步包括一个或多个处理器，以及由存储器1032所代表的存储器资源，用于存储可由处理组件1022的执行的指令，例如应用程序。存储器1032中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1022被配置为执行指令，以执行上述基于眼部ct图像的甲状腺相关眼疾识别方法。
194.装置1000还可以包括一个电源组件1026被配置为执行装置1000的电源管理，一个有线或无线网络接口1050被配置为将装置1000连接到网络，和一个输入输出(i/o)接口1058。装置1000可以操作基于存储在存储器1032的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
195.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
196.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。