晶状体分割难度分类方法及装置与流程

本发明涉及图像分析技术领域，具体涉及一种晶状体分割方法及装置。

背景技术：

前段光学相干断层扫描(anteriorsegmentopticalcoherencetomography,as-oct)是一种用于活体组织成像的技术，具有迅速、非接触、无创的特点。在检测眼科疾病的应用中，晶状体密度是衡量白内障等疾病严重程度的重要指标，晶状体结构分割是晶状体密度计算的重要依据和前提。晶状体密度是衡量白内障等疾病严重程度的重要指标，晶状体结构分割是晶状体密度计算的重要依据和前提。图1为晶状体结构示意图，晶状体是多层结构，具体分为：晶状体囊、皮质层和晶状体核。

目前，国际上采用晶状体混浊分类系统（lensopacitiesclassificationsystemiii，locsiii）分类标准对活体白内障进行分类，以判定晶状体混浊的范围和程度。该方法的缺点主要在于：分类需人为干预，且结构分级结果严重依赖于医生经验，分级质量差异显著。申请公布号cn110176007a，申请公布日2019年8月27日的发明专利申请公开的晶状体分割方法，通过预设神经网络模型及形状模板可实现对晶状体结构的自动分割，从而在降低人工成本的同时，提高晶状体结构分割的准确度。受患者晶状体病变及拍摄设备影响，as-oct图像存在晶状体结构模糊、缺失、以及人工晶体等现象，此类图像无法通过算法实现结构分割。同时，对于晶状体结构相对完整、可进行结构分割的图像，无法评价分割算法对图像分割结果的可信度。

技术实现要素：

本发明为解决上述技术问题，提供了一种晶状体分割难度分类方法，其特征在于，包括：

采集样本数据并对各样本数据标注参考分割线；

将各样本数据输入自动分割网络以获取各样本数据的自动分割结果；

根据各样本数据的所述标注参考分割线计算各样本数据的自动分割结果的分割综合误差；

根据各样本数据的自动分割结果的分割综合误差确定该样本数据的分割难度等级；

基于各样本数据及其分割难度等级建立分割难度判断网络；

将原始图像输入到所述分割难度判断网络中以获取该原始图像的分割难度等级。

上述技术方案建立的分割难度判断网络，能够自动的根据分割误差确定分割难易等级，解决认为定级所产生的主观性和前后不一致性的问题。

进一步地，所述分割参考线包括晶状体上边界参考线、晶状体下边界参考线、皮质层上边界参考线、皮质层下边界参考线、晶状体核上边界参考线、晶状体核下边界参考线；所述样本数据的自动分割结果包括对应于其晶状体上边界参考线的晶状体上边界分割线、对应于其晶状体下边界参考线的晶状体下边界分割线、对应于其皮质层上边界参考线的皮质层上边界分割线、对应于其皮质层下边界参考线的皮质层下边界分割线、对应于其晶状体核上边界参考线的晶状体核上边界分割线、对应于其晶状体核下边界参考线的晶状体核下边界分割线；样本数据的所述分割综合误差，基于样本数据自动分割结果中的一条或者多条分割线的单项误差确定。晶状体自动分割结果中不同结构的分割误差不同，可以仅根据误差较大的结构来确定分割难度。

进一步地，样本数据的所述分割综合误差，基于样本数据的晶状体下边界分割线、皮质层下边界分割线、晶状体核上边界分割线和晶状体核下边界分割线的单项误差确定。

进一步地，样本数据的所述分割综合误差计算公式为：

；为样本数据i的晶状体下边界分割线的单项误差，为所有样本数据的晶状体下边界分割线的单项误差的均值，为晶状体下边界分割线单项误差的权重值；为样本数据i的皮质层下边界分割线的单项误差，为所有样本数据的皮质层下边界分割线的单项误差的均值，为皮质层下边界分割线单项误差的权重值；为样本数据i的晶状体核下边界分割线的单项误差，为所有样本数据的晶状体核下边界分割线的单项误差的均值，为晶状体核下边界分割线单项误差的权重值；为样本数据i的晶状体核上边界分割线的单项误差，为所有样本数据的晶状体核上边界分割线的单项误差的均值，为晶状体核上边界分割线单项误差的权重值。

进一步地：所述晶状体核下边界分割线单向误差的权重大于所述晶状体核上边界分割线单向误差的权重，所述晶状体核上边界分割线单向误差的权重大于所述皮质层下边界分割线单向误差的权重，所述皮质层下边界分割线单向误差的权重大于所述晶状体下边界分割线单向误差的权重。

进一步地，样本数据自动分割结果中分割线的相单项误差计算公式为：，为分割线上的第i个边界点与该分割线对应的参考分割线l的最短距离，n为分割线上的边界点数量。

进一步地，所述分割难度判断网络基于所述自动分割网络建立。可以有效把自动分割与分割难易等级分类紧密结合起来，避免重复提取特征。

进一步地，所述自动分割网络为u形分割网络。

进一步地，所述分割难度判断网络为基于所述自动分割网络建立的并行分支网络。在分割网络的基础上添加分类分支，可以有效利用自动分割网络提取到的有效特征进行分类，使分类与分割实现端到端地协同学习。

本发明还提供一种晶状体分割难度分类装置，包括计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器实现权利要求1-9中任一项所述的自动分割网络和分割难度判断网络。

本发明具有下述有益效果：

（1）本方法的分割难易等级定义客观可靠。直接根据分割误差定义分割难易等级，解决了人为定级所产生的主观性和前后不一致性的问题。

（2）本方法可以有效把自动分割与分割难易等级分类紧密结合起来。在分割网络的基础上添加分类分支，可以有效利用分割提取到的有效特征进行分类，使分类与分割实现端到端地协同学习。

（3）本方法泛化性强，适合于其他图像分割难易等级定义问题，能够迁移到其他类似任务上。

附图说明

图1为晶状体结构示意图。

图2为分割线单项误差计算示意图。

图3为晶状体自动分割结果中各分割线示意图。

图4为自动分割网络和分割难度分类网络示意图。

具体实施方式

这里使用的术语仅用于描述特定实施例的目的，而不意图限制本发明。除非另外定义，否则本文使用的所有术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。将进一步理解的是，常用术语应该被解释为具有与其在相关领域和本公开内容中的含义一致的含义。本公开将被认为是本发明的示例，并且不旨在将本发明限制到特定实施例。

实施例一

一种晶状体分割难度分类方法，包括：

步骤s1，采集样本数据并对各样本数据标注参考分割线。

步骤s2，将各样本数据输入自动分割网络以获取各样本数据的自动分割结果。

步骤s3，计算各样本数据的自动分割结构的分割综合误差。

步骤s4，根据各样本数据的自动分割结果的分割综合误差确定该样本数据的分割难度等级。

步骤s5，基于各样本数据及其分割难度等级建立分割难度判断网络。

步骤s6，将原始图像输入到所述分割难度判断网络中以获取该原始图像的分割难度等级。

样本数据即as-oct的原始图像数据。步骤s1中的样本数据的标注是指标注出样本图像中的晶状体结构的真实分割线作为评估步骤2中自动分割网络的分割结果是否准确的评估标准。例如，本实施例中的参考分割线是由专家或者专家组对样本图像进行标注得到的。标注的内容通常包括这些分割参考线：晶状体上边界参考线、晶状体下边界参考线、皮质层上边界参考线、皮质层下边界参考线、晶状体核上边界参考线、晶状体核下边界参考线。样本数据的自动分割结果可以通过将样本数据输入到cn110176007a号专利申请公开的分割网络或者现有技术中的其他分割网络、实时分割网络等自动分割网络中得到，本实施例采用的是u形分割网络。晶状体结构的自动分割结果和标注之间存在一定的误差，该误差可以通过计算各样本数据的分割结果与标注之间的平均像素距离（pixeldistance）获得。如图3所示，通过自动分割网络对样本数据中的晶状体区域进行自动分割得到的自动分割结果通常包括对应于其晶状体上边界参考线的晶状体上边界分割线l_u、对应于其晶状体下边界参考线的晶状体下边界分割线l_d、对应于其皮质层上边界参考线的皮质层上边界分割线c_u、对应于其皮质层下边界参考线的皮质层下边界分割线c_d、对应于其晶状体核上边界参考线的晶状体核上边界分割线n_u、对应于其晶状体核下边界参考线的晶状体核下边界分割线n_d。通过计算样本数据自动分割结果中的各分割线上每一个边界点与对应参考线之间的距离作为单个边界点的误差，进而可以计算整条分割线上边界点的误差的均值和方差。如图2所示，线段d为自动分割线a上边界点p与其对应的参考分割线g之间的最短距离（pixeldistance像素距离，以pixel像素为单位）。pixeldistance也可以定义为垂直方向上，相同横坐标位置对应的自动分割线上边界点与参考分割线边界点的纵坐标之差的绝对值。对每条分割线的平均pixeldistance进行统计，以获得单项误差loss：

上式中：为分割线上第i个边界点与该分割线对应的参考分割线l的最短距离，n为分割线上的边界点数量。

基于计算出的单项误差可以计算各样本数据的分割综合误差，例如，分割综合误差可以基于样本数据自动分割结果中的一条或者多条分割线的单项误差确定。

申请人经大量实验统计发现，晶状体上边界分割线和皮质层上边界分割线的单项误差均较小，即分割较为准确。而分割出错的结构主要发生在晶状体下边界、皮质层下边界、晶状体核上边界和晶状体核下边界，并且分割出错的概率大小顺序近似为:

晶状体核下边界>晶状体核上边界>皮质层下边界>晶状体下边界

因此，本实施例中对这四个结构的分割线误差赋予不同权重：6、4、2、1，并且不计算晶状体上边界分割线l_u和皮质层上边界c_u的误差。从而可计算每张图像(即各样本数据)的晶状体结构分割综合误差：

ei表示样本数据i（即第i个样本数据）的分割综合误差；

为样本数据i的晶状体下边界分割线的单项误差，为所有样本数据的晶状体下边界分割线的单项误差的均值，为晶状体下边界分割线单项误差的权重值；

为样本数据i的皮质层下边界分割线的单项误差，为所有样本数据的皮质层下边界分割线的单项误差的均值，为皮质层下边界分割线单项误差的权重值；

为样本数据i的晶状体核下边界分割线的单项误差，为所有样本数据的晶状体核下边界分割线的单项误差的均值，为晶状体核下边界分割线单项误差的权重值；

为样本数据i的晶状体核上边界分割线的单项误差，为所有样本数据的晶状体核上边界分割线的单项误差的均值，为晶状体核上边界分割线单项误差的权重值。

样本数据的分割难度等级的数量以及各等级的占比可以根据实际需要和所有样本数据的综合误差分布来确定，确定好以后可以各样本数据的综合误差所对应的分割难度等级即是该样本数据的分割难度等级。以分割难度等级共五级为例，依据所有样本数据的分割综合误差统计结果及分布，可将样本数据按照1级5%、2级15%、3级45%、4级：25%、5级10%，把分割难度等级划分为1~5级，从而可确定每一级别对应的分割综合误差e的范围。1~5级对应的分割难度依次降低，即5级表示分割难度最为容易，分割结果误差小，分割结果可信度高；1级表示分割难度较大，分割结果误差较大，分割结果可信度较低。在确定每一分割难度等级对应的综合误差范围后，各样本数据的分割难度等级可由其分割综合误差确定。基于得到的样本数据及其对应的分割难度等级进行训练，建立分割难度判断网络实现as-oct图像的晶状体结构分割难度的自动判断。

由于分割难易等级的确定是在分割误差的基础上建立的，其与步骤2中采用的自动分割网络提取到的有效特征有关。因此，本实施例在u形分割网络的基础上添加了一个并行的分类分支作为分割难度判断网络，以利用自动分割网络所得的有效特征进行分类。自动分割网络和分割难度判断网络的整体网络结构如图4所示。网络的输入图像是原始图像，作为优选，本实施例中采用从原始图像中分割出的晶状体区域图像，大小为512x120。图4为shuffleseg分割网络，用来进行晶状体结构分割，它是一个u形结构的轻量级网络，以shufflenet进行编码，skipnet进行解码。图4中的fclayer即为分割难度判断网络，它由2个全连接层和softmax层组成，输出通道数分别为512和5，用来进行分割难易等级预测。

实施例二

一种晶状体分割难度分类装置，包括计算机可读存储介质。所述计算机可读存储介质包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器实现实施例一种所述的自动分割网络和分割难度判断网络。

虽然描述了本发明的实施方式，但是本领域普通技术人员可以在所附权利要求的范围内做出各种变形或修改。