基于可解释性算法的多模态数据睑板腺功能障碍检测的制作方法

本发明涉及睑板腺的功能障碍检测领域，特别涉及基于可解释性算法的多模态数据睑板腺功能障碍检测。

背景技术：

1、睑板腺功能障碍，简称为mgd，其是一种常见的眼部疾病，其特征是睑板腺阻塞或异常，可导致干眼综合征和其他眼表疾病，mgd的分级通常由眼科医生或验光师使用临床评估和各种诊断测试进行，如睑板腺图像和泪膜分析，mgd可以通过分析睑板腺图像来诊断和分级，睑板腺图像是使用专用相机获得的睑板腺图像，包括机器学习和深度学习在内的人工智能已被用于mgd检测和分级，检测mgd的挑战之一是确保用于训练机器学习模型的数据的质量，如果数据不完整、不准确或有偏差，则所得模型可能无法有效检测mgd，或者可能产生错误的诊断。

2、因此，提出基于可解释性算法的多模态数据睑板腺功能障碍检测来解决上述问题很有必要。

技术实现思路

1、本发明的主要目的在于提供基于可解释性算法的多模态数据睑板腺功能障碍检测，可以有效解决背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、基于可解释性算法的多模态数据睑板腺功能障碍检测，所述包括以下操作步骤：

4、s1：收集数据：数据采集设备包括但不仅限于：lipiviewiiocularsurfaceinterferometer，keratograph5m，canoncr-2af；

5、s2：根据睑板腺萎缩面积、堵塞面积来进行标记，将睑板腺严重程度进行分级，其分为：0，1，2，3，其

6、s3：数据不平衡处理：采用数据不平衡处理算法实现不同等级、不同设备采集到的数据集图片数量相同，即若gmd1级k5m采集数据为数量最多为k，则其他的都采用数据生成方法，最终均得到数据量为k的数据集，即是生成数据+原始数据，其中数据不平衡处理算法主要为基于gan及其衍生gan网络的生成，包括以下生产方法；

7、a：采用原始图像为训练数据，使用粗gan生成器，对睑板腺轮廓进行生成，其中其算法采用但不仅限于fusiongan；

8、b：采用腺体分割数据，使用细gan生成器，对睑板腺腺体进行生成，其中算法采用但不仅限于pixel2pixelgan；

9、c：采用数据融合算法，对二者进行特定位置随机融合；

10、s4：数据的初步校准：采用但不仅限于intensity-basedregistration，feature-basedregistration，demonsregistration，b-splineregistration，fluidregistration，multi-modalregistration实现初步数据校准；

11、s5：对数据的集成处理：将不同设备采集到的数据集成到一个中心，采用但不仅限于fusiongan，对数据整体增强，生成图像为处理后的数据集1/10，对所有数据进行旋转和对折增强处理，旋转为90°、180°、270°；

12、s6：建立睑板腺异常严重程度分级深度学习模型model_1：对上述数据进行四分类，分类方法采用34层卷积神经网络为基础神经网络；

13、s7：模型训练：计算该模型的accuracy、sensitivity、recallandf1score，当上述指标大于98％则停止训练模型；

14、s8：采用但不仅限于cam，permutationimportance，shap建立可解释机制，得到可解释评价指标矩阵，设定参数，实现重要像素群分割所得a，参数设定为0.6/1，采用iou作为可解释性评价指标，主要为采用睑板区域作为roi，计算roi和a的交叉面积基座iou参数；

15、s9：采用步骤s8的可解释性机制对模型最后层进行可解释性评价，作为该模型的可解释性评价，最后层iou为该模型model_iou；

16、s10：基于可解释性实现模型优化，得到优化模型model_2，主要采用步骤s8的可解释性机制对模型每一层进行可解释性评价，记作layer_iou，layer_iou大于等于0.2的层，之间实现跳接+注意力机制；

17、s11：基于步骤s8的可解释评价指标矩阵生成的热图，对数据进行进一步消歧预处理；

18、s12：对图片进行深度校准：基于步骤s8的得到的可解释评价指标矩阵，对图片进行进一步深度校准，以最具有可解释评价指标最大的像素点为中心，进行校准；

19、s13：图片特征提取：采用scikits-imagepython包，实现对以下医学图像的特征提取imagecontrast，dissimilarity，homogeneity，energy，correlationandangularsecondmoment；

20、s14：采用但不仅限于featureimportance可解释机制的特征计算方式，实现特征值重要性计算；

21、s15：采用gray-levelcooccurrencematrix矩阵选择基于featureimportance值最高的特征值特征进行归一化处理；

22、s16：将纠正和参数归一化的图片输入10中的优化分类模型中，重复步骤7-16，直至分类器中，model_iou、accuracy，sensitivity，recall、f1score指标均大于98％。

23、优选的，所述睑板腺严重程度的分级标准如下：一：score＝0，等级为0、二：0<score≤1/3，等级为1、三：1/3<score≤2/3，等级为2、四：3/3<score，等级为3。

24、优选的，所述融合方法采用但不仅限于yolo5实现睑板目标识别，同时可以采用但不仅限于使用alphablending、intensityblending、histogrammatching和laplacianpyramidblending实现目标处的图像融合叠加。

25、优选的，所述图片校准方法包括但不仅限于：intensity-basedregistration、feature-basedregistration、demonsregistration、b-splineregistration、fluidregistration、multi-modalregistration。

26、有益效果

27、与现有技术相比，本发明提供了基于可解释性算法的多模态数据睑板腺功能障碍检测，具备以下有益效果：

28、1、该基于可解释性算法的多模态数据睑板腺功能障碍检测，可解释人工智能可能有助于提高mgd检测的数据质量，xai可以帮助识别用于训练用于mgd检测的ml和dl模型的数据的问题，通过深入了解模型是如何做出决策的，可解释人工智能可以帮助识别导致错误诊断或其他问题的数据点，xai可以帮助基于ml和dl算法的数据增强过程，比如基于gan的生成方法，它可以帮助生成合理的图形选择，此外，xai系统可以分析对mgd检测最重要的特征，并识别那些特征在训练数据中缺失或错误标记的实例，然后，这些信息可以用来提高训练数据的质量，从而产生更准确有效的机器学习模型，此外，xai可以通过分析用于配准的特征、识别错误源和监控配准过程来帮助图像配准，此外，通过识别cam可视化机制标记的错误像素，xai可以帮助消除数据偏差，因此，xai可以选择合理生成的数据进行数据增强，它还可以帮助mgd评分任务中最重要的图像特征，这在数据预处理中应该得到更多的关注，它还可能有助于数据注册和消除偏见，除了提高数据质量，可解释人工智能还可以帮助建立对用于mgd检测的机器学习模型的信任，通过对模型如何做出决策提供明确的解释，临床医生和患者可以更好地理解模型诊断背后的基本原理，并对其准确性更有信心。