一种基于EXAIL类算法的腹腔镜图像多模态解释方法及系统与流程

一种基于exail类算法的腹腔镜图像多模态解释方法及系统
技术领域
1.本发明属于医学类计算机跨学科领域和人工智能计算机视觉算法技术领域，具体涉及一种基于exail类算法的腹腔镜图像多模态解释方法、系统、平台及存储介质。


背景技术：

2.腹腔镜(laparoscope)与胃镜、结肠镜类似，是一种带有光源和微型摄像头的医疗器械，属于三类医疗器械。其整套设备包括腹腔镜、能源系统、光源系统、灌流系统、成像系统以及常用的腹腔镜手术器械(如穿刺针、套管针、分离钳、电凝钩及电凝棒、施夹器、钛夹、剪刀、持针器、圈套器等)，主要用于普通外科、妇科外科和其他外科手术。在腹腔镜手术中，医生通过患者腹部很小的创口将腹腔镜送入腹腔内，腹腔镜的摄像头就可以回传患者腹腔内部情况到录像监视系统的监视器上供医生检查和手术操作。相对于传统的开腹手术，腹腔镜手术具有创伤小、术后疼痛轻，恢复快，美观等优点。因此在临床术式的选择中广受医生和患者的青睐。然而，目前腹腔镜手术中的一个很大的难题就在于：在手术中如何能及时发现重要的血管或组织器官，这对术中患者存活率有直接的影响。目前，由于医疗水平的地域差异以及医生诊断经验水平差异，术中由于血管器官判断失误导致的手术失误较多，继续找到有效解决方案以提高手术质量。
3.人工智能作为现今科学研究中的前沿技术，随着社会的进步，人类对医疗和健康方面的需求日趋旺盛，在对医疗领域的开发中融入了人工智能这一关键技术，这在一定程度上缓解了当今社会医疗资源紧缺的现状，为人们的日常生活提供很大的便利，也使得医疗工作能够以更简单便捷高效的方式开展。目前，人工智能在医疗工作中的应用包括x光片，b超检查，腔镜图像辅助诊断等，人工智能技术地采用，为医生在诊断过程中提供更多有用诊断信息，从而能够实现更加精准的诊断，从而为患者定制更有效地治疗方案，尽可能地挽救更多患者地生命。
4.计算机辅助诊断(computer aided diagnosis，cad)或计算机辅助检测(computer aideddetection，cad)是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。现在常说的cad技术主要是指基于医学影像学的计算机辅助技术。与所述计算机辅助检测(cad)相区别，后者重点是检测，计算机只需要对异常征象进行标注，在此基础上进行常见的影像处理，并无需进行进一步诊断。即，计算机辅助诊断是计算机辅助检测的延伸和最终目的，相应地，计算机辅助检测是计算机辅助诊断的基础和必经阶段。cad技术又被称为医生的“第三只眼”，cad系统的广泛应用有助于提高医生诊断的敏感性和特异性。随着深度学习端到端模型的不断发展，基于深度学习的cad已经取得了不错的进展，如阿尔茨海默病的分类、肺癌检测、视网膜疾病检测，腹腔镜息肉分类等。但是，这些方法都没有在医学领域中得以广泛推广，除了计算成本高、训练样本数据缺乏等因素外，深度学习方法本身的不可解释性即黑盒特性是阻碍其应用的主要原因，比如在医院的临床工作和手术场景中成功部署基于人工智能(ai)的计算机辅助诊断(cad)系统通常缺乏可解释的透明决策过程。
5.随着人工智能在医疗保健领域的早期应用，对cad可解释性的要求开始出现，可解释人工智能(xai)领域的研究活动随之增加，图像域的xai方法有多种形式，并使用一系列模式提供解释，如特征相关性可视化，文本解释，或抽象概念的定量相关性度量。可解释性在医学领域中是非常重要的。一个医疗诊断系统必须是透明的(transparent)、可理解的(understandable)、可解释的(explainable)，以获得医生、监管者和病人的信任。理想情况下，它应该能够向所有相关方解释做出某个决定的完整逻辑。公平、可信地使用人工智能，是在现实世界中部署人工智能方法或模型的关键因素。具体到医疗图像分析领域，引入可解释性方法的可解释深度学习模型主要有两类：属性方法(attribution based)和非属性方法(non-attribution based)。两类方法的主要区别在于是否已经确定了输入特征对目标神经元的联系。属性方法的目标是直接确认输入特征对于深度学习网络中目标神经元的贡献程度。而非属性方法则是针对给定的专门问题开发并验证一种可解释性方法，例如生成专门的注意力、知识或解释性去辅助实现专门问题的可解释深度学习。目前针对医学图像的可解释性的主要研究是使用属性方法，如通过注意力机制给任务相关的病变区域加入指向性区域划分结果，如类激活映射(cam)是一种生成热力图的技术，用于突出图像的类的特定区域。本方法采用全局平均池化，以热力图的形式告诉我们，模型通过哪些像素点得知图片属于某个类别，使模型透明化和具有可解释性。
6.然而，目前的针对腹腔镜图像的可解释性的研究还有很多空白。首先，从处理算法看，目前还没有具体算法来以文本解释腹腔镜数据的图像处理任务；其次，腹腔镜图像相比于常规的内镜图视野局限大，因为数据伪影较大，大大增加可解释性难度；最后，针对医学图像的可解释方法大多为属性方法，但是缺乏指导性仿医学处方式可解释信息，虽然常用的可解释人工智能(xai)方法为这些基本不透明的算法提供了一些见解，但此类解释通常很复杂，除非经过高度培训的人工智能专家，否则不容易理解。上述问题会直接影响对模型的解释质量。
7.由于腹腔镜临床手术对于cad系统有更高的要求，如准确度高，可信度高，可解释性强，因此从腹腔镜图像中解释组织器官术中有关决定需要特别清晰。
8.也就是说，目前没有检索到和“exail类算法腹腔多模态解释方法”相关的专利，因此这里所列的与本专利方案最相近方案是论文(lucieri a,bajwa m n,braun s a,et al.exaid:a multimodal explanation framework for computer-aided diagnosis of skin lesions[j].2022.)即《exaid：皮肤病变计算机辅助诊断的多模式解释框架》；来源：期刊comput methods programs biomed物医学计算方法程序；作者：lucieri；提出的一种用于解释皮肤镜图像的基于概念激活向量(cavs)的黑色素瘤分类任务解释器，用于从皮肤镜图像中分类黑色素瘤的示例用例的生物医学图像分析。此模型作为一个医学视觉结合语言的开创性模型，被证明是一个有效地医学图像筛查工具，并在一行数据集上评估其效用。由于可理解的解释是任何cad系统的基石之一，因此此对我们的工作有很强的参考价值。
[0009]
换言之，现有技术存在如下不足：从算法性能看，目前缺乏针对术中腹腔镜数据的解释模型算法。从处理结果看，目前大多数针对医学图像的可解释模型都是针对局部尺度提供可解释结果。从数据看，腹腔镜数据作为医学数据，存在光照等数据伪影问题，但现有鲜有算法针对腹腔镜数据提出相应的数据改进方案，使得最后实验结果一般。
[0010]
因此，针对以的技术问题缺陷，急需设计和开发一种基于exail类算法的腹腔镜图
像多模态解释方法、系统、平台及存储介质。


技术实现要素：

[0011]
为克服上述现有技术存在的不足及困难，本发明之目的在于提供一种基于exail类算法的腹腔镜图像多模态解释方法、系统、平台及存储介质，可以
[0012]
有效减少数据噪声，来有效提高腹腔镜检测模型性能；通过使用exail类可解释算法来处理腹腔镜数据,以提供可参考的文本解释结果；通过在概念分类器中引入块注意力机制sam-bilinear，可以优化任务鉴别能力。
[0013]
本发明的第一目的在于提供一种基于exail类算法的腹腔镜图像多模态解释方法；
[0014]
本发明的第二目的在于提供一种基于exail类算法的腹腔镜图像多模态解释系统；
[0015]
本发明的第三目的在于提供一种基于exail类算法的腹腔镜图像多模态解释平台；
[0016]
本发明的第四目的在于提供一种计算机可读取存储介质；
[0017]
本发明的第一目的是这样实现的：所述方法包括如下步骤：
[0018]
获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；
[0019]
采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；
[0020]
构建至少一个基于exail类算法的内窥镜图像血管解释模型；
[0021]
采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；
[0022]
将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面。
[0023]
进一步地，所述采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸，还包括步骤：
[0024]
根据输入尺寸和原始输入图尺寸计算生成收缩比r；
[0025]
通过收缩比乘原图长宽实时生成尺寸缩放后的图像；
[0026]
计算收缩后图像中需要填补的面积，并实时填补像素。
[0027]
进一步地，所述完美反射的算法的步骤包括如下：
[0028]
计算每个像素的r、g、b之和；按r+g+b值的大小生成其前比例r％的值，将其作为参考点的阈值t；
[0029]
对图像中的每个点，计算其中r+g+b值大于t的所有点的r、g、b分量的累积和的平均值；同时对每个点将像素进行量化。
[0030]
进一步地，所述构建至少一个基于exail类算法的内窥镜图像血管解释模型，还包括步骤：
[0031]
利用概念标识符使用概念激活向量，将疾病相关的血管组织学概念映射至基于dl的模型；
[0032]
通过概念定位图，获取在训练图像分类器潜在空间中，定位与学习概念相关的区
域；
[0033]
生成概念标识符接收给定图像的所有概念预测得分，并将概念得分转化为可解释医学诊断文本，同时对分类结果进行解释。
[0034]
进一步地，所述采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式，还包括步骤：
[0035]
结合注意池方案，生成图像特征；
[0036]
通过生成注意力图的最大值，近似识别对象关键部分的并集。
[0037]
进一步地，所述结合注意池方案，生成图像特征的计算公式如下：
[0038][0039]
其中，表示最后的卷积层特征地图；指一个d维的实数；d为维度，也就是通道数；代表实数集合；f为特征值；a为注意力极值运算矩阵；
[0040]
所述过生成注意力图的最大值，近似识别对象关键部分的并集的计算公式如下：
[0041][0042]
其中，i为第i行，j为第j列；au为注意力矩阵；ak的值最大矩阵；k是指设定的一张特征图提取的小特征图个数，是一个可调参数；ak表示通过多个投影{wk}创建了多个注意力图；
[0043][0044]
本发明的第二目的是这样实现的：所述系统包括：
[0045]
数据获取单元，用于获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；
[0046]
图像预处理单元，用于采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；
[0047]
解释模型构建单元，用于构建至少一个基于exail类算法的内窥镜图像血管解释模型；
[0048]
数据集训练单元，用于采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；
[0049]
图片传输单元，用于将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面。
[0050]
进一步地，所述图像预处理单元中，还包括：
[0051]
第一生成模块，用于根据输入尺寸和原始输入图尺寸计算生成收缩比r；
[0052]
第二生成模块，用于通过收缩比乘原图长宽实时生成尺寸缩放后的图像；
[0053]
第一计算模块，用于计算收缩后图像中需要填补的面积，并实时填补像素；
[0054]
第二计算模块，用于计算每个像素的r、g、b之和；按r+g+b值的大小生成其前比例r％的值，将其作为参考点的阈值t；
[0055]
第三计算模块，用于对图像中的每个点，计算其中r+g+b值大于t的所有点的r、g、b
分量的累积和的平均值；同时对每个点将像素进行量化；
[0056]
和/或，所述解释模型构建单元中，还包括：
[0057]
映射模块，用于利用概念标识符使用概念激活向量，将疾病相关的血管组织学概念映射至基于dl的模型；
[0058]
第一获取模块，用于通过概念定位图，获取在训练图像分类器潜在空间中，定位与学习概念相关的区域；
[0059]
生成转化模块，用于生成概念标识符接收给定图像的所有概念预测得分，并将概念得分转化为可解释医学诊断文本，同时对分类结果进行解释；
[0060]
和/或，所述数据集训练单元中，还包括：
[0061]
第三生成模块，用于结合注意池方案，生成图像特征；
[0062]
第四生成模块，用于通过生成注意力图的最大值，近似识别对象关键部分的并集。
[0063]
本发明的第三目的是这样实现的：包括处理器、存储器以及基于exail类算法的腹腔镜图像多模态解释平台控制程序；
[0064]
其中在所述的处理器执行所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序，所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序被存储在所述存储器中，所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序，实现所述的基于exail类算法的腹腔镜图像多模态解释方法。
[0065]
本发明的第四目的是这样实现的：所述计算机可读取存储介质存储有基于exail类算法的腹腔镜图像多模态解释平台控制程序，所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序，实现所述的基于exail类算法的腹腔镜图像多模态解释方法。
[0066]
本发明通过方法获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；构建至少一个基于exail类算法的内窥镜图像血管解释模型；采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面；以及与所述方法相应的系统、平台以及存储介质；可以有效减少数据噪声，来有效提高腹腔镜检测模型性能；通过使用exail类可解释算法来处理腹腔镜数据,以提供可参考的文本解释结果；通过在概念分类器中引入块注意力机制sam-bilinear，可以优化任务鉴别能力。
附图说明
[0067]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0068]
图1为本发明一种基于exail类算法的腹腔镜图像多模态解释方法流程示意图；
[0069]
图2为本发明一种基于exail类算法的腹腔镜图像多模态解释方法之整体处理流程示意图；
[0070]
图3为本发明一种基于exail类算法的腹腔镜图像多模态解释系统架构示意图；
[0071]
图4为本发明一种基于exail类算法的腹腔镜图像多模态解释平台架构示意图；
[0072]
图5为本发明一种实施例中计算机可读取存储介质架构示意图；
[0073]
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0074]
为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。
[0075]
本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0076]
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0077]
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0078]
优选地，本发明一种基于exail类算法的腹腔镜图像多模态解释方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0079]
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0080]
本发明为实现一种基于exail类算法的腹腔镜图像多模态解释方法、系统、平台及存储介质。
[0081]
如图1所示，是本发明实施例提供的基于exail类算法的腹腔镜图像多模态解释方法的流程图。
[0082]
在本实施例中，所述基于exail类算法的腹腔镜图像多模态解释方法，可以应用于具备显示功能的终端或者固定终端中，所述终端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。
[0083]
所述基于exail类算法的腹腔镜图像多模态解释方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的基于exail类算法的腹腔镜图像多模态解释方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。
[0084]
例如，对于需要进行基于exail类算法的腹腔镜图像多模态解释终端，可以直接在
终端上集成本发明的方法所提供的基于exail类算法的腹腔镜图像多模态解释功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以软件开发工具包(software development kit，sdk)的形式运行在服务器等设备上，以sdk的形式提供基于exail类算法的腹腔镜图像多模态解释功能的接口，终端或其他设备通过所提供的接口即可实现基于exail类算法的腹腔镜图像多模态解释功能。
[0085]
以下结合附图对本发明作进一步阐述。
[0086]
如图1-5所示，本发明提供了一种基于exail类算法的腹腔镜图像多模态解释方法，所述的方法包括如下步骤：
[0087]
s1、获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；
[0088]
s2、采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；
[0089]
s3、构建至少一个基于exail类算法的内窥镜图像血管解释模型；
[0090]
s4、采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；
[0091]
s5、将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面。
[0092]
所述采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸，还包括步骤：
[0093]
s21、根据输入尺寸和原始输入图尺寸计算生成收缩比r；
[0094]
s22、通过收缩比乘原图长宽实时生成尺寸缩放后的图像；
[0095]
s23、计算收缩后图像中需要填补的面积，并实时填补像素。
[0096]
所述完美反射的算法的步骤包括如下：
[0097]
s211、计算每个像素的r、g、b之和；按r+g+b值的大小生成其前比例r％的值，将其作为参考点的阈值t；
[0098]
s222、对图像中的每个点，计算其中r+g+b值大于t的所有点的r、g、b分量的累积和的平均值；同时对每个点将像素进行量化。
[0099]
所述构建至少一个基于exail类算法的内窥镜图像血管解释模型，还包括步骤：
[0100]
s31、利用概念标识符使用概念激活向量，将疾病相关的血管组织学概念映射至基于dl的模型；
[0101]
s32、通过概念定位图，获取在训练图像分类器潜在空间中，定位与学习概念相关的区域；
[0102]
s33、生成概念标识符接收给定图像的所有概念预测得分，并将概念得分转化为可解释医学诊断文本，同时对分类结果进行解释。
[0103]
所述采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式，还包括步骤：
[0104]
s41、结合注意池方案，生成图像特征；
[0105]
s42、通过生成注意力图的最大值，近似识别对象关键部分的并集。
[0106]
所述结合注意池方案，生成图像特征的计算公式如下：
[0107][0108]
其中，表示最后的卷积层特征地图；指一个d维的实数；d为维度，也就是通道数；代表实数集合；f为特征值；a为注意力极值运算矩阵；
[0109]
所述过生成注意力图的最大值，近似识别对象关键部分的并集的计算公式如下：
[0110][0111]
其中，i为第i行，j为第j列；au为注意力矩阵；ak的值最大矩阵；k是指设定的一张特征图提取的小特征图个数，是一个可调参数；ak表示通过多个投影{wk}创建了多个注意力图；
[0112][0113]
具体地，在本发明实施例中，一种基于tcav的exail类算法完成腹腔镜图像语义分割的方法，对腹腔镜图像进行器官和组织以及器械等不同部分的分割，以更出色地完成腔镜手术操作系统中的对血管组织的实时分类和注释信息，通过这样的方式为医生提供有用的参考结果有助于实现降低操作者术中误切血管、神经及破坏性切除。
[0114]
首先，算法从数据处理入手，针对图像色彩差异问题影响模型精度出发，尝试了几种目前性能较好的白平衡方案，它们分别是：均值白平衡法，完美反射，灰度世界假设，基于图像分析的偏色检测及颜色校正方法和动态阈值算法。通过考虑处理速度，处理效果好坏等方面，我们最后选择了完美世界反射来处理本任务的原始腹腔镜数据。
[0115]
之后，模型通过exail模型进行解释性处理。
[0116]
首先，进入概念识别模块，概念标识符将与疾病相关的血管组织学概念映射到其在其潜在空间中使用概念激活向量(cavs)在其潜在空间中学到的相应表示。对于每个预定义的概念，对线性二进制分类器进行了训练，以从模型的激活空间中检测到所述概念，从而导致cav代表该潜在空间中的主要概念方向。可以在任意模型层上执行cav训练，并自动选择每个概念的最佳性能激活以进行推理。一旦受过训练，概念分类器就可以根据模型的潜在激活模式预测未看到图像上单个概念的存在或不存在。cav还允许计算全局tcav度量，估计概念对特定目标类别预测的总体贡献。
[0117]
另外，在线性二分类器上，本方案创新型地加入自增强注意力机制sam-bilinear，通过引入双线性池化保证分类器能够在有用数据不多的情况下实现细粒度准确分类血管类型。因此，改进后的srl-cnn分类器能够更好地分类出主干血管。
[0118]
然后，进入概念定位，概念定位图(clm)通过在训练图像分类器的潜在空间中定位与学习概念相关的区域，扩展了cav。它们通过指示有助于概念预测的准确空间位置，为模型学习概念正确解释的能力提供了定性和定量保证，而且还能够可视化其他潜在的抽象概念。给定输入图像x∈x线性概念分类器gc为概念生成概念分数c，基于训练模型的潜在向量fl(x，θ)，在层l具有最佳权重θ，概念定位器实现了基于扰动的概念定位技术，以基于变量的变化生成空间重要性概念得分值gc(fl(x；θ))，生成的地图mcl，对应于对概念贡献最大的输入区域c，在这项工作中，将径向高斯掩模应用于模糊图像块，以减轻扰动图像中由于扰动图像中的锐利边缘和颜色梯度引起的分布偏移，而不是通过黑色块进行遮挡。
[0119]
最后进入概念决策模块，决策解释器从概念标识符接收给定图像的所有概念预测得分。规则库来自校准数据集，并应用于将单个概念得分转换为基于人类可理解概念证据的文本决策解释。解释句传达关于给定模型检测到的概念证据的分级信息及其对给定预测的影响。随后，从概念检测得到的解释被组合成连贯且易于理解的解释文本。基于概念检测过程中计算的概念分数和方向导数，在概念缺乏、中等证据和强证据之间进行区分，构建解释句，以反映概念外观的模糊性。概念的表现通过从概念训练数据导出的阈值来确定。这是通过首先使用双边归一化方案缩放未绑定概念预测来实现的，以获得概念存在的中心概率。然后，通过将训练数据集上的所有阳性预测中的假阳性率(fpr)和真阳性率(tpr)分别最大化，分别为中等和强证据阈值，得出阈值。预测类沿单个cav的方向导数用于指示概念对预测的正面或负面影响。
[0120]
最后，模型开始工作。模式之一为诊断模式，对腹腔镜图像进行血管组织分类。exail诊断模式旨在通过补充经验丰富的医生的第一印象来调节主观性，充当第二意见，激发医生的思维并打破常规。通过这些附加信息，可以确保在手动检查期间，对成功识别手术直接相关的主干血管至关重要的线索不会受到监督。虽然允许各医生手动检查腹腔镜图像，但对每个诊断都提供了初始诊断建议，并提供了基于概念的文本、定量和视觉解释。通过其中性设计，能确保术中无主观偏向的诊断，可以通过考虑和验证生物标志物得分及其以clms形式提供的可选位置，自由重构人工智能的决策过程从而获得与传统神经网络特征图对应的文本信息。
[0121]
模式二为解释模式，主要是进行分类器决策提供可解释性文本，这有助于帮助解密人工智能学习到的与决策相关的不可理解概念。临床中手术判断血管的依据也是基于血管的粗细，颜色，纹理，边界光滑度等视觉特征鉴别血管。基于点线等条纹信息以及血管颜色等视觉特征通过exail(explainable ai for location)网络得到特征分数，对数据集的所有样本进行概念定位可视化。就为医生提供了一个可解释的理由，即图像中是否存在给定的概念或物理结构。同时，这也能在术中允许快速检查模型的概念定位行为，通过揭示定位过程中的模式，帮助验证系统行为和识别数据集或模型中的潜在系统错误。通过文本信息判断血管类别鉴定是否可信。
[0122]
本发明所提框架的基本流程如下：
[0123]
101，收集腹腔镜手术视频并对图片和视频，基于血管进行添加标签，得到腹腔镜血管数据库；
[0124]
102，使用完美反射算法对原始内窥镜数据做图像预处理。
[0125]
103，对数据集图像采用letterbox(基于等比变化的图像尺寸修改方法)方法修改图像尺寸以满足网络的输入尺寸要求。
[0126]
104，构建一个基于exail类算法的内窥镜图像血管解释器。
[0127]
105，用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型。
[0128]
106，用测试集数据去测试解释模式，先输入内窥镜图像，通过exail工具进行血管分类并提供分类依据文本。
[0129]
107，将模型部署到gpu模块上处理客户端传输的图片，并把处理结果返还至交互界面。
[0130]
完美世界反射的算法(102)的具体步骤如下：
[0131]
1021，计算每个像素的r、g、b之和。
[0132]
1022，按r+g+b值的大小计算出其前的比例r％的值作为参考点的阈值t。
[0133]
1023，对图像中的每个点，计算其中r+g+b值大于t的所有点的r、g、b分量的累积和的平均值。
[0134]
1024，对每个点将像素进行量化，依赖比例r值选取而且对亮度最大区域不是白色的图像效果不佳。
[0135]
letterbox图像自适应方法(103)的具体步骤如下：
[0136]
1031，通过网络要求输入尺寸和原始输入图尺寸计算收缩比r。
[0137]
1032，通过收缩比乘原图长宽获得尺寸缩放后的图像。
[0138]
1023，计算收缩后图像中需要填补的面积。
[0139]
1024，填补像素。
[0140]
exail网络(104)的构建细节如下：
[0141]
1041，利用概念标识符使用概念激活向量(cav)将疾病相关的血管组织学概念映射到基于dl(深度学习)的模型在其潜在空间中学习的相应表示。
[0142]
1042，通过概念定位图(clm)获得在训练图像分类器的潜在空间中定位与学习概念相关的区域，扩展了cav。通过指示有助于概念预测的准确空间位置，为模型学习概念正确解释的能力提供了定性和定量保证，而且还能够可视化其他潜在的抽象概念。
[0143]
1042，决策解释器从概念标识符接收给定图像的所有概念预测得分。然后将概念得分转化为可解释医学诊断文本，对分类结果进行解释。
[0144]
注意力机制sam-bilinear算法(105)的具体步骤如下：
[0145]
1051，对卷积权重的直接投影到线性映射得到注意力映射。计算如下：
[0146][0147]
这里表示最后的卷积层特征地图，指一个d维的实数；d为维度，也就是通道数；代表实数集合；指特征图的线性映射，即通过将向量投影到每一个位置φ(i)到w获得的特征图。
[0148]
1052，通过注意池方案获得图像特征。公式如下：
[0149][0150]
其中：f为特征值；a为注意力极值运算矩阵；i、j分别代表特征图第i行，第j列的注意力映射值和投影值。
[0151]
1053，通过在所有k个注意力图上取最大值来近似已识别对象关键部分的并集。计算如下：
[0152][0153]
其中，ak表示通过多个投影{wk}创建了多个注意力图；
[0154][0155]
1054，然后，对于每个注意力图，我们可以通过1052步骤获得的单个特征创建一个
集合特征。然后，我们将所有k个特征图中的集合特征连接起来，作为最终的图像表示。公式如下：
[0156][0157][0158]
其中，cat(f
∫
，f2，...，fk)表示向量的串联，fk代表双线性池化操作。
[0159]
也就是说，针对基于完美反射算法的腹腔镜数据颜色改善方法，本发明设计了一种用于改善腹腔镜数据质量的方法。之前的方案通常使用传统的opencv算法对图像进行颜色改善，和现有方案相比，本方案的颜色恒常算法完美反射能获得更符合实际正常光照下的腹腔镜图像，图像明暗度调控更加合理，符合实际情况，有效去除了由于拍摄角度导致的过暗或者视线内过红导致的分割失误，因此模型能更好地获得分割相关特征，减少无效信息，所以本方案能有效改善来自多源图像分割任务的性能，实现了分割器鲁棒性提高。
[0160]
针对，基于改进版exail类算法的腹腔镜语义分割算法；本发明设计了一种改进版的exail类腹腔镜多模态解释算法，相比于之前的原始版本类，本方案在概念识别器中加入注意力机制sam-bilinear的srl-cnn分类器不仅缓解了在高分辨率数据分类任务中由于数据样本不充分导致的细粒度图像分类不加的局限，同时相比于原始的seresnext中，本文使用层数更浅参数量更少的分类器以加快模型的分类速度，而增加的自增强注意力机制也不会引入额外的参数量。因此，整体模型能在保证分类准确度不降低，大大提高在整个模型处理任务速度，以为实际使用提供可有效地解释性结果。
[0161]
下面结合实施示例对本发明的具体实施方式作进一步详细描述，以下实施示例仅用于说明本发明,但不限制本发明的范围。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴。
[0162]
关于一种改进版的exail类腹腔镜多模态解释算法具体实施场景举例说明如下。
[0163]
在临床腹腔镜手术场景下，基于exail类腹腔镜多模态解释算法能够对实际场景下的腹腔镜图像血管组织进行自动分类，以辅助医生在手术中准确找到关键血管组织同时避免破坏相关血管，这对于此类微创手术是有重大帮助的。
[0164]
如借助腹腔镜完成终肿块切除。通过将本算法植入内窥镜设备，在内窥镜探测病体过程中，就能够实现对实现场景中主干血管提供带有文本解释的分类，从而防止由于操作失误误碰血管导致的手术事故等。
[0165]
通过本发明方案，可以让模型鲁棒性更强：通过颜色恒常算法，让我们的模型能对现实场景中的内窥镜数据更具有鲁棒性，能有效提高模型检测精度。
[0166]
能够让模型的检测效果更好：加入srl-cnn的exail类腹腔镜多模态解释算法是一种表现更优的基于深度学习的诊断解释模型，在公共数据集isic上已被证明其性能的绝对优势，因此，相比于常见的其他文本解释模型能对本任务腹腔镜数据有更好的效果。
[0167]
为实现上述目的，本发明还提供一种基于exail类算法的腹腔镜图像多模态解释系统，如图3所示，所述的系统具体包括：
[0168]
数据获取单元，用于获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生
成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；
[0169]
图像预处理单元，用于采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；
[0170]
解释模型构建单元，用于构建至少一个基于exail类算法的内窥镜图像血管解释模型；
[0171]
数据集训练单元，用于采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；
[0172]
图片传输单元，用于将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面。
[0173]
所述图像预处理单元中，还包括：
[0174]
第一生成模块，用于根据输入尺寸和原始输入图尺寸计算生成收缩比r；
[0175]
第二生成模块，用于通过收缩比乘原图长宽实时生成尺寸缩放后的图像；
[0176]
第一计算模块，用于计算收缩后图像中需要填补的面积，并实时填补像素；
[0177]
第二计算模块，用于计算每个像素的r、g、b之和；按r+g+b值的大小生成其前比例r％的值，将其作为参考点的阈值t；
[0178]
第三计算模块，用于对图像中的每个点，计算其中r+g+b值大于t的所有点的r、g、b分量的累积和的平均值；同时对每个点将像素进行量化；
[0179]
和/或，所述解释模型构建单元中，还包括：
[0180]
映射模块，用于利用概念标识符使用概念激活向量，将疾病相关的血管组织学概念映射至基于dl的模型；
[0181]
第一获取模块，用于通过概念定位图，获取在训练图像分类器潜在空间中，定位与学习概念相关的区域；
[0182]
生成转化模块，用于生成概念标识符接收给定图像的所有概念预测得分，并将概念得分转化为可解释医学诊断文本，同时对分类结果进行解释；
[0183]
和/或，所述数据集训练单元中，还包括：
[0184]
第三生成模块，用于结合注意池方案，生成图像特征；
[0185]
第四生成模块，用于通过生成注意力图的最大值，近似识别对象关键部分的并集。
[0186]
在本发明系统方案实施例中，所述的一种基于exail类算法的腹腔镜图像多模态解释中涉及的方法步骤，具体细节已在上文阐述，此处不再赘述。
[0187]
为实现上述目的，本发明还提供一种基于exail类算法的腹腔镜图像多模态解释平台，如图4所示，包括处理器、存储器以及基于exail类算法的腹腔镜图像多模态解释平台控制程序；
[0188]
其中在所述的处理器执行所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序，所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序被存储在所述存储器中，所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序，实现所述的基于exail类算法的腹腔镜图像多模态解释方法步骤，例如：
[0189]
s1、获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；
[0190]
s2、采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法
修改图像尺寸；
[0191]
s3、构建至少一个基于exail类算法的内窥镜图像血管解释模型；
[0192]
s4、采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；
[0193]
s5、将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面。
[0194]
步骤具体细节已在上文阐述，此处不再赘述。
[0195]
本发明实施例中，所述的基于exail类算法的腹腔镜图像多模态解释平台内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行基于exail类算法的腹腔镜图像多模态解释各种功能和处理数据；
[0196]
存储器用于存储程序代码和各种数据，安装在基于exail类算法的腹腔镜图像多模态解释平台中，并在运行过程中实现高速、自动地完成程序或数据的存取。
[0197]
所述存储器包括只读存储器(read-only memory，rom)，随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子擦除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0198]
为实现上述目的，本发明还提供一种计算机可读取存储介质，如图5所示，所述计算机可读取存储介质存储有基于exail类算法的腹腔镜图像多模态解释平台控制程序，所述的基于exail类算法的腹腔镜图像多模态解释平台控制程序，实现所述的基于exail类算法的腹腔镜图像多模态解释方法步骤，例如：
[0199]
s1、获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；
[0200]
s2、采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；
[0201]
s3、构建至少一个基于exail类算法的内窥镜图像血管解释模型；
[0202]
s4、采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；
[0203]
s5、将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面。
[0204]
步骤具体细节已在上文阐述，此处不再赘述。
[0205]
在本发明的实施方式的描述中，需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过
程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0206]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读取介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。
[0207]
另外，计算机可读取介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0208]
在本发明实施例中，为实现上述目的，本发明还提供一种芯片系统，所述芯片系统包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得所述芯片系统执行所述的基于exail类算法的腹腔镜图像多模态解释方法步骤，例如：
[0209]
s1、获取腹腔镜手术图像数据，结合血管信息实时添加标签，并生成腹腔镜血管数据库；其中，所述图像数据包括图片数据和视频数据；
[0210]
s2、采用完美反射算法对原始内窥镜数据进行图像预处理，并采用letterbox方法修改图像尺寸；
[0211]
s3、构建至少一个基于exail类算法的内窥镜图像血管解释模型；
[0212]
s4、采用搭建的概念识别基于sam-bilinear的分类器处理内窥镜数据集训练srl-cnn网络并保存模型；同时采用测试集数据进行实时测试解释模式；
[0213]
s5、将模型部署至gpu模块上处理客户端传输的图片，并将处理结果返还至交互界面。
[0214]
步骤具体细节已在上文阐述，此处不再赘述。
[0215]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0216]
通过本发明方案，有效减少数据噪声，来有效提高腹腔镜检测模型性能。本发明设计了一种基于白平衡的数据颜色处理方法。该方法通过白平衡方法让模型对内窥镜图像采
集中不可避免的光照变化更具有鲁棒性，本方案采用了白平衡方法之一的完美反射作为本文的方案，以获得颜色均衡后的新数据。本方案克服了使用多源设备的导致的数据的颜色差异伪影干扰，实现了提高检测模型的检测性能。
[0217]
通过使用exail类可解释算法来处理腹腔镜数据,以提供可参考的文本解释结果。本发明设计了一种针对腹腔镜图像性能较好的多模态解释算法。该算法针对术中腹腔镜图像的器官组织分类任务中，由于背景中血液量和粘液多少导致的腹腔镜组织分类器可信度不佳的问题，如由于血液量较少可能误判血管组织为非主干血管。本文采用一种非属性可解释方案，从预先训练的网络预测腹腔镜检查标准，以解释其预测。本方案克服了传统局部性解释腹腔镜重要组织的局限性，从全局出发，能够在整个腹腔镜全局视线中，对术中相关的主干和非主干血管的自动分析提供易于理解的文本、视觉和概念解释。
[0218]
通过在概念分类器中引入块注意力机制sam-bilinear，可以优化任务鉴别能力。本发明设计了一种改进版针对腹腔镜图像血管分类的算法。该算法针对腹腔镜数据高分辨率的特点，针对性地加入了极化自注意力机制，这是一种更加精细的双重注意力机制，作为一个即插即用的模块，可以帮助语义分割模型获得更多的有效上下文信息，从而实现性能提升。在预训练分类模型中加入这个模块后，一定程度上弥补腹腔镜图像组织结构复杂导致的主干血管部分低分辨率导致的辨识度不高的问题，就能有效提高对于腹腔镜中血管组织的分类准确度。
[0219]
也就是说，通过本方案，让模型鲁棒性更强：通过颜色恒常算法，让我们的模型能对现实场景中的内窥镜数据更具有鲁棒性，能有效提高模型检测精度。能够让模型的检测效果更好：加入srl-cnn的exail类腹腔镜多模态解释算法是一种表现更优的基于深度学习的诊断解释模型，在公共数据集isic上已被证明其性能的绝对优势，因此，相比于常见的其他文本解释模型能对本任务腹腔镜数据有更好的效果。
[0220]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。