基于知识图谱的人工智能肾肿瘤预测系统

本发明涉及人工智能技术领域，具体地说，涉及基于知识图谱的人工智能肾肿瘤预测系统。

背景技术：

肾细胞癌(rcc)占肾脏恶性肿瘤的85％，全球每年新发病例达到65000。在缺少组织学诊断的情况下，影像学诊断为肾癌的肾肿瘤即达到了手术切除的指征，这导致了许多良性肾肿瘤的过度诊疗。据报道，大约20％的手术切除的肾脏肿瘤术后被证实是良性的，这对所有可疑病变手术的必要性提出了挑战，因为患者暴露于同时存在的风险和发病率。无创术前影像技术，如超声、ct和mri，被广泛应用于肾脏肿瘤的表征。但ct和mri在鉴别良性、无痛性肿瘤(如嗜酸细胞瘤和血管平滑肌脂肪瘤(aml))与侵袭性恶性肾脏肿瘤方面的敏感性和特异性有限。经皮肾穿刺活检术的漏诊率达20％，另有10％的病人因为误诊而造成不必要的切除。尤其是对于体积的肾肿瘤，影像学的诊断远远无法满足需求。其中，增强ct检查是肾脏肿瘤患者术前的常规检查手段，有助于临床医生评估肿瘤大小、内部分化程度、肿瘤进展程度等，但当前依据人眼进行鉴别的准确率仍较低，造成了患者的健康财产损失。

目前，深度学习算法已广泛应用于医学领域，为解决临床医师和影像科医师的培训周期和工作量问题提供了可靠的方法。而知识图谱能够同时表示描述型数据和实例型数据，为利用大数据和人工智能的非结构化和半结构化数据的挖掘分析提供了条件。然而，在知识图谱的应用方面，大多用于简单的关联分析，使用范围的局限性较大，尚未纳入贝叶斯网络有向图的模型和马尔可夫随机场的无向图的模型，即现有的知识图谱的广度和深度都有待提高。另外，目前尚无基于知识图谱的人工智能肾肿瘤预测系统及检测方法。

技术实现要素：

本发明的目的在于提供了基于知识图谱的人工智能肾肿瘤预测系统，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了基于知识图谱的人工智能肾肿瘤预测系统，包括

基础数库单元、训练学习单元、辅助诊断单元和功能应用单元；所述基础数库单元的信号输出端与所述训练学习单元的信号输入端连接，所述训练学习单元的信号输出端与所述辅助诊断单元的信号输入端连接，所述辅助诊断单元的信号输出端与所述功能应用单元的信号输入端连接；所述基础数库单元用于获取海量的实例数据并对数据进行处理分析，将各种肿瘤相关的影像数据构建知识库；所述训练学习单元用于以数据库为基础搭建知识图谱及训练模型并通过对训练模型的深度学习来提高识别模型的判识准确概率；所述辅助诊断单元用于通过识别模型的智能算法来对肿瘤检查图像进行识别预测以实现辅助诊断的功能；所述功能应用单元用于通过增加多种应用服务来完善系统的功能性；

所述基础数库单元包括数据采集模块、数据预处理模块、信息挖掘模块和知识融合模块；

所述训练学习单元包括知识图谱模块、模型训练模块、深度学习模块和场景应用模块；

辅助诊断单元包括图像预处理模块、特征标注模块、类型预测模块和识别输出模块；

所述功能应用单元包括决策支持模块、诊断监测模块和病历存档模块。

作为本技术方案的进一步改进，所述数据采集模块的信号输出端与所述数据预处理模块的信号输入端连接，所述数据预处理模块的信号输出端与所述信息挖掘模块的信号输入端连接，所述信息挖掘模块的信号输出端与所述知识融合模块的信号输入端连接；所述数据采集模块用于采集获取各医疗机构公开的大量肿瘤病症实例及对应的增强ct检查图像信息；所述数据预处理模块用于对采集的数据进行清洗、分类、语义转换、剪切、合并、标注等处理；所述信息挖掘模块用于采用知识图谱挖掘的方法对这些影像数据信息进行挖掘，从而给知识图谱构建提供充分的数据基础；所述知识融合模块用于通过本体对齐和实体匹配的方法将基础数据与挖掘出的肿瘤知识数据进行融合。

作为本技术方案的进一步改进，所述知识图谱模块的信号输出端与所述模型训练模块的信号输入端连接，所述模型训练模块的信号输出端与所述深度学习模块的信号输入端连接，所述深度学习模块的信号输出端与所述场景应用模块的信号输入端连接；所述知识图谱模块用于进行知识图谱的建库并建立数据挖掘和知识图谱结构之间的逻辑关系和数学模型，以便从知识图谱中提取潜在性的有用的信息发现，进而得到近似的推理结果；所述模型训练模块用于搭建学习训练模型来训练数据库中存储的肿瘤数据；所述深度学习模块用于搭建人工智能深度学习算法并引入各种人工智能算法来对训练模型进行深度学习；所述场景应用模块用于根据应用场景的不同对知识图谱进行检测分类并设定不同的预测结果的展示方式。

其中，知识图谱是通过患者肿瘤图像、病历数据等完成目标分类，以各种分类标签来对目标进行标注，再对患者进行肿瘤ct图像、以往病历文档数据及其他相似患者的图像特征和联系进行关联，知识图谱就能够通过不同的肿瘤特征对其进行聚类与关联分析。

其中，知识图谱的建库分为两部分，第一部分就是知识库搭建和影像数据应用场景，是基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；第二部分是将已知的数据按知识图谱特性分类概述并整理，进而建立一个数据挖掘和知识图谱的系统框架。

其中，搭建人工智能深度学习算法fasterrcnn训练肿瘤数据，主要分为三个过程：(1)通过使用卷积神经网络提取图像特征，对已标注肿瘤病例的连续ct增强图像进行特征提取，包括动脉期、静脉期和延迟期；(2)通过rpn引入锚点，映射到原始图像，通过锚点框进行训练，进行二分类，判别候选框内容是前景还是背景，留下前景的候选框，抛弃背景候选框，并通过回归微调前景的bbox与标注真实框接近；(3)通过roi池化、分类和回归，得到检测框的具体位置(roi池化主要是为了抽取目标物体的代表性特征)；然后一方面通过全连接层和softmax计算，对各个候选区域属于各个类别的概率，输出分类类别，另一方面利用回归获得候选框的位置信息，得到检测框的最终精确位置。

作为本技术方案的进一步改进，所述模型训练模块包括时序模型模块、关系模型模块、因果关系模块和近似推理模块；所述时序模型模块、所述关系模型模块与所述因果关系模块并列运行，所述时序模型模块、所述关系模型模块、所述因果关系模块的信号输出端均与所述近似推理模块的信号输入端连接；所述时序模型模块用于通过马尔科夫网络算法来建立时序模型以对训练数据的时序属性进行标记及对比；所述关系模型模块用于通过马尔科夫网络算法来建立关系模型以对训练数据的相关性进行分析；所述因果关系模块用于通过贝叶斯网络算法来建立因果关系模型以对训练数据的因果关系进行相关性分析及计算其相关概率；所述近似推理模块用于结合训练数据的时序、关系、因果关系等属性，通过近似推理的方法，获取预测识别的支持依据。

作为本技术方案的进一步改进，所述因果关系模块中，计算相关性概率时采用朴素贝叶斯算法，其计算公式为：

其中，x为给定集，p(ci|x)为x属于类ci的后验概率，p(x|ci)为按条件独立的属性归类的概率。

作为本技术方案的进一步改进，所述图像预处理模块的信号输出端与所述特征标注模块的信号输入端连接，所述特征标注模块的信号输出端与所述类型预测模块的信号输入端连接，所述类型预测模块的信号输出端与所述识别输出模块的信号输入端连接；所述图像预处理模块用于通过全域直方图均衡方法来对获取的患者增强ct图像进行灰度均衡、对比增强等预处理操作来实现图像的直方图均衡；所述特征标注模块用于对处理后的肿瘤增强ct图像上可能存在病变的部位进行标注处理；所述类型预测模块用于将经标注处理后的增强ct图像导入预先训练好的fasterrcnn识别模型以生产肿瘤预测结果；所述识别输出模块用于根据肿瘤预测结果进行肿瘤识别并输出结果以便辅助诊断。

其中，预测识别模型包括特征提取网络、rpn网络、roialign网络、分类回归网络和c-nms网络，具体地，特征提取网络优选为resnet50全卷积网络。

作为本技术方案的进一步改进，所述类型预测模块包括特征提取模块、识别推荐模块、映射池化模块、分类回归模块和筛选处理模块；所述特征提取模块的信号输出端与所述识别推荐模块的信号输入端连接，所述识别推荐模块的信号输出端与所述映射池化模块的信号输入端连接，所述映射池化模块的信号输出端与所述分类回归模块的信号输入端连接，所述分类回归模块的信号输出端与所述筛选处理模块的信号输入端连接；所述特征提取模块用于将标注好的肿瘤增强ct图像导入到特征提取网络进行特征提取、获取特征图；所述识别推荐模块用于将特征图导入到rpn网络进行识别及筛选处理、获取推荐框；所述映射池化模块用于将特征图及推荐框导入到roialign网络进行映射及池化处理，获得推荐特征图；所述分类回归模块用于将推荐特征图导入到分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；所述筛选处理模块用于将预测框的初始坐标、初始类别及初始置信度导入到c-nms网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。

其中，通过c-nms网络进行筛选处理的方法步骤为：将预测框的初始坐标、初始类别及初始置信度输入到c-nms网络；将初始置信度最大的预测框作为基准预测框；根据初始坐标分别计算每一预测框与基准预测框的重叠比；将重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；根据待调整预测框与基准预测框的重叠比及面积比更新待调整预测框的初始置信度；预测框将初始坐标作为目标坐标，将初始类别作为目标类别，将更新后的初始置信度作为目标置信度。

作为本技术方案的进一步改进，所述筛选处理模块中，对预测框的置信度计算表达式如下：

si＝sif(iou(m，bi)，ar(m，bi))；

根据上式更新待调整预测框的初始置信度；

式中，si为初始置信度，f为分值惩罚函数且

其中，a＝iou(m，bi)，iou(m，bi)为待调整预测框bi与基准预测框m的重叠比；

其中，b＝ar(m，bi)，ar(m，bi)为待调整预测框bi与基准预测框m的面积比。

作为本技术方案的进一步改进，所述决策支持模块、所述诊断监测模块与所述病历存档模块依次通过以太网通讯连接并独立运行；所述决策支持模块用于通过多种知识来源给肿瘤诊断提供决策的依据支持；所述诊断监测模块用于通过智能算法对患者的肿瘤图像进行预测识别以作为医生直接进行病情诊断的监测对照；所述病历存档模块用于通过将该系统与医院的信息管理系统连接以便直接将对患者的病情诊断直接更新到患者的电子病历中并及时进行存档。

其中，决策支持的知识来源包括但不限于专家经验、预测结果及专家知识库等。

本发明的目的之二在于，提供了基于知识图谱的人工智能肾肿瘤预测系统的应用方法，包括如下步骤：

s1、获取海量医疗行业的大数据，从海量数据中进行处理和挖掘得到大量肿瘤实例及其对应的检查影像图像资料，将各种肿瘤相关的影像数据构建知识库，并在此基础上形成肿瘤的研究平台和应用开发平台；

s2、搭建知识图谱，基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；将已知的数据按知识图谱特性分类概述并整理；

s3、将知识图谱和人工智能深度学习算法结合提取肿瘤影像数据的特征并实现分类，建立一个知识图谱和人工智能算法的系统框架，并建立智能知识和传统知识结构之间的逻辑关系；

s4、建立数据挖掘与智能知识内在联系的数学模型，用此模型解释由数量分析结果产生的智能知识特征，发现预测的结果，从海量数据中提取隐藏性、潜在性的有用的信息，以便有效地发现智能知识，结合专家经验及专家知识库，为肿瘤预测提供决策支持；

s5、获取待诊断患者的病灶处增强ct检查影像图像信息，通过全域直方图均衡方法对图像进行预处理，并对预处理后的图像进行标注处理；

s6、将标注处理后的图像导入预先训练好的fasterrcnn识别模型，依次通过特征提取、识别推荐、映射池化、分类回归及筛选处理后，获取肿瘤类型预测结果；

s7、根据类型预测结果进行肿瘤识别并输出结果，医生依据自身的经验，结合其他专家经验及识别结果，对患者的病情及肿瘤状况进行诊断，并及时制定对应的诊疗策略，如手术的入路方式及切术术式、术前是否采用新辅助放化疗、是否需要接受免疫治疗等；

s8、诊断结果输出后，系统通过与医院的信息管理系统连接，直接将诊疗过程、检查报告及诊断结果更新到患者对应的电子病历中并自动进行存档；

s9、系统通过多次预测识别操作，对医生的诊断结果进行验证监测，并定时根据后续治疗的反馈来统计诊断的准确率。

本发明的目的之三在于，提供了基于知识图谱的人工智能肾肿瘤预测系统的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于知识图谱的人工智能肾肿瘤预测系统。

本发明的目的之四在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于知识图谱的人工智能肾肿瘤预测系统。

与现有技术相比，本发明的有益效果：该基于知识图谱的人工智能肾肿瘤预测系统中，该系统主要由三个部分组成：第一部分是肿瘤患者ct影像数据的获取，第二部分是知识图谱分析和深度学习算法检测，第三部分是构建智能知识体系，为肿瘤预测提供决策支持；本发明基于知识图谱和人工智能算法fasterrcnn在肿瘤增强ct中对肿瘤区域进行自动鉴别，建立起一个全谱系的肿瘤关联图，将其直接关联、间接关联的各种实体、概念相联系，并依据知识图谱进行肿瘤的分类，通过肿瘤的图像特征等来进行特征提取，并对肿瘤的位置进行检测和自动标注，综合利用知识图谱的概率图模型，用于辅助影像诊断，使得肿瘤的预测能够有效、准确，从而指导临床诊疗决策，避免不必要的手术，显著延长患者生存时间，使患者从中获益，并极大的帮助医生、学生及其他各种参与者了解并把握肿瘤的深度关联，进而还可自动学习并抽取肿瘤的特征，快速传递并汇总肿瘤的分类监测，以提高术前预测的准确度，且可以加强肿瘤研究的透明度。

附图说明

图1为本发明的整体架构流程框图；

图2为本发明的整体系统装置结构图；

图3为本发明的局部系统装置结构图之一；

图4为本发明的局部系统装置结构图之二；

图5为本发明的局部系统装置结构图之三；

图6为本发明的局部系统装置结构图之四；

图7为本发明的局部系统装置结构图之五；

图8为本发明的局部系统装置结构图之六；

图9为本发明的示例性计算机程序产品结构图。

图中各个标号意义为：

100、基础数库单元；101、数据采集模块；102、数据预处理模块；103、信息挖掘模块；104、知识融合模块；

200、训练学习单元；201、知识图谱模块；202、模型训练模块；2021、时序模型模块；2022、关系模型模块；2023、因果关系模块；2024、近似推理模块；203、深度学习模块；204、场景应用模块；

300、辅助诊断单元；301、图像预处理模块；302、特征标注模块；303、类型预测模块；3031、特征提取模块；3032、识别推荐模块；3033、映射池化模块；3034、分类回归模块；3035、筛选处理模块；304、识别输出模块；

400、功能应用单元；401、决策支持模块；402、诊断监测模块；403、病历存档模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1-图8所示，本实施例提供了基于知识图谱的人工智能肾肿瘤预测系统，包括

基础数库单元100、训练学习单元200、辅助诊断单元300和功能应用单元400；基础数库单元100的信号输出端与训练学习单元200的信号输入端连接，训练学习单元200的信号输出端与辅助诊断单元300的信号输入端连接，辅助诊断单元300的信号输出端与功能应用单元400的信号输入端连接；基础数库单元100用于获取海量的实例数据并对数据进行处理分析，将各种肿瘤相关的影像数据构建知识库；训练学习单元200用于以数据库为基础搭建知识图谱及训练模型并通过对训练模型的深度学习来提高识别模型的判识准确概率；辅助诊断单元300用于通过识别模型的智能算法来对肿瘤检查图像进行识别预测以实现辅助诊断的功能；功能应用单元400用于通过增加多种应用服务来完善系统的功能性；

基础数库单元100包括数据采集模块101、数据预处理模块102、信息挖掘模块103和知识融合模块104；

训练学习单元200包括知识图谱模块201、模型训练模块202、深度学习模块203和场景应用模块204；

辅助诊断单元300包括图像预处理模块301、特征标注模块302、类型预测模块303和识别输出模块304；

功能应用单元400包括决策支持模块401、诊断监测模块402和病历存档模块403。

本实施例中，数据采集模块101的信号输出端与数据预处理模块102的信号输入端连接，数据预处理模块102的信号输出端与信息挖掘模块103的信号输入端连接，信息挖掘模块103的信号输出端与知识融合模块104的信号输入端连接；数据采集模块101用于采集获取各医疗机构公开的大量肿瘤病症实例及对应的增强ct检查图像信息；数据预处理模块102用于对采集的数据进行清洗、分类、语义转换、剪切、合并、标注等处理；信息挖掘模块103用于采用知识图谱挖掘的方法对这些影像数据信息进行挖掘，从而给知识图谱构建提供充分的数据基础；知识融合模块104用于通过本体对齐和实体匹配的方法将基础数据与挖掘出的肿瘤知识数据进行融合。

其中，数据采集的示例性过程包括如下流程(以肾肿瘤病例数据为例)；

step1、获取2012年1月至2020年1月青岛大学附属医院收治的800余例行根治性肾切除术或保留肾单位手术治疗的原发性肾肿瘤患者的增强ct影响资料；

step2、获取来自国内其他4家医学中心的经病理确认的肾肿瘤患者下腹部增强ct图像共80例，作为外部验证集；

step3、根据患者仅行平扫ct或增强ct各期图像不全、图像存在伪影或质量不佳术前接受了新辅助放化疗、术后病理结果不明确、存在远处转移者等排除原则筛选病人；

step4、保留符合纳入标准的患者，包括透明细胞癌、嫌色细胞癌、乳头状细胞癌、多房囊性肾细胞癌、肾囊肿、集合管癌、mit家族转位肾癌、肾错位瘤、嗜酸细胞瘤等；

step5、按照4:1的比例划分训练集与测试集，各组之间保持等比例；

step6、对训练集、测试集、外部验证集图像的肿瘤区域进行勾画，建立肾肿瘤图像数据库。

目前实现的知识图谱以肾肿瘤为核心，不同病理类型的肾肿瘤往往有不同的组织学来源和生物学特征，如乳头状肾细胞癌起源于肾近曲、远曲小管上皮细胞，肿瘤常位于肾皮质或皮髓交界区，病变出血、坏死、囊变多见；肾嫌色细胞癌起源于肾皮质的肾小管上皮的插入细胞，肿瘤密度或信号均匀，可有坏死，出血少见。以往的文献多集中讨论肾肿瘤在ct中的大体表现(包括大小、边界、强化是否均匀等)，缺乏客观性及量化指标，进而导致检查结果的临床指导意义降低，各肾癌亚型在影像学表现上存在着一定程度的重叠，在临床实践中仍无有效的术前诊断鉴别方法，而本系统可以通过对癌症肿瘤影像学上的重叠比或面积比进行预测识别。

其中，依据知识图谱建立的肾肿瘤之间的关系与其他肿瘤之间的距离，进行肾肿瘤类别的预测与划分，每个大类中肿瘤的相关性高，类别与类别之间的相关性低。

本实施例中，知识图谱模块201的信号输出端与模型训练模块202的信号输入端连接，模型训练模块202的信号输出端与深度学习模块203的信号输入端连接，深度学习模块203的信号输出端与场景应用模块204的信号输入端连接；知识图谱模块201用于进行知识图谱的建库并建立数据挖掘和知识图谱结构之间的逻辑关系和数学模型，以便从知识图谱中提取潜在性的有用的信息发现，进而得到近似的推理结果；模型训练模块202用于搭建学习训练模型来训练数据库中存储的肿瘤数据；深度学习模块203用于搭建人工智能深度学习算法并引入各种人工智能算法来对训练模型进行深度学习；场景应用模块204用于根据应用场景的不同对知识图谱进行检测分类并设定不同的预测结果的展示方式。

其中，知识图谱是通过患者肿瘤图像、病历数据等完成目标分类，以各种分类标签来对目标进行标注，再对患者进行肿瘤ct图像、以往病历文档数据及其他相似患者的图像特征和联系进行关联，知识图谱就能够通过不同的肿瘤特征对其进行聚类与关联分析。

其中，知识图谱的建库分为两部分，第一部分就是知识库搭建和影像数据应用场景，是基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；第二部分是将已知的数据按知识图谱特性分类概述并整理，进而建立一个数据挖掘和知识图谱的系统框架。

其中，搭建人工智能深度学习算法fasterrcnn训练肿瘤数据，主要分为三个过程：(1)通过使用卷积神经网络提取图像特征，对已标注肿瘤病例的连续ct增强图像进行特征提取，包括动脉期、静脉期和延迟期；(2)通过rpn引入锚点，映射到原始图像，通过锚点框进行训练，进行二分类，判别候选框内容是前景还是背景，留下前景的候选框，抛弃背景候选框，并通过回归微调前景的bbox与标注真实框接近；(3)通过roi池化、分类和回归，得到检测框的具体位置(roi池化主要是为了抽取目标物体的代表性特征)；然后一方面通过全连接层和softmax计算，对各个候选区域属于各个类别的概率，输出分类类别，另一方面利用回归获得候选框的位置信息，得到检测框的最终精确位置。

进一步地，模型训练模块202包括时序模型模块2021、关系模型模块2022、因果关系模块2023和近似推理模块2024；时序模型模块2021、关系模型模块2022与因果关系模块2023并列运行，时序模型模块2021、关系模型模块2022、因果关系模块2023的信号输出端均与近似推理模块2024的信号输入端连接；时序模型模块2021用于通过马尔科夫网络算法来建立时序模型以对训练数据的时序属性进行标记及对比；关系模型模块2022用于通过马尔科夫网络算法来建立关系模型以对训练数据的相关性进行分析；因果关系模块2023用于通过贝叶斯网络算法来建立因果关系模型以对训练数据的因果关系进行相关性分析及计算其相关概率；近似推理模块2024用于结合训练数据的时序、关系、因果关系等属性，通过近似推理的方法，获取预测识别的支持依据。

具体地，因果关系模块2023中，计算相关性概率时采用朴素贝叶斯算法，其计算公式为：

其中，x为给定集，p(ci|x)为x属于类ci的后验概率，p(x|ci)为按条件独立的属性归类的概率。

其中，依据贝叶斯网络的理论，若已知其“因”变量下，某些结点会与其“因”变量条件独立，只有与“因”变量有关的结点才会有条件概率的存在。进行肿瘤分类预测种类，阈值决定了检测框的准确度概率，通过知识图谱的构建能够将肾肿瘤的分类准确度提升到95％，远高于单独的人工预测能力，(具有10年阅片经验的影像医师和15年工作经验的泌尿外科医师准确率约在50％-70％)，为肿瘤的术前预测等提供了决策支持。

本实施例中，图像预处理模块301的信号输出端与特征标注模块302的信号输入端连接，特征标注模块302的信号输出端与类型预测模块303的信号输入端连接，类型预测模块303的信号输出端与识别输出模块304的信号输入端连接；图像预处理模块301用于通过全域直方图均衡方法来对获取的患者增强ct图像进行灰度均衡、对比增强等预处理操作来实现图像的直方图均衡；特征标注模块302用于对处理后的肿瘤增强ct图像上可能存在病变的部位进行标注处理；类型预测模块303用于将经标注处理后的增强ct图像导入预先训练好的fasterrcnn识别模型以生产肿瘤预测结果；识别输出模块304用于根据肿瘤预测结果进行肿瘤识别并输出结果以便辅助诊断。

其中，预测识别模型包括特征提取网络、rpn网络、roialign网络、分类回归网络和c-nms网络，具体地，特征提取网络优选为resnet50全卷积网络。

进一步地，类型预测模块303包括特征提取模块3031、识别推荐模块3032、映射池化模块3033、分类回归模块3034和筛选处理模块3035；特征提取模块3031的信号输出端与识别推荐模块3032的信号输入端连接，识别推荐模块3032的信号输出端与映射池化模块3033的信号输入端连接，映射池化模块3033的信号输出端与分类回归模块3034的信号输入端连接，分类回归模块3034的信号输出端与筛选处理模块3035的信号输入端连接；特征提取模块3031用于将标注好的肿瘤增强ct图像导入到特征提取网络进行特征提取、获取特征图；识别推荐模块3032用于将特征图导入到rpn网络进行识别及筛选处理、获取推荐框；映射池化模块3033用于将特征图及推荐框导入到roialign网络进行映射及池化处理，获得推荐特征图；分类回归模块3034用于将推荐特征图导入到分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；筛选处理模块3035用于将预测框的初始坐标、初始类别及初始置信度导入到c-nms网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。

其中，通过c-nms网络进行筛选处理的方法步骤为：将预测框的初始坐标、初始类别及初始置信度输入到c-nms网络；将初始置信度最大的预测框作为基准预测框；根据初始坐标分别计算每一预测框与基准预测框的重叠比；将重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；根据待调整预测框与基准预测框的重叠比及面积比更新待调整预测框的初始置信度；预测框将初始坐标作为目标坐标，将初始类别作为目标类别，将更新后的初始置信度作为目标置信度。

具体地，筛选处理模块3035中，对预测框的置信度计算表达式如下：

si＝sif(iou(m，bi)，ar(m，bi))；

根据上式更新待调整预测框的初始置信度；

式中，si为初始置信度，f为分值惩罚函数且

其中，a＝iou(m，bi)，iou(m，bi)为待调整预测框bi与基准预测框m的重叠比；

其中，b＝ar(m，bi)，ar(m，bi)为待调整预测框bi与基准预测框m的面积比。

本实施例中，决策支持模块401、诊断监测模块402与病历存档模块403依次通过以太网通讯连接并独立运行；决策支持模块401用于通过多种知识来源给肿瘤诊断提供决策的依据支持；诊断监测模块402用于通过智能算法对患者的肿瘤图像进行预测识别以作为医生直接进行病情诊断的监测对照；病历存档模块403用于通过将该系统与医院的信息管理系统连接以便直接将对患者的病情诊断直接更新到患者的电子病历中并及时进行存档。

其中，决策支持的知识来源包括但不限于专家经验、预测结果及专家知识库等。

此外，外科医生可以根据预测的肾肿瘤的分类来制定诊疗策略，诸如手术的入路方式及切术术式、术前是否采用新辅助放化疗、是否需要接受免疫治疗等，避免了不必要的手术，肾肿瘤的准确预测也能为患者日常的生活指导提供支持。通过知识图谱与挖掘学习实体之间的隐含关系来发现潜在的关联与协同动作，当检测到患者的肿瘤分类时，可以依据肿瘤的分类结果，在知识图谱的位置追溯其异动产生的根源，医生可据此及时调整治疗方案。

本实施例还提供了基于知识图谱的人工智能肾肿瘤预测系统的应用方法，包括如下步骤：

s1、获取海量医疗行业的大数据，从海量数据中进行处理和挖掘得到大量肿瘤实例及其对应的检查影像图像资料，将各种肿瘤相关的影像数据构建知识库，并在此基础上形成肿瘤的研究平台和应用开发平台；

s2、搭建知识图谱，基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；将已知的数据按知识图谱特性分类概述并整理；

s3、将知识图谱和人工智能深度学习算法结合提取肿瘤影像数据的特征并实现分类，建立一个知识图谱和人工智能算法的系统框架，并建立智能知识和传统知识结构之间的逻辑关系；

s4、建立数据挖掘与智能知识内在联系的数学模型，用此模型解释由数量分析结果产生的智能知识特征，发现预测的结果，从海量数据中提取隐藏性、潜在性的有用的信息，以便有效地发现智能知识，结合专家经验及专家知识库，为肿瘤预测提供决策支持；

s5、获取待诊断患者的病灶处增强ct检查影像图像信息，通过全域直方图均衡方法对图像进行预处理，并对预处理后的图像进行标注处理；

s6、将标注处理后的图像导入预先训练好的fasterrcnn识别模型，依次通过特征提取、识别推荐、映射池化、分类回归及筛选处理后，获取肿瘤类型预测结果；

s7、根据类型预测结果进行肿瘤识别并输出结果，医生依据自身的经验，结合其他专家经验及识别结果，对患者的病情及肿瘤状况进行诊断，并及时制定对应的诊疗策略，如手术的入路方式及切术术式、术前是否采用新辅助放化疗、是否需要接受免疫治疗等；

s8、诊断结果输出后，系统通过与医院的信息管理系统连接，直接将诊疗过程、检查报告及诊断结果更新到患者对应的电子病历中并自动进行存档；

s9、系统通过多次预测识别操作，对医生的诊断结果进行验证监测，并定时根据后续治疗的反馈来统计诊断的准确率。

如图9所示，本实施例还提供了基于知识图谱的人工智能肾肿瘤预测系统的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。

处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于知识图谱的人工智能肾肿瘤预测系统。

可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

此外，本发明还提供了计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于知识图谱的人工智能肾肿瘤预测系统。

可选的，本发明还提供了包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于知识图谱的人工智能肾肿瘤预测系统。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。