一种小器官肿瘤演化的模型建立方法及计算机可读存储介质与流程

1.本发明涉及医学影像分析领域，尤其涉及一种小器官肿瘤演化的模型建立方法及计算机可读存储介质。


背景技术：

2.随着人们的日常餐饮、生活习惯、自然环境等因素的不断变化，以及人口结构的老龄化进程，我国的恶性肿瘤诊断率逐年递增。根据我国癌症中心发布的2019年全国癌症报告显示，我国恶性肿瘤死亡已经占到了居民全部死因的23.91％，防控形势严峻。
3.目前，恶性肿瘤已经成为了威胁人类健康的主要公共卫生问题之一。胰腺、胆囊和膀胱等小器官癌是常见的恶性肿瘤。由于此类恶性肿瘤的特点是位置隐匿、难以发现，经常诊断出来时已是晚期，并且容易转移，因而病死率较高。其中，胰腺肿瘤是预后最差、恶性程度最高的肿瘤之一，被称为“癌症之王”。虽然手术切除作为治疗恶性肿瘤最主要的方案之一备受关注，但是即使肿瘤完整切除，不少患者仍会快速复发。这表示手术时肿瘤已经发生隐匿性转移或者切缘(resection margin，rm)存在肿瘤残留，所以恶性肿瘤的切除手术要求切缘达到阴性(即r0切除)。但是在手术实施过程中，尤其是针对浸润性强且边界模糊的小器官恶性肿瘤，例如胰胆等手术时，通过医生肉眼及经验界定肿瘤是否达到r0切除，这对医生和病人而言都存在不小的安全隐患。同时，由于胰胆、膀胱等小器官体积较小、结构复杂，毗邻细微的重要神、血管及脏器等，也导致了手术操作难度大、风险性高，而且易存在切除不完全、复发、并发症和功能损失等情况。因此，术前精确规划、术中安全有效切除肿瘤、术后精准评价肿瘤治疗效果是治疗成功的关键。
4.随着数字医学技术的不断发展，计算机辅助手术技术的出现极大地改善这一状况。特别是利用计算机技术来实现小器官恶性肿瘤的术前精准规划和术后的可靠评估。计算机辅助手术规划是在术前影响数据的基础上，利用计算机技术帮助医生制定合理的手术规划方案。首先，通过图像分割实现对肿瘤及周围重要解剖结构的精确分割。然后，实现对腹部脏器、肿瘤及血管的三维可视化重建。最后建立全方位、多角度、立体直观的肿瘤形态、血管分布及脏器相连等的三维可视化结果，辅助医生精准地规划切除肿瘤的最佳方案。如南方医科大学的方施华教授团队研发的腹部医学图像三维可视化系统(mi
‑
3dvs)，结合ct/mri等多模医学图像，实现了胰胆肿瘤及其周边血管、重要器官的三维可视化显示，为精确的手术规划提供指导；除此之外，针对于小儿肝脏胰等器官，具有血管更细，手术难度大等问题，青岛大学附属医学院董蒨教授团队与海信集团联合研制基于小儿肝胆胰的计算机辅助系统(hisense cas)，可实现对重要解剖结构的三维可视化显示，为小儿外科患者提供了精准化的手术规划方案，获2019年度国家科技进步二等奖。因此，计算机辅助手术规划可以大大降低手术的操作难度，提高手术精度，对于提升患者的治愈率和生存率等具有重要意义。
5.在目前的胰胆、膀胱等小器官的恶性肿瘤的临床诊断中，往往只是利用影像来识别、判断和定位肿瘤。而针对于肿瘤的演化过程中的研究往往被忽略。
6.因此，需要一种新型的小器官肿瘤演化的模型建立方法及计算机可读存储介质，可利用影像中肿瘤的浸润性、纹理特征、轮廓大小、生存周期等信息可以有效地探索肿瘤的演化过程，并形成最终的肿瘤演化模型。这对于肿瘤的类别判断、位置识别、生长预期、有效切除、防止术后复发等具有重要的指导意义。


技术实现要素：

7.为了克服上述技术缺陷，本发明的目的在于提供一种小器官肿瘤演化的模型建立方法及计算机可读存储介质，可为医生提供小器官肿瘤的类别判断、位置识别、有效切除等提供良好的参照和预测。
8.本发明公开了一种小器官肿瘤演化的模型建立方法，包括以下步骤：
9.基于采集的小器官肿瘤的ct/mri影像数据和fdt
‑
pet数据，对ct/mri影像数据和fdt
‑
pet数据预处理后用作为模型训练集；
10.基于预处理后的ct/mri影像数据和fdt
‑
pet数据，获得ct/mri影像数据和fdt
‑
pet数据内小器官肿瘤的肿瘤区域细胞内体积分数图谱，及肿瘤标准化摄取值图谱；
11.将肿瘤区域细胞内体积分数图谱和肿瘤标准化摄取值图谱对齐并比较；
12.基于比较结果，构建小器官肿瘤演化模型，并对小器官肿瘤演化模型训练、计算后，调整小器官肿瘤演化模型的模型参数；
13.基于原始数据对小器官肿瘤演化模型验证，并二次调整小器官肿瘤演化模型的模型参数。
14.优选地，基于采集的小器官肿瘤的ct/mri影像数据和fdt
‑
pet数据，对ct/mri影像数据和fdt
‑
pet数据预处理后用作为模型训练集的步骤包括：
15.收集不同小器官肿瘤的患者在小器官肿瘤不同演化时期的多模态数据；
16.对多模态数据预处理，以用作为ct/mri影像数据和fdt
‑
pet数据；
17.收集医生对多模态数据内小器官肿瘤的肿瘤区域的分割数据，并将分割数据用作为模型标准集。
18.优选地，基于预处理后的ct/mri影像数据和fdt
‑
pet数据，获得ct/mri影像数据和fdt
‑
pet数据内小器官肿瘤的肿瘤区域细胞内体积分数图谱，及肿瘤标准化摄取值图谱的步骤包括：
19.对预处理后的ct/mri影像数据和fdt
‑
pet数据，结合基于注意力机制优化的三维unet神经网络，根据双相ct影像提取ct/mri影像数据和fdt
‑
pet数据内病灶以及周围健康组织器官区域；
20.计算小器官肿瘤的肿瘤区域细胞内体积分数图谱；
21.基于：me＝c
×
suv计算fdt
‑
pet数据的fdg
‑
pet标准化摄取值。
22.优选地，计算小器官肿瘤的肿瘤区域细胞内体积分数图谱的步骤包括：
23.对小器官肿瘤的肿瘤区域使用双相增强ct扫描，基于：
[0024][0025]
计算肿瘤区域细胞外体积分数，其中hct
blood
为红细胞压积；
[0026]
基于：icvf(x，t)＝1.0
‑
ecvf(x，t)计算肿瘤区域细胞内体积分数，其中x代表单个像素点，t代表双相增强ct扫描的影像采集时刻。
[0027]
优选地，将肿瘤区域细胞内体积分数图谱和肿瘤标准化摄取值图谱对齐并比较的步骤包括：
[0028]
运用基于归一化互信息的非刚性配准方法，以实现增强ct图像和fdg
‑
pet图像的多模态配准，以将肿瘤区域细胞内体积分数图谱和肿瘤标准化摄取值图谱对齐。
[0029]
优选地，基于比较结果，构建小器官肿瘤演化模型，并对小器官肿瘤演化模型训练、计算后，调整小器官肿瘤演化模型的模型参数的步骤包括：
[0030]
基于比较结果，以及反应
‑
平流
‑
扩散过程的肿瘤演化模型，结合不同时期下医生对多模态数据内小器官肿瘤的肿瘤区域的分割数据所计算出的肿瘤细胞体积参数和代谢吸收参数，构建小器官肿瘤演化模型；
[0031]
通过统计形态学模型对小器官肿瘤演化模型进行肿瘤生长趋势预测。
[0032]
优选地，基于原始数据对小器官肿瘤演化模型验证，并二次调整小器官肿瘤演化模型的模型参数的步骤包括：
[0033]
比较肿瘤生长趋势预测及肿瘤区域的分割数据，对小器官肿瘤演化模型的平均表面距离、icvf图的均方根差、肿瘤表面平均icvf差和肿瘤相对体积差二次验证。
[0034]
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的模型建立方法。
[0035]
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
[0036]
1.提供优质的计算机辅助手术规划，从而降低医生手术的操作难度，提高手术精度，对于提升患者的治愈率和生存率等具有重要意义；
[0037]
2.小器官肿瘤的演化过程可有效地被探索，为防止术后复发提供重要的指导意义。
附图说明
[0038]
图1为符合本发明一优选实施例中小器官肿瘤演化的模型建立方法的流程示意图；
[0039]
图2为符合本发明一优选实施例中三维unet神经网络的流程示意图；
[0040]
图3为符合本发明一优选实施例中归一化互信息的非刚性配准方法的流程示意图。
具体实施方式
[0041]
以下结合附图与具体实施例进一步阐述本发明的优点。
[0042]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0043]
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数
形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0044]
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0045]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0046]
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0047]
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
[0048]
参阅图1，为符合本发明一优选实施例中小器官肿瘤演化的模型建立方法的流程示意图，在该实施例中，模型建立方法包括以下步骤：
[0049]
s100：基于采集的小器官肿瘤的ct/mri影像数据和fdt
‑
pet数据，对ct/mri影像数据和fdt
‑
pet数据预处理后用作为模型训练集；
[0050]
模型建立之初，将获得大量的小器官肿瘤的样本，并取此类样本的ct/mri影像数据和fdt
‑
pet数据。ct是用x线束对人体某部一定厚度的层面进行扫描，由探测器接收透过该层面的x线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器转为数字，输入计算机处理。图像形成的处理有如对选定层面分成若干个体积相同的长方体，称之为体素(voxel)。扫描所得信息经计算而获得每个体素的x线衰减系数或吸收系数，再排列成矩阵，即数字矩阵(digital matrix)，数字矩阵可存贮于磁盘或光盘中。经数字/模拟转换器(digital/analog converter)把数字矩阵中的每个数字转为由黑到白不等灰度的小方块，即象素(pixel)，并按矩阵排列，即构成ct图像。所以，ct图像是重建图像。每个体素的x线吸收系数可以通过不同的数学方法算出。核磁共振成像(mri)是神经放射学诊断的一种非侵入性成像工具，可以用来辅助诊断和预后。
[0051]
对ct/mri影像数据和fdt
‑
pet数据将进行如去噪、特征提取等预处理后用作为模型训练集。
[0052]
s200：基于预处理后的ct/mri影像数据和fdt
‑
pet数据，获得ct/mri影像数据和fdt
‑
pet数据内小器官肿瘤的肿瘤区域细胞内体积分数图谱，及肿瘤标准化摄取值图谱；
[0053]
对于该预处理后的ct/mri影像数据和fdt
‑
pet数据，将处理获得小器官肿瘤的肿瘤区域细胞内体积分数图谱(icvf)和肿瘤标准化摄取值图谱。标准化摄取值是pet
‑
ct报告
中必然会出现的一个内容，也就是suv值，是各种肿瘤组织摄取18f
‑
fdg示踪剂定量指标。人们常常看到pet
‑
ct报告中说某部位摄取量增多，也就在说suv值相对比较高。由于不同肿瘤细胞代谢能力的不同，它们在检查中对pet
‑
ct示踪剂18f
‑
fdg吸收量也不同，一般情况下，恶性程度高，摄取量就更高。临床通常取suv值的大小来鉴别恶性肿瘤与良性病变，并提示肿瘤的恶性程度。
[0054]
s300：将肿瘤区域细胞内体积分数图谱和肿瘤标准化摄取值图谱对齐并比较；
[0055]
对肿瘤区域细胞内体积分数图谱和肿瘤标准化摄取值图谱对齐，例如多模态配准后，可比较两者的区别，从而比较得到病变区域，以及不同时期下病变区域的变化情况。
[0056]
s400：基于比较结果，构建小器官肿瘤演化模型，并对小器官肿瘤演化模型训练、计算后，调整小器官肿瘤演化模型的模型参数；
[0057]
进一步地，在比较结果出具后，可构建小器官肿瘤演化模型，在模型训练集的训练下，逐步调整小器官肿瘤演化模型的模型参数，直至小器官肿瘤演化模型与所采集的小器官肿瘤的ct/mri影像数据和fdt
‑
pet数据匹配。可以理解的是，所采集的小器官肿瘤的ct/mri影像数据和fdt
‑
pet数据越多，小器官肿瘤演化模型的准确定越高，对于不属于模型训练集内的小器官肿瘤的ct/mri影像数据和fdt
‑
pet数据的演化预估也将越准确。
[0058]
s500：基于原始数据对小器官肿瘤演化模型验证，并二次调整小器官肿瘤演化模型的模型参数
[0059]
若在模型参数调整下，小器官肿瘤演化模型仍无法匹配，则将根据原始数据对小器官肿瘤演化模型进行验证，二次或多次调整小器官肿瘤演化模型的模型参数，直至小器官肿瘤演化模型同时匹配ct/mri影像数据和fdt
‑
pet数据及原始数据。
[0060]
具有上述配置后，可提高胰胆、膀胱等恶性肿瘤手术规划与术后评估系统，基于医学影像精准分析的小器官肿瘤演化模型可用于指导临床诊断与手术切除。
[0061]
一优选实施例中，基于采集的小器官肿瘤的ct/mri影像数据和fdt
‑
pet数据，对所述ct/mri影像数据和fdt
‑
pet数据预处理后用作为模型训练集的步骤s100包括：
[0062]
s110：收集不同小器官肿瘤的患者在小器官肿瘤不同演化时期的多模态数据；
[0063]
对于不同的患者，采集其出现不同位置下的肿瘤的多模态数据。且多模态数据最优选地，在小器官肿瘤的不同演化时期，进一步地演化的周期越短越好，使得多模态数据呈丰富和普及化。
[0064]
s120：对多模态数据预处理，以用作为ct/mri影像数据和fdt
‑
pet数据；
[0065]
s130：收集医生对多模态数据内小器官肿瘤的肿瘤区域的分割数据，并将分割数据用作为模型标准集。
[0066]
由于上述多模态数据为真实样本，在真实病例下，医生已对多模态数据内小器官肿瘤的肿瘤区域手动分割，及将病变区域和健康区域划分，形成分割数据，这些正确的原始数据将用作为模型标准集(或称为金标准)，供后续调参用。
[0067]
参阅图2，一优选实施例中，基于预处理后的ct/mri影像数据和fdt
‑
pet数据，获得ct/mri影像数据和fdt
‑
pet数据内小器官肿瘤的肿瘤区域细胞内体积分数图谱，及肿瘤标准化摄取值图谱的步骤s200包括：
[0068]
s210：对预处理后的ct/mri影像数据和fdt
‑
pet数据，结合基于注意力机制优化的三维unet神经网络，根据双相ct影像提取ct/mri影像数据和fdt
‑
pet数据内病灶以及周围
健康组织器官区域；
[0069]
注意力机制也称为：“神经网络的注意力”，或者更简单的：“注意力”。人脑在工作时，具有一定的注意力的，比如在浏览器上搜索时，大部分的注意力都集中在搜索结果的左上角，这说明大脑在处理信号的时候是有一定权重划分的，而注意力机制的提出正是模仿了大脑的这种特性。神经网络的注意力就是说，神经网络具有将注意力集中到一部分输入(或特征)的能力。目前计算能力依然是限制神经网络发展的瓶颈，当输入的信息过多时，模型也会变得更复杂，通过引入注意力，可以减少处理的信息量，从而减小需要的计算资源。虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络中的长序列输入，信息“记忆”能力并不高。注意力机制一般分为两种：聚焦式(focus)注意力：是一种自上而下的有意识的注意力，“主动注意”是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力；显著性(saliency
‑
based)注意力：是一种自下而上的无意识的注意力，“被动注意”是基于显著性的注意力，是由外界刺激驱动的注意，不需要主动干预，也和任务无关；池化(max pooling)和门控(gating)可以近似地看作是自下而上的基于显著性的注意力机制。注意力机制一般可以分为三步：一是信息输入；二是计算注意力分布；三是根据计算的注意力分布来对输入信息进行处理。
[0070]
s220：计算小器官肿瘤的肿瘤区域细胞内体积分数图谱；
[0071]
s230：基于：me＝c
×
suv计算fdt
‑
pet数据的fdg
‑
pet标准化摄取值
[0072]
该标准化摄取值将用于表示肿瘤及其周围组织的代谢能，其中c为常数。
[0073]
更进一步地，计算小器官肿瘤的肿瘤区域细胞内体积分数图谱的步骤s220包括：
[0074]
s221：对小器官肿瘤的肿瘤区域使用双相增强ct扫描，基于：
[0075][0076]
计算肿瘤区域细胞外体积分数，其中hct
blood
为红细胞压积；
[0077]
由于碘造影剂在靶器官或血浆中对x射线有较大的吸收和散射作用，使影像中ct值增强。由于碘化造影剂是由相对较小的分子组成，具有很高的扩散性。血管内造影剂在注射后迅速广泛分布于血管外，体积接近细胞外间隙(ecv)，即血管外胞外间隙加毛细血管间隙。因此可先用双相增强ct扫描(增强前影像和增强后影像)来计算肿瘤细胞外体积分数。
[0078]
s222：基于：icvf(x，t)＝1.0
‑
ecvf(x，t)计算肿瘤区域细胞内体积分数，其中x代表单个像素点，t代表双相增强ct扫描的影像采集时刻
[0079]
考虑到细胞内体积分数(icvf)与细胞外体积分数(ecvf)互补，因此，可基于上述公式计算肿瘤区域细胞内体积分数。
[0080]
优选或可选地，参阅图3，将肿瘤区域细胞内体积分数图谱和肿瘤标准化摄取值图谱对齐并比较的步骤s300包括：
[0081]
s310：运用基于归一化互信息的非刚性配准方法，以实现增强ct图像和fdg
‑
pet图像的多模态配准，以将所述肿瘤区域细胞内体积分数图谱和肿瘤标准化摄取值图谱对齐；
[0082]
互信息(mutual information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一
个随机变量而减少的不确定性。两个随机变量x,y的互信息，定义为x,y的联合分布和独立分布乘积的相对熵。
[0083]
进一步地，基于比较结果，构建小器官肿瘤演化模型，并对所述小器官肿瘤演化模型训练、计算后，调整所述小器官肿瘤演化模型的模型参数的步骤s400包括：
[0084]
s410：基于比较结果，以及反应
‑
平流
‑
扩散过程的肿瘤演化模型，结合不同时期下医生对多模态数据内小器官肿瘤的肿瘤区域的分割数据所计算出的肿瘤细胞体积参数和代谢吸收参数，构建小器官肿瘤演化模型；
[0085]
对于肿瘤具有通常演化模型：反应
‑
平流
‑
扩散(reaction
‑
advection
‑
diffusion)。利用不同时期下医生对多模态数据内小器官肿瘤的肿瘤区域的分割数据所计算出的肿瘤细胞体积参数和代谢吸收参数，以实现对小器官肿瘤演化模型的构建
[0086]
s420：通过统计形态学模型对小器官肿瘤演化模型进行肿瘤生长趋势预测。
[0087]
更进一步地，基于原始数据对所述小器官肿瘤演化模型验证，并二次调整所述小器官肿瘤演化模型的模型参数的步骤s500包括：
[0088]
s510：比较肿瘤生长趋势预测及肿瘤区域的分割数据，对小器官肿瘤演化模型的平均表面距离(asd)、icvf图的均方根差(rmsd)、肿瘤表面平均icvf差(aicvfd)和肿瘤相对体积差(rvd)二次验证小器官肿瘤演化模型的精确度和可靠性。
[0089]
一优选实施例中，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的模型建立方法。
[0090]
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。