肿瘤影像深度学习辅助子宫颈癌患者预后预测系统、方法与流程

文档序号:21313059发布日期:2020-06-30 20:40阅读:214来源:国知局
肿瘤影像深度学习辅助子宫颈癌患者预后预测系统、方法与流程

本发明属于影像辅助预测技术领域,特别是基于深度学习的子宫颈肿瘤影像辅助预测系统、方法及电脑程序产品。



背景技术:

化学与放射治疗(chemoradiotherapy)是目前局部晚期(localadvanced)子宫颈癌的常规治疗方法之一,但病患在治疗后的预后(例如肿瘤局部控制、远端转移、生存机率)目前仍不够理想。由于治疗可能会引起许多副作用,若能预测治疗后的预后,病患的医疗品质可有效地被提升。目前氟代脱氧葡萄糖(18f-fdg)的正电子发射计算机断层扫描(positronemissiontomography,pet)影像/计算机断层扫描(computedtomography,ct)影像已被广泛用于评估子宫颈癌的治疗前分期,有些研究方法使用从影像推导的特征预测治疗后的治疗反应、局部复发(localrecurrence)或远端转移(distantmetastasis)的可能性。

然而迄今为止,pet/ct的影像组学(radiomics)与传统的机器学习与统计学演算法组合而成的预测技术在精准度上仍有缺陷,因此预测失误的机率十分高。

对此,本发明提供一种改良的影像深度学习辅助预测系统、方法及电脑程序产品,能有效解决上述问题。



技术实现要素:

本发明提出一种肿瘤影像深度学习辅助子宫颈癌患者预后预测系统,是以深度学习演算法为基础,并配合子宫颈肿瘤的影像训练而成。本发明可通过深度学习而建立出一个深度卷积神经网络模型,该深度卷积神经网络模型可对病患的子宫颈肿瘤的影像进行分析,进而预测该病患的子宫颈肿瘤在合并化学与放射治疗后的预后。本发明通过深度卷积神经网络的运算,使得预测的精准度能够提升。

根据本发明的一观点,现提出一种肿瘤影像深度学习辅助子宫颈癌患者预后预测系统,用以分析病患在进行治疗前的子宫颈肿瘤的影像数据。该系统包含小样本数据扩充模块及分析模块。小样本数据扩充模块可将影像数据进行数据扩充处理,进而产生多个切片影像。分析模块可通过深度卷积神经网络模型对切片影像进行特征分析,进而预测病患在接受治疗后的预后。

根据本发明的另一观点,是提供一种肿瘤影像深度学习辅助子宫颈癌治疗反应预测方法,用以分析病患在进行治疗前的子宫颈肿瘤的影像数据,该方法是通过肿瘤影像深度学习辅助子宫颈癌患者预后预测系统来执行,且该方法包含步骤:通过小样本数据扩充模块将影像数据进行数据扩充处理,以产生多个切片影像;以及通过分析模块,通过深度卷积神经网络模型对该等切片影像进行一特征分析,以预测该病患在接受治疗后的一预后。

根据本发明的又一观点,是提供一种电脑程序产品,储存于一非暂态电脑可读取媒体之中,用于使肿瘤影像深度学习辅助子宫颈癌患者预后预测系统的运作,其中该电脑程序产品包含:一指令,使该系统对影像数据进行数据扩充处理,以产生多个切片影像;以及一指令,使子宫颈肿瘤影像辅助预测系统对切片影像进行特征分析,以预测病患在接受治疗后的预后。

附图说明

图1(a)是本发明一实施例的肿瘤影像深度学习辅助子宫颈癌患者预后预测系统的系统架构图;

图1(b)是本发明一实施例的深度卷积神经网络模型的架构示意图;

图2是本发明一实施例的肿瘤影像深度学习辅助子宫颈癌患者预后预测方法的基本步骤流程图;

图3(a)是本发明一实施例的数据扩充处理的流程示意图;

图3(b)是本发明一实施例的感兴趣体积区域的示意图;

图3(c)是本发明一实施例的一基本切片影像组的示意图;

图3(d)是本发明一实施例的扩张切片影像组的示意图;

图4是本发明一实施例的深度卷积神经网络模型的建立流程示意图;

图5是多层感知卷积层的卷积运算的范例示意图。

【附图标记说明】

1肿瘤影像深度学习辅助子宫颈癌患者预后预测系统

12小样本数据扩充模块

14分析模块

15深度卷积神经网络模型

16数据输入端

17训练模块

20电脑程序产品

152、152-1~152-3多层感知卷积层

154全局平均池化层

156损失函数层

22归一化运算单元

24激活函数

26最大池化层

s21~s23、s31~s35、s41~s47步骡

50切片影像

51、51-1、51-2像素位置

52特征检测器

53特征地图

voi感兴趣体积区域

具体实施方式

以下说明书将提供本发明的多个实施例。可理解的是,这些实施例并非用以限制。本发明的各实施例的特征可加以修饰、置换、组合、分离及设计以应用于其他实施例。

图1(a)是本发明一实施例的肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1的系统架构图。如图1(a)所示,肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1包含一小样本数据扩充模块12及一分析模块14及一深度卷积神经网络模型15。在一实施例中,肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1还可以包含一数据输入端16,用以取得来自外部的影像数据,亦即使用者可通过数据输入端16将影像数据输入至肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1中。此处“影像”可以例如是一病患在进行一治疗前的子宫颈肿瘤的一pet影像或ct影像,其中治疗可例如但不限定为合并化学与放射治疗,而“影像数据”可以例如是该pet影像或ct影像的代谢肿瘤体积(metabolictumorvolume,mtv)范围,但不限于此。为说明更清楚,以下段落皆将以pet影像来举例。当肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1取得该影像数据后,小样本数据扩充模块12可将该影像数据进行一数据扩充处理,以将该影像数据扩充为更多细部的影像数据。分析模块14可通过深度卷积神经网络模型15对该细部的影像数据进行特征分析(例如深度卷积神经网络模型15对影像数据进行分析,并利用该特征建立出预测路径),进而预测该患者在接受治疗后的预后;举例来说,只要将病患在接受化学与放射治疗前的子宫颈肿瘤的影像数据输入至肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1之中,肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1即可预测出该病患在接受化学与放射治疗后的预后(例如子宫颈肿瘤的复发或转移可能性)。此外,在一实施例中,肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1还可以包含一训练模块17,用以控制训练用模型进行深度学习,当训练用模型训练完成后,即可形成深度卷积神经网络模型15。以下将说明各元件的细节。

肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1可以是一影像处理装置,其可通过任何具有微处理器的装置来实现,例如桌上型电脑、笔记本电脑、智能移动装置、伺服器或云端主机等类似装置。在一实施例中,肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1可具备网络通讯功能,以将数据通过网络进行传输,其中网络通讯可以是有线网络或无线网络,因此肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1亦可通过网络来取得影像数据。在一实施例中,肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1可由微处理器中执行一电脑程序产品20来实现,例如电脑程序产品20可具有多个指令,该指令可使处理器执行特殊运作,进而使处理器执行小样本数据扩充模块12、分析模块14、深度卷积神经网络模型15及训练模块17的功能。在一实施例中,电脑程序产品20可储存于非暂态(非瞬时性)电脑可读取媒体之中,例如记录介质之中,但不限于此。

在一实施例中,数据输入端16是用以取得来自外部数据的一实体连接接口,例如当肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1是由电脑实现时,数据输入端16可以是电脑上usb接口、各种传输线接头等,但并非限定。此外,数据输入端16亦可与无线通讯芯片整合,因此能以无线传输的方式接收数据。

小样本数据扩充模块12可以是一功能模块,其可通过一程序代码来实现,举例来说,当肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1中的微处理器执行该程序代码时,该程序代码可使该微处理器执行所述的小样本数据扩充模块12的功能。分析模块14亦可以是一功能模块,其可通过一程序代码来实现,举例来说,当肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1中的微处理器执行该程序代码时,该程序代码可使该微处理器执行所述的分析模块14的功能。训练模块17亦可以是一功能模块,并可通过一程序代码来实现,举例来说,当肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1中的微处理器执行该程序代码时,该程序代码可使该微处理器执行所述的训练模块17的功能。在一实施例中,训练模块17可与深度卷积神经网络模型15(训练用模型)整合在一起。上述各模块可通过各自独立的不同程序来实现,也可以通过同一个程序中的不同子程序来实现,此外上述程序亦可以整合至电脑程序产品20之中,本发明并没有限定。

接着说明深度卷积神经网络模型15的细节。本发明的深度卷积神经网络模型15是利用深度卷积神经网络来分析影像特征的人工智慧模型,其是从一个训练用模型基于深度学习技术进行训练而形成。当训练用模型讯练完成后会产生一特征路径,该特征路径可视为人工智慧模型中的神经元传导路径,其中每个神经元可代表一个影像特征,且每个影像特征可能会具有不同的权重值。在一实施例中,深度卷积神经网络模型15是由复数演算法(例如程序代码)所组成。此外,为区分训练前与训练后的深度卷积神经网络模型15,本文中对于训练前的深度卷积神经网络模型15将以“训练用模型”来称之。在一实施例中,训练用模型需经历至少一“训练阶段”来进行训练并建立出一特征路径,且训练用模型需经历至少一“测试阶段”来测试该特征路径的准确度,当准确度达到需求时,才能做为后续使用的深度卷积神经网络模型15。在本发明中,训练用模型将经历多次训练,并且每次训练后皆会产生不同的特征路径,而准确度最高的特征路径会被设定为深度卷积神经网络模型15的特征路径。

图1(b)是本发明一实施例的深度卷积神经网络模型15的架构示意图。为了要预测子宫颈肿瘤的复发或转移可能性,本发明的深度卷积神经网络模型15(或训练用模型)是设定为包含多个多层感知卷积层(mlpconvlayer)152、至少一全局平均池化层(globalaveragepoolinglayer)154及至少一损失函数层(lossfunctionlayer)156。多层感知卷积层(mlpconvlayer)152的数量是根据在训练阶段时输入于训练用模型中的训练用影像数据的数量来决定。在本实施例中,为了在影像解析度、训练的数据量及运算时间上取得平衡,并且避免过度训练而导致准确度下降,多层感知卷积层152的数量是设定为3个,而训练用影像数据的数量是设定为142个pet影像,且其中142个pet影像经由数据扩充处理后会产生共1562个切片影像组。需注意的是,本文所述的深度卷积神经网络模型15仅是举例。

在本实施例中,第一个多层感知卷积层152-1的输入端是用以接收影像数据(例如经由小样本数据扩充模块12扩充后的切片影像),而第一个多层感知卷积层152-1的输出端可与第二个多层感知卷积层152-2的输入端连接,第二个多层感知卷积层152-2的输出端可与第三个多层感知卷积层152-3的输入端连接,第三个多层感知卷积层152-3的输出端可与全局平均池化层154的输入端连接,全局平均池化层154的输出端可与损失函数层156连接。其中,全局平均池化层154可具有两个输出结果,分别表示预后良好(肿瘤复发/转移的可能性低)或不佳(肿瘤复发/转移的可能性高)。

需注意的是,每个多层感知卷积层152皆设定为包含至少一特征检测器(featuredetector)。在一实施例中,特征检测器能以矩阵的形式呈现,并通过与影像数据的每个像素位置的像素值(例如每个体积像素的suv值)进行卷积运算,进而取得影像数据中的特征。本发明的每个特征检测器的初始内容皆为随机产生,且特征检测器的内容会在训练的过程中,通过训练结果的准确度来进行调整,进而提升训练效果。在一实施例中,第一个多层感知卷积层152-1的特征检测器会与被输入至训练用模型中的原始影像数据进行第一次卷积运算,藉此产生一第一特征地图(featuremap),其中第一特征地图的尺寸会小于输入的影像;而第二个多层感知卷积层152-2的特征检测器/会与第一个多层感知卷积层152-1的卷积运算结果(第一特征地图)进行第二次卷积运算,以产生一第二特征地图,其中第二特征地图的尺寸会小于第一特征地图;而第三个多层感知卷积层152-3的特征检测器会与第二个多层感知卷积层152-3的卷积运算结果(第二特征地图)进行第三次卷积运算,以产生一第三特征地图。最后,全局平均池化层154再将第三特征地图中的重要特征萃取出。藉此子宫颈肿瘤的影像中,与肿瘤复发或转移有关的重要特征将可被找出。

在一实施例中,每个多层感知卷积层152可各自包含一归一化运算单元22以执行归一化运算。此处归一化运算可例如是批处理归一化(batchnormalization)。归一化运算单元22可将每个多层感知卷积层152的卷积运算结果的数据进行归一化,藉此加快后续数据处理收敛的速度,使训练过程更加稳定。此外,在一实施例中,每个多层感知卷积层152可各自包含一池化单元26以执行池化运算,此处池化运算可例如是最大池化(maximumpooling),池化层26的作用是减少多层感知卷积层152所得的特征地图的尺寸,并且将特征集中保留至缩小的特征地图中,广义而言,池化层26的作用可视为从特征地图中将重要的特征萃取出来,如此可强调重要的特征。在一些实施例中,最大池化层26亦可改为平均池化层架构。

在一实施例中,每个多层感知卷积层152及全局平均池化层154可各自包含一个激活函数24(activationfunction)。激活函数24可用于调整多层感知卷积层152或全局平均池化层154的输出结果,使输出结果产生非线性的效果,进而提升训练用模型的预测能力。激活函数24可以是饱和激活函数(saturatedactivationfunction)或非饱和激活函数(non-saturateactivationfunction),当激活函数24是饱和激活函数时,激活函数24可采用tanh、sigmoid等架构,而当激活函数24是非饱和激活函数时,激活函数24可采用线性整流函数(rectifiedlinearunit,relu)或其变化架构(例如elu、leakyrelu、prelu、rrelu或其它变化架构)。在一较佳实施例中,多层感知卷积层152的激活函数24是采用relu架构,而全局平均池化层154的激活函数24是采用relu以外的架构。

在一实施例中,平均池化层154的作用是减少多层感知卷积层152所得的特征地图的维度,将每张特征地图以一平均值表示,广义而言,全局平均池化层154的作用可视为从特征地图中将重要的特征萃取出来,如此可使得运算的复杂度下降,并可强调重要的特征。

在一实施例中,损失函数层156的作用是用以平衡预测机率,亦即使特征路径的二输出结果被预测到的机率能够相似,以避免训练用模块或深度卷积神经网络模型15仅针对单一输出结果进行大量的预测。

在一实施例中,上述关于深度卷积神经网络模型15或训练用模型的内容可通过安装了nvidiaquadrom4000显示卡的伺服器上的python3.6.4程序语言及keras2.1.3深度学习模块的tensorflow深度学习框架来实现,且不限于此。

接着将说明本发明的基本运作过程。图2是本发明一实施例的肿瘤影像深度学习辅助子宫颈癌患者预后预测方法的基本步骤流程图,此方法是由图1(a)及1(b)的肿瘤影像深度学习辅助子宫颈癌患者预后预测系统1执行,且深度卷积神经网络模型15是已训练完成的情况。如图2所示,首先步骤s21被执行,数据输入端16取得一病患在化学与放射治疗前的子宫颈癌肿瘤的影像数据。之后,步骤s22被执行,小样本数据扩充模块12对影像数据进行一数据扩充处理,以从产生影像数据的多个切片影像。之后,步骤s23被执行,深度卷积神经网络模型15对该切片影像数据进行一特征分析,以预测该病患在接受化学与放射治疗后的预后(亦即该病患的子宫颈肿瘤的复发机率或转移可能性)。接着将说明各步骤的细节。

关于步骤s21,系统的使用者(例如医师)可通过数据输入端16将病患的影像数据输入至子宫颈癌肿瘤影像辅助预测系统1之中,其中,此处影像数据可例如pet影像中子宫颈肿瘤的代谢肿瘤体积范围(mtv范围)。mtv范围可由各种已知的方法来取得。在一实施例中,影像数据是病患在摄取示踪剂(例如18f-fdg)后,病患的子宫颈肿瘤对示踪剂呈现异常代谢反应的影像数据。在一实施例中,影像数据可具有多个体积像素(voxel),且每个体积像素的像素值是指葡萄糖的标准代谢值(standardizeduptakevalue,以下简称suv)。

关于步骤s22,当病患的影像数据被输入至子宫颈癌肿瘤影像辅助预测系统1后,系统1中的微处理器可根据电脑程序产品20中的指令而进行运作,亦即子宫颈癌肿瘤影像辅助预测系统1可通过小样本数据扩充模块12对影像数据进行数据扩充处理。步骤s22的目的在于,假如可用的影像数据有限,将造成系统训练的成果不如预期,因此在训练前必须先扩充数据量。以下将详细说明数据扩充处理的细节,请同时参考图3(a),其中图3(a)是本发明一实施例的数据扩充处理的流程示意图,且该数据扩充处理是由小样本数据扩充模块12来执行,亦即可通过系统1中的处理器的执行来实现整个流程。

[数据扩充处理]

首先,步骤s31被执行,小样本数据扩充模块12对输入至系统1之中的影像数据(以下定义为原始影像数据)进行插值处理(interpolated)。此步骤的目的在于提升影像数据的解析度。在一实施例中,影像数据中每个体积像素的原始大小可为5.47mm×5.47mm×3.27mm,而在进行插值处理后,影像数据中每个体积像素的大小可为2.5mm×2.5mm×2.5mm,由此可知影像的解析度可以被提高。在一些情况下,当影像数据的每个体积像素大小被调整为2.5mm×2.5mm×2.5mm时,十分适合本系统1后续所进行的影像处理。需注意的是,上述体积像素大小仅是举例,并非限制。

之后,步骤s32被执行,由于前述插值处理改变影像解析度,小样本数据扩充模块12以原始影像数据中具有最大suv值的体积像素(suvmax)为基础,将插值前的suvmax座标转换为插值后的座标。

之后,步骤s33被执行,小样本数据扩充模块12从插值后的影像数据中取出以suvmax作为中心点的一个感兴趣体积区域(voi)。在一实施例中,voi的尺寸是设定为70mm×70mm×70mm。将voi的尺寸设定为70mm×70mm×70mm时,可适用于大部分的子宫颈肿瘤的mtv大小,但并非限定。子宫颈肿瘤的mtv大小可如图3(b)之本发明一实施例的voi的示意图所示。

之后,步骤s34被执行,小样本数据扩充模块12将通过voi中心(suvmax)的xy平面、xz平面及yz平面设定为一基本切片影像组,如图3(c)所示,其中图3(c)是本发明一实施例的一基本切片影像组(座标未旋转)的示意图。

之后,步骤s35被执行,小样本数据扩充模块12将基本切片影像组的其中一平面以一特定方向进行逆时针旋转,以取得多个扩充切片影像组。在一实施例中,小样本数据扩充模块12是将基本切片影像组的xy平面以特定方向进行逆时针旋转,但并非限定。在一实施例中,小样本数据扩充模块12是将基本切片影像组的其中一平面以y轴方向进行逆时针旋转,但并非限定。在一实施例中,逆时针旋转是指将基本切片影像组的其中一平面以特定方向各自转动15°、30°、45°、60°、75°、105°、120°、135°、150°及165°,进而取得10个旋转切片组(即扩张切片影像组),如图3(d)所示,其中图3(d)是本发明一实施例的扩张切片影像组的示意图。在一实施例中,当进行10次旋转后,单一影像数据能产生11个切片影像组(1个基本切片影像组及10个旋转切片影像组,其中每个切片影像组可包含3个切片影像),因此数据量将可以大幅增加,使得肿瘤的局部特征更加明显。在本实施例中,每个切片影像是二维影像,因此后续的卷积运算亦是针对二维影像进行处理,但在另一实施例中,切片影像亦可以是三维影像,而卷积运算针对三维影像进行处理。

通过上述步骤,可完成数据扩充处理,小样本数据扩充模块12可从单一影像数据中产生多个切片影像。

请再次参考图2。关于步骤s23,当取得多个切片影像后,深度卷积神经网络模型15可对该切片影像进行分析。由于每个切片影像皆包含了肿瘤局部特征,深度卷积神经网络模型15可自动分析该切片影像中的肿瘤局部特征,并通过特征路径来决定该切片影像的输出结果为何,藉此预测该患者在接受化学与放射治疗后的预后(子宫颈肿瘤的复发/转移的可能性)。

藉此,子宫颈癌肿瘤影像辅助预测系统1可预测出该患者在接受放射性化疗后的预后,以辅助使用者(例如医师)判断是否需进行治疗方式的调整。

为了使深度卷积神经网络模型15能达成步骤s23的功效,深度卷积神经网络模型15必须先通过深度学习进行训练。以下将详细说明深度卷积神经网络模型15的建立过程及方法。

[深度卷积神经网络模型15的建立方式]

为了建立出深度卷积神经网络模型15,必须先使用多影像数据对训练用模型进行训练,以使训练用模块能从该影像数据中找出特征,进而建立特征路径。为了要使训练结果(特征路径)有如人类之类神经网络的效果,训练用模型必须进行多次训练,且在每次训练时,训练用模型中会使用特征检测器与影像数据进行卷积运算,其中初次使用的特征检测器皆是随机产生,因此每次训练皆可能产生不同的特征路径,之后,系统1会验证每个特征路径的准确度,并将准确度最高的特征路径设定为深度卷积神经网络模型15的特征路径。以下是本发明的深度卷积神经网络模型15在建立时的一些重点。

[深度卷积神经网络模型15的建立要点]

1.训练用模型的架构

在本发明中,训练用模型在每次训练时皆采用相同的基本架构(差别在于每次训练时特征检测器是随机产生)。在开始进行训练之前,训练用模型的基本架构必须先设定好。在本实施例中,每个训练用模型包含了三个多层感知卷积层、一个全局平均池化层及一个损失函数层,其中每个多层感知卷积层各自包含至少一个随机产生的特征检测器。上述训练用模型的架构是一个较佳范例,并非本发明的限制。

2.训练的目的

在本发明中,“训练”是指将大量的影像数据输入至训练用模型后,训练用模型通过预先撰写的演算法自动对数据进行分析归纳,进而建立特征路径的过程。而“训练的目的”则在于从大量的数据中找出重要的特征,并建立出特征路径,并从中找出准确度最佳的特征路径,其中训练用模型在每次训练完成后皆会建立出一个特征路径,而每个特征路径皆对应二个输出结果(即对应预后良好及对应预后不佳)。

要点3.训练的次数

在本发明中,训练用模型的整体训练次数是设定为500次,因此当训练用模型完成所有训练后,实质上可建立出500个不同的特征路径。需注意的是,上述训练次数只是一个较佳范例,并非本发明的限制。

要点4.数据的数量

本实施例是使用142个病患的子宫颈肿瘤的pet影像作为原始影像数据,且142个pet影像中有121个治疗后没有局部复发的pet影像,有21个治疗后局部复发的pet影像。需注意的是,上述影像数据的数量只是一个较佳范例,并非本发明的限制。此外,影像数据的内容可依照所需预测的预后为何者而改变,例如要预测肿瘤的复发,则该pet影像数据是使用与肿瘤复发有关的预后数据,若要预测肿瘤转移,则该pet影像数据是使用与肿瘤转移有关的预后数据,以此类推。

要点5.数据的扩充

在本实施例中,每个pet影像可通过小样本数据扩充模块12而扩充为11个切片影像组,因此在本实施例中,最终将会产生1562个切片影像组(每组包含3个切片影像)。每个pet影像的数据扩充方式可适用图3(a)的说明,故在此不再详述。

要点6.数据的分配

在每次训练时,1562个切片影像组将会被随机分配为测试组及训练组。在一实施例中,上述“随机分配”是将142个pet影像先随机分配为10个数据串,其中每个数据串之间皆具备相似数量的预后良好的pet影像及相似数量的预后不佳的pet影像,并且其中一个数据串将被设定为测试组,其它数据串则整合做为训练组。在一实施例中,小样本数据扩充模块12会在测试组及训练组被分配好后,才开始进行数据扩充,但并非限定。接着说明“测试组”及“训练组”的细节。“测试组”是作为当训练用模型的训练完成时(例如完成500次训练),用来测试训练完成模型的准确度时所使用的影像数据。在一实施例中,每个数据串都会被设定作为测试组1次,其余数据串合并作为训练组,每次训练后所建立的模型准确度是由测试组的测试结果来决定,之后再将该10个测试结果汇整来决定。上述准确度的测试方式仅是举例,并非限定。“训练组”是作为在训练阶段时,让训练用模型进行训练的影像数据。在一实施例中,每次训练时的训练组的数据可被分为子训练组及子验证组,其中“子训练组”是用以让训练用模型进行训练以产生一初步特征路径的训练用数据,而“子验证组”则是用以让训练用模型决定是否调整该初步特征路径的验证用数据,而最终调整过后的特征路径才是该次训练所建立的特征路径。在一实施例中,子训练组与子验证组的数量比例为8∶2。上述内容仅是举例,并非本发明的限定。在一实施例中,训练组的数据亦可不分为子训练组及子验证组。

重点7.训练及测试

请再次参考图1(a),在一实施例中,当训练用模型进行训练时,训练组中的影像数据所对应的预后将预先被系统1得知,因此训练用模型可分析及归纳出各种预后所对应的可能特征。在一实施例中,在测试训练完成模型的准确度时,测试组中的影像数据所对应的预后并不会预先被训练用模型得知,当训练用模型分析出结果后,测试组中的影像数据所对应的预后才会被用于进行比对,进而决定测试模块的准确度。在一实施例中,具有最准确的预测准确度模型将会被系统1设定为深度卷积神经网络模型15,藉此训练用模块可形成深度卷积神经网络模型15。上述内容仅是举例,并非本发明的限定。

[深度卷积神经网络模型15的建立流程细节]

图4是本发明一实施例的深度卷积神经网络模型15的建立流程示意图,其中步骤s41至s46对应“训练阶段”,步骤s47对应“测试阶段”。请同时参考图1(a)、1(b)及图4。首先,步骤s41被执行,训练用模型的基本架构被设定完成,亦即多层感知卷积层、全局平均池化层及损失函数层的数量被设定完成,其中多层感知卷积层中的初始特征检测器是随机产生;之后步骤s42被执行,训练用模型取得多个影像数据(训练组);之后步骤s43被执行,多层感知卷积层的该等特征检测器对该等影像数据(训练组)进行卷积运算,以找出影像特征;之后步骤s44被执行,全局平均池化层将影像特征强化;之后步骤s45被执行,训练用模块建立出特征路径,其中预测路径包含二个输出结果,其中一个输出结果为预后良好,另一个输出结果为预后不佳;之后步骤s46被执行,重新执行步骤s42至s45,直至完成预设的训练次数(例如500次);之后步骤s47被执行,系统1使用测试组的影像数据来测试每个特征路径的准确度,并将准确度最高的特征路径设定为深度卷积神经网络模型15的特征路径。以下说明各步骤的细节。

由于步骤s41、s42、s46及s47的内容可适用先前段落的说明,故在此不再详述。

关于步骤s43,以下以一范例来说明卷积运算的内容,需注意的是,此范例已被简化,实际上的运算将更为复杂。图5是一多层感知卷积层的卷积运算的范例示意图。如图5所示,一个切片影像50可包含多个像素位置51,每个像素位置51具有一个像素值(例如suv值)。切片影像50的像素位置会与该多层感知卷积层15的特征检测器52进行卷积运算。当所有像素位置皆与特征检测器52进行卷积运算后,一特征地图53将会被产生。

以像素位置51-1来举例,由于特征检测器52中为数值“1”的位置对应至像素位置51-1及其周围像素位置皆为“0”,因此卷积运算后该特征地图53上的像素位置51-1的数值会是“0”;以像素位置51-2来举例,由于特征检测器52中为数值“1”的位置对应至像素位置51-2及其周围像素位置皆为“1”,因此卷积运算后该特征地图53上的像素位置51-2的数值会是“3”;而由于在此范例中,像素检测器52为3*3的大小,因此切片影像50中的部分像素位置(例如周边的像素位置)会因为无法执行卷积运算而被消除,也因此特征地图53的像素位置数量会小于切片影像50的像素位置数量。依照上述的方式,当完成三个多层感知卷积层的卷积运算后,影像数据(子宫颈肿瘤的pet影像)中的特征可被找出。

此外,关于步骤s43,在一实施例中,在每个多层感知卷积层的卷积运算完成后,激活函数会激活每个多层感知卷积层的卷积运算结果,使得卷积运算结果具备非线性的效果。在一实施例中,每个多层感知卷积层的激活函数是relu,但不限于此。

关于步骤s44,当卷积运算完成后,激活函数可保留影像地图中的部分特征,并将特征以外的数据去除,再通过池化缩小特征地图藉此强化特征。在一实施例中,全局平均池化层的激活函数可由下列算式来呈现:

其中,p是池化结果的特征,f(p)是激活结果,e是指数函数。此外,在一实施例中,池化结果可依照需求而乘上不同倍率,以调整数值范围的大小。

关于步骤s45,在一实施例中,损失函数是设定为必须使任意影像数据被预测为是医疗效果良好或医疗效果不佳的机率是相似的,以确保特征路径不会偏重于其中一个输出结果。

通过步骤s41至s47的执行,深度卷积神经网络模型15可具有准确度最高的特征路径,并可被使用于预测其它病患的子宫颈肿瘤的复发/转移的可能性。当深度卷积神经网络模型15被建立后,往后只要将病患的pet影像输入至系统1之中,深度卷积神经网络模型15即可分析出医疗效果,在本实施例中,142名子宫颈癌患者接受化学与放射治疗后,有21名患者出现局部复发(实际数据),而本发明建构的预测系统在通过交叉验证的预测结果中,可达到准确度(accuracy)89%、专一性(specificity)93%、以及阴性预测值(negativepredictivevalue)95%的预测效果;此外,相同患者中,有26名患者发生远端转移(实际数据),而本发明建构的预测系统在通过交叉验证的预测结果中,可达到准确度87%、专一性90%、以及阴性预测值95%的预测效果。

在一实施例中,本发明的子宫颈肿瘤影像辅助预测系统1、方法及电脑程序产品至少可由文献“deeplearningfor18f-fdgpetcanbecomeanexcellentfortunetellerinpatientswithadvanceduterinecervicalcancer”所记载之内容来实现,且不限于此。

藉此,本发明的子宫颈肿瘤影像辅助预测系统可通过小样本数据扩充模块将少量的影像数据扩充,而无须在一开始就输入庞大的影像数据。此外,通过经过深度学习训练的深度卷积神经网络模型,本发明可准确地预测出子宫颈肿瘤在接受放射性化疗后的复发/转移的可能性,可辅助病患寻求最好的医疗方式。

尽管本发明已通过上述实施例来说明,可理解的是,根据本发明的精神及本发明所主张的申请专利范围,许多修饰及变化都是可能的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1