癌症靶向治疗疗效评估方法及装置、设备、存储介质与流程

本发明涉及医疗分析技术领域，尤其涉及一种癌症靶向治疗疗效评估方法及装置、设备、存储介质。

背景技术：

癌症是我国乃至全世界最主要的疾病之一，由于大多数癌症患者在晚期才被诊断出来，因此癌症的存活率很难得到改善，癌症已经严重危害国民的健康水平，因此利用靶向治疗前后拍摄的ct，通过人工智能技术预测治疗疗效，可以作为临床上选择治疗方案时的参考。

近些年来，随着医学影像技术的发展，计算机断层扫描(ct)在癌症的早期检查中发挥着关键作用，已经有相关统计表明，ct筛查可使癌症的死亡率降低百分之二十。放射学是从感兴趣的区域提取和分析图像定量特征的过程，这些定量特征可以应用于癌症诊断、疗效分析等方面。先前很多工作表明，deltaradiomics(即放射组学特征随时间的变化量)可以用于预测各种癌症的治疗效果，比如肺癌、直肠癌、肝癌。传统的deltaradiomics特征的计算是治疗后肿瘤ct图特征减治疗前肿瘤ct图特征，这种做法需要大量手动的提取特征，无法实现自动化。

技术实现要素：

本发明实施例提供一种癌症靶向治疗疗效评估方法及装置、设备、存储介质，针对癌症靶向治疗疗效评估问题，可以兼具准确性和医学含义的智能性。

本发明实施例第一方面提供了一种癌症靶向治疗疗效评估方法，可包括：

对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行基于分辨率的归一化处理得到处理图像组；

基于肿瘤分割网络对处理图像组中的各处理图像进行检测和分割，提取出与各处理图像中肿瘤尺寸相匹配的3d肿瘤时序数据；

基于特征学习网络提取3d肿瘤时序数据对应的时序特征数据；

采用基于门控循环的分类网络对时序特征数据指示的疗效进行分类，输出疗效评估结果。

本发明实施例第二方面提供了一种癌症靶向治疗疗效评估装置，可包括：

数据预处理模块，用于对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行基于分辨率的归一化处理得到处理图像组；

图像分割模块，用于基于肿瘤分割网络对处理图像组中的各处理图像进行检测和分割，提取出与各处理图像中肿瘤尺寸相匹配的3d肿瘤时序数据；

特征提取模块，用于基于特征学习网络提取3d肿瘤时序数据对应的时序特征数据；

疗效评估模块，用于采用基于门控循环的分类网络对时序特征数据指示的疗效进行分类，输出疗效评估结果。

本发明实施例第三方面提供了一种计算机设备，该设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的癌症靶向治疗疗效评估方法。

本发明实施例第四方面提供了一种计算机存储介质，该计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的癌症靶向治疗疗效评估方法。

在本发明实施例中，通过两个阶段实现对肿瘤治疗效果的评估，第一阶段对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行归一化处理，再进行图像自动检测和分割提取出3d肿瘤时序数据，将该数据作为第二阶段的输入，在第二阶段中经过特征学习网络的特征提取和门控循环单元的特征依赖关系的捕捉，输出癌症患者靶向治疗疗效的评估。实现了对癌症靶向治疗的评估，保证了评估的准确度增加了医学含义的智能性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种癌症靶向治疗疗效评估方法的流程示意图；

图2是本发明实施例提供的一种癌症靶向治疗疗效评估算法的架构示意图；

图3是本发明实施例提供的特征学习网络中一个模块的结构示意图；

图4是本发明实施例提供的疗效分类模型的架构示意图；

图5是本发明实施例提供的一种癌症靶向治疗疗效评估装置的结构示意图；

图6是本发明实施例提供的图像分割模块的结构示意图；

图7是本发明实施例提供的疗效评估模块的结构示意图；

图8是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含，术语“第一”和“第二”仅是为了区别命名，并不代表数字的大小或者排序。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

需要说明的是，本申请提供的癌症靶向治疗疗效评估方法可以应用于自动化评估癌症治疗效果的应用场景。

本发明实施例中，癌症靶向治疗疗效评估方法可以应用于计算机设备中，该计算机设备可以是平板电脑、pc(personalcomputer，个人计算机)等终端，也可以是其它具备计算处理能力的医疗电子设备。

下面将结合图1和图2对本实施例中的癌症靶向治疗疗效评估方法进行说明。

如图1所示，癌症靶向治疗疗效评估方法至少可以包括以下几个步骤：

s101，对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行基于分辨率的归一化处理得到处理图像组。

需要说明的是，设备可以采集多名癌症患者在癌症治疗时期内(包括治疗前和治疗中)的ct影像，可以理解的是，医生可以对每张ct影像进行roi标注。

在本实施例中，设备可以对患者在癌症治疗期间内的所有ct影像和对应的roi标注图(如图2所示)进行基于分辨率的归一化处理得到处理图像组，例如，设备可以将对图像序列的x/y/z轴分辨率归一化到0.6*0.6*0.6mm，为各向同性。需要说明的是，上述处理图像组中的各个处理图像可以是归一化处理后的ct影像和对应的roi标注图，。

s102，基于肿瘤分割网络对处理图像组中的各处理图像进行检测和分割，提取出与各处理图像中肿瘤尺寸相匹配的3d肿瘤时序数据。

可以理解的是，肿瘤分割网络可以是基于细粒度分类注意力模型(afgc)的肿瘤分割网络。需要说明的是，由于不同肿瘤的尺寸范围跨度极大，设备在进行肿瘤分割时，可以采用3dinception-resnet网络对各处理图像按照图像中肿瘤尺寸的大小进行分类，并提取不同尺寸的肿瘤对应的局部特征，进一步的，可以对不同尺寸的局部特征进行特征加权，确定各处理图像中最具分辨力的代表3d肿瘤数据，最后将各代表3d肿瘤数据按照时间顺序组成的3d肿瘤时序数据t1……tn，该数据可以是同意患者各时期的肿瘤图。

s103，基于特征学习网络提取3d肿瘤时序数据对应的时序特征数据。

具体的，设备可以将同一患者的3d肿瘤时序数据按照时间顺序以序列的方式输入特征学习网络进行特征提取，基于卷积神经网络的肿瘤特征提取能够提取出更多的易表达特征。通过卷积神经网络特征学习组件自适应的学习不同语义，以达到对于肿瘤特征总体的把控。特征学习网络的一个模块如图3所示，它由多个这样的卷积模块组成，每个卷积模块具有相同的卷积结构，该卷积结构并包含两个堆叠的3d卷积层(3dconvoulution)，使用整流线性单元(relu)进行非线性激活，然后是批量归一化层(batchnorm)，最后连接3d最大池化层(3dmaxpooling)。每个卷积核内核的大小是3x3x3，这些层对输入3d肿瘤时序数据的所有维度进行卷积运算，卷积后，批量归一化层应用于所有输出的特征图，通过标准化特征图来减少数据内部分布的偏移，并且还可以加快训练速度。每个卷积模块的特征映射数以两倍的速度增长。最后，对于每个卷积模块使用3d最大池化层来逐渐减少特征空间的大小，以减少参数的数量来防止过拟合。

s104，采用基于门控循环的分类网络对时序特征数据指示的疗效进行分类，输出疗效评估结果。

可以理解的是，循环神经网络(rnn)主要用来解决序列问题，强调的是先后顺序，对于癌症的靶向治疗也是一个时间序列问题，rnn可以利用内部记忆处理任意时序的输入序列。患者从检测出癌症到定期治疗恢复，会按照某一时间间隔回访，通过拍摄ct检查肿瘤的体积，形状，纹理等特征来判断疗效的好坏。

在本实施例中，为了解决传统rnn梯度消失的问题，可以使用门控循环单元gru，对时序特征数据中的冗余数据进行遗忘，捕获更加重要的重要特征数据，然后基于该重要特征数据对当前的治疗效果进行评估，输出疗效评估结果，疗效分类模型如图4所示。可以理解的是，采用gru可以对特征具有更长的记忆，且gru还具有参数更少，收敛快的优点。

需要说明的是，基于gru的分类网络，对于相同患者多个时间片段的肿瘤，在3d卷积网络对于肿瘤特征深度挖掘的基础上，对疗效进行分类。优选的，可以在交叉熵损失的基础上，使用随机梯度下降优化算法来进行模型优化，使模型预测的分布更能捕获同一患者肿瘤前后的差异，达到精准的分类，辅助医生作为临床上选择治疗方案时的参考。

在本发明实施例中，通过两个阶段实现对肿瘤治疗效果的评估，第一阶段对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行归一化处理，再进行图像自动检测和分割提取出3d肿瘤时序数据，将该数据作为第二阶段的输入，在第二阶段中经过特征学习网络的特征提取和门控循环单元的特征依赖关系的捕捉，输出癌症患者靶向治疗疗效的评估。实现了对癌症靶向治疗的评估，保证了评估的准确度增加了医学含义的智能性。

下面将结合附图5-附图7，对本发明实施例提供的癌症靶向治疗疗效评估装置进行详细介绍。需要说明的是，附图5-附图7所示的疗效评估装置，用于执行本发明图1-图4所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图4所示的实施例。

请参见图5，为本发明实施例提供了一种癌症靶向治疗疗效评估装置的结构示意图。如图5所示，本发明实施例的疗效评估装置10可以包括：数据预处理模块101、图像分割模块102、特征提取模块103和疗效评估模块104。其中，图像分割模块102如图6所示，包括局部特征提取单元1021、特征加权单元1022和时序数据组成单元1023，疗效评估模块104如图7所示，包括冗余去除单元1041和疗效评估单元1042。

数据预处理模块101，用于对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行基于分辨率的归一化处理得到处理图像组。

图像分割模块102，用于基于肿瘤分割网络对处理图像组中的各处理图像进行检测和分割，提取出与各处理图像中肿瘤尺寸相匹配的3d肿瘤时序数据。

在可选实施例中，图像分割模块102包括：

局部特征提取单元1021，用于采用3dinception-resnet网络对处理图像组中的各处理图像按照图像中肿瘤尺寸的大小进行分类，并提取不同尺寸的肿瘤对应的局部特征。

特征加权单元1022，用于对不同尺寸的局部特征进行特征加权，确定各处理图像中最具分辨力的代表3d肿瘤数据。

时序数据组成单元1023，用于将各代表3d肿瘤数据按照时间顺序组成的3d肿瘤时序数据。

特征提取模块103，用于基于特征学习网络提取3d肿瘤时序数据对应的时序特征数据。

疗效评估模块104，用于采用基于门控循环的分类网络对时序特征数据指示的疗效进行分类，输出疗效评估结果。

在可选实施例中，疗效评估模块104包括：

冗余去除单元1041，用于采用门控循环单元去除时序特征数据中的冗余，得到重要特征数据。

疗效评估单元1042，用于基于重要特征数据对当前的治疗效果进行评估，输出疗效评估结果。

需要说明的是，本实施例中个模块和单元的执行过程可以参见上述方法实施例的具体描述，此处不再赘述。

在本发明实施例中，通过两个阶段实现对肿瘤治疗效果的评估，第一阶段对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行归一化处理，再进行图像自动检测和分割提取出3d肿瘤时序数据，将该数据作为第二阶段的输入，在第二阶段中经过特征学习网络的特征提取和门控循环单元的特征依赖关系的捕捉，输出癌症患者靶向治疗疗效的评估。实现了对癌症靶向治疗的评估，保证了评估的准确度增加了医学含义的智能性。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图4所示实施例的方法步骤，具体执行过程可以参见图1-图4所示实施例的具体说明，在此不进行赘述。

本申请实施例还提供了一种计算机设备。如图8所示，计算机设备20可以包括：至少一个处理器201，例如cpu，至少一个网络接口204，用户接口203，存储器205，至少一个通信总线202，可选地，还可以包括显示屏206。其中，通信总线202用于实现这些组件之间的连接通信。其中，用户接口203可以包括触摸屏、键盘或鼠标等等。网络接口204可选的可以包括标准的有线接口、无线接口(如wi-fi接口)，通过网络接口204可以与服务器建立通信连接。存储器205可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器，存储器205包括本发明实施例中的flash。存储器205可选的还可以是至少一个位于远离前述处理器201的存储系统。如图8所示，作为一种计算机存储介质的存储器205中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。

需要说明的是，网络接口204可以连接接收器、发射器或其他通信模块，其他通信模块可以包括但不限于wifi模块、蓝牙模块等，可以理解，本发明实施例中计算机设备也可以包括接收器、发射器和其他通信模块等。

处理器201可以用于调用存储器205中存储的程序指令，并使计算机设备20执行以下操作：

对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行基于分辨率的归一化处理得到处理图像组；

基于肿瘤分割网络对处理图像组中的各处理图像进行检测和分割，提取出与各处理图像中肿瘤尺寸相匹配的3d肿瘤时序数据；

基于特征学习网络提取3d肿瘤时序数据对应的时序特征数据；

采用基于门控循环的分类网络对时序特征数据指示的疗效进行分类，输出疗效评估结果。

在一些实施例中，设备20在基于肿瘤分割网络对处理图像组中的各处理图像进行检测和分割，提取出与各处理图像中肿瘤尺寸相匹配的3d肿瘤时序数据时，具体用于：

采用3dinception-resnet网络对处理图像组中的各处理图像按照图像中肿瘤尺寸的大小进行分类，并提取不同尺寸的肿瘤对应的局部特征；

对不同尺寸的局部特征进行特征加权，确定各处理图像中最具分辨力的代表3d肿瘤数据；

将各代表3d肿瘤数据按照时间顺序组成的3d肿瘤时序数据。

在一些实施例中，特征学习网络包括多个卷积模块，每个卷积模块具有相同的卷积结构。

在一些实施例中，卷积结构包括两个3d卷积层、两个整流线性单元和两个批量归一化层。

在一些实施例中，设备20在采用基于门控循环的分类网络对时序特征数据指示的疗效进行分类，输出疗效评估结果时，具体用于：

采用门控循环单元去除时序特征数据中的冗余，得到重要特征数据；

基于重要特征数据对当前的治疗效果进行评估，输出疗效评估结果。

在本发明实施例中，通过两个阶段实现对肿瘤治疗效果的评估，第一阶段对患者在癌症治疗期间内的所有ct影像和对应的roi标注图进行归一化处理，再进行图像自动检测和分割提取出3d肿瘤时序数据，将该数据作为第二阶段的输入，在第二阶段中经过特征学习网络的特征提取和门控循环单元的特征依赖关系的捕捉，输出癌症患者靶向治疗疗效的评估。实现了对癌症靶向治疗的评估，保证了评估的准确度增加了医学含义的智能性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。