一种基于深度学习的放疗计划自动生成方法

1.本发明涉及医学放疗治疗技术领域，特别涉及一种基于深度学习的放疗计划自动生成方法。


背景技术：

2.调强放疗治疗(imrt)，容积弧形动态旋转调强放疗(vmat)等新兴技术已经成为常见的放疗治疗方式，这些技术在提供高适性剂量分布以实现更好的计划靶区体积(planning target volume,ptv)覆盖率以及危及器官余留方面展现出巨大的优势，使放疗计划质量得到大幅度提升。但是，制定一个合格的计划需要物理师多次和主治医师交流反馈，涉及大量的手动干预，这需要花费大量的时间。同时，放疗计划的质量限于物理师的经验积累，不同机构之间计划质量一致性难以保证。
3.近些年来，有研究团队致力于自动放疗计划研究。具体的，2019年，dan等人在medical physics上发表文章“3d radiotherapy dose prediction on head and neck cancer patients with a hierarchically densely connected u
‑
net deep learning architecture”，文章提出了基于hierarchically densely connected u
‑
net的神经网络实现头颈部癌症病患剂量分布的准确预测。2020年，chen等人在medical physics上发表文章“a feasibility study on an automated method to generate patient
‑
specific dose distributions for radiotherapy using deep learning”，文章提出了基于深度学习进行精准剂量预测的方法。
4.以上方法首先需要将预测的剂量分布通过计算得到剂量目标函数，再将目标函数输入治疗系统经过计算才能获得可使用的放疗计划。这些方法无法直接生成可使用的放疗计划，复杂性较高且需要重复计算。针对现有方法的局限性，本领域研究人员一直在寻求解决办法。


技术实现要素：

5.本发明的目的在于提供一种基于深度学习的放疗计划自动生成方法，用以解决使用现有技术无法直接获得可用于放疗计划的通量图问题。
6.为了达成本发明的目的，本发明提出一种基于深度学习的放疗计划自动生成方法，实现解决问题的技术方案包括如下步骤：
7.步骤a：对病例数据库进行预处理，得到病例特征图像和病例通量图；
8.步骤b：利用病例特征图像和病例通量图训练通量图预测神经网络，并通过交叉验证得到最优的通量图预测神经网络；
9.步骤c：读取并对放疗患者的医学数字图像存储与通讯标准文件进行预处理，得到待放疗者特征图像；
10.步骤d：将待放疗者的特征图像传给预测神经网络，获得待放疗者预测通量图，将待放疗者预测通量图发送至计划系统，从而生成待放疗者的预测放疗计划。
11.可选的，所述神经网络结构为依次连接的卷积模块、空洞空间卷积池化金字塔(aspp)模块、全局推理网络(glore)模块、深度残差网络(resnet)模块、转置卷积模块、输出模块。
12.可选的，所述卷积模块为级联卷积模块，包括四个卷积层，所述卷积层的卷积核大小为3*3，前三层步长为1，最后一层步长为2，中间两层卷积核扩张率依次为2、4；每个卷积操作后接有一个激活函数和批归一化操作，每层中激活函数为：
13.f(x)＝max(x,0)
14.其中x表示网络的输入，f(x)表示网络的输出。
15.可选的，所述aspp模块为并联卷积模块，包括四个操作算子，分别是卷积核大小为1*1的卷积层、卷积核大小为3*3，扩张率为6的卷积层、卷积核大小为3*3，扩张率为12的卷积层、卷积核大小为3*3，扩张率为18的卷积层以及全局池化，卷积核的大小为1*1的卷积操作及线性插值上采样组成的操作。
16.可选的，所述glore模块主要分为三个步骤，分别是图投影、图卷积、图反投影。
17.可选的，所述resnet模块为密集型卷积模块，包括六个卷积层，由卷积核大小为1*1和3*3的卷积组成，步长均为2。
18.可选的，所述转置模块包含一层卷积核大小为3*3，步长为2的转置卷积层和卷积核大小为3*3，步长为1的卷积层。
19.可选的，在所述的病例数据库是基于宫颈癌的临床调强放疗计划构建的，该病例数据库可推广到其他肿瘤。
20.可选的，在所述的病例医学数字图像存储与通讯标准(dicom)文件包括ct图像、靶区和危及器官轮廓、处方剂量，预处理后的特征图像包括靶区投影图、危及器官投影图和实际通量图；所述的特征图像大小均为512*512，空间分辨率为5*5*5mm3；医学数字图像存储与通讯标准文件内容不限于ct图像，也可以是磁共振图像或其它形式的图像或数据。
21.可选的，对所述病例数据库进行预处理具体为将靶区和危及器官轮廓填充到ct或其它形式图像对应区域的像素点上，并利用不同的正整数对靶区和危及器官轮廓区进行标注，非靶区及非危及器官用0填充，进而在所有射野角度下投影病例靶区得到投影图；将实际通量图填充在对应射野内得到临床通量图。
22.可选的，所述病例靶区和危及器官包括：宫颈癌临床靶区、计划靶区、膀胱、直肠、小肠、躯干、左股骨头及右股骨头；当推广到其它肿瘤时，病例靶区和危及器官会有所不同。
23.可选的，所述的计划系统为飞利浦研发的(pinnacle)计划系统；可以推广到其它计划系统。
24.在本发明所提供的基于深度学习的放疗计划自动化设计方法中，所述方法包括搭建通量图预测神经网络；收集过往病例的放疗计划数据，建立病例数据库，所述病例数据库为各种癌症的临床放疗计划数据，所述放疗计划数据至少包括病例通量图和病例dicom文件；对病例数据库进行预处理得到能够被通量图预测神经网络训练的特征图像；利用特征图像进行深度学习，以训练通量图预测神经网络，通过交叉验证得到最优的通量图预测神经网络；读取待放疗患者dicom文件中病例靶区和危及器官，处理得到投影图；将投影图文件传输给训练后的神经网络，以获得经训练后的神经网络输出的预测通量图；将预测通量图传输给计划系统得到预测的放疗计划。由此可见，本发明的基于深度学习的放疗计划自
动化设计方法实现通量图的自动预测，生成可直接使用的放疗计划，并结合计划系统实现了个体化放疗计划的全自动设计流程。
25.本发明的优点和积极效果：
26.本发明的基于深度学习的放疗计划自动方法，通过引入卷积神经网络的深度学习生成可直接使用的放疗计划，降低对物理师个人经验的依赖，减少人工预测误差，缩短制定放疗计划的时间，提供了个性化的治疗计划。
附图说明
27.图1为本发明一实施例所提供的基于深度学习的放疗计划自动生成方法流程图；
28.图2为本发明的一实施例所提供的通量图预测网络结构图；
29.图3为本发明一实施例所提供的卷积模块的结构图；
30.图4为本发明一实施例所提供的aspp模块的结构图；
31.图5为本发明一实施例所提供的glore模块的结构图；
32.图6为本发明一实施例所提供的resnet模块的结构图；
33.图7为本发明一实施例所提供的转置卷积模块的结构图；
34.图8为本发明一实施例所提供的预测通量图和实际通量图的对比图。
具体实施方式
35.以下结合附图和具体实施例对本发明提出的基于深度学习的放疗计划自动化设计方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
36.请参阅图1所示，本实施例提供了一种基于深度学习的放疗计划自动生成方法，包括以下步骤：
37.步骤a：收集过往病例的放疗计划数据，基于宫颈癌的临床调强放疗计划构建病例数据库，对数据进行预处理得到能够被神经网络训练的特征图像和病例通量图；所述病例数据库还可以推广到其他肿瘤。所述病例数据库为某一癌症的临床放疗计划数据，所述放疗计划数据至少包括病例通量图和病例医学数字图像存储与通讯标准(dicom)文件，所述的病例医学数字图像存储与通讯标准文件包括宫颈癌的通量图和ct图像、靶区及危及器官轮廓和处方剂量。
38.本实施例以80例七野宫颈癌病人的调强放疗治疗(imrt)计划数据为例进行说明，收集包括宫颈癌的通量图和ct图像、靶区及危及器官轮廓和处方剂量的数据集，数据集以医学领域常用的dicom格式存储，使用内部开发的基于计算机编程语言python的程序从原始数据集中提取ct图像、靶区及危及器官轮廓点，并将这些点进行连接得到结构图。其中，所述病例靶区和危及器官包括：宫颈癌临床靶区、计划靶区、膀胱、直肠、小肠、躯干、左股骨头及右股骨头；当推广到其它肿瘤时，病例靶区和危及器官会有所不同。
39.对上述数据进行预处理得到相应特征图像包括靶区投影图、危及器官投影图和实际通量图，所述特征图像大小均为512*512，空间分辨率为5*5*5*mm3；医学数字图像存储与通讯标准文件内容不限于ct图像，也可以是磁共振图像或其它形式的图像或数据。
40.对所述病例数据库进行预处理具体实施例为：获取各个靶区的具体区域，将靶区轮廓填充到ct或其它形式图像对应区域的像素点上，并对靶区用1进行标注；将危及器官轮廓填充到ct或其它形式图像对应区域的像素点上，对所述危及器官用不同的正整数进行标注，非靶区及非危及器官区域用0填充，进而在所有射野角度下投影病例靶区得到投影图；将实际通量图填充在对应射野内得到临床通量图。本实施例中所述对危及器官区中膀胱、直肠、小肠、躯干、左股骨头及右股骨头分别用2、3、4、5、6进行标注；
41.本实施例中七个射野角度分别为30
°
、90
°
、140
°
、180
°
、220
°
、275
°
、330
°
。首先将上述得到的靶区及危及器官进行三维重建得到病患解剖结构三维信息矩阵，然后分别在七个射野角度下，对三维信息矩阵进行投影得到每个射野角度下的靶区和危及器官的投影图；
42.将实际通量图转换为二维矩阵，并进行归一化，具体方法为将所有病患的处方剂量归一化因子乘通量图的二维矩阵对数据进行统一，从而平衡病患之间的差异，降低神经网络的训练难度。
43.步骤b：搭建通量图预测神经网络；
44.所述的通量图预测神经网络包括多个级联卷积、空洞卷积和转置卷积，请参阅图2，示出了具体包括五个卷积模块、一个空洞空间卷积池化金字塔(atrous spatial pyramid pooling,aspp)模块、一个全局推理网络(global reasoning networks,glore)模块、三个深度残差网络(deep residual network,resnet)模块、五个转置卷积模块和输出模块，下面描述各模块之间的关系如下：
45.卷积模块32，接受1个第一病理特征图像，发送2个第二病理特征图像；
46.卷积模块64，接受1个第二病理特征图像，发送2个第三病理特征图像；
47.卷积模块128，接受1个第三病理特征图像，发送2个第四病理特征图像；
48.卷积模块512，接受1个第四病理特征图像，发送2个第五病理特征图像；
49.卷积模块1024，接受1个第五病理特征图像，发送2个第六病理特征图像；resnet模块128，接受1个第四病理特征图像，发送1个第七病理特征图像；resnet模块512，接受1个第五病理特征图像，发送1个第八病理特征图像；resnet模块1024，接受1个第六病理特征图像，发送1个第九病理特征图像；aspp模块2048，接受1个第六病理特征图像，发送1个第十病理特征图像；glore模块，接受1个第十病理特征图像，发送1个第十一病理特征图像；
50.转置卷积模块1024，接受1个第十一病理特征图像和1个第九病理特征图像，发送1个第十二病理特征图像；
51.转置卷积模块512，接受1个第八病理特征图像和1个第十二病理特征图像，发送1个第十三病理特征图像；
52.转置卷积模块128，接受1个第七病理特征图像和1个第十三病理特征图像，发送1个第十四病理特征图像；
53.转置卷积模块64，接受1个第三病理特征图像和1个第十四病理特征图像，发送1个第十五病理特征图像；
54.转置卷积模块32，接受1个第二病理特征图像和1个第十五病理特征图像，发送1个预测通量图。
55.请参阅图3，示出了所述卷积模块为级联卷积模块，包括四个卷积层，所述卷积层的卷积核大小为3*3，前三层步长为1，最后一层步长为2，中间两层卷积核扩张率依次为2、
4；每个卷积操作后接有一个激活函数和批归一化操作，每层中激活函数为：
56.f(x)＝max(x,0)
57.其中x表示网络的输入，f(x)表示网络的输出。
58.请参阅图4，所述aspp模块为并联卷积模块，包括四个操作算子，分别是卷积核大小为1*1的卷积层；卷积核大小为3*3，扩张率为6的卷积层；卷积核大小为3*3，扩张率为12的卷积层；卷积核大小为3*3，扩张率为18的卷积层以及全局池化，卷积核的大小为1*1的卷积操作，全局池化及线性插值上采样组成的操作；
59.请参阅图5，所述glore模块主要分为三个步骤，分别是图投影、图卷积、图反投影；
60.请参阅图6，所述resnet模块为密集型卷积模块，包括六个卷积层，由卷积核大小为1*1和3*3的卷积组成，步长均为2；
61.请参阅图7，所述转置卷积模块包含一层卷积核大小为3*3，步长为2的转置卷积层和卷积核大小为3*3，步长为1的卷积层；
62.特征图像以8通道图像形式输入通量图预测神经网络，大小为512*512，经过卷积模块，图像通道数逐渐增加，图像通道数从上到下依次是32、64、128、512、1024、2048，图像分辨率逐渐减少，从上到下依次是256*256、128*128、64*64、32*32、16*16、8*8，再经过转置卷积模块图像分辨率恢复至512*512，输出预测通量图，即512*512的单精度浮点数矩阵。
63.步骤b：利用步骤a中得到的病例特征图像和病例通量图训练通量图预测神经网络，并通过交叉验证得到最优的通量图预测神经网络；
64.对数据集进行五折交叉验证，本实施例中对收集的80例宫颈癌患者数据平均分成5份，每份16例病患计划，随机选取一份作为测试集，剩下四份作为训练集训练通量图预测神经网络，根据每组训练结果选择性能最佳的通量图预测模型。
65.本实施例中具体训练过程如下，采用谷歌研发的深度学习框架(tensorflow2.0)作为训练框架，训练过程迭代步骤为：首先将训练集中特征图像输入通量图预测神经网络进行前向传播，再将通量预测结果与实际通量图交互计算损失，然后将损失值反向传播更新通量图预测神经网络中的参数权重，训练集中全部数据经过一次计算表示一个循环，完整训练通量图预测神经网络需要循环至少千次以上。
66.神经网络使用亚当(adam)算法，初始学习速率为1e
‑3，一次循环中输入特征图像数量为2，当损失值在200次循环内没有明显下降时候，则认为通量图预测神经网络区域收敛，此时停止对神经网络的训练，并保存模型。
67.步骤c：读取待放疗患者医学数字图像存储与通讯标准文件(dicom)文件进行预处理，得到待放疗者的特征图像；
68.步骤d：将待放疗者的特征图像传输给训练后的预测神经网络，经训练后的预测神经网络输出待放疗者预测通量图，最后将待放疗者预测通量图传输给飞利浦研发的pinnacle计划系统，得到待放疗者的预测放疗计划。所述的计划系统为飞利浦研发的(pinnacle)计划系统，可以推广到其它计划系统。
69.基于本发明的基于深度学习的放疗计划自动生成方法能够通过神经网络生成可直接利用的放疗计划，请参阅图8a预测通量图与图8b实际通量图的对比，本发明的自动计划可以完成完整的宫颈癌放疗计划制作，这可以显著缩短宫颈癌放疗计划制定时间并且可以减轻物理师工作负担。一般而言若想通过深度学习获得精准的预测结果，训练数据集必
须非常大，本实施例中仅有80例病人，若扩大数据库通量图预测神经网络将获得更加精准的结果。
70.综上，在本发明所提供的基于深度学习的放疗计划自动生成方法中，所述方法包括搭建通量图预测神经网络；收集过往病例的放疗计划数据，建立病例数据库，所述病例数据库为各种癌症的临床放疗计划数据，所述放疗计划数据至少包括病例通量图和病例dicom文件；对病例数据库进行预处理得到能够被通量图预测神经网络训练的特征图像；利用特征图像进行深度学习，以训练通量图预测神经网络，通过交叉验证得到最优的通量图预测神经网络；读取待放疗患者dicom文件中病例靶区，处理得到投影图；将投影图文件传输给训练后的神经网络，以获得经训练后的神经网络输出的预测通量图；将预测通量图传输给计划系统得到预测的放疗计划。由此可见，本发明的基于深度学习的放疗计划自动生成方法实现通量图的自动预测，生成可直接使用的放疗计划，并结合计划系统实现了个体化放疗计划的全自动设计流程。
71.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。