基于深度学习的CT影像椎弓根植钉通道规划方法和系统与流程

本发明涉及医学影像技术领域，具体地，涉及一种基于深度学习的ct影像椎弓根植钉通道规划方法和系统，尤其是涉及一种基于深度学习的ct影像椎弓根植钉通道自动规划方法。

背景技术：

目前存在的一些椎弓根植钉规划方法，大都在x射线成像或者ct影像的横切面等二维成像上采用一些形态学处理，阈值提取等简单的图像技术实现的算法，存在精度差，泛化能力差，对ct成像的成像规格和质量要求很高等问题，并不能给医生做植钉规划提供有效的帮助，而且也不是真正意义上的自动化流程，无法与植钉手术机器人达成很好的配合。

如现有技术中(2018年05月的期刊“集成技术”第7卷第43页公开了“基于机器学习的机器人辅助椎弓根植钉规划”)的这种基于二维切面上进行图像形态学处理寻找中心线等方法，其虽然能在一些正常的脊椎上实现粗糙的自动规划效果，但是根本无法应对ct影像中脊椎侧弯，倾斜等临床中常见的现象，导致算法精度极差，甚至失效。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的ct影像椎弓根植钉通道规划方法和系统。

根据本发明提供的一种基于深度学习的ct影像椎弓根植钉通道规划方法，包括：

影像收集步骤：收集脊椎的ct影像数据，标注ct影像数据中椎弓根植钉通道的关键点位置，将ct影像数据拆分成训练数据集、验证数据集、测试数据集；

预处理步骤：对ct影像数据中三维的层间距进行修订，对修订后数据进行归一化，对关键点位置建立主成分分析；

网络构建步骤：构建关键点位置识别网络模型，识别网络模型后接回归任务和分类任务，并通过多任务学习分别计算初始化点到目标点的距离和方向；

部署步骤：采用tensorflow搭建识别网络模型，利用训练数据集和测试数据集进行训练调参，利用验证数据集进行测试，将通过测试的识别网络模型部署在以docker为容器的微服务云端。

优选地，所述预处理步骤包括：

重采样步骤：将对ct影像数据中三维的层间距改成1mm，并进行归一化处理；

修订步骤：对ct影像数据修订为以围绕关键点位置的冠状面、矢状面和横断面构成的2.5d数据结构；

降维步骤：以x＝(x1,y1,z1,…,xnl,ynl,znl)^t表示所有nl个三维关键点位置，对于一组训练数据x,对其使用主成分分析模型把x变换到低维度空间，其中原始空间和降维后的低维度空间之间的变换表示为

其中是整个训练数据集的均值，b是一个nb个元素的向量，其中nb＜3nl,矩阵w的列为nb个特征向量，矩阵w表示神经网络中的权重，nb表示数据三位关键点的总数，下标b表示一个临时变量。

优选地，所述网络构建步骤包括：

模型搭建步骤：构建关键点位置的7层深度卷积神经网络作为识别网络模型，每一层后接relu激活函数和max-pooling层，其中网络层被任务分支所共享，每个任务分支各由3层全连接层构成负责学习特定的任务；

构建函数步骤：对于一个ct影像数据v和它的标注关键点x^gt，一个训练的采样表示为(i(v,x,s),d^gt,p^gt),其中x是一个从ct影像v中随机采样的位置点，i(v,x,s)是对应的2.5d立体数据结构，则移动到标注关键点的位移向量表示为d^gt＝x^gt-x，深度卷积神经网络的损失函数l表示为：

其中，为回归任务的欧式距离损失，为分类任务的交叉熵损失，α是用来调节两者比重的参数，nbatch表示一个batch中训练样本的个数，dn和分别表示对于第n个样本网络输出的对于回归任务和分类任务的预测，n0表示ct数据中关键点的数量，表示第n个样本对于回归任务的真实值；

迭代步骤：对于一个ct影像数据，初始化多个随机的采样点，对于每一个采样点提取围绕这个采样点的2.5d立体数据结构输入到深度卷积网络中，根据其输出的结果和特定的更新规则移动采样点，重新输入深度卷积网络中预测，依此迭代直到没有显著地改变后停止，对多个采样点最后的位置求平均值作为最后的预测。

优选地，所述训练数据集、验证数据集和测试数据集的数据比例为8：1：1。

优选地，所述任务分支包括回归任务分支和分类任务分支，所述回归任务分支估算当前初始化点到目标关键点的距离，所述分类任务分支估算当前初始化点到目标关键点的方向。

根据本发明提供的一种基于深度学习的ct影像椎弓根植钉通道规划系统，包括：

影像收集模块：收集脊椎的ct影像数据，标注ct影像数据中椎弓根植钉通道的关键点位置，将ct影像数据拆分成训练数据集、验证数据集、测试数据集；

预处理模块：对ct影像数据中三维的层间距进行修订，对修订后数据进行归一化，对关键点位置建立主成分分析；

网络构建模块：构建关键点位置识别网络模型，识别网络模型后接回归任务和分类任务，并通过多任务学习分别计算初始化点到目标点的距离和方向；

部署模块：采用tensorflow搭建识别网络模型，利用训练数据集和测试数据集进行训练调参，利用验证数据集进行测试，将通过测试的识别网络模型部署在以docker为容器的微服务云端。

与现有技术相比，本发明具有如下的有益效果：

1、通过采用构建深度神经网络自动在ct影像上定位植钉通道关键点的方法，从而实现了椎弓根植钉通道的自动规划。

2、通过采用主成分分析对关键点之间的解剖学关系建模，从而实现了同时对多个植钉通道关键点定位。

3、通过采用多个随机采样点求平均和多次迭代逼近的方法，从而提高了深度卷积神经网络模型整体的精度和泛化能力。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的处理流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明使用了关键点定位的方式来实现弓根植钉通道的自动规划，采用深度卷积神经模型实现对ct影像数据上的弓根植钉通道关键点的识别，并且通过主成分分析的方法对关键点之间的解剖学关系建模，扩展原有的深度卷积神经模型，使其能同时对多个关键点定位。采用了由围绕关键点的冠状面、矢状面和横断面构成的2.5d数据结构进行模型研发，大大降低了三维医学影像深度学习算法对计算力的依赖。并且本发明使用了回归和分类的多任务学习和迭代逼近方法大幅度提高了关键点定位的精度，从而精准地实现椎弓根植钉通道的自动规划。

具体实施通过以下步骤进行：

步骤1：由于并没有公开的椎弓根ct影像数据集，从医院收集1000套脊椎的ct影像数据，并由影像学的专业人士对ct影像中椎弓根植钉通道的关键点位置进行标注，并把这1000套分隔成800套训练数据、100套验证数据、100套测试数据的数据集。训练数据集用于训练整个网络；验证数据集为了方便调整神经网络的超参数，在训练过程验证整个网络的准确性，且在训练过程中会被不断使用；测试数据集用于最终验证整个网络的准确性，在训练过程中不会被使用，只用于确认最终的网络准确性；

步骤2：对所有数据进行预处理操作，具体为首先对数据进行重采样操作，把ct数据3个维度的层间距都设为1mm，然后对数据进行归一化。由于3dct影像数据的深度学习运算对计算力的需求很大，因此通过对3dct影像的2.5d数据结构采样，大大减少其对计算力的依赖。然后，对于所有的三维关键点通过建立主成分分析模型，以限制三维关键点之间的空间解剖结构。

其中，所述步骤2包括如下步骤：

步骤2.1：由于数据集是收集的，所以存在ct影像数据间的层间距不同，通过采用重采样的方法把ct影像数据3个维度的层间距都改成1mm。并且为了数据处理的方便和程序运行时加快收敛，对数据进行了归一化操作。所述归一化初始是对数据进行统计后，得出最大值max和最小值min，让影像数据的ct值等于(原始ct值-min)/(max-min)。

步骤2.2：由于3dct影像数据的深度学习运算对计算力的需求很大，目前硬件没有足够的显存能支撑一整个ct影像数据的运算，因此采用了围绕关键点的冠状面、矢状面和横断面构成的2.5d数据结构对3dct影像数据进行采样，大大减少深度卷积神经网络模型对计算力的依赖。

步骤2.3：以x＝(x1,y1,z1,…,xnl,ynl,znl)^t表示所有nl个三维关键点，对于一组训练数据x,对其使用主成分分析模型把x变换到更低的维度空间。其中原始空间和降维后的空间之间的变换可以表示为

其中是整个训练集的均值，b是一个nb个元素的向量，其中nb＜3nl,矩阵w的列为nb个特征向量，矩阵w表示神经网络中的权重，nb表示数据三位关键点的总数，下标b表示一个临时变量。

步骤3：本发明中设计的椎弓根植钉通道关键点位置识别网络，为7层的深度卷积神经网络，后接回归任务和分类任务两个分支。通过多任务学习分别计算当前初始化点到目标点的距离和方向。并且本发明采用了迭代逼近的方法，初始化采样点后提取2.5d数据后输入网络，根据制定的更新规则迭代预测直到没有显著地改变后停止，作为最后的预测。

其中，所述步骤3包括如下步骤：

步骤3.1：本发明中设计的椎弓根植钉通道关键点位置识别网络，为7层的深度卷积神经网络，每一层后接relu激活函数和max-pooling层，这些网络层被后面的任务分支所共享，每个任务分支各由3层全连接层构成负责学习特定的任务。回归任务分支负责估算当前初始化点到目标关键点的距离，分类任务分支负责估算当前初始化点到目标关键点的方向。特别地，我们把方向分为6个离散方向：沿着各个坐标轴的正负方向，用c表示分类的标签，其中用p表示分类任务的输出，p为6个元素的向量分别表示在各个方向的移动的概率，其中

步骤3.2:对于一个ct影像数据v和它的标注关键点x^gt，一个训练的采样可以表示为(i(v,x,s),d^gt,p^gt),其中x是一个从ct影像v中随机采样的位置点，i(v,x,s)是对应的2.5d数据结构，则移动到标注关键点的位移向量可以表示为d^gt＝x^gt-x。因此这个深度卷积神经网络的损失函数可以表示为：

其中，第一项为回归任务的欧式距离损失，第二项为分类任务的交叉熵损失，α是用来调节两者比重的参数，nbatch表示一个batch中训练样本的个数，dn和分别表示对于第n个样本网络输出的对于回归和分类任务的预测。

步骤3.3:本发明采用了迭代逼近的方法，对于一个ct影像数据，在其中初始化19个随机的采样点，对于每一个采样点提取围绕这个采样点的2.5d数据结构输入到上述的深度卷积网络中，根据其输出的结果和特定的更新规则移动采样点，重新输入网络中预测，依此迭代直到没有显著地改变后停止，对19个采样点最后的位置求平均值作为最后的预测。

步骤4:在tensorflow上搭建上述的网络模型，并进行训练调参。实验硬件：本实验采用了配置为英伟达teslatitanxpgpu,显存为12gb,英特尔i7-7700cpu，64gb内存的工作站。实验软件：操作系统为乌班图16.04lts64位版，深度学习库为tensorflow1.8.0版本，加速工具使用了英伟达的cuda9.0和cudnn7.1。在测试集上测得该模型误差的均值为2.2mm，误差的标准差为1.1mm。模型的部署采用以docker为容器的微服务云端部署框架，配合影像工作站的客户端，可以实现对椎弓根植钉通道的自动规划。医生植钉规划时，本发明能给出精确的参考建议，使得植钉规划更精准更高效，配合植钉手术机器人，可以大幅提升椎弓根植钉手术的自动化程度。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。