一种基于三维影像的脊柱分割方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于三维影像的脊柱分割方法。


背景技术：

2.目前常见医疗影像分割主要采用传统算法来完成，例如阈值法、区域增长法等。传统算法对特征设计要求比较高，算法建模难度比较大，且算法模型鲁棒性差，算法耗时也较长。
3.在医疗脊柱手术机器人上，为了准确完成对脊柱术中穿刺导航，要求准确分割出各节脊柱所在区域，而且要求每节脊柱具备不同的实例信息，因此需要对人体脊柱进行3d分割，但是存在以下困难：
4.(1)医疗影像较复杂，各节脊柱间边界不清晰，各节脊柱之间相对相似，对检测所受干扰性比较大；
5.(2)各节脊柱3d分割时要求边界严格分开，不能存在重叠现象，对分割精度要求较高；
6.(3)要求各节脊柱满足准确分类信息，由于各节脊柱相似，对分类难度较大。


技术实现要素：

7.发明目的：本发明针对上述不足，提出一种基于三维影像的脊柱分割方法，可以大大提高分割效率和分割准确度。
8.技术方案：
9.一种基于三维影像的脊柱分割方法，包括步骤：
10.获取包含脊柱的正侧位数字重建放射影像；
11.对所述正侧位数字重建放射影像进行分割得到各节脊柱区域图像与非脊柱区域图像；
12.获取所述各节脊柱区域图像中脊柱的最小外接矩形，并根据其中心点得到三维影像中各节脊柱的空间关键点；
13.以所述各节脊柱的空间关键点作为中心，以设定柱状体形式对三维影像沿脊柱高度方向进行分段切割得到各节脊柱分段切片图像；
14.将各节脊柱分段切片图像进行拼接得到三维影像中脊柱的分割结果。
15.所述获取所述各节脊柱区域图像中脊柱的最小外接矩形具体为：
16.根据分割得到正侧位数字重建放射影像中所述各节脊柱区域图像的各像素点的坐标，以该节脊柱的像素点在对应影像的二维坐标系的两个坐标轴中的最大坐标差值作为最小外接矩形的长与宽，据此得到各节脊柱区域图像中脊柱的最小外接矩形。
17.根据所述最小外接矩形的中心点基于最小二乘法计算得到三维影像中各节脊柱的空间关键点。
18.根据分割得到正侧位数字重建放射影像中所述各节脊柱区域图像的各像素点的
坐标包括以下步骤：
19.根据各节脊柱区域图像与非脊柱区域图像的像素级别进行像素分割，并对像素分割得到的各节脊柱区域图像作二值化掩膜处理，得到各节脊柱区域图像的像素矩阵，得到各节脊柱区域图像的各像素点的坐标。
20.对所述正侧位数字重建放射影像进行分割采用的是2d神经网络模型，通过若干2d脊柱图像进行训练得到。
21.所述设定柱状体为长方体，所述长方体的长、宽、高方向分别对应人体左右、前后和高度方向，且均大于各节脊柱中在对应方向的最大尺寸。
22.在对三维影像沿脊柱高度方向进行分段切割后，对得到各节脊柱分段切片图像进行二值化处理得到单节脊柱切片图像的3d掩膜，以得到的单节脊柱切片图像的3d掩膜进行拼接得到三维影像中脊柱的分割结果。
23.对三维影像分割得到的各节脊柱分段切片图像采用3d分割模型，所述3d分割模型采用3d脊柱图像中标注各节脊柱作为样本进行训练。
24.所述获取包含脊柱的正侧位数字重建放射影像采用如下方式：
25.通过输入的包含脊柱的三维影像生成正侧位数字重建放射影像，或者直接输入包含脊柱的正侧位数字重建放射影像。
26.有益效果：
27.(1)本发明采用多模态输入，包括2d数字重建放射影像(drr影像)与3d影像的切片图像，使得最终结果准确度更高。其中，以2d数字重建放射影像为输入，通过检测各节脊柱正侧位数字影像重建影像的中心点以及各节脊柱的外轮廓，具备较高定位与分割准确度以及较强鲁棒性；以3d影像的切片图像为输入，通过对3d影像的切片图像上各节脊柱进行语义分割，具备较高定位与分割准确度以及较强鲁棒性；
28.(2)本发明结合2d数字重建放射影像为输入，预测耗时大大减小，在相同硬件配置上，算法推理速度更快。
附图说明
29.图1为本发明的流程图；
30.图2为三维影像示意图；
31.图3为正位数字重建放射影像示意图；
32.图4为侧位数字重建放射影像示意图；
33.图5为对正侧位数字重建放射影像进行分割的示意图；
34.图6为得到各节脊柱空间关键点的示意图；
35.图7为三维影像各切片图像的示意图；
36.图8为三维影像各切片图像生成掩膜的示意图；
37.图9为最终得到的脊柱三维分割结果图。
具体实施方式
38.下面结合附图和具体实施例，进一步阐明本发明。
39.本发明基于三维影像的脊柱分割方法如图1所示，包括步骤：
40.(1)获取包含脊柱的正侧位数字重建放射影像；
41.本发明中，可以通过输入的包含脊柱的三维影像生成正侧位数字重建放射影像，输入的三维影像为原始临床包含脊柱的ct切片dicom数据，如图2所示，那么根据ct切片dicom数据特征可以模拟drr过程自动生成正侧位ct drr影像；
42.在本发明中，还可以直接输入经过前述得到的正侧位数字重建放射影像；
43.(2)对步骤(1)得到的正侧位数字重建放射影像进行分割得到各节脊柱区域图像与非脊柱区域图像；
44.本发明中，通过预先训练得到的2d分割模型对正侧位数字重建放射影像进行分割，预先训练得到的2d分割模型采用神经网络模型，通过若干2d脊柱图像中标注各节脊柱作为样本进行训练得到；采用的神经网络可以选择2d卷积神经网络；本发明中，2d分割模型可以很大程度上提高关键点检测准确性与预测速度，增加算法落地可行性；
45.(3)利用softmax函数对各节脊柱区域图像与非脊柱区域图像的像素级别做二分类以进行各节脊柱区域图像与非脊柱区域图像的像素分割，并对分割得到的各节脊柱区域作二值化掩膜处理，得到各节脊柱区域的像素矩阵；
46.(4)根据步骤(3)得到的各节脊柱区域的像素矩阵计算得到在正侧位数字重建放射影像中各节脊柱区域中各像素点的坐标，以其中各节脊柱区域的像素点在对应数字重建放射影像的二维坐标系的两个坐标轴中的最大坐标差值作为该节脊柱的最小外接矩形的长与宽；以该最小外接矩形对患者正侧数字重建放射影像中该节脊柱区域进行框选；如图3、4所示；
47.(5)以各节脊柱区域的最小外接矩形的中心点作为正侧位数字重建放射影像中对应的各节脊柱区域的中心点，如图5所示，例如某一节脊柱的中心点a点所示，分别可以检测到其正位的中心点a1(x,y)与侧位的中心点a2(z,y)；
48.根据得到的中心点基于最小二乘法计算得到三维影像切片图像中各节脊柱的空间位置，如图6所示，即得到对应的各节脊柱的空间关键点；
49.(6)以步骤(5)得到的三维影像切片图像中各节脊柱的空间关键点作为中心，在三维影像切片图像上以一设定长方体为单位沿脊柱高度延伸方向进行分段切割，得到各节脊柱分段切片图像，如7所示；
50.其中，设定长方体的长、宽、高方向分别对应人体左右、前后和高度方向，且均大于各节脊柱中在对应方向的最大尺寸；以设定长方体进行分段切割，除了目标脊柱在切割范围内，可能还会有其他节脊柱也在切割范围内；
51.(7)通过预先训练的3d分割模型对步骤(6)得到的各节脊柱分段切片图像进行分割并进行二值化处理得到单节脊柱切片图像的3d掩膜，如图8所示；
52.本发明中，3d分割模型可以对单节脊柱进行分割，采用3d脊柱图像中标注各节脊柱作为样本进行训练，可以消除其中其他节脊柱影像或杂质的干扰，具备更高准确度与鲁棒性；
53.为了3d分割模型的预测效果，本发明采用主流的几个评价指标，分别是dice相似性系数dsc(dice similarity coefficient)、正确率accuracy和召回率recall；
54.设a、b分别代表真值和语义分割模型的推理结果，那么这几个评价标准公式如下：
[0055][0056][0057][0058]
dice相似性系数dsc、正确率accuracy和召回率recall取值在[0,1]之间，dice相似性系数dsc越高，代表着分割效果越好；召回率recall反映分割出的正样本情况，召回率recall越高，代表分割目标正确数越多；正确率accuracy越高，代表分割目标正确所占比重就越多；
[0059]
(8)对步骤(7)得到的单节脊柱切片图像的3d掩膜进行拼接，得到3d切片图像的脊柱分割结果，也即得到三维影像中脊柱的3d分割掩膜结果。
[0060]
本发明采用多模态输入，包括2d数字重建放射影像(drr影像)与3d影像的切片图像，结合2d数字重建放射影像为输入，预测耗时大大减小，在相同硬件配置上，算法推理速度更快，最终结果准确度更高。
[0061]
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。