一种CT影像中骨骼解剖点的检测方法、装置及相关设备与流程

本发明涉及医学图像处理领域，具体涉及一种ct影像中骨骼解剖点的检测方法、装置及相关设备。

背景技术：

1、骨骼解剖点是基于ct中骨骼上的有医学意义的关键点的描述，针对ct中骨骼解剖点的检测，需要处理的是3d数据，相应的现有技术方案使用的方法均是由3d卷积层组成的神经网络（例如专利：cn202110827759.7），但是这种方式存在运算量大的缺点，且对硬件有更高的要求；另一方面，使用概率热力图回归的方法，将单个特征点转化为小球区域，意味着在ct范围内比较大的空间内，只有一小部分有效数据，显然造成了一定程度的信息浪费。针对这个问题，可以使用二阶段检测网络，首先粗略检测出所有关键点区域位置，裁剪得到对应的patch，再送入第二网络进行细粒度的检测，在一定程度上可以解决上述问题，但依然存在无法利用全局信息的问题，二阶段只能利用关键点区域局部特征。为了节省运算资源，有专利提出首先将ct模拟生成正位和侧位的x光影像（例如专利：cn116630427b），使用2d关键点检测神经网络进行预测（例如专利：cn202311200830.4），一定程度上解决了资源问题，但直接将ct投影生成两张x光影像的操作，明显存在很大的信息损失，且由于特征点空间位置的交错，可能存在在2d投影上的交叉重叠，从而引入新的问题，对检测精度有一定的影响。

2、因此亟需一种快速高效的在ct中检测关键点的方法，即可以节省资源，又可以利用全局信息，还能够有更高的检测精度。

技术实现思路

1、本发明的目的在于解决上述背景技术中描述的现有技术方案的缺点，提供一种ct影像中骨骼解剖点的检测方法、装置及相关设备，通过对3d骨骼解剖点空间位置使用2d位置表示，将3d骨骼解剖点检测任务实际转化为2d骨骼解剖点检测任务，可以使得检测网络具有更大的参数量，处理更大分辨率的数据输入，且在节省显存的基础上，也提升了运算效率。

2、本发明通过以下技术方案予以实现：第一方面，本发明提供了一种ct影像中骨骼解剖点的检测方法，包括以下步骤：

3、s101，获取ct影像；

4、s102，使用3d卷积神经网络编码器对ct影像提取特征，并对特征进行编码，获取信息压缩后的高维语义信息；

5、s103，使用特征投影模块对所得编码特征图进行降维投影，可得ap投影编码特征图和rl投影编码特征图；

6、其中，ap投影为沿y轴投影，rl投影为沿x轴投影；

7、s104，使用2d卷积神经网络解码器分别对ap投影编码特征图和rl投影编码特征图进行处理，输出n个骨骼解剖点区域的概率热力图；

8、s105，使用坐标量化策略获取ap投影骨骼解剖点坐标和rl投影骨骼解剖点坐标，组合可得骨骼解剖点的3d坐标，其中3d坐标中的z值取ap投影和rl投影z值的均值。

9、进一步地，s102中所述3d卷积神经网络编码器采用不对称的u-net结构，记为l-net，输入为ct影像，输出为m个通道的原始ct影像的n倍降采样的编码特征图，即输入ct尺寸为[1，x，y，z]，输出尺寸为[m，x/n，y/n，z/n]；其中，x，y，z分别为ct影像的长宽高。

10、进一步地，s103中所述特征投影模块由3d特征图通道扩张模块和3d-2d投影模块两部分组成。

11、其中，所述3d特征图通道扩张模块用于通过一个3d卷积模块对输入的3d编码特征图做通道的扩张；所述3d-2d投影模块用于通过自适应池化操作对3d特征图逐通道的生成对应的ap投影特征图和rl投影特征图。

12、进一步地，所述3d卷积模块由conv3d，instancenorm3d和relu组成。

13、其中，conv3d为3d卷积层，instancenorm3d为批归一化层，relu为激活函数。

14、进一步地，s104中所述2d卷积神经网络解码器的输入为2d投影编码特征图，即ap投影编码特征图和rl投影编码特征图，输出为n个骨骼解剖点对应的概率热力图。

15、其中，ap投影编码特征图和rl投影编码特征图分别对应1个2d-decoder模块，分别输出骨骼解剖点对应的ap投影位置和rl投影位置。

16、进一步地，所述2d卷积神经网络解码器由一系列上采样层和卷积模块构成，用于将降采样的特征图还原到原始分辨率。

17、其中，上采样层使用反卷积层和线性上采样中的一种。

18、进一步地，s105中所述坐标量化策略针对骨骼解剖点概率热力图，设定阈值通过处理后得到背景为0的骨骼解剖点区域的概率热力图，并提取骨骼解剖点坐标。

19、进一步地，骨骼解剖点坐标的提取方法为argmax法、平均法、期望法中的一种。其中，argmax法为选取概率值最大的点位置作为最终的骨骼解剖点位置；平均法为计算骨骼解剖点区域所有点坐标的平均值作为最终的骨骼解剖点位置；期望法为将骨骼解剖点位置坐标与其对应的概率值相乘后，求得加权平均位置坐标作为最终骨骼解剖点位置。

20、第二方面，本发明还提供一种ct影像中骨骼解剖点的检测装置，该装置包括：

21、获取模块，用于获取ct影像；

22、3d卷积神经网络编码器模块，用于使用3d卷积神经网络编码器对ct影像提取特征，并对特征进行编码，获取信息压缩后的高维语义信息；

23、特征投影模块，用于对所得编码特征图进行降维投影，可得ap投影编码特征图和rl投影编码特征图；其中，ap投影为沿y轴投影，rl投影为沿x轴投影；

24、其中，特征投影模块由3d特征图通道扩张模块和3d-2d投影模块两部分组成；所述3d特征图通道扩张模块用于通过一个3d卷积模块对输入的3d编码特征图做通道的扩张；所述3d-2d投影模块用于通过自适应池化操作对3d特征图逐通道的生成对应的ap投影特征图和rl投影特征图；

25、2d卷积神经网络解码器模块，用于使用2d卷积神经网络解码器分别对ap投影编码特征图和rl投影编码特征图进行处理，输出n个骨骼解剖点区域的概率热力图；

26、坐标量化策略模块，用于使用坐标量化策略获取ap投影骨骼解剖点坐标和rl投影骨骼解剖点坐标，组合可得骨骼解剖点的3d坐标，其中3d坐标中的z值取ap投影和rl投影z值的均值。

27、第三方面，本发明还提供一种ct影像中骨骼解剖点的检测设备，所述设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序指令，其中，所述处理器用于执行存储器中存储的计算机程序指令，以实现上述所述的ct影像中骨骼解剖点的检测方法。

28、第四方面，本发明还提供一种ct影像中骨骼解剖点的检测计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述所述的ct影像中骨骼解剖点的检测方法。

29、本发明提供了一种ct影像中骨骼解剖点的检测方法、装置及相关设备，通过对3d骨骼解剖点空间位置使用2d位置表示，将3d骨骼解剖点检测任务实际转化为2d骨骼解剖点检测任务，相应的3d运算操作也转变成2d运算操作，在节省显存的基础上，也提升了运算效率。同时本发明利用3d-2d投影模块，将3d编码器神经网络和2d解码器神经网络嵌入进同一流程，可以透明的进行端到端训练和推理，大大减小了显存占用，解决了运算瓶颈问题，可以帮助处理更大分辨率的ct数据，也可以在配置不高的机器上进行推理。