一种基于深度学习的骶骨三维模型匹配方法和装置

1.本技术涉及医学图像处理、深度学习技术领域，具体而言，涉及一种基于深度学习的骶骨三维模型匹配方法和装置。


背景技术：

2.骨盆带是由骶骨、尾骨、髂骨、坐骨和耻骨组成。其中，骶骨呈三角状，位于腰椎底部，形成骨盆腔的后面。骶骨作为骨盆传递应力的重要结构，发生骨盆脆性骨折的概率非常高。骶骨脆性骨折通常采用经皮骶髂螺钉治疗，这项技术已被证明是有效和安全的，研究报道螺钉错位率不到3％。然而在骨质疏松的老年患者中，高达14％的老年患者出现骶髂螺钉松动的问题。这是由于在骨质疏松的骶骨置入骶髂螺钉后松质骨把持力欠佳，导致螺钉松动、错位。因此，骶髂螺钉植入位置需因人而异。
3.通常在术前准备阶段对患者的骨盆部位进行ct扫描，获取包含骶骨部位的患者三维立体模型，医者将标准骶骨三维立体模型和患者三维立体模型进行对照来判断植入骶髂螺钉的位置。但是由于骶骨骨折患者的年龄、身体特征、身体素质和生活习惯等不同使得患者骶骨的大小、高度和骨质密度等不同，进而导致标准骶骨三维立体模型与患者三维立体模型之间的差异比较大，因此医者对两者进行对照时存在一定困难，进而影响对骶髂螺钉植入位置的判断。


技术实现要素：

4.为了解决由于标准骶骨三维立体模型与患者三维立体模型之间的差异比较大，对两者进行对照时存在一定困难，进而影响判断骶髂螺钉植入位置的问题，本技术提供了一种基于深度学习的骶骨三维模型匹配方法和装置。
5.本技术的实施例是这样实现的：
6.本技术实施例提供一种基于深度学习的骶骨三维模型匹配方法，包括：
7.获取包括正常骶骨的ct图像，通过深度学习神经网络对所述ct图像进行三维重建，生成代表正常骶骨三维模型的三维点云模型，所述三维点云模型用于表征包括所述正常骶骨的高度和骨质密度的信息；
8.获取所述正常骶骨的特征部位，利用深度学习神经网络从所述特征部位中选取对应的特征点，所述特征部位用于表征所述正常骶骨的组成结构；
9.根据所述特征点，对三维点云模型与标识有待测特征点的待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，所述待测三维模型为通过患者骶骨的ct图像所生成的三维点云模型，所述待测特征点与所述特征点对应，所述叠加图像用于表征所述待测三维模型与所述三维点云模型之间的区别。
10.在一些实施例中，所述深度学习神经网络包括编码器网络、全连接层、解码器网络和像素分类层，通过深度学习神经网络对所述ct图像进行三维重建，生成代表正常骶骨三维模型的三维点云模型，进一步包括：
11.基于所述ct图像，利用所述编码器网络的卷积生成一组特征图后，将所述特征图输入到所述全连接层；
12.通过所述全连接层将包含骶骨位置信息的特征加入到所述特征图中后，将所述特征图输入解码器网络；
13.通过所述解码器网络对所述特征图进行采样生成稀疏特征图，所述稀疏特征图用于通过卷积生成密集特征图，所述所述密集特征图用于输入到所述像素分类层；
14.通过像素分类层预测所述密集特征图中每个像素概率对应的最大的类别，所述类别包括骶骨和除骶骨之外的其它部位；
15.基于所述类别对所述ct图像进行语义分割，得到二维数组，所述二维数组用于表征所述ct图像中每个像素点的灰度值，其中组成骶骨的像素点的灰度值为255，组成所述其它部分的像素点的灰度值为0；
16.堆叠所述二维数组生成代表骶骨三维模型的三维点云模型，所述二维数组包括所述ct图像中的层位置、图像高度和像素密度信息，所述图像高度与所述高度对应，所述像素密度信息与所述骨质密度信息对应。
17.在一些实施例中，在所述通过像素分类层预测所述密集特征图中每个像素概率对应的最大的类别之后，所述方法还包括：
18.设置训练所述深度学习神经网络的优化学习速率、初始动量、模型损失函数和优化器类型，其中所述优化器设置为adam、所述模型损失函数设置为交叉熵损失函数；
19.按照所述最大的类别对所述ct图像进行标记，利用第一训练集对所述深度学习神经网络进行训练以对所述特征部位的所属类别进行验证，所述标记后的ct图像为第一数据集，所述第一数据集包括第一训练集和第一测试集。
20.在一些实施例中，所述获取所述正常骶骨的特征部位，进一步包括：
21.对所述正常骶骨进行分类，获取所述正常骶骨的特征部位；
22.其中，所述正常骶骨的特征部位包括：骶骨上终板、骶孔、椎管、骶骨翼外侧关节面、棘突中线上顶点和棘突中线下顶点。
23.在一些实施例中，所述利用深度学习神经网络从所述特征部位中选取对应的特征点，进一步包括：
24.将所述特征部位的三维点云数据输入深度学习神经网络，得到预设行的二维数组，所述深度学习神经网络用于对所述三维点云数据进行输入变换和特征变换，所述预设行与所述特征部位的数量对应；
25.利用分类函数对每行所述二维数组进行分析，得到每行所述二维数组中最大概率，所述最大概率对应的点云即为所述特征点。
26.在一些实施例中，所述利用深度学习网络从所述特征部位中选取对应的特征点之后，所述方法进一步包括：
27.设置训练所述深度学习神经网络的优化学习速率、初始动量、模型损失函数和优化器类型，其中所述优化器设置为adam、所述模型损失函数设置为交叉熵损失函数；
28.按照所述特征部位对所述三维点云数据标记，利用第二训练集对所述深度学习神经网络进行训练，以对所述特征点的所属类别进行验证，其中，所述标记后的三维点云数据作为第二数据集，所述第二数据集包括第二训练集和第二测试集。
29.在一些实施例中，所述根据所述特征点，对三维点云模型与标识有待测特征点的待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，进一步包括：
30.根据所述特征点确定缩放比例，按照所述缩放比例对所述待测三维模型进行缩放，直至所述三维点云模型中第一连线与所述待测三维模型中第二连线重合，得到缩放后的待测三维模型，所述第一连线为所述三维点云模型中第一特征点和第二特征点之间的连线，所述第二连线为所述待测三维模型中对应的第一待测特征点和第二待测特征点之间的连线；
31.对所述三维点云模型中的第一平面与缩放后的待测三维模型中的第二平面进行面面匹配，所述第一平面由所述第一连线和第三特征点构成，所述第二平面由所述第二连线和对应的第三待测特征点构成；
32.获取所述第三待测特征点、第四待测特征点、第五待测特征点和第六待测特征点的标准点，所述标准点等于每个所述待测三维模型中对应特征点矩阵相加之和与待测三维模型数目之间的商值；
33.基于所述标准点，将所述三维点云模型和所述待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像。
34.在一些实施例中，基于所述特征点，根据所述特征点确定缩放比例，按照所述缩放比例对所述待测三维模型进行缩放，直至所述三维点云模型中第一连线与所述待测三维模型中第二连线重合，进一步包括：
35.计算所述三维点云模型中任意两个特征点的第一连线对应的第一长度，所述第一长度用第一矩阵表示；
36.计算所述待测三维模型中对应两个特征点的第二连线对应的的第二长度，所述第二长度用第二矩阵表示；
37.基于所述第一矩阵和第二矩阵计算缩放比例；
38.基于所述缩放比例对所述待测三维模型进行调整，使所述第二连线与所述第一连线重合。
39.在一些实施例中，基于所述标准点，将所述三维点云模型和所述待测三维模型进行叠加，进一步包括：
40.将所述第四待测特征点、第五待测特征点和第六待测特征点所对应的标准点组成3*3特征矩阵；
41.将所述3*3特征矩阵转换为4*4齐次坐标矩阵；
42.将每个所述待测三维模型的4*4齐次坐标矩阵相加后求均值，得到变换矩阵；
43.基于所述变换矩阵，对所述待测三维模型和所述三维点云模型进行叠加。
44.本技术实施例还提供一种基于深度学习的骶骨三维模型匹配装置，包括：
45.生成模块，用于获取包括正常骶骨的ct图像，通过深度学习神经网络对所述ct图像进行三维重建，生成代表正常骶骨三维模型的三维点云模型，所述三维点云模型用于表征包括所述正常骶骨的高度和骨质密度的信息；
46.选取模块，用于获取所述正常骶骨的特征部位，利用深度学习神经网络从所述特征部位中选取对应的特征点，所述特征部位用于表征所述正常骶骨的组成结构；
47.叠加模块，用于根据所述特征点，对三维点云模型与标识有待测特征点的待测三
维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，所述待测三维模型为通过患者骶骨的ct图像所生成的三维点云模型，所述待测特征点与所述特征点对应，所述叠加图像用于表征所述待测三维模型与所述三维点云模型之间的区别。
48.本技术的有益效果：通过构建正常骶骨的三维点云模型，可实现直观地对正常骶骨的高度和骨质密度进行表征；进一步通过利用深度学习神经网络从骶骨的特征部位中选取对应的特征点，方便后续进行特征点匹配；进一步根据所述特征点，对三维点云模型与标识有待测特征点的待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，通过叠加图像直观表现出正常骶骨与患者骶骨之间的区别，医者基于该区别能够更容易地确定骶髂螺钉的植入位置。
附图说明
49.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
50.图1为根据本技术一个或多个实施例的基于深度学习的骶骨三维模型匹配方法的流程图；
51.图2为根据本技术一个或多个实施例的正常骶骨各特征部位的分布图；
52.图3为根据本技术一个或多个实施例的三维点云模型与待测三维模型的叠加图像示意图；
53.图4为根据本技术一个或多个实施例的一种基于深度学习的骶骨三维模型匹配装置的框图。
具体实施方式
54.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
55.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
56.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
57.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
58.术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
59.如图1所示，本技术实施例提供了一种基于深度学习的骶骨三维模型匹配方法的流程图，本技术基于深度学习的骶骨三维模型匹配方法包括以下步骤：
60.步骤110，获取包括正常骶骨的ct图像，通过深度学习神经网络对ct图像进行三维重建，生成代表正常骶骨三维模型的三维点云模型，三维点云模型用于表征包括正常骶骨的高度和骨质密度的信息。
61.在一些实施例中，通过64排或128排螺旋ct机对骨盆薄层ct扫描获得临床ct图像，将ct图像dicom格式文件中包含的病人隐私信息抹去，保护病人隐私，并将已经抹去病人隐私信息的文件转换为jpg格式文件。
62.骶骨的高度因人的身高不同而不同、骶骨的骨质密度因人的年龄不同而不同，通过三维点云模型中的点云密度参数用来表征骨质密度。
63.在一些实施例中，深度学习神经网络包括编码器网络、全连接层、解码器网络和像素分类层。
64.其中，编码器网络由13个卷积层构成，每个卷积层对应一个解码器卷积层，因此解码器网络由13个卷积层构成。编码器网络与解码器网络之间为全连接层，全连接层的主要功能是将ct图像中骶骨部分的位置信息加入图像之中，像素分类层由softmax分类函数构成。
65.ct图像一般能拍摄到骶骨和骶骨周围的软骨、滑膜等。三维点云模型仅包含骶骨三维模型，因此需要先对整体三维点云模型进行语义分割，分割为骶骨和除骶骨之外的部位(如软骨、滑膜等)，然后再从三维点云模型中选取出仅包括骶骨的三维点云模型，具体通过以下步骤实现：
66.步骤111：基于ct图像，利用编码器网络的卷积生成一组特征图，通过批量归一化、激活函数(relu)和最大值池化，将输出按2的倍数向下采样。然后将特征图输入到全连接层。
67.步骤112：通过全连接层将包含骶骨位置信息的特征加入到特征图中后，将特征图输入解码器网络。
68.步骤113：通过解码器网络对特征图进行采样生成稀疏特征图，稀疏特征图用于通过卷积生成密集特征图，密集特征图用于输入到像素分类层。
69.其中，通过解码器网络对特征图进行采样时，以解码器网络中解码器使用相应编码器中存储的最大值池化作为索引进行采样，解码器网络生成的特征图与相应编码器输入具有相同数量的大小和通道。
70.步骤114：通过像素分类层预测密集特征图中每个像素概率对应的最大的类别，类别包括骶骨和除骶骨之外的其它部位；
71.步骤115：基于类别对ct图像进行语义分割，得到二维数组，二维数组用于表征ct图像中每个像素点的灰度值，其中组成骶骨的像素点的灰度值为255，组成其它部分的像素点的灰度值为0；
72.步骤116：堆叠二维数组生成代表骶骨三维模型的三维点云模型，二维数组包括ct图像中的层位置、图像高度和像素密度信息，图像高度与正常骶骨的高度对应，像素密度信息与骨质密度信息对应。三维点云模型采用stl格式。
73.在步骤114之后，还包括以下步骤：
74.设置训练深度学习神经网络的优化学习速率、初始动量、模型损失函数和优化器类型，其中优化器设置为adam、模型损失函数设置为交叉熵损失函数；
75.按照最大的类别对ct图像进行标记，利用第一训练集对深度学习神经网络进行训练以对特征部位的所属类别进行验证，标记后的ct图像为第一数据集，第一数据集包括第一训练集和第一测试集，其中80％为第一训练集，20％为第一测试集。
76.如验证结果与步骤114所取得的结果一致，则继续进行步骤115；若验证结果与步骤114所取得的的结果不一致，则进行步骤111。
77.步骤120，获取正常骶骨的特征部位，利用深度学习神经网络从特征部位中选取对应的特征点，特征部位用于表征正常骶骨的组成结构，通过以下步骤实现：
78.步骤121，对正常骶骨进行分类，获取正常骶骨的特征部位，利用特征部位对三维点云模型进行标记。
79.其中，正常骶骨的特征部位包括：棘突中线上顶点、骶骨翼外侧关节面、棘突中线下顶点、椎管、骶骨上终板和骶孔。在本实施例中，将骶骨分为了6个特征部位。如图2所示，为正常骶骨特征部位分布图，图中各标记部位依次为：棘突中线上顶点、骶骨翼外侧关节面、棘突中线下顶点、椎管、骶骨上终板和骶孔。
80.步骤122，将特征部位的三维点云数据输入深度学习神经网络，得到预设行的二维数组，深度学习神经网络用于对三维点云数据进行输入变换和特征变换，预设行与特征部位的数量对应。
81.其中，输入变换是通过t-net网络对三维点云数据进行变换，得到三维变换矩阵，然后再利用三维变换矩阵对三维点云数据进行方向校正变换。
82.特征变换包含两层mlp网络，第一层mlp输出n
×
64的二维数组，第二层mlp输出n
×
1024的二维数组，最大池化maxpool输出1
×
1024的全局特征数组。
83.将n
×
64的二维数组与1
×
1024的全局特征数组进行连接(将1
×
1024的全局特征数组复制为n
×
1024二维数组后进行连接)，得到n
×
1088的二维数组。
84.步骤123，通过mlp输出n
×
6的二维数组，利用分类函数(如softmax函数)对每行二维数组进行分析，得到每行二维数组中最大概率，最大概率对应的点云即为特征点，实现了在每个特征部位中确定一个对应的特征点的目的。
85.在步骤123之后，还需对特征点的所属分类进行验证，通过以下步骤实现：
86.设置训练深度学习神经网络的优化学习速率、初始动量、模型损失函数和优化器类型，其中优化器设置为adam、模型损失函数设置为交叉熵损失函数；
87.按照特征部位对三维点云数据标记，将三维点云数据按照特征部位进行标记为：骶骨上终板、骶孔、椎管、骶骨翼外侧关节面、棘突中线上顶点和棘突中线下顶点。
88.利用第二训练集对深度学习神经网络进行训练，以对特征点的所属类别进行验证，其中，标记后的三维点云数据作为第二数据集，第二数据集包括第二训练集和第二测试集，第二训练集和第二测试集的数量比为8:2。
89.步骤130，根据特征点，对三维点云模型与标识有待测特征点的待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，待测三维模型为通过待测骶骨的ct图像所生成的三维点云模型，待测特征点与特征点对应，叠加图像用于表征待测三维模型与三维点云模型之间的区别。
90.待测三维模型是基于包括患者骶骨的ct图像获取的，获取待测三维模型的方法与获取三维点云模型的方法相同。对正常骶骨进行语义分割获得6种特征部位，因此采用同样的方法对患者骶骨进行语义分割获得6种特征部位，再在患者的每个特征部位中确定待测特征点的过程也与基于正常骶骨的特征部位确定特征点的过程相同，在此不再赘述。
91.在一些实施例中，对特征点和待测特征点分别进行编号，同编号的点所属的特征部位对应。
92.根据特征点，对三维点云模型与标识有待测特征点的待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，通过以下步骤实现：
93.步骤131，根据特征点确定缩放比例，按照缩放比例对待测三维模型进行缩放，直至三维点云模型中第一连线与待测三维模型中第二连线重合，得到缩放后的待测三维模型，第一连线为三维点云模型中第一特征点和第二特征点之间的连线，第二连线为待测三维模型中对应的第一待测特征点和第二待测特征点之间的连线。
94.缩放比例表示为d
t
/ds，其中d
t
为二维矩阵，表示待测三维模型中第二连线的长度，t表示待测三维模型的样本个数，ds也为二维矩阵，表示三维点云模型中第一连线的长度。
95.步骤132，对三维点云模型中的第一平面与缩放后的待测三维模型中的第二平面进行面面匹配，第一平面由第一连线和第三特征点构成，第二平面由第二连线和对应的第三待测特征点构成。
96.进行面面匹配时，忽略骶骨三维模型的位置、尺寸等信息，只保留拓扑信息。
97.步骤133，获取第三待测特征点、第四待测特征点、第五待测特征点和第六待测特征点的标准点，标准点等于每个待测三维模型中对应特征点矩阵相加之和与待测三维模型数目之间的商值；
98.令第三特征点为三维矩阵p
3_t
，将每个待测三维模型中的第三待测特征点三维矩阵相加后再求均值，即得到第三特征点的标准点，表示为
99.以相同方法计算第四待测特征点、第五待测特征点和第六待测特征点的标准点。
100.步骤134，基于标准点，将三维点云模型和待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，通过以下步骤实现：
101.将第四待测特征点、第五待测特征点和第六待测特征点所对应的标准点组成3*3特征矩阵，3*3特征矩阵表示为mf；
102.将3*3特征矩阵mf转换为4*4齐次坐标矩阵，4*4齐次坐标矩阵表示为m
f_h
；
103.将每个待测三维模型的4*4齐次坐标矩阵m
f_h
相加后求均值，得到变换矩阵
104.基于变换矩阵对待测三维模型和三维点云模型进行叠加。如图3所示，为三维点云模型与待测三维模型的叠加图像。
105.图3中第一行为患者1的待测三维模型，第二行为正常骶骨的三维点云模型，第三行为三维点云模型与待测三维模型的叠加图像；图3中第四行为患者2的待测三维模型，第五行为正常骶骨的三维点云模型，第六行为三维点云模型与待测三维模型的叠加图像。
106.从图3中可以看出第一行和第三行的待测三维模型表现出的骶骨的大小不同，但是通过本技术方法可以将这两个患者骶骨模型与正常骶骨的三维点云模型进行拟合叠加，
分别获得叠加图像，通过叠加图像上的色彩或者灰度直观表现出了患者骶骨与正常骶骨之间的区别，进而医者根据该区别判断骶髂螺钉的植入位置。
107.通过构建正常骶骨的三维点云模型，可实现直观地对正常骶骨的高度和骨质密度进行表征；进一步通过利用深度学习神经网络从骶骨的特征部位中选取对应的特征点，方便后续进行特征点匹配；进一步根据特征点，对三维点云模型与标识有待测特征点的待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，通过叠加图像直观表现出正常骶骨与患者骶骨之间的区别，医者基于该区别能够更容易地确定骶髂螺钉的植入位置。
108.在一些实施例中，图4示出了一种基于深度学习的骶骨三维模型匹配装置的框图，如图4所示，一种基于深度学习的骶骨三维模型匹配装置，包括生成模块401、选取模块401和叠加模块403。
109.其中，生成模块401，用于获取包括正常骶骨的ct图像，通过深度学习神经网络对ct图像进行三维重建，生成代表正常骶骨三维模型的三维点云模型，三维点云模型用于表征包括正常骶骨的高度和骨质密度的信息；
110.选取模块402，用于获取正常骶骨的特征部位，利用深度学习神经网络从特征部位中选取对应的特征点，特征部位用于表征正常骶骨的组成结构；
111.叠加模块403，用于根据特征点，对三维点云模型与标识有待测特征点的待测三维模型进行叠加，得到三维点云模型与待测三维模型的叠加图像，待测三维模型为通过患者骶骨的ct图像所生成的三维点云模型，待测特征点与特征点对应，叠加图像用于表征待测三维模型与三维点云模型之间的区别。
112.上述基于深度学习的骶骨三维模型匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
113.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域医疗人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。