一种基于骨骼模板变形匹配的人体骨骼畸形测量方法

1.本发明涉及骨骼测量技术领域，具体是一种基于骨骼模板变形匹配的人体骨骼畸形测量方法。


背景技术：

2.在骨骼畸形诊疗中，医生需要在术前对骨骼进行精确语义分割与参数测量，根据畸形程度制定合适的手术方案，减少手术时间并降低术后并发症，骨骼外表面构成骨的外形结构，密度较高，骨骼内部区域质地松软，在骨骼手术术前规划中，医生需要考虑骨骼中各个语义区域的位置以及形状，需要将研究重点放在骨骼外表面的分割与提取上。测量骨骼中的诊疗参数，例如股骨前倾角与颈干角，首先需要提取骨骼语义区域，目前，骨骼各个语义的提取一般由医生根据自己的临床经验手工分割实现，这种方式自动化水平低且会存在个体差异，不能很好地满足骨骼术前规划的实际需求，如何准确提取骨骼语义成为难题。


技术实现要素：

3.本发明的目的在于提供一种基于骨骼模板变形匹配的人体骨骼畸形测量方法，以解决现有技术中由医生手工分割实现骨骼各个语义的提取的方式准确性低的问题。
4.为实现上述目的，本发明提供如下技术方案：
5.本发明提供了一种基于骨骼模板变形匹配的人体骨骼畸形测量方法，所述方法包括如下步骤：
6.构建骨骼模板，并预标注语义区域；
7.根据骨骼模板对神经网络进行训练；
8.获取目标骨骼；
9.利用训练好的神经网络将骨骼模板变形拟合至目标骨骼，得到变形后的骨骼模板；
10.将变形后的骨骼模板上预标注的语义区域映射至目标骨骼，得到目标骨骼的语义区域；
11.根据目标骨骼的语义区域提取骨骼轴线，测量骨骼参数。
12.进一步的，所述构建骨骼模板的方法包括：
13.由骨骼训练样本获得一系列形状向量v＝{x1，x2，...，xn}，所述骨骼训练样本包含n个人体正常骨骼样本，其中，v为骨骼训练样本中所有人体正常骨骼样本的形状向量，x1为第一个人体正常骨骼样本的形状向量，x2为第二个人体正常骨骼样本的形状向量，xn为第n个人体正常骨骼样本的形状向量；
14.将所有形状向量进行归一化其中，xi为对第i个人体正常骨骼样本的形状向量，u为所有人体正常骨骼样本的平均形状向量，d为所有人体正常骨骼样本的形状向量与平均形状向量之间的距离之和；
15.对归一化后的所有形状向量进行分析和降维，得到主成分矩阵u；
16.基于主成分矩阵u生成骨骼模板s＝u+uα，其中，s为骨骼模板，α为系数向量。
17.进一步的，所述根据骨骼模板对神经网络进行训练的方法包括：通过修改骨骼模板中的系数向量α，获得不同的骨骼模板，对每个骨骼模板预标注语义区域，将预标注有语义区域的骨骼模板作为神经网络的训练数据。
18.进一步的，所述获取目标骨骼的方法包括：利用mimics软件将病人骨骼样本的ct数据重建为三维骨骼模型，再利用三维建模软件3-matic将三维骨骼模型进行网格优化与重网格操作，得到目标骨骼。
19.进一步的，所述利用训练好的神经网络将骨骼模板变形拟合至目标骨骼，得到变形后的骨骼模板的方法包括：
20.获取骨骼模板和目标骨骼的所有拟合标志点，并构建骨骼模板与目标骨骼的所有拟合标志点之间的稀疏对应关系；
21.根据骨骼模板与目标骨骼的所有拟合标志点之间的稀疏对应关系，建立后验形状模型，并利用asm算法对骨骼模板进行变形拟合；
22.循环迭代执行上述操作若干次，将骨骼模板变形拟合至目标骨骼，得到变形后的骨骼模板。
23.进一步的，所述利用训练好的神经网络将骨骼模板变形拟合至目标骨骼之前还需要利用三维建模软件3-matic将骨骼模板与目标骨骼进行预配准。
24.进一步的，所述将变形后的骨骼模板上预标注的语义区域映射至目标骨骼，得到目标骨骼的语义区域的方法包括：
25.将目标骨骼中每个点的坐标记为aj＝(xj，yj，zj)，其中，j为1、2
……
m，从变形后的骨骼模板中找到距离目标骨骼中每个点最近的前k个点记为{m1，m2，...，mk}，其中，m1、m2和mk均为骨骼模板中一系列特征点的坐标的集合m中的元素，所述前k个点所对应的语义区域记为{label1，label2，...，labelk}；
26.统计计算{label1，label2，...，labelk}中出现次数最多的语义区域记为label，将label作为aj的语义区域，按照上述操作计算出目标骨骼中所有点的语义区域，即得到目标骨骼的语义区域。
27.进一步的，所述根据目标骨骼的语义区域提取骨骼轴线，测量骨骼参数的方法包括：
28.根据目标骨骼的语义区域提取骨骼轴线；
29.基于骨骼轴线确定基准面；
30.根据骨骼轴线和基准面测量角度。
31.与现有技术相比，本发明的有益效果是：
32.本发明提供的一种基于骨骼模板变形匹配的人体骨骼畸形测量方法，本发明得到的语义区域dice系数(集合相似度度量函数)精度达到94％；通过本发明进行股骨角度测量，颈干角平均误差为3.17
°
，前倾角平均误差为2.62
°
，本发明能够满足骨骼参数测量实际需求，有效提高骨骼畸形术前诊断与规划效率；不再需要人工选取拟合标志点，而是采用神经网络预测拟合标志点，所选取的拟合标志点对应关系更加准确，同时提高了自动化程度；将骨骼模板循环迭代变形拟合至目标骨骼，模板变形更加准确，实现精确的语义映射。
附图说明
33.图1是本发明实施例提供的一种基于骨骼模板变形匹配的人体骨骼畸形测量方法的总体示意图；
34.图2是本发明实施例提供的神经网络初步预测骨骼语义区域与本发明分割语义区域对比示意图；
35.图3是本发明实施例提供的骨骼模板匹配示意图；
36.图4是本发明实施例提供的骨骼轴线提取示意图；
37.图5是本发明实施例提供的语义分割具体结果示意图；
38.图6是是本发明实施例提供的头颈区域放大结果示意图；
39.图7是是本发明实施例提供的内外侧髁区域放大结果示意图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.如图1所示，是本发明实施例提供的一种基于骨骼模板变形匹配的人体骨骼畸形测量方法的总体示意图。
42.本发明实施例提供了一种基于骨骼模板变形匹配的人体骨骼畸形测量方法，该方法包括如下步骤：
43.s1：构建骨骼模板，并预标注语义区域。
44.构建骨骼模板的具体方法包括：
45.s11：由骨骼训练样本获得一系列形状向量。
46.骨骼训练样本包含n个人体正常骨骼样本，对每个人体正常骨骼样本均手动标记好n个特征点，并且记录每个特征点的坐标，得到一系列特征点的坐标的集合：
47.m＝{(x1，y1，z1)，(x2，y2，z2)，...，(xn，yn，zn)}
48.其中，(xw，yw，zw)为每个特征点的坐标(w＝1，2
……
n)，
49.每个人体正常骨骼样本均可以表示为一个形状向量：
50.x＝(x1，y1，z1，x2，y2，z2，
…
，xn，yn，zn)
t
51.其中，t为向量的转置，
52.由骨骼训练样本得到一系列形状向量：
53.v＝{x1，x2，...，xn}
54.其中，v为骨骼训练样本中所有人体正常骨骼样本的形状向量，x1为第一个人体正常骨骼样本的形状向量，x2为第二个人体正常骨骼样本的形状向量，xn为第n个人体正常骨骼样本的形状向量。
55.s12：将所有形状向量进行归一化，目的是消除非形状干扰，消除不同特征点位置的影响，消除方向变化以及其它差异的影响。通过对形状向量进行旋转、缩放、平移操作实现形状向量归一化。采用procrustes算法对所有形状向量进行归一化：
[0056][0057]
其中，xi为对第i个人体正常骨骼样本的形状向量，u为所有人体正常骨骼样本的平均形状向量，d为所有人体正常骨骼样本的形状向量与平均形状向量之间的距离之和。
[0058]
s13：采用pca算法对归一化后的所有形状向量进行分析和降维。计算所有人体正常骨骼样本的平均形状向量：
[0059][0060]
之后进一步计算协方差矩阵r：
[0061][0062]
其中，t为向量的转置，
[0063]
计算协方差矩阵r的特征值λi和对应的特征向量ci，按特征值递减顺序进行排列，即λi≥λ
i+1
。每个特征值λi为第i个人体正常骨骼样本在相应特征向量方向上的方差，为对应标准差，标准差记为σi，即按特征值递减顺序，取指定t个数量的特征值以及对应特征向量构成主成分矩阵u。
[0064]
s14：基于主成分矩阵u生成骨骼模板：
[0065]
s＝s(α)＝u+uα
[0066]
其中，s为骨骼模板，α为系数向量，不同的α对应不同的骨骼模板，系数向量α＝(b1，b2，...，bi)，
[0067]
其中bj在正负3个标准差内，即满足：
[0068][0069]
修改bi为不同的参数值，即能产生新的骨骼模板。
[0070]
s2：根据骨骼模板对神经网络进行训练，其具体方法包括：通过修改骨骼模板中的系数向量α，获得不同的骨骼模板，对每个骨骼模板预标注各个语义区域，获得带有语义区域的骨骼模板，将此带有语义区域的骨骼模板作为神经网络的训练数据。
[0071]
s3：获取目标骨骼，其具体方法包括：利用mimics软件将病人骨骼样本的ct数据重建为三维骨骼模型，利用三维建模软件3-matic将三维骨骼模型进行网格优化与重网格操作，得到目标骨骼。
[0072]
s4：先利用三维建模软件3-matic将骨骼模板与目标骨骼进行预配准。预配准的目的是使骨骼模板与目标骨骼的空间位置趋于一致，便于下一步进行变形拟合操作。预配准的实质是对目标骨骼进行刚体变换，即进行平移变换、旋转变换和反转变换，改变其在空间中的位置，变换前后两点间距离保持不变。
[0073]
再利用训练好的神经网络将骨骼模板变形拟合至目标骨骼，得到变形后的骨骼模板，其具体方法包括：
[0074]
s41：获取骨骼模板和目标骨骼的所有拟合标志点，并构建骨骼模板与目标骨骼的所有拟合标志点之间的稀疏对应关系，其具体方法包括：
[0075]
s411：由训练好的神经网络预测分别得到骨骼模板与目标骨骼相对应的语义区
域，例如，取股骨头凹、小粗隆、内侧髁、外侧髁区域；
[0076]
s412：计算骨骼模板与目标骨骼相对应的语义区域的中心点，例如，将小粗隆的中心点记为p；
[0077]
s413：遍历小粗隆区域表面的采样点，计算骨骼模板与目标骨骼中距离小粗隆的中心点的最近点记为q，将q作为骨骼模板与目标骨骼的拟合标志点；
[0078]
s414：重复s412和s413，得到骨骼模板与目标骨骼的所有拟合标志点，并构建骨骼模板与目标骨骼的所有拟合标志点之间的稀疏对应关系。
[0079]
s42：根据骨骼模板与目标骨骼的所有拟合标志点之间的稀疏对应关系，建立后验形状模型，并利用asm算法(active shape model算法)对骨骼模板进行变形拟合；
[0080]
s43：重复s41和s42，循环迭代执行上述操作若干次，将骨骼模板更加精确的变形拟合至目标骨骼，得到变形后的骨骼模板，如图3所示。
[0081]
s5：将变形后的骨骼模板上预标注的语义区域映射至目标骨骼，得到目标骨骼的语义区域。即将变形后的骨骼模板上预标注的语义区域映射至目标骨骼的对应位置，赋予目标骨骼相同的语义区域，得到目标骨骼的语义区域。通过knn算法计算目标骨骼中每个点所对应的语义区域。
[0082]
将变形后的骨骼模板上预标注的语义区域映射至目标骨骼，得到目标骨骼的语义区域，其具体方法包括：
[0083]
s51：将目标骨骼中每个点的坐标记为aj＝(xj，yj，zj)，其中，j为1、2
……
m，从变形后的骨骼模板中找到距离目标骨骼中每个点最近的前k个点记为{m1，m2，...，mk}，其中，m1、m2和mk均为骨骼模板中一系列特征点的坐标的集合m中的元素，所述前k个点所对应的语义区域记为{label1，label2，...，labelk}；
[0084]
s52：统计计算{label1，label2，...，labelk}中出现次数最多的语义区域记为label，将label作为aj的语义区域；
[0085]
s53：重复s51和s52计算出目标骨骼中所有点的语义区域，即得到目标骨骼的语义区域
[0086]
s6：根据目标骨骼的语义区域提取骨骼轴线，测量骨骼参数，判断目标骨骼是否畸形，以股骨语义分割为例，测量其颈干角与前倾角，其具体方法包括：
[0087]
s61：根据目标骨骼的语义区域提取骨骼轴线，骨骼轴线提取如图4所示。
[0088]
头颈轴、股骨干轴以及内外侧髁连线提取：
[0089]
头颈轴提取：由语义映射得到股骨头区域、股骨颈区域，分别求出股骨头区域采样点与股骨颈区域采样点的中心点，两者连线即为头颈轴。
[0090]
股骨干轴提取：由语义映射得到股骨干区域，将股骨干区域采样点沿水平方向分割并按竖直方向15等分，分别求出每份采样点集的中心点，最后利用最小二乘法将中心点拟合为一条直线，即可得到股骨干轴。
[0091]
内外侧髁连线提取：由语义映射得到内外侧髁区域，分别计算出内外侧髁区域的最外部点，两者连线即为内外侧髁连线。
[0092]
s62：基于骨骼轴线，确定基准面。
[0093]
基准面由冠状面、轴向面以及矢状面组成，三者相互垂直；冠状面经过股骨干轴并与内外侧髁连线平行；轴向面垂直于股骨干轴，矢状面与冠状面以及轴向面垂直。
[0094]
s63：根据骨骼轴线和基准面，测量角度。
[0095]
骨骼轴线提取完成以及基准面确定之后，测量颈干角与前倾角。临床上，颈干角的正常范围为[125
°
,145
°
]，前倾角的正常范围为[0
°
,20
°
]。
[0096]
颈干角与前倾角的测量方式如下：
[0097]
颈干角测量：颈干角为头颈轴与股骨干轴在冠状面的投影所形成的夹角。
[0098]
前倾角测量：前倾角为头颈轴与内外侧髁连线在轴向面的投影所形成的夹角。
[0099]
由神经网络预测得到语义分割区域为初步语义区域，与真实语义区域相比，误差较大，精确度不高，需要对目标骨骼作进一步语义分割，实现精确的语义区域传递。神经网络初步预测骨骼语义区域与本发明进一步分割语义区域对比如图2所示。
[0100]
实验例
[0101]
采用4例人体真实畸形股骨和10例人体真实健康股骨来进行语义分割与角度测量。语义区域分割得到股骨头、股骨颈、股骨干、内侧髁、外侧髁区域，测量股骨颈干角、前倾角；股骨真实语义区域为手工通过3-matic软件分割得到的语义区域，颈干角与前倾角的真实值为手工测量得到的角度，并将这三种方法(三种方法分别为神经网络预测语义区域，模板拟合映射语义区域，本发明方法分割语义区域)分割得到的语义区域与手工分割语义区域进行对比，同时对比角度数据。
[0102]
实验1至实验4为畸形股骨，实验5至实验14为健康股骨。本发明获得的dice系数对比分析结果如表1所示，该表记录了神经网络预测语义区域、模板拟合映射语义区域和本发明方法分割语义区域分别对股骨进行语义分割经计算得到的dice系数，其中，平均dice系数为各个语义区域dice系数的平均值。
[0103]
表1语义分割dice系数详细结果分析比较
[0104]
[0105][0106]
角度数据对比分析结果如表2所示。该表中记录了经上述三种方法测量得到的角度数据与手工测量得到的角度数据。
[0107]
表2角度测量数据详细结果分析比较
[0108]
[0109][0110]
[0111]
语义分割具体结果如图5所示。该图分别记录了通过手工标注、神经网络预测、模板拟合映射以及本发明方法分割得到的语义区域。头颈区域放大结果如图6所示，内外侧髁区域放大结果如图7所示。
[0112]
dice系数结果分析：由神经网络预测语义区域得到的平均dice系数为0.85836，由模板拟合映射语义区域得到的平均dice系数为0.84649，由本发明方法得到的语义区域平均dice系数为0.94015，本发明方法分割得到的语义区域dice系数高于其它两种方法。
[0113]
角度测量数据结果分析：通过标准差δ对比以上三种方式所测角度与手工方式所测角度的误差，计算方式为：
[0114][0115]
其中，h为实验骨骼数量，θd为分别用以上三种方式对第d个实验骨骼所测角度值，为通过手工方式对第d个实验骨骼所测角度值。
[0116]
分析标准差结果，对比三种方式所测角度准确性。对神经网络预测得到的语义区域进行角度测量，与手工测量得到的角度进行计算，颈干角标准差为7.9496
°
，前倾角标准差为5.5268
°
；对模板拟合映射得到的语义区域进行角度测量，与手工测量得到的角度进行计算，颈干角标准差为8.6083
°
，前倾角标准差为6.7785
°
；对本发明方法分割得到的语义区域进行角度测量，与手工测量得到的角度进行计算，颈干角标准差为3.1725
°
，前倾角标准差为2.6190
°
。
[0117]
由实验结果可知，本发明提出的一种基于骨骼模板变形匹配的人体骨骼畸形测量方法优于其它两种方法，与手工测量得到的参数数据结果相比，其误差在可接受的范围内。
[0118]
与现有方法相比，本发明方法具有如下优点：一是不再需要人工选取拟合标志点，而是采用神经网络预测拟合标志点，所选取的拟合标志点对应关系更加准确，同时提高了自动化程度；二是将骨骼模板循环迭代拟合至目标骨骼，骨骼模板变形更加准确，实现精确的语义映射。
[0119]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。