一种脊柱三维重建方法及系统

1.本发明涉及图像处理技术领域，特别是涉及一种脊柱三维重建方法及系统。


背景技术：

2.脊柱侧凸是严重危害人类、特别是儿童和青少年的健康的疾病之一。在一般人群中，特发性脊柱侧凸患病率范围很广，多数文献认为cobb角超过10
°
的青少年特发性脊柱侧凸占比为2％至3％。识别脊柱畸形的传统方法是直接在x射线胶片上测量脊柱侧凸曲线的角度，或者是使用脊柱侧凸测量器进行测量，或者进行亚当测试。但是这些传统的方法都是无法体现出人体脊柱的完整的三维状况的。而且这些测量的精确度都不高，甚至与操作者熟练程度相关。因此，3d脊柱模型的建立以及应用显得十分的重要。
3.此前的聚焦于脊柱侧凸的诊断或者分类的3d脊柱模型重建方法，大多是基于x光片或者ct数据的。基于x光片的方法，一般需要采用两张不同视角的x光片，对于不采用脊柱统计模型的这类方法，一般是在两个视角的x光片上找到匹配点，使用立体匹配的方式进行脊柱模型重建。而采用了脊柱统计模型，则是在两个视角的x光片上检测关键点，然后与脊柱统计模型的关键点做约束优化统计模型的参数。这些方法都可以重建出较高精度的三维脊柱模型，但是由于其需要x光片作为输入，使得其成本高、操作复杂，且对人体具有辐射伤害，因此不适合用于脊柱侧凸的筛查和治疗过程的脊柱状态检测。


技术实现要素：

4.为解决现有技术存在的上述问题，本发明提供了一种脊柱三维重建方法及系统。
5.为实现上述目的，本发明提供了如下方案：
6.一种脊柱三维重建方法，包括：
7.获取人体背部的彩色图像和深度图像；
8.采用所述彩色图像的光影信息对所述深度图像进行处理，得到处理后的深度图像；
9.基于所述彩色图像和所述处理后的深度图像得到背部棘突线；
10.提取所述背部棘突线的局部对称性信息；
11.基于人体脊柱先验知识，构建人体脊柱先验模型；所述人体脊柱先验模型包括脊柱形状统计模型、脊柱姿态模型和椎间盘力学模型；
12.基于所述人体脊柱先验模型，利用所述背部棘突线的局部对称性信息构建约束函数；所述约束函数包括：棘突末端点到背部棘突线的距离约束、人体背部表面局部对称约束、椎间盘力学特性约束和脊柱形状统计模型的参数正则化约束；所述椎间盘力学特性约束包括：轴向压缩/拉伸特性的约束和绕轴扭转特性的约束；
13.基于所述约束函数确定特征参数；
14.根据所述特征参数得到脊柱的三维模型。
15.优选地，所述提取所述背部棘突线的局部对称性信息，具体包括：
16.在2d图像空间中，穿过所述背部棘突线的每个像素点做所述背部棘突线的垂线；
17.以2d图像空间中背部棘突线上的每个像素点为中心点，在所述垂线上按预设条件截取线段得到垂线段；
18.将每条垂线段的两端各延展一个像素，得到条带；
19.以2d图像空间中背部棘突线上的每个像素点为中心点，在所述垂线段的四分之一各选取一个矩形区域，得到第一点集；
20.将2d图像空间中的所述背部棘突线和所述条带通过相机矩阵进行反投影得到3d图像空间的背部棘突线和3d图像空间的条带；
21.构建所述3d图像空间的背部棘突线的索引树和所述3d图像空间的条带的索引树；
22.以与所述3d图像空间的背部棘突线上每个像素点对应的索引为键，以与所述3d图像空间的背部棘突线上每个像素点对应的条带的索引树为值，构建字典；
23.获取棘突末端点；
24.在所述3d图像空间的背部棘突线的索引树上确定与所述棘突末端点距离最近的像素点，并获取这一像素点的索引；
25.基于所述索引在所述字典中得到与所述索引对应的值，以得到所述棘突末端点的条带；
26.将所述第一点集中关于所述棘突末端点、锥体中心点和椎间盘中心点的像素点作镜像对称，得到第二点集；
27.在所述3d图像空间的背部棘突线的索引树上确定与所述第二点集中像素点距离最近的像素点，得到第三点集；
28.对所述第三点集中的像素点作距离最小化约束得到所述背部棘突线的局部对称性信息。
29.优选地，所述对所述第三点集中的像素点作距离最小化约束得到所述背部棘突线的局部对称性信息，具体包括：
30.采用公式对所述第三点集中的像素点作距离最小化约束得到所述背部棘突线的局部对称性信息；
31.其中，q
′
为第二点集中像素点，q”为第三点集中像素点，l
symm
为局部对称性约束值。
32.优选地，所述预设条件为：截取线段长度为不超过图像中背部区域范围的二分之一，且从腰椎至颈椎方向，线段截取长度递减。
33.优选地，线段截取长度递减的公式为：
[0034][0035]
其中，w为截取线段的长度的一半，w0为第一次截取线段的长度的一半，n为背部棘突线的像素总数，i为背部棘突线上的第i个像素，i从腰椎向颈椎方向递增。
[0036]
优选地，所述脊柱形状统计模型为：
[0037][0038]
其中，tk为第k节椎体的脊柱形状统计模型，为第k节椎体的均值椎体形状，bk为
第k节椎体的脊柱形状参数矩阵，β为脊柱形状参数。
[0039]
优选地，所述脊柱姿态模型为：
[0040][0041]jk
＝(m
k-1
+mk)/2；
[0042]
其中，mk为第k节椎体的中心点，为位于第k节椎体表面的第一辅助点，为位于第k节椎体表面的第二辅助点，jk为第k节椎体的椎间盘中心点，m
k-1
为第k-1节椎体的中心点。
[0043]
优选地，所述椎间盘力学模型为：
[0044][0045][0046]
其中，为第k节椎体的轴向压缩/拉伸特性，n为形变次数，为第k节椎体第j次形变的轴向形变量，为第k节椎体的绕轴扭转特性，为第k节椎体的扭转角度，λ为常数因子。
[0047]
优选地，所述约束函数为：
[0048][0049]
其中，l为约束函数，为脊柱模型棘突末端点到背部棘突线上第k节椎体的距离约束，为第k节椎体的人体背部表面局部对称约束，为第k节椎体的轴向压缩/拉伸特性，为第k节椎体的绕轴扭转特性，α1、α2和α3均为权重系数，lr为脊柱形状统计模型的参数正则化约束。
[0050]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0051]
本发明提供的脊柱三维重建方法，基于人体背部表面彩色图像和深度图像信息，结合人体脊柱先验模型包括脊柱形状统计模型、脊柱姿态模型以及椎间盘力学模型，无需x光片信息作为输入，即可重建出较高精度的人体脊柱三维模型，解决了x光片拍摄带来的不方便、成本高以及辐射伤害问题，能够应用于脊柱侧凸的筛查和脊柱侧凸治疗过程的脊柱监测。
[0052]
对应于上述提供的脊柱三维重建方法，本发明还提供了一种脊柱三维重建系统，包括：
[0053]
图像获取模块，用于获取人体背部的彩色图像和深度图像；
[0054]
图像处理模块，用于采用所述彩色图像的光影信息对所述深度图像进行处理，得到处理后的深度图像；
[0055]
背部棘突线确定模块，用于基于所述彩色图像和所述处理后的深度图像得到背部棘突线；
[0056]
局部对称性信息提取模块，用于提取所述背部棘突线的局部对称性信息；
[0057]
人体脊柱先验模型构建模块，用于基于人体脊柱先验知识，构建人体脊柱先验模型；所述人体脊柱先验模型包括脊柱形状统计模型、脊柱姿态模型和椎间盘力学模型；
[0058]
约束函数构建模块，用于基于所述人体脊柱先验模型，利用所述背部棘突线的局部对称性信息构建约束函数；所述约束函数包括：棘突末端点到背部棘突线的距离约束、人体背部表面局部对称约束、椎间盘力学特性约束和脊柱形状统计模型的参数正则化约束；所述椎间盘力学特性约束包括：轴向压缩/拉伸特性的约束和绕轴扭转特性的约束；
[0059]
特征参数确定模块，用于基于所述约束函数确定特征参数；
[0060]
脊柱三维模型构建模块，用于根据所述特征参数得到脊柱的三维模型。
[0061]
因本发明提供的脊柱三维重建系统实现的技术效果与上述提供的脊柱三维重建方法实现的技术效果相同，故在此不再进行赘述。
附图说明
[0062]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0063]
图1为本发明提供的脊柱三维重建方法的流程图；
[0064]
图2为本发明实施例提供的脊柱三维重建方法的图像处理框图；
[0065]
图3为本发明实施例提供的背部棘突线的局部对称性信息提取流程图；
[0066]
图4为本发明提供的脊柱三维重建系统的结构示意图。
具体实施方式
[0067]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0068]
本发明的目的是提供一种成本低廉、操作简单的脊柱三维重建方法和系统，以能够提高脊柱重建的精确性。
[0069]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0070]
如图1所示，本发明提供的脊柱三维重建方法，包括：
[0071]
步骤100：获取人体背部的彩色图像和深度图像。在本发明中，主要获取的是包括带荧光标注棘突位置和不带荧光标注的彩色图像。
[0072]
步骤101：采用彩色图像的光影信息对深度图像进行处理，得到处理后的深度图像。在该步骤中，主要是用无标注彩色图像的光影信息对深度图像进行处理，得到精细化深度图像，这一具体处理过程，可参见名称为“一种人体背部棘突线检测方法和系统”的发明文件的公开内容。
[0073]
步骤102：基于彩色图像和处理后的深度图像得到背部棘突线。
[0074]
步骤103：提取背部棘突线的局部对称性信息。该步骤实施过程可以为：
[0075]
步骤103-0：在2d图像空间中，穿过背部棘突线的每个像素点做背部棘突线的垂线。
[0076]
步骤103-1：以2d图像空间中背部棘突线上的每个像素点为中心点，在垂线上按预设条件截取线段得到垂线段。其中，预设条件为：截取线段长度为不超过图像中背部区域范围的二分之一，且从腰椎至颈椎方向，线段截取长度递减。线段截取长度递减的公式为：
[0077][0078]
其中，w为截取线段的长度的一半，w0为第一次截取线段的长度的一半，n为背部棘突线的像素总数，i为背部棘突线上的第i个像素，i从腰椎向颈椎方向递增。
[0079]
步骤103-2：将每条垂线段的两端各延展一个像素，得到条带。
[0080]
步骤103-3：以2d图像空间中背部棘突线上的每个像素点为中心点，在垂线段的四分之一各选取一个矩形区域，得到第一点集。
[0081]
步骤103-4：将2d图像空间中的背部棘突线和条带通过相机矩阵进行反投影得到3d图像空间的背部棘突线和3d图像空间的条带。
[0082]
步骤103-5：构建3d图像空间的背部棘突线的索引树和3d图像空间的条带的索引树。
[0083]
步骤103-6：以与3d图像空间的背部棘突线上每个像素点对应的索引为键，以与3d图像空间的背部棘突线上每个像素点对应的条带的索引树为值，构建字典。
[0084]
步骤103-7：获取棘突末端点。
[0085]
步骤103-8：在3d图像空间的背部棘突线的索引树上确定与棘突末端点距离最近的像素点，并获取这一像素点的索引。
[0086]
步骤103-9：基于索引在字典中得到与索引对应的值，以得到棘突末端点的条带。
[0087]
步骤103-10：将第一点集中关于棘突末端点、锥体中心点和椎间盘中心点的像素点作镜像对称，得到第二点集。
[0088]
步骤103-11：在3d图像空间的背部棘突线的索引树上确定与第二点集中像素点距离最近的像素点，得到第三点集。
[0089]
步骤103-12：对第三点集中的像素点作距离最小化约束得到背部棘突线的局部对称性信息。具体的，采用公式对第三点集中的像素点作距离最小化约束得到背部棘突线的局部对称性信息。
[0090]
其中，q
′
为第二点集中像素点，q”为第三点集中像素点，l
symm
为局部对称性约束值。
[0091]
步骤104：基于人体脊柱先验知识，构建人体脊柱先验模型。人体脊柱先验模型包括脊柱形状统计模型、脊柱姿态模型和椎间盘力学模型。其中，脊柱形状统计模型为：
[0092][0093]
其中，tk为第k节椎体的脊柱形状统计模型，为第k节椎体的均值椎体形状，bk为第k节椎体的脊柱形状参数矩阵，β为脊柱形状参数。
[0094]
脊柱姿态模型为：
[0095][0096]jk
＝(m
k-1
+mk)/2
ꢀꢀꢀ
(4)
[0097]
其中，mk为第k节椎体的中心点，为位于第k节椎体表面的第一辅助点，为位于第k节椎体表面的第二辅助点，jk为第k节椎体的椎间盘中心点，m
k-1
为第k-1节椎体的中心点。
[0098]
椎间盘力学模型为：
[0099][0100][0101]
其中，为第k节椎体的轴向压缩/拉伸特性，n为形变次数，为第k节椎体第j次形变的轴向形变量，为第k节椎体的绕轴扭转特性，为第k节椎体的扭转角度，λ为常数因子。
[0102]
步骤105：基于人体脊柱先验模型，利用背部棘突线的局部对称性信息构建约束函数。约束函数包括：棘突末端点到背部棘突线的距离约束、人体背部表面局部对称约束、椎间盘力学特性约束和脊柱形状统计模型的参数正则化约束。椎间盘力学特性约束包括：轴向压缩/拉伸特性的约束和绕轴扭转特性的约束。其中，约束函数为：
[0103][0104]
其中，l为约束函数，实质为关于脊柱姿态参数θ和脊柱椎体形状参数β的函数，为脊柱模型棘突末端点到背部棘突线上第k节椎体的距离约束，为第k节椎体的人体背部表面局部对称约束，为第k节椎体的轴向压缩/拉伸特性，为第k节椎体的绕轴扭转特性，α1、α2和α3均为权重系数，lr为脊柱形状统计模型的参数正则化约束。通过通过优化脊柱姿态参数θ和脊柱形状参数β，就可以得到最小化的约束函数l。
[0105]
步骤106：基于约束函数确定特征参数。
[0106]
步骤107：根据特征参数得到脊柱的三维模型。
[0107]
下面给出一个实施例对上述本发明提供的脊柱三维重建方法的具体实施过程进行说明。
[0108]
在该实施例中，采用的图像采集设备由一个深度相机、一个彩色相机和若干(至少两个)紫外灯和计算机组成。深度相机、彩色相机和紫外灯共同受计算机采集程序的控制。其中，深度相机、彩色相机使用的是kinectv2，紫外灯照射方向为kinectv2相机的拍摄方向，紫外灯的照射区域(人体背部区域)大于kinectv2相机的拍摄区域(人体背部区域)。
[0109]
图像采集设备在关闭紫外灯的情况下采集无荧光标注的背部彩色图像和深度图像，在开启紫外灯的情况下采集带荧光标注棘突位置的背部彩色图像和深度图像。其中，荧光标注棘突位置，是在进行数据采集之前，人工使用荧光笔在人体背部标注棘突位置。
[0110]
带荧光标注和无荧光标注两次采集过程由计算机采集程序控制，在很短的时间内
完成，以致于可以认为两次采集过程中人体姿态并未发生改变。
[0111]
基于该图像采集设备采集到的彩色图像和深度图像，将本发明提供的上述脊柱三维重建方法转换为计算机软件程序植入到该图像采集设备的计算机中，以实现脊柱的三维重建。
[0112]
基于此，如图2所示，计算机中数据处理的过程为：
[0113]
步骤1、通过采集设备采集人体背部的彩色和深度图像。
[0114]
步骤2、用无标注彩色图像的光影信息对深度图像进行处理，得到精细化深度图像。
[0115]
步骤3、基于背部彩色和深度图像，检测得到背部棘突线。
[0116]
步骤4、基于深度图像和背部棘突线，提取和构建背部表面局部对称性的信息和数据结构。该步骤的具体实施过程如图3所示，包括：
[0117]
步骤301：在2d图像空间，基于背部棘突线，通过背部脊突线的每个像素点做棘突线的垂线，并以棘突线上的每个像素点为中心点，以较短的长度截取垂线为垂线段。
[0118]
步骤302：在2d图像空间，将每条垂线段上下延展一个像素，得到垂直于棘突线的条带。
[0119]
步骤303：在2d图像空间，以脊突线上的每个像素点为起点，向两侧以约为垂线段长度四分之一中心选取一个3x3的矩形区域的点集q。
[0120]
步骤304：将2d图像空间的背部棘突线和垂直于棘突线的条带通过相机矩阵反投影得到3d空间的背部棘突线和垂直于棘突线的条带。
[0121]
步骤305：将3d空间的背部棘突线和垂直于棘突线的条带分别构建成为kd-tree，并以背部棘突线每个点的索引(index)作为键(key)，对应条带的kd-tree作为值(value)构建成为字典(dict)。
[0122]
基于的字典，在使用时，首先用模型的棘突末端点在棘突线的kd-tree上找到最近点，得到其索引，然后通过该索引在字典找到对应的垂直于棘突线的条带，将其q集上的点关于棘突末端点、椎体中心和椎间盘中心点形成的面镜像对称到另一侧得到q’集，最后在条带kd-tree上找到q’集的最近点q”集，并与q’集的点做距离最小化约束。
[0123]
人体背部表面局部对称性是指，在背部棘突线周围两侧的局部区域，满足关于以脊柱椎体棘突末端点，椎体中心和椎间盘中心点所形成面的镜像对称关系。背部脊突线是由背部棘突末端点连成的曲线。
[0124]
以棘突线上的每个像素点为中心点，以较短的长度截取垂线为垂线段，较短长度是指使得条带不超过图像中背部区域范围的二分之一，并且从腰椎部分的区域向颈椎方向区域，长度递减，递减公式间公式(1)。
[0125]
3x3的矩形区域的点集q，应该满足以下性质，该集合上的点，其以脊柱椎体棘突末端点，椎体中心和椎间盘中心点形成的面为对称面，镜像对称到另一侧后得到点集q’，理论上q’集上的所有点都能在条带上找到相同位置的点。
[0126]
将其q集上的点关于棘突末端点、椎体中心和椎间盘中心点形成的面镜像对称到另一侧得到q’集，最后在条带kd-tree上找到q’集的最近点q”集，并与q’集的点做距离约束，其公式为：
[0127]
镜像对称：p为对称面上的一个点，为对称面的法向量。
[0128]
距离约束：l
symm
表示局部对称性约束。
[0129]
步骤5、基于人体脊柱先验知识，构建人体脊柱先验模型，包括脊柱形状统计模型、脊柱姿态模型以及椎间盘力学模型。
[0130]
步骤6、基于人体脊柱先验模型，利用背部棘突线和局部对称性，构建人体脊柱模型与人体背部信息的约束函数以及人体脊柱模型自身力学特性的约束函数。构建人体脊柱先验模型，包括脊柱形状统计模型、脊柱姿态模型以及椎间盘力学模型。其中：脊柱形状统计模型为脊柱椎体参数化模型，其将脊柱椎体形状表达为均值模型和主成分，公式参见上述公式(2)，脊柱姿态模型是一个关键点模型，参见公式(3)和公式(4)。椎间盘力学模型用于模拟椎间盘发生形变时的力学特性，主要包括轴向的压缩/拉伸特性和绕轴扭转特性，本发明将两项特性分别建模为非线性的轴向连接在相邻椎体边沿的若干弹簧和一个扭转弹簧，具体表达形式参见公式(5)和公式(6)，其中n可以等价为弹簧个数。在该实施例中，k∈[1,17]，k＝1表示腰椎l5，k＝17表示胸椎t1，脊柱以及脊柱模型共包含腰椎l1-l5和胸椎t1-t12共17节椎体。
[0131]
其中，姿态由每节椎体绕其对应的椎间盘中心点旋转的链式运动决定，其数学公式表达为：
[0132][0133]
其中，pk表示第k节椎体上的点，下标0表示初始状态，表示初始状态的第k接椎体对应的椎间盘中心点，θ表示旋转角度，表示旋转轴，表示so(3)到so(3)的指数映射，17节椎体的17个θ和一起构成脊柱姿态参数。
[0134]
步骤7、构建人体脊柱模型与人体背部信息的约束函数以及人体脊柱模型自身力学特性的约束函数，包括：
[0135]
构建脊柱模型棘突末端点到背部棘突线距离约束为：sk为脊柱模型棘突末端点，s
′k为背部棘突线上距离sk最近的点。
[0136]
构建人体背部表面局部对称约束为：
[0137]
构建的椎间盘力学特性约束与上述提供的椎间盘力学模型相同。
[0138]
构建脊柱形状统计模型的参数正则化约束为：lr＝||β||；
[0139]
步骤8、基于上述构建的约束函数，通过优化算法最小化总约束，得到统计模型的特征参数，重建出脊柱三维模型。其中，约束表达式参见上述公式(7)，通过优化脊柱姿态参数θ和脊柱形状参数β，就可以最小化总约束函数。
[0140]
此外，对应于上述提供的脊柱三维重建方法，本发明还提供了一种脊柱三维重建系统，如图4所示，该系统包括：
[0141]
图像获取模块400，用于获取人体背部的彩色图像和深度图像。
[0142]
图像处理模块401，用于采用彩色图像的光影信息对深度图像进行处理，得到处理后的深度图像。
[0143]
背部棘突线确定模块402，用于基于彩色图像和处理后的深度图像得到背部棘突线。
[0144]
局部对称性信息提取模块403，用于提取背部棘突线的局部对称性信息。
[0145]
人体脊柱先验模型构建模块404，用于基于人体脊柱先验知识，构建人体脊柱先验模型。人体脊柱先验模型包括脊柱形状统计模型、脊柱姿态模型和椎间盘力学模型。
[0146]
约束函数构建模块405，用于基于人体脊柱先验模型，利用背部棘突线的局部对称性信息构建约束函数。约束函数包括：棘突末端点到背部棘突线的距离约束、人体背部表面局部对称约束、椎间盘力学特性约束和脊柱形状统计模型的参数正则化约束。椎间盘力学特性约束包括：轴向压缩/拉伸特性的约束和绕轴扭转特性的约束。
[0147]
特征参数确定模块406，用于基于约束函数确定特征参数。
[0148]
脊柱三维模型构建模块407，用于根据特征参数得到脊柱的三维模型。
[0149]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0150]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。