一种基于深度图像的人体脊柱拟合方法、系统及电子设备与流程

1.本公开涉及图像处理技术领域，具体涉及一种基于深度图像的人体脊柱拟合方法、系统及电子设备。


背景技术：

2.脊柱是人体的中轴，脊柱侧弯严重时不仅会造成身体外观异常、运动功能障碍，还可因胸廓畸形而造成心肺功能障碍，降低生活质量，严重影响青少年身心健康的发育。该病如果不及早发现并积极治疗，不仅影响患儿的体型和外观，而且可能造成心肺功能异常，使脊柱过早退变，出现疼痛，躯干不平衡。
3.检查脊柱侧弯的方法有很多，大致可分为物理测量及图像测量两类。物理测量是指与人体背部直接接触测量脊柱侧弯；图像测量是指不与人体背部进行直接接触的检查方法,主要有莫尔图像测量法、x光片测量法、结构光测量法、激光扫描仪测量法等。
4.随着图像处理技术的发展，图像测量方法因其具有测量效率高、精度高、主观影响小的优点，是未来脊柱侧弯检测的主要趋势，其中x光片测量法在对人体组织与器官进行三维重构时需要直接从患者身上获得脊柱的断层二维图像序列，胸椎和腰椎完整的断层二维图像序列大约有 600 张，因为不同年龄的脊柱大小和获取断层二维图像序列所设置的尺寸都会影响最终的断层二维图像序列的数量，要获得这么多的断层二维图像序列，需要长时间对人体进行x线断层扫描，这种方法不仅效率低，更重要的是长时间对人体进行x线扫描不仅损伤人体组织与器官，更有可能引起细胞癌变。
5.另一种图像测量方法则是通过数码相机采集人体背部图像，进而获取人体背部轮廓数据，通过对二维图像数据的处理分析，推算拟合脊柱位置。这种方法虽然无需进行x线扫描，但由于其基于二维图像数据，其拟合准确度受数据维度影响，易出现干扰和偏差，影响拟合结果的准确度，此外，该种方法仅可实现人体背面脊柱拟合，即只可获得冠状面方向的脊柱拟合，无法针对人体侧面（矢状面方向）进行脊柱拟合，不能很好地满足脊柱侧弯检查过程的要求。


技术实现要素：

6.为了解决上述现有技术存在的问题，本公开目的在于提供一种基于深度图像的人体脊柱拟合方法、系统及电子设备。本公开基于深度图像进行人体脊柱拟合，具有拟合结果准确度高，可实现人体冠状面和矢状面两个方向的脊柱拟合，能满足脊柱侧弯检查的要求，适用性和数据包容性更好。
7.本公开所述的一种基于深度图像的人体脊柱拟合方法，包括以下步骤：s01、获取人体背面的深度图像；s02、获取所得深度图像的深度数据；s03、截取所述深度数据中关于脊柱部分的背部数据；s04、根据所述背部数据，计算获得由冠状面两个维度的数值组成的第一离散集合
以及由矢状面两个维度的数值组成的第二离散集合；s05、对所述第一离散集合和所述第二离散集合进行处理，分别获得用于表征所述第一离散集合的数值分布趋势的第一连线、以及用于表征所述第二离散集合的数值分布趋势的第二连线；s06、分析所述第一连线和第二连线，获得关于所述第一连线的第一拐点总数以及关于所述第二连线的第二拐点总数；s07、结合所述第一离散集合和所述第一拐点总数，计算获得关于脊柱冠状面的第一平面函数，基于所述第一平面函数，构建关于冠状面的第一脊柱拟合曲线；结合所述第二离散集合和所述第二拐点总数，计算获得关于脊柱矢状面的第二平面函数，基于所述第二平面函数，构建关于矢状面的第二脊柱拟合曲线。
8.优选地，所述步骤s03包括：s031、对所述深度数据进行处理，识别出所述深度图像中的人体轮廓并标注骨性标志点；s032、选取脊柱部位两端的两个骨性标志点，截取所选取的两个骨性标志点之间的深度数据作为所述背部数据。
9.优选地，所述步骤s04中，定义水平面为x-z平面，冠状面为y-x平面，矢状面为y-z平面，人体左侧向右侧为x轴正方向，脚部向头部为y轴正方向，背部向腹部为z轴正方向。
10.优选地，所述步骤s04具体为：遍历所述背部数据，获取每个y值单独对应的所有x值，记为与该y值对应的x值集，计算各个所述x值集的平均值及方差，对所得方差进行数值判断，若所得方差大于5，则取该x值集的中位数作为该y值对应的x值，否则取该x值集的平均值作为该y值对应的x值，根据各个y值及其所对应的x值，组成所述第一离散集合；遍历所述背部数据，获取各个y值对应的所有z值，记为与各个y值对应的z值集，计算各个所述z值集的平均值及方差，对所得方差进行数值判断，若所得方差大于5，则取该z值集的中位数作为该y值对应的z值，否则取该z值集的平均值作为该y值对应的z值，根据各个y值及其所对应的z值，组成所述第二离散集合。
11.优选地，所述步骤s05中，对所述第一离散集合和所述第二离散集合进行处理具体为：对所述第一离散集合和所述第二离散集合进行平滑处理和剔除噪点。
12.优选地，所述步骤s06中，通过滑动窗口算法对所述第一连线和第二连线进行处理，分析窗口内各个取样点的数值变化趋势，判断该窗口内是否存在拐点，具体如下：设窗口内取样点的数量为，当窗口内的前个取样点为同一变化趋势，后个取样点为另一变化趋势，且所述第一连线/所述第二连线在该窗口内的最值出现在第个取样点或第个取样点或第个取样点与第个取样点之间时，判断所述第一连线/所述第二连线在该窗口内的一段存在一个拐点；其中，；通过滑动窗口算法对所述第一连线和所述第二连线进行逐段分析，对拐点数量进
行累加计数，获得所述第一拐点总数和第二拐点总数。
13.优选地，所述步骤s07中，结合所述第一离散集合和所述第一拐点总数，计算获得关于脊柱冠状面的第一平面函数具体为：将所述第一离散集合和所述第一拐点总数代入以下公式计算获得第一平面函数的平面函数系数：；根据所得第一平面函数的平面函数系数，获得所述第一平面函数为：；结合所述第二离散集合和所述第二拐点总数，计算获得关于脊柱矢状面的第二平面函数具体为：将所述第二离散集合和所述第二拐点总数代入以下公式计算获得第二平面函数的平面函数系数：；根据所得第二平面函数的平面函数系数，获得所述第二平面函数为：。
14.本公开的一种基于深度图像的人体脊柱拟合系统，包括：图像获取模块，其用于获取人体背面的深度图像；深度数据获取模块，其用于获取所得深度图像的深度数据；截取模块，其用于截取所述深度数据中关于脊柱部分的背部数据；离散集合计算模块，其用于根据所述背部数据，计算获得由冠状面两个维度的数值组成的第一离散集合以及由矢状面两个维度的数值组成的第二离散集合；连线构建模块，其用于对所述第一离散集合和所述第二离散集合进行处理，分别获得用于表征所述第一离散集合的数值分布趋势的第一连线、以及用于表征所述第二离散集合的数值分布趋势的第二连线；拐点计算模块，其用于分析所述第一连线和第二连线，获得关于所述第一连线的
第一拐点总数以及关于所述第二连线的第二拐点总数；拟合曲线构建模块，其用于结合所述第一离散集合和所述第一拐点总数，计算获得关于脊柱冠状面的第一平面函数，基于所述第一平面函数，构建关于冠状面的第一脊柱拟合曲线；结合所述第二离散集合和所述第二拐点总数，计算获得关于脊柱矢状面的第二平面函数，基于所述第二平面函数，构建关于矢状面的第二脊柱拟合曲线。
15.本公开的一种计算机设备，包括信号连接的处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载时执行如上所述基于深度图像的人体脊柱拟合方法。
16.本公开的一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序被处理器加载时执行如上所述基于深度图像的人体脊柱拟合方法。
17.本公开所述的一种基于深度图像的人体脊柱拟合方法、系统及电子设备，其优点在于，本公开基于人体背面的深度图像，可获得具有三维属性的深度数据，基于该深度数据，可获取关于冠状面维度数值的第一离散集合和关于矢状面维度数值的第二离散集合，将第一离散集合和第二离散集合分别转换为第一连线和第二连线，对第一连线和第二连线进行分析获得第一拐点总数以及第二拐点总数，结合第一离散集合和第一拐点总数可获得用于表征脊柱背面投影的第一脊柱拟合曲线，结合第二离散集合和第二拐点总数可获得用于表征脊柱侧面投影的第二脊柱拟合曲线，可根据第一脊柱拟合曲线和第二脊柱拟合曲线对脊柱侧弯情况进行检查分析。
18.本公开基于具有三维属性的深度数据进行脊柱曲线拟合，可避免数据维度对拟合准确度的影响，减小干扰和偏差，避免皮肤色彩等因素对拟合结果造成影响，显著提高拟合结果的准确度。且可实现人体冠状面和矢状面两个方向的脊柱拟合，能满足脊柱侧弯检查的要求。同时本公开不局限于脊柱曲线的形状，对各种异常脊柱曲线均能有效拟合，适用性和数据包容性更好。
附图说明
19.图1是本实施例所述一种基于深度图像的人体脊柱拟合方法的步骤流程图；图2是本实施例步骤s01中获取的深度图像示意图；图3是本实施例步骤s03在深度图像中标记骨性标志点的示意图；图4是本实施例步骤s03中截取背部数据的示意图；图5是本实施例所得第一脊柱拟合曲线和第二脊柱拟合曲线的示意图；图6是本实施例所述计算机设备的结构示意图。
20.附图标记说明：101-处理器，102-存储器。
具体实施方式
21.如图1所示，本公开所述的一种基于深度图像的人体脊柱拟合方法，包括以下步
骤：s01、获取人体背面的深度图像；具体的，使用深度相机对人体背面成像，采集获得如图2所示的人体背面深度图像。
22.s02、获取所得深度图像的深度数据；具体的，读取所采集的深度图像，获取如图3所示的深度图像中的相关深度数据。
23.s03、截取所述深度数据中关于脊柱部分的背部数据；具体的，步骤s03包括：s031、对步骤s02所得深度数据，主要是对人体表面距离数值依次进行去噪、滤波和平滑处理，如图3所示，识别出深度数据中的人体轮廓，并根据人体医学理论标注关于人体脊柱的c1、c7、t12、s5、l5骨性标志点；s032、选取脊柱部位两端的两个骨性标志点，截取所选取的两个骨性标志点之间的深度数据作为背部数据，本实施例中，如图4所示，截取c1到s5范围内的深度数据作为背部数据。
24.s04、根据所述背部数据，计算获得由冠状面两个维度的数值组成的第一离散集合以及由矢状面两个维度的数值组成的第二离散集合；具体的，为便于具体数值的计算，以人体水平面为x-z平面，冠状面为y-x平面，矢状面为y-z平面构建空间直角坐标系，定义人体左侧向右侧为x轴正方向，脚部向头部为y轴正方向，背部向腹部为z轴正方向。则在冠状面上关于脊柱曲线有y值（y轴坐标点）和x值（x轴坐标点），在矢状面上关于脊柱曲线有y值和z值（z轴坐标点）。
25.基于上述定义的空间直角坐标系，步骤s04具体有：遍历所得背部数据，背部数据在y-x平面上，每个y值可以对应有多个不同的x值，获取每个y值对应的所有x值作为一个数集，记为与该y值对应的x值集，计算各个x值集的平均差及方差，对所得方差进行数值判断，若所得方差大于5时，表示该x值集的离散程度较大，则取该x值集的中位数作为该y值对应的x值，否则取该x值集的平均数作为该y值对应的x值，通过上述步骤，确定每个y值及其所对应的x值，组成关于y值和x值的第一离散集合。
26.第二离散集合的构建方式与第一离散集合相同，具体如下：遍历所得背部数据，背部数据在y-z平面上，每个y值可以对应有多个不同的z值，获取每个y值对应的所有z值作为一个数集，记为与该y值对应的z值集，计算各个z值集的平均差及方差，对所得方差进行数值判断，若所得方差大于5时，表示该z值集的离散程度较大，则取该z值集的中位数作为该y值对应的z值，否则取该z值集的平均数作为该y值对应的z值，通过上述步骤，确定每个y值及其所对应的z值，组成关于y值和z值的第二离散集合。
27.通过上述步骤，获得关于y值和x值的第一离散集合以及关于y值和z值的第二离散集合。
28.s05、对所述第一离散集合和所述第二离散集合进行平滑处理和剔除噪点，以提高数据的平滑性和准确性，将第一离散集合和第二离散集合的各个数值分别在坐标系上标示后连线，获得用于表征所述第一离散集合的数值分布趋势的第一连线、以及用于表征所述第二离散集合的数值分布趋势的第二连线；s06、分析所述第一连线和第二连线，获得关于所述第一连线的第一拐点总数以及关于所述第二连线的第二拐点总数；具体如下：过滑动窗口算法对所述第一连线和第
二连线进行处理，分析窗口内各个取样点的数值变化趋势，判断该窗口内是否存在拐点，具体如下：设窗口内取样点的数量为，当窗口内的前个取样点为同一变化趋势，后个取样点为另一变化趋势，且所述第一连线/所述第二连线在该窗口内的最值出现在第个取样点或第个取样点或第个取样点与第个取样点之间时，判断所述第一连线/所述第二连线在该窗口内的一段存在一个拐点；其中，；若干个取样点是否处于同一变化趋势的判断方法如下所述：对窗口内每两个相邻的取样点按序取平均值，如对第1个和第2个取样点取平均值，对第2个和第3个取样点取平均值，以此类推，对第个取样点和第个取样点取平均值，共可获得个平均值，按序记为、...，若，，，，则判断该连线在前4个取样点内具有相同的上升趋势，在第5个和第6个取样点具有另一趋势，即下降趋势。
29.通过滑动窗口算法对所述第一连线和所述第二连线进行逐段分析，对拐点数量进行累加计数，获得所述第一拐点总数和第二拐点总数。
30.s07、结合所述第一离散集合和所述第一拐点总数，计算获得关于脊柱冠状面的第一平面函数，基于所述第一平面函数，构建关于冠状面的第一脊柱拟合曲线，具体如下：将所述第一离散集合和所述第一拐点总数代入以下公式计算获得第一平面函数的平面函数系数：；根据所得第一平面函数的平面函数系数，获得所述第一平面函数为：；基于所得第一平面函数，构建如图5右侧所示的关于冠状面的第一脊柱拟合曲线。
31.结合所述第二离散集合和所述第二拐点总数，计算获得关于脊柱矢状面的第二平面函数，基于所述第二平面函数，构建关于矢状面的第二脊柱拟合曲线，具体如下：将所述第二离散集合和所述第二拐点总数代入以下公式计算获得第二平面函数的平面函数系数：
；根据所得第二平面函数的平面函数系数，获得所述第二平面函数为：。
32.基于所得第二平面函数，构建如图5左侧所示的关于矢状面的第二脊柱拟合曲线。
33.本公开基于具有三维属性的深度数据进行脊柱曲线拟合，可避免数据维度对拟合准确度的影响，减小干扰和偏差，避免皮肤色彩等因素对拟合结果造成影响，显著提高拟合结果的准确度。且可实现人体冠状面和矢状面两个方向的脊柱拟合，能满足脊柱侧弯检查的要求。同时本公开不局限于脊柱曲线的形状，对各种异常脊柱曲线均能有效拟合，适用性和数据包容性更好。
34.本实施例还提供了一种基于深度图像的人体脊柱拟合系统，包括：图像获取模块，其用于获取人体背面的深度图像；深度数据获取模块，其用于获取所得深度图像的深度数据；截取模块，其用于截取所述深度数据中关于脊柱部分的背部数据；离散集合计算模块，其用于根据所述背部数据，计算获得由冠状面两个维度的数值组成的第一离散集合以及由矢状面两个维度的数值组成的第二离散集合；连线构建模块，其用于对所述第一离散集合和所述第二离散集合进行处理，分别获得用于表征所述第一离散集合的数值分布趋势的第一连线、以及用于表征所述第二离散集合的数值分布趋势的第二连线；拐点计算模块，其用于分析所述第一连线和第二连线，获得关于所述第一连线的第一拐点总数以及关于所述第二连线的第二拐点总数；拟合曲线构建模块，其用于结合所述第一离散集合和所述第一拐点总数，计算获得关于脊柱冠状面的第一平面函数，基于所述第一平面函数，构建关于冠状面的第一脊柱拟合曲线；结合所述第二离散集合和所述第二拐点总数，计算获得关于脊柱矢状面的第二平面函数，基于所述第二平面函数，构建关于矢状面的第二脊柱拟合曲线。
35.本实施例的基于深度图像的人体脊柱拟合系统与上述的方法实施例基于相同的发明构思，可参照上文关于方法实施例的描述进行理解，在此不再赘述。
36.如图6所示，本实施例还提供了一种计算机设备，包括通过总线信号连接的处理器101和存储器102，所述存储器102中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器101加载时执行如上所述基于深度图像的人体脊柱拟合方法。存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用。存储器102可主要包括存储程序区和存储数据
区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。
37.本公开实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括计算机终端、服务器或者类似的运算装置。该计算机设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接。
38.其中，处理器101(或称cpu(centralprocessingunit，中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如wi-fi、移动通信接口等)。存储器102(memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器102可以是高速ram存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器101的存储装置。存储器102提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：windows系统(一种操作系统)，linux(一种操作系统)，android(安卓，一种移动操作系统)系统、ios(一种移动操作系统)系统等等，本公开对此并不作限定；并且，在该存储空间中还存放了适于被处理器101加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器101加载并执行存储器102中存放的一条或一条以上指令，以实现上述方法实施例所述基于深度图像的人体脊柱拟合方法。
39.本公开实施例还提供一种计算机可读存储介质，其上存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序被处理器101加载时执行如上所述基于深度图像的人体脊柱拟合方法。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
40.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
41.在本公开的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本公开保护范围的限制。
42.对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本公开权利要求的保护范围之内。