一种基于人体骨骼关键点的脊柱侧弯评估方法

1.本发明涉及智能识别的技术领域，尤其涉及一种基于人体骨骼关键点的脊 柱侧弯评估方法。


背景技术：

2.脊柱侧弯是一种复杂的脊柱三维(3d)畸形，其特征是侧弯和轴向椎体旋 转(avr)，脊柱可能从矢状面移动或旋转到其他解剖平面。随着电子设备的 普及与人们久坐时间的增长，不同程度的脊柱侧弯在儿童、青少年以及成人 中频频出现，轻度的脊柱侧弯通过长期的运动康复可以恢复正常，重度的则 需要手术，但无论是轻度还是重度在进行治疗前都需要进行脊柱侧弯的筛选 和评估，准确快速的脊柱侧弯评估对脊柱侧弯的矫正具有重要意义。
3.目前脊柱侧弯的筛查仍然采用人工评估的方法，存在效率低、主观性强、 成本高的缺点；而专业的脊柱侧弯评估可在医院或专业机构，通过拍摄x光 片计算cobb角的方法进行评估，存在设备价格昂贵、流程复杂等缺点。


技术实现要素：

4.本发明提供了一种基于人体骨骼关键点的脊柱侧弯评估方法，解决了现有 人工评估脊柱侧弯的方法效率低、主观性强、成本高等问题。
5.本发明可通过以下技术方案实现：
6.一种基于人体骨骼关键点的脊柱侧弯评估方法，从人体的正面图和侧面图 中提取对称分布的25个骨骼关键点，基于这些骨骼关键点，计算人体的正面 中立位线和侧面中立位线，以及脖子、肩膀和髋部所在的三角形，根据骨骼 关键点相对正面中立位线和侧面中立位线的偏移情况，以及各个三角形的倾 斜状态，完成对人体脊柱侧弯的评估。
7.进一步，所述25个骨骼关键点分别设置为0鼻子、1脖子、2右肩、3右 肘、4右腕、5左肩、6左肘、7左腕、8臀部中心、9右髋、10右膝、11右 踝、12左髋、13左膝、14左踝、15右眼、16左眼、17右耳、18左耳、19 左大趾、20左小趾、21左脚跟、22右大趾、23右小趾、24右脚跟，
8.对骨骼关键点中的0鼻子、1脖子、8臀部中心以及15右眼和16左眼的 中点、17右耳和18左耳的中点、2右肩和5左肩的中点、9右髋和12左髋的 中点、10右膝和13左膝的中点、11右踝和14左踝的中点进行拟合建立正面 中立位线；
9.对骨骼关键点中的1脖子、8臀部中心、13左膝、14左踝进行拟合建立侧 面中立位线；
10.脖子所在的三角形由0鼻子、1脖子和18左耳组成，肩部所在的三角形由 1脖子、8臀部和5左肩组成，髋部所在的三角形由1脖子、8臀部和12左髋 组成。
11.进一步，利用如下方程式，采用均方根误差rmse评估脊柱中立位的偏移 程度，
12.13.其中，yi表示0鼻子、1脖子、8臀部中心以及15右眼和16左眼的中点、 17右耳和18左耳的中点、2右肩和5左肩的中点、9右髋和12左髋的中点、 10右膝和13左膝的中点、11右踝和14左踝的中点，或者1脖子、8臀部中 心、13左膝、14左踝；
14.表示拟合得到的正面中立位线或者侧面中立位线上以0鼻子、1脖子、8 臀部中心以及15右眼和16左眼的中点、17右耳和18左耳的中点、2右肩和 5左肩的中点、9右髋和12左髋的中点、10右膝和13左膝的中点、11右踝 和14左踝的中点，或者1脖子、8臀部中心、13左膝、14左踝的横坐标为横 坐标时，对应的纵坐标；
15.利用方程式|θ
i-90
°
|，评估脊柱水平性的偏移程度，其中，θ1表示脖子所在 的三角形中∠18左耳0鼻子1脖子的角度值，θ2表示肩部所在的三角形中∠5 左肩1脖子8臀部的角度值，θ3表示髋部所在的三角形中∠1脖子8臀部12 左髋的角度值。
16.进一步，所述正面中立位线和侧面中立位线采用最小二项式法拟合获得， 采用openpose算法从人体的正面图和侧面图中提取25个骨骼关键点。
17.进一步，在进行人体的正面图和侧面图采集时，测试者的双脚岔开，其间 距与肩部相同，双臂自然下垂，眼睛平视前方。
18.本发明有益的技术效果在于：
19.(1)本发明所述的基于人体骨骼关键点的脊柱侧弯筛选评估方法，可以 对大众人群的脊柱健康情况进行早期的筛查和评估，做到及早发现及早进行 康复治疗。
20.(2)本发明所述的基于人体骨骼关键点的脊柱侧弯筛选评估方法，成本 低操作简单，可实时采集图片进行评估，采集图片时仅需要获取人体的正面 图和侧面图各一张即可。
21.(3)本发明将openpose人体骨骼关键点提取技术与人工目测脊柱侧弯评 估方法相结合，提出了基于人体骨骼关键点的脊柱侧弯筛选评估算法，可以 大大提高脊柱侧弯筛选评估的效率，平均评估一个人仅需要30s。
22.(4)本发明不需要专业人员进行操作，可自行拍设正面图和侧面图输入 算法中便可得到检测结果，利于该方法的大众化推广。
附图说明
23.图1为本发明的现有脊柱侧弯类型示意图；
24.图2为本发明的总体流程示意图；
25.图3为本发明的人体骨骼关键点识别提取效果的示意图；
26.图4为本发明的构建的正、侧面中立位模型示意图，其中，(a)表示正面 中立位模型，(b)表示侧面中立位模型；
27.图5为本发明的三角形角度模型示意图。
具体实施方式
28.下面结合附图及较佳实施例详细说明本发明的具体实施方式。
29.近年来，在儿童、青少年以及成人中频繁出现不同程度的脊柱侧弯现象， 导致缺乏自信、抑郁倾向等心理问题严重的会产生自杀观念。侧弯筛查是治 疗该项疾病必备的前序环节，脊柱侧弯的早发现、早诊断、早治疗对全民健 康实现具有重要意义。
30.目前常见的脊柱侧弯类型有c型脊柱侧弯和s型脊柱侧弯，如图1所示， 不论哪种类型的脊柱侧弯最终都会引起各个关节点的不正常移动，例如c型 脊柱侧弯会导致左右肩和左右髋的高度明显不同。研究发现脊柱侧弯的人群 站立或行走时，人体的各个关节点会有不同程度的偏移，身体各个关节的角 度也与正常人不同，因此，能够利用人体关节点的坐标信息可以对脊柱侧弯 的程度进行评估。
31.考虑到openpose算法是一种多人2d姿态检测开源实时系统，是美国卡耐 基梅隆大学(cmu)基于卷积神经网络和监督学习并以caffe为框架开发的开 源库，配合coco数据集可以实现人体骨骼关节点精确识别，能够检测包括身 体、脚部、手部和面部等多个骨骼关键点的信息，因此，本发明提出了一种 基于人体骨骼关键点的脊柱侧弯评估方法利用openpose算法提取人体骨骼关 键点坐标信息，并通过骨骼关键点的特定位置关系进行脊柱侧弯筛查的方法， 从而为广大人群的脊柱侧弯筛查工作提出一种便捷性的解决方案，如图2所 示，从人体的正面图和侧面图中提取对称分布的25个骨骼关键点，基于这些 骨骼关键点，计算人体的正面中立位线和侧面中立位线，以及脖子、肩膀和 髋部所在的三角形，根据骨骼关键点相对正面中立位线和侧面中立位线的偏 移情况，以及各个三角形的倾斜状态，完成对人体脊柱侧弯的评估。这样， 只需要采集人体的正面图和侧面图，从中识别提取出对称分布的25个骨骼关 键点，经过后续中位线和三角形的计算，就可以快速完成人体脊柱侧弯的评 估，能够应用于大众人群的脊柱侧弯筛查工作，有利于脊柱侧弯的早发现、 早诊断、早治疗，对整个社会和全民健康均具有重要意义，与x射线、超声 波和目测法相比，采用普通相机搭配人体骨骼关键点检测的方法具有成本低、 无损伤、便携性强等优点。具体如下：
32.步骤s1、采集人体正面图像和侧面图像，采集这些人体图像时，人仅需要 自然站立，双脚岔开，其间距与肩部相同，双臂自然下垂，双手紧贴裤缝， 眼睛平视前方，拍照时的物距和其他相机参数需要保持不变；
33.步骤s2、处理采集来的人体图像使其像素变为480*640大小，并输入 openpose算法中识别提取人体骨骼关键点，共25个，成对称分布，编号为 0-24，与人体各部位呈一一对应关系，如图3所示；
34.步骤s3、对所获取的骨骼关键点坐标信息进行分析，从而得到正侧面脊柱 中立位模型和需要构建的三角形模型，通过分析得到人体脊柱的侧弯参数；
35.1.正面中立位偏移量计算：
36.拟合正面中立位线需要用到openpose算法提取的0、1、2、5、8、9、10、 11、12、13、14、15、16、17、18共15个关节点，其中15-16、17-18、2-5、 9-12、10-13、11-14分别为一对，共计6对，利用公式1提取这6对关节点 的中点，自上而下分别记为25、26、27、28、29、30，然后，将25-30与0、 1、8一共9个点利用最小二乘法及公式2拟合出一条直线y＝ax+b，如图4(a) 所示，其中，参数a由公式2求得，参数b由公式3求得，并将此直线定义 为正面中立位线。考虑到最小二乘拟合直线时直线越接近垂直拟合效果越差 的缺点，在拟合直线之前需要将上述的9个点的x的坐标值与y的坐标值互 换，这样就可以解决这一问题。
37.[0038][0039][0040]
然后，再利用点到直线的距离公式4，求得上述9个骨骼关键点到正面中 立线的距离中最远距离smax，最后由公式5求得均方根误差rmse，这里将rmse 定义为脊柱正面中立位偏移量，这是一个平均量，而最远距离smax则表示9 个骨骼关键点中出现偏差最大的关键点位置，脊柱侧弯对人体影响最大的位 置，其中，yi表示0鼻子、1脖子、8臀部中心以及15右眼和16左眼的中点、 17右耳和18左耳的中点、2右肩和5左肩的中点、9右髋和12左髋的中点、 10右膝和13左膝的中点、11右踝和14左踝的中点，或者1脖子、8臀部中 心、13左膝、14左踝；表示拟合得到的正面中立位线或者侧面中立位线上 以0鼻子、1脖子、8臀部中心以及15右眼和16左眼的中点、17右耳和18 左耳的中点、2右肩和5左肩的中点、9右髋和12左髋的中点、10右膝和13 左膝的中点、11右踝和14左踝的中点，或者1脖子、8臀部中心、13左膝、 14左踝的横坐标为横坐标时，对应的纵坐标。
[0041][0042][0043]
另外骨骼关键点4和7在垂直方向的高度差
△
h也可以很好的反应脊柱侧 弯的程度。
△
h越大说明侧弯程度越大，脊柱越不健康，需要到医院做进一步 检查和治疗。
[0044]
δh＝|y
4-y7|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0045]
2.侧面中立位偏移量计算
[0046]
拟合侧面中立位线需要用到openpose算法提取的1、8、13、14共4个关 节点利用公式2-3求得参数a1、b1得到直线y1＝a1x+b1，再利用公式4、5得到 各骨骼关键点1、8、13、14偏离侧面中立位线的最远距离smax1和侧面脊柱 中立位偏移量rmse1，其中，侧面中立位模型如图4(b)所示。
[0047]
3.水平性评估
[0048]
a.构造三角形：将openpose算法提取的1、5、8三个骨骼关键点提取出 来构造出
△
abc，其中，a对应骨骼关键点1、b对应骨骼关键点5、c对应骨 骼关键点8，则∠bac的度数可以衡量左肩的水平性。
[0049]
b.计算三角形边长：利用两点之间的距离公式7得到三角形3边的边长a、 b、c。
[0050][0051]
c.如图5所示，将上步求得的a、b、c直接将带入公式8求角θ1度数。
[0052][0053]
如图5，利用同样的方法取骨骼关键点1(b1)、8(a1)、12(c1)构造
△ꢀ
a1b1c1，求角∠b1a1c1；取骨骼关键点1(b2)、0(a2)、18(c2)构造
△
a2b2c2， 求角∠b2a2c2，最终获取∠
bac(θ1)、∠b1a1c1(θ2)和∠b2a2c2(θ3)三个 角的度数，从而完成左肩、左髋、脖子的水平性评估。
[0054]
为了方便描述水平性的误差，以θ1、θ2、θ3与90
°
的差的绝对值作为评估脊 柱侧弯程度最终数据，计算公式如下：
[0055]
δθi＝|θ
i-90
°
|,i＝1,2,3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0056]
步骤s3、对获取的脊柱侧弯参数进行分析，从而获取脊柱侧弯的分析报告。
[0057]
该脊柱侧弯的分析报告参数包括rmse、rmse1、
△
θi、
△
h，且以上参数 值越大说明脊柱侧弯的程度越严重。
[0058]
为了证明本发明提出的方法的可行性，设计了不同人群的脊柱中立位偏移 量、手部垂直方向高度差和特定关节角度差的对比试验。实验所需的硬件系 统为：kinect v2相机，联想y9000k 2019se笔记本电脑等；软件为openpose 系统，在visual studio 2019上运行。
[0059]
选择正常人、患有轻度脊柱侧弯、患有中度脊柱侧弯的人各20名作为被 试者，按照上文所述步骤获取人体正面和侧面骨骼关键点坐标信息，然后利 用本发明所提出的方法对坐标信息进行处理，分别计算出每个被试者的正面 rmse、smax、
△
θ1、
△
θ2、
△
θ3、
△
h值和侧面rmse、smax1值，不同人群获 得试验结果，如表1所示：
[0060]
表1不同人群的特征值计算结果
[0061][0062]
由实验数据可以发现不同人群的正面rmse、smax、
△
θ1、
△
θ2、
△
θ3、
ꢀ△
h值和侧面rmse、smax1值存在明显的不同，根据这些不同可以对正常人、 患有轻度脊柱侧弯和患有中度脊柱侧弯的人进行区分；脊柱偏离中立位的均 方根误差超过2.4、手部垂直方向高度差超过6.4个像素或肩倾角
△
θ1超过 2.50时脊柱有可能发生侧弯。本方法可以作为大众脊柱侧弯筛查的方法被运 用到实际当中。为了进一步说明本方法的优越性表2将现有脊柱侧弯的筛查 评估与本文所提方法进行对比。
[0063]
表2脊柱侧弯不同筛查评估方法的优缺点及灵敏度比较
[0064][0065]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理 解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这 些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求 书限定。