一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法与流程

1.本发明提供了一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法，属于医学x光图像处理技术领域。


背景技术：

2.脊柱侧弯是一种脊柱的三维畸形，包括冠状位、矢状位和轴状位上的序列异常，通常发生于颈椎、胸椎或者胸部与腰部之间的脊椎，若侧弯出现在脊柱的一侧，呈现“c”型，若侧弯出现在脊柱的双侧，呈现“s”型。脊柱侧弯多发生于青春期，随着年龄的增加症状逐渐加剧，严重者将影响呼吸、心脏功能，甚至出现脊髓压迫以及瘫痪现象。而且由于早期脊柱侧弯对身体的机能影响不明显，因此不易察觉，若未能及时进行有效干预，后期将对人体器官机能和形态造成极大影响。近年来，已发现很多疾病与脊柱侧弯有关，并且脊柱侧弯的发病率逐年上升，已然成为危害青少年和儿童身心健康的疾病。
3.脊柱侧弯的严重程度大多通过对侧弯角度的测量确定，而角度的测量常采用cobb角测量方法，cobb角是衡量脊柱侧弯的一个标准。传统的cobb角测量方法需要医生利用马克笔和量角器在脊柱x光图像上手工找到脊柱侧弯的上端椎和下端椎进行测量，测量结果误差大并且需要花费大量时间，检测效率低。并且脊柱侧弯的类型需要人工确定，这就需要检测者具有较高的专业知识水平，但是不同等级的检测人员由于经验不同，脊柱侧弯检测的结果也将存在一定的偏差，因此传统的cobb角测量方法和脊柱侧弯类型人工判断无法满足人们的医疗需求。脊柱侧弯的类型根据脊柱侧弯顶锥所在脊柱中的位置确定，对医生来说，确定脊柱侧弯类型需要人工确定顶锥的位置，判断速度较慢。
4.随着人工智能ai技术的发展，基于ai辅助检测脊柱侧弯展现了巨大的优势。因此本发明通过改进mask r-cnn网络快速准确地检测出目标脊柱椎体的关键点信息，并利用骶骨中垂线进行数学计算实现了批量自动测量脊柱侧弯角度，并能快速准确地确定脊柱侧弯类型，避免了传统手工检测对脊柱侧弯角度和类型判断结果的影响，有效提升了脊柱侧弯检测的效率和准确度。


技术实现要素：

5.本发明针对现有脊柱侧弯角度检测方法和脊柱侧弯类型检测方法需要人工操作导致误差较大的问题，提出了一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法，能够辅助医生准确快速地检测出脊柱侧弯角度cobb角和脊柱侧弯类型。
6.为了解决上述技术问题，本发明采用的技术方案为：一种脊柱椎体关键点检测及脊柱侧弯识别装置，所述装置包括：脊柱检查x线仪器，用于获取目标脊柱全长x光图像；处理器，所述处理器通过导线与脊柱检查x线仪器相连，所述处理器包括信息确定模块和计算分析模块，所述信息确定模块通过改进的mask r-cnn网络提取目标脊柱椎体的关键点信息，并确定脊柱椎体中心点和骶骨中垂线；
所述计算分析模块用于对脊柱侧弯进行识别，根据各目标脊柱椎体的关键点信息和中心点，从上至下依次计算经过脊柱椎体中心点的脊柱椎体上垂线和下垂线分别与骶骨中垂线的夹角，结合目标脊柱椎体的名称信息生成上垂线夹角序列和下垂线夹角序列；根据上垂线夹角序列和下垂线夹角序列循环计算不同脊柱椎体的上垂线夹角与下垂线夹角之和；基于阈值确定脊柱侧弯cobb角和顶锥，并基于顶锥的名称信息快速得到脊柱侧弯类型。
7.一种脊柱椎体关键点检测及脊柱侧弯识别方法，所述方法包括信息确定阶段和脊柱侧弯识别阶段，具体包括：信息确定阶段：s1：将待测脊柱全长x光图像经过改进的mask r-cnn网络提取目标脊柱椎体的关键点信息；s2：根据目标脊柱椎体的关键点信息确定脊柱椎体中心点和骶骨中垂线；脊柱侧弯识别阶段：s3：根据各目标脊柱椎体的关键点信息和中心点，从上至下依次计算经过脊柱椎体中心点的脊柱椎体上垂线和下垂线分别与骶骨中垂线的夹角，结合目标脊柱椎体的名称信息生成上垂线夹角序列和下垂线夹角序列；s4：根据上垂线夹角序列和下垂线夹角序列循环计算不同脊柱椎体的上垂线夹角与下垂线夹角之和；s5：基于阈值确定脊柱侧弯cobb角和顶锥，并基于顶锥的名称信息快速得到脊柱侧弯类型。
8.所述s1中将待测脊柱全长x光图像经过改进的mask r-cnn网络提取目标脊柱椎体的关键点信息的具体步骤如下：s1.1：获取待测脊柱全长x光图像；s1.2：利用带有标注的脊柱全长x光图像数据训练生成的改进后的mask r-cnn网络提取目标脊柱椎体的关键点信息；所述改进后的mask r-cnn网络结构为：将原始mask r-cnn网络中的主干特征提取网络用repvgg网络和fpn网络耦合的网络替换，repvgg网络包含两种残差分支；fpn网络融合repvgg网络提取出的不同分辨率的特征图；（2）将原始mask r-cnn网络中的mask分支进行改进，原始mask分支输出实例的掩膜图，用于不同实例的分割，将mask分支的训练目标变为单像素关键点，即将脊柱椎体关键点的位置信息建模为one-hotmask，并预测出98个mask，对应98个目标脊柱椎体的关键点；（3）将原始mask r-cnn网络的损失函数进行改进，将mask分支的损失变为目标脊柱椎体关键点检测的均方误差损失，则修改后的网络损失函数为l=l
cls
+l
box
+l
key
，其中l
cls
为目标分类分支损失，l
box
为边框回归分支损失，l
key
为关键点检测分支损失，基于损失函数训练生成适用于目标脊柱椎体关键点的检测器。
9.所述脊柱全长x光图像和目标脊柱椎体的关键点信息为：所述脊柱全长x光图像是患者冠状位脊柱全长x光片，包含患者头部和整个背部，用于评估脊柱冠状面的侧弯严重程度，拍摄时患者处于自然站立姿势，不搀扶外物，双上肢
在身体两侧自然下垂；所述目标脊柱椎体的关键点信息为颈椎椎体、胸椎椎体和腰椎椎体的各四个顶点以及骶椎两个上关节突共98个关键点数据和对应的目标脊柱椎体的名称信息。
10.所述s2中根据目标脊柱椎体的关键点信息确定脊柱椎体中心点和骶骨中垂线的具体步骤如下：s2.1：根据目标脊柱椎体的四个顶点，首先确定相邻顶点的中点，然后做非相邻两中点的连线，交点即为目标脊柱椎体的中心点；s2.2：根据所骶椎两个上关节突确定中点，并经过中点得到垂直于水平方向的垂线，所述垂线即为骶骨中垂线。
11.所述s3中根据各目标脊柱椎体的关键点信息和中心点从上至下依次计算经过脊柱椎体中心点的脊柱椎体上垂线和下垂线分别与骶骨中垂线的夹角，结合名称信息生成上垂线夹角序列和下垂线夹角序列包括：根据所确定的目标脊柱椎体的顶点与中心点利用几何计算分别得到目标脊柱椎体的上垂线与下垂线，进一步得到与骶骨中垂线之间的夹角，从上至下依次收集上垂线夹角和下垂线夹角，并与目标脊柱椎体的名称信息一一对应，生成上垂线夹角序列和下垂线夹角序列。
12.所述s4中根据夹角序列循环计算不同脊柱椎体的上垂线夹角与下垂线夹角之和的步骤包括：s4.1：在上垂线夹角序列中选择一个上垂线夹角，包括夹角数值与对应的名称信息；s4.2：在下垂线夹角序列中，选择所述名称信息之后的夹角值作为新的下垂线夹角序列；s4.3：依次计算所选上垂线夹角与新的下垂线夹角序列之和；s4.4：循环重复步骤s4.1~s4.3直至所有上垂线夹角都被选择，生成一系列夹角和序列，所述夹角和序列包括夹角和数值，以及对应的两个脊柱椎体名称信息。
13.所述s5中基于阈值确定脊柱侧弯cobb角和顶锥，并基于顶锥的名称信息快速得到脊柱侧弯类型的步骤包括：s5.1：由于人体脊柱存在正常的生理弯曲，因此设定角度阈值，夹角和序列中大于角度阈值的即为脊柱侧弯角度cobb角，并得脊柱侧弯角度cobb角到对应的两个脊柱椎体名称信息；s5.2：根据cobb角和脊柱名称信息确定脊柱侧弯顶椎的名称信息；s5.3：根据确定的脊柱侧弯顶锥名称信息快速确定脊柱侧弯类型。
14.所述根据确定的脊柱侧弯顶锥名称信息快速确定脊柱侧弯类型的步骤如下：若所述脊柱侧弯顶锥名称信息为c1~c6之一，则脊柱侧弯类型为颈弯；若所述脊柱侧弯顶锥名称信息为c7~t1之一，则脊柱侧弯类型为颈胸弯；若所述脊柱侧弯顶锥名称信息为t2~t11之一，则脊柱侧弯类型为胸弯；若所述脊柱侧弯顶锥名称信息为t12~l1之一，则脊柱侧弯类型为胸腰弯；若所述脊柱侧弯顶锥名称信息为l2~l4之一，则脊柱侧弯类型为腰弯。
15.所述利用带有标注的脊柱全长x光图像训练生成的改进后的mask r-cnn网络的训
练步骤包括：s1.2.1：采集脊柱全长x光图像，并人工标注目标脊柱椎体的关键点数据；s1.2.2：对网络输入的带标注数据的脊柱全长x光图像进行预处理，调整图像的尺寸为固定大小，并利用非线性灰度增强改进的clahe算法增强图像对比度来抑制噪声；s1.2.3：将预处理后的图像输入到repvgg+fpn主干特征提取网络中进行特征提取生成特征图；s1.2.4：特征图输入进rpn网络，并根据特征图的语义信息确立roi区域，输出锚点候选窗口，利用滑窗操作在真实值上根据重叠度和非极大值抑制保留得分最高的候选框；然后经过roi align通过双线性插值操作依次将原图和特征、特征图和固定特征进行像素值的一一对应，并保留小数位的像素值计算结果；s1.2.5：依次经过两个全连接层分别进行目标分类和边框回归计算，并行经过全卷积网络进行脊柱椎体关键点检测，并计算损失函数和更新学习率，通过反向传播调整各层的权重参数；s1.2.6：重复训练s1.2.2~s1.2.5，直至训练结束，输出权重文件。
16.本发明相对于现有技术具备的有益效果为：（1）使用repvgg网络改进原始mask r-cnn的主干特征提取网络，在提高特征提取准确率的前提下提升了推理效率，实现了精度和效率兼得；改变mask分支，将其训练目标变为单像素关键点，使mask r-cnn网络适用于目标脊柱椎体的关键点信息的提取，并且关键点信息包括顶点和名称信息；（2）通过数学计算能准确确定脊柱侧弯角度cobb角，进一步确定脊柱侧弯区域和顶锥，并通过脊柱侧弯顶锥名称信息快速确定脊柱侧弯的类型，整个过程不再需要医生人工操作，实现了自动准确快速地脊柱侧弯检测，避免了人工测量脊柱侧弯角度cobb角产生误差和人工确定脊柱侧弯类型对知识储备的要求，有效提升的脊柱侧弯检测的效率和精确度。
附图说明
17.下面结合附图对本发明做进一步说明：图1为本发明的方法流程图；图2为本发明改进的mask r-cnn网络结构。
具体实施方式
18.如图1至图2所示，本发明为了解决传统的脊柱侧弯检测方法需要人工手动测量，受医生的主观经验影响较大的问题，提出了一种基于改进的mask r-cnn网络实现了目标脊柱椎体的关键点信息提取，通过几何计算快速准确地确定脊柱侧弯角度cobb角，并通过脊柱侧弯顶锥名称信息快速确定脊柱侧弯的类型。
19.如图1为本发明基于改进的mask r-cnn实现脊柱椎体关键点检测及脊柱侧弯识别的流程图，本发明的技术方案包括信息确定阶段（s1~s2）和脊柱侧弯识别阶段（s3~s5），实施例的具体步骤如下：s1、将待测脊柱全长x光图像经过改进的mask r-cnn网络提取目标脊柱椎体的关
键点信息；s2、根据目标脊柱椎体的关键点信息确定脊柱椎体中心点和骶骨中垂线；s3、根据各目标脊柱椎体的关键点信息和中心点从上至下依次计算经过脊柱椎体中心点的脊柱椎体上垂线和下垂线分别与骶骨中垂线的夹角，结合名称信息生成上垂线夹角序列和下垂线夹角序列；s4、根据所述夹角序列循环计算不同脊柱椎体的上垂线夹角与下垂线夹角之和；s5、基于阈值确定脊柱侧弯cobb角和顶锥，并基于顶锥的名称信息快速得到脊柱侧弯类型。
20.具体地，步骤s1首先获取待测脊柱全长x光图像，然后输入利用带有标注的脊柱全长x光图像训练生成的改进后的mask r-cnn网络中提取得到目标脊柱椎体的关键点信息。
21.在本实施例中，所述待测脊柱全长x光图像是患者冠状位脊柱全长x光片，用于评估脊柱冠状面的侧弯严重程度，拍摄时患者处于自然站立姿势，不搀扶外物，双上肢在身体两侧自然下垂，包括患者的头部和整个背部。
22.在本实施例中，所述目标脊柱椎体的关键点信息为脊柱椎体顶点和脊柱椎体名称信息，所述脊柱椎体顶点包括c1~c7，t1~t12，l1~l5这24个目标脊柱椎体的四个顶点、骶骨两个上关节突，共98个关键点；所述脊柱椎体名称信息从上至下依次为c1、c2、c3、c4、c5、c6、c7、t1、t2、t3、t4、t5、t6、t7、t8、t9、t10、t11、t12、l1、l2、l3、l4、l5。
23.更具体地，所述改进的mask r-cnn网络结构如图2所示，改进具体内容如下：（1）图像预处理：改进的mask r-cnn网络中，图像预处理部分首先对输入图像进行尺寸调整，固定图像大小；然后利用非线性灰度增强改进的clahe算法增强图像对比度，更好的强调图像的暗区域或亮区域，进而抑制图像噪声。
24.（2）主干特征提取网络：改进的mask r-cnn网络中的主干特征提取网络采用repvgg网络和fpn网络的耦合网络。repvgg网络主要依赖3
×
3卷积，使用步长为2的3
×
3卷积替换最大池化，网络共包含5个阶段，每个阶段的首个卷积的步长为2，repvgg网络包含两种残差分支，在训练时用多分支结构提升网络性能，推理时采用结构重参数思想变为单路结构，提高推理效率；fpn网络融合repvgg网络不同阶段提取出的不同分辨率的特征图，fpn结构利用不同大小目标分辨率不同的特征在不同尺度下生成合适的特征表示，听过融合多尺度信息，输出多尺度的特征图，实现精度和效率的兼得。
25.（3）mask分支结构：改进的mask r-cnn网络中的mask分支采用单像素关键点为训练目标，原始mask r-cnn网络在roi区域应用小的全卷积神经网络以pixel-to-pixel的方式预测分割mask，实现实例分割，本发明任务是在脊柱实例上检测关键点位置，因此，对于目标脊柱椎体的98个关键点，将脊柱椎体关键点的位置信息建模为one-hot mask，并预测出98个mask，将mask中关键点位置设置为1，其他设置为0，生成目标脊柱椎体的关键点。
26.（4）损失函数：改进的mask r-cnn网络中的损失函数根据修改后的mask分支确定。在训练期间，对于一个关键点经过softmax输出，采用均方误差损失，因此网络的整体损失变为l=l
cls
+l
box
+l
key
，其中l
cls
为目标分类分支损失，l
box
为边框回归分支损失，l
key
为关键点检测分支损失。
27.更具体地，所述利用带有标注的脊柱全长x光图像训练生成的改进后的mask r-cnn网络的训练过程如图2所示，训练具体步骤包括：
（1）采集脊柱全长x光图像，并人工标注目标脊柱椎体的关键点数据；（2）对网络输入的带标注数据的脊柱全长x光图像预处理，调整图像的尺寸为固定大小，并利用非线性灰度增强改进的clahe算法增强图像对比度来抑制噪声；（3）将得到预处理图像输入到repvgg+fpn主干特征提取网络中进行特征提取生成特征图；（4）输入进rpn网络根据特征图的语义信息确立roi区域，输出锚点候选窗口，利用滑窗操作在真实值上根据重叠度和非极大值抑制保留得分最高的候选框；然后经过roi align通过双线性插值操作依次将原图和特征、特征图和固定特征进行像素值的一一对应，并保留小数位的像素值计算结果，避免特征图与原始图像不对齐；（5）依次经过两个全连接层分别进行目标分类和边框回归计算，并行经过全卷积网络进行脊柱椎体关键点检测，并计算损失函数和更新学习率，通过反向传播调整各层的权重参数；（6）重复训练（2）~（5），直至训练结束，输出权重文件。
28.具体地，步骤s2首先根据所述目标脊柱椎体的四个顶点，确定相邻顶点的中点，并作非相邻两中点的连线，交点即为目标脊柱椎体的中心点；然后根据所述骶椎两个上关节突确定中点，经过中点得到垂直于水平方向的垂线，所述垂线即为骶骨中垂线。
29.在本实施例中，所述骶骨中垂线垂直向上，描绘了脊柱在冠状面上相对于骨盆的位置。
30.具体地，步骤s3根据所确定的目标脊柱椎体的顶点与中心点利用几何计算分别得到目标脊柱椎体的上垂线与下垂线与骶骨中垂线之间的夹角，从上至下依次收集上垂线夹角和下垂线夹角，并与目标脊柱椎体的名称信息一一对应，生成上垂线夹角序列和下垂线夹角序列。
31.具体的，步骤s4中循环计算的具体步骤如下：（1）选择一个上垂线夹角，包括夹角数值与对应的名称信息；（2）在下垂线夹角序列中，选择所述名称信息之后的夹角值作为新的下垂线夹角序列；（3）依次计算所选上垂线夹角与新的下垂线夹角序列之和；（4）循环重复步骤（1）~（2）直至所有上垂线夹角都被选择，生成一系列夹角和序列，所述夹角和序列包括夹角和数值，以及对应的两个脊柱椎体名称信息。
32.具体的，步骤s5中由于人体脊柱存在正常的生理弯曲，因此设定角度阈值，夹角和序列中大于角度阈值的即为脊柱侧弯角度cobb角，并根据对应的名称信息确定脊柱侧弯的顶锥，进而确定脊柱侧弯类型。
33.在本实施例中，顶锥的确定方法为根据脊柱侧弯角度cobb角对应的两个脊柱椎体名称信息在上垂线序列中选择一个子序列，在所述子序列中最小夹角值对应的脊柱椎体名称信息即为顶锥名称信息。
34.在本实施例中，脊柱侧弯的类型的确定方法为若所述脊柱侧弯顶锥名称信息为c1~c6之一，则脊柱侧弯类型为颈弯；若所述脊柱侧弯顶锥名称信息为c7~t1之一，则脊柱侧弯类型为颈胸弯；若所述脊柱侧弯顶锥名称信息为t2~t11之一，则脊柱侧弯类型为胸弯；若所述脊柱侧弯顶锥名称信息为t12~l1之一，则脊柱侧弯类型为胸腰弯；若所述脊柱侧弯顶锥
名称信息为l2~l4之一，则脊柱侧弯类型为腰弯。
35.关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及，由上述技术特征带来的常规使用方法、可预期技术效果，除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容，或属于本领域常规技术、公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
36.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。