一种基于残差网络的Cobb角检测方法

本发明涉及目标检测领域，具体为一种基于残差网络的cobb角检测方法。

背景技术：

1、随着计算机视觉相关技术的不断突破与创新，cobb角检测算法在医学影像处理领域取得了重大进展。cobb角是一种用于测量脊柱侧弯程度的角度指标，对于脊柱侧弯疾病的诊断和治疗具有重要意义。传统的cobb角检测方法需要医生手动测量，存在主观性和误差较大的问题。

2、近年来，基于深度学习的cobb角检测算法得到了广泛应用。2019padmini等提出了一种基于深度学习和图像分析技术的cobb角测量方法，能够有效地提高cobb角测量的准确性和稳定性。2020li等提出了一种基于深度学习的cobb角测量方法，结合了图像分割和回归技术，能够有效地提高cobb角测量的准确性和稳定性。目前主流研究采用基于卷积神经网络的目标检测算法，如r-cnn、fast r-cnn、faster r-cnn、ssd、yolo、yolov3等，其中one-stage检测算法因其高效性和精度优势成为了研究热点。此外，还有一些基于分割和回归的方法，如u-net和fcn等。这些算法能够自主完成对cobb角特征的学习，提取关键信息，因而具有较强的鲁棒性和准确性。随着技术的不断创新和发展，cobb角检测算法在临床应用中将会发挥更加重要的作用。

3、目前解决相关问题现有技术如下：

4、申请号cn202111053719.8，申请名称一种基于脊柱分层重建的cobb角自动测量方法，该申请公开了一种基于脊柱分层重建的cobb角自动测量方法，包括以下步骤：(1)输入横断位ct序列图像，对dicom原始数据进行预处理，分层重建出叠加矢状图，采用模板匹配的方法选定脊柱的矢状范围，再选取中间三分之一位置区间重建骨骼冠状图；(2)基于深度学习网络，训练基于骨骼冠状图的椎骨分割模型，采用该模型对脊柱的每一节椎骨进行检测分割并阈值处理优化椎骨间隙；(3)提取每节椎骨的中心点，使用六次多项式对中心点集进行曲线拟合得出脊柱曲线；(4)通过计算脊柱曲线中各个特征点之间的曲率，迭代求出cobb角。

5、其采用的是分层法，重建出叠加矢状图，采用模板匹配的方法选定脊柱的矢状范围，再选取中间三分之一位置区间重建骨骼冠状图。

6、识别基于深度学习网络，训练基于骨骼冠状图的椎骨分割模型，采用该模型对脊柱的每一节椎骨进行检测分割并阈值处理优化椎骨间隙。而本技术是通过残差网络的训练，通过模型先定位椎体中心，然后在该基础上通过学习到的角度偏移量追踪椎体的四个角标志。检测采用特征点聚焦检测方法，与基于分割的方法对比结果表明，该方法在低对比度和模糊x射线图像中的cobb角测量和特征点检测方面具有一定的优势。

7、申请号cn202011568345.9，申请名称一种自动测量脊柱侧弯cobb角的方法及其系统，其包括：s1：采集x光图像；s2：通过神经网络单元提取所述x光图像的多个椎体边界点；s3：基于所述多个椎体边界点生成各椎体对应的椎体边界信息；s4：基于全部所述椎体边界信息，提取所述椎体对应的椎体终板；s5：基于全部所述椎体终板生成脊柱侧弯cobb角。本发明通过使用神经网络单元自动检测x光图像的多个椎体边界点，通过椎体边界点提取所述椎体对应的椎体终板，并通过全部所述椎体终板生成脊柱侧弯cobb角，实现了自动完成脊柱侧弯cobb角的检测，避免了传统的cobb角中需人工标定及计算的步骤，降低了人为因素对检测结果的影响，有效提升了脊柱侧弯cobb角的检测精度；

8、其采用神经网络单元提取所述x光图像的多个椎体边界点，再基于所述多个椎体边界点生成各椎体对应的椎体边界信息，基于全部所述椎体边界信息，提取所述椎体对应的椎体终板。本文提出的中心点热图构造方法，通过直接定位椎体中心，使用卷积神经网络学习区分不同的椎体。在定位椎体后，本文使用卷积层回归每个椎体的四个角标志，更加准确的保持了特征点的相对顺序。

9、申请号cn202211005578.7，申请名称一种脊椎cobb角测量方法、装置、设备及存储介质，其提供了一种脊椎cobb角测量方法、装置、设备及存储介质，通过将待测图像输入脊椎定位模型，以获得多个目标椎体的位置坐标；其中，所述脊椎定位模型的训练数据为多个训练图像以及与所述多个训练图像相对应的各个训练椎体的旋转参数；通过所述多个目标椎体的位置坐标，确定待测图像中的脊椎cobb角，提高了脊椎椎体检测的准确性与效率，从而提高了脊椎cobb角的检测效率，

10、其采用的将待测图像输入脊椎定位模型，以获得多个目标椎体的位置坐标；其中，所述脊椎定位模型的训练数据为多个训练图像以及与所述多个训练图像相对应的各个训练椎体的旋转参数，所需要的参数很多。本技术提出使用基于监督学习的方法去解决这一问题，通过卷积层学习更稳定的脊柱特征，在卷积层使用跳过连接将深层特征与浅层特征结合起来，从而可以利用高层语义信息和低层精细细节，从而无需使用大量参数训练。

11、申请号cn202011070304.7，申请名称一种基于人工智能-图像识别的脊柱全长x线片测算脊柱侧弯cobb角的系统及方法，其包括脊柱x线图像预处理模块、图像深度学习网络模块、脊柱x线椎体图像分割模块、样条函数拟合重建模块、cobb角测算模块与数据标注模块、自动测算cobb角的软件系统界面模块。本发明还公开一种基于人工智能-图像识别的脊柱全长x线片测算脊柱侧弯cobb角的方法。上述系统和方法可真正意义上实现批量自动测算脊柱cobb角的功能，自图片输入至cobb角自动测算的整个过程无需工作人员再进行额外的操作，测量精准且耗时短，避免了手工或者半手工的方式进行脊柱cobb角测量所引入的误差，具有更好的可靠性。

12、其采用脊柱x线图像预处理模块、图像深度学习网络模块、脊柱x线椎体图像分割模块、样条函数拟合重建模块、cobb角测算模块与数据标注模块、自动测算cobb角的软件系统界面模块，所需要图像输入分辨率较高，且分割方法定位不够准确。本文采用残差网络提出了一种新的思想，即每个新加入的层应该更容易地包含原始函数作为其元素之一，从而避免了上述情况的出现。即在残差块(residual blocks)中，输入可以通过跨层数据线路更快地向前传播，使得新的深度神经网络能够更好地学习到新的特征，从而提高了性能。

技术实现思路

1、为了解决以上问题，本发明提出一种基于残差网络的cobb角检测方法，通过建立模型定位椎体中心，在该基础上通过学习到的角度偏移量追踪椎体的四个角标志，能够保证椎体特征点的相对顺序。与基于回归、分割的方法对比结果表明，该方法在低对比度和模糊x射线图像中的cobb角测量和特征点检测方面具有一定的优势。

2、为实现上述目的，本发明采取的技术方案是：

3、一种基于残差网络的cobb角检测方法，具体步骤如下：

4、步骤1，用户上传脊柱ct图片到服务器；

5、步骤2，对输入图像进行预处理；

6、步骤3，残差网络训练过程具体表示为：

7、令为通用常数，经预处理的灰度化图片真实分类标签对残差网络输入层进行无偏差的卷积构成：

8、

9、其中矩阵中元素待确定，输出特征y0为一下模块的输入数据：

10、yp+1＝yp+f(yp，ωp)，p＝0，…，p-1

11、其中yp表示第p个残差块的输入特征，f是特征复合函数，ωp为可调参数，在训练时调整，表示网络块总数；

12、通过矩阵乘法和误差运算，脊柱图像的深层特征yp在输出层会转变成m×1维向量，通过softmax归一化为残差网络输入图像x分类预测概率；

13、

14、其中是权重矩阵，是偏差向量，σ为softmax函数，整体特征训练过程优化为：

15、在条件

16、y0＝s(x)，yp+1＝yp+f(yp，ωp)，p＝0，…，p-1

17、下最小损失函数

18、

19、其中||·||为距离测度，用于对比训练集ω中图片x的真实分类h(x)和预测分类m(yp)间的差异，通过多次训练迭代和参数调整，使用测试数据集评估椎骨特征点模型；

20、步骤4，将步骤2处理后的灰度图像大小固定为1024×512，使用步骤3训练的resnet34 conv1-5来提取输入图像的高级语义特征，然后，使用跳过连接将深层特征与浅层特征结合起来；

21、步骤5，使用卷积层构建中心点热图：

22、使用中心点热图进行物体检测和姿势联合定位，对于每个点k，其地面真值是一个未归一化的二维高斯圆盘，用来表示，椎体大小决定半径σ的大小，根据focalloss的变式去优化构建参数；

23、

24、步骤6，使用卷积层构建中心偏移图：

25、网络的输出特征图与输入图像相比缩小，输入图像上的一个位置(x,y)被映射到缩小后的特征映射的位置其中n是降采样因子，从缩小的特征图中提取中心点后，使用中心偏移量将这些点映射到原始输入图像，中心偏移量被定义为：

26、

27、步骤7，使用对称平均绝对百分比误差(smape)来评估测量的cobb角的准确性:

28、

29、步骤8，通过比较预测的椎骨角标位置和实际测量的角标位置来评估该算法的准确性，平均检测误差为：

30、

31、作为本发明进一步改进，所述步骤2预处理过程采用加权平均法对图像进行灰度化处理，假设三个通道的权值分别为wr、wg、wb，对于每个像素点(i，j),其在r、g、b通道的值分别为r(i，j)、g(i，j)、b(i，j)，其他指标的加权值为k则该像素点的灰度值计算公式表示为：

32、gray(i，j)＝wrr(i，j)+wgg(i，j)+wbb(i，j)+k。

33、有益效果：

34、本发明公开一种基于残差网络的cobb角检测方法。cobb角是医生对患者脊柱康复情况评估的重要指标，在然而临床实践中手工进行脊柱侧凸程度的评估是非常耗时并且不够精确的，基于图像处理的自动检测是未来发展的趋势。然而当前基于回归或分割的方法存在识别准确率不高、检测效率低的问题，因此提高cobb角检测的精度和速度对于脊柱临床康复评估具有重要意义。本发明提出了一种新的cobb角聚焦检测方法，首先建立模型定位椎体中心，然后在该基础上通过学习到的角度偏移量追踪椎体的四个角标志，这种方法能够保证椎体特征点的相对顺序。与基于回归、分割的方法对比结果表明，该方法在低对比度和模糊x射线图像中的cobb角测量和特征点检测方面具有一定的优势。本发明采用miccai、ski10数据集进行结果验证，实验结果表明，本文算法的平均精准率提高9％，检测速度可达30fps。