基于深度学习的膝关节胫骨置换术后评估系统的制作方法

1.本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的膝关节胫骨置换术后评估系统。


背景技术：

2.在膝关节置换术中，股骨假体和胫骨假体的良好位置，是术后膝关节恢复良好活动度的基础。因此，术后往往需要准确测量股骨假体及胫骨假体相对于股骨和胫骨角度以及假体间的空间位置，从而进行术后评估。
3.现有方法通常为人工测量x线片上股骨假体的位置参数，该方法精准度低，且用不同角度或不同体位的x线来测量需反复接受放射线，耗费大量的时间、精力和财力。


技术实现要素：

4.本发明提供一种基于深度学习的膝关节胫骨置换术后评估系统，用以解决现有技术中膝关节胫骨置换术后评估难的缺陷，实现自动精准测量及评估。
5.本发明提供一种基于深度学习的膝关节胫骨置换术后评估系统，包括：
6.采集模块，用于获取术后膝关节图像；
7.识别模块，用于将所述术后膝关节图像输入至基于深度学习的识别模型，获得所述识别模型输出的所述术后膝关节图像中的胫骨和胫骨假体的轮廓区域；
8.计算模块，用于根据所述胫骨和胫骨假体的轮廓区域获得关键轴线，并根据所述关键轴线获得胫骨假体的角度参数；
9.评估模块，用于根据所述胫骨假体的角度参数获得术后评估结果。
10.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述关键轴线包括：胫骨髓腔中心线和胫骨平台边缘连接线。
11.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述计算模块，在确定髓腔中心线时，具体用于：
12.采用第一水平直线扫描胫骨的轮廓区域得到胫骨的两侧交点，根据所述胫骨两侧交点的中心点连线获得胫骨区域的胫骨髓腔中心。
13.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述计算模块，在确定胫骨平台边缘连接线时，具体用于：
14.采用两条竖直直线从胫骨假体的轮廓区域的两侧向中间扫描；
15.通过设置直线与假体交点个数阈值法，筛选出胫骨假体下边缘离散点；
16.根据所述胫骨假体下边缘离散点通过最小二乘法拟合得到所述胫骨平台边缘连接线。
17.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述胫骨假体的角度参数包括以下至少之一：
18.胫骨外翻角；
19.胫骨后倾角。
20.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述胫骨外翻角为所述胫骨假体平台边缘连线和胫骨髓腔中心线之间的夹角；
21.所述胫骨后倾角为所述胫骨假体平台边缘连线和所述胫骨髓腔中心线之间的夹角。
22.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述评估模块，在根据所述胫骨假体的角度参数获得术后评估结果时，具体用于：
23.将所述胫骨假体的角度参数与标准角度参数进行比对，获得术后评估结果。
24.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述标准角度参数包括：胫骨假体外翻角标准角度参数以及胫骨假体后倾角标准角度参数。
25.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述识别模型是通过标注有胫骨和胫骨假体轮廓范围的膝关节图像样本集训练得到的。
26.根据本发明提供的一种基于深度学习的膝关节胫骨置换术后评估系统，所述识别模型基于高分辨率网络hrnet卷积神经网络训练得到的。
27.本发明提供的基于深度学习的膝关节胫骨置换术后评估系统，结合深度学习算法，自动识别计算股骨假体空间位置和胫骨假体空间位置，从而获得自动测量术后膝关节假体的角度参数，进而准确评估手术的结果，节省大量的时间精力和财力。
附图说明
28.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明实施例提供的基于深度学习的膝关节胫骨置换术后评估方法的流程示意图；
30.图2是本发明实施例提供的基于深度学习的膝关节胫骨置换术后评估方法的角度参数示意图之一；
31.图3是本发明实施例提供的基于深度学习的膝关节胫骨置换术后评估方法的角度参数示意图之二；
32.图4是本发明实施例提供的基于深度学习的膝关节胫骨置换术后评估系统的结构示意图；
33.图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
34.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.下面对本发明提供的基于深度学习的膝关节胫骨置换术后评估系统进行描述，如
图4所示，本发明实施例公开了一种基于深度学习的膝关节胫骨置换术后评估系统，包括：
36.采集模块401，用于获取术后膝关节图像；
37.需要说明的是，术后膝关节图像包括全膝关节胫骨置换手术术后正位x线片或侧位x线片。
38.识别模块402，用于将所述术后膝关节图像输入至基于深度学习的识别模型，获得所述识别模型输出的所述术后膝关节图像中的胫骨和胫骨假体的轮廓区域；
39.计算模块403，用于根据所述胫骨和胫骨假体的轮廓区域获得关键轴线，并根据所述关键轴线获得胫骨假体的角度参数；
40.评估模块404，用于根据所述胫骨假体的角度参数获得术后评估结果。
41.本发明实施例的基于深度学习的膝关节胫骨置换术后评估系统，通过自动识别计算胫骨假体空间位置，从而获得自动测量术后膝关节假体的角度参数，进而准确评估手术的结果，相比于手动标注方法评价准确性更高，自动化能力更强。
42.在本发明的至少一个实施例中，所述关键轴线包括：胫骨髓腔中心线和胫骨平台边缘连接线。
43.在本发明的至少一个实施例中，所述计算模块403，在确定髓腔中心线时，具体用于：
44.采用第一水平直线扫描胫骨的轮廓区域得到胫骨的两侧交点，根据所述胫骨两侧交点的中心点连线获得胫骨区域的胫骨髓腔中心。
45.需要说明的是，胫骨髓腔中心线可以通过在模型预测的基础上去拟合出来，首先分割出胫骨部分，通过设置第一水平直线与胫骨部分相交，直线从图片上方向下扫过，每扫过图像的1/50距离，记录下胫骨与直线的两个交点(x1,y1)、(x2,y2)，然后通过中心公式可取得中心点坐标((x1+x2)/2)、((y1+y2)/2)，取得五十个点通过最小二乘法可以拟合出一条直线，将此直线延长便可以得到胫骨髓腔中心线。
46.在本发明的至少一个实施例中，所述计算模块403，在确定胫骨平台边缘连接线时，具体用于：
47.采用两条竖直直线从胫骨假体的轮廓区域的两侧向中间扫描；
48.通过设置直线与假体交点个数阈值法，筛选出胫骨假体下边缘离散点；
49.需要说明的是，所述直线与假体交点个数阈值法包括：以垂直于计算出的胫骨髓腔中心线的直线从与图像的第一个交点由下向上扫描，鉴于胫骨假体的形态特点，胫骨平台以上和以下与直线的交点个数会产生突变，筛选出胫骨假体下边缘离散点，可以通过统计交点个数，绘制成折线图直方图，取得相邻点连线斜率最大的位置即为胫骨平台的位置。
50.根据所述胫骨假体下边缘离散点通过最小二乘法拟合得到所述胫骨平台边缘连接线。
51.需要说明的是，胫骨平台边缘连接线可以通过两条竖直直线分别从图像左侧向右和从右向左扫描，扫描记录间隔为图像的1/60，通过设置直线与假体交点个数阈值法，筛选出胫骨假体下边缘离散点，这些离散点通过最小二乘法可以拟合出胫骨平台边缘连接线。
52.在本发明的至少一个实施例中，所述胫骨假体的角度参数包括以下至少之一：
53.胫骨外翻角；
54.胫骨后倾角。
55.在本发明的至少一个实施例中，所述胫骨外翻角为所述胫骨假体平台边缘连线和胫骨髓腔中心线之间的夹角；
56.所述胫骨后倾角为所述胫骨假体平台边缘连线和所述胫骨髓腔中心线之间的夹角。
57.在本发明的至少一个实施例中，所述识别模型是通过标注有胫骨和胫骨假体轮廓范围的膝关节图像样本集训练得到的。
58.需要说明的是，所述识别模型基于hrnet卷积神经网络训练得到，卷积神经网络包括经典的encoder-decoder结构，encoder部分通常以不同尺度的特征图串联在一起，这样必定会有特征的丢失，hrnet则采用多个阶段的高分辨率子网络并联连接，网络自始至终保持高分辨率，并对多个阶段的子网络进行多尺度融合，可以使网络提取到更多的图像特征信息。网络由基本的卷积模块，下采样操作和上采样操作构成。
59.本发明中识别模型在hrnet卷积神经网络的基础上根据硬件设备(rtx1080ti)做了一些微调，防止内存溢出。hrnet作为分割基础网络可以获得更好的分割效果。
60.在本发明的实施例中，优化器采用sgd，初始化学习率为1e-4
，在训练过程中使用指数学习率衰减策略，损失函数使用focal loss和dice loss。
61.在本发明的实施例中，模型评估指标为dice。dice的公式为：
[0062][0063]
其中，tp表示真实值为正样本模型也预测为正样本的数量，fp表示真实值为负样本模型预测为正样本的的数量，fn表示真实值为负样本模型也预测为负样本的数量。
[0064]
需要说明的是，在本发明的实施例中，正样本表示的是标注的胫骨，假体和轮廓区域(即要分割的区域)，负样本表示的是背景区域。
[0065]
在本发明的至少一个实施例中，所述评估模块404，在根据所述胫骨假体的角度参数获得术后评估结果时，具体用于：
[0066]
将所述胫骨假体的角度参数与标准角度参数进行比对，获得术后评估结果。
[0067]
在本发明的至少一个实施例中，所述标准角度参数包括：胫骨假体外翻角标准角度参数以及胫骨假体后倾角标准角度参数。
[0068]
需要说明的是，所述胫骨假体外翻角β(tibial valgus angle，tv)标准角度参数参考值在90
°±2°
，胫骨假体后倾角δ(tibial flexion angle，tf)标准角度参数根据假体类型，判断胫骨假体后倾角。
[0069]
若通过本发明获得的胫骨假体的角度参数落入标准角度参数的范围内的数量越多，则膝关节胫骨置换术后评估结果越好。即，若胫骨假体的角度参数全部落入标准角度参数的范围内，则膝关节胫骨置换术后评估结果最好；若胫骨假体的角度参数全部未落入标准角度参数的范围内，则膝关节胫骨置换术后评估结果最差。
[0070]
下面对本发明提供的基于深度学习的膝关节胫骨置换术后评估方法进行描述，下文描述的基于深度学习的膝关节胫骨置换术后评估方法可应用在上文描述的基于深度学习的膝关节胫骨置换术后评估系统中。
[0071]
结合图1，本发明还提供了一种基于深度学习的膝关节胫骨置换术后评估方法，包括：
[0072]
步骤101、获取术后膝关节图像；
[0073]
需要说明的是，术后膝关节图像包括全膝关节胫骨置换手术术后正位x线片或侧位x线片。
[0074]
步骤102、将所述术后膝关节图像输入至基于深度学习的识别模型，获得所述识别模型输出的所述术后膝关节图像中的胫骨和胫骨假体的轮廓区域；
[0075]
步骤103、根据所述胫骨和胫骨假体的轮廓区域获得关键轴线，并根据所述关键轴线获得胫骨假体的角度参数；
[0076]
步骤104、根据所述胫骨假体的角度参数获得术后评估结果。
[0077]
本发明实施例的基于深度学习的膝关节胫骨置换术后评估方法，通过自动识别计算胫骨假体空间位置和胫骨假体空间位置，从而获得自动测量术后膝关节假体的角度参数，进而准确评估手术的结果，相比于手动标注方法评价准确性更高，自动化能力更强。
[0078]
在本发明的至少一个实施例中，所述关键轴线包括：胫骨髓腔中心线以及胫骨平台边缘连接线。
[0079]
在本发明的至少一个实施例中，所述胫骨髓腔中心线根据如下方法获得：
[0080]
采用第一水平直线扫描胫骨的轮廓区域获得胫骨的两侧交点，根据胫骨两侧交点的中心点连线获得胫骨区域的髓腔中心线。
[0081]
在本发明的至少一个实施例中，所述胫骨平台边缘连接线根据如下方法获得：
[0082]
步骤301、采用两条竖直直线从胫骨假体的轮廓区域的两侧向中间扫描；
[0083]
步骤302、通过设置直线与假体交点个数阈值法，筛选出胫骨假体下边缘离散点；
[0084]
步骤303、根据所述胫骨假体下边缘离散点通过最小二乘法拟合得到所述胫骨平台边缘连接线。
[0085]
在本发明的至少一个实施例中，侧位x线片可以通过相同方法计算出胫骨髓腔中心线和胫骨假体平台边缘连接线。
[0086]
在本发明的至少一个实施例中，所述胫骨假体的角度参数包括以下至少之一：
[0087]
胫骨外翻角；
[0088]
胫骨后倾角。
[0089]
在本发明的至少一个实施例中，所述胫骨外翻角为所述胫骨假体平台边缘连线和胫骨髓腔中心线之间的夹角；所述胫骨外翻角β(tibial valgus angle，tv)如图2所示，其定义为胫骨假体平台与胫骨解剖轴的夹角；
[0090]
所述假体外翻角ω(valgus angle)为所述股骨假体外翻角和所述胫骨假体外翻角的和值；
[0091]
需要说明的是，常用假体包括ps假体和cr假体，ps假体是不保留后交叉韧带，具有髁间盒设计的一类股骨假体，cr假体是保留后交叉韧带，没有髁间盒的一类假体。按the knee society roentgenographic evaluation and scoring system(ksress)标准测量应该是股骨远端截骨面及假体的具有防旋柱的底部面，但是由于ps假体髁间盒的缘故很多学者直接选择在了股骨髁前唇的位置。但是很多厂家的前唇角度不一致，可能无法适应其他厂家的假体，不选择后髁的原因在于髁间盒的存在后髁髁间盒高度较高，预留的后髁距离很小无法确保精确度。cr假体暂不影响。因此本实施例选择股骨假体前唇获得股骨屈伸角。
[0092]
所述胫骨后倾角为所述胫骨假体平台边缘连线和所述胫骨髓腔中心线之间的夹
角；胫骨后倾角δ(tibial flexion angle，tf)如图3所示，定义为胫骨平台平面与胫骨解剖轴之间的夹角。
[0093]
在本发明的至少一个实施例中，所述识别模型是通过标注有胫骨和胫骨假体轮廓范围的膝关节图像样本集训练得到的。
[0094]
在本发明的至少一个实施例中，所述根据所述胫骨假体的角度参数获得术后评估结果，包括：
[0095]
将所述胫骨假体的角度参数与标准角度参数进行比对，获得术后评估结果。
[0096]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于深度学习的膝关节胫骨置换术后评估方法，该方法包括：
[0097]
获取术后膝关节图像；
[0098]
将所述术后膝关节图像输入至基于深度学习的识别模型，获得所述识别模型输出的所述术后膝关节图像中的胫骨和胫骨假体的轮廓区域；
[0099]
根据所述胫骨和胫骨假体的轮廓区域获得关键轴线，并根据所述关键轴线获得胫骨假体的角度参数；
[0100]
根据所述胫骨假体的角度参数获得术后评估结果。
[0101]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0102]
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习的膝关节胫骨置换术后评估方法，该方法包括：
[0103]
获取术后膝关节图像；
[0104]
将所述术后膝关节图像输入至基于深度学习的识别模型，获得所述识别模型输出的所述术后膝关节图像中的胫骨和胫骨假体的轮廓区域；
[0105]
根据所述胫骨和胫骨假体的轮廓区域获得关键轴线，并根据所述关键轴线获得胫骨假体的角度参数；
[0106]
根据所述胫骨假体的角度参数获得术后评估结果。
[0107]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下，即可以理解并实施。
[0108]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0109]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。