一种基于深度学习的骨折X光图像检测与三维呈现方法

一种基于深度学习的骨折x光图像检测与三维呈现方法
技术领域
1.本发明涉及图像识别处理技术领域，尤其涉及一种基于深度学习的骨折x光图像检测与三维呈现方法。


背景技术：

2.目前所用的影像资料为x片、ct、mri，由于传统骨折分型多是依据二维平面制定，不能精准反映人体复杂的骨折三维结构。骨科医生仅依据自身经验和二维平面骨折影像会对患者实际病理情况存在一定程度漏诊及误诊，从而会导致治疗方案的偏差。而在我国利用人工智能进行骨折识别诊断尚处于起步阶段，在骨折识别的算法构建上，已有的骨折识别算法不能识别隐匿性和特殊类型骨折，尤其是针对各关节部位的特殊骨折类型识别率较为低下。
3.另外，现有骨折分型标准涵盖了大部分常见的胫骨平台骨折类型，但在实际情况中，极少患者存在一种特殊的隐匿性骨折，无法被划分到schatzker类型中，本方案将其定义为k型骨折，如图1所示，k型骨折：胫骨平台髁间嵴骨折，为胫骨内、外侧髁关节面之间的骨性隆起处的骨折。
4.在骨折部位的识别诊断的信息传递媒介上，医师当前的主要信息获取方式是依靠二维平面的x光片或者ct片。但对于部分特殊骨折类型，这种传统的读片方式不能完全满足全方位骨折周围病灶的解读和精准手术方案的制定，
5.鉴于此，实有必要提供一种新型的基于深度学习的骨折x光图像检测与三维呈现方法以克服上述缺陷。


技术实现要素：

6.本发明的目的是提供一种基于深度学习的骨折x光图像检测与三维呈现方法，提升了对骨折识别的准确率和效率，解决了现有基层高年资骨科专科医师相对不足的难题。
7.为了实现上述目的，本发明提供一种基于深度学习的骨折x光图像检测与三维呈现方法，包括如下步骤：
8.s1：获取胫骨平台部位不同骨折类型的x光图像；
9.s2：通过多尺度检测网络对x光图像提取特征并进行检测和分型；
10.s3：采用通用神经辐射场对x光图像进行三维重建，提取表面网格；
11.s4：将表面网格转换为stl文件，存入工作站中进行混合现实呈现。
12.优选的，步骤s2还包括步骤s21：通过多尺度检测网络完成对输入的x光图像进行图像特征提取并进行识别是否存在有骨折的情况；其中，多尺度检测网络fd包括骨干网络fb、特征混合网络ff和回归网络fr。
13.骨干网络fb对输入图像提取多尺度特征，骨干网络fb具有个阶段，每个阶段i提取一尺度的特征图其中hi、wi是特征图的分辨率，ci是特征
图的通道数，骨干网络fb提取的所有尺度特征为
14.特征混合网络ff对多尺度特征p
(n)
的子集进行特征融合，其中m≤n，首先对多尺度特征p
(m)
进行采样操作，对于每个特征图将其他特征图插值到特征图的分辨率，然后特征图进行拼接，将拼接后特征送入fm网络进行融合，得到多尺度特征对m个特征分别进行如上融合操作，得到融合特征集合
15.回归网络fr分别对每个融合特征进行分类回归和坐标回归，对于融合特征回归网络fr首先通过se卷积神经网络，抑制噪声特征，然后通过全卷积神经网络输出结果其中k是骨折类型数，输出结果的每个通道分别表示：骨折的概率、骨折区域中心点的横坐标、骨折区域中心点的纵坐标、骨折区域的宽度、骨折区域的高度和各个类型骨折的概率。
16.骨干网络fb可以是任意类型的卷积神经网络，如：resnet、densenet等。回归网络fr输出的骨折类型在现有的schatzker骨折分型基础上纳入未被划入该分型的特殊k型骨折特征(k型骨折：胫骨平台髁间嵴骨折，为胫骨内、外侧髁关节面之间的骨性隆起处的骨折)，针对此型进行特征提取，通过算法构建全面涵盖胫骨平台所有骨折类型的识别。
17.在多种医学影像数据集训练多尺度检测网络fd，然后固化骨干网络fb和特征混合网络ff，对回归网络fr进行权重随机初始化，在x光胫骨平台骨折数据集上进行迁移学习。
18.优选的，步骤s3还包括步骤s31：通用神经辐射场模型包括图像编码网络fe和多层感知机网络fs、多层感知机网络fc，图像编码网络fe提取输入图像i的空间对齐特征其中ce是特征的通道数，通过均匀采样方式在图像i的视角平面内采样k
×
k条射线，对于每一射线首先均匀采样出n1个点，对于每个点i计算其在三维空间中的坐标然后将该坐标投影到特征e的平面上得到坐标π(pi)，其中π(
·
)表示投影函数，采用插值方法拟合π(pi)坐标下的特征向量对三维点坐标pi按照编码γ(
·
)函数进行编码得到，
19.γ(x)＝(sin(20πx)，cos(20πx)，
…
，sin(2
l-1
πx)，cos(2
l-1
πx))；
20.其中x可以是pi中的任何一个分量，l一超参数，表示编码的频率，将编码后的坐标和特征向量送入多层感知机网络fs得到该点的符号距离si∈[-1，1]；
[0021]
进一步计算该点的符号距离响应值其中k为超参数，e为自然数，φs(si)越大表明越接近表面，对n1个三维点都进行如上操作得到n1个符号距离响应值，符号距离响应值的分布情况进行二次采样：在距离表面近的空间进行密集采样，而远离表面的空间进行稀疏采样，最终得到n2个三维点；
[0022]
对射线的方向向量同样进行编码得到γ(dr)，对n1+n2中每个采样点pi，将γ(pi)、γ(dr)和送入多层感知机网络fc得到该点的辐射衰减响应ci；
[0023]
通过光线追踪方法对视角上一条射线上的所有采样点进行积分，预测该光线的辐射衰减的辐射衰减响应
[0024]
其中，找所有符号距离为零的点s＝(pi|si＝0)，作为骨折影像结构的外表面。
[0025]
与现有技术相比，有益效果在于：1)在大量其他医学影像数据上训练多尺度目标检测模型，在x光胫骨平台骨折数据集上进行迁移学习，当再次输入x光骨折数据时，通过该模型能够对骨折部位进行快速的检测和精准的分型，进而辅助医生进行骨折部位的诊断，帮助医生进行手术规划和远程医疗以便用于个性化手术方案的制定和实施。
[0026]
2)训练通用神经辐射场三维重建模型，当输入x光骨折数据时，特征编码网络提取图像特征，神经辐射场将图像特征作为辅助信息进行三维重建。
[0027]
3)本发明通过神经辐射场重建技术，构建x射线影像的隐式三维空间表示，采用marching cubes算法提取表面网格，生成stl网格文件进行骨折部位三维呈现，便于实现多地多终端实时共享骨折数字三维图像，帮助医生进行手术规划和远程医疗。
[0028]
4)本发明实施例还可以对隐匿性k型骨折具有较高的识别灵敏度，有利于患者早期发现骨折，及时得到治疗和康复指导，防止此类隐匿性骨折病情进一步发展和加重。
附图说明
[0029]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0030]
图1为基于深度学习的骨折x光图像检测与三维呈现方法的流程图。
[0031]
图2为k型骨折的示意图。
[0032]
图3为本发明提供的基于多尺度检测模型的骨折识别和分型的处理方法的流程图。
[0033]
图4为本发明提供的基于神经辐射场的构建三维空间的展示图。
具体实施方式
[0034]
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
[0035]
请参阅图1至图4，本发明提供一种基于深度学习的骨折x光图像检测与三维呈现方法，以实现骨折部位的三维影像精准呈现，包括如下步骤：
[0036]
s1：通过输入图像获取胫骨平台部位不同骨折类型的x光图像；
[0037]
s2：通过多尺度检测网络对x光图像提取特征并进行检测和分型；
[0038]
具体的，多尺度检测网络fd包括骨干网络fb、特征混合网络ff和回归网络fr；在多种医学影像数据集训练多尺度检测网络fd，然后固化骨干网络fb和特征混合网络ff，对回归网络fr进行权重随机初始化，在x光胫骨平台骨折数据集上进行迁移学习。
[0039]
骨干网络fb对输入图像提取多尺度特征，骨干网络fb具有n个阶段，每个阶段i提取一尺度的特征图其中hi、wi是特征图的分辨率，ci是特征图的通道数，骨干网络fb提取的所有尺度特征为需要说明的是，骨干网络fb可以是任意类型的卷积神经网络，如：resnet、densenet等。
[0040]
特征混合网络ff对多尺度特征p
(n)
的子集进行特征融合，其中m≤n。首先对p
(m)
进行采样操作，对于每个特征图将其他特征图插值到特征图的分辨率，然后特征图进行拼接，将拼接后特征送入fm网络进行融合，得到多尺度特征对m个特征分别进行如上融合操作，得到融合特征集合
[0041]
回归网络fr分别对每个融合特征进行分类回归和坐标回归，对于融合得到的多尺度特征回归网络fr首先通过se卷积神经网络抑制噪声，然后通过全卷积神经网络输出结果其中k是骨折类型数，输出结果的每个通道分别如下表1：
[0042]
表1：
[0043][0044][0045]
需要说明的是，回归网络fr输出的骨折类型在现有的schatzker骨折分型基础上纳入未被划入该分型的特殊k型骨折特征(k型骨折：胫骨平台髁间嵴骨折，为胫骨内、外侧髁关节面之间的骨性隆起处的骨折)，针对此型进行特征提取，以便构建全面涵盖胫骨平台所有骨折类型的识别。
[0046]
s3：采用通用神经辐射场对x光图像进行三维重建，提取表面网格；
[0047]
从数据集中选出一个ct影像v，将其放置到三维空间中，在空间的不同位置设置摄像机c，摄像机的视角图像为
[0048]
图像编码网络fe提取输入图像i的空间对齐特征其中ce是特征的通道数。通过均匀采样方式在摄像机c的视角平面内采样k
×
k条射线，对于每一射线r首先均匀采样出n1个点，对于每个点i计算其在三维空间中的坐标然后将该坐标投影到特征e的平面上得到坐标π(pi)，其中π(
·
)表示投影函数，采用插值方法拟合π(pi)坐标下的特征向量对三维点坐标pi按照编码γ(
·
)函数进行编码得到γ(pi)，
[0049]
γ(x)＝(sin(20πx)，cos(20πx)，
…
，sin(2
l-1
πx)，cos(2
l-1
πx))
[0050]
其中x可以是pi中的任何一个分量，l为超参数，表示编码的频率，将编码后的坐标和特征向量送入多层感知机网络fs得到该点的符号距离si∈[-1，1]。
[0051]
进一步计算该点的符号距离响应值其中k为超参数，φs(si)越大，则表明越接近表面。对n1个三维点都进行如上操作得到n1个符号距离响应值，符号距离响应值的分布情况进行二次采样：在距离表面近的空间进行密集采样，而远离表面的空间进行稀疏采样，最终得到n2个三维点。
[0052]
对射线的方向向量同样进行编码得到γ(dr)。对n1+n2中每个采样点pi，将γ(pi)、γ(dr)和送入多层感知机网络fc得到该点的辐射衰减响应ci。
[0053]
通过光线追踪方法，对视角上一条射线上的所有采样点进行积分，预测该光线的辐射衰减的辐射衰减响应
[0054]
其中，
[0055]
计算每条射线的预测辐射衰减响应和真实辐射衰减响应的l2距离，作为损失函数其中cr是该射线的真实辐射衰减响应。
[0056]
通过对胫骨平台ct数据集中大量数据进行训练，得到具有泛化性的图像编码网络fe和多层感知机网络fs。
[0057]
当有新的x光图像输入时，首先输入图像i经过图像放缩及数据归一化处理，送入图像编码网络fe提取空间对齐特征e，对于三维空间中的一点pi，将其投影到e上得到点特征将点坐标pi与点特征送入符号距离网络fs得到该点的符号距离si。对空间中所有的点都进行如上操作进行三维重建，寻找所有符号距离为零的点s＝{pi|si＝0}，作为骨折影像结构的外表面，通过marching cubes算法构建并提取表面网格mesh。
[0058]
s4：将表面网格mesh转换为stl文件，存入工作站中进行混合现实呈现。
[0059]
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的示例。