基于超声双模态影像的肌肉疾病诊断系统、设备及介质的制作方法

1.本发明属于生物信号处理技术领域，尤其涉及一种基于超声双模态影像的肌肉疾病诊断系统、电子设备及存储介质。


背景技术：

2.肌肉萎缩是指横纹肌营养障碍，肌肉纤维变细甚至消失等导致的肌肉体积缩小。目前临床上识别肌萎缩的影像学手段主要有核磁共振(magnetic resonance imaging,mri)、计算机断层成像(computed tomography,ct)和超声(ultrasonography，us)。超声能很好地表征肌肉结构有助于了解肌肉萎缩或损伤情况，是当前定量评估肌肉结构特征的最广泛的方法。灰度超声(b-mode)成像可以检测出肌肉的病理性结构特征的改变，还可以通过测量回声和作为灰度级差异获得的不均匀性来表征肌肉的状况。正是由于肌肉具有特定的纹理结构，使用灰度超声观察肌肉的超声图像能够发现肌肉的病变。但往往在灰度超声图像上显示肌肉的解剖结构发生变化时，肌肉的萎缩程度已经非常严重，单一的超声灰度模态具有灵敏性不足的问题，无法为早期诊断提供依据。
3.近年来，随着人工智能和深度学习的飞速发展，在医疗领域，人工智能可以对图片、影像进行快速识别并从中提取重要信息，帮助医生快速获取诊断所需的信息。由于传统的机器学习方法，需要手动提取特征并进行筛选设计，在这整个特征提取和降维筛选的过程中，不可避免地会掺杂人为主观因素，且提取出的特征并不能全面表征图像的信息。
4.针对现有临床诊断技术的不足以及深度学习在肌萎缩领域缺乏广泛的应用，本专利中利用骨骼肌独特的生物力学特性，采集被动拉伸时的实时超声双模态图像序列，采用卷积神经网络算法，提出超声多模态影像下肌萎缩的全自动识别分类算法。


技术实现要素：

5.本发明的目的在于提供一种基于超声双模态影像的肌肉疾病诊断系统、电子设备及存储介质，旨在解决现有技术无法实现全自动诊断肌肉疾病的问题。
6.一方面，本发明提供了一种基于超声双模态影像的肌肉疾病诊断系统，所述肌肉疾病诊断系统包括：
7.数据预处理模块，用于对受试者的超声双模态图像序列进行预处理，得到尺寸归一化的多组roi图像对，每组所述roi图像对包括roi灰度图像和roi弹性图像；
8.肌肉疾病诊断模块，用于将每组所述roi灰度图像和roi弹性图像进行通道融合后，输入到预先训练好的肌肉疾病诊断模型中，输出肌肉疾病诊断结果。
9.优选地，所述数据预处理模块还包括帧处理模块、裁剪模块和归一化模块，其中，
10.所述帧处理模块，用于对所述超声双模态图像序列进行分帧和等间距取帧操作，得到多组原始图像对；
11.所述裁剪模块，用于裁剪多组所述原始图像对中每帧图像的roi区域，得到原始的多组roi图像对；
12.所述归一化模块，用于将所述原始的多组roi图像对统一到固定尺寸，得到所述尺寸归一化的多组roi图像对。
13.优选地，所述超声双模态图像序列为所述受试者的踝关节作匀速被动运动时，通过超声系统的剪切波弹性成像模态和灰度成像模态同步采集的、肌肉组织的弹性图像序列和灰度图像序列。
14.优选地，所述受试者的踝关节在等速肌力训练系统的带动下从跖屈40
°
到背屈40
°
作所述匀速被动运动，所述受试者不自主提供任何主力或者阻力。
15.优选地，所述肌肉疾病诊断系统还包括数据采集模块、数据集制作模块和模型训练模块，其中，
16.所述数据采集模块，用于采集受试者的超声双模态图像序列；
17.所述数据集生成模块，用于基于多个受试者的所述归一化的roi灰度图像和roi弹性图像，以及对应的标签数据生成基础数据集；
18.所述模型训练模块用于使用所述基础数据集对所述肌肉疾病诊断模型进行训练，得到所述训练好的肌肉疾病诊断模型。
19.优选地，所述肌肉疾病诊断模型用于诊断肌萎缩疾病，所述肌肉疾病诊断模型包括依次连接的四个卷积层、一个全连接层和一个softmax层，其中，前两个卷积层均包含两个子卷积层和一个最大池化层，后两个卷积层均包含三个所述子卷积层和一个所述最大池化层，每个所述子卷积层的卷积核大小为3
×
3，每个所述最大池化层的卷积核大小为2
×
2，所述全连接层的节点数为512。
20.优选地，所述肌肉疾病诊断模型中除输入层以外的每一网络层的输入，均为使用bn算法对前一层的输出做归一化处理后的特征。
21.优选地，所述肌肉疾病诊断模型的全连接层之后引入了dropout层。
22.另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
23.另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
24.本发明提供的基于超声双模态影像的肌肉疾病诊断系统，包括数据预处理模块和肌肉疾病诊断模块，数据预处理模块用于对受试者的超声双模态图像序列进行预处理，得到尺寸归一化的多组roi图像对，每组roi图像对包括roi灰度图像和roi弹性图像，肌肉疾病诊断模块用于将每组roi灰度图像和roi弹性图像进行通道融合后，输入到预先训练好的肌肉疾病诊断模型中，输出肌肉疾病诊断结果，从而实现了肌肉疾病的全自动诊断，且由于本方案基于超声灰度模态和弹性模态的两种诊断方式对肌肉疾病进行诊断，从而提高了诊断的准确性。
附图说明
25.图1a是本发明实施例一提供的基于超声双模态影像的肌肉疾病诊断系统的结构示意图；
26.图1b是本发明实施例一提供的弹性图像序列的预处理流程图；
27.图1c是本发明实施例一提供的有无dropout的神经网络结构对比图；
28.图2是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
30.以下结合具体实施例对本发明的具体实现进行详细描述：
31.实施例一：
32.图1a示出了本发明实施例一提供的基于超声双模态影像的肌肉疾病诊断系统的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
33.在本发明实施例中，基于超声双模态影像的肌肉疾病诊断系统1包括数据预处理模块11和肌肉疾病诊断模块12，数据预处理模块用于对受试者的超声双模态图像序列进行预处理，得到尺寸归一化的多组roi(region of interest，感兴趣区域)图像对，每组roi图像对包括roi灰度图像和roi弹性图像，肌肉疾病诊断模块用于将每组roi灰度图像和roi弹性图像进行通道融合后，输入到预先训练好的肌肉疾病诊断模型中，输出肌肉疾病诊断结果。
34.在本发明实施例中，基于灰阶超声模态可对肌肉的解剖结构进行成像，并能获取肌肉的体积、厚度和横截面积等结构化参数，剪切波弹性成像模态能够无创、定量获取肌肉组织的硬度值，从而通过超声双模态图像序列并使用深度学习来对肌肉疾病进行诊断。其中，超声双模态图像序列包括在超声灰度成像模态(b型成像模态)下采集的骨骼肌的灰度图像序列，以及在超声剪切波弹性成像模态下采集的骨骼肌的弹性图像序列。其中，弹性图像序列中每个弹性图像在灰度图像上叠加显示。
35.优选地，超声双模态图像序列为受试者的踝关节作匀速被动运动时，通过超声系统的剪切波弹性成像模态和灰度成像模态同步采集的、肌肉组织的弹性图像序列和灰度图像序列，从而利用骨骼肌独特的生物力学特性，获取骨骼肌发生伸展时的超声双模态图像序列，并为后续肌肉疾病的诊断提供更全面地依据。进一步优选地，受试者的踝关节在等速肌力训练系统的带动下从跖屈40
°
到背屈40
°
作匀速被动运动，受试者不自主提供任何主力或者阻力，以通过该匀速被动运动完成超声双模态图像序列的采集。
36.具体实现中，受试者可采取仰卧位，受试者的右脚固定在等速肌力训练系统的踏板上，等速肌力训练系统带动受试者的脚踝从跖屈40
°
到背屈40
°
作匀速被动运动，牵引被检测的骨骼肌引起被动拉伸，在超声成像系统的灰度成像模态下对骨骼肌的结构连续成像，同时在超声成像系统的剪切波弹性成像模态下同步获取该骨骼肌的弹性图像序列。在整个踝关节匀速被动转动过程中，要求受试者完全放松小腿肌肉，不自主提供任何主力或者阻力。
37.优选地，数据预处理模块还包括帧处理模块、裁剪模块和归一化模块，其中，帧处理模块用于对超声双模态图像序列进行分帧和等间距取帧操作，得到多组原始图像对，裁剪模块用于裁剪多组原始图像对中每帧图像的roi区域，得到原始的多组roi图像对，归一化模块用于将原始的多组roi图像对统一到固定尺寸，得到尺寸归一化的多组roi图像对，
以实现超声双模态图像序列的预处理。
38.具体实现中，将超声双模态图像序列，即灰度图像序列和弹性图像序列分帧，并等间距抽取n帧，例如，n为10，基于剪切波弹性成像模态下，原始弹性图像是叠加到灰度图像上显示的，因此，得到的每组原始图像对包括原始灰度图像和由原始灰度图像和原始弹性图像叠加显示的原始弹性灰度复合图像，之后，裁剪出原始灰度图像和原始弹性灰度复合图像的roi区域，得到原始roi灰度图像和roi弹性灰度复合图像，再将roi弹性灰度复合图像与roi灰度图像相减，从而获取到原始的roi弹性图像以及roi灰度图像，即原始的roi图像对。图1b为弹性图像序列的预处理实现流程示例图。
39.优选地，肌肉疾病诊断系统还包括数据采集模块、数据集制作模块和模型训练模块，其中，数据采集模块用于采集受试者的超声双模态图像序列，数据集生成模块用于基于多个受试者的归一化的roi灰度图像和roi弹性图像，以及对应的标签数据生成基础数据集，模型训练模块用于使用基础数据集对肌肉疾病诊断模型进行训练，得到训练好的肌肉疾病诊断模型，以实现肌肉疾病诊断模型的训练。具体实现中，可将基础数据集分为训练集、验证集和测试集，训练集训练好的模型需要使用验证集来确定网络结构或者控制模型复杂程度的参数，测试集用于检验模型的性能。
40.优选地，肌肉疾病诊断模型用于诊断肌萎缩疾病，肌肉疾病诊断模型包括依次连接的四个卷积层、一个全连接层和一个softmax层，其中，前两个卷积层均包含两个子卷积层和一个最大池化层，后两个卷积层均包含三个所述子卷积层和一个所述最大池化层，每个所述子卷积层的卷积核大小为3
×
3，每个所述最大池化层的卷积核大小为2
×
2，所述全连接层的节点数为512，以精简肌肉疾病诊断模型，减少参数量和计算量。
41.由于输入数据已经人为地将每个样本归一化，而训练网络的本质是更新参数，前一层网络权值的更新会导致输出数据分布发生变化，因此除了输入层外其余网络层每一层的输入数据的分布都在发生改变，大大降低网络的训练速度。优选地，肌肉疾病诊断模型中除输入层以外的每一网络层的输入，均为使用bn(batch normalization，批量归一化)算法对前一层的输出做归一化处理后的特征征，以解决在训练网络的过程中，隐藏层数据分布发生变化的情况，加快模型训练速度。
42.具体实现中，在网络的每一层输入之前，可使用bn算法先对前一层的输出数据分布进行归一化处理后，才能进入网络的下一层，这样就可以解决在训练网络的过程中，隐藏层数据分布发生变化的情况。但在对上一层输出数据进行归一化时，不能破坏掉网络在上一层学习到的特征，因此要引入了可学习参数γ，β，计算所有样本所对应的特征图的所有神经元的平均值、方差，继而对整个特征图神经元做归一化处理。具体步骤如下：
43.1)：引入参数β，γ，ε的初始值，得到输入激活函数前的数据b＝{x1,x2,
…
xn}；步骤二：求取输入的均值μb和方差
[0044][0045]
[0046]
2)：将输入数据进行归一化处理，得到归一化处理后的输出数据
[0047][0048]
其中，ε为任意接近于0的值。
[0049]
3)：训练参数β，γ：
[0050][0051][0052][0053][0054][0055][0056]
其中，表示求偏导，l为损失值。
[0057]
5)：经批量标准化操作后的输出数据yi：
[0058][0059]
引入bn算法后，允许较高的学习率，加快训练。且通过引入可学习重构参数β，γ，让网络可以学习恢复出原始网络所要学习的特征分布。
[0060]
全连接层将卷积、池化和激活等操作学习到的分布式特征描述映射到样本标记空间，大大减小特征位置对分类的影响，在整个卷积神经网络中起到了分类器的作用。但它的主要缺点是包含了大量的参数，在训练过程中要进行复杂的计算。优选地，肌肉疾病诊断模型的全连接层之后引入了dropout层，以利用dropout技术消除节点和连接，增强模型的泛化性，使其不会太过依赖于某些局部特征。dropout的主要功能是让一些神经元随机停止工作，以消除神经元节点间的联合适应性，增强网络的泛化能力。由于临床医学数据集较小，在训练深度卷积神经网络时难以训练大量的参数，易造成在训练集上表现良好但在测试集上的分类效果较差的过拟合问题。dropout机制按一定的概率随机丢弃一些神经元，以有效防止网络的过拟合，增强网络的稀疏性，减少网络参数。图1c为有无dropout层的神经网络结构对比图，图1c中，(a)图未添加dropout，(b)图将dropout设置为0.5，即让某个神经元以0.5的概率停止工作。
[0061]
该肌肉疾病诊断模型引入bn算法和dropout层后增强了模型的泛化能力，其网络
参数如下表1所示：
[0062][0063][0064]
表1
[0065]
在这里需要指出的是，该肌肉疾病诊断模型还可用于其他肌肉疾病的诊断，例如，肌萎缩侧索硬化症，肌营养不良等疾病。在对其他肌肉疾病进行诊断时，可基于待诊断的肌肉疾病，更改神经网络的层数和卷积核的大小。
[0066]
本发明实施例提供的基于超声双模态影像的肌肉疾病诊断系统，包括数据预处理模块和肌肉疾病诊断模块，数据预处理模块用于对受试者的超声双模态图像序列进行预处理，得到尺寸归一化的多组roi图像对，每组roi图像对包括roi灰度图像和roi弹性图像，肌肉疾病诊断模块用于将每组roi灰度图像和roi弹性图像进行通道融合后，输入到预先训练好的肌肉疾病诊断模型中，输出肌肉疾病诊断结果，从而实现了肌肉疾病的全自动诊断，且由于本方案基于超声灰度模态和弹性模态的两种诊断方式对肌肉疾病进行诊断，从而提高了诊断的准确性。
[0067]
实施例二：
[0068]
本实施例结合实验例对实施例一中的肌肉疾病诊断系统作进一步说明。
[0069]
(1)基础数据集：
[0070]
临床数据集：受试者均采取仰卧位，将每个受试者的右脚固定在等速肌力训练系统的踏板上，带动脚踝从跖屈40
°
到背屈40
°
匀速被动运动，牵引被检测的骨骼肌引起被动拉伸。在整个踝关节匀速被动转动过程中，要求受试者完全放松小腿肌肉，不自主提供任何主力或者阻力。
[0071]
双模态图像序列获取：利用超声成像系统的灰度模态对骨骼肌结构成像，显示肌肉被动拉伸时的结构形态变化，利用超声成像系统的剪切波弹性成像模态获取该骨骼肌的弹性图像序列，获得肌肉组织在被动拉伸过程中的不同弹性图像序列，成像区域为13mm*7mm，序列时长为28s～32s。
[0072]
数据预处理：使用opencv对采集到的双模态图像序列完成分帧操作，统一等间距
抽取9帧，得到灰度图像，将剪切波弹性模态的成像区域减去灰度超声成像区域，得到原始的弹性图像，并截取每帧图像的roi区域，得到roi图像对，对每组roi图像对进行归一化处理，将处理后的图像尺寸归一化为224*224。
[0073]
(2)模型搭建：
[0074]
按照实施例一中的描述搭建肌肉疾病诊断模型，该模型引入bn算法和dropout层，本实验例将该肌肉疾病诊断模型命名为mavgg-bn，详细参数见表1。
[0075]
(3)模型评估：
[0076]
使用mavgg-bn分别对灰度超声数据、弹性数据、以及二者融合的双模态数据进行训练分类，并比较各自的性能。具体地，将图像初始化为224
×
224大小，输入mavgg-bn中训练，第一层卷积层大小为3
×
3，步幅大小为1。批处理(batch)大小被设置为16，迭代次数(epoch)为50轮。实验参数的设置如表2所示。
[0077][0078]
表2
[0079]
以肌萎缩病理学检查的诊断结果相对照，根据模型预测的结果与医生给的诊断结果进行对比，将测试结果分为真正类(true positive，tp)，假负类(false positive,fp)，真负类(true negative,tn)，假负类(false negative,fn)。由这四种情况来计算准确率，敏感度，f1-score来衡量模型的预测结果。计算公式如下所示：
[0080][0081][0082][0083]
灰度超声模态(b-mode)、剪切波弹性成像模态(swe)、二者融合的双模态(b-mode+swe)在mavgg-bn神经网络上训练后的对肌萎缩的测试分类结果如表3所示，其中，acc表示准确率，sen表示灵敏度，spe表示特效度，pre表示精确度。根据实验结果可知，双模态下对应的模型分类的准确率为95.56％，显著优于灰度超声模态下，比灰度模态和弹性模态的准确率分别高了9.45％，2.78％，敏感度和f1分数的指标值也均高于弹性模态和灰度超声模态。
[0084][0085]
表3
[0086]
由此可见，通过将灰度超声成像的解剖结构与弹性信息二者融合的数据作为神经网络的输入，弥补了单一模态诊断性能不高的问题。
[0087]
实施例三：
[0088]
图2示出了本发明实施例三提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
[0089]
本发明实施例的电子设备2包括处理器20、存储器21以及存储在存储器21中并可在处理器20上运行的计算机程序22。该处理器20执行计算机程序22时实现上述各系统实施例中各模块的功能，例如，图1a所示单元11至12的功能。
[0090]
实施例四：
[0091]
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如，图1a所示单元11至12的功能。
[0092]
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。
[0093]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。