颈动脉斑块的性质判别方法、存储介质及超声装置与流程
本发明涉及超声图像处理技术领域，尤其涉及一种颈动脉斑块的性质判别方法、用于存储执行颈动脉斑块的性质判别方法的程序指令的存储介质和包括该存储介质的超声装置。
背景技术：
颈动脉斑块的危害与斑块的性质、部位及形状有关。颈动脉斑块包括易损斑块、稳定斑块。其中，颈动脉易损斑块的主要危害是缺血性脑卒中。易损斑块又称软斑块、不稳定斑块，斑块形状不规则，易脱落，脱落后可随着血流堵塞脑血管，引起缺血性脑卒中，导致患者出现半身不遂、失语、眼歪嘴斜等症状。而稳定斑块患者，斑块钙化，较结实，不易脱落及破裂，故而不易引起脑血管的栓塞。颈动脉斑块的易损性与脑血管等疾病的发生有密切的关联，而目前，对颈动脉斑块性质的检测尚且没有一种非常准确、快速而简单的方法，常用的是通过使用超声造影(ceus)检查发现颈动脉斑块内新生血管的增强程度来判别，这比传统二维超声可以更加准确判断斑块的性质。传统的二维超声只可以看到斑块的位置，大小，形态，回声等特征，斑块内部特征却无法检测到，ceus除了可以显示斑块的大小，形态，边缘和残余官腔，还可以显示斑块内的新生血管，斑块内新生血管对于斑块的易损/稳定性判定有一定的参考作用，对于有新生血管的斑块，容易破裂出血，造成斑块破裂脱落，而颈动脉斑块破裂脱落形成栓子梗塞脑血管是造成脑卒中最主要的原因之一。因此，对于颈动脉斑块的易损性判别研究具有临床意义。
技术实现要素：
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种颈动脉斑块的性质判别方法、用于存储执行颈动脉斑块的性质判别方法的程序指令的存储介质和包括该存储介质的超声装置，以解决现有技术中的问题。
作为本发明的第一个方面，提供一种颈动脉斑块的性质判别方法，其中，所述颈动脉斑块的性质判别方法包括：
所述颈动脉斑块的性质判别方法包括：
获取包括颈动脉斑块的超声造影视频；
通过第一神经网络识别所述超声造影视频，得到血管视频，所述血管视频包括所述超声造影视频中有斑块的血管所在区域的图像流；
通过特征提取模型提取所述血管视频中的图像特征；
通过第二神经网络识别图像特征，得到血管中斑块的性质类别。
可选的，所述颈动脉斑块的性质判别方法还包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的标注信息，所述标注信息包括第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到所述第一神经网络；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到所述第二神经网络。
作为本发明的第二个方面，提供了一种颈动脉斑块的性质判别方法，所述颈动脉斑块的性质判别方法包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络，所述第一神经网络用于识别训练超声造影视频中有斑块的血管所在的位置；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络，所述第二神经网络用于识别斑块的稳定性。
可选的，所述根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络，包括：
根据所述n个训练超声造影视频中的造影图像和所述第一标注信息训练所述第一初始化网络，得到所述第一神经网络。可选的，所述根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络，包括：
通过特征提取模型提取所述n个训练超声造影视频中各帧图像中的图像特征；
根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络。
可选的，所述根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络之前，还包括：
将所述超声训练视频中的造影图像进行图像变换得到所述图像变换后的造影图像，其中所述图像变换包括平移、翻转、旋转和弹性变形中的至少一种；
通过所述特征提取模型提取所述图像变换后的造影图像中的图像特征。
可选的，所述将所述超声训练视频中的造影图像进行图像变换包括：
对于所述超声训练视频中的每一张造影图像，构建与所述造影图像相同大小的随机图像；
对所述随机图像进行卷积，并根据卷积后的图像以及变形强度因子得到位移图像；
将所述位移图像作用在所述造影图像上，得到所述图像变换后的造影图像。
可选的，所述第二初始化网络包括特征聚合模型和混合分类模型，
所述特征聚合模型用于输出聚合后的特征值；
所述混合分类模型用于根据聚合后的特征值输出斑块的性质类别。
作为本发明的第三个方面，提供一种存储介质，其中，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令用于被处理器加载并执行以实现如前文所述的颈动脉斑块的性质判别方法。
作为本发明的第四个方面，提供一种超声装置，其中，所述超声装置包括处理器和存储器，所述存储器包括前文所述的存储介质，所述处理器用于加载并执行所述存储介质上的程序指令。
本发明提供的颈动脉斑块的性质判别方法，通过获取超声造影视频，采用第一神经网络对超声造影视频进行识别，通过特征提取模型进行图像特征提取，最后通过第二神经网络对图像特征进行识别，得到最终的血管的性质类别的判别结果，本发明提供的这种颈动脉斑块的性质判别方法能够有效识别出有斑块的血管的性质类别，实现了对颈动脉的血管的定性分析，从而为医护人员对颈动脉斑块的分析和诊断提供重要的依据。另外，本发明提供的这种颈动脉斑块的性质判别方法还具有结果判别准确且效率高的优势。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明提供的颈动脉斑块的性质判别系统的结构框图。
图2为本发明提供的颈动脉斑块的性质判别方法的一种实施方式的流程图。
图3为本发明提供的颈动脉斑块的性质判别方法的另一种实施方式的流程图。
图4为本发明提供的聚类趋势分布图。
图5为本发明提供的图像变换前的示意图。
图6为本发明提供的图像变换后的示意图。
图7为本发明提供的第二神经网络进行特征识别的流程示意图。
图8为本发明提供的混合网络模型的全连接网络实现示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明的一个实施例中，提供了一种判别颈动脉斑块的性质类别的判别系统，该判别系统包括获取模块110、处理器120和显示器130。获取模块110获取包括颈动脉斑块的超声造影视频，处理器120对采集到的超声造影视频进行处理，分析得到斑块的性质类别，显示器130可以显示获取到的超声造影视频和分析得到的斑块的性质类别。
如图1所示，本实施例的获取模块110为超声成像设备，即通过超声成像设备获取超声图像或视频。如图1所示，超声成像设备至少包括换能器101、超声主机102、输入单元103、控制单元104、和存储器105。超声成像设备可以包括显示屏(图中未标出)，超声成像设备的显示屏可以为判别系统的显示器130。换能器101用于发射和接收超声波，换能器101受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声图像或者视频。换能器101可以通过有线或无线的方式连接到超声主机102。
输入单元103用于输入操作人员的控制指令。输入单元103可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。
控制单元104至少可以控制焦点信息、驱动频率信息、驱动电压信息以及成像模式等扫描信息。控制单元104根据用户所需成像模式的不同，对信号进行不同的处理，获得不同模式的超声图像数据，然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像，如b图像，c图像，d图像，多普勒血流图像，包含组织弹性特性的弹性图像等等，或者其他类型的二维超声图像或三维超声图像。
显示器130用于显示来超声图像数据、参数、超声图像或视频中周围神经的类型以及动态信息等信息。显示器130可以是触摸屏显示器。当然，超声诊断设备还可以通过输入单元103的端口连接另一个显示器，实现双屏显示系统。此外，本实施例中的显示器不限制数量。显示的超声图像数据(超声图像)可以是显示在一个显示器上，也可以同时显示在多个显示器上，当然也可以是将超声图像的部分分别同步显示在多个显示器上，在此本实施例也不作限制。此外，显示器130在显示超声图像的同时还提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给用户利用人机交互设备输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如投影、vr眼镜，当然显示器中也可以包含输入装置，例如触摸输入的显示屏、感应动作的投影机vr眼镜。利用人机交互设备可以对显示器130显示的图标进行操作，用来执行特定的功能。
在一实施例中，获取模块110为掌声超声，掌声超声的换能器、显示器等集成在可供操作人员手握持的壳体内。
本文的神经网络模型或单元包括(或者包含或者具有)其它元件以及那些元件。如本文中使用的术语“模块”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(fpga)或专用集成电路(asic)或处理器，例如cpu、gpu。模块可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，模块可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。
为了实现对颈动脉斑块的性质的定性分析，本发明通过使用两个神经网络实现，具体地，第一个神经网络能够检测出当前超声图像中的斑块的血管位置，第二个神经网络能够对含有斑块的血管进行识别，从而识别出血管的性质类别是易损还是稳定。
作为本发明的第一个方面，提供一种颈动脉斑块的性质判别方法，其中，如图2所示，所述颈动脉斑块的性质判别方法包括：
s210、获取包括颈动脉斑块的超声造影视频；
本步骤可以是通过换能器采集的超声造影视频，也可以是获取的外部设备发送的超声造影视频。比如，超声设备或电脑等在通过换能器采集到超声造影视频之后，将超声造影视频发送至分析设备，分析设备在接收到超声造影视频之后执行s210-s240，在此不再赘述。
s220、通过第一神经网络识别所述超声造影视频，得到血管造影视频，所述血管造影视频包括所述超声造影视频中有斑块的血管所在区域的图像流；
具体地，所述第一神经网络能够识别所述超声造影视频，以便于确定超声造影视频中的有斑块的血管的位置。由于所述超声造影视频包括多幅超声图像，因此，第一神经网络能够从超声造影视频中识别出具有斑块的血管所在的超声图像，这里应当理解的是，由于超声造影视频是动态视频图像，所以第一神经网络最终识别得到的是动态的图像流。
s230、通过特征提取模型提取所述血管造影视频中的图像特征；
具体地，对所述血管造影视频进行视频处理，提取出具有斑块的血管的图像特征。
s240、通过第二神经网络识别图像特征，得到血管中斑块的性质类别。
具体地，所述第二神经网络能够对所述图像特征进行识别，从而判断有斑块的血管的性质类别是易损还是稳定。
本发明提供的颈动脉斑块的性质判别方法，通过采集超声造影视频，采用第一神经网络对超声造影视频进行识别，通过特征提取模型进行图像特征提取，最后通过第二神经网络对图像特征进行识别，得到最终的血管的性质类别的判别结果，本发明提供的这种颈动脉斑块的性质判别方法能够有效识别出有斑块的血管的性质类别，实现了对颈动脉的血管的定性分析，从而为医护人员对颈动脉斑块的分析和诊断提供重要的依据。另外，本发明提供的这种颈动脉斑块的性质判别方法还具有结果判别准确且效率高的优势。
其中，第一神经网络和第二神经网络是预先训练得到的网络，训练的步骤包括：
获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的标注信息，所述标注信息包括第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到所述第一神经网络；
根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到所述第二神经网络。
应当理解的是，n个训练超声造影视频可以是历史获取的，比如，获取检查科室在历史3个月内采集的超声造影视频，又比如，获取实验室在历史一年内采集的超声造影视频。其中，为了实现对超声造影视频中具有斑块的血管的图像识别，则需要在训练超声造影视频中标注上有斑块的血管所在的位置，为了实现对超声造影视频中的斑块的性质类别的识别，则需要在训练超声造影视频中标注上有斑块的性质类别，即将易损的斑块和稳定的斑块分别进行标注，以便进行训练。
上述颈动脉斑块的性质判别方法的实施方式是基于在超声设备上直接进行性质判别实现的；当然还可以在后台服务器上实现对斑块的性质判别。
作为本发明的第二个方面，提供一种颈动脉斑块的性质判别方法，其中，如图3所示，所述颈动脉斑块的性质判别方法包括：
s310、获取训练样本，所述训练样本包括n个训练超声造影视频以及每个训练超声造影视频的第一标注信息和第二标注信息，所述第一标注信息用于标注所述训练超声造影视频中有斑块的血管所在的位置，所述第二标注信息用于标注所述训练超声造影视频中斑块的性质类别，n为大于等于2的整数；
s320、根据所述n个训练超声造影视频和所述第一标注信息训练第一初始化网络，得到第一神经网络；
s330、通过所述第一神经网络识别超声造影视频中有斑块的血管所在的位置；
s340、根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络；
s350、通过所述第二神经网络识别斑块的性质类别。
本发明提供的颈动脉斑块的性质判别方法，通过获取训练样本得到训练第一神经网络和第二神经网络所需的标注信息，然后通过标注信息分别训练对应的神经网络，最后通过训练得到的第一神经网络实现对有斑块的血管所在的位置的识别，以及通过训练得到的第二神经网络实现对斑块的性质类别的识别。
应当理解的是，所述训练超声造影视频是通过采集的颈动脉斑块的超声造影视频进行处理后得到的。且对训练超声造影视频的标注多是通过标注软件进行的，即在对超声造影视频进行处理，去除敏感部分，只保留有效超声图像的部分后，对超声造影视频进行解码然后送入标注软件进行标注。
具体地，在对训练超声造影视频进行标注时，可以采用10fps的帧率从中每秒采样出10张图像，用矩形框勾勒出包含有斑块的血管轮廓，并标注出该斑块的类别。
具体的，根据n个训练超声造影视频和第一标注信息训练第一初始化网络，得到第一神经网络的步骤包括：根据训练超声造影视频中的造影图像以及第一标注信息训练第一初始化网络。比如，将第一初始化网络的权重参数设置为0到1之间的随机数，并使用造影图像的图像参数训练上述第一初始化网络，迭代至loss(损失)最小后停止训练。
具体地，所述根据所述n个训练超声造影视频和所述第二标注信息训练第二初始化网络，得到第二神经网络包括：
通过特征提取模型提取所述n个训练超声造影视频中各帧图像中的图像特征；
根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络。
进一步地，在所述根据提取到的所述图像特征和所述第二标注信息训练所述第二初始化网络，得到所述第二神经网络的步骤前还包括：
将所述超声训练视频中的造影图像进行图像变换得到所述图像变换后的造影图像，其中所述图像变换包括平移、翻转、旋转和弹性变形中的至少一种；
通过所述特征提取模型提取所述图像变换后的造影图像中的图像特征。
需要说明的是，所述特征提取模型具体可以为网络模型(比如，xception)，将图像缩放至299*299分辨率，作为xception网络模型的输入，用该网络进行预测。本发明只需获取倒数第二层的网络输出，输出维度为2048，经过pca(principalcomponentanalysis，主成分分析)降维后为1024维，并保存成文件。对于保存下来的1024维度特征用t-sne可视化，如图4所示，可以看到有两类的聚类趋势，间接看出特征的可分性。
具体地，所述将所述超声训练视频中的造影图像进行图像变换包括：
构建与所述超声训练视频中的每张造影图像大小相同的随机图像；
对所述随机图像进行卷积，并根据卷积后的图像以及变形强度因子得到位移图像；
将所述位移图像作用在所述造影图像上，得到所述图像变换后的造影图像。
下面以弹性变形实现图像变换为例进行详细说明。
具体地，所述弹性变形的步骤包括：
只裁剪出原始图像中的造影部分，二维部分的图像不再使用。首先创建随机位移场来使图像变形，建立和原始图像一样大小的图像，其图像宽度为w，高度为h，每个像素坐标处建立δx(x,y)＝rand(-1,+1)的随机场，rand表示随机数函数，此处表示生成-1～1之间的随机数，将该随机数的值赋值于该坐标的像素值，然后使用标准差为σ的高斯函数对该生成的图像进行卷积，将经过高斯卷积的结果乘以控制变形强度的比例因子α，得到一个弹性形变的位移场。最后将这个位移场作用在原始图像上，得到最终弹性形变增强的数据，并且标注的坐标也可以按照这个变换得到变换后的groundtruth(真实值)。如图5和图6所示，其中图5表示图像变换前的图像，图6表示图像变换后的图像。
具体地，所述第二初始化网络包括特征聚合模型和混合分类模型，
所述特征聚合模型用于输出聚合后的特征值；
所述混合分类模型用于根据聚合后的特征值输出斑块的性质类别。
具体地，如图7所示，所述第二初始化网络输入上述1024维度的特征，通道数为实际颈动脉造影视频降采样后的帧数。该网络模型主要包括两个部分即特征聚合模型和混合分类模型。特征聚合模型建立可用网络模型学习的参数列表，用深度学习的方法，自动学到其聚类中心和相关权重。对于特征聚合后的输入再进入一个特殊的分类网络中，得到最终的分类结果。
需要说明的是，所述特征聚合模型压缩具体方式为：
其中，输入n个d维的图像特征，v(j，k)表示最终特征聚合后的值。n表示颈动脉超声造影视频降采样后的帧数，xi的维度是d，d为1024，是上述网络模型xception输出的结果。ck表示聚类中心，ak表示权重参数，即，最终的输出相邻v存储的是所有的x在其对应的聚类中的残差和，对上述公式进行网络化，即：
其中，wk、bk和ck表示网络模型的训练参数，维度分别为d*k、k和d*k，k表示聚类中心的数目，本发明的k以128为例，
进入混合分类模型之前，再添加一个隐藏层用于特征进一步压缩，上述输出维度为1*(k*d)，该隐藏层的参数为(k*d)*d2，d2在本发明中具体可以为1024，经过矩阵乘法得到最终输出维度为1*d2，即最终整个超声造影视频的输出特征向量的大小为1024。
混合网络模型是一个分类的网络，网络模型中由几个全连接网络实现，具体如图8所示。
图8所示的方法具体为：
其中，x表示上述特征压缩后的输出，维度为1024，net1、net2和net3表示三个全连接网络，net1和net2是全连接网络，net1和net2的全连接网络其参数分别为wk和ck，且只有一层。net3这一全连接网络其参数为
需要说明的是，根据n个训练超声造影视频和所述第二标注信息训练第二初始化网络可以包括：将第二初始化网络的权重参数设置为0到1之间的随机数，训练图像采用xcepetion网络模型提取后的数据，训练迭代至loss最小。
需要说明的是，上述判别斑块的稳定性的设备和训练第一神经网络和第二神经网络的设备可能是同一设备，也可能不是同一设备，本实施例对此并不做限定。
作为本发明的第三个方面，提供一种存储介质，其中，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令用于被处理器加载并执行以实现如前文所述的颈动脉斑块的性质判别方法。
应当理解的是，本发明提供的存储介质能够存储用于执行前文所述的颈动脉斑块的性质判别方法的程序指令，因此能够为医护人员对颈动脉斑块的分析和诊断提供重要的依据。
作为本发明的第四个方面，提供一种超声装置，其中，所述超声装置包括处理器和存储器，所述存储器包括前文所述的存储介质，所述处理器用于加载并执行所述存储介质上的程序指令。
本发明提供的超声装置，由于采用了前文的存储器，存储用于执行前文所述的颈动脉斑块的性质判别方法的程序指令，因此能够有效识别出有斑块的血管的性质类别，实现了对颈动脉的血管的定性分析，从而为医护人员对颈动脉斑块的分析和诊断提供重要的依据。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！