一种基于深度学习的血管内超声图像三维重建方法及系统与流程

本发明属于医学检测技术领域，具体涉及一种基于深度学习的血管内超声图像三维重建方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，越来越多的研究者开始关注医学图像处理中的模式识别、分类以及分割等处理技术。机器学习技术使研究人员能够开发和利用复杂的模型来分类或预测各种异常或疾病或者进行医学病灶的识别和分割。深度学习是机器学习研究的一个新领域，其动机在于人脑的建立和模拟，以分析和研究神经网络，模拟人脑机制来解释数据。

在临床应用中，为了对血管腔的直径、截面积、容积、血管壁厚以及斑块的大小等重要参数进行测量，需要首先提取出各帧血管内超声图像(intravenousultrasound，ivus)中血管壁的内外膜边缘和可能存在的斑块边缘，它同时也是ivus图像三维重建的重要步骤，二维分割的质量直接决定量化分析和三维重建的精度。基于ivus的三维血管内重建可以对各种心血管疾病的组织表征进行准确的评估和诊断，从而获得最佳的治疗选择。这种三维重建的方式可以监测和研究动脉粥样硬化斑块的动态发展和进展，从而最小化或省略血管造影在临床治疗期间用于临床中导航和手术，减少手术时间和造影剂的使用。

但是由于在血管中存在着血管分叉的情况，分叉血管的存在给内外膜分割和重建都造成了很大的困难。现有技术涉及到的对血管内图像进行三维重建的方法，均为考虑到血管分叉对于重建结果的影响。

技术实现要素：

为了解决上述问题，本发明提出一种基于深度学习的血管内超声图像三维重建方法及系统，首先将血管内分叉血管和正常血管进行分类，然后分别对其进行分割，最后将分割后的血管进行三维重建；能够提高图像三维重建的准确率。

在一些实施方式中，采用如下技术方案：

一种基于深度学习的血管内超声图像三维重建方法，包括：

采集ivus图像中的分叉血管和正常血管图像，并进行标注，制作第一数据集；

利用分类网络对第一数据集进行分类，得到分叉血管图像和正常血管图像；

分别标注分叉血管图像的内外膜和正常血管图像的内外膜，形成第二数据集和第三数据集；

利用语义分割网络对第二数据集和第三数据集分别进行分割处理，分别得到分叉血管和正常血管的内外膜图像；

对得到分叉血管和正常血管的内外膜图像进行三维重建。

进一步地，利用分类网络对第一数据集进行分类，具体为：

所述的分类网络包括但不限于vgg、alexnet和googlenet分类网络，利用现有的血管内超声分类数据集测试每一种分类网络的分类准确率，选择分类准确率最高的分类网络作为最优的分类网络对第一数据集进行分类。

进一步地，利用语义分割网络对第二数据集和第三数据集分别进行分割处理，具体为：

所述的语义分割网络包括但不限于fcn、gan和deeplab分割网络，利用现有的血管内超声分割数据集测试每一种分类网络的分类准确率，选择分类准确率最高的分类网络作为最优的分类网络对第一数据集进行分类。

在另一些实施方式中，采用如下技术方案：

一种基于深度学习的血管内超声图像三维重建系统，包括：

用于采集ivus图像中的分叉血管和正常血管图像，并进行标注，制作第一数据集的装置；

用于利用分类网络对第一数据集进行分类，得到分叉血管图像和正常血管图像的装置；

用于分别标注分叉血管图像的内外膜和正常血管图像的内外膜，形成第二数据集和第三数据集的装置；

用于利用语义分割网络对第二数据集和第三数据集分别进行分割处理，分别得到分叉血管和正常血管的内外膜图像的装置；

用于对得到分叉血管和正常血管的内外膜图像进行三维重建的装置。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于深度学习的血管内超声图像三维重建方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于深度学习的血管内超声图像三维重建方法。

与现有技术相比，本发明的有益效果是：

考虑到血管分叉对于重建结果的影响，利用深度学习的方法对分叉血管和正常血管进行分类，实现对ivus图像的三维重建，能够提高三维重建的速度和精准度，重建结果更加准确，更有助于医生的直观判断，对于疾病的辅助诊断有着重大意义。

附图说明

图1为本发明实施例一中形成数据集的示意图；

图2为本发明实施例一中基于深度学习的血管内超声图像三维重建方法流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于深度学习的血管内超声图像三维重建方法，如图2所示，包括以下步骤：

采集ivus图像中的分叉血管和正常血管图像，并进行标注，制作第一数据集；

利用分类网络对第一数据集进行分类，得到分叉血管图像和正常血管图像；

分别标注分叉血管图像的内外膜和正常血管图像的内外膜，形成第二数据集和第三数据集；第二数据集包括了进行标注的分叉血管的内外膜图像；第三数据集包括了进行标注的正常血管的内外膜图像。

利用语义分割网络对第二数据集和第三数据集分别进行分割处理，分别得到分叉血管和正常血管的内外膜图像；

对得到分叉血管和正常血管的内外膜图像进行三维重建。

具体地，首先对采集到的ivus图像分叉血管和正常血管加标签制作为数据集，利用分类网络对其进行分类并评估精度，从中选出最优的分类模型，用于对血管的分类。

然后对于分叉血管和正常血管分别人工标注内外膜制作成数据集，并利用语义分割网络对其进行分割处理，并评估分割精度，再次选出最优分割模型。

最后整合两种最优模型的结果，将最后分割完的完整内外膜进行三维重建，以作进一步的分析处理。

下面本实施例方法进行详细说明。

首先利用相应的设备采集ivus图像，在医院数据的支撑下，采集各个实验对象的血管内超声图像。采集完超声图像后，将采集到的图像经过预处理阶段后，制作为数据集。

构建数据集的过程如图1所示，包括：数据采集、数据预处理和数据标注三个部分；

数据采集包括采集人的ivus图像，并对将采集到的图像进行数据预处理。

数据预处理包括对剔除质量差的ivus图像，然后将ivus图像中正常血管和分叉血管区分开来制作数据集。

数据标注将分别对ivus图像中的正常血管和分叉血管的内外膜人工标注，并制作为数据集。

在此数据集中，首先是正常血管和分叉血管的分类数据集，在此分类过程中，将利用深度学习的方法构建分类网络，通过分类网络对正常血管和分叉血管进行分类，并评估各个分类模型，最终选取一个最优的分类模型，将其保存下来。

本实施例中，分类网络包括但不限于vgg、alexnet和googlenet分类网络，利用现有的血管内超声分类数据集测试每一种分类网络的分类准确率：将现有的血管内超声分类数据集分别输入到每一种分类网络中，将输出的分类结构与实际的分类结果进行比较，来判断每一个分类网络的准确率。

选择分类准确率最高的分类网络作为最优的分类网络对第一数据集进行分类。

接下来根据上一步的分类结果，结合制作好的分割数据集，分别对正常血管和分叉血管部分进行内外膜的分割，此分割过程利用深度学习中的语义分割的方法进行，并对各种分割模型进行评估，最终选取一个最优的分割模型，也将其保存下来。

本实施例中，语义分割网络包括但不限于fcn、gan和deeplab分割网络，利用现有的血管内超声分割数据集测试每一种分类网络的分类准确率：将现有的血管内超声分割数据集分别输入到每一种语义分割网络中，将输出的分割结构与实际的分割结果进行比较，来判断每一个语义分割网络的准确率。

选择分割准确率最高的分类网络作为最优的分割网络对第二数据集和第三数据集进行分割。

根据上述步骤中得到的分类模型和分割模型，结合两者中的最优模型，对最后的内外膜分割结果进行三维重建，并将重建结果和原图实时显示。

需要说明的是，本实施例中公开的将利用深度学习方法对正常血管和分叉血管进行分类的过程、利用深度学习中的语义分割的方法对正常血管和分叉血管部分进行内外膜分割的过程以及对最后的内外膜分割结果进行三维重建的过程均是本领域技术人员根据现有技术能够实现的，在此不再详细说明。

实施例二

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于深度学习的血管内超声图像三维重建方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

结合实施例一中的方法步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。