图像分析方法、设备和存储介质与流程

文档序号:21369186发布日期:2020-07-04 04:45阅读:192来源:国知局
图像分析方法、设备和存储介质与流程

本申请涉及图像处理技术领域,特别是涉及一种图像分析方法、设备和存储介质。



背景技术:

人体各组织器官要维持其正常的生命活动,需要心脏不停地搏动以保证血运,而心脏作为一个泵血的肌性动力器官,本身也需要足够的营养和能源,供给心脏营养的血管系统,就是冠状动脉和静脉,也称冠脉循环,冠状动脉是供给心脏血液的动脉,起于主动脉根部,分左右两支,行于心脏表面,冠状动脉依据心脏室间隔后三分之一的供血血管(后降支)来源可分为三类优势型,分别为右侧优势型,左侧优势型,均衡型。所谓优势型,简单来说即是心脏的左右两个冠脉哪个承担更多的心肌供血。针对不同优势型的冠脉分布,医生所采用的处理手段也是不同的,因此,对冠脉的优势型进行判定就显得尤为重要。

相关技术中,在判定冠脉的优势型时,大多是临床医生根据经验去对采集的冠脉图像进行判定,以得到冠脉的优势型的判定结果。

然而上述技术存在耗费人力的问题。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够节省人力的图像分析方法、设备和存储介质。

一种图像分析方法,该方法包括:

对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息;该冠脉的参考信息与待检测冠脉图像中冠脉所包围的心房和心室的位置信息有关;

对待检测冠脉图像进行分割处理,得到待检测冠脉图像对应的左右冠脉的分割图像,并提取左右冠脉的分割图像的左右冠脉的中线;

根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果;该分析结果用于表征待检测冠脉图像中冠脉的优势型类别。

在其中一个实施例中,上述对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息,包括:

采用预设的检测模型对待检测冠脉图像中的房室交点进行检测处理,得到待检测冠脉图像中房室交点的位置信息,并将房室交点的位置信息作为冠脉的参考信息;

其中,检测模型是基于第一样本冠脉图像和第一样本冠脉图像对应的金标准图像进行训练得到的,第一样本冠脉图像对应的金标准图像包括第一样本冠脉图像对应的房室交点的位置标记,房室交点为心室间的心中静脉和心房间的冠状静脉窦的交界处的点。

在其中一个实施例中,上述左右冠脉的中线包括左冠脉的中线和右冠脉的中线,上述根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果,包括:

计算房室交点的位置信息和左冠脉的中线之间的最短距离,得到第一距离;以及,计算房室交点的位置信息和右冠脉的中线之间的最短距离,得到第二距离;

根据第一距离和第二距离以及预设的距离阈值范围,对待检测冠脉图像进行分析,得到分析结果。

在其中一个实施例中,上述预设的距离阈值范围包括第一距离阈值范围、第二距离阈值范围、第三距离阈值范围,上述根据第一距离和第二距离以及预设的距离阈值范围,对待检测冠脉图像进行分析,得到分析结果,包括:

将第一距离以及第二距离和第一距离阈值范围进行匹配;若第一距离和第二距离均未超出第一距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型;

或者,将第一距离和第二距离阈值范围进行匹配;若第一距离未超出第二距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为左侧优势型;

或者,将第二距离和第三距离阈值范围进行匹配;若第二距离未超出第三距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为右侧优势型。

在其中一个实施例中,上述第一距离阈值范围包括左支第一距离阈值范围和右支第一距离阈值范围,上述将第一距离以及第二距离和第一距离阈值范围进行匹配;若第一距离和第二距离均未超出第一距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型,包括:

将第一距离和左支第一距离阈值范围进行匹配,以及,将第二距离和右支第一距离阈值范围进行匹配;

若第一距离未超出左支第一距离阈值范围,且第二距离未超出右支第一距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型。

在其中一个实施例中,上述对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息,包括:

对待检测冠脉图像进行分割处理,得到心脏腔室的分割结果;该心脏腔室的分割结果包括心脏的左右心房和左右心室;

根据心脏腔室的分割结果建立建立房室沟坐标系,并将房室沟坐标系作为冠脉的参考信息;该房室沟坐标系的横轴方向为心脏房室沟交界线的方向,房室沟坐标系的纵轴方向为心脏心室沟交界线的方向。

在其中一个实施例中,上述左右冠脉的中线包括左冠脉的中线和右冠脉的中线,上述根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果,包括:

计算左冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个左支点的坐标,以及,计算右冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个右支点的坐标;

根据至少一个左支点的坐标和至少一个右支点的坐标以及预设的坐标阈值范围,对待检测冠脉图像进行分析,得到分析结果。

在其中一个实施例中,上述根据至少一个左支点的坐标和至少一个右支点的坐标以及预设的坐标阈值范围,对待检测冠脉图像进行分析,得到分析结果,包括:

将至少一个左支点的坐标和至少一个右支点的坐标分别和坐标阈值范围进行匹配,得到左支目标点的数量和右支目标点的数量,将左支目标点的数量以及右支目标点的数量和预设的数量阈值进行对比,并根据对比结果得到分析结果;

其中,左支目标点为至少一个左支点中坐标未超出坐标阈值范围的点,右支目标点为至少一个右支点中坐标未超出坐标阈值范围的点。

在其中一个实施例中,若上述坐标阈值范围包括左支第一坐标阈值范围和右支第一坐标阈值范围,上述数量阈值包括左支第一数量阈值和右支第一数量阈值,上述将至少一个左支点的坐标和至少一个右支点的坐标分别和坐标阈值范围进行匹配,得到左支目标点的数量和右支目标点的数量,将左支目标点的数量以及右支目标点的数量和预设的数量阈值进行对比,并根据对比结果得到分析结果,包括:

将至少一个左支点的坐标和左支第一坐标阈值范围进行匹配,得到左支第一目标点的数量,以及,将至少一个右支点的坐标和右支第一坐标阈值范围进行匹配,得到右支第一目标点的数量;

将左支第一目标点的数量和左支第一数量阈值进行对比,以及,将右支第一目标点的数量和右支第一数量阈值进行对比;

若左支第一目标点的数量大于左支第一数量阈值,且右支第一目标点的数量大于右支第一数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型。

在其中一个实施例中,若上述坐标阈值范围包括左支第二坐标阈值范围和右支第二坐标阈值范围,上述数量阈值包括左支第二数量阈值和右支第二数量阈值,上述将至少一个左支点的坐标和至少一个右支点的坐标分别和坐标阈值范围进行匹配,得到左支目标点的数量和右支目标点的数量,将左支目标点的数量以及右支目标点的数量和预设的数量阈值进行对比,并根据对比结果得到分析结果,包括:

将至少一个左支点的坐标和左支第二坐标阈值范围进行匹配,得到左支第二目标点的数量,并将左支第二目标点的数量和左支第二数量阈值进行对比,若左支第二目标点的数量大于左支第二数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为左侧优势型;或者,

将至少一个右支点的坐标和右支第二坐标阈值范围进行匹配,得到右支第二目标点的数量,并将右支第二目标点的数量和右支第二数量阈值进行对比,若右支第二目标点的数量大于右支第二数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为右侧优势型。

在其中一个实施例中,上述对待检测冠脉图像进行分割处理,得到待检测冠脉图像对应的左右冠脉的分割图像,包括:

将待检测冠脉图像输入至预设的分割模型,得到待检测冠脉图像对应的左右冠脉的概率图;该左右冠脉的概率图上各位置的像素值为待检测冠脉图像上对应位置的像素值属于左右冠脉的概率,该分割模型是基于第二样本冠脉图像和第二样本冠脉图像对应的金标准图像进行训练得到的,第二样本冠脉图像对应的金标准图像包括第二样本冠脉图像对应的左右冠脉标记;

根据预设的第一概率阈值对左右冠脉的概率图进行二值化处理,得到左右冠脉的概率图对应的左右冠脉的分割图像。

在其中一个实施例中,上述采用预设的检测模型对待检测冠脉图像中的房室交点进行检测处理,得到待检测冠脉图像中房室交点的位置信息,包括:

将待检测冠脉图像输入至检测模型,得到待检测冠脉图像对应的房室交点的概率图;该房室交点的概率图上各位置的像素值为待检测冠脉图像上对应位置的像素值属于房室交点的概率;

根据预设的第二概率阈值对房室交点的概率图进行二值化处理,得到房室交点的概率图对应的二值化掩模图像;

对二值化掩模图像中的连通域进行标记,并根据标记的连通域确定其中的最大连通域;

获取最大连通域对应的概率值的加权中心点,将加权中心点的位置信息确定为房室交点的位置信息。

一种图像分析装置,该装置包括:

检测模块,用于对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息;该冠脉的参考信息与待检测冠脉图像中冠脉所包围的心房和心室的位置信息有关;

分割模块,用于对待检测冠脉图像进行分割处理,得到待检测冠脉图像对应的左右冠脉的分割图像,并提取左右冠脉的分割图像的左右冠脉的中线;

分析模块,用于根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果;该分析结果用于表征待检测冠脉图像中冠脉的优势型类别。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息;该冠脉的参考信息与待检测冠脉图像中冠脉所包围的心房和心室的位置信息有关;

对待检测冠脉图像进行分割处理,得到待检测冠脉图像对应的左右冠脉的分割图像,并提取左右冠脉的分割图像的左右冠脉的中线;

根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果;该分析结果用于表征待检测冠脉图像中冠脉的优势型类别。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息;该冠脉的参考信息与待检测冠脉图像中冠脉所包围的心房和心室的位置信息有关;

对待检测冠脉图像进行分割处理,得到待检测冠脉图像对应的左右冠脉的分割图像,并提取左右冠脉的分割图像的左右冠脉的中线;

根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果;该分析结果用于表征待检测冠脉图像中冠脉的优势型类别。

上述图像分析方法、装置、计算机设备和存储介质,通过对待检测冠脉图像进行检测,得到冠脉的参考信息,该冠脉的参考信息与冠脉所包围的心室和心房的位置信息有关,对待检测冠脉图像进行分割和提取中线处理,得到左右冠脉的中线,并基于冠脉的参考信息和左右冠脉的中线对待检测冠脉图像进行分析,得到可以表征冠脉的优势型类别的分析结果。在该方法中,由于可以对冠脉图像进行检测,并基于得到的冠脉的参考信息和左右冠脉的中线得到冠脉的优势型类别,而不需要人工去判定优势型类别,因此,该方法可以在一定程度上节省人力成本;另外,由于该方法中采用计算机设备对冠脉图像进行检测以得到优势型类别,这样相比人工根据经验去判定优势型类别,得到的优势型类别的判定结果会更加准确,同时优势型类别的判定过程也更加快速,从而也可以节省优势型类别的判定时间。

附图说明

图1为一个实施例计算机设备的内部结构图;

图2为一个实施例中图像分析方法的流程示意图;

图3a为在第一样本冠脉图像上标记的房室交点的示意图;

图3b为另一个实施例中图像分析方法的流程示意图;

图4为另一个实施例中图像分析方法的流程示意图;

图5a为另一个实施例中图像分析方法的流程示意图;

图5b为在心脏腔室上建立的房室沟坐标系的示意图;

图6为另一个实施例中图像分析方法的流程示意图;

图7a为另一个实施例中图像分析方法的流程示意图;

图7b为在第二样本冠脉图像上标记的左右冠脉血管的示意图;

图8为一个实施例中图像分析装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

冠状动脉依据心脏室间隔后三分之一的供血血管(后降支)来源可分为三类,右侧优势型,左侧优势型,均衡型,即如果后降支供血血管来自于右冠状动脉(rca),则为右侧优势型;如果后降支供血血管来自于左回旋冠状动脉(lcx),则为左侧优势型;如果后降支供血血管同时来自于右冠状动脉(rca)和左回旋冠状动脉(lcx),则为均衡型。目前,临床工作中,医生对于冠状动脉的左右优势型的判定是依据后降支的起源以及依据左右冠脉在隔面的分布情况。右侧优势型的右冠状动脉跨过十字交叉,在隔面发出后降支,并且发出右后外侧支;左侧优势型的后降支由左冠回旋支发出且左冠回旋越过十字交叉;均衡型的左右冠状动脉均衡分布于心脏隔面,且互不越过房室交点的十字交叉,后降支可由右冠发出或来自两侧冠状动脉。这种判定方法,对于医生解剖经验有比较高的要求,尤其对于冠状动脉血管变异大的情况来说,人工经验显得非常重要,初级医生往往会因为阅片经验不足发生判断失误的情况;另外,人工判定,尤其是在医生大量处理报告时候,需要耗费医生大量精力,增加人为误判的风险增加。本申请提供一种图像检测方法、装置、设备及存储介质,可以解决上述技术问题。

本实施例提供的图像检测方法,可以应用于计算机设备,该计算机设备可以是终端或服务器,该计算机设备可以和医学扫描设备进行有线或无线通信。以计算机设备为终端为例,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

需要说明的是,本申请实施例的执行主体可以是计算机设备,也可以是图像检测装置,下面就以计算机设备为执行主体进行说明。

在一个实施例中,提供了一种图像检测方法,本实施例涉及的是如何对冠脉图像进行检测和分析,并基于冠脉图像分析结果得到冠脉优势型类别的具体过程。如图2所示,该方法可以包括以下步骤:

s202,对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息;该冠脉的参考信息与待检测冠脉图像中冠脉所包围的心房和心室的位置信息有关。

其中,冠脉所包围的心房和心室一般有左心房、左心室、右心房和右心室,参考信息可以是与左右心房的位置信息以及左右心室的位置信息相关的信息,例如可以是心室和心房间的交点位置,或者依据心室位置和心房位置建立的心室和心房间的坐标系,又或者可以是其他和心室心房位置有关的信息,本实施例对此不做具体限定。另外,待检测冠脉图像可以是一维图像、二维图像、三维图像、四维图像等等,本实施例主要使用的是三维图像,该待检测冠脉图像的模态可以是ct图像、pet图像、mr图像等,例如是ct图像时,可以是cta图像;待检测图像中的冠脉一般均包括左冠脉和右冠脉。

具体的,在对待检测对象检测之前,可以先采用扫描设备(不限于ct、pet、mr等扫描设备)对待检测对象的胸部或全身进行扫描,得到待检测图像胸部的图像,该胸部图像中包括冠脉和心脏,可以记为待检测冠脉图像;之后,计算机设备可以对待检测冠脉图像中的冠脉和心脏进行检测,得到冠脉和心室心房相关的位置信息,记为冠脉的参考信息。

s204,对待检测冠脉图像进行分割处理,得到待检测冠脉图像对应的左右冠脉的分割图像,并提取左右冠脉的分割图像的左右冠脉的中线。

其中,在对待检测冠脉进行分割处理时,可以采用分割模型、图像分割算法等对待检测冠脉中的冠脉进行分割,得到左右冠脉。在得到待检测冠脉图像后,可以先对待检测冠脉图像进行分割处理,再进行上述s202的检测处理;当然还可以是先进行上述s202的检测处理,再进行本步骤的分割处理;当然也可以是上述s202的检测处理和本步骤的分割处理同时进行,本实施例对上述s202和本步骤的先后顺序不做具体限定。另外,在提取左右冠脉的中线时,可以是采用骨架化方法进行提取,也可以是采用神经网络进行提取,当然还可以是其他方法,本实施例对此也不作具体限定。除此之外,左右冠脉的中线可以是左右冠脉的中心线,也可以是可以表征左右冠脉的线条,例如左右冠脉中的靠近外壁的线条。

具体的,计算机设备在上述s202获得待检测冠脉图像之后,可以采用分割模型、图像分割算法等对待检测冠脉中的冠脉进行分割,得到左冠脉的分割图像和右冠脉的分割图像,然后分别提取左冠脉的分割图像的中线和右冠脉的分割图像的中线,得到左冠脉的分割图像对应的左冠脉的中线和右冠脉的分割图像对应的右冠脉的中线。

s206,根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果;该分析结果用于表征待检测冠脉图像中冠脉的优势型类别。

其中,冠脉的优势型类别包括均衡型、左侧优势型、右侧优势型。

具体的,计算机设备在得到冠脉的参考信息和左冠脉的中线以及右冠脉的中线之后,可以通过分析冠脉的参考信息中心室心房的位置和左右冠脉的中线之间的相对位置情况,得到分析结果,并根据分析结果得到优势型类别。例如若冠脉的参考信息中心室心房的位置和左冠脉的中线相对位置较近,那么可以认为是左侧优势型,若冠脉的参考信息中心室心房的位置和右冠脉的中线相对位置较近,那么可以认为是右侧优势型,若冠脉的参考信息中心室心房的位置和左右冠脉的中线相对位置差不多,那么可以认为是均衡型。在得到待检测冠脉图像中冠脉的优势型类别之后,可以在对待检测对象的阅片上标记对应的优势型类别,同时医生也可以根据该优势型类别对待检测对象采用针对性的处理手段进行处理,以得到更好的处理结果。

上述图像分析方法中,通过对待检测冠脉图像进行检测,得到冠脉的参考信息,该冠脉的参考信息与冠脉所包围的心室和心房的位置信息有关,对待检测冠脉图像进行分割和提取中线处理,得到左右冠脉的中线,并基于冠脉的参考信息和左右冠脉的中线对待检测冠脉图像进行分析,得到可以表征冠脉的优势型类别的分析结果。在该方法中,由于可以对冠脉图像进行检测,并基于得到的冠脉的参考信息和左右冠脉的中线得到冠脉的优势型类别,而不需要人工去判定优势型类别,因此,该方法可以在一定程度上节省人力成本;另外,由于该方法中采用计算机设备对冠脉图像进行检测以得到优势型类别,这样相比人工根据经验去判定优势型类别,得到的优势型类别的判定结果会更加准确,同时优势型类别的判定过程也更加快速,从而也可以节省优势型类别的判定时间。

需要说明的是,上述得到冠脉的参考信息可以有两种,一种是房室交点的位置信息,另一种是房室沟坐标系,下面分别针对这两种情况下的参考信息对冠脉的优势型类别进行分析。以下首先介绍参考信息为房室交点的位置信息的情况。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是如何采用检测模型对待检测冠脉图像进行检测,得到冠脉图像中房室交点的位置信息的具体过程。在上述实施例的基础上,上述s202可以包括以下步骤a:

步骤a,采用预设的检测模型对待检测冠脉图像中的房室交点进行检测处理,得到待检测冠脉图像中房室交点的位置信息,并将房室交点的位置信息作为冠脉的参考信息;其中,检测模型是基于第一样本冠脉图像和第一样本冠脉图像对应的金标准图像进行训练得到的,第一样本冠脉图像对应的金标准图像包括第一样本冠脉图像对应的房室交点的位置标记,房室交点为心室间的心中静脉和心房间的冠状静脉窦的交界处的点。

在步骤a中,心中静脉指的是心脏隔面左心室和右心室之间纵向的静脉,冠状静脉窦指的是心脏隔面左心房和右心房之间纵向的静脉窦,这里的心脏隔面指的是心脏背面,心中静脉和冠状静脉窦的交界处可能会有多个点,可以从中选取一个作为房室交点,至于选取交界处的哪个点,可以根据实际情况而定。

房室交点的位置信息可以是房室交点的坐标,该房室交点的坐标可以是一维坐标、二维坐标、三维坐标等。

另外,在使用检测模型之前,也需要对检测模型进行训练,检测模型的训练过程可以包括以下三个步骤:

1)生成训练数据集。使用标注软件在n个第一样本冠脉图像中标记出n个房室交点pi并保存其坐标(这里的i指的是每个第一样本冠脉图像上的房室交点的索引,其范围为1-n,即每个第一样本冠脉图像上标记一个房室交点),然后在n个第一样本冠脉图像中生成n个以每一房室交点坐标为圆心,半径为r的球形二值化掩膜图像,记为每个第一样本冠脉图像对应的金标准图像(即每个第一样本冠脉图像对应一个金标准图像),该金标准图像与第一样本冠脉图像配对组成训练数据集,训练数据集的数量也为n;另外,第一样本冠脉图像的模态和待检测冠脉图像的模态相同,r和n的大小可以根据实际情况而定,例如r可以是6像素,n的数量可以为1000、2000等。示例地,参见图3a所示,为在第一样本冠脉图像上标记的房室交点的示意图,四幅图分别为在矢状面、冠状面、水平面、三维立体上标记的房室交点(需要说明的是,这四幅图只是一个示例,并不影响本申请实施例的实质内容)。

2)建立检测模型,该检测模型可以是卷积神经网络模型。构建卷积神经网络模型,并设定卷积神经网络模型的超参数,其中卷积神经网络的输入通道为1,为第一样本冠脉图像,输出通道为2,分别为第一样本冠脉图像对应的n个房室交点的检测概率图与背景的检测概率图;另外,可以将上述训练数据集分成训练集x1、验证集x2和测试集x3,训练集、验证集与测试集互相独立,其数量分别为n1、n2和n3,均为自然数,且n1+n2+n3=n,n1≥1/2n;示例地,假设第一样本冠脉图像的数量为1000,那么可以是n1=500,n2=200,n3=300。

3)训练检测模型。使用步骤1)中生成的训练数据集训练步骤2)建立的检测模型,其中训练集x1用于训练检测模型,验证集x2用于评价模型当前的性能,测试集x3用于检验模型的泛化性能;训练过程中,训练集将分多个批次(例如可以是分100个批次训练100轮)并重复输入检测模型训练多轮,同时,使用代价函数计算输出的房室交点的检测概率图像与金标准图像的差异,并将差异作为训练误差反馈给检测模型,并通过学习算法更新模型参数;每一批次的训练结束后,使用验证集对检测模型进行性能测试,待性能测试指标训练趋于稳定后时,则认为检测模型的训练完成,保存训练完成的网络模型。另外,检测模型的网络结构可以包括输入模块、两个下采样模块、两个上采样模块和输出模块,除输出模块外,其他模块均使用了批归一化层以及非线性激活函数relu,而输出模块中的非线性激活函数改用softmax,它的输出值在(0,1)区间内,需要说明的是,最后的softmax是在各输出通道之间做的,这样最终输出的各个概率图中对应位置元素的和为1,它们分别代表了原第一样本冠脉图像中当前位置的像素属于各个背景或前景的概率。

另外,上述检测模型可以是深度卷积神经网络cnn、生成式对抗网络gan、卷积神经网络u-net和v-net或者循环神经网络rnn等;超参数可以包括网络层数、卷积核、学习率、参数初始化、训练轮数和批次规模。代价函数可以是集合相似度度量函数(diceloss)或焦点损失函数(focalloss),然后也可以使用随机梯度下降(stochasticgradientdescent,sgd)、自适应矩估计优化算法(adaptivemomentestimation,adam)以及动量算法(momentum)中的一种最小化训练误差,以训练检测模型。

在采用训练好的检测模型对待检测冠脉图像进行检测,得到房室交点的位置信息时,参见图3b所示,可选的,上述步骤a可以包括以下步骤s302-s308:

s302,将待检测冠脉图像输入至检测模型,得到待检测冠脉图像对应的房室交点的概率图;该房室交点的概率图上各位置的像素值为待检测冠脉图像上对应位置的像素值属于房室交点的概率。

s304,根据预设的第二概率阈值对房室交点的概率图进行二值化处理,得到房室交点的概率图对应的二值化掩模图像。

s306,对二值化掩模图像中的连通域进行标记,并根据标记的连通域确定其中的最大连通域。

s308,获取最大连通域对应的概率值的加权中心点,将加权中心点的位置信息确定为房室交点的位置信息。

其中,在s302-s308中,第二概率阈值的大小可以根据实际情况而定,例如可以是0.2、0.3、0.35等等。

具体的,计算机设备在得到待检测冠脉图像之后,可以将待检测冠脉图像输入至检测模型,得到待检测冠脉图像对应的房室交点的概率图,然后将第二概率阈值和房室交点的概率图上各个位置的概率值进行比较,将概率图上概率值小于第二概率阈值的位置上的概率值置为0,将概率图上概率值大于等于第二概率阈值的位置上的概率值置为1,得到二值化后的概率图,记为二值化掩模图像;之后可以将该掩模图像上各个概率值为1的连通域标记出来(例如可以将各个为1的连通域标记为不同颜色),从中找出概率值为1的各连通域中面积最大的连通域,并将该面积最大的连通域作为最大连通域,然后将该最大连通域对应到检测模型输出的原房室交点的概率图上,得到最大连通域对应位置上的概率值和坐标;或者也可以将概率值为1的各连通域按对应位置对应到原房室交点的概率图上,找到各连通域在原房室交点的概率图上概率密度最大的连通域,并将该概率密度最大的连通域作为最大连通域,然后得到该最大连通域对应位置上的概率值和坐标,之后将概率值作为权重,并对各权重对应的坐标进行加权求和,得到加权求和后的坐标,并将该加权求和后的坐标记为房室交点的位置信息;其中,通过检测模型得到的原房室交点的概率图上的概率值不是二值化的概率值,是实际计算的概率值,例如可以是0.95、0.88、0.02、0.23、0.45等等。

本实施例提供的图像分析方法,可以采用预设的检测模型对待检测冠脉图像中的房室交点进行检测处理,得到待检测冠脉图像中房室交点的位置信息,并将房室交点的位置信息作为冠脉的参考信息;其中,检测模型是基于第一样本冠脉图像和第一样本冠脉图像对应的房室交点的位置标记进行训练得到的。在该本实施例中,由于可以采用训练好的检测模型得到待检测冠脉图像上的房室交点的位置信息,该训练好的检测模型是基于样本冠脉图像对应的房室交点的位置标记进行训练的,这样训练的检测模型就是准确的,从而在后续利用该房室交点的位置信息对冠脉的优势型类别进行分析时,得到的分析结果也是比较准确的。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是如何基于上述房室交点的位置信息和冠脉的中线对待检测冠脉图像进行分析,得到优势型的分析结果的具体过程。在上述实施例的基础上,如图4所示,上述s206可以包括以下步骤:

s402,计算房室交点的位置信息和左冠脉的中线之间的最短距离,得到第一距离;以及,计算房室交点的位置信息和右冠脉的中线之间的最短距离,得到第二距离。

具体的,在计算距离时,可以是计算待检测冠脉图像上房室交点的位置信息和左冠脉的中线上各个点之间的距离,得到多个距离,并从中找出最短距离,记为第一距离;同样的,也可以计算待检测冠脉图像上房室交点的位置信息和右冠脉的中线上各个点之间的距离,得到多个距离,并从中找出最短距离,记为第二距离。其中,计算距离的公式可以采用现有的点和点之间的距离计算公式进行计算,当然也可以是采用现有的点和线之间的距离公式直接计算得到第一距离和第二距离。

s404,根据第一距离和第二距离以及预设的距离阈值范围,对待检测冠脉图像进行分析,得到分析结果。

其中,预设的距离阈值范围可以是根据样本冠脉图像上标记的房室交点的位置信息和样本冠脉图像上标记的左右冠脉的中线进行计算得到的,这里的样本冠脉图像上也可以标记优势型类别。另外,预设的距离阈值范围包括第一距离阈值范围、第二距离阈值范围、第三距离阈值范围,其中,第一距离阈值范围可以是根据均衡型样本冠脉图像计算得到的均衡型冠脉的距离阈值范围,第二距离阈值范围可以是根据左侧优势型样本冠脉图像计算得到的左侧优势型冠脉的距离阈值范围,第三距离阈值范围可以是根据右侧优势型样本冠脉图像计算得到的右侧优势型冠脉的距离阈值范围,对应的,计算预设的距离阈值范围的方法可以如下:

计算均衡型样本冠脉图像上标记的房室交点到左右冠脉的中线的最短距离,得到每个均衡型样本冠脉图像对应的最短距离,然后计算该多个最短距离的均值μ1和标准方差σ1,并将[μ1-2σ1,μ1+2σ1]范围作为第一距离阈值范围;同样的,计算左侧优势型样本冠脉图像上标记的房室交点到左冠脉的中线的最短距离,得到每个左侧优势型样本冠脉图像对应的最短距离,然后计算该多个最短距离的均值μ2和标准方差σ2,并将[μ2-2σ2,μ2+2σ2]范围作为第二距离阈值范围;同样的,计算右侧优势型样本冠脉图像上标记的房室交点到右冠脉的中线的最短距离,得到每个右侧优势型样本冠脉图像对应的最短距离,然后计算该多个最短距离的均值μ3和标准方差σ3,并将[μ3-2σ3,μ3+2σ3]范围作为第三距离阈值范围。

具体的,在得到第一距离和第二距离以及预设的三个距离阈值范围之后,可选的,可以将第一距离以及第二距离和第一距离阈值范围进行匹配;若第一距离和第二距离均未超出第一距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型;或者,将第一距离和第二距离阈值范围进行匹配;若第一距离未超出第二距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为左侧优势型;或者,将第二距离和第三距离阈值范围进行匹配;若第二距离未超出第三距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为右侧优势型。

也就是说,在这里,在将第一距离和第二距离以及预设的距离阈值范围进行比较时,可以是先将第一距离和第二距离分别与第一距离阈值范围[μ1-2σ1,μ1+2σ1]进行对比,若第一距离和第二距离均未超出第一距离阈值范围,那么就认为该待检测冠脉图像中冠脉的优势型为均衡型;若第一距离和第二距离有任意一个超出第一距离阈值范围,那么就继续将第一距离和第二距离阈值范围[μ2-2σ2,μ2+2σ2]进行对比,若第一距离未超出第二距离阈值范围,那么就认为该待检测冠脉图像中冠脉的优势型为左侧优势型;若第一距离超出第二距离阈值范围,那么就继续将第二距离和第三距离阈值范围[μ3-2σ3,μ3+2σ3]进行对比,若第二距离未超出第三距离阈值范围,那么就认为该待检测冠脉图像中冠脉的优势型为右侧优势型;若第二距离超出第三距离阈值范围,那么就输出该待检测冠脉图像中冠脉的优势型为不确定,需要医生进一步进行确定。

在上述将第一距离和第二距离以及预设的距离阈值范围进行比较时,可以有6种匹配顺序,第1种:按照上述方法先匹配均衡型,若均衡型不匹配,则匹配左侧优势型,若左侧优势型不匹配,则匹配右侧优势型;第2种:先匹配均衡型,若均衡型不匹配,则匹配右侧优势型,若右侧优势型不匹配,则匹配左侧优势型;第3种:先匹配左侧优势型,若左侧优势型不匹配,则匹配右侧优势型,若右侧优势型不匹配,则匹配均衡型;第4种:先匹配左侧优势型,若左侧优势型不匹配,则匹配均衡型,若均衡型不匹配,则右侧优势型;第5种:先匹配右侧优势型,若右侧优势型不匹配,则匹配均衡型,若均衡型不匹配,则匹配左侧优势型;第6种:先匹配右侧优势型,若右侧优势型不匹配,则匹配左侧优势型,若左侧优势型不匹配,则匹配均衡型。

在上述内容的基础上,若上述第一距离阈值范围可以包括左支第一距离阈值范围和右支第一距离阈值范围,那么可选的,上述在根据第一距离和第二距离以及第一距离阈值范围进行匹配,得到均衡型的分析结果的步骤可以包括:将第一距离和左支第一距离阈值范围进行匹配,以及,将第二距离和右支第一距离阈值范围进行匹配;若第一距离未超出左支第一距离阈值范围,且第二距离未超出右支第一距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型。也就是说,上述确定第一距离阈值范围时,可以计算均衡型样本冠脉图像上标记的房室交点到左冠脉的中线的最短距离,得到每个均衡型样本冠脉图像对应的左支最短距离,然后计算该多个左支最短距离的均值μ1和标准方差σ1,并将左支[μ1-2σ1,μ1+2σ1]范围作为左支第一距离阈值范围;同时也可以计算均衡型样本冠脉图像上标记的房室交点到右冠脉的中线的最短距离,得到每个均衡型样本冠脉图像对应的右支最短距离,然后计算该多个右支最短距离的均值μ1和标准方差σ1,并将右支[μ1-2σ1,μ1+2σ1]范围作为右支第一距离阈值范围;在对待检测冠脉图像计算得到第一距离和第二距离之后,就可以将第一距离和第二距离与对应的左支第一距离阈值范围及右支第一距离阈值范围进行匹配,若第一距离和第二距离均未超出对应的距离阈值范围,则确定冠脉的优势型为均衡型;若第一距离和第二距离中有任意一个超出对应的距离阈值范围,则可以按照上述6种比较顺序进行操作,以得到最终的冠脉的优势型的分析结果。

本实施例提供的图像分析方法,可以计算房室交点的位置信息和左冠脉的中线之间的最短距离,得到第一距离,以及,计算房室交点的位置信息和右冠脉的中线之间的最短距离,得到第二距离,并根据第一距离和第二距离以及预设的距离阈值范围,对待检测冠脉图像进行分析,得到分析结果。在本实施例中,由于可以通过房室交点和左右冠脉的中线之间的最短距离进行阈值比较得到最终的优势型,该方法较为简单直接,也不需要人为去分析,因此,可以在一定程度上节省人力,同时也可以节省冠脉优势型的分析时间,提高冠脉优势型的分析速度。

下面接着介绍参考信息为房室沟坐标系的情况。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是如何采用检测模型对待检测冠脉图像进行检测,得到冠脉图像中房室沟坐标系的具体过程。在上述实施例的基础上,如图5a所示,上述s202可以包括以下步骤:

s502,对待检测冠脉图像进行分割处理,得到心脏腔室的分割结果;该心脏腔室的分割结果包括心脏的左右心房和左右心室。

其中,心脏腔室包括寺儿沟腔室,分别为左心房、左心室、右心房、右心室。在对待检测冠脉图像进行分割时,可以是采用腔室分割模型或者图像分割算法等对待检测冠脉图像中的腔室进行分割;若采用腔室分割模型进行分割,则可以预先训练该腔室分割模型,该腔室分割模型可以是根据样本冠脉图像和样本冠脉图像对应的四个腔室的金标准图像进行训练得到的。

具体的,在对待检测冠脉图像进行分割时,可以将待检测冠脉图像输入至预先训练好的腔室分割模型,得到四个腔室的分割图像,这四个腔室的分割图像可以是一张图像,也可以是每个腔室分别对应一个分割图像;另外,该四个腔室的分割图像上可以包括各个腔室的位置信息。

s504,根据心脏腔室的分割结果建立建立房室沟坐标系,并将房室沟坐标系作为冠脉的参考信息;该房室沟坐标系的横轴方向为心脏房室沟交界线的方向,房室沟坐标系的纵轴方向为心脏心室沟交界线的方向。

其中,房室沟交界线指的是心房和心室之间的交界线,心室沟交界线指的是心脏隔面左心室和右心室之间的交界线。

具体的,计算机设备在得到各个腔室的分割图像之后,也可以得到各个腔室的位置信息,其中也包括各个腔室的边界点的位置信息,然后可以对房室沟交界线上的各个点的位置进行拟合处理(例如最小二乘法拟合等),得到x轴,也可以记为横轴,横轴的正方向可以是右心室右心房的方向;同样也可以对心室沟交界线上的各个点的位置进行拟合处理,得到y轴,也可以记为纵轴,纵轴的正方向可以是左心室右心室的方向,这里的x轴和y轴是互相垂直的,其中,原点可以是x轴与y轴的交点,或者也可以是上述的房室交点,通过得到的原点,x轴、y轴就可以得到房室沟坐标系,建立的房室沟坐标系可以参见图5b所示。

本实施例提供的图像分析方法,可以对待检测冠脉图像进行分割处理,得到心脏腔室的分割结果;该心脏腔室的分割结果包括心脏的左右心房和左右心室;根据心脏腔室的分割结果建立建立房室沟坐标系,并将房室沟坐标系作为冠脉的参考信息。在本实施例中,由于可以依据心脏腔室的分割结果建立房室沟坐标系,这样可以为后续分析冠脉的优势型提供计算基础;另外,由于本实施例是采用对心脏腔室进行分割的分割结果拟合出坐标系的,而不是直接根据分割结果建立坐标系,因此本实施例拟合出的坐标系也是比较准确的,这样后续得到冠脉的优势型的分析结果也会更加准确。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是如何基于房室沟坐标系和左右冠脉的中线对待检测冠脉图像进行分析,得到优势型的分析结果的具体过程。在上述实施例的基础上,如图6所示,上述s206可以包括以下步骤:

s602,计算左冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个左支点的坐标,以及,计算右冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个右支点的坐标。

具体的,房室沟坐标系建立好之后,就可以计算出在房室沟坐标系的标准下,左冠脉的中线上各个点的坐标以及右冠脉的中线上各个点的坐标,其中,左冠脉的中线上各个点的坐标记为左支点的坐标,右冠脉的中线上各个点的坐标记为右支点的坐标。这里的坐标可以是一维坐标、二维坐标、三维坐标等,这里主要采用的是各个点的二维坐标,分别为x轴方向的坐标和y轴方向的坐标。

s604,根据至少一个左支点的坐标和至少一个右支点的坐标以及预设的坐标阈值范围,对待检测冠脉图像进行分析,得到分析结果。

在本步骤中,可选的,可以采用以下步骤b对待检测冠脉图像进行分析:

步骤b,将至少一个左支点的坐标和至少一个右支点的坐标分别和坐标阈值范围进行匹配,得到左支目标点的数量和右支目标点的数量,将左支目标点的数量以及右支目标点的数量和预设的数量阈值进行对比,并根据对比结果得到分析结果;其中,左支目标点为至少一个左支点中坐标未超出坐标阈值范围的点,右支目标点为至少一个右支点中坐标未超出坐标阈值范围的点。

其中,预设的坐标阈值范围可以是x轴坐标阈值范围,其可以是根据样本冠脉图像上标记的后降支的中线进行计算得到的,该样本冠脉图像上也可以标记优势型类别。具体的,首先,可以预先在均衡型样本冠脉图像上标记出左后降支和右后降支,然后计算得到各个均衡型样本冠脉图像上的左后降支在房室沟坐标系下的x轴的坐标,并将其中的最大坐标和最小坐标作为左支第一坐标阈值范围,同时计算得到各个均衡型样本冠脉图像上的右后降支在房室沟坐标系下的x轴的坐标,并将其中的最大坐标和最小坐标作为右支第一坐标阈值范围;其次,可以在左侧优势型样本冠脉图像上标记出左后降支,然后计算得到各个左侧优势型样本冠脉图像上的左后降支在房室沟坐标系下的x轴的坐标,并将其中的最大坐标和最小坐标作为左支第二坐标阈值范围;再次,也可以在右侧优势型样本冠脉图像上标记出右后降支,然后计算得到各个右侧优势型样本冠脉图像上的右后降支在房室沟坐标系下的x轴的坐标,并将其中的最大坐标和最小坐标作为右支第二坐标阈值范围。

具体的,上述在得到至少一个左支点的坐标和至少一个右支点的坐标之后,可以将左支点的坐标和对应的左支坐标阈值范围进行对比,得到在左支坐标阈值范围内的左支目标点的数量,同时也可以将右支点的坐标和对应的右支坐标阈值范围进行对比,得到在右支坐标阈值范围内的右支目标点的数量,然后将左支目标点的数量和右支目标点的数量与数量阈值进行对比,根据对比结果得到优势型的分析结果。

在获得左支目标点的数量和右支目标点的数量,以及将左支目标点的数量和右支目标点的数量与数量阈值进行对比时,可以分为三种情况进行对比,分别是和均衡型的坐标阈值范围及数量阈值进行对比,和左侧优势型的坐标阈值范围及数量阈值进行对比,和右侧优势型的坐标阈值范围及数量阈值进行对比。

具体对比时,均衡型情况由于具有两个坐标阈值范围,那么相应地也可以有两个数量阈值,分别为左支第一数量阈值和右支第一数量阈值,该比对过程可以为将至少一个左支点的坐标和左支第一坐标阈值范围进行匹配,得到左支第一目标点的数量,以及,将至少一个右支点的坐标和右支第一坐标阈值范围进行匹配,得到右支第一目标点的数量;将左支第一目标点的数量和左支第一数量阈值进行对比,以及,将右支第一目标点的数量和右支第一数量阈值进行对比;若左支第一目标点的数量大于左支第一数量阈值,且右支第一目标点的数量大于右支第一数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型。

另外,左侧优势型情况下的左支第二坐标阈值范围可以对应一个数量阈值,记为左支第二数量阈值,具体比对过程可以为将至少一个左支点的坐标和左支第二坐标阈值范围进行匹配,得到左支第二目标点的数量,并将左支第二目标点的数量和左支第二数量阈值进行对比,若左支第二目标点的数量大于左支第二数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为左侧优势型。

除此之外,右侧优势型情况下的右支第二坐标阈值范围可以对应一个数量阈值,记为右支第二数量阈值,具体比对过程可以为将至少一个右支点的坐标和右支第二坐标阈值范围进行匹配,得到右支第二目标点的数量,并将右支第二目标点的数量和右支第二数量阈值进行对比,若右支第二目标点的数量大于右支第二数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为右侧优势型。

其中,上述左支第一数量阈值的大小、右支第一数量阈值的大小、左支第二数量阈值的大小、右支第二数量阈值的大小均可以根据实际情况而定,示例地,假设左支点数量为1000、左支目标点的数量为800,那么左支第一数量阈值可以设为700、750等。

另外,上述在将左支点的坐标和右支点的坐标与对应的坐标阈值范围进行比对,并在左支点的坐标和/或右支点的坐标未超出对应的坐标阈值范围时,可以将在坐标阈值范围内的点数量与对应的数量阈值进行对比。

示例地,假设左支第一坐标阈值范围记为[cl(μ-2σ),cl(μ+2σ)],对应的左支第一数量阈值记为cl_min,右支第一坐标阈值范围记为[cr(μ-2σ),cr(μ+2σ)],对应的右支第一数量阈值记为cr_min,左支第二坐标阈值范围记为[l(μ-2σ),l(μ+2σ)],对应的左支第二数量阈值记为l_min,右支第二坐标阈值范围记为[r(μ-2σ),r(μ+2σ)],对应的右支第二数量阈值记为r_min。

那么在对待检测冠脉图像判定优势型时,

若同时满足1)统计得到冠脉左支中线点的坐标x绝对值在[cl(μ-2σ),cl(μ+2σ)]取值范围内的点的个数,且点的个数大于统计的阈值cl_min,2)统计得到冠脉右支中线点的坐标x绝对值在[cr(μ-2σ),cr(μ+2σ)]取值范围内的点的个数,且点的个数大于统计的阈值cr_min,则判定为均衡型;

若统计得到冠脉左支中线点的坐标x绝对值在[l(μ-2σ),l(μ+2σ)]取值范围内的点的个数,且点的个数大于统计的阈值l_min,则判定为左侧优势型;

若统计得到冠脉右支中线点的坐标x绝对值在[r(μ-2σ),r(μ+2σ)]取值范围内的点的个数,且点的个数大于统计的阈值r_min,则判定为右侧优势型。

需要说明的是,上述在将左支点的坐标和右支点的坐标与对应的坐标阈值范围进行比对,并在左支点的坐标和/或右支点的坐标未超出对应的坐标阈值范围时,可以有6种比对顺序,这里的6种比对顺序和上述房室交点对应的6种匹配顺序相同,只不过匹配时的匹配参数不同而已,本实施例在此不再赘述。

本实施例提供的图像分析方法,可以计算左冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个左支点的坐标,以及,计算右冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个右支点的坐标,并根据至少一个左支点的坐标和至少一个右支点的坐标以及预设的坐标阈值范围,对待检测冠脉图像进行分析,得到分析结果。在本实施例中,由于可以统计左右冠脉中线上点的坐标在坐标阈值范围内的目标点数量,并将目标点数量和阈值进行对比得到优势型类别,该比较方法较为简单直接,也不需要人为去分析,因此,可以在一定程度上节省人力,同时也可以节省冠脉优势型的分析时间,提高冠脉优势型的分析速度。

在另一个实施例中,提供了另一种图像检测方法,本实施例涉及的是如何对待检测冠脉图像中的冠脉进行分割的具体过程。在上述实施例的基础上,如图7a所示,上述s204可以包括以下步骤:

s702,将待检测冠脉图像输入至预设的分割模型,得到待检测冠脉图像对应的左右冠脉的概率图;该左右冠脉的概率图上各位置的像素值为待检测冠脉图像上对应位置的像素值属于左右冠脉的概率,该分割模型是基于第二样本冠脉图像和第二样本冠脉图像对应的金标准图像进行训练得到的,第二样本冠脉图像对应的金标准图像包括第二样本冠脉图像对应的左右冠脉标记。

s704,根据预设的第一概率阈值对左右冠脉的概率图进行二值化处理,得到左右冠脉的概率图对应的左右冠脉的分割图像。

在本实施例中,在采用分割模型对待检测冠脉图像中的左右冠脉进行分割时,首先需要预先训练分割模型,在训练分割模型时,训练过程可以包括以下三个步骤:

1)生成训练数据集。使用标注软件在n个第二样本冠脉图像中分别勾画(或标记)出n个冠脉左支冠脉血管感兴趣区域(区域内的像素值标记为v1,v1属于自然数)和n个冠脉右支冠脉血管感兴趣区域(区域内的像素值标记为v2,v2属于不等于v1的自然数),左右支冠脉血管感兴趣区域以外的像素值设置为为0,通过这样的处理可以生成n个左右支冠脉血管的勾画图像,与n个第二样本冠脉图像配对组成训练数据集,数量为n;另外,第二样本冠脉图像的模态和待检测冠脉图像的模态相同,n的数量也可以根据实际情况而定,例如可以为1000、2000等。示例地,参见图7b所示,为在第二样本冠脉图像上标记的左右冠脉血管的示意图,四幅图分别为在矢状面、冠状面、水平面、三维立体上标记的左右冠脉血管(需要说明的是,这四幅图只是一个示例,并不影响本申请实施例的实质内容)。

2)建立分割模型,该分割模型也可以是卷积神经网络模型。构建卷积神经网络模型,并设定卷积神经网络模型的超参数,其中网络的输入通道为1,为第二样本冠脉图像,输出通道为3,分别对应n个左右冠脉血管分割图像的左支概率图,右支概率图与背景对应的概率图;另外,可以将这里1)中的训练数据集分成训练集x1验证集x2和测试集x3,训练集、验证集与测试集互相独立,其数量分别为n1、n2和n3,为自然数,且n1+n2+n3=n,n1≥1/2n;示例地,假设第二样本冠脉图像的数量为1000,那么可以是n1=500,n2=200,n3=300。

3)训练分割模型。使用步骤1)中生成的训练数据集训练步骤2)建立的分割模型。其中训练集x1用于训练分割模型,验证集x2用于评价模型当前的性能,测试集x3用于检验模型的泛化性能;训练过程中,训练集将分多个批次(例如可以是分100个批次训练100轮)并重复输入分割模型训练多轮,同时,使用代价函数计算输出图像与金标准图像的差异作为训练误差反馈给分割模型(这里可以是分别计算输出的左右支图像和对应的左右支金标准图像之间像素值的差异,并将两个差异的和值或均值等反馈给分割模型),并通过学习算法更新模型参数;每一批次的训练结束后,使用验证集对分割模型进行性能测试,待性能测试指标训练趋于稳定后时,则认为分割模型的训练完成,保存训练完成的网络模型。另外,这里分割模型的网络结构可以和上述检测模型的网络结构相同,在此不再赘述。

另外,上述分割模型可以是深度卷积神经网络cnn、生成式对抗网络gan、卷积神经网络u-net和v-net或者循环神经网络rnn等;超参数可以包括网络层数、卷积核、学习率、参数初始化、训练轮数和批次规模。代价函数可以是集合相似度度量函数(diceloss)或焦点损失函数(focalloss),然后也可以使用随机梯度下降(stochasticgradientdescent,sgd)、自适应矩估计优化算法(adaptivemomentestimation,adam)以及动量算法(momentum)中的一种最小化训练误差,以训练分割模型。

在训练好分割模型之后,就可以将待检测冠脉图像输入至训练好的分割模型,得到待检测冠脉图像对应的左冠脉血管的概率图和右冠脉血管的概率图,其中,左冠脉血管的概率图上的各个概率值可以表征对应位置属于左冠脉的概率,右冠脉血管的概率图上的各个概率值可以表征对应位置属于右冠脉的概率;之后,可以将左冠脉血管的概率图上的各个概率值和第一概率阈值进行对比,将其上小于第一概率阈值的概率值置为0,将其上大于等于第一概率阈值的概率值置为1,得到二值化的图像,记为左冠脉的分割图像;同样的,也可以将右冠脉血管的概率图上的各个概率值和第一概率阈值进行对比,将其上小于第一概率阈值的概率值置为0,将其上大于等于第一概率阈值的概率值置为1,得到二值化的图像,记为右冠脉的分割图像。

本实施例提供的图像分析方法,可以将待检测冠脉图像输入至预设的分割模型,得到待检测冠脉图像对应的左右冠脉的概率图,并根据预设的第一概率阈值对左右冠脉的概率图进行二值化处理,得到左右冠脉的概率图对应的左右冠脉的分割图像。在本实施例中,由于分割模型是基于样本冠脉图像和左右冠脉标记的金标准图像进行训练得到的,因此训练得到的分割模型是比较准确的,这样在利用训练好的分割模型对待检测冠脉图像上的左右冠脉进行分割时,得到的左右冠脉的分割图像也是比较准确的,那么后续利用该分割图像提取的冠脉中线以及得到优势型分析结果也是更加准确的。

应该理解的是,虽然图2、3b、4、5a、6、7a的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、3b、4、5a、6、7a中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图8所示,提供了一种图像分析装置,包括:检测模块10、分割模块11和分析模块12,其中:

检测模块10,用于对待检测冠脉图像进行检测处理,得到待检测冠脉图像中冠脉的参考信息;该冠脉的参考信息与待检测冠脉图像中冠脉所包围的心房和心室的位置信息有关;

分割模块11,用于对待检测冠脉图像进行分割处理,得到待检测冠脉图像对应的左右冠脉的分割图像,并提取左右冠脉的分割图像的左右冠脉的中线;

分析模块12,用于根据冠脉的参考信息和左右冠脉的中线,对待检测冠脉图像进行分析,得到分析结果;该分析结果用于表征待检测冠脉图像中冠脉的优势型类别。

关于图像分析装置的具体限定可以参见上文中对于图像分析方法的限定,在此不再赘述。

在另一个实施例中,提供了另一种图像分析装置,在上述实施例的基础上,上述检测模块10,还用于采用预设的检测模型对待检测冠脉图像中的房室交点进行检测处理,得到待检测冠脉图像中房室交点的位置信息,并将房室交点的位置信息作为冠脉的参考信息;其中,检测模型是基于第一样本冠脉图像和第一样本冠脉图像对应的金标准图像进行训练得到的,第一样本冠脉图像对应的金标准图像包括第一样本冠脉图像对应的房室交点的位置标记,房室交点为心室间的心中静脉和心房间的冠状静脉窦的交界处的点。

可选的,上述检测模块10可以包括第一检测单元、第一处理单元,获取单元和确定单元,其中:

第一检测单元,用于将待检测冠脉图像输入至检测模型,得到待检测冠脉图像对应的房室交点的概率图;该房室交点的概率图上各位置的像素值为待检测冠脉图像上对应位置的像素值属于房室交点的概率;

第一处理单元,用于根据预设的第二概率阈值对房室交点的概率图进行二值化处理,得到房室交点的概率图对应的二值化掩模图像;

获取单元,用于对二值化掩模图像中的连通域进行标记,并根据标记的连通域确定其中的最大连通域;

确定单元,用于获取最大连通域对应的概率值的加权中心点,将加权中心点的位置信息确定为房室交点的位置信息。

在另一个实施例中,提供了另一种图像分析装置,在上述实施例的基础上,上述分析模块12可以包括计算单元和分析单元,其中:

计算单元,用于计算房室交点的位置信息和左冠脉的中线之间的最短距离,得到第一距离;以及,计算房室交点的位置信息和右冠脉的中线之间的最短距离,得到第二距离;

分析单元,用于根据第一距离和第二距离以及预设的距离阈值范围,对待检测冠脉图像进行分析,得到分析结果。

可选的,上述预设的距离阈值范围包括第一距离阈值范围、第二距离阈值范围、第三距离阈值范围,上述分析单元,还用于将第一距离以及第二距离和第一距离阈值范围进行匹配;若第一距离和第二距离均未超出第一距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型;或者,将第一距离和第二距离阈值范围进行匹配;若第一距离未超出第二距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为左侧优势型;或者,将第二距离和第三距离阈值范围进行匹配;若第二距离未超出第三距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为右侧优势型。

可选的,上述第一距离阈值范围包括左支第一距离阈值范围和右支第一距离阈值范围,上述分析单元,还用于将第一距离和左支第一距离阈值范围进行匹配,以及,将第二距离和右支第一距离阈值范围进行匹配;若第一距离未超出左支第一距离阈值范围,且第二距离未超出右支第一距离阈值范围,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型。

在另一个实施例中,提供了另一种图像分析装置,在上述实施例的基础上,上述检测模块10可以包括第二检测单元和建立单元,其中:

第二检测单元,用于对待检测冠脉图像进行分割处理,得到心脏腔室的分割结果;该心脏腔室的分割结果包括心脏的左右心房和左右心室;

建立单元,用于根据心脏腔室的分割结果建立建立房室沟坐标系,并将房室沟坐标系作为冠脉的参考信息;该房室沟坐标系的横轴方向为心脏房室沟交界线的方向,房室沟坐标系的纵轴方向为心脏心室沟交界线的方向。

在另一个实施例中,提供了另一种图像分析装置,在上述实施例的基础上,上述计算单元,还用于计算左冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个左支点的坐标,以及,计算右冠脉的中线上各个点在房室沟坐标系下的坐标,得到至少一个右支点的坐标;

上述分析单元,还用于根据至少一个左支点的坐标和至少一个右支点的坐标以及预设的坐标阈值范围,对待检测冠脉图像进行分析,得到分析结果。

可选的,上述分析单元,还用于将至少一个左支点的坐标和至少一个右支点的坐标分别和坐标阈值范围进行匹配,得到左支目标点的数量和右支目标点的数量,将左支目标点的数量以及右支目标点的数量和预设的数量阈值进行对比,并根据对比结果得到分析结果;其中,左支目标点为至少一个左支点中坐标未超出坐标阈值范围的点,右支目标点为至少一个右支点中坐标未超出坐标阈值范围的点。

可选的,若上述坐标阈值范围包括左支第一坐标阈值范围和右支第一坐标阈值范围,上述数量阈值包括左支第一数量阈值和右支第一数量阈值;上述分析单元,还用于将至少一个左支点的坐标和左支第一坐标阈值范围进行匹配,得到左支第一目标点的数量,以及,将至少一个右支点的坐标和右支第一坐标阈值范围进行匹配,得到右支第一目标点的数量;将左支第一目标点的数量和左支第一数量阈值进行对比,以及,将右支第一目标点的数量和右支第一数量阈值进行对比;若左支第一目标点的数量大于左支第一数量阈值,且右支第一目标点的数量大于右支第一数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为均衡型。

可选的,若上述坐标阈值范围包括左支第二坐标阈值范围和右支第二坐标阈值范围,上述数量阈值包括左支第二数量阈值和右支第二数量阈值;上述分析单元,还用于将至少一个左支点的坐标和左支第二坐标阈值范围进行匹配,得到左支第二目标点的数量,并将左支第二目标点的数量和左支第二数量阈值进行对比,若左支第二目标点的数量大于左支第二数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为左侧优势型;或者,将至少一个右支点的坐标和右支第二坐标阈值范围进行匹配,得到右支第二目标点的数量,并将右支第二目标点的数量和右支第二数量阈值进行对比,若右支第二目标点的数量大于右支第二数量阈值,则确定分析结果为待检测冠脉图像中冠脉的优势型类别为右侧优势型。

在另一个实施例中,提供了另一种图像分析装置,在上述实施例的基础上,上述粉各模块11可以包括分割单元和第二处理单元,其中:

分割单元,用于将待检测冠脉图像输入至预设的分割模型,得到待检测冠脉图像对应的左右冠脉的概率图;该左右冠脉的概率图上各位置的像素值为待检测冠脉图像上对应位置的像素值属于左右冠脉的概率,该分割模型是基于第二样本冠脉图像和第二样本冠脉图像对应的金标准图像进行训练得到的,第二样本冠脉图像对应的金标准图像包括第二样本冠脉图像对应的左右冠脉标记;

第二处理单元,用于根据预设的第一概率阈值对左右冠脉的概率图进行二值化处理,得到左右冠脉的概率图对应的左右冠脉的分割图像。

关于图像分析装置的具体限定可以参见上文中对于图像分析方法的限定,在此不再赘述。上述图像分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1