冠状动脉狭窄自动检测方法和系统

1.本发明涉及医学图像处理的技术领域，尤其涉及一种冠状动脉狭窄自动检测方法，以及冠状动脉狭窄自动检测系统。


背景技术：

2.冠状动脉心脏病是导致人类死亡的主要原因，由冠状动脉内壁动脉粥样化斑块积聚引起冠状动脉血管管腔狭窄，从而限制流向心肌的血液，导致心肌缺血，增加心肌梗死的风险。基于造影图像的血管狭窄检测算法研究主要分为基于冠状动脉分割结构检测与基于原图检测两大类。其中，基于冠状动脉分割结构检测的方法需要先通过冠状动脉分割的算法从造影图像中分割得到冠状动脉管腔结构，再基于对血管的几何先验知识，通过分析分割结构中血管管腔半径的变化趋势，从而判断该支血管是否存在狭窄。然而，这种方法仅考虑血管分割结构的几何形态，因此严重依赖分割结果的准确性，造成误差累积；同时这种方法并没有考虑到原造影图像中的血管位置信息，若原图像存在血管交叠等情况，则会导致假阳性或假阴性检测。第二类是基于学习的方法。近几年，随着深度学习方法的兴起，越来越多基于深度学习的冠状动脉狭窄检测算法被提出。基于深度学习的检测器能够有效地从冠状动脉造影图像中自动提取狭窄相关的深度特征，有利于提高狭窄检测的准确性。然而，基于深度学习的检测器大多基于单帧冠状动脉造影图像进行狭窄检测，没有考虑到同一冠状动脉造影序列中帧间的上下文关联，从而导致同一序列中前后帧之间的检测结果不一致，限制了冠状动脉狭窄检测的精度。


技术实现要素：

3.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种冠状动脉狭窄自动检测方法，其解决了依赖分割结构的累积误差问题和难以提取冠状动脉造影序列的帧间关联信息的问题，从而快速、有效地得到准确的狭窄检测结果，为后续冠状动脉病变分析提供更精确的狭窄位置。
4.本发明的技术方案是：这种冠状动脉狭窄自动检测方法，其包括以下步骤：
5.(1)语义特征图和狭窄建议框提取，从输入的冠状动脉造影序列中自动提取每帧图像的语义特征图和狭窄建议框；
6.(2)时空特征聚集，利用语义特征图和狭窄建议框生成冠状动脉造影序列的时空roi特征，并通过学习时空roi特征的上下文关联进行时空特征聚集，生成增强的roi特征；
7.(3)狭窄结果预测，将增强的roi特征输入到多任务输出网络中，预测冠状动脉造影序列的狭窄检测结果。
8.本发明先从每帧冠状动脉造影图像中提取语义特征图和狭窄建议框，随后聚集序列图像的时空上下文信息来增强狭窄相关特征，最后预测每帧图像的狭窄检测结果，因此解决了依赖分割结构的累积误差问题和难以提取冠状动脉造影序列的帧间关联信息的问题，从而快速、有效地得到准确的狭窄检测结果，为后续冠状动脉病变分析提供更精确的狭
窄位置。
9.还提供了冠状动脉狭窄自动检测系统，其包括：
10.提取模块，其配置来提取语义特征图和狭窄建议框，从输入的冠状动脉造影序列中自动提取每帧图像的语义特征图和狭窄建议框；
11.聚集模块，其配置来进行时空特征聚集，利用语义特征图和狭窄建议框生成冠状动脉造影序列的时空roi特征，并通过学习时空roi特征的上下文关联进行时空特征聚集，生成增强的roi特征；
12.预测模块，其配置来进行狭窄结果预测，将增强的roi特征输入到
13.多任务输出网络中，预测冠状动脉造影序列的狭窄检测结果。
附图说明
14.图1为本发明的冠状动脉狭窄自动检测方法的流程图。
15.图2为本发明中语义特征图和狭窄建议框提取的流程图。
16.图3为本发明中时空tokenization子模块的流程图。
17.图4为本发明中特征聚集模块的流程图。
18.图5为本发明中狭窄结果预测的流程图。
具体实施方式
19.为了解决背景技术中的方法依赖分割结构的累积误差问题和难以提取冠状动脉造影序列的帧间关联信息的问题，本发明提出了一种基于transformer时空特征聚合的检测框架，直接从冠状动脉造影序列中自动检测冠状动脉狭窄。本发明首先使用骨干网络和区域建议网络从冠状动脉造影序列中提取每帧图像的语义特征图和狭窄建议框，然后通过transformer时空特征聚集网络获取序列图像的长范围时空上下文，增强狭窄相关特征，最后通过多任务输出网络预测序列图像的狭窄信息，从而快速、有效地得到准确的狭窄检测结果。
20.如上所述，为了实现上述功能，涉及到基于骨干网络和区域建议网络的语义特征图和狭窄建议框提取、基于transformer时空特征聚集网络的狭窄相关特征增强以及多任务输出网络等相关内容。
21.如图1所示，这种冠状动脉狭窄自动检测方法，其包括以下步骤：
22.(1)语义特征图和狭窄建议框提取，从输入的冠状动脉造影序列中自
23.动提取每帧图像的语义特征图和狭窄建议框；
24.(2)时空特征聚集，利用语义特征图和狭窄建议框生成冠状动脉造影序列的时空roi特征，并通过学习时空roi特征的上下文关联进行时空特征聚集，生成增强的roi特征；
25.(3)狭窄结果预测，将增强的roi特征输入到多任务输出网络中，预测冠状动脉造影序列的狭窄检测结果。
26.本发明先从每帧冠状动脉造影图像中提取语义特征图和狭窄建议框，随后聚集序列图像的时空上下文信息来增强狭窄相关特征，最后预测每帧图像的狭窄检测结果，因此解决了依赖分割结构的累积误差问题和难以提取冠状动脉造影序列的帧间关联信息的问题，从而快速、有效地得到准确的狭窄检测结果，为后续冠状动脉病变分析提供更精确的狭
窄位置。
27.优选地，如图2所示，所述步骤(1)包括：
28.(1.1)针对输入的冠状动脉造影序列，利用由resnet-50与特征金字塔组成的骨干网络来分别提取每帧图像的多尺度特征，生成语义特征图；
29.(1.2)将生成的特征图输入到区域建议网络中，生成不同长宽比和大小的狭窄建议框，以适应不同尺度和比例的狭窄病变。
30.优选地，如图3所示，所述步骤(2)包括：
31.(2.1)对于序列图像中当前帧的狭窄建议框，在局部窗口内向上、下、左、右四个方向移动，生成空间rois，并将狭窄建议框所代表的roi也纳入空间rois中；采用同样的方式将当前帧的狭窄建议框在其他的帧上平移，生成时序rois；将空间rois和时序rois组合，作为当前帧上狭窄建议框相关的时空rois；
32.(2.2)通过roi align操作，利用时空rois在已探测的语义特征图上提取大小相同的时空roi特征；
33.(2.3)将时空roi特征向量化，并进行线性投影，生成当前帧上狭窄建议框相关的时空tokens。
34.优选地，如图4所示，所述步骤(2)还包括：
35.(2.4)将得到的时空tokens进行位置编码，添加到时空tokens上，记录tokens的时空位置；
36.(2.5)将添加位置编码的时空tokens输入到transformer编码器中，学习时空tokens长范围的上下文关联，其中，transformer编码器由四层连续的transformer层组成；
37.(2.6)将transformer编码器的输出结果进行特征融合，从而将时空tokens所代表的邻近时空roi特征注入到狭窄建议框所代表的roi特征中，得到时空特征聚集后的token；
38.(2.7)对时空特征聚集后的token进行线性投影和张量化，得到代表狭窄建议框的增强roi特征。
39.优选地，如图5所示，所述步骤(3)包括：
40.(3.1)通过全连接层对所提取的增强roi特征进行全局特征建模并降维；
41.(3.2)将降维后的特征分别输入到狭窄位置回归输出分支和狭窄建议框分类输出分支中，修正狭窄建议框的检测结果，预测最终的冠状动脉狭窄检测结果。
42.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种冠状动脉狭窄自动检测系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。该系统包括：
43.提取模块，其配置来提取语义特征图和狭窄建议框，从输入的冠状动脉造影序列中自动提取每帧图像的语义特征图和狭窄建议框；
44.聚集模块，其配置来进行时空特征聚集，利用语义特征图和狭窄建议框生成冠状动脉造影序列的时空roi特征，并通过学习时空roi
45.特征的上下文关联进行时空特征聚集，生成增强的roi特征；
46.预测模块，其配置来进行狭窄结果预测，将增强的roi特征输入到多任务输出网络
中，预测冠状动脉造影序列的狭窄检测结果。
47.优选地，所述提取模块执行：
48.(1.1)针对输入的冠状动脉造影序列，利用由resnet-50与特征金字塔组成的骨干网络来分别提取每帧图像的多尺度特征，生成语义特征图；
49.(1.2)将生成的特征图输入到区域建议网络中，生成不同长宽比和大小的狭窄建议框，以适应不同尺度和比例的狭窄病变。
50.优选地，所述聚集模块执行：
51.(2.1)对于序列图像中当前帧的狭窄建议框，在局部窗口内向上、下、左、右四个方向移动，生成空间rois，并将狭窄建议框所代表的roi也纳入空间rois中；采用同样的方式将当前帧的狭窄建议框在其他的帧上平移，生成时序rois；将空间rois和时序rois组合，作为当前帧上狭窄建议框相关的时空rois；
52.(2.2)通过roi align操作，利用时空rois在已探测的语义特征图上提取大小相同的时空roi特征；
53.(2.3)将时空roi特征向量化，并进行线性投影，生成当前帧上狭窄建议框相关的时空tokens。
54.优选地，所述聚集模块还执行：
55.(2.4)将得到的时空tokens进行位置编码，添加到时空tokens上，记录tokens的时空位置；
56.(2.5)将添加位置编码的时空tokens输入到transformer编码器中，学习时空tokens长范围的上下文关联，其中，transformer编码器由四层连续的transformer层组成；
57.(2.6)将transformer编码器的输出结果进行特征融合，从而将时空tokens所代表的邻近时空roi特征注入到狭窄建议框所代表的roi特征中，得到时空特征聚集后的token；
58.(2.7)对时空特征聚集后的token进行线性投影和张量化，得到代表狭窄建议框的增强roi特征。
59.优选地，所述预测模块执行：
60.(3.1)通过全连接层对所提取的增强roi特征进行全局特征建模并降维；
61.(3.2)将降维后的特征分别输入到狭窄位置回归输出分支和狭窄建议框分类输出分支中，修正狭窄建议框的检测结果，预测最终的冠状动脉狭窄检测结果。
62.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。