心肌桥检测模型的训练方法、装置及电子设备与流程

1.本公开涉及图像处理技术领域，尤其涉及一种心肌桥检测模型的训练方法、装置及电子设备。


背景技术：

2.冠状动脉心肌桥是一种先天性的冠状动脉发育异常。冠状动脉的一段可能会被浅层心肌覆盖，覆盖在冠状动脉上的心肌称为心肌桥。在心脏收缩时，被心肌桥覆盖的这段血管会受到压迫，出现收缩期狭窄，相关技术中，直接在心脏的ct血管成像(ct angiography，cta)图像上进行心肌桥的检测非常困难。


技术实现要素：

3.本公开提供了一种心肌桥检测模型的训练方法、装置及电子设备，以至少解决现有技术中存在的以上技术问题。
4.根据本公开的第一方面，提供了一种心肌桥检测模型的训练方法，包括：
5.获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像；
6.将所述第一血管拉直图像和所述心脏掩码图像输入至心肌桥检测模型包括的特征提取模块中，确定所述特征提取模块的输出为第一图像特征；
7.将所述第一图像特征输入至所述心肌桥检测模型包括的检测模块中，确定所述检测模块的输出，为所述第一血管被覆盖心肌桥的预测概率；
8.基于心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数。
9.上述方案中，所述获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像之前，所述方法还包括：
10.获取心脏图像训练集的第一样本图像的血管中线点的三维坐标集合。
11.上述方案中，所述获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像，包括：
12.基于所述第一样本图像的血管中线点的三维坐标集合，获取所述第一样本图像中第一血管对应的所述第一血管拉直图像；
13.基于所述第一血管的三维坐标集合，以及所述第一样本图像对应的心脏掩码，确定所述第一血管对应的心脏掩码图像；
14.基于所述心脏掩码图像，获取所述心脏掩码图像。
15.上述方案中，所述基于所述第一样本图像的血管中线点的三维坐标集合，获取所述第一样本图像中第一血管对应的第一血管拉直图像，包括：
16.获取所述第一样本图像的第一血管中每一个血管中线点对应的法平面；
17.以所述第一样本图像中每一个血管中线点为子图像的中心，对所述每一个血管中
线点对应的法平面进行采样，获取每一个血管中线点对应的第一尺寸的子图像；
18.将所述第一样本图像中每一个血管中线点对应的第一尺寸的子图像进行组合，确认组合后的图像为所述第一血管拉直图像。
19.上述方案中，所述基于所述第一血管的三维坐标集合，以及所述第一样本图像对应的心脏掩码，确定所述第一血管对应的心脏掩码图像，包括：
20.基于第一血管的三维坐标集合，获取所述心脏掩码中与所述第一血管的血管中心点对应的特征点的法平面；
21.以所述心脏掩码中每一个特征点为子图像的中心，对所述每一个特征点对应的法平面进行采样，获取每一个特征点对应的第一尺寸的子图像；
22.将所述心脏掩码中每一个特征点对应的第一尺寸的子图像进行组合，确认组合后的图像为所述心脏掩码图像。
23.上述方案中，所述将所述第一图像特征输入至所述心肌桥检测模型包括的检测模块中，确定所述检测模块的输出，为所述第一血管被覆盖心肌桥的预测概率，包括：
24.将所述第一图像特征输入至所述检测模块包括的注意力层中，获得第二图像特征；将所述第二图像特征输入至所述检测模块包括的线性层中，获得第三图像特征；将所述第三图像特征带入第一函数中，确定所述第一函数的运算结果，为所述第一血管被覆盖心肌桥的预测概率。
25.上述方案中，所述将所述第一图像特征输入至所述检测模块包括的注意力层中，获得第二图像特征，包括：
26.确定所述第一图像特征中的第一标识点，以及以所述第一标识点为中心，所述第一标识点周围第二尺寸的第一空间区域；
27.基于所述第一标识点对应的特征、所述第一空间区域对应的特征、所述第一标识点对应的心脏掩码的参数编码、所述第一空间区域对应的心脏掩码的参数编码、所述第一标识点的三维坐标和所述第一空间区域的三维坐标，对所述第一图像特征中的第一标识点进行增强；
28.确定所述第一图像特征包括的全部标识点均被增强后所得到的图像特征为所述第二图像特征。
29.上述方案中，所述基于所述第一标识点对应的特征、所述第一空间区域对应的特征、所述第一标识点对应的心脏掩码的参数编码、所述第一空间区域对应的心脏掩码的参数编码、所述第一标识点的三维坐标和所述第一空间区域的三维坐标，对所述第一图像特征中的第一标识点进行增强，包括：
30.基于所述第一标识点对应的特征、所述第一标识点对应的心脏掩码的参数编码和所述第一标识点的三维坐标，确定第一注意力参数；
31.基于所述第一空间区域对应的特征确定第二注意力参数；
32.基于所述第二注意力参数、所述第一空间区域对应的心脏掩码的参数编码和所述第一空间区域的三维坐标，确定第三注意力参数；
33.基于所述第一注意力参数、所述第二注意力参数和所述第三注意力参数，对所述第一图像特征中的第一标识点进行增强。
34.上述方案中，所述将所述第二图像特征输入至所述检测模块包括的线性层中，获
得第三图像特征，包括：
35.对所述第二图像特征进行平均池化，将进行平均池化后的所述第二图像特征输入至所述心肌桥检测模型包括的线性层中，得到第三图像特征。
36.上述方案中，所述基于所述心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数，包括：
37.基于所述心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，确定所述心肌桥监测模型的训练损失；
38.基于所述训练损失，调整所述心肌桥检测模型的参数。
39.根据本公开的第二方面，提供了一种心肌桥检测方法，应用上述心肌桥检测模型，所述方法包括:
40.获取待检测图像中第二血管对应的第二血管拉直图像，以及所述第二血管拉直图像对应的心脏掩码图像；
41.将所述第二血管拉直图像和所述第二血管拉直图像对应的心脏掩码图像输入至心肌桥检测模型中，确定所述心肌桥检测模型的输出，为所述待检测图像中所述第二血管被覆盖心肌桥的检测结果。
42.根据本公开的第三方面，提供了一种心肌桥检测模型的训练装置，所述装置包括：
43.第一获取单元，用于获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像；
44.特征提取单元，用于将所述第一血管拉直图像和所述心脏掩码图像输入至心肌桥检测模型包括的特征提取模块中，确定所述特征提取模块的输出为第一图像特征；
45.预测单元，用于将所述第一图像特征输入至所述心肌桥检测模型包括的检测模块中，确定所述检测模块的输出，为所述第一血管被覆盖心肌桥的预测概率；
46.调整单元，用于基于心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数。
47.根据本公开的第四方面，提供了一种心肌桥检测装置，所述装置包括：
48.第二获取单元，用于获取待检测图像中第二血管对应的第二血管拉直图像，第二血管拉直图像对应的心脏掩码图像；
49.检测单元，用于将所述第二血管拉直图像和所述第二血管拉直图像对应的心脏掩码图像输入至心肌桥检测模型中，确定所述心肌桥检测模型的输出，为所述待检测图像中所述第二血管被覆盖心肌桥的检测结果。
50.根据本公开的第五方面，提供了一种电子设备，包括：
51.至少一个处理器；以及
52.与所述至少一个处理器通信连接的存储器；其中，
53.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
54.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
55.本公开的心肌桥检测模型的训练方法，通过获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像；
将所述第一血管拉直图像和所述心脏掩码图像输入至心肌桥检测模型包括的特征提取模块中，确定所述特征提取模块的输出为第一图像特征；将所述第一图像特征输入至所述心肌桥检测模型包括的检测模块中，确定所述检测模块的输出，为所述第一血管被覆盖心肌桥的预测概率；基于心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数，如此，可以结合心脏掩码进行心肌桥的检测，提升后续心肌桥检测的准确性，此外，在血管拉直图像上进行心肌桥检测可以缩小待检测的区域，减轻心肌桥检测模型的学习难度。
56.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
57.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
58.在附图中，相同或对应的标号表示相同或对应的部分。
59.图1示出了本公开实施例提供的心肌桥检测模型的训练方法的一种可选流程示意图；
60.图2示出了本公开实施例提供的心肌桥检测方法的可选流程示意图；
61.图3示出了本公开实施例提供的心肌桥检测模型的训练方法的另一种可选流程示意图；
62.图4示出了本公开实施例提供的心肌桥检测模型的训练方法的示意图；
63.图5示出了本公开实施例提供的获取血管对应的血管拉直图像的示意图；
64.图6示出了本公开实施例提供的心肌桥预测的可选流程示意图；
65.图7示出了本公开实施例提供的心肌桥检测模型的训练装置的可选结构示意图；
66.图8示出了本公开实施例提供的心肌桥检测装置的可选结构示意图；
67.图9示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
68.为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
69.冠状动脉心肌桥是一种先天性的冠状动脉发育异常。冠状动脉的一段可能会被浅层心肌覆盖，覆盖在冠状动脉上的心肌称为心肌桥。在心脏收缩时，被心肌桥覆盖的这段血管会受到压迫，出现收缩期狭窄。直接在原始的cta图像上进行心肌桥的检测非常困难，因为图像的尺寸较大，心肌桥的范围很小，模型很难获取到足够的监督信号。考虑到心肌桥是血管上的一种先天性发育异常，是血管被浅层心肌覆盖造成的，而心肌可以使用心脏结构的掩码进行表示，因此合理地利用心脏结构的掩码能够对心肌桥的检测提供很大的帮助。
70.针对心肌桥与心脏表面的浅层心肌的特殊关系，本公开提供了一种心肌桥检测模
型的训练方法。具体来说，在血管中心线的基础上首先生成血管拉直图像，同时生成拉直图像上的心脏掩码，将拉直图像和对应的心脏掩码一同输入心肌桥检测模型进行检测，有效地提升了模型的检出效果。
71.图1示出了本公开实施例提供的心肌桥检测模型的训练方法的一种可选流程示意图，将根据各个步骤进行说明。
72.步骤s101，获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像。
73.在一些实施例中，心肌桥检测模型的训练方法(以下简称第一装置)获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像之前，可以获取心脏图像训练集的第一样本图像的血管中线点的三维坐标集合。所述心脏图像训练集由多例冠状动脉cta组成，所述第一样本图像为所述心脏图像训练集中任一例冠状动脉cta图像。
74.具体实施时，所述第一装置对所述第一样本图像进行血管分割，获得血管分割结果；将所述血管分割结果中各血管的宽度腐蚀为一个像素；确定所述各血管对应的至少一个像素为所述第一样本图像的血管中线点；确认所述至少一个像素对应的三维坐标集合，为所述第一样本图像的血管中线点的三维坐标集合。
75.在一些可选实施例中，所述第一装置还可以将所述第一样本图像的血管中线点的三维坐标集合映射为树结构；确认所述树结构中，包括至少两个子节点的节点为分叉点，所述分叉点对应的血管中线点的分叉属性为分叉；确认分叉属性为分叉，且相邻的两个血管中线点之间的至少一个血管中线点属于同一血管段；所述第一血管可以是所述第一样本图像包括的至少两个血管中任一个血管。
76.在一些实施例中，所述第一装置基于所述第一样本图像的血管中线点的三维坐标集合，获取所述第一样本图像中第一血管对应的所述第一血管拉直图像；和/或，基于所述第一血管的三维坐标集合，以及所述第一样本图像对应的心脏掩码，确定所述第一血管对应的心脏掩码图像。
77.具体实施时，所述第一样本图像与所述第一样本图像对应的心脏掩码的尺寸相同，所述第一装置可以基于所述第一血管的三维坐标集合，在所述心脏掩码中确认与所述三维坐标集合对应的第一血管的心脏掩码图像。
78.具体实施时，所述第一装置可以获取所述第一样本图像的第一血管中每一个血管中线点对应的法平面；以所述第一样本图像中每一个血管中线点为子图像的中心，对所述每一个血管中线点对应的法平面进行采样，获取每一个血管中线点对应的第一尺寸的子图像；将所述第一样本图像中每一个血管中线点对应的第一尺寸的子图像进行组合，确认组合后的图像为所述第一血管拉直图像；其中，第一血管对应至少一个血管中线点，每一个血管中线点对应一个法平面(子图像)。
79.可选的，所述第一装置可以将所述第一样本图像中第一血管对应的至少一个子图像的边、中心的血管中心点进行空间对齐，使得每一个子图像之前互相平行，将所述互相平行的每一个子图像组合为第一血管拉直图像。
80.具体实施时，所述第一装置可以基于第一血管的三维坐标集合，获取所述心脏掩码中与所述第一血管的血管中心点对应的特征点的法平面；以所述心脏掩码中每一个特征
点为子图像的中心，对所述每一个特征点对应的法平面进行采样，获取每一个特征点对应的第一尺寸的子图像；将所述心脏掩码中每一个特征点对应的第一尺寸的子图像进行组合，确认组合后的图像为所述心脏掩码图像。
81.可选的，所述第一装置可以将所述每一个特征点对应的第一尺寸的子图像对应的至少一个子图像的边、中心的血管中心点进行空间对齐，使得每一个子图像之前互相平行，将所述互相平行的每一个子图像组合为心脏掩码图像。
82.步骤s102，将所述第一血管拉直图像和所述心脏掩码图像输入至心肌桥检测模型包括的特征提取模块中，确定所述特征提取模块的输出为第一图像特征。
83.在一些实施例中，所述第一装置可以将所述第一血管拉直图像和所述心脏掩码图像进行合并，将合并后的图像输入至所述特征提取模块中，确定所述特征提取模块的输出为第一图像特征。
84.可选的，所述特征提取模块可以包括u-net。
85.步骤s103，将所述第一图像特征输入至所述心肌桥检测模型包括的检测模块中，确定所述检测模块的输出，为所述第一血管被覆盖心肌桥的预测概率。
86.在一些实施例中，所述第一装置将所述第一图像特征输入至所述检测模块包括的注意力层中，获得第二图像特征；将所述第二图像特征输入至所述检测模块包括的线性层中，获得第三图像特征；将所述第三图像特征带入第一函数中，确定所述第一函数的运算结果，为所述第一血管被覆盖心肌桥的预测概率。
87.具体实施时，所述第一装置可以确定所述第一图像特征中的第一标识点，以及以所述第一标识点为中心，所述第一标识点周围第二尺寸的第一空间区域(即以第一标试点为第一空间区域的几何中心，第二尺寸确定第一空间区域)；基于所述第一标识点对应的特征、所述第一空间区域对应的特征、所述第一标识点对应的心脏掩码的参数编码、所述第一空间区域对应的心脏掩码的参数编码、所述第一标识点的三维坐标和所述第一空间区域的三维坐标，对所述第一图像特征中的第一标识点进行增强；确定所述第一图像特征包括的全部标识点均被增强后所得到的图像特征为所述第二图像特征。
88.进一步，所述装置基于所述第一标识点对应的特征、所述第一标识点对应的心脏掩码的参数编码和所述第一标识点的三维坐标，确定第一注意力参数；基于所述第一空间区域对应的特征确定第二注意力参数；基于所述第二注意力参数、所述第一空间区域对应的心脏掩码的参数编码和所述第一空间区域的三维坐标，确定第三注意力参数；基于所述第一注意力参数、所述第二注意力参数和所述第三注意力参数，对所述第一图像特征中的第一标识点进行增强。
89.具体实施时，所述第一装置可以对所述第二图像特征进行平均池化，将进行平均池化后的所述第二图像特征输入至所述心肌桥检测模型包括的线性层中，得到第三图像特征。
90.步骤s104，基于所述心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数。
91.在一些可选实施例中，所述第一装置可以对所述第二图像特征或所述心脏掩码图像进行最大池化操作，基于最大池化操作的结果，获得心脏掩码图像中第一血管的标注。
92.在一些实施例中，所述第一装置基于所述心脏掩码图像中第一血管的标注，与所
述第一血管被覆盖心肌桥的预测概率，确定所述心肌桥监测模型的训练损失；基于所述训练损失，调整所述心肌桥检测模型的参数。对调整参数后的所述心肌桥检测模型重新进行训练。
93.如此，通过本公开实施例提供的心肌桥检测模型的训练方法，通过获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像；将所述第一血管拉直图像和所述心脏掩码图像输入至心肌桥检测模型包括的特征提取模块中，确定所述特征提取模块的输出为第一图像特征；将所述第一图像特征输入至所述心肌桥检测模型包括的检测模块中，确定所述检测模块的输出，为所述第一血管被覆盖心肌桥的预测概率；基于心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数，如此，可以结合心脏掩码进行心肌桥的检测，提升后续心肌桥检测的准确性，此外，在血管拉直图像上进行心肌桥检测可以缩小待检测的区域，减轻心肌桥检测模型的学习难度。
94.图2示出了本公开实施例提供的心肌桥检测方法的可选流程示意图，将根据各个步骤进行说明。
95.步骤s201，获取待检测图像中第二血管对应的第二血管拉直图像，以及所述第二血管拉直图像对应的心脏掩码图像。
96.在一些实施例中，心肌桥检测装置(以下简称第二装置)获取待检测图像中第二血管对应的第二血管拉直图像，以及所述第二血管拉直图像对应的心脏掩码图像的步骤流程与步骤s101类似，均需要对待检测图像进行分割、腐蚀、构建树结构、确认第二血管以及第二血管的第二血管拉直图像、确定第二血管拉直图像对应的心脏掩码图像，此处不再重复赘述。
97.步骤s202，将所述第二血管拉直图像和所述第二血管拉直图像对应的心脏掩码图像输入至心肌桥检测模型中，确定所述心肌桥检测模型的输出，为所述待检测图像中所述第二血管被覆盖心肌桥的检测结果。
98.在一些实施例中，所述第二装置将所述第二血管拉直图像和所述第二血管拉直图像对应的心脏掩码图像进行合并，将合并后的图像输入至心肌桥检测模型中，确定所述心肌桥检测模型的输出，为所述待检测图像中所述第二血管被覆盖心肌桥的检测结果。
99.具体实施时，所述第二装置将所述合并后的图像输入至所述心肌桥检测模型包括的特征提取模块中，确定所述待检测图像对应的第四图像特征。将所述第四图像特征输入至所述心肌桥检测模型包括的检测模块的注意力层中，对所述第四图像特征进行增强，获得第五图像特征；将所述第五图像特征输入至检测模块的线性层中，获得第六图像特征。
100.在一些可选实施例中，所述第二装置可以将所述第六图像特征输入至第一函数中，获得第一函数的运算结果；所述运算结果包括所述第二血管被覆盖心肌桥的概率；基于第一函数的运算结果，确定所述待检测图像中所述第二血管是否被心肌桥覆盖。
101.或者，在另一些可选实施例中，所述第二装置可以获取所述第五图像特征之后，对所述第五图像特征进行最大池化操作，基于最大池化操作的结果，获得第二血管被覆盖心肌桥的标注结果(如1表示被覆盖，0表示未被覆盖)；基于标注结果，确定所述待检测图像中所述第二血管是否被心肌桥覆盖。
102.可选的，所述第二装置还可以确定所述待检测图像中第三血管对应的第五血管拉
直图像，以及所述第三血管对应的心脏掩码图像所对应的第六血管拉直图像；重复步骤s201至步骤s202，直至所述待检测图像包括的全部血管均进行步骤s201至步骤s202，综合所述全部血管的检测结果，确认所述待检测图像中是否存在心肌桥。
103.如此，通过本公开实施例提供的心肌桥检测方法，通过获取待检测图像中第二血管对应的第二血管拉直图像，以及所述第二血管拉直图像对应的心脏掩码图像；将所述第二血管拉直图像和所述第二血管拉直图像对应的心脏掩码图像输入至心肌桥检测模型中，确定所述心肌桥检测模型的输出，为所述待检测图像中所述第二血管被覆盖心肌桥的检测结果。基于心脏掩码进行心肌桥的检测，心脏掩码为心肌桥的准确检出提供了重要的信息。另外，血管拉直图像的使用大大缩小了待检测区域，并且有效地利用了血管的结构信息，提升了心肌桥的检出效果。
104.图3示出了本公开实施例提供的心肌桥检测模型的训练方法的另一种可选流程示意图，图4示出了本公开实施例提供的心肌桥检测模型的训练方法的示意图，将根据各个步骤进行说明。
105.步骤s301，获取心脏图像训练集。
106.在一些可选实施例中，第一装置可以收集第一阈值例冠状动脉cta图像，并按照第一比例随机将所述第一阈值例冠状动脉cta图像划分为训练集、验证集和测试集，所述训练集即获取心脏图像训练集。
107.其中，所述训练集用于训练心肌桥检测模型，所述验证集用于挑选最佳的心肌桥检测模型，所述测试集用来评价心肌桥检测模型的最终效果。
108.可选的，所述第一阈值可以根据实际情况或实验结果设置，如1000；所述第一比例可以根据实际情况或实验结果设置，如8:1:1。本领域技术人员应当理解，此处对于第一阈值和第一比例的具体数值仅作为示例，并不用于限制本公开。
109.步骤s302，血管结构提取。
110.在一些实施例中，所述第一装置可以基于第一样本图像的血管分割结果，采用形态学的腐蚀操作将所述血管分割结果中每一个血管的宽度腐蚀至1个像素，得到血管的中心线上的点组成的点集(即血管中线点的三维坐标集合)，所述三维坐标集合可以记为其中xi,yi,zi分别表示第i个血管中线点在x、y、z三个维度上的坐标，n表示血管中线点的数量。
111.步骤s303，获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像。
112.在一些实施例中，所述第一装置所述第一装置可以获取所述第一样本图像的第一血管中每一个血管中线点对应的法平面；以所述第一样本图像中每一个血管中线点为子图像的中心，对所述每一个血管中线点对应的法平面进行采样，获取每一个血管中线点对应的第一尺寸的子图像；将所述第一样本图像中每一个血管中线点对应的第一尺寸的子图像进行组合，确认组合后的图像为所述第一血管拉直图像；其中，第一血管对应至少一个血管中线点，每一个血管中线点对应一个法平面(子图像)。
113.可选的，所述第一装置可以将所述第一样本图像中第一血管对应的至少一个子图像的边、中心的血管中心点进行空间对齐，使得每一个子图像之前互相平行，将所述互相平行的每一个子图像组合为第一血管拉直图像。
114.图5示出了本公开实施例提供的获取血管对应的血管拉直图像的示意图。
115.如图5所示，所述第一装置将第一样本图像(冠状动脉cta图像)中的三根血管按照步骤s303的方式进行了拉直，得到血管拉直图像。
116.具体实施时，所述第一装置可以沿着血管中心线(一段血管中，由全部血管中心点组成的线)的方向在第一样本图像(cta原始图像)上进行重采样，在每一个血管中线点对应的法平面上，以血管中线点为中心，采样出h
×
h的区域，将这些区域组合起来就得到了血管拉直图像。可选的，用i∈rh×h×n表示生成的第一血管拉直图像，其中n表示图像的长度，也即血管中血管中线点的数量。
117.在一些可选实施例中，第一样本图像对应的心脏掩码与第一样本图像的大小一致，对心脏掩码采取同样的采样操作，生成每一个血管拉直图像i对应的心脏掩码图像m∈rh×h×n，m的取值为0或1，分别表示非心脏区域和心脏区域。其中，在心脏掩码中，只有肌肉、组织部分m的取值才是1，血管、非心脏部分m的取值是0。
118.步骤s304，心肌桥预测。
119.在一些实施例中，心肌桥预测部分包括步骤s304a至步骤s304c。
120.图6示出了本公开实施例提供的心肌桥预测的可选流程示意图，将根据各个步骤进行说明。
121.步骤s304a，特征提取。
122.在一些实施例中，所述第一装置可以将所述第一血管拉直图像和所述心脏掩码图像进行合并，将合并后的图像输入至所述特征提取模块中，确定所述特征提取模块的输出为第一图像特征。
123.具体实施时，所述装置基于第一血管拉直图像i和相对应的心脏掩码图像m共同作为神经网络的输入，具体来说，将第一血管拉直图像i和相对应的心脏掩码图像m这两张图合并为w∈rh×h×n×2，然后送入特征提取模块(如经典的u-net)进行特征提取。设f∈rh×h×n×c是经过u-net提取出的图像特征(第一图像特征)。
124.步骤s304b，基于心脏掩码的注意力机制。
125.为了能够让心肌桥预测模型(神经网络)更准确地学习到血管的信息，及其与表面心肌的位置关系，使用注意力机制来进行特征增强(即将所述第一图像特征输入至所述检测模块包括的注意力层中，获得第二图像特征)。对于第一图像特征f上的每一个标识点(位置)，视为q，以标识点为中心，周围的l
×
l
×
l区域的所有标识点视为k和v，进行注意力机制计算。总的计算公式可以写为：
[0126][0127]
其中，表示经过注意力机制(注意力层)增强后的第二图像特征。
[0128]
本公开实施例中提供了两种注意力编码：
[0129]
其一是心脏掩码的参数编码e，e的取值范围是两个可学习的向量e1∈rc和e2∈rc，分别表示心脏编码和非心脏编码，具体的公式为：
[0130]
[0131]
其中，i,j,k分别表示图像三个方向(x轴、y轴和z轴)上的坐标。心脏掩码图像的参数编码可以使注意力机制对心肌部分的区域产生更强的响应，有利于心肌桥的检出。
[0132]
其二是注意力机制的位置编码，本公开中使用了一个可学习的全连接层进行预测。位置编码(标识点的三维坐标，或空间区域的三维坐标)可以表示为p
i,j,k
＝linear(i,j,k)，其中i,k,k分别表示图像三个方向上的坐标。位置编码可以为注意力机制提供位置信息。
[0133]
对具体的一个标识点(i,,)来说，注意力层计算公式如下：
[0134][0135]
其中，第一注意力参数由第一标识点对应的特征f
i,j,k
、所述第一标识点对应的心脏掩码的参数编码e
i,j,k
和所述第一标识点的三维坐标(位置编码)p
i,j,k
确定；第二注意力参数v
i,j,k
由第一空间区域对应的特征确定；第三注意力参数k
i,j,k
由所述第二注意力参数v
i,j,k
、所述第一空间区域对应的心脏掩码的参数编码和所述第一空间区域的三维坐标(位置编码)确定。v
i,j,k
和k
i,j,k
都是长度为n的向量，其中：
[0136][0137][0138]
步骤s304c，基于血管拉直图像的一维分割。
[0139]
在一些实施例中，所述第一装置可以对所述第二图像特征进行平均池化，将进行平均池化后的所述第二图像特征输入至所述心肌桥检测模型包括的线性层中，得到第三图像特征。
[0140]
具体实施时，所述第一装置将第二图像特征垂直于血管方向的平面(即法平面，或h
×
h平面)进行平均池化，测到沿血管方向的特征表示fa∈rn×c，然后，所述特征表示fa输入至所述线性层(可学习)进行特征变换后，得到第三图像特征将所述第三图像特征带入至第一函数(sigmoid函数)中，经过如下运算：
[0141][0142]
最终得到预测结果p∈rn。p上每一点的数值表示该点是心肌桥的概率。同理，对于心肌桥的标注g∈rh×h×n(其中g为预先标注的心脏掩码图像，用0或1表征是否存在心脏组织)，沿垂直于血管方向的平面(也即h
×
h平面)进行最大值池化的操作，得到沿血管方向的标注ga∈rn，即第一血管对应的心脏掩码标注。
[0143]
步骤s305，基于心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数。
[0144]
在一些实施例中，所述第一装置基于所述心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，确定所述心肌桥监测模型的训练损失；基于所述训练损失，调整所述心肌桥检测模型的参数。
[0145]
具体实施时，所述第一装置可以使用交叉熵损失函数进行心肌桥检测模型的训练。具体来说，pi代表位置i处存在心肌桥的预测概率(第一血管被覆盖心肌桥的预测概
率)，yi代表预测标注(心脏掩码图像中第一血管的标注)，yi的取值为0或1，计算出的损失可以表示为：
[0146][0147]
其中n表示第一血管包括的血管中心点的总数量。
[0148]
如此，可以确定所述待检测图像中，第一血管是否被心肌桥覆盖；类似的，还可以基于上述方法确定是待检测图像中全部血管是否被心肌桥覆盖。
[0149]
在一些可选实施例中，所述第一装置可以将训练过程中的批次大小设置为8，学习率设置为5e-3，采用随机梯度下降的方法对模型训练，共训练300轮次。训练的损失函数采用交叉熵损失函数，优化器选择为adam。在训练的过程中，每训练5个轮次将模型进行保存(即重复步骤s101至步骤s104、步骤s301至步骤s305进行训练5个轮次后，将训练得到的心脏冠脉血管命名模型进行保存)，更换参数继续进行训练，最后挑选出验证集验证得到效果最好的模型用于模型预测。
[0150]
在一些可选实施例中，为了避免训练过程中过拟合，所述第一装置还可以对所述第一血管拉直图像进行样本增强，如随机裁剪和随机翻转。
[0151]
如此，通过本公开实施例提供的心肌桥检测模型的训练方法，基于心脏掩码进行心肌桥的检测，心脏掩码为心肌桥的准确检出提供了重要的信息。另外，血管拉直图像的使用大大缩小了待检测区域，并且有效地利用了血管的结构信息，提升了心肌桥的检出效果。
[0152]
图7示出了本公开实施例提供的心肌桥检测模型的训练装置的可选结构示意图，将根据各个部分进行说明。
[0153]
在一些实施例中，所述心肌桥检测模型的训练装置600包括：第一获取单元601、特征提取单元602、预测单元603和调整单元604。
[0154]
所述第一获取单元601，用于获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像；
[0155]
所述特征提取单元602，用于将所述第一血管拉直图像和所述心脏掩码图像输入至心肌桥检测模型包括的特征提取模块中，确定所述特征提取模块的输出为第一图像特征；
[0156]
所述预测单元603，用于将所述第一图像特征输入至所述心肌桥检测模型包括的检测模块中，确定所述检测模块的输出，为所述第一血管被覆盖心肌桥的预测概率；
[0157]
所述调整单元604，用于基于所述心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，调整所述心肌桥检测模型的参数。
[0158]
所述第一获取单元601，在获取心脏图像训练集的第一样本图像中第一血管对应的第一血管拉直图像，以及所述第一血管拉直图像对应的心脏掩码图像之前，还用于获取心脏图像训练集的第一样本图像的血管中线点的三维坐标集合。
[0159]
所述第一获取单元601，具体用于基于所述第一样本图像的血管中线点的三维坐标集合，获取所述第一样本图像中第一血管对应的所述第一血管拉直图像；
[0160]
基于所述第一血管的三维坐标集合，以及所述第一样本图像对应的心脏掩码，确定所述第一血管对应的心脏掩码图像。
[0161]
所述第一获取单元601，具体用于获取所述第一样本图像的第一血管中每一个血管中线点对应的法平面；
[0162]
以所述第一样本图像中每一个血管中线点为子图像的中心，对所述每一个血管中线点对应的法平面进行采样，获取每一个血管中线点对应的第一尺寸的子图像；
[0163]
将所述第一样本图像中每一个血管中线点对应的第一尺寸的子图像进行组合，确认组合后的图像为所述第一血管拉直图像。
[0164]
所述获取单元，具体用于基于第一血管的三维坐标集合，获取所述心脏掩码中与所述第一血管的血管中心点对应的特征点的法平面；
[0165]
以所述心脏掩码中每一个特征点为子图像的中心，对所述每一个特征点对应的法平面进行采样，获取每一个特征点对应的第一尺寸的子图像；
[0166]
将所述心脏掩码中每一个特征点对应的第一尺寸的子图像进行组合，确认组合后的图像为所述心脏掩码图像。
[0167]
所述预测单元603，具体用于将所述第一图像特征输入至所述检测模块包括的注意力层中，获得第二图像特征；将所述第二图像特征输入至所述检测模块包括的线性层中，获得第三图像特征；将所述第三图像特征带入第一函数中，确定所述第一函数的运算结果，为所述第一血管被覆盖心肌桥的预测概率。
[0168]
所述预测单元603，具体用于确定所述第一图像特征中的第一标识点，以及以所述第一标识点为中心，所述第一标识点周围第二尺寸的第一空间区域；
[0169]
基于所述第一标识点对应的特征、所述第一空间区域对应的特征、所述第一标识点对应的心脏掩码的参数编码、所述第一空间区域对应的心脏掩码的参数编码、所述第一标识点的三维坐标和所述第一空间区域的三维坐标，对所述第一图像特征中的第一标识点进行增强；
[0170]
确定所述第一图像特征包括的全部标识点均被增强后所得到的图像特征为所述第二图像特征。
[0171]
所述预测单元603，具体用于基于所述第一标识点对应的特征、所述第一标识点对应的心脏掩码的参数编码和所述第一标识点的三维坐标，确定第一注意力参数；
[0172]
基于所述第一空间区域对应的特征确定第二注意力参数；
[0173]
基于所述第二注意力参数、所述第一空间区域对应的心脏掩码的参数编码和所述第一空间区域的三维坐标，确定第三注意力参数；
[0174]
基于所述第一注意力参数、所述第二注意力参数和所述第三注意力参数，对所述第一图像特征中的第一标识点进行增强。
[0175]
所述预测单元603，具体用于对所述第二图像特征进行平均池化，将进行平均池化后的所述第二图像特征输入至所述心肌桥检测模型包括的线性层中，得到第三图像特征。
[0176]
所述调整单元604，具体用于基于所述心脏掩码图像中第一血管的标注，与所述第一血管被覆盖心肌桥的预测概率，确定所述心肌桥监测模型的训练损失；基于所述训练损失，调整所述心肌桥检测模型的参数。
[0177]
图8示出了本公开实施例提供的心肌桥检测装置的可选结构示意图，将根据各个部分进行说明。
[0178]
在一些实施例中，所述心肌桥检测装置700包括第二获取单元701和检测单元702。
[0179]
第二获取单元701，用于获取待检测图像中第二血管对应的第二血管拉直图像，以及所述第二血管对应的心脏掩码图像所对应的第二血管拉直图像对应的心脏掩码图像；
[0180]
检测单元702，用于将所述第二血管拉直图像和所述第二血管拉直图像对应的心脏掩码图像输入至心肌桥检测模型中，确定所述心肌桥检测模型的输出，为所述待检测图像中所述第二血管被覆盖心肌桥的检测结果。
[0181]
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
[0182]
图9示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0183]
如图9所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0184]
电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0185]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如心肌桥检测模型的训练方法和/或心肌桥检测方法。例如，在一些实施例中，心肌桥检测模型的训练方法和/或心肌桥检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的心肌桥检测模型的训练方法和/或心肌桥检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行心肌桥检测模型的训练方法和/或心肌桥检测方法。
[0186]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出
装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0187]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0188]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0189]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0190]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0191]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0192]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0193]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0194]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。