基于心电图像的心脏期前收缩起源位置的智能精准定位方法、系统与装置与流程

1.本发明涉及医疗人工智能技术领域，具体涉及一种基于心电图像的心脏期前收缩起源位置的智能精准定位方法与系统。


背景技术：

2.期前收缩是最常见的心律失常，影响患者的生活质量，对于频繁室性期前收缩还可能导致早搏性心肌病，致使患者心室增大，射血分数减低。对于频发的期前收缩，射频导管消融是治愈性的措施。期前收缩起源位置与射频导管消融的成功率与发生并发症的风险密切相关。比如，某些位置导管到位困难，或者起源位置较深射频能量难以穿透，或者邻近重要的血管、传导束增加消融并发症风险。并且体表心电图对期前收缩起源位置的初步定位有助于确定导管消融术中的需标测心腔和感兴趣区域。可见，期前收缩起源位置的判断，对于治疗策略的选择和判断导管消融的成功率和并发症风险非常重要。但是，目前对期前收缩起源位置的判断主要源自医生的经验，缺乏精准判断期前收缩起源位置的工具。
3.人工智能(artificial intelligence,ai)是指能够模拟人的某些思维过程和智能行为的技术或系统。近年来，ai技术发展迅速，广泛应用于医学各个领域。比如处理医疗数据，疾病的预测分析，自动分析心血管影像，自动识别心律失常，发现疾病新亚型。
4.机器学习是ai的下位概念，而深度学习是机器学习的子领域，深度学习可以模仿人脑的工作模式，使用多层神经网络对数据集进行训练并形成自动预测。深度学习的方法主要包括卷积神经网络和递归神经网络，而前者在心血管疾病中的应用更加广泛。
5.卷积神经网络在心律失常的诊断和预测中正发挥重要的作用。比如，美国梅奥诊所的研究分析大量12导联心电图，构建卷积神经网络，利用人工智能方法，可以成功预测患者发生房颤。但是，ai对于期前收缩起源位置的精准预测，尚未见相关研究和报道。本发明的创新点在于通过记录到患者的期前收缩的12导心电图，对期前收缩的起源位置进行精准判断，从而能够对指导导管消融术中的导管标测范围，以及预判成功率和手术风险评估起到重要的作用。


技术实现要素：

6.针对现有技术的不足之处，本发明提出了一种基于心电图像的心脏期前收缩起源位置的智能精准定位方法与系统，通过人工智能技术实现心脏期前收缩起源位置的智能精准定位，从而辅助医生诊断和治疗。
7.为实现上述目的，本发明提出一种基于心电图像的心脏期前收缩起源位置的智能精准定位方法与系统，其特殊之处在于，所述方法包括训练阶段和检测阶段；
8.所述训练阶段包括步骤：
9.a1)采集若干张心电图像训练数据，并裁剪成大小一致的训练图像；
10.a2)对每一张所述训练阶段的心电图像标注心电图每个导联的四个边缘点坐标和
心脏期前收缩位置标签；
11.a3)将所有所述训练阶段的心电图像和对应的坐标点以及标签作为训练心电图导联检测神经网络和心脏期前收缩位置定位神经网络的输入，训练得到卷积神经网络模型；
12.所述检测阶段包括步骤：
13.b1)采集待检测的心电图像检测数据，并裁剪成与训练图像一致大小；
14.b2)将检测阶段的心电图像输入至心电图导联检测神经网络模型，得到心电图每个导联的边缘坐标；
15.b3)利用透视变换算法对每个导联心电图像进行几何矫正，得到每个导联矫正后的心电图像；
16.b4)将所有矫正后的心电图像输入至心脏期前收缩位置定位神经网络模型，输出心脏期前收缩位置的定位结果；
17.优选地，所述步骤a1)中对每张用于训练的心电图像裁剪成固定大小，图像大小并无规定，但所有训练图像大小一致。
18.优选地，所述步骤a2)中对每一张心电图像中十二个导联的每个导联心电图的四个顶点坐标进行标注。
19.优选地，所述步骤a2)中将心脏分为若干个区域，每一个区域对应一种异常标签，对每一张心电图像中心电图的若干个异常位置进行标注，并对具有异常的心电图标注相应的心脏区域异常标签，对于无异常的心电图标注相应为正常标签。
20.优选地，所述步骤a3)中边缘检测神经网络模型和心脏期前收缩位置定位神经网络模型可以为常用的回归网络和分类网络，不仅限于本专利中使用的模型。
21.优选地，所述步骤a3)之后还包括验证步骤：将样本心电图像输入经过训练的卷积神经网络模型输出样本心电图的心脏期前收缩区域智能分析结果，所述结果的正确率高于设定值则前往检测阶段，否则返回步骤a1)。
22.优选地，所述心电图像为具有图像采集功能的设备获取的rgb图像或灰度图像。
23.本发明提出一种系统，包括存储器、处理器，所述处理器执行所述存储器中的程序，以实现一种基于心电图像的心脏期前收缩位置的智能精准定位方法，所述方法包括训练阶段和检测阶段；
24.所述训练阶段包括步骤：
25.a1)采集若干张心电图像训练数据，并裁剪成固定大小；
26.a2)对每一张所述训练阶段的心电图像标注心电图每个导联的四个边缘点坐标和心脏期前收缩起源位置的标签；
27.a3)将所有所述训练阶段的心电图像和对应的坐标点以及标签作为训练心电图导联检测神经网络和心脏期前收缩位置定位神经网络的输入，训练得到卷积神经网络模型；
28.所述检测阶段包括步骤：
29.b1)采集待检测的心电图像检测数据，并裁剪成固定大小；
30.b2)将检测阶段的心电图像输入至心电图导联检测神经网络模型，得到心电图每个导联的边缘坐标；
31.b3)利用透视变换算法对每个导联心电图像进行几何矫正，得到每个导联矫正后的心电图像；
32.b4)将所有矫正后的心电图像输入至心脏期前收缩位置定位神经网络模型，输出心脏期前收缩位置的定位结果。
33.优选地，所述步骤a1)中对每张用于训练的心电图像裁剪成固定大小，图像大小并无规定，但所有训练图像大小一致。
34.优选地，所述步骤a2)中每一张心电图像包含十二个导联心电图。
35.优选地，所述步骤a2)中对每个导联的心电图的四个边缘点坐标进行标注。
36.优选地，所述步骤a2)中将心脏分为若干个区域，每一个区域对应一种异常标签，对每一张心电图像，具有异常的心电图标注相应的心脏区域异常标签，对于无异常的心电图标注相应为心脏区域正常标签。
37.优选地，所述步骤a3)中心电图导联检测神经网络模型和心脏期前收缩位置定位神经网络模型为常用的回归网络或分类网络。
38.优选地，所述训练阶段的步骤a3)之后还包括验证步骤：将样本心电图像输入经过训练的卷积神经网络模型输出样本心电图的心脏期前收缩区域智能分析结果，所述结果的正确率高于设定值则前往检测阶段，否则返回步骤a1)。
39.优选地，所述心电图像为具有图像采集功能的设备获取的rgb图像或灰度图像。
40.优选地，所述心脏期前收缩来源于his束以上的室上性起源，或心室起源。
41.本发明提出一种上述基于心电图像的心脏期前收缩位置的智能精准定位装置，包括成像设备、存储器、处理器、数据解析模块、数据分析模块；
42.所述数据解析模块：用于对采集心电图像数据，并对原始数据进行格式转换；
43.所述数据分析模块：用于根据深度卷积神经网络模型，将输入的心电图像数据进行计算、分类，输出心脏期前收缩位置定位结果。
44.所述数据解析模块包括数据采集模块、图像格式转换模块；
45.所述数据采集模块：用于采集心电图像数据；
46.所述图像格式转换模块：用于将原始图像数据转换为jpg或png图像数据格式；
47.更进一步地，所述数据分析模块包括数据预处理模块、心电图导联检测模块、透视变换模块以及标注分类模块；
48.所述数据预处理模块：用于对原始检测数据进行裁剪，得到预先设置大小的图像；
49.所述心电图导联检测模块：用于根据卷积神经网络模型利用深度学习算法对预处理后心电图像进行十二导联心电图边缘顶点坐标检测；
50.所述透视变换模块：用于根据透视变换算法和检测的边缘顶点坐标对预处理后心电图像进行心电图矫正，得到矫正后的十二导联心电图；
51.所述标注分类模块：用于根据卷积神经网络模型利用深度学习算法对矫正后的十二导联心电图进行心脏期前收缩位置区域分类，得到心脏期前收缩位置定位结果。
52.近年来，随着医疗数据的增长和gpu等算力的提升，深度学习在医疗领域展现了强大的数据学习能力。深度卷积神经网络(deep convolutional neural networks,cnns)是近年发展起来，并引起广泛重视的一种高效识别方法，常用于基于数据驱动的分类和回归任务。一般地，cnns的基本结构包括卷积层，激活层，池化层和全连接层。卷积层中每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。本发明中所使用的二维卷积计算公式如下：
[0053][0054]
其中，a为图像，b为卷积核，mr与mc为卷积核大小。
[0055]
激活层能保留特征，去除冗余特征，是神经网络能解决非线性问题关键。本发明中所使用的激活层为gelu，公式如下：
[0056][0057]
池化层在卷积层后面，对输入的特征图进行压缩，使特征图变小，提取主要特征，并简化网络计算复杂度。本发明中所使用的池化层计算公式如下：
[0058][0059]
其中，a
l
为输出，m,n为对应的池化核覆盖区域。
[0060]
全连接层的作用是连接所有特征并映射，得到对应的结果。因为cnns通过一系列有序的卷积层，激活层以及池化层在训练数据进行学习，所以在使用cnns时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；另外，对于同一特征全连接层上的神经元权值相同，所以网络可以并行学习。
[0061]
透视变换(perspective transformation)是利用透视中心、像点、目标点三点共线的条件，将图片投影到一个新的视平面，仍能保持透视面上投影几何图形不变的变换。该算法常用于图像几何矫正。通用变换公式为：
[0062][0063]
(u,v)为原始图像像素坐标，(x＝x
′
/w
′
,y＝y
′
/w
′
)为变换之后的图像像素坐标。a
ij
为透视变换矩阵的元素。透视变换数学表达式如下：
[0064][0065][0066]
在本发明中，给定单个导联心电图四个边缘坐标点和目标变换点坐标，即可求得透视变换矩阵，再用变换矩阵对单个导联心电图进行透视变换，得到变换后的心电图。本发明利用透视变换算法对原始的心电图像数据中由于拍摄角度，成像设备等因素造成心电图扭曲、倾斜等问题进行几何矫正，保证心电图像中的心电图与图像坐标垂直。这样做可以显著提高心电图异常定位和心脏期前收缩位置定位的准确性。在本发明中，由于原始心电图像中心电导联有着不同的排列模式，心电图导联检测深度神经网络用于提取原始训练心电图像十二个导联的每个导联心电图的四个顶点坐标。透视变换算法对每个导联的心电图进行几何矫正，得到矫正后的十二导联心电图。心脏期前收缩位置定位深度神经网络对矫正后的十二导联心电图进行异常归类，得到心脏期前收缩位置定位结果。
[0067]
本发明利用心电图异常分类的方法，可以对患有心脏期前收缩的患者进行检测，智能分析患者心脏期前收缩的区域，从而辅助医生进行更准确诊断和治疗，降低临床治疗过程中医生对患者心脏期前收缩的区域误判而增加的时间、经济负担和治疗风险。
附图说明
[0068]
图1为本发明基于心电图像的心脏期前收缩位置的智能精准定位方法与系统的流程图；
[0069]
图2为本发明基于心电图像的心脏期前收缩位置的智能精准定位的深度学习模型训练和测试的原理图；
[0070]
图3为心电图像数据中十二导联心电图边缘定位图示例；
[0071]
图4为心电图像数据中十二导联心电图几何矫正图示例；
[0072]
图5为本发明基于心电图像的心脏期前收缩位置的智能精准定位方法的系统的结构框图；
[0073]
图6为本发明提出的用于对原始的心电图像数据中十二导联心电图边缘定位的深度学习模型的一个实施案例的网络结构；
[0074]
图7为本发明提出的用于对几何矫正后心电图像的心脏期前收缩位置的智能精准定位的深度学习模型的一个实施案例的网络结构。
具体实施方式
[0075]
下面结合附图及实施例对本发明作进一步的详细描述，但该实施例不应理解为对本发明的限制。
[0076]
本发明提出的一种基于心电图像的心脏期前收缩位置的智能精准定位方法，如图1和图2所示，包括训练阶段和检测阶段；
[0077]
训练阶段包括步骤：
[0078]
a1)利用成像设备采集大量心电图像原始训练数据，并裁剪成大小一致的训练图像。
[0079]
a2)对每一张所述训练阶段的心电图像标注心电图每个导联的四个边缘点坐标和心脏期前收缩位置标签；
[0080]
四个边缘点坐标为每个导联心电图像中心电图的左上角，左下角，右上角，右下角的像素坐标，每个坐标包含x值和y值，一共十二个导联，即48个坐标；
[0081]
涵盖的心脏期前收缩区域类型标签具体包括：
[0082]
左心室，右心室，左心房，右心房，以上各腔室常见位置及分区如下：
[0083]
(1)左心室：主动脉左冠窦，右冠窦，无冠窦，左冠窦瓣下，右冠窦瓣下，无冠窦瓣下，左室顶部，二尖瓣主动脉瓣结合部，二尖瓣环游离壁，二尖瓣环间隔，左后间隔，前外侧乳头肌，后内侧乳头肌，左前分支，左后分支，左室外侧壁基底部，左室外侧壁心尖部，左室前壁基底部，左室前壁心尖部，左室间隔基底部，左室间隔心尖部，高位室间隔。
[0084]
(2)右心室：右室流出道前间隔肺动脉瓣上，右室流出道前间隔肺动脉瓣下，右室流出道中间隔肺动脉瓣上，右室流出道中间隔肺动脉瓣下，右室流出道后间隔肺动脉瓣上，右室流出道后间隔肺动脉瓣下，右室流出道游离壁肺动脉瓣上，右室流出道游离壁肺动脉瓣下，右室流入道，三尖瓣环游离壁，三尖瓣环间隔面，调节束，右室心尖，前组乳头肌，后组乳头肌，内侧乳头肌，his旁，室上脊。
[0085]
(3)左心房：左上肺静脉，左下肺静脉，右上肺静脉，右下肺静脉，左心耳，左房前壁，左房游离壁，左房间隔，左房后壁，左房底部，左房顶部。
[0086]
(4)右心房：上腔静脉，窦房结附近，右心耳，终末脊，三尖瓣环，游离壁，间隔，his旁(无冠窦)
[0087]
(5)无期前收缩
[0088]
a3)将所有所述训练阶段的心电图像和对应的坐标点以及标签作为心电图导联检测神经网络模型(如图6所示)和心脏期前收缩位置定位神经网络模型(如图7所示)的输入，训练得到卷积神经网络模型；
[0089]
将样本心电图像输入经过训练的卷积神经网络模型输出样本心电图的心脏期前收缩区域智能分析结果，所述结果的正确率高于设定值则前往检测阶段，否则返回步骤a1)。
[0090]
所述检测阶段包括步骤：
[0091]
b1)利用成像设备采集心电图像待检测数据，并裁剪成与a1)中训练图像一致大小。
[0092]
b2)将所述检测阶段的心电图像输入至通过模型训练阶段的步骤a3)得到训练完成的心电图导联检测神经网络模型，得到心电图像中十二个导联心电图的四个边缘点图像坐标(如图3所示)；
[0093]
b3)将b2)中得到的边缘点坐标与b1)中待检测的心电图像输入至透视变换算法，得到十二个导联的几何矫正后的心电图像(如图4所示)；
[0094]
b4)将b3)中十二个导联的几何矫正后的心电图像输入至通过模型训练阶段的步骤a3)得到训练完成的心脏期前收缩位置定位神经网络模型，得到心脏期前收缩位置的定位结果；即心脏期前收缩区域标签。
[0095]
在模型训练阶段，深度学习框架采用pytorch，深度卷积神经网络的学习过程如下：
[0096]
1)将成像设备采集并且进行裁剪之后的心电图像和十二个导联心电图边缘坐标及心脏期前收缩区域标签作为训练数据存储于计算机中，设定迭代次数上限；
[0097]
2)按图6和图7分别构建心电图导联检测神经网络和心脏期前收缩位置定位神经网络的结构，初始化参数，生成各卷积层、池化层、全连接层的权值；
[0098]
3)根据当前的权值参数按照网络结构从前往后逐层计算，得到输出结果；
[0099]
根据现有原始标签的数据，对整个神经网络的参数进行调整优化，更新各层的权值；
[0100]
4)迭代次数自增，若达到迭代次数上限，则进入步骤5)，否则进入步骤3)；
[0101]
5)卷积神经网络的各层参数训练完毕，得到卷积神经网络模型。
[0102]
基于上述方法，本发明还提出基于心电图像的心脏期前收缩位置的智能精准定位系统，如图5所示，包括成像设备、存储器、处理器、数据解析模块、数据分析模块。
[0103]
数据解析模块：用于对采集心电图像数据，并对原始数据进行格式转换；
[0104]
数据分析模块：用于根据深度卷积神经网络模型，将输入的心电图像数据进行计算、分类，输出心脏期前收缩位置定位结果。
[0105]
数据解析模块包括数据采集模块、图像格式转换模块：数据采集模块：用于采集心电图像数据；图像格式转换模块：用于将原始图像数据转换为jpg或png图像数据格式；
[0106]
数据分析模块包括数据预处理模块、心电图导联检测模块、透视变换模块以及标
注分类模块；数据预处理模块：用于对原始检测数据进行裁剪，得到预先设置大小的图像；心电图导联检测模块：用于根据卷积神经网络模型利用深度学习算法对预处理后心电图像进行十二导联心电图边缘顶点坐标检测；透视变换模块：用于根据透视变换算法和检测的边缘顶点坐标对预处理后心电图像进行心电图矫正；标注分类模块：用于根据卷积神经网络模型利用深度学习算法对矫正后的电图像进行心脏期前收缩位置区域分类，得到心脏期前收缩位置定位结果。
[0107]
尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式的具体变换，这些均属于本发明的保护范围内。