一种基于深度学习的射血分数计算方法及系统与流程

本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的射血分数计算方法及系统。

背景技术：

随着经济发展和人民生活水平提高，心血管病的发病率也俱增，是国民健康的第一大威胁。心血管病的致命率虽高，但可预防性和可治愈性也很高，其中关键是早期心脏病诊断，筛查和预测。超声设备具备实时性要求，对心脏的诊断具有很高的特异性。在心脏超声测量指标中，射血分数是判断心力衰竭类型的重要指征之一。射血分数指每搏输出量占心室舒张末期容积量的百分比，正常值为50-70％。通过心脏彩超进行检查，是判断心力衰竭类型的重要指征之一。心室射血分数是指心室的每搏输出量占心室舒张末容积的比例,计算公式为：ef＝(edv-es)*100％/edv，式中ef为射血分数；edv为心室舒张末容积；es为心室收缩末容积。从式中可以看出，射血分数是一个容积比率指标，从容积的角度反映的心室的射血功能。

现有技术中，通常采用人工选取心脏左心室(lv)做大切面的位置获取二维图像，经过腔内边缘勾勒出左心室(lv)面积，通过数值计算方法推导出心室舒张末容积edv和心室收缩末容积es的值，再通过公式计算出射血分数ef。但存在以下不足，一是人工选取左心室(lv)的最大切面位置就存在很大误差，依赖于经验和手法；二是通过二维图像获取容积是一种理想状态的模型推导，和真实心脏容积存在误差；三是腔内边缘勾勒使医务人员的效率大大降低。

技术实现要素：

针对现有技术中存在的问题，本发明提供一种基于深度学习的射血分数计算方法，首先通过一超声设备连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出；

随后，针对所述连续心脏体数据中的每帧心脏体数据执行下述步骤：

步骤s1，采用预先训练得到的神经网络分割模型对所述心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据；

步骤s2，对所述左心室分割标记体数据进行二值化处理，得到具有一第一体素值和一第二体素值的左心室二值化体数据；

步骤s3，统计所述左心室二值化体数据中的所述第一体素值的体素数量总和，并将所述体素数量总和作为所述心脏体数据对应的左心室容积保存至预先生成的一容积队列中；

重复执行所述步骤s1至所述步骤s3，直至所述连续心脏体数据的所有帧所述心脏体数据处理完成后，分别提取所述容积队列中保存的所述左心室容积的最大值和最小值，并计算得到所述心脏部位的射血分数。

优选的，执行所述步骤s1之前，还包括对所述连续心脏体数据进行预处理的过程，具体包括：

步骤a1，对所述连续心脏体数据进行分帧处理得到若干帧心脏体数据；

步骤a2，分别对每帧所述心脏体数据进行平滑和降噪处理得到预处理心脏体数据；

步骤a3，分别对每帧所述预处理心脏体数据进行二值化得到二值化心脏体数据；

步骤a4，分别对每帧所述二值化心脏体数据进行归一化得到归一化心脏体数据；

则所述步骤s1中每帧所述心脏体数据为经过所述步骤a1-a4处理后得到的所述归一化心脏体数据。

优选的，所述神经网络分割模型在3d-dfanet深度神经网络的模型基础上构建形成。

优选的，所述神经网络分割模型包括一卷积层，所述卷积层的输出端连接一特征融合网络，所述特征融合网络的输出端连接一第一反卷积层，所述第一反卷积层的输出端连接一第一激活函数；

所述特征融合网络包括依次连接的若干子网络，每个所述子网络包括依次连接的一第一编码层、至少一第二编码层、第三编码层、一第二反卷积层以及一se模块，所述第一编码层的输入端作为所述子网络的输入端，所述se模块的输出端作为所述子网络的输出端；

位于同一所述子网络的所述第一编码层的输出、所述第二编码层的输出端连接的一第三反卷积层的输出、以及所述第二反卷积层的输出进行特征融合后作为下一个所述子网络的所述第一编码层的输入；

各所述子网络的所述第一编码层的输出端分别连接一对应的第四反卷积层，各所述第四反卷积层的输出进行特征融合后得到第一反卷积融合结果；

各所述子网络的所述se模块的输出端分别连接一对应的第五反卷积层，各所述第五反卷积层的输出进行特征融合后得到第二反卷积融合结果；

所述第二反卷积融合结果和所述第一反卷积融合结果进行特征融合后作为所述第一反卷积层的输入。

优选的，所述se模块包括：

依次连接的一池化层、一第一全连接层、一第二激活函数、一第二全连接层和一第三激活函数；

一拉伸计算单元，各所述子网络的所述第二反卷积层的输出端作为所述池化层的输入端，且所述第二反卷积层的输出端和所述第三激活函数的输出端作为所述拉伸计算单元的输入端，所述拉伸计算单元的输出端作为所述se模块的输出端。

优选的，执行所述步骤s3之前，还包括孔洞修补的过程，具体包括：

步骤b1，根据所述左心室二值化体数据判断所述心脏部位的内部是否出现孔洞：

若是，则转向步骤b2；

若否，则转向所述步骤s3；

步骤b2，采用形态学闭运算对所述孔洞进行修补，随后转向所述步骤s3。

优选的，所述射血分数的计算公式如下：

ef＝(volmax-volmin)*100％/volmax

其中，

ef用于表示所述射血分数；

volmax用于表示所述左心室容积的所述最大值；

volmax用于表示所述左心室容积的所述最小值。

一种基于深度学习的射血分数计算系统，应用以上任意一项所述的射血分数计算方法，所述射血分数计算系统具体包括：

超声设备，用于连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出；

图像处理设备，连接所述超声设备，并包括：

图像分割单元，用于针对所述连续心脏体数据中的每帧心脏体数据，采用预先训练得到的神经网络分割模型对所述心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据；

第一处理单元，连接所述图像分割单元，用于对所述左心室分割标记体数据进行二值化处理，得到具有一第一体素值和一第二体素值的左心室二值化体数据；

第二处理单元，连接所述第一处理单元，用于统计所述左心室二值化体数据中的所述第一体素值的体素数量总和，并将所述体素数量总和作为所述心脏体数据对应的左心室容积保存至预先生成的一容积队列中；

第三处理单元，连接所述第二处理单元，用于在所述连续心脏体数据的所有帧所述心脏体数据处理完成后，分别提取所述容积队列中保存的所述左心室容积的最大值和最小值，并计算得到所述心脏部位的射血分数。

优选的，所述图像处理设备还包括一预处理单元，分别连接所述图像分割单元和所述第一处理单元，所述预处理单元具体包括：

第一处理子单元，用于对所述连续心脏体数据进行分帧处理得到若干帧心脏体数据；

第二处理子单元，连接所述第一处理子单元，用于分别对每帧所述心脏体数据进行平滑和降噪处理得到预处理心脏体数据；

第三处理子单元，连接所述第二处理子单元，用于分别对每帧所述预处理心脏体数据进行二值化得到二值化心脏体数据；

第四处理子单元，连接所述第三处理子单元，用于分别对每帧所述二值化心脏体数据进行归一化得到归一化心脏体数据，则所述图像分割单元中的每帧所述心脏体数据为所述归一化心脏体数据。

优选的，所述图像处理设备还包括一孔洞修补单元，分别连接所述第一处理单元和所述第二处理单元，所述孔洞修补单元具体包括：

判断子单元，用于根据所述左心室二值化体数据判断所述心脏部位的内部是否出现孔洞，并在所述左心室二值化体数据的内部出现所述孔洞时输出判断结果；

修补子单元，连接所述判断子单元，用于根据所述判断结果采用形态学闭运算对所述孔洞进行修补。

上述技术方案具有如下优点或有益效果：通过采集得到的心脏体数据可以准确识别并计算其对应的左心室容积，从而计算得到射血分数，避免人工选择最大切面位置造成的人为误差，有效提升计算准确性，且无需医务人员进行腔内边缘勾勒，提升医务人员的工作效率。

附图说明

图1为本发明的较佳的实施例中，一种基于深度学习的射血分数计算方法的流程示意图；

图2为本发明的较佳的实施例中，对所述连续心脏体数据进行预处理的过程的流程示意图；

图3为本发明的较佳的实施例中，神经网络分割模型的结构示意图；

图4为本发明的较佳的实施例中，se模块的结构示意图；

图5为本发明的较佳的实施例中，孔洞修补的过程的流程示意图；

图6为本发明的较佳的实施例中，一种基于深度学习的射血分数计算系统的结构示意图。

图7为本发明的一个较佳的实施例中，图像处理设备的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于深度学习的射血分数计算方法，首先通过一超声设备连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出；

如图1所示，随后，针对所述连续心脏体数据中的每帧心脏体数据执行下述步骤：

步骤s1，采用预先训练得到的神经网络分割模型对心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据；

步骤s2，对左心室分割标记体数据进行二值化处理，得到具有一第一体素值和一第二体素值的左心室二值化体数据；

步骤s3，统计左心室二值化体数据中的第一体素值的体素数量总和，并将体素数量总和作为心脏体数据对应的左心室容积保存至预先生成的一容积队列中；

重复执行步骤s1至步骤s3，直至连续心脏体数据的所有帧心脏体数据处理完成后，分别提取容积队列中保存的左心室容积的最大值和最小值，并计算得到心脏部位的射血分数。

具体地，本实施例中，本发明采用连续心脏体数据进行射血分数的计算，连续心脏体数据为三维数据，采用神经网络分割模型进行左心室分割后，进而能够直接计算出左心室容积，无需人工参与，有效避免人为误差。

进一步地，上述连续心脏体数据优选需要包含完整的左心室腔数据，方便后续进行做左心室分割以及左心室容积计算，上述连续心脏体数据可以是正常心脏体数据，也可以是通过造影增强得到的心脏体数据。上述连续心脏体数据需要包含至少一个完整心动周期的连续心脏体数据，优选包含3至5秒的心脏体数据。

由于上述连续心脏体数据包含若干帧心脏体数据，为方便数据处理，优选先将上述连续心脏体数据进行分帧处理得到若干帧心脏体数据，随后分别对各帧心脏体数据进行平滑和降噪处理得到预处理心脏体数据，再对每帧预处理心脏体数据采用三维二值化算法进行二值化得到二值化心脏体数据，最后将每帧二值化心脏体数据进行归一化处理得到归一化心脏体数据，作为后续左心室分割的输入数据。上述平滑处理包括但不限于高斯模糊和开运算等，上述三维二值化算法包括但不限于固定阈值二值化法和大律法。

进一步地，优选采用3d-dfanet深度网络模型作为神经网络分割模型，在对每帧心脏体数据进行心脏左心室分割后得到左心室分割标记体数据，随后采用三维二值化算法对左心室分割标记体数据进行二值化，即将左心室分割标记体数据的各体素分别进行分别进行赋值，得到具有第一体素值和第二体素值的左心室二值化体数据，上述第一体素值优选为1，上述第二体素值优选为0，进一步优选的，将左心室腔内的体像素赋值为1，其他位置的体像素赋值为0，从而得到包含完整左心室的左心室二值化体数据。在进行二值化后，还包括判断得到的左心室二值化体数据的内部是否出现孔洞，若出现孔洞优选采用形态学闭运算进行孔洞修补，以进一步提升射血分数的计算准确性。在修补完成后，统计得到上述左心室二值化体数据中具有第一体素值的体像素的数量总和，即为该帧心脏体数据对应的左心室容积，优选将该左心室容积保存至预先生成的一容积队列中。

根据上述计算方法得到连续心脏体数据中所有帧的心脏体数据对应的左心室容积后，提取容积队列中左心室容积的最大值和最小值进行射血分数的计算。由于在1到3个完整心动周期内，在心脏部位的舒张末期和收缩末期时左心室容积变化不大，因此本发明直接通过左心室容积排序求最大值和最小值，进而计算得到射血分数，保证了计算结果的准确性。

本发明的较佳的实施例中，执行步骤s1之前，还包括对连续心脏体数据进行预处理的过程，如图2所示，具体包括：

步骤a1，对连续心脏体数据进行分帧处理得到若干帧心脏体数据；

步骤a2，分别对每帧心脏体数据进行平滑和降噪处理得到预处理心脏体数据；

步骤a3，分别对每帧预处理心脏体数据进行二值化得到二值化心脏体数据；

步骤a4，分别对每帧二值化心脏体数据进行归一化得到归一化心脏体数据；

则步骤s1中每帧心脏体数据为经过步骤a1-a4处理后得到的归一化心脏体数据。

本发明的较佳的实施例中，神经网络分割模型在3d-dfanet深度神经网络的模型基础上构建形成。

本发明的较佳的实施例中，如图3所示，神经网络分割模型包括一卷积层100，卷积层100的输出端连接一特征融合网络，特征融合网络的输出端连接一第一反卷积层200，第一反卷积层200的输出端连接一第一激活函数300；

特征融合网络包括依次连接的若干子网络，每个子网络包括依次连接的一第一编码层400、至少一第二编码层401、第三编码层402、一第二反卷积层201，第一编码层400的输入端作为子网络的输入端，第二反卷积层201以及一se模块500的输出端作为子网络的输出端；

位于同一子网络的第一编码层400的输出、第二编码层401的输出端连接的一第三反卷积层202的输出、以及第二反卷积层201的输出进行特征融合后作为下一个子网络的第一编码层400的输入；

各子网络的第一编码层400的输出端分别连接一对应的第四反卷积层203，各第四反卷积层203的输出进行特征融合后得到第一反卷积融合结果；

各子网络的se模块500的输出端分别连接一对应的第五反卷积层204，各第五反卷积层204的输出进行特征融合后得到第二反卷积融合结果；

第二反卷积融合结果和第一反卷积融合结果进行特征融合后作为第一反卷积层200的输入。

具体地，本实施例中，神经网络分割模型在3d-dfanet深度神经网络的模型基础上构建形成，将跨尺度特征融合与se模块(squeeze-and-excitation，压缩和激励网络)结合在一起使用，并且在每个子网起始的第一编码层做跨尺度特征融合，在每个子网的中间的第二编码层和最后的第三编码层均连接相应的反卷积层，并将反卷积层的输出结果和第一编码层的输出融合，这样的方法有利于提高小目标的准确性，提高特征复用性。

具体地，上述子网络优选为三个，上述第二编码层为一个，如图3所示，其中c用于表示特征连接，反卷积操作用于实现还原采样。优选输入的一帧心脏体数据的体数据为h×w×d，其中，h用于表示心脏体数据的高度，w用于表示心脏体数据的宽度，d用于表示心脏体数据的深度，将该心脏体数据输入至具有8个3*3*3的卷积核且步长为2的卷积层100中得到体数据为的特征图，该特征图经过第一个子网络的第一编码层400得到体数据为的特征图，该特征图经过第一个子网络的第二编码层401得到体数据为的特征图，该特征图经过第一个子网络的第三编码层402得到体数据为的特征图，该特征图经过第一个子网络的第二反卷积层201得到体数据为的特征图。

进一步地，第一个子网络的第一编码层400输出的体数据为的特征图、第一个子网络的第二编码层401连接的一第三反卷积层202输出的的特征图，以及第一个子网络的第二反卷积层201输出的的特征图进行特征融合后，作为第二个子网络的第一编码层400的输入。

同理，第二个子网络的第一编码层400输出的的特征图、第二个子网络的第二编码层401连接的一第三反卷积层202输出的的特征图，以及第二个子网络的第二反卷积层201输出的的特征图进行特征融合后，作为第三个子网络的第一编码层400的输入。

进一步地，第一个子网络的第一编码层400输出的的特征图、第二个子网络的第一编码层400输出的的特征图和第三个子网络的第一编码层400输出的的特征图分别经第四反卷积层203后进行特征融合后得到第一反卷积融合结果。

上述第一个子网络的第一编码层400经第四反卷积层202后的体数据每个维度扩大1倍，上述第二个子网络的第一编码层400经第四反卷积层202后的体数据每个维度扩大2倍，上述第三个子网络的第一编码层400经第四反卷积层203后的体数据每个维度扩大4倍。

第一个子网络的se模块500输出的的特征图、第二个子网络的se模块500输出的的特征图和第三个子网络的se模块500输出的的特征图分别经第五反卷积层204后进行特征融合后得到第一反卷积融合结果。

上述第一个子网络的se模块500经第五反卷积层204后的体数据每个维度扩大1倍，上述第二个子网络的se模块500经第五反卷积层204后的体数据每个维度扩大2倍，上述第三个子网络的se模块500经第五反卷积层204后的体数据每个维度扩大4倍。

第二反卷积融合结果和第一反卷积融合结果进行特征融合后作为第一反卷积层200的输入，第一反卷积层200经过第一激活函数300后输出体数据为h×w×d的左心室分割标记体数据。上述第一激活函数300优选为sigmoid激活函数。

优选的，上述第一反卷积层200、第二反卷积层201、第三反卷积层202、第四反卷积层203和第五反卷积层204为一般三维卷积，采用8个3*3*3的卷积核并分别扩大上述对应倍数，上述第一编码层400、第二编码层401和第三编码层402的卷积为深度可分卷积。

进一步地，上述特征图为四维张量特征图，除高度h、宽度w和深度d之外，还包括通道数c。

本发明的较佳的实施例中，如图4所示，se模块500包括：

依次连接的一池化层501、一第一全连接层502、一第二激活函数301、一第二全连接层503和一第三激活函数302；

一拉伸计算单元506，各子网络的第二反卷积层201的输出端作为池化层501的输入端，且第二反卷积层201的输出端和第三激活函数302的输出端作为拉伸计算单元506的输入端，拉伸计算单元506的输出端作为se模块500的输出端。

具体地，本实施例中，通过设置se模块500进一步加强特征，上述第二激活函数301为relu激活函数，上述第三激活函数302为sigmoid激活函数。

进一步地，通过上述模块对特征图进行特征加强，使得有效的特征图的权重大，无效或效果小的特征图权重小，有效降低模型错误率。使用池化层501进行压缩操作，紧接着通过第一全连接层502将特征维度降低，然后经过relu激活函数后再通过第二全连接层503升回到原来的维度，可以更好地拟合通道间复杂的相关性且极大地减少了参数量和计算量。最后通过一个sigmoid激活函数获得0～1之间归一化的权重，最后通过拉伸计算单元506的操作来将归一化后的权重加权到每个通道的特征上。

本发明的较佳的实施例中，执行步骤s3之前，还包括孔洞修补的过程，如图5所示，具体包括：

步骤b1，根据左心室二值化体数据判断心脏部位的内部是否出现孔洞：

若是，则转向步骤b2；

若否，则转向步骤s3；

步骤b2，采用形态学闭运算对孔洞进行修补，随后转向步骤s3。

本发明的较佳的实施例中，射血分数的计算公式如下：

ef＝(volmax-volmin)*100％/volmax

其中，

ef用于表示射血分数；

volmax用于表示左心室容积的最大值；

volmax用于表示左心室容积的最小值。

一种基于深度学习的射血分数计算系统，应用以上任意一项的射血分数计算方法，如图6所示，射血分数计算系统具体包括：

超声设备1，用于连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出；

图像处理设备2，连接超声设备1，并包括：

图像分割单元21，用于针对连续心脏体数据中的每帧心脏体数据，采用预先训练得到的神经网络分割模型，对心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据；

第一处理单元22，连接图像分割单元21，用于对左心室分割标记体数据进行二值化处理，得到具有一第一体素值和一第二体素值的左心室二值化体数据；

第二处理单元23，连接第一处理单元22，用于统计左心室二值化体数据中的第一体素值的体素数量总和，并将体素数量总和作为心脏体数据对应的左心室容积保存至预先生成的一容积队列中；

第三处理单元24，连接第二处理单元23，用于在连续心脏体数据的所有帧心脏体数据处理完成后，分别提取容积队列中保存的左心室容积的最大值和最小值，并计算得到心脏部位的射血分数。

本发明的较佳的实施例中，图像处理设备2还包括一预处理单元25，分别连接图像分割单元21和第一处理单元22，预处理单元25具体包括：

第一处理子单元251，用于对连续心脏体数据进行分帧处理得到若干帧心脏体数据；

第二处理子单元252，连接第一处理子单元251，用于分别对每帧心脏体数据进行平滑和降噪处理得到预处理心脏体数据；

第三处理子单元253，连接第二处理子单元252，用于分别对每帧预处理心脏体数据进行二值化得到二值化心脏体数据；

第四处理子单元254，连接第三处理子单元253，用于分别对每帧二值化心脏体数据进行归一化得到归一化心脏体数据，则图像分割单元中的每帧心脏体数据为归一化心脏体数据。

本发明的较佳的实施例中，图像处理设备2还包括一孔洞修补单元26，分别连接第一处理单元22和第二处理单元23，孔洞修补单元26具体包括：

判断子单元261，用于根据左心室二值化体数据判断心脏部位的内部是否出现孔洞，并在左心室二值化体数据的内部出现孔洞时输出判断结果；

修补子单元262，连接判断子单元261，用于根据判断结果采用形态学闭运算对孔洞进行修补。

本发明的一个较佳的实施例中，如图7所示，图像处理设备包括体数据缓存区900、计算内存区600以及计算显存区700，且体数据缓存区900、计算内存区600和计算显存区700优选通过总线800实现数据传输。本实施例中，优选先将采集的连续心脏体数据存入体数据缓存区900，通过体数据缓存区900进行缓存分帧提取心脏体数据到计算内存区600进行预处理过程，再将经预处理得到的心脏体数据放入计算显存区700，通过显卡运行神经网络分割模型，进而计算出对应的左心室容积，放入容积队列中。

上述神经网络分割模型的处理过程也可以在第三方外设中实现，第三方外设优选为fpga，或神经网络计算棒，或云计算。

上述计算内存区600的预处理过程与计算显存区700的神经网络分割模型的运算过程可以异步并行处理，以提高计算效率，上述异步并行处理为计算内存区600在处理第n帧心脏体数据后，将第n帧心脏体数据推送到计算显存区700后，随后可以进行第n+1帧的数据预处理，无需等待计算显存区700计算完成。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。