心动周期的确定方法及超声设备与流程

本发明涉及图像处理技术领域，具体涉及心动周期的确定方法及超声设备。

背景技术：

心脏每收缩和舒张一次所构成的机械活动周期称之为心动周期，心房与心室的心动周期均包括收缩期和舒张期。

在进行心动周期的检测时，一般是利用心电图机从体表记录心脏每一心动周期所产生的电活动变化图形，从该电活动变化图形确定心动周期。然而，心动周期的这种检测方法，需要待测目标与心电图机连接，会导致检测过程较为复杂。

技术实现要素：

有鉴于此，本发明实施例提供了一种心动周期的确定方法及超声设备，以解决心动周期的确定过程复杂的问题。

根据第一方面，本发明实施例提供了一种心动周期的确定方法，包括：

获取心脏超声视频；

利用切面类型识别模型对所述心脏超声视频进行分类，以确定所述心脏超声视频的切面类型；

采用与所述切面类型对应的收缩期舒张期识别模型对所述心脏超声视频进行处理，得到所述心脏超声视频对应的心动周期。

本发明实施例提供的心动周期的确定方法，采用模型对心脏超声视频进行处理，以检测出相应的心动周期。通过模型探测的方式能够避免心电图机的使用，能够简化心动周期的检测；进一步地，可以在心脏超声的过程中，实现心动周期的实时检测。

结合第一方面，在第一方面第一实施方式中，采用与所述切面类型对应的分割模型，对所述心脏超声视频进行心腔的分割，得到心腔的像素点；

至少根据所述心腔的像素点、所述心动周期，确定所述心脏超声视频对应的心脏参数；其中，所述心脏参数包括射血分数、舒张末期体积、收缩末期体积以及目标心腔重量中的至少一种。

本发明实施例提供的心脏周期的确定方法，通过对心脏超声视频进行分类以及心腔的分割，可以得到各个心腔的像素点，再基于各个心腔的像素点确定心脏超声视频对应的心脏参数；即，通过模型对心脏超声视频进行处理，提高了心脏超声视频每帧图像中各个心腔分割的准确性，从而就可以提高心脏参数计算的准确性。

结合第一方面或第一方面第一实施方式，在第一方面第二实施方式中，

所述采用与所述切面类型对应的收缩期舒张期识别模型对所述心脏超声视频进行处理，得到所述心脏超声视频对应的心动周期，包括：

采用与所述切面类型对应的收缩期舒张期识别模型获取所述心脏超声视频中每帧图像的特征信息；

根据所述特征信息，确定所述心脏超声视频中的收缩末期和/或舒张末期，以得到所述心脏超声视频对应的心动周期。。

本发明实施例提供的心动周期的确定方法，由于不同切面类型所对应的收缩期以及舒张期不同，因此利用与切面类型对应的收缩期舒张期识别模型对心脏超声视频中每帧图像进行特征信息获取，能够提高特征信息获取的准确性。

结合第一方面第二实施方式，在第一方面第三实施方式中，

所述心脏超声视频中每帧图像的特征信息采用预设标识符表示；其中，第一预设标识符对应于所述收缩期，第二预设标识符对应于所述舒张期；

所述根据所述特征信息，确定所述心脏超声视频中的收缩末期和/或舒张末期，以得到所述心脏超声视频对应的心动周期，包括：

遍历所述每帧图像对应的所述预设标识符，将所述预设标识符从所述第一预设标识符变化为所述第二预设标识符时所述第一预设标识符对应的图像帧确定为第一图像帧，和/或，将所述预设标识符从所述第二预设标识符变化为所述第一预设标识符时所述第二预设标识符对应的图像帧确定为第二图像帧；其中，所述第一图像帧对应于所述收缩末期，所述第二图像帧对应于所述舒张末期；

基于所述第一图像帧和/或所述第二图像帧，检测所述心脏超声视频对应的心动周期。

结合第一方面第二实施方式，在第一方面第四实施方式中，所述心脏超声视频中每帧图像的特征信息采用系数表示，所述系数用于表示目标心腔在所述收缩期以及所述舒张期的大小，且在所述心动周期的舒张期中所述系数递增，在所述心动周期的收缩期中所述系数递减；

所述根据探测出的收缩期以及舒张期，确定收缩末期以及舒张末期，以检测所述心脏超声视频对应的心动周期，包括：

检测所述系数的变化趋势，以确定所述收缩末期对应的第三图像帧，和/或所述舒张末期对应的第四图像帧；

基于所述第三图像帧和/或所述第四图像帧检测所述心脏超声视频对应的心动周期。

本发明实施例提供的心动周期的确定方法，采用系数表示心脏超声视频中每帧图像的特征信息，可以反映出目标心腔随时间推移的变化过程，能够较为准确地反映出目标心腔的机械活动，从而提高了每帧图像类别确定的准确性。

结合第一方面第二实施方式，在第一方面第五实施方式中，所述收缩期舒张期识别模型是采用如下方式训练得到的：

获取训练集，所述训练集包括样本心脏超声视频和标记数据，所述标记数据包括所述样本心脏超声视频中每帧图像对应的目标特征信息；所述特征信息采用样本标识符或样本系数表示；其中，第一样本标识符对应于所述收缩期，第二样本标识符对应于所述舒张期；所述样本系数用于表示所述目标心腔在所述收缩期以及所述舒张期的大小；

将所述样本心脏超声视频输入所述收缩期舒张期识别模型中，以得到所述样本心脏超声视频中每帧图像对应的预测特征信息；

基于所述预测特征信息以及所述目标特征信息，调整所述收缩期舒张期识别模型的参数，以训练所述收缩期舒张期识别模型。

本发明实施例提供的心动周期的确定方法，采用样本系数表示目标心腔在收缩期以及舒张期的大小，可以反映出目标心腔随时间推移的变化过程，能够较为准确地反映出目标心腔的机械活动，从而提高了训练得到的收缩期舒张期识别模型的分类准确性。

结合第一方面第五实施方式，在第一方面第六实施方式中，

当所述标记数据采用所述样本系数表示时，所述样本系数是采用如下方法计算得到的：

获取所述样本心脏超声视频对应的心电图曲线；

至少基于所述心电图曲线计算所述样本心脏超声视频中每帧图像对应的样本系数。

结合第一方面第六实施方式，在第一方面第七实施方式中，采用如下公式计算所述样本系数：

其中，i为所述样本心脏超声视频中第i个心动周期；t为所述样本心脏超声视频中第t帧图像；为所述第i个心动周期中舒张末期的时间；为所述第i个心动周期中收缩末期的时间；yt为所述样本心脏超声视频中第t帧图像对应的样本系数。

结合第一方面第一实施方式，在第一方面第八实施方式中，

所述至少根据所述心腔的像素点、所述心动周期，确定所述心脏超声视频对应的心脏参数，包括：

基于所述心动周期，确定所述心脏超声视频中与收缩末期对应的第五图像帧，以及与舒张末期对应的第六图像帧；

提取从相邻所述第五图像帧以及所述第六图像帧中分割出的目标心腔；

基于所述第五图像帧中所述目标心腔对应的像素点以及所述第六图像帧中所述目标心腔对应的像素点，计算所述心脏参数。

结合第一方面第八实施方式，在第一方面第九实施方式中，

所述基于所述第五图像帧中所述目标心腔对应的像素点以及所述第六图像帧中所述目标心腔对应的像素点，计算所述心脏参数，包括：

统计所述第五图像帧中所述目标心腔对应的像素点个数以及所述第六图像帧中所述目标心腔对应的像素点个数；

利用统计出的像素点个数，计算所述射血分数；

或，

利用统计出的像素点个数，确定所述目标心腔舒张末期面积以及所述目标心腔收缩末期面积；

分别对所述第五图像帧中所述目标心腔对应的像素点以及所述第六图像帧中所述目标心腔对应的像素点进行直线拟合，以确定所述舒张末期对应的目标心腔长度以及所述收缩末期对应的目标心腔；

基于所述目标心腔舒张末期面积以及所述舒张末期对应的目标心腔，计算所述目标心腔舒张末期体积；或，基于所述目标心腔收缩末期面积以及所述收缩末期对应的目标心腔长度，计算所述目标心腔收缩末期体积。

结合第一方面第九实施方式，在第一方面第十实施方式中，采用如下公式计算所述心脏参数：

其中，pixed为所述第六图像帧中所述目标心腔对应的像素点个数；pixes为所述第五图像帧中所述目标心腔对应的像素点个数；

或，

目标心腔舒张末期体积＝0.85*sed²/led；

目标心腔收缩末期体积＝0.85*ses²/les；

其中，sed为所述目标心腔舒张末期面积；led为所述舒张末期对应的目标心腔长度；ses为所述目标心腔收缩末期面积；les为所述收缩末期对应的目标心腔长度。

结合第一方面第一实施方式，在第一方面第十一实施方式中，

所述至少根据所述心腔的像素点、所述心动周期，确定所述心脏超声视频对应的心脏参数，包括：

基于所述心动周期，计算滑动窗口的长度以及步长；

对所述心脏超声视频进行所述滑动窗口的处理，得到每个所述滑动窗口对应于所述目标心腔的像素点个数，以确定所述心脏超声视频中所述目标心腔的像素点个数；

利用每个所述滑动窗口对应于所述目标心腔的像素点个数，计算所述目标心腔的面积以及所述目标心腔的长度；

获取所述目标心腔对应的心肌层面积；其中，所述目标心腔对应的心肌层面积为所述心脏超声视频中所述目标心腔对应的心肌层的像素点个数与每个像素点面积的乘积；

基于所述目标心腔的面积、所述目标心腔对应的心肌层面积以及所述目标心腔的长度，计算所述目标心腔的重量。

结合第一方面第十一实施方式，在第一方面第十二实施方式中，所述对所述心脏超声视频进行所述滑动窗口的处理，得到每个所述滑动窗口对应于所述目标心腔的像素点个数，以确定所述心脏超声视频中所述目标心腔的像素点个数，包括：

基于所述步长在所述心脏超声视频上滑动，以确定每个所述滑动窗口所包括的目标心腔；其中，每个所述滑动窗口包括所述心脏超声视频的至少一个图像帧；

比较每个所述滑动窗口所包括的各个目标心腔的像素点个数，以得到每个所述滑动窗口对应于所述目标心腔的像素点个数；

对每个所述滑动窗口对应于所述目标心腔的像素点个数取中位数，得到所述心脏超声视频中所述目标心腔的像素点个数。

结合第一方面第十二实施方式，在第一方面第十三实施方式中，采用如下公式计算所述目标心腔的重量：

目标心腔的重量＝1.05*((5/6)*(s1+s2)*(l+t)-((5/6)*s2*l)；

其中，s1为所述目标心腔对应的心肌层面积；s2为所述目标心腔的面积；l为所述目标心腔的长度。

根据第二方面，本发明实施例还提供了一种心动周期的确定装置，包括：

获取模块，用于获取心脏超声视频；

分类模块，用于利用切面类型识别模型对所述心脏超声视频进行分类，以确定所述心脏超声视频的切面类型；

心动周期确定模块，用于采用与所述切面类型对应的收缩期舒张期识别模型对所述心脏超声视频进行处理，得到所述心脏超声视频对应的心动周期。

根据第三方面，本发明实施例还提供了一种超声设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面，或第一方面任一项实施方式中所述的心动周期的确定方法。

根据第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面，或第一方面任一项实施方式中所述的心动周期的确定方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1根据本发明实施例的心动周期的确定方法的流程图；

图2是根据本发明实施例的心动周期的确定方法的流程图；

图3是根据本发明实施例的收缩期舒张期识别模型的结构示意图；

图4是根据本发明实施例的收缩期舒张期识别模型的结构示意图；

图5是根据本发明实施例的收缩期舒张期识别模型的训练方法的流程图；

图6是根据本发明实施例的心脏参数的确定方法的流程图；

图7是根据本发明实施例的心脏参数的确定方法的流程图；

图8是根据本发明实施例的心脏参数的确定方法的流程图；

图9是根据本发明实施例的心动周期的确定装置的结构框图；

图10是本发明实施例提供的超声设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例中所述的心动周期的确定方法，可以应用在采集心脏超声视频的过程中进行。例如，采用超声设备进行心脏超声视频的采集，同时检测对应的心动周期以及确定相应的心脏参数。或者也可以应用在后续对心脏超声视频的分析过程中，例如，在超声设备中事先存储有心脏超声视频，在需要对该心脏超声视频进行分析时，采用本发明实施例中所述的心动周期的确定方法，确定对应的心动周期以及相应的心脏参数。

根据本发明实施例，提供了一种心动周期的确定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种心动周期的确定方法，可用于超声设备中，图1是根据本发明实施例的心动周期的确定方法的流程图，如图1所示，该流程包括如下步骤：

s11，获取心脏超声视频。

如上文所述，心动周期的检测可以在超声设备采集到心脏超声视频时进行，也可以后续需要对心脏超声视频进行分析时进行。因此，超声设备对于心脏超声视频的获取可以实时从待测目标的体表获取到的，也可以是从外界导入的，亦或是事先存储在超声设备中的等等。此处对心脏超声视频的获取方式并不做任何限制，只需保证在需要进行心动周期的检测时能够获取到心脏超声视频即可。

s12，利用切面类型识别模型对心脏超声视频进行分类，以确定心脏超声视频的切面类型。

心脏超声视频是通过探头对待测目标的体表进行检测获得的，而对待测目标的体表进行检测时，由于心脏的位置导致需要从多个位置分别进行检测，那么就会得到多个切面对应的心脏超声视频，且各个切面类型能够反映出心脏不同位置的状况。

因此，超声设备在对心脏超声视频进行心动周期的检测之前，需要对其切面类型进行判别。其中，采用的是切面类型识别模型对心脏超声视频的切面类型进行判别的。

所述的切面类型识别模型可以是事先训练得到的，可以是在需要进行心动周期的检测时实时训练的。其中，切面类型识别模型是用于对心脏超声视频进行切面类型的分类，因此也可以将其理解为分类模型。该切面类型识别模型的输入为心脏超声视频，输出为该心脏超声视频对应的切面类型。在此对切面类型识别模型的具体结构以及训练过程并不做任何限制，只需保证其能够对输入的心脏超声视频进行切面类型的分类即可。

例如，切面类型可以包括plax(胸骨旁长轴)、psax(胸骨旁乳头肌短轴)、a2c(心尖二腔)、a3c(心尖三腔)、a4c(心尖四腔)等。所述的切面类型识别模型可以基于神经网络模型构建出，该模型的输出可以是所识别出的一种类别；也可以是所识别出的多个类别以及各个类别对应的概率，后续根据概率的大小再确定所输入的心脏超声视频的切面类型。

关于切面类型识别模型的具体结构以及训练过程将在下文中详细描述。

s13，采用与切面类型对应的收缩期舒张期识别模型对心脏超声视频进行处理，得到心脏超声视频对应的心动周期。

由于不同的切面类型反映出心脏不同位置的状况，那么对应于收缩期以及舒张期是反应心脏状况的直观因素，因此，在不同的切面类型所对应的收缩期以及舒张期的状况不同；即，收缩期舒张期与切面类型对应。因此，超声设备需要采用与切面类型对应的收缩期舒张期识别模型对心脏超声视频进行处理。

如上文所述，心动周期可以采用相邻的收缩末期和/或舒张末期表示，因此可以利用收缩期舒张期识别模型识别出心脏超声视频中的收缩末期和/或舒张末期即可。

本实施例提供的心动周期的确定方法，采用模型对心脏超声视频进行处理，以检测出相应的心动周期。通过模型探测的方式能够避免心电图机的使用，能够简化心动周期的检测；进一步地，可以在心脏超声的过程中，实现心动周期的实时检测。

本实施例中还提供了一种心动周期的确定方法，可用于超声设备中，图2是根据本发明实施例的心动周期的确定方法的流程图，如图2所示，该流程包括如下步骤：

s21，获取心脏超声视频。

详细请参见图1所示实施例的s11，在此不再赘述。

s22，利用切面类型识别模型对心脏超声视频进行分类，以确定心脏超声视频的切面类型。

关于切面类型识别模型的训练过程可以包括如下步骤：

(1)使用超声设备采集标准切面的心脏超声视频，标准切面的类型可以包括：plax(胸骨旁长轴)、psax(胸骨旁乳头肌短轴)、a2c(心尖二腔)、a3c(心尖三腔)、a4c(心尖四腔)等。将标准切面的心脏超声视频转换为连续帧的图像，并根据切面类型和采集对象分别存入不同的文件夹中。

例如，超声设备分别采集了5种标准切面(plax、psax、a2c、a3c、a4c)的视频数据，设置5个父文件夹分别代表五种切面，5个父文件夹中都分别存有n个子文件夹，n为采集对象的个数，并将这5种切面中的各n个对象的心脏超声视频分别转换为连续帧的图像保存在相应的文件夹中。

(2)读取连续帧的图像，赋予不同切面类型的图像对应的不同标签。

根据实际采集的数据进行相应有实际意义的增强处理增加样本量比如说有些心脏数据图片对比度大一些，有些对比度小一些，那么就可以对原数据集进行合适的对比度调整来产生更多的‘增强’的数据集。

随机打乱样本数据，以适当的比例分配训练集，验证集，测试集。

(3)建立分类神经网络模型，每次迭代在训练集上训练，并在验证集上验证。

训练至损失不再下降，训练集验证集准确率达到较高的准确率；最后在测试集上得到一个准确率，并保存系数。分配的训练集不一定能够代表整体数据集，即部分整体数据集有些特征训练集中没有训练到，从而导致预测准确率相对较低，所以需要通过交叉验证来尽可能的减少训练集的代表性问题；同时交叉验证测试神经网络对于不同训练集的稳定性。

重新读取图片，以上述(1)和(2)同样的方法再次对不同切面图片进行处理，对其赋予对应的标签，然后打乱顺序，重复上述操作，能得到多个测试集准确率和系数，进行交叉验证，取最高准确率的系数。

赋予不同切面类型的图像数据对应的不同标签具体包括：由于训练集为图片集一部分，并未包含所有图片，所以希望通过交叉验证来增加随机打乱后分配到训练集中图片集的代表性。一般情况下，训练卷积神经网络需要一组数据来训练，这组数据就是输入图片加对应的标签；分类，就是要将不同切面的图片放入对应的文件夹中，在读取图片后，比如说a2c的所有图片，赋予(1，0，0，0，0)的标签，a3c的图片，赋予(0，1，0，0，0)，以此类推共五种切面类别。

其余详细请参见图1所示实施例的s12，在此不再赘述。

s23，采用与切面类型对应的收缩期舒张期识别模型对心脏超声视频进行处理，得到心脏超声视频对应的心动周期。

由于收缩期舒张期识别模型与切面类型是对应的，那么超声设备在确定切面类型之后，可以根据切面类型提取对应的收缩期舒张期识别模型，以探测心脏超声视频中每帧图像的特征信息。具体地，上述s23包括以下步骤：

s231，采用与切面类型对应的收缩期舒张期识别模型获取心脏超声视频中每帧图像的特征信息。

具体地，收缩期舒张期识别模型可以为分类模型，其输入为心脏超声视频，输出为心脏超声视频中每帧图像的特征信息；即，对心脏超声视频中的每帧图像进行分类，以确定其是属于收缩期的图像帧，还是属于舒张期的图像帧；或者收缩期舒张期识别模型可以为模拟心腔相对体积系数回归模型，其输入为心脏超声视频，输出为心脏超声视频中每帧图像的系数，采用系数间接表示出其是属于舒张期，还是收缩期的图像帧。

超声设备可以采用不同的标记区分各个切面类型，且在收缩期舒张期识别模型中设置有与对应的切面类型相同的标记。那么，超声设备就可以利用该标记确定与切面类型对应的收缩期舒张期识别模型。

超声设备将心脏超声视频输入确定出的收缩期舒张期识别模型中，由于心脏超声视频是由若干连续的图像帧组成的，在将心脏超声视频输入收缩期舒张期识别模型中后，该模型依次对心脏超声视频中的每个图像帧进行类别识别，从而确定每帧图像的特征信息。

其中，收缩期舒张期识别模型的具体结构以及训练过程在此并不做任何限制，只需保证其能够探测出心脏超声视频中每帧图像的特征信息即可。具体的结构以及训练过程将在下文中详细描述。

s232，根据特征信息，确定心脏超声视频中的收缩末期和/或舒张末期，以得到心脏超声视频对应的心动周期。

由于心动周期可以采用相邻的收缩末期，或相邻的舒张末期表示，因此，超声设备根据心脏超声视频中每帧图像的特征信息确定出收缩末期以及舒张末期即可检测出该心脏超声视频对应的心动周期。

其中，关于收缩末期的确定，可以是依次比较相邻两帧图像的类别，当相邻两帧的图像类别发生变化时，表示其前一帧图像处于收缩末期或舒张末期。例如，相邻两帧图像分别为图像帧a以及图像帧b，图像帧a的类别为收缩期，图像帧b的类别为舒张期，当比较图像帧a以及图像帧b的类别时，其类别发生改变，那么此时可以确定图像帧a为收缩末期的图像帧。

超声设备在确定出心脏超声视频中的收缩末期以及舒张末期时，可以标注在相应的图像帧上进行标注，以形成心动周期；或者也可以采用其他方式形成心动周期等等。

每帧图像的特征信息可以采用两种形式表示，其一为预设标识符，其二为系数。下文将对这两种形式以及基于这两种形式如何确定所述心脏超声视频中的收缩末期和/或舒张末期，以得到所述心脏超声视频对应的心动周期进行详细描述。

1、特征信息采用预设标识符表示

其中，在本实施例中所述心脏超声视频中每帧图像的特征信息采用预设标识符表示；其中，第一预设标识符对应于收缩期，第二预设标识符对应于舒张期。

可选地，收缩期舒张期识别模型如图3所示，该收缩期舒张期识别模型包括顺次连接的输入端、卷积神经网络模型、循环神经网络模型以及输出端。需要说明的是，图3中虽然示出的卷积神经网络模型以及循环神经网络模型与所输入的心脏超声视频的图像帧一一对应，这仅仅是为了说明该模型的处理过程，而非表示模型的实际架构。所述的收缩期舒张期模型是包括卷积神经网络模型以及循环神经网络模型的，而该模型中的具体结构细节并不做任何限制。

图3中的第一预设标识符采用[0，1]表示，用于代表收缩期；第二预设标识符采用[1，0]表示，用于代表舒张期；但是也可以根据实际需求采用其他标识符标识。

图3所示的收缩期舒张期模型的训练过程可以包括如下步骤：

(1)将5种切面中的各n个对象的连续图像根据gpu性能选择合适的滑动窗口以及步长进行连续图像的批分配。例如，1到第30张为第一批，2到第31张为第二批，以此类推，从而形成多个批次。根据采集图像时的ecg曲线和左心室收缩舒张情况，标注每张图像为收缩期还是舒张期。

将整个数据集分为舒张末期，收缩末期，其他共三类时，舒张末期和收缩末期的图片在整个数据集中的比重是非常低的。例如一个心动周期为32帧，则es,ed的占比为1/16，即会产生数据不平衡问题，导致模型的预测更倾向于比重多的类，从而产生误判断。所以将检测es,ed的问题改成对数据集进行二分类的问题，两个类分别为收缩期和舒张期，大致持续时间比为1：2，从而减少数据不平衡的问题。收缩期(舒张期)的最后一帧图像即为收缩末期(舒张末期)。

(2)训练2d或3d卷积神经网络cnn((进行图片关于左心室大小的特征提取))+双向循环神经网络rnn((多个图片特征时间关系特征的提取))+最后的全连接分类层fc的整个端对端的模型。

该模型也可以理解为分类模型，共分为收缩期和舒张期两类，与切面分类模型的区别是切面分类模型仅使用2d卷积神经网络。

对应地，上述s232具体可以包括如下步骤：

(1)遍历每帧图像对应的预设标识符，将预设标识符从第一预设标识符变化为第二预设标识符时第一预设标识符对应的图像帧确定为第一图像帧，和/或，将预设标识符从第二预设标识符变化为第一预设标识符时第二标识符对应的图像帧确定为的第二图像帧。

其中，所述第一图像帧对应于收缩末期，所述第二图像帧对应于舒张末期。

超声设备遍历心脏超声视频的每帧图像对应的预设标识符，确定出预设标识符变化时对应的图像帧。其中，在心脏超声视频中可能包括多个第一图像帧以及多个第二图像帧，在确定出第一图像帧和/或第二图像帧之后，就可以确定出心动周期。

(2)基于第一图像帧和/或第二图像帧，检测心脏超声视频对应的心动周期。

例如，请结合图3，每帧图片经过该收缩期舒张期探测模型的输出为[0，1]或[1，0]，分别代表该帧图片处于收缩期或舒张期；如下图3上半段所示，在一连串的[1，0]输出后下面一帧图片的输出变为[0，1]，说明图片由舒张期转为收缩期，那么输出[1，0]的最后一帧图片即为舒张末期。该模型测试时，预测为舒张期的最后一张即为es，预测为收缩期的最后一张即为ed，相邻两个ed或相邻两个es之间的时间即为单个心动周期的时间。

2、特征信息采用系数表示

在本实施例中心脏超声视频中每帧图像的特征信息采用系数表示，所述系数用于表示目标心腔在收缩期以及舒张期的大小，且在心动周期的舒张期中系数递增，在心动周期的收缩期中系数递减。具体地，心腔包括lv(左心室)、la(左心房)、rv(右心室)以及ra(右心房)，目标心腔为其中的一个，例如，目标心腔可以是左心室，或是左心房等等。具体可以根据实际情况进行具体设置。

可选地，收缩期舒张期识别模型如图4所示，该收缩期舒张期识别模型包括顺次连接的输入端、卷积神经网络模型、循环神经网络模型以及输出端。需要说明的是，图4中虽然示出的卷积神经网络模型以及循环神经网络模型与所输入的心脏超声视频的图像帧一一对应，这仅仅是为了说明该模型的处理过程，而非表示模型的实际架构。所述的收缩期舒张期模型是包括卷积神经网络模型以及循环神经网络模型的，而该模型中的具体结构细节并不做任何限制。

其中，该收缩期舒张期识别模型的输出为系数，请参见图4，每帧图像的输出为一个系数，且系数的变化趋势固定。即，当从收缩期变化为舒张期时，系数逐渐减小，当从舒张期变化为收缩期时，系数逐渐增大。

对应地，上述s232包括如下步骤：

(1)检测系数的变化趋势，以确定收缩末期对应的第三图像帧，和/或舒张末期对应的第四图像帧。

请参见图4，心脏超声视频的每帧图像都对应于一个系数的输出，且输出系数的变化趋势是与收缩期舒张期对应的。

例如，在收缩期的整个过程中，输出系数是由大变小的；而在舒张期的整个过程中，输出系数是由小变大的。

(2)基于第三图像帧和/或第四图像帧检测心脏超声视频对应的心动周期。

超声设备在检测出舒张末期以及收缩末期之后，即可基于相应的图像帧检测出该心脏超声视频对应的心动周期。

作为本实施例的一种可选实施方式，如图5所示，收缩期舒张期识别模型的训练过程包括如下步骤：

s31，获取训练集。

其中，所述训练集包括样本心脏超声视频和标记数据，所述标记数据包括所述样本心脏超声视频中每帧图像对应的目标特征信息；所述特征信息采用样本系数表示；其中，所述样本系数用于表示所述目标心腔在所述收缩期以及所述舒张期的大小。

所述的样本系数可以是人为根据经验确定的，也可以是利用心电图曲线计算得到。

例如，上述s31可以包括如下步骤：

(1)获取样本心脏超声视频及其对应的心电图曲线。

(2)至少基于心电图曲线计算样本心脏超声视频中每帧图像对应的样本系数。

例如，采用如下公式计算所述样本系数：

其中，i为所述样本心脏超声视频中第i个心动周期；t为所述样本心脏超声视频中第t帧图像；为所述第i个心动周期中舒张末期的时间；为所述第i个心动周期中收缩末期的时间；yt为所述样本心脏超声视频中第t帧图像对应的样本系数。

s32，将样本心脏超声视频输入收缩期舒张期识别模型中，以得到样本心脏超声视频中每帧图像对应的预测特征信息。

通过为收缩期舒张期识别模型设置初始参数，并将训练集依次输入到该收缩期舒张期识别模型中，即可以得到样本心脏超声视频中每帧图像对应的预测特征信息。其中，该预测特征信息采用预测系数表示。

s33，基于预测特征信息以及目标特征信息，调整收缩期舒张期识别模型的参数，以训练收缩期舒张期识别模型。

上述s32中得到的预测特征信息的具体数值与收缩期舒张期识别模型中的参数相关。因此，就可以通过预测系数与样本系数之间的数值关系，对收缩期舒张期识别模型的参数进行调整，从而实现收缩期舒张期识别模型的训练。

作为收缩期舒张期识别模型训练过程的一个具体实施方式，所述的训练过程可以采用如下方式实现：

(1)将5种切面中的各n个对象的连续图像根据gpu性能选择合适的滑动窗口以及步长进行连续图像的批分配(比如1到第30张为第一批，2到第31张为第二批，以此类推)，从而形成多个批次。

根据采集图像时的ecg曲线和左心室收缩舒张情况，标注每张图像为收缩期还是舒张期，然后根据s31中样本系数的计算公式确定样本系数，以赋予每张图片不同的数值，该数值模拟左心室在心动周期中的大小变化。

(2)训练2d卷积神经网络cnn((进行图片关于左心室大小的特征提取))+双向循环神经网络rnn((多个图片特征时间关系特征的提取))+最后的回归层(提取模拟左心室大小数值)整个端对端的模型。该模型测试时，输入的序列图片集会得到一连串连续的数值(即，系数)，该数值的基本表现为不断的单调递增然后单调递减再递增，不断反复，极大值所在的时间点即为舒张末期，极小值所在的时间点即为收缩末期。

可选地，上述s23可以包括如下步骤：

(1)采用切面类型对应的分割模型，分割出每帧图像中的心腔。

如上文所示，切面类型不同心脏所反应的状况不同，那么就需要采用与切面类型对应的分割模型，以分割出每帧图像中的心腔。其中，对于心腔的分割可以是仅分割出目标心腔(例如，左心室)，也可以是分割出所有的心腔，具体根据实际情况进行具体设置。

(2)将分割出的心腔以及心脏超声视频输入确定出的收缩期舒张期识别模型中，以得到心脏超声视频中每帧图像的特征信息。

通过将切割下来的心腔作为该模型的输入之一，这样可以去除其他与检测收缩末期以及舒张末期不相关的图片部分，提高了分类的准确性。

在本实施例中提供了一种心脏参数的确定方法，可用于超声设备中，图6是根据本发明实施例的心脏参数的确定方法的流程图，如图6所示，该流程包括如下步骤：

s41，获取心脏超声视频。

关于心脏超声视频的获取方式可以参见图1所示实施例的s11，在此不再赘述。

s42，利用切面类型识别模型对心脏超声视频进行分类，以确定心脏超声视频的切面类型。

详细请参见图1或图2所示实施例的s12，或s22，在此不再赘述。

s43，采用与切面类型对应的收缩期舒张期识别模型对心脏超声视频进行处理，得到心脏超声视频对应的心动周期。

详细请参见图1或图2所示实施例的s13，或s23，在此不再赘述。

s44，采用与切面类型对应的分割模型，对心脏超声视频进行心腔的分割，得到心腔的像素点。

如上文所示，切面类型不同心脏所反应的状况不同，那么就需要采用与切面类型对应的分割模型，以分割出每帧图像中的心腔。其中，对于心腔的分割可以是仅分割出目标心腔(例如，左心室)，也可以是分割出所有的心腔，具体根据实际情况进行具体设置。其中超声设备在分割出的心腔之后，就可以得到各个心腔对应的像素点。

s45，至少根据心腔的像素点、心动周期以及心脏超声视频，确定心脏超声视频对应的心脏参数。

其中，所述心脏参数包括射血分数、舒张末期体积、收缩末期体积以及目标心腔重量中的至少一种。

在确定心脏参数的时候，例如射血分数就可以利用像素点的个数进行计算，舒张末期体积就可以利用像素点的面积以及心动周期进行计算，目标心腔重量就可以利用像素点的面积以及心脏超声视频进行计算等等。具体地计算方式将在下文中进行描述。

本实施例提供的心脏参数的确定方法，通过对心脏超声视频进行分类以及心腔的分割，可以得到各个心腔的像素点，再基于各个心腔的像素点确定心脏超声视频对应的心脏参数；即，通过模型对心脏超声视频进行处理，提高了心脏超声视频每帧图像中各个心腔分割的准确性，从而就可以提高心脏参数计算的准确性。

本实施例中还提供了一种心脏参数的确定方法，可用于超声设备中，图7是根据本发明实施例的心动周期的确定方法的流程图，如图7所示，该流程包括如下步骤：

s51，获取心脏超声视频。

详细请参见图6所示实施例的s41，在此不再赘述。

s52，利用切面类型识别模型对心脏超声视频进行分类，以确定心脏超声视频的切面类型。

详细请参见图6所示实施例的s42，在此不再赘述。

s53，采用与切面类型对应的收缩期舒张期识别模型对心脏超声视频进行处理，得到心脏超声视频对应的心动周期。

详细请参见图6所示实施例的s43，在此不再赘述。

s54，采用与切面类型对应的分割模型，对心脏超声视频进行心腔的分割，得到心腔的像素点。

详细请参见图6所示实施例的s44，在此不再赘述。

s55，至少根据心腔的像素点、心动周期以及心脏超声视频，确定心脏超声视频对应的心脏参数。

其中，所述心脏参数包括射血分数、舒张末期体积、收缩末期体积以及目标心腔重量中的至少一种。

在本实施例中所要确定的心脏参数为射血分数、舒张末期体积以及收缩末期体积。具体地，s55可以包括如下步骤：

s551，基于心动周期，确定心脏超声视频中与收缩末期对应的第五图像帧，以及与舒张末期对应的第六图像帧。

由于心动周期是通过相邻的舒张末期，或相邻收缩末期确定的，因此，通过心动周期很容易就可以确定出心脏超声视频中与收缩末期对应的第五图像帧以及与舒张末期对应的第六图像帧。且在心脏超声视频中可能包括多个心动周期，即在一个心脏超声视频中包括多个第五图像帧以及第六图像帧。

s552，提取从相邻第五图像帧以及第六图像帧中分割出的目标心腔。

超声设备在s54中已经进行了心腔的分割，在s551确定出相应的图像帧之后，仅需要提取该图像帧对应的分割出来的目标心腔即可。

s553，基于第五图像帧中目标心腔对应的像素点以及第六图像帧中目标心腔对应的像素点，计算心脏参数。

具体地，(1)射血分数的计算方法如下：

(1.1)统计第五图像帧中目标心腔对应的像素点个数以及第六图像帧中目标心腔对应的像素点个数。

(1.2)利用统计出的像素点个数，计算射血分数。

例如可以采用如下公式计算：

其中，pixed为所述第六图像帧中目标心腔对应的像素点个数；pixes为第五图像帧中所述目标心腔对应的像素点个数。

(2)舒张末期体积、收缩末期体积的计算方法如下：

(2.1)统计第五图像帧中目标心腔对应的像素点个数以及第六图像帧中目标心腔对应的像素点个数。

(2.2)利用统计出的像素点个数，确定目标心腔舒张末期面积以及目标心腔收缩末期面积。

统计出的像素点个数分别对应于舒张末期的目标心腔的像素点个数，以及收缩末期的目标心腔的像素点个数。对于面积而言，可以采用像素点的个数乘以每个像素点所占的实际面积。其中，每个像素点所占的实际面积是根据采集的心脏超声视频机器确定的，且该值是固定的。

具体地，超声设备利用舒张末期的目标心腔的像素点个数乘以每个像素点的实际面积，即可得到目标心腔舒张末期面积；利用收缩末期的目标心腔的像素点个数乘以每个像素点的实际面积，即可得到目标心腔收缩末期面积。

(2.3)分别对第五图像帧中目标心腔对应的像素点以及第六图像帧中目标心腔对应的像素点进行直线拟合，以确定舒张末期对应的目标心腔长度以及收缩末期对应的目标心腔。

具体地，分割出的目标心腔可以看做是一张图片，以分割出的图片的左下角为原点建立坐标轴，目标心腔的所有像素点在该坐标轴中都对应一个二维坐标，可以建立一次线性函数y＝ax+b拟合所有的像素点；得到该一次函数后，该一次函数与像素点重叠部分的线段即为线段长度，也就是目标心腔长度。

其中，目标心腔长度在舒张末期以及收缩末期并不相同，因此需要分别进行计算。

(2.4)基于目标心腔舒张末期面积以及舒张末期对应的目标心腔，计算目标心腔舒张末期体积；或，基于目标心腔收缩末期面积以及收缩末期对应的目标心腔长度，计算目标心腔收缩末期体积。

具体地，可以采用如下公式计算：

目标心腔舒张末期体积＝0.85*sed²/led；

目标心腔收缩末期体积＝0.85*ses²/les；

其中，sed为所述目标心腔舒张末期面积；led为所述舒张末期对应的目标心腔长度；ses为所述目标心腔收缩末期面积；les为所述收缩末期对应的目标心腔长度。

本实施例中还提供了一种心脏参数的确定方法，可用于超声设备中，图8是根据本发明实施例的心动周期的确定方法的流程图，如图8所示，该流程包括如下步骤：

s61，获取心脏超声视频。

详细请参见图7所示实施例的s51，在此不再赘述。

s62，利用切面类型识别模型对心脏超声视频进行分类，以确定心脏超声视频的切面类型。

详细请参见图7所示实施例的s52，在此不再赘述。

s63，采用与切面类型对应的收缩期舒张期识别模型对心脏超声视频进行处理，得到心脏超声视频对应的心动周期。

详细请参见图7所示实施例的s53，在此不再赘述。

s64，采用与切面类型对应的分割模型，对心脏超声视频进行心腔的分割，得到心腔的像素点。

详细请参见图7所示实施例的s54，在此不再赘述。

s65，至少根据心腔的像素点、心动周期以及心脏超声视频，确定心脏超声视频对应的心脏参数。

其中，所述心脏参数包括射血分数、舒张末期体积、收缩末期体积以及目标心腔重量中的至少一种。

本实施例中所要确定的心脏参数为目标心腔重量。具体地，s65包括以下步骤：

s651，基于心动周期，计算滑动窗口的长度以及步长。

其中心动周期表示心脏周期性动作的时间，可以根据实际情况确定合适的滑动窗口的长度以及步长。例如，滑动窗口的长度可以为心动周期的90％，步长为心动周期的50％。

s652，对心脏超声视频进行滑动窗口的处理，得到每个滑动窗口对应于目标心腔的像素点个数，以确定心脏超声视频中目标心腔的像素点个数。

超声设备是针对心脏超声视频进行滑动窗口的处理，例如，确定出该心脏超声视频的切面类型为a4c，这里使用滑动窗口的对象为某个a4c切面视频中所包含的连续图像，比如说该采集的视频共4秒，帧频为32帧/秒，那么该视频共包括128帧图像。对于每个a4c样本视频均做这样的处理，并再使用滑动窗口处理；比如说心动周期为10帧，那么窗口长度为9帧，步长为5帧；使用滑动窗口后得到就是，视频的第1到第9帧为第一个窗口，第6帧到第14帧为第二窗口。

具体地，s652可以包括如下步骤：

(1)基于步长在心脏超声视频上滑动，以确定每个滑动窗口所包括的目标心腔；其中，每个所述滑动窗口包括所述心脏超声视频的至少一个图像帧。

如上文的示例，该心脏超声视频包括128帧图像，窗口长度为9帧，步长为5帧，视频的第1到第9帧为第一个窗口，第6帧到第14帧为第二窗口。由于第一个窗口包括了视频的第1帧至第9帧，而每帧图像中均认为是包括有目标心腔的，则第一个窗口就包括了9个目标心腔；依次类推，每个窗口均包括有9个目标心腔。

(2)比较每个滑动窗口所包括的各个目标心腔的像素点个数，以得到每个滑动窗口对应于目标心腔的像素点个数。

由于每个滑动窗口均包括有9个目标心腔，在不同的时间点目标心腔的大小不同，即在不同的时间段目标心腔所包括的像素点个数也就不同。本实施例中通过比较每个窗口中9个目标心腔所包括的像素点个数，确定出与该窗口对应的唯一的对应于目标信息的像素点个数。

例如，可以对每个窗口所包括的9个目标心腔所包括的像素点个数进行排序，取其中的像素点个数最多的，或90％多的作为与该窗口对应的对应于目标信息的像素点个数。具体可以根据实际情况进行具体设置，只需保证从9个目标心腔所包括的像素点个数中确定出一个，以作为该窗口对应于目标心腔的像素点个数。

(3)对每个滑动窗口对应于目标心腔的像素点个数取中位数，得到心脏超声视频中目标心腔的像素点个数。

超声设备在采用滑动窗口遍历整个心脏超声视频之后，每个窗口均对应于一个目标心腔的像素点个数，遍历完成可以得到多个对应于目标心腔的像素点个数，可以对其取中位数，即可得到心脏超声视频中目标心腔的像素点个数。

s653，利用每个滑动窗口对应于目标心腔的像素点个数，计算目标心腔的面积以及目标心腔的长度。

在s652中确定出心脏超声视频中目标心腔的像素点个数之后，可以利用像素点的个数乘以每个像素点的实际面积得到目标心腔的面积。

关于目标心腔的长度的确定方法也可以采用与确定目标心腔的像素点个数相同的方式进行。例如，首先确定每个窗口对应的目标心腔的长度，再确定该心脏超声视频中目标心腔的长度。其中，每个窗口对应的目标心腔的长度，可以先计算每个窗口所包括的各个图像帧中目标心腔的长度(可以采用上文所述的直线拟合的方式确定)，再进行排序比较确定每个窗口对应的唯一的目标心腔的长度，最后再对所有窗口对应的目标心腔的长度取中位数，即可到该心脏超声视频中目标心腔的长度。

s654，获取目标心腔对应的心肌层面积。

其中，所述目标心腔对应的心肌层面积为所述心脏超声视频中所述目标心腔对应的心肌层的像素点个数与每个像素点面积的乘积。

目标心腔对应的心肌层面积可以从外界获取，也可以采用与目标心腔面积的相同方法确定出。例如，可以采用与切面类型对应的分割模型分割出目标心腔对应的心肌层，即对心脏超声视频每帧图像进行目标心腔对应的心肌层切割，然后采用与s551-s552的方法确定所述心脏超声视频的目标心腔对应的心肌层的像素点个数，并利用像素点的实际面积乘以对应的像素点个数，就可以得到目标心腔对应的心肌层面积。

s655，基于目标心腔的面积、目标心腔对应的心肌层面积以及目标心腔的长度，计算目标心腔的重量。

具体地，可以采用如下公式计算所述目标心腔的重量：

目标心腔的重量＝1.05*((5/6)*(s1+s2)*(l+t)-((5/6)*s2*l)；

其中，s1为所述目标心腔对应的心肌层面积；s2为所述目标心腔的面积；l为所述目标心腔的长度。

在本实施例中还提供了一种心动周期的确定装置以及心脏参数的确定方法，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种心动周期的确定装置，如图9所示，包括：

获取模块61，用于获取心脏超声视频。

分类模块62，用于利用切面类型识别模型对所述心脏超声视频进行分类，以确定所述心脏超声视频的切面类型。

心动周期确定模块63，用于采用与所述切面类型对应的收缩期舒张期识别模型对所述心脏超声视频进行处理，得到所述心脏超声视频对应的心动周期

本实施例中的心动周期的确定装置或心脏参数的确定装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种超声设备，具有上述图9所示的心动周期的确定装置。

请参阅图10，图10是本发明可选实施例提供的一种超声设备的结构示意图，如图10所示，该超声设备可以包括：至少一个处理器71，例如cpu(centralprocessingunit，中央处理器)，至少一个通信接口73，存储器74，至少一个通信总线72。其中，通信总线72用于实现这些组件之间的连接通信。其中，通信接口73可以包括显示屏(display)、键盘(keyboard)，可选通信接口73还可以包括标准的有线接口、无线接口。存储器74可以是高速ram存储器(randomaccessmemory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器74可选的还可以是至少一个位于远离前述处理器71的存储装置。其中处理器71可以结合图9所描述的装置，存储器74中存储应用程序，且处理器71调用存储器74中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线72可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。通信总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器74可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-accessmemory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatilememory)，例如快闪存储器(英文：flashmemory)，硬盘(英文：harddiskdrive，缩写：hdd)或固态硬盘(英文：solid-statedrive，缩写：ssd)；存储器74还可以包括上述种类的存储器的组合。

其中，处理器71可以是中央处理器(英文：centralprocessingunit，缩写：cpu)，网络处理器(英文：networkprocessor，缩写：np)或者cpu和np的组合。

其中，处理器71还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specificintegratedcircuit，缩写：asic)，可编程逻辑器件(英文：programmablelogicdevice，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complexprogrammablelogicdevice，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmablegatearray，缩写：fpga)，通用阵列逻辑(英文：genericarraylogic,缩写：gal)或其任意组合。

可选地，存储器74还用于存储程序指令。处理器71可以调用程序指令，实现如本申请图1至图8实施例中所示的心动周期的确定方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的心动周期的确定方法，或心脏参数的确定方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。