一种血管内超声图像序列关键帧的提取方法与流程

本发明涉及图像处理技术，特别涉及一种血管内超声图像序列关键帧的提取方法。

背景技术：

血管内超声(intravascularultrasound，ivus)作为临床上诊断血管内病变的“金标准”之一，是进行微创介入治疗的重要检查手段。检查过程中是将微型化的超声探头经导管技术进入血管腔内，显示血管横截面图像。临床采用的超声导管回撤速率是0.5mm/s，采集速率为30帧/s，检查一段长约15mm的血管回撤一次可采集900帧图像，不仅图像数据量大，而且相邻帧之间的关联性高，处理起来耗时、繁琐和效率低下。关键帧是记录血管内有重大形态改变位置的帧，具有很强代表性且数量较总帧数少很多。所以对后期的图像分析以及临床诊断有很大帮助。

一般提取血管内超声图像关键帧采用ecg门控和图像门控技术，前者是利用ecg采集装置在介入采集图像过程中，在每个心动周期的同一时相(一般为r波)采集关键帧。但临床设备缺少ecg门控图像采集装置以及延长介入时间限制了此方面的应用；后者图像门控技术弥补了ecg门控的不足，采用后处理的方式，代表性方法是o'malleysmn,carliersg,naghavim,etal.image-basedframegatingofivuspullbacks:asurrogateforecg[c]//acoustics,speechandsignalprocessing,2007.icassp2007.ieeeinternationalconferenceon.ieee,2007,1:i-433-i-436(基于图像门控的ivus回撤：心电门控的替代法)，基本原理是通过计算图像灰度特征的归一化相关系数，作为各帧图像之间相似度的衡量，构建图像序列的差异矩阵，通过分析差异矩阵的周期性结构寻找心动周期中心脏舒张末期采集的一帧图像作为关键帧，组成门控序列。但这种方法计算复杂，将帧之间的均方误差作为相似性匹配准则，对心率变化较大的ivus序列，受运动的干扰较大，提取的关键帧结果不佳。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提供一种血管内超声图像序列关键帧的提取方法，该方法对于心脏运动具有很强的鲁棒性，能够快速、准确而有效地提取出将血管内超声图像序列中的关键帧。

本发明的目的通过下述技术方案实现：一种血管内超声图像序列关键帧的提取方法，步骤如下：

s1、采集血管内超声图像序列，并且计算出血管内超声图像序列中各帧图像的zernike矩；

s2、针对于每帧图像，计算出其与后一帧图像zernike矩的欧式距离，将上述计算得到的欧式距离作为每帧图像的距离特征值，然后根据每帧图像的距离特征值构造得到血管内超声图像序列的一维距离特征函数；

s3、将血管内超声图像序列的一维距离特征函数傅里叶变换到频域空间上，通过该频域空间获取到血管内超声图像序列对应检查对象的心率；根据图像采集速率、血管内超声图像序列对应检查对象的心率以及人体心率范围确定出关键帧搜索范围；同时构造一维指数滤波器，通过一维指数滤波器针对步骤s2中构造得到每帧图像的距离特征值进行增强处理，得到每帧图像增强的一维距离特征值；

s4、根据步骤s3中获取到的血管内超声图像序列中所有帧图像增强的一维距离特征值，通过关键帧搜索范围搜索出构成全局最短路径的各帧图像，作为关键帧。

优选的，血管内超声图像序列中各帧图像的zernike矩计算过程如下：

针对于血管内超声图像序列中大小为n×n的各帧图像，得到其zernike矩的实部和虚部分别如下：

其中

其中rnm(ρ)表示各帧图像中像素点(x,y)处的径向多项式，n和m为正交多项式的阶数，n是非负整数，n-|m|是偶数，并且n≥|m|，s为阶数变量；ci为血管内超声图像序列中第i帧图像的zernike矩的实部，si为血管内超声图像序列中第i帧图像的zernike矩的虚部；其中x和y分别表示各帧图像中像素点的横坐标和纵坐标；

fi(r,σ)是血管内超声图像序列中第i帧图像中极坐标为(r,σ)处像素点对应的灰度值；

其中上述公式中r和σ为引入的两个参数，定义r＝max(|x|,|y|)；

当|x|＝r，则

当|y|＝r，则

通过参数r和σ获取到像素点(x,y)对应的极坐标(ρ,θ)为：

ρ＝2r/n,θ＝πσ(4r)。

优选的，步骤s2中每帧图像的距离特征值d(i)为：

其中d(i)为血管内超声图像序列中第i帧图像的距离特征值，l表示步骤s1中采集的血管内超声图像序列的长度，即血管内超声图像序列中帧的总数；ci为血管内超声图像序列中第i帧图像的zernike矩的实部，ci+1为血管内超声图像序列中第i+1帧图像的zernike矩的实部，si为血管内超声图像序列中第i帧图像的zernike矩的虚部，si+1为血管内超声图像序列中第i+1帧图像的zernike矩的虚部。

优选的，步骤s3中通过频域空间获取到血管内超声图像序列对应检查对象的心率的具体方式为：在频域空间中找到频谱峰值，将该频谱峰值对应的频率值作为血管内超声图像序列对应检查对象的心率。

优选的，步骤s3中根据图像采集速率、血管内超声图像序列对应检查对象的心率以及人体心率范围确定出关键帧搜索范围为：

l0＝(60×r)/r0；

l1＝(60×r)/r1；

l2＝(60×r)/r2；

其中△为关键帧搜索范围，r为图像采集速率，r0为血管内超声图像序列对应检查对象的心率，r1～r2为人体心率范围，l0为血管内超声图像序列对应检查对象的心率r0所对应的心动周期长度；l1～l2为人体心率范围r1～r2所对应的心动周期长度范围。

优选的，所述图像采集速率r＝30帧/秒，所述人体心率范围r1～r2为60～100次/分。

优选的，步骤s3中构造的一维指数滤波器h(δ)为：

步骤s3中获取到的每帧图像增强的距离特征值为：

其中l表示步骤s1中采集的血管内超声图像序列的长度，即血管内超声图像序列中帧的总数；d(i)为血管内超声图像序列中第i帧图像的距离特征值；d(i)为第i帧图像增强的距离特征值。

优选的，步骤s4中获取到关键帧的具体过程如下：

s41、首先从血管内超声图像序列的所有帧图像增强的距离特征值中选取出其中的最小值、第一局部最小值和最后一个局部最小值；

s42、将第一局部最小值对应图像帧作为当前起点纳入最短路径中，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s43、通过评估函数计算各待搜索项的评估函数值，将评估函数值为0的待搜索项进行剔除，得到最终的待搜索项，然后进入步骤s44；

s44、针对于步骤s43得到的最终的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来纳入当前最短路径中；

s45、将步骤s44中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，并且根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最小值对应帧图像，若是，则进入步骤s46，若否，则进入步骤s43；

s46、将最小值对应图像帧作为当前起点纳入当前最短路径中，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s47、通过评估函数计算步骤s46中获取的各待搜索项的评估函数值，将评估函数值为0的待搜索项进行剔除，得到最终的待搜索项，然后进入步骤s48；

s48、针对于步骤s47得到的最终的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来纳入最短路径中；

s49、将步骤s48中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最后一个局部最小值对应帧图像，若否，则进入步骤s47，若是，则结束搜索，将上述构成全局最短路径的各帧图像作为关键帧。

更进一步的，所述步骤s43和步骤s47中通过评估函数计算待搜索项的评估函数值的具体过程如下：

其中l表示步骤s1中采集的血管内超声图像序列的长度，即血管内超声图像序列中帧的总数；d(i)为血管内超声图像序列中第i帧图像的增强的距离特征值，当步骤s43或步骤s47中血管内超声图像序列中第i帧图像为待搜索项时，则通过评估函数计算出第i帧图像的评估函数值为f(i)，当f(i)为0时，则将该待搜索项剔除，当f(i)为1时，则保留该待搜索项。

优选的，步骤s4中获取到关键帧的具体过程如下：

s41、首先从血管内超声图像序列的所有帧图像增强的距离特征值中选取出其中的最小值、第一局部最小值和最后一个局部最小值；

s42、将第一局部最小值对应图像帧作为当前起点纳入最短路径中，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s43、针对于步骤s42得到的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来纳入当前最短路径中；

s44、将步骤s43中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，并且根据该起点和关键帧搜索范围，获取到多帧图像作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最小值对应帧图像，若是，则进入步骤s45，若否，则进入步骤s43；

s45、将最小值对应图像帧作为当前起点纳入最短路径，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s46、针对于步骤s45得到的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来纳入当前最短路径中；

s47、将步骤s46中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，并且根据该起点和关键帧搜索范围，获取到多帧图像作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最后一个局部最小值对应帧图像，若否，则进入步骤s46，若是，则结束搜索，将上述构成全局最短路径的各帧图像作为关键帧。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明血管内超声图像序列关键帧的提取方法首先计算出采集的血管内超声图像序列中各帧图像的zernike矩，针对于每帧图像，将其与后一帧图像zernike矩的欧式距离作为每帧图像的距离特征值，根据每帧图像的距离特征值构造得到血管内超声图像序列的一维距离特征函数；通过血管内超声图像序列的一维距离特征函数频域空间获取到检查对象的心率，然后根据图像采集速率、检查对象的心率以及人体心率范围确定出关键帧搜索范围；同时通过一维指数滤波器对每帧图像的距离特征值进行增强处理，得到每帧图像增强的距离特征值；根据血管内超声图像序列中所有帧图像增强的一维距离特征值，根据关键帧搜索范围搜索出构成全局最短路径的各帧图像，作为关键帧。其中相邻帧之间zernike矩的欧氏距离反映了图像整体灰度变化，本发明采用zernike矩的欧式距离构造的一维距离特征函数，能够代表相邻帧的差异度，由于zernike矩具有旋转不变性，因此，它对于血管内超声图像采集过程中因心脏或导管的运动产生的图像位移，具有更强的鲁棒性。另外，本发明方法通过一维指数滤波器对每帧图像的距离特征值进行滤波增强处理，从而实现对关键帧所在的局部最小值进行增强，抑制非关键帧所在的局部最小值点，因此能够将更加准确、快速、有效的将血管内超声图像中处于心脏舒张末期、心脏运动最慢时的关键帧提取出来。

(2)本发明根据每帧图像增强的距离特征值，通过关键帧搜索范围搜索出全局构成最短路径的各帧图像，该最短路径以第一局部最小值对应图像帧图像作为最初起点，以最后一个局部最小值对应图像作为终点；具体过程为：从起点出发，初始最短路径为0，根据起点和关键帧搜索范围确定出待搜索项，每次在待搜索项中选取出与最短路径中所有帧图像增强的距离特征值累计值最小的图像帧，将该图像帧纳入最短路径，并且将其作为当前起点进行下一次搜索，直到搜索范围包含终点时结束搜索。本发明通过最短路径的方式搜索出关键帧，具有关键帧搜索更加准确的优点。并且在搜索过程中，本发明方法采取了评估函数，通过评估函数减少搜索范围内的待搜索项，降低了搜索全局最短路径时的计算复杂度，进一步提高关键帧提取的速度。

附图说明

图1是本发明方法流程图。

图2是本发明方法中构造血管内超声图像序列的一维距离特征函数图。

图3是本发明方法中一维指数滤波器波形图。

图4是本发明方法血管内超声图像序列的增强的一维距离特征函数图。

图5是在图4基础上标注(如图中小圆点所示)出关键帧所在位置的血管内超声图像序列的增强的一维距离特征函数图。

图6a是本发明方法采集的血管内超声图像序列纵向图。

图6b是本发明方法从图6a所示的血管内超声图像序列中提取的关键帧序列纵向图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例公开了一种血管内超声图像序列关键帧的提取方法，如图1所示，步骤如下：

s1、采集血管内超声图像序列，并且计算出血管内超声图像序列中各帧图像的zernike矩；本实施例中血管内超声图像序列中各帧图像的zernike矩计算过程如下：

针对于血管内超声图像序列中大小为n×n的各帧图像，得到其zernike矩的实部和虚部分别如下：

其中

其中rnm(ρ)表示各帧图像中像素点(x,y)处的径向多项式，n和m为正交多项式的阶数，n是非负整数，n-|m|是偶数，并且n≥|m|，s为阶数变量；ci为血管内超声图像序列中第i帧图像的zernike矩的实部，si为血管内超声图像序列中第i帧图像的zernike矩的虚部；其中x和y分别表示各帧图像中像素点的横坐标和纵坐标；在本实施例中采集的血管内超声图像序列的各帧图像的大小为512×512，即n为512。

fi(r,σ)是血管内超声图像序列中第i帧图像中极坐标为(r,σ)处像素点对应的灰度值；

其中上述公式中r和σ为引入的两个参数，定义r＝max(|x|,|y|)；

当|x|＝r，则

当|y|＝r，则

通过参数r和σ获取到像素点(x,y)对应的极坐标(ρ,θ)为：

ρ＝2r/n,θ＝πσ(4r)。

s2、针对于每帧图像，计算出其与后一帧图像zernike矩的欧式距离，将上述计算得到的欧式距离作为每帧图像的距离特征值，然后根据每帧图像的距离特征值构造得到血管内超声图像序列的一维距离特征函数；每帧图像的距离特征值d(i)为：

其中d(i)为血管内超声图像序列中第i帧图像的距离特征值，l表示步骤s1中采集的血管内超声图像序列的长度，即血管内超声图像序列中帧的总数；ci为血管内超声图像序列中第i帧图像的zernike矩的实部，ci+1为血管内超声图像序列中第i+1帧图像的zernike矩的实部，si为血管内超声图像序列中第i帧图像的zernike矩的虚部，si+1为血管内超声图像序列中第i+1帧图像的zernike矩的虚部。

如图2所示为本实施例中血管内超声图像序列中每帧图像的距离特征值构造得到的一维距离特征函数。

s3、将血管内超声图像序列的一维距离特征函数傅里叶变换到频域空间上，通过该频域空间获取到血管内超声图像序列对应检查对象的心率；根据图像采集速率、血管内超声图像序列对应检查对象的心率以及人体心率范围确定出关键帧搜索范围；同时构造一维指数滤波器，通过一维指数滤波器针对步骤s2中构造得到每帧图像的距离特征值进行增强处理，得到每帧图像增强的一维距离特征值；

本步骤中通过频域空间获取到血管内超声图像序列对应检查对象的心率的具体方式为：在频域空间中找到频谱峰值，将该频谱峰值对应的频率值作为血管内超声图像序列对应检查对象的心率。

本步骤中根据图像采集速率、血管内超声图像序列对应检查对象的心率以及人体心率范围确定出关键帧搜索范围为：

l0＝(60×r)/r0；

l1＝(60×r)/r1；

l2＝(60×r)/r2；

其中△为关键帧搜索范围，r为图像采集速率，r0为血管内超声图像序列对应检查对象的心率，r1～r2为人体心率范围，l0为血管内超声图像序列对应检查对象的心率r0所对应的心动周期长度；l1～l2为人体心率范围r1～r2所对应的心动周期长度范围。在本实施例中图像采集速率r＝30帧/秒，所述人体心率范围r1～r2为60～100次/分。在本实施例中当获取到血管内超声图像序列对应检查对象的心率为71次/秒，则确定出的关键帧搜索范围为18～30帧。

本步骤中构造的一维指数滤波器h(δ)为：

步骤s3中获取到的每帧图像增强的距离特征值为：

其中l表示步骤s1中采集的血管内超声图像序列的长度，即血管内超声图像序列中帧的总数；d(i)为血管内超声图像序列中第i帧图像的距离特征值；d(i)为第i帧图像增强的距离特征值。在本实施例中取一维指数滤波器h(δ)中心点周围长度为20，如图3所示为本实施例所采用的一维指数滤波器h(δ)。本实施例中，若将如图2所示的血管内超声图像序列的一维距离特征函数进行如图3所示的一维指数滤波器h(δ)的滤波增强处理，则得到血管内超声图像序列的增强的一维距离特征函数如图4所示，其中图4中每帧图像对应增强的距离特征值即为每帧图像的距离特征值进行滤波增强处理后得到的。

s4、根据步骤s3中获取到的血管内超声图像序列中所有帧图像增强的一维距离特征值，通过关键帧搜索范围搜索出构成全局最短路径的各帧图像，将构成全局最短路径的各帧图像作为关键帧进行提取。

本步骤中获取到关键帧的具体过程如下：

s41、首先从血管内超声图像序列的所有帧图像增强的距离特征值中选取出其中的最小值、第一局部最小值和最后一个局部最小值；

s42、将第一局部最小值对应图像帧作为当前起点纳入最短路径中，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s43、通过评估函数计算各待搜索项的评估函数值，将评估函数值为0的待搜索项进行剔除，得到最终的待搜索项，然后进入步骤s44；

s44、针对于步骤s43得到的最终的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来，纳入当前最短路径中；例如最终的待搜索项中其中一帧图像增强的距离特征值为d(a)，而当前最短路径中各帧图像增强的距离特征值分别为d(b)、d(c)，、、、、，d(h)，则当最终的待搜索项中这帧图像增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加时，得到的累加值为d(a)+d(b)+d(c)+,...,d(h)；

s45、将步骤s44中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，并且根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最小值对应帧图像，若是，则进入步骤s46，若否，则进入步骤s43；

s46、将最小值对应图像帧作为当前起点纳入当前最短路径中，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s47、通过评估函数计算步骤s46中获取的各待搜索项的评估函数值，将评估函数值为0的待搜索项进行剔除，得到最终的待搜索项，然后进入步骤s48；

s48、针对于步骤s47得到的最终的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来纳入最短路径中；

s49、将步骤s48中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最后一个局部最小值对应帧图像，若否，则进入步骤s47，若是，则结束搜索，将上述构成全局最短路径的各帧图像作为关键帧进行提取。

本实施例上述步骤s43和步骤s47中通过评估函数计算待搜索项的评估函数值的具体过程如下：

其中l表示步骤s1中采集的血管内超声图像序列的长度，即血管内超声图像序列中帧的总数；d(i)为血管内超声图像序列中第i帧图像的增强的距离特征值，当步骤s43或步骤s47中血管内超声图像序列中第i帧图像为待搜索项时，则通过评估函数计算出第i帧图像的评估函数值为f(i)，当f(i)为0时，则将该待搜索项剔除，当f(i)为1时，则保留该待搜索项。

在如图4所示的血管内超声图像序列对应的每帧帧图像增强的距离特征值下，本实施例上述步骤s41中选取出的最小值、第一局部最小值和最后一个局部最小值分别位于第121帧、第25帧和第1106帧图像；当采用的关键搜索范围为18～30帧时，在最初起点第25帧时，则得到的待搜索项为第43帧至第55帧图像，为第一次得到的待搜索项，依次类推，若当前起点为第x帧，则得到的待搜索项为第x+18帧至第x+30帧。通过本实施例上述方法，提取到49帧关键帧。如图5中的圆圈所示即为关键帧图像在增强的一维距离特征函数中的位置，这些帧即为构造全局最短路径的图像。

如图6a所示为本实施例中原始采集的血管内超声图像序列，通过本发明方法提取出的关键帧如图6b所示。

实施例2

本实施例公开了一种血管内超声图像序列关键帧的提取方法，与实施例1的区别仅仅在于步骤s4中获取关键帧具体过程不同，本实施例步骤s4中获取到关键帧的具体过程如下：

s41、首先从血管内超声图像序列的所有帧图像增强的距离特征值中选取出其中的最小值、第一局部最小值和最后一个局部最小值；

s42、将第一局部最小值对应图像帧作为当前起点纳入最短路径中，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s43、针对于步骤s42得到的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来纳入当前最短路径中；

s44、将步骤s43中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，并且根据该起点和关键帧搜索范围，获取到多帧图像作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最小值对应帧图像，若是，则进入步骤s45，若否，则进入步骤s43；

s45、将最小值对应图像帧作为当前起点纳入最短路径，然后根据该起点和关键帧搜索范围搜索到多帧图像，将搜索到的这些图像分别作为待搜索项；

s46、针对于步骤s45得到的待搜索项中每帧图像，分别将其增强的距离特征值与当前最短路径中各帧图像增强的距离特征值进行累加；然后将累加值最小的对应待搜索项图像帧选取出来纳入当前最短路径中；

s47、将步骤s46中选取出来的累加值最小的对应待搜索项图像帧作为当前起点，并且根据该起点和关键帧搜索范围，获取到多帧图像作为待搜索项；判断待搜索项中是否包括步骤s41中选取出的最后一个局部最小值对应帧图像，若否，则进入步骤s46，若是，则结束搜索，将上述构成全局最短路径的各帧图像作为关键帧进行提取。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。