一种基于二维超声影像的穿刺针可视化方法与流程

本发明涉及图像处理技术领域，特别涉及一种基于二维超声影像的穿刺针可视化方法。

背景技术：

穿刺手术是指在医疗影像的引导下，借助于穿刺针穿过人皮肤组织，将药物送至病灶组织以达到定向治疗的目的，或者取出疑似病灶部分的人体组织进行后续的病理检查，以帮助病情确诊的手术方式。相对于传统的治疗方法，穿刺手术具有创口小、疼痛轻、术后恢复快、并发症少等优点。由于穿刺过程中，医生需要对穿刺针在人体组织内部的位置进行实时的掌控，以确保其沿着预先设定的进针路径向前行进，并且不会对周边的健康组织造成伤害，因此穿刺手术需要在医学影像的引导下进行，实现穿刺针的可视化，超声影像由于其对人体不会产生辐射，可以保证很好的实时性并且价格较低，因此在微创手术导航中受到广泛的应用。

二维超声图像介入的穿刺手术，目前主要有以下几种方法：

偏转角度法，通过改变穿刺针的行进方向和超声波传播方向之间的偏转角度，获取到含有高强度穿刺针信号的图像称为偏转帧，然后将偏转帧与原始二维超声图像融合，使图像中的针信号变得清晰，以帮助医生更加容易地查看到针尖运动的位置（cn102727257a，cn104434273a）；定位导航法，穿刺手术过程中分别在穿刺针以及超声探头上安置定位跟踪器，采用电磁定位设备或光学定位设备实时定位穿刺针在三维空间内的坐标信息，能够保证穿刺针始终在二维超声平面内，再根据跟踪器实时反馈的空间位置信息，在超声图像中标记出针尖的位置，实现可视化（cn108420529a）；图像算法处理，使用穿刺架保证穿刺针和超声图像共面，通过算法处理实时标记手术过程中针体和针尖位置，不需要外置任何辅助设备，降低操作复杂性，适合任何手术环境（cn105491955a）。

偏转角度方法涉及到控制改变声波的发射角度以及后续图像融合处理，对手术操作的灵活性具有较大影响；定位设备精度高价格昂贵，对手术环境要求也高；图像算法处理，经济实惠，操作简单，由于超声图像本身清晰度较差，图像中穿刺针的倾斜角度的确定和针体增强算法并不容易实现，并且对算法的实时性要求高，具有一定的难度，但是能够有效降低成本。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图像处理的穿刺针可视化方法。

本申请实施提供了一种穿刺针可视化方法，包括：

采集连续二维超声图像，所述每一帧超声图像都包含完整的穿刺针影像；

对每帧超声图像中的穿刺针估计倾斜角度；

获取含有穿刺针的感兴趣区域；

在感兴趣区域内估计穿刺针的轴线；

实时检测跟踪针尖位置输出针尖位置信息。

进一步地，所述穿刺针的倾斜角度为穿刺针与水平面之间的夹角。

进一步地，对每帧超声图像中的穿刺针估计倾斜角度，具体包括：

在整幅图像内搜索穿刺针的倾斜角度，并限定初始搜索角度范围；

搜索过程中将二维超声图像中的所有灰度值向当前角度下做投影，统计该角度下每一行数据中含有穿刺针像素值的数量，选取穿刺针像素值数量最大的值作为相似性测度函数；

搜索过程中某个角度对应的相似性测度函数最大，则认为该角度为倾斜角度。

进一步地，获取含有穿刺针的感兴趣区域，具体包括：

根据倾斜角度对整幅超声图像进行方向滤波增强穿刺针，计算穿刺针两个端点的位置坐标，

选取针体平行的条带区域作为感兴趣区域，并将该条带区域内的像素值置1，其他像素值置0，制作一个二值模板；

将此二值模板与方向滤波增强后的图像做乘法，获取仅含有穿刺针的感兴趣区域。

进一步地，所述穿刺针的轴线为穿刺针近似于圆柱形针体的中轴线。

进一步地，估计穿刺针的轴线，具体包括：

在感兴趣区域内，在倾斜角度为中心上下5度偏转角度的范围内再次用灰度值统计法搜索最优倾斜角度；

将穿刺针针体等间隔的划分为若干个离散区域，检测出感兴趣区域内所有穿刺针各个离散区域的坐标位置，计算平均值；

根据平均值的横纵坐标以及最优倾斜角度确定穿刺针的轴线。

进一步地，实时检测标记针尖位置，具体包括：

采用ransac算法获取穿刺针的端点位置坐标以及其周围8个像素点围成的一个正方形区域；

将连续相邻两帧图像做差，获取最大灰度值位置坐标以及其周围8个像素点围成的一个正方形区域；

两个正方形区域求并集，落在轴线上的点视为针尖。

进一步地，对序列针尖位置滤波去除误差，具体包括：

采用kalman滤波对从序列图像中检测到的序列针尖位置滤波处理，去除严重偏离轨迹的针尖坐标。

进一步地，所述获取含有穿刺针的感兴趣区域之后，具体包括：

在感兴趣区域内，根据灰度梯度变化对针体边缘进行增强处理，同时滤除针体周围的条带噪声。

本申请实施例提供的一种基于二维超声影像的穿刺针可视化方法，该方法包括：采集并存储连续二维超声图像，所述每一帧超声图像都包含完整的穿刺针影像；对每帧超声图像中的穿刺针估计倾斜角度；获取含有穿刺针的感兴趣区域；计算穿刺针的轴线；实时检测跟踪针尖位置输出针尖位置信息，对针尖轨迹滤波处理减小跟踪误差，本发明完全通过对二维超声图像处理实现穿刺针可视化，操作简洁方便，在诊断过程中实时显示穿刺针针体和针尖位置，辅助医生诊断提高手术成功率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种穿刺针可视化方法的流程示意图；

图2为本申请实施例二提供的估计穿刺针倾斜角度的流程示意图；

图3为本申请实施例二提供的初始参考搜索范围示意图；

图4为本申请实施例二提供的灰度值统计方向示意图；

图5为本申请实施例三提供的估计穿刺针轴线和针尖位置的流程示意图；

图6为本申请实施例三提供的方向滤波增强后的超声图像示意图；

图7为本申请实施例三提供的二值模板示意图；

图8为本申请实施例三提供的感兴趣区域示意图；

图9为本申请实施例三提供的搜索最优倾斜角度示意图；

图10为本申请实施例三提供的等间隔划分感兴趣区域示意图；

图11为本申请实施例三提供的穿刺针离散化示意图；

图12为本申请实施例三提供的穿刺针轴线示意图；

图13为本申请提供的穿刺针可视化效果示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

穿刺手术具有创口小、疼痛轻、术后恢复快、并发症少等优点，因此微创介入的治疗方法在现在的医学过程中正在越来越广泛的应用。目前穿刺针可视化方法基本都是基于外置定位跟踪设备，或者采用大角度偏转方法然后将穿刺针影像和人体组织影像融合，外置定位跟踪设备精度高但是成本也很昂贵，对手术环境要求较高。大角度偏转方法需要先将穿刺针和人体组织分别成像，然后再融合在一起，需要满足声波的发射方向与穿刺针的行进方向之间的夹角接近90度，限制了手术操作的灵活性。

为此，本申请实施例提供了一种穿刺针可视化方法，直接从含有穿刺针的二维超声图像中通过图像算法处理检测出穿刺针的针体和针尖位置信息，不需要外置定位装置，穿刺针行进方向和声波发射方向之间的夹角没有特定要求。本实施例提供的穿刺针可视化方法，仅通过图像处理算法实现穿刺针可视化，操作简单，同时不会增加额外成本。

为便于理解，下面结合图1-13对本申请实施例提供的图像拼接方法进行具体介绍。

实施例一

参见图1，为本实施例一提供的一种基于二维超声影像的穿刺针可视化方法的流程示意图。该穿刺针可视化方法，包括以下步骤。

s101：采集连续二维超声图像，所述每一帧超声图像都包含完整的穿刺针影像。

采用图像处理的方法在穿刺手术过程中对穿刺针全程可视化，需要在整个手术过程中时刻保证穿刺针的整个针体始终存在于二维超声图像所在的平面内，目前通过穿刺支架将超声探头和穿刺针固定在一起，基本能够满足上述要求。

s102：对每帧超声图像中的穿刺针估计倾斜角度。

穿刺手术过程中受病变部位和手术环境影响，穿刺针的行进角度不是固定不变的，甚至穿刺针在组织中行进过程中医生会根据具体情况轻微改变穿刺针的行进方向，另外，超声影像相比其他医学影像的缺点是图像对比度较差，图像中的穿刺针影像通常比较模糊，甚至不连续，所以有必要对穿刺针进行增强处理，假设穿刺针在人体组织行进过程中不发生弯曲变形，穿刺针影像可以始终视为一条直线，考虑到穿刺针本身的直线特性，可以采用方向滤波对穿刺针进行增强处理，同时滤除掉图像中其他角度下的边缘信息排除干扰，方向滤波器对角度要求较严格，如果误差太大不仅无法对穿刺针起到增强效果，还有可能将针体滤掉。

s103：获取含有穿刺针的感兴趣区域。

穿刺针在整幅二维超声图像中占有的像素区域很小，图像中人体器官、组织的边缘会对穿刺针的检测带来干扰，预先检测到穿刺针的大概位置，截取仅含有穿刺针针体的局部感兴趣区域，在感兴趣区域中对穿刺针可视化处理不仅能够排除其他边缘信息的干扰，还能够提高算法的执行效率和检测的精确度。

s104：估计穿刺针轴线。

手术过程中医生通过实时观察穿刺针在人体组织内的位置判断穿刺针是否在预先规划的路径内，如果发现穿刺针偏离了预计轨道，可以通过调整角度改变穿刺针的行进方向，及时规避危险，在二维超声图像中描绘出穿刺针的轴线信息就能够近似的表达出穿刺针在人体组织中的行进状况。

s105：估计穿刺针的针尖位置。

穿刺过程中穿刺针的针尖位置需要精确的实时定位，医生需要知道穿刺针针尖是否已经到达病变位置，如果定位的位置误差较大会对手术的结果带来严重的影响。

综上，本实施例提供一种基于二维超声影像的穿刺针可视化方法，采集并存储连续二维超声图像，所述每一帧超声图像都包含完整的穿刺针影像；对每帧超声图像中的穿刺针估计倾斜角度；获取含有穿刺针的感兴趣区域；计算穿刺针的轴线；实时检测跟踪针尖位置输出针尖位置信息，对针尖轨迹滤波处理减小跟踪误差。本发明完全通过对二维超声图像处理实现穿刺针可视化，操作简洁方便，在诊断过程中实时显示穿刺针针体和针尖位置，辅助医生诊断提高手术成功率。

实施例二

参见图2，为本实施例二提供的一种基于二维超声影像的穿刺针可视化方法的流程示意图。该穿刺针可视化方法，包括以下步骤。

s201：输入连续二维超声图像，所述每一帧超声图像都包含完整的穿刺针影像。

需要说明的是，本步骤s201与上述实施例一中的s101相同，相关介绍请参见实施例一，在此不再赘述。

下述步骤s202-s206是上述实施例一中s102的具体实现方式。

s202：在整幅图像内搜索穿刺针的倾斜角度，并限定初始搜索角度范围。

本实施例采用粒子群算法在整幅二维超声图像中全局搜索穿刺针的倾斜角度，为了提高搜索速度，算法在首次执行时需要手动输入限定范围，范围可以大概参考穿刺针所在的象限，参见图3，第一象限对应的角度范围为[0,π/2]，第二象限对应的角度范围为[π/2,π]，第三象限对应的角度范围为[-π,-π/2]，第四象限对应的角度范围为[-π/2,0]。

需要说明的是，90度区间的搜索范围只是算法首次执行时的初始参考值，当算法执行过程中，该参考值会自动的进行动态调整，即每次搜索倾斜角度时将上一次计算得到的倾斜角度作为中心，联合其上下10度偏转角度区域作为本次搜索的搜索范围，通过缩小搜索范围能够进一步提高算法的执行速度和结果的精确度。

还需要说明的是，粒子群算法属于全局搜索策略，搜索范围即使不加限定，默认为[0,2π]，最终也可以计算出大概的倾斜角度，只不过计算结果和算法执行的时间不会太理想，考虑到穿刺手术的实时性和准确性，最好预先设置经验值将搜索范围控制在合理的范围内。

s203：搜索到某一角度时，将整幅图像中所有的灰度值沿当前角度做投影，统计该角度下每一行数据中含有穿刺针像素值的数量，选取穿刺针像素值数量最大值作为相似性测度函数。

算法每更新搜索一次倾斜角度时，需要将整幅图像中每一行像素灰度值沿着该角度做投影，参见图4。将大于预设阈值的像素值视为穿刺针影像的灰度值，见公式1，分别统计每行含有的穿刺针灰度值数量，找到其中的最大值，

(1)

式中，θ代表在搜索范围内的某一倾斜角度，m代表平行于θ方向的行向量，n代表垂直于θ方向的列向量，iθ(i,j)代表超声图像灰度值，τ代表预设阈值，大于该值的灰度值视为穿刺针像素值，pθ代表θ角度方向投影上各行含有的穿刺针灰度值数量中的最大值，记为相似性测度函数，粒子群算法会根据相似性测度函数pθ更新算法的各项参数，使算法快速收敛迭代直到找到穿刺针的倾斜角度。

s204：判断在限定搜索范围内，该角度下穿刺针像素值的数量是否是最大值，若是执行s205，否则执行s202。

算法在执行过程中，当在限定范围内搜索到最大pθ时，终止迭代，输出当前角度，否则继续更新参数重新搜索，直到搜索到最大pθ为止。

s205：粒子群算法迭代终止后输出的角度即为当前二维超声图像中穿刺针倾斜角度

θ0。

s206：以角度θ0为中心及其上下各10度偏转角度范围作为下一帧二维超声图像搜索穿刺针倾斜角度的约束范围。

s207：输出倾斜角度θ0。

综上，考虑到穿刺针本身具有的直线特征，可以用倾斜角度表征直线，目前有很多方法直接检测图像中具有直线特性的目标，例如霍夫变换和拉东变换，这些算法对连续且清晰的直线目标具有较好的检测结果，但是穿刺针在超声图像中的清晰度和对比度都比较差，在二维超声图像中直接采用上述算法检测穿刺针效果不是很理想，如果误差较大，会严重影响到后续针尖位置的跟踪进而增加穿刺手术的风险，本实施例采用灰度值统计法，结合粒子群算法在限定的区域内全局搜索穿刺针的倾斜角度，得到的效果更加稳定可靠。

实施例三

参见图5，为本实施例二提供的一种基于二维超声影像的穿刺针可视化方法的流程示意图。该穿刺针可视化方法，包括以下步骤。

s501：将实施例二估计得到的倾斜角度θ0作为输入。

s502：根据倾斜角度θ0对二维超声图像进行方向滤波增强穿刺针，获取穿刺针两个端点的位置坐标信息。

考虑到二维超声图像中包含的一些器官组织影像的边缘信息会对穿刺针检测带来干扰，本实施例采用gabor滤波器根据倾斜角度θ0对整幅超声图像进行方向滤波，gabor滤波器是一个用于边缘提取的线性滤波器同时也是一个有效的纹理检测工具，能够根据预设的某个角度增强该角度下的直线信息，同时滤除其他角度下的线性特征信息，参见图6。同时，本实施例采用ransac算法在gabor方向滤波增强后的超声图像中检测穿刺针，获取穿刺针首尾两端的坐标位置信息，根据端点的坐标信息确定针尖位置并计算感兴趣区域。

s503：获取与针体平行的条带区域作为感兴趣区域，并将该条带区域制作成一个二值模板。

根据s502计算出来的穿刺针首尾端点的位置坐标，选取宽度为穿刺针针体直径的3-5倍且与穿刺针针体平行的条带区域作为感兴趣区域，将该条带区域内的像素值置1其他区域的像素值置0，制作一个二值模板，参见图7。

s504：将二值模板与方向滤波增强后的超声图像做乘法，获取仅含有穿刺针感兴趣区域的二维超声图像。

参见图8，此时超声图像中仅含有穿刺针以及其附近的部分组织结构信息，在局部感兴趣区域内检测穿刺针，能够排除其他器官组织的边缘信息的干扰进而提高算法的稳定性和检测精度。

需要说明的是，在感兴趣区域内可以再次对穿刺针进行滤波处理，进一步滤除穿刺针附近组织边缘结构信息。

s505：在感兴趣区域内，在角度θ0为中心的小范围区域内再次采用灰度值统计法搜索最优倾斜角度θ。

倾斜角度θ0是在整幅二维超声图像中采用粒子群算法全局检测得到的结果，会存在一定的误差，通过在感兴趣区域内以角度θ0为中心及其上下5度偏转角度范围内搜索穿刺针的最优倾斜角度，以0.1度为步长，通过统计各个角度下穿刺针灰度值的投影数量确定穿刺针的最优倾斜角度θ，参见图9。

s506：将穿刺针等间隔的划分为若干个离散点，检测出感兴趣区域内所有穿刺针离散点的坐标位置，计算平均值。

参见图10，将包含穿刺针的感兴趣区域用射线等间隔划分为若干区域，保留以每条射线为中心，宽度为s的若干区域像素值，其他区域的像素值置0，参见图11。射线之间的距离大于s，在感兴趣区域内将平行于穿刺针的方向记为图像的行向量，对各个宽度为s的区域，分别将区域内每行的像素值求平均，用各行的平均像素值表示每行像素特征，用来减小局部噪声的影响，见公式2，

（2）

式中，rk代表第k条射线，r(x,rk)代表第k条射线所处的离散区域内第x行像素值的均值。在各个离散区域内检测出穿刺针各个离散点的二维坐标，计算所有离散点的平均坐标值，见公式3，

（3）

假设在感兴趣区域内总共检测到n个离散点，对检测到的离散点的二维坐标值求平均。

s507：根据平均值的横纵坐标以及最优倾斜角度θ确定穿刺针的轴线。

最优倾斜角度θ是穿刺针准确的倾斜角度，坐标平均值p(xo,yo)位于穿刺针针体上，根据点和斜率能够计算出穿刺针所在的直线，该直线记为穿刺针的轴线，参见图12。

s508：连续相邻两帧图像做差，获取最大灰度值位置坐标以及其周围8个像素点围成的一个正方形区域。

采用帧差法将相邻两帧图像中下一帧二维超声图像和前一帧超声图像做差，由于超声图像帧频较高，此时可以近似的认为相邻两帧图像的背景图像相同，通过两帧图像做差，只有针尖移动的位置灰度值较大，其余区域的像素值都是零值，此时将图像中最大灰度值的位置记为针尖位置，截取针尖及其周围3x3的像素区域。

s509：ransac估计的针尖像素区域与帧差法计算的像素区域求并集，落在轴线上的点视为针尖。

为了提高精确性，将ransac算法计算出来的穿刺针端点位置坐标并联合其周围8个像素点组成的一个正方形区域和采用帧差法获取最大灰度值位置坐标并联合其周围8个像素点组成的一个正方形区域求并集，集合内落在穿刺针轴线上的点记为穿刺针的针尖位置。

s510：kalman滤波对序列针尖位置滤除严重偏离轨迹的误差点。

算法通过序列连续的超声图像得到一系列穿刺针针尖坐标位置，最后将该序列坐标位置通过kalman滤波处理，滤除严重偏离行进轨迹的误差点，根据针尖运动规律估计该点的正确位置。

综上，穿刺针可视化主要描绘穿刺针针体和标记穿刺针针尖，根据穿刺针固有的直线特征，通过估计穿刺针的倾斜角度和检测穿刺针任意一点的坐标位置，得到穿刺针的轴线，该轴线能够完全表征穿刺针针体，联合帧差法和ransac算法检测穿刺针针尖所在的区域，轴线与该区域的交点即为针尖，参见图13为穿刺针可视化的效果图。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等）执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。