三维CT层间图像插值修复与超分辨处理方法及装置与流程

本发明涉及ct图像处理技术领域，尤其涉及三维ct层间图像插值修复与超分辨处理方法及装置。

背景技术：

电子计算机断层扫描(computedtomography,ct)图像是探测器与x线束、超声波等一起围绕人体的某一部位作连续的断面扫描得到的。ct作为一种常用的医学成像方法,因其能够显示人体内某一部位的细节,近年来在中枢神经系统疾病、胸部疾病等的诊断治疗中发挥着极其重要的作用,但是ct图像的分辨率与x射线剂量的多少有着紧密的联系。如果减少x射线剂量,就很有可能出现严重的伪影,病灶部位也很难在ct图像上清楚地呈现出来,降低了诊断的可靠性；如果增加x射线剂量,可能造成免疫系统的损伤,有诱发癌症的潜在风险。

其中ct图像超分辨率重建方法发展迅速,近年来的方法主要分为以下两种:1)单个图像超分辨(singleimagesuperresolution,sisr)。它只参考当前低分辨率图像,而不依赖其他相关图像。例如ledig等人使用生成对抗性网络的真实感进行单幅图像超分辨。lim等人将增强的深度残差网络用于单幅图像超分辨。使用反卷积深度神经网络实现医学图像超分辨率重建,也是对单幅图像进行操作。2)多个图像超分辨(multi-framesuperresolution,mfsr)。就是用同一场景相邻的图像序列代替单幅图像,并参考这些图像的互补信息,将这一系列低分辨率的图像融合生成一幅高分辨的图像。

一般来讲,mfsr相较于sisr具有更充分的可参考信息,能够获得更高质量的高分辨率重建图像。但是为减少x射线对病人的辐射和现有装置的限制,沿上、下方向进行密集采样往往不实际,通常只能获取有限的ct段,导致ct图像序列的层间距较大。ct图像沿上、下方向缺乏足够的结构信息可能使得相邻两层ct图像存在局部结构上的较大差异,因此在mfsr重建的过程中,这些差异可能会对重建的高分辨率图像造成干扰,导致肿瘤前期诊断不够准确,从而对患者的后续治疗造成影响。

技术实现要素：

本发明将视频处理过程中插帧的思想应用于医学图像超分辨研究。在原有的相邻两个ct切片中插入一个新的切片,解决相邻两层ct图像在局部结构上有较大差异问题。

本发明方法包括：

步骤一，通过clg-tv光流估计模型求解ct图像相邻切片间像素的对应关系；

步骤二，通过像素间对应关系的映射函数找到目标位置，并用图像翘曲方式来插值出中间切片；

步骤三，利用4d-ct图像固有的帧间非局部自相似性,对插值过程中产生的细小孔洞和模糊进行图像修复。

本发明还提供一种实现三维ct层间图像插值修复与超分辨处理方法的装置，包括：

存储器，用于存储计算机程序及三维ct层间图像插值修复与超分辨处理方法；

处理器，用于执行所述计算机程序及三维ct层间图像插值修复与超分辨处理方法，以实现三维ct层间图像插值修复与超分辨处理方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

本发明利用基于光流估计配准信息对ct图像进行层间插值,但是在插值过程中,由于光流估计的运动场不同,原图像中多个像素可能映射到插值图像中的同一位置,从而导致在插值图像中存在没有原图像像素映射到的区域,也就是像素缺失,这样会使得插值图像存在细小孔洞。所以本发明进一步对插值产生的层间切片进行修复,提高插值图像质量。

本发明在基于光流估计进行层间插值的基础上,对插值产生的中间切片利用图像的非局部自相似性进行图像修复,可以增加ct切片数量,提高ct图像层间分辨率,从而提升mfsr重建ct图像的质量,帮助患者在不接受不必要的辐射剂量的情况下得到准确的诊断和治疗。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为矢状面层间插值示意图；

图2为横断面层间插值示意图；

图3为本发明框架流程图；

图4为基于光流场的运动估计示意图

图5为使用clg-tv光流估计算法对三幅冠状面图像进行光流估计示意图；

图6为在两个连续ct图像之间插值产生新的中间切片可能会产生孔洞示意图；

图7为基于块的非局部自相似性示意图；

图8为本发明图像修复效果图，(a)为修复前原图像及局部放大图,(b)为修复后原图像及局部放大图；

图9为本发明插值结果展示，框内为插值产生的层间切片,框外为输入的连续ct切片,箭头指向连续变化明显区域；

图10为各算法实现效果对比与误差图像示意图；

图11为三维ct层间图像插值修复与超分辨处理方法流程图。

具体实施方式

本发明将视频处理过程中插帧的思想应用于医学图像超分辨研究。在原有的相邻两个ct切片中插入一个新的切片,解决相邻两层ct图像在局部结构上有较大差异问题。在肺部矢状面上的效果如图1所示,水平实线是实际扫描得到的原始ct切片,水平虚线是需要插值得到的中间ct切片。在横断面上的效果如图2所示,(a)表示输入的图像序列,(b)是需要插值产生的中间切片序列。

本发明利用基于光流估计配准信息对ct图像进行层间插值,但是在插值过程中,由于光流估计的运动场不同,原图像中多个像素可能映射到插值图像中的同一位置,从而导致在插值图像中存在没有原图像像素映射到的区域,也就是像素缺失,这样会使得插值图像存在细小孔洞。所以本发明进一步对插值产生的层间切片进行修复,提高插值图像质量。能够在保持图像结构信息的同时进行修复,但是该方法在实际应用中难以保证找到的样本块是最优的,容易造成修复误差。使用多个样本块的加权均值来合成用于填充待修复区域的填充块。

ct图像序列固有的自相似性为修复提供了一个前提条件,因此,本发明在基于光流估计进行层间插值的基础上,对插值产生的中间切片利用图像的非局部自相似性进行图像修复,可以增加ct切片数量,提高ct图像层间分辨率,从而提升mfsr重建ct图像的质量,帮助患者在不接受不必要的辐射剂量的情况下得到准确的诊断和治疗。

本发明提出一种基于光流估计的三维ct层间图像插值与修复算法。包含三个步骤：如图11所示，

s1，通过clg-tv光流估计模型求解ct图像相邻切片间像素的对应关系；

s2，通过像素间对应关系的映射函数找到目标位置，并用图像翘曲方式来插值出中间切片；

s3，利用4d-ct图像固有的帧间非局部自相似性,对插值过程中产生的细小孔洞和模糊进行图像修复。

通过以上操作可以快速得到高质量的插值ct切片,提高ct图像的层间分辨率。算法的整个框架如图3所示,i1和i2是输入的两幅连续ct图像,f是稠密光流场,f是像素间对应关系的映射函数,i^ip是合成的层间图像,is是一个原有的切片序列集合,通过非局部自相似性得到相似块矩阵来填补像素缺失产生的孔洞。

在s1中，由于人体器官结构形状变化很快,如果扫描时间间隔较长,在不同的切片上可能会有比较大的不同,因此求解ct图像的大位移光流场是一个比较困难的问题。在光流计算方法中,全局(hs)算法中的数据项是对单个像素点的亮度守恒假设,其鲁棒性较差,但可以得到稠密的光流场；局部(lk)算法中的数据项是对单个像素点附近的小邻域内的像素点的亮度守恒假设,对噪声有很好的鲁棒性,但是只能获得稀疏的光流场。

基于clg算法的全变分光流场估计方法是既能求解大位移的光流场又对噪声具有很好的鲁棒性的光流计算模型,将clg-tv光流模型应用到ct图像层间插值过程中,可以求解ct图像相邻切片之间的大位移光流场。本发明对clg-tv光流估计模型及其求解。基于光流场的运动估计如图4所示,其中,(vx,vy)为像素点(x,y)处的光流。

clg算法将全局算法中对单个像素点使用亮度守恒假设扩展到它的邻域内,平滑项不做改变,从而得到更加准确致密的光流场。clg光流估计模型为：

其中,w(x,y)是以点(x,y)为中心的邻域ω内每个点的权重系数,ix、iy、it是像素点的灰度沿x、y、t方向的偏导数为平滑项。

对于clg光流估计模型中l²范数对图像噪声敏感的问题,引入对光流的l¹范数约束,使估计模型具有更加鲁棒的抗噪性能

同时引入双边滤波技术和各向异性扩散的平滑策略,相对于以前的光流模型,这项改进可以弱化邻域像素的影响,更好的保持图像边缘,达到保边去噪的效果。给数据项添加双边滤波约束和各向异性正则化增强了特定的填充过程,得到计算结果更加准确的clg-tv变分光流估计模型:

上式中,为数据项,ω为数据项与平滑项之间的权重系数,bfw表示对数据项进行平滑滤波,region代表双边滤波器的作用域。平滑项esmooth使用图像驱动的各向异性扩散因子

数据项的定义如下：

其中,x＝(x,y)为像素点坐标,f＝(vx,vy)为二维方向上的光流(x方向和y方向),f0为光流场的初始估计。

在求解光流模型过程中,采用纹理结构分解方法和由粗到精的高斯金字塔算法,可以在最大程度上避免光流模型受光照变化的影响并且实现大位移光流场的求解。对图像进行结构纹理分解,将输入图像i分解为包含图像结构信息的部分is和包含图像纹理信息的部分it,it＝i-is,由于it基本上没有受到阴影、遮挡等的影响,将it作为新的输入图像,初始化f0。其次,由图像大小确定金字塔层数每一层光流有是从低精度的k层传向k+1层的光流,是从k层传向k+1层的光流增量。再利用交替方向乘子法(admm)快速迭代求解光流,直至k＝n-1。实现对光流模型快速求解,有效提高了算法的效率。

图5显示了使用clg-tv光流估计算法对三幅冠状面ct图像进行光流估计的例子。其中参考图像和图像a、图像b都是从同一ct图像序列中选取的,光流a是参考图像和图像a之间的局部光流场,光流b是参考图像和图像b之间的局部光流场。图像a和参考图像位移较小(箭头指示位置),图像b和参考图像位移较大,这与估计的光流场一致。说明clg-tv能够准确估计出ct图像相邻切片之间的大位移光流场。

在s2中，基于三维ct图像层间插值过程,将传统方法中的翘曲操作引入到方法里,可以有效解决大偏移量问题,取得合理的插值结果。图像翘曲是指计算原图像中的每个像素与其运动矢量之间的映射函数,实现像素点的位移,从而得到目标图像。对两幅图像之间的中间层进行插值的要求是对发生的运动进行插值,其目的是使运动物体沿运动轨迹以一种自然恰当的方式生成插值图像,同时对于非线性平移运动,翘曲可以补偿一些几何畸变问题。

通过clg-tv光流模型计算得到像素的映射函数qi＝f(pi),确定原切片中像素pi的目标位置qi,然后使用双线性插值算法在qi处实现翘曲操作。由于目标位置会出现非整数情况,则求出目标位置qi与其对角邻域nd(qi)的欧式距离ρ,选择使欧式距离最小的那个像素点作为插入点。

ρ＝(|x1-x2|²+|y1-y2|²)^1/2(6)

在s3中，根据运动场的不同,原图像的多个像素可能映射到插值图像中的同一位置。另一方面,在插值图像中可能存在没有原像素映射到的区域,从而导致插值图像中出现细小孔洞,如图6所示。i1和i2表示输入的两个连续ct图像,i^ip是输出的层间图像,方框为主要改变区域的局部放大图。

针对上述问题,本发明使用基于块的非局部自相似性的图像修复技术。由于医学图像的自相似性,能够在其他现有切片上可以找到缺失的结构细节,那么将中间切片分割成许多重叠的小块,对于每一个需要修复的图像块,利用其周围邻域的信息,都能在其他切片上找到与之匹配的相似块,然后求解最优化问题得到最理想的相似块矩阵来填补缺失的像素,最终重构出细节丰富的中间切片。如图7所示，中间插值切片上的目标图像块可以通过从其他n×n个现有切片上的图像块(框中)中寻找最相似的l个相似块来估计。

如图7中，方法将原图像切片n是ct图像序列的个数,n是序列ip中的原切片总数,和基于光流配准插值方法得到的中间切片i^ip按照步长d分别分成m个相互交叠的图像块表示切片中第i个向量化的图像块,每个块的大小为m×m。对于中的图像块利用块匹配技术和基于欧氏距离的相似性度量准则,从中搜索的相似块,为了便于讨论,将xi设为插值得到的层间切片的图像块,是其他切片上的图像块。相似性的判断依据是：

t是阈值。依据相似性度量准则选取与最相似的l个图像块作为列向量,构造对应的组矩阵hj,即：

hj也可以表示矩阵pj与噪声矩阵nj之和:

hj＝pj+nj.(9)

nj可以看作是标准差为σ的加性噪声。用h和p来代替hj和pj。对h和p进行奇异值分解(svd):

其中,u是左奇异向量,v是右奇异向量,σ是一个r×r的对角矩阵,对角线上的元素就是矩阵的奇异值。由于矩阵p的列向量之间高度相关,因此矩阵p是低秩矩阵,秩r(p)<r。使用最小方差估计(mve)法得出p的值

如果p已知,那么设上面的目标函数对m的导数为零,可以得到如下结果

m＝(h^*h)^-1h^*p.(13)

那么p的最小方差估计为

因为的对角线元素λ1,λ2,……,λk均为非零正整数,因此

将(15)代入(14)中,就可以求解得到理想矩阵然后利用求得的矩阵处理插值产生的细小孔洞,需要修复的图像块可以通过其非局部相似块加权表示

xi是要修复的图像块,是与xi最相似的l个相似块,是加权系数

τ是一个调整参数,它控制指数函数的衰减。

通过相似块匹配技术能够有效修复ct插值图像(图8第一列,修复前原图像及局部放大图),得到视觉效果良好的ct图像(图8第二列,修复后原图像及局部放大图)。由于图像块是相互交叠的,可能会导致要处理的这块区域得到多个像素估计值,在这里对每个像素不同的估计值采取加权平均的方法。

使用本发明涉及的方法，通过实际应用，基于德克萨斯大学安德森癌症中心dir-lab实验室提供的公开数据集,数据的层间距为2.5mm。从中选取了层间距为2.5mm连续肺部ct图像,这些ct图像包括冠状面、横断面。其中,肺部横断面的图像大小是560×420,冠状面的图像大小是664×498。实验中,由于受医疗装置、扫描时间等因素的限制,无法获得切片间距更小的ct数据。因此,插值得到的层间图像利用误差图像进行视觉评价和均方根误差(rmse)进行算法量化评价缺乏真实图像(groundtruth)依据。所以间隔选取ct切片来进行仿真实验,比如选取三个连续ct切片,将第一个和第三个ct切片作为输入,第二个ct切片模拟真实层间切片。表1给出了算法的运行环境。

表1算法运行环境

为了进行定量评估,定义了插值误差(interpolationerror,ie),即真实图像(groundtruth)igt图像与估计插值图像iip的均方根误差(rmse),

其中,m×n为图像大小,均方根误差是根据均方误差(mse)定义的

mse是估计值偏离真实值的距离偏差。因此,均方根误差可以用来衡量插值图像与真实图像之间的误差大小。rmse的值越小,说明该实验插值生成的新图像具有更高的精确度,更接近真实ct图像。

具体的参数设置为，在光流求解过程中,将数据项和平滑项之间的权重系数ω设置为50,ω的值越大表示数据项的置信度越高。双边滤波器的作用域region设置为7×7,minwidth设置为20,能够很好的解决大位移光流估计问题,平均光流计算时间为4.052s。

图像修复过程主要受四个关键参数的影响:图像块的大小m,组矩阵h的列数l,标准差σ,步长d。其中图像块的大小m对图像修复的结果影响最深。图像块的尺寸越小越有利于获取局部结构细节,但会影响缺失像素周围邻域大小的选择,导致相似块的估计不准确,降低算法的性能和效果；尺寸大的图像块可以获取更多的图像信息来进行相似性匹配,但可能会产生较高的计算成本,基于以上分析,为了在算法性能和精确度之间进行权衡,取m＝16,σ＝40,l＝60,d＝4,可以得到质量较好的修复后插值图像。

通过上述实验方式，并采用基于光流估计的三维ct层间图像插值修复方法,可以实现在ct图像连续两个切片之间插入高质量的中间切片。本发明插值结果如图9所示,选取三组不同序列的连续断层示例(a,b,c)ct切片,每一组框外为输入的四幅连续ct切片,框内部分为经过本方法插值产生的三幅中间层切片,箭头指向变化明显区域。ct图像外轮廓变化自然连贯,箭头指向区域变化连续,能够得到平滑过渡的效果。

在视觉评价方面,随机选取了三幅像素大小为560×420的ct切片(图10第一行),中间层切片作为groundtruth。图10展示了分别使用tv-l1光流算法、基于路径的插值算法、基于形状的插值算法、本方法实现对图10中的上层切片a和下层切片b的层间插值结果。框中为图像主要变化区域。

通过对比可以发现,本发明算法插值产生的中间切片的效果优于tv-l1算法和基于形状的算法,跟基于路径的算法效果相似,主要部位变化自然连贯,能够生成质量较好的中间切片。相较于基于路径的算法,本发明算法时间复杂度降低,同时在处理较大位移方面能够获取更准确清晰的效果。为了更好的进行视觉比较,图10还给出了四种算法对图10中的上层切片a和下层切片b插值出的中间切片与真实层间图像的误差图像对比图(图10第三行),可以看出本发明算法最接近真实图像,说明本发明算法能够准确进行ct图像层间插值。

为了验证本发明算法插值得到的中间切片更接真实图像,本发明引入ie评价指标对重建之后的图像质量进行量化评价。针对这4种算法,选取了三组肺部ct图像,每一组中有三幅连续的ct切片,将原始中间层切片作为真实图像,上下两层切片作为输入,分别计算这四种算法插值产生的中间切片与真实图像的rmse值,如表2所示。

表2不同算法层间切片与原ct切片的rmse比较

从图10及表2可以看出,无论从视觉效果上还是具体指标值来看,本发明算法均取得了优于其他算法的结果,尤其是在变化较大区域,本发明算法得到了更清晰的结构信息。因此,本发明算法插值产生的三维ct层间图像更加准确,很好的保留了边缘和局部信息,层间插值效果更好。

本发明中，提出了一种基于光流估计的三维ct层间插值与修复的方法，是利用光流得到的配准信息在ct图像上下两层插值出一个新的中间层切片,并对插值得到的中间切片利用基于块的非局部自相似性进行修复,从而提高ct图像层间分辨率,提升mfsr重建ct图像的质量,对医生诊断疾病和病人接受治疗等具有重要的意义。本发明提出的方法不论在视觉上还是量化评价方面都要优于基于形状等算法。

本发明还提供一种实现三维ct层间图像插值修复与超分辨处理方法的装置，包括：存储器，用于存储计算机程序及三维ct层间图像插值修复与超分辨处理方法；处理器，用于执行所述计算机程序及实现多存储器压力测试系统，以实现三维ct层间图像插值修复与超分辨处理方法的步骤。

这里所描述的技术可以实现在硬件，软件，固件或它们的任何组合。所述的各种特征为模块，单元或组件可以一起实现在集成逻辑装置或分开作为离散的但可互操作的逻辑器件或其他硬件装置。在一些情况下，电子电路的各种特征可以被实现为一个或多个集成电路器件，诸如集成电路芯片或芯片组。

如果在硬件中实现，本发明涉及一种装置，例如可以作为处理器或者集成电路装置，诸如集成电路芯片或芯片组。可替换地或附加地，如果软件或固件中实现，所述技术可实现至少部分地由计算机可读的数据存储介质，包括指令，当执行时，使处理器执行一个或更多的上述方法。例如，计算机可读的数据存储介质可以存储诸如由处理器执行的指令。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。