大鼠踝骨骨折Micro-CT图像的超分辨率重建装置

publishing,2014,pp.184
–
199.
11.[8]b.lim,s.son,h.kim,s.nah,and k.m.lee,“enhanced deep residual networks for single image super-resolution,”arxiv:1707.02921[cs],jul.2017.
[0012]
[9]x.wang,k.yu,s.wu,j.gu,y.liu,c.dong,c.c.loy,y.qiao,and x.tang,“esrgan:enhanced super-resolution generative adversarial networks,”arxiv:1809.00219[cs],sep.2018.


技术实现要素：

[0013]
本发明提出一种大鼠踝骨骨折micro-ct图像的超分辨率重建装置，通过加入res2net使模型具有多尺度提取特征能力，具有较好的重建效果。技术方案如下：
[0014]
一种大鼠踝骨骨折micro-ct图像的超分辨率重建装置，其特征在于，包括：
[0015]
(1)大鼠踝骨图像预处理模块，用于对经过踝骨骨折造模的大鼠胫骨至踝骨分别进行高分辨率和低分辨率的扫描，得到高分辨率图像hr及相对应的低分辨率图像lr，两者的分辨率相差8倍。
[0016]
(2)配置hr-lr图像对模块，用于得到基于res2net的残差通道注意力模型的训练数据，方法如下：应用特征检测算法检测特征点，并对同一扫描位置的lr和hr图像进行特征点匹配；通过两组特征点对lr图像进行旋转使lr图像和hr图像处于同一方向，并以特征点为中心分别剪裁得到hr和lr图像的子图像，制作hr-lr图像对；
[0017]
(3)基于res2net的残差通道注意力的深度模型模块，包括浅层特征提取层，深层特征提取层和特征上采样层：
[0018]
浅层特征提取层为一个3
×
3的卷积层，将lr图像输入到浅层特征提取层得到浅层特征图f0；
[0019]
深层特征提取层由两部分组成，分别是基于通道注意力的rcab-group和基于res2net的res2-group；其中rcab-group由10个rcab搭配短跳跃连接组成；res2-group以res2net为基础，串联5个res2block搭配短跳跃连接防止模型训练出现过拟合；浅层特征图f0通过第一个rcab-group得到特征图f1；特征图f1经过第一个res2-group得到特征图f2，特征图f2再通过第二个rcab-group得到特征图f2；特征图f2再经过第二个res2-group得到特征图f3，依次类推，总共经过五次这样的交替串联搭配长跳跃连接，最终得到的特征图f
10
；
[0020]
所述的浅层特征图f0通过第一个rcab-group得到特征图f1的方法如下：浅层特征图f0依次进入10个rcab，当浅层特征图f0进入第一rcab时，经过一个3
×
3的卷积、relu激活函数和一个3
×
3的卷积得到特征图x
0,1
，然后将特征图x
0,1
输入通道注意力机制层中，由全局平均池化层将特征图x
0,1
压缩为1
×
1的向量，再将向量经过一个1
×
1的卷积层和relu激活函数实现降低通道数，再通过一个1
×
1的卷积层和sigmoid激活函数产生注意力的权重对位相乘输入的特征图x
0,1
得到新的特征图f
0,1
；特征图f
0,1
再依次经过第二个到第十个rcab处理，得到通过第一个rcab-group的特征图f1；
[0021]
所述的特征图f1经过第一个res2-group得到特征图f2的方法如下：将特征图f1依次进入5个res2block，当进入第一个res2block后，特征图f1通过一个1
×
1的卷积层，并将特征图f1分为4块子特征图xi，其中i取1到4；每个子特征图通道数为特征图f1的1/4；其中子特征图x1不经过卷积处理直接得到子特征图y1；子特征图x2经过一个3
×
3的卷积得到子特
征图y2；子特征图x3与上一个子特征图结果y2相加再通过一个3
×
3的卷积得到子特征图y3；子特征图x4与上一个子特征图结果y3相加再通过一个3
×
3的卷积得到子特征图y4；通过上述操作不断增大感受野获取四个多尺度的子特征图：y1、y2、y3、y4；融合四个多尺度的子特征图y1、y2、y3、y4，得到经过第一个res2-group的输出结果；再依次通过4个同样的res2block，得到特征图f2；
[0022]
特征上采样层，由一个亚像素卷积层对最终得到的特征图f
10
进行上采样，将最初的输入图像的分辨率扩到为原来的8倍；之后由一个3
×
3的卷积层将特征图的通道数压缩为3通道的最终图像；
[0023]
(4)图像超分辨率重建模块，用于将lr图像重建为hr图像，从而获得大鼠踝骨骨折micro-ct图像的超分辨率重建图像。
[0024]
进一步地，应用akaza特征检测算法检测特征点，并应用brute-force算法对同一扫描位置的lr和hr图像进行特征点匹配。
附图说明
[0025]
图1：本发明流程图
[0026]
图2：制作hr-lr图像对
[0027]
图3：r2-rcan超分辨率模型结构
[0028]
图4：通道注意力机制
[0029]
图5：rcab结构
[0030]
图6：res2block结构
[0031]
图7：各方法的重建图像视觉效果对比，标粗的为最好效果
具体实施方式
[0032]
为了对本发明进行详细阐述，现结合实例和附图对本发明的具体实施过程作进一步的描述。
[0033]
本发明提出了一种大鼠踝骨骨折micro-ct图像的超分辨率重建装置，包括大鼠踝骨图像预处理模块、配置hr-lr图像对模块、r2-rcan深度模型模块和图像超分辨率重建模块。首先，由专业操作人员对活体大鼠的踝骨部位进行骨折造模，并将活体大鼠固定在bruker公司型号为skyscan 1276的micro-ct中，连续对它的骨折部位进行高分辨率和低分辨率的扫描得到hr图像和lr图像，其中hr图像的分辨率是lr图像的8倍。然后，我们从hr图像中每八张挑选一张与lr图像对应。根据图像特征点检测和特征点匹配的图像处理技术制作hr-lr图像对作为超分辨率模型的训练数据，同时完成图像剪裁以便于深度学习训练。本发明提出了一种基于rcan改进的r2-rcan，rcan是一种基于自注意力机制的超分辨率重建模型，通过加入res2net使模型具有多尺度提取特征能力。经过与其他经典超分辨模型对比，本发明提出的r2-rcan取得了最好的效果。
[0034]
总流程图如图1所示，具体步骤包括：
[0035]
步骤1：大鼠踝骨图像预处理模块，首先由专业操作员对大鼠进行踝骨骨折造模，对大鼠胫骨至踝骨进行扫描。micro-ct是bruker公司的skyscan 1276，其配置包括：免维护的20-100kv微聚焦x射线源，自动6位置滤镜转换器；11mp冷却x射线相机；连续可变放大率，
最小像素尺寸为2.8微米；可以解析5-6微米的对象细节，具有超过10％的对比度。本发明为8倍的超分辨率重建，严格高分辨率拍摄和低分辨率拍摄严格固定小鼠位置。对大鼠胫骨至踝骨进行一次高分辨率(10微米)和一次低分辨率(80微米)的扫描，获得4000幅hr和500幅lr。其中高分辨率10微米的图像扫描序列为8幅图像中取一张hr，与lr对应。
[0036]
步骤2：配置hr-lr图像对模块，由于micro-ct比普通ct拥有更高的空间分布率，是小动物成像研究的重要工具。但它的缺点是时间分布率降低了许多，对于活体小动物成像，micro-ct的机架工作一个周期往往伴随了小动物的几个呼吸周期。由于本发明针对活体大鼠进行的骨折部位的超分辨率重建，即使严格固定大鼠位置，也会由于时间过长和呼吸导致图像偏移使hr和lr图像不能完全一一匹配。为解决上述问题，本发明应用opencv的akaza特征检测算法[1]检测特征点，并应用brute-force算法[2]匹配特征点，对同一扫描位置的lr和hr图像进行特征点匹配。任取两组特征点任取两组特征点对a-a和b-b(其中a，b为lr上的特征点，a，b为hr上的特征点)，通过公式(1)计算ab与水平方向夹角：
[0037][0038]
其中(xa,ya)和(xb,yb)分别为a和b的点坐标，同理计算ab与水平方向夹角，通过旋转lr将lr与hr旋转至同一方向，并以特征点对为中心分别剪裁lr与hr，得到一一对应的lr-hr图像对，如图2所示。其中从lr图像剪裁40
×
40pixels的子图像，hr剪裁320
×
320pixels的子图像。选取出其中结构较好的图像对一共960对，其中训练集，验证集和测试集分别为800对，80对，80对。通过上述操作制作lr-hr图像对，不仅解决了图像偏移问题还对图像进行剪裁方便后续深度学习训练。
[0039]
步骤3：r2-rcan的整体结构如图3所示，在模型有一定深度的同时，增加了模型宽度，使模型具有多尺度提取特征能力。包括浅层特征提取层，若干个rcab-group和res2-group堆叠的深层特征提取层，和基于亚像素卷积的特征上采样层。
[0040]
浅层特征提取层用于提取图片粗粒度特征，有利于深层特征的提取。由一个3
×
3的卷积层构成，将图像输入到浅层特征层得到浅层特征图。
[0041]
深层特征提取曾主要由基于通道注意力的rcab-group和基于res2net的res2-group两部分组成。
[0042]
其中rcab-group由10个rcab搭配短跳跃连接组成，rcab是基于通道注意力机制的残差结构[3]，通道注意力机制是为了让网络关注更多图像的有用信息，利用特征通道之间的依赖性，对具有更多信息丰富的低频和有价值的高频信息的特征通道基于更高的权重。达到更好的超分辨率学习效果。通道注意力机制如图4所示，输入的特征图会先经过全局平均池化层压缩为1
×
1的向量，再将向量经过一个1
×
1的卷积层和relu激活函数实现降低通道数，再通过一个1
×
1的卷积层和sigmoid激活函数产生注意力的权重对位相乘输入的特征图得到新的特征图。将注意力机制加入残差模块中得到rcab，结构如图5所示。其中包含两层3
×
3的卷积和一个ca层，由等式(2)表示经过两层堆叠的卷积：
[0043][0044]
其中i和j代表第i个rcab-group的第j个rcab，f
i-1
表示输入，x
i-1,j
表示输出，和表示两个堆叠的卷积层，δ表示relu激活函数，通过卷积提取残差信息x
i,j
，再将其通过
ca层，如式(3)：
[0045]fi-1,j
＝f
i,j-1
+r
i,j
(x
i-1,j
)
·
x
i-1,j
ꢀꢀꢀ
(3)
[0046]
其中f
i-1,j
表示本层的输出，r
i,j
表示ca层。如图3所示，rcab-group包含若干rcab层，一个卷积层和短跳跃连接。这种带有跳跃连接的堆叠形模块有助于网络层数的加深，获得更好的超分辨率结果。
[0047]
res2-group主要由5个res2block堆叠而成，本发明所用res2block由图6所示，它是res2net的最基本模块。res2net作为新的resnet变种，是一种多尺度的残差单元结构[4]。res2net以更细粒度表示多尺度特征，并增加每个网络层的感受野范围。特征图进入res2block后，通过第一个1
×
1卷积后，将输入划分为4块，每个小块为xi(i＝1，2，3，4)，它们的通道数是原来的1/4。除了x1，每块都会进行3
×
3的卷积，用yi表示每块的卷积结果。x
i+1
与上一块的卷积结果yi特征图相加再通过3
×
3的卷积得到y
i+1
，这样就可以得到不同数量和不同感受野大小的输出。最终通过加入se block对每一个通道分配一个权重[5]，来增加每个通道的特征相应。这种先拆分后融合的思路可以得到多尺度的特征，和更好的进行特征融合，增加网络的感受野，表示多尺度特征，扩大网络宽度。
[0048]
步骤4：图像超分辨率重建模块，训练r2-rcan期间会对训练数据进行旋转和反转的数据增强，每个训练批次，提取32个lr图像作为输入。我们的模型是由adam优化器训练的，β1＝0.9，β2＝0.999，初始学习率设置为10-4，然后每2
×
105反向传播迭代减少一半。损失函数应用的是l1 loss，l1 loss如等式(4)所示：
[0049][0050]
其中h和w分别为图像的高度和宽度，i
sr
和i
hr
分别为重建图像和hr图像。r2-rcan结构设定为5个rcab-group和5个res2-group，每个group交替串联，其中每个rcab-group中包含10个rcab，每个res2-group包含5个res2block。其中除通道降尺度和通道升尺度中的卷积层的核大小为1
×
1外，其余卷积层的大小均设为3
×
3。我们使用psnr和ssim作为超分辨率的评估标准，psnr和ssim如等式(5)和(6)所示：
[0051][0052]
其中mse表示重建图像和hr图像的均方根误差。
[0053][0054]
其中u
x
和uy代表图像x和y的均值，σ
x
和σy代表图像x和y的标准差，σ
xy
代表图像x和y的协方差，c1、c2和c3均为常数。并与bicubic[6]，srcnn[7]，edsr[8]，rrdbnet[9]，esrgan
[9]，rcan[3]等经典模型训练相同数据进行对比。我们应用pytorch框架在2080ti gpu训练模型。
[0055]
表1：各模型针对大鼠踝骨图像重建结果的定量比较，其中标粗的为最好结果。
[0056]
方法重建倍数psnrssimbicubic[6]
×
820.360.62srcnn[7]
×
820.600.64rrdbnet[9]
×
821.180.66esrgan[9]
×
819.930.57edsr8.×
820.980.65rcan[3]
×
821.390.63r2-rcan
×
821.460.68
[0057]
表1为各模型在大鼠踝骨micro-ct的重建结果的定量比较(针对psnr和ssim)。表1里的对比方法引用的参考文献见

背景技术：
中。
[0058]
本发明提出的r2-rcan在8倍的大鼠micro-ct图像重建表现最好，测试集的平均psnr达到21.46，ssim达到0.68。图7展示了各方法的结果视觉对比。