一种基于EDSR单图超分辨率重建方法与流程

本发明涉及图像重建技术领域，更具体地说，本发明涉及一种基于edsr单图超分辨率重建方法。

背景技术：

目前，摄像头远景成像分辨率不足、目标对象成像过小的情况，导致了其成像图片不足以支撑后续ai检测、识别的最小输入尺寸；为解决此问题，现有技术中提出了超分辨率图像重建的解决办法：

超分辨率图像重建是指使用信号处理或者图像处理算法，将低分辨率图像转变成高分辨率图像的技术。更具体地说，是把单幅或者多幅混淆、退化的低分辨率图像恢复为高分辨率图像的技术。根据所用低分辨率图像的数量，可以将超分辨图像重建技术分为基于单幅图像的和基于多幅图像的重建方法。其中，单幅图像的超分辨率重建技术广泛应用于医学图像处理、视频监控、刑侦分析、图像打印、卫星成像等计算机视觉领域。

近年来，基于卷积神经网络cnn的超分辨率图像重建技术方兴未艾，主要的网络模型包括密集残差网络和强化的针对单一图像超分辨率的深度残差网络edsr。这些网络模型同等对待各特征通道，从而影响了重构的图像质量，有助于提高图像重建的精度。

但是，单一图像超分辨率的深度残差网络edsr使用传统反卷积上采样法，生成的图像容易产生人工产物，细节部分处理不到位，也很不稳定，直接使用插值放大，生成图片越大越模糊，锯齿明显。

技术实现要素：

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于edsr单图超分辨率重建方法，通过采用端对端生成模式，输入小图片直接生成放大后图片，性能提升，对于100*100尺寸图片，完成一次2倍放大在70毫秒内，对于50*50尺寸图片，完成一次2倍放大在30毫秒内，生成图片质量高，用业界评判标准psnr可达34.6高分，在保持原图清晰度的前提下，生成2倍、4倍原图尺寸的图片。

为实现上述目的，本发明提供如下技术方案：一种基于edsr单图超分辨率重建方法，具体重建方法如下：

s1、标准化输入：首先，将输入的图像像素标准化至(-1,1)之间，公式为：i/127.5-1，然后，将标准化的图像像素输入至头卷积层；

s2、在头卷积层，做3*3卷积，卷积核个数为图像放大倍数的平方*3，然后输出至resblock层；

s3、在resblock层，resblock层可重复8次、12次或16次，单次步骤如下：

s3.1、先做1*1卷积，给通道做扩展学习原图更多的细节特征；

s3.2、接着做relu激活函数；

s3.3、再做1*1卷积，使通道数按比例压缩，减少参数大小和加快计算；

s3.4、最后进行3*3卷积，得到本层输出特征图，将输入层与输出层相加就是本层的最终输出结果；

s4、经头卷积层输出结果输送至尾卷积层，将最后一层resblock输出作为输入，做3*3卷积，卷积核个数为图像放大倍数的平方*3，得到特征矩阵m；将标准化输入作为输入，做5*5卷积，卷积核个数为图像放大倍数的平方*3，得到特征举证n，m+n即为尾卷积层输出；

s5、在像素拼图层，采用像素拼图上采样法，将尾卷积层的输出结果做像素拼图上采样，即把通道数上的像素压缩到rgb上，因为我们之前做的通道数是放大倍数的平方*3，例如我们输入的图片是50*50*3，放大倍数为2，经过resblock层一系列的卷积后，我们不在意resblock层输出的矩阵大小，因为尾卷积层的输出一定是50*50*12。像素拼图就是把12个通道数的像素值压缩至长和宽里，使输出结果大小为100*100*3。本层并没有学习新的参数，只是把特征矩阵做了一个变形：50*50*3＝100*100*3；

s6、在反标准化层，将区间在(-1,1)的输出扩充到区间为(0,255)的像素大小，公式为：(i+1)*127.5，最后输出放大后的图片。

在一个优选地实施方式中，所述步骤s1中，参数标准化公式如下：

梯度计算公式：

在一个优选地实施方式中，所述步骤s3中，padding用same的方式进行图周围矩阵填充，填充后使得输入输出维度相同，避免丢失许多角落和边缘的特征信息。

在一个优选地实施方式中，所述步骤s3中，采用resblocks搭建超深神经网络，将前层输出和深层输出相加连接，有效解决反向传播的梯度弥散和有效利用浅层特征信息，对隐藏层的特征通道做加深处理，以减少模型参数和提高性能。

在一个优选地实施方式中，所述步骤s3中resblocks采用weightnormalization，与常规的resblock不同的是，这里我们没有使用batchnormalization，而是使用weightnormalization，进而使用训练更快，效果更好。

在一个优选地实施方式中，所述步骤s5中，采用像素拼图上采样法，在做卷积过程中加大特征矩阵通道数为r^2，在输出层前将通道压缩成图像长宽r。

在一个优选地实施方式中，所述步骤s5中，通道数上的像素输入为(n,c×upscale_factor²,h,w)，输出为(n,c,h×upscale_factor,w×upscale_factor)。

本发明的技术效果和优点：

1、本发明通过采用端对端生成模式，输入小图片直接生成放大后图片，性能提升，对于100*100尺寸图片，完成一次2倍放大在70毫秒内，对于50*50尺寸图片，完成一次2倍放大在30毫秒内，生成图片质量高，用业界评判标准psnr可达34.6高分，解决摄像头远景成像分辨率不足、目标对象成像过小不足以支撑后续ai检测、识别的最小输入尺寸的问题，在保持原图清晰度的前提下，生成2倍、4倍原图尺寸的图片；

2、本发明采用像素拼图上采样法，使用像素拼图生成的图像更不易产生人工产物，细节部分更接近原图，更加稳定；

3、本发明采用resblocks搭建超深神经网络，将前层输出和深层输出相加连接，有效解决反向传播的梯度弥散和有效利用浅层特征信息，对隐藏层的特征通道做加深处理以减少模型参数和提高性能，与常规的resblock不同的是，这里我们没有使用batchnormalization，而是使用weightnormalization，进而使用训练更快，效果更好；

4、本发明参数标准化通过重写深度学习网络权重的方式加速网络参数收敛，通过标量g和向量v对权重w进行重写，引入更少的噪声，不需要额外的空间来保存均值和方差。

附图说明

图1为本发明的整体网络示意图。

图2为本发明的reslock层示意图。

图3为本发明的resblock结构图。

图4为本发明的像素拼图生成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据图1-4所示的一种基于edsr单图超分辨率重建方法，具体重建方法如下：

s1、标准化输入：首先，将输入的图像像素标准化至(-1,1)之间，公式为：i/127.5-1，然后，将标准化的图像像素输入至头卷积层，参数标准化公式如下(见图2)：

梯度计算公式：

参数标准化通过重写深度学习网络权重的方式加速网络参数收敛，通过标量g和向量v对权重w进行重写，引入更少的噪声，不需要额外的空间来保存均值和方差；

s2、在头卷积层，做3*3卷积，卷积核个数为图像放大倍数的平方*3，然后输出至resblock层；

s3、在resblock层，resblock层可重复8次、12次或16次，单次步骤如下(见图3)：

s3.1、先做1*1卷积，给通道做扩展学习原图更多的细节特征；

s3.2、接着做relu激活函数；

s3.3、再做1*1卷积，使通道数按比例压缩，减少参数大小和加快计算；

s3.4、最后进行3*3卷积，得到本层输出特征图，将输入层与输出层相加就是本层的最终输出结果；

此步骤中，padding用same的方式进行图周围矩阵填充，填充后使得输入输出维度相同，避免丢失许多角落和边缘的特征信息；

采用resblocks搭建超深神经网络，将前层输出和深层输出相加连接，有效解决反向传播的梯度弥散和有效利用浅层特征信息，对隐藏层的特征通道做加深处理，以减少模型参数和提高性能；

resblocks采用weightnormalization，与常规的resblock不同的是，这里我们没有使用batchnormalization，而是使用weightnormalization，进而使用训练更快，效果更好；

s4、经头卷积层输出结果输送至尾卷积层，将最后一层resblock输出作为输入，做3*3卷积，卷积核个数为图像放大倍数的平方*3，得到特征矩阵m；将标准化输入作为输入，做5*5卷积，卷积核个数为图像放大倍数的平方*3，得到特征举证n，m+n即为尾卷积层输出；

s5、在像素拼图层，采用像素拼图上采样法，将尾卷积层的输出结果做像素拼图上采样，即把通道数上的像素压缩到rgb上(见图4)，在做卷积过程中加大特征矩阵通道数为r^2，在输出层前将通道压缩成图像长宽r，因为我们之前做的通道数是放大倍数的平方*3，例如我们输入的图片是50*50*3，放大倍数为2，经过resblock层一系列的卷积后，我们不在意resblock层输出的矩阵大小，因为尾卷积层的输出一定是50*50*12。像素拼图就是把12个通道数的像素值压缩至长和宽里，使输出结果大小为100*100*3。本层并没有学习新的参数，只是把特征矩阵做了一个变形：50*50*3＝100*100*3；

通道数上的像素输入为(n,c×upscale_factor²,h,w)，输出为(n,c,h×upscale_factor,w×upscale_factor)；

相对于传统反卷积上采样法，使用像素拼图生成的图像更不易产生人工产物，细节部分更接近原图，更加稳定；

s6、在反标准化层，将区间在(-1,1)的输出扩充到区间为(0,255)的像素大小，公式为：(i+1)*127.5，最后输出放大后的图片。

本发明采用端对端生成模式，输入小图片直接生成放大后图片，性能提升，对于100*100尺寸图片，完成一次2倍放大在70毫秒内，对于50*50尺寸图片，完成一次2倍放大在30毫秒内，生成图片质量高，用业界评判标准psnr可达34.6高分，解决摄像头远景成像分辨率不足、目标对象成像过小不足以支撑后续ai检测、识别的最小输入尺寸的问题，在保持原图清晰度的前提下，生成2倍、4倍原图尺寸的图片。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。