图像块分类方法和装置及其超分辨重建方法和装置与流程

[0001]
本发明涉及超分辨重建技术领域，更具体的说是涉及一种图像块分类方法和装置及其超分辨重建方法和装置。


背景技术：

[0002]
现在的超分辨重建模型往往忽略局部的图像纹理特征。现阶段超分辨重建方法中，均是以整张图像作为处理单元。一张图像往往都是多种类型的局部图像组合，会导致忽略局部的图像纹理特征。而且，现有的超分辨率重建方法一般是针对特定类型图像的重构，例如对于人脸图像的重构，只能在某一类图像中表现出较好的重构效果，不具有通用性。
[0003]
因此，如何提供一种具有通用性的超分辨重建方法是本领域技术人员亟需解决的问题。


技术实现要素：

[0004]
有鉴于此，本发明提供了一种图图像块分类方法和装置及其超分辨重建方法和装置，具有通用性，重构效果好。
[0005]
为了实现上述目的，本发明采用如下技术方案：
[0006]
一种图像块分类方法，包括：
[0007]
对图像进行边缘检测，提取图像中的边缘像素点；
[0008]
对经过边缘检测的图像进行切块处理，并计算每个图像块中边缘像素点在该图像块中所占的比例；
[0009]
若所述比例大于预设阈值，则将所述图像块划分为纹理类图像块；否则，将所述图像块划分为平滑类图像块。
[0010]
优选的，包括：在所述对图像进行边缘检测，提取图像中的边缘像素点之前，还包括：对图像进行图像增强处理。
[0011]
优选的，所述对图像进行边缘检测，提取图像中的边缘像素点具体包括：
[0012]
对图像进行高斯滤波；
[0013]
基于经过高斯滤波后的图像，计算每个像素点的梯度强度和方向；
[0014]
基于非极大值抑制方法得到保留的像素点；
[0015]
基于第一阈值和第二阈值再次对保留的像素点进行过滤，若当前像素点的梯度值大于第一阈值，则该像素点作为强边缘保留；若当前像素点的梯度值小于第一阈值且大于第二阈值，则该像素点作为弱边缘，待下一步骤筛选；若小于第二阈值，则抛弃该像素点；其中，第一阈值大于第二阈值；
[0016]
判断作为弱边缘的像素点附近的k个点中是否含有强边缘的像素点，若存在，则保留该像素点，否则抛弃该像素点，最终得到提取的边缘像素点。
[0017]
优选的，k为8。
[0018]
一种图像块分类装置，包括：
[0019]
边缘检测模块，用于对图像进行边缘检测，提取图像中的边缘像素点；
[0020]
切块模块，用于对经过边缘检测的图像进行切块处理，并计算每个图像块中边缘像素点在该图像块中所占的比例；
[0021]
分类模块，用于当所述比例大于预设阈值，将所述图像块划分为纹理类图像块；否则，将所述图像块划分为平滑类图像块。
[0022]
优选的，还包括：图像增强模块，用于对图像进行图像增强处理。
[0023]
优选的，所述边缘检测模块具体包括：
[0024]
滤波单元，用于对图像进行高斯滤波；
[0025]
第一计算单元，用于基于经过高斯滤波后的图像，计算每个像素点的梯度强度和方向；
[0026]
第二计算单元，用于基于非极大值抑制方法得到保留的像素点；
[0027]
过滤单元，用于基于第一阈值和第二阈值再次对保留的像素点进行过滤，若当前像素点的梯度值大于第一阈值，则该像素点作为强边缘保留；若当前像素点的梯度值小于第一阈值且大于第二阈值，则该像素点作为弱边缘，待下一步骤筛选；若小于第二阈值，则抛弃该像素点；其中，第一阈值大于第二阈值；
[0028]
判断单元，用于判断作为弱边缘的像素点附近的k个点中是否含有强边缘的像素点，若存在，则保留该像素点，否则抛弃该像素点，最终得到提取的边缘像素点。
[0029]
优选的，k为8。
[0030]
一种超分辨重建方法，包括：
[0031]
将图像输入到粗粒度sr模型进行处理，得到初步处理的图像；
[0032]
基于上述的图像块分类方法将初步处理的图像划分为纹理类图像块和平滑类图像块；
[0033]
将纹理类图像输入到纹理sr模型中，得到重建的纹理类图像块；将平滑类图像输入到平滑sr模型中，得到重建的平滑类图像块；
[0034]
对重建后的纹理类图像块和重建后的平滑类图像块进行融合，得到超分辨重建结果。
[0035]
一种超分辨重建装置，包括：
[0036]
初步处理模块，用于将图像输入到粗粒度sr模型进行处理，得到初步处理的图像；
[0037]
分类模块，用于基于上述的图像块分类装置将初步处理的图像划分为纹理类图像块和平滑类图像块；
[0038]
重建模块，用于将纹理类图像输入到纹理sr模型中，得到重建的纹理类图像块；将平滑类图像输入到平滑sr模型中，得到重建的平滑类图像块；
[0039]
融合模块，用于对重建后的纹理类图像块和重建后的平滑类图像块进行融合，得到超分辨重建结果。
[0040]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种图图像块分类方法和装置及其超分辨重建方法和装置，对图像进行分块，并将图像块分为纹理类与平滑类，并分别进行超分辨率重建，最后进行图像融合，融合不同类别的图像块，使得图像过渡自然。本发明提供的方法通用性强，重构效果好。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0042]
图1为本发明提供的一种超分辨重建方法的流程示意图；
[0043]
图2为本发明提供的图像块分类的示意图；
[0044]
图3为本发明提供的对比实验示意图；
[0045]
图4为本发明提供的实验结果图；
[0046]
图5为本发明提供的不同图像块的p值示意图。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
参见附图1，本发明提供了一种超分辨重建方法，主要包括五部分，粗略度sr模型、图像块分类模型、平滑sr模型与纹理sr模型以及图像融合模块；
[0049]
粗粒度sr模型是一个简单的通用的sr模型，在图像块分类时，根据图像块中边缘、纹理、细节等高频信息所占图像的比例分为平滑类和纹理类，再分别构建平滑类和纹理类的sr重建模型。融合模块将对重建后的纹理图像块、平滑图像块进行融合拼接，使得最后输出的hr图像过渡自然。
[0050]
假设输入lr图像为x，模型最终输出的hr图像为y，经过粗粒度sr模型之后，将生成一个模糊的hr图像y
c
：
[0051]
y
c
＝r
c
(x)
ꢀꢀꢀꢀꢀ
(1)
[0052]
其中，r
c
为通过粗粒度sr模型的从x到y的非线性映射关系；以步长s、图像块尺寸w对粗粒度sr模型的输出y
c
进行分块，s＜w，得到图像块集合p
c
：
[0053]
p
c
＝{p
i
,i＝1,2,...,n}
ꢀꢀ
(2)
[0054]
将图像块p
i
输入到图像块分类模型f
l
中，得到图像块p
i
的类别：
[0055]
k＝f
l
(p
i
),k＝0,1
ꢀꢀꢀ
(3)
[0056]
当k＝0时，代表p
i
属于纹理类，当k＝1时，代表p
i
属于平滑类。不同类别的图像块将被输入到不同的sr模型中，
[0057][0058]
r0代表纹理类sr模型的映射，r1代表平滑类sr模型的映射。为高分辨率图像块，最后对所有的图像块进行融合。
[0059]
下面以vdsr模型为基础作为粗粒度模型和细粒度模型(纹理类sr模型和平滑类sr模型)来说明本发明提供的技术方案。
[0060]
(1)粗粒度sr模型
[0061]
粗粒度超分辨率重建模型的输入为完整的lr图像，输出为重建后的不清晰的高分辨率图像。粗粒度sr模型基于vdsr实现(卷积层15层)，首先使用双三次插值，将图像放大到目标尺寸，然后通过基于vdsr的粗粒度模型获得y
c
。
[0062]
(2)图像块分类模型
[0063]
分类模型的任务为根据图像块中是否含有丰富的边缘像素点等高频信息将图像块分为纹理类与平滑类。通常情况下，分类模型需要有标签的数据集作为训练集，而专利将图像切块后，图像块数量近万，若采取手工打标签的方式，则耗时长，代价大。因此，本发明提供的技术方案通过提取图像中的边缘像素点，并计算每个图像块中边缘像素点所占的比例，根据计算得到的比值是否超过阈值对图像块进行分类，若大于阈值，则划分为纹理类，否则，划为平滑类，具体请参见图2。
[0064]
首先，对图像进行图像增强。图像增强通过提高图像信息的可解释性与感知性，为后续其他自动图像处理技术提供了更好的输入。这里进行图像增像的目的为消除噪声，可以采用基于频域的高斯滤波方法。
[0065]
其次，对图像增强后的图像进行边缘检测，主要分为5步：1.为了减少噪声的影响，对图像进行高斯滤波以平滑图像。2.对图像中每个像素点，计算其梯度强度与方向。3.使用非极大值抑制(nms)，将除了极大值之后的所有梯度值全部设置为0，即比较当前像素点与沿着正负梯度两个方向上的像素点进行比较，若当前像素点的梯度值最大，则将其作为边缘点保留，否则，该点被抑制。4.应用nms后，仍然存在由于噪声引起的边缘点。使用第一阈值和第二阈值再次对边缘像素进行过滤，若当前像素点的梯度值大于第一阈值，则该像素点将被记录为强边缘，将被保留至最后；若小于第一阈值，同时大于第二阈值，则该像素点被记录为弱边缘，待下一步骤筛选；若小于第二阈值，则抛弃该像素点；其中，第一阈值大于第二阈值。5.查看所有上一步骤的弱边缘像素点，若该像素点附近的8个点中含有强边缘点，则保留，否则抛弃该点。
[0066]
完成图像的边缘检测之后，对图像进行切块，计算每个图像块中边缘像素点在该图像块中所占的比例p。
[0067]
设图像块的尺寸为n*n，图像块中包含的边缘点个数为m，则
[0068][0069]
根据计算得到的比例p是否超过阈值t对图像块进行分类，若大于阈值t，则划分为纹理类，否则，划分为平滑类，参见附图5。
[0070]
其中，阈值t为所有图像块边缘像素点占比的均值，设图像块的个数为n，则：
[0071][0072]
其中，p
i
表示第i个图像块中边缘像素点在该图像块中所占的比例。
[0073]
(3)平滑sr模型与纹理sr模型
[0074]
纹理类与平滑类超分辨率重建模型将全部基于粗粒度超分辨率重建模型设计。区别在于，纹理类sr模型的输入为包含许多边缘纹理细节的纹理类图像块，平滑类sr模型的输入为像素值整体过渡平缓的平滑类图像块。且两种模型的输入全部为经过粗粒度sr模型重建后的图像块，而非一开始输入的低分辨率图像，因此模型的输入不需要双三次插值，而
是可以直接输入到网络中。此外，纹理类sr模型与平滑类sr模型均属于细粒度sr模型，输出的为高质量的高分辨率图像块，因此相比粗粒度sr模型，网络层数更深。
[0075]
纹理类sr模型和平滑类sr模型二者比较如下：
[0076]
表1纹理类sr模型和平滑类sr比较
[0077] 纹理类sr模型平滑类sr模型模型基础vdsrvdsr模型输入纹理类的图像块平滑类的图像块vdsr中间卷积层数1518
[0078]
(4)图像融合模块
[0079]
在对图像进行切块分类，并分别对图像块进行超分辨率重建后，为了图像块之间的过渡自然，利用图像融合技术拼接这些图像块。由于超分辨率重建中仅对色彩空间ycbcr中的y通道进行重建，因此，只需融合各个图像块中y通道的值。设当前融合的像素点p切到a个纹理块m中，b个平滑块n中，则该像素点y通道的值为：
[0080][0081]
其中，为第i个纹理块中像素点p的y通道的值，为第j个平滑块中像素点p的y通道的值，获取y通道的值后，使用双三次插值方法计算cbcr通道的值，从而得到完整的图像。
[0082]
本发明提供的技术方案，首先，通过粗粒度sr模型实现了初步处理，便于后续的图像分类，然后将图像块分为纹理类和平滑类，纹理类sr模型着重重建着重重建图像块的纹理边缘等图像高频信息，平滑类sr模型简单加深粗粒度sr即可得到效果较好的平滑图像块。最后使用图像融合，融合不同类别的图像块，使得图像过渡自然。
[0083]
在本发明提供的分类模型中，对图像进行高斯滤波以减少图像的噪声干扰，然后对图像进行边缘检测，完成边缘检测后，对图像进行分块，并计算每个图像块中边缘像素点所占的比例，最后以所有图像块边缘像素点比例的均值作为阈值，将图像块分为纹理类与平滑类。
[0084]
下面结合具体实现结果对本发明提供的技术方案做进一步阐述和说明。
[0085]
为了说明本申请提供的方法的有效性，又选取了sisr领域中经典的edsr、rdn模型，实现结果参见表2。
[0086]
表2不同模型的实验结果对比
[0087][0088]
其中评价指标选择了psnr(信噪比)和ssim(结构相似性)。c-model(model为edsr或者rdn)表示经过本申请提供的方法处理生成的图像。从结果可以看出，c-model和model相比，psnr和ssim两个评价指标均有所提高。
[0089]
同时为了验证cbsr方法中的分类模块的有效性，还做了以下的对比实验(请参见图3)：分别使用了291数据集(vdsr原始训练数据集)和oid数据(一组用于老照片重建的数据集)及训练了带有分类模型和不带有分类模型的超分辨重建模型，同样使用psnr指标进行验证，结果请参见附图4。
[0090]
从图4中可以看出，在不同倍数下，带有分类模型(bc)的指标明显高于不带分类模型的指标。
[0091]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0092]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。