用于图像超分辨率的比特级数据增强方法

文档序号:24559312发布日期:2021-04-06 12:09阅读:来源:国知局

技术特征:

1.一种用于图像超分辨率的比特级数据增强方法,其特征在于,包括步骤如下:

步骤1:分别获取hr、lr图像的bit平面;包括图像三通道分离和bit平面分离;

步骤2:图像bit平面变换;将步骤1获得的图像bit平面进行三种情况的变换;

步骤3:图像重塑;将步骤2变换后的bit平面进行重组形成新的图像,包括图像bit平面融合和图像三通道融合;

步骤4:模型训练;排列步骤2中所有bit变换方式,之后将不同的bit变换方式加入到sr网络中得出psnr结果,比较psnr结果后得出最优的bit变换方式;包括排列bit变换方式和sr网络的迭代训练。

2.根据权利要求1所述的用于图像超分辨率的比特级数据增强方法,其特征在于,所述步骤1按如下步骤进行:

步骤1.1:对单一rgb图像的hr、lr版本分别进行颜色通道的分离,并分别得到r、g、b单通道的灰度图像;

步骤1.2:对步骤1.1中得到hr、lr各三个单通道的灰度图像分别进行bit平面的划分,即将每个单通道的灰度图像划分为8个bit平面,得8个二值图像。

3.根据权利要求1所述的用于图像超分辨率的比特级数据增强方法,其特征在于,所述步骤2按如下步骤进行:

步骤2.1:对步骤1获取到的48个二值图像进行图像bit变换,其中变换的方式按如下三种情况进行;

第一种情况,对步骤1获取的hr、lr的各24个二值图像进行相同操作,hr、lr的r、g、b通道的各8个二值图像进行单图片通道内bit交换;

1)选择需要变换的通道

变换的通道个数选择一个、两个或三个,即一个通道进行变换有r、g、b通道3种可能,两个通道进行变换有rg、rb、gb通道3种可能,三个通道都进行变换有rgb通道1种可能,通道选择上共有7种可能性;

2)选择需要变换的bit层顺序

任意通道中图像信息从少到多的1~8bit层中,对低5位的bit位进行随机排列,即对1~5bit位进行顺序上的重排,顺序选择上共有120种可能;

3)在选择的通道内对选择的bit层顺序进行变换

对步骤1)选择的通道进行下述相同操作,都从通道的原始顺序变换为步骤2)选取的bit层顺序,全部变换方式可能性共840种,变换后共得到hr、lr各24个bit平面;

第二种情况,对步骤1获取的hr、lr的各24个二值图像进行相同操作,hr、lr的r、g、b通道的各8个二值图像进行单图片通道间bit交换;

1)选择需要交换的通道

通道间bit交换为两个通道间相同bit平面进行交换,可选的可能性有rg、rb、gb通道进行交换,或者由r交换到g通道后g交换到b通道之后b交换到r通道,或者由b交换到g通道后g交换到r通道之后r交换到b通道,通道选择上共有5种可能;

2)选择需要交换的bit层

1~8bit层中,可随机选取数量为1~8个层个数进行交换,相当于8位数的随机组合,bit层交换选择上共有255种可能性;

3)在选择的通道间对选择的bit层进行交换

在步骤1)选择的通道之间进行下述相同操作,在每一个选择的通道之间对步骤2)选取的bit层依次进行相同位置的互换,全部变换方式可能性有1275种,交换后得到hr、lr各24个bit平面;

第三种情况,在步骤1获取的hr、lr的各24个二值图像之间进行操作,hr、lr的r、g、b通道的各8个二值图像进行hr、lr通道间bit交换;

1)选择需要交换的通道

需要交换的为hr、lr相同的通道,变换的通道个数可选择一个、两个或三个,即一个通道进行变换有r、g、b通道3种可能,两个通道进行变换有rg、rb、gb通道3种可能,三个通道都进行变换有rgb通道1种可能,通道选择上共有7种可能性;

2)选择需要交换的bit层

1~8bit层中,可随机选取数量为1~8个层个数进行交换,相当于8位数的随机组合,bit层交换选择上共有255种可能性;

3)hr、lr中在选择的通道间对选择的bit层进行交换

在步骤1)选择的hr、lr相同的通道间进行下述相同操作,在每一个选择的通道之间将步骤2)选取的bit层依次进行相同位置互换,全部变换方式可能性有1785种,交换后得到hr、lr各24个bit平面;

步骤2.2:对于任一数据集中任一张图片的hr、lr版本,按照步骤2.1进行bit变换,得到变换后的hr、lr各24个bit平面。

4.根据权利要求1所述的用于图像超分辨率的比特级数据增强方法,其特征在于,所述步骤3按如下步骤进行:

步骤3.1:对步骤2得到hr、lr的各24个bit平面分别进行融合,即分别将每个单通道的8个bit平面融合为一个灰度图像;

步骤3.2:对步骤3.1得到的hr、lr的各3个灰度图进行通道融合,分别得到hr、lr各一张图像。

5.根据权利要求1所述的用于图像超分辨率的比特级数据增强方法,其特征在于,所述步骤4按如下步骤进行:

步骤4.1:从数据集a中选取图片a的lr或hr版本一张;

步骤4.2:将步骤4.1得到的a的lr或hr图片反复进行步骤1~3操作,在所有操作中分别得到步骤2.1提及的三种情况中的所有变换方式,并按照这三种情况分别保存在3个新的数据集a1、a2、a3中,其中图片数量分别为840、1275、1785张;

步骤4.3:将步骤4.2中得到的三个数据集中的所有图片分别与原图片a进行psnr比较,并将比较结果记录为各自变换方式的psnr刻度尺集合apsnr1、apsnr2、apsnr3;之后对apsnr1、apsnr2、apsnr3都进行以下相同实验;

步骤4.4:从步骤4.3得到的任意一个psnr刻度尺中,分别挑出这一个刻度尺中的psnr最大值p01、psnr最小值p03和psnr中间值p02,这三个值分别代表着三种不同的bit变换方式;

步骤4.5:将步骤4.4得到的三种不同的bit变换方式分别加入到sr网络中,经由sr网络训练后分别得到不同的新psnr值,对这三个psnr值进行大小比较,由大到小依次是p1、p2、p3,根据结果与变换方式的对应关系,区分出以下三种情况:

第一种情况:如果p01代表的变换方式训练后得到p1,那么p01代表的变换方式即为最优的变换方式;

第二种情况:如果p03代表的变换方式训练后得到p1,那么p03代表的变换方式即为最优的变换方式;

第三种情况:如果p02代表的变换方式训练后得到p1,将其作为步骤4.4中新的psnr最大值p01’;之后比较p01和p03代表的变换方式训练后得到的结果,将训练后得到p2对应的变换方式作为步骤4.4中新的psnr最小值p03’;在步骤4.4的刻度尺中取p03’、p01’的中间值p02’,重复步骤4.5;

步骤4.6:经过步骤4.5的不断迭代,得到刻度尺中最优的bit变换方式,以及与最优变换方式训练后的psnr结果相差0.3范围内的其他bit变换方式,将这些变换方式一同加入到sr网络中,得到最终的数据增强后的sr网络训练结果,实现超分辨率的增强。


技术总结
本发明公开用于图像超分辨率的比特级数据增强。本发明是为解决现存用于超分辨率的数据增强方法利用图片信息不足的问题。比特级数据增强方法包括:图像RGB通道内比特变换数据增强,图像RGB通道间比特交换数据增强,高分辨率、低分辨率图像通道间比特交换数据增强。本发明通过变换图像比特平面发掘隐藏的光感信息,充实图片纹理细节和色彩信息,链接高分辨率和低分辨率图像的相关性。主要步骤为:1)获取图像比特平面;2)图像比特平面变换;3)图像重塑;4)模型训练。本发明在数据集有限的情况下能偶扩展训练集,并在最佳的比特平面变换组合中增强超分辨率恢复效果。

技术研发人员:于洋;张伟;朱志良;于海
受保护的技术使用者:东北大学
技术研发日:2020.12.24
技术公布日:2021.04.06
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1