用于图像超分辨率的比特级数据增强方法

本发明属于图像处理领域，涉及一种用于图像超分辨率的比特级数据增强方法。
背景技术：
：图像超分辨率(简称sr)是指从低分辨率图像(简称lr)中恢复出高分辨率图像(简称hr)，自从卷积神经网络应用于sr问题后，基于深度学习的sr涌现出了不同的网络架构和训练策略方法，从而在sr任务中实现了惊人进展。但相应的，这些模型往往需要训练数以千计的高质量图片才能发挥出网络结构其优秀的性能，这在以往研究中，可以通过系统化的退化方法人工合成大量数据集以满足模型要求。但在实际应用过程中，通过合成数据集训练出的模型往往表现不佳，这常是由于合成数据集的退化过程与真实情况不符导致的。为了进一步促进sr的实际应用，有研究者通过收集真实数据集来解决这些问题。但在大多数的情况下，获取海量数据集是费时且昂贵的，故有许多研究通过数据增强(简称da)方法来解决这个问题。da是指在原有数据集图片基础上，让有限训练样本发挥出更高的价值。比较常见的da方法包含许多基础的图像处理过程，例如图片的随机裁剪、随机尺寸、位置变化，图像rgb通道的色彩变换等。而其他通过多个样本产生新样本的da方法大多用于高维视觉任务，一般采取的多为修改像素或特征的方法，但有研究表明这种方法会破坏图像空间相关性并阻碍低维视觉任务(例如sr)的图像恢复效果。当然，也有一部分研究者为满足sr的实际应用对适用于sr任务的da方法进行研究。但他们所采取的方法有些对模型优化有限，对于结构越大的网络提升效果越差。有些则是与大多高维视觉任务的da有同样的不足之处，即处理过程仅仅停留在图片数据集的像素或特征上，对于诸多图片隐藏信息未完全利用，丢失了大部分图片本身可利用的信息。技术实现要素：在本发明中，为了充分利用图片隐藏信息，我们推出的方法主要是在图片的bit层上的da。通过改变图片rgb通道间以及通道内的bit排列以及hr和lr通道间的bit排列来获取这种隐藏价值增强图片本身包含的信息，达到数据增强的效果。且本发明并不会改变图片本身整体的空间结构，更加适用于sr等低维视觉任务。为实现上述目的，本发明提供了如下方案：一种用于图像超分辨率的比特级数据增强，包括以下步骤：步骤1：分别获取hr、lr图像的bit平面；包括图像三通道分离和bit平面分离；步骤2：图像bit平面变换；将步骤1获得的图像bit平面进行三种情况的变换；步骤3：图像重塑；将步骤2变换后的bit平面进行重组形成新的图像，包括图像bit平面融合和图像三通道融合；步骤4：模型训练；排列步骤2中所有bit变换方式，之后将不同的bit变换方式加入到sr网络中得出psnr结果，比较psnr结果后得出最优的bit变换方式；包括排列bit变换方式和sr网络的迭代训练。所述步骤1按如下步骤进行：步骤1.1：对单一rgb图像的hr、lr版本分别进行颜色通道的分离，并分别得到红(r)、蓝(g)、绿(b)各三个单通道的灰度图像。本步骤一共得到6个灰度图像，其中有hr的3个灰度图像和lr的3个灰度图像。步骤1.2：对步骤1.1中得到hr、lr的三个单通道的灰度图像分别进行bit平面的划分，即将每个单通道的灰度图像划分为8个bit平面，得8个二值图像。本步骤一共得到48个二值图像，其中有hr的24个二值图像和lr的24个二值图像，具体细分可表示为hr、lr的r、g、b通道各8个二值图像。所述步骤2按如下步骤进行：步骤2.1：对步骤1获取到的48个二值图像进行图像bit变换，其中变换的方式可按如下三种情况进行，且这3种情况可以进行任意组合，即将不同的变换方式一同加入到网络中。第一种情况，对步骤1获取的hr、lr的各24个二值图像进行相同操作，hr、lr的r、g、b通道的各8个二值图像进行单图片通道内bit交换；1)选择需要变换的通道变换的通道个数可选择一个、两个或三个，即一个通道进行变换的r、g、b通道3种可能，两个通道进行变换的rg、rb、gb通道3种可能，三个通道都进行变换的rgb通道1种可能，通道选择上共有7种可能性。2)选择需要变换的bit层顺序任意通道中图像信息从少到多的1～8bit层中，对低5位的bit位进行随机排列，即对1～5bit位进行顺序上的重排，顺序选择上共有120种可能。3)在选择的通道内对选择的bit层顺序进行变换对步骤1)选择的通道进行下述相同操作，都从通道的原始顺序变换为步骤2)选取的bit层顺序，全部变换方式可能性共840种，变换后共得到hr、lr各24个bit平面。第二种情况，对步骤1获取的hr、lr的各24个二值图像进行相同操作，hr、lr的r、g、b通道的各8个二值图像进行单图片通道间bit交换；1)选择需要交换的通道通道间bit交换为两个通道间相同bit平面进行交换，可选的可能性有rg、rb、gb通道进行交换，或者由r交换到g通道后g交换到b通道之后b交换到r通道，或者由b交换到g通道后g交换到r通道之后r交换到b通道，通道选择上共有5种可能。2)选择需要交换的bit层1～8bit层中，可随机选取数量为1～8个层个数进行交换，相当于8位数的随机组合，bit层交换选择上共有255种可能性。3)在选择的通道间对选择的bit层进行交换在步骤1)选择的通道之间进行下述相同操作，在每一个选择的通道之间对步骤2)选取的bit层依次进行相同位置的互换，全部变换方式可能性共1275种，交换后得到hr、lr各24个bit平面。第三种情况，在步骤1获取的hr、lr的各24个二值图像之间进行操作，hr、lr的r、g、b通道的各8个二值图像进行hr、lr通道间bit交换；1)选择需要交换的通道需要交换的为hr、lr相同的通道，变换的通道个数可选择一个、两个或三个，即一个通道进行变换的r、g、b通道3种可能，两个通道进行变换的rg、rb、gb通道3种可能，三个通道都进行变换的rgb通道1种可能，通道选择上共有7种可能性。2)选择需要交换的bit层1～8bit层中，可随机选取数量为1～8个层个数进行交换，相当于8位数的随机组合，bit层交换选择上共有255种可能性。3)hr、lr中在选择的通道间对选择的bit层进行交换在步骤1)选择的hr、lr相同的通道间进行下述相同操作，在每一个选择的通道之间将步骤2)选取的bit层依次进行相同位置互换，全部变换方式可能性共1785种，交换后得到hr、lr各24个bit平面。步骤2.2：对于任意数据集中任意一张图片的hr、lr版本，选择上述三种情况的一种中的任意一种可能性进行bit变换，得到变换后的hr、lr各24个bit平面。所述步骤3按如下步骤进行：步骤3.1：对步骤2得到hr、lr的各24个bit平面分别进行融合，即分别将每个单通道的8个bit平面融合为一个灰度图像。本步骤一共得到6个灰度图像，其中有hr和lr的r、g、b各3个灰度图。步骤3.2：对步骤3.1得到的hr、lr的各3个灰度图进行通道融合，分别得到hr、lr各一张图像。所述步骤4按如下步骤进行：步骤4.1：从数据集a中选取图片a的lr或hr版本一张；步骤4.2：将步骤4.1得到的a的lr或hr图片反复进行步骤1～3操作，在所有操作中分别得到步骤2.1提及的三种情况中的所有变换方式，并按照这三种情况分别保存在3个新的数据集a1、a2、a3中，其中图片数量分别为840、1275、1785张；步骤4.3：将步骤4.2中得到的三个数据集中的所有图片分别与原图片a进行psnr(峰值信噪比)比较，并将比较结果记录为各自变换方式的psnr刻度尺集合apsnr1、apsnr2、apsnr3，这些比较结果为步骤2.1中三种情况所有方式变换后组成的图片与原始图片的psnr差值(psnr差值越大图片相差越大)，即通过步骤4.2排列三种情况中的bit变换方式；之后对apsnr1、apsnr2、apsnr3都进行以下相同实验。步骤4.4：从步骤4.3得到的任意一个psnr刻度尺中，分别挑出这一个刻度尺中的psnr最大值p01、psnr最小值p03和psnr中间值p02，这三个值分别代表着三种不同的bit变换方式；步骤4.5：将步骤4.4得到的三种不同的bit变换方式分别加入到sr网络中，经由sr网络训练后分别得到不同的新psnr值，对这三个psnr值进行大小比较，由大到小依次是p1、p2、p3，根据结果与变换方式的对应关系，区分出以下三种情况；(原始的sr网络是对步骤4.1中提及的数据集a进行训练，将任意一种bit变换方式加入到sr网络后，代表着sr网络是对a和a经过bit变换后形成的新的数据集a1一同进行训练)第一种情况：如果p01代表的变换方式训练后得到p1，那么p01代表的变换方式即为最优的变换方式；第二种情况：如果p03代表的变换方式训练后得到p1，那么p03代表的变换方式即为最优的变换方式；第三种情况：如果p02代表的变换方式训练后得到p1，将其作为步骤4.4中新的psnr最大值p01’；之后比较p01和p03代表的变换方式训练后得到的结果，将训练后得到p2对应的变换方式作为步骤4.4中新的psnr最小值p03’；在步骤4.4的刻度尺中取p03’、p01’的中间值p02’，重复步骤4.5；步骤4.6：经过步骤4.5的不断迭代，得到刻度尺中最优的bit变换方式，以及与最优变换方式训练后的psnr结果相差0.3范围内的其他bit变换方式，将这些变换方式一同加入到sr网络中，得到最终的数据增强后的sr网络训练结果，实现超分辨率的增强。本发明的有益效果为：现存数据增强方法很少适用于超分辨率等低维视觉任务或是对图像细节信息发掘不足。而本发明中提出一种用于超分辨率任务的新型数据增强方法。即在图像bit级基础上，通过改变图像rgb通道的bit平面排列实现超分辨率的数据增强。其重点是在保护图像空间相关性等内容的基础上，获取更多图片隐藏信息，实现高质量数据增强。这种数据增强方法可以应用于任何数据集与超分辨率网络中，相比于其他数据增强方法，具有不破坏图像空间结构，充分发挥bit信息的优点。附图说明图1为本发明中步骤2.1的hr、lr单图片通道内bit变换流程图；图2为本发明中步骤2.1的hr、lr单图片通道间bit变换流程图；图3为本发明中步骤2.1的hr、lr通道间bit交换流程图；图4为本发明中步骤2.1的hr、lr通道间bit交换示例图；图5～图7分别为本发明中步骤1得到的hr图片r、g、b通道的各8个bit平面图示例(a～h分别为1～8bit平面图)；图8～图10分别为本发明中步骤1得到的lr图片r、g、b通道的各8个bit平面图示例(a～h分别为1～8bit平面图)；图11为实验结果比较图。具体实施方式下面结合附图和实例对本发明的内容作进一步的阐述，但不是对本发明的限定。一种用于图像超分辨率的bit级数据增强方法，包括：步骤1：从数据集realsr中分别获取canon_070的hr、lr版本canon_070_hr、canon_070_lr4图片的bit平面。步骤1.1：对canon_070_hr、canon_070_lr4分别进行颜色通道的分离，并分别得到红(r)、蓝(g)、绿(b)三个单通道的灰度图像。本步骤一共得到6个灰度图像，其中有hr的3个灰度图像和lr的3个灰度图像。步骤1.2：对步骤1.1中得到hr、lr的三个单通道的灰度图像分别进行bit平面的划分，即将每个单通道的灰度图像划分为8个bit平面，得8个二值图像。本步骤一共得到48个二值图像，其中有hr的24个二值图像和lr的24个二值图像，具体细分可表示为hr、lr的r、g、b通道各8个二值图像。步骤2：图像bit平面变换。将步骤1获得的图片按照bit交换方式的不同，对24个二值图像进行bit交换。步骤2.1：对步骤1获取到的48个二值图像进行图像bit变换，其中变换的方式可按如下三种情况进行，且这3种情况可以进行任意组合，即将不同的变换方式一同加入到网络中。第一种情况，对步骤1获取的hr、lr的各24个二值图像进行相同操作，hr、lr的r、g、b通道的各8个二值图像进行单图片通道内bit交换；1)选择需要变换的通道变换的通道个数可选择一个、两个或三个，即一个通道进行变换的r、g、b通道3种可能，两个通道进行变换的rg、rb、gb通道3种可能，三个通道都进行变换的rgb通道1种可能，通道选择上共有7种可能性。2)选择需要变换的bit层顺序任意通道中图像信息从少到多的1～8bit层中，对低5位的bit位进行随机排列，即对1～5bit位进行顺序上的重排，顺序选择上共有120种可能。3)在选择的通道内对选择的bit层顺序进行变换对步骤1)选择的通道进行下述相同操作，都从通道的原始顺序变换为步骤2)选取的bit层顺序，整体变换的可能性选择上共840种，变换后共得到hr、lr各24个bit平面。第二种情况，对步骤1获取的hr、lr的各24个二值图像进行相同操作，hr、lr的r、g、b通道的各8个二值图像进行单图片通道间bit交换；1)选择需要交换的通道通道间bit交换为两个通道间相同bit平面进行交换，可选的可能性有rg、rb、gb通道进行交换，或者由r交换到g通道后g交换到b通道之后b交换到r通道，或者由b交换到g通道后g交换到r通道之后r交换到b通道，通道选择上共有5种可能。2)选择需要交换的bit层1～8bit层中，可随机选取数量为1～8个层个数进行交换，相当于8位数的随机组合，bit层交换选择上共有255种可能性。3)在选择的通道间对选择的bit层进行交换在步骤1)选择的通道之间进行下述相同操作，在每一个选择的通道之间对步骤2)选取的bit层依次进行相同位置的互换，整体交换的可能性共有1275种，交换后得到hr、lr各24个bit平面。第三种情况，在步骤1获取的hr、lr的各24个二值图像之间进行操作，hr、lr的r、g、b通道的各8个二值图像进行hr、lr通道间bit交换；1)选择需要交换的通道需要交换的为hr、lr相同的通道，变换的通道个数可选择一个、两个或三个，即一个通道进行变换的r、g、b通道3种可能，两个通道进行变换的rg、rb、gb通道3种可能，三个通道都进行变换的rgb通道1种可能，通道选择上共有7种可能性。2)选择需要交换的bit层1～8bit层中，可随机选取数量为1～8个层个数进行交换，相当于8位数的随机组合，bit层交换选择上共有255种可能性。3)hr、lr中在选择的通道间对选择的bit层进行交换在步骤1)选择的hr、lr相同的通道间进行下述相同操作，在每一个选择的通道之间将步骤2)选取的bit层依次进行相同位置互换，整体交换的可能性共有1785种，交换后得到hr、lr各24个bit平面。步骤2.2：对于图片canon_070_hr、canon_070_lr4，选择上述三种情况的一种中的任意一种可能性进行bit变换，得到变换后的hr、lr各24个bit平面。步骤3：图像重塑。步骤3.1：对步骤2得到hr、lr的各24个bit平面进行融合，即分别将每个单通道的8个bit平面融合为一个灰度图像。本步骤一共得到6个灰度图像，其中有hr和lr的r、g、b各3个灰度图。步骤3.2：对步骤3.1得到的hr、lr各3个灰度图进行通道融合，得到hr、lr各一张图像。步骤4：bit变换组合选取。步骤4.1：从realsr数据集中选取图片canon_070_lr4。步骤4.2：将步骤4.1得到的canon_070_lr4反复进行步骤1～3操作，在所有操作中分别实现步骤2.1提及的三种情况中的所有可能性，并按照这三种情况分别保存为3个新的数据集lr0701、lr0702、lr0703，其中图片数量分别为840、1275、1785张。步骤4.3：将步骤4.2中得到的三个数据集中的所有图片分别与原图片canon_070_lr4进行psnr比较，并将比较结果记录为各自的psnr刻度尺lr070psnr1、lr070psnr2、lr070psnr3，这些比较结果为步骤2.1中三种情况所有方式变换后组成的图片与原始图片的psnr差值(psnr差值越大图片相差越大)，即通过步骤4.2排列三种情况中的bit变换方式。步骤4.4：将步骤4.1得到的canon_070_lr4与步骤4.1选取的realsr中所有的lr图片分别进行psnr比较，并从realsr中取出与其psnr差值最大的一张nikon_061_lr4。对nikon_061_lr4，重复进行步骤4.2并得到数据集lr0611、lr0612、lr0613，重复进行步骤4.3并得到nikon_061_lr4的psnr刻度尺lr061psnr1、lr061psnr2、lr061psnr3。这些刻度尺是不同的bit变换方式对应的与原始图片的psnr差值。步骤4.5：在lr070psnr1中分别找出其psnr最大值p01、psnr最小值p03和psnr中间值p02的三个bit变换方式，在lr061psnr1中寻找上述三种bit变换方式，观察其对应的psnr值是否为lr061psnr1刻度尺的最小、最大、中间值附近(psnr可相差3以内)。经实验得到这三个bit变换方式确实为lr061psnr1刻度尺的最小、最大、中间值附近，则得出结论步骤4.1选取的realsr数据集中所有图片的psnr刻度尺的bit变换方式分布相同，并可根据数据集图片的bit变换相同分布，对本数据集进行任意一种bit变换方式的数据增强实验。步骤4.6：对lr070psnr2和lr061psnr2、lr070psnr3和lr061psnr3分别进行步骤4.5。步骤4.7：经过步骤4.5、4.6的验证后，步骤4.3得到的lr070psnr1、lr070psnr2、lr070psnr3可作为realsr数据集全部图片的bit变换方式的排列，故对lr070psnr1、lr070psnr2、lr070psnr3进行以下相同实验。步骤4.8：对步骤4.7提及的三个刻度尺中任意一个，分别挑出这一个刻度尺中的psnr最大值、psnr最小值和psnr中间值，这三个值分别代表着三种不同的bit变换方式。步骤4.9：将步骤4.8得到的三种不同的bit变换方式分别加入到sr网络中，经由sr网络训练后分别得到不同的训练结果，训练结果是通过psnr值进行衡量的，即训练后可得到三个不同的psnr值，对这三个psnr值进行大小比较，得出新的顺序大到小依次是p1、p2、p3，根据结果与变换方式的对应关系，区分出以下三种情况。(原始的sr网络是对步骤4.1中提及的数据集realsr进行训练，将任意一种bit变换方式加入到sr网络后，代表着sr网络是对realsr和realsr经过bit变换后形成的新的数据集realsr1一同进行训练)第一种情况：如果p01代表的变换方式训练后得到p1，那么p01代表的变换方式即为最优的变换方式；第二种情况：如果p03代表的变换方式训练后得到p1，那么p03代表的变换方式即为最优的变换方式；第三种情况：如果p02代表的变换方式训练后得到p1，将其作为步骤4.4中新的psnr最大值p01’；之后比较p01和p03代表的变换方式训练后得到的结果，将训练后得到p2对应的变换方式作为步骤4.8中新的psnr最小值p03’；在步骤4.8的刻度尺中取p03’、p01’的中间值p02’，重复步骤4.9；步骤4.10：经过步骤4.9的不断迭代，可以得到任意刻度尺中最优的bit变换方式，以及与最优变换方式相比较psnr相差0.3范围内的其他bit变换方式，将这些变换方式一同加入到sr网络中，得到最终的数据增强后的sr网络训练结果，实现超分辨率的增强。实验结果根据具体实施方式得出的结果，使用超分辨率网络结构edsr和数据集realsr进行实验，得出两种最优结论。第一种为选取步骤2.1所述第二种情况单图片通道间bit交换，选取交换的通道为所有5种可能性，选取交换的bit平面为第3bit平面，即共加入5种bit变换可能到edsr网络中与原图片一同进行训练(简称通道间交换3all)；第二种为选取步骤2.1所述第三种情况hr、lr中在选择的通道间对选择的bit层进行交换，选取交换的通道为所有7种可能性，选取交换的bit平面为第5bit平面或第6bit平面或第5、6bit平面3种可能性，即共加入15种可能性bit变换到edsr网络中原图片一同进行训练(简称hr_lr通道间交换56all)。这两种可能性均实现了有效的数据增强效果，实验结果如表1所示(psnr值越大超分辨率恢复效果越好)。表1实验psnr差值原始模型28.07+0.00通道间交换3all28.14+0.07hr_lr通道间交换56all28.18+0.11当前第1页12