基于自适应重要性学习的轻量级图像超分辨率改进方法与流程

本发明涉及计算机智能视觉的领域，尤其涉及一种基于自适应重要性学习的轻量级图像超分辨率改进方法。

背景技术

在监视、公共安全、商业、娱乐和遥感等各种各样的视频应用中，只有增加图像分辨率才能提高用户体验。单图像超分辨率(sisr)是一种在没有附加信息的情况下提高图像分辨率的方法，受到了广泛的关注。在此基础上下面两种方式具有一定的特点，也各自存在问题。

(1)利用像素统计或内部斑块复发的hr图像作为先验。这些方法通常不能很好地推广，因为即使在启发式的属性和先验包含的属性之间的一个小的差异导致重构的hr图像中可见的伪影。

(2)基于深度卷积神经网络(dcnn)的学习方法，已经取得了显著的效果，特别是在一些特殊的c缩放因子。然而，由于它们的结构非常深，具有显著的内存和计算需求，这就需要强大的计算单元(例如，gpu)，从而限制了它们在计算能力有限的许多实际设备上的应用，特别是手持式设备。

技术实现要素：

本发明主要解决的技术问题是提供一种基于自适应重要性学习的轻量级图像超分辨率改进方法，提高给定轻量级sisr网络体系结构的拟合能力，学习方案能够无缝地从更强大的学习网络同化知识，以初始化图像像素的重要性，达到更好的初始容量网络，实现超分辨率性能。

为解决上述技术问题，本发明采用的一个技术方案是：提供了一种基于自适应重要性学习的轻量级图像超分辨率改进方法，包括以下具体步骤：

步骤一：建立一个学习范式，以最大化像素的拟合能力给定轻量级网络架构；

步骤二：将网络训练和重要性学习转化为联合优化问题，通过设计的重要补偿函数和求解凸优化问题来逐渐增加单个像素的重要性，训练过程从易于重构的像素开始，随着拟合的改进，逐渐进行到更复杂的像素，从而实现自适应重要性学习方案；

步骤三：提出的自适应重要性学习方案以教师重要性初始化的方式，从更强大的教师网络无缝地吸收知识，从而在网络中获得更好的初始容量；

步骤四：利用替代最小化方案，形成自适应重要性学习方案算法；

步骤五：提出自适应的sisr模型，通过在训练损失的基础上动态更新图像像素的重要性，训练由简至难的范例网络，也就是定制轻量级sisr模型。

在本发明一个较佳实施例中，所述的sisr模型是由dcnn框架启发的，sisr模型的基本模块是卷积层，通过直接减少每个卷积层中的滤波器来定制轻量级网络，以固定比率来减少输出特征图的量。

本发明的有益效果是：本发明的基于自适应重要性学习的轻量级图像超分辨率改进方法，提高给定轻量级sisr网络体系结构的拟合能力，学习方案能够无缝地从更强大的学习网络同化知识，以初始化图像像素的重要性，达到更好的初始容量网络，实现超分辨率性能。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例包括：

一种基于自适应重要性学习的轻量级图像超分辨率改进方法，包括以下具体步骤：

步骤一：建立一个学习范式，以最大化像素的拟合能力给定轻量级网络架构；

步骤二：将网络训练和重要性学习转化为联合优化问题，通过设计的重要补偿函数和求解凸优化问题来逐渐增加单个像素的重要性，训练过程从易于重构的像素开始，随着拟合的改进，逐渐进行到更复杂的像素，从而实现自适应重要性学习方案；

步骤三：提出的自适应重要性学习方案以教师重要性初始化的方式，从更强大的教师网络无缝地吸收知识，从而在网络中获得更好的初始容量；

步骤四：利用替代最小化方案，形成自适应重要性学习方案算法；

步骤五：提出自适应的sisr模型，通过在训练损失的基础上动态更新图像像素的重要性，训练由简至难的范例网络，也就是定制轻量级sisr模型。

上述中，所述的sisr模型是由dcnn框架启发的，sisr模型的基本模块是卷积层，通过直接减少每个卷积层中的滤波器来定制轻量级网络，以固定比率来减少输出特征图的量。

本发明的基于自适应重要性学习的轻量级图像超分辨率改进方法，开发一种简单易学的学习模式，以最大化给定sisr轻量级网络体系结构的能力；提出了一种自适应的重要性学习方案来训练轻量级sisr网络，进行增强训练；将知识从更强大的学习网络中解脱出来，以便更好地初始化。

具体实施：

a、学习范式

使用n个lr-hg图像对fxi；可以学习轻量级网络s(；θ)如下

其中表示网络参数，l表示损失函数(例如，mse损失或‘1损失’)。在训练阶段，最优寻求最小化期望值e(θ)，其中将具有不同重建困难的所有像素一起馈送到s中进行训练。为了最大化像素的拟合能力s，建议训练具有自适应重要性学习方案的s。

其中，wi表示每个训练对的像素重要性向量，收集所有重要向量。由于0≤wi≤1，像素重要性可以被看作是每个像素参与训练过程的概率为eq.(2)，例如，当重要性为零时，相应的像素将从训练网络中移除。h(wi)表示wi上的惩罚函数，它控制重要性学习策略以及避免wi的平凡解(例如wi＝0)。

当h(wi)被给定为以下指示器函数时，

所提出的学习方案将退化到传统的学习方案中。因此，所提出的自适应重要性学习方案是一个用于sisr的通用学习框架。

b、自适应重要性学习方案

重要性学习方案的关键是设计一个适当的重要惩罚函数h(wi)。为了满足上述重要性学习原理，设计罚函数h，并在公式(2)中重新构造学习方案如下：

其中w′i表示先前迭代中的重要向量，并且给出h(wi，w′i)，

在公式(5)中wjt和w′jtdenotethej的wi和w′jt元，分别是predefined标量。在下面，将探讨h(wi，w′i)的细节收益。

类似的解决方案，公式(2)采用优化的替代方案到另外一个andw毛孔在公式(5)。具体而言，当给出了w的重要载体，是好的学习问题的解决可以由反向传播算法。当它是固定的，在学习的问题可以被简化。

其中w表示训练样本中的特定像素的重要性(例如，来自wi的元素)，w′示先前迭代中的相应重要值(例如，来自w′的对应元素)。d表示学习的网络s在所考虑的像素上的重建损失。为了解决等式(6)中的问题，得到下面的结果。

定理1：考虑约束是一个凸函数，并且f(w^*)最小值时：

w^*＝w′+λ.e^-d(7)

根据定理1，等式(6)中的问题具有eq.(7)的封闭形式解。在等式(7)中，通过在前一迭代中增加重要值w^*的增量来更新重要性w′由于λ.e^-d≥0，这样的更新规则使得能够在每次迭代中逐渐增加重要性。此外，增量是由在对应像素上的预学习模型s的重建损失的减少函数确定的，即，当重构损失大时给出小增量。

c、教师重要性的初始化

为了很好地抑制复杂像素，并在开始时突出简单的像素，建立了以下重要函数：

其中x教师网络定像素和g(x)重构误差(例如，‘2范数’)是相应的重要值。0和0表示该函数中的偏置和尺度参数。一个归一化因子，它将重要性定为[0；1]。

考虑到教师网络和重要性函数g，可以通过解决以下问题来训练网络s

在这里，对于简洁的公式，采用来表示将g应用于xi中每个像素上的的重建误差。

d、自适应重要性学习方案算法

利用替代最小化方案，可以将公式(2)中提出的自适应重要性学习方案的总体优化过程归纳为算法。在开始时，通过给定教师网络初始化的重要向量w来训练网络s(9)。然后，在迭代中进行公式(4)中的学习方案，以逐渐增强s的容量。

算法

algorithm:adaptiveimportancelearning(ail)

input:inputhr-lrtrainingpairspre-trainedteachermodelimportancefunctiong,penaltyfunctionhandλ

1.importanceinitializationfromteacher:

(1)learnimportancewaseq.(9)；

(2)updatemodelparameter

2.adaptiveimportancelearning:

fort←1tot

endfor

output:θ-parameterizedmodels。

e、轻量级sisr模型

sisr模型是由dcnn框架启发的，其中基本模块是卷积层。通过直接减少每个卷积层中的滤波器来定制轻量级网络，以固定比率(例如0＜ρ＜1)来减少输出特征图的量。通过这样做，可以得到具有不同s的不同规模的轻量级网络。采用减少滤波器的方式是为了便于验证所提出的学习方案在增强不同规模的轻量级网络中的有效性。

本发明的基于自适应重要性学习的轻量级图像超分辨率改进方法，与现有技术相比具有如下优点：

(1)提出了一种由简至难的学习策略，称为自适应重要性学习方案，以提高给定轻量级sisr网络体系结构的拟合能力；

(2)通过动态更新图像像素的重要性，网络开始于学习重建容易的像素，然后暴露出越来越复杂的像素进行训练，当学习方案收敛时，拟合能力可以逐渐增强并最终最大化；

(3)学习方案能够无缝地从更强大的学习网络同化知识，以初始化图像像素的重要性，达到更好的初始容量网络，实现超分辨率性能。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。