一种图像处理方法、装置及设备与流程

本发明属于图像处理技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术：

目前超分辨图像处理技术有着非常广阔的应用，例如在图像传输方面，可以把图像在输入端进行降维处理，之后在输出端通过超分辨技术进行升维度处理，这样传输的数据量就能得到很大程度的降低，有利于提高传输速度和缓解网络传输压力；在图像存储方面，可以把图向进行降维处理之后储存，这样图片的大小将会降低，从而缓解储存的压力，待查看和应用这些图像的时候，再通过超分辨技术将这些图像进行升维处理，补充图片细节，得到高维度的图片。

超分辨方法的核心是低分辨率图像到高分辨率图像的拟合。随着深度学习技术的不断发展，一些超分辨方法把神经网络应用于求解拟合函数中，使超分辨的效果得到了很大程度的提高。通过在训练过程中最小化生成的超分辨率图和原高分辨率图之间的差别，神经网络中的参数得以被训练，通过训练后的神经网络能够生成高质量的超分辨图像。如何衡量两图之间的差别是非常重要的，决定了生成的超分辨率图像的质量。

现有的超分辨方法在衡量超分辨率图和原高分辨率图之间差别的时候，大都是在像素级别进行比较。例如，原高分辨率图为a，降维以后的低分辨图为b，通过超分辨技术生成的超分辨率图为c。在训练神经网络的过程中，损失函数定义为均方差(mse，meansquareerror)的形式，计算公式如下：

其中，a和b为图像的高度和宽度。(x,y)为图像的位置坐标。以mse来定义损失函数，有利于在评估算法的时候得到很好的psnr(peaksignaltonoiseratio，峰值信噪比)值。但是也存在着如下问题：

在像素级别对图像进行比较不完全符合人眼的视觉规律。因为图像中不同的部分，因为其位置，内容，色彩等多种因素综合作用，对人眼感官起到的作用也是完全不同的。例如，绿色背景和鸟对于人眼的影响程度肯定不同，对于绿色背景，我们即使只是用简单的bilinear(bilinearinterpolation，双线性插值)或者bicubic(bicubicinterpolation，双三次插值)进行插值计算，人眼也不会感知到多大的不同。但是鸟的位置却不同，在图像超分过程中，对鸟的细节的保留和还原程会极大程度得影响人眼对整张图片的感觉，而传统使用的以mse作为损失函数训练神经网络，没有考虑到各个位置的重要程度的差别，而是统一处理，使得基于mse的损失函数的超分辨方法生成的超分辨图的质量无法得到保证。

技术实现要素：

有鉴于此，本发明实施例提供了一种图像处理方法、装置及设备，以解决现有超分辨技术中图像处理效率低，图片质量低的问题。

本发明实施例的第一方面提供了一种图像处理方法，包括：

基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数；

利用所述损失函数对神经网络模型进行训练；

将待处理图像输入经训练后的神经网络模型，生成所述待处理图像的超分辨图像。

本发明实施例的第二方面提供了一种图像处理装置，包括：

损失函数建立单元，用于基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数；

神经网络模型训练单元，用于利用所述损失函数对神经网络模型进行训练；

超分辨图像生成单元，用于将待处理图像输入经训练后的神经网络模型，生成所述待处理图像的超分辨图像。

本发明实施例的第三方面提供了一种图像处理设备，包括：

存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明实施例的第一方面提供的图像处理方法的步骤。

其中，所述计算机程序包括：

损失函数建立单元，用于基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数；

神经网络模型训练单元，用于利用所述损失函数对神经网络模型进行训练；

超分辨图像生成单元，用于将待处理图像输入经训练后的神经网络模型，生成所述待处理图像的超分辨图像。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明实施例的第一方面提供的图像处理方法的步骤。

其中，所述计算机程序包括：

损失函数建立单元，用于基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数；

神经网络模型训练单元，用于利用所述损失函数对神经网络模型进行训练；

超分辨图像生成单元，用于将待处理图像输入经训练后的神经网络模型，生成所述待处理图像的超分辨图像。

本发明实施例与现有技术相比存在的有益效果是：通过基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数，并在利用改损失函数对神经网络模型进行训练后，将待处理图像输入经训练后的神经网络模型，生成该待处理图像的超分辨图像，能够实现对待处理图像的超分辨处理。本发明实施例将注意力模型的注意力焦点即权重值引入到构造损失函数的过程中，通过改善损失函数来改善神经网络模型中的超分辨算法，对于图像中权重值较大的位置补充更多的细节，从而能够帮助提高图像质量，得到更加符合人眼视觉规律的超分辨图像，使生成的超分辨图像的质量稳定性得到提升。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理方法的实现流程图；

图2是本发明实施例提供的一种校准注意力模型的方法的具体实现流程图；

图3是本发明实施例提供的一种基于注意力模型计算样本图像的权重值的方法的具体实现流程图；

图4是本发明实施例提供的一种对神经网络模型的参数进行调整的方法的具体实现流程图；

图5是本发明实施例提供的一种图像处理装置的示意图；

图6是本发明实施例提供的一种图像处理设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。请参考图1，图1示出了本发明实施例提供的一种图像处理方法的实现流程，详述如下：

在步骤s101中，基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数。

在本发明实施例中，注意力模型用于模拟人们对事物的关注过程，具体用于模拟人眼视觉系统对于图像中不同事物的注意力的预测，也就是用于注意力预估，得到人眼对图像中不同位置的关注程度。

在这里，注意力模型在处理图像时，使用卷积神经网络的计算量随着图片像素的增加而线性增加，如果参考人的视觉，有选择地分配注意力，就能选择性地从图片或视频中提取一系列的区域，也就是我们所要重点关注的区域，不同的图像区域因注意力焦点的不同，其所具有的权重值也不尽相同。举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注并不是均衡的，而是有一定的权重区分的，对于图像中不同位置的关注度，也就是人眼的视觉规律，注意力模型也就是模拟人眼对图像的不同位置的关注过程。

在这里，当将样本图像输入到该注意力模型中，就可以得到该样本图像的权重值mb，基于该权重值mb，重构损失函数，以使得最终得到的超分辨图像的图像质量更佳，并且更加符合人眼的视觉规律，用户体验更好。

在本发明实施例中，损失函数(lossfunction)是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，损失函数越小，模型的准确度越高。本发明实施例中所建立的损失函数具体如下：

其中，a表示第一图像，c表示第二图像，a(x,y)表示第一图像在位置(x,y)的强度值，c(x,y)表示第二图像在位置(x,y)的强度值；a和b表示图像的高度和宽度；m表示超分辨系数，比如m＝2，那么图像大小扩大为原来的4倍；若m＝3，那么图像大小扩大为原来的9倍；mb(x,y)表示图像在位置(x,y)的权重值，即位置(x,y)的重要性，其是基于注意力模型计算得到的一个权重值，图像中的所有位置坐标(x,y)的权重值构成了整幅图像的权重值mb；其中第一图像为原始图像；第二图像为在训练过程中将所述原始图像对应的低分辨率图像输入所述神经网络模型后，所述神经网络模型输出的图像。

可以理解的，这里的注意力模型所输出的图像为权重图，该权重图中每个位置都会有一个对应的权重值来代表此位置的重要程度，所有位置对应的权重值构成了这个权重图的权重值。借助于这个权重图，我们对现有的损失函数进行了改进，建立了上述损失函数loss(a,c)，从而适应性的对于图像中的不同位置进行不同的处理，基于该图像中不同位置不同的权重值，进而可以给到神经网络模型更加精准的指导，使得最终所得到的图像的质量更佳，并且更加符合人眼的视觉规律，用户体验更好。

可以理解的是，在本发明实施例中的第一图像和第二图像的大小是一致的，以保证两者能够更好地进行区别，从而能够根据该区别对神经网络模型进行调整，通过对该神经网络模型的不断训练，使得第一图像和第二图像不断的逼近，从而提高最终生成的超分辨图像的质量。也就是说，通过对比第一图像和第二图像的区别，对神经网络模型中的超分辨算法的效果进行评估，使得神经网络模型最终生成的超分辨图像的质量更佳。

在步骤s102中，利用所述损失函数对神经网络模型进行训练。

在本发明实施例中，神经网络模型中包括但不限于卷积神经网络cnn、循环神经网络rnn。

可选的，步骤s102具体为：

基于所建立的损失函数，对神经网络模型中的每一个参数进行矫正并训练。

在本发明实施例中，基于所建立的损失函数，通过梯度下降法，使得该损失函数能够作用于神经网络模型中的每一个参数，并对这些参数进行矫正和训练。进一步的，基于误差反向传播算法，通过梯度下降法计算出当前误差对于每一个参数的矫正，遵循该矫正，对整个神经网络模型的每一个参数进行调节，使得整个神经网络模型的误差不断减少，从使得第一图像和第二图像不断地逼近。比如，如果图像a和图像c很相近，基于该损失函数得到的损失值loss就比较小，在误差反向传播过程中，对于深度神经网络的矫正作用就比较小；如果图像a和图像c差别很大，那么基于该损失函数得到的损失值loss就比较大，在误差反向传播过程中，神经网络模型中的参数向着损失减少的反向被大幅度的矫正，通过该神经网络模型的不断训练，就可以使得图像a和图像c不断逼近。

在这里，通过所建立的损失函数对神经网络模型进行训练，使得该神经网络模型能够针对权重值较大的对应的图像位置补充更多的细节，使得该位置的图像质量更好，而对于权重值较小的图像位置不给予较多的关注，或者不需要对该位置进行细节补充，从而使得经训练后的神经网络模型能够快速的进行超分运算，得到图像质量较佳的图像，使生成的超分辨图像的质量稳定性得到提升，并且该图像为更加符合人眼视觉规律的超分辨图像，使得用户体验更好。

在步骤s103中，将待处理图像输入经训练后的神经网络模型，生成所述待处理图像的超分辨图像。

在本发明实施例中，待处理图像为需要通过超分率技术进行像素质量提高的图像，包括但不限于低分辨图像、老电影、监控图像。

待处理图像为需要进行超分辨处理的图像。将待处理图像输入训练后的神经网络模型，可以生成待处理图像的超分辨图像，提升图像的质量，由于该神经网络模型经过了基于注意力模型所建立的损失函数进行的矫正训练，使得经由神经网络模型所得到的超分辨图像的质量非常高，而且所得到的超分辨图像更符合人眼视觉规律，扩宽了超分辨技术的应用场景。

可以理解的是，在神经网络模型中输入的低分辨率图像和最终输出的超分辨图像两者的大小是不一致的，低分辨率图像经过神经网络模型进行超分处理后输出与原始图像大小一致的超分辨图像。

在本发明实施例中，通过基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数，并在利用改损失函数对神经网络模型进行训练后，将待处理图像输入经训练后的神经网络模型，生成该待处理图像的超分辨图像，能够实现对待处理图像的超分辨处理。本发明实施例将注意力模型的注意力焦点即权重值引入到构造损失函数的过程中，通过改善损失函数来改善神经网络模型中的超分辨算法，对于图像中权重值较大的位置补充更多的细节，从而能够帮助提高图像质量，得到更加符合人眼视觉规律的超分辨图像，使生成的超分辨图像的质量稳定性得到提升。

可选的，在步骤s101之前，本发明实施例还提供了如图2所述的一种校准注意力模型的方法的具体实现流程，详述如下：

在步骤s201中，构建注意力模型。

在本发明实施例中，利用注意力模型模拟人眼视觉系统对于图像中不同事物的关注程度，首先构建注意力模型。注意力模型为能够预测图像中不同位置注意力强度的注意力模型，即基于图像的不同位置对于人眼的吸引力的不同来构建注意力模型。

在步骤s202中，获取样本图像，将所述样本图像输入到眼动仪中，得到所述样本图像对应的热点图。

在本发明实施例中，样本图像为选取的用于训练注意力模型的图像。在将该样本图像输入到注意力模型中之前，获取该样本图像的权重参考值，样本图像的权重参考值具体为通过眼动仪得到热点图后，将该热点图进行量化后所得到得每个位置的权重值，整体构成了整个样本图像的权重值参考值。

在这里，样本图像中可以包括至少一组图像，每组图像包括一个原始图像该原始图像为高分辨率的图像，用于与神经网络模型输出的图像进行对比，从而对神经网络模型的效果进行评估。

在这里，眼动仪主要是通过采集人眼视线的运动轨迹来帮助采集图像中哪些点比较容易被人关注，从而确定人眼对图像的关注点。比如，人员对于某一位置很关注，人眼在这个位置停留的时间就会更长，这时，眼动仪所采集到的数据中，这个位置就会有很多的采集点，这些采集点相应的构成了图像的一个热点，或者说这个位置就是图像的一个热点。借助于眼动仪，获得样本图像的多个热点区域，基于这些热点区域构成了热点图，也就是获得了样本图像对应的热点图。

在步骤s203中，根据预设量化公式对所述热点图进行量化处理，得到权重参考值mlabel。

在本发明实施例中，对热点图进行量化处理的过程为按照下述量化公式对热点图进行量化计算，该量化公式为：

mlabel(x,y)＝∑∑(hm(x,y)-(min(hm))/(max(hm)-min(hm))

其中，mlabel(x,y)表示在位置(x,y)的热点图hm的权重参考值，mlabel表示整个热点图的权重参考值；hm(x,y)表示在位置(x,y)的热点图hm。

在这里，权重参考值mlabel主要作为对注意力模型进行校准的一个参考值，与将样本图像直接输入注意模型中得到的权重值mb进行比较，根据两者之间的差别对注意力模型进行训练以达到校准的目的，从而使得该注意力模型能够更好地模拟人眼视觉系统对于注意的预测，提高模拟的精确度。

在步骤s204中，将所述样本图像输入到所述注意力模型中，得到所述样本图像的权重值mb。

在本发明实施例中，注意力模型进行校准前，其根据所输入的样本图像会得到该样本图像对应的权重值mb，但由于各种原因，该权重值mb可能并不一定是最适合人眼视觉系统的关注点，需要根据权重参考值mlabel对注意力模型中的参数进行矫正，以使得注意力模型能够更好地模拟人眼视觉系统对于注意的预测，提高模拟的精确度。

在步骤s205中，以所述权重参考值mlabel为参考值，根据所述权重参考值mlabel和权重值mb的差别，对所述注意模型中的参数进行微调校准，得到校准后的注意力模型。

在本发明实施例中，以基于眼动仪所得到的权重参考值mlabel为参考值，确定注意力模型对当前输入的样本图像所得到的权重值mb与权重参考值mlabel的差别，对注意力模型中的参数进行微调和校准，从而得到校准后的注意力模型，使得后续基于该注意模型所建立的损失函数能够更好地矫正神经网络模型中的参数，提高图像超分的效果。

可选的，步骤s204的具体实现流程请参考图3，本发明实施例提供了如图3所示的一种基于注意力模型计算样本图像的权重值的具体实现流程，详述如下：

在步骤s301中，对所述样本图像进行维度降低处理，得到对应的低分辨率图像。

在本发明实施例中，对样本图像进行维度降低处理的目的是为了得到低分辨率图像，以便于注意力模型能够快速地处理该低分辨率图像得到对应的权重值ms。

在步骤s302中，将所述低分辨率图像输入到所述注意力模型中，得到所述低分辨率图像的权重值ms。

在本发明实施例中，因为注意力模型对图像的像素要求并不是很高，所以将低分辨率图像输入到注意力模型后，注意力模型能够快速地得到该低分辨率图像对应的权重值ms，也就是说权重值ms对应为低分辨率图像在位置的注意力焦点的预估值。

可以理解的是，由于低分辨率图像的像素较低，其图像大小也是经过压缩后的小图像，因此，低分辨率图像中的像素点的位置相应的减少了很多，使得图像处理的过程非常的快，虽然图像处理的过程非常快，但也并没有忽略了图像中不同位置的注意力焦点，也就是低分率图像中在位置(x,y)的权重值，与样本图像或者超分辨图像的权重值是一样的。

在步骤s303中，根据所述权重值ms，通过双三次插值算法来对所述低分辨率图像进行维度升高处理，得到对应的高分辨率图像的权重值mb。

在本发明实施例中，双三次插值算法是一种更加复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘。双三次插值算法通常运用在一部分图像处理软件、打印机驱动程序和数码相机中，对原图像或原图像的某些区域进行放大。

在这里，虽然低分率图像中在位置(x,y)的权重值，与样本图像或者超分辨图像的权重值是一样的，但由于其与样本图像或者超分辨图像的大小并不相同，也就说所包含的像素点数量并不相同，如果仅用低分辨率图像的权重值ms作为样本图像的权重值mb，与权重参考值mlabel进行比较，两者的差异会非常大，导致最终得到的结果并不准确，因而需要根据所述权重值ms，通过双三次插值算法来对所述低分辨率图像进行维度升高处理，得到对应的高分辨率图像的权重值mb，从而再比较权重值和mbmlabel两者的差别，对注意力模型进行校准，使得所得到的该注意力模型能够更好地模拟人眼视觉系统对于注意的预测，提高了模拟的精确度。

可以理解的是，样本图像的大小和超分辨图像的大小是一样的，这样两者才具有可比性，通过比较两者的差别，从而能够更好地对神经网络模型中的超分辨算法的效果进行评估。也就是说，在通过注意力模型得到样本图像的权重值的过程中，输入和输出的图像是大小相同的两幅图像，即该两幅图像具有相同的维度，位置上具有一一对应的关系，通过比较两者的差别，可以更好地对神经网络模型中的超分辨算法的效果进行评估。

可选的，在步骤s303之后，本发明实施例还提供了如图4所示的一种对神经网络模型的参数进行调整的方法的具体实现流程，详述如下：

在步骤s401中，将所述低分辨率图像输入所述神经网络模型，获取所述神经网络模型输出的第三图像。

在本实施例中，第三图像为神经网络模型对低分辨图像进行超分辨处理后输出的图像。例如，可以将一张高质量的高分辨率图像(图像a)进行降低维度的方法来获取低分辨率的图像(图像b)，并把图像b作为神经网络模型的输入。这样，在通过神经网络模型得到一张高质量、高分辨率的图像(图像c)后，就可以通过对比图像a与图像c之间的差别，对于神经网络模型的效果进行评估。其中图像a相当于原始图像，图像b相当于原始图像对应的低分辨率图像，图像c相当于第三图像。

在步骤s402中，将所述低分辨率图像对应的原始图像输入到经校准后的注意力模型中，得到所述原始图像的权重值mb。

在步骤s403中，根据所述低分辨率图像对应的原始图像的图像信息、所述第三图像的图像信息、所述权重值mb和所述损失函数计算第一数值，所述第一数值为当前神经网络模型对应的损失函数数值。

在本发明实施例中，图像信息可以包括图像的像素个数及各个像素的位置信息。根据原始图像和第三图像的图像信息，以及所述原始图像的权重值mb，代入所述损失函数中可以计算出第一数值，第一数值可以表征原始图像和第三图像的相似程度，从而反映当前神经网络模型的超分辨效果。

在步骤s404中，根据所述第一数值对所述神经网络模型的参数进行调整。

在本实施例中，可以根据第一数值对神经网络模型的参数进行调整。例如，可以通过梯度下降法将损失函数作用于网络中的每一个参数，从而对各个参数的值进行矫正。在反向传播过程中，通过梯度下降计算出当前误差对于每一个参数的矫正作用。遵循此矫正，对于整个网络模型的参数进行调节，使整个网络模型的误差不断减少。

举例来说，如果原始图像和第三图像很相近，那么第一数值就比较小，在误差反向传播过程中对网络参数的矫正作用会比较小；如果原始图像和第三图像差别很大，那么第一数值就比较大，在误差反向传播过程中将网络参数向着损失减少的方向被大幅度得矫正。因此，通过对神经网络模型的训练，可以使得原始图像和第三图像更为逼近。

本实施例通过将低分辨率图像输入神经网络模型得到的第三图像，将低分辨率图像对应的原始图像输入注意力模型得到的权重值mb，根据原始图像和第三图像计算损失函数的值，再对神经网络模型的参数进行调整，能够使网络参数更适于对图像进行超分辨处理，实现对神经网络模型的训练，从而提高神经网络模型生成的超分辨图像的质量。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的一种图像处理方法，图5示出了本发明实施例提供的一种图像处理装置的示意图，为了便于说明，仅示出了与本发明实施例相关的部分。

参照图5，该装置包括：

损失函数建立单元51，用于基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数；

神经网络模型训练单元52，用于利用所述损失函数对神经网络模型进行训练；

超分辨图像生成单元53，用于将待处理图像输入经训练后的神经网络模型，生成所述待处理图像的超分辨图像。

可选的，所述损失函数为：

其中，a表示第一图像，c表示第二图像，a(x,y)表示第一图像在位置(x,y)的强度值，c(x,y)表示第二图像在位置(x,y)的强度值；a和b表示图像的高度和宽度；m表示超分辨系数；mb(x,y)表示图像在位置(x,y)的权重值，图像中的所有位置坐标(x,y)的权重值构成了整幅图像的权重值mb；其中第一图像为原始图像；第二图像为在训练过程中将所述原始图像对应的低分辨率图像输入所述神经网络模型后，所述神经网络模型输出的图像。

可选的，所述装置还包括：

注意力模型构建单元，用于构建注意力模型；

热点图获取单元，用于获取样本图像，将所述样本图像输入到眼动仪中，得到所述样本图像对应的热点图；

量化处理单元，用于根据预设量化公式对所述热点图进行量化处理，得到权重参考值mlabel；

权重值mb计算单元，用于将所述样本图像输入到所述注意力模型中，得到所述样本图像的权重值mb；

注意力模型校准单元，用于以所述权重参考值mlabel为参考值，根据所述权重参考值mlabel和权重值mb的差别，对所述注意模型中的参数进行微调校准，得到校准后的注意力模型。

可选的，所述权重值计算单元包括：

图像降维处理子单元，用于对所述样本图像进行维度降低处理，得到对应的低分辨率图像；

权重值ms计算子单元，用于将所述低分辨率图像输入到所述注意力模型中，得到所述低分辨率图像的权重值ms；

第一权重值mb计算子单元，用于根据所述权重值ms，通过双三次插值算法来对所述低分辨率图像进行维度升高处理，得到对应的高分辨率图像的权重值mb。

可选的，所述神经网络模型训练单元52包括：

第三图像输出子单元，用于将所述低分辨率图像输入所述神经网络模型，获取所述神经网络模型输出的第三图像；

第二权重值mb计算子单元，用于将所述低分辨率图像对应的原始图像输入到经校准后的注意力模型中，得到所述原始图像的权重值mb；

第一数值计算子单元，用于根据所述低分辨率图像对应的原始图像的图像信息、所述第三图像的图像信息、所述权重值mb和所述损失函数计算第一数值，所述第一数值为当前神经网络模型对应的损失函数数值；

参数调整子单元，用于根据所述第一数值对所述神经网络模型的参数进行调整。

可选的，所述神经网络模型训练单元52具体用于：

基于所述损失函数，通过梯度下降法对所述神经网络模型中的每一个参数的值进行矫正。

在本发明实施例中，通过基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数，并在利用改损失函数对神经网络模型进行训练后，将待处理图像输入经训练后的神经网络模型，生成该待处理图像的超分辨图像，能够实现对待处理图像的超分辨处理。本发明实施例将注意力模型的注意力焦点即权重值引入到构造损失函数的过程中，通过改善损失函数来改善神经网络模型中的超分辨算法，对于图像中权重值较大的位置补充更多的细节，从而能够帮助提高图像质量，得到更加符合人眼视觉规律的超分辨图像，使生成的超分辨图像的质量稳定性得到提升。

图6是本发明一实施例提供的一种图像处理设备的示意图。如图6所示，该实施例的图像处理设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个图像处理方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器60执行所述计算机程序62时实现上述各系统实施例中各单元的功能，例如图5所示模块51至53的功能。

示例性的，所述计算机程序62可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述图像处理设备6中的执行过程。例如，所述计算机程序62可以被分割成损失函数建立单元51、神经网络模型训练单元52、超分辨图像生成单元53，各单元具体功能如下：

损失函数建立单元51，用于基于注意力模型对图像中不同位置的注意力焦点所得到的权重值，建立损失函数；

神经网络模型训练单元52，用于利用所述损失函数对神经网络模型进行训练；

超分辨图像生成单元53，用于将待处理图像输入经训练后的神经网络模型，生成所述待处理图像的超分辨图像。

可选的，所述损失函数为：

其中，a表示第一图像，c表示第二图像，a(x,y)表示第一图像在位置(x,y)的强度值，c(x,y)表示第二图像在位置(x,y)的强度值；a和b表示图像的高度和宽度；m表示超分辨系数；mb(x,y)表示图像在位置(x,y)的权重值，图像中的所有位置坐标(x,y)的权重值构成了整幅图像的权重值mb；其中第一图像为原始图像；第二图像为在训练过程中将所述原始图像对应的低分辨率图像输入所述神经网络模型后，所述神经网络模型输出的图像。

可选的，所述装置还包括：

注意力模型构建单元，用于构建注意力模型；

热点图获取单元，用于获取样本图像，将所述样本图像输入到眼动仪中，得到所述样本图像对应的热点图；

量化处理单元，用于根据预设量化公式对所述热点图进行量化处理，得到权重参考值mlabel；

权重值mb计算单元，用于将所述样本图像输入到所述注意力模型中，得到所述样本图像的权重值mb；

注意力模型校准单元，用于以所述权重参考值mlabel为参考值，根据所述权重参考值mlabel和权重值mb的差别，对所述注意模型中的参数进行微调校准，得到校准后的注意力模型。

可选的，所述权重值计算单元包括：

图像降维处理子单元，用于对所述样本图像进行维度降低处理，得到对应的低分辨率图像；

权重值ms计算子单元，用于将所述低分辨率图像输入到所述注意力模型中，得到所述低分辨率图像的权重值ms；

第一权重值mb计算子单元，用于根据所述权重值ms，通过双三次插值算法来对所述低分辨率图像进行维度升高处理，得到对应的高分辨率图像的权重值mb。

可选的，所述神经网络模型训练单元52包括：

第三图像输出子单元，用于将所述低分辨率图像输入所述神经网络模型，获取所述神经网络模型输出的第三图像；

第二权重值mb计算子单元，用于将所述低分辨率图像对应的原始图像输入到经校准后的注意力模型中，得到所述原始图像的权重值mb；

第一数值计算子单元，用于根据所述低分辨率图像对应的原始图像的图像信息、所述第三图像的图像信息、所述权重值mb和所述损失函数计算第一数值，所述第一数值为当前神经网络模型对应的损失函数数值；

参数调整子单元，用于根据所述第一数值对所述神经网络模型的参数进行调整。

可选的，所述神经网络模型训练单元52具体用于：

基于所述损失函数，通过梯度下降法对所述神经网络模型中的每一个参数的值进行矫正。

所述图像处理设备6可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是图像处理设备6的示例，并不构成对图像处理设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61可以是所述图像处理设备6的内部存储单元，例如图像处理设备6的硬盘或内存。所述存储器61也可以是所述图像处理设备6的外部存储设备，例如所述图像处理设备6上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器61还可以既包括所述图像处理设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的系统/图像处理设备和方法，可以通过其它的方式实现。例如，以上所描述的系统/图像处理设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，系统或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。