一种图像处理方法、系统、机器可读介质及设备与流程

本发明涉及图像处理领域，具体涉及一种图像处理方法、系统、机器可读介质及设备。

背景技术：

近年来，光场图像作为一种新兴的有效的摄影技术，因其具有深度估计，重聚焦，角度分辨率高等一系列传统摄影技术无法取得的优点，现在已经在图像处理领域成为了研究热点。不论是在学术领域还是在商业领域，光场都取得了广泛的应用,光场相机的使用场景也越来越多样化。基于光场图像的重聚焦和深度估计已经成为了光场领域的研究热点。一般的，我们获得光场图像，由于光学元件的尺寸限制，获得的图像会存在一定的问题，例如渐晕效应，混叠效应，图像

整体偏暗的问题，图像角度分辨率低，图像空间分辨率较低等。这些问题影响了光场图像的成像质量，也阻碍了光场图像的进一步的商业应用推广。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像处理方法、系统、机器可读介质及设备，用于解决现有技术存在的问题。

为实现上述目的及其他相关目的，本发明提供一种图像处理方法，包括：

基于光场图像的外部相关性对待处理的光场图像进行第一次超分辨率重建，得到第一重建图像；

基于光场图像的内部相关性对第一重建图像进行第二次超分辨率重建，得到第二重建图像。

可选地，将所述待处理的光场图像输入至预先训练得到的第一超分辨率重建模型中，得到第一重建图像。

可选地，将所述第一重建图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

可选地，基于第一重建图像确定目标视角图像；将所述目标视角图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

可选地，基于第一训练集数据对vdsr网络或srcnn网络进行训练得到第一超分辨率重建模型。

可选地，对第一训练集数据或/和待处理光场图像进行一次或多次下采样；对下采样后的第一训练集数据进行一次或多次上采样；所述上采样和下采样的次数相同。

可选地，基于第二训练集数据对mpcnn网络进行训练得到第二超分辨率重建模型。

可选地，获取所述第二训练集数据的方法包括：

获取由第一超分辨率重建模型生成的光场图像；

基于所述光场图像确定目标视角图像；

对目标视角图像进行图像分割，得到若干的图像块；

在每一个图像块的邻域内搜索与每一个图像块相似的相似图像块。

为实现上述目的及其他相关目的，本发明提供一种图像处理系统，包括：

第一分辨率图像重建模块，用于基于光场图像的外部相关性对待处理的光场图像进行第一次超分辨率重建，得到第一重建图像；

第二分辨率图像重建模块，用于基于光场图像的内部相关性对第一重建图像进行第二次超分辨率重建，得到第二重建图像。

可选地，将所述待处理的光场图像输入至预先训练得到的第一超分辨率重建模型中，得到第一重建图像。

可选地，将所述第一重建图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

可选地，基于第一重建图像确定目标视角图像；将所述目标视角图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

可选地，基于第一训练集数据对vdsr网络或srcnn网络进行训练得到第一超分辨率重建模型。

可选地，对第一训练集数据或/和待处理光场图像进行一次或多次下采样；对下采样后的第一训练集数据进行一次或多次上采样；所述上采样和下采样的次数相同。

可选地，基于第二训练集数据对mpcnn网络进行训练得到第二超分辨率重建模型。

可选地，获取所述第二训练集数据的方法包括：

获取由第一超分辨率重建模型生成的光场图像；

基于所述光场图像确定目标视角图像；

对目标视角图像进行图像分割，得到若干的图像块；

在每一个图像块的邻域内搜索与每一个图像块相似的相似图像块。

为实现上述目的及其他相关目的，本发明提供一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。

为实现上述目的及其他相关目的，本发明提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。

如上所述，本发明提供的一种图像处理方法、系统、机器可读介质及设备，具有以下有益效果：

本发明利用图像的内部相关性和外部相关性共同提升光场图像的分辨率，提高了图像的质量。

附图说明

图1为本发明一实施例提供的一种图像处理方法的流程图；

图2为本发明一实施例中搜索到的相似图像块的部分结果示意图；

图3为本发明一实施例中mpcnn视觉质量对比图；

图4为本发明一实施例提供的一种图像处理系统的硬件结构示意图；

图5为本发明一实施例提供的终端设备的硬件结构示意图；

图6为本发明另一实施例提供的终端设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种图像处理方法，用于对光场图像进行超分辨率重建。图像超分辨率重建，是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。可以理解，图像的先验信息可以通过学习获取，在光场图像超分辨这个问题无论是图像的外部先验信息还是光场图像内部的相关性在光场图像超分辨重建中都很重要。图像的外部相关性有助于从一般图像集来实现单张图像的分辨率，而光场图像内部的相关性可以用光场图像其他视角中的细节来增强特定视角的图像细节。

如图1所示，图像处理方法包括：

s11基于光场图像的外部相关性对待处理的光场图像进行第一次超分辨率重建，得到第一重建图像；

s12基于光场图像的内部相关性对第一重建图像进行第二次超分辨率重建，得到第二重建图像。

在一实施例中，将所述待处理的光场图像输入至预先训练得到的第一超分辨率重建模型中，得到第一重建图像。

在一实施例中，先对待处理光场图像进行一次或多次下采样；对下采样后的第一训练集数据进行一次或多次上采样；所述上采样和下采样的次数相同。

本发明是先采用第一超分辨率重建模型对光场图像进行第一次超分辨率重建，然后再利用第一超分辨率重建模型输出的图像进行第二次超分辨率重建，因此第一次超分辨率重建提升图像的质量越高，越有利用第二超分辨率重建。基于此，在一实施例中，采用第一训练集数据对vdsr(verydeepnetworkforsuper-resolution)网络或srcnn(super-resolutionconvolutionalneuralnetwork)网络进行训练得到第一超分辨率重建模型。

srcnn网络包括第一卷积层、第二卷积层和第三卷积层，对于输入的低分辨率图像，第一卷积层提取一组特征，第二卷积层将提取到的特征映射到对应的高分辨率图像，第三卷积层在空间领域内预测出高分辨的图像

vdsr网络将卷积层和激活层反复级联，构成了一个深达20层的卷积神经网络。vdsr网络的输入是经过插值的低分辨率的图像，将学习到的残差加到原始低分辨率图像最终得到高分辨率图像，每层卷积层有64个卷积核，大部分提取的特征经过池化层之后都变为零。

在训练第一超分辨率重建模型过程中，先对第一训练集数据进行一次或多次下采样，然后将下采样的图像进行一次或多次上采样得到与原始图像分辨率相同的模糊图像。

在一实施例中，将所述第一重建图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

具体地，基于第一重建图像确定目标视角图像；将所述目标视角图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

在一实施例中，基于第二训练集数据对mpcnn((multi-patchfusioncnn))网络进行训练得到第二超分辨率重建模型。

第二超分辨率重建模型的训练集数据来源于第一超分辨率重建模型输出的图像。具体地，获取所述第二训练集数据的方法包括：

获取由第一超分辨率重建模型生成的光场图像；

基于所述光场图像确定目标视角图像；

对目标视角图像进行图像分割，得到若干的图像块；

在每一个图像块的邻域内搜索与每一个图像块相似的相似图像块。

在一实施例中，将目标视角图像中的图像块记为(i0,j0)，在(i0,j0)的邻域内搜索与(i0,j0)均方误差最小的图像块，这个均方误差最小的图像块，即为相似图像块。

本发明通过寻找目标视角图像中的图像块的相似块的过程实示上是一个视差校准的程，通过搜寻相似块来消除了图像块之间的整像素或亚像素的偏移问题，能够加快超分辨率的计算速度。

图2为搜索到的相似图像块的部分结果示意图。该图的第一列是从目标视角的原始高清图像上取出的参考标准，第二列结果是在vdsr网络之后与第一列相对应的图像块，最后九列图像块是以第二例图像块为基准，在其他视角搜索到的相似图像块。

从图2可以看出，搜寻到的相似块在视觉上几乎看不出太大的区别。很明显第一列所对应的图像块是最清晰的，其余十列所对应的图像块相对模糊。mpcnn网络的输入就是后面的十列图像块，这10个相似块所对应的标签(label)就是第一列图像块。除了肉眼，从具体的均方误差上看，这些图像块的差别也很小。

在光场图像超分辨重建领域，评价图像的指标主要有峰值信噪比(psnr)，结构相似性(ssim)，还有主观的视觉质量。虽然psnr是目前最广泛使用的评价图像的客观标准，但是它主要描绘的是图像整体相对于原图的误差。人眼除了对亮度敏感，对图像的结构性相似程度以及梯度大的边缘线条也很也很明感，ssim从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合，由于ssim的出色表现，得到了人们越来越多的关注。

表1

表1为放大倍数为2，3的mpcnn在部分光场数据集上psnr对比结果，motor(ds)是将motor下采样获得的光场数据。

从表1可以看到，发现无论是利用图像的外部相关性(vdsr)，还是利用图像的内部相关性(mpcnn)，都对光场图像最后的成像质量有所帮助。

在图3中，用方框圈出来的是对比视觉质量的局部图像，为了看的更加清晰，在图的右下角将这些小图放大。可以看到，从视觉质量上而言，mpcnn相比于vdsr与intervdsr相比取得了最好的效果，图像在高频细节上恢复的更加出色，细节更加清晰。

本发明能够对任意空间分辨率、任意角度分辨率的图像进行超分辨率重建，从客观指标(psnrssim)和主观指标都达到了较好的效果。

本发明提供一种图像处理系统，用于对光场图像进行超分辨率重建。图像超分辨率重建，是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。可以理解，图像的先验信息可以通过学习获取，在光场图像超分辨这个问题无论是图像的外部先验信息还是光场图像内部的相关性在光场图像超分辨重建中都很重要。图像的外部相关性有助于从一般图像集来实现单张图像的分辨率，而光场图像内部的相关性可以用光场图像其他视角中的细节来增强特定视角的图像细节。

如图4所示，图像处理系统包括：

第一分辨率图像重建模块41，用于基于光场图像的外部相关性对待处理的光场图像进行第一次超分辨率重建，得到第一重建图像；

第二分辨率图像重建模块42，用于基于光场图像的内部相关性对第一重建图像进行第二次超分辨率重建，得到第二重建图像。

在一实施例中，将所述待处理的光场图像输入至预先训练得到的第一超分辨率重建模型中，得到第一重建图像。

在一实施例中，先对待处理光场图像进行一次或多次下采样；对下采样后的第一训练集数据进行一次或多次上采样；所述上采样和下采样的次数相同。

本发明是先采用第一超分辨率重建模型对光场图像进行第一次超分辨率重建，然后再利用第一超分辨率重建模型输出的图像进行第二次超分辨率重建，因此第一次超分辨率重建提升图像的质量越高，越有利用第二超分辨率重建。基于此，在一实施例中，采用第一训练集数据对vdsr(verydeepnetworkforsuper-resolution)网络或srcnn(super-resolutionconvolutionalneuralnetwork)网络进行训练得到第一超分辨率重建模型。

srcnn网络包括第一卷积层、第二卷积层和第三卷积层，对于输入的低分辨率图像，第一卷积层提取一组特征，第二卷积层将提取到的特征映射到对应的高分辨率图像，第三卷积层在空间领域内预测出高分辨的图像

vdsr网络将卷积层和激活层反复级联，构成了一个深达20层的卷积神经网络。vdsr网络的输入是经过插值的低分辨率的图像，将学习到的残差加到原始低分辨率图像最终得到高分辨率图像，每层卷积层有64个卷积核，大部分提取的特征经过池化层之后都变为零。

在训练第一超分辨率重建模型过程中，先对第一训练集数据进行一次或多次下采样，然后将下采样的图像进行一次或多次上采样得到与原始图像分辨率相同的模糊图像。

在一实施例中，将所述第一重建图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

具体地，基于第一重建图像确定目标视角图像；将所述目标视角图像输入至预先训练得到的第二超分辨率重建模型中，得到第二重建图像。

在一实施例中，基于第二训练集数据对mpcnn((multi-patchfusioncnn))网络进行训练得到第二超分辨率重建模型。

第二超分辨率重建模型的训练集数据来源于第一超分辨率重建模型输出的图像。具体地，获取所述第二训练集数据的方法包括：

获取由第一超分辨率重建模型生成的光场图像；

基于所述光场图像确定目标视角图像；

对目标视角图像进行图像分割，得到若干的图像块；

在每一个图像块的邻域内搜索与每一个图像块相似的相似图像块。

在一实施例中，将目标视角图像中的图像块记为(i0,j0)，在(i0,j0)的邻域内搜索与(i0,j0)均方误差最小的图像块，这个均方误差最小的图像块，即为相似图像块。

本发明通过寻找目标视角图像中的图像块的相似块的过程实示上是一个视差校准的程，通过搜寻相似块来消除了图像块之间的整像素或亚像素的偏移问题，能够加快超分辨率的计算速度。

图2为搜索到的相似图像块的部分结果示意图。该图的第一列是从目标视角的原始高清图像上取出的参考标准，第二列结果是在vdsr网络之后与第一列相对应的图像块，最后九列图像块是以第二例图像块为基准，在其他视角搜索到的相似图像块。

从图2可以看出，搜寻到的相似块在视觉上几乎看不出太大的区别。很明显第一列所对应的图像块是最清晰的，其余十列所对应的图像块相对模糊。mpcnn网络的输入就是后面的十列图像块，这10个相似块所对应的标签(label)就是第一列图像块。除了肉眼，从具体的均方误差上看，这些图像块的差别也很小。

在光场图像超分辨重建领域，评价图像的指标主要有峰值信噪比(psnr)，结构相似性(ssim)，还有主观的视觉质量。虽然psnr是目前最广泛使用的评价图像的客观标准，但是它主要描绘的是图像整体相对于原图的误差。人眼除了对亮度敏感，对图像的结构性相似程度以及梯度大的边缘线条也很也很明感，ssim从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合，由于ssim的出色表现，得到了人们越来越多的关注。

表2

表2为放大倍数为2，3的mpcnn在部分光场数据集上psnr对比结果，motor(ds)是将motor下采样获得的光场数据。

从表1可以看到，发现无论是利用图像的外部相关性(vdsr)，还是利用图像的内部相关性(mpcnn)，都对光场图像最后的成像质量有所帮助。

在图3中，用方框圈出来的是对比视觉质量的局部图像，为了看的更加清晰，在图的右下角将这些小图放大。可以看到，从视觉质量上而言，mpcnn相比于vdsr与intervdsr相比取得了最好的效果，图像在高频细节上恢复的更加出色，细节更加清晰。

本发明能够对任意空间分辨率、任意角度分辨率的图像进行超分辨率重建，从客观指标(psnrssim)和主观指标都达到了较好的效果。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，movingpictureexpertsgroupaudiolayeriii)播放器、mp4(动态影像专家压缩标准语音层面4，movingpictureexpertsgroupaudiolayeriv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(centralprocessingunit，简称cpu)、应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中，该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登录gprs网络，通过互联网与服务器建立通信。

由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。