图像处理方法、装置、终端和存储介质与流程

本发明涉及图像处理领域，具体涉及一种图像处理方法、装置、终端和存储介质。

背景技术：

近年来传感器技术不断发展，图像传感器的侦测精度以及所生成图像的分辨率都在提高，比如，在文物修补领域，高清相机可以采集文物古迹的高分辨率高清图像，例如，敦煌壁画的高分辨率相片、书画作品的大尺寸相片，等等。

然而，目前采用人工手工处理图像的方式效率低下，计算机也很难针对这些高分辨率、大尺寸图像的图像进行有效的图像处理，因此，目前图像处理方法所生成图像的图像质量低下。

技术实现要素：

本发明实施例提供一种图像处理方法、装置、终端和存储介质，可以提升图像处理方法所生成图像的图像质量。

本发明实施例提供一种图像处理方法，包括：

获取待处理图像，所述待处理图像包括待处理区域和参考区域；

基于所述参考区域对所述待处理图像进行边缘信息预测，得到所述待处理图像对应的边缘信息；

根据所述边缘信息对待处理图像的待处理区域进行图像编辑，得到所述待处理图像的整体预测图像；

对所述整体预测图像进行局部选取，得到所述整体预测图像的局部图像，所述局部图像包括局部待处理区域和局部参考区域；

基于所述局部参考区域对所述局部图像的局部待处理区域进行图像细节预测，得到所述局部图像的细节预测图像；

根据所述整体预测图像和细节预测图像生成结果图像。

在一些实施例中，所述获取待处理图像之后，还包括：

获取图像处理模型集合；

对所述待处理图像进行风格判断处理，确定所述待处理图像的图像风格；

根据所述图像风格在所述图像处理模型集合中确定目标图像处理模型；

基于所述目标图像处理模型来基于所述参考区域对所述待处理图像进行边缘信息预测，得到所述待处理图像对应的边缘信息，再根据所述边缘信息对待处理图像的待处理区域进行图像编辑，得到所述待处理图像的整体预测图像，再对所述整体预测图像进行局部选取，得到所述整体预测图像的局部图像，其中，所述局部图像包括局部待处理区域和局部参考区域，再基于所述局部参考区域对所述局部图像的局部待处理区域进行图像细节预测，得到所述局部图像的细节预测图像，最后根据所述整体预测图像和细节预测图像生成结果图像。

在一些实施例中，获取图像处理模型集合，包括：

获取初始模型和训练样本组，所述训练样本组中包括多个相同风格的训练样本；

采用所述训练样本组对所述初始模型进行训练，得到训练后的图像处理模型，所述训练后的图像处理模型包括边缘预测网络、颜色填充网络；

将所述图像处理模型标注为所述训练样本组的风格，并将所述标注了风格的图像处理模型置于图像处理模型集合。

在一些实施例中，所述训练后的图像处理模型还包括评分网络。

在一些实施例中，所述训练后的图像处理模型还包括分辨率重建网络。

在一些实施例中，所述基于所述参考区域对所述待处理图像进行边缘信息预测，得到所述待处理图像对应的边缘信息，包括：

基于所述参考区域对所述待处理图像进行边缘信息预测，得到所述待处理图像对应的待处理边缘信息；

对所述待处理边缘信息进行人工编辑处理，得到所述待处理图像对应的边缘信息。

本发明实施例还提供一种图像处理装置，包括：

获取单元，用于获取待处理图像，所述待处理图像包括待处理区域和参考区域；

边缘单元，用于基于所述参考区域对所述待处理图像进行边缘信息预测，得到所述待处理图像对应的边缘信息；

编辑单元，用于根据所述边缘信息对待处理图像的待处理区域进行图像编辑，得到所述待处理图像的整体预测图像；

局部单元，用于对所述整体预测图像进行局部选取，得到所述整体预测图像的局部图像，所述局部图像包括局部待处理区域和局部参考区域；

细节单元，用于基于所述局部参考区域对所述局部图像的局部待处理区域进行图像细节预测，得到所述局部图像的细节预测图像；

结果单元，用于根据所述整体预测图像和细节预测图像生成结果图像。

本发明实施例还提供一种终端，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种图像处理方法中的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。

本发明实施例可以获取待处理图像，该待处理图像包括待处理区域和参考区域；基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域；基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像；根据整体预测图像和细节预测图像生成结果图像。

在本发明中，可以首先在全局上获取待处理图像的边缘信息，从而根据该全局上的边缘信息来预测整体预测图像，然后，在局部细节上来预测该待处理图像中局部图像的细节预测图像，最后，根据全局的整体预测图像和多个局部的细节预测图像来生成结果图像。本发明可以先从全局范围进行图像处理，再从局部范围进行进一步的细节补充，使得局部上的细节预测图像可以精确地补全全局上整体预测图像中未预测到的一些细节信息，从而实现所生成结果图像由整体到局部上的细节补全，对于具有高分辨率、大量细节、大尺寸的图像，本发明效果更佳。由此，本发明提升了图像处理所生成图像的图像质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的图像处理方法的场景示意图；

图1b是本发明实施例提供的图像处理方法的第一种流程示意图；

图1c是本发明实施例提供的传统图像处理方法的效果示意图；

图1d是本发明实施例提供的图像处理方法的待处理图像的结构示意图；

图1e是本发明实施例提供的图像处理方法的待处理区域的标定示意图；

图1f是本发明实施例提供的图像处理方法的参考区域的边缘信息预测示意图；

图1g是本发明实施例提供的图像处理方法的srcnn结构示意图；

图2a是本发明实施例提供的图像处理方法第二种流程示意图；

图2b是本发明实施例提供的图像处理方法边缘预测的示意图；

图2c是本发明实施例提供的图像处理方法的颜色填充示意图；

图2d是本发明实施例提供的图像处理方法的多级迭代示意图；

图2e是本发明实施例提供的图像处理方法的分辨率重建处理示意图；

图3是本发明实施例提供的图像处理装置的结构示意图；

图4是本发明实施例提供的终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像处理方法、装置、终端和存储介质。

其中，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(personalcomputer，pc)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。

在一些实施例中，终端也可以作为服务器，该图像处理装置具体可以集成在该终端中。

参考图1a，该电子设备可以获取待处理图像，待处理图像包括待处理区域和参考区域；基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；对整体预测图像进行局部选取，得到整体预测图像的局部图像1和局部图像2，其中，每个局部图像都可以包括局部待处理区域和局部参考区域；然后，基于每个局部图像的局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像1的细节预测图像1和局部图像2的细节预测图像2；根据整体预测图像、细节预测图像1、细节预测图像2生成结果图像。

以下分别进行详细说明。

需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本实施例中，提供了一种图像处理方法，如图1b所示，该图像处理方法的具体流程可以如下：

101、获取待处理图像，待处理图像包括待处理区域和参考区域。

待处理图像是指将要进行图像处理的图像，该待处理图像中包括待处理区域和参考区域，其中，待处理区域是待处理图像中将要进行图像处理的局部区域；参考区域是指待处理图像中不需要进行图像处理的区域，该参考区域可以在对待处理区域进行图像处理时作为参考对象来进行辅助和参考。

比如，参考图1c，左图为500mm*500mm分辨率的待处理图像，右图为某图像处理软件对该待处理图像进行补全处理后所生成的图像，其中，左图中空白区域为待处理区域，该待处理区域由于空缺、污损、扭曲等因素无法表现该图像的原有信息，在现有技术下，可以以参考区域为参考对象来对该待处理图像的空白区域(即待处理区域)进行补全、还原、修改等操作，来预测该空白区域中可能表现的画面，从而补全、修正该待处理图像的待处理区域。

由图可知，由于现有技术的限制，现有技术无法准确地补全、修正待处理图像，特别是对于大尺寸、高分辨率、多细节的图像，现有技术生成的图像质量低下，且只能在待处理区域中重复显示参考区域中已有的元素，来达成一种图像已经被修正的错觉，该修补的图像无法准确、正确地表现待处理图像待处理区域中真实的画面。

在一些实施例中，待处理图像中还可以包括无效区域，该无效区域是指在待处理图像中即不需要被处理又不能作为参考对象的区域，比如，参考图1d，其中，黑色区域是待处理图像中的无效区域，白色区域是待处理图像中的参考区域，斜线区域是待处理图像中的待处理区域。

获取待处理图像的方式具有多种，比如，通过网络从数据库中获取；比如，也可以由技术人员通过高精度相机拍摄并导入获取；再比如，还可以在本地内存中获取，等等。

例如，在一些实施例中，待处理图像可以是由高清相机拍摄，并将拍摄的多张图像拼接成为一个大尺寸、高分辨率、多细节的待处理图像，该待处理图像可以直接导入数据库或本地内存中。

在一些实施例中，可以预先对待处理图像中的待处理区域进行标定，故步骤101具体还可以在待处理图像中标定待处理区域，参考区域为待处理图像中除待处理区域以外的区域。

其中，可以通过人工手动标定来在待处理图像中标定待处理区域，比如，参考图1e，图1e中左图为待处理图像，其中包括多个破损、污损的区域，右图为标定的待处理区域。该待处理区域可以由技术人员在待处理图像中标定，并将标定的结果以(0，255)矩阵的形式进行记录。

102、基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息。

其中，边缘信息是指图像边缘信息(edgeinformationofimage)，其中，边缘是指图像中一个属性区域和另一个属性区域的交接处，是图像的区域属性发生突变的地方，边缘信息可以用于区分目标和背景。

比如，参考图1f，图1f中左图为待处理图像，右图为待处理图像的边缘信息。

基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息的方法具有多种，比如，直接采用训练好的神经网络模型来基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息。

其中，获取该训练好的神经网络模型的方式具有多种，比如，通过网络从数据库中获取；比如，也可以由技术人员训练并导入获得；再比如，还可以在本地内存中获取，等等。

再比如，在一些实施例中，步骤102可以包括步骤(2.1)以及步骤(2.2)，如下：

(2.1)对参考区域进行边缘检测处理，得到参考区域对应的参考区域边缘信息。

其中，对参考区域进行边缘检测处理的方法具有多种，比如，采用微分算子、拉普拉斯高斯算子、canny算子、sobel算子、等等方法提取参考区域对应的参考区域边缘信息。

例如，采用canny算子可以利用高斯滤波器对参考图像作平滑运算，得到平滑图像，然后以一阶偏导有限差分计算该平滑图像的梯度幅值和方向，然后，对梯度幅值进行非极大值抑制，以及用双阈值算法检测和连接边缘，从而提取参考区域对应的参考区域边缘信息。

(2.2)基于待处理图像、参考区域边缘信息对待处理区域内的边缘信息进行预测，得到待处理图像对应的边缘信息。

其中，可以直接采用训练好的神经网络模型来基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息。

其中，获取该训练好的神经网络模型的方式具有多种，比如，通过网络从数据库中获取；比如，也可以由技术人员训练并导入获得；再比如，还可以在本地内存中获取，等等。

在一些实施例中，为了进一步提高图像处理所生成图像的图像质量，以及图像处理的效率，可以采用深度学习的方法来实现步骤(2.2)，故步骤(2.2)具体可以是采用神经网络模型中的边缘预测网络来基于待处理图像、参考区域边缘信息对待处理区域内的边缘信息进行预测，得到待处理图像对应的边缘信息，该边缘预测网络可以由边缘训练样本训练而成。

其中，该边缘预测网络可以是任意深度神经网络(deepneuralnetwork，dnn)，比如，卷积神经网络(convolutionalneuralnetworks，cnn)，全连接网络(fullyconvolutionalnetworks，fcn)，等等。

例如，可以采用u-net网络(一种基于cnn的图像分割网络)作为边缘预测网络来基于待处理图像、参考区域边缘信息对待处理区域内的边缘信息进行预测，得到待处理图像对应的边缘信息。

103、根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像。

其中，图像编辑指改变图像的过程，比如，图像编辑可以指对针对图像的修改、生成、渲染，等等。

比如，图像编辑可以是指对图像中图像边缘的修正、生成、删除，等等；再比如，对图像中图像颜色分布的修正、生成、填充、删除，等等。

比如，图像编辑可以是指根据图像边缘来填充图像颜色的处理步骤。

具体根据边缘信息对待处理图像的待处理区域进行图像编辑的方法具有多种，比如，可以通过人工手动的方法来根据边缘信息对待处理图像的待处理区域进行图像编辑；再比如，可以通过深度学习的方法根据边缘信息对待处理图像的待处理区域进行图像编辑。

例如，在一些实施例中，为了自动、准确地进行图像处理，从而提高图像处理的效率以及所生成图像的准确性，步骤103具体可以是采用颜色填充网络根据参考区域内的颜色分布以及待处理图像对应的边缘信息对待处理区域进行颜色填充，得到待处理图像的初步整体预测图像，颜色填充网络由颜色训练样本训练而成。

其中，颜色填充网络可以是任意深度神经网络，比如，cnn网络、

104、对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域。

其中，局部选取是指选取图像中的一个局部部分，作为该图像的局部图像。

其中，对整体预测图像进行局部选取，可以得到整体预测图像的至少一个局部图像。

比如，通过图像截取在整体预测图像中截取整体预测图像的上半1/2部分，得到局部图像1，再在整体预测图像中截取整体预测图像的下半1/2部分，得到局部图像2。

其中，具体的选取方式可以由技术人员设置，比如，截取图像的上半部分、截取图像的下半部分、以图像中心为圆心截取10厘米，等等。

其中，局部图像中可以包括局部待处理区域和局部参考区域，该局部图像的局部待处理区域和局部参考区域类似于待处理图像的待处理区域和参考区域，局部待处理区域是待处理区域中的一种，但是在待处理图像中，由于显示分辨率以及显示大小的原因，只能显示待处理区域，而该局部待处理区域无法直接显现，当放大了待处理图像的局部图像时，该局部图像中的局部待处理区域可以成功显示。

在一些实施例中，为了防止步骤101中漏标、错标待处理区域中细小、不可见的局部待处理区域，从而提高图像处理所生成图像的细腻度、准确度，进一步地提高图像质量，步骤104具体可以包括以下步骤：

对整体预测图像进行图像放大，得到放大后的整体预测图像；

在放大后的整体预测图像中进行局部选取，得到整体预测图像的局部图像；

在整体预测图像的局部图像中标定局部待处理区域，局部参考区域为局部图像中除局部待处理区域以外的区域。

其中，可以通过人工手动标定来在整体预测图像的局部图像中标定局部待处理区域，也可以通过深度神经网络来自动、高效地在整体预测图像的局部图像中标定局部待处理区域，等等。

105、基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像。

其中，基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像的方法具有多种，比如，通过人工手动来基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像；也可以通过深度神经网络来自动、高效地基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像，等等。

比如，在一些实施例中，可以通过多尺度迭代的方法来执行步骤105，从而补充整体预测图像中的细节信息，使得图像处理方法所生成的图像更加细腻、准确，进一步提高了所生成图像的质量，故步骤105可以包括步骤(5.1)以及步骤(5.2)，如下：

(5.1)基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的最大级细节预测图像，并将最大级细节预测图像保存于细节预测图像集合。

其中，步骤(5.1)类似于步骤103，该最大级细节预测图像类似于整体预测图像，但最大级细节预测图像是整个局部图像的预测图像，故不作(5.1)可以参考步骤103，故在一些实施例中，步骤(5.1)可以包括步骤(5.1.1)、步骤(5.1.2)以及步骤(5.1.3)，如下：

(5.1.1)基于局部参考区域对局部图像进行边缘信息预测，得到局部图像对应的局部边缘信息。

(5.1.2)根据局部边缘信息对局部待处理区域进行图像编辑，得到局部图像的最大级细节预测图像。

(5.1.3)将最大级细节预测图像保存于细节预测图像集合。

其中，细节预测图像集合中可以为空集合，也可以包括至少一个细节预测图像。每当进行图像编辑，得到图像的预测图像后，均可以将该预测图像保存于细节预测图像集合，用以执行之后的多尺度迭代步骤。

在一些实施例中，为了提高所生成图像的丰富度，待处理图像对应的边缘信息可以作为噪声添加到局部边缘信息中，从而生成多个结果图像来供人工挑选，故步骤(5.1.2)具体可以包括以下步骤：

对局部边缘信息以及待处理图像对应的边缘信息进行信息融合处理，得到边缘融合信息；

根据边缘融合信息对局部待处理区域进行图像编辑，得到局部图像的最大级细节预测图像。

其中，信息融合处理是指将两个边缘信息所对应的边缘图像，进行像素级的融合，比如，可以直接简单地进行像素值平均处理；也可以通过深度神经网络来对两个边缘图像进行语义上的融合处理，等等。

(5.2)基于细节预测图像集合对最大级细节预测图像的图像细节进行多级迭代生成处理，得到多个不同级别的细节预测图像，并将多个不同级别的细节预测图像保存于细节预测图像集合。

其中，多级迭代是指，重复地迭代“将细节预测图像集合中的上一级细节预测图像作为当前的细节预测图像，来计算当前的细节预测图像的下一级细节预测图像”步骤，直至将所有细微细节都预测出来，从而提升图像处理方法所生成图像的细腻度、准确度，特别针对于大尺度、高分辨率、多细节图像，本方法采用多级迭代的方法生成细节预测图像，来作为细节补充整体预测图像，可以有效提高图像处理方法所生成图像的图像质量。

具体地，在一些实施例中，步骤(5.2)可以包括步骤(5.2.1)、步骤(5.2.2)以及步骤(5.2.3)，如下：

(5.2.1)获取当前循环信息。

(5.2.2)当当前循环信息属于预设循环范围时，在细节预测图像集合中确定当前细节预测图像。

(5.2.3)对当前细节预测图像进行图像细节预测，得到当前细节预测图像的下一级细节预测图像，并将下一级细节预测图像保存在细节预测图像集合中。

其中，当前循环信息可以包括当前循环次数、当前细节预测图像的上一级细节预测图像信息、当前细节预测图像的下一级细节预测图像信息，等等。

预设循环范围可以由本领域技术人员设定，比如，设定预设循环范围为“循环10次”，则当当前循环信息中当前循环次数小于10次时，继续迭代循环，当当前循环信息中当前循环次数大于等于10次时，停止迭代循环。

具体地，每个多次迭代的一个迭代循环均类似于步骤102、步骤103和步骤104，在一些实施例中，当前细节预测图像可以包括当前局部待处理区域和当前局部参考区域，步骤(5.2.3)具体可以包括以下步骤：

基于当前局部参考区域对当前细节预测图像进行边缘信息预测，得到当前细节预测图像对应的当前局部边缘信息；

根据当前局部边缘信息对当前局部待处理区域进行图像编辑，得到当前细节预测图像的初步细节预测图像；

对初步细节预测图像进行局部选取，得到当前细节预测图像的下一级细节预测图像；

将下一级细节预测图像保存在细节预测图像集合中。

106、根据整体预测图像和细节预测图像生成结果图像。

其中，可以以细节预测图像作为细节信息补充整体预测图像的整体信息。

其中，可以根据整体预测图像和至少一个细节预测图像生成结果图像。

比如，可以将细节预测图像调整到合适的尺寸，然后直接简单地将整体预测图像和细节预测图像中相对应的像素进行均值相加，从而生成结果图像。

再比如，可以采用任意深度神经网络来执行步骤106。

在一些实施例中，为了使得生成图像的细节更加丰富，消除图像锯齿，使得图像更加高清，步骤106具体可以包括以下步骤：

根据整体预测图像和细节预测图像生成初步结果图像；

对初步结果图像进行分辨率重建处理，得到结果图像。

其中，分辨率重建处理是指提高图像的分辨率，或修改图像的分辨率，可以采用任意一种超分辨率技术(super-resolution，sr)，例如，采用srcnn(super-resolutionconvolutionalneuralnetwork)来进行分辨率重建、采用edsr(enhanceddeepresidualnetworksforsingleimagesuper-resolution)来进行分辨率重建，等等。

其中，srcnn可以使用双三次插值算法(bi-cubicinterpolation)将低分辨率图像放大成目标尺寸，再通过三层卷积网络拟合非线性映射，最后输出高分辨率的结果图像。

例如，参考图1g，三个卷积层使用的卷积核的大小分为为9*9，1*1和5*5，前两个卷积核的输出特征个数分别为64和32。

在一些实施例中，在步骤105的步骤(5.2)中可以获得细节预测图像集合，故步骤106具体可以是根据整体预测图像和细节预测图像集合中的多个细节预测图像生成结果图像。

为了提供分数参考以便供人挑选，故在一些实施例中，步骤106之后，还可以包括以下步骤：

对结果图像进行图像评分处理，得到结果图像的图像得分。

在一些实施例中，还可以按照图像得分对结果图像进行排序，将得分最高的前n个图像进行显示，在减少用户的工作量的同时，以便供人挑选。

在一些实施例中，可以根据不同风格、时代、类型的训练图像来训练图像处理模型，可以采用合适的图像处理模型进行图像处理，从而使得生成的结果图像贴合原来的待处理图像的风格，进一步提高所生成图像的图像质量，故在步骤101之后，还可以包括步骤a、步骤b、步骤c以及步骤d，如下：

a.获取图像处理模型集合；

b.对待处理图像进行风格判断处理，确定待处理图像的图像风格；

c.根据图像风格在图像处理模型集合中确定目标图像处理模型；

d.基于目标图像处理模型来执行步骤102、步骤103、步骤104、步骤105、以及步骤106。

在本实施例中，可以采用任意一种cnn作为图像分类模型来对待处理图像进行风格判断处理。

在一些实施例中，步骤a获具体可以包括以下步骤：

获取初始模型和训练样本组，训练样本组中包括多个相同风格的训练样本；

采用训练样本组对初始模型进行训练，得到训练后的图像处理模型，其中，该训练后的图像处理模型可以包括边缘预测网络、颜色填充网络；

将图像处理模型标注为训练样本组的风格，并将标注了风格的图像处理模型置于图像处理模型集合。

其中，边缘预测网络可以用于任意图像的边缘预测处理，颜色填充网络可以用于任意颜色填充处理。

在一些实施例中，训练后的图像处理模型还可以包括评分网络，该评分网络可以用于图像评分、图像排序，等等，以便人工挑选。

在一些实施例中，训练后的图像处理模型还可以包括分辨率重建网络，该分辨率重建网络可以用于提高图像的分辨率，使得结果图像更加高清。

由上可知，本发明实施例可以获取待处理图像，待处理图像包括待处理区域和参考区域；基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域；基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像；根据整体预测图像和细节预测图像生成结果图像。

在本发明中，可以首先在全局上获取待处理图像的边缘信息，从而根据该全局上的边缘信息来预测整体预测图像，然后，在局部细节上来预测该待处理图像中局部图像的细节预测图像，最后，根据全局的整体预测图像和多个局部的细节预测图像来生成结果图像。本发明可以先从全局范围进行图像处理，再从局部范围进行进一步的细节补充，使得局部上的细节预测图像可以精确地补全全局上整体预测图像中未预测到的一些细节信息，从而实现所生成结果图像由整体到局部上的细节补全，对于具有高分辨率、大量细节、大尺寸的图像，本发明效果更佳。

由此，本发明提升了图像处理所生成图像的图像质量。

根据上述实施例所描述的方法，以下将作进一步详细说明。

本发明实施例提供的图像处理方案可以应用在各种图像处理场景中，比如，文物古迹领域、宇宙物理领域、地理地图领域、材料化学领域，等等，特别是针对需要处理大尺度、高分辨率、多细节的图片数据领域，本发明具有良好的图像处理效果。

例如，在本实施例中，将以修复文物古迹图像为例，对本发明实施例的方法进行详细说明。

由于文物古迹收到潮湿、鼠虫、氧化等因素，文物古迹上往往具有大大小小的各种损坏、污渍、瑕疵，在修复文物古迹图像时，需要使用高清数码相机进行大尺寸、高分辨率(可达上千亿像素)的图像采集，甚至会将这些高清相片进行拼接，得到一个完整的超大相片。

目前，除了人工手动的绘画修复，没有一种方法可以自动地针对大尺寸、高分辨率的文物古迹图片中所有污损瑕疵进行细腻准确的修复，且修复部分贴合文物古迹的原有风格，符合文物古迹的图像修复需求。

如图2a所示，一种图像处理方法可以有效解决上述问题，其具体流程如下：

201、获取图像处理模型集合，以及待处理图像。

首先，可以通过图像训练的方法获得图像处理模型集合，其中图像处理模型集合中的图像处理模型具有多种风格。

比如，可以先搜集整理多种风格的训练图像，如敦煌壁画风格、晚清瓷器风格、齐白石书画风格，等等，得到分好组的训练图像以及获取初始模型。

采用某风格的训练图像组对初始模型进行训练，得到标注了该风格的图像处理模型，再将该图像处理模型保存在图像处理模型集合。

其中，图像处理模型可以包括边缘预测网络、颜色填充网络、评分网络以及分辨率重建网络。

其中，待处理图像可以由高清相机拍摄，保存在数据库中，通过网络与该数据库通信获得。

202、在图像处理模型集合中获取待处理图像对应的目标图像处理模型，该图像处理模型包括边缘预测网络、颜色填充网络、评分网络以及分辨率重建网络。

比如，在一些实施例中，可以先采用预设的图像分类模型对待处理图像进行图像风格的分类，从而确定该待处理图像的风格类型；然后，在图像处理模型集合中将该风格类型的图像处理模型确定为目标图像处理模型。

203、采用边缘预测网络基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息。

比如，参考图2b，可以先将待处理图像中参考区域的边缘信息检测出来，例如，采用canny算子提取参考区域的边缘信息。

其中，采用canny算子提取参考区域的边缘信息的步骤如下：

将参考区域进行灰度转换，得到参考区域的灰度图像；

采用高斯滤波器对灰度图像进行平滑处理，得到灰度图像对应的平滑图像；

计算平滑图像的梯度值和方向；

对梯度值进行非极大值抑制，得到抑制图像；

采用双阈值算法检测和连接抑制图像的边缘，得到边缘信息。

其中，高斯滤波器可以包括两个一维高斯核，也可以包括一个二维高斯核，该一维高斯函数定义如下：

其中，σ是标准差sigma，(x)是一维像素。

二维高斯函数定义如下：

其中，(x，y)是二维图像中像素。

其中，梯度值定义如下：

其中，gx是水平方向的梯度，gy是垂直方向的梯度。

其中，方向定义如下：

θ＝atan2(gy+gx)

其中，可以采用sobel算子计算梯度，定义如下：

其中，a是参考区域。

204、采用颜色填充网络根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像。

比如，参考图2c，可以采用颜色填充网络根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像。

具体图像编辑过程可以参考步骤103，在此不做赘述。

205、对整体预测图像进行局部选取，得到整体预测图像的局部图像，其中，局部图像包括局部待处理区域和局部参考区域，并基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像，最后根据整体预测图像和细节预测图像生成初步结果图像。

参考图2d，可以通过多级迭代的方式来执行步骤205。

比如，如图2d，在步骤201～步骤203以及获得了整体预测图像，在步骤204可以得到该待处理图像上半1/2部分的图像，将该1/2待处理图像核整体预测图像的上半1/2部分进行第一级的迭代循环，可以得到该1/2待处理图像的预测图像；然后，在该1/2待处理图像的预测图像中选取其左上角1/4部分，将该1/4部分与原来待处理图像左上角的1/16部分进行第二级的迭代循环，可以得到该原来待处理图像1/16部分的预测图像，等等。

由此，可以得到待处理图像的每个1/2部分、1/4部分、1/16部分等局部部分预测图像。

具体地，每一次迭代循环均是对图像进行边缘信息检测，得到图像对应的边缘信息，并根据边缘信息和局部待处理区域进行颜色填充处理，得到该图像的预测图像。

具体迭代循环步骤可以参考步骤105，在此不作赘述。

206、采用分辨率重建网络对初步结果图像进行分辨率重建处理，得到结果图像。

比如，参考图2e，可以采用超分辨率技术，如将初步结果图像(图2e的左上图和左下图)输入srcnn来执行步骤206，得到结果图像(图2e的右上图和右下图)，使得生成的结果图像细节更加丰富，削弱了结果图像中的图像锯齿，使得结果图像更加高清。

srcnn的具体结构可以参考图1g。

207、采用评分网络对结果图像进行图像评分处理，得到结果图像的图像得分。

具体地，可以采用任意训练好的图像分类网络以及图像识别网络作为评分网络来对结果图像进行图像评分处理，得到结果图像的图像得分，用于评估、筛选生成的结果图像的质量。

本发明实施例还可以根据评分对结果图像进行排序，选取前10个图像进行展示，以便于用户观察、挑选。

在一些实施例中，该评分网络还可以作为监督来对图像处理模型进行训练。

由上可知，本发明实施例可以获取图像处理模型集合，以及待处理图像；在图像处理模型集合中获取待处理图像对应的目标图像处理模型，该图像处理模型包括边缘预测网络、颜色填充网络、评分网络以及分辨率重建网络；采用边缘预测网络基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；采用颜色填充网络根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；对整体预测图像进行局部选取，得到整体预测图像的局部图像，其中，局部图像包括局部待处理区域和局部参考区域，并基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像，最后根据整体预测图像和细节预测图像生成初步结果图像；采用分辨率重建网络对初步结果图像进行分辨率重建处理，得到结果图像；采用评分网络对结果图像进行图像评分处理，得到结果图像的图像得分。

本发明实施例可以自动、高效地完成文物古迹高清图像的修复工作，通过多级迭代，本发明实施例可以有效地还原文物古迹高清图像中任意形状、尺寸的污损、缺失的部分，特别是针对高清、高分辨率、大尺寸的图像，本发明实施例效果明显，生成的结果图像质量极高，且可以生成多个结果图像来辅助用户进行文物古迹图像的修补。由此，本发明提升了图像处理所生成图像的图像质量。

为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置具体可以集成在终端中，该终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备。

比如，在本实施例中，将以图像处理装置具体集成在终端中为例，对本发明实施例的方法进行详细说明。

例如，如图3所示，该图像处理装置可以包括获取单元301、边缘单元302、编辑单元303、局部单元304、细节单元305以及结果单元306，如下：

(一)获取单元301：

获取单元301可以用于获取待处理图像，待处理图像包括待处理区域和参考区域。

在一些实施例中，获取单元301还可以用于在待处理图像中标定待处理区域，参考区域为待处理图像中除待处理区域以外的区域。

(二)边缘单元302：

边缘单元302可以用于基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息。

在一些实施例中，边缘单元302可以包括检测子单元以及预测子单元，如下：

(1)检测子单元：

检测子单元可以用于对参考区域进行边缘检测处理，得到参考区域对应的参考区域边缘信息。

(2)预测子单元：

预测子单元可以用于基于待处理图像、参考区域边缘信息对待处理区域内的边缘信息进行预测，得到待处理图像对应的边缘信息。

在一些实施例中，预测子单元具体可以用于：

采用边缘预测网络基于待处理图像、参考区域边缘信息对待处理区域内的边缘信息进行预测，得到待处理图像对应的边缘信息，边缘预测网络由边缘训练样本训练而成。

(三)编辑单元303：

编辑单元303可以用于根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像。

在一些实施例中，编辑单元303具体可以用于：

采用颜色填充网络根据参考区域内的颜色分布以及待处理图像对应的边缘信息对待处理区域进行颜色填充，得到待处理图像的初步整体预测图像，颜色填充网络由颜色训练样本训练而成。

(四)局部单元304：

局部单元304可以用于对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域。

在一些实施例中，局部单元304具体可以用于：

对整体预测图像进行图像放大，得到放大后的整体预测图像；

在放大后的整体预测图像中进行局部选取，得到整体预测图像的局部图像；

在整体预测图像的局部图像中标定局部待处理区域，局部参考区域为局部图像中除局部待处理区域以外的区域。

(五)细节单元305：

细节单元305可以用于基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像。

在一些实施例中，细节单元305可以包括最大细节子单元以及多级迭代子单元，如下

(1)最大细节子单元：

可以用于基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的最大级细节预测图像，并将最大级细节预测图像保存于细节预测图像集合。

在一些实施例中，最大细节子单元可以包括局部边缘子模块、编辑子模块以及保存子模块，如下：

a.局部边缘子模块：

局部边缘子模块可以用于基于局部参考区域对局部图像进行边缘信息预测，得到局部图像对应的局部边缘信息。

b.编辑子模块：

编辑子模块可以用于根据局部边缘信息对局部待处理区域进行图像编辑，得到局部图像的最大级细节预测图像。

c.保存子模块：

保存子模块可以用于将最大级细节预测图像保存于细节预测图像集合。

在一些实施例中，编辑子模块具体可以用于：

对局部边缘信息以及待处理图像对应的边缘信息进行信息融合处理，得到边缘融合信息；

根据边缘融合信息对局部待处理区域进行图像编辑，得到局部图像的最大级细节预测图像。

(2)多级迭代子单元：

多级迭代子单元可以用于基于细节预测图像集合对最大级细节预测图像的图像细节进行多级迭代生成处理，得到多个不同级别的细节预测图像，并将多个不同级别的细节预测图像保存于细节预测图像集合。

在一些实施例中，多级迭代子单元可以包括获取子模块、确定子模块以及，下级子模块，如下：

a.获取子模块：

获取子模块可以用于获取当前循环信息。

b.确定子模块：

确定子模块可以用于当当前循环信息属于预设循环范围时，在细节预测图像集合中确定当前细节预测图像。

c.下级子模块：

下级子模块可以用于对当前细节预测图像进行图像细节预测，得到当前细节预测图像的下一级细节预测图像，并将下一级细节预测图像保存在细节预测图像集合中。

在一些实施例中，当前细节预测图像可以包括当前局部待处理区域和当前局部参考区域，可以具体可以用于：

基于当前局部参考区域对当前细节预测图像进行边缘信息预测，得到当前细节预测图像对应的当前局部边缘信息；

根据当前局部边缘信息对当前局部待处理区域进行图像编辑，得到当前细节预测图像的初步细节预测图像；

对初步细节预测图像进行局部选取，得到当前细节预测图像的下一级细节预测图像；

将下一级细节预测图像保存在细节预测图像集合中。

(六)结果单元306：

结果单元306可以用于根据整体预测图像和细节预测图像生成结果图像。

在一些实施例中，结果单元306具体可以用于：

根据整体预测图像和细节预测图像生成初步结果图像；

对初步结果图像进行分辨率重建处理，得到结果图像。

在一些实施例中，细节单元305的多级迭代子单元可以获得细节预测图像集合，故结果单元306具体可以用于：

根据整体预测图像和细节预测图像集合生成结果图像。

在一些实施例中，结果单元306之后，还可以用于：

对结果图像进行图像评分处理，得到结果图像的图像得分。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的图像处理装置可以由获取单元获取待处理图像，该待处理图像包括待处理区域和参考区域；由边缘单元基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；由编辑单元根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；由局部单元对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域；由细节单元基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像；由结果单元根据整体预测图像和细节预测图像生成结果图像。由此，本发明可以提升图像处理所生成图像的图像质量。

本发明实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。

其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。

在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。

在一些实施例中，服务器也可以由一台终端或多台终端来实现。

在本实施例中，将以本实施例的电子设备是终端为例进行详细描述，比如，如图4所示，其示出了本发明实施例所涉及的终端的结构示意图，具体来讲：

该终端可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

终端还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该终端还可包括输入模块404，该输入模块404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该终端还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，终端可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。

尽管未示出，终端还可以包括显示单元等，在此不再赘述。具体在本实施例中，终端中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取待处理图像，待处理图像包括待处理区域和参考区域；

基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；

根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；

对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域；

基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像；

根据整体预测图像和细节预测图像生成结果图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本发明可以获取待处理图像，待处理图像包括待处理区域和参考区域；基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域；基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像；根据整体预测图像和细节预测图像生成结果图像。由此，本发明可以提升图像处理所生成图像的图像质量。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：

由上可知，本发明可以获取待处理图像，待处理图像包括待处理区域和参考区域；基于参考区域对待处理图像进行边缘信息预测，得到待处理图像对应的边缘信息；根据边缘信息对待处理图像的待处理区域进行图像编辑，得到待处理图像的整体预测图像；对整体预测图像进行局部选取，得到整体预测图像的局部图像，局部图像包括局部待处理区域和局部参考区域；基于局部参考区域对局部图像的局部待处理区域进行图像细节预测，得到局部图像的细节预测图像；根据整体预测图像和细节预测图像生成结果图像。

其中，该存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种图像处理方法、装置、终端和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。