一种图像处理方法、装置、电子设备和存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。


背景技术：

2.相关技术中，高层次任务的可解释性主要是聚焦于“归因”，即找出输入图片的哪些部分(像素)或者哪些神经元对模型最后的预测结果影响最大。但是，相关技术中的方法找出的网络中可学习的神经元(filters)对于实现对网络的特异性功能进行改变(如仅仅改变去模糊的功能)的结果往往不能令人满意，即找到的filters对于当前的退化而言，并不是最重要的filters。因而，如何获取更加具有针对性的神经元，实现对图像更具针对性的特定退化处理是亟待解决的。


技术实现要素：

3.本技术实施例提供一种图像处理方法、装置、电子设备和存储介质，用以实现对图像更具针对性的特定退化处理。
4.本技术实施例提供的一种图像处理方法，包括：
5.将待处理图像输入初始退化处理模型，获取所述初始退化处理模型的初始输出图像，所述初始退化模型是基于第一退化处理模型和第二退化处理模型生成的，所述第一退化处理模型为用于复原至少两种退化类型的退化图像的模型，所述第二退化处理模型为用于复原至少一种退化类型的退化图像的模型；
6.基于所述初始输出图像，分别对所述初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，获得所述各个神经元各自对于所述目标退化类型的影响因子；
7.基于获得的各个影响因子，从所述各个神经元中选取所述目标退化类型对应的目标神经元，并对所述第一退化处理模型中的所述目标神经元进行更新，获得相应的目标退化处理模型；
8.基于所述目标退化处理模型，对所述待处理图像进行图像处理，获得目标输出图像。
9.本技术实施例提供的一种图像处理装置，包括：
10.第一处理单元，用于将待处理图像输入初始退化处理模型，获取所述初始退化处理模型的初始输出图像，所述初始退化模型是基于第一退化处理模型和第二退化处理模型生成的，所述第一退化处理模型为用于复原至少两种退化类型的退化图像的模型，所述第二退化处理模型为用于复原至少一种退化类型的退化图像的模型；
11.积分单元，用于基于所述初始输出图像，分别对所述初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，获得所述各个神经元各自对于所述目标退化类型的影响因子；
12.筛选单元，用于基于获得的各个影响因子，从所述各个神经元中选取所述目标退化类型对应的目标神经元，并对所述第一退化处理模型中的所述目标神经元进行更新，获得相应的目标退化处理模型；
13.第二处理单元，用于基于所述目标退化处理模型，对所述待处理图像进行图像处理，获得目标输出图像。
14.可选的，所述筛选单元具体用于：
15.将所述各个神经元按照各自对应的影响因子进行排序；
16.将所述各个神经元中对应的排序结果在预设次序范围内的神经元，作为所述目标神经元。
17.可选的，所述第二处理单元具体用于执行以下操作中的至少一种：
18.将所述第一退化处理模型中所述目标神经元对应的网络参数，替换为所述第二退化处理模型中相关联的神经元对应的网络参数，获取所述目标退化处理模型；
19.对所述第一退化处理模型中所述目标神经元对应的网络参数，进行剪枝与量化处理中的至少一种，获得所述目标退化处理模型；
20.对所述第一退化处理模型中所述目标神经元对应的网络参数，以及所述第二退化处理模型中相关联的神经元对应的网络参数进行线性插值，获得所述目标退化处理模型。
21.可选的，在对所述第一退化处理模型中所述目标神经元对应的网络参数，以及所述第二退化处理模型中相关联的神经元对应的网络参数进行线性插值时，所述第二退化处理模型与所述第一退化处理模型对应不同的参数结合比例，所述参数结合比例用于均衡所述目标退化处理模型处理不同退化类型的调节能力。
22.可选的，所述装置还包括：
23.模型生成单元，用于通过下列方式得到所述第一退化处理模型：
24.将所述第二退化处理模型中所述目标神经元对应的网络参数，替换为样本模型中相关联的神经元对应的网络参数，获取所述第一退化处理模型，所述样本模型为至少用于复原所述目标退化类型的退化图像的模型，所述第二退化处理模型为用于复原至少一种退化类型的退化图像的模型，所述第一退化处理模型、所述第二退化处理模型，以及所述样本模型的网络参数的数量相同。
25.可选的，所述第二退化处理模型为用于处理下采样退化类型的退化图像的模型，所述至少两种退化类型包含所述下采样退化类型。
26.可选的，所述装置还包括：
27.分类单元，用于获取多个参考图像，每个参考图像包含一种退化类型；
28.分别基于所述多个参考图像，获得各种退化类型各自对应的参考神经元；
29.基于所述目标神经元与所述参考神经元之间的重叠比例，确定所述待处理图像对应的所述目标退化类型。
30.可选的，所述分类单元具体用于：
31.分别将所述多个参考图像输入所述初始退化处理模型，获取所述初始退化处理模型的各个参考输出图像；
32.分别基于所述各个参考输出图像，对所述初始退化处理模型包含的各个神经元对应的网络参数进行梯度积分，获得所述各个神经元各自对于所述各种退化类型的影响因
子；
33.基于各个神经元各自对于所述各种退化类型的影响因子，从所述各个神经元中分别选取所述各种退化类型各自对应的参考神经元。
34.本技术实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种图像处理方法的步骤。
35.本技术实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任意一种图像处理方法的步骤。
36.本技术实施例提供一种计算机可读存储介质，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行上述任意一种图像处理方法的步骤。
37.本技术有益效果如下：
38.本技术实施例提供一种图像处理方法、装置、电子设备和存储介质。由于本技术通过对初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，可以获得各个神经元各自对于目标退化类型的影响因子；基于此筛选出的目标神经元对于目标退化类型更具有针对性，能够根据不同的退化，找到其对应的很重要的神经元。本技术在仅仅对筛选出的目标神经元进行改变的情况下，可以改变网络的特定的功能；在不引入新的参数量的情况下，对第一退化处理模型中目标神经元对应的网络参数进行更新，得到仅仅能够处理特定退化类型的目标退化处理模型，基于此实现对待处理图像更具针对性的特定退化处理。
39.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
40.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
41.图1为本技术实施例中的一种应用场景的示意图；
42.图2为本技术中的一种图像处理方法的流程示意图；
43.图3a为本技术实施例中的一种高清图像的示意图；
44.图3b为本技术实施例中的一种的退化图像的示意图；
45.图3c为本技术实施例中的另一种的退化图像的示意图；
46.图4为本技术实施例中的一种影响因子的计算方法的流程示意图；
47.图5为本技术实施例中的一种不同模型输出效果的对比示意图；
48.图6为本技术实施例中的一种基于不同参数生成的模型的去噪效果的示意图；
49.图7为本技术实施例中的一种更新基于不同方法得到的神经元的结果比较的示意图；
50.图8为本技术实施例中的一种判断待处理图像退化类型的方法的流程示意图；
51.图9为本技术实施例中的一种参考神经元确定方法的流程示意图；
52.图10为本技术实施例中的一种不同方法不同比例掩码的效果对比示意图；
53.图11a为本技术实施例中的第一种标神经元的占比与模型性能变化的关系示意图；
54.图11b为本技术实施例中的第二种标神经元的占比与模型性能变化的关系示意图；
55.图11c为本技术实施例中的第三种标神经元的占比与模型性能变化的关系示意图；
56.图11d为本技术实施例中的第四种标神经元的占比与模型性能变化的关系示意图；
57.图12为本技术实施例中的一个图像处理完整方法的流程示意图；
58.图13为本技术实施例中的一种图像处理装置的组成结构示意图；
59.图14为本技术实施例中的一种电子设备的组成结构示意图；
60.图15为应用本技术实施例的另一种电子设备的组成结构示意图。
具体实施方式
61.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术技术方案的一部分实施例，而不是全部的实施例。基于本技术文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术技术方案保护的范围。
62.下面对本技术实施例中涉及的部分概念进行介绍。
63.神经网络：由具有适应性简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络能够模拟神经系统对输入作出一定反映，是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。
64.神经元：它的功能和人的神经元很相似，是神经网络中最基本的成分，有“兴奋”和“抑制”两种状态。神经网络是由一个个神经元按照一定结构组成，每个神经元和其他神经元相连。当某个神经元“兴奋”时，会向相连的下一个神经元传递化学物质，改变下一个神经元的电位，当电位超过一定阈值时，被刺激的神经元就会“兴奋”，这就是神经元的激活。在应用过程中，这个激活过程用激活函数表示。神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。在本技术中，将卷积层中的每个k*k权值定义为一个神经元，其中k为卷积核的大小。
65.退化：泛指事物由优变劣，由好变坏。在图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法的不完善，导致图像质量的下降，这种现象叫做图像退化。图像退化的典型表现为图像模糊、失真、有噪声等；引起退化的原因有很多，如光学成像系统的像差、成像衍射、成像非线性、几何畸变、成像系统与被摄体的相对运动以及系统噪声等原因。相应地，退化类型包括噪声、模糊、双三次下采样等。
66.退化处理模型：本技术中用于复原不同退化类型的退化图像的模型。其中，第一退化处理模型为用于复原至少两种退化类型的退化图像的模型，比如可用于去模糊、去噪声、去除双三次下采样等等；第二退化处理模型主要是用于复原至少一种退化类型的退化图像的模型，在本技术中，主要是以第二退化模型只能处理双三次下采样为例进行举例说明的。
67.超分辨率：是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建在智慧城市、大数据医疗、多媒体社交、自动驾驶等多领域都有着广泛的应用场景，是非常重要的数字图像处理技术。
68.剪枝：神经网络的参数众多，但其中有些参数对最终的输出图像贡献不大而显得冗余，剪枝顾名思义，就是要将这些冗余的参数剪掉。首先，需要根据对最终输出图像的贡献大小来对模型的神经元们排序，然后，舍去那些贡献度低的神经元来，使得模型运行速度更快、模型文件更小。
69.线性插值：一种插值方法，指以线性函数为插值函数的插值方法，具体是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法。
70.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
71.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
72.其中，机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
73.本技术实施例提供的方案涉及人工智能的机器学习技术。在本技术实施例中提出的退化处理模型主要应用于对退化图像进行复原、分类等，退化处理模型的训练和使用方法可分为两部分，包括训练部分和应用部分；其中，训练部分就涉及到机器学习这一技术领域，在训练部分中，通过机器学习这一技术训练退化处理模型，使得训练样本集中的样本图像通过退化处理模型后，进行对退化图像进行复原等；应用部分用于通过使用在训练部分训练得到的退化处理模型，对待处理图像进行复原、分类等。
74.下面对本技术实施例的设计思想进行简要介绍：
75.随着信息化技术的发展，人们对数字图像质量的要求也越来越高，特别是在医学、自动驾驶、天文以及监控等计算机视觉领域中，都需要获得高分辨率的、细节丰富的高清图
像。然而，在实际图像采集时，往往受到成像系统自身的空间分辨率、光线或射线强度、空间距离以及系统噪声等因素的影响，而导致获得的图像的空间分辨率不高。
76.在图像处理领域，相关技术中的高层次的可解释的方法主要分为两种：1)基于扰动的方法依赖于大量采样来保证最终的效果，这种方法非常费时而且消耗大量的计算资源。2)基于梯度积分(integrated gradients，ig)的方法，该方法沿着基准图片与目标图片的路径对输入图片的所有像素的梯度单独进行累加，通过梯度来判断图片中哪些区域或者网络中的哪些神经元对最终的预测结果是最重要的。由于这些方法是通过对网络的输入进行改变来计算梯度的，盲超分网络功能的改变是通过filter的权值变化带来的，因此如果直接运用在图像处理场景的时候，这种方法很难直接将功能的变化归因到filters。体现在效果上，相关技术中的方法找出的filters对于实现对网络的特异性功能进行改变(如仅仅改变去模糊的功能)的结果往往不能令人满意，即找到的filters对于当前的退化而言，并不是最重要的filters。
77.有鉴于此，本技术提出了一种图像处理方法、装置、电子设备和存储介质。由于本技术通过对初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，可以获得各个神经元各自对于目标退化类型的影响因子；基于此筛选出的目标神经元对于目标退化类型更具有针对性，能够根据不同的退化，找到其对应的很重要的神经元。本技术在仅仅对筛选出的目标神经元进行改变的情况下，可以改变网络的特定的功能；在不引入新的参数量的情况下，对第一退化处理模型中目标神经元对应的网络参数进行更新，得到仅仅能够处理特定退化类型的目标退化处理模型，基于此实现对待处理图像更具针对性的特定退化处理。
78.以下结合说明书附图对本技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本技术，并不用于限定本技术，并且在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
79.如图1所示，其为本技术实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。本技术实施例中的终端设备110上可以安装有图像处理相关的客户端。服务器120可以包括图像处理相关的服务器。另外，本技术中的客户端可以是软件，也可以是网页、小程序等，服务器则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行图像处理、模型训练等的服务器，本技术不做具体限定。
80.需要说明的是，本技术实施例中的图像处理方法可以由服务器或终端设备单独执行，也可以由服务器和终端设备共同执行。例如，由终端设备将待处理图像输入初始退化处理模型，获取初始退化处理模型的初始输出图像；基于初始输出图像，分别对初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，获得各个神经元各自对于目标退化类型的影响因子；进而基于获得的各个影响因子，从各个神经元中选取目标退化类型对应的目标神经元，并对第一退化处理模型中的目标神经元进行更新，获得相应的目标退化处理模型；基于目标退化处理模型，对待处理图像进行图像处理，获得目标输出图像。或者，由服务器执行上述步骤。再或者，由服务器基于上述步骤获取目标处理模型，再由终端设备基于目标处理模型获取目标输出图像并展示给用户等，本技术在此不做具体限定，下文主要是以终端设备为例进行举例说明的。
81.在一种可选的实施方式中，终端设备110与服务器120之间可以通过通信网络进行
通信。
82.在一种可选的实施方式中，通信网络是有线网络或无线网络。
83.在本技术实施例中，终端设备110为用户使用的计算机设备，该计算机设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、车载终端等具有一定计算能力并且运行有即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网络与服务器120连接，服务器120是一台服务器或若干台服务器组成的服务器集群或云计算中心，或者是一个虚拟化平台。
84.需要说明的是，图1所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本技术实施例中不做具体限定。
85.下面结合上述描述的应用场景，参考附图来描述本技术示例性实施方式提供的图像处理方法，需要注意的是，上述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。
86.参阅图2所示，为本技术实施例提供的一种图像处理方法的实施流程图，这里是以终端设备为执行主体为例进行举例说明的。该方法的具体实施流程如下：
87.s21：终端设备将待处理图像输入初始退化处理模型，获取初始退化处理模型的初始输出图像，初始退化模型是基于第一退化处理模型和第二退化处理模型生成的，第一退化处理模型为用于复原至少两种退化类型的退化图像的模型，第二退化处理模型为用于复原至少一种退化类型的退化图像的模型，待处理图像为包含目标退化类型的退化图像；
88.在本技术实施例中，图像退化具体是指：模糊、噪声、双三次下采样等退化。其中，第一退化处理模型可以是用于处理多种退化的模型，也可称作目标模型f(θ)，例如该模型可用于复原模糊、噪声、双三次下采样等退化。
89.另外，考虑到在图像复原领域，双三次下采样是最常用的退化，当输入图片如果是双三次采样图像时，退化处理模型是可以输出一个高清结果；但是当输入图片是其它的退化(比如模糊)，尽管退化处理模型不能处理，但是也能保证其输出是一张图片。因而，在一种可选的实施方式中，第二退化处理模型为用于处理下采样退化类型的退化图像的模型，至少两种退化类型包含下采样退化类型。
90.在本技术实施例中，主要是以第二退化处理模型为只能处理双三次下采样的退化图片的模型为例进行举例说明的，第二退化处理模型也可称作初始模型，记作
91.例如图3a所示，其为本技术实施例中的一种高清图像，也可称作超分辨率图像。而图3b和图3c为该高清图像对应的两种退化图像。其中，图3b表示该高清图像对应的模糊图像，图3c表示该高清图像对应的包含噪声的图像。
92.以目标退化类型为模糊为例，此时图3b即可作为本技术实施例中的一种待处理图像的示意图；以目标退化类型为噪声为例，图3c即可作为本技术实施例中的一种待处理图像的示意图。
93.需要说明的是，上述只是举例说明，本技术中不对退化类型进行具体限定。
94.s22：终端设备基于初始输出图像，分别对初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，获得各个神经元各自对于目标退化类型的影响因子；
95.其中，影响因子用于表征网络中的filters对于某种特定的退化的重要程度，在本技术中，可将filter对应的梯度值作为影响因子。
96.与相关技术中的ig方法不同的是，本技术中梯度积分采用的是新提出的对网络中的可学习的神经元进行梯度积分的方法(filter attribution integrated gradients，faig)方法，该方法主要是在参数空间对filter进行梯度积分。
97.一种可选的实施方式为，可以按照如图4所示的流程图实施s22，其为本技术实施例中的一种影响因子的计算方法的流程示意图，包括以下步骤：
98.s401：终端设备基于初始输出图像与样本图像之间的差异值，构建初始退化处理模型对应的损失函数，样本图像为待处理图像对应的超分辨率图像；
99.在本技术实施例中，可用f(θ，x)表示将待处理图像x输入初始退化处理模型后，该模型输出的初始输出图像，x
gt
表示样本图像，则损失函数可表示为：
[0100][0101]
其中，上述公式中的l(θ,x)即损失函数，表征初始输出图像与样本图像之间的距离。样本图像也可称作目标图片，例如图3a所示，即为本技术实施例中示出的一种目标图片。
[0102]
具体地，初始退化处理模型中的网络参数θ是通过对初始模型与目标模型f(θ)之间进行线性插值生成的。
[0103]
s402：终端设备基于损失函数，按照预设积分路径对初始退化处理模型的神经元对应的网络参数进行梯度积分，获取初始退化处理模型中各个的神经元对于目标退化类型的影响因子。
[0104]
其中，预设积分路径是通过对第二退化处理模型和第一退化处理模型的网络参数进行线性插值生成的，第二退化处理模型与第一退化处理模型参数空间的结构相同，对应的神经元的位置、连接等一致，网络参数的数量相同，具体的网络参数的数值不一定相同。
[0105]
具体地，本技术所提出的用来分析盲超分模型的工具faig，其计算公式如下：
[0106][0107]
其中，积分路径γ(α)是通过对初始模型与目标模型f(θ)之间进行线性插值生成的，n表示积分子区间的数量，积分子区间是按照一定的积分步长划分得到的，一般情况下，经验值为100。该方法主要是在参数空间对filter进行梯度积分，其通过对积分路径上的点进行大量的采样(例如采样100个点)，能够尽可能的逼近积分的结果。
[0108]
在一种可选的实施方式中，基于获得的各个影响因子，从各个神经元中选取目标退化类型对应的目标神经元，包括：
[0109]
将各个神经元按照各自对应的影响因子进行排序；将各个神经元中对应的排序结果在预设次序范围内的神经元，作为目标神经元。
[0110]
例如，按照各个神经元对应的影响因子从大到小的顺序，对各个神经元进行排序，选取前1％(占比为整个网络模型中所有可学习神经元总数的1％)的神经元作为目标神经
元；或者，选取5％(占比为整个网络模型中所有可学习神经元总数的5％)的神经元作为目标神经元等，该预设次序范围可根据实际需求进行设置，在此不做具体限定。
[0111]
需要说明的是，上述排序方式只是举例说明，也可按照从小到大的顺序进行排序，选取后1％的神经元等，在此不做具体限定。
[0112]
在本技术实施例中，通过对所有filters计算的梯度值进行排序，得到网络中所有的filters对于特定的退化的重要程度，梯度值越大意味着越重要。进而，找到的这些filters(前1％，即目标神经元)在保留目标模型的特异性功能以及增加初始模型从不能处理某种退化到能够处理某种退化上起着非常重要的作用；基于这些filters，能够实现对输入图片的退化进行无监督的分类以及对在不增加任何参数量的情况下，对网络的能力进行调节的效果。
[0113]
s23：终端设备基于获得的各个影响因子，从各个神经元中选取目标退化类型对应的目标神经元，并对第一退化处理模型中的目标神经元进行更新，获得相应的目标退化处理模型；
[0114]
s24：终端设备基于目标退化处理模型，对待处理图像进行图像处理，获得目标输出图像。
[0115]
在上述实施方式中，由于本技术通过对初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，可以获得各个神经元各自对于目标退化类型的影响因子；基于此筛选出的目标神经元对于目标退化类型更具有针对性，能够根据不同的退化，找到其对应的很重要的神经元。本技术在仅仅对筛选出的目标神经元进行改变的情况下，可以改变网络的特定的功能；在不引入新的参数量的情况下，对第一退化处理模型中目标神经元对应的网络参数进行更新，得到仅仅能够处理特定退化类型的目标退化处理模型，基于此实现对待处理图像更具针对性的特定退化处理。
[0116]
下面对步骤s23进行详细介绍。在本技术实施例中，对第一退化处理模型中的目标神经元进行更新，获得相应的目标退化处理模型，包括以下操作中的任意一种：
[0117]
方式一、基于找到的filters，擦除f(θ)的特异性功能。
[0118]
可选的，将第一退化处理模型中目标神经元对应的网络参数，替换为第二退化处理模型中相关联的神经元对应的网络参数，获取目标退化处理模型。
[0119]
其中，第二退化处理模型可以为上文所列举的针对faig方法找到的这些目标神经元filters的位置，将f(θ)在这些位置上的网络参数的值替换成同样位置的的值，能够对f(θ)的功能进行特定的改变。如针对模糊这一目标退化类型找到的目标神经元filters，当基于上述方法对f(θ)中的这些filters进行替换之后，得到的新的模型(可称作目标退化处理模型1)失去了去模糊的功能，但是还保留着去噪声的功能；再比如，针对噪声这一目标退化类型找到的目标神经元filters，当基于上述方法对f(θ)中的这些filters进行替换之后，得到的新的模型(可称作目标退化处理模型2)失去了去噪声的功能，但是还保留着去模糊的功能，其效果如图5所示。
[0120]
参阅图5所示，其为本技术实施例中的一种不同模型输出效果的对比示意图。该示意图包含对不同退化找到的filters进行mask的结果，图像分为两行四列，共8张，编号分别为1-8。其中，第一列为输入图像(input image)，即待处理图像；第二列为网络输入
(network output)，即，f(θ)输出的初始输出图像；第三列为掩码1％去模糊神经元(mask
1％
deblurring filters)所得的新的模型的输出结果，即目标退化处理模型1输出的目标输出图像；第四列为掩码1％去噪声神经元(mask
1％
denoising filters)所得的新的模型的输出结果，即目标退化处理模型2输出的目标输出图像；另外，第一行表示模糊输入(blurry input)及其对应的各个输出结果，第二行表示噪声输入(noisy input)及其对应的各个输出结果。
[0121]
基于上述内容，编号为1的图像(可称图像1，其余图像也可采用相同的方式)为模糊类型的待处理图像，图像5为噪声类型的待处理图像；图像1对应的三个输出结果分别为图像2、图像3和图像4，图像5对应的三个输出结果分别为图像6、图像7和图像8。
[0122]
具体而言，f(θ)具有去模糊和去噪声的能力，如图5中的图像2和图像6所示，当通过上述方式mask 1％的针对去模糊找到的目标神经元filters后，所得到的目标退化处理模型1没有去模糊的能力，如图像3所示，但是还有去噪声的能力，如图像7所示；当通过上述方式mask 1％的针对去噪声找到的目标神经元filters后，所得到的目标退化处理模型2没有去噪声的能力，如图像8所示，但是还有去模糊的能力，如图像4所示。其中，mask指将f(θ)中特定位置的filters的值替换成中对应的值。
[0123]
在上述实施方式中，基于本技术提出faig方法，能够根据不同的退化，找到其对应的很重要的filters。当本技术对这些filters的权重进行改变时，能够在擦除目标模型某种功能的情况下(如去模糊)对其它功能进行很好的保留(如去噪声)。该方法可以很好的作为分析盲超分的工具。
[0124]
方式二、剪枝、量化。
[0125]
可选的，通过对第一退化处理模型中目标神经元对应的网络参数，进行剪枝与量化处理中的至少一种，获得目标退化处理模型。
[0126]
该方式下，需要对目标退化类型不重要的神经元所对应的网络参数进行剪枝或量化处理。此时，目标神经元可以是指按照各个神经元对应的影响因子从大到小的顺序，对各个神经元进行排序后，所选取的后1％的神经元，即对于目标退化类型最不重要的1％的神经元。
[0127]
在上述实施方式中，本技术提出的faig对于模型的剪枝、量化工作有很好的参考价值，基于faig找到的少量filters(如1％)对于网络增加特定的功能起着非常重要的作用。
[0128]
方式三、基于找到的filters，调节网络的能力。
[0129]
可选的，对第一退化处理模型中目标神经元对应的网络参数，以及第二退化处理模型中相关联的神经元对应的网络参数进行线性插值，获得目标退化处理模型。
[0130]
具体地，基于faig找到的filters对应的位置，在这些位置上针对初始模型的参数以及目标模型的参数进行线性插值，得到一个新的模型，即目标退化处理模型，其公式如下：
[0131][0132]
其中，第二退化处理模型与第一退化处理模型对应不同的参数结合比例，第一退
化处理模型f(θ)对应的参数结合比例为λ，第二退化处理模型对应的参数结合比例为1-λ。
[0133]
在本技术实施例中，参数结合比例用于均衡目标退化处理模型处理不同退化类型的调节能力。即，λ可用于表示初始模型与目标模型之间的权值结合的比例，在不增加任何参数的情况下，通过调整λ，能够调节目标退化处理模型处理退化的能力强弱，结果如图6所示。
[0134]
图6为本技术实施例中的一种基于不同参数生成的模型的去噪效果的示意图，表征基于不同的λ生成的目标退化处理模型的去噪效果，共分为两行九列。其中，第一行表征输入图像为草地(grass)时，不同λ对应的不同目标输出图像，第二行表征输入图像为天空(sky)时，不同λ对应的不同目标输出图像。
[0135]
其中，第一列表示输入图像，即待处理图像，具体是指图中白色矩形框内的部分；第二列表示λ＝0.0时，即目标退化处理模型为初始模型时，对应的输出图像，显然不能去噪；第三列表示λ＝0.2时，目标退化处理模型对应的输出图像，
…
，以此类推即可获得基于不同的λ生成的目标退化处理模型对应的输出图像。
[0136]
当输入图像为草地时，由图6可知，当λ＝0.8时，输出图像最佳，该输出图像既去除了噪声，也叫好了保留了图像的细节；当输入图像为天空时，由图6可知，当λ＝1.0时，输出图像最佳。
[0137]
在上述实施方式中，基于faig找出的这些filters，在不引入任何新的参数量的情况下，能够调控模型去除某种特定的退化的程度，均衡模型针对不同退化的调节能力。
[0138]
在本技术实施例中，除了上述所列举的获取目标退化处理模型的几种方式之外，还可基于上述方式获取目标神经元filters，基于找到的filters，增加的特定的功能，即对第二退化处理模型中的目标神经元进行更新，获得目标退化处理模型。
[0139]
具体地，针对初始模型在使用盲超分的训练数据集下只更新faig找到的filters(1％、5％)。以1％为例，假设确定针对模糊退化类型最重要的前1％的目标神经元，并将中目标神经元对应位置的网络参数替换为f(θ)中相应位置的网络参数，即可得具有去模糊能力的模型，即目标退化处理模型。
[0140]
本技术相比于其它的找filters的方法以及随机选择同样比例filters的方法，faig的效果更加接近于更新全部参数的结果，其定量结果如图7所示。
[0141]
其中，图7为本技术实施例中的一种下更新基于不同方法得到的filters的结果比较的示意图。由图7可知，本次分别比对了输入图像为模糊图像(blurry)和噪声图像(noisy)时，不同更新方法对应的结果，具体包括：faig、ig、随机(random)这几种方式。模型效果主要是基于峰值信噪比(peak signal to noise ratio，psnr)来衡量，单位为分贝(db)，数值越大表征模型效果越好。
[0142]
以输入为模糊图像为例，上限(upper bound)为29.203，其中的
±
0.021表示通过三次实验所得到的方差，在重新训练1％的神经元，以去模糊(re-train1％filters for deblurring)时，上述所列举的四种方法各自对应的结果为28.047(
±
0.023)、26.474(
±
0.295)、26.758(
±
0.103)、27.028(
±
0.154)。很显然，faig效果最佳；当输入为噪声图像在重新训练1％的神经元，以去噪声(re-train 1％filters for denoising)时，上述所列举的四种方法各自对应的结果为25.793(
±
0.021)、25.465(
±
0.014)、25.418(
±
0.009)、25.526(
±
0.010)。很显然，faig效果最佳。
[0143]
在一种可选的实施方式中，第一退化处理模型可以是基于包含模糊图像、噪声图像和双三次下采样图像的训练样本数据集训练得到的，其中，训练样本数据集中的图像也可以包含多种退化类型，比如模糊图像中也含噪声等，在此不做具体限定，训练得到的第一退化处理模型可以处理噪声、模糊和双三次下采样退化。
[0144]
在另一种可选的实施方式中，还可基于上述思想为第二退化处理模型增加去噪声、去模糊的能力，以得到第一退化处理模型。具体地，通过将第二退化处理模型中目标神经元对应的网络参数，替换为样本模型中相关联的神经元对应的网络参数，获取第一退化处理模型。其中，样本模型为至少用于复原目标退化类型的退化图像的模型，第二退化处理模型为用于复原至少一种退化类型的退化图像的模型，第一退化处理模型、第二退化处理模型，以及样本模型的参数空间相同，网络参数的数量也相同。
[0145]
例如，第二退化处理模型为样本模型为能够复原模糊图像的模型，即可通过上述方式，确定出样本模型中模糊类型对应的目标神经元，通过更新对应的目标神经元，即可获得具有去模糊能力的新的模型，进一步地，还可在此基础上，确定出样本模型中噪声类型对应的目标神经元，通过更新上一步中获取的新的模型对应的目标神经元，即可获得具有去噪声能力的模型，即第一退化处理模型。
[0146]
在上述实施方式中，本技术在初始模型与目标模型的参数空间，基于沿着线性插值的路径对filter的梯度进行积分找到的filters，能够在增加特定网络的功能的时候，起着非常重要的作用。
[0147]
需要说明的是，除了上述所列举的实施例之外，基于找到的filters，还可对输入图片的退化进行判断，实现对输入图片的退化进行无监督的分类的效果。
[0148]
参阅图8所示，其为本技术实施例中的一种判断待处理图像退化类型的方法的流程示意图，具体包括以下步骤：
[0149]
s81：终端设备获取多个参考图像，每个参考图像包含一种退化类型；
[0150]
s82：终端设备分别基于多个参考图像，获得各种退化类型各自对应的参考神经元；
[0151]
s83：终端设备基于目标神经元与参考神经元之间的重叠比例，确定待处理图像对应的目标退化类型。
[0152]
例如，基于在set14数据集获取的针对不同退化对应的filters，以及待处理图像的filters，在计算这些filters的交集之后，通过设计阈值，即可在无监督的情况下对待处理图像的退化类型进行判断。
[0153]
其中，set14数据集是图像处理领域常用的一种数据集，可基于set14数据集中的模糊图像作为初始退化处理模型的输入图像，基于上述所列举的faig方法获取针对模糊的一组filters-1；基于set14数据集中的噪声图像作为初始退化处理模型的输入图像，基于上述所列举的faig方法获取针对噪声的一组filters-2；另外，将待处理图像作为初始退化
处理模型的输入图像，基于上述所列举的faig方法获取针对模糊的一组filters-3。通过比较filters-1与filters-3之间的交集，filters-2与filters-3之间的交集，即可确定待处理图像的目标退化类型具体是模糊，是噪声，还是模糊+噪声。比如阈值为70％，filters-1与filters-3之间的交集占80％，filters-2与filters-3之间的交集占60％，即可确定目标退化类型为模糊；若filters-1与filters-3之间的交集占20％，filters-2与filters-3之间的交集占90％，即可确定目标退化类型为噪声。
[0154]
在上述实施方式中，基于faig找出的这些filters，能够使用无监督的方式判断输入图片的退化类型。
[0155]
一种可选的实施方式为，通过如下步骤实现步骤s82，如图9所示，其为本技术实施例中的一种参考神经元确定方法的流程示意图，包括以下步骤：
[0156]
s901：终端设备分别将多个参考图像输入初始退化处理模型，获取初始退化处理模型的各个参考输出图像；
[0157]
s902：终端设备分别基于各个参考输出图像，对初始退化处理模型包含的各个神经元对应的网络参数进行梯度积分，获得各个神经元各自对于各种退化类型的影响因子；
[0158]
s903：终端设备基于各个神经元各自对于各种退化类型的影响因子，从各个神经元中分别选取各种退化类型各自对应的参考神经元。
[0159]
例如，参考图像有噪声图像，模糊图像，分别将各个参考图像输入初始退化处理模型，基于上述所列举的公式2进行梯度积分，以确定出噪声类型对应的一组参考神经元，模糊类型对应的一组参考神经元。
[0160]
下面结合图10对本技术实施例中的faig方法的效果进行简要概述：
[0161]
本技术将模型性能与其他方法进行了比较。对于模糊(噪声)输入，本技术掩码了相应的去模糊(去噪声)神经元。较大的值表示性能下降较大。在set14上测试。
[0162]
参阅图10所示，其为本技术实施例中的一种不同方法不同比例掩码的效果对比示意图，显示了本技术的faig方法相比于其它方法而言，能够找到更为重要的filters。具体包括：faig、ig、随机(random)这几种方式。其中，输入图像也是分为模糊图像(blurry image)和噪声图像(noisy image)两类。图10展示了通过faig找到的filters，相比于随机选取的方式得到的filters，对于不同的退化具有很好的特异性，图10中的
±
符号之前的数字表示模型性能，数值越大，效果越好，
±
符号之前的数字表示通过三次实验所得到的方差，比如faig:6.68
±
0.63，其中6.68表示模型性能，0.63表示三次实验结果的方差。
[0163]
下面结合图11a-图11d对本技术实施例中的目标神经元的占比分析过程进行简要概括：
[0164]
本技术中可以通过测量目标模型f(θ)和目标处理模型的输出差异s，例如均方误差(mean sauqre error，mse)，来量化目标神经元对网络功能的贡献。其中，图11a-图11d分别为四种目标神经元的占比与模型性能变化的关系示意图。
[0165]
参阅图11a和图11b所示，表示为输入图像为模糊图像时，基于不同比例掩码发现的去模糊神经元所得到的效果图。横轴表示神经元替换比例，纵轴表示模型性能。其中，虚线表示基于本技术中的faig方式确定去模糊神经元并掩码时所对应的性能下降曲线，实线表示随机掩码时所对应的性能下降曲线。
[0166]
具体的，由图11a可知，采用本技术中的faig方式确定去模糊神经元并掩码时，目
标神经元占所有神经元的比例较小的情况下，去模糊性能下降很明显，贡献更加显著。同理，由图11b可知，采用本技术中的faig方式确定去模糊神经元并掩码时，目标神经元占所有神经元的比例较小的情况下，去噪声性能下降不明显。即，在目标神经元占所有神经元的比例较小时，例如仅掩码前1％去模糊神经元时，模型即可失去去模糊能力，保持去噪声能力。
[0167]
参阅图11c和图11d所示，表示为输入图像为模糊图像时，基于不同比例掩码发现的去噪声神经元所得到的效果图。同样，横轴表示神经元替换比例，纵轴表示模型性能。虚线表示基于本技术中的faig方式确定去噪声神经元并掩码时所对应的性能下降曲线，实线表示随机掩码时所对应的性能下降曲线。
[0168]
具体的，由图11c可知，采用本技术中的faig方式确定去噪声神经元并掩码时，目标神经元占所有神经元的比例较小的情况下，去噪声性能下降不明显。同理，由图11d可知，采用本技术中的faig方式确定去噪声神经元并掩码时，目标神经元占所有神经元的比例较小的情况下，去噪声性能下降很明显，贡献更加显著。即，在目标神经元占所有神经元的比例较小时，例如仅掩码前1％去噪声神经元时，模型即可失去去噪声能力，保持去模糊能力。
[0169]
参阅图12所示，其为本技术实施例中的一种图像处理完整方法的流程示意图。该方法的具体实施流程如下：
[0170]
步骤s1201：终端设备将待处理图像输入初始退化处理模型，获取初始退化处理模型的初始输出图像；
[0171]
步骤s1202：终端设备基于初始输出图像与样本图像之间的差异值，构建初始退化处理模型对应的损失函数；
[0172]
步骤s1203：终端设备基于损失函数，按照预设积分路径对初始退化处理模型的神经元对应的网络参数进行梯度积分，获取初始退化处理模型中各个的神经元对于模糊类型的影响因子；
[0173]
步骤s1204：终端设备将各个神经元按照各自对应的影响因子进行排序；
[0174]
步骤s1205：终端设备将各个神经元中对应的排序结果在前1％的神经元，作为目标神经元；
[0175]
步骤s1206：终端设备对第一退化处理模型中目标神经元对应的网络参数，以及第二退化处理模型中相关联的神经元对应的网络参数进行线性插值，获得目标退化处理模型；
[0176]
步骤s1207：终端设备基于目标退化处理模型，对待处理图像进行图像处理，获得目标输出图像。
[0177]
需要说明的是，上述所列举的只是本技术实施例中的一种实施方式，本技术实施例中通过对盲超分网络在参数空间上进行梯度积分的方式，相比于其它的方法，能够找到针对特定的退化更为重要的filters，faig是理解盲超分网络的内在机制的一个有效的工具。基于faig找到的filters，不仅能够应用于图12所列举的对模型复原能力的调节，还可用于模型的剪枝、量化，对输入图片的退化的判断等多个领域，在此不做具体限定。除此之外，基于上述所提的faig以及分析faig找到的重要的filters，还可对相关技术中的盲超分网络的内在机制有更加清晰的认识。
[0178]
基于相同的发明构思，本技术实施例还提供一种图像处理装置。如图13所示，其为
本技术实施例中的一种图像处理装置1300的结构示意图，可以包括：
[0179]
第一处理单元1301，用于将待处理图像输入初始退化处理模型，获取初始退化处理模型的初始输出图像，初始退化模型是基于第一退化处理模型和第二退化处理模型生成的，第一退化处理模型为用于复原至少两种退化类型的退化图像的模型，第二退化处理模型为用于复原至少一种退化类型的退化图像的模型；
[0180]
积分单元1302，用于基于初始输出图像，分别对初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，获得各个神经元各自对于目标退化类型的影响因子；
[0181]
筛选单元1303，用于基于获得的各个影响因子，从各个神经元中选取目标退化类型对应的目标神经元，并对第一退化处理模型中的目标神经元进行更新，获得相应的目标退化处理模型；
[0182]
第二处理单元1304，用于基于目标退化处理模型，对待处理图像进行图像处理，获得目标输出图像。
[0183]
可选的，筛选单元1303具体用于：
[0184]
基于初始输出图像与样本图像之间的差异值，构建初始退化处理模型对应的损失函数，样本图像为待处理图像对应的超分辨率图像；
[0185]
基于损失函数，按照预设积分路径对初始退化处理模型的神经元对应的网络参数进行梯度积分，获取初始退化处理模型中各个的神经元对于目标退化类型的影响因子；
[0186]
其中，预设积分路径是通过对第二退化处理模型和第一退化处理模型的网络参数进行线性插值生成的，第二退化处理模型与第一退化处理模型的网络参数的数量相同。
[0187]
可选的，在对各个神经元对应的网络参数进行梯度积分时，为预设积分路径的每一段子积分区间赋予相同的积分权重；或者，
[0188]
在对各个神经元对应的网络参数进行梯度积分时，基于预设积分规则为预设积分路径中不同的子积分区间赋予不同的积分权重。
[0189]
可选的，筛选单元1303具体用于：
[0190]
将各个神经元按照各自对应的影响因子进行排序；
[0191]
将各个神经元中对应的排序结果在预设次序范围内的神经元，作为目标神经元。
[0192]
可选的，第二处理单元1304具体用于执行以下操作中的至少一种：
[0193]
将第一退化处理模型中目标神经元对应的网络参数，替换为第二退化处理模型中相关联的神经元对应的网络参数，获取目标退化处理模型；
[0194]
对第一退化处理模型中目标神经元对应的网络参数，进行剪枝与量化处理中的至少一种，获得目标退化处理模型；
[0195]
对第一退化处理模型中目标神经元对应的网络参数，以及第二退化处理模型中相关联的神经元对应的网络参数进行线性插值，获得目标退化处理模型。
[0196]
可选的，在对第一退化处理模型中目标神经元对应的网络参数，以及第二退化处理模型中相关联的神经元对应的网络参数进行线性插值时，第二退化处理模型与第一退化处理模型对应不同的参数结合比例，参数结合比例用于均衡目标退化处理模型处理不同退化类型的调节能力。
[0197]
可选的，装置还包括：
[0198]
模型生成单元1305，用于通过下列方式得到第一退化处理模型：
[0199]
将第二退化处理模型中目标神经元对应的网络参数，替换为样本模型中相关联的神经元对应的网络参数，获取第一退化处理模型，样本模型为至少用于复原目标退化类型的退化图像的模型，第一退化处理模型、第二退化处理模型，以及样本模型的网络参数的数量相同。
[0200]
可选的，第二退化处理模型为用于处理下采样退化类型的退化图像的模型，至少两种退化类型包含下采样退化类型。
[0201]
可选的，装置还包括：
[0202]
分类单元1306，用于获取多个参考图像，每个参考图像包含一种退化类型；
[0203]
分别基于多个参考图像，获得各种退化类型各自对应的参考神经元；
[0204]
基于目标神经元与参考神经元之间的重叠比例，确定待处理图像对应的目标退化类型。
[0205]
可选的，分类单元1306具体用于：
[0206]
分别将多个参考图像输入初始退化处理模型，获取初始退化处理模型的各个参考输出图像；
[0207]
分别基于各个参考输出图像，对初始退化处理模型包含的各个神经元对应的网络参数进行梯度积分，获得各个神经元各自对于各种退化类型的影响因子；
[0208]
基于各个神经元各自对于各种退化类型的影响因子，从各个神经元中分别选取各种退化类型各自对应的参考神经元。
[0209]
在上述实施方式中，由于本技术通过对初始退化处理模型包含的各个神经元各自对应的网络参数进行梯度积分，可以获得各个神经元各自对于目标退化类型的影响因子；基于此筛选出的目标神经元对于目标退化类型更具有针对性，能够根据不同的退化，找到其对应的很重要的神经元。本技术在仅仅对筛选出的目标神经元进行改变的情况下，可以改变网络的特定的功能；在不引入新的参数量的情况下，对第一退化处理模型中目标神经元对应的网络参数进行更新，得到仅仅能够处理特定退化类型的目标退化处理模型，基于此实现对待处理图像更具针对性的特定退化处理。
[0210]
为了描述的方便，以上各部分按照功能划分为各单元模块(或模块)分别描述。当然，在实施本技术时可以把各单元(或模块)的功能在同一个或多个软件或硬件中实现。
[0211]
所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0212]
与上述方法实施例基于同一发明构思，本技术实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图14所示，包括存储器1401，通讯模块1403以及一个或多个处理器1402。
[0213]
存储器1401，用于存储处理器1402执行的计算机程序。存储器1401可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
[0214]
存储器1401可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储器1401也可以是非易失性存储器(non-volatile memory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者存储器1401是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1401可以是上述存储器的组合。
[0215]
处理器1402，可以包括一个或多个中央处理单元(central processing unit，cpu)或者为数字处理单元等等。处理器1402，用于调用存储器1401中存储的计算机程序时实现上述图像处理方法。
[0216]
通讯模块1403用于与终端设备和其他服务器进行通信。
[0217]
本技术实施例中不限定上述存储器1401、通讯模块1403和处理器1402之间的具体连接介质。本技术实施例在图14中以存储器1401和处理器1402之间通过总线1404连接，总线1404在图14中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1404可以分为地址总线、数据总线、控制总线等。为便于描述，图14中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。
[0218]
存储器1401中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本技术实施例的图像处理方法。处理器1402用于执行上述的图像处理方法，如图2所示。
[0219]
在另一种实施例中，电子设备也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图15所示，包括：通信组件1510、存储器1520、显示单元1530、摄像头1540、传感器1550、音频电路1560、蓝牙模块1570、处理器1580等部件。
[0220]
通信组件1510用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(wireless fidelity，wifi)模块，wifi模块属于短距离无线传输技术，电子设备通过wifi模块可以帮助用户收发信息。
[0221]
存储器1520可用于存储软件程序及数据。处理器1580通过运行存储在存储器1520的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1520存储有使得终端设备110能运行的操作系统。本技术中存储器1520可以存储操作系统及各种应用程序，还可以存储执行本技术实施例图像处理方法的代码。
[0222]
显示单元1530还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface，gui)。具体地，显示单元1530可以包括设置在终端设备110正面的显示屏1532。其中，显示屏1532可以采用液晶显示器、发光二极管等形式来配置。显示单元1530可以用于显示本技术实施例中的各种图像，例如待处理图像、输出图像等。
[0223]
显示单元1530还可用于接收输入的数字或字符信息，产生与终端设备110的用户设置以及功能控制有关的信号输入，具体地，显示单元1530可以包括设置在终端设备110正面的触摸屏1531，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
[0224]
其中，触摸屏1531可以覆盖在显示屏1532之上，也可以将触摸屏1531与显示屏
1532集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本技术中显示单元1530可以显示应用程序以及对应的操作步骤。
[0225]
摄像头1540可用于捕获静态图像，用户可以将摄像头1540拍摄的图像通过应用发布评论。摄像头1540可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1580转换成数字图像信号。
[0226]
终端设备还可以包括至少一种传感器1550，比如加速度传感器1551、距离传感器1552、指纹传感器1553、温度传感器1554。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
[0227]
音频电路1560、扬声器1561、传声器1562可提供用户与终端设备110之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器1562将收集的声音信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出至通信组件1510以发送给比如另一终端设备110，或者将音频数据输出至存储器1520以便进一步处理。
[0228]
蓝牙模块1570用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块1570与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
[0229]
处理器1580是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器1520内的软件程序，以及调用存储在存储器1520内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器1580可包括一个或多个处理单元；处理器1580还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1580中。本技术中处理器1580可以运行操作系统、应用程序、用户界面显示及触控响应，以及本技术实施例的图像处理方法。另外，处理器1580与显示单元1530耦接。
[0230]
在一些可能的实施方式中，本技术提供的图像处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的图像处理方法中的步骤，例如，计算机设备可以执行如图2中所示的步骤。
[0231]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0232]
本技术的实施方式的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在计算装置上运行。然而，本技术的程序产品不限于此，在本技术件中，
可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
[0233]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
[0234]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0235]
可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
[0236]
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
[0237]
此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0238]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0239]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0240]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。