图片优化方法、装置、电子设备及存储介质与流程

文档序号:20603076发布日期:2020-05-01 21:49阅读:127来源:国知局
图片优化方法、装置、电子设备及存储介质与流程

本发明涉及图像处理技术领域,尤其涉及一种图片优化方法、装置、电子设备及存储介质。



背景技术:

生活中,无论是求职还是考试,很多用户都会需要拍摄证件照,而为了得到效果更佳的证件照,还需要对证件照进行美化。

目前,通常采用一些开源的软件实现对证件照的美化,这些软件基本都是基于一般的图像处理算法,处理效果及处理速度都还有待提高,另外,可优化的类型都是软件在开发时就预先制定好的,无法根据用户的实际需求进行自定义配置,因此,使用时的灵活性及自由度也会受到限制。



技术实现要素:

鉴于以上内容,有必要提供一种图片优化方法、装置、电子设备及存储介质,能够对多种优化类型的图片进行优化,泛化能力更强。

一种图片优化方法,所述方法包括:

当接收到图片优化指令时,获取待优化图片;

将所述待优化图片输入到预先训练的编码器中,得到编码图片,其中,所述编码器是根据输入数据及输出数据间的均方差进行调整训练而得到;

从所述图片优化指令中确定优化类型;

根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型,其中,所述深度卷积生成对抗网络模型由多个子模型组成,所述多个子模型是根据样本图片对应的优化类型进行训练而得到;

将所述编码图片输入到所述至少一个子模型中,得到优化图片。

根据本发明优选实施例,在将所述待优化图片输入到预先训练的编码器中前,所述方法还包括:

采用梯度下降法调整编码器初始模型的参数;

获取所述编码器的输入数据及输出数据;

计算所述输出数据相对于所述输入数据的均方差;

当所述均方差小于或者等于预设阈值时,停止对所述参数的调整,得到所述编码器。

根据本发明优选实施例,在根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型前,所述方法还包括:

获取标记的样本图片;

识别所述样本图片的标记类型,作为所述优化类型;

为识别出的每种优化类型训练一个子模型;

集成所有训练的子模型,得到所述深度卷积生成对抗网络模型。

根据本发明优选实施例,所述为识别出的每种优化类型训练一个子模型包括:

从所述样本图片中筛选出每种优化类型的子样本;

将每种子样本输入到所述编码器中,得到每种编码样本;

基于每种编码样本,生成每种优化类型对应的生成器及判别器;

对抗训练每种优化类型对应的生成器及判别器,得到每种优化类型的子模型。

根据本发明优选实施例,所述对抗训练每种优化类型对应的生成器及判别器包括:

不断以所述判别器为损失函数对所述判别器及所述生成器进行交替的对抗训练,优化所述生成器;

当检测到所述判别器的输出为预设值时,停止对所述生成器的优化。

根据本发明优选实施例,在得到优化图片后,所述方法还包括:

链接指定服务器;

将所述优化图片发送至所述指定服务器进行检测,得到检测结果;

当所述优化图片未通过检测时,基于所述检测结果确定待优化点;

确定所述待优化点的优化类型;

根据所述优化类型继续优化所述待优化点。

根据本发明优选实施例,在得到优化图片后,所述方法还包括:

打包所述优化图片及所述待优化图片,得到压缩包;

对所述压缩包做加密处理;

将加密后的压缩包发送至指定终端设备。

一种图片优化装置,所述装置包括:

获取单元,用于当接收到图片优化指令时,获取待优化图片;

输入单元,用于将所述待优化图片输入到预先训练的编码器中,得到编码图片,其中,所述编码器是根据输入数据及输出数据间的均方差进行调整训练而得到;

确定单元,用于从所述图片优化指令中确定优化类型;

调取单元,用于根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型,其中,所述深度卷积生成对抗网络模型由多个子模型组成,所述多个子模型是根据样本图片对应的优化类型进行训练而得到;

所述输入单元,还用于将所述编码图片输入到所述至少一个子模型中,得到优化图片。

根据本发明优选实施例,所述装置还包括:

调整单元,用于在将所述待优化图片输入到预先训练的编码器中前,采用梯度下降法调整编码器初始模型的参数;

所述获取单元,还用于获取所述编码器的输入数据及输出数据;

计算单元,用于计算所述输出数据相对于所述输入数据的均方差;

停止单元,用于当所述均方差小于或者等于预设阈值时,停止对所述参数的调整,得到所述编码器。

根据本发明优选实施例,所述获取单元,还用于在根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型前,获取标记的样本图片;

所述装置还包括:

识别单元,用于识别所述样本图片的标记类型,作为所述优化类型;

训练单元,用于为识别出的每种优化类型训练一个子模型;

集成单元,用于集成所有训练的子模型,得到所述深度卷积生成对抗网络模型。

根据本发明优选实施例,所述训练单元为识别出的每种优化类型训练一个子模型包括:

从所述样本图片中筛选出每种优化类型的子样本;

将每种子样本输入到所述编码器中,得到每种编码样本;

基于每种编码样本,生成每种优化类型对应的生成器及判别器;

对抗训练每种优化类型对应的生成器及判别器,得到每种优化类型的子模型。

根据本发明优选实施例,所述训练单元对抗训练每种优化类型对应的生成器及判别器包括:

不断以所述判别器为损失函数对所述判别器及所述生成器进行交替的对抗训练,优化所述生成器;

当检测到所述判别器的输出为预设值时,停止对所述生成器的优化。

根据本发明优选实施例,所述装置还包括:

链接单元,用于在得到优化图片后,链接指定服务器;

发送单元,用于将所述优化图片发送至所述指定服务器进行检测,得到检测结果;

所述确定单元,还用于当所述优化图片未通过检测时,基于所述检测结果确定待优化点;

所述确定单元,还用于确定所述待优化点的优化类型;

优化单元,用于根据所述优化类型继续优化所述待优化点。

根据本发明优选实施例,所述装置还包括:

打包单元,用于在得到优化图片后,打包所述优化图片及所述待优化图片,得到压缩包;

加密单元,用于对所述压缩包做加密处理;

所述发送单元,还用于将加密后的压缩包发送至指定终端设备。

一种电子设备,所述电子设备包括:

存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现所述图片优化方法。

一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现所述图片优化方法。

由以上技术方案可以看出,本发明能够当接收到图片优化指令时,获取待优化图片,并将所述待优化图片输入到预先训练的编码器中,得到编码图片,以实现编码的统一,从所述图片优化指令中确定优化类型,并根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型,将所述编码图片输入到所述至少一个子模型中,得到优化图片,进而能够对多种优化类型的图片进行优化,泛化能力更强。

附图说明

图1是本发明图片优化方法的较佳实施例的流程图。

图2是本发明图片优化装置的较佳实施例的功能模块图。

图3是本发明实现图片优化方法的较佳实施例的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。

如图1所示,是本发明图片优化方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。

所述图片优化方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit,asic)、可编程门阵列(field-programmablegatearray,fpga)、数字处理器(digitalsignalprocessor,dsp)、嵌入式设备等。

所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(personaldigitalassistant,pda)、游戏机、交互式网络电视(internetprotocoltelevision,iptv)、智能式穿戴式设备等。

所述电子设备还可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloudcomputing)的由大量主机或网络服务器构成的云。

所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtualprivatenetwork,vpn)等。

s10,当接收到图片优化指令时,获取待优化图片。

在本发明的至少一个实施例中,所述图片优化指令可以由任意用户触发,本发明不限制。

进一步地,本实施例中的技术方案可以基于云端部署技术(如:gpu(graphicsprocessingunit,图形处理器)、tpu(tensorprocessingunit,张量处理器)部署等)部署于云端,以便做到对优化结果的即时反馈,同时无需额外的设备支持,实时且快速。

在本发明的至少一个实施例中,所述待优化图片是指需要被优化的原始图片,例如:证件照、婚纱照等。

进一步地,所述电子设备获取所述待优化图片包括,但不限于以下一种或者多种方式的组合:

(1)所述电子设备接收到用户上传的图片,作为所述待优化图片。

通过上述实施方式,所述电子设备能够根据所述用户的实际需求确定所述待优化图片。

(2)所述电子设备获取用户拍摄的图片,并识别所述图片的类型,当所述图片属于配置类型时,将所述图片自动确定为所述待优化图片。

其中,所述配置类型可以进行自定义配置,如:证件类型等。

通过上述实施方式,能够自动辅助用户优化图片,无需用户进行手动上传,节约操作时间的同时,也提升了用户友好性。

s11,将所述待优化图片输入到预先训练的编码器中,得到编码图片。

在本发明的至少一个实施例中,由于每个用户的拍摄设备或者拍摄软件不同,因此,所述待优化图片的格式等也将不同,而为了适用于各种不同的待优化图片,所述电子设备首先对所述待优化图片进行统一编码,以实现对所述待优化图片格式的统一,使不同类型的待优化图片都能够被优化处理。

在本发明的至少一个实施例中,所述方法还包括:

所述电子设备训练所述编码器。

具体地,在将所述待优化图片输入到预先训练的编码器中前,所述方法还包括:

所述电子设备采用梯度下降法调整编码器初始模型的参数,并获取所述编码器的输入数据及输出数据,所述电子设备计算所述输出数据相对于所述输入数据的均方差,当所述均方差小于或者等于预设阈值时,所述电子设备停止对所述参数的调整,得到所述编码器。

其中,所述编码器初始模型中包括输入层、隐含层及输出层。

不同于现有技术中采用交叉熵或者平方误差作为编码器的重建损失函数的方式,由于本案中编码器的优化目标是将输入图片与输出图片间的差异最小化,因此,在训练过程中,本案以均方差的形式计算损失,再以梯度下降的方式不断调整所述编码器,使所述编码器更加准确。

进一步地,所述编码器初始模型是一个无监督网络,将输入层的数据通过转换得到其隐含层的表示,然后由隐含层重构,还原出接近原始数据的抽象的表示,再采用梯度下降法调整所述编码器初始模型的参数,直至所述均方差小于或者等于预设阈值时,所述电子设备停止对所述参数的调整,得到所述编码器。

其中,所述预设阈值可以进行自定义配置,本发明不限制。

在训练得到所述编码器后,即可依据所述编码器对所述待优化图片进行统一编码,以方便后续对所述待优化图片进行优化处理。

s12,从所述图片优化指令中确定优化类型。

在本发明的至少一个实施例中,由于每张待优化图片的拍摄质量不同,因此,每张待优化图片的优化需求也不同。

在本实施例中,所述电子设备首先从所述图片优化指令中确定优化类型,以便对所述待优化图片进行有针对性的优化,不仅节约了优化时间,同时避免进行不必要的优化,给用户造成不便。

在本发明的至少一个实施例中,所述电子设备从所述图片优化指令中确定优化类型包括,但不限于以下一种或者多种方式的组合:

(1)在接收到所述图片优化指令后,所述电子设备显示所有优化类型,以供用户选择,当接收到用户对任意优化类型的选择信号时,所述电子设备将选择的类型确定为所述优化类型。

通过上述实施方式,所述电子设备能够根据用户的选择进行有针对性的优化,以满足用户的实际需求。

(2)所述电子设备检测所述待优化图片,当检测到所述待优化图片中有部位不合格时,确定不合格的部位的第一优化类型,并将所述第一优化类型确定为所述优化类型。

通过上述实施方式,所述电子设备能够根据所述待优化图片自动确定所述优化类型,减少用户操作。

(3)所述电子设备检测所述待优化图片,当检测到所述待优化图片中有部位不合格时,确定不合格的部位的第一优化类型,所述电子设备提示用户确认是否以所述第一优化类型进行优化,当接收到确认信号时,所述电子设备以所述第一优化类型作为所述优化类型。

通过上述实施方式,所述电子设备在自动确定了所述第一优化类型后,再提示用户进行确认,以便更加符合用户的实际需要。

s13,根据所述优化类型,从预先训练的深度卷积生成对抗网络模型(deepconvolutiongenerativeadversarialnetworks,dcgan)中调取至少一个子模型。

在本发明的至少一个实施例中,所述深度卷积生成对抗网络模型是一个多模型,能够集成至少一个子模型。

具体地,每个子模型对应一种优化类型。

通过所述深度卷积生成对抗网络模型,能够对多种优化类型的所述待优化图片进行优化处理,处理效果及处理能力都较佳。

在本发明的至少一个实施例中,在根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型前,所述方法还包括:

所述电子设备获取标记的样本图片,并识别所述样本图片的标记类型,作为所述优化类型,所述电子设备为识别出的每种优化类型训练一个子模型,进一步地,所述电子设备集成所有训练的子模型,得到所述深度卷积生成对抗网络模型。

具体地,在所述样本图片中,可以包括对头发的标记、对脸型的标记、对肤色的标记等,本发明不限制。

通过上述实施方式,能够得到一个具有多种优化功能的所述深度卷积生成对抗网络模型,以便根据用户的不同需求,对所述待优化图片进行不同的优化。

具体地,所述为识别出的每种优化类型训练一个子模型包括:

所述电子设备从所述样本图片中筛选出每种优化类型的子样本,并将每种子样本输入到所述编码器中,得到每种编码样本,基于每种编码样本,生成每种优化类型对应的生成器及判别器,所述电子设备对抗训练每种优化类型对应的生成器及判别器,得到每种优化类型的子模型。

其中,所述生成器用于优化所述待优化图片,所述判别器用于训练所述生成器。

可以理解的是,所述电子设备通过所述生成器与所述判别器的相互博弈来训练一个具有欺骗能力的生成器模型,在这个过程中所述判别器的作用是作为所述生成器的一种损失函数,不过跟一般的损失函数不同的是,所述判别器本身也会在动态优化,二者相互对抗,以实现对每种优化类型的子模型的训练。

进一步地,所述电子设备对抗训练每种优化类型对应的生成器及判别器包括:

所述电子设备不断以所述判别器为损失函数对所述判别器及所述生成器进行交替的对抗训练,优化所述生成器,当检测到所述判别器的输出为预设值时,所述电子设备停止对所述生成器的优化。

其中,所述预设值可以进行自定义配置,如:0.5,本发明不限制。

现有技术中,深度卷积生成对抗网络模型通常被用于图像的分类,因此,在模型训练的过程中,通常以对数似然函数或交叉熵函数作为损失函数。相比较而言,本案的目的在于生成优化的图片,由于判别器本身是一种神经网络,具有很强的学习能力,因此,本案直接将所述判别器作为损失函数训练所述生成器,能够使所述生成器的精度更高,又由于所述生成器的目的是能够生成使所述判别器混乱的图片,因此,以所述判别器作为损失函数,能够使训练得到的生成器质量更高、训练效果更好。

具体地,在训练过程中,所述生成器与所述判别器构成了一个动态的“博弈过程”。

进一步地,以生成图片为例进行说明。假设我们有两个网络,g和d,其中,g是一个生成图片的网络,g接收一个随机的噪声z,通过这个噪声z生成图片,记做g(z);d是一个判别网络,判别一张图片是不是真实的,d的输入参数是x,x代表一张图片,输出d(x)代表x为真实图片的概率,如果输出概率为1,就代表x一定是真实的图片,而如果输出概率为0,则代表x不可能是真实的图片。

在训练过程中,生成网络g的目标就是尽量生成真实的图片去欺骗判别网络d,而d的目标就是尽量把g生成的图片和真实的图片区分开。这样,g和d就构成了一个动态的“博弈过程”。

在训练过程中,所述生成器与所述判别器交替进行训练。

首先训练所述判别器,所述判别器会从每种编码样本中抽取至少一个样本,并且从随机初始化的所述生成器中生成具有同样数量的至少一个样本,并不断进行梯度上升训练,直至梯度值不再提高时,停止对所述判别器的训练。

此时,所述判别器识别所述生成器的假图的能力会非常强,所述电子设备就可以利用这个特性去优化所述生成器。

并且,在训练所述判别器的时候,所述生成器的参数是固定的,而在训练所述生成器的时候,所述判别器的参数则是固定的,进而优化所述生成器,以提高所述生成器的欺骗能力。

重复上述过程,就可以实现所述判别器的能力与所述生成器的能力共同提升,最后得到想要的一个具有生成能力的每种优化类型的子模型。

s14,将所述编码图片输入到所述至少一个子模型中,得到优化图片。

通过上述实施方式,能够基于所述深度卷积生成对抗网络模型实现对所述待优化图片的优化,由于所述深度卷积生成对抗网络模型能够进行丰富的层次表达,并具有很强的泛化能力,因此优化效果更好。

另外,用户无需具备很强的修图能力,只要提供了所述待优化图片,即可实现对所述待优化图片的自动优化,且无需安装专业软件,在达到优化效果的同时,减少了人力及物力的投入,性价比更高。

在本发明的至少一个实施例中,在得到优化图片后,所述方法还包括:

所述电子设备链接指定服务器,并将所述优化图片发送至所述指定服务器进行检测,得到检测结果,当所述优化图片未通过检测时,所述电子设备基于所述检测结果确定待优化点,进一步确定所述待优化点的优化类型,并根据所述优化类型继续优化所述待优化点。

其中,所述指定服务器具备检测优化效果的能力。

通过上述实施方式,能够检测优化效果,并在检测到优化不合格时,继续进行优化,以保证优化效果。

在本发明的至少一个实施例中,在得到优化图片后,所述方法还包括:

所述电子设备打包所述优化图片及所述待优化图片,得到压缩包,进一步对所述压缩包做加密处理,所述电子设备将加密后的压缩包发送至指定终端设备。

其中,所述终端设备可以是用户的终端设备,也可以是用户指定的终端设备,本发明不限制。

通过上述实施方式,在为用户提供所述优化图片的同时,也有效保护了用户的隐私,提高了安全性。

由以上技术方案可以看出,本发明能够当接收到图片优化指令时,获取待优化图片,并将所述待优化图片输入到预先训练的编码器中,得到编码图片,以实现编码的统一,从所述图片优化指令中确定优化类型,并根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型,将所述编码图片输入到所述至少一个子模型中,得到优化图片,进而能够对多种优化类型的图片进行优化,泛化能力更强。

如图2所示,是本发明图片优化装置的较佳实施例的功能模块图。所述图片优化装置11包括获取单元110、输入单元111、确定单元112、调取单元113、调整单元114、计算单元115、停止单元116、识别单元117、训练单元118、集成单元119、链接单元120、发送单元121、优化单元122、打包单元123以及加密单元124。本发明所称的模块/单元是指一种能够被处理器13所执行,并且能够完成固定功能的一系列计算机程序段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。

获取单元110当接收到图片优化指令时,获取待优化图片。

在本发明的至少一个实施例中,所述图片优化指令可以由任意用户触发,本发明不限制。

进一步地,本实施例中的技术方案可以基于云端部署技术(如:gpu(graphicsprocessingunit,图形处理器)、tpu(tensorprocessingunit,张量处理器)部署等)部署于云端,以便做到对优化结果的即时反馈,同时无需额外的设备支持,实时且快速。

在本发明的至少一个实施例中,所述待优化图片是指需要被优化的原始图片,例如:证件照、婚纱照等。

进一步地,所述获取单元110获取所述待优化图片包括,但不限于以下一种或者多种方式的组合:

(1)所述获取单元110接收到用户上传的图片,作为所述待优化图片。

通过上述实施方式,所述获取单元110能够根据所述用户的实际需求确定所述待优化图片。

(2)所述获取单元110获取用户拍摄的图片,并识别所述图片的类型,当所述图片属于配置类型时,将所述图片自动确定为所述待优化图片。

其中,所述配置类型可以进行自定义配置,如:证件类型等。

通过上述实施方式,能够自动辅助用户优化图片,无需用户进行手动上传,节约操作时间的同时,也提升了用户友好性。

输入单元111将所述待优化图片输入到预先训练的编码器中,得到编码图片。

在本发明的至少一个实施例中,由于每个用户的拍摄设备或者拍摄软件不同,因此,所述待优化图片的格式等也将不同,而为了适用于各种不同的待优化图片,所述输入单元111首先对所述待优化图片进行统一编码,以实现对所述待优化图片格式的统一,使不同类型的待优化图片都能够被优化处理。

在本发明的至少一个实施例中,所述方法还包括:

训练单元118训练所述编码器。

具体地,在将所述待优化图片输入到预先训练的编码器中前,所述方法还包括:

调整单元114采用梯度下降法调整编码器初始模型的参数,所述获取单元110获取所述编码器的输入数据及输出数据,计算单元115计算所述输出数据相对于所述输入数据的均方差,当所述均方差小于或者等于预设阈值时,停止单元116停止对所述参数的调整,得到所述编码器。

其中,所述编码器初始模型中包括输入层、隐含层及输出层。

不同于现有技术中采用交叉熵或者平方误差作为编码器的重建损失函数的方式,由于本案中编码器的优化目标是将输入图片与输出图片间的差异最小化,因此,在训练过程中,本案以均方差的形式计算损失,再以梯度下降的方式不断调整所述编码器,使所述编码器更加准确。

进一步地,所述编码器初始模型是一个无监督网络,将输入层的数据通过转换得到其隐含层的表示,然后由隐含层重构,还原出接近原始数据的抽象的表示,再采用梯度下降法调整所述编码器初始模型的参数,直至所述均方差小于或者等于预设阈值时,所述停止单元116停止对所述参数的调整,得到所述编码器。

其中,所述预设阈值可以进行自定义配置,本发明不限制。

在训练得到所述编码器后,即可依据所述编码器对所述待优化图片进行统一编码,以方便后续对所述待优化图片进行优化处理。

确定单元112从所述图片优化指令中确定优化类型。

在本发明的至少一个实施例中,由于每张待优化图片的拍摄质量不同,因此,每张待优化图片的优化需求也不同。

在本实施例中,所述确定单元112首先从所述图片优化指令中确定优化类型,以便对所述待优化图片进行有针对性的优化,不仅节约了优化时间,同时避免进行不必要的优化,给用户造成不便。

在本发明的至少一个实施例中,所述确定单元112从所述图片优化指令中确定优化类型包括,但不限于以下一种或者多种方式的组合:

(1)在接收到所述图片优化指令后,所述确定单元112显示所有优化类型,以供用户选择,当接收到用户对任意优化类型的选择信号时,所述确定单元112将选择的类型确定为所述优化类型。

通过上述实施方式,所述确定单元112能够根据用户的选择进行有针对性的优化,以满足用户的实际需求。

(2)所述确定单元112检测所述待优化图片,当检测到所述待优化图片中有部位不合格时,确定不合格的部位的第一优化类型,并将所述第一优化类型确定为所述优化类型。

通过上述实施方式,所述确定单元112能够根据所述待优化图片自动确定所述优化类型,减少用户操作。

(3)所述确定单元112检测所述待优化图片,当检测到所述待优化图片中有部位不合格时,确定不合格的部位的第一优化类型,所述确定单元112提示用户确认是否以所述第一优化类型进行优化,当接收到确认信号时,所述确定单元112以所述第一优化类型作为所述优化类型。

通过上述实施方式,所述确定单元112在自动确定了所述第一优化类型后,再提示用户进行确认,以便更加符合用户的实际需要。

调取单元113根据所述优化类型,从预先训练的深度卷积生成对抗网络模型(deepconvolutiongenerativeadversarialnetworks,dcgan)中调取至少一个子模型。

在本发明的至少一个实施例中,所述深度卷积生成对抗网络模型是一个多模型,能够集成至少一个子模型。

具体地,每个子模型对应一种优化类型。

通过所述深度卷积生成对抗网络模型,能够对多种优化类型的所述待优化图片进行优化处理,处理效果及处理能力都较佳。

在本发明的至少一个实施例中,在根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型前,所述方法还包括:

所述获取单元110获取标记的样本图片,识别单元117识别所述样本图片的标记类型,作为所述优化类型,所述训练单元118为识别出的每种优化类型训练一个子模型,进一步地,集成单元119集成所有训练的子模型,得到所述深度卷积生成对抗网络模型。

具体地,在所述样本图片中,可以包括对头发的标记、对脸型的标记、对肤色的标记等,本发明不限制。

通过上述实施方式,能够得到一个具有多种优化功能的所述深度卷积生成对抗网络模型,以便根据用户的不同需求,对所述待优化图片进行不同的优化。

具体地,所述训练单元118为识别出的每种优化类型训练一个子模型包括:

所述训练单元118从所述样本图片中筛选出每种优化类型的子样本,并将每种子样本输入到所述编码器中,得到每种编码样本,基于每种编码样本,生成每种优化类型对应的生成器及判别器,所述训练单元118对抗训练每种优化类型对应的生成器及判别器,得到每种优化类型的子模型。

其中,所述生成器用于优化所述待优化图片,所述判别器用于训练所述生成器。

可以理解的是,所述训练单元118通过所述生成器与所述判别器的相互博弈来训练一个具有欺骗能力的生成器模型,在这个过程中所述判别器的作用是作为所述生成器的一种损失函数,不过跟一般的损失函数不同的是,所述判别器本身也会在动态优化,二者相互对抗,以实现对每种优化类型的子模型的训练。

进一步地,所述训练单元118对抗训练每种优化类型对应的生成器及判别器包括:

所述训练单元118不断以所述判别器为损失函数对所述判别器及所述生成器进行交替的对抗训练,优化所述生成器,当检测到所述判别器的输出为预设值时,所述训练单元118停止对所述生成器的优化。

其中,所述预设值可以进行自定义配置,如:0.5,本发明不限制。

现有技术中,深度卷积生成对抗网络模型通常被用于图像的分类,因此,在模型训练的过程中,通常以对数似然函数或交叉熵函数作为损失函数。相比较而言,本案的目的在于生成优化的图片,由于判别器本身是一种神经网络,具有很强的学习能力,因此,本案直接将所述判别器作为损失函数训练所述生成器,能够使所述生成器的精度更高,又由于所述生成器的目的是能够生成使所述判别器混乱的图片,因此,以所述判别器作为损失函数,能够使训练得到的生成器质量更高、训练效果更好。

具体地,在训练过程中,所述生成器与所述判别器构成了一个动态的“博弈过程”。

进一步地,以生成图片为例进行说明。假设我们有两个网络,g和d,其中,g是一个生成图片的网络,g接收一个随机的噪声z,通过这个噪声z生成图片,记做g(z);d是一个判别网络,判别一张图片是不是真实的,d的输入参数是x,x代表一张图片,输出d(x)代表x为真实图片的概率,如果输出概率为1,就代表x一定是真实的图片,而如果输出概率为0,则代表x不可能是真实的图片。

在训练过程中,生成网络g的目标就是尽量生成真实的图片去欺骗判别网络d,而d的目标就是尽量把g生成的图片和真实的图片区分开。这样,g和d就构成了一个动态的“博弈过程”。

在训练过程中,所述生成器与所述判别器交替进行训练。

首先训练所述判别器,所述判别器会从每种编码样本中抽取至少一个样本,并且从随机初始化的所述生成器中生成具有同样数量的至少一个样本,并不断进行梯度上升训练,直至梯度值不再提高时,停止对所述判别器的训练。

此时,所述判别器识别所述生成器的假图的能力会非常强,就可以利用这个特性去优化所述生成器。

并且,在训练所述判别器的时候,所述生成器的参数是固定的,而在训练所述生成器的时候,所述判别器的参数则是固定的,进而优化所述生成器,以提高所述生成器的欺骗能力。

重复上述过程,就可以实现所述判别器的能力与所述生成器的能力共同提升,最后得到想要的一个具有生成能力的每种优化类型的子模型。

输入单元111将所述编码图片输入到所述至少一个子模型中,得到优化图片。

通过上述实施方式,能够基于所述深度卷积生成对抗网络模型实现对所述待优化图片的优化,由于所述深度卷积生成对抗网络模型能够进行丰富的层次表达,并具有很强的泛化能力,因此优化效果更好。

另外,用户无需具备很强的修图能力,只要提供了所述待优化图片,即可实现对所述待优化图片的自动优化,且无需安装专业软件,在达到优化效果的同时,减少了人力及物力的投入,性价比更高。

在本发明的至少一个实施例中,在得到优化图片后,所述方法还包括:

链接单元120链接指定服务器,发送单元121将所述优化图片发送至所述指定服务器进行检测,得到检测结果,当所述优化图片未通过检测时,所述确定单元112基于所述检测结果确定待优化点,进一步确定所述待优化点的优化类型,优化单元122根据所述优化类型继续优化所述待优化点。

其中,所述指定服务器具备检测优化效果的能力。

通过上述实施方式,能够检测优化效果,并在检测到优化不合格时,继续进行优化,以保证优化效果。

在本发明的至少一个实施例中,在得到优化图片后,所述方法还包括:

打包单元123打包所述优化图片及所述待优化图片,得到压缩包,加密单元124进一步对所述压缩包做加密处理,所述发送单元121将加密后的压缩包发送至指定终端设备。

其中,所述终端设备可以是用户的终端设备,也可以是用户指定的终端设备,本发明不限制。

通过上述实施方式,在为用户提供所述优化图片的同时,也有效保护了用户的隐私,提高了安全性。

由以上技术方案可以看出,本发明能够当接收到图片优化指令时,获取待优化图片,并将所述待优化图片输入到预先训练的编码器中,得到编码图片,以实现编码的统一,从所述图片优化指令中确定优化类型,并根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型,将所述编码图片输入到所述至少一个子模型中,得到优化图片,进而能够对多种优化类型的图片进行优化,泛化能力更强。

如图3所示,是本发明实现图片优化方法的较佳实施例的电子设备的结构示意图。

在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如图片优化程序。

本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。

所述处理器13可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。

所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个图片优化方法实施例中的步骤,例如图1所示的步骤s10、s11、s12、s13、s14。

或者,所述处理器13执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如:当接收到图片优化指令时,获取待优化图片;将所述待优化图片输入到预先训练的编码器中,得到编码图片;从所述图片优化指令中确定优化类型;根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型;将所述编码图片输入到所述至少一个子模型中,得到优化图片。

示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如,所述计算机程序可以被分割成获取单元110、输入单元111、确定单元112、调取单元113、调整单元114、计算单元115、停止单元116、识别单元117、训练单元118、集成单元119、链接单元120、发送单元121、优化单元122、打包单元123以及加密单元124。

所述存储器12可用于存储所述计算机程序和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机程序和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据)等。此外,存储器12可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。

所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是集成电路中没有实物形式的具有存储功能的电路,如fifo(firstinfirstout,)等。或者,所述存储器12也可以是具有实物形式的存储器,如内存条、tf卡(trans-flashcard)等等。

所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。

其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)。

结合图1,所述电子设备1中的所述存储器12存储多个指令以实现一种图片优化方法,所述处理器13可执行所述多个指令从而实现:当接收到图片优化指令时,获取待优化图片;将所述待优化图片输入到预先训练的编码器中,得到编码图片;从所述图片优化指令中确定优化类型;根据所述优化类型,从预先训练的深度卷积生成对抗网络模型中调取至少一个子模型;将所述编码图片输入到所述至少一个子模型中,得到优化图片。

具体地,所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1