一种基于风格小图高清化的两阶段数字图像风格变换方法及系统与流程

本发明属于图像处理领域，尤其是涉及一种对数码单反相机成像的风格迁移技术，将通过数码单反相机获得的千万级像素图像，通过经由特定样本对(单反相机得到的原始图像和对应经修图师人工处理后的风格化图像)组成的风格化图像数据集训练得到的深度卷积神经网络，获得风格化图像，具体是涉及一种基于风格小图高清化的两阶段数字图像风格变换方法及系统。

背景技术：

目前要解决的问题是需要将一些特定布局或场景的照片对应地变换到一个特定的风格，如森系、ins风、工笔画等，以满足数码修图的要求。在目前计算机视觉的诸多领域中，超分辨率和神经风格迁移是较为相关的领域，超分辨任务是将低像素的图像放大到更大像素，使得仍能保持较高的图像清晰度，而神经风格迁移则是与该应用场景更为相关的技术领域，gatys(aneuralalgorithmofartisticstyle，2015)等人最早提出了利用卷积神经网络将自然照片转换为著名艺术家们的风格化图像，由此开启了基于深度学习进行风格迁移的新篇章。随后，li(universalstyletransferviafeaturetransforms，2017)和artsiom(astyle-awarecontentlossforreal-timehdstyletransfer，2018)等人陆续提出了新的方法来解决神经风格迁移问题，但是这些工作仍停留在产生更艺术化的图像，并不适用于解决现在所面临的问题。li等人(aclosed-formsolutiontophotorealisticimagestylization)于首次将神经风格迁移的思想引入解决相片级风格转换(photorealisticimagestylization)，他们在li(universalstyletransferviafeaturetransforms，2017)中提出的whiteningandcoloringtransform(wct)技术的基础上，进一步提出了photowct方法，在网络的特征解码过程中帮助重构丢失的细节信息。yoo等人(photorealisticstyletransferviawavelettransforms，2019)进一步优化了li的工作，在wct中引入了小波变换，并且剔除了li工作中的smoothing环节，但使得风格迁移的结果真实度更高。这些工作全都基于wct这一技术来实现从内容图和风格图中提取风格化特征。

目前，神经风格迁移仍客观存在一些难以解决的问题，其中包括：

1)以单张风格图指导内容图进行风格变化的形式，始终存在相同语义区域对应风格变化的问题，因此大多数的方法通常要求内容图和风格图需要保持空间上相似的语义布局。因此，目前改思路能够达到的风格变化效果更多的还是全局的、粗粒度的，而在商业数码修图场景中，往往需要对图片的细节进行处理，如图像中的人像和背景可能存在相反的变化，如人像提亮美白，但是背景却需要压暗。目前照片级风格迁移中则需要依赖语义分割来实现这样的目的，但是语义分割作为一个硬性的信息引入，当不同语义对象的边界不准确时，则容易使风格化后的图像出现非常不自然的边界过度。

2)目前神经风格迁移训练模型时所使用的训练集尺寸往往非常小，甚至达不到百万级像素，因此一方面去预测尺寸更大的图像需要更高显存的gpu，硬件上的约束将给模型的使用和推广造成一定的困难，另一方面神经风格迁移基于小尺寸样本集训练好的模型去预测尺寸大得多的图像，由于模型感受野的问题，将得不到较好的效果。

在婚纱摄影行业，对客人的婚纱照导入到电脑上由专业的修图师借助photoshop等工具进行后期修图是必不可少的环节。传统的人工修图方式存在诸多缺陷，如人工成本逐渐攀升、人工修图效率低下、市场需求的快速变化使得修图风格多种多样，修图师往往难以快速反应来调整自身固有的修图手法等，此外，不同修图师的修图习惯和手法不同，导致修图效果难以保证和前期销售环节所展示的样片完全一致，由此招来客诉也是难以解决的问题。

技术实现要素：

为了克服现有的照片风格化技术只能对相对较小尺寸的图片进行风格化，没有考虑到真实场景下千万级像素的数码成像的不足，本发明提供一种可以对任意尺寸的图像进行风格化处理，最终生成的风格化图像仍保持原始图像的尺寸大小，训练时间缩短的基于风格小图高清化的两阶段数字图像风格变换方法及系统。

本发明解决其技术问题所采用的技术方案是：一种基于风格小图高清化的两阶段数字图像风格变换方法，其特征在于包括以下步骤：

s1、构造风格化模型的训练样本集，其包括原图样本集合，修图样本集合，及将原图样本集合对应不同区域进行分割后的分割图样本集合；

s2、利用小图风格化网络模型，构造小图风格化模型；

s3、构造高清化网络模型的训练样本集，其包括原图样本集合，修图样本集合；

s4、利用高清化网络模型，构造高清化模型；

s5、基于步骤s2中的小图风格化模型，对缩小尺寸后的图像进行预测，得到风格化小图；

s6、基于步骤s4中的高清化模型，对s5得到的风格化小图进行预测，得到最终的高清化风格大图。

作为优选，包括以下步骤：

s1、构造风格化模型的训练样本集d＝{(xi，yi，mi)|xi∈xⁿ，yi∈yⁿ，i＝1，2，...n}，xi为原图样本集合，yi为专业的修图师人工处理得到的对应修图样本集合，mi为原图样本集合xi对应的人体和背景的分割图样本集合；

s2、将步骤s1中三个样本集合的尺寸(wo，ho)通过插值统一规范化到特定的尺寸(w，h)，得到(w，h)尺寸下的训练样本集合考虑到显卡的容量和所设计网络感受野等因素，将原图样本集合通过插值统一规范化到特定的尺寸(w′，h′)，得到全局信息样本集z＝{zi|zi∈zⁿ，i＝1，2，...，n}；

s3、基于步骤s2中构建的训练集和z，使用构建的风格化网络进行训练，得到针对小尺寸图像的小图风格化模型mstyle；

s4、构造高清化网络模型的训练样本集xi为原图样本集合，yi为专业的修图师人工处理得到的对应修图样本集合，为yi缩小整数倍的缩略图；

s5、基于步骤s4中构建的训练集d^sr，使用构建的高清化网络进行训练，得到高清化模型msr；

s6、基于步骤s3中的小图风格化模型mstyle对(w，h)尺寸下的图像进行预测，得到风格化小图再结合原始大尺寸图像xi，输入到步骤s5，得到的高清化模型msr，即可得到最终的高清化风格大图

作为优选，所述步骤s2中

作为优选，所述步骤s3中，构建多个小图风格化模型mstyte，不同风格的处理在不同的小图风格化模型中进行。

本发明还公开了一种基于风格小图高清化的两阶段数字图像风格变换系统，包括有：

压缩模型，用于将原图样本集合，修图样本集合，及将原图样本集合对应不同区域进行分割后的分割图样本集合，压缩至较小尺寸；

小图风格化模型，结合缩小尺寸后的分割图样本集合、基于原图样本集合规范至特定尺寸得到的全局信息样本，对缩小尺寸后的原图样本集合进行预测，得到风格化小图；

高清化模型，结合原图样本集合，对得到的风格化小图进行预测，得到最终的高清化风格大图。

本发明基于深度卷积神经网络这一技术设计并构建了婚纱摄影场景下的风格变换模型和一整套的基于深度学习的商业修图系统，以解决目前传统修图方式的缺陷。

不同于风格迁移的非对称图像学习，婚纱摄影场景下的风格变化更适合做如超分辨率、图像增强等任务那样保持图像内容不变的对称学习，这样对称的学习更能保证稳定的风格效果输出。因此，本发明方法采用图像对称学习的方式进行，即训练样本的原图和修图具有相同的内容，不同的风格。

本发明方法包括以下特点：1)基于hrnet的风格变化模型。考虑到在商业数码修图场景中往往需要对图片的细节对象(如人像、树木、局部天空等)进行处理，因此要求所设计的模型需要较强的语义识别能力，因此我们基本目前语义分割领域中表现优异的高分辨率多尺度特征融合网络hrnet构建风格变化模型，hrnet的网络结构如图1所示。特别地，在婚纱摄影场景中，人物是会被重点关注的对象，人像风格化的效果直接决定了照片是否可用，因此为了更显著地帮助人物的风格化，我们在模型中加入了人体和背景的分割图。

2)风格化小图高清化。由于本发明中高清化任务相较于传统的高清化任务，拥有更多的细节图，如何将高清原图的细节补充到风格化图并不改变风格化图的色温色调成为本文需要主要解决的问题。基于此问题，本发明把风格小图通过传统方法插值放大到目标尺寸，将细节原图经过去色模块获得细节纹理图。再把俩者结合输入到后续的高清化网络，得到最终的风格大图。

3)将高分辨率的风格变换任务拆解为低分辨率的风格变换任务和高清化任务。使得系统不受硬件的限制，能够实现任意尺寸的图像风格化。

本发明的有益效果是，1)由于最终生成的风格化图像仍需要保持原始图像的尺寸大小，本发明提供的照片风格化方法虽然不能降低单张图像的生成时间，但是该方式使得单个风格模型的训练时间大大减少。本发明方法中的高清化模型是针对全局所有风格模型的，因此该模型只需要一次训练即可，对于后续单个小图风格化模型的训练由于采用1/4的小尺寸训练，因此训练时间也相应减少为原来的1/4；2)采用小图的训练方式也使得同样参数量的模型所需要进行的像素差异拟合量大幅减少，在同样的模型迭代次数下，模型可以获得更精确的拟合效果，具体地，在psnr衡量指标下，本发明方法从原来的28.45上升到31.32；3)图片处理时长缩短，相比于人工修图的10分钟一张，本发明方法可以在10秒左右内处理完成一张图片。

附图说明

图1为本发明的hrnet的网络结构图。

图2为本发明的系统结构图。

图3为本发明海边模型示意图，图左为缩略图，图右为风格小图。

图4为本发明高清化模型示意图。图左为风格小图，图右为原尺寸风格大图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

一种基于风格小图高清化的两阶段数字图像风格变换方法，包括以下步骤：

s1、构造风格化模型的训练样本集d＝{(xi，yi，mi)|xi∈xⁿ，yi∈yⁿ，i＝1，2，...n}，xi为原图，yi为专业的修图师人工处理得到的对应修图，mi为xi对应的人体和背景的分割图；

s2、将修图师人工构造的样本集(包括原图和修图)的尺寸(wo，ho)通过插值统一规范化到特定的尺寸(w，h)，得到小尺寸下的训练样本集合考虑到显卡的容量和所设计网络感受野等因素，将样本集的原图通过插值统一规范化到特定的尺寸(w′，h′)得到全局信息样本集z＝{zi|zi∈zⁿ，i＝1，2，...，n}，试验得出，的尺寸设置可以得到相对更好的效果；

s3、基于步骤s2中构建的训练集和z，使用本发明方法构建的风格化网络进行训练，得到针对小尺寸图像的风格化模型mstyle；

s4、构造高清化模型的训练样本集xi为原图样本集合，yi为专业的修图师人工处理得到的对应修图样本集合，为yi缩小整数倍的缩略图；

s5、基于步骤s4中构建的训练集d^sr，使用本发明方法构建的高清化网络进行训练，得到高清化模型msr；

s6、基于步骤s3的小图风格化模型mstyle对(w，h)尺寸下的图像进行预测，得到风格化小图再结合原始大尺寸图像xi，输入到s5中，得到的高清化模型msr，即可得到最终的高清化风格大图

具体的，如图3所示，小图风格化模型的训练流程为：

s0：用户相机输出原图，如输出尺寸为5760＊3840；

s1：压缩原图，得到左侧尺寸缩小的原图压缩图1和右侧尺寸缩小的原图压缩图2，如压缩图1的尺寸为1440＊960，压缩图2的尺寸为720＊480；

s2：将压缩原图经过自训练的语义分割网络，得到人景分割图；

s3：修图师通过photoshop等修图软件，将用户原图调整为适合该场景的风格图，比如海边风格；

s4：重复上述步骤，获取模型训练样本，以50组为例；

s5：将原图压缩图1、原图压缩图2、人景分割图输入到风格模型，得到模型输出图，与人工修图进行比对，计算损失，然后更新风格模型参数；

s6：重复s5操作，大约训练10小时，得到与人工修图风格一致的风格模型，称之为海边模型。

如图4所示，高清化网络模型的训练流程为：

s0：用户相机输出原图，如输出尺寸为5760＊3840；

s1：修图师通过photoshop等修图软件，将用户原图调整为适合该场景的精修图；

s2：将修图师的修图随机压缩整数倍得到压缩图，如尺寸以1440＊960为主；

s3：重复上述步骤，获取模型训练样本，以500组为例；

s4：将原图和修图压缩图输入到高清化网络模型，得到原尺寸模型输出图，与人工修图进行比对，计算损失，然后更新高清化模型参数；

s5：重复s4操作，大约训练一周，得到通用高清化模型。

二阶段预测流程

s0：用户相机输出原图，如输出尺寸为5760＊3840；

s1：压缩原图，得到缩小尺寸的原图压缩图1和缩小尺寸的原图压缩图2，如压缩图1的尺寸为1440＊960，压缩图2的尺寸为720＊480；

s2：将压缩图经过自训练的语义分割网络，得到人景分割图；

s3：将原图压缩图1、原图压缩图2、人景分割图输入到训练好的小图风格化模型，得到模型输出图，称之为风格小图；

s4：将原图和风格小图输入到训练好的高清化网络模型，得到原尺寸风格大图。

一种基于风格小图高清化的两阶段数字图像风格变换系统，包括有：

压缩模型，用于将原图样本集合，修图样本集合，及将原图样本集合对应不同区域进行分割后的分割图样本集合，压缩至较小尺寸；

小图风格化模型，结合缩小尺寸后的分割图样本集合、基于原图样本集合规范至特定尺寸得到的全局信息样本，对缩小尺寸后的原图样本集合，进行预测，得到风格化小图；

高清化模型，结合原图样本集合，对得到的风格化小图进行预测，得到最终的高清化风格大图。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。