本发明涉及一种图像处理方法,尤其是涉及一种基于深度学习的图片风格化处理方法。
背景技术:
随着数字图像设备和社交网络的流行,通过社交网络分享图片变得非常流行。在这种图片分享中常见的手段是使用多种诸如Instagram的社交软件进行风格化处理。传统的高质量处理通常是由经验丰富的艺术家手工处理的。在本工作中,系统从图像示例通过对一个包含特定风格处理前和处理后图片的集合进行学习后训练出一个可计算模型来进行自动图片转换工作。
传统的图像处理是经验性的。有许多自动处理颜色和风格的软件,如Adobe Photoshop。
Google Auto Awesome和Microsoft Office Picture Manager。除此之外,还有许多这方面的相关研究。
技术实现要素:
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的图片风格化处理方法。
本发明的目的可以通过以下技术方案来实现:
一种基于深度学习的图片风格化处理方法,包括步骤:
S1:构建神经网络并进行训练;
S2:将待处理图片分割成多个超像素;
S3:采用训练好的神经网络分析每一个超像素,并为其标注适配度最高的环境类别;
S4:将所有超像素中被标注次数最多的环境类别定义为该图片的环境类别;
S5:提取图片中的物体,并根据物体在图片中的位置确定目标主角物体;
S6:根据风格化处理要求清晰化背景或模糊化背景,其中,所述风格化处理要求包括强化背景和弱化背景。
所述神经网络包括一个输入层、两个隐藏层和一个输出层,其中两个隐藏层共有192个神经元。
所述步骤S2中待处理图片被分割为7000个超像素。
所述步骤S3中任一超像素被标注的环境类别包括天空、路、河、田野、草,且步骤S3中对一个超像素分析的过程具体包括:
S31:随机选取超像素中设定个数的像素点;
S32:采用训练好的神经网络基于选取的像素点分析得到该超像素适配度最高的环境类别,并对该超像素进行标注。
所述步骤S5中,将距离图片中心最近的物体确定为目标主角物体。
所述步骤S5具体包括步骤:
S51:提取图片中的物体,并将距离图片中心最近的物体确定为目标主角物体;
S52:判断是否存在与目标主角物体类别一致的物体,若为是,则执行步骤S53,若为否,则执行步骤S54,其中,物体的类别包括人、火车、公交车和建筑;
S53:将与目标主角物体之间距离小于阈值的同类物体定义为配角物体,并执行步骤S54;
S54:将剩余物体定义为背景物体。
所述步骤S31具体为:随机选取超像素中10个像素点。
与现有技术相比,本发明具有以下优点:
1)采用神经网络基于环境和物体识别的前提下进行图片的风格化处理,处理细节更到位、逼真。
2)待处理图片被分割为7000个超像素,如此大的训练集降低了过拟合的风险
3)从每个超像素中随机选取10个像素点,数量适中,在保证精确度的前提下不至于系统负荷过大。
附图说明
图1为本发明方法的主要步骤流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于深度学习的图片风格化处理方法,如图1所示,包括步骤:
S1:构建神经网络并进行训练,神经网络包括一个输入层、两个隐藏层和一个输出层,其中两个隐藏层共有192个神经元,输出层的神经元数量与预期的色彩转换系数相等为30,三个色彩通道各10个;
S2:将待处理图片分割成多个超像素,待处理图片被分割为7000个超像素,超像素(superpixel)指数字图像某多边形部分,比普通像素大被渲染相同颜色和亮度。即将图像过分割成一系列子区域,每个子区域内部之间具有某个特征具有很强的一致性,由于超像素的获取可以由多种现有的方式,本申请中不再详述,本实施例中超像素获取采用MatlabSuperpixel提取工具;
S3:采用训练好的神经网络分析每一个超像素,并为其标注适配度最高的环境类别,任一超像素被标注的环境类别包括天空、路、河、田野、草,且步骤S3中对一个超像素分析的过程具体包括:
S31:随机选取超像素中10个像素点;
S32:采用训练好的神经网络基于选取的像素点分析得到该超像素适配度最高的环境类别,并对该超像素进行标注,具体的,环境类别的分析过程采用[Tighe and Lazebnik 2010]算法,该算法技术成熟,且有开源代码,因此应用难度小。
S4:将所有超像素中被标注次数最多的环境类别定义为该图片的环境类别;
S5:提取图片中的物体,并根据物体在图片中的位置确定目标主角物体,将距离图片中心最近的物体确定为目标主角物体,具体包括步骤:
S51:提取图片中的物体,物体的识别采用[Wang et al.2013]中提到的“state-of-the-art object”探测方法来检测被预定义的物体类别Od集合包含的像素,因为该探测方法存在较为完整的开源SDK,容易应用,并将距离图片中心最近的物体确定为目标主角物体;
S52:判断是否存在与目标主角物体类别一致的物体,若为是,则执行步骤S53,若为否,则执行步骤S54,其中,物体的类别包括人、火车、公交车和建筑;
S53:将与目标主角物体之间距离小于阈值的同类物体定义为配角物体,并执行步骤S54;
S54:将剩余物体定义为背景物体。
S6:根据风格化处理要求清晰化背景或模糊化背景,其中,风格化处理要求包括强化背景和弱化背景。其中强化背景要求时采用清晰化背景,弱化背景要求时采用模糊化背景。清晰化背景为提高背景的对比度,模糊化背景为降低背景的对比度。