本发明涉及图像处理领域，具体涉及一种平面广告风格的识别方法。
背景技术：
随着多媒体技术的不断增强以及互联网的不断普及，使得数字广告图片逐渐开始呈现需求量极大、质量要求低、容易消耗的特点。
由于广告在商业中扮演着非常重要的作用，尤其是电子商务的发展，导致广告的需求量不断增长，商家为了适应潮流的发展，会要求设计师根据主题的不同而设计出不同风格的广告。例如夏季主题设计师倾向于设计整洁、自然风格的广告。
广告风格是广告设计师与消费者之间的精神沟通的桥梁。因此，为了应对人们对于数字广告图片的个性化的情感需求，同时兼顾企业对于广告设计自动化的需求。企业可以依据消费者对于广告风格的需求进行批量化、自动化地生成特定风格的广告图片。在生成特定风格广告的过程中，对于广告的风格的评估很大程度上能帮助自动化系统更好的设计出特定风格的广告。因此，对广告进行快速有效的风格识别具有重要的现实意义。
现有的图片风格识别算法，无论是基于手选特征的风格学习还是基于深度学习的风格计算，都是对全局的特征进行提取，然后运用打标好的数据进行训练得出风格识别模型。这些方法，对于所有图片提取的特征都是相同的，然而在不同的类型的图片当中，特征对风格的影响程度是不同的。平面广告是计算机合成图片，他一般由文字，主体，背景等组成。不同元素的位置，搭配等都会对风格造成影响。因此研究一种针对广告风格识别的方法具有重要的现实意义。
公开号为CN201510922662.9的专利申请公开了一种图片风格识别方法及装置。公开号为CN201510922684.5的专利申请公开了一种商品的风格识别方法及装置。这两个专利申请公开的技术内容均为：先获取样本图片形成训练集，再对预先设置的多目标卷积神经网络进行参数初始化，并将训练集中的图片进行训练得到图片风格识别模型，最后利用模型对待识别的图片进行识别。这些方法都是基于深度卷积神经网络，计算量大，迭代时间长。需要非常大数量的带标签数据才能训练得到精确的风格识别模型，然而这会花费大量的成本。
平面广告图片由由文字，主体，背景组成，不同于普通的二维图片，所以上述的方法和算法均不适用于对平面广告风格进行识别，也就是利用上述方法识别平面广告风格，准确率会很低，无法满足广告自动化设计中对于快速准确风格识别的要求。
技术实现要素：
本发明的目的是提供一种平面广告风格的识别方法，该方法能够准确地识别出平面广告风格，满足广告自动化设计中对于快速准确风格识别的要求。
为实现上述发明目的，本发明提供以下技术方案：
一种平面广告风格的识别方法，包括以下步骤：
(1)获取平面广告图片及平面广告图片的风格标签；
(2)采用深度学习方法提取平面广告图片的主体、文本以及背景，并分别获得主体、文本以及背景的颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图，将获得的颜色直方图、GIST描述符、显著度图、二进制元类特征、方向梯度直方图以及平面广告图片的风格标签作为一个样本，构成样本集，并将样本集分成训练集和测试集；
(3)利用训练集分别训练决策树模型、非线性最大间隔模型以及线性模型；
(4)利用测试集分别测试训练好的决策树模型、非线性最大间隔模型以及线性模型，并根据测试结果对三个模型进行评估，以评估结果最优的模型作为平面广告风格识别模型；
(5)对于待识别平面广告，利用步骤(2)的方法获得利用待识别平面广告的颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图，并将颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图输入到平面广告风格识别模型中，经计算获得待识别平面广告图片的风格概率。
其中，所述步骤(1)包括：
(1-1)获取平面广告图片，并对该平面广告图片中的非广告元素进行剔除；
(1-2)对剔除处理后的平面广告图片进行标注，获得平面广告图片的风格标签。
更具体地，所述步骤(1-2)包括：
(1-2-1)构建风格形容词集，该风格形容词集中包含有若干个意义互斥且表述风格的形容词；
(1-2-2)根据该风格形容词集，采用成对比较的方法对剔除处理后的平面广告图片进行标注，获得平面广告图片的风格标签。
其中，所述步骤(1-2-2)中：根据该风格形容词集，采用Bradley-Terry模型获得平面广告图片的风格标签。
步骤(2)中：
采用FCIS模型识别平面广告图片的主体；
采用CTPN模型识别平面广告图片的文本；
除去平面广告图片中的主体、文本，剩下的即为平面广告图片的背景。
所述步骤(4)包括：
(4-1)针对训练好的决策树模型，将测试集中的平面广告图片输入到训练好的决策树模型中，获得平面广告图片的识别风格概率，根据平面广告图片的识别风格概率和标签风格概率构建决策树模型的ROC曲线，并计算获得决策树模型的ROC曲线下方的面积AUC1；
(4-2)利用步骤(4-1)中的方法获得非线性最大间隔模型的ROC曲线下方的面积AUC2；
(4-3)利用步骤(4-1)中的方法获得线性模型的ROC曲线下方的面积AUC3；
(4-4)选取AUC1、AUC2以及AUC3中最大的AUC对应的模型作为平面广告风格识别模型。
本发明具有的有益效果为：
本发明根据平面广告的特性，将平面广告图片分割成主体、文字以及背景三部分，并提取每部分的颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图，将其作为特征，对模型进行训练和评估，获得能够精确识别平面广告风格的平面广告风格识别模型，利用该平面广告风格识别模型能够精确地识别平面广告图片风格。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提供的平面广告风格的识别方法的流程图；
图2是本发明提供的获取平面广告风格识别模型的过程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是本发明提供的平面广告风格的识别方法的流程图。图2是本发明提供的获取平面广告风格识别模型的过程图。如图1、图2所示，本发明提供的平面广告风格的识别方法包括：
S101，获取平面广告图片及平面广告图片的风格标签。
平面广告图片是从各大网站(如花瓣网)收集的各方面(如时装、美妆、餐饮、娱乐等)的广告图片。该些广告图片上会包含一些非广告元素，该些非广告元素可以是链接信息，图片来源信息等。为保证训练样本可靠性，需要对平面广告图片进行整理和清晰，具体地，对获取的平面广告图片中的非广告元素进行剔除。
在剔除平面广告图片的非广告元素之后，还需要标注平面广告图片的风格标签。具体过程为：
首先，研究研究已有的文献，从中获得若干个意义互斥且表述风格的形容词，组成风格形容词集，风格形容词集中包含形容词浪漫(Romantic)、甜美(Pretty)、整洁(Clear)、自然(Natural)、随意(Casual)、优雅(Elegant)、休闲(Cool Casual)、时髦(Chic)、奢侈(Gorgeous)、动感(Dynamic)、古典(Classic)、华丽(Dandy)、现代(Modern)等。
然后，根据风格形容词集，采用成对比较的方法对剔除处理后的平面广告图片进行标注，获得平面广告图片的风格标签。
具体地，可以采用Bradley-Terry模型获得平面广告图片的风格标签，以获得有着科学标注风格的数据集。
S102，根据平面广告图片构建训练集和测试集。
由于平面广告图片是由主体、文本以及背景三部分组成的，其中，主体是与广告主题相同的内容，广告是关于鞋子的，则平面广告图片中的鞋子即为主体，平面广告图片中的文字即为文本，剩下的内容即为背景。
为了能够获得更好的平面广告风格识别模型，采用深度学习方法提取平面广告图片的主体、文本以及背景，具体地过程为：
(a)采用FCIS模型识别平面广告图片的主体；
(b)采用CTPN模型识别平面广告图片的文本；
(c)除去平面广告图片中的主体、文本，剩下的即为平面广告图片的背景，具体地，对主体和文本建立Mask，通过Mask将主体和文字剔除，剩下的为背景。
FCIS(Fully Convolutional Instance-aware Semantic Segmentation)模型是模型参数已经确定的图像分割模型，能够快速准确地将平面广告图片中的主体分割出来。
CTPN(connectionist text proposal network)模型是模型参数已经确定的文本分割模型，能够快速准确地将平面广告图片中的文本分割出来。
在获得平面广告图片的主体、文本以及背景后，进行如下操作：
针对主体，提取主体的颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图特征；
针对文本，提取文本的颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图特征；
针对背景，提取背景的颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图特征。
颜色直方图是基于CELAB色彩通道构建的：很多图像的风格都表现出对色彩这一维度的强烈依赖。比如“浪漫”风格的图像大多喜欢偏红色的色相，“整洁”风格的图像通常整个图像的色相单一且饱和度偏低，“奢侈”风格的图像则用色比较夸张等。因此本发明选择从LAB通道出发，通过构建颜色直方图作为分类特征。该特征由一个长度为784维的向量组成，是图像在CELAB颜色模式下的各个色彩通道的像素统计直方图。其具体方法为：将L通道平均分为4个区间，同样，A通道和B通道各分为14个区间，然后通过对各个色彩通道下像素值的统计。这样就可以达到从色彩维度来区分不同图像风格的目的。
GIST描述符：经典的GIST描述符在场景分类和图像相似度检索领域得到了广泛的使用，某种程度上可以得到图像构成方面的特征，该特征为一个长度为960维的向量。
显著度图：该特征的目的是从视觉注意的角度来识别人们通常所注意的图像位置，从而能够很快地从一张图像中预测出人们可能会注意到的位置以及其对应的视觉重要度。这对于后续研究什么样的特征影响着图像的风格有着很大的帮助。该特征由长度为1024维的向量构成的。
二进制元类特征(Meta-class binary features)：图像的内容通常会影响到图像的风格。例如一张广告中有一个正在运动的人，那么这张广告的风格很大可能是“动感”风格，而一张广告中有森林树木等内容时，其风格很大可能是“自然”风格。而二进制元类特征是一个15000维的二进制向量，这个向量是从已有的公开数据集中学习到的分类器所得到的，也就是说，这个特征有着可以识别图像内容的能力。该向量为一个长度为15232维的向量组成，其中集成了大量的低层的风格特征。该特征为众多风格特征中权重系数最大的一个特征，也就是，该特征对于区分图像的风格类别起着决定性的作用。
方向梯度直方图(Histogram of Oriented Gradient,HOG)：该特征广泛用于图像识别的任务中，尤其是行人检测中，它通过计算和统计图像局部区域的梯度方向直方图来构成特征，可以用于提取图像的纹理等相关特征。
上述颜色直方图、GIST描述符、显著度图、二进制元类特征、方向梯度直方图覆盖了平面广告图片的颜色维度、组成维度、内容维度以及纹理维度，能够全面地呈现平面广告图片的特征，利用该些特征训练模型，能够获得更加准确地模型。
平面广告图片的主体、文本以及背景三个部分的颜色直方图、GIST描述符、显著度图、二进制元类特征、方向梯度直方图以及风格标签构成一个样本，大量的样本形成样本集，并样本集中的一大部分作为训练集，剩下的作为测试集。
S103，利用训练集分别训练决策树模型、非线性最大间隔模型以及线性模型。
分类器有很多种，为训练获得更优的平面广告风格识别模型，本步骤中对多个分类器进行训练。具体地，将训练集中的样本分别输入到决策树模型、非线性最大间隔模型以及线性模型中，直到模型收敛，获得训练好的决策树模型、非线性最大间隔模型以及线性模型。
S104，利用测试集分别测试训练好的决策树模型、非线性最大间隔模型以及线性模型，并根据测试结果对三个模型进行评估，以评估结果最优的模型作为平面广告风格识别模型。
对于训练好的决策树模型、非线性最大间隔模型以及线性模型，需要进行评估以选出最优的模型作为平面广告风格识别模型，具体为：
首先，利用S102对测试集中的测试样本进行特征提取，获得测试样本的颜色直方图、GIST描述符、显著度图、二进制元类特征、方向梯度直方图。
然后，针对训练好的决策树模型，将测试集中的平面广告图片输入到训练好的决策树模型中，获得平面广告图片的识别风格概率，根据平面广告图片的识别风格概率和标签风格概率构建决策树模型的ROC曲线，并计算获得决策树模型的ROC曲线下方的面积AUC1；
针对非线性最大间隔模型，将测试集中的平面广告图片经特征提取后输入到训练好的决策树模型中，获得平面广告图片的识别风格概率，根据平面广告图片的识别风格概率和标签风格概率构建非线性最大间隔模型的ROC曲线，并计算获得非线性最大间隔模型的ROC曲线下方的面积AUC2；
针对线性模型，将测试集中的平面广告图片输入到训练好的决策树模型中，获得平面广告图片的识别风格概率，根据平面广告图片的识别风格概率和标签风格概率构建线性模型的ROC曲线，并计算获得线性模型的ROC曲线下方的面积AUC3。
最后，选取AUC1、AUC2以及AUC3中最大的AUC对应的模型作为平面广告风格识别模型。
S105，利用平面广告风格识别模型对待识别平面广告图片进行识别，获得待识别平面广告图片的识别风格概率。
具体地，利用S102的方法获得利用待识别平面广告的颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图，并将颜色直方图、GIST描述符、显著度图、二进制元类特征以及方向梯度直方图输入到平面广告风格识别模型中，经计算获得待识别平面广告图片的识别风格概率。
利用上述方法能够精确地识别平面广告图片风格，满足广告自动化设计中对于快速准确风格识别的要求。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。