专利名称：一种图像美学评价方法
技术领域：
本发明涉及图像信号处理、图像分析、计算机视觉领域，具体是一种机器图像美学自动评价方法。
背景技术：
美学作品由人类进行创作、由人类进行评判，符合人类审美习惯的艺术作品总能带给人类难以言表的喜悦感。近年来，随着计算机视觉和模式识别等技术的快速发展，在计算机科学范畴提出了计算美学(Computational Aesthetics)的概念,希望研究“美”的可计算方法，使机器能模拟人类自主地理解、推导和计算“美”，并在相关应用中做出可行性的美学决策。图像美学可以定义为人们在观察图像时引发的美学兴趣，是客观和主观共同影响的结果。可计算的图像美学是计算美学在图像处理方面的重要研究，其研究结果可以应用到融合主观感知的基于语义的图像检索、图像美学质量评价、摄影的美学预测与修正、艺术作品风格分析、人机交互等方面，在设计、摄影、广告等领域。可计算美学已逐步引起国际学术界的关注，该课题的研究和应用得到很多学者的重视，处于快速发展阶段，具有重要的理论研究价值和实际应用前景。随着人们对图像美学的认识和挖掘，利用可计算图像美学的方法对图像美学价值给出智能化的判断是可计算图像美学的一个重要课题。由于美学作品由人类创作和评判，美感评价从人类共性和个性并存的审美角度、审美经验、审美习惯出发，涉及的细节多而复杂。但对于美感的判断存在一定的共性且有相关的理论基础指导，而机器学习方法的出现与快速发展，给实现机器自动评估图像美学提供了有效的方法。利用积累的已知知识，通过训练和学习，建立图像美学评价模型，机器便可以根据美学评价模型模拟人类的审美感知对图像美学做出思考。目前，图像美学评价的研究在国外刚刚兴起，而国内尚未见到相关研究成果报道。
发明内容
本发明的目的在于模拟人类美学感知，利用机器自动完成对图像的美学评价，提出一种图像自动美学评价方法。通过提取图像整体区域和主体区域的低层视觉特征和高层美学特征，利用机器学习的方法对样本数据进行训练学习，获得图像美感等级分类器和美学回归模型。结合训练学习的结果和图像特征，来指导机器模拟人类的审美思维，自动对图像进行美学评价。本发明通过以下技术方案得以实现。图像美学评价方法，包括如下步骤:步骤1、对样本图像进行特征区域划分，包括图像整体区域和主体区域；步骤2、对特征区域提取图像低层视觉特征和高层美学特征；步骤3、对样本图像进行训练学习，通过训练学习结果建立美感等级分类器和美学回归模型；
步骤4、对目标图像调用美感等级分类器和美学回归模型，实现图像高、低美感评价和美学分数预测。上述方法步骤I中，将图像的整体区域和主体区域作为图像特征区域。其中，整张图像作为图像整体区域。而图像的主体区域包含了重要的图像信息，对指导美学评价有重要的意义。因此，本发明除了考虑图像的整体区域外，同时计算了图像的主体区域。上述方法步骤I中，提取图像的主体区域作为特征区域的一部分。本发明方法设计了一种基于图像分割与梯度特征结合的快速提取图像主体区域的方法，结合图像分割和梯度线索提取了图像的主体区域，其具体包括了图像分割、区域合并、主体提取。本发明首先采用分水岭分割算法对图像进行分割，然后根据亮度和色彩特征对分割后的区域进行区域融合，结合区域分割结果及图像梯度特征确定了图像的主体区域。上述方法步骤2中，对图像提取图像低层视觉特征和高层美学特征。其中，低层视觉特征包括颜色特征、纹理特征和形状特征。具体为HSV颜色空间的颜色直方图、颜色矩、Gabor特征、Tumura特征、GLCM特征；而高层视觉特征包括Daubchies小波变换、信息熵复杂度、KolmogorovZurek复杂度、基于GLCM特征的图像复杂度、景深、色彩空间EMD距离。上述的方法中，步骤3具体包括:采集适量多包含人类美感评价的图像，美感评价由众多受试者对图片进行美感评分获得，分数为0-10分，所有带有美学评分值的图像数据作为美学回归数据集。同时按照美感分数的高低，建立美感等级图像集，包括高美感等级图像集和低美感等级图像集。把分数大于等于5.6分的图像列为高美感图像，把分数小于等于4.2分的图像列为低美感图像，把分数介于4.2和5.6分之间的图像列为中美感图像，但由于中等美感分数区间值较小，容易引起混淆，因此在分类中不考虑中等美感分数的图像。为此，对美感等级图像集，利用Adaboost算法进行训练学习，得到图像美感等级分类器；而对美学回归数据集，利用SVR方法进行训练学习，得到图像美学回归模型。上述方法步骤4中，对目标图像进行美学评价。其具体为，用户上传图像，系统调用美感等级分类器和美学回归模型，进行识别判断；系统判别结果，给出高、低美感评价和美学分数预测。本发明具有如下优点和技术效果:本发明创造性地提出了一种根据人类视觉及审美习惯评价图像美学价值的具体可行的方法。本发明以众多受试者的图像美感心理学调查结果为依据，结合图像处理方法提取有效的特征，通过对样本数据进行训练学习得到美学评价模型，其结果用于实现机器对目标图像的自动美学评价，并给出美感等级和美学分数值。方法简单有效，可模拟人类思维对电子图像给出有参考价值的评价，可行性强。
图1是本方法中的总体结构框图。
具体实施例方式下面结合附图和实例对本发明作进一步详细的说明，但本发明的实施和包含范围不局限于此。本发明涉及图像美学评价的方法，基于视觉心理学、美学等相关理论基础，以及大量图像美学调查结果，结合图像处理与机器学习算法，提出了一种机器自动评价图像美学价值的方法。如附图1所示，本实施方式的系统主要由特征区域划分模块、特征提取模块、训练学习模块、评价显示模块组成。首先，对于目标图像，图像的整体区域含有大量描述图像的信息，而图像中的某些关键区域包含了重要的、主导图像内容的有用信息，这些关键信息对图像美学评价分析有重要的指导意义。为了获取目标图像的有效特征区域，本发明方法除了考虑图像的整体区域，同时也计算了图像的主体区域。图像主体区域主要是指图像中包含图像主要内容的区域，并且主体在图像中起绝对主导作用，因而定位并提取主体所在的区域十分重要。本发明方法设计了一种基于图像分割与梯度特征结合的快速提取图像主体区域的方法，结合图像分割和梯度线索提取了图像的主体区域，其具体包括了图像分割、区域合并、主体提取。本发明首先采用分水岭分割算法对图像进行分割，然后根据亮度和色彩特征对分割后的区域进行区域融合，结合区域分割结果及图像梯度特征确定了图像的主体区域。分水岭分割算法是一种基于拓扑理论的数学形态学的分割方法，对微弱边缘具有良好的响应，但由于图像中的噪声、物体表面细微的灰度变化而容易产生严重的过度分割现象。为了解决过度分割的现象，本发明通过修改原始图像梯度来控制分割的区域数量，具体为设置外部约束和内部约束，然后利用两者的比值来重建梯度，通过修改内部约束的大小来控制分割后的区域数量。在完成图像分割后，对图像进行区域融合。本发明通过区域的位置及色彩信息对分割区域进行合并。位置信息是指两个区域只有相邻才有融合的可能，而色彩信息是指当两个区域颜色相近时，便认为这两个区域是属于同一物体。由于Lab颜色空间更接近于人眼对色彩的感知，因此本发明采用Lab颜色空间来判断两个区域之间颜色的接近程度。Lab颜色空间中，L是表示亮度分量，值域从0-100，当L取值为O时是纯黑，取值是100时是纯白。a、b分量都表示颜色分量,值域都是由+127至-128。a表示红色至绿色的范围，a为127时就是洋红色，渐渐过渡到-128时变为绿色；同样，b表示从黄色到蓝色的范围，b为127时是黄色，为-128时是蓝色。本发明对大量样本图像进行融合训练得出融合阈值:L「L2〈 20, (a「a2)2+(Id1Hd2)2〈 400(公式 I)其中L1、L2表示相邻两个区域分别对应的平均亮度值，al、a2表示两个相邻区域的平均颜色值，bl、b2表示两个相邻区域的平均颜色值。若两个相邻区域满足以上两个条件，则将两个区域融合；而当一个区域的多个相邻区域均满足色彩阈值时，则选择色彩最接近的一个相邻区域进行合并。本发明在对图像进行区域分割、区域融合后，结合图像梯度特征提取图像的主体区域。具体方法为:首先对图像灰度图求取梯度信息，根据图像梯度能量最小值来设置图像的自适应阈值，最后结合梯度图提取图像的主体区域。将每个像素点的梯度视为该像素的能量，将所有像素点的能量值求和得到图像梯度的总能量Eq，根据梯度值均分为100个区间，作直方图统计，得到落在每个区间内的梯度值的个数Ni (i=l，2，3，- ,100), i表示100个区间中的第i个区间。梯度能量和公式如下:
权利要求
1.一种图像美学评价方法，其特征在于包括以下步骤: 步骤1、对样本图像进行特征区域划分，包括图像整体区域和主体区域； 步骤2、对特征区域提取图像的低层视觉特征和高层美学特征； 步骤3、利用样本图像进行训练学习，通过训练学习结果获得美感等级分类器和美学回归模型； 步骤4、对目标图像调用步骤3中得到的美感等级分类器和美学回归模型，进行图像高、低美感等级评价和美学分数预测。
2.根据权利要求1所述的图像美学评价方法，其特征在于步骤I中划分图像特征区域包括图像整体区域和主体区域，将整幅图像作为整体区域，而提取图像主要内容区域作为图像的主体区域。
3.根据权利要求1所述的图像美学评价方法，其特征在于步骤I中通过提取主体区域作为特征区域的一部分，结合图像分割和梯度特征提取了图像的主体区域，主体区域提取具体包括图像分割、区 域合并和主体提取。
4.根据权利要求1所述的图像美学评价方法，其特征在于步骤I中主体区域的提取具体为如下方法:首先采用分水岭分割算法对图像进行分割，然后根据亮度和色彩特征对分割后的区域进行区域融合，结合区域分割结果及图像梯度特征确定图像的主体区域。
5.根据权利要求1所述的图像美学评价方法，其特征在于步骤2提取的图像特征包括低层视觉特征和高层美学特征。
6.根据权利要求1所述的图像美学评价方法，其特征在于步骤2提取的低层视觉特征包括颜色特征、纹理特征和形状特征，具体包括HSV颜色空间的颜色直方图特征、颜色矩特征、Gabor纹理特征、Tumura纹理特征和GLCM特征。
7.根据权利要求1所述的图像美学评价方法，其特征在于步骤2提取的高层美学特征包括Daubchies小波变换、信息熵复杂度、KolmogorovZurek复杂度、基于GLCM特征的图像复杂度、景深和色彩空间EMD距离。
8.根据权利要求1所述的图像美学评价方法，其特征在于步骤3具体包含:采集大量图像及其美感评价信息，每幅图像的美感评价通过众多受试者对图像进行美感心理学评分获得，分数为0-10分，所有带有分数值的图像数据作为美学回归数据集，同时按照美感分数的高低，建立美感等级图像集，包括高美感等级图像集和低美感等级图像集。
9.根据权利要求1所述的图像美学评价方法，其特征在于步骤3中采用Adaboost算法对美感等级图像集进行训练学习获取图像美感等级分类器，并采用SVR算法对美学回归数据集获取图像美学回归模型。
10.根据权利要求1所述的图像美学评价方法，其特征在于步骤4中，对于目标图像，系统自动地评价高、低美感等级和预测美学分数。
全文摘要
本发明属于图像处理技术、图像分析、计算机视觉领域，具体为一种图像美学评价方法。所述方法包括以下步骤(1)对样本图像划分特征区域，包括图像整体区域和主体区域；(2)对于整体区域和主体区域，分别提取图像低层特征和高层美学特征；(3)通过机器训练和学习建立美学评价模型，包括图像美感等级分类器和图像美学回归模型；(4)对用户输入的目标图像，利用已建立的美感等级分类器和美学回归模型，实现图像的高、低美感等级评价和美学分数预测。本发明方法无需人工判断，可对图像给出符合人类感知的美感等级评价和美学分数预测，且具有处理速度快、可行性强的优点。
文档编号G06K9/62GK103218619SQ201310084400
公开日2013年7月24日 申请日期2013年3月15日 优先权日2013年3月15日
发明者王伟凝, 蚁静缄, 韦岗, 王励 申请人:华南理工大学