照片质量的评价方法及装置、电子设备、可读存储介质与流程

文档序号:19948614发布日期:2020-02-18 09:56阅读:267来源:国知局
照片质量的评价方法及装置、电子设备、可读存储介质与流程

本发明涉及人工智能摄影技术领域,尤指一种照片质量的评价方法及装置、电子设备、可读存储介质。



背景技术:

随着相机,尤其是拍照能力越来越强大的手机的普及,日常中人们会用相机或者手机拍摄许多照片,但限于成像环境和成像时刻条件影响,产生的照片存在水平参差不齐的问题。如果人工来挑选出好的照片,整体过程繁琐、无趣,重复操作的体验也非常不好。而相对于照片这种数据,手机这类移动设备存储空间也很有限,能减少不必要的数据存储本身对于其整体性能保持也非常有益。因此人们让诸如摄影设备或相片管理设备使用图像分析的办法对照片进行评价,留下或优先给出较好的照片,删除或者置后不太好的照片,这样能改善上述提到的问题。

但是通常使用的照片评价方法是基于一些简单的规则,例如是否人物有笑脸,拍摄目标(即主体)是否居于经验的美学位置(三分位、居中位等),主体是否大小合适等。这种照片评价方法距离一个摄影师的水平还是有较大差距,从而导致挑选出来的照片也差强人意。



技术实现要素:

本发明的目的之一是为了克服现有技术中存在的至少部分不足,提供一种照片质量的评价方法及装置、电子设备、可读存储介质,使评价维度更全面、评价效率更高,从而让设备挑选出的好照片更接近摄影师挑选出的好照片。

本发明提供的技术方案如下:

一种照片质量的评价方法,包括:获取待评价的照片;从以下至少两种维度组合判断所述照片是否合格:整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量;当所述照片合格时,根据摄影美学评价指标对所述照片进行一类量化评价,获得一类量化评价结果;根据所述一类量化评价结果,得到所述照片的综合评价。

进一步的,所述的从以下至少两种维度组合判断所述照片是否合格,之后还包括:当所述照片合格时,根据所述照片与好照片数据库的最大相似度进行二类量化评价,获得二类量化评价结果;所述根据所述一类量化评价结果,得到所述照片的综合评价包括:根据所述一类量化评价结果和所述二类量化评价结果,得到所述照片的综合评价。

进一步的,所述得到所述照片的综合评价之后包括:根据所述综合评价,判断所述照片是否为好照片;当所述照片为好照片时,将所述好照片加入所述好照片数据库。

进一步的,所述根据所述综合评价,判断所述照片是否为好照片,包括:根据所述综合评价和摄影师的评价,判断所述照片是否为好照片。

进一步的,所述从以下至少两种维度组合判断所述照片是否合格包括:判断所述照片的整体成像质量是否合格;当所述照片的整体成像质量为合格时,提取所述照片的拍摄目标区域;判断所述拍摄目标区域的成像质量是否合格;当所述拍摄目标区域的成像质量为合格时,判断所述拍摄目标的构图质量是否合格;当所述拍摄目标的构图质量为合格时,所述照片合格。

进一步的,所述提取所述照片的拍摄目标区域包括:识别所述照片的照片类型;根据所述照片类型选择对应的目标检测及分割算法,检测所述照片的拍摄目标,并提取对应的拍摄目标区域。

进一步的,所述识别所述照片的照片类型,包括:根据卷积神经网络提取的所述照片的整体抽象特征,识别所述照片的照片类型;所述根据所述照片类型选择对应的目标检测及分割算法包括:当所述照片类型为风景照时,使用图像显著性区域检测算法;当所述照片类型为人物照时,使用人体检测和分割算法。

进一步的,所述判断所述拍摄目标的构图质量是否合格包括:判断所述拍摄目标的构图是否符合预设构图规则,评价所述预设构图规则的因素包括拍摄目标的尺寸、位置、可变化状态。

进一步的,所述根据所述照片与好照片数据库的最大相似度进行二类量化评价,获得二类量化评价结果包括:根据基于深度神经网络的相似度评估模型,计算所述照片与好照片数据库中每张照片之间的相似度;根据所述相似度计算结果,获得所述照片的最大相似度;根据所述最大相似度,获得所述照片的二类量化评价结果。

进一步的,所述计算所述照片与好照片数据库中每张照片之间的相似度,包括:基于深度神经网络分别提取所述照片和对比照片的特征向量,所述对比照片为好照片数据库中的照片;根据所述照片的特征向量和所述对比照片的特征向量,计算所述两个特征向量间的欧式距离;根据所述两个特征向量间的欧式距离,获得所述两张照片间的相似度。

进一步的,所述根据所述一类量化评价结果和所述二类量化评价结果,得到所述照片的综合评价,包括:对所述一类量化评价结果和所述二类量化评价结果进行加权求和,将所述加权求和后的结果作为所述照片的综合评价;其中,所述二类量化评价结果的权值随好照片数据库中的好照片数的增加而动态变大,直至达到最大预设权值。

进一步的,所述二类量化评价结果的权值随好照片数据库中的好照片数的增加而动态变大,直至达到最大预设权值,包括:当好照片数据库中的好照片数小于等于第一阈值时,所述二类量化评价结果的权值为预设初始值;当所述好照片数据库中的好照片数大于等于第二阈值时,所述二类量化评价结果的权值为最大预设权值;当好照片数据库中的好照片数介于第一阈值与第二阈值之间时,所述二类量化评价结果的权值随好照片数的增加而动态变大。

本发明还提供一种照片质量的评价装置,包括:照片获取模块,用于获取待评价的照片;合格判断模块,用于从以下至少两种维度组合判断所述照片是否合格:整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量;一类评价模块,用于当所述照片合格时,根据摄影美学评价指标对所述照片进行一类量化评价,获得一类量化评价结果;综合评价模块,用于根据所述一类量化评价结果,得到所述照片的综合评价。

进一步的,还包括:二类评价模块,用于当所述照片合格时,根据所述照片与好照片数据库的最大相似度进行二类量化评价,获得二类量化评价结果;所述综合评价模块,进一步用于根据所述一类量化评价结果和所述二类量化评价结果,得到所述照片的综合评价。

进一步的,还包括:数据库更新模块,用于根据所述综合评价,判断所述照片是否为好照片;以及,当所述照片为好照片时,将所述好照片加入所述好照片数据库。

进一步的,所述数据库更新模块,进一步用于根据所述综合评价和摄影师的评价,判断所述照片是否为好照片。

进一步的,所述合格判断模块包括:整体成像判断单元,用于判断所述照片的整体成像质量是否合格;目标区域提取单元,用于当所述照片的整体成像质量为合格时,提取所述照片的拍摄目标区域;局部成像判断单元,用于判断所述拍摄目标区域的成像质量是否合格;构图质量判断单元,用于当所述拍摄目标区域的成像质量为合格时,判断所述拍摄目标的构图质量是否合格;所述合格判断模块,进一步用于当所述拍摄目标的构图质量为合格时,所述照片合格。

进一步的,所述目标区域提取单元,进一步用于识别所述照片的照片类型;根据所述照片类型选择对应的目标检测及分割算法,检测所述照片的拍摄目标,并提取对应的拍摄目标区域。

进一步的,所述目标区域提取单元,进一步用于根据卷积神经网络提取的所述照片的整体抽象特征,识别所述照片的照片类型;以及,当所述照片类型为风景照时,使用图像显著性区域检测算法;当所述照片类型为人物照时,使用人体检测和分割算法。

进一步的,所述构图质量判断单元,进一步用于判断所述拍摄目标的构图是否符合预设构图规则,评价所述预设构图规则的因素包括拍摄目标的尺寸、位置、可变化状态。

进一步的,所述二类评价模块,进一步用于根据基于深度神经网络的相似度评估模型,计算所述照片与好照片数据库中每张照片之间的相似度;根据所述相似度计算结果,获得所述照片的最大相似度;根据所述最大相似度,获得所述照片的二类量化评价结果。

进一步的,所述综合评价模块,进一步用于对所述一类量化评价结果和所述二类量化评价结果进行加权求和,将所述加权求和后的结果作为所述照片的综合评价;其中,所述二类量化评价结果的权值随好照片数据库中的好照片数的增加而动态变大,直至达到最大预设权值。

本发明还提供一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于运行所述计算机程序,实现前述中任一项所述的照片质量的评价方法。

本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述中任一项所述的照片质量的评价方法。

通过本发明提供的照片质量的评价方法及装置、电子设备、可读存储介质,至少能够带来以下有益效果:

1、本发明通过先滤除不合格照片,再对合格的照片进行量化评价,可以在处理大量照片时提高处理效率,有利于快速挑选出好照片;在评估照片是否合格时,分别从整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量等维度进行判断,评价维度更全面。

2、本发明在对合格照片进行量化评价时,从传统摄影美学评价指标、以及由好照片数据库累积的经验进行综合评分,评价维度更全面,进一步提高了设备的照片评价能力,从而让设备挑选出的好照片更接近摄影师挑选出的好照片。

3、本发明提供了一套不断进化的照片质量的评价方法,在拍摄初期、照片较少时,借助摄影师的评价辅助修正设备的照片评价能力;随着拍摄的照片越多,逐步增加好照片数据库带来的经验评价的权重,设备的照片评价能力越强,评价的效果最终能达到普通摄影师水平,从而可让摄影师从繁重的照片挑选中解放出来,同时也使大众可便捷的享受类似摄影师的照片挑选结果。

附图说明

下面将以明确易懂的方式,结合附图说明优选实施方式,对一种照片质量的评价方法及装置、电子设备、可读存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明的一种照片质量的评价方法的一个实施例的流程图;

图2是本发明的一种照片质量的评价方法的另一个实施例的流程图;

图3是本发明的一种照片质量的评价方法的另一个实施例的流程图;

图4是本发明的一种照片质量的评价装置的一个实施例的结构示意图;

图5是本发明的一种照片质量的评价装置的另一个实施例的结构示意图;

图6是本发明的一种照片质量的评价装置的另一个实施例的结构示意图;

图7是图3中拍摄目标区域位置偏移构图美学经验位置太多的一个示例;

图8是图3中拍摄目标大小偏离经验值太多的一个示例;

图9是图3中拍摄目标的可变化状态差的一个示例;

图10是图6中合格判断模块的结构示意图;

图11是本发明的一种电子设备的一个实施例的结构示意图。

附图标号说明:

100.照片质量的评价装置,110.照片获取模块,120.合格判断模块,130.一类评价模块,140.二类评价模块,150.综合评价模块,160.数据库更新模块,121.整体成像判断单元,122.目标区域提取单元,123.局部成像判断单元,124.构图质量判断单元,400.电子设备,410.存储器,420.处理器,430.计算机程序,440.总线。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。

可以理解的是,根据需要,拍摄目标,可以是儿童或成人,也可以是一个或多个其他人物,还可以是其他动物、植物、风景或建筑等,还可以是前述对象中的任意组合。

另外,如无特别说明,在本发明中出现的“上、下”、“左、右”、“前、后”、“一、另一”等均为相对概念。另外,本发明中出现的术语“一类”、“二类”等仅用于描述方便,并不理解为指示或暗示相对重要性或明确限定先后顺序。

在本发明的一个实施例中,如图1所示,一种照片质量的评价方法,包括:

步骤s100获取待评价的照片。

步骤s200从以下至少两种维度组合判断所述照片是否合格:整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量。

具体的,一张照片必须首先是一幅人容易解读的图像,如果存在干扰人解读图像的因素则照片不合格,也不可能是好照片。所以在评价照片质量时,首先判断照片质量是否合格。可根据应用场景需要,从整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量中任选一个维度或几个维度进行判断;当满足所有所选维度的要求时,则该照片质量合格。比如,在照相馆拍摄的单人照,一般前两项都基本能保证,但人的表情状态可变、不易控制,故可从构图质量维度进行判断;在人物较多、人物动作不定的场景下所抓拍的图片,可从上述三项维度综合判断。

整体成像质量是从整体上分析照片能否接受,根据整张照片图像的基础质量进行判断。基础质量合格是指图像不存在阻碍人眼提取信息的障碍,一般主要涉及正确曝光、正确对焦,不出现过曝、过暗、模糊等。照片过曝、过暗和模糊易使人无法辨别图像中物体的细节,所以出现上述现象也说明基础质量不合格。如果整张图像的基础质量不合格,则整体成像质量不合格。

可使用图像处理和分析等公知算法进行照片过曝、过暗和模糊的检测。可选地,统计整张照片图像的亮度均值和方差,根据该亮度均值和方差判断照片曝光是否过度或者过暗。亮度均值和方差可以根据整张照片图像的所有像素值计算得到。当均值高于一个较大阈值(比如230),且方差在一定范围(比如30以内)时,可以确认照片整体曝光过度;当均值低于另一个较小阈值(比如60),且方差在一定范围(比如30以内)时,可以确认照片整体曝光过暗。统计整张照片图像的梯度幅值信息的均值,根据该值判断照片是否模糊,比如,该值小于一个阈值(比如5)时,则认为照片整体模糊。梯度向量可以用sobel算子、或robert算子、或prewitt算子得到,梯度幅值信息是梯度向量的大小。

上述这些阈值反映的是正常图像的经验范围,如果上述统计项中出现了一项值超过了经验范围,则表明图像出现了成像异常,本照片不合格,应该滤除。

拍摄目标区域的成像质量是从局部分析照片能否接受,尤其是拍摄目标区域,根据拍摄目标区域图像的基础质量进行判断,一般主要涉及拍摄目标被正确曝光、拍摄目标被良好对焦、拍摄目标的色调合理等。其中基础质量的评价方法同上面介绍的方法,即可统计拍摄目标区域图像的亮度均值和方差,判断拍摄目标区域曝光是否过度或者过暗;统计拍摄目标区域图像的梯度幅值信息的均值,判断拍摄目标区域图像是否模糊。

可利用公知的通用目标检测分割的方法(例如maskrcnn实例分割算法),提取照片的拍摄目标区域,也可采用图像显著性区域检测的方法(例如qibinhou,ming-mingcheng,xiaoweihu,aliborji,zhuowentu,philiptorr,deeplysupervisedsalientobjectdetectionwithshortconnections,ieeetpami,2018.)。不同的方法有不同的适用范围,例如在处理人物照时,使用人体检测和分割的方法非常有效,而对于风景类的照片显著性区域检测的方法更简单有效。优选地,识别照片的照片类型;根据照片类型选择对应的目标检测及分割算法,检测所述照片的拍摄目标,并提取对应的拍摄目标区域。所谓照片类型是指语义上具有相似性,而且明显区别于其他照片的一组照片。照片类型可视不同的分组需求而定,从不同角度提取语义进行区分,比如,照片类型可分为人物照和景物照,也可分为个人照、建筑景物照和集体照,也可分为室内照和室外照等。比如,当识别照片为人物照时,使用人体检测和分割的方法提取拍摄目标区域。当识别照片为风景照时,使用图像显著性区域检测的方法提取拍摄目标区域。

由于不同场景的图像(例如室内游乐场图像和自然风景区图像)一般整体上有明显差别,而卷积神经网络能提取图像的整体抽象特征,并可用这些特征进行分类,所以可使用分类卷积神经网络(例如vgg等)实现照片场景的识别和分类(即对应照片类型),然后根据识别的照片类型使用其最佳的拍摄目标区域检测方法,得到拍摄目标区域。

拍摄目标的构图质量是从构图角度检测拍摄目标的构图是否合理,一般主要涉及照片中的拍摄目标的尺寸合理、拍摄目标的位置合理、拍摄目标的可变化状态合理,比如,拍摄目标是否过小或过大、是否过于靠边、脸部表情是否合适(比如是否闭眼、白眼)等。

步骤s300当所述照片合格时,根据摄影美学评价指标对所述照片进行一类量化评价,获得一类量化评价结果。

步骤s500根据所述一类量化评价结果,得到所述照片的综合评价。

具体的,当照片被评价合格后,按摄影美学评价中的传统评价子项,即摄影美学评价指标,对照片做进一步的质量评分。

摄影美学评价指标是根据传统摄影美学评价经验从照片的底层视觉信息上提取的各种图像特征。比如拍摄目标的突出性、背景颜色的简洁性、拍摄目标和背景色彩的和谐性、主体分布的视觉均衡性等,对这些子项进行逐项评分,评分方法可采用已公开的方法(参考gallea,robertoandardizzone,edoardoandpirrone,roberto.automaticaestheticphotocomposition.iciap2013,1:21--30.)。最后对各子项评分进行综合得到一类量化评价结果。

将一类量化评价结果作为照片的综合评价。当综合评价超过一定阈值时,则认为是好照片。

本实施例,先滤除不合格照片(即明显质量低的照片),再针对合格的照片完成具体的照片评分,这样在处理大量照片时处理效率更高,有利于快速挑选出好照片;在评估照片是否合格时,分别从整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量等维度进行判断,评价维度更全面。

在本发明的另一个实施例中,如图2所示,一种照片质量的评价方法,包括:

与前述图1示例的照片质量的评价方法相比,为了进一步提高设备的照片评价能力,增加了步骤s400,用步骤s510替代了步骤s500:

步骤s400当所述照片合格时,根据所述照片与好照片数据库的最大相似度进行二类量化评价,获得二类量化评价结果;

步骤s510根据所述一类量化评价结果和所述二类量化评价结果,得到所述照片的综合评价。

具体的,当照片被评价合格后,还可根据累积的好照片的经验对其进行评分,即二类量化评价。对一类量化评价、二类量化评价的执行顺序不做限定,可以同时进行,也可以按任意先后顺序执行。

一般在一个固定场景下,拍摄的照片往往是模式有限的。因此优选的,当该场景下好照片不断增多形成数据库,则好照片数据库实际累积出了一个经验模式库,在此类场景下可以利用新拍摄照片与库内每个好照片求取相似度,并以相似度的极大值作为照片好坏的另一个评分项,即二类量化评价结果s2。综合一类量化评价结果s1和二类量化评价结果s2,得到最终照片好坏评分s_final。当s_final超过一定阈值,则认为是好照片。

本实施例,在对合格照片的质量评分时,从传统摄影美学评价指标、以及由好照片数据库累积的经验进行综合评分,评价维度更全面,进一步提高了设备的照片评价能力,从而让设备挑选出的好照片更接近摄影师挑选出的好照片。

在本发明的另一个实施例中,如图3所示,一种照片质量的评价方法,包括:

步骤s100获取待评价的照片。

步骤s210判断所述照片的整体成像质量是否合格。

步骤s220当所述照片的整体成像质量为合格时,提取所述照片的拍摄目标区域。

步骤s230判断所述拍摄目标区域的成像质量是否合格。

步骤s240当所述拍摄目标区域的成像质量为合格时,判断所述拍摄目标的构图质量是否合格。

步骤s250当所述拍摄目标的构图质量为合格时,所述照片合格。

具体的,在判断照片质量是否合格时,先判断照片的整体成像质量,从整体上分析照片能否接受;如果不能接受,则此照片评价结束。

当照片从整体上分析能接受时,作为拍摄目标的主体区域的图像质量不一定能满足要求,所以需要提取图像的拍摄目标区域(即主体区域),并分析主体区域的照片质量可否接受;如果不能接受,则此照片评价结束。

当拍摄目标区域的局部图像质量条件满足时,则利用拍摄目标的检测定位及分割信息进行构图状态判断。一张好照片除了需要能正常成像,还需从构图角度检查其质量,例如拍摄目标区域位置不能偏移构图美学经验位置太多,拍摄目标大小也不能偏离经验值太多,拍摄目标的可变化状态不能太差。以人像举例来说,如图7所示,人物太偏,具体的,拍摄目标所在的外包围框的中心偏离了照片的中心区域;如图8所示,左边图人物太大,具体的,拍摄目标的人脸宽高大于指定像素数(例如800),右边图人物太小,拍摄目标的人脸宽高小于指定像素数(例如40);如图9所示,人物表情差,人脸表情是一个需要检查的可变化状态,使用公知分类卷积神经网络(例如vgg等)对人脸框区域进行分类识别处理即可以检测出人脸的表情,拍摄目标表情不应该难看(例如:白眼、红眼、闭眼、痛苦等认为是难看表情),否则照片不可能成为一张好照片。

当照片依次从整体成像质量、拍摄目标区域的成像质量和拍摄目标的构图质量维度判断都合格时,则认为照片合格。当存在大量的照片待评价时,通过以上逐级递进的评判方法,可以提高评价效率。

步骤s310当所述拍摄目标的构图质量为合格时,根据摄影美学评价指标对所述照片进行一类量化评价,获得一类量化评价结果。

具体的,前面的步骤是基于规则的逐级递进的评判,某项不良即可评判为不好的照片,只有通过所有条件评判的才具备好照片的基础,进一步使用摄影美学评价中一些传统的方法,按照子项(例如拍摄目标是否突出、背景是否简洁、拍摄目标和背景色彩是否和谐、主体分布是否视觉平衡等等)对每张照片评分,并最后评出能反映好差排序关系的评价分数,即一类量化评价结果s1,比如s1∈[0,1],s1越大质量越好。

步骤s410根据所述照片与好照片数据库的最大相似度进行二类量化评价,获得二类量化评价结果。

步骤s511对所述一类量化评价结果和所述二类量化评价结果进行加权求和,将所述加权求和后的结果作为所述照片的综合评价;其中,所述二类量化评价结果的权值随好照片数据库中的好照片数的增加而动态变大,直至达到最大预设权值。

步骤s600根据所述照片的综合评价,判断所述照片是否为好照片。

步骤s700将所述好照片加入所述好照片数据库。

具体的,当照片被评价合格后,还可根据累积的好照片的经验对其进行评分。一般在一个固定场景下,拍摄的照片往往是模式有限的(以室内舞蹈场景摄影为例,照片模式可分为1人模式,2人模式,3人模式等,也可按人分类),累积出的好照片数据库实际上提供了一个经验模式库。利用诸如深度神经网络这样的模块度量照片间相似程度,在运行场景不变的前提条件下可以将当前照片与数据库中每个好照片均做相似度计算,取这些相似度的极大值作为照片好坏的另一个评分项,即二类量化评价结果s2,越大则表示是好照片的可能性越大。

度量相似度的深度神经网络,可以借鉴诸如facenet人脸识别的网络框架,与原始facenet的差异在于训练数据不是不同人的人脸图像而是一种固定场景下不同模式的图像照片,两图像间的相似度sij=exp(-||f(x(i)),f(x(j))||2),其中exp是自然常数e为底的指数函数,||.||2是求取两点间的欧式距离,f(.)是深度神经网络对输入的照片图像输出的对应特征向量。

对s2和s1进行加权求和得到最终照片好坏评分s_final,例如,s_final=(1-w)*s1+w*s2,权重w最大取0.5。s_final需要超过一定阈值才认为是好照片,例如取阈值0.6。由于一个场景内好照片的类型总是有限的,因此随着系统运行时间越长,积累的好照片越多,好照片的评判也越容易越准确。

初始阶段,这个好照片数据库是需要人工辅助完善的:初始阶段,使w=0,s_final=s1,s2不可靠,因此不使其生效进行最终质量评分,仅依赖s1部分评分进行好照片初步筛选,而当相机运行后得到的超过好照片阈值的照片均放入初始好照片数据库,再通过摄影师人工挑选筛查,去除误判的照片,将人工确认的好照片放入好照片数据库,随着人工确认的好照片数超过一定阈值t1(例如3000张),w开始生效,当好照片数超过t2(例如10000张),w达到极值0.5,具体w=0.5*min(max((n-t1)/(t2-t1),0),1),n是人工确认的好照片数。当好照片数据库的好照片数足够大(比如达到一定阈值)时,可省略人工挑选筛查的过程,此时机器自动评分已足够优秀。

本实施例,提供了一套不断进化的照片评价方法,随着拍摄的照片越多,照片评价的能力越强,评价的效果最终能达到普通摄影师水平,从而可让摄影师从繁重的照片挑选中解放出来,同时也使大众都可便捷的享受类似摄影师的照片挑选结果。

在本发明的一个实施例中,如图4所示,一种照片质量的评价装置100,包括:

照片获取模块110,用于获取待评价的照片。

合格判断模块120,用于从以下至少两种维度组合判断所述照片是否合格:整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量。

具体的,在评价照片质量时,首先判断照片质量是否合格。可根据需要,从整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量中任选一个维度或几个维度进行判断;当满足所有所选维度的要求时,则该照片质量合格。

整体成像质量是从整体上分析照片能否接受,根据整张照片图像的基础质量进行判断。基础质量合格是指图像不存在阻碍人眼提取信息的障碍,一般主要涉及正确曝光、正确对焦,不出现过曝、过暗、模糊等。照片过曝、过暗和模糊易使人无法辨别图像中物体的细节,所以出现上述现象也说明基础质量不合格。如果整张图像的基础质量不合格,则整体成像质量不合格。

可使用图像处理和分析等公知算法进行照片过曝、过暗和模糊的检测。可选地,统计整张照片图像的亮度均值和方差,根据该亮度均值和方差判断照片曝光是否过度或者过暗。统计整张照片图像的梯度幅值信息的均值,根据该值判断照片是否模糊。

拍摄目标区域的成像质量是从局部分析照片能否接受,尤其是拍摄目标区域,根据拍摄目标区域图像的基础质量进行判断,一般主要涉及拍摄目标被正确曝光、拍摄目标被良好对焦、拍摄目标的色调合理等。其中基础质量的评价方法同上面介绍的方法,即可统计拍摄目标区域图像的亮度均值和方差,判断拍摄目标区域曝光是否过度或者过暗;统计拍摄目标区域图像的梯度幅值信息的均值,判断拍摄目标区域图像是否模糊。

可利用公知的通用目标检测分割的方法(例如maskrcnn实例分割算法),提取照片的拍摄目标区域,也可采用公知的图像显著性区域检测的方法。不同的方法有不同的适用范围,例如在处理人物照时,使用人体检测和分割的方法非常有效,而对于风景类的照片显著性区域检测的方法更简单有效。优选地,识别照片的照片类型;根据照片类型选择对应的目标检测及分割算法,检测所述照片的拍摄目标,并提取对应的拍摄目标区域。所谓照片类型是指语义上具有相似性,而且明显区别于其他照片的一组照片。

由于不同场景的图像(例如室内游乐场图像和自然风景区图像)一般整体上有明显差别,而卷积神经网络能提取图像的整体抽象特征,并可用这些特征进行分类,所以可使用分类卷积神经网络(例如vgg等)实现照片场景的识别和分类(即对应照片类型),然后根据识别的照片类型使用其最佳的拍摄目标区域检测方法,得到拍摄目标区域。

拍摄目标的构图质量是从构图角度检测拍摄目标的构图是否合理,一般主要涉及照片中的拍摄目标的尺寸合理、拍摄目标的位置合理、拍摄目标的可变化状态合理。

一类评价模块130,用于当所述照片合格时,根据摄影美学评价指标对所述照片进行一类量化评价,获得一类量化评价结果。

具体的,当照片被评价合格后,还需要对照片进行具体好坏的评分。根据摄影美学评价指标,比如,拍摄目标(即主体)是否突出、背景是否简洁、拍摄目标和背景色彩是否和谐、主体分布是否视觉平衡等角度,进行传统子项的逐项评分,最后对各子项评分进行综合得到一类量化评价结果s1。

综合评价模块150,用于根据所述一类量化评价结果,得到所述照片的综合评价。

具体的,当照片被评价合格后,按摄影美学评价中的传统评价子项,即摄影美学评价指标,对照片做进一步的质量评分。

摄影美学评价指标是根据传统摄影美学评价经验从照片的底层视觉信息上提取的各种图像特征。比如拍摄目标的突出性、背景颜色的简洁性、拍摄目标和背景色彩的和谐性、主体分布的视觉均衡性等,对这些子项进行逐项评分,评分方法可采用已公开的方法;最后对各子项评分进行综合得到一类量化评价结果。将一类量化评价结果作为照片的综合评价。当综合评价超过一定阈值时,则认为是好照片。

本实施例,先滤除不合格照片(即明显质量低的照片),再针对合格的照片完成具体的照片评分,这样在处理大量照片时处理效率更高,有利于快速挑选出好照片;在评估照片是否合格时,分别从整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量等维度进行判断,评价维度更全面。

在本发明的另一个实施例中,如图5所示,一种照片质量的评价装置100,包括:

在前述图4示例的照片质量的评价装置基础上,为了进一步提高设备的照片评价能力,增加了二类评价模块140。

二类评价模块140,用于当所述照片合格时,根据所述照片与好照片数据库的最大相似度进行二类量化评价,获得二类量化评价结果。

所述综合评价模块150,进一步用于根据所述一类量化评价结果和所述二类量化评价结果,得到所述照片的综合评价。

具体的,当照片被评价合格后,还可根据累积的好照片的经验对其进行评分,即二类量化评价。对一类量化评价、二类量化评价的执行顺序不做限定,可以同时进行,也可以按任意先后顺序执行。

一般在一个固定场景下,拍摄的照片往往是模式有限的。因此优选的,当该场景下好照片不断增多形成数据库,则好照片数据库实际累积出了一个经验模式库,在此类场景下可以利用新拍摄照片与库内每个好照片求取相似度,并以相似度的极大值作为照片好坏的另一个评分项,即二类量化评价结果s2。综合一类量化评价结果s1和二类量化评价结果s2,得到最终照片好坏评分s_final。当s_final超过一定阈值,则认为是好照片。

本实施例,在对合格照片的质量评分时,从传统摄影美学评价指标、以及由好照片数据库累积的经验进行综合评分,评价维度更全面,进一步提高了设备的照片评价能力,从而让设备挑选出的好照片更接近摄影师挑选出的好照片。

在本发明的一个实施例中,如图6、图10所示,一种照片质量的评价装置100,包括:

照片获取模块110,用于获取待评价的照片。

合格判断模块120,用于从以下至少两种维度组合判断所述照片是否合格:整体成像质量、拍摄目标区域的成像质量、拍摄目标的构图质量。

所述合格判断模块120包括:

整体成像判断单元121,用于判断所述照片的整体成像质量是否合格;

目标区域提取单元122,用于当所述照片的整体成像质量为合格时,提取所述照片的拍摄目标区域;

局部成像判断单元123,用于判断所述拍摄目标区域的成像质量是否合格;

构图质量判断单元124,用于当所述拍摄目标区域的成像质量为合格时,判断所述拍摄目标的构图质量是否合格。

所述合格判断模块120,进一步用于当所述拍摄目标的构图质量为合格时,所述照片合格。

具体的,在判断照片质量是否合格时,先判断照片的整体成像质量,从整体上分析照片能否接受;如果不能接受,则此照片评价结束。

当照片从整体上分析能接受时,作为拍摄目标的主体区域的图像质量不一定能满足要求,所以需要提取图像的拍摄目标区域(即主体区域),并分析主体区域的照片质量可否接受;如果不能接受,则此照片评价结束。

当拍摄目标区域的局部图像质量条件满足时,则利用拍摄目标的检测定位及分割信息进行构图状态判断。一张好照片除了需要能正常成像,还需从构图角度检查其质量,例如拍摄目标区域位置不能偏移构图美学经验位置太多,拍摄目标大小也不能偏离经验值太多,拍摄目标的可变化状态差。

当照片依次从整体成像质量、拍摄目标区域的成像质量和拍摄目标的构图质量维度判断都合格时,则认为照片合格。当存在大量的照片待评价时,通过以上方法,可以提高评价效率。

一类评价模块130,用于当所述拍摄目标的构图质量为合格时,根据摄影美学评价指标对所述照片进行一类量化评价,获得一类量化评价结果。

具体的,前面的步骤是基于规则的逐级递进的评判,某项不良即可评判为不好的照片,只有通过所有条件评判的才具备好照片的基础,进一步使用摄影美学评价中一些传统的方法,按照子项(例如拍摄目标是否突出、背景是否简洁、拍摄目标和背景色彩是否和谐、主体分布是否视觉平衡等等)对每张照片评分,并最后评出能反映好差排序关系的评价分数,即一类量化评价结果s1,比如s1∈[0,1],s1越大质量越好。

二类评价模块140,用于根据所述照片与好照片数据库的最大相似度进行二类量化评价,获得二类量化评价结果。

综合评价模块150,用于对所述一类量化评价结果和所述二类量化评价结果进行加权求和,将所述加权求和后的结果作为所述照片的综合评价;其中,所述二类量化评价结果的权值随好照片数据库中的好照片数的增加而动态变大,直至达到最大预设权值。

数据库更新模块160,用于根据所述综合评价,判断所述照片是否为好照片;以及,当所述照片为好照片时,将所述好照片加入所述好照片数据库。

具体的,当照片被评价合格后,还可根据累积的好照片的经验对其进行评分。一般在一个固定场景下,拍摄的照片往往是模式有限的(以室内舞蹈场景摄影为例,照片模式可分为1人模式,2人模式,3人模式等,也可按人分类),累积出的好照片数据库实际上提供了一个经验模式库。利用诸如深度神经网络这样的模块度量照片间相似程度,在运行场景不变的前提条件下可以将当前照片与数据库中每个好照片均做相似度计算,取这些相似度的极大值作为照片好坏的另一个评分项,即二类量化评价结果s2,越大则表示是好照片的可能性越大。

度量相似度的深度神经网络,可以借鉴诸如facenet人脸识别的网络框架。

对s2和s1进行加权求和得到最终照片好坏评分s_final,例如,s_final=(1-w)*s1+w*s2,权重w最大取0.5。s_final需要超过一定阈值才认为是好照片,例如取阈值0.6。由于一个场景内好照片的类型总是有限的,因此随着系统运行时间越长,积累的好照片越多,好照片的评判也越容易越准确。初始阶段,这个好照片数据库是需要人工辅助完善的:初始阶段,使w=0,s_final=s1,s2不可靠,因此不使其生效进行最终质量评分,仅依赖s1部分评分进行好照片初步筛选,而当相机运行后得到的超过好照片阈值的照片均放入初始好照片数据库,再通过摄影师人工挑选筛查,去除误判的照片,将人工确认的好照片放入好照片数据库,随着人工确认的好照片数超过一定阈值t1(例如3000张),w开始生效,当好照片数超过t2(例如10000张),w达到极值0.5,具体w=0.5*min(max((n-t1)/(t2-t1),0),1),n是人工确认的好照片数。当好照片数据库的好照片数足够大(比如达到一定阈值)时,可省略人工挑选筛查的过程,此时机器自动评分已足够优秀。

本实施例,提供了一套不断进化的照片评价装置,随着拍摄的照片越多,照片评价的能力越强,评价的效果最终能达到普通摄影师水平,从而可让摄影师从繁重的照片挑选中解放出来,同时也使大众可便捷的享受类似摄影师的照片挑选结果。

需要说明的是,本发明提供的照片质量的评价装置的实施例与前述提供的照片质量的评价方法的实施例均基于同一发明构思,能够取得相同的技术效果。因而,所述照片质量的评价装置的实施例的其它具体内容可以参照前述照片质量的评价方法的实施例内容的记载。

在本发明的一个实施例中,如图11所示,一种电子设备400,包括存储器410及处理器420。所述存储器410用于存储计算机程序430。所述处理器运行所述计算机程序时实现如前述记载的照片质量的评价方法。

作为一个示例,处理器420执行计算机程序时实现根据前述记载的步骤s100至s500。另外地,处理器420执行计算机程序时实现前述记载的照片质量的评价装置100中的各模块、单元的功能。作为又一个示例,处理器420执行计算机程序时实现照片获取模块110、合格判断模块120、一类评价模块130、综合评价模块150的功能。

可选地,根据完成本发明的具体需要,所述计算机程序可以被分割为一个或多个模块/单元。每个模块/单元可以为能够完成特定功能的一系列计算机程序指令段。该计算机程序指令段用于描述所述计算机程序在照片质量的评价装置100中的执行过程。作为示例,所述计算机程序可以被分割为虚拟装置中的各个模块/单元,譬如照片获取模块、合格判断模块、一类评价模块、综合评价模块。

所述处理器用于通过执行所述计算机程序从而实现照片质量的评价方法。根据需要,所述处理器可以是中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、通用处理器或其他逻辑器件等。

所述存储器可以为任意能够实现数据、程序存储的内部存储单元和/或外部存储设备。譬如,所述存储器可以为插接式硬盘、智能存储卡(smc)、安全数字(sd)卡或闪存卡等。所述存储器用于存储计算机程序、照片质量的评价装置100的其他程序及数据。

所述电子设备400可以为任意计算机设备,譬如桌上型计算机(desktop)、便携式计算机(laptop)、掌上电脑(pda)或服务器(server)等。根据需要,所述电子设备400还可以包括输入输出设备、显示设备、网络接入设备及总线440等。所述电子设备400还可以是单片机,或集成了中央处理单元(cpu)及图形处理单元(gpu)的计算设备。

本领域技术人员可以理解的是,上述用于实现相应功能的单元、模块的划分是出于便利于说明、叙述的目的,根据应用需求,将上述单元、模块做进一步的划分或者组合,即将装置/设备的内部结构重新进行划分、组合,以实现的上述记载的功能。上述实施例中的各个单元、模块可以分别采用单独的物理单元,也可以将两个或两个以上的单元、模块集成在一个物理单元。上述实施例中的各个单元、模块可以采用硬件和/或软件功能单元的实现对应的功能。上述实施例中的多个单元、组件、模块之间可以的直接耦合、间接耦合或通讯连接可以通过总线或者接口实现;多个单元或装置的之间的耦合、连接,可以是电性、机械或类似的方式。相应地,上述实施例中的各个单元、模块的具体名称也只是为了便于叙述及区分,并不用限制本申请的保护范围。

在本发明的一个实施例中,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时可实现如前述实施例记载的照片质量的评价方法。也即是,当前述本发明实施例对现有技术做出贡献的技术方案的部分或全部通过计算机软件产品的方式得以体现时,前述计算机软件产品存储在一个计算机可读存储介质中。所述计算机可读存储介质可以为任意可携带计算机程序代码实体装置或设备。譬如,所述计算机可读存储介质可以是u盘、移动磁盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器等。

应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1