一种融合用户主观属性的个性化图像美学评价方法及装置

1.本发明涉及图像处理与计算机美学技术领域，具体涉及一种融合用户主观属性的个性化图像美学评价方法及装置。


背景技术：

2.图像美学评价旨在利用人工智能系统模拟人类的审美体验对图像的美感进行计算和评估，从而自动评价图像的美学质量。因此，图像美学评价是人类智能的体现，这种智能涉及图像处理、计算机视觉和心理学等诸多交叉领域，是一项具有挑战性的研究课题。图像美学评价方法可以自动地评估图像的美感，因此，图像美学评价在图像推荐系统、图像增强以及图像检索等领域具有重要的应用价值。
3.目前，图像美学评价可以分为三个任务：美学二分类、美学分数回归和美学分布预测。其中，美学二分类任务的研究目标是把图像按照多数人的审美体验分成“高”和“低”两类。美学分数回归任务的研究目标是预测得到图像的美学分数；该任务把多数人对图像美学的平均评分作为图像美学分数进行回归建模。美学分布预测任务的研究目标是预测得到多个人对图像评分的美学分布结果，该任务直接对图像获取的美学分布进行建模预测。
4.但是，这些研究方法的主要目的还是从图像层面上去理解图像的美感，均属于大众化图像美学评价方法。而由于不同人对美的评判标准存在较大差异，“一千个读者眼中有一千个哈姆雷特”和“萝卜青菜各有所爱”等谚语也充分说明了人与人之间存在不同的审美偏好与兴趣。所以，现有的大众化图像美学评价方法难以有效地满足于特定用户对图像的个性化审美需求。因此，研究针对特定用户的个性化图像美学评价方法更具现实意义。
5.目前，国内外已有一些学者对个性化的图像美学评价方法展开研究。例如：2017年，美国罗格斯大学的ren等人首次发布了一个针对图像的个性化美学评价数据集(flickr
‑
aes)，提出了一种针对用户的个性化图像美学评价方法；2018年，郑州大学的lv等人提出了一种基于用户交互的个性化图像美学评价方法。但是，现有方法仍存在如下不足：1.在构建个性化图像美学评价模型时还是在图像层面上进行建模分析，难以有效地挖掘不同用户之间审美差异的关键因素；2.用户对图像的审美体验受到图像内容和其主观属性的双重影响，在建模时往往忽略了其主观属性的影响。


技术实现要素：

6.鉴于此，本发明公开了一种融合用户主观属性的个性化图像美学评价方法及装置，通过目标用户对图像的美学评分获取该用户的主观属性，并把相应的主观属性融入到个性化图像美学评价网络模型中，提高个性化图像美学评价网络模型的有效性和鲁棒性。
7.根据本发明的目的提出的一种融合用户主观属性的个性化图像美学评价方法，包括以下步骤：
8.s1、根据用户对图像的美学评分，获取包含大量用户的图像美学评价数据集。
9.s2、提取每位用户美学评分中最高的一组图像数据，输入到基于图像的用户主观
属性预测模型s中，获取用户的主观属性。
10.s3、构建大众化图像美学评价网络模型g，并通过融合用户的主观属性构建个性化图像美学差异网络模型r。
11.s4、利用大量用户的图像美学评价数据集同时对大众化图像美学评价网络模型g和个性化图像美学差异网络模型r进行训练。
12.s5、将训练好的大众化图像美学评价网络模型g和个性化图像美学差异网络模型r组建成个性化图像美学评价网络模型p，并利用目标用户的图像美学评价数据对个性化图像美学评价网络模型p做进一步微调训练。
13.s6、将待测试图像输入到目标用户的个性化图像美学评价网络模型中，得到目标用户对该图像的个性化美学评分。
14.优选的，步骤s1中图像美学评价数据集获取方法：每幅图像获得至少五位用户的美学评分，从而获得每幅图像的美学分布结果；然后，通过筛选每位用户进行评分的图像以及个性化评价结果，构成每位用户的图像美学评价数据子集。
15.优选的，步骤s2中用户主观属性预测模型s由一个卷积神经网络cnn和一个多层感知机mlp组成；卷积神经网络为预训练的vgg网络，用于提取一组图像的深度特征；多层感知机由三个全连接层组成，所对应的节点数分别为2048、1024和11，用于把图像的深度特征映射到用户的多种主观属性；然后通过性格特征图像数据集和情感分析图像数据集同时对用户主观属性预测模型s进行训练；最终，向用户主观属性预测模型s中输入用户评分最高的一组图像数据，输出为相应用户的多种主观属性。
16.优选的，步骤s3中大众化图像美学评价网络模型g包括四个卷积层和两个全连接层，其中四个卷积层为resnet18网络的卷积层，卷积层后接有一层全局平均池化层，两个全连接层所对应的节点数为256和5；输出为图像美学分布，采用softmax为输出层的激活函数。
17.个性化图像美学差异网络模型r包括三个全连接层，所对应的节点数分别为64、32和1，输入为用户的多种主观属性，输出层为该用户对图像的个性化分数相对于图像大众化分数的美学差异分数，采用sigmoid为输出层的激活函数。
18.优选的，步骤s4中大众化图像美学评价网络模型g和个性化图像美学差异网络模型r训练方法，包括以下步骤：
19.s4.1、根据步骤s1中获取的用户图像美学评价数据子集，获取每幅图像的美学分布结果，并通过求平均得到图像的大众化分数；然后通过用户对图像的个性化分数与图像大众化分数求差得到美学差异分数。
20.s4.2、根据步骤s2中得到的用户主观属性，分别把图像数据和用户主观属性输入到大众化图像美学评价网络模型g和个性化图像美学差异网络模型r中，分别利用美学分布和美学差异分数作为上述两个网络模型的监督标签进行训练。
21.s4.3、利用大量用户的图像美学评价数据子集按照如下两个损失函数分别训练大众化图像美学评价网络模型g和个性化图像美学差异网络模型r：
22.[0023][0024]
其中，d
u_n
和分别表示第u位用户对第n幅图像进行评价的真实和预测美学分布，r
u_n
和分别表示第u位用户评价的第n幅图像的真实和预测美学差异分数，emd(
·
)表示陆地移动距离，表示欧式距离，u表示训练用户的数量，n为每位用户进行美学评价的图像数量；通过随机梯度下降方法对上述两个网络参数进行更新。
[0025]
优选的，步骤s5中微调训练的方法，包括以下步骤：
[0026]
s5.1、根据大众化图像美学评价网络模型输出的美学分布，计算得到图像的大众化美学分数，将其与个性化图像美学差异网络模型得到的图像美学差异分数进行求和，可以得到用户对图像的个性化美学分数。
[0027]
s5.2、获取目标用户进行美学评分的图像以及相应个性化分数，通过用户主观属性预测模型s得到该用户的多种主观属性。
[0028]
s5.3、把目标用户主观属性和进行美学评价的图像数据输入到个性化图像美学评价网络模型p，通过该用户对图像的个性化美学评分作为监督标签对个性化图像美学评价网络模型p进行微调训练，所采用的损失函数如下：
[0029][0030]
其中，g
m
和分别表示目标用户对第m幅图像进行评价的真实和预测个性化美学分数，表示欧式距离，m表示训练的图像数量；通过随机梯度下降方法对网络参数进行更新。
[0031]
本发明另外公开的一种实现上述融合用户主观属性的个性化图像美学评价方法的装置，包括：
[0032]
数据获取单元：用于根据用户对图像的美学评分，获取包含大量用户的图像美学评价数据集。
[0033]
用户主观属性获取单元：用于根据用户美学评价较高的图像，获取该用户的主观属性。
[0034]
网络构建单元：用于构建大众化图像美学评价网络模型以及通过融合用户主观属性构建个性化图像美学差异网络模型。
[0035]
模型训练单元：用于利用大量用户的图像美学评价数据同时对大众化图像美学评价网络模型和个性化图像美学差异网络模型进行训练。
[0036]
微调训练单元：利用目标用户的图像评价数据对由大众化图像美学评价网络模型和个性化图像美学差异网络模型组成的个性化图像美学评价网络模型进行微调训练。
[0037]
个性化美学评价单元：把待测试图像输入目标用户的个性化图像美学评价网络模型，预测得到个性化美学评分。
[0038]
优选的，所述用户主观属性获取单元包括：
[0039]
图像提取模块：设置一定阈值，提取每位用户美学评分较高的图像数据。
[0040]
用户主观属性预测模块：构建基于图像的用户主观属性预测模型，并通过性格特
征图像数据集和情感分析图像数据集进行同时训练，输入用户评分较高的图像数据，获取用户的多种主观属性。
[0041]
优选的，所述网络构建单元包括：
[0042]
大众化图像美学评价模块：通过输入图像数据，输出图像的美学分布。
[0043]
个性化图像美学差异模块：通过输入用户的主观属性，输出用户对图像个性化分数相比于图像大众化分数的差异分数。
[0044]
优选的，所述微调训练单元包括：
[0045]
分数融合模块：通过图像美学分布计算大众化美学分数，并与用户对图像的个性化差异分数进行求和得到个性化美学分数。
[0046]
分数预测模块：通过目标用户对图像的个性化美学评分作为监督标签微调网络参数，得到目标用户的个性化图像美学评价网络模型。
[0047]
与现有技术相比，本发明公开的一种融合用户主观属性的个性化图像美学评价方法及装置的优点是：
[0048]
本发明通过目标用户对图像的美学评分获取该用户的主观属性，并把相应的主观属性融入到个性化图像美学评价模型中，提高个性化图像美学评价模型的有效性和鲁棒性。
附图说明
[0049]
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域中的普通技术人员来说，在不付出创造性劳动的前提下，还可根据这些附图获得其他附图。
[0050]
图1为本发明方法的实施流程图。
[0051]
图2为本发明方法的网络结构图。
[0052]
图3为本发明装置的结构示意图。
[0053]
图中：1
‑
数据获取单元；2
‑
用户主观属性获取单元；21
‑
图像提取模块；22
‑
用户主观属性预测模块；3
‑
网络构建单元；31
‑
大众化图像美学评价模块；32
‑
个性化图像美学差异模块；4
‑
模型训练单元；5
‑
微调训练单元；51
‑
分数融合模块；52
‑
分数预测模块；6
‑
个性化美学评价单元。
具体实施方式
[0054]
下面结合附图对本发明的具体实施方式做简要说明。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，均属于本发明保护的范围。
[0055]
图1
‑
图3示出了本发明较佳的实施例，对其进行了详细的剖析。
[0056]
如图1、2所示的一种融合用户主观属性的个性化图像美学评价方法，包括以下步骤：
[0057]
s1、根据用户对图像的美学评分，获取包含大量用户的图像美学评价数据集。具体的，从已有的图像美学评价数据库flickr
‑
aes或aadb中获取用户对图像的美学评分，这两
个数据库提供了用户进行图像美学评分的身份信息id，所以可以根据用户的id筛选出每位用户的图像美学评价数据子集。以flickr
‑
aes数据库为例，该数据库包含173位训练用户以及相应的图像美学评价数据，图像美学评分在1到5之间，分数越高表示图像美学质量越高，因此，可以构成173位用户的图像美学评价数据子集。
[0058]
s2、根据用户进行美学评分的范围，设置一定的分数阈值，提取每位用户美学评分中较高的图像数据，用于表示用户的偏好图像，输入到基于图像的用户主观属性预测模型s中，获取用户的主观属性。具体的，获取其中一位用户的图像美学评价数据子集，把美学分数大于等于4的图像作为该用户评分较高的图像，然后构建基于图像的用户主观属性预测模型s，通过输入用户的一组偏好图像，得到用户的性格特征和情感状态等主观属性。
[0059]
由于模型的输入和输出均具有多个数据维度，因此用户主观属性预测模型s由一个卷积神经网络cnn和一个多层感知机mlp组成。为了提取图像的深度特征，卷积神经网络为预训练的vgg网络；多层感知机由三个全连接层组成，所对应的节点数分别为2048、1024和11，用于把图像的深度特征映射到用户的多种主观属性。向用户主观属性预测模型s中输入用户评分最高的一组图像数据，输出为五个维度的性格特征：开放性、责任性、外向型、亲和性和神经质；六种情感状态：高兴、惊喜、愤怒、害怕、悲伤和沮丧。
[0060]
本实施例利用基于偏好图像的用户性格特征数据集psychoflickr和图像情感数据集emotion6同时训练用户主观属性预测模型。psychoflickr包括300位用户的偏好图像，其中每位用户的偏好图像数量是200幅，每个用户的大五(big
‑
five)性格特征通过心理学中的bfi
‑
10调查问卷获取。emotion6包括1980幅图像，每幅图像都通过主观实验被标注为六种情感分布，通过上述两个数据集对模型的mlp进行训练，得到基于图像的用户主观属性预测模型，该模型通过输入用户评分较高的图像数据，得到该用户的大五性格特征和六种情感状态。
[0061]
s3、构建大众化图像美学评价网络模型g，并通过融合用户的主观属性构建个性化图像美学差异网络模型r。大众化图像美学评价网络模型g包括四个卷积层和两个全连接层，其中四个卷积层为resnet18网络的卷积层，卷积层后接有一层全局平均池化层，两个全连接层所对应的节点数为256和5；输出为图像美学分布，为了使得预测得到美学分布概率之和为1，采用softmax为输出层的激活函数。个性化图像美学差异网络模型r包括三个全连接层，所对应的节点数分别为64、32和1，输入为用户的多种主观属性，输出层为该用户对图像的个性化分数相对于图像大众化分数的美学差异分数，采用sigmoid为输出层的激活函数。
[0062]
s4、利用大量用户的图像美学评价数据集同时对大众化图像美学评价网络模型g和个性化图像美学差异网络模型r进行训练。具体的，s4.1、根据步骤s1中获取的用户图像美学评价数据子集，获取每幅图像的美学分布结果，并通过求平均得到图像的大众化分数；然后通过用户对图像的个性化美学评分与图像大众化分数求差得到个性化美学差异分数。s4.2、根据步骤s2中得到的用户主观属性，分别把图像数据和用户主观属性输入到大众化图像美学评价网络模型g和个性化图像美学差异网络模型r中，分别利用美学分布和美学差异分数作为上述两个网络模型的监督标签进行训练。s4.3、利用大量用户的图像美学评价数据子集按照如下两个损失函数分别训练大众化图像美学评价网络模型g和个性化图像美学差异网络模型r：
[0063][0064][0065]
其中，d
u_n
和分别表示第u位用户对第n幅图像进行评价的真实和预测美学分布，r
u_n
和分别表示第u位用户评价的第n幅图像的真实和预测美学差异分数，emd(
·
)表示陆地移动距离，表示欧式距离，u表示训练用户的数量，n为每位用户进行美学评价的图像数量。利用173位用户的图像美学评价数据子集按照随机梯度下降方法对上述两个网络参数进行更新，使得每位用户的图像美学评价数据都对网络模型训练50次，最终得到大众化图像美学评价网络模型和个性化图像美学差异网络模型。
[0066]
s5、将训练好的大众化图像美学评价网络模型g和个性化图像美学差异网络模型r组建成个性化图像美学评价网络模型p，并利用目标用户的图像美学评价数据对个性化图像美学评价网络模型p做进一步微调训练。具体的，flickr
‑
aes还包括37位测试用户，选取其中一位作为目标用户，选取一定数量的该用户进行美学打分的图像数据，首先筛选出用户评分较高的图像数据输入到基于图像的用户主观属性预测模型中，得到用户的性格特征和情感状态等主观属性；然后输入到大众化图像美学评价网络模型和个性化图像美学差异网络模型得到图像的美学分布和个性化差异分数，并通过计算图像美学分布得到大众化分数；再通过个性化差异分数与大众化美学分数进行求和把上述两个网络模型组建成个性化图像美学评价网络模型p，通过该用户对图像的个性化美学评分作为监督标签对个性化图像美学评价网络模型p进行微调训练，所采用的损失函数如下：
[0067][0068]
其中，g
m
和分别表示目标用户对第m幅图像进行评价的真实和预测个性化美学分数，表示欧式距离，m表示训练的图像数量，通过随机梯度下降方法对网络参数进行更新，使得该用户的图像美学评价数据对网络模型训练20次，最终得到目标用户的个性化图像美学评价网络模型。
[0069]
s6、将待测试图像输入到目标用户的个性化图像美学评价网络模型中，得到目标用户对该图像的个性化美学评分。
[0070]
如图3所示，本发明另外公开的一种实现上述融合用户主观属性的个性化图像美学评价方法的装置，包括数据获取单元1、用户主观属性获取单元2、网络构建单元3、模型训练单元4、微调训练单元5以及个性化美学评价单元6。
[0071]
数据获取单元1：用于根据用户对图像的美学评分，获取包含大量用户的图像美学评价数据集。
[0072]
用户主观属性获取单元2包括图像提取模块21和用户主观属性预测模块22，用于根据用户美学评价较高的图像，获取该用户的主观属性。具体的，设置一定阈值，提取每位用户美学评分较高的图像数据。构建基于图像的用户主观属性预测模型，并通过性格特征
图像数据集和情感分析图像数据集进行同时训练，输入用户评分较高的图像数据，获取用户的多种主观属性。
[0073]
网络构建单元3包括大众化图像美学评价模块31和个性化图像美学差异模块32，用于构建大众化图像美学评价网络模型以及通过融合用户主观属性构建个性化图像美学差异网络模型。大众化图像美学评价模块31用于输入图像数据，输出图像的美学分布。个性化图像美学差异模块32用于输入用户的主观属性，输出用户对图像个性化分数相比于图像大众化分数的差异分数。
[0074]
模型训练单元4：用于利用大量用户的图像美学评价数据同时对大众化图像美学评价网络模型和个性化图像美学差异网络模型进行训练。
[0075]
微调训练单元5包括分数融合模块51和分数预测模块52，用于利用目标用户的图像评价数据对由大众化图像美学评价网络模型和个性化图像美学差异网络模型组成的个性化图像美学评价网络模型进行微调训练。其中，分数融合模块51通过图像美学分布计算大众化美学分数，并与用户对图像的个性化差异分数进行求和得到个性化美学分数。分数预测模块52通过目标用户对图像的个性化美学评分作为监督标签微调网络参数，得到目标用户的个性化图像美学评价网络模型。
[0076]
个性化美学评价单元6：把待测试图像输入目标用户的个性化图像美学评价网络模型，预测得到个性化美学评分。
[0077]
下面结合性能测试和实验分析对本发明的技术效果作详细的描述。
[0078]
本发明的采用的美学图像数据集flickr
‑
aes来自于文献：ren j,shen x,lin z,et al.personalized image aesthetics[c]//proceedings of ieee international conference on computer vision.2017:638
‑
647。性格特征数据集psychoflickr来自于文献：guntuku s c,zhou j t,roy s,et al.who likes what,and why？insights into personality modeling based on image“likes”[j].ieee transactions on affective computing,2018:130
‑
143。图像情感数据集emotion6来自于文献：peng k c,chen t,sadovnik a,et al.a mixed bag of emotions:model,predict,and transfer emotion distributions[c]//proceedings of ieee international conference on computer vision and pattern recognition.2015:860
‑
868。
[0079]
本发明利用flickr
‑
aes中的37个测试用户来验证个性化图像美学评价方法的性能模型。为了证明本发明的效果，对待测试用户进行个性化的图像美学评价，并且与以下四种个性化图像美学评价的方法进行对比：
[0080]
ren的方法：ren j,shen x,lin z,et al.personalized image aesthetics[c]//proceedings of ieee international conference on computer vision.2017:638
‑
647。
[0081]
lv的方法：lv p,wang m,xu y,et al.usar:an interactive user
‑
specific aesthetic ranking framework for images[c]//proceedings of acm international conference on multimedia.2018:1328
‑
1336。
[0082]
发明1：一种基于性格特征的个性化图像美学评价方法，专利号：201910006656.7。
[0083]
发明2：基于元学习个性化图像信息评价方法、信息数据处理终端，专利号：201910824591.7。
[0084]
本发明方法与ren方法、lv的方法以及另外两个发明的方法在flickr
‑
aes测试集
进行图像个性化美学评价性能的对比，因为图像美学中最重要指标是主客观预测结果排序相关性，本发明使用斯皮尔曼相关系数(spearman rank order correlation coefficient,srocc)来衡量三种方法的性能，srocc用于定量度量美学分数预测结果与真实结果的排序相关性，srocc值越大，方法的预测性能越好。本发明对flickr
‑
aes图像测试集中每位用户对图像的个性化美学评价结果采取两种方式训练和测试，具体为分别随机选取每位用户进行美学评分的10幅或100幅图像作为训练样本，并用剩余的图像作为测试样本进行测试，为了消除随机选取误差，上述实验重复进行50次，取srocc平均值作为每个测试用户的评价性能，最终把测试集中37位用户的个性化图像美学评价性能的平均结果作为整体预测性能。
[0085]
表1给出了五种个性化美学评价方法的性能对比。由表中可以看出，本发明对flickr
‑
aes图像测试集中37位用户的整体预测性能优于其它四种方法，说明了本发明在针对特定用户的个性化图像美学评价上具有更加优越性能。
[0086]
表1 个性化图像美学评价方法的性能比较
[0087][0088]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现和使用本发明。对这些实施例的多种修改方式对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神和范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合本文所公开的原理和新颖特点相一致的最宽的范围。