一种融合用户主观属性的个性化图像美学评价方法及装置

文档序号:25608677发布日期:2021-06-25 14:27阅读:来源:国知局

技术特征:
1.一种融合用户主观属性的个性化图像美学评价方法,其特征在于,包括以下步骤:s1、根据用户对图像的美学评分,获取包含大量用户的图像美学评价数据集;s2、提取每位用户美学评分中最高的一组图像数据,输入到基于图像的用户主观属性预测模型s中,获取用户的主观属性;s3、构建大众化图像美学评价网络模型g,并通过融合用户的主观属性构建个性化图像美学差异网络模型r;s4、利用大量用户的图像美学评价数据集同时对大众化图像美学评价网络模型g和个性化图像美学差异网络模型r进行训练;s5、将训练好的大众化图像美学评价网络模型g和个性化图像美学差异网络模型r组建成个性化图像美学评价网络模型p,并利用目标用户的图像美学评价数据对个性化图像美学评价网络模型p做进一步微调训练;s6、将待测试图像输入到目标用户的个性化图像美学评价网络模型中,得到目标用户对该图像的个性化美学评分。2.根据权利要求1所述的一种融合用户主观属性的个性化图像美学评价方法,其特征在于,步骤s1中图像美学评价数据集获取方法:每幅图像获得至少五位用户的美学评分,从而获得每幅图像的美学分布结果;然后,通过筛选每位用户进行评分的图像以及个性化评价结果,构成每位用户的图像美学评价数据子集。3.根据权利要求1所述的一种融合用户主观属性的个性化图像美学评价方法,其特征在于,步骤s2中用户主观属性预测模型s由一个卷积神经网络cnn和一个多层感知机mlp组成;卷积神经网络为预训练的vgg网络,用于提取一组图像的深度特征;多层感知机由三个全连接层组成,所对应的节点数分别为2048、1024和11,用于把图像的深度特征映射到用户的多种主观属性;然后通过性格特征图像数据集和情感分析图像数据集同时对用户主观属性预测模型进行训练;最终,向用户主观属性预测模型s中输入用户评分最高的一组图像数据,输出为相应用户的多种主观属性。4.根据权利要求1所述的一种融合用户主观属性的个性化图像美学评价方法,其特征在于,步骤s3中大众化图像美学评价网络模型g包括四个卷积层和两个全连接层,其中四个卷积层为resnet18网络的卷积层,卷积层后接有一层全局平均池化层,两个全连接层所对应的节点数为256和5;输出为图像美学分布,采用softmax为输出层的激活函数;个性化图像美学差异网络模型r包括三个全连接层,所对应的节点数分别为64、32和1,输入为用户的多种主观属性,输出层为该用户对图像的个性化分数相对于图像大众化分数的美学差异分数,采用sigmoid为输出层的激活函数。5.根据权利要求1所述的一种融合用户主观属性的个性化图像美学评价方法,其特征在于,步骤s4中大众化图像美学评价网络模型g和个性化图像美学差异网络模型r训练方法,包括以下步骤:s4.1、根据步骤s1中获取的用户图像美学评价数据子集,获取每幅图像的美学分布结果,并通过求平均得到图像的大众化分数;然后通过用户对图像的个性化分数与图像大众化分数求差得到美学差异分数;s4.2、根据步骤s2中得到的用户主观属性,分别把图像数据和用户主观属性输入到大众化图像美学评价网络模型g和个性化图像美学差异网络模型r中,分别利用美学分布和美
学差异分数作为上述两个网络模型的监督标签进行训练;s4.3、利用大量用户的图像美学评价数据子集按照如下两个损失函数分别训练大众化图像美学评价网络模型g和个性化图像美学差异网络模型r:图像美学评价网络模型g和个性化图像美学差异网络模型r:其中,d
u_n
和分别表示第u位用户对第n幅图像进行评价的真实和预测美学分布,r
u_n
和分别表示第u位用户评价的第n幅图像的真实和预测美学差异分数,emd(
·
)表示陆地移动距离,表示欧式距离,u表示训练用户的数量,n为每位用户进行美学评价的图像数量;通过随机梯度下降方法对上述两个网络参数进行更新。6.根据权利要求1所述的一种融合用户主观属性的个性化图像美学评价方法,其特征在于,步骤s5中微调训练的方法,包括以下步骤:s5.1、根据大众化图像美学评价网络模型输出的美学分布,计算得到图像的大众化美学分数,将其与个性化图像美学差异网络模型得到的图像美学差异分数进行求和,可以得到用户对图像的个性化美学分数;s5.2、获取目标用户进行美学评分的图像以及相应个性化分数,通过用户主观属性预测模型s得到该用户的多种主观属性;s5.3、把目标用户主观属性和进行美学评价的图像数据输入到个性化图像美学评价网络模型p,通过该用户对图像的个性化美学评分作为监督标签对个性化图像美学评价网络模型p进行微调训练,所采用的损失函数如下:其中,g
m
和分别表示目标用户对第m幅图像进行评价的真实和预测个性化美学分数,表示欧式距离,m表示训练的图像数量;通过随机梯度下降方法对网络参数进行更新。7.一种实现权利要求1

6任一项所述的融合用户主观属性的个性化图像美学评价方法的装置,其特征在于,包括:数据获取单元(1):用于根据用户对图像的美学评分,获取包含大量用户的图像美学评价数据集;用户主观属性获取单元(2):用于根据用户美学评价较高的图像,获取该用户的主观属性;网络构建单元(3):用于构建大众化图像美学评价网络模型以及通过融合用户主观属性构建个性化图像美学差异网络模型;模型训练单元(4):用于利用大量用户的图像美学评价数据同时对大众化图像美学评价网络模型和个性化图像美学差异网络模型进行训练;微调训练单元(5):利用目标用户的图像评价数据对由大众化图像美学评价网络模型和个性化图像美学差异网络模型组成的个性化图像美学评价网络模型进行微调训练;
个性化美学评价单元(6):把待测试图像输入目标用户的个性化图像美学评价网络模型,预测得到个性化美学评分。8.根据权利要求7所述的装置,其特征在于,所述用户主观属性获取单元(2)包括:图像提取模块(21):设置一定阈值,提取每位用户美学评分较高的图像数据;用户主观属性预测模块(22):构建基于图像的用户主观属性预测模型,并通过性格特征图像数据集和情感分析图像数据集进行同时训练,输入用户评分较高的图像数据,获取用户的多种主观属性。9.根据权利要求7所述的装置,其特征在于,所述网络构建单元(3)包括:大众化图像美学评价模块(31):通过输入图像数据,输出图像的美学分布;个性化图像美学差异模块(32):通过输入用户的主观属性,输出用户对图像个性化分数相比于图像大众化分数的差异分数。10.根据权利要求7所述的装置,其特征在于,所述微调训练单元(5)包括:分数融合模块(51):通过图像美学分布计算大众化美学分数,并与用户对图像的个性化差异分数进行求和得到个性化美学分数;分数预测模块(52):通过目标用户对图像的个性化美学评分作为监督标签微调网络参数,得到目标用户的个性化图像美学评价网络模型。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1