一种基于情感融合超网络的图像美学评价方法

本发明提出了一种基于情感融合超网络的图像美学评价方法，本发明整合了情感这个主观特性来评估图像的美学。通过考虑情感等主观因素，可以进一步探索图像美学与情感之间的关系，建立一个更先进的图像美学评价模型。

背景技术：

1、在现如今科技发达、电子设备普遍、视觉信息暴增的时代，人们常常通多电子设备来分享数据，例如图像、视频、语音等。除此之外，许多商家、网站或购物平台也趋于使用图像或视频仅来吸引顾客的眼球。然后在视觉信息量巨大的时代，通过手动来评价美已然不太可能。自动的图像美学评价越来越受到欢迎，它是一种通过学习模仿人的感知美的能力去自动的评价图像美学的方法。相比较于手动评价美的过程，此过程不但节省时间而且高效。最初人们通过将手工设计的特征与图像美学进行映射，后来得益于深度网络的发展，图像的深层特征被进一步挖掘，一系列的有效性模型被开发。然而，以前大多数图像美学评价方法往往只关注人们的整体感受，但不同个体对于同一幅图像的感受是不同的，后者的主观特性通常会被忽略，如人的情感、人格等。另外，日常生活中，人们通过电子设备分享图像时往往也与心情密切相关，例如沉浸在幸福时往往分享快乐一家人的甜蜜时光，心情阴沉低落时往往分享孤独一人的黑暗时刻。心理学家也曾研究证实图像的美学和情感有着密切联系，图像的视觉内容会传导给人不同的情感。图像情感分析及图像识别任务的挑战也随着研究的深入被很好的解决。图像美学评价和图像情感识应用前景广泛，有着重要的研究意义。别但是长期以来，图像美学评价和图像情感识别多数都被作为独立任务看待，把两者融合研究确实是一个急需解决的任务。

2、图像的美学和情感被网络同时关注后，重点在于如何挖掘两者的内在联系。自注意力机制是一种很好的解决方案，它作为注意力机制的一种变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。它最初被用于自然语言处理上来捕捉一句话中词与词中的相关性。后来由于其优异的表现被发展到图像视觉领域。本章的出发点是利用自注意力机制来注意图像美学和情感之间异同点，以更好的挖掘两者之间的内在联系。

技术实现思路

1、针对现有技术存在的不足，本发明将图像美学和情感联系起来。除此之外，还使用了自注意力机制来挖掘图像美学和情感之间的内在联系。为解决上述技术问题，本发明的技术方案如下：

2、特征提取网络：

3、(1)该网络使用了预训练的resnet50作为骨干网络。对于图像美学，本发明提取了多尺度的内容特征和高级的语义特征。删除了resnet50的最后两层，并分别从layer_1、layer_2、layer_3和layer_4中分别提取了大小为56×56、28×28、14×14和7×7的特征。除此之外，还通过细节感知模块提取多尺度特征来捕获图像的局部细节。其中，分别从layer_1、layer_2、layer_3和layer_4中提取的特征为细节感知模块的输入。具体来说，每一层特征映射被划分为不重叠的块，这些块沿着信道维度堆叠进行1×1的卷积，并通过全局平均池汇集成向量。最后，将所得到的特征与情感特征联系起来。而高级语义特征即layer_4的特征将被作为语义感知超网络的输入。

4、对于图像情感方面，同样使用resnet50作为骨干并将其的最后一层的输出类别修改为8以适合情绪分类任务。

5、特征融合及注意力机制：

6、(2)本发明使用了基于vision tansformer(vit)的自注意力机制。利用vit的编码器对融合特征进行有效注意并捕捉内部相关性。编码器由交替的多头自注意(msa)层和多层感知器(mlp)块组成。此外，在每个块之前应用层归一化，在每个块之后应用残差连接。从骨干网络中提取出图像的美学特征和情感特征，并通过它们之间的通道连接获得400个维特征。400维特征经过自注意力机制挖掘两者之间内在联系。

7、语义感知超网络：

8、见说明书附图图一，超网络由3个1×1卷积和4个产生权值和偏差的分支组成。我们将特征提取网络提取的高级美学语义特征发送到超网络中。特征发送到分支，经过3个1×1卷积后，为预测网络生成相应的权值和偏差。其中权重是由3×3的卷积重建，偏差是通过全局平均池化和全连接层产生的。对于超网络的尺寸设计是根据预测网络中相应层的大小来确定卷积层和全连接层(fc)层的输出信道数量。将生成的权值视为学习到的图像美学感知规则，最后用于指导预测网络预测图像美学。

9、美学预测网络：

10、它由四个fc层组成，每个fc层后使用sigmoid激活函数。特征经过预测网络得到最后的美学分布。

技术特征：

1.本发明提出了一种基于情感融合超网络的图像美学评价方法，设计步骤如下：

技术总结
本发明提出了一种基于情感融合超网络的图像美学评价方法，它整合了情感这个主观特性来评估图像的美学。通过考虑情感等主观因素，可以进一步探索图像美学与情感之间的关系，建立一个更先进的图像美学评价模型。该方法框架由特征提取网络、语义感知超网络和美学预测网络三个子网络组成。在特征提取子网络阶段，骨干网络分别提取了图像的美学特征和情感特征。然后，将图像美学和情感特征进行融合并利用自注意力机制来关注图像美学和情感之间的内在关系。在语义感知超网络阶段，构建了图像语义感知超网络来建立语义规则指导审美预测网络。在美学预测阶段，将图像的美学和情感的融合特征传输到美学预测网络中，以完成图像美学分布预测任务。

技术研发人员：温家宝,杨嘉琛,周艳霜,肖帅
受保护的技术使用者：天津大学
技术研发日：
技术公布日：2024/1/13