一种基于脑启发多模态交互网络的图像美学质量评价方法

本发明属于数字图像处理与模式识别领域，具体涉及一种基于脑启发多模态交互网络的图像美学质量评价方法。

背景技术：

1、数码设备的广泛使用使我们能够拍摄一组照片来捕捉瞬间的记忆，保存最珍贵的时刻。随着社交媒体的迅速发展，现在有很多照片通过互联网分享，如facebook和flickr等。在艺术和摄影领域，图像美学是通过图像传达美。图像美学评价(iaa)任务旨在让计算机从审美的角度自动预测图像美的水平，就像它们在模仿人类感知和理解美的能力。iaa具有广泛的应用，如图像增强、自动裁剪、文本生成和照片检索等。以及一些实际的应用需求，如广告智能设计(阿里巴巴“鲁班”ai设计师)、智能手机指导摄影(三星)等。因此，近年来iaa在计算机视觉和多媒体领域受到越来越多的关注，吸引了许多研究者对该领域进行探索。

2、现有的图像美学质量评价方法大致可以分为两类：大众化的美学质量评价(giaa)和个性化美学质量评价(piaa)。giaa更倾向于大众的审美共性，需要一个大型数据集来抵消个性的不一致性。而piaa偏向于有效地描述不同人对图像的审美感知结果，主要利用giaa获得的先验知识进行个性化审美迁移学习，实现针对特定用户的piaa模型。审美体验是一种评价和诱导情绪的感知体验，并加入理解的过程。这种体验是指接触到事物所引起的一种主观感受(如愉悦或美感)，以及对其所产生的喜欢或者吸引力的判断。用户在互联网中上传的评论是用户观测图像整合自己的记忆信息而给出的主观感受信息，因此触发了加入文本输入的多模态iaa方法的出现。多模态iaa方法较以单一图像作为输入的单模态iaa而言融合了文本模态，增加了知识进而提高了模型性能。然而现有多模态iaa往往忽视了模态特征间的关联关系信息和特征的高阶信息，导致融合过程语义解释性不强。

技术实现思路

1、为解决上述技术问题，本发明提出一种基于脑启发多模态交互网络的图像美学质量评价方法，包括：

2、s1、建立脑启发多模态交互网络模型；

3、所述脑启发多模态交互网络模型，包括：图像和文本感知模块、识别模块和评估模块；

4、s2、将图像数据输入图像感知模块，通过在imagenet上进行预训练的改进vgg16基干网络和3个层次卷积网络结构获取图像感知特征；

5、所述改进vgg16基干网络为删除原vgg16网络中的分类层后得到的vgg16基干网络；

6、s3、将文本数据输入文本感知模块提取文本感知特征；

7、所述文本数据为对图像数据的主观评论文本；

8、s4、通过识别模块学习图像感知特征和文本感知特征之间的交互关系，得到图像与文本之间的关联表示；

9、s5、评估模块利用可低秩分解的smf去融合图像感知特征、文本感知特征和图像与文本之间的关联表示，融合后进行幂归一化和l2正则化得到美学分布。

10、优选的，获取图像数据的视觉特征，包括：

11、图像数据通过改进vgg16基干网络提取512维视觉上下文特征，根据提取的512维视觉上下文特征利用3层1×1卷积网络提取分层特征，在每个层次特征在宽和高的维度上做均值处理，获取图像的全局上下文信息，融合图像的全局上下文信息得到最终的图像感知特征。

12、优选的，获取文本数据的文本感知特征，包括：

13、文本数据通过300维的词嵌入工具glove进行编码，每个单词编码成捕获了单词之间语义特性的实值向量，根据文本数据的实值向量利用bi-lstm提取文本特征，采用残差连接把实值向量和提取的文本特征相加，并进行层归一化操作得到的抽象文本上下文特征，采用3种高度的滤波窗口(r∈{2,3,4})，提取抽象到具体的上下文语义信息，得到3个尺度的特征，拼接3个尺度的特征得到最终的文本感知特征。

14、优选的，学习图像感知特征和文本感知特征之间的交互关系，得到图像与文本之间的关联表示，包括：

15、将图像感知特征和文本感知特征输入识别模块，通过强化图像记忆的ki-lstm模型学习感知特征间的交互关系，在ki-lstm模型中关注图像的残差网络结构去避免图像特征被遗忘，之后完成对图像相关的主观评价文本知识的整合，输出图像与文本之间的关联表示。

16、优选的，利用可低秩分解的smf去融合图像感知特征、文本感知特征和图像与文本之间的关联表示，包括：

17、

18、其中，表示smf融合图像感知特征、文本感知特征和图像与文本之间的关联表示后的输出，r表示r个分解因子，ftext表示文本感知特征，fcogn表示图像与文本之间的关联表示，fimg表示图像感知特征，wtext,r、wcogn,r、wimg,r分别表示ftext、fcogn、fimg的权重系数，表示输入向量，表示外积，表示元素积。

19、本发明的有益效果：

20、本发明提出了ki-lstm整合用户隐式记忆，去学习图像和文本之间的关联关系表示，建模特征的高阶信息，同时提升美学模型的非线性表达能力；

21、本发明提出的通用的smf去融合多模态特征，以利用异质数据的互补性，提供更有力的美学预测，smf利用低秩矩阵分解方式减少参数，且参数量增加仅与模态数呈线性关系；

22、本发明可以用于下游任务情感分类，在该任务的评价指标上验证本发明具有很好的泛化能力。

技术特征：

1.一种基于脑启发多模态交互网络的图像美学质量评价方法，其特征在于，包括：

2.根据权利要求1所述的一种基于脑启发多模态交互网络的图像美学质量评价方法，其特征在于，获取图像数据的视觉特征，包括：

3.根据权利要求1所述的一种基于脑启发多模态交互网络的图像美学质量评价方法，其特征在于，获取文本数据的文本感知特征，包括：

4.根据权利要求1所述的一种基于脑启发多模态交互网络的图像美学质量评价方法，其特征在于，学习图像感知特征和文本感知特征之间的交互关系，得到图像与文本之间的关联表示，包括：

5.根据权利要求1所述的一种基于脑启发多模态交互网络的图像美学质量评价方法，其特征在于，利用可低秩分解的smf去融合图像感知特征、文本感知特征和图像与文本之间的关联表示，包括：

技术总结
本发明属于数字图像处理与模式识别领域，具体涉及一种基于脑启发多模态交互网络的图像美学质量评价方法，包括：建立脑启发多模态交互网络模型；将图像数据输入图像感知模块获取图像感知特征；将文本数据输入文本感知模块提取文本感知特征；通过识别模块学习图像感知特征和文本感知特征之间的交互关系，得到图像与文本之间的关联表示；评估模块融合图像感知特征、文本感知特征和图像与文本之间的关联表示，融合后进行幂归一化和L2正则化得到美学分布。本发明通过KI‑LSTM整合用户隐式记忆，提取文本和图像特征的关联表示；提出通用的SMF去融合多模态特征，利用低秩矩阵分解方式减少参数，使模型具有很好的泛化能力。

技术研发人员：高新波,聂茜茜,胡波,肖斌,李伟生,田一雯
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/12