一种基于多层卷积特征融合的图像协同显著性检测方法与流程

本发明涉及一种图像协同显著性检测方法，特别是一种基于多层卷积特征融合的图像协同显著性检测方法，旨在从一组具有共同显著对象的图像集中检测出共同显著的对象。

背景技术

媒体数字化和网络技术的发展，每时每刻都产生着海量的图像和视频。人们享受着图像和视频带来的丰富的视觉信息和快捷方便的交互方式，与此同时，对这些多媒体资源进行个性化理解和操作的需求也越来越迫切。视觉显著性检测模型能模拟人眼的视觉注意机制来自动捕捉场景中引人注目的对象，吸引了学术界的浓厚兴趣。随着存在共同对象的相似图像不断积累，从一系列相关联图像中找到共同显著的对象，即协同显著性检测，作为视觉显著性检测的一个新兴分支，也引起了广泛的关注。2015年，ye等人提出了一种基于共同显著对象发现和恢复的协同显著性检测模型，首先根据低级视觉特征和全局相似性构造样例显著性图，然后传播样例显著性到匹配区域，对共同显著对象区域进行局部和全局恢复，最后，基于注视点关注区域生成了质量更好的协同显著性图。近些年来，深度学习尤其是卷积神经网络在计算机视觉领域大放异彩，取得了非凡的成绩。2017年，wei等人提出了一种端到端的基于深度学习的协同显著性检测模型，首先同时输入五张具有共同显著对象的图像，分别经过一个13层的全卷积网络提取单张图像特征，然后将这五个单张图像特征图串联融合，经过3层卷积层的处理，得到具有协同信息的特征图，最后将具有协同信息的特征图与单张图像的特征图融合，经过几层卷积层与反卷积层，输出五张原始图像的协同显著性图。但是，该模型仅仅提取了最后一个卷积层的特征图，且只考虑了同时输入的五张图像的协同信息，因此在协同显著性检测性能上存在一定的限制。

技术实现要素：

本发明的目的在于提高现有技术的性能，提出一种基于多层卷积特征融合的图像协同显著性检测方法。

为了达到上述目的，本发明采用的技术方案如下：

一种基于多层卷积特征融合的图像协同显著性检测方法，该方法的具体步骤如下：

(1)、对cosal2015(50组，2015张)，pascal-voc(20组，1037张)，coseg-rep(23组，573张)三个可用作协同显著性检测的数据集进行处理，包括将输入图像i、标签g的尺寸统一化，以及按照顺次选择规则确定与输入图像i一同输入的其他四张图像即输入图像i的协同图像组，一张输入图像可以确定多组协同图像组，原始的三个数据集经过处理后共产生81103组输入图像及其协同图像组；

(2)、构建一个能够实现协同显著对象检测的端到端的深度学习网络：输入图像i与它的一个协同图像组同时作为整个网络的输入，经过多层卷积特征提取、协同特征提取、多尺度特征融合、多尺度显著性图融合，得到输入图像i的协同显著性图sco，作为整个网络的输出；

(3)、将步骤(1)中处理好的三个训练集图像，及其对应的标签输入步骤(2)构建的深度学习网络中进行训练，提取多层卷积特征的部分采用五个具有相同参数、权值共享的cnn分支vgg16_1、vgg16_2、vgg16_3、vgg16_4、vgg16_5，整个网络的训练在图像分类网络vgg16训练好的模型基础上进行微调，损失函数为适合回归任务的softmax损失函数，采用随机梯度下降算法来最小化损失函数直到网络收敛，网络训练在基础学习速率为10^-8且每迭代5万次乘以0.1、bitchsize为8的情况下迭代25万次后得到了一个收敛的网络模型；

(4)、最后，利用步骤(3)训练好的网络模型进行测试，测试集包括icoseg(38组，643张)和msrc(14组，418张)两个协同显著性检测的通用数据集，对于要测试的输入图像i，按照步骤(1)的顺次选择规则在同组内确定协同图像组，由于一张输入图像i可以选定多组协同图像组，测试时将输入图像i选定的多组协同图像组分别输入网络，得到这张输入图像i的多张协同显著性图sco，再相加平均得到最终的协同显著性图sfinal。

上述步骤(1)中的顺次选择规则，具体步骤如下：

(1-1)、对于输入图像i，与它属于同一个图像组的其他所有图像都成为候选图像，这些候选图像组成这张输入图像i的候选图像组，候选图像组按照文件名称(或其他原则)确定了一个固定的排列顺序；

(1-2)、在输入图像i的候选图像组中随机确定一张图像为起点，再顺次选择四张图像，成为输入图像i的第一组协同图像组；

(1-3)、将步骤(1-2)确定的图像起点后移两个位置，作为新的起点，再次顺次选择四张图像，成为输入图像i的第二组协同图像组，就像这样，不断地将起点后移两个位置，直到候选图像组的所有图像都被选择过，就确定了多组输入图像i的协同图像组；

(1-4)、如果候选图像组的图像个数为奇数，按照步骤(1-3)后移到最后一个起点位置，顺次选择时只有三张图像，在这种情况下，用步骤(1-2)的第一张起点图像来补齐四张图像。

上述步骤(2)中的产生输入图像i的协同显著性图sco所经历的多层卷积特征提取、协同特征提取、多尺度特征融合、多尺度显著性图融合，具体步骤如下：

(2-1)、多层卷积特征提取：输入图像i与它的一组协同图像组同时输入vgg16网络，分别提取五张图像经过vgg16网络的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3五个卷积层输出的特征图；

(2-2)、协同特征提取：将步骤(2-1)中提取到的五张图像的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图分别串联融合，产生这五张图像的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层协同特征图，再将这五层协同特征图分别与输入图像i的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图串联融合，得到兼具有协同信息和原始信息的输入图像i的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图；

(2-3)、多尺度特征融合：步骤(2-2)最后得到的五层卷积特征图属于不同的尺度，将这五层卷积特征图分别通过卷积或者反卷积操作得到16×16、32×32、64×64、128×128和256×256五个不同的尺度，在每个尺度下，五层卷积特征图串联融合，再分别经过卷积层或反卷积层恢复到输入图像i的尺度，得到五张初始的协同显著性图；

(2-4)、多尺度显著性图融合：将步骤(2-3)得到的五张初始的协同显著性图串联融合，经过三层卷积层的处理，得到输入图像i的协同显著性图sco。

与现有技术相比，本发明具有如下的优点：

本发明方法将多层卷积特征融合，尽可能地考虑整组图像的协同信息，能够更为准确地提取出图像组中出现的共同对象，并且有效地抑制无关的背景区域。

附图说明

图1是本发明一种基于多层卷积特征融合的图像协同显著性检测的网络流程图。

图2(a)是本发明步骤(1)中处理好的输入图像及其标签。

图2(b)是本发明步骤(1)中确定的输入图像的一个协同图像组。

图3(a)是本发明步骤(4)中测试时的输入图像。

图3(b)是本发明步骤(4)中测试时输入图像的三组协同图像组。

图4是本发明步骤(4)中测试时得到的输入图像的三张协同显著性图。

图5是本发明步骤(4)中测试时得到的输入图像的最终协同显著性图。

具体实施方式

下面结合附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在cpu为4ghz、内存为32g，gpu型号为titanx、显存为12g的pc测试平台上，基于caffe框架编程实现。

如图1所示，本发明的一种基于多层卷积特征的图像协同显著性检测，其具体步骤如下：

(1)、对cosal2015(50组，2015张)，pascal-voc(20组，1037张)，coseg-rep(23组，573张)三个可用作协同显著性检测的数据集进行处理，包括将输入图像i、标签g的尺寸统一化，如图2(a)所示，以及按照顺次选择规则确定与输入图像i一同输入的其他四张图像即输入图像i的协同图像组，如图2(b)所示，一张输入图像可以确定多组协同图像组，原始的三个数据集经过处理后共产生81103组输入图像及其协同图像组，处理好的这三个协同数据集将作为步骤(2)构建的深度学习网络的训练集对网络进行训练，所用到的顺次选择规则，具体过程如下：

(1-1)、对于输入图像i，与它属于同一个图像组的其他所有图像都成为候选图像，这些候选图像组成这张输入图像i的候选图像组，候选图像组按照文件名称(或其他原则)确定了一个固定的排列顺序；

(1-2)、在输入图像i的候选图像组中随机确定一张图像为起点，再顺次选择四张图像，成为输入图像i的第一组协同图像组；

(1-3)、将步骤(1-2)确定的图像起点后移两个位置，作为新的起点，再次顺次选择四张图像，成为输入图像i的第二组协同图像组，就像这样，不断地将起点后移两个位置，直到候选图像组的所有图像都被选择过，就确定了多组输入图像i的协同图像组；

(1-4)、如果候选图像组的图像个数为奇数，按照步骤(1-3)后移到最后一个起点位置，顺次选择时只有三张图像，在这种情况下，用步骤(1-2)的第一张起点图像来补齐四张图像。

(2)、构建一个能够实现协同显著对象检测的端到端的深度学习网络：输入图像i与它的一个协同图像组，同时作为整个网络的输入，经过多层卷积特征提取、协同特征提取、多尺度特征融合、多尺度显著性图融合，得到输入图像i的协同显著性图sco，作为整个网络的输出，具体步骤如下：

(2-1)、多层卷积特征提取：输入图像i与它的一组协同图像组同时输入vgg16网络，分别提取五张图像经过vgg16网络的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3五个卷积层输出的特征图；

(2-2)、协同特征提取：将步骤(2-1)中提取到的五张图像的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图分别串联融合，产生这五张图像的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层协同特征图，再将这五层协同特征图分别与输入图像i的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图串联融合，得到兼具有协同信息和原始信息的输入图像i的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图；

(2-3)、多尺度特征融合：步骤(2-2)最后得到的五层卷积特征图属于不同的尺度，将这五层卷积特征图分别通过卷积或者反卷积操作得到16×16、32×32、64×64、128×128和256×256五个不同的尺度，在每个尺度下，五层卷积特征图串联融合，再分别经过卷积层或反卷积层恢复到输入图像i的尺度，得到五张初始的协同显著性图；

(2-4)、多尺度显著性图融合：将步骤(2-3)得到的五张初始的协同显著性图串联融合，经过三层卷积层的处理，得到输入图像i的协同显著性图sco。

(3)、将步骤(1)中处理好的三个训练集图像，及其对应的标签输入步骤(2)构建的深度学习网络中进行训练，提取多层卷积特征的部分采用五个具有相同参数、权值共享的cnn分支vgg16_1、vgg16_2、vgg16_3、vgg16_4、vgg16_5，整个网络的训练在图像分类网络vgg16训练好的模型基础上进行微调，损失函数为适合回归任务的softmax损失函数，采用随机梯度下降算法来最小化损失函数直到网络收敛，网络训练在基础学习速率为10^-8且每迭代5万次乘以0.1、bitchsize为8的情况下迭代25万次后得到了一个训练好的网络模型。

(4)、最后，利用步骤(3)训练好的网络模型进行测试，测试集包括icoseg(38组，643张)和msrc(14组，418张)两个协同显著性检测的通用数据集，对于要测试的输入图像i，如图3(a)所示，按照步骤(1)的顺次选择规则在同组内确定协同图像组，由于一张输入图像i可以选定多组协同图像组，如图3(b)所示，测试时将输入图像i选定的多组协同图像组分别输入网络，得到这张输入图像i的多张协同显著性图sco，如图4所示，再相加平均得到最终的协同显著性图sfinal，如图5所示。