一种基于深度学习的显著区域提取方法及系统与流程

本发明涉及计算机视觉技术领域领域，具体地说是一种基于深度学习的显著区域提取方法及系统。

背景技术：

随着视觉显著性研究的深入，多来越多的研究已经将深度学习网络体系结构应用到显著区域提取中。有的文献通过无监督学习方法得到多个中层的滤波器集合进行局部的显著区域提取，并且和卷积网络得到的中层显著区域提取结果进行融合。有的文献采用卷积神经网络得到图像的多尺度特征，包括局部区域块、它的邻域区域块和整幅图像，进行显著区域的提取。有的文献训练了两个深度卷积网络：一个用于训练得到局部显著图，另一个用于训练得到全局显著图，然后将两种显著图进行融合。有的文献采用全局上下文信息和局部区域信息相融合的方法实现显著区域提取。深度学习除了具有层次结构之外，还能自动学习特征，学习到的特征明显优于手工提取的特征，正因为如此，基于深度学习的显著区域提取工作已经取得了很大的进展。目前基于深度学习的显著区域提取方法为了取得较好的提取效果往往会设计多个深度学习的网络结构，或者设计不同的对比度计算方法对输入深度网络进行特征训练，但是对输入深度网络的训练特征缺少进行筛选的处理，因此会导致学习到的显著特征的判别性不强。

申请号为cn103810503a的发明申请公开一种基于深度学习的自然图像中显著区域的检测方法，在训练阶段，首先在自然图像数据库上选取一定数量的图片提取基本特征，构成训练样本，然后利用深度学习模型对已提取特征进行再学习，从而得到更抽象更有区分能力的增强型高级特征，最后用学习到的特征训练分类器。在测试阶段，对于任意一幅测试图像，首先提取基本特征，然后利用训练好的深度模型，提取增强型高级特征，最后利用分类器进行显著性与否的预测，并把每个像素点的预测值作为这点的显著值。该方法的缺点是缺少对输入网络中的图像区域进行筛选的过程，如果将对比度更强的特征输入到网络中则训练得到的模型判别性更强。

技术实现要素：

为了解决上述的技术问题，本发明提出的一种基于深度学习的显著区域提取方法及系统，对输入深度网络的训练特征增加了筛选环节，以保证提取的显著区域特征具有更强的判别能力。

本发明的第一目的是提供一种基于深度学习的显著区域提取方法，包括训练步骤和测试步骤，还包括以下步骤：

步骤01：进行超像素分割；

步骤02；进行超像素集合的筛选；

步骤03：生成训练区域块；

步骤04：提取所述训练区域块的特征；

步骤05：标注所述训练区域块；

步骤06：训练卷积神经网络。

优选的是，所述步骤01为对训练集的每幅图像采用超像素分割算法进行分割预处理，得到训练集图像的所述超像素集合其中，m为集合r¹中超像素的个数，i表示处理的是第i块超像素区域。

在上述任一方案中优选的是，所述步骤02包括对所述训练集图像的超像素集合r¹中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合其中，n为集合r²中超像素的个数。

在上述任一方案中优选的是，超像素区域对比度判别函数如下：

其中，表示集合r¹中的当前超像素区域，表示的邻域，j表示第j块超像素区域；hrgb(和表示区域和的rgb颜色直方图；和表示区域和的hsv颜色直方图；和表示区域和的lab颜色直方图；d()表示颜色距离；是归一化参数，

在上述任一方案中优选的是，所述步骤03包括对筛选后的所述超像素集合r²中的每一个超像素区域提取三种区域：当前超像素区域的外接矩形框区域si、外接矩形框区域si的邻近区域ssi和图像中去除外接矩形框区域si的剩余区域sssi,1≤i≤n。

在上述任一方案中优选的是，得到训练区域块集合r³＝{s1,ss1,sss1,s2,ss2,sss2,…,si,ssi,sssi,…,sn,ssn,sssn}。

在上述任一方案中优选的是，所述步骤04包括把所述训练区域块集合r³输入到深度网络，提取cnn特征。

在上述任一方案中优选的是，将所述当前超像素区域的外接矩形框区域si的特征fi1、所述邻近区域ssi的特征fi2和所述图像中去除外接矩形框区域si的剩余区域sssi的特征fi3连接后得到总特征为fi。

在上述任一方案中优选的是，所述步骤05包括判断当前超像素区域中少x％的像素在基准二值标注中为显著时，所述区域块被标注为显著，否则标注为不显著。

在上述任一方案中优选的是，得到训练区域块的集合r³及其相应的显著标签集合l＝{l1，l2，…，li，…，ln}。

在上述任一方案中优选的是，所述步骤06为通过随机下降的方法对所述卷积神经网络进行训练。

在上述任一方案中优选的是，采用权重作为softmax回归模型损失函数的正则项，目标函数的公式为：

其中，θ是可学习的参数，包括卷积神经网路各层的权重和偏置；l{·}是符号函数，当m＝1时，p(li＝m|θ)表示当前超像素区域预测为显著区域的概率；λ是权重衰减参数；wk代表第k层的权重。

在上述任一方案中优选的是，所述测试步骤包括以下子步骤：

步骤11：进行超像素分割；

步骤12：生成测试区域块集合；

步骤13：进行显著性预测。

在上述任一方案中优选的是，所述步骤11为对测试图像采用超像素分割算法进行分割预处理，其中，x为集合r⁴中超像素的个数。

在上述任一方案中优选的是，所述步骤12为对所述测试图像的超像素集合r⁴中的每个超像素区域，提取三种区域：当前超像素区域的外接矩形框区域pi、外接矩形框区域pi的邻近区域ppi和图像中去除外接矩形框区域pi的剩余区域pppi，其中，1≤i≤x。

在上述任一方案中优选的是，得到测试区域块集合r′＝{p1,pp1,ppp1,…,pi,ppi,pppi,…,px,ppx,pppx}，其中，n表示测试区域块的个数。

在上述任一方案中优选的是，所述步骤13为将所述测试区域块集合r′输入卷积神经网络，提取特征，然后通过训练好的模型预测各个区域为显著区域的概率。

本发明的第二目的是提供一种基于深度学习的显著区域提取系统，包括训练模块和测试模块，包括以下模块：

步骤01：进行超像素分割；

步骤02；进行超像素集合的筛选；

步骤03：生成训练区域块；

步骤04：提取所述训练区域块的特征；

步骤05：标注所述训练区域块；

步骤06：训练卷积神经网络；

所述系统按照如权利要求1所述的方法提取测试图像的显著区域。

本发明提出了一种基于深度学习的显著区域提取方法及系统，相对于现有的方法，本方法在模型训练之前加入的图像区域的筛选过程，保证训练得到的模型有更强的判别能力。

附图说明

图1为按照本发明的基于深度学习的显著区域提取方法的一优选实施例的流程图。

图1a为按照本发明的基于深度学习的显著区域提取方法的如图1所示实施例的测试方法流程图。

图2为按照本发明的基于深度学习的显著区域提取系统的一优选实施例的模块图。

图3为按照本发明的基于深度学习的显著区域提取方法的图像及其对应的超像素分割的一实施例的结果图。

图4为按照本发明的基于深度学习的显著区域提取方法的深度网络的一实施例的结构图。

图5为按照本发明的基于深度学习的显著区域提取方法的三种区域提取结果的一实施例的示例图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1、2所示，执行步骤100，使用训练模块200对训练集中的图像进行训练。执行步骤101，进行超像素分割。对训练集的每幅图像采用超像素分割算法进行分割预处理，得到训练集图像的所述超像素集合其中，m为集合r¹中超像素的个数，i表示处理的是第i块超像素区域。

执行步骤102，进行超像素集合的筛选。对所述训练集图像的超像素集合r¹中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合其中，n为集合r²中超像素的个数。超像素区域对比度判别函数如下：

其中，表示集合r¹中的当前超像素区域，表示的邻域，j表示第j块超像素区域；hrgb(和表示区域和的rgb颜色直方图；和表示区域和的hsv颜色直方图；和表示区域和的lab颜色直方图；d()表示颜色距离；是归一化参数，

执行步骤103，生成训练区域块。对筛选后的所述超像素集合r²中的每一个超像素区域提取三种区域：当前超像素区域的外接矩形框区域si、外接矩形框区域si的邻近区域ssi和图像中去除外接矩形框区域si的剩余区域sssi,1≤i≤n，得到训练区域块集合r³＝{s1,ss1,sss1,s2,ss2,sss2,…,si,ssi,sssi,…,sn,ssn,sssn}。

执行步骤104，提取所述训练区域块的特征。把所述训练区域块集合r³输入到深度网络，提取cnn特征，将所述当前超像素区域的外接矩形框区域si的特征fi1、所述邻近区域ssi的特征fi2和所述图像中去除外接矩形框区域si的剩余区域sssi的特征fi3连接后得到总特征为fi。

执行步骤105，标注所述训练区域块。判断当前超像素区域中少x％的像素在基准二值标注中为显著时，所述区域块被标注为显著，否则标注为不显著，得到训练区域块的集合r³及其相应的显著标签集合l＝{l1，l2，…，li，…，ln}。

执行步骤106，训练卷积神经网络。通过随机下降的方法对所述卷积神经网络进行训练，采用权重作为softmax回归模型损失函数的正则项，目标函数的公式为：

其中，θ是可学习的参数，包括卷积神经网路各层的权重和偏置；l{·}是符号函数，当m＝1时，p(li＝m|θ)表示当前超像素区域预测为显著区域的概率；λ是权重衰减参数；wk代表第k层的权重。

执行步骤110，使用测试模块200对测试图像进行显著区域提取。如图1a所述，执行步骤111，进行超像素分割。对测试图像采用超像素分割算法进行分割预处理，其中，x为集合r⁴中超像素的个数。

执行步骤112，生成测试区域块集合。对所述测试图像的超像素集合r⁴中的每个超像素区域，提取三种区域：当前超像素区域的外接矩形框区域pi、外接矩形框区域pi的邻近区域ppi和图像中去除外接矩形框区域pi的剩余区域pppi，其中，1≤i≤x，得到测试区域块集合r′＝{p1,pp1,ppp1,…,pi,ppi,pppi,…,px,ppx,pppx}，其中，n表示测试区域块的个数。

执行步骤113，进行显著性预测。将所述测试区域块集合r′输入卷积神经网络，提取特征，然后通过训练好的模型预测各个区域为显著区域的概率。

实施例二

目前基于深度学习的显著区域提取方法为了取得较好的提取效果往往会设计多个深度学习的网络结构，或者设计不同的对比度计算方法对输入深度网络进行特征训练，但是对输入深度网络的训练特征缺少进行筛选的处理，因此会导致学习到的显著特征的判别性不强。针对此问题，本发明对输入深度网络的训练特征增加了筛选环节，以保证提取的显著区域特征具有更强的判别能力。

本发明的方法为1)对训练集中的每幅图像进行超像素分割(2)对步骤1得到的超像素集合中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域；(3)为了有效计算显著性，本发明考虑了两种对比度：全局对比度和局部对比度，因此要对步骤2得到的超像素区域集合中的每一个超像素区域提取三种区域，并进行特征提取；(4)将步骤3得到的区域进行标注，然后输入到卷积神经网络进行训练；(5)将测试图像进行1-3步的处理，输入到网络中进行测试，得到显著图。

其具体实施步骤如下：

训练过程

步骤1：超像素分割

对训练集的每幅图像采用超像素分割算法进行分割预处理，得到超像素集合。

步骤2：超像素集合的筛选

对步骤1得到的超像素集合中的每一个超像素区域和其邻域进行对比度判断，筛选出满足对比度判别阈值要求的超像素区域，获得满足要求的超像素集合。

超像素区域对比度判别函数如下：

其中，表示集合r¹中的当前超像素区域，表示的邻域，j表示第j块超像素区域；hrgb(和表示区域和的rgb颜色直方图；和表示区域和的hsv颜色直方图；和表示区域和的lab颜色直方图；d()表示颜色距离；是归一化参数，

步骤3：训练区域块的生成

本发明在计算显著性的时候采用两种对比度：局部对比度和全局对比度。为了计算这两种对比度，针对步骤2中得到的超像素集合中的每个超像素区域，都需要提取三种区域：

(1)当前区域：当前超像素区域的外接矩形框区域si；

(2)外接矩形框区域si的邻近区域ssi；

(3)图像中去除外接矩形框区域si的剩余区域sssi。

经过上的操作，得到训练区域块集合

r³＝{s1,ss1,sss1,s2,ss2,sss2,…,si,ssi,sssi,…,sn,ssn,sssn}，其中m表示训练区域块的个数。

步骤4：训练区域块的特征提取

将步骤3中得到的训练区域块集合

r³＝{s1,ss1,sss1,s2,ss2,sss2,…,si,ssi,sssi,…,sn,ssn,sssn}输入到深度网路，提取cnn特征。若前超像素区域的外接矩形框区域si的特征fi1、邻近区域ssi的特征fi2和图像中去除外接矩形框区域si的剩余区域sssi的特征fi3连接后得到总特征为fi。

步骤5：训练区域块的标注

至少70％的像素在基准二值标注中为显著，则这个区域块被标注为显著，否则标注为不显著。利用这种标注策略，获得训练区域块的集合r＝{r1，r2，…，ri，…，rn}及其相应的显著标签集合l＝{l1，l2，…，li，…，ln}。

步骤6：网络的训练

采用权重作为softmax回归模型损失函数的正则项，目标函数的定义如下：

其中，θ是可学习的参数，包括卷积神经网路各层的权重和偏置；l{·}是符号函数，当m＝1时，p(li＝m|θ)表示前超像素区域的外接矩形框区域si的特征fi1、所述邻近区域ssi的特征fi2和所述图像中去除外接矩形框区域si的剩余区域sssi的特征fi3连接后得到总特征为fi预测为显著区域的概率；λ是权重衰减参数；wk代表第k层的权重。卷积神经网络通过随机下降的方法进行训练。

测试过程

步骤1：超像素分割

对测试图像采用超像素分割算法进行分割预处理，得到测试图像的超像素集合x为集合r⁴中超像素的个数。

步骤2：测试区域块的生成

针对步骤1中得到的超像素集合中的每个超像素区域，都需要提取三种区域：

(1)当前区域：当前超像素区域的外接矩形框区域pi；

(2)外接矩形框区域pi的邻近区域ppi；

(3)图像中去除外接矩形框区域pi的剩余区域pppi。

经过上的操作，得到测试区域块集合

r′＝{p1,pp1,ppp1,…,pi,ppi,pppi,…,px,ppx,pppx}，其中n表示测试区域块的个数。

步骤3：显著性预测

将步骤2中得到的测试区域块集合r′＝r′1，r′2，…，r′i,…，r′n}输入卷积神经网络，提取特征，然后通过训练好的模型预测各个区域为显著区域的概率。

实施例三

采用slic超像素方法对图像进行预处理，如图3所示的是图像及其对应的超像素分割结果示例。

实施例四

负责cnn特征提取的深度网络采用8层卷积神经网络，其中5个卷积层、2个全连接层和1个输出层。网络结构如图4所示。

实施例五

超像素分割得到的区域块是不规则的，所以需要求超像素的外接矩形将其变化为矩形区域。深度网络提取图像中三种区域的示例图，如图5所示，子图(a)中的红色区域代表当前区域；子图(b)中的蓝色区域代表红色区域的相邻区域；子图(c)中的蓝色区域代表图像去掉红色区域后的剩余区域。

实施例六

本实施例采用了cafffe框架用于深度卷积神经网络的训练和测试。cnn网络包含有8层，5个卷积层、2个全连接层和1个输出层。网络的输入为227*227大小的rgb图像块。卷积神经网络通过随机下降的方法进行训练，每次迭代参与的样本数量为256；冲量值为0.9；正则化项的权重为0.0005；学习率初始值为0.01，当损失稳定的时候学习率以0.1的速度下降；对每层的输出采用比率为0.5的drop-out操作来防止过拟合；训练迭代的次数为80次。

实施例七

如表1所示，本实施例的实验数据集为tbd数据集。本发明方法对比了5种流行方法，包括gc、mc、dsr、smd、sbf。表1显示dbs方法整体性能最好。

采用当前流行的性能评价指标：

(1)f-measure值；

(2)auc值(roc曲线下面的面积)

(3)平均绝对误差(mae)。

本发明的提取方法简称为dbs。

表1dbs与5种流行方法的比较

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。