本发明涉及一种基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法，该方法对与背景对比度不同、背景复杂度不同的感兴趣区域以及不同面积的感兴趣区域的图像都具有很好的检测效果，本发明作为图像预处理过程，可以被广泛的应用到视觉跟踪、图像分类、图像分割和目标重定位等视觉工作领域。
背景技术：
随着信息科技的快速发展与推广，图像数据成为人类重要的信息来源之一，人们所接收的信息量呈指数级增长。如何在海量的图像信息中筛选出人类感兴趣的目标区域具有重要研究意义。研究发现，在复杂场景下，人类视觉处理系统会将视觉注意力集中于该场景的少数几个对象，也称为感兴趣区域。感兴趣区域与人类视觉感知关系较为密切，具有一定的主观性。感兴趣区域检测作为图像预处理过程，可以被广泛的应用到视觉跟踪、图像分类、图像分割和目标重定位等视觉工作领域。
感兴趣区域检测方法分为自上而下和自下而上两种。自上而下的检测方法[1，2，3]是任务驱动型的，需要人工标注真值图进行监督训练，融入更多的人类感知(例如中心先验信息、色彩先验信息和语义先验信息等等)得到显著图。而自下而上的方法[4-12]是数据驱动型，更注重利用对比度、位置和纹理等图像特征得到显著图。最早的研究者itti等人[4]提出一种基于局部对比度的空间域视觉模型，使用由中心向四周变化的图像差异性得到显著图。hou等人[5]提出了基于谱残差的sr算法。achanta等人[6]提出基于图像频域计算显著度的ft算法。cheng等人[7]提出了基于直方图计算全局对比度的方法。perazzi等人[8]引进了一种将显著性检测看作滤波的思想，提出了saliencyfilters(sf)方法。goferman等人[9]提出了基于上下文感知的ca算法。jiang等人[10]提出基于吸收马尔科夫链的mc算法。yang等人先后提出基于凸包中心和图形正则化的gr算法[11]和基于流行排序的mr算法[12]。此外，低秩矩阵恢复作为高维数据分析及处理的工具被应用到显著性检测中[13-15]。yan等人[13]提出将图像显著区域看作是稀疏噪声，将背景看作是低秩矩阵，利用稀疏表示和鲁棒主成分分析算法计算图像的显著性。该算法首先将图像分解成的小块，对每个图像块进行稀疏编码并合并成一个编码矩阵；然后利用鲁棒主成分分析分解编码矩阵；最后利用分解得到的稀疏矩阵构建相应图像块的显著性因子。但是，由于大尺寸的显著目标包含很多图像块，每个图像块中的显著目标不再满足稀疏特性，因而极大地影响了检测效果。lang等人[14]提出多任务低秩恢复的显著性检测算法，利用多任务低秩表示算法分解特征矩阵，并约束同一图像块中所有特征稀疏成分的一致性，然后采用重构误差构建相应图像块的显著性。该算法充分利用多特征描述的一致性信息，效果比文献[13]有所提升，但由于大尺寸的目标包含大量的特征描述，此时特征不再具有稀疏特性，仅仅利用重构误差不能解决这一问题，故该方法同样不能完整的检测出大尺寸的显著性目标。为了改善低秩矩阵恢复的结果，shen等人[15]提出一种融合高层次和低层次信息的低秩矩阵恢复检测算法(lrmr)，这是一种自下而上与自上而下结合的算法。该算法改进了文献[18]中的不足，首先将图像进行超像素分割，并提取超像素的多个特征；然后通过学习得到特征变换矩阵和先验知识，包括中心先验、人脸先验和色彩先验，再利用学习得到的特征变换矩阵和先验知识对特征矩阵进行变换；最后利用鲁棒主成分分析算法对变换后的矩阵进行低秩与稀疏分解。该方法在一定程度上盖上了文献[13]和[14]的不足，但是由于中心先验存在一定的局限性，而在复杂场景下色彩先验也会失效，因此该算法对背景较复杂的图像检测效果不理想。受文献[15]的启发，本发明利用基于全卷积神经网络学习得到的高层语义先验知识替换文献[15]中的中心先验、人脸先验和色彩先验知识，并将其融入到低秩稀疏分解中，提高了算法在复杂场景下的检测感兴趣区域的性能。
参考文献：
[1]marchesottil，cifarellic，csurkag.aframeworkforvisualsaliencydetectionwithapplicationstoimagethumbnailing.in：internationalconferenceoncomputervision，kyoto，japan：ieee，2009，2232-2239
[2]yangj，yangmh.top-downvisualsaliencyviajointcrfanddictionarylearning.ieeecomputersociety，2016，39(3)，576-588
[3]ngay，jordanmi，weissy.onspectralclustering：analysisandanalgorithm.proceedingsofadvancesinneuralinformationprocessingsystems，2002，14，849-856
[4]ittil，kouchc，niebure.amodelofsaliency-basedvisualattentionforrapidsceneanalysis.ieeetransactionsonpatternanalysisandmachineintelligence，1998，20(11)，1254-1259
[5]houx，zhangl.saliencydetection：aspectralresidualapproach.in：computervisionandpatternrecognition，minneapolis，mn，usa：ieee，2007，1-8
[6]achantar，hemamis，estradaf，etal.frequency-tunedsalientregiondetection.in：computervisionandpatternrecognition，miami，fl，usa：ieee，2009，1597-1604
[7]chengmm，zhanggx，mitranj，etal.globalcontrastbasedsalientregiondetection.in：computervisionandpatternrecognition.coloradosprings，co，usa：ieee，2011，409-416
[8]perazzif，kraahenbauhlp，pritchy，etal.saliencyfilters：contrastbasedfilteringforsalientregiondetection.in：computervisionandpatternrecongnition.providence，ri，usa：ieee，2012，733-740
[9]gofermans，zelnikmanorl，tala.context-awaresaliencydetection.ieeetransactionsonpatternanalysis&machineintelligence，2012，34(10)，1915-1926
[10]jiangb，zhangl，luh，etal.saliencydetectionviaabsorbingmarkovchain.in：proceedingsofthe2013ieeeinternationalconferenceoncomputervision.sydney，australia：ieee，2013.1665-1672
[11]yangc，zhangl，luh.graph-regularizedsaliencydetectionwithconvex-hull-basedcenterprior.ieeesignalprocessingletters，2013，20(7)：637-640
[12]yangc，zhangl，luh，etal.saliencydetectionviagraph-basedmanifoldranking.in：proceedingsofthe2013ieeeconferenceoncomputervisionandpatternrecognition.portlandor，usa：ieee，2013.3166-3173
[13]yanj，zhum，liuh，etal.visualsaliencydetectionviasparsitypursuit.ieeesignalprocessingletters，2010，17(8)：739-742
[14]langc，liug，yuj，etal.saliencydetectionbymultitasksparsitypursuit.ieeetransactionsonimageprocessing，2012，21(3)：1327-1338
[15]shenx，wuy.aunifiedapproachtosalientobjectdetectionvialowrankmatrixrecovery.in：proceedingsofthe2012ieeeconferenceoncomputervisionandpatternrecognition.providenceri，usa：ieee，2012.853-860
技术实现要素：
本发明提出了一种基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法，利用基于全卷积神经网络学习得到的高层语义先验知识替换文献[15]中的中心先验、人脸先验和色彩先验知识，并将其融入到低秩稀疏分解中，提高了算法在复杂场景下的检测感兴趣区域的性能。实现本发明目的技术方案，包括下列步骤：
步骤1：输入一幅图像，提取颜色、纹理和边缘等特征，构成维度d＝53的特征矩阵。
(1)颜色特征：提取图像的r、g、b三通道灰度值以及色调(hue)和饱和度(saturation)描述图像的颜色特征；
(2)边缘特征：采用可控金字塔(steerablepyramid)滤波器[21]对图像作多尺度和多方向分解，这里选取3个尺度、4个方向的滤波器，得到12个响应作为图像的边缘特征；
(3)纹理特征：采用gabor滤波器[22]提取不同尺度、不同方向上的纹理特征，这里选取3个尺度、12个方向，得到36个响应作为图像的纹理特征。
利用mean-shift聚类算法对图像进行超像素聚类，得到n个超像素{pi|i＝1，2，3，…，n}，如图2(b)所示，计算每个超像素中所有像素特征的均值表示该超像素的特征值fi，所有超像素特征共同构成特征矩阵f＝[f1，f2，…，fn].f∈rd×n。
步骤2：基于梯度下降法利用msra标记的数据库学习得到特征变换矩阵，在此基础上对特征矩阵f进行特征变换。获得特征变换矩阵的过程如下。
(1)构造标记矩阵q＝diag(q1，q2，…，qn)∈rn×n，如果超像素pi在人工标注的显著性区域内，qi＝0，否则qi＝1。
(2)根据如下公式利用数据库中k幅图像学习特征变换矩阵t的优化模型，
s.t.||t||2＝c
其中，
(3)利用梯度下降法求解梯度下降方向，公式如下：
矩阵x的奇异值分解为x＝u∑vt，故核范数的导数为：
其中w满足：utw＝0，wv＝0且||w||≤1。
(4)利用如下公式更新特征变换矩阵t，直到算法收敛至局部最优，
其中α为步长。
步骤3：实验的训练数据集来自msra数据库中标记的17838张图片，将训练图像标记成前景和背景两类。在fcn网络结构中，第一行在交替经过7个卷积层和5个池化层之后，得到featuremap，最后一步反卷积层是对featuremap进行步长为32像素的上采样，记此时网络结构为fcn-32s。本发明首先训练得到fcn-32s模型，实验发现，由于经过多次最大池化操作造成精度下降，直接对降采样输出的featuremap进行上采样会导致输出结果非常粗糙，损失很多细节。因此，本发明尝试将步长为32像素上采样得到的特征做2倍上采样，与步长为16像素上采样得到的特征进行求和，并将得到的特征上采样至原图大小进行训练，得到fcn-16s模型，此时获得了相比于fcn-32s更加精确的细节信息。使用同样的方法继续训练网络得到fcn-8s模型，对细节信息的预测更为准确。实验表明，继续融合更底层的特征训练网络虽然能使得细节信息预测更为准确，但对低秩稀疏分解所得结果图的效果提升不明显，而训练时间会明显增加，故本发明采用fcn-8s模型获取图像的高层语义先验知识，而不再融合更底层的特征。
至此，已训练得到fcn-8s模型。对于每一幅待处理图像，利用训练好的fcn-8s模型进行处理，输出基于fcn的语义先验知识，据此构建相应的高层语义先验知识矩阵p∈rn×n，如下所示：
其中pri表示fcn测试结果图像中超像素pi内所有像素的均值。
步骤4：利用特征变换矩阵t和高层先验知识矩阵p对特征矩阵f＝[f1，f2，…，fn]∈rd×n进行变换，得到特征变换后的矩阵：
a＝tfp
其中，f∈rd×n是特征矩阵，t∈rd×d是学习的到的特征变换矩阵，p∈rn×n是高层先验知识矩阵。
步骤5：利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解，即用鲁棒主成分分析算法求解如下公式：
s.t.a＝l+s
其中，a∈rd×n是特征变换后的矩阵，l∈rd×n表示低秩矩阵，s∈rd×n表示稀疏矩阵，||·||*表示矩阵的核范数，即矩阵的所有奇异值之和，||·||1表示矩阵的
假设s*是稀疏矩阵的最优解，由如下公式可计算出显著图：
sal(pi)＝||s*(：，i)||1
其中，sal(pi)表示超像素pi的显著值，||s*(：，i)||1表示s*的第i列向量的
与现有技术相比，本发明的有益效果是：
1.本发明利用基于全卷积神经网络学习得到高层语义先验知识，并将其融入到低秩稀疏分解中，提高了算法在复杂场景下的检测感兴趣区域的性能。实验结果验证了本发明提出的基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法的有效性。
2.本发明可以准确检测感兴趣区域，同时可以很好地抑制背景噪声，通过实验证明了本发明的优越性。
附图说明
图1总体框架示意图，即摘要附图；
图2(a)原图；
图2(b)超像素聚类结果；
图2(c)特征变换之后的r、g、b通道合成的图像；
图2(d)对变换后的特征矩阵进行低秩稀疏分解得到的显著图结果；
图2(e)真值图；
图3fcn的网络结构；
图4(a)原图；
图4(b)基于fcn的语义先验知识；
图4(c)融合高层语义先验知识后，基于低秩稀疏分解的结果图；
图4(d)文献[15]方法的结果图；
图4(e)真值图；
图5(a)原图；
图5(b)真值图；
图5(c)ft算法结果图；
图5(d)sr算法结果图；
图5(e)ca算法结果图；
图5(f)sf算法结果图；
图5(g)gr算法结果图；
图5(h)mc算法结果图；
图5(i)mr算法结果图；
图5(j)lrmr算法结果图；
图5(k)本发明算法结果图；
图6(a)msra-test1000数据库中准确率-召回率对比；
图6(b)pascal_s数据库中准确率-召回率对比；
图7(a)msra-test1000数据库中f-measure对比；
图7(b)pascal_s数据库中f-measure对比；
具体实施方式
下面结合具体实施方式对本发明作进一步详细地描述。
目前感兴趣区域检测的主要问题是复杂背景下，不能准确检测感兴趣区域，同时，背景噪声得不到较好的抑制。本发明提出基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法，本发明可以在复杂背景下，准确检测感兴趣区域，同时结果图可以很好地抑制背景噪声。
本发明通过以下步骤实现了基于背景先验和前景节点的感兴趣区域检测方法，具体步骤如下所示：
步骤1：输入一幅图像，提取颜色、纹理和边缘等特征，构成维度d＝53的特征矩阵。
(1)颜色特征：提取图像的r、g、b三通道灰度值以及色调(hue)和饱和度(saturation)描述图像的颜色特征；
(2)边缘特征：采用可控金字塔(steerablepyramid)滤波器[21]对图像作多尺度和多方向分解，这里选取3个尺度、4个方向的滤波器，得到12个响应作为图像的边缘特征；
(3)纹理特征：采用gabor滤波器[22]提取不同尺度、不同方向上的纹理特征，这里选取3个尺度、12个方向，得到36个响应作为图像的纹理特征。
利用mean-shift聚类算法对图像进行超像素聚类，得到n个超像素{pi|i＝1，2，3，…，n}，如图2(b)所示，计算每个超像素中所有像素特征的均值表示该超像素的特征值fi，所有超像素特征共同构成特征矩阵f＝[f1，f2，…，fn].f∈rd×n。
步骤2：基于梯度下降法利用msra标记的数据库学习得到特征变换矩阵，在此基础上对特征矩阵f进行特征变换。获得特征变换矩阵的过程如下。
(1)构造标记矩阵q＝diag(q1，q2，…，qn)∈rn×n，如果超像素pi在人工标注的显著性区域内，qi＝0，否则qi＝1。
(2)根据如下公式利用数据库中k幅图像学习特征变换矩阵t的优化模型，
s.t.||t||2＝c
其中，
(3)利用梯度下降法求解梯度下降方向，公式如下：
矩阵x的奇异值分解为x＝u∑vt，故核范数的导数为：
其中w满足：utw＝0，wv＝0且||w||≤1。
(4)利用如下公式更新特征变换矩阵t，直到算法收敛至局部最优，
其中α为步长。
步骤3：实验的训练数据集来自msra数据库中标记的17838张图片，将训练图像标记成前景和背景两类。在fcn网络结构中，第一行在交替经过7个卷积层和5个池化层之后，得到featuremap，最后一步反卷积层是对featuremap进行步长为32像素的上采样，记此时网络结构为fcn-32s。本发明首先训练得到fcn-32s模型，实验发现，由于经过多次最大池化操作造成精度下降，直接对降采样输出的featuremap进行上采样会导致输出结果非常粗糙，损失很多细节。因此，本发明尝试将步长为32像素上采样得到的特征做2倍上采样，与步长为16像素上采样得到的特征进行求和，并将得到的特征上采样至原图大小进行训练，得到fcn-16s模型，此时获得了相比于fcn-32s更加精确的细节信息。使用同样的方法继续训练网络得到fcn-8s模型，对细节信息的预测更为准确。实验表明，继续融合更底层的特征训练网络虽然能使得细节信息预测更为准确，但对低秩稀疏分解所得结果图的效果提升不明显，而训练时间会明显增加，故本发明采用fcn-8s模型获取图像的高层语义先验知识，而不再融合更底层的特征。
至此，已训练得到fcn-8s模型。对于每一幅待处理图像，利用训练好的fcn-8s模型进行处理，输出基于fcn的语义先验知识，据此构建相应的高层语义先验知识矩阵p∈rn×n，如公式(5)所示：
其中pri表示fcn测试结果图像中超像素pi内所有像素的均值。
步骤4：利用特征变换矩阵t和高层先验知识矩阵p对特征矩阵f＝[f1，f2，…，fn]∈rd×n进行变换，得到特征变换后的矩阵：
a＝tfp
其中，f∈rd×n是特征矩阵，t∈rd×d是学习的到的特征变换矩阵，p∈rn×n是高层先验知识矩阵。
步骤5：利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解，即用鲁棒主成分分析算法求解如下公式：
s.t.a＝l+s
其中，a∈rd×n是特征变换后的矩阵，l∈rd×n表示低秩矩阵，s∈rd×n表示稀疏矩阵，||·||*表示矩阵的核范数，即矩阵的所有奇异值之和，||·||1表示矩阵的
假设s*是稀疏矩阵的最优解，由如下公式可计算出显著图：
sal(pi)＝||s*(：，i)||1
其中，sal(pi)表示超像素pi的显著值，||s*(：，i)||1表示s*的第i列向量的
现结合附图对整个过程做详细介绍：
1.构造特征矩阵
利用mean-shift聚类算法对原图像进行聚类，提取每个像素的颜色，边缘和纹理共53维特征，据此构成特征矩阵。
2.基于梯度下降法构造特征变换矩阵
本发明采用文献[13-15]的思想，将图像显著区域看作是稀疏噪声，将背景看作是低秩矩阵。在复杂背景下，超像素聚类结果后的图像背景相似度依旧不高，如图2(b)所示，因此原始图像空间中的特征并不利于低秩稀疏分解。为了找到一个合适的特征空间能够将大部分的图像背景表示为低秩矩阵，本发明基于梯度下降法利用msra标记的数据库学习得到特征变换矩阵，在此基础上对特征矩阵f进行特征变换。
图2显示部分中间过程结果。图2(b)表示mean-shift聚类结果，可以看出，由于背景复杂，聚类后的图像背景的相似性不够高，不利于低秩稀疏分解；图2(c)表示r、g、b三个特征经过特征变换后合成的可视化结果，可以看出特征变换后背景的相似性明显提高；图2(d)表示利用特征变换矩阵对特征矩阵进行特征变换，再对变换后的特征矩阵进行低秩稀疏分解得到的显著图，从图中可以看出，其中的背景噪声比较多，感兴趣区域不突出，显著图并不理想。这说明虽然特征变换提高了背景的相似性，在一定程度上提升了低秩稀疏分解的效果，但由于背景非常复杂，仅基于颜色、纹理和边缘等低层次信息仍然无法得到准确的感兴趣区域。因此本发明考虑在特征变换时融入高层语义先验知识，进一步提高特征的有效性。
3.显著性融合
fcn的网络结构如图3所示，本发明在原分类器参数的基础上，利用msra数据库使用反向传播算法微调fcn所有层的参数。
经实验发现，基于fcn得到的高层语义信息中，对目标物体的定位比较准确。虽然有些目标物体的轮廓变形(例如图4(b)中的第二行)，有时存在误检(例如图4(b)中的第一行)，但是并不影响其消除背景噪声的作用。将其应用到低秩稀疏分解(低秩稀疏分解方法将在2.4中介绍)中，可以提升感兴趣区域的检测效果。尤其是在复杂背景下，相比于文献[15]中利用中心、颜色、人脸先验知识得到的结果而言，融合fcn高层语义先验知识后，基于低秩稀疏分解的检测效果明显改善，如图4(c)和图4(d)的对比结果所示。
4.主观评价
利用2个公开标准数据库masr-test1000和pascal_s对算法的准确性和有效性进行评价。msra-test1000是本发明在msra-20000数据库中挑选出来的1000张图像，这些图像未参与高层先验知识的训练，其中有些图像背景比较复杂。pascal_s来源于pascalvoc2010数据库，包含了850张复杂背景的自然图像。这些数据库图片都有人工标注的真值图，方便对算法进行客观评价。
图5是本发明算法结果与其他8种算法的结果对比图。由图中对比效果可以直观看出，ft算法可以检测出部分图像的感兴趣区域，但背景噪声较多。sr和ca算法可以较为准确的定位感兴趣区域，但是检测出的感兴趣区域边缘较明显而内部区域不突出，并且背景噪声较多。sf算法背景噪声小，但是感兴趣区域显著度不高。gr、mc、mr和lrmr算法都是比较优秀的算法，对于背景与感兴趣区域对比度较明显的图像可以很好的检测出感兴趣区域，但是对背景噪声抑制有些不足，例如第二行和第四行的图像；对于背景复杂的图像，感兴趣区域与背景对比度不明显，这四种方法不能很好的定位感兴趣区域，检测出的感兴趣区域显著度不够高，背景噪声抑制不足，例如第一、三和五行的图像。本发明方法可以在复杂的图像中准确检测出感兴趣区域，并且很好的抑制背景噪声，与其他8种算法相比更接近于真值图。
5.客观评价
为了对本发明方法的性能进行客观评价，采用四个评价指标，即准确率(precision)、召回率(recall)、f-measure以及平均绝对误差(mae)进行对比分析。
(1)准确率和召回率
首先采用最常用的准确率-召回率曲线对算法进行客观比较。如下公式所示，依次选取0到255之间的灰度值作为阈值ti，分别将各算法的结果图进行二值化，得到二值图，并与人工标注的真值图进行比较，利用如下公式计算各算法的准确率pi和召回率ri，并画出precision-recall曲线。
式中sti表示显著图经过二值分割后值为1的区域，gt表示真值图中值为1的区域，|r|表示区域r的像素个数。
precision-recall曲线中在相同召回率下准确率越高，说明对应的方法越有效。图6是9种算法在masr-test1000和pascal_s两个数据库上的precision-recall曲线，由图可以看出在这两个数据库上本发明方法优于其他算法。
(2)f-measure
为了综合考虑准确率和召回率，本发明采用f-measure(fβ)进一步评价各个算法。
其中，p是准确率，r是召回率，β是权重系数，这里将β设置为β2＝0.3，可以达到突出准确率的目的。f-measure衡量了准确率和召回率的整体性能，其数值越大说明方法性能越好。计算f-measure时，需要将各个算法结果在同等条件进行二值化，本发明采用自适应阈值分割算法，即将阈值设置为每幅显著图的平均值，然后与真值图进行比较，计算得到准确率和召回率，再利用上式计算f-measure值。图7是9种算法在两个数据库上的比较结果，可以看出本发明算法的f-measure最大。
(3)平均绝对误差
precision-recall曲线只是评价目标的准确性，而对于非显著区域并没有评判，即不能表征算法对背景噪声的抑制情况，因此本发明利用平均绝对误差(mae)对整幅图进行评价。mae是以像素点为单位计算显著图与真值图之间的平均差异，计算公式如下：
式中m和n代表图像的高度和宽度，s(i，j)代表显著图对应的像素值，gt(i，j)代表真值图对应的像素值。显然mae的值越小，显著图越接近于真值图。表1为9种算法的mae比较结果。可以看出，在两个数据库中本发明算法的mae值均小于其他8种算法，这说明本发明算法的显著图更接近于真值图。
表1.mae比较
综上所述，本发明可以准确检测感兴趣区域，又可以很好地抑制背景噪声。在公开的masr-test1000和pascal_s数据集上进行实验验证，在准确率-召回率曲线、f-measure和mae指标上均优于当前流行算法。