本发明涉及图像的检测方法，特别涉及一种基于并行卷积神经网络的图像显著性检测方法。
背景技术：
图像显著性检测的目的在于识别一幅图像在视觉上最突出的区域，是计算机视觉及图像处理领域中一门非常重要的课题。显著性检测作为一种预处理手段在计算机视觉及图像处理方面有着广泛的应用，如多媒体信息传输，图像视频重构，图像视频质量评估等。同时，显著性检测在高层次视觉任务中也被大量应用，如物体检测，身份识别。作为一门非常成熟的课题，大量显著性检测模型被学者们提出。
传统显著性检测模型分为基于手工特征的方法和基于先验知识的方法。基于手工特征的方法致力于设计各类手工特征如颜色、亮度、纹理，当图像具有较为复杂的语义时，这类方法无法有效的检测出显著性主体，如当主体与背景的颜色、亮度差异较小时，基于手工特征的方法无法有效的将显著主体从背景中区分出来。基于先验知识的方法对显著性主体的公有特性进行定义，如基于背景先验的方法假定靠近图像的边缘区域为背景，但有些图像的显著主体处于图像边缘，这使得基于先验知识的方法具有局限性。
技术实现要素：
为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于并行卷积神经网络的图像显著性检测方法，有效检测显著主体的内在语义以及与背景的差异，从全局和局部角度去检测显著性，实现自动对图像进行显著性检测。
本发明的目的通过以下技术方案实现：
一种基于并行卷积神经网络的图像显著性检测方法，包括以下步骤：
(1)设计并行卷积神经网络结构；所述并行卷积神经网络结构包括全局角度检测模块cnn-g和局部角度检测模块cnn-l；
所述全局角度检测模块cnn-g为单路卷积神经网络；所述局部角度检测模块cnn-l为双路并行卷积神经网络；所述全局角度检测模块cnn-g和局部角度检测模块cnn-l通过一个全连接层实现并行；
(2)设计两种网络输入图，并针对输入定义基于超像素的标签；所述网络输入图包括全局填充图和局部裁剪图；
所述全局填充图以超像素为中心、包含原图全部信息的填充图，代表全局特征，作为全局角度检测模块cnn-g的输入；
所述局部裁剪图以超像素为中心、包含超像素邻域细节信息的裁剪图，代表局部特征，作为局部角度检测模块cnn-l的输入；
(3)数据集平衡化处理与输入预处理；
(4)模型训练：所述模型包括数据预处理模块和并行卷积神经网络结构；
(5)对目标图像使用已训练好的模型计算显著图。
步骤(2)所述针对输入定义基于超像素的标签，具体为：
超像素标签由超像素与显著图真实标注的重叠率决定，若大于设定的阈值则标签为1，视为显著；反之，若重叠率小于设定的阈值则标签为0，视为非显著。
步骤(3)所述数据集平衡化处理，具体为：
对一张图像所取得的正样本全部采用，并随机选取与正样本数量一致的负样本；将所有样本的规格归一化到256*256大小。
步骤(1)所述并行卷积神经网络结构的前5层为5个卷积层；第一层卷积层有96个卷积核，大小为11*11*3；第2层有256个卷积核，大小为5*5*48。第三层卷积层有384个核，大小为3*3*256；第四层卷积层有384个核，大小为3*3*192；第5层卷积层有256个核，大小为3*3*192；前两层和第五层卷积层的后面都接一层池化层和一层正则化层。
步骤(1)所述并行卷积神经网络结构的同层卷积层参数共享，以学习尺度不变性特征。
步骤(4)中，所述并行卷积神经网络的训练包括以下步骤：
(4-1)网络参数初始化；
(4-2)设置训练参数；
(4-3)加载训练数据；
(4-4)迭代训练。
步骤(4-1)所述网络参数初始化，具体为：采用fine-tune策略，利用alexnet模型的前六层网络参数初始化并行卷积神经网络的前六层；全连接层的初始化设置为随机值初始化。
步骤(4-2)所述训练参数，具体为：并行卷积神经网络的前5层的初始学习率设置为0.0001；全连接层参数的初始学习率为0.001；训练过程设为每8次遍历样本集后，学习率降低40％。
步骤(4-3)所述迭代训练：采用随机梯度下降算法对并行卷积神经网络进行迭代训练，每迭代1000次保存一次网络参数，经过不断迭代，取得网络最优解。
与现有技术相比，本发明具有以下优点和有益效果：
1.本发明同时从全局和局部角度检测显著性，有效避免了从单一角度检测显著性的缺点；且同时考虑了多尺度信息，使检测结果更加清晰完整。
2.本发明使用了超像素分割算法，超像素作为基本处理单元，与以像素点作为基本处理单元的方法相比，不仅大大降低了计算量，且一定程度上有助于提升算法效果。
3.本发明基于并行卷积神经网络，训练出的模型可以适应多种情况，如图像具有多个显著主体、显著主体过大或过小、显著主体处于图像边缘、显著主体与背景相似、图像背景复杂等等。
附图说明
图1为本发明的实施例的基于并行卷积神经网络的图像显著性检测方法的流程图。
具体实施方式
下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例的基于并行卷积神经网络的图像显著性检测方法，包括以下步骤：
(1)设计并行卷积神经网络结构；所述并行卷积神经网络结构包括全局角度检测模块cnn-g和局部角度检测模块cnn-l。
所述全局角度检测模块cnn-g为单路卷积神经网络；所述局部角度检测模块cnn-l为双路并行卷积神经网络；所述全局角度检测模块cnn-g和局部角度检测模块cnn-l通过一个全连接层实现并行。
采用alex网络[a.krizhevsky,i.sutskever,g.e.hinton,imagenetclassificationwithdeepconvolutionneuralnetworks,in:proceedingsoftheannualconferenceonneuralinformationprocessingsystem(nips),2012,pp.1097-1105.]的前六层作为单路基准网络。
并行卷积神经网络结构的输入图像大小为227*227*3，这三维数值分别是宽度、高度、通道数。前5层是5个卷积层。第一层卷积层有96个卷积核，大小为11*11*3。第2层有256个卷积核，大小为5*5*48。第三层卷积层有384个核，大小为3*3*256。第四层卷积层有384个核，大小为3*3*192。第5层卷积层有256个核，大小为3*3*192。前两层和第五层卷积层的后面都接一层池化层(pooling)和一层正则化层(normalization)。cnn-g和cnn-l通过一个神经元数量为4096的全连接层实现并行，使得模型同时从全局和局部角度检测显著性。并行卷积神经网络结构的最后一层为只有2个神经元的输出层，代表待预测超像素的显著性值。
(2)设计两种网络输入图，并针对输入定义基于超像素的标签；所述网络输入图包括全局填充图和局部裁剪图；所述全局填充图以超像素为中心、包含原图全部信息的填充图，代表全局特征，作为全局角度检测模块cnn-g的输入；所述局部裁剪图以超像素为中心、包含超像素领域细节信息的裁剪图，代表局部特征，作为局部角度检测模块cnn-l的输入。
本实施例先用slic超像素分割算法对图像进行分割，然后以某一超像素s为中心填充或裁剪出三个输入图，包括一个全局填充图和两个局部裁剪图，超出原图像区域的部分用数据库的像素平均值填充。然后将这三个大小不同的图缩放到同一尺寸，将它们分别作为并行网络中三个卷积神经网络的输入。
在设计三个输入图像包含原图信息的多少时，规定如下：设(wo，ho)分别为原始图像的宽与高，(wp，hp)分别为输入图像的宽与高，两者间的计算公式为：
(wp，hp)＝2×(wo，ho)×cp
式中cp为裁剪因子。由于有三个不同的输入图像，因此cp也有三个不同的值，在本发明中cp＝[1，1/4，1/8]。全局网络中cp＝1，输入图像为包含原图全部信息的填充图，将这个填充图作为全局网络的输入，从全局的角度检测显著性；局部网络中，cp＝[1/4，1/8]，输入图像为包含超像素s领域内不同尺度的局部细节信息，本发明将这两个裁剪图像作为局部网络的输入，多尺度检测局部显著性。最终通过网络的并行，使得整个网络具有同时从全局和局部角度检测显著性的能力。
目前显著性检测研究中常用的数据库，其标签是基于超像素的标注。而本发明是以超像素为基本处理单元，因此需要定义基于超像素的标签。超像素的标签定义规则如下：s为超像素，g为显著图真实标注。(1)若|s∩g|/s＞0.9，则标签为1，表示该超像素为显著的；(2)若|s∩g|/s＜0.1，则标签为0，表示该超像素非显著；(3)若0.1＜|s∩g|/s＜0.9，则舍弃该超像素，不作为训练数据。
(3)数据集平衡化处理与输入预处理：
不平衡的训练数据集会对分类结果产生不良影响，弱化学习得到特征的表达能力。按照(2)中方法取正负样本时，从数据库取得的正样本数量要远远少于负样本数量，为了使正负样本数量一致，训练过程中，对一张图像所取得的正样本全部采用，并随机选取与正样本数量一致的副样本，将所有样本的规格归一化到256*256大小。
(4)模型训练：所述模型包括数据预处理模块和并行卷积神经网络结构；
并行卷积神经网络的具体训练步骤如下：
(4-1)网络参数初始化：采用了fine-tune策略，利用alexnet模型的前六层网络参数初始化并行卷积神经网络的前六层；全连接层的初始化设置为随机值初始化。
(4-2)设置训练参数：前5层的初始学习率设置为0.0001。全连接层参数的初始学习率为0.001。训练过程设为每8次遍历样本集后，学习率降低40％。
(4-3)加载训练数据:训练集为从msra10k数据库随机选取的6000张图像和从dut-omron数据库中随机选取3500张图像，验证集为从msra10k数据库中随机选取的800张图像和从dut-omron数据库中随机选取的468张图像。训练集和验证集的图像没有重合。
(4-4)采用随机梯度下降算法对并行卷积神经网络进行迭代训练，每迭代1000次保存一次网络参数，经过不断迭代，取得网络最优解。综合考虑在验证集上准确率高、损失函数低的网络作为本发明的最优网络。
(5)对目标图像使用已训练好的模型计算显著图。
利用本发明设计的显著性检测模型，用户给定图像后，系统根据训练学习好的深度模型计算显著图。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。