一种基于深度学习的敏感图像识别方法与流程

本发明属于数字图像处理技术领域，具体涉及一种基于深度学习的敏感图像识别方法。

背景技术：

随着互联网特别是移动互联网的迅速普及，以图像、视频为代表的多媒体数据正在以惊人的速度进行增长。如何检测互联网内容中的敏感图像成为研究的热点。敏感图像主要指：色情、暴力、反动、敏感人物(如：达赖)等，传统的监控方法主要依靠人力，随着多媒体内容的爆炸性增长，靠人工检查的方式已经无法满足实际需要。一方面是视频图像等数据呈爆炸式增长，人工方式无法承担巨大的核查工作量；另一方面是存在着大量已经过时或者已经被核查过的数据，造成大量无用的重复工作量。

深度学习属于机器学习，深度学习是近几年机器学习领域的热点，在语音识别、图像识别等领域取得了巨大的成功。

深度学习技术有着很长的发展历史，早期人工神经网络的研究促进了深度学习的产生。一般的，深度学习是指有输入层、多个隐含层和输出层的深层模型。反向传播技术在20世纪80年代特别流行，是有名的学习网络结构各层之间权重的算法。Yann LeCun最先采用深度的有监督的反向传播卷积网络识别手写数字图像。在最近几年里，采用深度卷积网络识别手写数字图像已经成为计算机视觉和机器学习领域最有价值的研究话题，在这两个领域里，深度学习技术都取得了最先进的成果。卷积神经网络(CNN)由Krizhevsky等人提出，并在2012年利用该技术赢得了ImageNet图像分类的冠军。ImageNet是一个大规模的数据集，拥有1500万张有标记的图像，属于22000个类别。ImageNet里面的图像从互联网上收集而来，使用亚马逊的工具Mechanical Turk crowd-source经过人工的方式做标记，

从2010年开始，ImageNet数据集作为ImageNet大规模视觉识别挑战(ILSVRC)的一部分，每年举行一次，ILSVRC使用ImageNet中1000个类别，每个类别包括1000张图像，120张图像作为训练集，50000张图像作为验证集，15万张图像作为测试集，当时使用的模型有8层，前5层为卷积层，后三层为全连接层，深度学习框架caffe就是按照这个模型实现的一个开源框架，本发明中我们使用的深度学习开源框架就是caffe。

技术实现要素：

本发明的目的就是为了克服人工识别敏感图像费时费力的不足，提供一种基于深度学习的方法，提高敏感图像识别的效率。

本发明提供的基于深度学习的敏感图像识别方法，具体步骤为：

步骤1、从搜集的敏感图像数据库中提取敏感图像信息；

步骤2、对敏感图像信息进行训练前的预处理；

步骤3、将经过预处理后的全部敏感图像分为训练集和测试集；

步骤4、将训练集用于深度神经网络(DNN)的训练；

步骤5、深度神经网络(DNN)的训练结果初始化测试用的神经网络；

步骤6、将测试集输入到初始化之后的神经网络进行敏感图像的识别测试。

其中：

步骤2中，敏感图像的预处理，包括：

对敏感图像数据库中的每一副图像进行采样，提取含有敏感信息的部分，同时将图像转化为jpg格式，缩放为256*256大小，生成图像路径/标签形式的文本，然后乱序排列文本中的信息。

步骤4中，深度卷积神经网络(DNN)的训练，包括：

深度卷积神经网络的训练有两种形式，预训练(pre-training)和调优(fine-tuning)，预训练的时间消耗较长，且不能保证训练的模型能够收敛，所以本发明采用调优的形式训练模型，fine-tuning使用相同网络训练好的模型初始化神经网络，然后根据训练样本微调神经网络之间的参数，增加对训练样本的学习能力，不仅训练的时间较短，而且可以保证收敛。

步骤5种，测试神经网络的初始化，包括：

测试用的神经网络和训练用的神经网络结构相同，最后一层网络softmax输出的是测试图像属于每个类别的概率。初始化测试网络，就是将训练好之后的深度神经网络中的每一层隐层的网络权重值，直接传给测试网络相应层，从而使得测试网络和训练的模型具有相同的隐层层数、隐层节点数和每一层的网络权重值。

步骤6中，敏感图像识别结果的输出，包括：

对于敏感图像测试集中的样本，采用初始化之后的深度神经网络(DNN)模型进行敏感图像的识别测试，输出敏感图像识别的结果。这里利用了softmax层的特点，softmax层输出的n维向量是测试图像属于每个类别的概率，所以，在n维向量中值最大的下标即对应训练样本中label对应的那个类别。

本发明所采用的深度卷积神经网络(DNN)的调优(fine-tunning)，包括：采用自顶向下的监督学习的方法进行学习和调优，即采用有标签的样本数据进行训练，误差自顶向下传输，对网络进行调优。通过调优之后，使得深度卷积神经网络(DNN)模型的每一层隐层的网络权重值都能够达到最优值。具体调优(fine-tuning)过程如下：

根据输入数据和输出结果的误差函数，使用反向传播算法更新网络的权重值，使得网络达到全局最优。输入数据和输出结果之间的代价函数为：

权重衰减参数λ的目的是控制公式中两项对总代价的影响比重。其中：J(W,b；x,y)是单个样例(x⁽ⁱ⁾,y⁽ⁱ⁾)计算得到的代价函数；J(W,b)是全部样本的代价函数，它含有权重衰减项。

梯度下降法主要是更新权重参数W和偏置参数b，计算的公式如下所示：

首先，计算前需要使用反向传播算法来计算和这两项，这两项是单个样例输入(x,y)的代价函数J(W,b；x,y)的偏导数。求出该偏导数，然后计算整体代价函数J(W,b)的偏导数：

该公式中，上式比下式多一项，因为权重衰减要作用于权重参数W而不是偏置b。

反向传播算法的主要思路如下：

输入样例(x,y)，根据forward方法计算，得到网络中所有的激活值，即h_W,b(x)的输出值。之后针对第l层的每一个节点i，计算出其“残差”即输出值和目标值之间的差值。最后的输出结点由于目标值就是训练样本对应的label，计算的残差为(该值是已知的)。对于隐藏单元，将基于节点(第l+1层节点)残差的加权平均值计算这些节点以作为输入。下面将给出反向传导算法的细节：

1、进行前向传导计算，利用前向传导公式，计算得到L₂，L₃,...直到输出层L_nl的激活值。

2、对于第nl层(输出层)的每个输出单元i，根据以下公式计算残差：

3、对l＝nl-1,nl-2,nl-3,...,2的各个层，第l层的第i个节点的残差计算方法如下：

4、计算需要的偏导数，计算方法如下：

5、按照上面的方法，重复迭代以减小代价函数J(W,b)的值，进而求解神经网络的参数。

与现有技术相比，本发明的优点和效果有：

1、对于敏感特征的提取，直接采用敏感图像的原始像素特征信息，方法简单，不需要人工设计特征。

2、使用深度卷积神经网络，避免传统的模式识别人为设计特征，深度学习自动学习有效的特征。

3、通过调节参数和优化模型，充分发挥深度卷积神经网络的特征学习能力，提供一种高性能的基于深度学习的敏感图像识别的方法

4、本发明在调优(fine-tuning)的基础上增加了增量训练，继续在训练好的模型上增加样本继续训练，增强对敏感图像的学习能力。

附图说明

图1为基于深度学习的敏感图像识别训练模型和敏感图像识别的框图。

图2为神经网络图。

具体实施方式

下面对本发明所述技术方案进一步说明。

1、从搜集的敏感图像数据库中提取敏感图像信息，主要是剪切出敏感图像中含有敏感信息的部分，减少噪音部分的影响。

2、对敏感图像信息进行训练前的预处理操作，主要是将图像转化为jpg格式图像，将图像缩放为256*256大小，最后生成图像路径/label(0,1,2...m)格式的文本。

3、将经过预处理后的全部敏感图像分为训练集和测试集，即按照训练集：测试集约为10:1的比例，将所有图像分为训练集和测试集

4、将训练集用于深度神经网络(DNN)的训练，使用深度学习开源框架caffe提供的训练接口，开始训练模型。

5、敏感图像测试，具体为，输入要识别的图像，使用模型初始化神经网络，经过神经网络的运算，最后输出识别的结果。

参考文献：

[1]Krizhevsky A,Sutskever I,Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks[J].Advances in Neural Information Processing Systems,2012,25(2):2012.

[2]Chen Y,Lin Z,Zhao X,et al.Deep Learning-Based Classification of Hyperspectral Data[J].IEEE Journal of Selected Topics in Applied Earth Observations&Remote Sensing,2014,7(6):2094-2107.

[3]Levy E,David O E,Netanyahu N S.Genetic algorithms and deep learning for automatic painter classification[C]//Conference on Genetic&Evolutionary Computation.ACM,2014:1143-1150.

[4]An X,Kuang D,Guo X,et al.A Deep Learning Method for Classification of EEG Data Based on Motor Imagery[M]//Intelligent Computing in Bioinformatics.2014:203-210.

[5]康晓东,王昊,郭军,等.无监督深度学习彩色图像识别方法[J].计算机应用,2015,35(9):2636-2639.

[6]Marmanis D,Datcu M,Esch T,et al.Deep Learning Earth Observation Classification Using ImageNet Pretrained Networks[J].IEEE Geoscience&Remote Sensing Letters,2015,13(1):1-5.

[7]Ji Wan,Dayong Wang,Steven C.H.Hoi,Pengcheng Wu,Jianke Zhu,Yongdong Zhang,Jintao Li.Deep Learning for Content-Based Image Retrieval:A Comprehensive Study.2014。