一种有效防止卷积神经网络过拟合的图像分类方法
【专利摘要】本发明涉及一种有效防止卷积神经网络过拟合的图像分类方法，包括：获得图像训练集和图像测试集；卷积神经网络模型的训练；用训练后的卷积神经网络模型对图像测试集进行图像分类。其中，卷积神经网络模型训练的步骤为：对图像训练集中的图像数据进行预处理和样本扩增，形成训练样本；对训练样本进行前向传播提取图像特征；在Softmax分类器中计算各样本的分类概率；根据概率yi计算得到训练误差；利用所述训练误差从卷积神经网络的最后一层依次往前反向传播，同时利用随机梯度下降法SGD修改网络权值矩阵W。与现有技术相比，本发明具有分类精度高、收敛速度快、计算效率高等优点。
【专利说明】一种有效防止卷积神经网络过拟合的图像分类方法 【技术领域】
[〇〇〇1] 本发明涉及图像处理领域，尤其是涉及一种有效防止卷积神经网络过拟合的图像 分类方法。 【背景技术】
[0002] 随着多媒体技术与计算机网络的广泛应用，网络上出现大量图像数据。为了能够 有效的管理这些图像文件，为用户提供更好的体验服务，自动识别这些图像的内容变的越 来越重要。
[0003] 随机机器学习方法的不断完善和发展，深度学习算法越来越受到重视，其中卷积 神经网络就是深度学习中一种重要的算法，目前已成为语音分析和图像识别领域的研究热 点。卷积神经打破了传统神经网络中层与层之间的神经元全连接的方式，它的权值共享网 络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点 在网络的输入是图像是表现的更为明显，使图像可以直接作为网络的输入，避免了传统识 别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个 多层感知器，这种网络结构对平移、比例缩放、倾斜或者其他形式的形变具有高度不变性。
[0004] 基于卷积神经网络的图像分类技术能够有效地自动的从图像中提取特征信息，提 取的特征具有非常好的图像表达能力，因此该技术在一些图像分类问题中取得了令人满意 的实验结果。尽管如此，该技术目前还存在以下缺陷：
[0005] 第一，由于图像数据库中带标签的数据是有限的，随着卷积神经网络的规模不断 增大，需要训练的权值也会不断增加，这势必使得神经网络出现过拟合现象，即训练时的分 类精度远远好于测试时的分类精度。
[0006] 第二，为了获取更好的特征表达能力以便取得更好的分类精度，某些研究人员采 用增加网络深度、扩大网络规模的方法。但是，这种方法将极大的增加计算复杂度，传统的 CPU运算速度已经不能满足这样的计算复杂度。
【发明内容】
[0007] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种分类精度高、收 敛速度快、计算效率高的有效防止卷积神经网络过拟合的图像分类方法。
[0008] 本发明的目的可以通过以下技术方案来实现：
[0009] 一种有效防止卷积神经网络过拟合的图像分类方法，该方法运行在GPU中，包括：
[〇〇1〇] 步骤一，获得图像训练集和图像测试集；
[0011] 步骤二，卷积神经网络模型的训练，具体包括以下步骤：
[0012] a)设定卷积神经网络的结构和训练次数上限N，初始化神经网络权值矩阵W，所述 结构包括卷积神经网络的层数和每层中特征图的数量；
[0013] b)从所述图像训练集中获取图像数据进行预处理，并进行样本扩增，形成训练样 本；
[0014] c)对所述训练样本进行前向传播提取图像特征，所述前向传播包括卷积层、非线 性归一化层和混合pooling层的计算；
[0015] d)在Softmax分类器中计算各样本的分类概率：
[0016]
【权利要求】
1. 一种有效防止卷积神经网络过拟合的图像分类方法，其特征在于，该方法运行在 GPU中，包括： 步骤一，获得图像训练集和图像测试集； 步骤二，卷积神经网络模型的训练，具体包括以下步骤： a) 设定卷积神经网络的结构和训练次数上限N，初始化神经网络权值矩阵W，所述结构 包括卷积神经网络的层数和每层中特征图的数量； b) 从所述图像训练集中获取图像数据进行预处理，并进行样本扩增，形成训练样本； c) 对所述训练样本进行前向传播提取图像特征，所述前向传播包括卷积层、非线性归 一化层和混合pooling层的计算； d) 在Softmax分类器中计算各样本的分类概率：
式中，Si表示Softmax分类器第i个神经元的输出值，Si = F · η，F为某个训练样本 的图像特征向量，η为相应的权值，n为需要分类的类别数量： e) 根据概率yi计算得到训练误差
当i = k时，0ik=l，i表示第i个类别，当原始输入属于类别i庄
f) 利用所述训练误差从卷积神经网络的最后一层依次往前反向传播，同时利用随机梯 度下降法SGD修改网络权值矩阵W ; g) 判断模型训练是否完成，若是，则保存卷积神经网络模型和Softmax分类器后执行 步骤三，若否，则返回步骤b); 步骤三，利用训练后的卷积神经网络模型对图像测试集进行图像分类。
2. 根据权利要求1所述的一种有效防止卷积神经网络过拟合的图像分类方法，其特征 在于，所述步骤a)中，初始权值矩阵W的元素的取值范围为[-0.01,0. 01]。
3. 根据权利要求1所述的一种有效防止卷积神经网络过拟合的图像分类方法，其特征 在于，所述步骤b)具体为： bl)对于长宽相等的图像，利用0PENCV中的cvResize函数进行缩放，缩放后的图片大 小为NXN ; b2)对长宽不相等的图像，固定短边S不变，截取长边中间的连续S个像素，形成SXS 大小的图像，再重复步骤bl)最终形成NXN大小的图像； b3)计算所有图像的像素值之和，并除以图像的数量得到一个均值图像，在每一副图像 中减去所述均值图像得到输入样本； b4)对所述输入样本进行数据扩增，形成最终的训练样本。
4. 根据权利要求1所述的一种有效防止卷积神经网络过拟合的图像分类方法，其特征 在于，步骤c)中，所述卷积层的计算具体为： yk = max{wk*x,0} 其中，X表示前一层的输出，即当前层的输入，yk表示第k个特征图的输出，wk代表与前 一层的输出相连的第k个权值矩阵，表示二维的内积运算； 所沭韭钱桦昀一仆层的i+笪旦蚀为，
其中，Xku为非线性归一化层计算时前一层第k个特征图的输出，累加运算是在第k个 特征图相邻的N个特征图的相同位置（i，j)上完成的，α和β为预设的归一化参数，ykij 为新生成的特征图； 所述混合pooling层的计算具体为：
其中，λ是取值为0或者1的随机参数，XkM为混合pooling层计算时前一层第k个特 征图的输出，Ru为待降采样的区域。
5.根据权利要求1所述的一种有效防止卷积神经网络过拟合的图像分类方法，其特征 在于，所述步骤g)中，判断模型训练是否完成的准则是：达到训练次数上限。
【文档编号】G06K9/62GK104102919SQ201410333924
【公开日】2014年10月15日 申请日期:2014年7月14日 优先权日:2014年7月14日
【发明者】王瀚漓, 俞定君 申请人:同济大学