一种基于深度卷积神经网络的猪体识别方法与流程

本发明涉及计算机视觉领域，特别涉及一种基于深度卷积神经网络的猪体识别方法。

背景技术：

猪体识别是智慧畜牧业中一个非常重要的研究方向。同一养殖场中的猪与猪之间的差异比较细微，因此猪体识别可以看作是细粒度图像识别问题，要求猪体识别系统所采用的特征具有较强的表达能力，所采用的分类器具有较好的判别能力。传统的基于手工特征的算法其特征表述能力有限且依赖大量人工标注信息，很难达到很好的效果。

本发明提供一种基于深度卷积神经网络的猪体识别方法，以监控视频采集的图像为输入，以计算机视觉和机器学习技术为基础实现猪个体的身份识别，无需放置电子耳标，有利于节约养殖成本，也避免了耳标容易丢失的问题。

技术实现要素：

本发明的目的在于解决现有技术中存在的问题，并提供一种基于深度卷积神经网络的猪体识别方法，所提供的方法以包含猪体的图像为输入，以两个深度卷积神经网络提取特征，每个卷积神经网络输出的特征融合了各自的较低层次的特征和较高层次的特征，最后融合两个网络提取的特征输入到作为分类器的全连接层和softmax层。

本发明具体采用的技术方案如下：

一种基于深度卷积神经网络的猪体识别方法，该方法包括以下步骤：

1)获取用于训练图像识别模型的猪体图像数据集并进行标注；

2)建立用于猪体识别的图像识别模型，该模型为一个四元组b＝(fa,fb,p,c)，其中fa和fb为两个特征提取函数，分别对应一个深度卷积神经网络；p为池化函数；c为分类函数，包括一个全连接层和一个softmax层；

在该四元组模型中，特征提取函数fa或fb所对应的深度卷积神经网络，首先进行层间特征融合，再将融合后的特征采用池化函数p组合后形成新特征，依次连接由所有特征转化而成的向量，最后将该向量作为分类函数c的输入；其具体过程如21)～24)：

21)设lz为深度卷积神经网络的最后一个卷积层，lx为位于lz之前的卷积层，它们的通道数分别为d1和d2，mlz和mlx分别为lx和lz对应的卷积层输出的特征，取特征mlz的所有通道在位置l的值形成一个1×d1的向量mlz(l)，取mlx的所有通道在位置l的值形成一个1×d2的向量mlx(l)，按下式计算lz和lx两个卷积层融合后在位置l处的融合特征：

g(l,mlz,mlx)＝mlz(l)^tmlx(l)；

其中l代表特征图的一个位置，上标t代表转置，该融合特征为一个大小d1×d2的矩阵；

22)采用sum-pooling作为池化函数p，对所有位置形成的融合特征按以下公式汇聚成一个特征φ：

其中λ代表所有位置的集合；

23)将汇聚后的特征φ按逐行连接的方式转换成向量，设融合特征对应的矩阵大小为d1×d2，则转换得到的向量的第md2到第(m+1)d2个元素来自所述矩阵的第m行，其中0≤m＜d1；

24)对fa或fb所对应的深度卷积神经网络的最后一个卷积层输出特征与若干个位于其之前的卷积层输出特征，均执行步骤21～23)，转换得到多个向量，然后依次连接两个深度卷积神经网络中所有由特征转化而成的向量，作为分类函数c的输入，由softmax层以概率的形式输出所属的类别判断；

3)分两阶段训练所述的图像识别模型，在第一阶段，固定与所述fa或fb对应的卷积神经网络各层的权值参数，仅训练全连接层和softmax层；第二阶段，全连接层和softmax层采用第一阶段训练所得的模型作为预加载模型，批量加载经标注的猪体图像数据，以迭代优化的方式获取卷积神经网络各层的权值参数；第一阶段和第二阶段的训练都以最小化如下的损失函数e为目标：

其中n为训练样本的数目，k为总的类别数，当第i个样本的真实标签为k时，yi,k＝1，否则yi,k＝0；pi,k为第i个样本由softmax层预测为标签为k的概率；

4)使用训练好的图像识别模型识别场景图像中的猪体，输出结果为softmax层以概率的形式作出的所属类别的判断。

上述技术方案中的各步骤，可采用如下具体方式实现。

步骤1)中所述的fa和fb分别对应的两个深度卷积神经网络采用相同的网络结构，包括：1个输入层、13个卷积层和4个池化层，4个池化层分别接在第2、4、7、10个卷积层之后，均为最大值池化操作，滤波器大小均为2×2，13个卷积层的卷积核均为3×3，卷积层的通道个数依次为64、64、128、128、256、256、256、512、512、512、512、512、512。

步骤3)中所述的第一阶段训练时，加载由标准数据库imagenet训练所得的预训练模型，然后批量加载经标注的猪体图像数据。进一步的，第一阶段训练采用momentum优化方法。

步骤3)中所述的第二阶段以梯度下降优化算法获取卷积神经网络各层的权值参数。

本发明提供的基于深度卷积神经网络的猪体识别方法，以监控视频采集的图像为输入，以计算机视觉和机器学习技术为基础实现猪个体的身份识别，无需放置电子耳标，有利于节约养殖成本，也避免了耳标容易丢失的问题。

附图说明

图1为本发明图像识别模型示意图；

图2为用于提取特征的卷积神经网络的结构示意图；

图3为卷积神经网络层间特征融合示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。

一种基于深度卷积神经网络的猪体识别方法，该方法包括：

1)获取用于训练图像识别模型的猪体图像数据集并进行标注；

2)建立用于猪体识别的图像识别模型，本发明实施例的图像识别模型可表示为一个四元组，b＝(fa,fb,p,c)，其中fa和fb为特征提取函数，分别对应图1的卷积神经网络cnn-a和cnn-b，p为池化函数，c为分类函数。

图像识别模型b＝(fa,fb,p,c)中的特征提取函数fa和fb分别对应一个深度卷积神经网络。可选地，本发明实施例采用对称结构，两个网络的结构相同，参照图2，本发明实施例的卷积神经网络包括1个输入层、13个卷积层和4个池化层，具体地，4个池化层分别接在第2、4、7、10个卷积层之后，均为最大值池化操作，滤波器大小均为2×2，13个卷积层的卷积核均为3×3，卷积层的通道个数依次为64、64、128、128、256、256、256、512、512、512、512、512、512。

在该四元组模型中特征提取函数fa或fb所对应的深度卷积神经网络，首先需要进行层间特征融合，再将融合后的特征采用池化函数p组合后形成新特征，依次连接由所有特征转化而成的向量，最后将该向量作为分类函数c的输入。下面对这个过程进行详细描述，其具体过程如21)～24)：

21)本发明的图像识别模型所采用的卷积神经网络，在层间引入特征融合，将融合后的特征组合成新的特征。本发明实施例的特征融合是将包含较多位置信息的前层特征与包含更多语义信息的最后一层特征做融合，具体地，参照图2，设lz为深度卷积神经网络的最后一个卷积层，lx为lz之前的一个卷积层，它们的通道数分别为d1和d2，mlz和mlx分别为lx和lz对应的卷积层输出的特征，取特征mlz的所有通道在某个位置l的值将形成一个1×d1的向量mlz(l)，取mlx的所有通道在某个位置l的值将形成一个1×d2的向量mlx(l)，按下式计算lz和lx融合后的特征：

g(l,mlz,mlx)＝mlz(l)^tmlx(l)(1)

其中l代表特征图的一个位置，上标t代表转置，该融合特征为一个大小d1×d2的矩阵。

22)由lz与lx进行特征融合后，融合后的特征为一个d1×d2的矩阵，对矩阵的所有位置均进行上述融合操作，然后以如下的sum-pooling作为池化函数p，将这些融合特征按下式汇聚成一个特征：

其中λ代表所有位置的集合。

23)如公式(2)计算的特征是一个矩阵，对矩阵按逐行连接的方式转换成一个向量，具体地，设融合特征对应的矩阵的大小为d1×d2，则转换得到的向量的第md2到第(m+1)d2个元素来自该矩阵的第m行，其中0≤m＜d1。

24)对fa所对应的深度卷积神经网络cnn-a的最后一个卷积层输出特征与若干个位于其之前的卷积层输出特征，均执行步骤21～23)，转换得到多个向量；对fb所对应的深度卷积神经网络cnn-b的最后一个卷积层输出特征与若干个位于其之前的卷积层输出特征，也均执行步骤21～23)，转换得到多个向量。然后依次连接两个深度卷积神经网络中所有由特征转化而成的向量，作为分类函数c的输入。

参照图3，本发明的一个较佳实施例以卷积层5-3作为lz，分别以卷积层4-1、5-1作为lx，对lz和lx的输出做特征融合将得到两个以矩阵表示的特征。

本发明实施例的分类函数c包括一个全连接层和一个softmax层，将按步骤24)所述连接后的向量输入到全连接层和softmax层，由softmax层以概率的形式输出所属的类别判断。

3)上述图像识别模型在使用前需要进行训练获得最优模型，本发明实施例分两个阶段训练所述的图像识别模型，第一阶段，固定图1所示的卷积神经网络cnn-a和cnn-b各层的权值参数，仅训练全连接层和softmax层；第二阶段，训练图1所示的识别模型的所有层次。

第一阶段训练时，对卷积神经网络cnn-a和cnn-b加载由标准数据库imagenet训练所得的预训练模型，然后批量加载经标注的猪体图像数据，由softmax层输出与输入图像对应的类别概率。设有k个类别，按下式根据softmax层的输出与猪体图像的类别标签作损失计算

其中n为训练样本的数目，k为总的类别数，当第i个样本的真实标签为k时，yi,k＝1，否则yi,k＝0，pi,k为第i个样本由softmax层预测为标签为k的概率。以最小化上述损失函数为目标，通过迭代优化使softmax层输出的类别与猪体类别标签越来越接近，从而获得最优模型。

可选地，第一阶段训练采用momentum优化方法，学习率的取值范围可为0.00001～0.001，momentum参数可为0.5。

第二阶段训练时，全连接层和softmax层采用第一阶段训练所得的模型作为预加载模型，批量加载经标注的猪体图像数据，同样以最小化公式(3)所示的损失函数为目标，以梯度下降优化算法获取卷积神经网络各层的权值参数。可选地，本发明实施例的学习率的取值范围为0.0001～0.001。

以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。