一种基于卷积神经网络的多模型对成品菜的识别方法与流程

本发明属于数据识别技术领域，特别涉及一种基于卷积神经网络的多模型对成品菜的识别方法。

背景技术：

基于卷积神经网络技术的人脸识别、行人识别、车牌识别等产品，可应用与安检系统、门禁系统、安防系统、自动停车场等，但由于其应用场合的特殊性，在普通日常生活中推广应用难道较高。

s.ysngetal.提出的一种识别快餐食物的系统，yoshiyukietal.针对日餐提出的具有现有类别适应性的系统。但这些系统对品种繁复多样的中餐来说并不适用，且对图像中目标位置、图像亮度等有特殊要求，操作相对复杂。

公开号为cn106845527a的中国专利文献公开了一种菜品识别方法，包括以下步骤：1)获得web请求，服务器相应web请求，获取相应图像；2)保存图像，获取输入数据流，生成图像文件名并保存至磁盘；3)图像预处理，对输入的图像进行尺寸调整和归一化；4)使用预先训练的卷积神经网络进行处理，对图像上的物体进行检测及分类，如果没有检测到菜品则结束，如果检测到菜品，则结合分类结果，输出相应菜品信息。公开号为cn106096932a的中国专利文献公开了基于餐具形状的菜品自动识别系统的计价方法，通过容器作为媒介进行菜品识别。通过筛选拍摄的餐盘图像中菜品区域的形状和面积特征，分割餐盘中各个菜品；然后通过训练卷积神经网络得到分类器，直接识别菜品图像来实现菜品识别。

上述方法中使用传统的常规图像识别方法和卷积神经网络方法，如surf、hog、颜色特征等，而中餐成品菜颜色多样，形态复杂，常规方法有一定的局限性，某些过程仍然需要人工选择与矫正；浅层神经网络因模型容量较小等原因容易欠拟合，而深层神经网络比以上方法效果更优，一般可以取得较好的识别效果，但是可能因单一模型的性能和容量而限制其识别效果。因此，需要对图像既有很好的适应性又有较好的识别效果的方法。

技术实现要素：

本发明的目的在于提供一种基于卷积神经网络的多模型对成品菜的识别方法，避免了人工选取特征和传统特征度量方法适应性不强的缺点，剔除特征中的冗余信息，利于提升识别的准确性。

一种基于卷积神经网络的多模型对成品菜的识别方法，包括以下步骤：

(1)收集成品菜的图像，根据菜品种类进行标签标注；

(2)对图像进行白平衡和均衡化处理，得到训练数据集；

(3)构建至少两个不同的卷积神经网络模型，用步骤(2)得到的训练数据集分别进行迭代训练，得到训练完成后的卷积神经网络模型；

所述的卷积神经网络模型包括：

特征提取模块，提取待测图像的特征，输出特征图至pca处理模块和融合分类模块；

pca处理模块，对输入的特征图进行特征信息提取，输出特征信息至融合分类模块；

融合分类模块，包括全连接层和分类器，全连接层对输入的特征图和特征信息进行全连接计算，分类器对全连接层的输出进行每个类别对应的概率值的预测计算；

(4)将待测图像分别输入训练完成后的卷积神经网络模型进行识别，每个卷积神经网络模型输出菜品种类中每个类别对应的概率值；

(5)用投票算法计算不同卷积神经网络模型输出的同一类别对应的概率值的平均值，选取平均值中的最高值所对应的类别作为识别结果。

在步骤(2)中，所述的白平衡处理包括以下步骤：

(2-1)计算输入图像的三个颜色通道的亮度平均值；

(2-2)计算步骤(2-1)得到的三个亮度平均值的平均值k；

(2-3)使用平均值k分别除以三个颜色通道的亮度平均值，得到三个颜色通道的增益系数；

(2-4)三个颜色通道的亮度值乘以对应的增益系数得到更新的亮度值，得到白平衡处理后的图像。

为避免溢出现象，将更新的亮度值的范围限定在0～255之间。

在步骤(2)中，所述的均衡化处理为对白平衡处理后的图像进行直方图均衡化处理。

使用直方图均衡化对图像中的所有像素进行处理，计算公式如下：

其中，nj是灰度级为j的像素个数，n是图像中像素的数量总和，g是图像中的灰度级总数，pk是灰度级j在图像中出现的概率。使用以上方式计算后，图像中各种灰度级得到各自对应的概率值。

将灰度级按照从小到大的顺序依次排列，各个概率值对应各自的灰度级；用概率计算各个灰度级对应的累计概率，使用累计概率对图像的灰度级进行拉伸变换。累计概率是从低灰度级往高灰度级的方向进行计算，当前灰度级对应的累计概率为当前灰度级对应的概率加上比当前灰度级小一级的灰度级对应的概率。通过以上计算得到各个灰度级对应的累计概率，每个概率值的范围在0和1之间。而实例中图像的像素值范围在0和255之间，为了概率值到图像像素值的映射，将累计概率值与像素值最大值255相乘并取整得到变换后的像素值，然后得到均衡化的图像。

所述的卷积神经网络模型为三个，分别以resnet34、resnet50和inception_v3为基础，在卷积层和全连接层之间加入pca处理模块，全连接层后加入分类器。以卷积层作为特征提取模块，全连接层和分类器作为融合分类模块。

所述的特征提取模块提取待测图像的特征的方法为用卷积核遍历图像的像素进行计算：

其中，f(x,y)是输入图像，g(x,y)是卷积核函数，x与y为像素坐标值，m与n分别代表卷积核的长、宽。

使用卷积方法来提取特征，其提取的特征具有一定的区域性，同时滤除噪声，经过多层卷积后的特征包含了更多的语义信息且具有较好的空间不变性。因不同的卷积核可以计算得到不同的特征，所以不同的卷积核遍历图像信息以提取不同的特征信息。

所述的pca处理模块提取特征信息的方法为：

其中为特征量的平均向量，x是输入的特征，u是特征的协方差矩阵的特征向量组成的矩阵，y为pca处理后的特征信息。

pca是principalcomponentanalysis的缩写，中文名称为主成分分析，是一种对数据进行分析的技术，主要的应用是对原有数据进行简化，找出数据中的重要的元素，去除冗余信息。在卷积神经网络中得到的特征图中具有大量的信息，使用pca从特征图中选取主要信息，然后将选取的主要信息与特征图结合一起，有助于增加主要信息的权重，突出有助于识别的重要信息。

所述的分类器为softmax回归模型。

菜品种类繁多，菜品之间各不相同，本发明将菜品识别看做类间互斥的多类别分类问题，因此选择适用于多分类问题的softmax回归模型。softmax将全连接后的多个神经元的输出映射到(0,1)区间内，将分类问题转换为概率问题，某类的概率越高，则认为属于这个类别的可能性更大，其函数形式如下：

其中，zj是第j个神经元的输出量，n是总的类别数量，p(z)j是第j个类别的概率值。模型对于每一个类别都输出一个概率值，n个类别则有n个概率值。

在步骤(5)中，所述的投票算法计算平均值的方法为：

其中，i是菜品类别，n是菜品类别数量，pnet_m(i)是三个卷积神经网络模型中第m个模型输出的n个概率值中对应类别i的概率值，pave(i)是三个卷积神经网络模型在类别i的平均概率值。

本发明提供的识别方法中每个卷积神经网络模型中分类器输出的概率值数量与菜品类别数量相等，对每一个菜品类别都有一个概率值，再使用投票算法针对各个类别的概率处理：投票算法计算三个模型输出的类别概率中同一类别对应概率值的平均值，再选取最高概率的类别作为最后的识别类别。

本发明提供的基于卷积神经网络的多模型对成品菜的识别方法，通过将深度卷积神经网络与成品菜的类别识别相结合，利用卷积神经网络的特征自动提取和自动优化的优势，同时使用pca方法消除冗余信息，然后使用投票方法综合多模型的识别结果得到最终的分类结果。

与现有技术相比，本发明的有益效果为：

(1)充分利用卷积神经网络自动提取并优化的特征提取功能，其特征对形态、角度等属性具有良好的适应性，避免了人工选取特征和传统特征度量方法适应性不强的缺点；

(2)结合网络的自动特征提取和pca处理，剔除特征中的冗余信息，加强有用信息的权重，突出用于判别的重要信息；

(3)使用投票算法将多个不同模型的结果结合起来，综合多个模型的优点，利于提升识别的准确性。

附图说明

图1为本发明提供的成品菜的识别方法的流程图。

具体实施方式

为使本发明的技术方案及优点更加清楚明白，以下结合具体实施例对本发明进行进一步的详细说明。

如图1所示，一种基于卷积神经网络的多模型成品菜识别方法，包括如下步骤：

(1)收集成品菜的图像，根据菜品种类进行标签标注。

通过网络搜索、实景拍摄的方式得到成品菜的图像，删除其中的重复图片，再根据菜品的种类进行分类和标签标注。

在本实施例中，菜品的种类为n个类别，其中，n大于等于2。

(2)对图像进行白平衡和均衡化处理，得到训练数据集。

实际的菜品图像亮度不一，部分图像因拍摄环境的光线等原因导致图像无法反应菜品的真实颜色，为了整体的稳定性，需要对图像进行白平衡和均衡化处理。

在具体实施中，使用灰度白平衡方法对图像进行处理，计算方式如下：

(2-1)本实例的图像是rgb通道，首先分别计算r、g、b三个通道的亮度平均值，计算公式如下：

其中i，j分别表示像素的横纵坐标，m，n分别表示图像的长度与宽度。使用上述公式计算三个通道的亮度平均值分别为mr、mg、mb。

(2-2)计算(2-1)中三个通道的亮度平均值的平均值k，计算公式如下：

(2-3)使用(2-2)得到的平均值k，结合三个通道的平均值，分别计算各个通道的增益参数，计算公式如下：

其中mc表示第c通道的平均值，kc表示第c通道的增益系数。

(2-4)根据(2-3)得到的增益系数，对图像中r、g、b通道的各个像素进行处理，计算公式如下：

pnew＝pc×kc

其中pc表示第c通道中的像素值，kc对应第c通道的增益系数，pnew是计算后得到的新像素。为避免溢出现象，需要将像素的数值限定在0～255范围内。

(2-5)对经过白平衡处理的图像，使用直方图均衡化对图像中的所有像素进行处理，计算公式如下：

其中，nj是灰度级为j的像素个数，n是图像中像素的数量总和，g是图像中的灰度级总数，pk是灰度级j在图像中出现的概率。使用以上方式计算后，图像中各种灰度级得到各自对应的概率值。

将灰度级按照从小到大的顺序依次排列，各个概率值对应各自的灰度级。用概率计算各个灰度级对应的累计概率，使用累计概率对图像的灰度级进行拉伸变换。累计概率是从低灰度级往高灰度级的方向进行计算，当前灰度级对应的累计概率为当前灰度级对应的概率加上比当前灰度级小一级的灰度级对应的概率。通过以上计算得到各个灰度级对应的累计概率，每个概率值的范围在0和1之间。而实例中图像的像素值范围在0和255之间，为了概率值到图像像素值的映射，将累计概率值与像素值最大值255相乘并取整得到变换后的像素值，然后得到均衡化的图像。

(3)构建三个不同的卷积神经网络模型，用步骤(2)得到的训练数据集分别进行迭代训练，得到训练完成后的卷积神经网络模型。

本实施例中采用的三个不同的卷积神经网络模型分别以resnet34、resnet50和inception_v3为基础，在卷积层和全连接层之间加入pca处理模块，全连接层后加入分类器。分别称为第一模型、第二模型和第三模型。

第一模型、第二模型和第三模型均包括：

特征提取模块，提取待测图像的特征，输出特征图至pca处理模块和融合分类模块。

图像数据特征提取是进行图像高级识别的基础，特征提取目的是将图像关键信息提取出来，如纹理、形状等。传统的特征提取方法对使用环境具有一定的依赖性，对于较复杂的情况缺乏一定的适应性。

本实施例，使用卷积方法来提取特征，其提取的特征具有一定的区域性，同时滤除噪声，经过多层卷积后的特征包含了更多的语义信息且具有较好的空间不变性，其计算公式如下：

其中，f(x,y)是输入图像，g(x,y)是卷积核函数，x与y为像素坐标值，m与n分别代表卷积核的长、宽，用卷积核遍历图像的像素进行计算。因不同的卷积核可以计算得到不同的特征，所以不同的卷积核遍历图像信息以提取不同的特征信息。

pca处理模块，对输入的特征图进行特征信息提取，输出特征信息至融合分类模块。

主成分分析的计算过程为根据特征量首先计算协方差矩阵，利用其特征值分解求解特征向量，使用特征向量构造投影矩阵，然后利用投影矩阵得出简化后的数据，其核心计算公式如下：

其中为特征量的平均向量，x是输入的特征，u是特征的协方差矩阵的特征向量组成的矩阵，y为pca处理后的特征信息。

融合分类模块，包括全连接层和分类器，全连接层对输入的特征图和特征信息进行全连接计算，分类器对全连接层的输出进行每个类别对应的概率值的预测计算。

菜品种类繁多，菜品之间各不相同，本发明将菜品识别看做类间互斥的多类别分类问题，在实施中选择适用于多分类问题的softmax回归模型。softmax将全连接后的多个神经元的输出映射到(0,1)区间内，将分类问题转换为概率问题，某类的概率越高，则认为属于这个类别的可能性更大，其函数形式如下：

其中，zj是第j个神经元的输出量，n是总的类别数量，p(z)j是第j个类别的概率值。每个卷积神经网络模型对于每一个类别都输出一个概率值，n个类别则有n个概率值。

利用步骤(2)得到的训练数据集对步骤(3)中的resnet34、resnet50和inception_v3分别进行迭代训练，得到训练完成后的三个卷积神经网络模型。

(4)将待测图像分别输入训练完成后的卷积神经网络模型进行识别，每个卷积神经网络模型输出菜品种类中每个类别对应的概率值。

将白平衡和均衡化处理的待测图像分别输入到第一模型、第二模型和第三模型中，对分类结果进行预测，分别输出n个菜品类别对应的n个概率值。即，第一模型、第二模型和第三模型输出的概率值数量与菜品类别数量相等，对每一个菜品类别都有一个概率值。

(5)用投票算法计算第一模型、第二模型和第三模型输出的同一类别对应的概率值的平均值，选取平均值中的最高值所对应的类别作为识别结果。

计算概率值的平均值的公式如下：

其中，i是菜品类别，n是菜品类别数量，pnet_m(i)是三个卷积神经网络模型中第m个模型输出的n个概率值中对应类别i的概率值，pave(i)是三个卷积神经网络模型在类别i的平均概率值(概率值的平均值)。

对n个类别中的每个类别分别计算平均概率值，得到n个平均概率值，再从n个平均概率值中选择最大值对应的类别作为最终预测的类别。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。