一种菜品样本图像增强识别方法与流程

1.本发明涉及一种菜品样本图像增强识别方法，具体涉及一种基于图像数据增强的菜品识别方法。


背景技术：

2.目前基于深度学习的菜品识别的方式主要是针对餐具中菜品图像进行识别，识别过程优先提取菜品区域，提取餐具外边缘矩阵方法会将餐具信息引入，由于训练样本的样本空间覆盖性不足，菜品自身在餐具中所占空间的情况将很大程度影响菜品识别的准确率。此外使用背景建模方法去除多余餐具信息会有较大信息冗余，且生成结果不规范，同样不利于深度学习训练和识别过程。现有深度学习菜品识别应用中，训练数据中菜品样式复杂且分布不均匀，导致训练样本空间不均匀，从而模型训练完成后准确率低的问题。因此考虑设计一种直接增强菜品图像区域的方法，提升训练和使用时准确率情况。


技术实现要素：

3.本发明目的是提供了一种菜品图像增强的图像识别方法，提高识别模型的识别可能性，减少了同一类样本间差异性，从而能减少模型训练成本。
4.本发明为实现上述目的，通过以下技术方案实现：
5.步骤1：通过图像采集单元获得单个餐具盛放菜品完整图像，并以此构建原始菜品训练集；
6.步骤2：构建对抗网络包含生成器g与判别器d，均使用卷积神经网络构成，利用原始菜品训练集生成规范化菜品训练集；
7.步骤3：构建菜品识别网络并使用resnet
‑
50进行训练，利用步骤2生成规范化菜品训练集训练，获得菜品识别模型，训练过程结束；
8.步骤4：应用过程中，首先采集当日待识别菜品，单张图片采集过程与步骤1相同；
9.步骤5：构建菜品识别底库，对于步骤4获得的菜品图像，利用步骤2所使用的对抗网络生成规范化菜品；
10.步骤6：生成菜品特征，将步骤5生成的规范化底库图像利用步骤3所训练菜品识别模型，获得菜品特征向量并保存；
11.步骤7：当日待识别菜品，使用步骤4、5、6分别获得该菜品的规范化表示和特征表示；
12.步骤8、将步骤7生成的菜品特征与步骤6中所有特征采用欧氏距离进行计算比较，哪两组特征更为接近，就认为当前待检测菜品为底库中对应菜品；
13.优选的，所述步骤2中训练集生成规范化菜品训练集步骤如下：
14.1)以获得原始菜品训练集作为真实样本，训练生成器及判别器，使最终能够生成人眼可接受的菜品生成样本；
15.2)训练过程中使用生成器g生成指定类别菜品图像，使用判别器g判断是否是该类
别菜品图像；
16.3)训练过程成对交替完成，通过判别器g的判别结果优化生成器g生成图像准确度，使用生成器g生成；
17.4)结果优化判别器g对图像真实度的判断能力，最终优化函数
[0018][0019][0020]
其中，x代表输入真实图片，z代表噪声信息，c代表人为控制条件；d(x,c)为经过判别器d在某种人为参数下对原始真实图片的判断结果，(g(z),c)代表噪声z在人为控制条件情况下通过生成器g生成的图片信息，d(g(z),c)代表通过判别器d对(g(z),c)真实性的判断结果；
[0021]
5)控制条件c规定菜品在餐具中所占区域、形状、比例，通过控制参数修改生成器生成菜品结果，生成器g生成的菜品图像在非菜特征上具有相同表现形式，生成的菜品结果在餐具中所占空间位置、比例、形状接近相同，而菜品内部自身结构没有改变；
[0022]
6)训练完成后，通过控制人为条件c，将获得的原始菜品训练集输入生成器g，样本中每一个菜品图像信息生成对应的标准菜品形成规范化菜品训练集。
[0023]
本发明的优点在于：
[0024]
1、使用对抗生成网络，利用菜品自身特征对原始图像进行增强，使图像特征增加，提高识别模型的识别可能性。
[0025]
2、使用对抗生成网络对原始样本集进行统一增强，控制模型参数，使菜品图像整体具有统一样式，减少了同一类样本间差异性，从而能减少模型训练成本。
附图说明
[0026]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0027]
图1为本发明训练过程流程示意图。
[0028]
图2为本发明构建菜品库过程流程示意图。
[0029]
图3为本发明识别过程流程示意图。
具体实施方式
[0030]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]
本方案主要包含以下步骤
[0032]
步骤1：通过图像采集单元获得单个餐具盛放菜品完整图像，并以此构建原始菜品训练集。
[0033]
步骤2：构建对抗网络利用原始菜品训练集生成规范化菜品训练集。
[0034]
进一步的，对抗生成网络包含生成器g与判别器d，均使用卷积神经网络构成；
[0035]
进一步的，以步骤1获得原始菜品训练集作为真实样本，训练生成器及判别器，使最终能够生成人眼可接受的菜品生成样本；
[0036]
进一步的，训练过程中使用生成器g生成指定类别菜品图像，使用判别器g判断是否是该类别菜品图像。
[0037]
进一步的，训练过程成对交替完成，通过判别器g的判别结果优化生成器g生成图像准确度，使用生成器g生成结果优化判别器g对图像真实度的判断能力。
[0038]
进一步的，最终优化函数
[0039][0040][0041]
其中，x代表输入真实图片，z代表噪声信息，c代表人为控制条件；d(x,c)为经过判别器d在某种人为参数下对原始真实图片的判断结果，(g(z),c)代表噪声z在人为控制条件情况下通过生成器g生成的图片信息，d(g(z),c)代表通过判别器d对(g(z),c)真实性的判断结果。
[0042]
进一步的，人为控制条件c规定菜品在餐具中所占区域、形状、比例，通过控制参数修改生成器生成菜品结果，使得生成器g生成的菜品图像在非菜特征上具有相同表现形式，生成的菜品结果在餐具中所占空间位置、比例、形状接近相同，而菜品内部自身结构没有改变。
[0043]
进一步的，训练完成后，通过控制人为条件c，将步骤1获得的原始菜品训练集输入生成器g，使样本中每一个菜品图像信息生成对应的标准菜品形成规范化菜品训练集。
[0044]
步骤3：构建菜品识别网络，利用步骤2生成规范化菜品训练集训练，获得菜品识别模型。训练过程结束。
[0045]
进一步的，该菜品识别网络可以使用resnet
‑
50进行训练。
[0046]
步骤4：应用过程中，首先采集当日待识别菜品，单张图片采集过程与步骤1相同
[0047]
步骤5：构建菜品识别底库，对于步骤4获得的菜品图像，利用步骤2所使用的对抗网络生成规范化菜品。
[0048]
步骤6：生成菜品特征，将步骤5生成的规范化底库图像利用步骤3所训练菜品识别模型，获得菜品特征向量并保存。
[0049]
步骤7：当日待识别菜品，使用步骤4、5、6分别获得该菜品的规范化表示和特征表示。
[0050]
步骤8、将步骤7生成的菜品特征与步骤6中所有特征进行比较，哪两组特征更为接近，就认为当前待检测菜品为底库中对应菜品。
[0051]
进一步的，特征比对时可以采用欧氏距离进行计算。