菜品自动识别系统及其方法与流程

本技术涉及智能识别领域，且更为具体地，涉及一种菜品自动识别系统及其方法。

背景技术：

1、随着人工智能的进步和发展，传统的餐厅都是依靠人工来结算菜品，这样会导致排队等候的时间长，结算出错等问题。而现有市场上存在的菜品识别大多数采用特定的用餐工具，如餐具的形状、餐具的颜色来区分菜品来达到识别菜品的目的，餐具成本高，需采购专用餐具，智能化程度低。

2、因此，期待一种优化的菜品自动识别方案，通过采集菜品的图像，并基于所述菜品的图像特征来确定得到分类结果，分类结果用于表示所属的菜品类别。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种菜品自动识别系统及其方法，其通过采用基于深度学习的人工智能算法来对菜品的检测图像进行图像像素增强、颜色空间转化和深浅特征的提取，以得到用于表示所属的菜品类别。这样，构建菜品自动识别方案，能够智能识别菜品，为顾客提供更加精准的点餐服务，提高运营效率。

2、根据本技术的一个方面，提供了一种菜品自动识别系统，其包括：

3、菜品检测模块，用于获取菜品的检测图像；

4、图像增强模块，用于将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像；

5、转换模块，用于将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图；

6、多通道聚合模块，用于将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图；

7、深浅特征融合模块，用于将所述多通道lbp纹理特征直方图通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及

8、菜品类型识别模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示所属的菜品类别。

9、在上述菜品自动识别系统中，所述图像增强模块，包括：将所述检测图像输入训练完成的所述基于对抗生成网络的图像增强器的生成器以得到所述像素增强检测图像。

10、在上述菜品自动识别系统中，所述深浅特征融合模块，包括：浅层特征提取单元，用于将所述多通道lbp纹理特征直方图通过所述包含深浅特征融合模块的卷积神经网络模型的浅层以得到浅层特征图；深层特征提取单元，用于将所述多通道lbp纹理特征直方图通过所述包含深浅特征融合模块的卷积神经网络模型的深层以得到深层特征图；以及，融合单元，用于对所述深层特征图和所述浅层特征图进行按位置联合相关以得到所述分类特征图。

11、在上述菜品自动识别系统中，所述融合单元，包括：展开子单元，用于将所述深层特征图和所述浅层特征图分别展开为浅层特征向量和深层特征向量；二维联合子单元，用于将所述浅层特征向量和所述深层特征向量排列为二维联合矩阵；中心化处理子单元，用于对所述二维联合矩阵进行中心化处理(即，各个元素减去所述二维联合矩阵的均值)以得到去中心化二维联合矩阵；协方差子单元，用于计算所述去中心化二维联合矩阵的协方差矩阵；分解子单元，用于对所述协方差矩阵进行基于特征值的矩阵分解以得到多个特征值以及对应于所述多个特征值的多个特征值向量；以及，排列子单元，用于将所述多个特征值向量排列为所述分类特征图。

12、在上述菜品自动识别系统中，所述包含深浅特征融合模块的卷积神经网络模型的浅层为4-6层，所述包含深浅特征融合模块的卷积神经网络模型的深层与所述包含深浅特征融合模块的卷积神经网络模型的浅层之间的比值大于等于5。

13、在上述菜品自动识别系统中，所述菜品类型识别模块，用于：使用所述分类器以如下分类公式对所述分类特征向量进行处理以生成所述分类结果；其中，所述分类公式为：

14、

15、其中o为输出结果向量，wi和bi分别为第i个分类对应的权重和偏置向量，exp(·)表示向量的指数运算，所述向量的指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，x表示所述分类特征向量。

16、根据本技术的另一方面，提供了一种菜品自动识别方法，其包括：

17、获取菜品的检测图像；

18、将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像；

19、将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图；

20、将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图；

21、将所述多通道lbp纹理特征直方图通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及

22、将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示所属的菜品类别。

23、在上述菜品自动识别方法中，将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像，包括：将所述检测图像输入训练完成的所述基于对抗生成网络的图像增强器的生成器以得到所述像素增强检测图像。

24、在上述菜品自动识别方法中，将所述多通道lbp纹理特征直方图通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图，包括：将所述多通道lbp纹理特征直方图通过所述包含深浅特征融合模块的卷积神经网络模型的浅层以得到浅层特征图；将所述多通道lbp纹理特征直方图通过所述包含深浅特征融合模块的卷积神经网络模型的深层以得到深层特征图；以及，对所述深层特征图和所述浅层特征图进行按位置联合相关以得到所述分类特征图。

25、在上述菜品自动识别方法中，对所述深层特征图和所述浅层特征图进行按位置联合相关以得到所述分类特征图，包括：将所述深层特征图和所述浅层特征图分别展开为浅层特征向量和深层特征向量；将所述浅层特征向量和所述深层特征向量排列为二维联合矩阵；对所述二维联合矩阵进行中心化处理(即，各个元素减去所述二维联合矩阵的均值)以得到去中心化二维联合矩阵；计算所述去中心化二维联合矩阵的协方差矩阵；对所述协方差矩阵进行基于特征值的矩阵分解以得到多个特征值以及对应于所述多个特征值的多个特征值向量；以及，将所述多个特征值向量排列为所述分类特征图。。

26、在上述菜品自动识别方法中，所述包含深浅特征融合模块的卷积神经网络模型的浅层为4-6层，所述包含深浅特征融合模块的卷积神经网络模型的深层与所述包含深浅特征融合模块的卷积神经网络模型的浅层之间的比值大于等于5。

27、在上述菜品自动识别方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示所属的菜品类别，用于：使用所述分类器以如下分类公式对所述分类特征向量进行处理以生成所述分类结果；其中，所述分类公式为：

28、

29、其中o为输出结果向量，wi和bi分别为第i个分类对应的权重和偏置向量，exp(·)表示向量的指数运算，所述向量的指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，x表示所述分类特征向量。

30、与现有技术相比，本技术提供的一种菜品自动识别系统及其方法，其通过采用基于深度学习的人工智能算法来对菜品的检测图像进行图像像素增强、颜色空间转化和深浅特征的提取，以得到用于表示所属的菜品类别。这样，构建菜品自动识别方案，能够智能识别菜品，为顾客提供更加精准的点餐服务，提高运营效率。