基于餐具形状的菜品自动识别系统的计价方法
【专利摘要】本发明基于餐具形状的菜品自动识别系统的计价方法，通过容器作为媒介进行菜品识别。本发明提供的方法是通过筛选拍摄的餐盘图像中菜品区域的形状和面积特征，分割餐盘中各个菜品；然后通过训练卷积神经网络得到分类器，直接识别菜品图像来实现菜品识别。相比于现有的通过芯片或颜色之类的方式只识别容器，受到容器的局限性，本发明不需要使用特殊餐具作为容器，成本较低，亦无需将菜品与容器必须对应盛装，排除了必须将菜品盛装在对应容器中带来的错误引入因素。
【专利说明】
基于餐具形状的菜品自动识别系统的计价方法
技术领域
[0001]本发明涉及机器视觉与机器学习领域，更具体地说是涉及一种基于餐具形状的菜品自动识别系统的计价方法，本发明可以广泛应用于食堂、快餐店等提供自助选餐、结算服务的场所。【背景技术】
[0002]随着城市生活节奏的不断加快，人们越来越多地通过各类快餐来解决“食”这个问题，例如在高校、机关单位、园区食堂或者快餐连锁店，越来越多采用自主挑选菜式，再通过排队刷卡或现金结算的方式进行选择和结算。而如何对挑选的菜式进行计价，现有的技术中通常采用的方式有人工计价和自动计价两种。由于就餐人员的增多，人工给餐、计价效率低，在消费高峰期经常因为结算速度慢而导致排队现象，价格计算的准确性也难以得到保证。随着现代人们对就餐效率的要求越来越高，自助选餐、结算的需求越来越大。传统的餐盘计价方式已不能满足人们的需求。
[0003]近年出现的一些餐盘自动计价方式，规避了人工给参计价效率低、准确性难以保证等一系列问题。现有菜品自动识别计价系统多为基于餐具中内置芯片的方法，其实现步骤为:A’.不同餐具中内置存储不同菜品信息的芯片；B’.人工将菜品盛装到对应的餐具中；C’.芯片扫描装置扫描餐具，读取芯片中的菜品信息；D’.输出菜品信息，如名称、价格等。
[0004]这种方案技术较成熟，但由于采用了步骤A’，需要内置芯片的特殊餐具，成本较高；需要特殊餐具，无法应用于外带服务;对人工盛装的准确度要求高，有菜品盛放错餐具的风险。
[0005]其中，根据餐盘颜色，或形状计价的方案，因其无需使用安装芯片的特殊餐盘，成本较为低廉，成为了一种新的研究趋势。然而，在根据餐盘颜色、形状计价的不同方法中，仍存在着差异和缺陷。
[0006]申请日为2014月11月20日，公告号为CN104463167A的中国发明专利申请公开了一种《一种餐厅自动结算方法及系统》，“方法包括:拍摄检测区域中整体图像，并通过图像处理方法提取整体图像轮廓;利用轮廓信息，通过图像识别技术判断检测区域中是否有托盘及餐盘图像，将其整体图像及轮廓信息进行存储;然后利用图形学和图像处理方法提取餐盘的轮廓及色调信息；将餐盘轮廓和色调信息与数据库中的模板信息进行匹配，得到餐盘轮廓的形状及颜色;通过餐盘的形状、颜色和菜肴价格的关联，得出菜肴总金额;系统包括: 摄像头、计算机、刷卡机和显示器，无需对餐盘进行定制或改造，适用于任意形状和材料的餐盘，成本较低，高效快速，对餐盘之间的重叠、遮挡有一定的鲁棒性，无需对就餐人员摆放餐盘的方式有特别要求。”该方案通过提取颜色特征、餐具形状来识别餐具，现有方案多为将同价的菜品盛装于一种餐具中，实现识别餐具计价。然而由于餐具颜色、形状的组合有限，菜品样式往往多于餐具样式，无法单独针对菜品进行识别，提取菜品信息，如打印营养信息、菜品配方信息等，在应用中也受到局限。
[0007]上述现有的基于图像识别的结算方法，仍然没有一种能够解决上述问题的方案。
【发明内容】
[0008]本发明所要解决的技术问题是针对现有技术中存在的上述问题，提供一种直接识别菜品，准确率高，且不受容器约束，可同时现多个菜品统一计价的基于餐具形状的菜品自动识别系统的计价方法。
[0009]本发明一种基于餐具形状的菜品自动识别系统的计价方法，包括如下步骤:A、将不同价格的菜品分装在不同形状的餐具中，使餐具的形状与菜品价格进行关联；B、将盛装菜品的餐盘置于检测区，触发信号触发相机拍摄餐盘图像；C、系统读取餐盘图像，检测餐盘图像中各个菜品所在的容器区域，分割各容器区域得到单菜品图片，并将所述的单菜品图片组成单菜品图像组；D、通过训练得到分类器，将所述的单菜品图像组通过预先训练好的分类器进行识别；E、输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
[0010]更进一步地，所述的步骤C中，检测餐盘图像中各个菜品所在的容器区域包括如下步骤:C01、采用canny算子提取边缘线，通过所述的边缘线断点连接、边缘线长度筛选，调整筛选目标边缘；C02、获取边缘线最小外接圆区域作为兴趣区域；C03、遍历所述的兴趣区域，筛选特定面积范围的兴趣区域作为目标区域，得到容器区域。
[0011]更进一步地，所述的分类器，是一个卷积神经网络模型。
[0012]更进一步地，所述的步骤D中，先读取单菜品图像组中的单菜品图片，将所述的单菜品图片归一化为统一尺寸，再通过所述的卷积神经网络的卷积层、池化层、全连接层提取特征。
[0013]更进一步地，所述卷积层的卷积核初始值采用PCA主成分分析法得到。
[0014]作为优选，所述的PCA主成分分析法包括如下步骤:从每张训练图片中随机切割 10-50个12X12像素大小的patches，再从所有切得patches中随机选取10000-20000个， PCA得到若干个主成分，将均值化、白化后的若干个主成分patches保存作为卷积层1卷积核的初始值。[〇〇15]更进一步地，所述的分类器采用softmax回归分类模型对提取的特征进行分类。此方法可以解决多个类别互斥的多分类问题。
[0016]更进一步地，所述的步骤B中，所述的触发信号为压力感应信号。
[0017]更进一步地，一种分类器的训练涉及随机梯度下降的神经网络训练方法，包括如下步骤，先载入包括单菜品图片的训练组单菜品图集，将所述的单菜品图片归一化为统一尺寸，步骤还包括:51、前向传播；52、计算代价函数；53、反向传播:计算所述的分类器模型的各层残差；54、计算所述的分类器模型的各层系数的梯度；55、根据梯度修正分类器模型系数；56、重复步骤S1，直到达到预设迭代次数或代价低于预设阈值。
[0018]为解决上述问题，本发明的一种技术方案是:本发明基于餐具形状的菜品自动识别系统的计价方法，通过容器作为媒介进行菜品识另IJ。本发明提供的方法是通过筛选拍摄的餐盘图像中菜品区域的形状和面积特征，分割餐盘中各个菜品；然后通过训练卷积神经网络得到分类器，直接识别菜品图像来实现菜品识另IJ。相比于现有的通过芯片或颜色之类的方式只识别容器，受到容器的局限性，本发明不需要使用特殊餐具作为容器，成本较低，亦无需将菜品与容器必须对应盛装，排除了必须将菜品盛装在对应容器中带来的错误引入因素。
[0019]本发明通过训练卷积神经网络得到图像分类器，直接识别菜品图像。一般的深度学习算法，在进行图像识别时，会丢失原始图像的结构信息，因而影响识别效果。卷积神经网络作为深度学习的方法之一，在继承深度学习自动学习提取特征的前提下，借助局部感受野的概念进行卷积运算，保证了原始信号的空间结构关系，同时通过共享权值减少了需要训练的参数，因而在模式识别等许多领域达到了更好的效果。【附图说明】
[0020]图1是本发明基于餐具形状的菜品自动识别系统的计价方法的流程框图。[0021 ]图2是本发明所述的分类器训练的流程框图。【具体实施方式】[〇〇22]下面结合附图和实施例进一步详细说明本发明，但本发明的保护范围并不限于此。
[0023]参照图1-2,本发明一种基于餐具形状的菜品自动识别系统的计价方法，包括如下步骤:A、将不同价格的菜品分装在不同形状的餐具中，使餐具的形状与菜品价格进行关联；B、将盛装菜品的餐盘置于检测区，触发信号触发相机拍摄餐盘图像；C、系统读取餐盘图像，检测餐盘图像中各个菜品所在的容器区域，分割各容器区域得到单菜品图片，并将所述的单菜品图片组成单菜品图像组；D、通过训练得到分类器，将所述的单菜品图像组通过预先训练好的分类器进行识别；E、输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
[0024]所述的步骤C中，检测餐盘图像中各个菜品所在的容器区域包括如下步骤:C01、采用canny算子提取边缘线，通过所述的边缘线断点连接、边缘线长度筛选，调整筛选目标边缘；C02、获取边缘线最小外接圆区域作为兴趣区域；C03、遍历所述的兴趣区域，筛选特定面积范围的兴趣区域作为目标区域，得到容器区域。
[0025]所述的分类器，是一个卷积神经网络模型。所述的步骤D中，先读取单菜品图像组中的单菜品图片，将所述的单菜品图片归一化为统一尺寸，再通过所述的卷积神经网络的卷积层、池化层、全连接层提取特征。
[0026]所述卷积层的卷积核初始值采用PCA主成分分析法得到。主成分分析 (PrincipalComponentAnalysis，PCA)，是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。作为优选，所述的 PCA主成分分析法包括如下步骤:从每张训练图片中随机切割10-50个12X12像素大小的 patches，再从所有切得patches中随机选取10000-20000个，PCA得到若干个主成分，将均值化、白化后的若干个主成分patches保存作为卷积层1卷积核的初始值。[〇〇27]所述的分类器采用softmax回归分类模型对提取的特征进行分类。此方法可以解决多个类别互斥的多分类问题。[〇〇28]所述的步骤B中，所述的触发信号为压力感应信号。
[0029] —种分类器的训练涉及随机梯度下降的神经网络训练方法，步骤包括:先载入包括单菜品图片的训练组单菜品图集，将所述的单菜品图片归一化为统一尺寸，步骤还包括:51、前向传播:卷积、池化、sof tmax;52、计算代价函数；53、反向传播:计算所述的分类器模型的各层残差；54、计算所述的分类器模型的各层系数的梯度；55、根据梯度修正分类器模型系数；56、重复步骤S1，直到达到预设迭代次数或代价低于预设阈值。
[0030]作为本发明的一种实施方式，根据图1所示流程图，本发明的一个具体实施案例如下:1)将盛装菜品的餐盘置于检测区，得到餐盘图像。
[0031] 2)选取菜品容器边缘线明显的颜色通道；用canny算子基于像素提取图像中的边缘线;将边缘线在同一圆周上(此处容器为圆形)的断点连接起来;筛去细小的边缘线;再连接一次同一圆周上的断点。
[0032] 3)获取圆周边缘线的最小外接圆区域作为兴趣区域。
[0033] 4)遍历兴趣区域，将特定面积范围(菜品区域的面积有一定的范围)的兴趣区域作为目标区域。
[0034] 5)将目标区域，即容器区域，从原图中切割下来得到单菜品图片，并将所述的单菜品图片组成单菜品图像组并保存。[〇〇35] 6)将所述的单菜品图片归一化尺寸为96X96像素，通过预先训练的分类器模型， 完成一次前向传播，获得分类器预测的菜品类别。[〇〇36]7)输出识别结果。[〇〇37]需要说明的是，所述步骤7)所述的识别结果，还可以在显示屏上输出餐盘上各菜品的名称、价格等信息，以及计算得到的总价。
[0038]根据图2所示的流程图，本发明的一个训练分类器的具体实施案例如下:1)载入包含单菜品的训练组单菜品图集。[〇〇39] 2)将单菜品训练组单菜品图集的原始图片归一化为统一尺寸:96X96像素。
[0040]3)从每张训练图片中随机切割30个12X12像素大小的patches，再从所有切得patches中随机选取10000个。[〇〇41 ] 4)PCA得到48个主成分patches，均值化、白化处理。[〇〇42]5)将4)中48个主成分patches作为分类器模型卷积层1的初始值，分类器模型的其余系数随机初始化。
[0043]5)将训练组单菜品图集、标签集通过分类器模型前向传播。
[0044]6)计算代价函数(cost)。
[0045]7)反向传播，计算分类器模型各层的残差(error)。
[0046]8)计算分类器模型各层系数的梯度。[〇〇47]9)根据梯度修正分类器模型系数。[〇〇48]10 )判断迭代次数达到1000次，否则重复步骤5 )。
[0049]11)将训练得到的分类器模型用单菜品测试图集和标签集进行准确度测试。
[0050]本设计方法中采用的一个卷积神经网络分类器模型实例为3层卷积-池化层， batch size=81，具体为:Convl(12X12X48)— Pooll(Max, 5X5，stride=2)— Conv2(5 X5X48)^ Pool2(Ave , 3 X 3 , stride=2) ^ Conv3(9 X 9 X 96)^ Pool3(Ave , 5 X 5 , stride=2)^ Softmax〇
[0051]上述说明中，凡未加特别说明的，均采用现有技术中的技术手段。
【主权项】
1.一种基于餐具形状的菜品自动识别系统的计价方法，其特征在于，包括如下步骤，A.将不同价格的菜品分装在不同形状的餐具中，使餐具的形状与菜品价格进行关联；B.将盛装菜品的餐盘置于检测区，触发信号触发相机拍摄餐盘图像；C.系统读取餐盘图像，检测餐盘图像中各个菜品所在的容器区域，分割各容器区域得 到单菜品图片，并将所述的单菜品图片组成单菜品图像组；D.通过训练得到分类器，将所述的单菜品图像组通过预先训练好的分类器进行识别；E.输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。2.根据权利要求1所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征 在于，所述的步骤C中，检测餐盘图像中各个菜品所在的容器区域包括如下步骤:C01、采用canny算子提取边缘线，通过所述的边缘线断点连接、边缘线长度筛选，调整 筛选目标边缘；C02、获取边缘线最小外接圆区域作为兴趣区域；C03、遍历所述的兴趣区域，筛选特定面积范围的兴趣区域作为目标区域，得到容器区域。3.根据权利要求1中所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特 征在于，所述的分类器，是一个卷积神经网络模型。4.根据权利要求3中所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特 征在于，所述的步骤D中，先读取单菜品图像组中的单菜品图片，将所述的单菜品图片归一 化为统一尺寸，再通过卷积层、池化层、全连接层来提取特征。5.根据权利要求4所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征 在于，所述卷积层的卷积核初始值采用PCA主成分分析法得到。6.根据权利要求5所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征 在于，所述的PCA主成分分析法包括如下步骤:从每张训练图片中随机切割10-50个12X12 像素大小的patches，再从所有切得patches中随机选取10000-20000个，PCA得到若干个主 成分，将均值化、白化后的若干个主成分patches保存作为卷积层1卷积核的初始值。7.根据权利要求3或4所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特 征在于，所述的分类器采用softmax回归分类模型对提取的特征进行分类。8.根据权利要求1所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征 在于:所述的步骤B中，所述的触发信号为压力感应信号。9.根据权利要求1所述的一种基于餐具形状的菜品自动识别系统的计价方法，其特征 在于:所述的分类器的训练涉及随机梯度下降的神经网络训练方法，步骤包括:先载入包括 单菜品图片的训练组单菜品图集，将所述的单菜品图片归一化为统一尺寸，S1、前向传播；S2、计算代价函数；S3、反向传播:计算所述的分类器模型的各层残差；S4、计算所述的分类器模型的各层系数的梯度；S5、根据梯度修正分类器模型系数；S6、重复步骤S1，直到达到预设迭代次数或代价低于预设阈值。
【文档编号】G06Q50/12GK106096932SQ201610391888
【公开日】2016年11月9日
【申请日】2016年6月6日 公开号201610391888.5, CN 106096932 A, CN 106096932A, CN 201610391888, CN-A-106096932, CN106096932 A, CN106096932A, CN201610391888, CN201610391888.5
【发明人】周柔刚, 周才健, 许允迪
【申请人】杭州汇萃智能科技有限公司