基于餐具颜色的菜品自动识别系统的计价方法
【专利摘要】本发明基于餐具颜色的菜品自动识别系统的计价方法，本发明提供的方法是通过拍摄餐盘图像，预先训练的分类器检测出不同颜色餐具的位置、数量和色彩信息，其中不同的色彩对应不同的价格，从而得到餐盘中各菜品的价格和总价，达到自动分类计价的目的。本发明鲁棒性好，适用于任意形状和材料的餐盘。这种方法有效地降低了材料成本，提高了自助选餐、结算的效率。
【专利说明】
基于餐具颜色的菜品自动识别系统的计价方法
技术领域
[0001]本发明涉及机器视觉与机器学习领域，更具体地说是涉及一种基于餐具颜色的菜品自动识别系统的计价方法，本发明可以广泛应用于食堂、快餐店等提供自助选餐、结算服务的场所。
【背景技术】
[0002]随着城市生活节奏的不断加快，人们越来越多地通过各类快餐来解决“食”这个问题，例如在高校、机关单位、园区食堂或者快餐连锁店，越来越多采用自主挑选菜式，再通过排队刷卡或现金结算的方式进行选择和结算。而如何对挑选的菜式进行计价，现有的技术中通常采用的方式有人工计价和自动计价两种。由于就餐人员的增多，人工给餐、计价效率低，在消费高峰期经常因为结算速度慢而导致排队现象，价格计算的准确性也难以得到保证。随着现代人们对就餐效率的要求越来越高，自助选餐、结算的需求越来越大。传统的餐盘计价方式已不能满足人们的需求。
[0003]近年出现的一些餐盘自动计价方式，规避了人工给参计价效率低、准确性难以保证等一系列问题。现有菜品自动识别计价系统多为基于餐具中内置芯片的方法，其实现步骤为:
A’.不同餐具中内置存储不同菜品信息的芯片；
B’.人工将菜品盛装到对应的餐具中；
C’.芯片扫描装置扫描餐具，读取芯片中的菜品信息；
D’.输出菜品信息，如名称、价格等。
[0004]这种方案技术较成熟，但由于采用了步骤A，需要内置芯片的特殊餐具，成本较高。
[0005]其中，根据餐盘颜色计价的方案，因其无需使用安装芯片的特殊餐盘，成本较为低廉，成为了一种新的研究趋势。然而，在根据餐盘颜色计价的不同方法中，仍存在着差异和缺陷。
[0006]例如，申请日为2014月05月08日，公告号为CN 103971471 A的中国发明专利申请公开了一种《基于颜色识别的餐盘自动计价方法及其系统》，“颜色传感器采集餐盘底面的颜色后，将颜色信号发送至单片机;接着，单片机通过计算颜色信号后计算出不同餐盘所对应的价格，并将价格信号发送至显示屏;然后，显示屏根据收到的价格信号显示相应的收费价格。”该方案采用颜色传感器采集单个餐具底面颜色，通过R、G、B三分量的电流信号强弱来识别该餐具颜色。其缺点是，一是单纯基于图像颜色信息，易受光照等因素的影响；二是需将餐具底部无阻隔地置于相对固定的位置内使颜色传感器可进行采集，对餐盘的摆放方式有特别要求和限制；另外，需每个餐盘逐一识别逐一计价，不能同时识别多个餐盘，应用时非常不方便。
[0007]上述现有的基于图像识别的结算方法，易受光照环境因素的影响，对餐盘的摆放方式有特别限制，需每个餐盘逐一识别逐一计价，或者，只能针对餐盘而不能同时提取菜品信息，目前，仍然没有一种能够解决上述问题的方案。
【发明内容】
[0008]本发明所要解决的技术问题是针对现有技术中存在的上述问题，提供了一种不易受到光照条件影响和摆放位置的束缚，可同时现多个菜品统一计价，高效快捷的基于餐具颜色的菜品自动识别系统的计价方法。
[0009]本发明公开的一种基于餐具颜色的菜品自动识别系统的计价方法，
A.将不同价格的菜品分装在不同颜色的餐具中，使餐具的颜色组合与菜品价格进行关联；
B.将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C.通过训练得到分类器，利用所述的分类器处理图像，检测图像中各目标颜色的兴趣区域，并进行分割；
D.遍历各兴趣区域，根据餐具的形状及大小特征筛选兴趣区域，框定餐具区域；
E.输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
[0010]作为优选，所述的步骤D中，具体步骤包括:
DOl.将可能在特定半径圆内的边缘融合；
D02.通过兴趣区域合并连接相邻兴趣区域；
D03.通过限定兴趣区域面积范围排除菜品颜色干扰，筛选出餐具区域；
D04.通过形状转换将餐具区域框定。
[0011]作为优选，所述的分类器采用GMM的方法训练得到，包括如下步骤:
C01.读取训练图片；
C02.框选出需要检测的K个彩色餐具并标记其颜色；
C03.将K个彩色区域加入到GMM模型，并进行训练；
C04.基于训练好的GMM模型建立显示查找表分类器。
[0012]作为优选，所述的触发信号为为压力感应信号。
[0013]为解决上述问题，本发明的一种技术方案是:
基于餐具颜色的菜品自动识别系统的计价方法，本发明提供的方法是通过拍摄餐盘图像，预先训练的分类器检测出不同颜色餐具的位置、数量和色彩信息，其中不同的色彩对应不同的价格，从而得到餐盘中各菜品的价格和总价，达到自动分类计价的目的。本发明鲁棒性好，适用于任意形状和材料的餐盘。这种方法有效地降低了材料成本，提高了自助选餐、结算的效率。
【附图说明】
[0014]图1是本发明基于餐具颜色的菜品自动识别系统的计价方法的流程框图。
【具体实施方式】
[0015]下面结合附图和实施例进一步详细说明本发明，但本发明的保护范围并不限于此。
[0016]参照图1，本发明公开的一种基于餐具颜色的菜品自动识别系统的计价方法，包括如下步骤: A.将不同价格的菜品分装在不同颜色的餐具中，使餐具的颜色组合与菜品价格进行关联；
B.将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像；
C.通过训练得到分类器，利用所述的分类器处理图像，检测图像中各目标颜色的兴趣区域，并进行分割；
D.遍历各兴趣区域，根据餐具的形状及大小特征筛选兴趣区域，框定餐具区域；
E.输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。
[0017]所述的步骤D中，具体步骤包括:
DOl.将可能在特定半径圆内的边缘融合；
D02.通过兴趣区域合并连接相邻兴趣区域；
D03.通过限定兴趣区域面积范围排除菜品颜色干扰，筛选出餐具区域；
D04.通过形状转换将餐具区域框定。
[0018]所述的分类器采用GMM的方法训练得到，包括如下步骤:
C01.读取训练图片；
C02.框选出需要检测的K个彩色餐具并标记其颜色；
C03.将K个彩色区域加入到GMM模型，并进行训练；
C04.基于训练好的GMM模型建立显示查找表分类器。
[0019]所述的触发信号为为压力感应信号。
[0020]GMM模型，即高斯混合模型，具有鲁棒性好，参数少且易于调整，概率统计分布描述能力强等优点。
[0021]对图像背景建立高斯模型的原理及过程:图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。
[0022]混合高斯模型使用K个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。通观整个高斯模型，主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。
[0023]根据图1所示流程图，本发明的一个具体实施案例如下:
I)读取餐盘图像。
[0024]2)GMM分类器分割各颜色的区域作为兴趣区域。
[0025]3)遍历各颜色，对相应兴趣区域做以下所述4)-7)步骤的处理。
[0026]4)检索可能在半径为5的圆形元素上的区域，闭合成圆。
[0027]5)区域合并操作将相邻接的区域融合为一个整体区域。
[0028]6)设定筛选面积范围为2500-99999，剔除菜品图像带来的颜色干扰。
[0029]7)用凸多边形框框定筛选得到的特定颜色的餐具，并标记。
[0030]8)各颜色遍历完成，输出餐盘上餐具的数量及价格(颜色)信息，并计算总价输出。[0031 ]本发明的一个训练分类器的具体实施案例如下:
I)载入训练用图片，图片最好包含所有颜色的餐具。
[0032]2)在各个餐具位置框选出需要检测的K个颜色区域，并标记其颜色分别保存这些区域。
[0033]3)将K个颜色区域打包加入GMM模型，调整模型参数(图像通道数、类别数、随机种子等)，调整训练参数(学习率、迭代次数等)，进行模型训练。
[0034]4)将训练好的GMM模型转换为LUT显示查找表，以便于分类分割兴趣区域。
[0035]5)输出基于GMM的显示查找表分类器，用于菜品分类计价系统。
[0036]需要注意，以上列举的实例仅为本发明的具体实施例子，本发明包含但不限于以上实例，参数设置可以有许多变化，这些参数设置变化同样应属于本发明的保护范围。
【主权项】
1.一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，包括如下步骤: A.将不同价格的菜品分装在不同颜色的餐具中，使餐具的颜色组合与菜品价格进行关联；B.将待计价的菜品置于检测区，触发信号触发相机拍摄餐盘图像，提取整体图像； C.通过训练得到分类器，利用所述的分类器处理图像，检测图像中各目标颜色的兴趣区域，并进行分割； D.遍历各兴趣区域，根据餐具的形状及大小特征筛选兴趣区域，框定餐具区域； E.输出检测到的各餐具区域对应的菜品信息，并合并价格计算得到总价。2.根据权利要求1所述的一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，所述的步骤D中，具体步骤包括: DOl.将可能在特定半径圆内的边缘融合； D02.通过兴趣区域合并连接相邻兴趣区域； D03.通过限定兴趣区域面积范围排除菜品颜色干扰，筛选出餐具区域； D04.通过形状转换将餐具区域框定。3.根据权利要求1所述的一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，所述的分类器采用GMM的方法训练得到，包括如下步骤: C01.读取训练图片； C02.框选出需要检测的K个彩色餐具并标记其颜色； C03.将K个彩色区域加入到GMM模型，并进行训练； C04.基于训练好的GMM模型建立显示查找表分类器。4.根据权利要求1所述的一种基于餐具颜色的菜品自动识别系统的计价方法，其特征在于，所述的触发信号为为压力感应信号。
【文档编号】G06K9/32GK106056802SQ201610391791
【公开日】2016年10月26日
【申请日】2016年6月6日
【发明人】周柔刚, 周才健, 许允迪
【申请人】杭州汇萃智能科技有限公司