自选餐厅自动计价方法与流程

本发明为自选餐厅自动计价方法，尤其涉及智能菜品分割和识别，属于计算机视觉技术和智慧餐厅技术领域。

背景技术：

自选快餐是在中式快餐的基础上发展延伸的一种快餐模式。自选餐厅会整齐罗列成批制作好的饭菜，客户拿着托盘排队挑选喜欢的菜品，即刻结算上桌。这种模式方便快捷，自由度高，应用范围几乎涵盖包括产业园区、企业工厂、国家机关、学校、医院、军队等所有的组织单位，市场规模不断扩大。然而目前的自选餐厅仍依靠人工计价结算。一方面收银员需要将每盘菜的价格逐个录入计算机以完成计价结算，效率较低且容易出错，导致高峰期排队过长影响用餐体验；另一方面，随着经济的发展和人口结构的变化，人力成本不断攀升，人流量大的自选餐厅往往需要雇佣多名收银员才能应对高峰期，增加了运营成本。

近年来随着深度学习模型的提出和发展，人工智能系统在很多单项任务上取得了突破性进展，甚至超越了人类的表现，并在工业领域取得广泛的应用。而人力密集型的餐饮服务业仍依然停留在全人工操作的阶段。利用计算机视觉和人工智能技术实现自选餐厅的自动计价系统，能够减少排队时间，提升用餐体验，降低人力成本，有效提高自选餐厅的运营效率。

目前，市面上已经有成熟的基于rfid技术的自动计价系统在一些学校食堂等自选式餐厅运行。但是此类系统往往成本昂贵，部署复杂，且由于碗碟中rfid芯片容易损坏，实际应用效果并不理想。相比之下，基于计算机视觉技术的计价系统成本较低，部署灵活，鲁棒性强。经过对现有的视觉自动计价系统的文献检索发现，根据识别的对象可以将目前的基于图像识别的自动计价系统分为以下两类：

第一、碗碟识别

自选餐厅使用的碗碟可以通过颜色、形状加以区分。碗碟的外形与菜价一一对应，通过识别碗碟的颜色、形状即可实现自动计价。这类系统包括中国专利公开号cn103971471，公开日2014年8月6日，专利名称：基于颜色识别的餐盘自动计价方法及其系统，该系统利用颜色传感器通过对餐盘底部的颜色的识别来区分价格。中国专利公开号cn104463167，公开日2015年3月25日，专利名称：一种餐厅自动结算方法及系统，该系统通过提取碗碟的形状和色调特征进行模板匹配实现碗碟识别。这类方法的优点是稳定可靠，但其局限性在于：一方面餐厅必须更换有区分性的碗碟；另一方面，碗碟清洗及上菜过程中均需对碗碟进行区分整理，增加了员工的工作量。

第二、菜品识别

这类系统通过提取菜品本身的纹理、颜色等特征识别菜品，进而完成结算。比如中国专利公开号cn104077842，公开日2014年10月1日，专利名称：基于图像识别的自选餐厅自助付费装置及其使用方法。利用机器学习的方法，对菜品图像进行离线学习，然后在结算时对菜品进行识别获得相应菜价。该专利提出的方法的优点是可以不用更换碗碟，降低系统成本，然而实际应用中存在以下问题：一是该专利中采用hough变换算法进行餐盘检测，对餐盘的轮廓完整性要求较高，无法应对实际应用中容易出现的部分餐盘被遮挡的情况(比如叠盘，手的遮挡)；二是该专利中采用基于卷积神经网络的分类模型做菜品识别，此类模型参数复杂，对数据量要求非常大，要识别一种菜品必须采集上百甚至上千盘菜品图片才有能达到足够的准确率，且一旦餐厅推出新菜品，又需重新采集重新训练和更新模型，给餐厅的实际应用带来了不便和困难。

相比之下，基于菜品识别的自动结算系统虽然比基于碗碟识别的系统更具挑战，但是其无需更换餐厅碗碟，且能获得具体到菜品的更详细销售信息，对餐厅意义更大，如果能解决稳定度、准确率以及实用性的问题，则应成为更理想的计价方案。

技术实现要素：

针对目前已有的基于菜品识别的自动计价系统存在的上述问题，本发明提出一种新的自选餐厅自动计价系统和方法。该方案通过红外感应装置和视频静止检测程序相级联的方法提高了餐盘图片采集的速度和清晰度；通过区域生成网络实现才菜品的精准定位和分割，且对于餐盘被遮挡的情况具有很强的鲁棒性和抗干扰性；通过将深度学习与度量学习技术相结合，采用深度孪生度量网络，提高了菜品识别的准确率和鲁棒性，克服了传统深度学习网络对样本数量的依赖性，使得数据库中仅需存放一张菜品示例图片即可实现该菜品的准确匹配识别，提高了系统的灵活性、实用性和普适性。

本发明提供了一种自选餐厅自动计价方法，它包括以下步骤：

1)在收银台面上布置高清摄像装置、配备具有cuda并行计算能力的nvidia系列显卡主机、双面显示屏、ic刷卡机、红外感应装置和识别区，高清摄像装置通过usb与主机相连，ic刷卡机通过串口与主机相连；

2)接通主机、双面显示屏、ic刷卡器电源，启动主机上的自动计价程序；

3)当餐盘进入识别区时，红外感应装置通过串口通信触发主机上的计价程序开始视频采集；

4)主机自动计价程序使用帧差法对摄像装置采集到的视频做静止检测，一旦确定餐盘静止摆放，触发图像截取；

5)采用基于区域生成网络的菜品检测技术进行菜品分割；

6)结合深度学习和度量学习技术，基于深度孪生度量网络识别餐盘中每个菜品；

7)计价程序根据菜品种类，读取本地数据库中的价格信息，计算并显示总价格

8)餐厅客户通过刷卡机完成支付，回到步骤2。

本发明的自选餐厅自动计价系统包含餐盘感应、菜品分割和菜品识别三个主要模块。

本发明的餐盘感应模块由红外感应装置、高清摄像装置和电脑主机上的餐盘静止检测程序组成。红外感应装置包含红外传感器和控制红外发射与接收的单片机，单片机与电脑主机间通过串口通信传递触发信号。餐盘一旦进入识别区就会触发感应装置向主机传递串口信号。主机接收到对应的串口信号，就会读取摄像头采集的视频信息，启动静止检测程序，确定餐盘停稳放好后即刻截取餐盘图像输入菜品分割模块。其中，静止检测任务采用帧差法实现，通过计算所采集视频相邻两帧的像素差，确定餐盘是否停稳放好。本发明提出的红外感应装置与静止检测程序级联的餐盘感应方案相比传统的压力感应装置更加迅速、可靠，能有效防止餐盘未停稳放好时就过早触发，提高了采集图像的质量和清晰度。

本发明的菜品分割模块，采用了基于区域生成网络的分割方法。该区域生成网络由特征提取层、前景分类层和边框回归层构成。其中特征提取层由多层卷积层、修正线性单元激活函数层和池化层叠加构成。餐盘图像经过特征提取层后得到降采样后的最后一层卷积特征图。在该特征图上，以每个像素位置为中心，生成包含三种面积、三种纵横比的多个候选检测窗口。前景分类层包括一个全连接层和一个softmax回归输出层，它以每个候选检测窗对应特征图区域为输入，判断所生成区域是包含菜品的前景还是背景，并输出对应的置信度。边框回归层包括一个全连接层和一个4维的线性回归输出层，对判断为菜品的候选检测框进行进一步的位置精调，使得检测框的位置更加贴合菜品的真实位置。本发明提出的基于区域生成网络的菜品分割方法快速精准，能够综合考虑菜品的全局信息，相比传统的基于碗碟形状进行定位的计算机视觉方法，对轮廓的完整性要求更低，对遮挡情况的鲁棒性更强，能够有效应对叠盘、手遮挡等干扰性情况。

本发明的菜品识别模块，将深度学习与度量学习相结合，提出基于深度孪生度量网络的菜品识别方法。现有的深度学习技术采用卷积神经网络做分类的基本框架，需要成千上万的菜品图片样本才能训练出准确可靠的识别模型，并且只能识别学习过的菜品，一旦餐厅推出新的菜品，之前训练的模型就会失效，需要重新采集大量新菜样本进行训练，给餐厅的实际应用造成了不便和困难。针对该方案的局限性，本发明将深度学习和度量学习技术相结合，提出了新的基于孪生网络的菜品识别框架。该网络由孪生双通道特征提取层、相对度量层和对比损失函数层组成。其中特征提取层包含共享网络结构和权值参数的孪生双通道网络，它以两张菜品图片同时作为输入，经过多层级联的卷积层、修正线性单元层和池化层分别提取每张菜品的特征向量。相对度量层以两张图片的特征向量作为输入，计算特征间的相对欧式距离，最终输入对比损失函数层。对比损失函数的形式如下式：

dw(x1,x2)＝||gw(x1)-gw(x2)||2

其中y＝0表示两张图片属于同一种菜品，y＝1表示两张图片属于不同菜品。dw表示样本x1和x2的欧式距离，m是事先设定的距离阈值。通过反向传播算法最小化对比损失函数，可使同一类菜品特征间距离接近，不同菜品特征距离疏远，通过设定相应的阈值即可实现菜品种类的比对。如此一来，对于每个新菜品，只需采集一张新菜品的图片录入数据库，即可完成菜品的准确识别。

本发明的实施装置包括：红外感应装置、高清摄像装置、主机(配备具有cuda并行计算能力的nvidia系列显卡)、ic刷卡机。其中红外感应装置由红外传感器和单片机构成，通过串口与主机相连接；高清摄像采集装置由高清摄像头和支架构成，通过usb与一体机相连；一体机的双屏背靠背摆放，一屏正对餐厅客户，另一屏面对收银台内管理人员(方便实时查看和管理菜品信息，计价结算过程无需管理人员干涉)；ic刷卡机通过串口与一体机相连。

与现有技术相比，本发明的有益效果如下：

1)本发明能够实现餐厅的自动计价结算，提高了餐厅支付环节的效率和准确率，降低了人力成本；

2)本发明能够直接识别菜品，对盛菜的碗碟无特殊要求，且不受室内光线变化影响，因此在餐厅应用时无需更换专用碗碟，也无需增加led照明灯补光，部署方便、成本低；

3)本发明采用红外感应器和视频静止检测程序级联的方法，能够快速可靠地采集清晰静止的餐盘图片，防止餐盘未停稳就过早触发采集；

4)本发明采用了基于区域生成网络的碗碟定位和分割方法，能够快速且十分精准地分割出每个菜品的图片，对遮挡情况的抗干扰性强；

5)本发明将深度学习与度量学习技术相结合，提出基于深度孪生度量网络的菜品识别方法，解决了传统深度学习技术对于样本数量的依赖性，仅需存储一张菜品示例图片即可实现该菜品的准确识别，从而能够灵活有效地应对新菜品的识别计价；

6)本发明在识别计价的同时，采集了菜品的图片和销售数据信息等，可为餐厅提供销售数据分析，为餐厅客户提供饮食健康报告分析，是基于大数据打造智慧餐厅的重要环节。

附图说明

图1为本发明具体实施例的结构示意图；

图2为本发明应用于菜品分割模块的区域生成网络示意图；

图3为本发明应用于菜品识别模块的深度孪生度量网络示意图；

图4为软件运行流程图；

附图中的标号分别为：1、高清摄像装置，2、主机，3、面对餐厅客户的显示屏，4、面对收银员的显示屏，5、ic刷卡机，6、红外感应装置，7、识别区。

具体实施方式

下面结合附图对本发明的实施例作详细说明，本实施例以本发明技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本发明的实施例如图1至图4所示，本发明的实施包括硬件系统的搭建和软件系统的搭建两个部分。

本实施例中硬件系统如图1所示，具体包括高清摄像装置1、主机2、面对餐厅客户的显示屏3、面对收银员的显示屏4、ic刷卡机5、红外感应装置6和识别区7；高清摄像装置1由高清摄像头和支架构成，通过usb与主机2相连；主机2、ic刷卡机5、识别区7均布置在收银台面上，识别区7位于高清摄像装置1的正下方；面对餐厅客户的显示屏3、面对收银员的显示屏4均布置在主机2上方并背靠背摆放，面对餐厅客户的显示屏3正对餐厅客户，面对收银员的显示屏4正对收银台内管理人员；红外感应装置6由红外传感器和单片机构成，平放在收银台面上并正对识别区7，通过串口与主机2相连接；ic刷卡机5通过串口与一体机2相连接

硬件系统的安装需要满足以下的要求：

第一，高清摄像装置的安装：

高清摄像头安装在显示器屏幕正上方，视野要求能够覆盖识别区的范围。摄像头的安装高度以采集图像中的菜品是否清晰为参考来具体确定。安装完成后可在显示器上的可视化界面上进行识别区范围的标定，标定结果储存在一体机的数据库中。

第二，红外感应装置的安装：

红外感应装置紧贴收银台面固定安装在显示器正前方，高度低于餐盘边沿高度，红外传感器的感应距离调整为10厘米，检测频率调整为100次/秒。

第三，双屏一体化主机的安装：

双屏一体化主机放置于收银台桌面识别区前，一屏正对餐厅客户，另一屏面对收银台内管理人员。

本实施例中软件系统运行步骤如图4所示，具体如下：

1)启动初始化，测试主机与摄像装置、红外感应装置和ic刷卡机的连接情况，确认连接无误后进入等待餐盘状态；

2)当餐盘进入识别区时，红外感应装置发出触发信号，主机读取摄像头传来的视频信号，通过检测相邻两帧的像素差，判断餐盘是否静止摆放。一旦检测到餐盘已停稳放好，截取餐盘图片，进入步骤3；

3)读取餐盘图片，输入训练好的区域生成网络，过滤非菜品的候选框，经过边框线性回归精调位置后，输出每个菜品在图片中的具体位置，实现菜品分割；

4)根据区域生成网络输出的菜品位置将分割出的菜品图片输入深度孪生度量网络，与数据库中存放的菜品示例一一比对，根据孪生网络相对度量层的输出确定菜品的种类；

5)根据识别出的菜品种类匹配数据库中的价格信息，将价格显示在屏幕中，触发刷卡机等待客户支付，支付成功后菜品及消费信息录入一体机数据库，转入步骤2。

本发明菜品分割模块使用的区域生成网络模型需要事先通过训练确定网络参数，其训练方法与步骤如下，如图2所示：

1)对部分餐盘图片的菜品分割信息进行人工标注，作为区域生成网络的训练样本；

2)利用在大规模公共图片数据集上预训练的模型初始化网络权值参；

3)将最后一层卷积层上生成的候选框与标定的菜品检测框进行对比，若重叠比例大于0.7则记为菜品前景样本，若重叠比例低于0.3则记为背景样本；

4)将3中得到的前景和背景样本特征输入前景二分类层，通过反向传播算法迭代优化区域生成网络的权值；

5)将3中得到的前景样本特征输入边框回归层的线性回归模型，同样的通过反向传播算法优化权值，让网络输出的位置参数拟合标注的真实位置；

6)重复步骤4和5，直到损失函数不再继续下降时停止迭代训练，得到最终的网络参数。

本发明菜品识别模块使用的深度孪生度量网络模型亦需事先通过训练确定网络参数，其训练方法与步骤如下，如图3所示：

1)将前期采集到的部分菜品图片按菜名标注，两两组成训练样本，其中两张图片属于同一菜品的记为正样本，两张图片属于不同菜品的记为负样本；

2)利用在大规模公共图像数据集上预训练的模型初始化网络权值参数；

3)将每组样本依次输入深度孪生度量网络提取高层语义特征，通过相对度量层计算两张照片间的特征距离，最终输入对比损失函数层；

4)根据所输入样本为正样本还是负样本计算相应的对比损失，通过反向传播算法调整网络权值参数；

5)重复步骤3和4，直到损失函数不再继续下降时停止迭代训练，得到最终的网络参数。

以上实施例仅用以说明本发明的技术方案，本发明并不限于以上具体实施例，还可以有很多变形。对于本技术领域中的普通技术人员来说，在不脱离本发明核心技术特征的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。