基于图像识别的餐厅自动结账方法与流程

文档序号:14347752阅读:5262来源:国知局

本发明属于机器视觉技术领域,特别涉及一种基于图像识别的餐厅自动结账方法。



背景技术:

随着机器识别技术的发展,目前很多领域都应用到了机器视觉认知。传统的机器识别包括机器臂定位、智能车辆导航、规避障碍物、甚至人脸识别、指纹识别等等。然而,所有目前的机器识别系统都存在一个不可避免的缺陷,就是识别速度慢,误差率较高。

当前,随着人民生活水平日益提高,饮食消费观念也逐步改变,外出就餐更趋经常化,选择性增强,对消费质量要求不断提高,市场消费大众性和基本需求性特点表现的更加充分。由于传统的人工计费方式费时费力,不便于管理,结账速度慢,出错概率高又容易造成人群的拥堵。



技术实现要素:

本发明的目的就是克服现有技术中提到的上述弊端,提供一种识别准确率高、速度快的基于图像识别的餐厅自动结账方法。

为达上述目的,本发明采取以下技术方案:

一种基于图像识别的餐厅自动结账方法,包括以下步骤:

通过第一单目摄像头或第一双目摄像头采集当前餐盘图像,获取所述当前餐盘图像中每个餐盘的特征信息;

将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比,确定其对应菜品种类或价格,并汇总得到当前用户的用餐总价。

进一步地,上述餐厅自动结账方法还包括:

通过第二单目摄像头或第二双目摄像头采集当前用户面部图像;

将所述当前用户面部图像与预先存储的用户图像进行比对,确定当前用户的账户信息。

进一步地,上述餐厅自动结账方法还包括:

将当前用户的用餐总价和账户信息显示在屏幕上,接受用户确认。

进一步地,所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。

5、根据权利要求1所述的餐厅自动结账方法,其特征在于,当采用第一双目摄像头获取当前餐盘图像时,所述通过第一双目摄像头采集当前餐盘图像,获取所述当前餐盘图像中每个餐盘的特征信息包括:

通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像;

利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理,建立当前餐盘的三维坐标空间;

根据坐标与图像像素之间的预先标定信息关系,输出每个餐盘的颜色、形状、尺寸中的至少一项。

进一步地,所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理,建立当前餐盘的三维坐标空间包括:

s1:对所述第一平面图像和第二平面图像进行预处理;

s2:对经过预处理的第一平面图像和第二平面图像进行智能认知,确定视差计算前的泛化认知特征,并建立所述第一平面图像和第二平面图像之间的匹配关系,以辨认餐盘的认知属性;

s3:根据餐盘的认知属性,确认与该认知属性相对应的一个或多个特定认知特征;

s4:根据双目立体成像原理进行视差计算;

s5:结合所述特定认知特征和点云图,建立当前餐盘的三维坐标空间;

进一步地,上述结账方法还包括以下步骤:

s6:判断所述三维坐标空间的识别度是否满足精度和误差要求;如满足,根据坐标与图片像素之间的关系,将图片中每个餐盘边长的像素值转换为真实的长度信息,输出所述目标物体的几何尺寸信息;如不满足,转至步骤s7;

s7:返回步骤s2,重新确定所述泛化认知特征,并继续执行步骤s3-s6。

进一步地,所述步骤s4中还包括获取所述当前餐盘的点云图。

进一步地,所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;所述特定认知特征包含在所述泛化认知特征之内;所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。

进一步地,所述步骤s1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。

进一步地,所述步骤s2中确定视差计算前的泛化认知特征的方法包括:图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。

本发明相对于现有技术,最大的创新点在于,采用了泛化认知特征和特定认知特征相结合的方式来对目标物体进行识别定位的技术手段。首先,所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;而所述特定认知特征包含在所述泛化认知特征之内。所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。所述特定认知特征则是基于图像的深度学习认知特征,辨认出目标物体的具体类别。这里的类别可以包括各种不同形状的具体物体。

综上所述,本发明针对使用不同形状、尺寸、颜色的餐碟盛放不同价格菜品的食堂或餐厅,可实现客户点餐餐盘的自动图像拍摄,可对餐盘图像自动识别并自动计算餐盘所含菜品的总价,以及根据当前顾客的面部图像识别出预先预先绑定的顾客账户信息,并将单价、数量、总价以及结算账户呈现在显示装置上。,因而可以用最准确、高效的特征识别技术来对目标物体进行识别定位,具有非常广阔的应用前景。

附图说明

图1为本发明一具体实施里的基于图像识别的餐厅自动结账方法使用场景示意图。

附图标记说明:显示器10、第一单目摄像头或第一双目摄像头20、第二单目摄像头或第二双目摄像头30。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参见图1,本发明一个实施例的基于图像识别的餐厅自动结账方法,包括以下步骤:

通过第一单目摄像头或第一双目摄像头采集当前餐盘图像,获取所述当前餐盘图像中每个餐盘的特征信息;

将每个餐盘的特征信息与预先存储的餐盘特征信息与餐品或价格的对应关系进行对比,确定其对应菜品种类或价格,并汇总得到当前用户的用餐总价。

进一步地,上述餐厅自动结账方法还包括:

通过第二单目摄像头或第二双目摄像头采集当前用户面部图像;

将所述当前用户面部图像与预先存储的用户图像进行比对,确定当前用户的账户信息。

进一步地,上述餐厅自动结账方法还包括:

将当前用户的用餐总价和账户信息显示在屏幕上,接受用户确认。

进一步地,所述餐盘的特征信息包括颜色、形状、尺寸中的至少一项。

5、根据权利要求1所述的餐厅自动结账方法,其特征在于,当采用第一双目摄像头获取当前餐盘图像时,所述通过第一双目摄像头采集当前餐盘图像,获取所述当前餐盘图像中每个餐盘的特征信息包括:

通过第一双目摄像头获取当前餐盘的第一平面图像和第二平面图像;

利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理,建立当前餐盘的三维坐标空间;

根据坐标与图像像素之间的预先标定信息关系,输出每个餐盘的颜色、形状、尺寸中的至少一项。

进一步地,所述利用双目视觉处理算法对所述第一平面图像和所述第二平面图像进行处理,建立当前餐盘的三维坐标空间包括:

s1:对所述第一平面图像和第二平面图像进行预处理;

s2:对经过预处理的第一平面图像和第二平面图像进行智能认知,确定视差计算前的泛化认知特征,并建立所述第一平面图像和第二平面图像之间的匹配关系,以辨认餐盘的认知属性;

s3:根据餐盘的认知属性,确认与该认知属性相对应的一个或多个特定认知特征;

s4:根据双目立体成像原理进行视差计算;

s5:结合所述特定认知特征和点云图,建立当前餐盘的三维坐标空间;

进一步地,上述自动结账方法还包括以下步骤:

s6:判断所述三维坐标空间的识别度是否满足精度和误差要求;如满足,根据坐标与图片像素之间的关系,将图片中每个餐盘边长的像素值转换为真实的长度信息,输出所述目标物体的几何尺寸信息;如不满足,转至步骤s7;

s7:返回步骤s2,重新确定所述泛化认知特征,并继续执行步骤s3-s6。

进一步地,所述步骤s4中还包括获取所述当前餐盘的点云图。

进一步地,所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;所述特定认知特征包含在所述泛化认知特征之内;所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。

进一步地,所述步骤s1中的预处理包括滤波、降噪、白平衡、扭曲处理、放射变化。

进一步地,所述步骤s2中确定视差计算前的泛化认知特征的方法包括:图形种类、组成图形的线条的几何长度、组成图形的不同特征区域的颜色、组成图形的线条的连接关系、本图形和其它泛化图形的几何关系、组成图形的轮廓的长度比例关系。

本发明相对于现有技术,最大的创新点在于,采用了泛化认知特征和特定认知特征相结合的方式来对目标物体进行识别定位的技术手段。首先,所述泛化认知特征包括纹理、轮廓、颜色中的一种或几种;而所述特定认知特征包含在所述泛化认知特征之内。所述认知属性的具体种类包括颜色、轮廓、表面纹理以及轮廓的几何结构。所述特定认知特征则是基于图像的深度学习认知特征,辨认出目标物体的具体类别。这里的类别可以包括各种不同形状的具体物体。

综上所述,本发明针对使用不同形状、尺寸、颜色的餐碟盛放不同价格菜品的食堂或餐厅,可实现客户点餐餐盘的自动图像拍摄,可对餐盘图像自动识别并自动计算餐盘所含菜品的总价,可将单价、数量及总价呈现在显示装置上。,因而可以用最准确、高效的特征识别技术来对目标物体进行识别定位,具有非常广阔的应用前景。

本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1