基于机器视觉的食堂点菜系统的制作方法
【技术领域】
[0001] 本发明涉及一种依靠机器视觉识别人体动作以完成食堂点菜的食堂点菜系统。 技术背景
[0002] 现在高校学生用餐以食堂为主，高校食堂的学生用餐方式为：用餐者排列成对，队 首的用餐者向食堂打菜人员说明自己需要的菜名，打菜人员根据菜名为用餐者打菜，然后 打菜人员计算出所消费金额，并将消费金额输入到刷卡器，由用餐者刷卡进行支付。
[0003] 由于用餐时间集中，用餐时食堂人声嘈杂，加上用餐者会带有口音，打菜人员不容 易听清楚用餐者所说的菜名，用餐者也会采用指势指明自己需要的菜，但是由于用餐者和 打菜人员所处位置不同，打菜人员也不容易确定用餐者指势指向的目标菜品，而且每次打 完菜还需要打菜人员计算用餐人员所消费的金额，并在刷卡器上进行操作，使得打菜的效 率不高。
【发明内容】
[0004] 为了克服目前食堂打菜时，打菜人员不容易确定用餐者指示的目标菜品，打菜人 员需要口算得到消费金额的缺点，本发明提供了一种能够根据用餐人的手势准确得到目标 菜品的基于机器视觉的食堂点菜系统。
[0005] 基于机器视觉的食堂点菜系统，包括支架，安装于支架上的第一相机和第二相机， 与菜盘一一对应的指示灯和处理器；第一相机和第二相机等高，第一相机和第二相机作为 双目视觉的两个相机；处理器中预设点菜系统的世界坐标系，每个餐盘在世界坐标系中围 成的区域存于处理器中，处理器分别将第一相机和第二相机的位置信息分别转换为各自在 世界坐标系中的坐标；第一相机拍摄的用餐者手臂的第一图像输入处理器中，第二相机拍 摄的用餐者手臂的第二图像输入处理器中；处理器将分别将第一图像和第二图像的背景去 除、提取手臂图像，再分别获取第一图像中手臂的中轴线和第二图像中手臂的中轴线；处理 器分别获取组成第一图像中轴线的各个像素与第一相机的相对位置信息、并将相对位置信 息转换为各个像素在世界坐标系中的坐标；处理器分别获取组成第二图像中轴线的各个 像素与第二相机的相对位置信息、并将相对位置信息转换为各个像素在世界坐标系中的坐 标；处理器对第一图像中轴线和第二图像中轴线进行立体匹配，每一对匹配点由纵坐标相 同的第一图像中轴线像素和第二图像中轴线像素组成；分别确定每一对匹配点之间的相对 位置得到视差图像，由此确定每一对匹配点在世界坐标系中的实际位置坐标；处理器将所 有实际位置坐标拟合成直线，获取拟合直线与菜盘所在面的交点，最后判断出该交点处于 哪个菜盘的区域内，交点所在的菜盘区域作为用餐者选中的菜品，处理器使与交点所在菜 盘区域对应的指示灯亮起，其余指示灯处于熄灭状态。
[0006] 所谓的背景指的是没有手臂的环境图像，用减背景法减去背景图像即可去除手臂 图像以外的其它图像。系统在预设时间、在没有人点菜的情况下更新背景，以减少光线变化 带来的背景变化。
[0007] 处理器能够组成第一图像中轴线的各个像素与第一相机的相对位置信息，是因为 图像上的每一点与第一相机的成像元件上的物理成像是--对应的，如此可以建立图像坐 标系中每个像素点与世界坐标系中成像单元的对应关系，在世界坐标系中采取匹配算法得 到左右两幅图像上一对匹配点对应的空间点，这些空间点拟合成直线。
[0008] 进一步，处理器以所有实际位置坐标通过最小二乘法拟合成直线，拟合直线生成 后，处理器分别计算各矩形中心点与拟合直线的距离，剔除大于预设极限距离的中心点，再 将剩余的矩形中心点通过最小二乘法拟合成直线，再分别计算各矩形中心点与拟合直线的 距离，剔除大于预设极限距离的中心点；如此迭代多次，直到所有中心点与拟合直线的距离 小于预设极限距离，或者迭代次数达到预设迭代次数为止；预设极限距离和迭代次数均预 存于处理器中。
[0009] 进一步，指示灯与菜盘的对应关系预存于处理器中，菜盘的菜价与菜盘一一对应， 指示灯亮起时，对应菜盘的菜价输入处理器中进行菜价计算。
[0010] 指示灯亮起时，代表与指示灯对应的菜盘被选中。点菜时做如下要求：点菜的时候 手要处于第一相机和第二相机的拍摄范围内，点完菜，手离开，系统没有检测到手持续几秒 钟后，认为点菜结束。然后处理器计算获得的菜价总和输入刷卡机中，刷卡机固定安装于支 架上。约定再指一次该菜盘，边上的指示灯灭掉，表示不选择该菜，金额也从累加的金额中 删去。刷卡完毕后，系统复位，累计菜价清零，准备。
[0011] 进一步，支架上设有能够拍摄菜盘中实际菜品图片的菜品相机，菜品相机获取的 实际菜品图片输入处理器中，处理器中预设有菜品图像和菜品价格对应表，处理器将菜品 相机获取的实际菜品图片与菜品图像对比、寻找到与实际菜品图片最相近的菜品图像和菜 品价格，使菜品价格与菜盘一一对应。
[0012] 由于在食堂打菜时，用餐者通常是用手臂形成直线指向所需的菜品，因此，本发明 通过第一相机和第二相机分别获取用餐者的手臂图像，通过双目视觉分析拟合形成用餐者 的指向方向，从而获取对应菜品，克服了食堂环境嘈杂，声音不易识别问题。
[0013] 本发明的有益效果在于： 1. 在食堂嘈杂的环境下实现高效率的点菜操作，用餐者可以选择在点菜终端的触摸屏 上进行点菜，也可以选择用指势完成点菜操作，点菜系统自动根据点菜情况计算出消费金 额，并将消费金额传送给刷卡器， 2. 基于机器视觉自动跟新当天菜盘桌上各菜盘的菜品信息，无需人工参与，提高食堂 的工作效率。
[0014] 3.打菜人员只需要根据指示灯进行打菜，结算由计算机完成，使得打菜人员的劳 动强度降低，提高了食堂效率。
【附图说明】
[0015] 图1是装置整体结构示意图。
[0016] 图2是菜品相机和菜品相机安装座布置图。
[0017] 图3是第一相机和第二相机和第一相机安装座和第二相机安装座布置图。
[0018] 图4是菜品相机采集的菜盘图像。
[0019] 图5是经过图像处理后第一相机和第二相机采集的用餐者指势图像，a是第一相 机采集的用餐者指势图像，b是第二相机采集的用餐者指势图像。
[0020] 图6是双目视觉系统原理不意图一。
[0021] 图7是装置双人工作状态示意图。
[0022] 图8是本发明的流程图。
[0023] 图9是像素点转换为世界坐标系中的坐标的计算方法的示意图。
[0024] 图中 1、处理器，2、支架，3、第一相机，4、第一相机安装座，5、菜品相机安装座，6、菜品相机， 7、 第二相机安装座，8、第二相机，9、菜盘，10、指示灯，11、菜盘桌，12、点菜终端，13、支撑 板，14、刷卡器，15、墙，16、螺钉。
【具体实施方式】
[0025] 参照图1~图3,一种基于机器视觉的食堂点菜辅助装置，包括处理器，支架2,第 一相机3,第一相机安装座4,菜品相机安装座5,菜品相机6,第二相机安装座7,第二相机 8, 菜盘9,指示灯10,菜盘桌11，点菜终端12,支撑板13,刷卡器14,墙15,螺钉16。第一相 机3和第二相机5等高。
[0026] 所述的菜盘9放置在菜盘桌11上，每个菜盘9旁边设置有LED指示灯10,墙15上 设置有支撑板13,支撑板13上设置有刷卡器14,支撑板13上设置有支架2,支架2上设置 有第一相机安装座4,菜品相机安装座5和第二相机安装座7,第一相机安装座4上安装有 第一相机3,菜品相机安装座5上安装有菜品相机6,第二相机安装座7上安装有第二相机 8。第一相机3和第二相机8用于采集用餐者手臂图片，菜品相机6用于采集当日菜盘桌上 菜盘的图片，第一相机3,菜品相机6,第二相机8,点菜终端12,指示灯10和刷卡器15连接 至计算机，由计算机统一管理。指示灯10使用LED灯。
[0027] -种基于机器视觉的食堂点菜辅助装置，相机布置方案图2和图3。支架上的摄 像机布置方案：第一相机和第二相机分别用螺钉固定在第一相机安装座和第二相机安装座 上，菜品相机用螺钉固定在菜品相机安装座上，第一相机安装座，菜品相机安装座和第二相 机安装座安装在支架上，支架固定在菜盘桌上。菜品相机向下倾斜45度，第一相机、第二相 机坚直朝下安装，第一相机和第二相机基线距为500mm。
[0028] 整个装置的工作流程是： 1、录入菜品信息到数据库，工作人员将食堂菜单录入点菜系统的数据库，包括