基于计算机视觉的中式菜肴识别装置制造方法
【专利摘要】一种基于计算机视觉的中式菜肴识别装置，包括视觉采集装置和计算机系统。计算机系统设有视频数据接收软件模块、菜肴识别软件模块和显示输出软件模块，其执行步骤依次为：视频数据接收软件模块接收包含中式菜肴的连续视频图像；菜肴识别软件模块对获得的视频图像进行预处理、子图像裁切、特征提取和特征分类，实现中式菜肴种类的识别；显示输出软件模块显示中式菜肴识别结果，并且把识别结果发送给其他系统或装置。本发明可用于餐馆和食堂等餐饮行业场所，为实现中式菜肴相关的自动结算提供条件。
【专利说明】基于计算机视觉的中式菜肴识别装置
【技术领域】
[0001]本发明专利涉及一种中式菜肴的自动检测识别装置，特别涉及一种基于计算机视觉的中式菜肴识别装置。
【背景技术】
[0002]在一些酒店、餐馆和食堂等餐饮行业场所，就餐人员数量较多，结算收银员工作压力很大，迫切需要能够实现菜肴自动识别和自动结算的系统。目前，市场上已经存在的餐厅自助结算系统产品(如杭州雄伟科技开发有限公司的“智盘系统”)以及以编码磁钢实现碗碟识别的餐厅托盘自动结算系统(专利申请号CN201210175894.9)和基于图像识别技术的食堂支付系统及方法(专利申请号201210512810.6)等相关产品和技术，利用碗碟内部自带的智能卡，或者利用计算机视觉技术基于碗碟图像特征进行碗碟盛装菜肴食物的识别分析。现有相关产品和技术存在缺点包括:自带智能卡的碗碟价格较贵，不宜推广；需要打菜人员记住不同类型碗碟和价格的对应关系，且价格种类较少等。
【发明内容】
[0003]本发明的目的在于克服现有技术中存在的不足，提供基于计算机视觉的中式菜肴识别装置，可用于餐馆和食堂等餐饮行业场所，为实现中式菜肴相关的自动结算提供条件。
[0004]为实现本发明所述目的，本发明提供一种基于计算机视觉的中式菜肴识别装置，该识别装置包括:视觉采集装置和计算机系统。
[0005]本发明的视觉采集装置安装于收银台面上方恰当高度，碗碟直接放在台面上或者放在托盘上经过该视觉采集装置下方，台面、托盘和碗碟的颜色要求有较大差异。中式菜肴经过视觉采集装置下方时，视觉采集装置采集包含若干盛装中式菜肴的碗碟的连续视频图像，并将所获得的视频图像传送给计算机系统。
[0006]计算机系统设有视频数据接收软件模块、菜肴识别软件模块和显示输出软件模块，并执行如下步骤:
[0007]a)视频数据接收软件模块接收由视觉采集装置传送来的包含中式菜肴的连续视频，供显示软件模块和菜肴识别软件模块使用，并可根据需要对视频进行存储；
[0008]b)菜肴识别软件模块对视频图像进行图像预处理、子图像裁切、特征提取和特征分类，从而基于中式菜肴的图像信息完成中式菜肴的辨识，并将识别结果传送给显示输出软件模块；
[0009]c)显示输出软件模块对采集的视频进行按要求显示，并汇总、显示菜肴识别结果信息，并把识别结果发送给其他系统或装置。
[0010]所述菜肴识别软件模块包括图像预处理子模块、子图像裁切子模块、特征提取子模块和特征分类子模块等四大功能子模块，具体工作过程为:
[0011]I)从视频数据接收软件模块读取的视频图像首先由图像预处理子模块进行滤波去噪和图像复原等预处理，并将预处理之后的视频图像传送给子图像裁切子模块；[0012]2)子图像裁切子模块执行子图像裁切处理过程，首先裁切尽可能小的包含内有菜肴的碗碟的子图像，再在该子图像中裁切不包含碗碟的菜肴子图像，该处理过程基于碗碟、菜肴和背景图像的颜色差异确定菜肴碗碟的子图像；
[0013]3)特征提取子模块利用图像变换算法对子图像裁切子模块传送的各幅菜肴子图像进行特征变换，得到各幅菜肴子图像的低维特征向量，并将其传送给特征分类子模块；
[0014]4)特征分类子模块采用模式识别领域的分类算法进行子图像的特征分类，根据分类结果判断各特征向量所对应的子图像中菜肴的种类，并将识别结果传送给显示输出软件模块；
[0015]本发明是一种基于计算机视觉的中式菜肴识别装置，这种识别装置根据计算机视觉的原理实现盛装于碗碟的中式菜肴的自动识别，碗碟内部不需要安装高成本的智能卡，也不需要不同颜色和形状碗碟来区别不同价格菜肴，具有成本低、速度快的特点，为实现中式菜肴相关的自动结算提供条件。
【专利附图】
【附图说明】
[0016]图1是本发明的结构框图；
[0017]图2是本发明各模块和子模块之间的连接示意图。
【具体实施方式】
[0018]如图1所示，本发明包括两个组成部分:视觉采集装置和计算机系统I。视觉采集装置包含CXD图像传感器3和图像采集接口模块2。视觉采集装置采集中CXD图像传感器3采集到包含若干盛装中式菜肴的碗碟的连续视频图像信号，通过图像采集接口模块2进行信号转换后，将所获得的视频图像传送给计算机系统I。本具体实施例中，计算机系统I是普通工控机，图像采集接口模块2为PCI图像采集卡，CXD图像传感器3为工业CXD相机。
[0019]如图2所示，计算机系统I中设有视频数据接收软件模块4、菜肴识别软件模块5和显示输出软件模块6。计算机系统I的视频数据接收软件模块4接收由视觉采集装置传送来的包含中式菜肴的连续视频，并可根据需要对视频进行存储。菜肴识别软件模块5对视频图像进行图像预处理、子图像裁切、特征提取和特征分类，从而基于中式菜肴的图像信息完成中式菜肴的辨识，并将识别结果传送给显示输出软件模块6 ;显示输出软件模块6对采集的视频进行按要求显示，并汇总、显示菜肴识别结果信息，并把识别结果发送给其他系统或装置。
[0020]本发明的视觉采集装置安装于收银台面上方80cm左右，CXD图像传感器3对准收银台面，收银台面为纯黑色。盛装有中式菜肴的白色圆形碗碟放在红色托盘上，由用餐人员自行推动经过该视觉采集装置下方。中式菜肴经过视觉采集装置下方时，视觉采集装置采集包含若干盛装中式菜肴的碗碟的连续视频图像，并将所获得的视频图像传送给计算机系统I。
[0021]本发明的计算机系统I采用Windows XP，视频数据接收软件模块4、菜肴识别软件模块5和显不输出软件模块6米用Visual C++软件编程实现。
[0022]如图2所示，菜肴识别软件模块5包括图像预处理子模块7、子图像裁切子模块8、特征提取子模块9和特征分类子模块10。各子模块分别从前一模块获得图像或数据，并通过对图像数据进行处理，将处理之后的图像数据传送给下一模块。
[0023]计算机系统I所属的各软件模块和各子模块进一步详细说明如下:
[0024]I)视频数据接收软件模块4接收CCD图像传感器I采集并经过图像采集接口模块2转换的菜肴视频图像，供显示软件模块6和菜肴识别软件模块5使用。
[0025]2)显示输出软件模块6。显示输出软件模块6用于显示视频数据接收软件模块4所获得的连续视频图像，也能够显示菜肴识别软件模块5输出的中式菜肴识别汇总结果。
[0026]3)菜肴识别软件模块5。该模块根据视频数据接收软件模块4提供的视频图像，在线完成中式菜肴的识别，它包括图像预处理子模块7、子图像裁切子模块8、特征提取子模块9和特征分类子模块10。图像预处理子模块7读取包含托盘和盛放中式菜肴碗碟的原始视频图像并进行图像预处理，供子图像裁切子模块8使用；子图像裁切子模块8使用相应算法确定图像中是否有托盘，并确定各碗碟在各帧图像中的位置，同时从图像中裁切菜肴的子图像；特征提取子模块9应用一定算法对子图像裁切子模块8传送的各菜肴子图像进行特征变换，计算得到各子图像的特征向量，供特征分类子模块10使用；特征分类子模块10利用相应特征分类方法，对各特征向量进行分类，从而识别各特征向量所对应的子图像中的中式菜肴种类，并把识别结果传送给显示输出软件模块6。菜肴识别软件模块5各子模块进一步详细介绍如下。
[0027]a)图像预处理子模块7。图像预处理子模块7从视频数据接收软件模块4中，获取原始的包含台面、托盘和碗碟菜肴等的连续视频图像进行预处理，为子图像裁切子模块8提供所需的图像。由于台面为纯黑色，托盘为红色，颜色反差明显，因此图像预处理子模块7根据前后两帧图像的颜色变化，判断是否存在一次托盘进入台面的动作。如果判断得出有托盘进入CXD图像传感器I下方台面处，图像预处理子模块7抽取红色面积最大的一帧图像作为需要传送给子图像裁切子模块8的图像。此外，由于CCD图像传感器I和图像采集接口模块2等电子设备本身会引入图像噪声，因此图像预处理子模块7进一步使用滑动窗口平均等图像滤波去噪算法对该图像进行滤波去噪后，再传送给子图像裁切子模块8。
[0028]b)子图像裁切子模块8。子图像裁切子模块8实现的功能是确定视频图像中的中式菜肴的位置，并裁切中式菜肴的子图像。为实现该目的，子图像裁切子模块8利用托盘为纯红色和碗碟为白色特点，裁切得到尽可能小的包含菜肴的各圆形碗碟子图像，再截取这些碗碟子图像中心处的边长为碗碟半径二分之一的各菜肴子图像。菜肴子图像的数量和托盘中碗碟数量对应，这些菜肴子图像是只包含菜肴的子图像，去除了红色托盘背景和白色碗碟背景。子图像裁切子模块8把这些菜肴子图像传送给特征提取子模块9。
[0029]c)特征提取子模块9。特征提取子模块9针对子图像裁切子模块8提供的各菜肴子图像，分别计算相应图像的R、G、B均值和标准方差等六个值，作为各菜肴子图像的特征向量传送给特征分类子模块10。
[0030]d)特征分类子模块10。特征分类子模块10基于神经网络分类算法对特征提取子模块9传送的特征向量进行分类，从而判断对应子图像中的中式菜肴种类。特征分类子模块10中的神经网络事先经过训练和优化，能够准确的实现常见中式菜肴子图像的特征分类。
[0031]经过以上处理，最终完成中式菜肴的自动识别。
【权利要求】
1.一种基于计算机视觉的中式菜肴识别装置，其特征在于，它包括:视觉采集装置和计算机系统(1)，而计算机系统(1)设有视频数据接收软件模块(4)、菜肴识别软件模块(5)和显示输出软件模块(6)，为准确实现盛装在不同碗碟内的中式菜肴的识别和定位，所述计算机系统(1)执行如下步骤: a)视频数据接收软件模块(4)接收由视觉采集装置传送来的包含中式菜肴的连续视频，并可根据需要对视频进行存储； b)菜肴识别软件模块(5)对视频图像进行图像预处理、子图像裁切、特征提取和特征分类，从而基于中式菜肴的图像信息完成中式菜肴的辨识； c)显示输出软件模块(6)对采集的视频进行按要求显示，并汇总、显示菜肴识别结果信息，并把识别结果发送给其他系统或装置。
2.根据权利要求1所述的基于计算机视觉的中式菜肴识别装置的计算机系统(I)的执行步骤，其特征是 ，所述菜肴识别软件模块(5)进行的子图像裁切处理过程，首先裁切尽可能小的包含内有菜肴的碗碟的子图像，再在该子图像中裁切不包含碗碟的菜肴子图像，该处理过程基于碗碟、菜肴和背景图像的颜色差异确定菜肴碗碟的子图像。
【文档编号】G06K9/62GK103942569SQ201410169078
【公开日】2014年7月23日 申请日期:2014年4月16日 优先权日:2014年4月16日
【发明者】王凌, 陈长骏, 赵文杰, 陈锡爱 申请人:中国计量学院