烹制搭配方法、烹饪传菜装置、和菜品品鉴装置与流程
本发明涉及烹饪技术领域，特别涉及一种烹制搭配方法、烹饪传菜装置、和菜品品鉴装置。
背景技术：
烹饪是集劳作、技能、配制、管理方法于一体的人们生活重要组成部分，关乎到每个人日常生活质量提升和身体健康。一日三餐(多餐)都不离烹饪，烹饪的质量直接影响人们的生活质量以及餐饮业发展的持续性。对于家庭或个人，每天都可能花费很多时间从事烹饪，做出美味大餐。对于餐饮业，烹饪工作量更大，要求更高。随着人工智能技术发展，相关人工智能方法和技术已经进入烹饪行业，出现智能点菜系统，自助叫餐平台，配送菜品机器人、减轻烹饪师劳作的机器人以及辅助烹饪师烹饪、佐料调制调配等智能设备设施。但仍无法从实质上去减轻烹饪师的劳作，改变他们身体健康状态，以及为人民提供多样化的菜品。特别地，当烹饪师长期在一个相对封闭的环境中工作时，烹饪油烟、颗粒等易给影响烹饪师的身体健康，无法为烹饪师提供有一种宽松的工作环境。因此，本发明主要目的就是发明一种减轻烹饪师(厨师)工作量，提高佐料调制调配质量和效率。在具体本发明系统时，只需要烹饪师在智能操作间进行智能化操作就能烹饪出美味的菜品；而对个人来讲，只需要通过一款智能app或其它操作端控制家庭烹饪，在工作期间将人们从繁琐的烹饪解脱出来。
技术实现要素：
本发明提供了一种烹制搭配方法、烹饪传菜装置、和菜品品鉴装置，以解决至少一个上述技术问题。
为解决上述问题，作为本发明的一个方面，提供了一种基于深度学习的烹制搭配方法，包括
步骤1，根据菜谱系me提取佐料系co、材质系tm、油料系oi、配料系mi、味道系ta、菜品熟度系dd的基本属性，并用本体o(c,ac,r,ar,hc,x,index,tc)进行描述和定义，使各菜谱的基本属性具有语义；
步骤2，用本体o中的r与index,tc构造菜谱语义关系网，实现各特征概念集之间关联；
步骤3，根据菜谱特征的语义网，用x实现语义网推理，完成lk中各项特征语义化关联，构造基于本体的语义烹饪特征库lkk，描述为：lk:o→lkk；
步骤4，根据lkk构造样本库skk，为基于深度学习烹饪搭配提供知识发现和不同菜品的特征提取，描述为：lk:lkk→skk；
步骤5，以所构建的菜品的样本库和特征库为深度学习的基础库skk，用基于深度学习的方法提取烹饪所需的特征，实现新的菜品配制方案。
优选地，所述步骤5包括：
步骤51，在云计算环境下，以lk、sk为基础，建立多层深度神经网络模型dnnm，并根据skk特征提取要求，在dnnm中引入卷积层和池化层，以消减lk中涉及到图像的学习过程中拟合现象；
步骤52，基于模糊系统fs的过拟合模型来处理神经网络模型的权重递减过程中过拟合现象。
优选地，步骤52包括：
步骤521，建立基于粒子群化优化pso的梯度下降全局优化模型和算法，保障dnnm学习过程中的梯度能达到一个全局优化能力；
步骤522，根据skk和用户需要确定输入量及个数，并支持输入量以矩阵方式进入到神经模型中，并按fs的要求处理其模糊输入量；
步骤523，根据菜谱进行烹制菜品的自动搭配。
本发明还提供了一种自动烹饪传菜装置，包括：
智能机械手臂，用于根据上述的基于深度学习的烹制搭配方法获取的菜品配制方案抓获佐料、材质、油料和配料等，并启动烹饪装置进行菜品烹制；
控制器，用于基于微分系统diff的控制程序控制菜品烹饪，并完成与烹饪装置cook、传送装置tran、环境感知装置enav、照明装置ligh、烟雾排放装置smok之间通信；
烹饪装置，用于烹制菜品，其中安装有温控传感器、燃料控制传感器、开关传感器和燃料自主切断传感器；
传菜装置，用于将需要烹饪的材料传送到烹制操作间以便于机械手臂便于操作，并将烹制好菜品传给送菜机器人；
环境感知装置，用于感知烹制操作间的环境，包括湿度、湿度和异常味道检测等传感器，并控制器连接且进行控制；
照明装置，用于控制烹制操作间的照明，与控制器连接，实现烹制操作间整体照明控制；
烟雾排放装置，用于将菜品烹制过程所生成的各类油烟雾排放出操作间。
优选地，所述开关传感器由机械手臂操作、也可以由控制器自主控制启动，自主切断传感器用于当烹饪操作间有异常后自主切断燃料或电源。
优选地，油烟雾感知开关装置根据烹制操作间油烟雾强度大小，启动不同的档位，保障操作间干净。
本发明还提供了一种基于目标跟踪的ahp菜品品鉴装置，包括：
菜品跟踪摄像头，用来探测菜品的颜色和香味，并能将探测的结果传输给ahp品鉴模型；
嵌入式控制板卡，包括：ahp品鉴模型，用ahp方法来对所构建的菜品指标体系进行评估品鉴，并由ahp模型自动分配不同权重来获得烹饪结果优劣；基于skk的口味识别模型tcm，用来从skk库中提取到味觉特征tfea，而且与skk中特征相似度计算用余弦定理cosine来提取特征，并结合ahp品鉴模型建立口味识别模型tcm，tcm直接与ahp品鉴模型中的顾客点评相关；和，品鉴结果反馈模型erfm，用于根据ahpem和tcm建立erfm模型，即erfm主要用来收集烹制后菜品特征cookf和顾客反馈数据的特征feedbf，然后将cookf,feedbf作为dnnm的输入量，然后深度学习到菜品不足的特征lakef之处，并能及时反馈至所述权利要求4-6中任一项所述的控制器，改进菜品烹制结果，更能满足不同人和不同人群的口味。
优选地，还包括送菜机器人对接装置，所述送菜机器人对接装置包括对接装置和送菜机器人，其中，对接装置将烹制好的菜品传递给送菜机器人，送菜机器人则将烹制好菜品送到指定的顾客手中。
优选地，基于ahp的评价指标包括：菜品的口味/风味taste、颜色color、营养成份nut、材质搭配比例tex、佐料搭配比例sea、烹饪时间tim、顾客点评com，其中，不同的菜品具有不同的指标属性，导致ahp分配的权重也不一样，需要与skk结合，从特征库中选取不同菜品与之相似度匹配，捕获到与ahp相近的指标赋值，并用模糊语言{好、较好、还行、不行}作为最终评价结果。
本发明还提供了一种基于终端触摸的控制操作平台，包括：
智能烹饪操作台，用于烹饪师管控烹制房，实现安全稳定自动化烹饪；
触摸显示屏，与操作台直接相连通信，用于可视化管理烹饪房的烹饪操作；
计算装置，用于与显示屏通信，并用于按理智能烹饪操作台和计算权利要求1至3中任一项所述的基于深度学习的烹制搭配方法、处理基于语义识别的烹饪特征库与样本库；
信息管理平台，用于管理智能烹饪系统所有数据，为基于云计算的烹饪大数据信息平台。
由于采用了上述技术方案，本发明可以实现烹饪过程智能化，减轻烹饪师劳苦操作和遭受烹饪过程所带来健康问题，而是让烹饪师从厨房走出，走进智能管理房进行信息化、智能化操作，促进餐饮业、烹饪业信息化。
附图说明
图1示意性地示出了智能烹饪系统结构图；
图2示意性地示出了基于机械手臂的自动烹饪及传菜装置图；
图3示意性地示出了基于目标跟踪的ahp菜品品鉴方法结构图；
图4示意性地示出了基于终端触摸的控制操作平台；
图5示意性地示出了智能烹饪系统应用案例示意图。
具体实施方式
以下对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
本发明的目的就是提供一种基于深度学习的自动烹饪机械手臂方法，包括由以下五个模块来构成一种基于深度学习的机械手臂自动烹饪方法装置，如图1所示，主要适应于由烹饪师在操控工作环境中(家庭烹饪，则提供一款操控app)通过终端操作平台发出指令，控制机械手臂完成各类菜品烹饪，并实现基于目标跟踪的ahp(层次分析法)菜品品鉴。
1.基于语义识别的烹饪特征库与样本库
特征库lk主要由菜谱系me、佐料系co、材质系tm、油料系oi、配料系mi、味道系ta、菜品熟度系dd(烹饪时间、温度变化)构成，而样本库sk就是以菜谱系为基础制定多个样本，形成样品库，如川菜菜谱，每一道菜具有不同的味道，就要根据不同的口味设置多个样本库。特别地，对于特征库，本发明采用基于语义的方法进行识别特征，即采用本体o(c,ac,r,ar,hc,x,index,tc)来描述，其中c表示特征的概念集，ac表示概念的属性集，r表示概念属性间的关系集，ar表示每个关系的属性集，hc表示概念的层次集；x表示语义推理的公理集x＝<i,app(class,al,cl,p)>；index表示特征系的索引，用于鉴别各特征间的概念集cindex，tc表示概念的分类集。特别地，在x中，i表示语义推理公理的解释集，i＝{δi,δd,·i}，分别表示特征的非空集合个体(分属哪个特征集)，是一个非空集合量化数据值，用于特征学习的解释函数或推理函数，app(class,al,cl,p)是本体描述的表示方法，分别是推理实现的类、公理、约束和属性。因此，烹饪特征lk＝(me:(co,tm,oi,mi,ta,dd))，而对应的样本描述为sk＝(mek:(cok,tmk,oik,mik,tak,ddk)。
在特征库构建过程中，将lk用o进行语义化，然后用语义把lk所对应的烹饪的各要素关联。当在实现基于语义深度学习时，需要与sk进行匹配，找到最佳烹饪配制结果，或进行无监督自主学习搭配，即更营养、更科学和更满足大众口味的菜品。则基于语义的烹饪lk构建流程如下。
(1)根据me(不同地区有不同的菜谱，而且不同的菜谱配制、搭配也不相同)，提取co,tm,oi,mi,ta,dd的基本属性，并用o进行描述和定义。使各菜谱的基本属性具有语义。
(2)用o中的r与index,tc构造菜谱语义关系网，实现各特征概念集之间关联。
(3)根据菜谱特征的语义网，用x实现语义网推理，完成lk中各项特征语义化关联，构造基于本体的语义烹饪特征库lkk，描述为：lk:o→lkk。
(4)根据lkk构造样本库skk，为基于深度学习烹饪搭配提供知识发现和不同菜品的特征提取，描述为：lk:lkk→skk。
2.基于深度学习的烹制搭配方法
以所构建的菜品的样本库和特征库为深度学习的基础库skk，用基于深度学习的方法提取烹饪所需的特征，并且还可以根据深度无监督的优势，实现新菜品配制和烹饪，实现烹制搭配多样化，满足不同人群饮食爱好和口味。因此，构建多层深度神经网络模型dnnm，在dnnm学习过程中，在模型中引入卷积层，用反向传播算法从已有的特征库skk中提取到菜品特征fc实现菜品配制，或自主学习进行菜品配制；但在多层深度学习过中，由于受多参数和权重变化影响，易造成特征提取过拟合问题，无法有效学习到满足输入条件的菜品配制方案。对此，为了有效解决这个问题，在卷积神经网络的每层中周期性引入了池化层来消除过拟合现象，但在池化过程中，用于处理skk中的图像识别和特征提取更有效；而对非图像数据过拟合的问题，本发明提出一种基于模糊系统的控制的过拟合现象，即在dnnm学习过程中，权重由模糊系统fs来进行修正，而模糊系统输入量由偏移量b(0b＜1)和分量矩阵的特征值平均：
则基于深度学习的烹制方法描述如下：
(1)在云计算环境下，以lk、sk为基础，建立多层深度神经网络模型dnnm，并根据skk特征提取要求，在dnnm中引入卷积层和池化层，以消减lk中涉及到图像的学习过程中拟合现象。
(2)由于带有卷积的神经网络模型在处理图像、视频和音频等数据上具有优势，可以有效消除学习过程中的过拟合现象；但在处理非图像等数据时，表现出权重和参数出现不确定性，因此本发明提出一种基于模糊系统fs的过拟合模型来处理权重递减过程中过拟合现象。
(3)建立基于pso的梯度下降全局优化模型和算法，保障dnnm学习过程中的梯度能达到一个全局优化能力。
(4)根据skk和用户需要确定输入量及个数，并支持输入量以矩阵方式进入到神经模型中。并按fs的要求处理其模糊输入量。
(5)根据菜谱进行烹制菜品的自动搭配，并将搭配结果传递给机械手臂进行烹饪。特别地，将基于深度学习的自动烹制算法写入到嵌入板中供机械手臂进行制作。
则可以根据不同人群、品味、偏好等构建终端用户需求模型model，并做为深度卷积神经网络的输入层input，然后以skk为学习对象展开学习，或通过深度自主学习进行烹饪配制；然后进行采样处理，计算出所需要的烹饪配制结果。整个过程需要在云计算大数据环境中进行数据流式分析处理。
3.基于机械手臂的自动烹饪及传菜装置
主要由智能机械手臂、控制器、烹饪装置、传菜装置、环境感知装置、照明装置、烟雾排放装置组成
(1)智能机械手臂：直接可以采用最先进的智能机械手臂装置，该种手臂具备自由活动、提取物品、自动识别等能力；在本发明中，它主要用于抓获佐料、材质、油料和配料等，即该机械手臂能从深度学习结果读取菜品配制方案，以skk为基础，自动识别菜品所需要的各类材质、佐料、油料和其它配料等，并启动烹饪装置进行菜品烹制，还能从烹饪工具装置中选择不同的烹饪工具。同时，该机械手臂能支持二次开发，开放接口供控制器连接控制。
(2)控制器：主要完成机械手臂与深度学习的菜品烹饪房协调控制，即用基于微分系统diff的控制程序控制菜品烹饪，并完成与烹饪装置cook、传送装置tran、环境感知装置enav、照明装置ligh、烟雾排放装置smok之间通信，且控制器所控制、协调的装置与时间t相关，实现各装置同步高效协作，完成菜品的烹制。因此控制器运作可以简单表示为：
diff(dnnm,t)＝cook(t)+tran(t)+enav(t)+smok(t)+ligh(t)
(3)烹饪装置：用于烹制菜品的装置，一种由天然气作为燃料的烹饪装置，另一种由市电为燃料的装置，每种装置都需要安装温控传感器、燃料控制传感器、开关传感器和燃料自主切断传感器，其中开关传感器能由机械手臂操作，也可以由控制器自主控制启动，但用于烹制的锅需要机械手臂来完成；自主切断传感器是当烹饪操作间有异常后，可以自主切断燃料或电源。
(4)传菜装置：主要由两个功能构成，一个是将需要烹饪的材料传送到烹制操作间，这样便于机械手臂便于操作；另一个功能是将烹制好菜品进行品鉴(查看本发明的第四部分)并传给送菜机器人，由送菜机器人把烹制好的菜品传到终端用户的餐桌上。需要说明的是烹饪材料准备需要由人工来完成。因此整个装置主要由传输装置和传送控制器两部分组成，并能由控制器统一管控。
(5)环境感知装置：用于感知烹制操作间的环境(主要包括温度、湿度、异常味道等)，由湿度、湿度和异常味道检测等传感器构成，并控制器连接且进行控制。
(6)照明装置：主要用于控制烹制操作间的照明，但需要与控制器连接，实现烹制操作间整体照明控制。
(7)烟雾排放装置：用于将菜品烹制过程所生成的各类油烟雾排放出操作间，保障烹制操作间无味且整洁，主要由烟务排发装置(含消声装置)、自动清洗装置、油烟雾感知开关装置，其中，油烟雾感知开关装置根据烹制操作间油烟雾强度大小，启动不同的档位，保障操作间干净。
4.基于目标跟踪的ahp菜品品鉴方法
当把烹饪好的菜品通过传送装置传出后，需要以skk为基础来对菜品进行鉴别。因此，基于目标跟踪的菜品鉴别方法主要由目标(菜品)跟踪摄像头、ahp品鉴模型ahpem、基于skk的口味识别模型tcm、品鉴结果反馈模型erfm、嵌入式控制板卡和送菜机器人对接装置，
(1)目标(菜品)跟踪摄像头：采用已有的可编程的目标跟踪摄像头和菜品样品提取装置，一是用来对所烹制的菜品跟踪管理，二是用来对烹制操作间进行监控。特别地，用可编程摄像头的目的是探测菜品的品质，并能将探测的结果传输给ahp品鉴模型。其中，探测功能主要从菜品中捕获颜色和香味，并将结果提交给第5部分控制台中，而菜品样品提取装置主要用来提取已烹制好的菜品，结合跟踪摄像头品鉴菜品口味和风味。
(2)ahp品鉴模型ahpem：用ahp方法来对所构建的菜品指标体系进行评估品鉴，并由ahp模型自动分配不同权重来获得烹饪结果优劣。基于ahp的主要一级评价指标有菜品的口味/风味taste、颜色color、营养成份nut、材质搭配比例tex、佐料搭配比例sea、烹饪时间tim、顾客点评com。其中，不同的菜品具有不同的指标属性，导致ahp分配的权重也不一样，需要与skk结合，从特征库中选取不同菜品与之相似度匹配，捕获到与ahp相近的指标赋值，并用模糊语言{好、较好、还行、不行}作为最终评价结果。可以表示为：
skk：ahp(taste,color,nut,tex,sea,tim,com)→ahpem.weight:{好,较好,还行,不行}
(3)基于skk的口味识别模型tcm：针对不同的顾客或不同群体顾客来讲，口味也是不一样的，但本发明所建立口味模型就是用来测量普通大众的通用模型，主要从skk库中提取到味觉特征tfea，而且与skk中特征相似度计算用余弦定理cosine来提取特征；并结合ahp品鉴模型建立口味识别模型tcm，tcm直接与ahp品鉴模型中的顾客点评相关，点评数据越丰富，数据体量越大，tcm效果就越好，识别能力就越强。可以表示为：(cosine:tfea→skk):ahp.com→tcm。特别地，可以将本发明提出tcm加入到电子鼻和电子舌中，并通过嵌入编程方法将电子鼻和电子舌集成在嵌入式控制板卡中，并与本发明第2部分的控制器连接通信，进行统一鉴别烹制好的菜品的质量。
(4)品鉴结果反馈模型erfm：根据ahpem和tcm建立erfm模型，即erfm主要用来收集烹制后菜品特征cookf(来自电子鼻和电子舌)和顾客反馈数据的特征feedbf，然后将两特征(cookf,feedbf)作为dnnm的输入量，然后深度学习到菜品不足的特征lakef之处，并能及时反馈至第2部分的控制器，改进菜品烹制结果，更能满足不同人和不同人群的口味。可以表示，
[fs(cookf,feedbf)：dnnm]:(ahpem,tcm)→erfm(lakef)
(5)嵌入式控制板卡：用于将erfm及ahpem、tcm的结果用程序实现，写入到嵌入式控制板卡集成到第2部分的控制器中，同时将目标跟踪摄像头可编程接口也一并集成在控制器中，并用于控制和改进菜品烹制，达到不断学习和改进烹饪结果，提高烹制自主学习能力。
(6)送菜机器人对接装置：主要由对接装置和送菜机器人构成，其中，对接装置是将烹制好的菜品传递给送菜机器人，而送菜机器人则将烹制好菜品送到指定的顾客手中。
5.基于终端触摸的控制操作平台
该平台用于控制烹制操作间的所设备设施，主要由操作台、触摸显示屏、计算装置和信息管理平台构成，如图4所示，其中，
(1)智能烹饪操作台：主要用于烹饪师管控烹制房，实现安全稳定自动化烹饪，即将烹饪房所有设备设施管控起来，保障烹饪房安全。
(2)触摸显示屏：与操作台直接相连通信，用于可视化管理烹饪房的烹饪操作。
(3)计算装置：就是一台计算机主机，用于与显示屏通信，并用于管制智能烹饪操作台和计算基于深度学习的烹制搭配方法、处理基于语义识别的烹饪特征库与样本库。
(4)信息管理平台：用于管理智能烹饪系统所有数据，为整个智能烹饪系统提供信息，是一款基于云计算的烹饪大数据信息平台。
由于采用了上述技术方案，本发明可以实现烹饪过程智能化，减轻烹饪师劳苦操作和遭受烹饪过程所带来健康问题，而是让烹饪师从厨房走出，走进智能管理房进行信息化、智能化操作，促进餐饮业、烹饪业信息化。
若需要建设并应用本发明的智能烹饪系统，则按如下步骤给予实施。
第一步：规划并建设满足智能烹饪的场所。
第二步：研发本发明所涉及到的深度学习程序及模型，用形成一套智能烹饪管控程序，用于支撑烹饪智能化运作。
第三步：将智能烹饪管控程序写入嵌入式板卡中，集成中到控制器中，并实现各部件间通信。
第四步：根据本发明进行构架和设计，并采购满足智能烹饪的设备设施，主要大件设备包括可供二次开发的智能机械手臂、电子舌、电子鼻、烹饪装置、传菜装置、环境感知装置、烟雾排放装置、计算机、送菜机器人、嵌入板卡以及附属设备设施等。
第五步：建设智能烹饪系统，并进行测试。
第六步：投入运作，实行检测、测试，发现bug，并进行修复改进。
本发明的发明点和创新之处在于：
(1)针对烹饪智能化，发明了一种基于语义识别的烹饪特征库和样本库，以满足菜品自动配制的深度机器学习。
(2)发明了基于深度学习的菜品自动烹制方法，并用模糊系统和pso改进了深度神经网络的不足，使整个配制过程中不直接受权重衰减不确定性影响，实现全局最优化，即在多层学习，都能较好从每层提取到满足烹制要求的特征。
(3)发明了基于智能机械手臂的自动烹制及传菜机制，即通过构建自动烹制的微分系统来管控烹饪智能化操作，不受外界太多干扰。
(4)发明了基于菜品跟踪的ahp菜品品鉴方法，即通过构建基于ahp的菜品评价方法来鉴别智能烹饪菜品的品味和质量，通过构建基于深度学习的品鉴反馈模型来改进智能烹饪的不足。
(5)发明了基于终端得管控的操作平台，用来管理和控制智能烹饪系统操作和运行，并通过构建信息管理平台将智能烹饪所有数据进行管理，实现信息实时和可视化。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！