图像识别菜谱开发方法、终端及可读存储介质与流程

本发明涉及菜谱开发技术领域，尤其涉及一种图像识别菜谱开发方法、终端及可读存储介质。

背景技术：

随着人工智能技术的不断发展，烹饪机器人在市场上越来越受欢迎，现有的烹饪机器人一般都带有菜谱库，但是，菜谱库中菜谱种类一般都比较少，不全面，导致很多用户想要制作的菜肴，烹饪机器人无法制作，另外，对于在实际烹饪时，原材料的状态(如肉类是否需要解冻、蔬菜类料形的不同)相对于菜谱中记录的信息可能不一致，烹饪机器人无法根据原材料的实际状态作出灵活调整。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种图像识别菜谱开发方法、终端及可读存储介质，旨在解决如何提高菜肴库中菜谱数量的问题。

为实现上述目的，本发明提供一种图像识别菜谱开发方法，所述图像识别菜谱开发方法包括：

检测到菜谱开发指令；

若指令为用户开发菜谱，则获取所述菜谱生成参数；

基于所述菜谱生成参数，生成所述菜谱；

若指令为识别菜肴成品，则获取所述菜肴成品中已烹饪原材料种类；

基于所述已烹饪原材料种类，结合大数据分析，查找与所述菜肴成品相同或相近的所述菜肴成品菜谱。

可选地，所述菜谱生成参数至少包括未烹饪原材料种类、未烹饪原材料料形、未烹饪原材料投放时间、未烹饪原材料重量、加热时间和火力大小，所述获取菜谱生成参数的步骤包括：

获取未烹饪原材料投放时间、未烹饪原材料重量、加热时间和火力大小；

获取未烹饪原材料图像；

基于所述未烹饪原材料图像，获取未烹饪原材料种类和未烹饪原材料料形。

可选地，所述基于所述未烹饪原材料图像，获取未烹饪原材料种类和未烹饪原材料料形的步骤包括：

对所述未烹饪原材料图像进行预处理，得到未烹饪待提取特征图像；

基于所述未烹饪待提取特征图像，通过预先训练好的未烹饪卷积神经网络模型，获取所述未烹饪待提取特征图像的未烹饪特征图；

基于所述未烹饪特征图，通过与预设未烹饪原材料特征图库进行匹配，获取未烹饪原材料种类和未烹饪原材料料形。

可选地，所述若指令为识别菜肴成品，则获取所述菜肴成品中已烹饪原材料种类的步骤包括：

获取所述菜肴成品图像或所述菜肴成品图片图像；

基于所述菜肴成品图像或所述菜肴成品图片图像，获取所述已烹饪原材料种类。

可选地，所述基于所述菜肴成品图像或所述菜肴成品图片图像，获取所述已烹饪原材料种类的步骤包括：

对所述菜肴成品图像或所述菜肴成品图片图像进行预处理，得到已烹饪待提取特征图像；

基于所述已烹饪待提取特征图像，通过预先训练好的已烹饪卷积神经网络模型，获取所述已烹饪待提取特征图像的已烹饪特征图；

基于所述已烹饪特征图，通过与预设已烹饪原材料特征图库进行匹配，获取所述菜肴成品原材料种类。

可选地，所述基于所述未烹饪原材料图像，获取未烹饪原材料种类和未烹饪原材料料形的步骤之后还包括：

基于所述未烹饪原材料种类，通过与预设菜谱库进行匹配，获取菜谱；

获取未烹饪原材料状态，通过线性插值法，对所述菜谱进行自适应调整，得到自适应菜谱；

基于所述自适应菜谱进行烹饪，间隔预设时间获取锅具内部和锅具周边状态，并完成烹饪过程。

可选地，所述获取锅具内部和锅具周边状态，并完成烹饪过程的步骤包括：

获取锅具内部烹饪中原材料状态；

基于所述烹饪中原材料状态和所述自适应菜谱，调节烹饪进度，完成烹饪过程。

可选地，所述获取锅具内部和锅具周边状态，并完成烹饪过程的步骤还包括：

获取锅具内部或锅具周边的状态图像；

判断锅内是否出现异常，若锅内出现异常，则降低火力或关火。

为实现上述目的，本发明还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像识别菜谱开发程序，所述图像识别菜谱开发程序被所述处理器执行时实现上述的图像识别菜谱开发方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机存储介质，计算机存储介质上存储有图像识别菜谱开发程序，图像识别菜谱开发程序被处理器执行时实现上述的图像识别菜谱开发方法的步骤。

本发明实施例提出的一种图像识别菜谱开发方法、终端及可读存储介质，通过检测到菜谱开发指令，若指令为用户开发菜谱，则获取菜谱生成参数，基于所述菜谱生成参数，生成菜谱，若指令为识别菜肴成品，则获取所述菜肴成品中已烹饪原材料种类，基于所述已烹饪原材料种类，结合大数据分析，查找与所述菜肴成品相同或相近的所述菜肴成品菜谱。通过用户自行开发菜谱或者是根据用户提供的菜肴成品实物或图片，在增加菜谱的种类数量的前提下还可以满足用户需求也就是用户想要制作什么菜肴都可以实现；通过获取原材料的状态来对菜谱进行自适应调整，避免因为待烹饪的原材料状态和菜谱中记录的原材料状态不同所导致菜肴口感不行的问题，提高了菜谱执行时的灵活性，使得一个菜肴可以有多个菜谱。实现了增加菜肴库中菜谱数量的目的。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明图像识别菜谱开发方法第一实施例的流程示意图；

图3为本发明图像识别菜谱开发方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取图像，基于所述图像，获取参数信息，其中，所述图像为原材料图像，所述参数信息为原材料参数信息，获取原材料投放时间和原材料重量以及火力大小，基于所述原材料参数信息、所述原材料投放时间和所述原材料重量以及所述火力大小，生成菜谱。实现了提高烹饪机器人的操作便利性的目的。

由于现有技术在开发菜谱时，需要将生成菜谱程序的相关信息人工输入到烹饪机器人中，造成烹饪机器人的操作便利性低的问题。

本发明提供一种解决方案，使烹饪机器人的操作便利性得到提高。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是pc，也可以是智能手机、平板电脑、电子书阅读器、mp3(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)播放器、mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像识别菜谱开发程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像识别菜谱开发程序，并执行以下操作：

检测到菜谱开发指令；

若指令为用户开发菜谱，则获取所述菜谱生成参数；

基于所述菜谱生成参数，生成所述菜谱；

若指令为识别菜肴成品，则获取所述菜肴成品中已烹饪原材料种类；

基于所述已烹饪原材料种类，结合大数据分析，查找与所述菜肴成品相同或相近的所述菜肴成品菜谱。

进一步地，所述菜谱生成参数至少包括未烹饪原材料种类、未烹饪原材料料形、未烹饪原材料投放时间、未烹饪原材料重量、加热时间和火力大小，所述获取菜谱生成参数的步骤包括：

获取未烹饪原材料投放时间、未烹饪原材料重量、加热时间和火力大小；

获取未烹饪原材料图像；

基于所述未烹饪原材料图像，获取未烹饪原材料种类和未烹饪原材料料形。

进一步地，所述基于所述未烹饪原材料图像，获取未烹饪原材料种类和未烹饪原材料料形的步骤包括：

对所述未烹饪原材料图像进行预处理，得到未烹饪待提取特征图像；

基于所述未烹饪待提取特征图像，通过预先训练好的未烹饪卷积神经网络模型，获取所述未烹饪待提取特征图像的未烹饪特征图；

基于所述未烹饪特征图，通过与预设未烹饪原材料特征图库进行匹配，获取未烹饪原材料种类和未烹饪原材料料形。

进一步地，所述若指令为识别菜肴成品，则获取所述菜肴成品中已烹饪原材料种类的步骤包括：

获取所述菜肴成品图像或所述菜肴成品图片图像；

基于所述菜肴成品图像或所述菜肴成品图片图像，获取所述已烹饪原材料种类。

进一步地，所述基于所述菜肴成品图像或所述菜肴成品图片图像，获取所述已烹饪原材料种类的步骤包括：

对所述菜肴成品图像或所述菜肴成品图片图像进行预处理，得到已烹饪待提取特征图像；

基于所述已烹饪待提取特征图像，通过预先训练好的已烹饪卷积神经网络模型，获取所述已烹饪待提取特征图像的已烹饪特征图；

基于所述已烹饪特征图，通过与预设已烹饪原材料特征图库进行匹配，获取所述菜肴成品原材料种类。

进一步地，处理器1001可以调用存储器1005中存储的图像识别菜谱开发程序，还执行以下操作：

所述基于所述未烹饪原材料图像，获取未烹饪原材料种类和未烹饪原材料料形的步骤之后还包括：

基于所述未烹饪原材料种类，通过与预设菜谱库进行匹配，获取菜谱；

获取未烹饪原材料状态，通过线性插值法，对所述菜谱进行自适应调整，得到自适应菜谱；

基于所述自适应菜谱进行烹饪，间隔预设时间获取锅具内部和锅具周边状态，并完成烹饪过程。

进一步地，所述获取锅具内部和锅具周边状态，并完成烹饪过程的步骤包括：

获取锅具内部烹饪中原材料状态；

基于所述烹饪中原材料状态和所述自适应菜谱，调节烹饪进度，完成烹饪过程。

进一步地，处理器1001可以调用存储器1005中存储的图像识别菜谱开发程序，还执行以下操作：

所述获取锅具内部和锅具周边状态，并完成烹饪过程的步骤还包括：

获取锅具内部或锅具周边的状态图像；

判断锅内是否出现异常，若锅内出现异常，则降低火力或关火。

参照图2，在本发明图像识别菜谱开发方法第一实施例中，所述图像识别菜谱开发方法包括：

步骤s10，检测到菜谱开发指令；

一般情况下，烹饪机器人的菜谱库中菜谱数是有限的，当用户不满足于烹饪机器人中现有菜谱数，想要自己开发菜谱，或者是遇到自己喜欢的菜肴却不会烹饪，想通过烹饪机器人来获取并开发菜谱时，用户可以选择通过烹饪机器人来开发菜谱，烹饪机器人一般都带有菜谱开发系统，菜谱开发系统可以由如手机、平板电脑等终端实现。

步骤s20，若指令为用户开发菜谱，则获取所述菜谱生成参数；

在用户知道某道菜肴的烹饪方法，而烹饪机器人菜谱库中没有的情况下，用户可选择自行开发新菜谱。通过摄像头获取用户准备好的没有经过烹饪的原材料图像，菜谱开发系统对获取到的没有经过烹饪的原材料图像进行预处理，使没有经过烹饪的原材料图像的特征突出，例，将该图像的背景去除，保留只包含原材料的图像，去除图像中背景的干扰，然后将经过预处理的图像输入到预先训练好的没有经过烹饪的原材料的卷积神经网络模型中，以获得没有经过烹饪的原材料图像的特征图，根据获取到的特征图与对应的没有经过烹饪的原材料的特征图库进行匹配，匹配到相应的特征图之后，获取特征图库中与之对应的原材料的种类和料形，这里说的料形是指原材料的形状以及大小，比如，土豆丝的截面一般是接近正方形的，那么可以把它看成是正方形，然后土豆丝的形状就是正方形，它的大小可以用厚度也就是正方形边长来表示。另外，在处理获取到的图像的时候也可以有多种处理方法，例如，在本地处理，优点是不需要网络，反应时间短；另一种是将本地获取的图像上传至网络，由云端进行识别，好处是可以减轻本地处理器的负担，并且云端的特征图库相对而言更加的全面，所以对原材料的识别率更高。另外，烹饪机器人所需要的菜谱不同于我们人日常生活中所使用的菜谱，它所需要的菜谱信息需要非常全面，除了之前通过图像识别获得原材料的种类和料形之外，还需要包括原材料的重量、投放时间、投放顺序以及整个菜谱开发过程中的火力变化情况等信息。原材料的重量通过烹饪机器人中的称重传感器获得，在菜谱开发过程开始(如加入油)时记为菜谱开发过程的时间零点，通过烹饪机器人的图像识别功能，识别出每次投放的原材料种类，并记录原材料的投放相对于时间零点的时间，并且将每次投放的原材料排序，记录整个菜谱开发过程中每个原材料对应的投放顺序，火力的变化情况也可以通过记录每次火力变化时，相对于时间零点的时间，通过以上方法就准备好了自动生成菜谱所需要的信息。

步骤s30，基于所述菜谱生成参数，生成所述菜谱；

菜谱开发系统根据步骤s20获取到的自动生成菜谱所需要的菜谱生成参数来自动生成相应菜谱。

步骤s40，若指令为识别菜肴成品，则获取所述菜肴成品中已烹饪原材料种类；

如果用户不知道某道菜肴的烹饪方法，只有菜肴成品实物或者是图片，比如在饭馆吃饭吃到了心仪的菜，或者是在网上看到了菜肴成品图片非常喜欢，那么用户可以通过摄像头来获取菜肴成品实物或者是图片，然后将它输入到菜谱开发系统中，菜谱开发系统对获取到的菜肴成品图像或菜肴成品图片图像进行预处理，目的是为了使菜肴成品图像或菜肴成品图片图像中的原材料的特征突出，例如，将该图像的背景去除，保留只包含菜肴成品或菜肴成品图片的图像，去除图像中背景的干扰，然后将经过预处理的图像输入到预先训练好的经过烹饪的原材料的卷积神经网络模型中，以获得经过烹饪的原材料图像的特征图，根据获取到的特征图与对应的经过烹饪的原材料的特征图库进行匹配，匹配到相应的特征图之后，获取特征图库中与之对应的原材料的种类信息。另外，在处理获取到的图像的时候也可以有多种处理方法，例如，在本地处理，优点是不需要网络，反应时间短；另一种是将本地获取的图像上传至网络，由云端进行识别，好处是可以减轻本地处理器的负担，并且云端的特征图库相对而言更加的全面，所以对原材料的识别率更高。

步骤s50，基于所述已烹饪原材料种类，结合大数据分析，查找与所述菜肴成品相同或相近的所述菜肴成品菜谱。

根据获取到的原材料的种类信息，通过搜索本地的菜谱库以及通过网络搜索存在的与原材料的种类信息对应的菜谱，如果能找到与菜肴成品相同的菜谱，则将这个菜谱推荐给用户，如果只能找到与菜肴成品相近的菜谱，则通过分析(如结合用户的日常饮食习惯)，选出最适合用户的一个或多个菜谱，也可以通过菜谱的热度排行来选出一个或多个菜谱，然后将选出来的菜谱推荐给用户，菜谱要包含原材料、工艺、营养等信息，如果获取到的菜谱中没有这些信息，则可以由菜谱开发系统生成。

在本实施例中，通过检测到菜谱开发指令，若指令为用户开发菜谱，则获取菜谱生成参数，基于所述菜谱生成参数，生成菜谱，若指令为识别菜肴成品，则获取所述菜肴成品中已烹饪原材料种类，基于所述已烹饪原材料种类，结合大数据分析，查找与所述菜肴成品相同或相近的所述菜肴成品菜谱。通过用户自行开发菜谱或者是根据用户提供的菜肴成品实物或图片，在增加菜谱的种类数量的前提下还可以满足用户需求也就是用户想要制作什么菜肴都可以实现；通过获取原材料的状态来对菜谱进行自适应调整，避免因为待烹饪的原材料状态和菜谱中记录的原材料状态不同所导致菜肴口感不行的问题，提高了菜谱执行时的灵活性，使得一个菜肴可以有多个菜谱。实现了增加菜谱库中菜谱数量的目的。

进一步地，参照图3，在本发明图像识别菜谱开发方法第二实施例中，基于第一实施例，所述基于所述未烹饪原材料图像，获取未烹饪原材料种类和未烹饪原材料料形的步骤之后还包括：

步骤s60，基于所述未烹饪原材料种类，通过与预设菜谱库进行匹配，获取菜谱；

在开发好菜谱后，用户在使用烹饪机器人进行烹饪时，用户将原材料准备好，交由烹饪机器人识别，烹饪机器人获取到原材料的种类，烹饪机器人根据原材料种类从菜谱库(由之前用户开发好的菜谱、烹饪机器人自带的菜谱和云服务器端的菜谱组成)中获取与原材料对应的菜谱。

步骤s70，获取未烹饪原材料状态，通过线性插值法，对所述菜谱进行自适应调整，得到自适应菜谱；

由于原材料的料形一般是不固定的，菜谱库不可能将每种料形都记录为一个菜谱，因此菜谱库保存的菜谱中未烹饪原材料料形参数一般是离散的，所以需要用线性插值法来自适应调整菜谱的某些参数值。例，菜谱库中保存有土豆丝厚度为2、4、6毫米的菜谱，土豆丝厚度为2毫米时，它需要在火力大小为700w的情况下加热2分钟；土豆丝厚度为4毫米时，它需要在火力大小为1000w的情况下加热3分钟，而此时用户切好的土豆丝厚度是3毫米，则通过线性插值法确定，此时土豆丝需要在850w的情况下加热2.5分钟。

步骤s80，基于所述自适应菜谱进行烹饪，获取锅具内部和锅具周边状态，并完成烹饪过程。

根据步骤s70调整好的自适应菜谱进行烹饪，烹饪时通过摄像头间隔一定时间，如1s，拍摄一次包含锅具内部以及锅具周边的状态，具体地，锅具内部可能的状态包括，原材料下锅时的雾气、锅具内是否沸腾、锅具内菜肴的成熟度、原材料的投放顺序是否出错等等；锅具内部以及锅具周边是否出现冒烟的情况，所有由锅具内部和锅具周边状态作出的调整都优先于菜谱，如，在某一时刻根据锅具内部和锅具周边状态判断需要降低火力，而菜谱在此时刻是维持火力，那么实际烹饪时是降低火力。根据识别到的原材料下锅时的雾气状态可以对菜谱进行实施调整，如，肉类可能经过冷冻需要解冻，加热时间延长，等雾气状态达到一定程度时则停止解冻过程；蔬菜在下锅时可能存在水没有滤干的情况，也会产生大量雾气，需要先把这些水分蒸发完，加热时间延长，等雾气状态达到一定程度时则停止额外蒸发水分的过程。根据锅具内是否沸腾来调整火力的大小，如，煲汤时有一个将水烧开的过程，这个过程中需要大火，在水烧开沸腾后，继续开大火会有汤汁溢出锅具，造成安全隐患(如汤汁进入电路)的风险，所以，当检测到水沸腾后，需要降低火力。根据锅具内菜肴的成熟度来实现自动调节烹饪进度，如，烹饪基围虾时，基围虾的颜色由淡色转为红色之后降低火力。如果原材料的投放顺序出错可能导致菜肴成品无法满足用户需求，所以此时提醒用户，由用户决定是继续完成烹饪还是提前结束烹饪。

在本实施例中，通过间隔一定时间获取一次锅具内部或锅具周边的状态图像，做到实时监测整个菜肴烹饪过程，实现了菜谱的自适应调整，增加了菜谱数量，避免了烹饪过程中安全事故的发生。

本发明还提供一种移动终端，所述移动终端包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的图像识别菜谱开发程序，所述图像识别菜谱开发程序被所述处理器执行时实现上述图像识别菜谱开发方法各实施例的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像识别菜谱开发程序，所述图像识别菜谱开发程序被处理器执行时实现上述图像识别菜谱开发方法各实施例的步骤。

在本发明图像识别菜谱开发终端和计算机可读存储介质的实施例中，包含了上述上述图像识别菜谱开发方法各实施例的全部技术特征，说明书拓展和解释内容与上述图像识别菜谱开发方法各实施例基本相同，在此不做累述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。