一种冰箱智能推荐菜谱方法及智能冰箱系统

本发明涉及冰箱智能服务，尤其涉及一种冰箱智能推荐菜谱方法及智能冰箱系统。

背景技术：

1、冰箱用户有时会忘记或者不清楚冰箱内有什么食材，会使食物不新鲜甚至腐坏，最终由于食物无法及时的吃掉而扔掉，而造成很严重的浪费问题。

2、并且大部分人在做饭的时候，选择做什么菜上十分犹豫，导致耗费很多精力与时间去考虑每天吃什么的问题。在买菜的时候由于不清楚冰箱内的食材，不知道该买什么。在清楚冰箱内有什么食材后，不知道想要吃什么；在知道想吃什么时，不清楚该怎么制作。这些生活中琐碎的小问题，却对我们的影响很大。若是能明确这些信息将大大提高人们的生活效率，进而提高人们生活水平。

3、目前的冰箱具有常规的冷藏和冷冻功能，部分智能冰箱能够进行远程调控稳定，智能化程度还是比较低；并没有一款智能冰箱能够检测冰箱内食材种类与新鲜程度，并根据冰箱内食材结合用户喜好与食材营养价值等向用户推荐菜肴。

技术实现思路

1、本发明主要解决目前没有一款智能冰箱能够检测冰箱内食材种类与新鲜程度，并根据冰箱内食材结合用户喜好与食材营养价值等向用户推荐菜肴的技术问题，提出一种冰箱智能推荐菜谱方法及智能冰箱系统，能够识别冰箱内的食材种类和食材新鲜程度，并实现向用户推荐菜谱。

2、本发明提供了一种冰箱智能推荐菜谱方法，包括以下过程：

3、步骤1，获取公共网站的菜谱信息，建立菜谱数据库；获取公共网站食材保存时间，建立食材保存时间数据表；

4、步骤2，收集公共网站的食材图像，并进行信息标注，构建食材图像数据集和食材新鲜程度数据集；

5、步骤3，将步骤2构建的食材图像数据集和食材新鲜程度数据集，分别按比例分为训练集、测试集和验证集，分别训练得到用于识别食材种类的食材种类识别模型和用于检测食材新鲜程度的新鲜度识别模型；

6、步骤4，利用冰箱上的摄像头，拍照获取置于摄像头前的冰箱食材图像，并保存至食材识别数据集中；

7、步骤5，使用步骤3得到的食材种类识别模型和新鲜度识别模型，识别步骤4拍摄的冰箱食材图像中食材种类与食材新鲜程度；

8、步骤6，按照步骤5获取的冰箱内食材种类及食材新鲜程度，并结合用户喜好记录表与食材保存时间数据表，依据步骤1获取的菜谱数据库，向用户反馈相应的推荐菜单；

9、步骤7，获取用户在推荐菜单中选择的菜品名称后，根据菜谱数据库中的该菜品信息，向用户反馈该菜品的菜谱信息及冰箱内欠缺食材。

10、优选的，在步骤1中，还包括：获取公共网站的食材营养成分信息，构建营养成分数据库；获取公共网站食材保存时间，建立食材保存时间数据表。

11、优选的，步骤3具体包括如下步骤3.1到步骤3.3：

12、步骤3.1，构建神经网络模型，将整个食材图像和一组标注信息作为神经网络模型的输入；

13、步骤3.2，将食材图像数据集，按比例划分成训练集、验证集和测试集三部分，导入训练集训练神经网络模型并在每一代计算损失函数；

14、损失函数包含分类损失和回归损失，其公式计算如下：

15、

16、其中，pi为anchor预测为目标的概率；分为两部分positive label时为1，negative label为0；是两个类别的对数损失；ti是一个表示预测偏移量的向量，是与ti相同维度的向量，表示实际偏移量；nreg是feature map的size；λ取值使分类和回归的权重基本相同。

17、步骤3.3，将食材新鲜程度数据集，按比例划分成训练集、验证集和测试集三部分，按照步骤3.2的方法训练食材新鲜程度识别模型。

18、优选的，在步骤3.3之后，还包括：

19、步骤3.4，导入食材图像数据集的验证集进行模型的参数调整与模型优化，防止过拟合现象发生并提前终止训练，保存每一代训练的模型。

20、优选的，在步骤3.4之后，还包括：

21、步骤3.5，选择训练效果最优的一代作为测试模型，导入食材图像数据集的测试集，计算食材种类识别模型的准确率、召回率、f1值指标并评估模型的泛化性；导入食材新鲜程度数据集的测试集，计算新鲜度识别模型的准确率、召回率、f1值指标并评估模型的泛化性；

22、将正类预测为正类数为tp，将负类预测为负类为tn，将正类预测为负类为fn，将负类预测为正类为fp；

23、准确率计算公式如下：

24、acc＝(tp+tn)/(tp+tn+fp+fn)

25、精确率计算公式如下：

26、precision＝tp/(tp+fp)

27、召回率计算公式如下：

28、recall＝tp/(tp+fn)

29、f1值计算公式如下：

30、f1＝2precision×recallprecision+recall

31、平均精度ap为recall取平均值，平均精度均值map为计算每个类别的平均精度ap，再将平均精度取平均值；

32、测试模型的准确率、精确率、召回率分别达到对应的阈值，得到食材种类识别模型与食材新鲜程度识别模型。

33、优选的，所述步骤3.1，包括以下过程：

34、使用卷积层和最大池化层来处理整个食材图像，以产生卷积特征图；

35、对于每个候选框，感兴趣区域池化层从特征图中提取固定长度的特征向量；

36、每个特征向量被送入一系列全连接层中，其最终分支成两个同级输出层：一个输出k个类别加上一个背景类别的softmax概率估计，另一个为k个类别的每一个类别输出检测框的四组顶点坐标；每组顶点坐标表示k个类别的一个类别的检测框位置的修正。

37、优选的，所述用户喜好记录表，是统计用户每次选择的菜品并计算菜品评分，形成用户记录，按照用户选择菜品评分从大到小进行排序。

38、优选的，所述步骤6包括如下步骤6.1到步骤6.2：

39、步骤6.1，根据冰箱内食材种类及食材新鲜程度在步骤1获取的菜谱数据库中进行遍历，找到相关性符合要求的多个菜谱信息，并依据多个菜谱信息形成初步的菜单；

40、步骤6.2，再结合用户喜好记录表与食材保存时间数据表，在初步的菜单中，筛选出与用户喜好相关性较高且涉及到即将错过最佳使用时期食材的菜品，形成最终的推荐菜单，并反馈给用户。

41、优选的，在步骤7之后，还可以包括：步骤8，并根据冰箱内食材新鲜程度与用户所选菜品所需食材的营养成分，出具健康报告。

42、对应的，本发明还提供一种智能冰箱系统，包括：

43、建立菜谱数据库模块，用于获取公共网站的菜谱信息，建立菜谱数据库；

44、建立食材图像数据集模块，用于收集公共网站的食材图像，并进行信息标注，构建食材图像数据集和食材新鲜程度数据集；

45、建立识别模块，用于将构建的食材图像数据集和食材新鲜程度数据集，分别按比例分为训练集、验证集和测试集，分别训练得到用于识别食材种类的食材种类识别模型和用于检测食材新鲜程度的新鲜度识别模型；

46、获取冰箱食材图像模块，用于利用冰箱上的摄像头，拍照获取置于摄像头前的冰箱食材图像，并保存至食材识别数据集中；

47、识别模块，用于使用得到的食材种类识别模型和新鲜度识别模型，识别拍摄的冰箱食材图像中食材种类与食材新鲜程度；

48、推荐菜单模块，用于按照获取的冰箱内食材种类及食材新鲜程度，并结合用户喜好记录表与食材保存时间数据表，依据获取的菜谱数据库，向用户反馈相应的推荐菜单；

49、推荐菜品制作信息模块，用于获取用户在推荐菜单中选择的菜品名称后，根据菜谱数据库中的该菜品信息，向用户反馈该菜品的菜谱信息及冰箱内欠缺食材。

50、本发明提供的一种冰箱智能推荐菜谱方法及智能冰箱系统，与现有技术相比具有以下优点：

51、1、本发明采用神经网络模型能够识别冰箱内的食材种类和食材新鲜程度，并实现向用户推荐菜谱，算法准确率较高。为用户记录冰箱内食材的种类、新鲜程度与营养价值，并通过系统的分析根据食材的信息、营养成分与用户的喜好向用户推荐相关的菜肴所需材料、欠缺材料与制作流程等信息，并以可视化的形式将信息反馈给用户。

52、2、本发明通过大规模数据的支撑，为用户推荐全方面的菜谱信息，可以按照用户的喜好、冰箱内的食材信息与食材所具有的营养价值，综合向用户推荐菜肴需要的材料、制作方法与冰箱内欠缺的材料，帮助用户明确想要吃什么的问题，吃什么更健康，提高生活效率，提高冰箱智能化程度。

53、3、本发明可以向用户反馈冰箱内的拥有的食材种类，解决用户在买菜时不知道冰箱内还有什么食材，减少了食物的浪费。

54、4、方法使用门槛较低，用户可以简单方便的使用此方法，用户可以通过手机端查看，也可以在冰箱的显示界面查看。