智能冰箱的辅助方法及辅助系统的制作方法
【专利摘要】本发明公开了一种智能冰箱的辅助方法，该辅助方法能够进行食材管理、食谱推荐和购物辅助等；本发明还公开一种智能冰箱的辅助系统，该辅助系统是嵌入在冰箱门外侧的嵌入式设备、服务器以及移动设备。在嵌入式设备上，通过手动及条形码、摄像头采集的手段，将食材信息录入系统。嵌入式设备通过网络连接到服务器，进行高精度识别和其它处理。移动设备与服务器互联，获取系统信息。嵌入式和移动设备上反馈系统辅助信息：根据食材数量进行的缺货提醒。本发明具有成本低，功耗低和高易用性等优点。
【专利说明】智能冰箱的辅助方法及辅助系统
【技术领域】
[0001] 本发明涉及一种进行食材管理、食谱推荐和购物辅助的智能冰箱辅助技术，特别 涉及一种智能冰箱的辅助方法及辅助系统。
【背景技术】
[0002] 现有技术中存在从食材的IC标签上取得食材名称、个数信息，并从网络获取信息 的冰箱（参照JP特开2004-80355号公报），还有一种在此基础上，能追踪食材安全信息的 冰箱（参照JP特开2004-328781号公报），以及带有远程查看控制、冰箱食材基本管理的冰 箱（参照CN200958885号公告）。
[0003] 在上述文献中，记载有一种如下的有关冰箱的技术，即通过读取附加在食材的IC 标签，而获取存放在冰箱的食材信息，远程查看，并通过网络获取有关该食材基本信息的冰 箱。
[0004] 还有通过图像识别提取特征录入食材，但只完成了过期提醒功能的冰箱（参照 CN102142058A 号公告）。
[0005] 随着我国国民经济的迅速发展，人民生活水平提高及城市化进程的推进，人们对 软件移动化和智能化的需求也变得更加强烈。烹饪时根据用户的个人饮食习惯，提供健康 食谱和营养建议也是智能冰箱的需求点。在外购物时，用户有可能不记得冰箱中食材或者 难以兼顾营养学、时令季节、家人习惯和冰箱中食材的信息来进行购物决策。现有发明通过 手机移动设备，即使拥有能了解冰箱里食材数量的冰箱，也不能有效利用其保鲜保质烹饪 信息，为用户提供食谱推荐和购物推荐。
[0006] 而且在国内投入实用还需要处理一系列问题。如在国内很多城市的农贸市场甚至 超市，内含信息量大的IC标签尚未普及。在没有该标签时，仅依靠该录入手段的冰箱系统 录入时将遇到极大障碍，并且也存在IC标签直接粘贴在食材上的卫生问题。通过超市食材 提前粘贴的条形码，以及提取食材的图像特征进行识别，可以节省大量IC标签的成本和人 力物力。
【发明内容】
[0007] 本发明的首要目的在于克服现有技术的缺点与不足，提供一种智能冰箱的辅助方 法，该方法通过对家庭数据的分析，实现对这个家庭的个性化服务，产生更智能、更符合用 户期望的决策。
[0008] 本发明的另一目的在于克服现有技术的缺点与不足，提供一种智能冰箱的辅助系 统，该系统是由嵌入在冰箱门外侧的嵌入式设备、服务器以及移动设备组成，其中嵌入式设 备包括开发板、音响、以及至少一个摄像头；开发板具有SD卡接口、USB接口、显示屏、触摸 屏、音响接口，并且搭载数据库、Linux、Android、WinCE操作系统之一。
[0009] 本发明的目的通过下述技术方案实现：一种智能冰箱的辅助方法，包括以下步 骤：
[0010] 步骤1、嵌入式设备食材录入的步骤，该步骤包括图像采集、食材图像识别、条形 码识别和手动录入等四大步骤：
[0011]图像采集模块，通过CMOS摄像头进行对食材的实时图像或条形码进行采集； [0012] 食材图像识别模块，通过摄像头采集的图像比对食材特征，返回食材分类；
[0013] 条形码识别模块，通过解析摄像头采集的图像返回条形码数据；
[0014] 手动录入模块，在触摸屏界面上点击进行食材信息录入；
[0015] 步骤2、随时随地查询冰箱食材信息的步骤，该步骤通过移动设备端实现，包括食 材存取编辑及查询、过期提醒、缺货提醒等三大步骤：
[0016] 食材存取编辑及查询模块，在存取和库存界面点击按钮实现相应功能；
[0017] 过期提醒模块，通过食材保质数据库，和食材入箱日期，计算食材过期日期并在过 期5日前显示于过期提醒栏界面；
[0018] 缺货提醒模块，通过食材数据库，检查食材数量，数量少于3的显示于缺货提醒栏 界面；
[0019] 步骤3、系统食谱推荐的步骤，该步骤通过服务器端软件和移动设备端实现，包括 食谱信息建模、用户及其偏好信息挖掘、今日推荐、营养分析推荐等策略向用户推荐食谱；
[0020] 食谱信息建模，包括食谱所属菜系，食谱所需食品，食谱实施难易程度，食谱功效 以及食谱营养价值，用于食谱信息的用户信息包括用户所在地域，当前的时令季节以及当 前的天气温度；
[0021] 用户及用户的偏好信息挖掘，所述用户的偏好信息包括用户喜好和收藏的食谱信 息，以及通过数据挖掘技术挖掘冰箱历史记录得到的营养分布信息；
[0022] 今日推荐，根据用户信息，用户近期喜好或者收藏的食谱信息以及冰箱当前有的 食材进行推荐；
[0023] 营养分析推荐，根据数据挖掘技术得到的营养分布信息，按照营养均衡原则，推荐 包含用户需要补充的营养的食谱。热门推荐是推荐被不同用户喜好或者收藏最多的食谱；
[0024] 步骤4、购置食材推荐的步骤，该步骤通过移动设备端实现，包括缺货提醒、关联搭 配推荐等两大步骤：
[0025] 缺货提醒模块，根据冰箱中剩余食材现状，及时显示即将过期的食材，并推荐用户 进行采购的食材；
[0026] 关联搭配推荐模块，根据用户实际生活中经常搭配食用的食材，进行智能关联推 荐购物；
[0027] 步骤5、食材店家推荐的步骤，通过移动设备端实现，该方法包括查看附近店家、显 示店家距离和检索食材存货等。超市和市场等店家的位置是通过移动设备GPS模块，定位 附近的店家；
[0028] 查看附近店家，通过移动地图API，获取用户当前地理位置，并在地图上标注显示 附近的店家；
[0029] 查看店家距离，显示店家与用户当前位置的地面距离，作为推荐的参考因素之
[0030] 检索食材存货，根据购物清单中的食材在店家的存货情况，智能推荐最佳的食材 购头店豕。
[0031] 本发明的另一目的通过以下技术方案实现：一种智能冰箱的辅助系统，包括：嵌 入式设备食材录入装置、随时随地查询冰箱食材信息装置、系统食谱推荐装置、购置食材推 荐装置和食材店家推荐装置；
[0032] 所述嵌入式设备食材录入装置包括以下模块：
[0033] 图像采集模块，用于通过CMOS摄像头进行对食材的实时图像或条形码进行采集；
[0034] 食材图像识别模块，用于通过摄像头采集的图像比对食材特征，返回食材分类；
[0035] 条形码识别模块，用于通过解析摄像头采集的图像返回条形码数据；
[0036] 手动录入模块，用于在触摸屏界面上点击进行食材信息录入；
[0037] 所述随时随地查询冰箱食材信息的装置通过移动设备端实现，包括食材存取编辑 及查询模块、过期提醒模块和缺货提醒模块等三大模块：
[0038] 食材存取编辑及查询模块，用于在存取和库存界面点击按钮实现相应功能；
[0039] 过期提醒模块，用于通过食材保质数据库，和食材入箱日期，计算食材过期日期并 在过期5日前显示于过期提醒栏界面；
[0040] 缺货提醒模块，用于通过食材数据库，检查食材数量，数量少于3的显示于缺货提 醒栏界面；
[0041] 所述系统食谱推荐装置，该装置通过服务器端软件和移动设备端实现，包括食谱 信息建模模块、用户及其偏好信息挖掘模块、今日推荐模块、营养分析推荐模块等策略向用 户推荐食谱；
[0042] 所述食谱信息建模模块，所述食谱信息包括食谱所属菜系，食谱所需食品，食谱实 施难易程度，食谱功效以及食谱营养价值，用于食谱信息的用户信息包括用户所在地域，当 前的时令季节以及当前的天气温度；
[0043] 用户及用户的偏好信息挖掘模块，所述用户的偏好信息包括用户喜好和收藏的食 谱信息，以及通过数据挖掘技术挖掘冰箱历史记录得到的营养分布信息；
[0044] 今日推荐模块，用于根据用户信息，用户近期喜好或者收藏的食谱信息以及冰箱 当前有的食材进行推荐；
[0045] 营养分析推荐模块，用于根据数据挖掘技术得到的营养分布信息，按照营养均衡 原则，推荐包含用户需要补充的营养的食谱。热门推荐是推荐被不同用户喜好或者收藏最 多的食谱；
[0046] 购置食材推荐装置，该装置通过移动设备端实现，包括缺货提醒和关联搭配推荐 等两大步骤：
[0047] 缺货提醒模块，用于根据冰箱中剩余食材现状，及时显示即将过期的食材，并推荐 用户进行采购的食材；
[0048] 关联搭配推荐模块，用于根据用户实际生活中经常搭配食用的食材，进行智能关 联推荐购物；
[0049] 食材店家推荐装置，用于通过移动设备端实现，该方法包括查看附近店家、显示店 家距离和检索食材存货等。超市和市场等店家的位置是通过移动设备GPS模块，定位附近 的店家；
[0050] 查看附近店家模块，用于通过移动地图API，获取用户当前地理位置，并在地图上 标注显示附近的店家；
[0051] 查看店家距离模块，用于显示店家与用户当前位置的地面距离，作为推荐的参考 因素之一；
[0052] 检索食材存货模块，用于根据购物清单中的食材在店家的存货情况，智能推荐最 佳的食材购买店家。
[0053] 本发明的原理：本发明基于食材保质时间数据库，根据入箱时间推算保质日期进 行的过期提醒。通过冰箱存货、时令季节、营养学观点、个人健康信息进行的系统食谱推荐。 通过冰箱缺货、营养学、购置清单历史信息进行的购置食材推荐。根据食材价格、超市距离、 综合评价等信息进行食材店家推荐。
[0054] 本发明相对于现有技术具有如下的优点及效果：
[0055] 1、高易用性：图像识别；与市场上的同类产品相比，我们的智能冰箱助手采用了 图像识别技术，避免了用户将食品放进冰箱时要求进行繁琐的输入，具有较高的实用性。
[0056] 2、服务整合：将食谱等功能和库存功能整合在一起，让用户可以更好地根据现有 食物选择相应的食谱，同时也方便不同口味的用户快速查找到自己所偏好的食谱。
[0057] 3、低成本低功耗，绿色节能。
[0058] 4、数据挖掘：通过对家庭数据的分析，实现对这个家庭的个性化服务，产生更智 能、更符合用户期望的决策。
【专利附图】
【附图说明】
[0059] 图1是本发明的设备示意图，10是CMOS摄像头，11是优选的图像采集辅助隔板， 12是嵌入式开发板，13是被测食材，14是网络连接，15是服务器，16是移动设备。
[0060] 图2是图像采集流程图。
[0061] 图3是条形码识别流程图。
[0062] 图4是系统食谱推荐策略图。
【具体实施方式】
[0063] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限 于此。
[0064] 实施例
[0065] 如图1所示，本发明集成了嵌入在冰箱门外侧的第一嵌入式设备10、第二嵌入式 设备11、第三嵌入式设备12、服务器15以及移动设备16。被测食材13被手持或放置在优 选的图像采集辅助隔板11上。辅助隔板11安装在冰箱门内侧，平时合上，录入时向下翻动 露出摄像头12进行拍摄。摄像头12除安装在冰箱门内侧外，还安装在冰箱门外侧，用户录 入时视情况进行选择方便的摄像头12。嵌入式设备10通过网络连接14到服务器15,进行 高精度识别和其它处理。移动设备16与服务器15互联，获取系统信息。
[0066]图像采集模块，如图2所示，CMOS摄像头采集到的实时视频流，通过帧截取为图像 供后续识别。步骤如下：打开视频设备，获取设备信息和图像信息；设置设备采集窗口和图 像参数，帧状态；采集一帧或多帧图像；判断采集是否完成；循环采集或进行图像识别。 [0067] 食材图像识别模块，在嵌入式设备12和服务器端15通过转化灰度图，提取像素特 征，对特征向量进行降维处理，使用支持向量机对食材采集的图像进行识别。
[0068] 条形码识别模块，如图3所示，条形码识别模块通过摄像头动态采集条形码图像， 对采集的有效条形码图像进行预处理，并进行条形码数据译码及纠错；此后，对处理后的条 形码数据进行译码，最终获取译码详细信息。
[0069] 手动录入识别模块通过在触摸屏录入界面键入信息实现。
[0070] 在嵌入式设备12界面下方导航条点击存取按钮可以进入存取模块。录入首先通 过食材识别得到分类数据，结合入箱时间，计算过期时间一同保存在图4所示食材数据库 中，并将信息上传到服务器，供移动设备更新。取出时一并删除。可以在库存管理界面编辑 食材信息，这样会将更新的数据重新写入数据库。进入库存管理界面会自动读取食材数据 库，查询到对应的食材信息。
[0071] 系统食谱推荐方法，在嵌入式设备12和移动端16,展开食谱推荐界面，可显示智 能推荐结果。分今日推荐，营养分析推荐，热门食谱推荐，其下又设"菜系""功效""食材" 标签。按所选菜系、功效、食材，以图4系统食谱推荐策略图所示，根据食谱信息，用户信息 和用户偏好，依次排序以推荐最佳食谱。
[0072] 购置食材推荐方法，在移动设备端的购物模块，展开购物推荐界面，可显示智能推 荐结果。表1是系统数据库表，将表1所示数据库中食材按数量从小到大进行排序显示，作 为缺货食材的提醒。根据用户购物、食用历史，对于经常一同采购或食用的食材进行关联， 当其中一种食材被列入购物清单时，即向用户推荐相关联的其他食材。
[0073]
【权利要求】
1. 一种智能冰箱的辅助方法，其特征在于，包括以下步骤： 步骤1、嵌入式设备食材录入； 步骤2、随时随地查询冰箱食材信息； 步骤3、系统食谱推荐； 步骤4、购置食材推荐； 步骤5、食材店家推荐； 所述步骤5包括以下步骤： 步骤51、查看附近店家，通过移动地图API，获取用户当前地理位置，并在地图上标注 显示附近的店家； 步骤52、查看店家距离，显示店家与用户当前位置的地面距离，作为推荐的参考因素； 步骤53、检索食材存货，根据购物清单中的食材在店家的存货情况，推荐购买食材的店 家。
2. 如权利要求1所述的智能冰箱的辅助方法，其特征在于，所述步骤1包括以下步骤： 步骤11、图像采集，通过CMOS摄像头进行对食材的实时图像或条形码进行采集； 步骤12、食材图像识别，通过摄像头采集的图像比对食材特征，返回食材分类； 步骤13、条形码识别，通过解析摄像头采集的图像返回条形码数据； 步骤14、手动录入，在触摸屏界面上点击进行食材信息录入。
3. 如权利要求1所述的智能冰箱的辅助方法，其特征在于，所述步骤2包括以下步骤： 步骤21、食材存取编辑及查询，在存取和库存界面点击按钮实现相应功能； 步骤22、过期提醒，通过食材保质数据库，和食材入箱日期，计算食材过期日期并在过 期5日前显示于过期提醒栏界面； 步骤23、缺货提醒，通过食材数据库，检查食材数量，数量少于3的显示于缺货提醒栏 界面。
4. 如权利要求1所述的智能冰箱的辅助方法，其特征在于，所述步骤3包括以下步骤： 步骤31、食谱信息建模，食谱信息包括食谱所属菜系，食谱所需食品，食谱实施难易程 度，食谱功效以及食谱营养价值；食谱信息建模所采用的用户信息包括用户所在地域，当前 的时令季节以及当前的天气温度； 步骤32、用户及用户的偏好信息挖掘，用户的偏好信息包括用户喜好和收藏的食谱信 息，以及通过数据挖掘技术挖掘冰箱历史记录得到的营养分布信息； 步骤33、今日推荐，根据用户信息，用户近期喜好或者收藏的食谱信息以及冰箱当前有 的食材进行推荐； 步骤34、营养分析推荐，根据数据挖掘技术得到的营养分布信息，按照营养均衡原则， 推荐包含用户需要补充的营养的食谱。
5. 如权利要求1所述的智能冰箱的辅助方法，其特征在于，所述步骤4包括以下步骤： 步骤41、缺货提醒，根据冰箱中剩余食材现状，及时显示即将过期的食材，并推荐用户 进行采购的食材； 步骤2、关联搭配推荐，根据用户实际生活中经常搭配食用的食材，进行智能关联推荐 购物。
6. -种智能冰箱的辅助系统，其特征在于，包括：嵌入式设备食材录入装置、随时随地 查询冰箱食材信息装置、系统食谱推荐装置、购置食材推荐装置和食材店家推荐装置； 所述食材店家推荐装置包括以下模块： 查看附近店家模块，用于通过移动地图API，获取用户当前地理位置，并在地图上标注 显示附近的店家； 查看店家距离模块，用于显示店家与用户当前位置的地面距离，作为推荐的参考因 素； 检索食材存货模块，用于根据购物清单中的食材在店家的存货情况，推荐购买食材的 店家。
7. 如权利要求6所述的智能冰箱的辅助系统，其特征在于，所述嵌入式设备食材录入 装置包括以下模块： 图像采集模块，用于通过CMOS摄像头进行对食材的实时图像或条形码进行采集； 食材图像识别模块，用于通过摄像头采集的图像比对食材特征，返回食材分类； 条形码识别模块，用于通过解析摄像头采集的图像返回条形码数据； 手动录入模块，用于在触摸屏界面上点击进行食材信息录入。
8. 如权利要求6所述的智能冰箱的辅助系统，其特征在于，所述随时随地查询冰箱食 材信息装置包括以下模块： 食材存取编辑及查询模块，用于在存取和库存界面点击按钮实现相应功能； 过期提醒模块，用于通过食材保质数据库，和食材入箱日期，计算食材过期日期并在过 期5日前显示于过期提醒栏界面； 缺货提醒模块，用于通过食材数据库，检查食材数量，数量少于3的显示于缺货提醒栏 界面。
9. 如权利要求6所述的智能冰箱的辅助系统，其特征在于，所述系统食谱推荐装置包 括以下模块： 食谱信息建模模块，用于对食谱信息进行建模，所述食谱信息包括食谱所属菜系，食谱 所需食品，食谱实施难易程度，食谱功效以及食谱营养价值；食谱信息建模所采用的用户信 息包括用户所在地域，当前的时令季节以及当前的天气温度； 用户及用户的偏好信息挖掘模块，用于挖掘用户以及用户的偏好信息，所述用户的偏 好信息包括用户喜好和收藏的食谱信息，以及通过数据挖掘技术挖掘冰箱历史记录得到的 营养分布信息； 今日推荐模块，用于根据用户信息，用户近期喜好或者收藏的食谱信息以及冰箱当前 有的食材进行推荐； 营养分析推荐模块，用于根据数据挖掘技术得到的营养分布信息，按照营养均衡原则， 推荐包含用户需要补充的营养的食谱。
10. 如权利要求6所述的智能冰箱的辅助系统，其特征在于，食材店家推荐装置包括以 下模块： 缺货提醒模块，用于根据冰箱中剩余食材现状，及时显示即将过期的食材，并推荐用户 进行采购的食材； 关联搭配推荐模块，用于根据用户实际生活中经常搭配食用的食材，进行智能关联推 荐购物。
【文档编号】G06Q10/08GK104361041SQ201410593694
【公开日】2015年2月18日 申请日期:2014年10月28日 优先权日:2014年10月28日
【发明者】黄志炜, 彭新一, 郑子木, 洪芸, 曾海彬, 萧远秀 申请人:华南理工大学