基于图像识别的冰箱容纳物管理系统的制作方法

本发明属于智能家电领域，具体提供一种基于图像识别的冰箱容纳物管理系统。

背景技术：

物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段，物联网甚至被人们称为继计算机、互联网之后世界信息产业发展的第三次浪潮。近年来，随着物联网概念的逐步兴起，家电行业也随之迅速走向智能化发展的方向，很多传统家电企业都纷纷加入到智能家居开发的行列。自智能家居兴起以来，市面上出现了很多种类的智能家居，其中，同一种类的智能家居又具有多种类型的智能系统，例如，智能冰箱的管理系统就具有多种类型。

目前，市面上具有多种设置有图像采集功能的智能冰箱，此类智能冰箱的箱门内侧设置有摄像头，所述摄像头能够在箱门关闭的状态下完成对箱门和箱体的图像采集。但是，当智能冰箱的箱门关闭时，设置在箱门内侧的摄像头与箱体之间的距离过小，此时，摄像头无法完整地采集到智能冰箱内的所有存储空间的图像信息。因此，此类智能冰箱在实际使用过程中的用户体验并不是十分理想。此外，市面上还具有一些设置有射频识别功能的智能冰箱，但是在实际使用的过程中，此类智能冰箱并不能十分准确地识别每个容纳物的条形码或者标签信息，致使此类智能冰箱也不能很好地管理冰箱内存储的容纳物。

相应地，本领域需要一种新的基于图像识别的冰箱容纳物管理系统来解决上述问题。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决现有冰箱的管理系统不能很好地管理冰箱内储存的容纳物的问题，本发明提供了一种基于图像识别的冰箱容纳物管理系统，所述冰箱包括箱门、箱体以及用于连接所述箱门与所述箱体的转轴，其特征在于，所述容纳物管理系统包括图像采集装置和角度传感器，所述图像采集装置包括设置在所述箱门上的第一摄像头，所述角度传感器设置在所述转轴上，用于检测所述箱门相对于所述箱体的枢转角度，所述第一摄像头能够随所述枢转角度的变化相对于所述箱门枢转，以便与所述箱体的入口保持对准并因此采集所述箱体内的容纳物的图像信息。

本领域技术人员能够理解的是，由于设置有角度传感器来检测箱门的开启角度，并且箱门上的摄像头设置成与角度传感器联动(枢转/拍摄)，本发明的冰箱容纳物管理系统能够在箱门开启时以最佳角度和距离对冰箱内的容纳物进行拍摄，避免了现有技术中箱门关闭时摄像头与容纳物距离过近而无法有效采集图像信息的问题。此外，上述“对准”的意思是，第一摄像头的拍摄范围能够覆盖箱体的整个入口。优选的是，当第一摄像头与箱体的入口对准时，第一摄像头与箱体入口所在的平面基本垂直，这样可以最大程度地拍摄到冰箱内的容纳物。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述图像采集装置还包括设置在所述箱体上的第二摄像头，所述第二摄像头能够随所述枢转角度的变化相对于所述箱体枢转，以便与所述箱门的内表面保持对准并因此采集所述箱门内侧的容纳物的图像信息。

类似地，由于箱体上的摄像头也设置成与角度传感器联动(枢转/拍摄)，本发明的冰箱容纳物管理系统能够在箱门开启时以最佳角度和距离对箱门内侧的容纳物进行拍摄，解决了现有技术方案无法对箱门内侧容纳物进行拍摄的技术问题。当与上述箱门上的第一摄像头结合使用时，能够实现对冰箱内各个部位的所有容纳物的全面拍摄。此外，上述“对准”的意思是，第二摄像头的拍摄范围能够覆盖箱门的整个内表面。优选的是，当第二摄像头与箱门的内表面对准时，第二摄像头与箱门内表面基本垂直，这样可以最大程度地拍摄到箱门内侧的容纳物。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述容纳物管理系统还包括主控模块，所述主控模块与所述第一摄像头、所述第二摄像头和所述角度传感器连通，所述主控模块能够根据所述角度传感器检测到的角度信息控制所述第一摄像头和所述第二摄像头的枢转角度。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述第一摄像头安装在所述箱门的远离所述转轴的一侧，并且/或者所述第二摄像头安装在所述箱体的远离所述转轴的一侧。

本领域技术人员能够理解的是，当第一摄像头安装在箱门的远离转轴的一侧时，如果用户打开冰箱门，第一摄像头便会与箱体内的容纳物拉开一定距离，尤其当箱门开启到大约60度时，第一摄像头正好达到最佳拍摄距离，同时，由于主控模块的作用，即使在箱门转过一定角度的情况下，第一摄像头也能始终与箱体入口的表面保持对准，因此能够在最佳距离以最佳角度进行拍摄。与第一摄像头类似，当第二摄像头安装在箱体的远离转轴的一侧时，如果用户打开冰箱门，第二摄像头便会与箱门的内表面拉开一定距离，尤其当箱门开启到大约60度时，第二摄像头与箱门内表面之间正好达到最佳拍摄距离，同时，由于主控模块的作用，即使在箱门转过一定角度的情况下，第二摄像头也能始终与箱体入口的表面保持对准，因此能够在最佳距离以最佳角度进行拍摄。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，当所述角度传感器检测到所述箱门相对于所述箱体打开至60°时，所述主控模块控制所述第一摄像头相对于所述箱门枢转60°并且拍照，同时控制所述第二摄像头相对于所述箱体枢转60°并且拍照；或者当所述角度传感器检测到所述箱门相对于所述箱体枢转时，所述主控模块控制所述第一摄像头和所述第二摄像头随所述箱门与所述箱体之间的角度变化而动态枢转，以便使所述第一摄像头与所述箱体的入口保持对准，并且使所述第二摄像头与所述箱门的内表面保持对准，并且当所述角度传感器检测到所述箱门相对于所述箱体打开至60°时，所述主控模块控制所述第一摄像头和所述第二摄像头拍照。

本领域技术人员能够理解的是，这里提供了两种摄像头与角度传感器联动的模式，在第一种模式下，直到箱门相对于箱体打开至60°，摄像头才在主控模块的控制下转动60°并进行拍摄，在此之前，即使箱门转动，摄像头也不转动。在第二种模式下，一旦箱门相对于箱体开始转动，摄像头便会在主控模块的控制下随着箱门的转动而转动以使摄像头与目标拍摄区域始终保持基本垂直，直到箱门与箱体成60°角时摄像头才被触发而开始拍摄。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述容纳物管理系统还包括设置在所述冰箱上的光线传感器和用于控制所述冰箱上的照明灯的照明控制模块，当所述第一摄像头和所述第二摄像头采集图像时，所述照明控制模块能够根据所述光线传感器检测到的亮度信息选择性地开启所述照明灯，以便所述第一摄像头和所述第二摄像头能够采集到更清晰的图像。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述容纳物管理系统还包括温度控制模块，所述主控模块能够根据所述图像采集装置采集到的图像信息来判断容纳物类型，所述温度控制模块能够根据该容纳物类型控制所述冰箱的工作温度。

在判断容纳物类型时，主控模块可以将采集到的容纳物图像与预先存储的标准容纳物图像进行特征比对，并且当二者的匹配度达到一定阈值时，确定该被采集图像的容纳物的类型。在此基础上，温度控制模块能够根据该容纳物类型将冰箱的工作温度调整到最适合该容纳物冷藏或冷冻的范围。由此可见，这种设置使得本发明的冰箱容纳物管理系统仅通过图像拍摄便可以实现容纳物的自动管理，具有非常好的用户体验。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述第一摄像头和/或所述第二摄像头上设置有加热片，所述加热片能够加热所述第一摄像头和/或所述第二摄像头的镜片，以便除雾和除霜。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述第一摄像头和/或所述第二摄像头是广角高速摄像头。

在上述基于图像识别的冰箱容纳物管理系统的优选技术方案中，所述容纳物管理系统还包括与所述主控模块联网的后台服务器，用户能够通过移动终端查看所述主控模块和/或所述后台服务器中的信息并据此管理所述冰箱中的容纳物；并且所述主控模块和/或所述后台服务器能够根据所述图像采集装置采集到的图像信息识别所述冰箱中的容纳物，并且记录所述冰箱中的容纳物的拿出和放入信息，并形成容纳物信息列表，同时通过所述移动终端将所述容纳物信息列表提供给用户，以便用户能够查看和管理所述容纳物信息列表中的信息。

本领域技术人员能够理解的是，在本发明的技术方案中，基于图像识别的冰箱容纳物管理系统包括图像采集装置、角度传感器和主控模块，所述图像采集装置包括设置在箱门上的第一摄像头和设置在箱体上的第二摄像头，所述角度传感器设置在用于连接箱门与箱体的转轴上，主控模块与第一摄像头、第二摄像头和角度传感器连通，并且能够根据角度传感器检测到的角度信息控制第一摄像头和第二摄像头的枢转角度，以便第一摄像头/第二摄像头与箱体的入口/箱门的内表面保持对准，并因此更好地采集箱体内/箱门内的容纳物的图像信息。所述冰箱容纳物管理系统还包括温度控制模块，主控模块能够根据图像采集装置采集到的冰箱中的容纳物的图像信息来判断容纳物类型，温度控制模块能够根据冰箱中的容纳物类型将冰箱的工作温度调整到最佳数值。另外，用户能够通过移动终端查看主控模块和/或与主控模块联网的后台服务器中的信息，并据此管理冰箱中的容纳物。

附图说明

图1是与本发明的基于图像识别的冰箱容纳物管理系统结合使用的冰箱的示意图。

图2是本发明的基于图像识别的冰箱容纳物管理系统的系统控制图。

具体实施方式

下面参照附图并结合食材管理系统来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合。例如，尽管说明书中所述的基于图像识别的管理系统用于对食材进行管理，但是，本发明的技术方案显然还可以用于管理其他非食材类冰箱容纳物，这种应用对象的改变并不偏离本发明的基本原理，因此都将落入本发明的保护范围之内。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”、“垂直”、“横向”、“竖向”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“配合”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

如图1所示，该图为与本发明的基于图像识别的冰箱食材管理系统结合使用的冰箱的示意图。所述冰箱包括箱体1、箱门2以及用于连接箱体1与箱门2的转轴5。本发明的基于图像识别的冰箱食材管理系统包括角度传感器(图1中未显示)和图像采集装置，所述图像采集装置包括设置在箱门2上的第一摄像头101和设置在箱体1上的第二摄像头102。所述角度传感器设置在转轴5上，用于检测箱门2相对于箱体1的枢转角度。第一摄像头101安装在箱门2内侧，且安装位置设置在远离转轴5的一侧。此外，第一摄像头101能够随所述枢转角度的变化相对于箱门2枢转，以便与箱体1的入口保持对准，并因此采集箱体1内的食材的图像信息。第二摄像头102安装在箱体1上，且安装位置设置在远离转轴5的一侧，即，靠近安装有第一摄像头101的一侧。此外，第二摄像头102能够随所述枢转角度的变化相对于箱体1枢转，以便与箱门2的内表面保持对准，并因此采集箱门2内的食材的图像信息。需要说明的是，“对准”既可以是与箱体1的入口或箱门2的内表面保持垂直，也可以是与箱体1的入口或箱门2的内表面成其他角度，只要第一摄像头101/第二摄像头102能够清楚地采集到箱门2/箱体1内的食材的图像即可。本领域技术人员能够理解的是，第一摄像头101和第二摄像头102的安装位置设置为，使得当箱门2相对于箱体1打开到一定程度时，第一摄像头101/第二摄像头102能够在最佳距离以最佳角度进行拍摄，从而能够最清楚地采集到箱门2/箱门1内的食材的图像信息。本领域技术人员能够理解的是，优选地，第一摄像头101和/或第二摄像头102是广角高速摄像头。

下面参阅图2，该图为本发明的基于图像识别的冰箱食材管理系统的系统控制图。如图2所示，除了图像采集装置100和角度传感器6，该冰箱食材管理系统还包括主控模块10，主控模块10与图像采集装置100和角度传感器6相连，具体地，主控模块10与第一摄像头101、第二摄像头102和角度传感器6连通。角度传感器6能够检测箱门2相对于箱体1的枢转角度，并实时将所述枢转角度的数据传输给主控模块10。同时，主控模块10能够根据角度传感器6检测到的角度信息控制第一摄像头101和第二摄像头102的枢转角度。另外，该冰箱食材管理系统还包括照明控制模块20和设置在所述冰箱上的光线传感器30，照明控制模块20用于控制设置在所述冰箱中的照明灯50，当第一摄像头101和第二摄像头102采集图像时，照明控制模块20能够根据光线传感器30检测到的环境亮度选择性地开启所述冰箱中的照明灯50，以便第一摄像头101和第二摄像头102能够采集到更清晰的图像信息。需要说明的是，当主控模块10控制图像采集装置100采集所述冰箱内的图像信息时，照明控制模块20能够通过光线传感器30检测所述冰箱内的亮度。同时，当照明控制模块20通过光线传感器30检测到所述冰箱内的亮度小于一定阈值时，照明控制模块20控制所述冰箱中的照明灯50开启，以便图像采集装置100能够采集到足够清晰的图像信息。

继续参阅图2，该冰箱食材管理系统还包括温度控制模块40，主控模块10能够根据图像采集装置100采集到的图像信息来判断食材类型，并且计算或查询出被拍摄食材的最佳储存温度，进而通过温度控制模块40将所述冰箱内的温度设置为适合所述食材的最佳储存温度。另外，第一摄像头101和/或第二摄像头102上设置有加热片，所述加热片能够加热第一摄像头101和/或第二摄像头102的镜片，以便除雾和除霜，从而使得第一摄像头101和第二摄像头102能够更清楚地采集到所述冰箱中的图像信息。

重新参阅图1，在优选的实施方式中，当用户打开所述冰箱的箱门2时，角度传感器20将检测到的箱门2相对于箱体1的枢转角度实时传输给主控模块10。当主控模块10通过角度传感器20检测到箱门2相对于箱体1打开至60°时，主控模块10控制第一摄像头101相对于箱门2枢转60°，使得第一摄像头101与箱体1的入口平面保持基本垂直。同时，主控模块10控制第二摄像头102相对于箱体1枢转60°，使得第二摄像头102与箱门2的内表面保持基本垂直。此外，照明控制模块20根据光线传感器30检测到的所述冰箱内的亮度选择性地开启所述冰箱中的照明灯50，设置在第一摄像头101和/或第二摄像头102上的加热片根据需要选择性地加热第一摄像头101和/或第二摄像头102的镜片，实现除雾和除霜的功能。此时，主控模块10控制图像采集装置100采集所述冰箱中的图像信息。本领域技术人员能够理解的是，将图像采集装置100采集图像信息的时间设置在箱门2相对于箱体1枢转60°的时刻是符合人体工程学原理的，具体地，由于绝大部分用户都会在将箱门2相对于箱体1打开至60°时拿出或放入食材，因此，图像采集模块7在此刻采集所述冰箱中的图像信息能够大幅度提高进出冰箱的食材的识别准确率。

继续参阅图1，在另一个优选的实施方式中，当用户打开所述冰箱的箱门2时，角度传感器20将检测的箱门2相对于箱体1的枢转角度实时传输给主控模块10，主控模块10控制第一摄像头101和第二摄像头102随箱门2与箱体1之间的角度变化而动态枢转，以便使第一摄像头101与箱体1的入口保持对准(例如大体上垂直)，并且使第二摄像头102与箱门2的内表面保持对准(例如大体上垂直)。当角度传感器20检测到箱门2相对于箱体1打开至60°时，第一摄像头101与箱门2大致成30°(即，转过了60°)，第二摄像头102与箱体1的入口表面大致成30°(即，转过了60°)，主控模块10控制第一摄像头101和第二摄像头102采集所述冰箱中的食材的图像信息。同时，照明控制模块20选择性地根据光线传感器30检测到的所述冰箱内的光线强度选择性地开启所述冰箱中的照明灯50，设置在第一摄像头101和/或第二摄像头102上的加热片加热第一摄像头101和/或第二摄像头102的镜片，实现除雾和除霜的功能。如上所述，将图像采集装置100采集图像信息的时间设置在箱门2相对于箱体1枢转60°的时刻是符合人体工程学原理的，具体地，由于绝大部分用户都会在将箱门2相当于箱体1打开至60°时拿出或放入食材，因此，图像采集模块7在此刻采集所述冰箱中的图像信息能够大幅度提高所述图像信息的清晰度。

继续参阅图2，该食材管理系统还包括Wifi射频模块60，主控模块10通过Wifi射频模块60与路由器70相连，进而与移动终端80相连通，同时通过Internet与后台服务器90连通，使得主控模块10、移动终端80与后台服务器90之间能够实现信息交互。同时，用户能够通过移动终端80查看主控模块10和/或后台服务器90中的信息，并据此管理所述冰箱中的食材。另外，主控模块10和/或后台服务器90能够根据图像采集装置100采集到的图像信息识别所述冰箱中的食材，并且记录所述冰箱中的食材的拿出和放入信息，并形成食材信息列表，同时通过移动终端80将所述食材信息列表提供给用户，以便用户能够查看和管理所述食材信息列表中的信息。需要说明的是，主控模块10、移动终端80与后台服务器90之间的连接方式也可以是有线连接或无线连接，只要主控模块10、移动终端80与后台服务器90之间能够实现信息交互即可。

最后需要说明的是，虽然上面是结合食材来描述的，但是本发明的技术方案中的容纳物也可以是其他需要冷藏或冷冻的物品。另外，当所述冰箱中的某种食材拿出和放入的次数达到一定阈值时，主控模块10能够自动记录该种食材，并且根据该种食材的储存情况为用户提供采购意见，同时自动在电商中形成购物列表提供给用户参考。

至此，已经结合附图描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。