本发明属于智能冰箱领域，具体涉及一种基于深度学习的多传感器智能冰箱控制方法和智能冰箱。
背景技术：
随着智能时代和互联网时代的到来，人民的生活水平不断提高，生活节奏也不断加快，智能冰箱作为智能家电的代表，已经成为各大企业争相开发的突破性产品，物品自动识别技术无疑是一项非常重要的关键技术，只有获取物品种类，才谈得上其他服务功能，深度学习的出现使高效率、高准确率的物品识别成为了可能。
目前智能冰箱的功能主要包括食品管理功能、物联云服务功能和各种冰箱控制系统，其中食品管理功能包括针对冰箱内食物信息的查询功能，但是针对这一功能目前市场上普遍采用rfid射频标签以及图像识别来进行查询，这两种方法的识别率都不高，原因在于食品种类繁多，没有相对规则的形态，受限于技术本身，目前的方案无法具有相对高的食品识别率。
深度学习是目前机器学习发展的最高度，人工神经网络作为深度学习中的一种方法，在物体识别、图像处理、音频识别等领域有着较高的效果。对目标识别和语音识别，人工神经网络有着可以自动学习目标特征和寓意特征的优势，减少人工干预，提取出高质量的特征，从而为提高目标识别和语音识别的准确率打下了坚实的基础。
云计算是一种新的计算模式，它运用先进的存储架构和分布式计算为用户提供成本低廉、方便快速的体验。云计算技术的出现使得海量的视频数据处理、挖掘成为可能。
技术实现要素：
针对现有技术中存在的不足，本发明提出了一种基于深度学习的多传感器智能冰箱控制方法，结合图像处理、深度学习、云计算实现了冰箱内部食材的种类识别、重量计算和语音识别。
本发明采用下面的技术方案：
一种基于深度学习的多传感器智能冰箱控制方法，所述冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，该方法包括：
获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；
获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；
获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。
进一步的，所述第一卷积神经网络模型与第二卷积神经网络模型采用三层结构，分别为输入层、隐含层和输出层。
进一步的，当向冰箱储藏室内放置食材后，关联所述待测食材种类和待测食材重量，同时显示所述信息，存储历史食材种类和相应的重量。
进一步的，所述第一图像或第二图像包括静态图像与视频流图像，当为视频流图像时，对其进行解码得到一系列静态图像，取一系列静态图像的中间图像作为待测图像。
进一步的，对所述第一图像和第二图像进行预处理，提取图像的roi区域。
本发明还提出了一种基于深度学习的多传感器智能冰箱，包括处理器和与处理器相连的：
多个摄像装置，用于获取冰箱储藏室内部各个区域的图像；
压力传感器，用于获取冰箱储藏室内部来自全部食材的压力；
语音采集器，用于获取语音开门或闭门指令；
驱动机构，用于驱动冰箱门开启与关闭；
所述处理器具有无线通信模块，处理器将所述多个摄像装置、压力传感器和语音采集器获取的数据发送至云计算平台，所述云计算平台内置有视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型，云计算平台采用视觉检测算法获取待测食材图像，采用第一卷积神经网络模型对所述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；基于所述第一压力和第二压力，得到待测食材重量；采用第二卷积神经网络模型识别语音开门或闭门指令；将所述待测食材种类的识别结果、待测食材重量的计算结果和语音识别结果返回至处理器，处理器通过驱动机构控制冰箱门开启与关闭。
进一步的，在所述冰箱门外侧还具有触敏显示器，用于显示历史食材种类和相应的重量，并可选择得删除记录的食材种类及相应的重量。
进一步的，在所述摄像装置的取景窗前涂有防雾层，用于在冰箱运行温度下获取清晰的待测食材图像。
进一步的，所述驱动机构包括在冰箱门与冰箱本体之间设置的控制器和电机驱动模块，控制器分别与电机驱动模块和处理器相连，包括有电机和电机驱动芯片，电机的转轴与冰箱门的旋转轴连接。
进一步的，对所述云计算平台内置的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型进行修改或更换，用以适应不同的待测食材与语音。
本发明的有益效果是：
(1)将深度学习与云计算技术结合，形成了具有高准确率、高效率、大规模计算能力的后台云服务系统；
(2)将图像目标识别与深度学习相结合，提高了目标识别的准确率和效率。
(3)将冰箱管理系统与目标识别和语音识别相结合，使冰箱更加智能化、操作更方便。
(4)本发明利用云计算平台，可以随时对视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型进行修改或更换，用以适应更多食材形态的识别和语义识别。
附图说明
图1为本发明的方法流程图；
具体实施方式：
下面结合附图与实施例对本发明作进一步说明：
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明的一种典型实施例是一种基于深度学习的多传感器智能冰箱控制方法，如图1所示：冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，该方法包括以下步骤：
获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；
获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于第一压力和第二压力，得到待测食材重量；
获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。
本实施例中获取的放置食材前后图像可以是静态图像，也可以是视频流，对于静态图像，我们直接采用视觉检测方法对其进行预处理，得到图像的roi区域；对于视频流，我们首先对其进行解码操作，得到一系列的静态图像，分别选取放置食材前后的两幅图像，对其进行视觉检测，同样的，得到图像的roi区域。通过模式识别或者特征提取对第一图像和第二图像的roi区域进行检测，获得待测的食材图像，也就是本次放入冰箱的食材图像，将该食材图像输入至第一卷积神经网络中进行训练。
本实施例中的第一卷积神经网络是预训练好的，它具有三层结构，分别为输入层、隐含层和输出层。本实施例中第一卷积神经网络的训练样本包括各种水果、蔬菜、蛋类、饮料、肉类、鱼类的规则图像，但也不限于上述类别；同时本实施例中的第一卷积神经网络并非一成不变，可以在使用过程中重新训练，调整参数。通过对上述训练样本的识别，采用预训练好的第一卷积神经网络对待测食材图像进行检测，就可以预测出本次放置在冰箱内的食材是什么种类。本实施例将图像目标识别与深度学习相结合，提高了目标也就是待测食材种类识别的准确率和效率。
在对食材进行种类识别的同时，本实施例中还对放置食材前后的储藏室的压力进行检测，所述储藏室的压力是指储藏室内全部食材作用于储藏室的压力，通过获取该压力，可以计算出放置食材的重量，将该重量与食材的种类进行关联，同时存储，并显示在冰箱外部，供用户了解冰箱内部的食材及其重量。
本实施例还包括对语义进行识别的第二卷积神经网络，该第二卷积神经网络也是预训练好的，其目的是用于对用户的开门和关门指令进行识别，这里第二卷积神经网络的训练样本包括具有“开”和“关”之中文意思的各种表达形式，包括方言、外语以及各种经过解释后可以理解为“开”和“关”的语音；通过对上述训练样本的训练，得到第二卷积神经网络模型，采用该模型对用户的语音进行识别，如果识别为开门或关门，则控制冰箱门自动开启或关闭。本实施将冰箱管理系统与语音识别相结合，使冰箱更加智能化、操作更方便。
作为对上述实施例的一种改进，第二卷积神经网络的训练样本可以排除儿童语音所在频率的样本，这样就形成了一种“儿童锁”，可以排除儿童随便开关冰箱门。
本实施例将冰箱的控制与目标识别、语音识别相结合，可以获取冰箱内部食材的种类及重量，并向用户展示，无需手动开关冰箱门，通过语义识别控制冰箱门的开闭。
本发明的再一实施例是采用上述方法的智能冰箱：包括处理器和与处理器相连的多个摄像装置，用于获取冰箱储藏室内部各个区域的图像；压力传感器，用于获取冰箱储藏室内部来自全部食材的压力；语音采集器，用于获取语音开门或闭门指令；驱动机构，用于驱动冰箱门开启与关闭。
本实施例中的处理器具有无线通信模块，处理器将多个摄像装置、压力传感器和语音采集器获取的数据发送至云计算平台，云计算平台内置有视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型，云计算平台采用视觉检测算法获取待测食材图像，采用第一卷积神经网络模型对所述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；基于所述第一压力和第二压力，得到待测食材重量；采用第二卷积神经网络模型识别语音开门或闭门指令；将所述待测食材种类的识别结果、待测食材重量的计算结果和语音识别结果返回至处理器，处理器通过驱动机构控制冰箱门开启与关闭。
本实施例中在所述冰箱门外侧设置有触敏显示器，用于显示历史食材种类和相应的重量，并可选择得删除记录的食材种类及相应的重量。用户可以通过该触敏显示器获知冰箱内部的食材种类以及重量，对于错误的信息予以删除，对于已取出的食材也可以予以删除，实现冰箱内食材种类以及重量的正确表达。
由于冰箱内部的温度较低，普通的摄像装置不适于应用在冰箱内部，我们在本实施例中设置防凝露层或者防雾层，也可以是其他提高摄像清晰度的涂层于取景窗前，使得在冰箱运行温度下也可以获取清晰的待测食材图像。
当用户通过语音采集器传达开门或关门的语义时，控制器解析到该语义，进一步的控制驱动机构实现对冰箱门的开启与关闭，驱动机构包括在冰箱门与冰箱本体之间设置的控制器和电机驱动模块，电机驱动模块与控制器相连，包括有电机和电机驱动芯片，电机的转轴与冰箱门的旋转轴连接。
本实施例中的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型均设置在云计算平台上，处理器用过无线通信模块与云计算平台相连，云计算可以运用先进的存储架构和分布式计算为用户提供成本低廉、方便快速的体验，其可以处理海量的视频数据。本实施例采用云计算平台对待测食材进行种类识别、重量计算以及对语音识别，得出结果后通过无线通信模块再返回至处理器，处理器将食材的种类及其重量存储并显示，并控制冰箱门的开启与闭合。
本实施例中云计算平台内置的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型可以进行修改或更换，用以适应不同的待测食材与语音。
本实施例将深度学习与云计算技术结合，形成了具有高准确率、高效率、大规模计算能力的后台云服务系统；同时将冰箱的控制与目标识别、语音识别相结合，获取冰箱内部食材的种类及重量，并向用户展示，无需手动开关冰箱门，通过语义识别控制冰箱门的开闭。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。