一种冷藏装置存储物管理系统和冷藏装置的制作方法

本发明涉及制冷设备技术领域，尤其涉及一种冷藏装置存储物管理系统和冷藏装置。

背景技术：

很多人认为食物放进冷藏装置就会安全，不会出现变味或者变质。实际上，冷藏装置只是通过降温的方式，抑制细菌的繁殖速度。但是食物存放时间过长，一样会出现变质，食用后可能会出现恶心、呕吐和腹泻等情况。家用冷藏装置一般不设置统计食材的功能，食物存放期限通过用户经验决定，很容易出现遗漏导致食物变质，影响身体健康。对于大型冷冻仓储行业来说，存储物，如药品或实验制剂的统计更需要专人负责，成本较高。一旦出现遗漏，会造成批量的食物变质销毁，导致很高的经济损失。

为解决上述问题，现有技术中提出了冷藏装置内食材的管理系统，如发明专利（申请号2014106605313）中所公开的技术方案，当检测到冷藏装置门打开时，接收用户输入的语音信息。该语音信息中包括用户对冷藏装置内食材的变更操作对应的基本食材变更信息。冷藏装置识别用户输入的语音信息，并进行预处理，生成用户对冷藏装置内食材变更操作对应的变更信息并传输至终端，使得终端生成冷藏装置内食材变更后的食材管理信息。不但看出，在上述技术方案中，为了统计冷藏装置内食材的信息，必须增加语音输入的步骤，这实际上使得整个操作变得较为复杂，并不符合人们日常使用冷藏装置的习惯。如果偶尔忘记了输入语音信息，则会使得统计信息的准确率大幅降低。

综上所述，现有技术中的冷藏装置内食材管理系统存在不符合用户使用习惯，统计信息准确率低的问题。

技术实现要素：

本发明提供一种冷藏装置存储物管理系统，旨在克服现有技术中存储物统计不符合传统使用习惯且管理成本高的缺陷。本发明所提供的具体技术方案包括：

一种冷藏装置存储物管理系统，包括：

视频输入模块，用于输入冷藏装置入口处及冷藏装置内的视频集；

图像分解模块，用于将所述视频集中的单一视频拆分处理成静态成分和运动成分并分别组成空间流和时间流；

卷积神经网络，用于根据所述空间流确定是否有目标存储物以及目标存储物的种类，根据所述时间流确定是否有目标存储物存入或取出。

进一步的，还包括第一估算模块，用于根据冷藏装置入口视频集和卷积神经网络的输出结果估算存入或取出目标存储物的轮廓面积；

第二估算模块，用于根据静态场景再次估算目标存储物轮廓面积，

校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；

所述视频集包括冷藏装置入口处的动态场景和冷藏装置内的静态场景；当所述卷积神经网络根据时间流确定有目标存储物存入/取出时，第一估算模块用于先根据所述冷藏装置入口处的动态场景拆分处理的空间流估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态场景再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将两次采集的目标存储物面积进行比较，确定存储物数量。

进一步的，还包括统计模块，所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。

进一步的，所述卷积神经网络包括第一卷积神经网络；所述第一卷积神经网络进一步包括：

输入层，用于输入所述空间流；

多层卷积池化层，用于提取组成所述空间流的静态成分的像素值，对静态成分中检测区域的像素值进行预处理，提取特征得到特征图；

分类器，用于根据卷积池化层的输出结果，确定并输出是否有目标存储物以及目标存储物的种类并输入。

进一步的，所述卷积神经网络还包括第二卷积神经网络；所述第二卷积神经网络进一步包括；

输入层，用于输入所述时间流；

多层卷积池化层，用于提取组成所述时间流的动态成分的特征并得到带有速度矢量特征的特征图；

分类器，用于根据卷积池化层输出的特征图，确定并输出是否有目标存储物存入或取出。

进一步的，所述第一卷积神经网络的卷积池化层和第二卷积神经网络的卷积池化层分别将静态成分和动态成分转换为多个通道的数据，每个通道的数据独立获取。

进一步的，所述第一卷积神经网络和第二卷积神经网络的规模相同，所述第一卷积神经网络的分类器和所述第二卷积神经网络还包括全连接和softmax层。

进一步的，所述第一卷积神经网络和第二卷积神经网络的输出输入至同一个分类器中融合；用于融合的分类器为svm。

进一步的，所述视频集为冷藏装置入口处人体手部动作的动态场景以及冷藏装置内货架上的静态场景，所述空间成分为视频帧，所述运动成分为具有速度矢量的图像。

本发明所提出的冷藏装置存储物管理系统可以利用卷积神经网络通过视频集中的独立的空间流和时间流自动识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化，并通过估算模块校准和统计模块统计，无需改变传统的冷藏装置的使用习惯，实现了智能自动统计和交互功能，具有管理精度高、统计数据准确，使用灵活性好的优点。

本发明同时公开了一种具有上述冷藏装置存储物管理系统的冷藏装置，所述冷藏装置具有冷藏装置存储管理系统，冷藏装置存储管理系统包括视频输入模块，用于输入冷藏装置入口处及冷藏装置内的视频集；图像分解模块，用于将所述视频集中的单一视频拆分处理成静态成分和运动成分并分别组成空间流和时间流；卷积神经网络，用于根据所述空间流确定是否有目标存储物以及目标存储物的种类，根据所述时间流确定是否有目标存储物存入或取出。

本发明所公开的冷藏装置具有自动识别和统计存储物的功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提出的冷藏装置存储物管理系统一种实施例的流程图；

图2为本发明所提出的冷藏装置存储物管理系统另一种实施例的流程图；

图3为冷藏装置存储物管理系统识别模块中的损失函数曲线示例；

图4为冷藏装置存储物管理系统识别模块中错误率曲线的示例；

图5为冷藏装置存储物管理系统识别模块中学习曲线的示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的具体实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明所提出的冷藏装置存储物管理系统一个实施例的流程图。在本实施例中，冷藏装置存储物管理系统可以包括训练模块、识别模块、检测模块、估算模块和统计模块，其中所述训练模块、识别模块和检测模块均是基于卷积神经网络实现的，还可以包括显示模块，用于实时显示统计模块的检测值。如图所示，本实施例所提出的冷藏装置存储物管理系统具体包括：

训练模块学习检测目标存储物。在本实施例中，学习检测目标存储物即使得卷积神经网络学习区分是否为目标存储物。对于冷藏装置来说，目标存储物可以是常见的食品、也可以是药品或其它需要冷藏的物品，如实验制剂、标本等。首先建立存储目标存储物的静态图片的数据库，数据库中包括大量的图片形成训练集，训练集中静态图片的数量级可以达到十万级甚至更高。静态图片中包括多个目标存储物的互相遮挡及区分各个部位的图像。

处理模块对数据库中的静态图片进行处理，具体来说，处理包括在一幅静态图片上划分多个矩形框，每个矩形框中框出一个目标存储物。对框出的目标存储物进行分类，并根据不同类别进行标注，添加标签，并在每一幅静态图片上制作针对不同类别的标注文件，形成标注原始图像。数据库中针对每一种类型的目标存储物的静态图片数量平均要在500张以上，防止过拟合。框选的区域被认为是训练模块中的检测区域，在输入卷积神经网络之前，优选对标注原始图像进行预处理，消除图像中的一些干扰因素，具体预处理的方法包括但不限于灰度变换、直方图修正、图像平滑去噪等等。

卷积神经网络是训练模块也是整个存储物管理系统的核心。卷积神经网络包括特征提取层。特征提取层根据标注原始图像中框选区域，也就是检测区域的像素值提取特征，特征提取层将检测区域的像素值转换为多个通道的数据。每个通道的信息独立获取。通道个数可以为多个。分别对每个通道进行卷积池化得到框选区域的特征图，简称框选特征图，特征采样层利用窗口分别逐一滑过所述框选特征图，即利用卷积核采样的方式逐个采样框选特征图，得到低维向量。特征映射层将低维向量映射至全连接层。全连接层包括用于定位的回归层和用于分类的分类层，以使得卷积神经网络通过交互学习到目标存储物在标注原始图像上的位置和目标存储物的类型。全连接层输出结果，确定是否检测到目标存储物。

对卷积神经网络进行训练调整，管理系统的识别模块用于使卷积神经网络学习识别输入图像中是否有目标存储物以及目标存储物的种类。识别模块包括优化模块，优化模块首先根据训练模块生成的损失函数曲线、错误率曲线和学习曲线调整卷积神经网络的超参数。具体来说，通过损失函数曲线调整超参数中的学习率，根据训练模块生成的损失函数有多种形态。如图3所示第一种形态中损失函数曲线振荡，说明学习率过大，第二种形态中下降速度太慢，说明学习率过小。还可以通过错误率曲线调整正则项系数，如图4所示train曲线代表的是训练错误率，vali曲线代表的是验证错误率。在训练模块中，正则项系数的设置值通常为1，根据训练后生成的train曲线和vali曲线可以调整正则项系数的值。根据学习曲线调整卷积神经网络的大小，也就是卷积神经网络的层数，图中箭头方向代表的及时层数变化的趋势。如图5所示，还可以根据学习曲线调整验证图像的数量和训练时间。根据损失函数曲线、错误率曲线和学习曲线调整后的卷积神经网络明显优于训练前的卷积神经网络。超参数的调整不限于上述三项，还可以根据训练结果调整其它超参数。

验证模块将验证图像数据库中的图像输入至优化后的卷积神经网络，卷积神经网络识别验证图像数据库输入的验证图像中是否有目标存储物以及目标存储物的种类并输出结果。验证图像类似需要识别的真实图像，不再通过处理模块处理框选。根据输出结果对超参数进行第二次调整，得到优化卷积神经网络。

测试模块对优化卷积神经网络经行测试。将采集到的冷藏设备入口处和冷藏设备中的视频处理为单独帧并作为测试图像分帧输入至优化卷积神经网络中进行识别，确定是否有目标存储物以及目标存储物的种类，输出识别结果。识别结果以视频格式或文本格式保存，并进行再次分析，利用分析结果再次优化卷积神经网络，得到最优化网络模型。

通过训练、验证、测试完毕的冷藏装置存储物管理系统进行冷藏装置中存储物数量和种类的管理。具体来说，目标存储物数量的变化主要由放入和取出目标存储物实现。由于在冷藏或冷冻过程中，目标存储物的形状和形态不会发生过大的变化，所以，存储物管理系统中的图像交互处理可以忽略其变形产生的变化，训练、验证、测试完毕的冷藏装置存储物管理系统最关键的难点在于存储时会出现目标存储物的相互遮挡。因此，通过以下方式实现准确识别统计。

在冷藏装置的入口处设置有用于拍摄视频的摄像装置。摄像装置可以是静止的，也可以是随着冷藏装置入口处的动作而摇动动作的，摄像装置采集冷藏装置入口处视频，其视野范围涵盖整个入口处及入口处附近的连续景象。对于家用的冷藏设备来说，摄像装置主要采集的是手部伸入冷藏装置入口或从冷藏装置入口处抽出的动作状态。对于大型的冷柜来说，摄像装置采集的视频包括人进入或从冷藏装置中走出的动作，以及人进入或走出时手部的动作和手中的目标存储物。摄像装置可以设置在冷藏装置上，也可以设置在冷藏装置附近的固定结构上，保证工作的稳定性。在冷藏装置内部也同样设置有摄像装置，用于拍摄冷藏装置内部目标存储物的存储状态，比如冷藏装置内货架上的静态场景。摄像装置可以由独立的多个摄像机实现，也可以通过设置在冷藏装置入口或门体上的一个摄像机同时实现冷藏装置入口处及冷藏装置内的图像采集。

摄像装置将采集到图像存储为视频集，并将冷藏装置入口处的视频集及冷藏装置内的视频集输入至存储物管理系统的视频输入模块。为了分别识别动作是放入目标存储物还是取出目标存储物，以及目标存储物的种类和数量，图像分解模块将视频集中的视频文件中的每一帧拆分处理成静态成分和运动成分。不同于现有技术中的人体运动识别中不可预见的运动目标以及运动方式，针对冷藏装置入口处和冷藏装置内的视频图像处理是有相对固定的检测区域、检测区域背景以及相对稳定运动模式的，因此，需要使用一种识别精度更高、处理速度更快的识别方式以实现准确的管理统计。

在本实施例中，图像分解模块分解处理得到连续帧的静态成分和运动成分组成空间流和时间流。其中所指的静态成分即分割的静态的视频帧，而运动成分则是反应目标行为的具有速度矢量的图像，如光流密度图。为提高识别处理的精度和速度，最优化网络模型采用两个独立设置的经过训练、验证、测试的第一卷积神经网络和第一卷积神经网络分别处理空间流和时间流。第一卷积神经网络和第二卷积神经网络的超参数均通过训练、验证和测试三个步骤形成的最优值。优选的第一卷积神经网络和第二卷积神经网络具有同样的规模，超参数可能根据具体的需要进行设置，略有不同。

具体来说，第一卷积神经网络进一步包括输入层、多层卷积池化层和分类器，其中输入层用于输入空间流。由于空间流是由连续的静态视频帧组成的，所以实际上静态视频帧中的背景相对稳定，存取时目标存储物，也就是前景物体变化比较明显。因此，通过输入层输入的静态成分可以通过检测区域中的像素值体现。第一卷积神经网络中的多层卷积池化层提取检测区域中的有效像素值，提取特征，形成检测区域的特征图。在特征图上选取卷积核或者窗口，利用卷积核进行卷积后进一步进行池化。一种优选的方式是采用多卷积核进行卷积的方式，即分别将静态成分转换为多个通道的数据，每个通道数据独立获取并分别利用卷积核进行卷积，其中每一层卷积学习到的特征是局部的，但是多层卷积后的特征则是接近于全局的，具有更好的准确率。将多层卷积池化层输出的输出结果输入至分类器进一步进行学习分析。具体来说，将多层卷积池化层的输出结果映射至全连接层和softmax层，这样即可以使得第一卷积神经网络学习到如何确定根据视频集产生的空间流中是否有目标存储物。

对应的，第二卷积神经网络也进一步包括输入层、多层卷积池化层和分类器，其中输入层用于输入时间流。时间流是由光流密度图组成的，也可以通过检测区域中的像素值体现其特征和速度矢量。第二卷积神经网络中的多层卷积池化层提取光流密度图中检测区域中动态成分的特征，在特征图上选取卷积核或者窗口，利用卷积核进行卷积后进一步池化。动态成分也转换成多个通道的数据，每个通道数据独立获取并分别利用卷积核进行卷积。将多层卷积池化层输出的输出结果输入至分类器进一步进行学习分析。具体来说将多层卷积池化层的输出结果映射至全连接层和softmax层，这样即可以使得第二卷积神经网络学习到如何确定是否有动作使得目标存储物从冷藏设备中取出或存入到冷藏设备中。

将第一卷积神经网络和第二卷积神经网络的输出结果输入至同一个分类器中融合，分类器优选为svm，这样，最优化网络模型的输出结果则可以准确的确定是否目标存储物、目标存储物的种类、以及目标存储物是存入冷藏装置中还是从冷藏装置中取出。

在很多种情况下，单次放入冷藏装置中目标存储物的数量是不同的，这可能导致如果直接统计检测模块的输出结果存在偏差，因此，在管理系统中还设置有估算模块。估算模块的功能主要用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量。具体来说估算模块包括第一估算模块和第二估算模块，当检测模块的输出结果确定在单次取放动作中有目标存储物、目标存储物的种类以及目标存储物是放入冷藏装置中的，则估算模块先根据冷藏装置入口处动态场景视频集中的空间流第一次估算存储物的轮廓面积并作为标准值a1，此时，默认手部动作中的目标存储物是不存在不同种目标存储物的相互遮挡的，标准值a1的准确性较高。第二估算模块连续接收冷藏装置中的静态图像，当静态图像中目标存储物的轮廓面积发生变化时，第二估算模块生成变化值，并将变化值作为存入冷藏装置中目标存储物的测试值a2。估算模块中还设置有校准模块，校准模块将标准值和测试值进行比较，如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定存入冷藏装置中目标存储物的数量。

类似的，当有目标存储物从冷藏装置中取出时，第一估算模块用于先根据冷藏装置入口处的动态场景视频集的空间流估算取出目标存储物的轮廓面积并作为标准值。第二估算模块再根据冷藏装置内的静态场景再次估算冷藏装置中静态图像目标存储物的轮廓面积变化值，并将变化值作为从冷藏装置中取出的目标存储物的测试值。校准模块将标准值和测试值进行比较。如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定从冷藏装置中取出目标存储物的数量。

估算模块将输出结果输出至统计模块。统计模块在测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。统计模块的输出结果可以直接输出至显示模块。显示模块接收输出结果并根据使用习惯生成显示值，所述显示值可以包括目标物的种类、存放期限以及数量等信息。显示模块生成的显示通过显示屏显示，显示屏可以设置在冷藏装置上，或者使用与冷藏装置进行通信的其它终端上的显示屏，用于可以通过显示装置随时随地地了解和查询冷藏装置中目标存储物的种类、每一类目标存储物的数量。整个过程中无需改变传统的使用习惯，同时实现了自动统计、自动判断和自动显示，有效地简化了存储物统计的过程，降低了检测统计使用成本。

参见图2所示为本发明所公开的冷藏装置存储物管理系统第二种实施例的结构示意图，在本实施例中所采用的第一卷积神经网络和第二卷积神经网络也可以是直接根据需求进行搭建的。搭建的第一卷积神经网络和第二卷积神经网络具有输入层、多层卷积池化层和分类器。并在使用过程中进一步进行优化。在第二实施例中，存储物管理系统的视频输入模块、图像分解模块、卷积神经网络、第一估算模块、第二估算模块和校准模块的交互、识别、统计流程与第一实施例一致，在此不再赘述。

本发明同时提出了一种采用上述实施例所具体公开的冷藏装置存储物管理系统的冷藏装置。管理系统的具体实施方式请参见上述第一实施例和第二实施例的详细描述，本发明所公开的冷藏装置具有冷藏装置存储物管理系统的技术效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。