冰箱内部食物的种类识别方法与冰箱与流程

本发明涉及储物技术领域，特别是涉及一种冰箱内部食物的种类识别方法与冰箱。

背景技术：

随着社会的进步和人们生活水平的提高，消费者在购买食品时不仅关注食品的营养价值与安全，还会考虑价格、口感、外观及新鲜程度等因素，而冰箱的角色也从单纯的存储保鲜逐渐转变为食材管理中心和家庭营养中心，这也对冰箱提出了新的挑战，同时，这也为各种智能识别技术应用在冰箱上提供了契机。了解冰箱中存放食材种类的方式，也从打开冰箱门实际查看变为了智能化识别。利用自动识别技术，在家用冰箱上实现食品的种类识别功能，已经成为智能化冰箱的发展趋势。

自动识别技术就是应用特定识别装置，将被识别物品接近识别装置，自动获取被识别物品的相关信息，并提供给计算机处理系统来完成相关后续处理的一种技术。目前应用于冰箱的自动识别技术包括射频识别和图像识别等，射频识别是在放进冰箱的食材上张贴射频识别码，利用安装在冰箱上的射频识别装置进行识别，该技术需要所购置的食材本身含有射频识别码，而目前市场上的大部分食品都不含有射频识别码，特别是蔬菜、水果，更是不含有识别码，因此该技术受到了很大的应用限制。

图像识别技术也已应用于冰箱上，但是正确识别率较低，由于该技术主要是依赖于对食材图像颜色或者食材形状、纹理的不同进行识别，因此对于颜色、形状相近的食材很难正确识别，比如桔子和橙子很难区别，识别结果为柑类，因此该技术的正确率需要进一步提高。

技术实现要素：

本发明的一个目的是要提供一种准确率高的冰箱内部食物的种类识别方法。

本发明一个进一步的目的是要冰箱识别食物种类的功能便于用户使用。

本发明首先提供了一种冰箱内部食物的种类识别方法，冰箱的储物间室内部形成有识别区域且布置有拍摄角度朝向识别区域的高光谱成像装置，种类识别方法包括：控制高光谱成像装置对识别区域内放置的食物拍摄，并获取拍摄得到的高光谱数据；从高光谱数据中提取出图像特征信息和特征光谱信息；以及使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出食物的类型。

可选地，高光谱数据包括设定数量的三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组三元数据组，并且图像特征信息通过对图像像素元素中数据分析提取得出，特征光谱信息通过对光谱波长元素中的数据分析提取得出。

可选地，使用预设的识别模型对图像特征信息和特征光谱信息进行匹配包括：向布置有识别模型的网络侧设备发送图像特征信息和特征光谱信息，以由网络侧设备使用识别模型对图像特征信息和特征光谱信息进行匹配。

可选地，确定出食物的类型的步骤之后还包括：向用户输出识别结果，并接收用户对识别结果的反馈，在反馈结果为正确的情况下，记录识别结果以及对应的图像特征信息和特征光谱信息，以作为识别模型的后续训练样本。

可选地，向用户输出识别结果的步骤包括：向与冰箱绑定的移动终端发送包括识别结果的消息。

可选地，在确定出食物的类型的步骤之后还包括：获取与食物类型匹配的保存信息，并按照保存信息建立食物的储藏档案。

根据本发明的另一个方面，还提供了一种冰箱，其包括：箱体，其内限定有储物间室，储物间室内形成有识别区域；高光谱成像装置，设置于箱体内部并且拍摄角度朝向识别区域，并配置成拍摄识别区域内放置的食物，以得到该食物的高光谱数据；高光谱数据处理装置，配置成从高光谱数据中提取出图像特征信息和特征光谱信息；识别装置，配置成使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出食物的类型。

可选地，高光谱成像装置使用广角镜头或者鱼眼镜头，并且设置于识别区域的正上方。

可选地，上述冰箱还包括：光源系统，设置于识别区域内，以为高光谱成像装置提供拍摄光线，其中光源系统的光谱范围设置为400～1100nm。

可选地，光源系统设置于识别区域的顶壁后部，向斜下方提供拍摄光线。

本发明的冰箱内部食物的种类识别方法与冰箱，在冰箱内部设置高光谱成像装置，拍摄得到食物的高光谱数据，综合利用图像信息和光谱信息进行食物的种类识别，识别的准确率高。

进一步地，本发明的冰箱内部食物的种类识别方法与冰箱，还可以利用云技术进行食物的高光谱数据的处理和分析，并直接通过用户终端输出识别信息，大大提高了用户的便利性。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的冰箱的示意图；

图2是根据本发明一个实施例的冰箱中识别区域的示意图；

图3是根据本发明一个实施例的冰箱的功能示意框图；以及

图4是根据本发明一个实施例的冰箱的内部食物的种类识别方法的示意图。

具体实施方式

图1是根据本发明一个实施例的冰箱10的示意图，图2是根据本发明一个实施例的冰箱10中识别区域的示意图。图3是根据本发明一个实施例的冰箱10的功能示意框图。本实施例的冰箱10一般性地可以包括：箱体110、门体120、高光谱成像装置210、高光谱数据处理装置230、光源系统220、识别装置240等。

箱体110内限定有至少一个前侧敞开的储物间室，通常为多个，如冷藏室、冷冻室、变温室等等。具体的储物间室的数量和功能可以根据预先的需求进行配置，在一些实施例中，冷藏室的保藏温度可为2～9℃，或者可为4～7℃；冷冻室的保藏温度可为-22～-14℃，或者可为-20～16℃。冷冻室设置于冷藏室的下方，变温室设置于冷冻室和冷藏室之间。冷冻室内的温度范围一般在-14℃至-22℃。变温室可根据需求进行调整，以储存合适的食物，或者作为保鲜储藏室。

门体120，设置于箱体110前侧，用于开闭储物间室。例如门体120可以通过铰接的方式设置箱体110前部的一侧，通过枢转的方式开闭储物间室，门体120的数量可以与储物间室的数量匹配，从而可以将储物间室逐一单独开启。例如可以为冷藏室、冷冻室、变温室分别设置冷藏室门体、冷冻室门体、变温室门体。在一些可选实施例中，门体120也可以采用平开门、对开门、侧滑门、抽拉门等形式。

储物间室由制冷系统提供冷量，以实现冷藏、冷冻、变温的储物环境。制冷系统可为由压缩机、冷凝器、节流装置和蒸发器等构成的制冷循环系统。蒸发器配置成直接或间接地向储物间室内提供冷量。例如压缩式直冷冰箱中，蒸发器可设置于冰箱内胆的后壁面外侧或内侧。压缩式风冷冰箱中，箱体110内还具有蒸发器室，蒸发器室通过风路系统与储物间室连通，且蒸发器室内设置蒸发器，出口处设置有风机，以向储物间室进行循环制冷。由于上述箱体110、门体120、制冷系统本身是本领域技术人员习知且易于实现的，为了不掩盖和模糊本申请的发明点，后文对箱体110、门体120、制冷系统本身不做赘述。

储物间室内形成有识别区域130，该识别区域130可以作为一个单独的储物间室，在另一些可选实施例中，识别区域130可以是某一储物间室的某一层，例如可以为冷藏间室的某一层。

高光谱成像装置210，设置于箱体110内部并且拍摄角度朝向识别区域130，并配置成拍摄识别区域130内放置的食物300，以得到该食物300的高光谱数据。高光谱数据可以为一系列三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组三元数据组。因此高光谱数据同时获得每个像素点的连续光谱数据和每个光谱波段的连续图像数据。高光谱图像是连续波长的光学图像，光谱范围可以设置为200nm到2500nm，具有更高的光谱分辨率，分辨率可达到2～3nm。高光谱数据可以用三维数据块来表示，其中二维是图像像素信息(x，y)，第三维是波长信息(λ)。分辨率为x×y像素的图像检测器阵列在n个波长处获得的数据立方是x×y×λ的三维阵列。

由于识别区域130的空间有限，为了保证高光谱成像装置210能够拍摄到识别区域130内放置的食物300的全貌。高光谱成像装置210优选使用广角镜头或者鱼眼镜头，并且设置于识别区域130的正上方。

光源系统220，设置于识别区域130内，以为高光谱成像装置210提供拍摄光线，其中光源系统220的光谱范围设置为400～1100nm。光源系统220可以设置于识别区域130的顶壁后部，向斜下方提供拍摄光线。

高光谱数据处理装置230，配置成从高光谱数据中提取出图像特征信息和特征光谱信息，其中图像特征信息通过对图像像素元素中数据分析提取得出，特征光谱信息通过对光谱波长元素中的数据分析提取得出。

识别装置240，配置成使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出食物300的类型。

高光谱数据处理装置230和识别装置240可以对高光谱数据进行分割、分类，从而自动确定物品的类型。例如识别装置240可以布置于服务器侧，高光谱数据处理装置230对高光谱数据进行初步处理后，向布置有识别模型的网络侧设备发送图像特征信息和特征光谱信息，以由网络侧设备使用识别装置240的识别模型对图像特征信息和特征光谱信息进行匹配。

在识别装置240确定出食物300的类型后，还可向用户输出识别结果，并接收用户对识别结果的反馈，在反馈结果为正确的情况下，记录识别结果以及对应的图像特征信息和特征光谱信息，以作为识别模型的后续训练样本。

与用户的交互可以通过冰箱10的人机交互系统实现，例如在冰箱10的显示屏上进行输出，利用输入装置接收用户的反馈。在另一种实施例中，可以向与冰箱10绑定的移动终端发送包括识别结果的消息，并接收用户通过移动终端反馈的消息。

识别装置240可以预先选择一定数量的食物及其高光谱数据作为训练样本，利用这些训练样本对判决函数进行训练，得到识别模型。然后在识别过程中，将图像特征信息和特征光谱信息输入识别模型，按照不同的规则将其划分到与其最接近的分类中，完成类型的确定。其可以使用匹配算法包括：最小距离法，最大似然法，马氏距离法、SVM(Support Vector Machine，支持向量机)。识别模型通过迭代处理，确定与图像特征信息和特征光谱信息最接近的分类(即食物类型)。

例如，用户在识别区域130内放置一个苹果后，通过冰箱10上的按钮或者移动终端下发识别指令。高光谱成像装置210对识别区域130进行拍摄，得到包括苹果在内的高光谱数据，高光谱数据处理装置230对高光谱数据进行初步处理，从高光谱数据中确定出苹果的图像(进行分割)，然后从分割出的图像中提取出图像特征信息和特征光谱信息，以供识别装置240进行识别。识别装置240，将光谱检测技术与图像识别技术相结合，可同时对食物300的光谱数据和空间图像信息进行分析。高光谱成像技术能够快速、无损获取食品的品质信息及其空间分布，从而实现高准确率的食材种类识别。在确定出放入的物品为苹果后，可以向用户输出识别结果，如果确定识别正确，该次识别的结果可以作为识别模型的后续训练样本。另外在确定食物300的类型后，还可以进一步建立该食物300的储藏档案，记录食物300的储藏信息(例如保质期、保存环境)，为食物的智能管理提供数据基础。

本实施例还提供了一种冰箱内部食物的种类识别方法，该种类识别方法可以用于上述任一实施例的冰箱10，对冰箱10内部的识别区域130的食物进行识别。图4是根据本发明一个实施例的冰箱的内部食物的种类识别方法的示意图。该冰箱内部食物的种类识别方法一般性地可以包括：

步骤S402，控制高光谱成像装置210对识别区域130内放置的食物300拍摄，并获取拍摄得到的高光谱数据；

步骤S404，从高光谱数据中提取出图像特征信息和特征光谱信息；

步骤S406，使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出食物300的类型。

可选地，高光谱数据包括设定数量的三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组三元数据组，并且图像特征信息通过对图像像素元素中数据分析提取得出，特征光谱信息通过对光谱波长元素中的数据分析提取得出。高光谱数据可以用三维数据块来表示，其中二维是图像像素信息(x，y)，第三维是波长信息(λ)。分辨率为x×y像素的图像检测器阵列在n个波长处获得的数据立方是x×y×λ的三维阵列。

步骤S406，可以采取云识别的方式进行，例如向布置有识别模型的网络侧设备发送图像特征信息和特征光谱信息，以由网络侧设备使用识别模型对图像特征信息和特征光谱信息进行匹配。在确定出食物300的类型的步骤之后还包括：向用户输出识别结果，并接收用户对识别结果的反馈，在反馈结果为正确的情况下，记录识别结果以及对应的图像特征信息和特征光谱信息，以作为识别模型的后续训练样本。

向用户输出识别结果可以通过在冰箱10的显示屏上进行输出，另一种可选方式为向与冰箱10绑定的移动终端发送包括识别结果的消息。在确定出食物300的类型的步骤之后还包括：获取与食物类型匹配的保存信息，并按照保存信息建立食物300的储藏档案。记录食物300的储藏信息(例如保质期、保存环境)，为食物300的智能管理提供数据基础。

一次识别的具体过程可以包括：

用户在冰箱10的操作界面选择开始识别或者通过与冰箱10绑定的移动终端向冰箱10下发开始识别的指令，光源系统220和高光谱成像装置210在获取到开始识别的指令后，其中光源系统220的光谱范围为400～1100nm；

高光谱成像装置210对识别区域130进行拍摄，获取食材图像和光谱数据，获取的图像分辨率可以为1280×1024像素，获取的每个像素点的光谱数据光谱分辨率为2nm；

将获取的高光谱数据进行预处理，分别提取待测食物300种类对应的图像特征信息和特征光谱信息，之后将得到的特征信息代入已经建立好的食材种类识别模型；

综合图像数据和光谱数据的特征信息，通过已经建立的高准确度智能算法模型，进行食材的种类识别，得到食材类型结果，并将识别结果反馈给用户；

根据确定出的食物类型，建立该食物300的储藏档案，记录食物300的储藏信息(例如保质期、保存环境)，为用户食物300的智能管理提供数据基础。由于综合使用了图像和光谱两项特征，显著提高了识别正确率。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。