果蔬新鲜度的识别方法及装置与流程

本发明涉及果蔬储藏技术领域，特别是涉及一种果蔬新鲜度的识别方法及装置。

背景技术：

将果蔬保存在冰箱中可以有效提高果蔬的保质时间。现有技术中可以记录果蔬在冰箱中的存放时长，但是现有技术不能获取自采摘到放入冰箱期间的时间和周围环境因素，单纯通过在冰箱中的存放时长推断果蔬的新鲜度；因此现有技术通过记录食物在冰箱中存放时长来判定食物是否过期，未考虑自食物产生到放入冰箱期间的时间，这样单纯通过在冰箱中的存放时长推断果蔬的新鲜度不够客观，条件不充分，导致判断食物是否过期的结论不准确。

技术实现要素：

为了克服上述现有技术的缺陷，本发明要解决的技术问题是提供一种果蔬新鲜度的识别方法及装置，用以解决现有技术中对保鲜设备内果蔬新鲜度判断不准确的问题。

为解决上述技术问题，本发明中的一种果蔬新鲜度的识别方法，包括：

采集待识别果蔬的果蔬图像；

从所述果蔬图像中提取颜色直方图和边缘梯度直方图；

将所述颜色直方图和所述边缘梯度直方图组合为特征向量；

将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度。

为解决上述技术问题，本发明中的一种果蔬新鲜度的识别装置，包括：

采集模块，用于采集待识别果蔬的果蔬图像；

提取模块，用于从所述果蔬图像中提取颜色直方图和边缘梯度直方图；将所述颜色直方图和所述边缘梯度直方图组合为特征向量；

识别模块，用于将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度。

本发明有益效果如下：

本发明中方法及装置，通过采集待识别果蔬的果蔬图像，从所述果蔬图像中提取特定的特征向量，将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度，从而有效解决现有技术中对保鲜设备内果蔬新鲜度判断不准确的问题。

附图说明

图1是本发明实施例中一种果蔬新鲜度的识别方法流程图；

图2是本发明实施例中果蔬新鲜度模型训练流程图；

图3是本发明实施例中一种具体的果蔬新鲜度的识别方法流程图；

图4是本发明实施例中一种果蔬新鲜度的识别装置的结构示意图。

具体实施方式

为了解决现有技术中对保鲜设备内果蔬新鲜度判断不准确的问题，本发明提供了一种果蔬新鲜度的识别方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。

如图1所示，本发明实施例中一种果蔬新鲜度的识别方法，包括：

s101，采集待识别果蔬的果蔬图像；

s102，从所述果蔬图像中提取特征向量；具体说，从所述果蔬图像中提取颜色直方图和边缘梯度直方图；将所述颜色直方图和所述边缘梯度直方图组合为特征向量；

s103，将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度。

本发明实施例通过采集待识别果蔬的果蔬图像，从所述果蔬图像中提取特定的特征向量，将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度，从而有效解决现有技术中对保鲜设备内果蔬新鲜度判断不准确的问题。

也就是说，本发明实施例考虑到果蔬在成熟和变腐过程中均会伴随着颜色、形状、轮廓和纹理等外观变化，因此从根本出发，直接获取果蔬的外观特征，通过统计分析的方法对外观特征进行分类识别，直接得到果蔬的新鲜度，不受采摘时间、放入保鲜设备(例如冰箱)时间等条件的约束，进而有效提高了对果蔬新鲜度判断的准确性。本发明实施例较其他现有技术更为直接、有效，并且不受其他条件的限制，能够从根本上直接得到最终结果。

在上述实施例的基础上，进一步提出上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。

在本发明的一个实施例中，所述将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度之前，还包括：

采集至少一种果蔬的至少一个图片样本；

针对每种果蔬：对该种果蔬的每个图片样本标注对应的新鲜度标签；

从每个图片样本的果蔬图像提取特征向量；

将提取的特征向量和对应的新鲜度标签送入所述分类器中进行训练，以使所述分类器输出该种果蔬对应的新鲜度识别模型。其中，基于识别效果的考虑，选用svm(supportvectormachine)分类器。

在本发明实施例的一个具体实施方式中，所述从每个图片样本的果蔬图像提取特征向量，包括：

对每个图片样本进行分割和尺寸归一化预处理，得到该图片样本的果蔬图像；从得到的果蔬图像中提取特征向量。

在本发明实施例的另一个具体实施方式中，所述提取特征向量包括：

提取颜色直方图和边缘梯度直方图；

将所述颜色直方图和边缘梯度直方图组合为特征向量。

简述本发明实施例中的颜色直方图、边缘梯度直方图和svm分类器。

颜色直方图：

颜色直方图中的数值都是统计而来，描述了该图像中关于颜色的数量特征，可以反映图像颜色的统计分布和基本色调；颜色直方图只包含了该图像中某一颜色值出现的频数，而不关心某象素所在的空间位置信息；任一幅图像都能唯一的给出一幅与它对应的颜色直方图，但不同的图像可能有相同的颜色分布，从而就具有相同的颜色直方图，因此颜色直方图与图像是一对多的关系；如将图像划分为若干个子区域，所有子区域的颜色直方图之和等于全图直方图；一般情况下，由于图像上的背景和前景物体颜色分布明显不同，从而在颜色直方图上会出现双峰特性，但背景和前景颜色较为接近的图像不具有这个特性。

梯度方向直方图：

梯度方向直方图重在提取图像的边缘信息，通过边缘算子得到每个像素的边缘梯度和边缘方向，并根据方向将直方图划分为若干个bin，将每个像素的边缘梯度根据边缘方向投影到对应的bin中，最终得到梯度方向直方图。主要反映图像的纹理、轮廓和形状等特征。

svm分类器：

在机器学习领域，支持向量机svm分类器是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。主要思想可以概括为：它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。

本发明实施例采用分类器，通过通过训练的方式得到新鲜度识别模型，并将新鲜度识别模型应用到果蔬的新鲜度检测，从而进一步提高了对果蔬新鲜度判断的准确性。

本发明实施例中果蔬新鲜度识别模型的具体流程如图2所示，包括：

步骤1，采集一种果蔬的图片样本；

步骤2，对果蔬样本进行新鲜度标注，每个图片样本的新鲜度标签即为其最多可再存放多少天；

步骤3，图片样本预处理，将采集的图片样本进行分割、尺寸归一化等预处理；

步骤4，提取预处理图片(即该图片样本的果蔬图像)的颜色直方图和梯度方向直方图，并将二者合并为同一个特征向量；

步骤5，将特征向量和对应的类别标签送入svm分类器，训练分类器；

步骤6，分类器训练完成，输出训练结果，即果蔬新鲜度识别模型，该模型可以直接得到果蔬对应的新鲜度。

在本发明的另一个实施例中，所述待识别果蔬存储在保鲜设备的储物空间；所述采集待识别果蔬的果蔬图像，包括：

对所述储物空间进行图像采集，得到原始图像；

对所述原始图像进行图像分割，得到1个或多个果蔬图像；

将各果蔬图像分别作为一个待识别果蔬的果蔬图像。

本发明实施例利用图像分割技术对储物空间(例如冷藏室)的照片进行图像分割，将不同果蔬的所在区域分隔开，每种果蔬对应一个区域，得到若干子图像(subimg0,subimg1,……,subimgn)，每副子图像包含一种果蔬；也就是说本发明实施例通过图像分割，可以有效的识别出储物空间中的果蔬，为实现对储物空间的存储的多个果蔬进行新鲜度识别提供了必要前提。

在本发明实施例的一个具体实施方式中，所述对所述原始图像进行图像分割，得到1个或多个果蔬图像，包括：

提取所述原始图像中边缘信息，得到1个或多个包含边缘的二值图；

提取每个所述二值图的轮廓，根据每个轮廓从所述原始图像中提取一个对应的果蔬图像。

进一步说，所述提取每个所述二值图的轮廓，根据每个轮廓从所述原始图像中提取一个对应的果蔬图像，包括：

通过轮廓面积和先验知识删除不符合预设要求的轮廓；

根据剩余的每个轮廓从所述原始图像中提取一个对应的果蔬图像。

具体说，本发明实施例包括：

步骤1，获取原始果蔬图像(即原始图像)；

步骤2，利用canny算子提取图像的边缘信息，得到只包含边缘的二值图；

步骤3，提取二值图的轮廓；

步骤4，通过轮廓面积和先验知识删除面积过小、过大及特殊形状的轮廓；即删除不符合预设要求的轮廓；

步骤5，剩下的每个轮廓对应一个果蔬的区域；

步骤6，在原始图像中截取每个区域的图像，得到各个果蔬的子图像。

在本发明实施例的另一个具体实施方式中，所述将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度之前，还包括：

采集至少一种果蔬的至少一个果蔬图像(也可称之为图片样本)；

针对每种果蔬：对该种果蔬的每个果蔬图像标注果蔬类别标签，形成训练样本；

通过所述训练样本对预先搭建的果蔬类别识别深度学习模型进行监督训练，得到所述果蔬类别识别模型；

通过所述果蔬类别识别模型，识别出所述待识别果蔬的果蔬类别。

进一步说，所述识别出所述待识别果蔬的果蔬类别，还包括：

得到与所述果蔬类别对应的类别索引；

所述根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，包括：

根据所述待识别果蔬的类别索引选择对应的新鲜度识别模型。

本具体实施方式，可以有效的识别出每个果蔬图像对应的果蔬类别。也就是说本具体实施方式实现了通过深度学习技术识别每种果蔬对应的子图像，得到每一种果蔬的所属类别索引(categoryindex)，包括：

步骤1，搭建果蔬种类识别深度学习网络模型；

步骤2，采集果蔬图片并标注，形成训练样本；

步骤3，通过训练样本对网络模型进行有监督训练，得到果蔬种类识别模型；

步骤4，将子图像作为果蔬种类识别模型，识别模型输出果蔬的种类，得到果蔬所属类别索引categoryindex；

在本发明实施例的又一个具体实施方式中，所述对所述储物空间进行图像采集，得到原始图像，包括：

在所述保鲜设备的设定检测范围内进行预设目标检测；

在检测到目标的情况下，对所述目标进行面部识别；

当识别出所述目标的面部朝向所述保鲜设备时，对所述储物空间进行图像采集，得到原始图像。

本具体实施方式基于检测结果，判断是否启动果蔬的新鲜度识别的任务。具体说，包括：

步骤1，通过预置的一个红外探测功能，实时检测冰箱一定范围内是否有目标(例如人)出现；

步骤2，若有人出现，则进行人脸(即面部)识别，检测是否有人脸出现；

步骤3，若检测到人脸，则启动预置的姿态判断模块，判断人脸是否面朝冰箱；

步骤4，若人脸面朝冰箱则表示用户正在关注冰箱，此时启动后续模块执行步骤5，否则不启动；

步骤5，打开保鲜设备(例如冰箱)的储物空间(例如冷藏室)内的灯光，通过摄像头对冷藏室进行拍照，得到冷藏室的照片(img_all，即原始图像)。

以冰箱为例，举一具体实施方式描述本发明中果蔬新鲜度的识别方法。

如图3所示，本具体实施方式包括：

1、训练果蔬新鲜度识别模型(recmodel)；

2、通过唤醒模块判断是否唤醒冰箱，启动果蔬新鲜度识别任务；

3、打开冰箱冷藏室内的灯光，通过摄像头对冷藏室进行拍照，得到冷藏室的照片(img_all)；

4、利用图像分割技术对冷藏室的照片进行图像分割，将不同果蔬的所在区域分隔开，每种果蔬对应一个区域，得到若干子图像(subimg0,subimg1……subimgn)，每副子图像包含一种果蔬；

5、通过深度学习技术识别每种果蔬对应的子图像，得到每一种果蔬的所属类别索引(categoryindex)；

6、识别子图像对应的果蔬新鲜度：

1)提取子图像的颜色直方图和边缘梯度直方图；

2)将二者组合为特征向量featurevec；

3)将featurevec输入svm分类器，svm分类器通过categoryindex选择对应的新鲜度识别模型recmodeli，并利用recmodeli对featurevec进行新鲜度识别，得到每种果蔬可继续存放的时长(remaintime)；

7、对remaintime按照升序排列，并将排序结果输出。

本具体实施方式在策略上通过拍摄冰箱内果蔬的图像来识别果蔬的新鲜度，可以通过果蔬的外观特征直接识别出新鲜程度，较其他方式，诸如记录果蔬在冰箱中存放时长的方法、通过往冰箱中存放食物时手工设定计时器等方法，更直接有效。

本发明进一步提出一种果蔬新鲜度的识别装置，包括：

采集模块310，用于采集待识别果蔬的果蔬图像；

提取模块320，用于从所述果蔬图像中提取颜色直方图和边缘梯度直方图；将所述颜色直方图和所述边缘梯度直方图组合为特征向量；

识别模块330，用于将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度。

本发明实施例通过采集待识别果蔬的果蔬图像，从所述果蔬图像中提取特定的特征向量，将所述特征向量输入预设的分类器中，并使所述分类器根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，以使所述新鲜度识别模型识别所述待识别果蔬的新鲜度，从而有效解决现有技术中对保鲜设备内果蔬新鲜度判断不准确的问题。

在本发明的一个实施例中，所述装置还包括训练模块，所述训练模块包括新鲜度训练模块和类别训练模块：

新鲜度训练模块，用于采集至少一种果蔬的至少一个图片样本；

针对每种果蔬：对该种果蔬的每个图片样本标注对应的新鲜度标签；

从每个图片样本的果蔬图像提取特征向量；

将提取的特征向量和对应的新鲜度标签送入所述分类器中进行训练，以使所述分类器输出该种果蔬对应的新鲜度识别模型。

进一步说，所述从每个图片样本的果蔬图像提取特征向量，包括：

对每个图片样本进行分割和尺寸归一化预处理，得到该图片样本的果蔬图像；

从得到的果蔬图像中提取特征向量。

在本发明的另一个实施例中，所述提取特征向量包括：

提取颜色直方图和边缘梯度直方图；

将所述颜色直方图和边缘梯度直方图组合为特征向量。

在本发明的又一个实施例中，所述待识别果蔬存储在保鲜设备的储物空间；

所述采集模块，具体用于对所述储物空间进行图像采集，得到原始图像；

对所述原始图像进行图像分割，得到1个或多个果蔬图像；

将各果蔬图像分别作为一个待识别果蔬的果蔬图像。

进一步说，所述对所述原始图像进行图像分割，得到1个或多个果蔬图像，包括：

提取所述原始图像中边缘信息，得到1个或多个包含边缘的二值图；

提取每个所述二值图的轮廓，根据每个轮廓从所述原始图像中提取一个对应的果蔬图像。

其中，所述提取每个所述二值图的轮廓，根据每个轮廓从所述原始图像中提取一个对应的果蔬图像，包括：

通过轮廓面积和先验知识删除不符合预设要求的轮廓；

根据剩余的每个轮廓从所述原始图像中提取一个对应的果蔬图像。

进一步说，所述类别训练模块，用于采集至少一种果蔬的至少一个果蔬图像；

针对每种果蔬：对该种果蔬的每个果蔬图像标注果蔬类别标签，形成训练样本；

通过所述训练样本对预先搭建的果蔬类别识别深度学习模型进行监督训练，得到所述果蔬类别识别模型；

通过所述果蔬类别识别模型，识别出所述待识别果蔬的果蔬类别。

其中，所述识别出所述待识别果蔬的果蔬类别，还包括：

得到果蔬类别对应的类别索引；

所述根据所述待识别果蔬的果蔬类别选择对应的新鲜度识别模型，包括：

根据所述待识别果蔬的类别索引选择对应的新鲜度识别模型。

在本发明实施例的一个具体实施方式中，所述装置还包括：

探测模块，用于在所述保鲜设备的设定检测范围内进行预设目标检测；

姿态判断模块，用于在检测到目标的情况下，对所述目标进行面部识别；当识别出所述目标的面部朝向所述保鲜设备时，对所述储物空间进行图像采集，得到原始图像。

本发明通过训练果蔬新鲜度识别模型，通过每种果蔬对应一个识别模型，该模型可以直接得到果蔬的新鲜度；通过图像分割模块(即分割模块)有效识别冗余信息和有效信息，从而保证了分割效果，进一步保证了果蔬图片的质量，进一步提高了果蔬新鲜度识别准确性；通过果蔬种类识别模块的识别结果直接决定了使用哪个果蔬新鲜度识别模型，进一步提高了果蔬新鲜度识别错误。从而实现了通过果蔬的颜色、纹理和轮廓等外观特征识别果蔬的新鲜度，采用本发明中装置识别果蔬新鲜度较其他技术更为直接、有效，不受其他条件的限制，能够从根本上直接得到最终结果

需要说明的是，本发明中装置可以是单独存在的一种识别装置，也可以是保鲜设备，还可以是设置在保鲜设备(例如冰箱)的一个功能模块。

也就是说，本发明还提供一种保鲜设备，所述保鲜设备包括上述任意一种果蔬新鲜度的识别装置。所述保鲜设备可以是冰箱、保鲜柜等等。

虽然本申请描述了本发明的特定示例，但本领域技术人员可以在不脱离本发明概念的基础上设计出来本发明的变型。

本领域技术人员在本发明技术构思的启发下，在不脱离本发明内容的基础上，还可以对本发明做出各种改进，这仍落在本发明的保护范围之内。