图像中目标物体识别方法、冰箱内食品识别方法及系统与流程

本发明涉及图像识别技术领域，尤其涉及图像中目标物体识别方法、冰箱内食品识别方法及系统。

背景技术：

现有的图像处理技术中，采集图像和采集图像不能保证图像的一致性，这种差异导致学习的信息智能反映数据的部分特征，因而在测试数据上的表现不理想，图像识别的识别率较低。

尤其是在冰箱内图像识别技术领域，冰箱的种类繁多，如果各冰箱分别进行拍摄，进行图像识别，会因为图片质量的差异影响识别率。不同型号的冰箱拍摄出来的图像不一致，冰箱内部摆放在不同位置的食品拍摄的图像也会有差异。图像的差异表现在亮度和色彩上。由于训练和采用的图像不同，这种差异导致学习的信息只能反映数据的部分特征，因而在测试数据上的表现不理想，图像识别的识别率不高。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种图像中目标物体识别方法、冰箱内食品识别方法及系统。

本发明解决上述技术问题的技术方案如下：一种图像中目标物体识别方法，包括如下步骤：

获取训练图像，利用训练图像建立图像识别模型；

获取测试图像，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别；

其中，获取的训练图像和获取的测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间；和/或建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布。

为实现上述发明目的，本发明还提供一种冰箱内食品识别方法，包括采集冰箱内的图像数据作为训练图像和测试图像，根据上述技术方案所述的图像中目标物体识别方法获得待识别图像数据中食品的属性信息。

为实现上述发明目的，本发明还提供一种图像中目标物体识别系统，包括：

训练模块，用于在获取训练图像，利用训练图像建立图像识别模型；

测试模块，用于获取测试图像，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别；

归一化模块，用于对获取的训练图像和获取的测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间；

正则化模块，用于在建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布。

为实现上述发明目的，本发明还提供一种冰箱内食品识别系统，，包括安装在冰箱内部的图像采集装置和服务器，所述图像采集装置采集冰箱内的图像数据上传至服务器，所述服务器采用上述技术方案所述的图像中目标物体识别系统获得待识别图像数据中食品的属性信息。

本发明的有益效果是：本发明通过训练图像和测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间，使得训练样本和测试样本同分布，用训练数据得到的图像识别模型在测试数据上可以取得较好的测试效果；通过在建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布，忽略只对训练样本进行描述的成分，使图像识别模型表达全样本分布，减小参数空间；通过上述处理使图像识别模型在测试数据上的表现尽可能的接近训练数据上的表现，实现图像识别的一致性，提高图像识别精度。

附图说明

图1为本发明实施例提供的图像中目标物体识别方法流程图；

图2为本发明实施例提供的图像中目标物体识别方法流程图；

图3为本发明实施例提供的图像中目标物体识别方法流程图；

图4为本发明实施例提供的图像中目标物体识别系统框图；

图5为本发明实施例提供的图像中目标物体识别方法框图；

图6为本发明实施例提供的图像中目标物体识别方法框图；

图7为本发明实施例提供的冰箱内食品识别系统框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供一种图像中目标物体识别方法，包括如下步骤：

S110,训练阶段获取训练图像，对训练图像进行归一化处理，利用训练图像建立图像识别模型；

S120,测试阶段获取测试图像，对测试图像进行归一化处理，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别；

训练阶段获取的训练图像和测试阶段获取的测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间。

上述实施例中，通过训练图像和测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间，使得训练样本和测试样本同分布，用训练数据得到的图像识别模型在测试数据上可以取得较好的测试效果；通过在训练阶段建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布，忽略只对训练样本进行描述的成分，使图像识别模型表达全样本分布，减小参数空间；通过上述处理使模型在测试数据上的表现尽可能的接近训练数据上的表现。

可选地，作为本发明一个实施例，训练阶段获取训练图像和测试阶段获取测试图像具有相同的拍摄环境。

在该实施例中，保证训练阶段获取的图像和测试阶段获取的图像具体相同的拍摄环境，从硬件上保证训练图像和测试图像的一致性。

可选地，作为本发明的一个实施例，测试阶段利用训练图像建立图像识别模型的步骤具体包括：

a，获取预定数量的包含目标物体的图像数据；

b，对所述图像数据中目标物体的属性参数进行标定，并将经标定处理的图像数据作为训练图像；

c，设定图像识别模型、初始模型参数及损失函数，通过计算损失函数的期望获得风险函数；

d，利用风险函数和训练数据更新图像识别模型，使所述图像识别模型满足所述损失函数的要求，得到所述目标物体对应的图像识别模型。

具体地，所述目标物体的属性参数包括标定图像数据中目标物体的位置及种类。

具体地，在该实施例中，所述图像识别模型标识输出与输入的映射关系，所述损失函数表示实际输出和模型输出之间的差异；所述风险函数为损失函数的期望。

具体地，在该实施例中，对所述图像数据中目标物体的属性参数进行标定可以采用了点标注法：通过食品左上角的坐标(x,y)，宽度w和h标定食品在图片中的位置信息。同时给出该食材的种类信息。无论如何标注，只要能确定图片中关注物体的位置和种类即可。

本发明实施例中，所述图像识别模型为，

其中，x为图像数据，为模型输出，θ为模型参数；

所述损失函数为，

L＝(y，f(x，θ))

损失函数L表示实际的输出和模型输出之间的差异，y为实际输出；f(x,θ)为图像识别模型；

所述风险函数为，

其中，R(θ)为风险函数，N代表训练图像的总数，i代表第i个训练图像。

图像识别包括训练阶段和测试阶段。

训练阶段，包括1、通过拍摄、标记得到训练数据；2、设定决策函数(模型)确立输入和输出的映射关系；3、设定评价函数衡量决策函数的好坏；4、通过学习算法和训练数据更新决策函数，使决策函数满足评价函数的要求。其中，风险函数时损失函数的期望，通过学习算法(如反向传播)使风险函数最小。

具体来说，对于获得的图像数据(x)，标定目标物体位置和种类(y)，作为训练数据。设定图像识别模型和初始参数，表达了输出和输入的关系，用决策函数f(.)表示，对于已经标定好的参数x，输出为θ为模型参数。定义损失函数L＝(y，f(x，θ))，表示实际的输出和模型输出之间的差异。然后在所有样本上评价决策函数的风险风险函数是在已知样本(x,y)上计算得来，被称为经验风险。训练问题就转化为求解θ^*，使得经验风险最小θ^*＝argminR(θ)。

测试阶段，具体来说，包括：1.对目标物体进行拍照，得到测试样本，即输入参数x；2通过预先训练好的图像识别模型，得到输出结果，识别结果为目标物体的位置和种类。

本发明实施例中，风险函数在已知样本(x,y)上计算得到，被称为经验风险，训练问题就转化为求解θ^*，使得经验风险最小θ^*＝argminR(θ)。

本发明实施例中，所述风险函数为经验风险，所述经验风险为根据所有训练数据计算损失函数的期望获得的；通过计算获得使图像识别模型的经验风险最小的模型参数作为图像识别模型的最终模型参数，得到所述目标物体对应的图像识别模型。

需要说明的是，本发明实施例中可以采用多种算法训练模型参数，本发明实施例中仅介绍了上述实现方法，其他实现方法也在本发明保护范围之内，此处不再一一列举。

通过机器学习算法进行图像识别模型训练，但是这种做法通常会存在训练过拟合以及其导致的泛化性错误。具体来说，就是模型参数θ^*根据训练样本(x,y)确定,而训练样本通常不能很好的反应全部的真实分布，经验风险最小的准则训练出的模型在训练样本上表现良好，但是却不能适应训练集之外的测试数据。因此，本发明实施例通过归一化和正则化的处理方式解决上述技术问题。

归一化技术，通过变换的方法将训练样本和测试样本映射到统一的空间。

正则化技术，通过对经验风险进行约束，减少参数空间，避免过拟合。

可选地，作为本发明一个实施例，归一化处理具体包括：对图像尺寸进行归一化处理，对图像数据特征矢量进行归一化处理和对图像数据进行搬移和缩放处理中的至少一种。

在该实施例中，通过上述多种归一化方式，或者对图像尺寸进行归一化，或者对图像数据特征矢量进行归一化，或者对图像数据进行搬移和缩放处理，或者将上述技术手段任意组合使用，实现对图像数据的归一化处理，保证训练数据与测试数据的一致性，提高图像识别模型的识别精度。

可选地，作为本发明一个实施例，所述图像尺寸归一化处理包括：在获取图像数据过程中，采集超过目标区域的图像，将感兴趣区域保留在图像中间位置，根据已知的感兴趣区域的大小，修正图像尺寸，去除冗余区域，保留感兴趣区域的全部内容，使所有图像数据具有相同尺寸；

所述图像数据特征矢量归一化处理包括：利用训练数据的均值和协方差进行归一化处理；

具体的，所述归一化处理的公式如下，

其中x^(k)是一组训练数据的特征矢量，E[x^(k)]是所有训练数据的均值，Var[x^(k)]是所有训练数据的方差的无偏估计，是归一化后的特征矢量；

所述图像数据进行搬移和缩放处理包括：根据缩放因子对图像数据进行缩放处理，通过平移常量对图像数据进行搬移处理；

具体地，所述搬移和缩放处理公式如下，

其中，是经搬移和缩放处理的输出，λ是缩放因子，对样本的缩放，对每个样本点乘以同样的系数，β是对每个样本点加上同样的系数。

如图2所示，本发明实施例提供一种图像中目标物体识别方法，包括如下步骤：

S210,训练阶段获取训练图像，利用训练图像建立图像识别模型，建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布；

S220,测试阶段获取测试图像，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别。

具体地，所述正则化处理包括将经验风险转换为结构风险，具体为在经验风险上加上正则化项获得结构风险，通过计算获得使图像识别模型的结构风险最小的模型参数作为图像识别模型的最终模型参数，得到所述目标物体对应的图像识别模型。

上述实施例中，通过在训练阶段建立图像识别模型时进行正则化处理，保留可以描述全样本的成分，忽略只对训练样本进行描述的成分，使图像识别模型表达全样本分布，减小参数空间。通过上述处理使模型在测试数据上的表现尽可能的接近训练数据上的表现。

可选地，作为本发明一个实施例，正则化处理过程中将经验风险转换为结构风险，所述结构风险为：

θ^*＝arg minR(θ)+λ|θ| (3)

或者，θ^*＝arg minR(θ)+λ(θ)² (4)

其中公式(3)是L1正则化，λ|θ|为正则化项，|θ|是L1范数；公式(4)是L2正则化，λ(θ)²为正则化项，(θ)²是L2范数，λ是一个常量。

数据经过归一化之后，可以在一定程度上弥补训练和测试样本分布不同带来的泛化问题。但是归一化实用的均值和方差均用训练样本估计，无法表达全样本分布。如果模型描述的过于精细，过拟合现象还是存在。

正则化的思想是减少参数空间，也就是在训练过程中保留可以描述全样本的成分，忽略只是对训练样本进行描述的成分。其做法是修改风险函数，将经验风险转化为结构风险。

θ^*＝arg minR(θ)+λ|θ| (3)

或者，θ^*＝arg minR(θ)+λ(θ)² (4)

其中(3)是L1正则化，|θ|是L1范数，(4)是L2正则化，(θ)²是L2范数。本发明实施例通过加入λ|θ|，不相关的输入(噪声)因为得不到权重被抑制。加入λ(θ)²，能够减小每个特征向量的权重，使参数具有稀疏性。

可选地，作为本发明一个实施例，训练阶段获取训练图像和测试阶段获取测试图像具有相同的拍摄环境。

在该实施例中，保证训练阶段获取的图像和测试阶段获取的图像具体相同的拍摄环境，从硬件上保证训练图像和测试图像的一致性。

如图3所示，本发明实施例提供一种图像中目标物体识别方法，包括如下步骤：

S310,训练阶段获取训练图像，对训练图像进行归一化处理，利用训练图像建立图像识别模型，建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布；

S320,测试阶段获取测试图像，对测试图像进行归一化处理，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别；

训练阶段获取的训练图像和测试阶段获取的测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间。

上述实施例中，通过训练图像和测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间，使得训练样本和测试样本同分布，用训练数据得到的图像识别模型在测试数据上可以取得较好的测试效果；通过在训练阶段建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布，忽略只对训练样本进行描述的成分，使图像识别模型表达全样本分布，减小参数空间；通过上述处理使图像识别模型在测试数据上的表现尽可能的接近训练数据上的表现。

可选地，作为本发明一个实施例，训练阶段获取训练图像和测试阶段获取测试图像具有相同的拍摄环境。

在该实施例中，保证训练阶段获取的图像和测试阶段获取的图像具体相同的拍摄环境，从硬件上保证训练图像和测试图像的一致性。

上文结合图1至图3，对本发明实施例提供的一种图像中目标物体识别方法进行了详细的描述，下面结合图4至图6对本发明实施例提供的一种像中目标物体识别系统进行详细描述。

如图4所示，本发明实施例提供的一种图像中目标物体识别系统，包括

训练模块，用于在训练阶段获取训练图像，利用训练图像建立图像识别模型；

测试模块，用于测试阶段获取测试图像，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别；

归一化模块，用于对训练阶段获取的训练图像和测试阶段获取的测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间

如图5所示，本发明实施例提供的一种图像中目标物体识别系统，包括

训练模块，用于在训练阶段获取训练图像，利用训练图像建立图像识别模型；

测试模块，用于测试阶段获取测试图像，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别；

正则化模块，用于在训练阶段建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布。

如图6所示，本发明实施例提供的一种图像中目标物体识别系统，包括

训练模块，用于在训练阶段获取训练图像，利用训练图像建立图像识别模型；

测试模块，用于测试阶段获取测试图像，将测试图像与图像识别模型匹配，实现测试图像中目标物体的识别；

归一化模块，用于对训练阶段获取的训练图像和测试阶段获取的测试图像进行归一化处理，将训练图像和测试图像映射到统一的空间；

正则化模块，用于在训练阶段建立图像识别模型时进行正则化处理，使图像识别模型表达全样本分布。

应理解，在该实施例中，识别系统可对应于根据本发明实施例的识别方法的执行主体，并且识别系统中的各个模块的上述和其它操作和/或功能分别为了实现图1至图3中的各个方法的相应流程，为了简洁，在此不再赘述。

本发明实施例提供一种冰箱内食品识别方法，包括采集冰箱内的图像数据作为训练图像和测试图像，根据上述实施例所述的图像中目标物体识别方法获得待识别图像数据中食品的属性信息。

需要说明的是，在该实施例中，为了使冰箱内食品图片识别取得良好的效果，测试阶段的图片和学习阶段的图片质量相近是前提条件。为了实现图像质量一致性的目的，本发明在首先需要硬件上保证相似的条件，保证所拍照片的质量尽可能一致，在软件上通过归一化、正则化的方法使模型在测试数据上的表现尽可能的接近训练数据上的表现，提高冰箱内食品识别的精度。

具体地，训练和测试过程相对独立，整个训练过程是在服务器端离线进行。首先需要拍摄每种食品的图片，拍摄的图片需要尽可能多的包含不同情景，如背景，光照，大小，前景遮挡等；确保训练阶段获取训练图像和测试阶段获取测试图像具有相同的拍摄环境，拍摄好的食品图片先标定其在图片中的位置以及其种类。最后对于每种食品，都有大量标定好的图片数据，通过机器学习的算法为分别每种食品建立对应的模型。

识别过程的目的是为了通过图像识别的手段判断出冰箱内的食物种类。首先通过冰箱内的摄像头拍摄冰箱内食物图片,之后将图片上穿至识别的服务器，在服务器端和已经建立的模型进行匹配，得到图片中食物的位置和种类的信息。

可选地，作为本发明一个实施例，训练阶段利用训练图像获得图像识别模型在服务器端离线进行，测试阶段识别测试图像中食品的属性信息还包括在检测到冰箱门关门信号时，开启冰箱内的照明设备，并将照明设备的光强调节至统一的光强；和/或在拍摄前对摄像头进行除雾处理；在经过上述处理后，使拍摄条件稳定预设时间再进行拍摄获取图像数据。

上述实施例中，为了保证测试图片的一致性，首先从硬件以及拍照流程上进行了相应的处理。

硬件上，在每个摄像头的位置同时安装了照明灯，保证摄像头配合冰箱内其他的照明设备进行协同工作，其次为每个摄像头增加了防尘放雾措施防止摄像头被污染，所述防尘防雾措施可以通过加装防尘防雾罩实现，最后采用相同像素的感光设备保证拍摄的图片含有相同的信息量。

拍照流程上，每次用户关冰箱门的时候会产生关门信号，此时冰箱内的食物可能发生变化，选择此时进行冰箱内的拍摄。为了保证冰箱内的食物光照条件一致，拍摄前先打开冰箱内的照明设备，通过调节占空比将摄像头附带的灯光调节至统一的光强，冰箱内原有的照明设备尽可能调节至近似的光强。除此之外，为了避免摄像头本身因为冰箱内外的温差造成结露等情况，通过加热等方式进行防雾处理。这部分处理完成后需要将拍摄条件稳定一段时间，保证拍摄处理上可能造成的延时(软件逻辑控制控制拍摄的延时，快门速度等)不会造成影响，以及防止用户短时间内多次开关冰箱门(此时不进行拍照)。

本发明实施例提供一种冰箱内食品识别系统，包括安装在冰箱内部的图像采集装置和服务器，所述图像采集装置采集冰箱内的图像数据上传至服务器，所述服务器采用上述实施例所述的图像中目标物体识别系统获得待识别图像数据中食品的属性信息。

需要说的是，所述冰箱内食品识别系统，从硬件和/或软件上保证训练数据和测试数据的一致性，使图像识别模型在测试数据上的表现尽可能的接近训练数据上的表现，提高冰箱内食品识别的精度。

可选地，作为本发明一个实施例，如图7所示，一种冰箱内食品识别系统还包括在冰箱内每个摄像头的位置安装的照明设备、冰箱门检测装置和控制装置，冰箱门检测装置在检测到冰箱门关门信号时，将关门信号发送给控制装置，控制装置根据关门信号控制开启冰箱内的照明设备，并将照明设备的光强调节至统一的光强。

需要说明的是，在该实施例中，通过在拍照前将照明设备的光强调节至统一的光强，保证冰箱内的食物光照条件一致，从拍摄环境确保图像的一致性。

可选第，作为本发明一个实施例，还包括在冰箱内每个摄像头的位置安装的加热装置，用于在摄像头进行拍摄前为摄像头进行除雾处理，所述控制模块还用于控制拍摄条件稳定预设时间再进行拍摄获取图像数据。

需要说明的是，在该实施例中，为每个摄像头增加了防尘放雾装置以及加热装置，防止摄像头被污染，采用相同像素的感光设备保证拍摄的图片含有相同的信息量。为了避免摄像头本身因为冰箱内外的温差造成结露等情况，通过加热等方式进行防雾处理。将拍摄条件稳定一段时间，保证拍摄处理上可能造成的延时不会造成影响，以及防止用户短时间内多次开关冰箱门。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。