一种实时的披萨成熟度估计算法的制作方法

本发明属于计算机视觉领域，是深度学习在计算机视觉中的一项重要应用，尤其是涉及到披萨成熟度估计算法

技术背景

披萨是一种由特殊的酱汁和馅料，做成的具有意大利风味的食品，但其实这种食品已经超越语言与文化的障碍，成为全球通行的小吃，受到各国消费者的喜爱。而且制作相对简单，尤其是在烤箱出现以后。但是由于面饼的厚度，馅料的数量以及披萨的大小不同，导致不同的披萨的烘焙时间不尽相同，而且烤箱在加热后不便观察。这就给烹饪者判断披萨的成熟度带来了极大的困扰

针对这一问题，我们提出了一种基于深度学习的披萨成熟度估计算法，通过安装在烤箱内部的耐高温摄像头捕获烤箱内披萨的状态，然后使用深度学习算法对图像进行处理，将图里后的图像通过统计学的方法计算其“糊度”，从而可以实时估算出披萨的成熟度。

相比其他成熟度估计算法，本算法需要更少训练数据，实现实时的披萨成熟度估计。

技术实现要素：

本发明提出了一种一种实时的披萨成熟度估计算法。该方法结合深度学习算法和统计学方法，用尽可能少的训练数据达到对披萨成熟度估计的目的。

其技术解决方案是：

步骤1)，采集披萨从进烤箱到成熟整个过程的图像，每个披萨会得到一组照片，定义每组的第一张图像为该组的基准图像；

步骤2)，标注采集到的图像中披萨的位置。并将标注好的数据按照3：1的比例分成训练集和测试集。

步骤3)，构建并训练基于poolnet的显著性检测网络。

步骤4)，将显著性检测网络检测的结果作为前景掩码与原图融合，去除背景；

步骤5)，将步骤4)中融合后的图像以每组的基准图像为基准进行归一化；

步骤6)，将图像使用slic算法进行超像素分割；并将该分割应用到整组图像中；

步骤7)，将步骤6)基准超像素图像分别与得到的超像素图像做欧氏距离度量。

步骤8)，欧氏距离小于阈值u的表示该点已经糊化。统计糊化的点的数量。

步骤9)，将每组糊化点进行曲线拟合得到成熟度曲线。

步骤10)，将测试集中图像先经过显著性检测网络和超像素分割后与当前组的基准图片进行距离度量，计算像素点与阈值u、v的关系，就可以得到该图像中披萨的成熟度。

所述步骤1)中根据披萨成熟时间设置采样频率30s每次，使得每个披萨拍摄的照片数量适中，便于后期的曲线拟合；将第一张图像定义为基准图像，之后的归一化以及糊化判断都是基于基准图像，能够有效排除披萨自身差异以及背景变换对披萨成熟度判断的影响。

所述步骤2)中通过手工标注的方式标定披萨所在位置，为之后的显著性检测做准备。

所述步骤3)中数据通过线性变换方法进行增强和显著性检测网络的梯度下降训练方法。

所述步骤4)中用训练好的显著性检测网络来检测训练集中的披萨位置，将检测的结果作为前景掩码与原图融合，去除背景。

所述步骤5)中以基准图像为基准进行图像的归一化处理，排除披萨之间的差异对实验结果的影响。

所述步骤6)中用超像素分割算法slic对披萨进行超像素分割。

所述步骤7)中将超像素分割结果作为披萨的各区域特征进行距离度量。

所述步骤8)中通过实验经验得到的超参数u、v，表示该点是否发生褐变、糊化。

所述步骤9)中使用曲线拟合的方式统计得到披萨成熟度。

本发明使用深度学习结合统计学方法，在用少量样本的情况下可以实现对披萨的成熟度估计，使用价值高，可扩展性强

附图说明

附图1是本发明所构建的披萨成熟度估计模型示意图。

具体实施方式

一种实时的披萨成熟度估计算法，包括以下步骤：

1)通过设置在烤箱内壁(顶部)的耐高温摄像机采集披萨从进烤箱到成熟整个过程的图像，每30s采集一次，每个披萨会得到一组照片，由于披萨的烘焙时间基本在5-10分钟，因此每组图片有10-20张。定义每组的第一张图像为该组的基准图像，之后的归一化以及烘焙图像的褐变程度都是以基准图像为基准。

2)使用多边形标注框标注采集到的图像中披萨的位置，然后将标注后的结果转化为二值图像，并将标注好的数据按照3：1的比例分成训练集和测试集。

3)构建基于poolnet的显著性检测网络，并加载预训练模型，然后在训练集上训练网络。为了增强网络的泛化性能，在训练过程中将图像做旋转、平移、缩放等线性变换。当损失值基本稳定，在测试集上的精度也不继续上涨时停止训练，获得训练好的显著性检测网络。

4)用训练好的显著性检测网络来检测训练集和测试集中的披萨位置，将检测的结果作为前景掩码与原图进行点乘操作融合，达到将非显著性区域(披萨以外的背景区域)去除。需要注意的是，每个披萨的图像组(10-20张)检测的显著性区域不完全相同，为了之后的分割统计任务，将每组图像的显著性区域求交集，得到的结果作为整组图像共同的显著性区域。披萨在烘焙过程中不会发生大的形变，因此该显著性区域基本与披萨所在区域吻合。

5)由于每个披萨自身的配料不同，因此会有颜色差异，为了消除该差异对最终褐变的影响，将每组以基准图像为基准进行归一化处理。

6)将5)中得到的每组的基准图像使用slic算法进行超像素分割；并将该分割应用到整组图像中。统计褐变比例，就是观察相比基准图像，褐变区域的比例。但是由于在烘焙过程中披萨会膨胀，配料也会有一定形变，使得按像素点统计褐变面积存在较大误差，因此，通过超像素分割的方法，按区域进行统计。

7)将当前图像超像素分割后的每个区域的特征值与基准图像对应的特征值计算欧氏距离。

8)当欧氏距离大于u表示该点已经褐变，当距离大于v表示已经糊化。u、v是通过对训练集上的数据统计，人工设定的超参数。统计褐变区域、糊化区域占披萨整体面积的比例。

9)将每组褐变、糊化点进行曲线拟合，观察曲线，去掉其中的离群值，将剩下的曲线求均值得到成熟度曲线。

10)将测试集中图像先经过显著性检测网络去除背景，然后超像素分割后与当前组的基准图片进行距离度量，计算大于阈值u、v的点的数量，进而得到其在成熟度曲线中的位置，就可以得到该图像中披萨的成熟度以及糊化报警。

发明中提出了一种实时的披萨成熟度估计算法。可以通过少量的样本实现对披萨成熟度的估计。我们在真实数据上的实验结果验证了该方法的有效性。

上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内。

技术特征：

1.一种实时的披萨成熟度估计算法，所述方法包括：

步骤1)，采集披萨从进烤箱到成熟整个过程的图像，每30s采集一次，每个披萨会得到一组照片，定义每组的第一张图像为该组的基准图像；

步骤2)，标注采集到的图像中披萨的位置。并将标注好的数据按照3：1的比例分成训练集和测试集。

步骤3)，构建基于poolnet的显著性检测网络，然后将步骤2)中标注好的数据增强后送入网络进行训练，通过观察损失函数和测试集上的交并比来终止训练。

步骤4)，用训练好的显著性检测网络来检测训练集中的披萨位置，将检测的结果作为前景掩码与原图融合，去除背景；

步骤5)，将步骤4)中融合后的图像以每组的基准图像为基准进行归一化；

步骤6)，将步骤5)中得到的每组的基准图像使用slic算法进行超像素分割；并将该分割应用到整组图像中；

步骤7)，将步骤6)基准超像素图像分别与得到的超像素图像做欧氏距离度量。

步骤8)，欧氏距离大于阈值u的表示该点已经褐变。统计褐变的点的数量。欧氏距离大于阈值v的表示该点已经糊化。统计糊化的点的数量。

步骤9)，将每组褐变、糊化点进行曲线拟合，去掉其中的离群值，然后求均值得到成熟度曲线。

步骤10)，将测试集中图像先经过显著性检测网络去除背景，然后超像素分割后与当前组的基准图片进行距离度量，计算大于阈值u、v的点的数量，进而得到其在成熟度曲线中的位置，就可以得到该图像中披萨的成熟度以及糊化报警。

2.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤1)中根据披萨成熟时间设置采样频率。

3.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤1)中定义每组图像中的基准图像。

4.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤3)中数据的扩充方法和显著性检测网络的梯度下降训练方法。

5.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤4)中用显著性检测结果作为掩码来去除背景物。

6.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤5)中以基准图像为基准进行图像的归一化处理，排除披萨之间的差异对实验结果的影响。

7.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤6)中用超像素分割算法slic对披萨进行超像素分割。

8.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤7)中将超像素分割结果作为披萨的各区域特征进行距离度量。

9.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤8)中通过实验经验得到的超参数u、v，表示该点是否发生褐变、糊化。

10.据权利要求1所述的一种实时的披萨成熟度估计算法，其特征在于：步骤9)中使用曲线拟合的方式统计得到披萨成熟度。

技术总结
披萨在烤箱烤制的过程中的成熟时间会因为面饼的厚度，馅料的数量以及披萨的大小不同而有所差异，这就给披萨的成熟度估计带来极大的困难。本发明提出一种实时的披萨成熟度估计算法，通过一个安装在烤箱内部的摄像机采集披萨图像，通过深度学习和统计学算法来估计披萨的成熟度。可以做到披萨的成熟度的实时估计和糊化报警。实验结果表明，该方法准确度达到90％以上。

技术研发人员：李宗民;李亚传;李冠林;黄睿;白云;肖倩
受保护的技术使用者：中国石油大学(华东)
技术研发日：2020.11.19
技术公布日：2021.01.15