一种用于市场稽查的冰淇淋检测识别方法、系统及设备与流程

1.本技术涉及计算机视觉领域，尤其是涉及一种用于市场稽查的冰淇淋检测识别方法、系统及设备。


背景技术：

2.随着经济的发展，家庭收入和家庭消费水平逐年提高，冰淇淋行业的市场规模增长迅速，每年以近5％的增长率保持稳步增长，中国冰淇淋市场规模稳居全球第一。预计2021年我国冰淇淋的市场规模将至少达到1600亿元，市场的扩容也给了品牌更多发展机会，冰淇淋市场已成为各大商家的必争之地。
3.而冰淇淋市场的信息采集是建立冰淇淋营销体系的重要基础性工作。市场信息的采集、分析与利用驱动着冰淇淋需求预测、货源组织、货源供应和品牌培育等营销关键业务的开展，是冰淇淋行业研发新品掌握市场动态、了解竞争对手的情况、制定销售方案的重要手段。
4.在传统做法中，冰淇淋的市场稽查从冰淇淋数量种类统计到整理出结构化信息都是靠人工完成，效率十分低下，冰淇淋的自动化检测识别仍然没有较好的解决方案。


技术实现要素：

5.为了实现自动检测冰淇淋并识别出结构化信息，本技术提供了一种用于市场稽查的冰淇淋检测识别方法、系统及设备。
6.第一方面，本技术提供一种用于市场稽查的冰淇淋检测识别方法，采用如下的技术方案：
7.获取冰柜中冰淇淋的采集图像，并对采集图像进行预处理，将采集图像送入神经网络模型中；
8.通过冰淇淋检测神经网络模型对图像信息进行提取、处理并计算，得到若干独立包围有目标的矩形图像；
9.通过建立多类冰淇淋识别模型对矩形图像进行识别，输出预测结果，对预测结果进行信息融合得到识别结果，根据识别结果梳理出结构化信息；
10.检测是否有新的采集图像出现，对新的采集图片重复上述冰淇淋检测识别过程。
11.通过采用上述技术方案，采集图像经过冰淇淋检测神经网络模型进行特征提取检测割出图像中的冰淇淋部分后，将获得的矩形图像自动送入冰淇淋识别模型进行种类识别，输出预测结果，进而再通过信息融合得到识别结果，并根据识别结构梳理出结构化信息进行自动统计，实现了冰淇淋信息的自动化检测与识别，整体过程只有采集图像的采集需要人工进行，极大降低了人力成本，同时，也能够加快反馈冰淇淋市场信息采集，掌握市场动态变化，动态的制定营销策略，提高经济效益。
12.可选的，所述冰淇淋检测神经网络模型采用基于yolov5的神经网络模型，所述冰淇淋识别模型采用基于mobilenet+arcsoftmaxloss的识别模型。
13.通过采用上述技术方案，基于yolov5的神经网络模型具备检测速度快的特点，采用mobilenet+arcsoftmaxloss识别模型具有准确率高的特点。
14.可选的，所述通过冰淇淋检测神经网络模型对图像信息进行提取、处理并计算，得到若干独立包围有冰淇淋图像的矩形图像的步骤，包括：
15.将预处理后的采集图像送入训练好的具有实例分割功能的冰淇淋检测神经网络模型输出每个网格含有目标的置信度以及所述网格所对应的相关信息，所述相关信息包括目标中心坐标信息以及其对应的将目标全部包围进来的预设有固定数量p的边界点坐标信息；
16.依次判断每个网格含有目标的置信度是否大于设定阈值；
17.若存在网格含有目标的置信度大于设定阈值，则保留该网格所对应的相关信息；
18.根据目标中心坐标信息及其对应的边界点坐标信息，确定目标的多边形框，再根据多边形框确定冰淇淋的最小外接矩形框；
19.通过仿射变换公式将最小外接矩形框内的图像变换为预设标准大小的标准图像；
20.保留标准图像中多边形框区域内的目标，并对多边形框区域外的像素值统一置为预设值，获得矩形图像。
21.通过采用上述技术方案，由于冰淇淋摆放形态不一，传统的基于yolov5的神经网络自带检测锚框，虽然可以直接利用，但是检测锚框会将大量非冰淇淋部分也包围进来，特别是冰淇淋出于倾斜摆放时，检测锚框包围进来的非冰淇淋部分会大于冰淇淋部分，严重干扰后续的冰淇淋识别模型的识别，容易出现误差，因此，本技术中设置有将目标全部包围进来的若干个边界点坐标信息，将其作为一个特征融合进入yolov5神经网络进行训练改进，使得采集图像经过冰淇淋检测神经网络模型后可精准识别出包围冰淇淋部分的边界点，进而连接边界点形成不规则的多边形框，再根据多边形框大小去确定最小的外接矩形框，能够使得冰淇淋图像的分割更加精准，同时，多边形框还应用到对外接矩形框内非冰淇淋部分进行背景滤除，能够有效提高后续冰淇淋识别模型中的识别精准度。
22.可选的，所述仿射变换公式包括：
[0023][0024]
仿射变换矩阵中的参数具体求解为：通过仿射变换前后冰淇淋结构的长宽比例及其坐标点信息，建立超线性方程组，估算出仿射矩阵的参数值。
[0025]
通过仿射公式得到的矩形图像坐标，可以减少误差，提高准确度。
[0026]
可选的，所述冰淇淋检测神经网络模型包括：输入端、基准网络、neck网络以及head输出端；
[0027]
输入端，用于对采集图像进行归一化处理缩放到608*608大小送入基准网络中；
[0028]
基准网络，用于提取特征，通过下采样方式逐层递进得到76*76、38*38、19*19尺寸大小的特征层，并将19*19尺寸大小的特征层送入neck网络中；
[0029]
neck网络，用于对19*19尺寸大小的特征层通过上采样的方式与backbone上相同大小的特征在通道上进行连接还原分别得到38*38和76*76尺寸大小的特征层，将得到的19*19、38*38和76*76尺寸大小的特征层送入head输出端，其中，对每个特征层上包含目标中心坐标的网格生成于相对于该网格左上角坐标的x偏移量以及y偏移量，同时，生成对特征层上包围目标的预设有固定数量p的边界点相对于所在网格左上角坐标的x偏移量以及y偏移量，此外，还生成目标的置信度，合计2+p*2+1个上限阈值。记每层输出的特征层尺寸为s*s，则每层的特征层输出量为s*s*(2+p*2+1)；
[0030]
head输出端，用于将19*19、38*38和76*76尺寸大小的特征层送入卷积核卷积后生成的特征映像进而送入全连接层进行全连接，获得并输出每个网格含有目标的置信度、目标中心坐标信息以及其对应的将目标全部包围进来的预设有固定数量p的边界点坐标信息。
[0031]
通过采用上述技术方案，在neck网络中生成的输出特征层输出量由固定数量p来确定，用户可根据冰淇淋的边界点识别精度的需求来进行调整设定，同时，也能够调节整体的检测处理速度。
[0032]
可选的，所述固定数量p为20个。
[0033]
通过采用上述技术方案，设置的固定数量p为20个，能够在不影响冰淇淋的边界区域检测准确性基础上，得到最优的检测处理速度。
[0034]
可选的，所述冰淇淋检测神经网络模型训练方法包括：
[0035]
获取冰柜中冰淇淋的采集图像和样例图像，所述样例图像已提前标注好各类标签格式；
[0036]
将采集图像送入冰淇淋检测神经网络模型得到与样例图像的标签格式相同的训练数据，将训练数据与标签数据带入损失函数计算得到损失，再通过反向传播算法将损失反传回去更新冰淇淋检测神经网络模型的参数，不断重复这样的流程，最终得到一个训练好的参数矩阵，将所述参数矩阵加载进冰淇淋检测神经网络模型进行更新，完成对冰淇淋检测神经网络模型的训练。
[0037]
通过采用上述技术方案，利用神经网络对冰淇淋的图像进行检测分割，并将检测得到的冰淇淋轮廓与真实轮廓进行对比，然后调整神经网络的参数，并训练得到冰淇淋检测神经网络模型，使冰淇淋检测神经网络模型能准确检测并得到的冰淇淋轮廓，有效提高了检测的精准度。
[0038]
可选的，所述损失函数包括：
[0039][0040][0041][0042]
loss＝lobj+loff+lpoly；
[0043]
式中，lobj代表是否存在目标的损失，loff代表中心点坐标偏移量的损失，lpoly
代表边界点坐标相对于中心点的损失；λ
obj
，λ
nobj
，λ
off
，λ
poly
分别表示对应损失的权重系数；s表示特征图的边长，p表示边界点坐标的个数；表示特征图上第i个网格是否存在目标，存在就是1，不存在就是0；表示特征图上第i个网格是否不存在目标，不存在就是1，存在就是0；ci，分别表示特征图第i个网格是否有目标的真实值和预测值；xi，yi分别表示第i个网格中目标对于网格左上角的实际偏移量在x，y方向上的数值，分别表示第i个网格中目标对于网格左上角的预测偏移量在x，y方向上的数值，用以确定实际的目标中心点坐标；smooth
l1
表示一种回归损失函数；x
i,j
，y
i,j
分别表示实际p个边界点坐标相对于网格左上角的实际偏移量在x，y方向上的数值，分别表示预测p个边界点坐标相对于网格左上角的预测偏移量在x，y方向上的数值，用以确定包围目标的边界框；loss表示损失函数的总和。
[0044]
通过采用上述技术方案，设置的smooth
l1
回归损失函数具有较好的稳定性以及鲁棒性，通过lobj计算公式计算出置信度的损失，通过loff计算公式计算出中心点坐标偏移量损失，通过lpoly计算公式计算出各个边界点坐标偏移量损失，并对偏移量求和，得到最终的偏移量，可得到冰淇淋轮廓和真实轮廓之间的误差，根据误差调整神经网络的参数，使得神经网络在下一轮训练时能够得到更准确的结果。
[0045]
可选的，所述对采集图像进行预处理的步骤，包括：
[0046]
判断采集图像质量是否合格；
[0047]
当图像质量不合格，则重新采集图像；
[0048]
当图像质量合格，将采集图像统一缩放到608*608大小尺寸，对采集图像检测并进行相应的数据增强操作，所述数据增强操作包括上下左右翻转、高斯模糊、旋转、模拟遮挡以及模拟玻璃反光。
[0049]
通过采用上述技术方案，对采集图像的质量进行鉴别，可以减少识别不准确的情况，同时，可以减少处理误差以及对图片处理效率的影响。对合格的采集图像进一步进行数据增强操作，可以使图片的质量更加容易被识别，提高检测效果的准确度。
[0050]
第二方面，本技术提供一种用于市场稽查的冰淇淋检测识别系统，采用如下的技术方案：
[0051]
一种用于市场稽查的冰淇淋检测识别系统，包括：采集图像模块，用于获取冰柜中冰淇淋的采集图像，并对采集图像进行预处理，将采集图像送入神经网络模型中；
[0052]
图像处理模块，用于通过冰淇淋检测神经网络模型对图像信息进行提取、处理并计算，得到若干独立包围有冰淇淋图像的矩形图像；
[0053]
图像识别模块，用于通过建立多类冰淇淋识别模型对矩形图像进行识别，输出预测结果，对预测结果进行信息融合得到识别结果，根据识别结果梳理出结构化信息；
[0054]
重新检测模块，用于检测模块检测是否有新的采集图像出现，对新的采集图片重复上述冰淇淋检测识别过程。
[0055]
第三方面，本技术提供一种电子设备，采用如下的技术方案：
[0056]
一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述的一种用于市场稽查的冰淇淋检测识别方法的计算机程序。
[0057]
第四方面，本技术是提供一种计算机存储介质，采用如下技术方案：
[0058]
一种计算机可读存储介质，存储有能够被处理器加载并执行上述的一种用于市场稽查的冰淇淋检测识别方法的计算机程序。
[0059]
综上所述，本技术包括以下至少一种有益技术效果：
[0060]
采集图像经过冰淇淋检测神经网络模型进行特征提取检测割出图像中的冰淇淋部分后，将获得的矩形图像自动送入冰淇淋识别模型进行种类识别，输出预测结果，进而再通过信息融合得到识别结果，并根据识别结构梳理出结构化信息进行自动统计，实现了冰淇淋信息的自动化检测与识别，整体过程只有采集图像的采集需要人工进行，极大降低了人力成本，同时，也能够加快反馈冰淇淋市场信息采集，掌握市场动态变化，动态的制定营销策略，提高经济效益。
附图说明
[0061]
图1是本技术其中一实施例的一种用于市场稽查的冰淇淋检测识别方法的流程图。
[0062]
图2是本技术另一实施例中步骤s1中对采集图像进行预处理的具体步骤流程图。
[0063]
图3是本技术另一实施例中步骤s2的具体步骤流程图。
[0064]
图4是本技术另一实施例中冰淇淋检测神经网络模型的结构示意图。
[0065]
图5是本技术另一实施例中冰淇淋检测神经网络模型训练方法的具体步骤流程图。
[0066]
图6是本技术其中一实施例的一种用于市场稽查的冰淇淋检测识别系统的结构示意图。
[0067]
图中，1、采集图像模块；2、图像处理模块；3、图像识别模块；4、重新检测模块。
具体实施方式
[0068]
以下结合附图1-图6对本技术作进一步详细说明。
[0069]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图1-图6及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0070]
参照图1，本技术实施例公开一种用于市场稽查的冰淇淋检测识别方法，包括以下步骤：
[0071]
s1、获取冰柜中冰淇淋的采集图像，并对采集图像进行预处理，将采集图像送入神经网络模型中。
[0072]
具体的，通过摄像头拍摄获得采集图像，并对采集图像进行预处理，判定采集图像是否合格，并进行数据强化等一系列操作，再将采集图像送入神经网络中。
[0073]
其中，图2为本技术公开步骤s1中对采集图像进行预处理的一种可选实现方式流程图，参照图2，步骤s1具体包括以下步骤s10、步骤s11以及步骤s12：
[0074]
s10、判断采集图像质量是否合格。
[0075]
s11、当图像质量不合格，则重新采集图像。
[0076]
s12、当图像质量合格，将采集图像统一缩放到608*608大小尺寸，对采集图像检测并进行相应的数据增强操作，数据增强操作包括上下左右翻转、高斯模糊、旋转、模拟遮挡以及模拟玻璃反光。
[0077]
其中，判断采集图像质量是否合格，可通过检测图像清晰度是否大于预设阈值来实现，具体的，可选的一种实现方式为：由于图像中的高频分量越多，突变像素与相邻像素差值也会越大，即清晰度也越大，因此，对每个像素水平右侧领域的两个灰度差值相减再相乘，再逐个像素累加，计算相邻两个像素灰度差的平方，如下：
[0078]
d(f)＝∑y∑
x
|f(x+2,y)-f(x,y)|2；
[0079]
式中：f(x,y)表示图像f对应像素点(x,y)的灰度值，d(f)为图像清晰度。本方法效率非常高，10张1280*1024分辨率大小的图片同时计算能在70毫秒以内完成。
[0080]
此外，当图像质量合格，通过将采集图像统一缩放到608*608大小尺寸，再对采集图像自动检测并进行上下左右翻转、高斯模糊、旋转、模拟遮挡以及模拟玻璃反光等数据增强操作，其中，对于模拟遮挡及玻璃反光的数据增强是由于实际场景复杂多变，采集图像内冰淇淋之间也存在严重遮挡的情况，且很多时候会有玻璃的反光而导致冰淇淋图像模糊不清，为解决上述问题，提高冰淇淋检测神经网络模型的泛化能力，本技术通过贴图融合的方式来模拟这些场景，通过图像融合来模拟玻璃反光效果，通过将冰柜中冰淇淋图像扣下来然后对上述图像进行随机擦除某些部分处理，再将处理后的图像又贴回去的方式来模拟遮挡效果。通过以上方式能够在现有用于模型训练的数据量基础上进一步增加了数据量。
[0081]
s2、通过冰淇淋检测神经网络模型对图像信息进行提取、处理并计算，得到若干独立包围有目标的矩形图像。
[0082]
具体的，经过深度学习训练好的具有实例分割功能的冰淇淋检测神经网络模型测算出来的独立包围冰淇淋的矩形图像的检测精度高，检测模型的训练数据来源于步骤s12预处理的采集图像，本冰淇淋检测神经网络模型可采用但不限制于yolo、ssd、faster-rcnn等算法。
[0083]
其中，在本实施例中，冰淇淋检测神经网络模型优选采用基于yolov5的神经网络模型，具体的，图3为本技术公开步骤2的一种可选实现方式流程图，参照图3，步骤s2具体包括以下步骤s20、步骤s21、步骤s22、步骤s23、步骤s24以及步骤s25：
[0084]
s20、将预处理后的采集图像送入训练好的具有实例分割功能的冰淇淋检测神经网络模型输出每个网格含有目标的置信度以及网格所对应的相关信息，相关信息包括目标中心坐标信息以及其对应的将目标全部包围进来的预设有固定数量p的边界点坐标信息。
[0085]
具体的，经过冰淇淋检测神经网络模型输出每个网格含有目标的置信度以及网格所对应的相关信息，相关信息包括目标中心坐标信息以及其对应的将目标全部包围进来的预设有固定数量p的边界点坐标信息，在本实施例中，设置的固定数量p可选为20，即设置有20个边界点将单独一个冰淇淋全部包围起来。
[0086]
s21、依次判断每个网格含有目标的置信度是否大于设定阈值。
[0087]
具体的，从采集图像中最左上角的图像依次往右开始判断每个网格含有目标的置信度是否大于设定阈值，在本实施例中，设定的阈值可选为0.65。
[0088]
s22、若存在网格含有目标的置信度大于设定阈值，则保留上述网格所对应的相关
信息。
[0089]
s23、根据目标中心坐标信息及其对应的边界点坐标信息，确定目标的多边形框，再根据多边形框确定冰淇淋的最小外接矩形框。
[0090]
具体的，当存在网格含有目标的置信度大于设定阈值，则保留该网格对应的相关信息，同时，根据目标中心坐标信息及其对应的边界坐标信息，依次连接确定目标的多边形框区域，进而再根据多边形框在x和y方向上的最大直径分别确定矩形框的长与宽，从而确定最小的外接矩形框。
[0091]
s24、通过仿射变换公式将最小外接矩形框内的图像变换为预设标准大小的标准图像。
[0092]
具体的，其中，仿射变换公式包括：
[0093][0094]
即x1＝a
11
x0+a
12
x0+b1，y1＝a
21
x0+a
22
x0+b1。
[0095]
式中：(x0，y0)为变换前最小外接矩形框内的图像上的点坐标，(x1，y1)为变换后最小外接矩形框内的图像上的点坐标，仿射变换矩阵中的参数具体求解为：通过仿射变换前后矩形图像的长宽比例及其坐标点信息，建立超线性方程组，然后基于最小二乘或者svd分解等方法估算出仿射矩阵的参数值。
[0096]
s25、保留标准图像中多边形框区域内的目标，并对多边形框区域外的像素值统一置为预设值，获得矩形图像。
[0097]
具体的，利用多边形框对标准图像除了冰淇淋以外的像素进行统一化，在本实施例中，设置的预设值为0，即将冰淇淋部分以外的图像设置为黑色背景，与冰淇淋部分形成强烈像素差，有利于提高多类冰淇淋识别模型识别的准确性。
[0098]
s3、通过建立多类冰淇淋识别模型对矩形图像进行识别，输出预测结果，对预测结果进行信息融合得到识别结果，根据识别结果梳理出结构化信息。
[0099]
具体的，冰淇淋识别模型采用基于mobilenet+arcsoftmaxloss的识别模型，其中，mobilenet为神经网络，arcsoftmaxloss为应用于神经网络训练过程中的损失函数，基于mobilenet+arcsoftmaxloss的识别模型为本领域内常规技术，本技术可采用但不限制于以上神经网络也可以用其它神经网络。在对采集图像进行冰淇淋部分分割处理后，进一步利用冰淇淋识别模型对冰淇淋种类进行识别，从而输出预测结构，并对预测结果进行信息融合得到识别结果，根据识别结果梳理出结构化信息。
[0100]
s4、检测是否有新的采集图像出现，对新的采集图片重复上述冰淇淋检测识别过程。
[0101]
具体的，系统自动检测是否具有新的采集图像出现，若出现有新的采集图像，则重复上述冰淇淋检测识别过程。
[0102]
此外，参照图4，本技术公开步骤2中的冰淇淋检测神经网络模型包括输入端、基准
网络、neck网络以及head输出端。
[0103]
输入端，用于对采集图像进行归一化处理缩放到608*608大小，并进行均值为0.45，方差为0.3的标准化后送入基准网络中。
[0104]
基准网络，用于提取特征，通过下采样方式逐层递进得到76*76、38*38、19*19尺寸大小的特征层，并将19*19尺寸大小的特征层送入neck网络中。
[0105]
neck网络，用于对19*19尺寸大小的特征层通过上采样的方式与backbone上相同大小的特征在通道上进行连接还原分别得到38*38和76*76尺寸大小的特征层，将得到的19*19、38*38和76*76尺寸大小的特征层送入head输出端，其中，对每个特征层上包含目标中心坐标的网格生成于相对于该网格左上角坐标的x偏移量以及y偏移量，同时，生成对特征层上包围目标的预设有固定数量p的边界点相对于所在网格左上角坐标的x偏移量以及y偏移量，此外，还生成目标的置信度，共计可生成2+p*2+1个上限阈值。记每层输出的特征层尺寸为s*s，则每层的特征层输出量为s*s*(2+p*2+1)。
[0106]
head输出端，用于将19*19、38*38和76*76尺寸大小的特征层送入卷积核卷积后生成的特征映像进而送入全连接层进行全连接，获得并输出每个网格含有目标的置信度、目标中心坐标信息以及其对应的将目标全部包围进来的预设有固定数量p的边界点坐标信息。
[0107]
具体的，冰淇淋检测神经网络模型是一种基于yolov5改进型模型，其中，使用了cspdarknet53结构+focus结构作为基准网络；neck网络位于基准网络和head输出端之间，neck网络可进一步提升特征的多样性及鲁棒性，neck网络使用了spp模块以及fpn+pan模块对特征层进行处理。
[0108]
进一步的，图5为本技术冰淇淋检测神经网络模型训练方法的一种可选实现方式流程图，参照图5，包括：
[0109]
s5、获取冰柜中冰淇淋的采集图像和样例图像，样例图像已提前标注好各类标签格式。
[0110]
其中，利用labelme工具对采集图像中的冰淇淋部分进行人工标注，以得到样例图像，样例图像作为结果对比和调参的依据。具体的，标注方法为：对每个冰淇淋勾勒出均匀的20个边界点，20个边界点所包围的闭合区域即为冰淇淋的区域，通过对每张图片上每个冰淇淋的边界点解析得到每个冰淇淋在3个特征层上的映射，3个特征层的尺寸大小分别为19*19、38*38和76*76，映射的参数包括冰淇淋的置信度以及每个冰淇淋的每个边界点相对于对应网格左上角的x偏移量以及y偏移量，关于置信度，即每个冰淇淋的中心坐标映射到特征层上对应坐标的位置上的值置为1，其余位置则置为0。
[0111]
s50、将采集图像送入冰淇淋检测神经网络模型得到与样例图像的标签格式相同的训练数据，将训练数据与标签数据带入损失函数计算得到损失，再通过反向传播算法将损失反传回去更新冰淇淋检测神经网络模型的参数，不断重复这样的流程，最终得到一个训练好的参数矩阵，将参数矩阵加载进冰淇淋检测神经网络模型进行更新，完成对冰淇淋检测神经网络模型的训练。
[0112]
具体的，损失函数包括：
[0113]
[0114][0115][0116]
loss＝lobj+loff+lpoly；
[0117]
式中：lobj代表是否存在目标的损失，loff代表中心点坐标偏移量的损失，lpoly代表边界点坐标相对于中心点的损失；λ
obj
，λ
nobj
，λ
off
，λ
poly
分别表示对应损失的权重系数；s表示特征图的边长，p表示边界点坐标的个数；表示特征图上第i个网格是否存在目标，存在就是1，不存在就是0；表示特征图上第i个网格是否不存在目标，不存在就是1，存在就是0；ci，分别表示特征图第i个网格是否有目标的真实值和预测值；xi，yi分别表示第i个网格中目标对于网格左上角的实际偏移量在x，y方向上的数值，分别表示第i个网格中目标对于网格左上角的预测偏移量在x，y方向上的数值，用以确定实际的目标中心点坐标；smooth
l1
表示一种回归损失函数；x
i,j
，y
i,j
分别表示实际p个边界点坐标相对于网格左上角的实际偏移量在x，y方向上的数值，分别表示预测p个边界点坐标相对于网格左上角的预测偏移量在x，y方向上的数值，用以确定包围目标的边界框；loss表示损失函数的总和。
[0118]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0119]
本技术实施例还提供一种用于市场稽查的冰淇淋检测识别系统，该用于市场稽查的冰淇淋检测识别系统与实施例中用于市场稽查的冰淇淋检测识别方法一一对应。参照图6，该用于市场稽查的冰淇淋检测识别系统包括：采集图像模块1、图像处理模块2、图像识别模块以及重新检测模块4。各功能模块详细说明如下：
[0120]
采集图像模块1，用于获取冰柜中冰淇淋的采集图像，并对采集图像进行预处理，将采集图像送入神经网络模型中。
[0121]
图像处理模块2，用于通过冰淇淋检测神经网络模型对图像信息进行提取、处理并计算，得到若干独立包围有冰淇淋图像的矩形图像。
[0122]
图像识别模块3，用于通过建立多类冰淇淋识别模型对矩形图像进行识别，输出预测结果，对预测结果进行信息融合得到识别结果，根据识别结果梳理出结构化信息。
[0123]
重新检测模块4，用于检测模块检测是否有新的采集图像出现，对新的采集图片重复上述冰淇淋检测识别过程。
[0124]
其中，冰淇淋检测识别系统通过从摄像头内获取冰柜中冰淇淋的采集图像，并利用采集图像模块1对采集图像进行预处理，将采集图像送入神经网络模型中，而后再利用图像处理模块2调用冰淇淋检测神经网络模型对图像信息进行提取、处理并计算，得到若干独
立包围有冰淇淋图像的矩形图像，再利用图像识别模块3调用建立的多类冰淇淋识别模型对矩形图像进行识别，输出预测结果，对预测结果进行信息融合得到识别结果，根据识别结果梳理出结构化信息。获得结构化信息后利用重新检测模块4检测模块检测是否有新的采集图像出现，以便对新的采集图片重复上述冰淇淋检测识别过程。
[0125]
关于用于市场稽查的冰淇淋检测识别系统的具体限定可参见上下文中对用于市场稽查的冰淇淋检测识别方法的限定，在此不再赘述。上述一种用于市场稽查的冰淇淋检测识别系统中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备的存储器中，以便于处理器调用执行以上各模块对应的操作。
[0126]
本技术实施例公开一种电子设备。一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当该计算机程序被处理器执行时，执行以下步骤：
[0127]
s1、获取冰柜中冰淇淋的采集图像，并对采集图像进行预处理，将采集图像送入神经网络模型中。
[0128]
s2、通过冰淇淋检测神经网络模型对图像信息进行提取、处理并计算，得到若干独立包围有目标的矩形图像。
[0129]
s3、通过建立多类冰淇淋识别模型对矩形图像进行识别，输出预测结果，对预测结果进行信息融合得到识别结果，根据识别结果梳理出结构化信息。
[0130]
s4、检测是否有新的采集图像出现，对新的采集图片重复上述冰淇淋检测识别过程。
[0131]
其中，步骤s1中对采集图像进行预处理细化的子步骤包括：
[0132]
s10、判断采集图像质量是否合格。
[0133]
s11、当图像质量不合格，则重新采集图像。
[0134]
s12、当图像质量合格，将采集图像统一缩放到608*608大小尺寸，对采集图像检测并进行相应的数据增强操作，数据增强操作包括上下左右翻转、高斯模糊、旋转、模拟遮挡以及模拟玻璃反光。
[0135]
步骤s2细化的子步骤包括：
[0136]
s20、将预处理后的采集图像送入训练好的具有实例分割功能的冰淇淋检测神经网络模型输出每个网格含有目标的置信度以及网格所对应的相关信息，相关信息包括目标中心坐标信息以及其对应的将目标全部包围进来的预设有固定数量p的边界点坐标信息。
[0137]
s21、依次判断每个网格含有目标的置信度是否大于设定阈值。
[0138]
s22、若存在网格含有目标的置信度大于设定阈值，则保留上述网格所对应的相关信息。
[0139]
s23、根据目标中心坐标信息及其对应的边界点坐标信息，确定目标的多边形框，再根据多边形框确定冰淇淋的最小外接矩形框。
[0140]
s24、通过仿射变换公式将最小外接矩形框内的图像变换为预设标准大小的标准图像。
[0141]
s25、保留标准图像中多边形框区域内的目标，并对多边形框区域外的像素值统一置为预设值，获得矩形图像。
[0142]
此外，本技术中冰淇淋检测神经网络模型训练方法步骤包括：
[0143]
s5、获取冰柜中冰淇淋的采集图像和样例图像，样例图像已提前标注好各类标签格式。
[0144]
s50、将采集图像送入冰淇淋检测神经网络模型得到与样例图像的标签格式相同的训练数据，将训练数据与标签数据带入损失函数计算得到损失，再通过反向传播算法将损失反传回去更新冰淇淋检测神经网络模型的参数，不断重复这样的流程，最终得到一个训练好的参数矩阵，将参数矩阵加载进冰淇淋检测神经网络模型进行更新，完成对冰淇淋检测神经网络模型的训练。
[0145]
本技术实施例还公开一种计算机可读存储介质，存储有能够被处理器加载并执行的计算机程序，该计算机程序被处理器执行时实现上述任一种用于市场稽查的冰淇淋检测识别方法的步骤，且能达到相同的效果。
[0146]
其中，计算机可读存储介质例如包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0147]
以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。