一种基于深度学习的食品粗加工违规检测方法

1.本发明涉及图像识别和食品安全检测技术领域，具体涉及一种基于深度学习的食品粗加工违规检测方法。


背景技术：

2.食品粗加工意思是指对食物或蔬菜稍作处理一下，例如清洗食品原料并进行切配。目前一些配餐企业、饭店厨房、学校厨房等食品粗加工场所一般通过安装摄像头并进行人工监督的方式来进行餐饮行业粗加工的规范管理，并以此保障公众餐饮安全。这种方式虽然透明公开，但存在效率低下，不能保证食品粗加工过程中的工作人员违规操作被及时发现的问题。


技术实现要素：

3.本发明的目的在于提供一种基于深度学习的食品粗加工违规检测方法，以解决在餐饮行业，人工监督食品粗加工过程中出现违规操作效率低、及时性差、信息化程度低的问题。
4.为实现上述目的，本发明提供如下技术方案：一种基于深度学习的食品粗加工违规检测方法，包括以下步骤：s1、一间食品粗加工间需要使用两个主摄像头，主摄像头一和主摄像头二，以下简称主摄像头01和主摄像头03；在粗加工间一侧墙壁斜上方安装主摄像头01，在与该侧墙壁垂直一面墙壁斜上方安装主摄像头03，安装位置可以使得主摄像头01和03拍摄到整个粗加工间，包括地面区域和工作台区域；s2、粗加工间进行用具和容器色系管理，对加工动物性、植物性食品和水产品的用具和容器如菜刀、厨刀、砧板、箩筐等，使用红绿蓝三色进行区分，如箩筐可以用纯红色样式，菜刀在刀柄处进行颜色标记；s3、采集大量粗加工间使用用具图片，具体包括菜刀、厨刀、锯齿刀、去骨刀、去皮刀、箩筐、砧板、周转盆、不锈钢盆；采集大量粗加工间常用拖把的拖把头部位的图片；采集各种角度粗加工间使用垃圾桶的状态图片，具体为垃圾桶盖开启和闭合状态。将所有采集图片进行人工标注，获得训练数据集；s4、利用训练数据集对神经网络初始模型进行训练，以得到神经网络检测模型；s5、通过主摄像头01和03传来的画面，人工标注二维区域，具体为粗加工间工作区域04、加工动物性食品操作台05、加工植物性食品操作台06、加工水产品操作台07、粗加工工作台08、垃圾桶存放区域09、清洗食品性原料水池10、清洗拖把水池11、存放加工用具和容器区域12。考虑到两个摄像头拍摄方向为斜下方向和画面畸变，所有标定区域皆视作凸四边形；s6、检测流程以主动或被动方式开启，主动方式是定时开启，被动方式是粗加工间工作人员在开始工作时手动开启；
s7、检测流程开启后，进入粗加工状态，定时从主摄像头01和主摄像头03画面中各抽取一帧，进行目标检测，然后对是否出现违规行为进行判断，只有从两个摄像头画面都检测出来是同类违规行为才记录为有效违规操作。以下情景为违规操作，情景一，在粗加工期间，工作人员混用加工不同类食品的用具或容器；情景二，在粗加工期间，工作人员在清洗食品原料的水池内清洗拖把；s8、粗加工间工作人员在加工完食品后，需要归位用具、容器、拖把、垃圾桶到规定摆放位置，完成后以手动或定时方式结束粗加工期间违规检测，并进入粗加工完成期间违规检测；s9、检测流程进入粗加工完成期间状态，每3s从主摄像头01和主摄像头03画面中各抽取一帧，持续两分钟，并进行目标检测，然后判断是否出现违规行为，以下情景为违规操作，情景一，工作人员在粗加工结束后未归位用具和容器；情景二，未归位垃圾桶或垃圾桶已经归位，但是垃圾桶检测状态为开启状态，即垃圾桶未加盖；s10、在粗加工完成期间，目标检测在规定时间内结束，当前检测流程结束，等待下一次开启。
5.优选的，步骤s4所述神经网络初始模型：使用yolo网络模型、rcnn网络模型、ssd网络模型等通用目标检测网络。
6.优选的，步骤s4训练步骤为：将人工标注好的数据集进行数据增强，使用为翻转图像、旋转角度、对比度增强、亮度增强、颜色增强和mixup方法，利用数据集对神经网络初始模型进行训练得到神经网络检测模型。
7.优选的，步骤s5获取主摄像头01和03画面后，各抽取一帧，由于摄像头画面畸变，标记区域均视作凸四边形，标记步骤为顺时针选中凸四边形四点并依次连线，然后将四点坐标进行储存。
8.优选的，步骤s7中的情景一判断方式为：在粗加工期间，检测到用具和容器，标出用具和容器轮廓c1矩形区域后，在c1区域内使用opencv颜色直方图进行颜色识别，获得c1区域中心点m1与检测种类，如果检测种类为红色厨刀，因为红色代表加工动物性食品，因此点m1将与加工植物性食品操作台06、加工水产品操作台07进行区域运算，如果m1在06或07区域内部，则判定为混用粗加工用具，如果两个主摄像头画面同时检测到混用粗加工用具，且持续30帧，即算作工作人员混用加工不同类食品的用具或容器。步骤s7中的情景二判断方式为：在粗加工期间，检测到拖把头，标出拖把头框区域c2，将c2区域中心点m2与清洗食品性原料区域10进行区域运算，如果m2在10区域内部，且持续画面帧数30帧，即算作工作人员在加工清洗食品原料的水池内清洗拖把。
9.优选的，步骤s9的情景一判断方式为：将存放加工用具和容器区域12进行遮罩处理后进行目标检测，如果检测到菜刀、厨刀、锯齿刀、去骨刀、去皮刀、箩筐、周转盆、砧板、拖把中的任意一类，记录目标框c3，将c3中心点m3和粗加工间工作区域04进行区域运算，如果m3在04区域内部，即算作工作人员在粗加工工作结束后未归位用具和容器;步骤s9中的情景二判断方式为：当检测到垃圾桶，对于目标框c4，将c4中心点m4和垃圾桶存放区域09进行区域运算，如果m4不在区域09内，即算作未归位垃圾桶；如果垃圾桶已经归位，但是垃圾桶检测状态为开启状态，即算作垃圾桶未加盖，出现这两种任意一种情况即算作满足该情景。
10.优选的，上述区域运算为：如图4所示，根据标定区域为凸四边形和目标检测框为
矩形的特点,在摄像机画面坐标系中，设目标检测框中心坐标为m点，标定区域凸四边形四个点顺时针为a、b、c、d， 通过连续计算矢量叉积，如满足ab
×
am》0、bc
×
bm》0、cd
×
cm》0、da
×
dm》0，即证明点m在凸四边形abcd内部。
11.与现有技术相比，本发明的有益效果如下：本发明通过使用深度学习进行目标检测，将每一次食品粗加工过程视作一次工作流程，使用识别出的相应物体二维位置进行违规判定，可以及时检测出粗加工间一些常见违规操作，例如加工动物性食品、植物性食品、水产品的用具和容器混合使用、在清洗食品原料的水池内清洗拖把、粗加工完成后用具和容器乱摆放及垃圾桶未加盖等行为，与人工监督食品粗加工相比，本发明检测效率更高，实时性更好，信息化程度有很大提高。
附图说明
12.图1为本发明的工作流程示意图。
13.图2为本发明粗加工间标记区域示意图。
14.图3为本发明粗加工间违规检测示意图。
15.图4为本发明判断点m是否在凸四边形abcd内部示意图。
16.图5为本发明存放加工用具和容器遮罩处理示意图。
17.图中：01-主摄像头一，02-目标识别计算设备，03-主摄像头二，04-粗加工间工作区域，05-加工动物性食品操作台，06-加工植物性食品操作台，07-加工水产品操作台，08-粗加工工作台，09-垃圾桶存放区域，10-清洗食品性原料水池，11-清洗拖把水池，12-存放加工用具和容器区域。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.请参阅图1至图5，本发明提供一种基于深度学习的食品粗加工违规检测方法，包括以下步骤：s1、一间食品粗加工间需要使用两个主摄像头，主摄像头一和主摄像头二，以下简称主摄像头01和主摄像头03；在粗加工间一侧墙壁斜上方安装主摄像头01，在与该侧墙壁垂直一面墙壁斜上方安装主摄像头03，安装位置可以使得主摄像头01和03拍摄到地面区域和工作台区域；s2、粗加工间进行用具和容器色系管理，对加工动物性、植物性食品和水产品的用具和容器如菜刀、厨刀、砧板、箩筐等，使用红绿蓝三色进行区分，箩筐可以用纯红色样式，菜刀在刀柄处进行颜色标记；s3、采集大量粗加工间使用用具图片，具体包括菜刀、厨刀、锯齿刀、去骨刀、去皮刀、箩筐、砧板、周转盆、不锈钢盆；采集大量粗加工间常用拖把的拖把头部位的图片；采集各种角度粗加工间使用垃圾桶的状态图片，具体为垃圾桶盖开启和闭合状态。将所有采集图片进行人工标注，获得训练数据集；
s4、利用训练数据集对神经网络初始模型进行训练，以得到神经网络检测模型；s5、通过主摄像头01和03传来的画面，人工标注二维区域，具体为粗加工间工作区域04、加工动物性食品操作台05、加工植物性食品操作台06、加工水产品操作台07、粗加工工作台08、垃圾桶存放区域09、清洗食品性原料水池10、清洗拖把水池11、存放加工用具和容器区域12。考虑到两个摄像头拍摄方向为斜下方向和画面畸变，所有标定区域皆视作凸四边形；s6、检测流程以主动或被动方式开启，主动方式是定时开启，被动方式是粗加工间工作人员在开始工作时手动开启；s7、检测流程开启后，进入粗加工状态，定时从主摄像头01和主摄像头03画面中各抽取一帧，进行目标检测，然后对是否出现违规行为进行判断，只有从两个摄像头画面都检测出来是同类违规行为才记录为有效违规操作。以下情景为违规操作，情景一，在粗加工期间，工作人员混用加工不同类食品的用具或容器；情景二，在粗加工期间，工作人员在清洗食品原料的水池内清洗拖把；s8、粗加工间工作人员在加工完食品后，需要归位用具、容器、拖把、垃圾桶到规定摆放位置，完成后以手动或定时方式结束粗加工期间违规检测，并进入粗加工完成期间违规检测；s9、检测流程进入粗加工完成期间状态，每3s从主摄像头01和主摄像头03画面中各抽取一帧，持续两分钟，进行目标检测，然后判断是否出现违规行为，以下情景为违规操作，情景一，工作人员在粗加工结束后未归位用具和容器；情景二，未归位垃圾桶，或垃圾桶已经归位，但是垃圾桶检测状态为开启状态，即垃圾桶未加盖；s10、在粗加工完成期间，目标检测在规定时间内结束，当前检测流程结束，等待下一次开启。
20.本实施例中，进一步的，步骤s3训练数据集的目标种类为食品粗加工间常用用具、容器、工具，具体为菜刀、厨刀、锯齿刀、去骨刀、去皮刀、箩筐、砧板、周转盆、不锈钢盆、拖把、垃圾桶开盖状态、垃圾桶闭盖状态，共计12类。
21.本实施例中，进一步的，步骤s4将人工标注好的数据集进行数据增强，使用翻转图像、旋转角度、对比度增强、亮度增强、颜色增强和mixup方法，利用数据集训练yolox-m神经网络初始模型，得到神经网络检测模型。
22.本实施例中，进一步的，如图2所示，步骤s5获取主摄像头01和03画面后，各抽取一帧，通过自定义标记算法在该帧画面标记相应区域，由于摄像头画面畸变，标记区域均视作凸四边形，标记步骤为顺时针选中凸四边形四点并依次连线，然后将四点坐标进行储存。
23.本实施例中，进一步的，步骤s6定时开启时间设置具体为：午饭前粗加工开启时间10：40，晚饭前粗加工开启时间为5:00。
24.本实施例中，进一步的，步骤s7中的情景一判断方式为：在粗加工期间，检测到用具和容器，标出用具和容器轮廓c1矩形区域后，在c1区域内使用opencv颜色直方图进行颜色识别，获得c1区域中心点m1与检测种类，如检测种类为红色厨刀，红色代表加工动物性食品，因此点m1将与加工植物性食品操作台06、加工水产品操作台07进行区域运算，如果m1在06或07区域内部，则判定为混用粗加工用具，如果两个主摄像头画面同时检测到混用粗加工用具，且持续30帧，即算作工作人员混用加工不同类食品的用具或容器。步骤七中的情景
二判断方式为：在粗加工期间，检测到拖把头，标出拖把头框区域c2，将c2区域中心点m2与清洗食品性原料区域10进行区域运算，如果m2在10区域内部，且持续画面帧数30帧，即算作工作人员在加工清洗食品原料的水池内清洗拖把。
25.本实施例中，进一步的，步骤s8定时关闭时间设置具体为：午饭粗加工结束关闭时间1：20，晚饭粗加工结束关闭时间为7:10。
26.本实施例中，如图2到图5所示，步骤s9的情景一判断方式为：将存放加工用具和容器区域12进行遮罩处理，即将区域12设置为黑色，并进行目标检测，如果检测到菜刀、厨刀、锯齿刀、去骨刀、去皮刀、箩筐、周转盆、砧板、拖把中的任意一类，记录目标框c3，将c3中心点m3和粗加工间工作区域04进行区域运算，如果m3在04区域内部，即算作工作人员在粗加工工作结束后未归位用具和容器;步骤s9中的情景二判断方式为：当检测到垃圾桶，对于目标框c4，将c4中心点m4和垃圾桶存放区域09进行区域运算，如果m4不在区域09内，即算作未归位垃圾桶，如果垃圾桶已经归位，但是垃圾桶检测状态为开启状态，即算作垃圾桶未加盖，出现这两种任意一种情况即算作满足该情景。
27.本实施例中，进一步的，如图4所示，上述区域运算为：根据标定区域为凸四边形和目标检测框为矩形的特点,在摄像机画面坐标系中，设目标检测框中心坐标为m点，标定区域凸四边形四个点顺时针为a、b、c、d， 通过连续计算矢量叉积，如满足ab
×
am》0、bc
×
bm》0、cd
×
cm》0、da
×
dm》0，即证明点m在凸四边形abcd内部。
28.本实施例中，进一步的，矢量叉积计算为：设矢量p = ( x1, y1 )，q = ( x2, y2 )，则矢量叉积定义为由(0,0)、p1、p2和p1+p2所组成的平行四边形的带符号的面积，即p
ꢀ×ꢀ
q = x1*y2
ꢀ‑ꢀ
x2*y1。
29.其尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。