一种高校餐厅食品加工违规行为视频分析系统及方法与流程

本发明属于图像处理领域，具体涉及一种高校餐厅食品加工违规行为视频分析系统及方法。

背景技术

高校餐厅作为学校广大师生员工集中就餐的场所，对食品安全的要求非常严格。一旦出现食品安全事故，由于学校人员高度密集的特点，其造成的后果将非常严重。尽管目前很多食品生产经营企业(例如：高校餐厅)都布设了很多摄像机用于采集食品生产、经营行为的视频。但受各种客观条件的限制，多数企业都不能安排专门的监管人员进行实时监视。另外，即便安排了专门的监管人员进行监视，由于摄像机的机位较多，造成工作人员的劳动强度大、工作效率低、监视效果差。在上述现状下，所采集的视频一般只能用于事后的责任追溯，不能及时预防食品安全风险的发生。为此，有必要在食品安全管理信息化系统中建设专门的视频分析子系统，对一些典型的食品加工违规行为进行自动监视和报警，提高食品安全风险的预防能力。

技术实现要素：

针对现有技术中存在的上述技术问题，本发明提出了一种高校餐厅食品加工违规行为视频分析系统及方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种高校餐厅食品加工违规行为视频分析系统，包括硬件系统和软件系统；其中，

硬件系统，包括摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器和视频分析工作站；摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器通过光缆或网线依次连接，视频分析工作站和汇聚交换机通过网线连接；

软件系统，包括视频分析子系统，其运行在视频分析工作站的硬件平台上；视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块；

实时视频读取模块，被配置用于读取配置文件后从网络录像机实时读取视频；

视频分析模块，被配置用于对食品加工过程中可能出现的违规行为进行检测；

违规行为图片存储模块，被配置用于存储检测到的违规行为的图片；

手机短信报警模块，被配置用于检测到违规行为时自动向管理人员发送短信进行报警；

日志记录模块，被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息，也用于自动维护和显示数据库的访问记录；

参数配置模块，被配置用于供用户进行各种参数的配置。

此外，本发明还提出一种高校餐厅食品加工违规行为视频分析方法，该方法采用如上所述的高校餐厅食品加工违规行为视频分析系统，设该系统布设有n台摄像机，视频分析工作站有m个cpu核，n＞＞m，n除以m的整数商是k、余数是l，0≤l<m，i表示当前要进行视频读取和处理的cpu核编号，1≤i≤m；

当k和l确定后，p是与i有关的变量，且有：

当l<i时，p＝k-1；

当l≥i时，p＝k；

第1个cpu核负责第1台、第m+1台、第2m+1台、…、第pm+1台摄像机所采集视频的视频分析工作，第2个cpu核负责第2台、第m+2台、第2m+2台、…、第pm+2台摄像机所采集视频的视频分析工作，…，第m个cpu核负责第m台、第2m台、第3m台、…、第(p+1)m台摄像机所采集视频的视频分析工作；

具体包括如下步骤：

步骤1：设i＝1；

步骤2：通过实时视频读取模块，读取配置文件，获取第i个cpu核所负责摄像机的各自的视频分析周期和需检测行为的编号，并将摄像机集合记为ci；每台摄像机需检测的行为类型通过参数配置模块事先存储在配置文件中；

步骤3：通过实时视频读取模块，读取ci中第1台摄像机第1个视频帧对应的图片，并根据该摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；

步骤4：通过实时视频读取模块，依次读取ci中其它摄像机第1个视频帧对应的图片，并根据这些摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；

步骤5：根据ci中各摄像机各自的视频分析周期，确定对这些摄像机进行视频分析的顺序；

步骤6：根据分析顺序，依次完成各摄像机其它视频帧的视频分析，当发现违规行为时通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；

步骤7：令i＝i+1，重复步骤2-6，直至完成所有m个cpu核所负责摄像机的视频分析工作。

优选地，违规行为，包括员工不着工作服行为和用素食案板加工生肉行为。

优选地，员工不着工作服行为的视频分析方法如下：

步骤s01：读取摄像机视频帧，生成待分析图片；

步骤s02：读取数据库中有效区域的信息，仅保留待分析图片的有效区域；

步骤s03：对待分析图片进行人脸检测；

步骤s04：判断是否检测到人脸区域；

若：判断结果是检测到人脸区域，则根据检测到的人脸区域长度和宽度，按比例和间距可确定上衣区域，并完成灰度化；

或判断结果是没有检测到人脸区域，则判定无违规行为，结束；

步骤s05：读取工作服模板图片，并完成灰度化；

步骤s06：判断上衣区域是否小于工作服模板；

若：判断结果是上衣区域小于工作服模板，则对工作服模板图片的长度和宽度进行同比例缩小；

判断结果是上衣区域大于或者等于工作服模板，则执行步骤s07；

步骤s07：根据互相关公式(1)，计算互相关结果值，对上衣区域图片和工作服模板图片进行模板匹配；

其中，t为尺寸为m′×n′的灰度化后的模板图片，s为灰度化后上衣区域图片中左上方与同t尺寸的图片，s^i,j为灰度化后上衣区域图片中对s进行平移后的图片，i和j分别是行和列方向的平移像素数，为图片t所有像素灰度值的平均值，为图片s^i,j所有像素灰度值的平均值，corr(i,j)为互相关运算的结果值；

判断互相关结果中的最大值是否大于阈值；

若：判断结果是互相关结果中的最大值大于阈值，则判定无违规行为，结束；

或判断结果是互相关结果中的最大值小于或者等于阈值，则判定有违规行为。

优选地，用素食案板加工生肉行为的视频分析方法如下：

步骤s11：读取摄像机视频帧，生成待分析图片；

步骤s12：对图片进行二值化；

步骤s13：对图片进行降噪；

步骤s14：对图片进行边缘检测；

步骤s15：利用hough变换，在预处理后的图片中进行案板检测，并在原始图片中截取案板区域；

步骤s16：对原始图片中截取的案板区域进行rgb分割；

步骤s17：判断是否检测到红色区域；若：判断结果是检测到红色区域，则读取生肉模板图片；或判断结果是没有检测到红色区域，则判定无违规行为，结束；

步骤s18：计算互相关结果值，将原始图片中截取的案板区域与生肉图片进行模板匹配；判断互相关结果中的最大值是否大于阈值；

若：判断结果是互相关结果中的最大值大于阈值，则判定有违规行为，结束；

或判断结果是互相关结果中的最大值小于或者等于阈值，则判定无违规行为。

本发明所带来的有益技术效果：

本发明设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉两种典型违规行为的自动检测；在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述两种违规行为的视频分析算法；测试结果验证了系统功能的正确性；所开发的视频分析子系统可提高预防食品安全风险的能力。

附图说明

图1为完整的视频监控系统的硬件组成图。

图2为视频分析子系统的模块组成图。

图3为视频分析子系统的工作主流程图。

图4为检测员工不着工作服行为的视频分析方法的流程图。

图5为检测用素食案板加工生肉行为的视频分析方法的流程图。

图6为员工是否着工作服行为的测试结果示意图；图(a)为员工着工作服时的示意图；图(b)为员工未着工作服时的示意图；图(c)为着工作服时的上衣区域示意图；图(d)为未着工作服时的上衣区域示意图。

图7为当发现员工未着工作服的违规行为时向系统管理员自动发送手机短信的示意图。

图8为素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图，图(b)是截取的案板区域示意图，图(c)是检测到的案板区域进行rgb分割后的结果示意图，图(d)是经模板匹配后检测到生肉后的图片的示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

1视频分析子系统的组成和主流程图

1.1视频分析子系统的组成

如图1所示，完整的视频监控硬件系统由高清摄像机、接入交换机、汇聚交换机、光模块、网络录像机、监视器、网线和光缆、视频分析工作站等连接组成。高清摄像机所采集的视频实时地传输至网络录像机进行存储。视频分析工作站则实时地采集网络录像机存储的视频，运行视频分析算法，当检测到违规行为时则通过本地gsm(globalsystemformobilecommunications，全球移动通信系统)模块或通过网络调用gsm服务器向管理人员发送报警短信。

视频分析子系统是所研发的食品安全管理信息系统中的一个软件子系统，它运行在视频分析工作站的硬件平台上。如图2所示，视频分析子系统由实时视频读取、视频分析、违规行为图片存储、手机短信报警、日志记录、参数配置6个模块组成。实时视频读取模块用于读取配置文件后从网络录像机实时读取视频。视频分析模块用于对食品加工过程中可能出现的违规行为进行检测。违规行为图片存储模块用于存储检测到违规行为时的图片，所存储的图片作为证据长期留存。手机短信报警模块用于检测到违规行为时自动向管理人员发送短信进行报警。日志记录模块用于记录违规行为出现时的时间、地点、行为类型等信息，也用于自动维护和显示数据库的访问记录。参数配置模块用于供用户进行各种参数的配置，如：网络录像机的ip地址和端口号、每台摄像机检测的违规行为类型、每台摄像机的视频帧采集周期等。

目前的视频分析模块支持员工不着工作服、用素食案板加工生肉2种违规行为的检测。该模块将来可以扩充检测其它违规行为的子模块，从而保证了系统具有良好的扩展性。

1.2视频分析子系统的工作主流程图

设布设有n台摄像机，视频分析工作站有m个cpu核(n＞＞m)，n除以m的整数商是k、余数是l，0≤l<m，i表示当前要进行视频读取和处理的cpu核编号，1≤i≤m。当k和l确定后，p是与i有关的变量，且有：

当l<i时，p＝k-1；

当l≥i时，p＝k；

图3给出了视频分析子系统的工作主流程。从图中可以看出，第1个cpu核负责第1台、第m+1台、第2m+1台、…、第pm+1台摄像机所采集视频的视频分析工作，第2个cpu核负责第2台、第m+2台、第2m+2台、…、第pm+2台摄像机所采集视频的视频分析工作，…，第m个cpu核负责第m台、第2m台、第3m台、…、第(p+1)m台摄像机所采集视频的视频分析工作。

下面以第1个cpu核为例，介绍其工作流程。其它cpu核的工作流程与之类似。首先读取配置文件，获得摄像机1、m+1、2m+1、…、pm+1的视频分析周期和需检测行为的编号。这里需指出的是，有的摄像机只需要检测员工不着工作服的违规行为，有的摄像机只需要检测用素食案板加工生肉的违规行为，有的摄像机需要同时检测2种违规行为。每台摄像机需检测的行为类型都通过参数配置模块事先存储在配置文件中。接下来，读取摄像机1第1个视频帧对应的图片，并根据摄像机1需检测的行为，依次进行对应行为检测，当发现违规行为时进行违规图片存储、发送手机短信、完成日志记录。之后，摄像机m+1、2m+1、…、pm+1依次完成各自第1个视频帧的图片读取、行为检测。当发现违规行为时，分别进行违规图片存储、发送手机短信、违规日志记录的工作。然后，根据摄像机1、m+1、2m+1、…、pm+1各自的视频分析周期，确定对这些摄像机进行视频分析的顺序。例如，设摄像机1的视频分析周期为10s，摄像机m+1的视频分析周期为20s，摄像机2m+1、…、pm+1的视频分析周期为30s，则可确定出对应的视频分析顺序为：摄像机1的第2个视频帧、摄像机1的第3个视频帧、摄像机m+1的第2个视频帧、摄像机1的第4个视频帧、摄像机2m+1的第2个视频帧、…、摄像机pm+1的第2个视频帧、摄像机1的第5个视频帧、摄像机m+1的第3个视频帧、摄像机1的第6个视频帧、摄像机1的第7个视频帧、摄像机m+1的第4个视频帧、摄像机2m+1的第3个视频帧、…、摄像机pm+1的第3个视频帧、…。这里，每台摄像机两个相邻视频帧的时间间隔等于各自所设置的视频分析周期。当确定了对摄像机1、m+1、2m+1、…、pm+1进行视频分析的顺序后，根据分析顺序，依次完成后继视频帧的视频分析。当发现违规行为时，分别进行违规图片存储、发送手机短信、违规日志记录的工作。

2视频分析算法原理

2.1员工不着工作服行为的视频分析算法

为检测员工在工作区域内是否着工作服，其技术关键是图片中上衣区域的确定和与工作服模板图片的匹配。为实现上衣区域的确定，可首先利用成熟的人脸检测算法确定人脸区域，然后根据检测到的人脸长度和宽度的像素数，按人脸长度与宽度和上身长度与宽度的正常比例和人脸与上身的正常间距，可确定图片中上衣所在区域。为检测图片中上衣所在区域是否确实是餐厅员工的工作服，需事先存储工作服的图片作为模板，然后即可通过模板匹配的方法确定员工是否着工作服。考虑到工作人员处于监视区域不同位置时人脸所占据像素数的不同，当像素数相对较少从而上衣区域的像素数也较少时，对工作服模板图片进行同比例缩小，保证上衣区域的长度和宽度大于缩小后模板图片的长度和宽度。

在进行模板匹配时，用到如下互相关公式：

其中，t为尺寸为m′×n′的灰度化后模板图片，s为灰度化后上衣区域图片中左上方与同t尺寸的图片，s^i,j为灰度化后上衣区域图片中对s进行平移后的图片，i和j分别是行和列方向的平移像素数，为图片t所有像素灰度值的平均值，为图片s^i,j所有像素灰度值的平均值，corr(i,j)corr为互相关运算的结果值。当计算出的互相关值中的最大值超过阈值时，则判定员工着工作服，否则判定员工未着工作服。考虑到所监视区域中可能只有部分区域属于工作人员的工作区域，为提高处理效率，可事先在数据库中存储各摄像机监控区域中的有效区域信息，在进行违规行为检测时只需在有效区域中检测即可。图4给出了检测员工不着工作服行为的视频分析方法的流程。

2.2用素食案板加工生肉行为的视频分析算法

为检测是否有在素食案板上加工生肉的行为，其技术关键是案板的检测和生肉与红色蔬菜的区分。案板一般为圆形或长方形且尺寸已知，可利用从图形中提取尺寸已知的圆形或长方形物体的方法进行检测。无论是圆形还是长方形的物体，均可采用hough(霍夫)变换，将图像坐标空间变换到参数平面实现检测。下面以圆形检测为例简述其工作原理。圆形的方程可表示为：

其中，(x0,y0)为圆心的坐标，r为圆的半径，(x,y)为圆上任意一点的坐标，θ为半径与x轴正向的夹角。以xy平面为参数平面，参数平面上任意一点的强度值等于图像平面上以该点为圆心，以r为半径的圆对应的像素点的强度值之和。参数平面上强度值最大的点对应检测到的圆心。在图像平面上以该点为圆心，以已知的半径r画出的圆即为检测到的圆形物体。需说明的是，在进行圆形检测前，需对图片进行二值化、降噪、边缘检测等预处理。实现案板的检测后，需对案板上摆放的生肉和蔬菜进行区分。可先利用rgb分割后得到的颜色信息进行初步划分，黄瓜、生菜等蔬菜为绿色，生肉为红色。但西红柿、胡萝卜等蔬菜也为红色，因此仅通过颜色信息不能完全准确区分。为实现生肉与红色蔬菜的区分，可利用与生肉模板图片进行模板匹配的方法完成。图5给出了检测用素食案板加工生肉行为的视频分析方法的流程。

3测试结果

利用c#和matlab进行了混合编程，实现了视频实时读取、违规行为检测、违规行为短信报警等功能。matlab语言主要用于实现图片读取、图片分析的功能，其它功能由c#语言实现。

图6为员工是否着工作服行为的测试结果示意图；图(a)为员工着工作服时的示意图；图(b)为员工未着工作服时的示意图；图(c)为着工作服时的上衣区域示意图；图(d)为未着工作服时的上衣区域示意图。经过与事先存储的工作服模板图片进行匹配，图(c)互相关的结果超过阈值，图(d)互相关的结果远小于阈值。图7显示了当发现员工未着工作服的违规行为时向系统管理员自动发送的手机短信。

图8是素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图，图(b)是截取的案板区域示意图，图(c)是检测到的案板区域进行rgb分割后的结果示意图，图(d)是经模板匹配后检测到生肉后的图片的示意图。

4结论

设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉2种典型违规行为的自动检测。在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述2种违规行为的视频分析算法。测试结果验证了系统功能的正确性。所开发的视频分析子系统可提高预防食品安全风险的能力。下一步将对视频分析模块进行扩展，实现其它一些典型违规行为的自动检测。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。