一种基于视频行为识别的工厂规范自动巡检方法与流程

1.本发明涉及计算机技术领域，具体说是一种基于图像识别的算法应用。


背景技术：

2.工厂的生产管理一直是一个复杂而麻烦的问题。所有工厂管理者，都希望能够保持工厂的安全生产和高效管理，而基本上工厂生产环境越复杂，工人越多，生产产品越复杂，生产车间越大，其管理空白越多，管理成本越高且整个生产过程中的风险概率就更大。当前背景下，几乎所有的工厂都已经有了较为良好的监控基础，基本上都实现了生产管理核心区域的视频覆盖。但是当前的监控仅能用于出现问题后的后排查，这种情况对工厂管理者来说，整体安全价值意义较小，几乎不具备管理价值，这本身就是资源的极大浪费。
3.在信息化基本完善的背景之下，生产管理方已经能够大致了解整个工厂中“员工”“生产资料”“产品”三要素中“产品”的基本情况，管理者能够及时知道工厂中产品的库存情况和生产情况。而对于三要素中更为重要的“员工”和“生产资料”的情况一无所知，而大多数的生产行为，本身也不光体现在“产品”的角度。
4.当前在工厂巡检管理过程中主要还是依赖于巡检人员的人力管理，在特定时间阶段安排工作人员进行巡检，以保障尽可能的去保证所有生产过程合规。整个过程存在如下弊端：
5.1.人力资源消耗大，巡检周期长，效果较差
6.2.行为标准依赖人力判断，无法保证统一标准化执行企业规定
7.3.人力资源消耗巨大，无法做到长期完整覆盖检查


技术实现要素：

8.本发明就是针对以上不足，为广大工厂生产场所提供一套智慧、公平、高效、不知疲倦和可扩展的工厂规范智能巡检方法。
9.本发明解决其技术问题所用的技术方案是：一种基于视频行为识别的工厂规范自动巡检方法。该方法包含了对工厂生产过程中违规行为的持续训练，训练过程中需要持续采集和标记相关样本，进而达到更好的效果。在这个过程中，包含对工厂生产过程中各类通用和特定的行为规范、常规违规行为的理解，并且在实现过程中，需要持续积累素材，涵盖正确的范例和错误的样例。素材涵盖视频素材和图片素材，而针对视频素材，需要将视频素材导入gpu服务器，将这些素材按照合适规则切割成图片，基于这些图片进行后续处理。
10.本发明所述的图片处理包含图片的行为标记和训练。在这个过程中，需要预先设定具体行为，以及具体行为的哪些表现或者状态为合乎规定，哪些表现和状态为违规。例如在生产场所中，工作人员长期离开工作场所行为明显违反行为规范，在生产场所中有零散的垃圾或者生产产品堆放违反堆积规范，需要对图片进行标记，标记正确和错误的样本，将这些样本输入gpu服务器进行行为识别训练。
11.本发明所述的训练方法和训练结果，将会按照不同模型的需求写入到对应的设备
中。其中对象检测和基本行为检测类模型会写入终端设备中，依托终端摄像头的边缘计算能力，完成基本的生产场景下的对象属性和行为侦测，并完成数据基本采集工作，并将采集数据和视频流一起传输到中央gpu服务器集群。
12.中央服务器获取到边缘计算侦测结果和对应图片之后，对图片进行计算处理。计算中需要对监测行为进行二次检测，判断前端检测的准确度和真实性。同时采集摄像头会按照某种时间规律，定时给中央处理服务器发送采集图片，中央处理器还需要针对设定规则，对这些无判断图片进行处理，以探测是否有企业定义的其它问题。
13.这种实时和随机图片的结合，可以极大提高工厂生产行为违规检测的灵活性和准确性，如果管理方未来需要对一些其它信息进行核查，也能够基于这些图片进行处理，保障了整套系统的可扩展性和延展性。
14.中央gpu处理器集群将工厂生产场景的相关识别问题进行判定分类之后，会将这些结果配合图片传输到“智能巡检算法平台”中，该算法品牌包含了大量的算法模型，例如对生产车间的标签化算法，对员工的标签化算法，对可能会出现问题的预测算法等等。算法平台将相关问题处理之后，会将问题进行输出。输出方式是为工厂管理者建立一套“自动化”的智能巡检方法。在该方法内，需要立即建立一个巡检任务，该巡检任务分为“环境违规”、“流程违规”和“行为违规”，将这些异常进行规则性下发，例如在整个控制中心，需要确定每一个任务的具体情况，执行者和当前问题，而问题的执行者需要获取问题，了解问题的详细情况，以及任务是偶发性任务还是突发性任务，以做好处理和确认。而智能系统本身还是会持续追踪问题，保证问题的执行，同时还需要去监控问题的情况，智能判断建立的问题当前的更改进度。如果当前的问题已经完成，智能更改任务的状态，从而完成在流程上建立-更改-验证的全智能闭环。
附图说明
15.下面结合附图对本发明进一步说明。
16.图1为一种基于视频行为识别的工厂规范自动巡检方法的原理框图。
具体实施方式
17.下面结合附图和具体实施例对本发明作进一步说明。
18.本方法是一种基于视频行为识别的工厂规范自动巡检方法，基于工厂生产的实际情况和大型生产企业管理部门的实际情况，选择合适的点位方向安装合适的摄像头，摄像头选择搭载智能计算平台的智能摄像头，摄像头需要覆盖整个生产管理场所。摄像头架设完毕之后，根据生产管理的需求选择边缘计算进行人脸检测、人脸采集，场景检测和场景采集。采集之后的数据进行场景规范对比，对比结论数据传输进入“智能巡检算法平台”，基于该算法，将异常信息按照异常原因进行归档，并按照不同的类型自动建立巡检任务，在巡检任务之后，将这些任务自动分发给特定的负责人员和整改人员。同时智能巡检算法平台依然会根据之前的巡检任务，对异常进行持续追踪，如果追踪到相关问题已经整改会自动核验，更改问题状态，通知相关人员。
19.实施例1：
20.由技术人员选定一家工厂作为工厂违规智能巡检案例，在该案例中，首先根据工
厂生产场所的实际情况，工厂内生产资料和产品的摆放情况，选择合适的点位就合适的方向选择合适摄像头安装。一般情况下，需要安装车间门口走廊，了解路过工厂的员工详情，安装生产区域，以了解工厂生产规范情况，安装核心仓储区域，了解存储区域的环境、安全情况。
21.由技术人员进行配置，将工厂摄像头接入gpu服务器集群，将人脸探测采集算法、行为识别算法和人脸识别算法部署进gpu服务器集群，保证图像识别算法的可靠性。gpu服务器首先对接入的视频进行处理，探测到人脸或定义行为之后，将监测对象进行抓取，采集和质量判断，并将异常结果输出到智能巡检管理系统。
22.智能巡检探知到异常之后，会将异常信息按照异常原因进行归档，例如“环境违规”、“流程违规”和“行为违规”。并按照不同的类型自动建立巡检任务，在巡检任务之后，将这些任务自动分发给特定的负责人员和整改人员。
23.当相关管理者在系统内接受到任务之后，会对异常进行整改。整改过程中，智能巡检系统依然会根据之前的巡检任务，指挥前端摄像头进行持续追踪，如果追踪到相关问题已经整改会自动核验，更改问题状态，通知相关人员。
24.通过上面具体实施方式，所有工厂管理人员都可以容易的实现本发明。任意技术工程师都可以依据我们的方法实现该过程。


技术特征：
1.一种基于视频行为识别的工厂规范自动巡检方法。包含在工厂的关键生产相关位置安装带有计算模块的智能摄像头，各车间和办公室本地数据传输网络架设，中心化的图片处理gpu集群和基于图像处理能力进行智能巡厂的信息化智能系统。在数据采集端，将人脸检测采集算法、工厂内特定对象检测采集算法和特定行为检测算法写入摄像头，让摄像头基于边缘计算，降低大型工厂的技术资金投入成本。边缘计算系统将检测出来的行为，以图片或者短视频的方式传输回工厂的管理公司搭建的中心化图片处理服务器，对图片进行深入处理和分析，将分析结果输送入工厂管理数据中台。基于数据中台数据分析提供的数据基础，根据检测出问题的分类，自动构建不同等级的巡检任务，发放给不同的责任人进行处理。在处理过程中，对于智能化能自动识别的问题，智能巡检方法会定时巡检，自动核验整改效果，最终完成从智能发现问题到智能追踪问题到智能核验问题的完整自动巡检智能化的构建。2.根据权利要求1所述将工厂内或集团内所有车间视频采集设备接入管理数据中台。数据采集摄像头同时在其中扮演采集和计算终端的角色，这样保证生产车间和办公室覆盖网络越大，计算能力越强，同时设备将终端采集的行为图片和短视频，通过公用网络传输到中心处理服务器，在中心服务器对素材进行深入识别和计算。s1.数据采集端分散在各个生产车间和管理办公室，同时数据采集端又是边缘计算的计算设备，承担解决方案的计算部分。s2.边缘计算和中心计算均可用于探知人脸，检测场景，判断图片和视频质量，截取合适素材。s3.基于设备信息加场景信息，用中心化的方式进行深入计算和处理，既保证计算力的最大化释放，同时保证算法的可持续优化。3.根据权利要求1所述的将生产场所行为判断结论输出到智能巡检系统，由智能巡检系统完成各类巡检任务判断和分发。4.根据权利要求1所述的将工厂生产场所各类问题自动检测出来和分发之后，根据问题类型，定时或者随机验证问题整改情况，完成整个智能系统的全自动运作。

技术总结
本发明公开了一种基于视频行为识别的工厂规范自动巡检方法。该方法涉及图像识别领域，尤其涉及一种基于工厂生产场景环境下的对象行为规范检测的智能巡检方法。本发明所述的行为规范智能判断检测方法，只针对工厂生产环境中违规检查、智能巡检、巡检问题处理的场景，在该场景下，员工需要在生产场所按照企业统一规定，对设备、产品和生产场所进行特定操作。本发明公开的方法就是智能判断生产场所本身的状况，生产场所内安置的生产资料，生产场所内进入的员工以及链接这一切“生产资料”和“产出产品”的“员工”是否依照公司定义规范正常运转。如果遇到异常状况，智能建立巡检任务，通知整改，智能反馈整改结果，最终实现生产规范智能巡检。能巡检。能巡检。


技术研发人员：周凯凯 高善恒
受保护的技术使用者：苏州企智信息科技有限公司
技术研发日：2021.12.23
技术公布日：2022/3/25