一种炼化装置区交叉作业智能监控方法与流程

本发明涉及交叉作业监控，具体涉及一种炼化装置区交叉作业智能监控方法。

背景技术：

1、交叉作业是在同一工作面进行不同的作业，或者是在同一立体空间不同的作业面进行不同或相同的作业。施工现场经常有上下立体交叉的作业，以及处于空间贯通状态下同时进行的高处作业，这些都属于交叉作业的范畴，极易发生坠物伤人、高处坠落、机械打击、化学品灼伤、火灾等安全事故，安全隐患多，管理难度大。

2、现有交叉作业的安全防护措施，主要通过建立联系沟通机制合理调作业活动配尽量避免交叉、加强人员培训及风险告知、编制应急预案等手段实现，技术手段缺乏。cn107247456a公开了一种多设备交叉作业区域的安全防碰撞系统，采用安装在不同设备上的多种传感器连续读取数据，通过计算设备之间的距离关系，能够实现多种设备之间的距离判断，并通过声光报警器报警，提醒操作者小心操作，提高了检测效率和安全性；cn101570304公开了一种塔式起重机交叉作业显示装置，在塔式起重机吊钩跑车上安装警示铃和摄像头，当起重机作业时，电铃声和摄像头能随跑车移动，利用影像、铃声来避让、提醒施工作业人员避免吊物伤害；cn113095525a提供了一种电网检修的智能管控交叉作业系统，包括数据存储单元、检测单元和高级应用单元，帮助检修作业人员能够及时准确的了解检修作业信息，防止检修作业和高压试验交叉作业，有效降低作业风险。

3、已有的交叉作业安全管控技术，主要侧重于采用辅助传感器探测设备或预判轨迹来进行提前预警，硬件成本高，现场架设施工复杂，在石化行业罐区、装置区等缺少适用性。因此，有必要提供一种立体交叉作业识别检测方法，用于提醒管理人员加强预警监控，避免出现作业过程中的人身伤害。

技术实现思路

1、针对上述现有技术存在的问题，本发明提出了一种炼化装置区交叉作业智能监控方法，设计合理，克服了现有技术的不足，具有良好的效果。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种炼化装置区交叉作业智能监控方法，包括以下步骤：

4、s1、分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，交叉作业区域包括上下两层施工平台，双目摄像头架设高度为交叉作业下层施工平台的高度，架设距离以能覆盖交叉作业环境为准，实时获取双目摄像头的rtsp视频流进行智能分析；

5、s2、分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行判定；

6、s3、若两个方向的双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。

7、进一步地，在步骤s2中，利用opencv分别对两个双目摄像头进行标定，具体实现步骤为：

8、a、使双目摄像头水平放置，固定在同一基准平面上；

9、b、在双目摄像头前放置棋盘格标定板，使标定板在拍摄画面中显示完整，并且占据整个拍摄画面的1/4至1/2，标定板在标定过程中保持平整；

10、c、在标定板的亮度足够且均匀的情况下，将多个标定板等间隔放置在实际工作距离范围内，采集20～30张标定图像；

11、d、使用matlab自动导入标定图像进行自动标定，将标定的结果读入opencv，进行后续图像校准和匹配。

12、进一步地，标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置。

13、进一步地，在步骤s2中，双目校正和立体匹配的具体实现过程为：经过双目标定得到摄像头的各项参数后，采用opencv中的stereorectify得到校正旋转矩阵r、投影矩阵p以及重投影矩阵q，再采用initundistortrectifymap函数得出校准映射参数，然后用remap来校正输入的左右图像，校正后的左右两幅图像匹配点是在同一行上的，使用opencv中sgbm算法计算视差图双目匹配之后得到视差图。

14、进一步地，在步骤s2中，分别同时对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：

15、s21、对拍摄画面进行人员目标检测，根据人员矩形坐标计算每个矩形框下方中心点坐标，即人员脚部对应的坐标，代表每个人员的站位位置；

16、s22、记图像高度为h，将每个人员位置的纵坐标值与h/2进行比较，若纵坐标值大于h/2，则记为上层作业人员，若小于h/2，则记为下层作业人员；

17、s23、依次计算每个上层作业人员与每个下层作业人员的横坐标差值，判断是否小于阈值d1，若小于阈值，则进一步判断深度信息距离关系；

18、s24、根据视差图，得到上层作业人员和下层作业人员站位坐标对应的灰度值，计算灰度差值并判断是否小于阈值d2，若小于阈值d2，则该方向的双目摄像头判定为疑似下层交叉作业区域站人；

19、s25、若两个方向的双目摄像头均判定为疑似下层交叉作业区域站人，则判定为下层交叉作业区域站人事件。

20、进一步地，在步骤s21中，对拍摄画面进行人员检测采用yolov3人员目标检测框架，首先通过骨干网络darknet-53提取特征信息，再通过检测网络进行分类与定位；

21、darknet-53网络结构在网络中加入残差模块，每个残差模块由两个卷积层和一个快捷链路构成。

22、yolov3中采用上采样和融合法，分别在13*13、26*26、52*52三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。

23、进一步地，针对yolov3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测的任务，所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。

24、本发明带来的有益技术效果：

25、本发明采用基于深度学习的视频识别方法，在不改动装置设施固有结构的基础上，通过在外部区域架设双目摄像头，并对视频流进行采集、传输、分析，突破单纯靠安全管理手段不能解决的难题，实现在垂直方向违规站人的识别，并对异常情况进行报警，通知管理人员及作业人员对违规行为及时处置，具有高效、高精度的优点，防止交叉作业过程中出现物体打击、机械伤害等人员伤亡事故出现，为管控交叉作业危险行为提供了新的思路和解决方案。

技术特征：

1.一种炼化装置区交叉作业智能监控方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤s2中，利用opencv分别对两个双目摄像头进行标定，具体实现步骤为：

3.根据权利要求2所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤b中，使标定板占据整个拍摄画面的1/4至1/2。

4.根据权利要求2所述的一种炼化装置区交叉作业智能监控方法，其特征在于，标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置。

5.根据权利要求4所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤s2中，双目校正和立体匹配的具体实现过程为：经过双目标定得到摄像头的各项参数后，采用opencv中的stereorectify得到校正旋转矩阵r、投影矩阵p以及重投影矩阵q，再采用initundistortrectifymap函数得出校准映射参数，然后用remap来校正输入的左右图像，校正后的左右两幅图像匹配点是在同一行上的，使用opencv中sgbm算法计算视差图双目匹配之后得到视差图。

6.根据权利要求1所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤s2中，分别同时对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：

7.根据权利要求6所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤s21中，对拍摄画面进行人员检测采用yolov3人员目标检测框架，首先通过骨干网络darknet-53提取特征信息，再通过检测网络进行分类与定位。

8.根据权利要求7所述的一种炼化装置区交叉作业智能监控方法，其特征在于，darknet-53网络结构在网络中加入残差模块，每个残差模块由两个卷积层和一个快捷链路构成。

9.根据权利要求7所述的一种炼化装置区交叉作业智能监控方法，其特征在于，yolov3中采用上采样和融合法，分别在13*13、26*26、52*52三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。

10.根据权利要求7所述的一种炼化装置区交叉作业智能监控方法，其特征在于，针对yolov3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测的任务，所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。

技术总结
本发明提供了一种炼化装置区交叉作业智能监控方法，包括以下步骤：分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，实时获取两个双目摄像头的RTSP视频流进行智能分析；分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行智能分析判定；若两个双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。本发明对异常情况进行报警，通知管理人员及作业人员对违规行为及时处置，防止交叉作业过程中出现物体打击、机械伤害等人员伤亡事故出现。

技术研发人员：李千登,厉建祥,孙德青,程思嘉,刘亭,张晓华,吴瑞青,刘洋
受保护的技术使用者：中国石油化工股份有限公司
技术研发日：
技术公布日：2024/2/1