建筑作业区危险源智能识别系统的制作方法

本发明涉及一种基于视觉方法的建筑作业区危险源智能识别系统，可在复杂施工作业环境下智能识别作业区中的主要危险源，属于视觉测量领域。

背景技术：

近年来，随着我国城市化的不断推进，各种基础设施建设的不断增加，如何加强施工现场的安全管理成为了施工单位、政府部门各方关注的重点问题。目前，我国施工现场安全事故频发的主要原因有：

（1）施工现场环境复杂、露天工作条件差，作业多样、工作面广、工艺交叉繁复、安全技术涉及面广，导致了施工现场包含多种多样的安全隐患；

（2）施工人员素质参差不齐、安全意识淡薄，且数量多、来源复杂、流动性大，缺乏必要的安全培训，增加了施工现场的安全管理难度；

（3）施工现场往往处于半封闭的环境中，无关人员闯入造成安全事故的可能性较大；

（4）目前，对施工现场的安全监控几乎都由安全管理人员负责，难以实现全方位、实时的监控，监控效率低下。

随着网络带宽的不断增长，计算机技术的发展，图像处理技术的提高，视频监控技术也有长足的发展，视频监控应用越来越广泛地渗透到安防，教育，娱乐，医疗等各种领域。目前已产品化的视觉监控系统主要用于场景录制和视频传输，但随着图像处理和模式识别技术的不断进步，根据具体需求而设计的智能视觉监控系统越来越被广泛利用。智能视觉监控系统不但能够捕捉监控场景中的目标，而且能够对目标进行一定程度上的识别分析，如智能交通中的车牌检测、行人检测、目标跟踪等。

由于智能视觉监控系统能够提供24小时不间断地实时监控，并且自动分析摄像头捕捉到的数据，根据分析结果向安全管理人员及时地发送警报等，这恰好与施工现场的安全管理需求相符。针对目前建筑行业中引发安全事故的主要因素为非作业人员进入作业区、作业人员未良好佩戴安全设备、以及异物侵限（施工过程中特定区域施工人员或作业设备进入非允许进入区域）问题，结合智能相机相关技术，设计一种建筑作业区危险源智能识别系统，利用此系统对施工现场的安全状况和相关施工人员的行为进行实时监控，一方面向管理人员提供真实有效的视频资料，另一方面减轻全方位监管施工现场的难度与成本。因此建立一套适用于建筑施工作业区内的危险源智能识别系统具有重要意义。

技术实现要素：

为了解决上述问题，针对建筑作业区内安全监测的需求，结合当前的软硬件条件，研究基于视觉传感器，实现建筑作业区内安全隐患的识别、预警并发布到各终端。为方便区分与描述，将控制整个系统运行的部分称为中控中心，将接受中控中心发出的预警信息的各部分称为终端。

本发明的技术方案如下：

建筑作业区危险源智能识别系统，主要包含以下步骤：

（1）通过分布式组网方式获取建筑作业区大范围的场景视觉信息，并在各支节点进行图像信息预处理，并将处理后图像传输至中控中心；

（2）针对步骤（1）获取到的场景视觉信息，在建筑作业区复杂背景中，根据需识别的危险源的不同，智能提取出感兴趣的前景目标及roi（regionofinterest）区域；

（3）根据获得的前景目标信息及roi区域内的信息，利用图像处理及机器学习相关方法，智能完成该作业区中相关危险源的识别；

（4）对于已经确认的场景中相关危险源，将其发布至远程管理平台、中控中心、执行部门等终端。

一种使用上述方法的建筑作业区危险源智能识别系统，该系统包括：

（1）大范围建筑作业区图像信息获取系统：该系统主要是根据需要识别的危险源的不同，将建筑作业区划分为多个子区域，各子区域通过无线路由组网方式获取该子区域中安置的各相机的图像信息，各子区域的图像信息通过光纤线缆传输至中控平台，中控平台通过全千兆交换机将各子区域图像信息传送至图像处理设备（图像工作站）；

（2）复杂背景下前景目标及roi提取系统：该系统主要是通过图像处理方法，在建筑作业区的复杂背景下，提取出前景目标信息及roi区域，消除背景信息对危险源识别的干扰；

（3）危险源智能辨识系统：该系统主要是智能完成作业人员甄别、安全帽佩戴检测及侵限问题；

（4）预警发布响应及交互系统：该部分主要是对确认到的信息发送至远程管理平台、中控中心、执行部门等终端，并良好进行相应信息交互工作。

本发明的有益效果，本发明用于建筑作业区内的危险源智能识别，一方面向管理人员提供真实有效的视频资料，另一方面减轻全方位监管施工现场的难度与成本，同时其全自动智能完成识别，应用范围广泛，并在一定程度上兼容现有监控系统，极大节约系统运营成本。

附图说明

图1为本发明建筑作业区危险源智能识别系统的总体结构示意图；

图2为本发明建筑作业区危险源智能识别系统分布式组网获取场景信息示意图；

图3为本发明建筑作业区危险源智能识别系统双目相机架设的立体几何模型示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。

参照图1、图2及图3所示，建筑作业区危险源智能识别系统，包括大范围建筑作业区图像信息获取系统、复杂背景下前景目标及roi提取系统、危险源智能辨识系统、预警发布响应及交互系统。

（1）大范围建筑作业区图像信息获取

首先在需要进行安全防范的场景中的固定位置安置相机，安置的相机个数和安装位置及安装角度需根据实际情况进行确定，对需要监控的场景进行图像采集或视频获取。但建筑区域范围太大，于是将作业区分割为不同子区域，各子区域的相机通过无线路由获取该子区域内各相机的图像信息，同时将不同设备予以编号，并在该分支节点将图像信息进行滤波、去噪、对比度增强等预处理，降低传输数据量。由于各区域离中控平台的距离不定，并且干扰因素众多，于是将各区域处理后的图像信息通过光纤线缆方式传输至中控平台，中控平台再通过全千兆交换机将各区域图像信息传送至图像处理设备（图像工作站）。

（2）复杂背景下前景目标及roi提取

针对建筑行业中引发安全事故的主要因素为非作业人员进入作业区、作业人员未良好佩戴安全措施、以及异物侵限问题，而此类问题，从建筑作业区的复杂背景中提取出各自的前景目标是危险源辨识的基础。对于建筑作业区内危险源识别所需要提取的前景目标，无非是人员与作业设备。按照工地安全管理的要求，进入作业区的工作人员必须全身穿戴统一发放的工作制服，因此通过检测人员是否穿工作服，以对非法进入施工区域的人员进行甄别，其前景目标为进入作业区的人员。同理，对于进入作业区的作业人员，需按照要求佩戴安全帽，故其前景目标也是人员。而对于侵限问题，分为作业设备侵限与人员侵限，其前景目标为作业设备与作业人员。

1）人员前景提取

在建筑作业场景的复杂背景下，由于目标和背景很可能存在相似的外观信息且没有明显的边界，单独采用基于空间域的分割（前景提取）技术将产生较大的检测误差；而基于时域的分割技术利用了帧间信息，可用以判断在时间轴上发生了变化的像素，但是由于时域分割技术对于某些变化的检测效果较差，如纹理不明显、目标在连续的一些帧中不存在运动或变化，单独采用基于时域的分割技术可能会出现目标区域不连续、内部存在空洞等；因此，基于时空联合的分割技术不仅利用了运动对象在时间上的连续性，还利用了图像的空间分割技术，在帧内做静态图像分割的基础上，辅以时间轴信息，可以使分割结果更加理想。

其中，背景建模法在检测室外复杂条件下的运动目标时性能最好，非参数建模的map-mrf框架较参数建模的混合高斯模型来说，精度更好但速度过慢。帧间差分法速度最快，但检测效果较差，只适用于对实时性要求很高的场合。综合考虑检测精度与实时性的要求，以及混合高斯模型在背景建模方面的突出表现，本次提出一种基于时空信息联合的目标检测算法，即在时域信息（混合高斯模型）的基础上增加空间域信息（颜色统计直方图）来提高检测率。

在使用目标检测方法分割出待识别的目标后，接下来通常是对待测目标加以描述与表示，使原始像素转换为某种更适合进一步计算处理的形式。hog特征能充分提取人的形状信息及外观信息，具备区分人与其他目标或背景的鉴别能力。lbp特征的特点是计算高效、判别性强且对单调的灰度级变化具有不变性。本次提出结合hog和lbp特征的方式，即在小格内提取lbp直方图，将窗口内的hog特征和lbp直方图结合起来，也就结合了形状特征和纹理特征，能够显著提升检测性能。当背景中噪声边缘成分多时，hog特征的表现不足，利用lbp的一致性模式可滤除这类噪声，弥补hog的这一缺陷，具体做法是将各个一致性模式对应到直方图柱，而所有的非一致性模式都归为一个柱，再串联窗口内的所有lbp直方图即完成对窗口内纹理的描述，生成窗口的lbp特征，最后与hog特征串联组合起来，得到hog+lbp特征。

2）作业设备前景提取

在施工过程中某些特定区域施工人员及作业设备不允许进入特定区域，如火车站施工的铁道区域，高压输电网路，桥梁架设工程中的运营道路等。在这些区域，机械转头、倒车或交会时侵入限界会造成极大的安全事故，以及施工机械向营业线滑落造成的安全事故都是属于机械侵限事故，因此在方法上可以统一采用基于双目立体视觉侵限范围划分及侵限判别。对进入限制区域内的设备进行提取，便可以良好判定是否侵限。

由于作业设备在图像中特征（颜色特征，纹理特征，边缘特征，直线度等）相对固定，可通过分割算法将其从背景像素中分离出来，后续步骤中侵限边界的判定以其为基准，因此将作业设备从背景中进行分割是后续步骤的基础。第一种方法可通过阈值进行分割，如进行边缘特征检测，边缘特征的确定可通过相关边缘算子进行检测，通过边缘算子检测出来的作业设备边缘包含大量的噪声，因此需要对其进行去噪处理，该步骤可通过连通区域检测，边缘轮廓面积，腐蚀等操作进行降噪处理，第二种可通过区域方法对其进行分割，第三类可通过基于活动轮廓模型方法对其进行轮廓分割。

（3）危险源辨识

1）作业人员甄别

按照建筑作业安全管理的要求，进入作业区的工作人员必须全身穿戴统一发放的工作制服，通过是否穿着工作服，便可以甄别进入作业区域的人员是否为工作人员。如果没有穿工作服，系统则提示该目标可能是进入作业区的非工作人员，提醒相关部门对其进行确认并做相应的处理。当有人员进入监控视野中，系统通过前面所论述的背景差法，可以提取出前景目标，考虑到工地的工作服具有统一的颜色制式，故可通过对运动目标区域的颜色及模板进行匹配，判别是否穿着工作服。

2）安全帽佩戴检测

安全帽作为一种个人头部防护用品，能有效地防止和减轻操作人员在生产作业中遭受坠落物体或自坠落时对头部的伤害。建筑作业区内施工人员佩戴安全帽是一种必须的安全措施，能在一定程度上保障施工人员的人身安全。

将一架摄像机至于监控区域出入口，调整其视角范围覆盖整个出入口区域。当监控设备开始监控时对摄像头获取的每一帧图像使用背景差法以及二值化得出二值化前景图，并对其进行中值滤波、高斯滤波、腐蚀、膨胀等预处理操作，尽可能地抑制背景噪声和前景噪声，以准确得到前景目标；然后通过运动目标检测在序列图像中将运动产生的前景变化区域从背景中提取出来，在其中依据尺寸滤波和形状滤波得到大小和形状相符合人在场景中特征的目标，认为是代表施工人员的目标，找出其轮廓的外接矩形，并在前一帧所有代表施工人员的运动目标中寻找是否有与其外接矩形重叠面积大于一定比例且二者面积差异在设定阈值范围内的目标，若有则认为二者为同一目标，对其进行跟踪和标记，若没有则认为是新目标，赋予其新的跟踪标记。运动目标被跟踪，它的信息也会随之传递，其中包括该目标首次出现的位置、该目标是进入还是出去、该目标接矩形框的颜色等信息。

得到代表人的运动目标之后，为避免冗余信息的干扰，考虑到佩戴安全帽的部位为人的头部，即代表人的运动目标范围的靠顶端部分，所以选择在该部分检测安全帽。实验表明，取代表人的运动目标上部1/3区域较为合适，能最大程度地减少计算量。因此，在监测过程中，对到达两条检测线之间的代表人的有效标记运动目标的外接矩形，划取其上部1/3区域作为安全帽潜在区域。

在安全帽潜在区域中寻找色度值在预设安全帽颜色范围内的像素点，并以其颜色对应的编号为这些像素点进行标记。将具有相同颜色标记的点的轮廓找出，舍去其中形状、尺寸、离散度不符合安全帽轮廓预设阈值的轮廓，余下的则被认为是安全帽的轮廓，并根据其中点的颜色标记得到该安全帽的颜色标记，即认为该工人佩戴了对应颜色的安全帽。若在其中没有得到任何一个可代表安全帽的轮廓，则认为该运动目标中没有包含安全帽，即此人没有戴安全帽，并发出安全帽配戴预警。

3）侵限

对于侵限问题，首先需要确定侵限范围，如上所述，可以采用双目立体视觉划分侵限范围及侵限判别。双目立体视觉系统平台由摄像机×2、光学镜头×2、图像采集卡、计算机和标定板组成。左右摄像机之间的基线距离为10cm，首先标定好双目相机内参数及外参数，并保持相机参数不变。标定板图像用于摄像机内外参标定，双目相机架设的立体几何模型如图3所示。

侵限范围确定流程可以分为：一是边界检测（铁道的铁轨、普通作业的边界区域、或通过洒石灰粉等人为约束边界），该部分可以通过边缘检测，连通区域检测等方法提取边缘；二是划分侵限范围，这部分可利用双目相机获取二维图片倾线标志点三维坐标，建立倾线范围的平面方程；三是作业设备检测，该部分主要为移动物体检测（排除铁道上通行火车、运营道路上正常通过车辆等正常设备，此类方法可以通过其几何特征予以排除），检测过程中可能涉及到多个移动目标检测。可考虑用背景差分法，立体匹配等方法检测。

由于要确定作业设备在空间距离限定边界的距离，因此只用一个相机无法获得其三维坐标。侵限范围的划分可考虑双目相机进行确定。相机成角度架设，平行于限定边界方向进行拍摄，通过双目立体视觉原理，左右两个相机的二维图像就可以唯一确定相机视场空间中任意一点的三维信息。要使相机能够精确的反应二维图中机械设备与限定边界的三维坐标。首先进行双目摄像机标定，获得两部摄像机的内部参数和它们之间的位置关系。然后可以根据视差图进行三维重建，得到空间目标的三维坐标。主要包含建立相机模型和求解相机参数两步，针对各种具体相机选用适宜的相机标定方法，其方法也不尽相同。确定相机成像模型后，通过建立视场空间中任意点的世界坐标和二维图像像素坐标的转换关系，并求解其参数。从而确定机械设备与边界三维坐标。侵限范围的划分是需确定上下左右四个边界平面的方程。可以通过提取边界周边标定点坐标，根据多个标定点坐标确定三维边界平面方程。边界的确定就是通过已经确定的多个坐标点来确定的三维坐标，并通过这些坐标点拟合垂直于路面的左右平面方程，然后由左右平面方程确定倾线范围。

机械设备是建筑作业区主要的侵限物体，主要有两类方法对机械设备进行检测，单独对其进行分割，将其从背景中提取出来进行追踪，分割算法可参考前景目标提取步骤，追踪算法可参考卡尔曼追踪，光流，模板匹配，camshift等算法。该部分检测主要仍采用双目获取移动物体三维坐标并判断该目标是否触线，具体可划分为三部分，一是限定边界识别，二是机械设备的识别与追踪，三是限定边界与机械设备距离判断。边界检测主要通过训练相应分类器对其进行识别，其训练特征综合考虑其颜色特征（颜色矩），纹理特征（lbp，hog），几何特征等。边界与机械设备距离判断通过双目相机进行判断。移动机械设备侵限检测首先单独对边界与机械设备单独进行分类器检测，然后利用不同的分类器检测视频流中机械设备与限定边界，并通过双目相机实时获取边界与机械设备三维坐标，最后计算两者的空间距离进行预警判别。

人员侵限分为两种，一种是人员出现在机械臂下及其旋转半径范围内，该问题需要相机架设于机械臂上，拍摄角度向下，通过检测相机视场内有无人员进入机械臂下。另一种是人员进入作业过程中禁止进入的特定区域，该问题主要通过上述设备侵限，首先通过双目获取限定范围，然后检测限定范围内有无人员。两种问题主要解决手段都是行人检测。行人检测方案可通过行人纹理特征如hog特征进行检测。

人形识别的简要处理流程为：首先，由视觉传感器采集原始的视频数据，作为系统的输入信息；其次，为了提高图像质量以便于后续处理，通过预处理模块去除噪声、灰度图像处理技术等，使变换后的图像更接近真实图像；再次，目标检测模块利用视频序列提供的有效信息，将图像中的感兴趣区域分割出来；接着，特征提取模块对检测出来的感兴趣区域的原始数据进行变换，得到一个计算复杂度低且具有代表性（使得类内差别尽可能小，类间差别尽可能较大）的特征向量描述该目标；然后在特征空间中用训练好的分类器进行分类识别，分类器的设计需要在训练样本集上反复经过选择判别函数、更新判别函数和检测误差率三个步骤，考虑到应用的实时性，设计好的分类器需要兼顾检测率和检测速度；最后，根据应用的需求对检测出的目标进行后进行预警。

（4）预警发布响应及交互

如图1所示，根据建筑作业区危险源识别需要，将多台相机分别安置在场景中的固定位置对场景进行图像采集或视频获取，并基于vs(visualstudio)开发环境，通过c#语言编程对各部分算法进行实现，从而对采集的图像或视频数据进行处理并返回相应的处理结果，同时通过c#语言编程实现对revit软件的二次开发，在revit下生成相应的插件对其中的三维场景模型进行调用和修改，然后通过fuzor软件实现对场景的渲染、漫游及多终端的发布。

本系统首先在需要进行安全防范的场景中的固定位置安置相机，对需要监控的场景进行图像采集或视频获取，并将相机采集的图像或视频信息过网络返回至计算机进行后续处理和分析，安置的相机个数和安装位置及安装角度需根据实际情况进行确定。在revit软件下建立与整个场景对应的三维模型，其中包含场景中固定位置的相机模型，并对各相机模型进行编号。基于vs开发环境，通过c#语言在revit软件下生成对应的功能插件，实现对三维模型的调用及改变，主要实现当监控画面中出现安全隐患时，对revit中的相机模型进行触发并调出对应相机的监控画面。由于revit软件和fuzor软件可进行关联，故可根据存在安全隐患的场景的监控相机在revit软件下对应相机模型的具体位置，确定该相机在fuzor软件下三维模型的对应位置，当发生安全隐患时，系统将根据相机在模型中的位置，自动漫游至fuzor软件下该相机所监控的场景位置，并通过fuzor发布至远程管理部门、执行部门，并将其信息发布到中控中心，以便及时响应。

以上所述，仅为本发明较佳的具体实施方式，本发明的应用适用范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的应用适用范围内。