相机获取环境图像，图像处理模块藉由立体视觉相机获取的环境图像利用视觉定位得出事故现场智能感知平台当前位置和姿态。具体情况如下:图像处理模块遍历整幅图像，判断每个像素点与其周围像素点灰度值的关系，通过sobel算子寻找图像中灰度值的极值点，将这些灰度的极值点记为特征点，并通过周围像素与该点灰度值的差别生成该点的特征描述向量。图像处理模块完成对当前采集两幅图像的特征提取及描述向量生成以后，通过计算左右图像之间各个特征点特征描述向量的欧式距离进行特征匹配，欧式距离小于事先设定阈值的组合便认为是环境中的同一个点在左右图像中的投影。获得空间中一点在左右图像的投影位置之后，利用极线几何与小孔成像的原理得到该点在事故现场的探测机器人所建立的智能感知平台的坐标系下的三维坐标。再进行当前时刻获取图像与前一时刻获取图像间的匹配，获取特征点在前一时刻相对于摄像机的三维坐标。同一特征点在当前时刻与前一时刻相对于摄像机坐标系的坐标会发生变化，这种变化是由于事故现场探测机器人自身运动造成的，采用高斯-牛顿迭代法可以计算出事故现场探测机器人在两个时刻之间位置和姿态的变换。记录这些位姿变化并进行累积便可以得到事故现场探测机器人当前的准确位置信息。
[0025]同时图像处理模块利用图像采集设备采集的视频图像，分析计算得到深度信息，再利用三角关系就可以恢复所有空间点的三维坐标，进而完成立体建模。具体步骤如下，图像处理模块先从图像中提取具有明显纹理特征的点，并在左右图像间进行匹配，得到稳定的匹配点集，这一步骤可以利用视觉定位过程中特征提取的结果。对稳定的匹配点集使用Delaunary三角剖分构建Delaunary三角形，根据几何关系，处于左图像某三角形中的点必然在右图像中处于由对应特征点构成的三角形中。由三角形三个顶点的信息采用内插法可以得到三角形中所有点的视差值，进而计算求得当前时刻的点云数据。这些点云数据是相对于摄像机坐标系得到的，利用视觉定位得出事故现场智能感知平台当前位置和姿态，将点云数据换算到立体地图对应的世界坐标系中，更新立体地图。控制器基于立体地图和现场的环境参数生成实时的避障线路，运动驱动模块驱动探测机器人按照实时的避障线路在事故现场内自主避障移动；现有相关的技术已有实现避障的相关技术这里就不做详述了。
[0026]此外，为了更全面的显示事故现场的信息，控制器还可以将相关传感器的位置信息和所测的环境参数均在地图中显示出来，并将相关数据通过无线通信模块发送至远端上位机。
[0027]位于远端的上位机接收探测机器人实时发送的立体地图和环境参数存入数据库，并在上位机的显示屏上显示带有环境参数的立体地图，工作人员可通过上位机实时掌握事故现场的情况，并根据实际需要通过上位机远程操控探测机器人动作。
[0028]本发明采用以上技术方案，可根据特种设备事故类型和实际情况确定监控所需环境参数，灵活选择探测设备的；图像采集设备实时采集探测机器人所在位置的图片、视频，所述图像处理模块基于图像采集设备实时采集的探测机器人所在位置的图片、视频生成现场环境立体地图；控制器基于立体地图和现场的环境参数生成实时的避障线路，运动驱动模块驱动探测机器人按照实时的避障线路在事故现场内自主避障移动；控制器通过无线通信模块与设置于现场应急指挥中心的上位机连接，上位机接收由探测机器人实时发送的立体地图和环境参数存入数据库，并在上位机的显示屏上显示带有环境参数的立体地图，工作人员可通过上位机实时掌握事故现场的情况，并根据实际需要通过上位机远程操控探测机器人动作。本发明通过对事故现场的实时探测为特种设备事故应急救援提供决策支持，从而提高救援效率，减少事故造成损失，更好地保障人民的生命和财产安全。
【主权项】
1.基于立体建模的特种设备事故现场信息探测系统，其特征在于:其包括探测机器人、图像采集设备、上位机和探测设备，图像采集设备固定于探测机器人上，图像采集设备采集现场视频图像，探测设备检测现场的环境参数，所述探测机器人内设有图像处理模块、运动驱动模块、无线通信模块、控制器，图像采集设备连接图像处理模块，图像处理模块和探测设备分别连接控制器，图像处理模块分析现场视频图像实时生成事故现场的立体地图，控制器基于立体地图和现场的环境参数生成实时的避障线路，运动驱动模块驱动探测机器人按照实时的避障线路在事故现场内自主移动；控制器通过无线通信模块与设置于现场应急指挥中心的上位机连接，上位机接收由探测机器人实时发送的立体地图和环境参数存入数据库，并在上位机的显示屏上显示带有环境参数的立体地图。2.根据权利要求1所述基于立体建模的特种设备事故现场信息探测系统，其特征在于:所述图像采集设备包括立体视觉相机，所述立体视觉相机安装于探测机器人上，立体视觉相机分别采集左右图像。3.根据权利要求2所述基于立体建模的特种设备事故现场信息探测系统，其特征在于:所述图像处理模块藉由立体视觉相机采集的左右图像的各特征点的特性描述向量的欧式距离进行特征匹配，进而获得空间中一点在左右图像的投影位置，利用极线集合与小孔成像原理得到该点在事故现场机器人平台坐标系下的三维坐标；再采用高斯-牛顿迭代法可计算出机器人当前的准确信息位置和姿态的变换。4.根据权利要求3所述基于立体建模的特种设备事故现场信息探测系统，其特征在于:所述控制器藉由立体视觉相机采集的左右图像提取的视觉定位特征结果，对匹配点集构建Delaunary三角形，对三角形三个顶点的信息采用内插法获得所有点的视差值，求出当前时刻的点云数据和深度信息；再利用三角关系将点云数据换算到立体地图对应的世界坐标系中，进而完成立体建模。5.根据权利要求1所述基于立体建模的特种设备事故现场信息探测系统，其特征在于:所述无线通信模块包括蓝牙模块、ZigBee模块和3G/4G通信模块。6.根据权利要求5所述基于立体建模的特种设备事故现场信息探测系统，其特征在于:上位机和探测机器人之间的无线传输距离在1000m范围内时，所述无线通信模块利用ZigBee模块无线传输；上位机和探测机器人之间的无线传输距离超出1000m时，所述无线通信模块通过握手协议自动激活3G/4G通信模块通过3G网络进行传输。7.根据权利要求1所述基于立体建模的特种设备事故现场信息探测系统，其特征在于:所述探测设备根据事故实际需检测的环境参数选择相应的环境信息传感器，环境信息传感器包括温度传感器和特定气体浓度传感器。8.根据权利要求1所述基于立体建模的特种设备事故现场信息探测系统，其特征在于:所述探测机器人为履带式机器人或者轮式机器人。
【专利摘要】本发明公开基于立体建模的特种设备事故现场信息探测系统，包括探测机器人、图像采集设备、上位机和探测设备，固定于探测机器人上的图像采集设备采集现场视频图像，探测设备检测现场的环境参数，探测机器人内设有图像处理模块、运动驱动模块、无线通信模块和控制器，图像采集设备连接图像处理模块，图像处理模块和探测设备分别连接控制器，图像处理模块分析现场视频图像生成事故现场的立体地图，控制器基于立体地图和环境参数生成避障线路，运动驱动模块驱动探测机器人按避障线路移动；应急指挥中心的上位机接收、存储并显示由探测机器人通过无线通信模块发送的立体地图和环境参数。本发明对事故现场进行立体建模，组成带有环境参数的立体地图，以供机器人自主运行，同时便于确认事故危险程度和人员救援路径。
【IPC分类】H04N7/18, H04N13/00, G05D1/02
【公开号】CN105373130
【申请号】CN201510934767
【发明人】曾钦达, 郑耿峰, 周薇, 胡素峰
【申请人】福建省特种设备检验研究院
【公开日】2016年3月2日
【申请日】2015年12月15日