一种基于单目视觉与激光散斑的铁轨扣件异常检测系统的制作方法

文档序号:13675374阅读:214来源:国知局

本发明涉及一种铁路基础设施检测领域的设备,具体指一种基于单目视觉与激光散斑的铁轨扣件异常检测系统。



背景技术:

扣件是连接钢轨和轨枕使之形成轨排的部件,在保证轨道稳定性、可靠性方面起着重要作用。在铁路基础设施检测上,我国长期以人工和静态检测为主,养护费用高,强度高,安全性差,近年我国高速铁路迅猛发展,对铁路检测的自动化、实时性提出了更高的要求。国内外已有的扣件检测技术为:基于线阵激光的连续扫描装置,如德国sick公司;基于面阵图像传感器的计算机视觉检测装置,如美国ensco公司的vis系统、德国atlaselectronic公司开发的光电式轨道检测系统以及北京福斯达公司高速车载式轨道图像识别系统等。但两者的缺点在于检测速度较低,通用性不高,有时需要过多人工干预,而且不能在扣件丢失之前自动判断扣件是否产生异常并进行预警。

经检索,专利2011100073637.x、201410667430.9分别介绍了一种基于结构光的扣件缺失检测装置:利用多条线结构光照射扣件区域、采用面阵摄像机成像,对线结构光图像进行处理,以判断扣件是否缺失。该方法相比采用机器视觉的二维图像方法,可显著提升鲁棒性。但是,这类方法所采用的多条平行光条形状调制方法,难以检测出光条未照射区域的形状变化,因此,只能检测扣件缺失等大尺度缺陷,不能检测扣件弹条半脱落、扣件垫片缺失、扣件弹条局部损伤等缺陷。为此,本发明提供一种可瞬态三维测量的成像方法,用于获取扣件三维点云,利用稠密的扣件三维点云,采用三维模型比对方法,用于扣件异常检测。



技术实现要素:

为了解决现有扣件异常检测系统所存在的上述问题,本发明提供一种基于单目视觉与激光散斑的铁轨扣件异常检测系统。

本发明的目的可以通过以下技术方案来实现:一种基于单目视觉与激光散斑的铁轨扣件异常检测系统,其特征在于:由两台激光散斑投射器sa和sb,两台摄像机ca和cb,四个激光位移传感器la、lb、lc、ld,1个车轮编码器、1个rfid探测器和1个工控机组成,所述激光散斑投射器sa、摄像机ca位于列车底部左侧,构成第一测量单元,对左侧铁轨两侧扣件进行检测;所述激光散斑投射器sb、摄像机cb位于列车底部右侧,构成第二测量单元,对右侧铁轨两侧扣件进行检测;所述激光散斑投射器sa、sb和摄像机ca、cb位于铁轨正上方;所述激光散斑投射器投射散斑图案到扣件表面,摄像机拍摄扣件表面散斑图案,并通过与事先记录的不同距离处散斑图案序列匹配,完成扣件表面三维点云测量;所述四个激光位移传感器用于测量扣件安装底座高度值;所述车轮编码器与车轮转轴连接,用于对车轮转动角度编码;所述rfid探测器位于车体底部,与铁路上设置的rfid标签进行通信;所述工控机位于车厢内,与摄像机、激光位移传感器、车轮编码器、rfid阅读器连接,读取车轮编码器角度编码信号,对列车行驶里程计数和判定列车行驶方向;所述工控机读取rfid阅读器获取的rfid标签信号,对列车行驶里程进行校准;所述工控机读取四个激光位移传感器测量的铁轨扣件安装底座上表面高度值,判定扣件是否位于成像区域内,控制两台摄像机拍摄扣件区域散斑图像;采集、存储和处理散斑图像,进行单目视觉散斑图像三维重建,获取扣件三维点云,基于扣件三维点云进行扣件异常检测。

所述第一、第二测量单元中摄像机和激光散斑投射器安装方式是:激光散斑投射器的光轴与摄像机光轴平行、且垂直于路面,激光散斑投射器的光轴与摄像机光轴距离小于xmm,x取值范围为5~100,摄像机和激光散斑投射器刚性连接;激光散斑投射器sa和sb的安装高度、角度,以及光源投射角度需完全覆盖铁轨两侧扣件区域,第一、第二测量单元的摄像机视场完全覆盖铁轨两侧扣件区域。

所述第一、第二测量单元通过被动减振结构固定在支撑梁上,支撑梁通过被动减振结构固定在列车转向架上。

所述第一、第二测量单元采用硬质橡胶或塑料垫片作为被动减振结构与支撑梁固定,支撑梁与转向架之间采用k个弹簧并行连接,k的取值范围为1~10。

所述四个激光位移传感器的安装方式是:激光位移传感器la位于第一测量单元公共视场内路面平面垂直于铁轨的中轴线平面内,激光位移传感lb沿铁轨纵向安置于距离激光位移传感器lad1位置处,激光位移传感器la和lb到铁轨中心线水平距离相等为d2;激光位移传感器lc位于第二测量单元公共视场内路面平面垂直于铁轨的中轴线平面内,激光位移传感ld沿铁轨纵向安置于距离激光位移传感器lcd1位置处,激光位移传感器lc和ld到铁轨中心线水平距离相等为d2;其中,d1取值为扣件安装底座上表面宽度的1/2,d2的取值应使激光位移传感器处于扣件安装底座的非扣件区域上方,以直接测量铁轨扣件安装底座高度值;

对应的摄像机成像控制方法是:

1)工控机读取车轮编码器信号,判定列车是前进还是后退;

2)在列车处于前进状态下:在激光位移传感器la测量值da,满足|da-t1|<e条件下,当激光位移传感lb测量值db由小变大到满足|db-t1|<e时,扣件位于摄像机成像区域内,触发第一测量单元中摄像机ca进行图像采集;在激光位移传感器lc测量值dc,满足|dc-t1|<e条件下,当激光位移传感ld测量值dd由小变大到满足|dd-t1|<e时,扣件位于摄像机成像区域内,触发第二测量单元中摄像机cb进行图像采集;

3)在列车处于后退状态:在激光位移传感器lb测量值db,满足|db-t1|<e条件下,当激光位移传感lb测量值db由小变大到满足|db-t1|<e时,扣件位于摄像机成像区域内,触发第一测量单元中摄像机ca进行图像采集;在激光位移传感器ld测量值dd,满足|dd-t1|<e条件下,当激光位移传感lc测量值dc由小变大到满足|dc-t1|<e时,扣件位于摄像机成像区域内,触发第二测量单元中摄像机cb进行图像采集;

其中t1分别是扣件安装底座上表面高度,e是判定阈值,取值范围为0~5mm。

所述四个激光位移传感器的另一种安装方式是:激光位移传感器la位于第一或第二测量单元公共视场内路面平面垂直于铁轨的中轴线平面内,激光位移传感lb沿铁轨纵向安置于距离激光位移传感器lad1位置处,激光位移传感器la和lb到铁轨中心线水平距离相等为d2;激光位移传感器lc、ld平行于la和lb连线安置于铁路中轴线上方,用于测量轨枕上表面高度值,lc和ld的距离为轨枕上表面宽度1/2;la、lc位于车头一侧,lb和ld位于车尾一侧;其中,d1取值为扣件安装底座上表面宽度的1/2,d2的取值应使激光位移传感器处于扣件安装底座的非扣件区域上方,以直接测量扣件安装底座高度值;所述铁轨扣件安装底座为:无砟铁路的矩形扣件支撑座和有砟铁路的轨枕;

对应的摄像机成像控制方法是:

1)工控机读取车轮编码器信号,判定列车是前进还是后退;

2)对于无砟铁路,在列车处于前进状态下,在激光位移传感器la测量值da,满足|da-t1|<e条件下,当激光位移传感lb测量值db由小变大到满足|db-t1|<e时,扣件位于摄像机成像区域内,触发摄像机ca、cb进行图像采集;在列车处于后退状态下,在激光位移传感器lb测量值db,满足|db-t1|<e条件下,当激光位移传感la测量值da由小变大到满足|da-t1|<e时,扣件位于摄像机成像区域内,触发摄像机ca、cb进行图像采集;

3)对于有砟铁路,在列车处于前进状态下,在激光位移传感器la和lc测量值da、dc,满足|da-t1|<e和|dc-t2|<e条件下,当激光位移传感lb和ld测量值db、dd由小变大到满足|db-t1|<e且|dd-t2|<e时,扣件位于摄像机成像区域内,触发摄像机ca、cb进行图像采集;在列车处于后退状态下,在激光位移传感器lb和ld测量值db、dd,满足|db-t1|<e和|dd-t2|<e条件下,当激光位移传感la和lc测量值da、dc由小变大到满足|da-t1|<e且|dc-t2|<e时,扣件位于摄像机成像区域内,触发摄像机ca、cb进行图像采集,其中t1、t2分别是扣件安装底座上表面高度、轨枕在铁路中轴线位置处高度,e是判定阈值,取值范围为0~5mm。

所述激光散斑投射器由点状激光器和doe衍射器件组成,产生点状斑点图案;散斑投射器的光源采用波长范围为800~1000nm的窄带近红外光源,并且在摄像机前端设置与散斑光源相同波长的窄带滤光片,以滤除环境光。

所述铁轨扣件异常检测方法包括以下步骤:

步骤1:对激光散斑和面阵摄像机成像系统进行标定,并保存标定过程中累计拍摄的m帧参考图像;

步骤2:列车行驶时,车轮编码器对车轮转动角度编码,工控机采集车轮编码器的角度编码信号,判定列车行驶方向,根据列车行驶方向和激光位移传感器测量值,判定扣件是否位于成像区域内,如果是,则触发面阵摄像机拍摄散斑图像i;

步骤3:利用散斑图像i和步骤1中保存的m帧参考图像,对扣件深度进行编码,得到扣件的深度场;

步骤4:基于扣件的深度场进行扣件异常检测。

所述步骤1中激光散斑和面阵摄像机成像系统标定的具体方法是:

步骤1.1:面阵摄像机到扣件的距离为l,扣件高度为h,在[-h/2+l-2~l+h/2+w]距离范围内,垂直于摄像机光轴方向放置漫标定板,w取值范围1~100,单位是mm;

步骤1.2:标定板沿着面阵摄像机光轴方向移动m次,每次移动距离为bmm,每次移动拍摄并保存一帧散斑图像,其中m的取值范围1~1000,b的取值范围为1~100;

所述步骤3中计算扣件深度场的具体方法是:在图像i中像素坐标(i,j)处,取s×s大小图像块,采用数字图像相关(dic)算法,从m帧参考图像中寻找最优匹配帧号k,作为像素坐标(i,j)处深度标号d(i,j),遍历整幅图像,得到扣件深度场d。

所述步骤4中基于扣件的深度场进行扣件异常检测的具体方法是:

步骤4.1:将深度标号转化为与面阵摄像机的距离信息;

步骤4.2:计算扣件相对面阵摄像机的坐标;

步骤4.3:对比正常扣件的三维模型,判断扣件是否存在缺失、松动、断裂等缺陷。

本发明有益效果:与现有技术相比,本发明优点是:1)提供了一种可瞬态三维测量的方法,通过向扣件表面投射激光散斑,增加人工纹理,用于提升双目立体视觉立体匹配可靠性和精度,采用dic算法可以获取稠密的扣件三维点云,采用对极几何约束,可降低计算复杂度,提升立体匹配效率;2)利用本发明装置获取的稠密三维点云,采用三维模型比对方法,可有效检测扣件多种异常:扣件弹条缺失、扣件垫片缺失、扣件断裂、扣件局部损伤等;3)采用4个激光位移传感器用于判定扣件是否位于成像区域中,可保证拍摄图像不遗漏、且不增加摄像机成像帧率,可用于列车运行过程中,直接对扣件异常进行检测,以扣件间距为0.5m为例,摄像机帧率为200fps时,即可满足350km/h速度列车进行扣件异常在线检测需求;4)所提出的扣件位置判定方法,采用前后两个传感器的测量值进行判定,可有效消除铁道上异物,防止误判;5)4个激光位移传感器分别布置于扣件安装底座区域和铁路中轴线上,可满足有砟、无砟铁轨检测需求;6)2台面阵摄像机同步拍摄扣件区域散斑图像,可瞬态获取扣件三维点云,相比基于线结构光扫描的扣件三维点云获取方法,成像速度更快、且受列车振动干扰较小。因为,即使列车振动引起2台摄像机相对于扣件发生位置变化,使获取的扣件三维点云姿态和位置发生变化,瞬态成像获取的三维点云之间并不会有位置变化;相反,基于线结构光扫描的扣件三维点云获取方法,在扫描装置方位或高度变化时,扫描切片之间的位置会改变,而使扣件三维点云之间也存在位置偏差。因此,本发明装置可有效保证扣件三维点云的完整性和一致性,对提升扣件异常检测精度和能够适应的列车行驶速度,更具应用价值。

附图说明

图1是本发明装置安装示意图。

图2是本发明激光散斑投射器与摄像机安装示意图。

其中,(a)是铁轨横截面布局图,(b)是铁轨纵向侧面布局图。

图3是无砟铁路示意图。

图4是有砟铁路示意图。

图5是无砟铁轨激光位移传感器安装示意图。

其中,(a)是铁轨横截面上示意图,(b)是铁轨纵向侧面示意图,(c)是俯视图。

图6是有砟铁轨激光位移传感器安装示意图。

图7是窄带光谱成像装置示意图。

图8是单目视觉激光散斑三维测量原理图像。

图9是设备安装示意图。

图中,1为铁轨,2为扣件,3为扣件安装底座,4为激光散斑投射器,5为摄像机,6为车轮编码器,7为rfid探测器,8为激光位移传感器,9为工控机,10为车厢,11为测量单元公共视场内路面平面,12为测量单元公共视场内路面平面垂直于铁轨的中轴线,13为激光位移传感器la的测量点,14为激光位移传感器lb的测量点,15为激光位移传感器lc的测量点,16为激光位移传感器ld的测量点,17为轨枕,18为铁路中轴线,19为激光散斑图案,20为窄带滤光片,21为第一测量单元,22为第二测量单元,23为支撑梁,24为列车转向架,25为被动减振结构,26为硬质橡胶垫。

具体实施方式

下面结合附图和具体实施对本发明进行详细说明。

如图7所示,单目视觉激光散斑三维测量的基本原理是,随着深度增大、图像斑点图案缩小,根据不同尺度下存储的斑点图案,采用dic算法进行匹配,可以找到当前像素的最优深度估计。

实施例1:

如图1所示,一种基于单目视觉与激光散斑的铁轨扣件异常检测系统,其特征在于:由两台激光散斑投射器sa4-1和sb4-2,两台摄像机ca5-1和cb5-2,四个激光位移传感器la8-1、lb8-2、lc8-3、ld8-4,1个车轮编码器6、1个rfid探测器7和1个工控机9组成,其中,激光散斑投射器sa4-1、摄像机ca5-1位于列车底部左侧,构成第一测量单元21,对左侧铁轨1两侧扣件2进行检测;激光散斑投射器sb4-2、摄像机cb5-2位于列车底部右侧,构成第二测量单元22,对右侧铁轨1两侧扣件2进行检测;激光散斑投射器4和摄像机5位于铁轨1正上方;激光散斑投射器4投射散斑图案19到扣件2表面,摄像机5拍摄扣件2表面散斑图案19,并通过与事先记录的不同距离处散斑图案序列匹配,完成扣件2表面三维点云测量;四个激光位移传感器8用于测量扣件安装底座3高度值;车轮编码器6与车轮转轴连接,用于对车轮转动角度编码;rfid探测器7位于车体底部,与铁路上设置的rfid标签进行通信;工控机9位于车厢10内,与摄像机5、激光位移传感器8、车轮编码器6、rfid探测器7连接,工控机9读取车轮编码器6角度编码信号,对列车行驶里程计数和判定列车行驶方向;工控机9读取rfid探测器7获取的rfid标签信号,对列车行驶里程进行校准;工控机9读取四个激光位移传感器8测量的铁轨扣件安装底座3上表面高度值,判定扣件2是否位于成像区域内,控制两台摄像机5拍摄扣件区域散斑图像;采集、存储和处理散斑图像,进行单目视觉散斑图像三维重建,获取扣件2三维点云,基于扣件2三维点云进行扣件异常检测。

第一、第二测量单元21和22中摄像机5和激光散斑投射器4安装方式是:激光散斑投射器4的光轴与摄像机5光轴平行、且垂直于路面,激光散斑投射器4的光轴与摄像机5光轴距离小于xmm,x取值范围为5~100,摄像机5和激光散斑投射器4刚性连接;激光散斑投射器4的安装高度、角度,以及光源投射角度需完全覆盖铁轨1两侧扣件区域,第一、第二测量单元21和22的摄像机5视场完全覆盖铁轨1两侧扣件区域。

第一、第二测量单元21和22通过被动减振结构25固定在支撑梁23上,支撑梁23通过被动减振结构25固定在列车转向架24上。

实施例1中四个激光位移传感器4的安装方式是:激光位移传感器la8-1位于第一测量单元21公共视场内路面平面11垂直于铁轨的中轴线12平面内,激光位移传感lb8-2沿铁轨1纵向安置于距离激光位移传感器la8-1d1位置处,激光位移传感器la8-1和lb8-2到铁轨中心线水平距离相等为d2;激光位移传感器lc8-3位于第二测量单元22公共视场内路面平面11垂直于铁轨的中轴线12平面内,激光位移传感ld8-4沿铁轨纵向安置于距离激光位移传感器lc8-3d1位置处,激光位移传感器lc8-3和ld8-4到铁轨中心线水平距离相等为d2;其中,d1取值为扣件安装底座3上表面宽度的1/2,d2的取值应使激光位移传感器8处于扣件安装底座3的非扣件区域上方,以直接测量铁轨扣件安装底座3高度值;

对应的摄像机成像控制方法是:

1)工控机9读取车轮编码器6信号,判定列车是前进还是后退;

2)在列车处于前进状态下:在激光位移传感器la8-1测量值da,满足|da-t1|<e条件下,当激光位移传感lb8-2测量值db由小变大到满足|db-t1|<e时,扣件2位于摄像机5成像区域内,触发第一测量单元21中摄像机ca5-1进行图像采集;在激光位移传感器lc8-3测量值dc,满足|dc-t1|<e条件下,当激光位移传感ld8-4测量值dd由小变大到满足|dd-t1|<e时,扣件2位于摄像机3成像区域内,触发第二测量单元22中摄像机cb5-2进行图像采集;

3)在列车处于后退状态:在激光位移传感器lb8-2测量值db,满足|db-t1|<e条件下,当激光位移传感lb8-2测量值db由小变大到满足|db-t1|<e时,扣件2位于摄像机5成像区域内,触发第一测量单元21中摄像机ca5-1进行图像采集;在激光位移传感器ld8-4测量值dd,满足|dd-t1|<e条件下,当激光位移传感lc8-3测量值dc由小变大到满足|dc-t1|<e时,扣件2位于摄像机5成像区域内,触发第二测量单元22中摄像机cb5-2进行图像采集;

其中t1分别是扣件安装底座3上表面高度,e是判定阈值,取值范围为0~5mm。

其中,激光位移传感器la的测量点13,激光位移传感器la的测量点14,激光位移传感器la的测量点15,激光位移传感器la的测量点16如图5和图6所示。

铁轨扣件异常检测方法包括以下步骤:

步骤1:对激光散斑19和面阵摄像机5成像系统进行标定,并保存标定过程中累计拍摄的m帧参考图像;

步骤2:列车行驶时,车轮编码器6对车轮转动角度编码,工控机9采集车轮编码器6的角度编码信号,判定列车行驶方向,根据列车行驶方向和激光位移传感器8测量值,判定扣件2是否位于成像区域内,如果是,则触发面阵摄像机5拍摄散斑图像i;

步骤3:利用散斑图像i和步骤1中保存的m帧参考图像,对扣件2深度进行编码,得到扣件2的深度场;

步骤4:基于扣件2的深度场进行扣件2异常检测。

其中步骤1中激光散斑19和面阵摄像机5成像系统标定的具体方法是:

步骤1.1:面阵摄像机5到扣件2的距离为l,扣件高度为h,在[-h/2+l-2~l+h/2+w]距离范围内,垂直于摄像机5光轴方向放置漫标定板,w取值范围1~100,单位是mm;

步骤1.2:标定板沿着面阵摄像机5光轴方向移动m次,每次移动距离为bmm,每次移动拍摄并保存一帧散斑图像,其中m的取值范围1~1000,b的取值范围为1~100;

其中步骤3中计算扣件2深度场的具体方法是:在图像i中像素坐标(i,j)处,取s×s大小图像块,采用数字图像相关(dic)算法,从m帧参考图像中寻找最优匹配帧号k,作为像素坐标(i,j)处深度标号d(i,j),遍历整幅图像,得到扣件2深度场d。

其中步骤4中基于扣件2的深度场进行扣件异2常检测的具体方法是:

步骤4.1:将深度标号转化为与面阵摄像机5的距离信息;

步骤4.2:计算扣件2相对面阵摄像机5的坐标;

步骤4.3:对比正常扣件2的三维模型,判断扣件2是否存在缺失、松动、断裂等缺陷。

实施例2:

与实施例1不同之处在于,如图9所示,检测装置还包括:第一、第二测量单元21和22采用硬质橡胶垫26或塑料垫片作为被动减振结构25与支撑梁23固定,支撑梁23与列车转向架24之间采用k个弹簧并行连接,k的取值范围为1~10。

实施例3:

与实施例1不同之处在于,四个激光位移传感器8采取另外一种安装方式:如图6所示,激光位移传感器la8-1位于第一或第二测量单元21和22公共视场内路面平面11垂直于铁轨的中轴线12平面内,激光位移传感lb8-2沿铁轨1纵向安置于距离激光位移传感器la8-1d1位置处,激光位移传感器la8-1和lb8-2到铁轨1中心线水平距离相等为d2;激光位移传感器lc8-3、ld8-4平行于la8-1和lb8-2连线安置于铁路中轴线18上方,用于测量轨枕17上表面高度值,lc8-3和ld8-4的距离为轨枕17上表面宽度1/2;la8-1、lc8-2位于车头一侧,lb8-3和ld8-4位于车尾一侧;其中,d1取值为扣件安装底座3上表面宽度的1/2,d2的取值应使激光位移传感器8处于扣件安装底座3的非扣件区域上方,以直接测量扣件安装底座3的高度值;铁轨扣件安装底座3为:无砟铁路的矩形扣件支撑座和有砟铁路的轨枕,分别如图3和图4所示;

对应的摄像机成像控制方法是:

1)工控机9读取车轮编码器6信号,判定列车是前进还是后退;

2)对于无砟铁路,如图5所示,在列车处于前进状态下,在激光位移传感器la8-1测量值da,满足|da-t1|<e条件下,当激光位移传感lb8-2测量值db由小变大到满足|db-t1|<e时,扣件2位于摄像机成像区域内,触发两台摄像机5进行图像采集;在列车处于后退状态下,在激光位移传感器lb8-2测量值db,满足|db-t1|<e条件下,当激光位移传感la8-1测量值da由小变大到满足|da-t1|<e时,扣件2位于摄像机成像区域内,触发两台摄像机5进行图像采集;

3)对于有砟铁路,如图6所示,在列车处于前进状态下,在激光位移传感器la8-1和lc8-3测量值da、dc,满足|da-t1|<e和|dc-t2|<e条件下,当激光位移传感lb8-2和ld8-4测量值db、dd由小变大到满足|db-t1|<e且|dd-t2|<e时,扣件2位于摄像机5成像区域内,触发两台摄像机5进行图像采集;在列车处于后退状态下,在激光位移传感器lb8-2和ld8-4测量值db、dd,满足|db-t1|<e和|dd-t2|<e条件下,当激光位移传感la8-1和lc8-3测量值da、dc由小变大到满足|da-t1|<e且|dc-t2|<e时,扣件2位于摄像机5成像区域内,触发两台摄像机5同步进行图像采集,其中t1、t2分别是扣件安装底座3上表面高度、轨枕在铁路中轴线18位置处高度,e是判定阈值,取值范围为0~5mm。

实施例4:

与实施例1不同之处在于,激光散斑投射器由点状激光器和doe衍射器件组成,产生点状斑点图案;散斑投射器的光源采用波长范围为800~1000nm的窄带近红外光源,并且在摄像机前端设置与散斑光源相同波长的窄带滤光片20,以滤除环境光,如图7所示。

尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应该被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1