铁轨爬行观测装置的制作方法

本发明涉及铁轨检测设备，特别是一种铁轨爬行观测装置。

背景技术：

铁轨是铁路系统的重要组成部分，也是确保铁路安全的主要检查方向之一。为了确保列车的安全通车，需要检测两条铁轨之间的轨距、经常过车造成的铁轨磨耗、铁轨之间的接缝、路基沉降或膨胀引起的铁轨纵向位移和铁轨爬行等方面。铁轨爬行主要是由于纵向水平推力和温度力两个因素导致。列车长时间行驶在铁轨同一方向造成一直施加与行驶方向相反的力给铁轨，导致铁轨相对轨枕向反方向移动，发生铁轨爬行。由于自然环境温度不断变化，无缝铁轨会发生收缩或膨胀。实验数据显示，1℃的温度波动会导致铁轨发生0.011mm的长度变化。通过扣件锁定可以有效的遏制铁轨的伸缩，但是当积蓄的力到一定大小，没有及时打开扣件释放的话就容易引起铁轨位移。当铁轨发生位移时，可能带动轨枕一同相对道床发生位移，因为如果扣件提供的阻力足够强，使得铁轨无法在扣件锁定的情况下相对轨枕发生位移，那么铁轨和轨枕作为一个整体会对下方的道床产生纵向水平推力，从而可能导致铁轨和轨枕发生爬行，但是如今大量的无砟轨道很好的缓解了此种铁轨位移方式。在道岔口的轨道位移主要发生在轨尖和可动心轨处，因为道岔口的重要性，需要对其进行实时检测来保证列车安全通行道岔口。当扣件提供的阻力小于铁轨所施加的纵向水平力，道床提供的阻力大于轨枕施加给道床的纵向力时，轨枕将不会发生位移，铁轨相对于轨枕发生爬行，当铁轨爬行的位移达到临界点将导致铁轨发生不可完全消除的形变，最严重时发生铁轨断裂或铁轨挣脱轨枕，造成严重的交通事故。近1/3的铁路危害都是由铁轨爬行引起的。

目前主流的铁轨爬行检测方法有位移观测桩法、光学仪器测量法、激光测量法等，国外的检测方法还有有限元分析法。但是这几种测量方法均需要人员长时间重复进行精确的位移检测，操作铁轨检测设备速度慢，容易出现失误，而且不易对检测结果汇总统计分析。因此当前的铁轨爬行检测方法不能适应高速发展的铁路系统的安全检测要求。到目前为止国内外相关领域的研究者通过微电子、机器视觉(machinevision)和传感器等技术研究出了一些解决人工检测弊端的新方法，但是这些方法都存在成本高和无法实际应用等问题，因此无法代替主流的人工检测方法。

技术实现要素：

本发明旨在解决上述技术问题，而提供一种铁轨爬行观测装置，提高铁轨爬行检测的自动化水平。

本发明解决其技术问题采用的技术方案是:

一种铁轨爬行观测装置，包括铁轨，置于铁轨外侧的图像采集模块，微型计算机，电源模块，铁轨的轨腰设有标靶，图像采集模块的镜头与标靶相对应，微型计算机分别与图像采集模块和无线通讯模块线路连接，无线通讯模块与上位机通过网络连接，上位机内设有图像超分辨率重建模块、标靶初定位模块、标靶精确定位模块和铁轨爬行位移检测模块；

图像超分辨率重建模块用于建立包含标靶在内的高质量图像；

标靶初定位模块用于快速定位标靶在图像中的位置，用目标框确定标靶的位置，将目标图像与原始图像进行模板匹配；

标靶精确定位模块在标靶初定位模块的基础上精确定位标靶在图像中的位置，并确定标靶的质心和质心坐标；

铁轨爬行位移检测模块用于确标靶的实际位移即铁轨的爬行位移。

采用上述技术方案的本发明与现有技术相比，有益效果是:

能够连续对铁轨爬行进行位移检测，实现防爬的远程自动化观测，提高观测时效，提高检测精度，降低人工成本，提高铁轨位移爬行的自动化水平，成本低。降低作业强度；提高了安全性和可靠性,同时观测钢轨水平、垂直两个方向的位移，既爬行和冻土层造成的两个维度的变化。

进一步的，本发明的优化方案是:

图像超分辨率重建模块采用基于自转换样本的单图像超分辨率重建算法。

标靶初定位模块采用基于单向最近邻匹配的ddis方法。

标靶精确定位模块用基于圆拟合的方法，将使用ddis算法定位得到标靶的目标框区域扩大1/5，对扩大后的目标框区域使用canny算子进行像素级边缘检测，将在目标框内检测到的标靶边缘像素通过最小二乘法进行圆拟合得到标靶质心位置，得到的标靶质心坐标和标靶的半径。

铁轨爬行位移检测模块比较初始时刻和当前时间采集的图像中标靶的质心位置得到标靶和铁轨所发生的图上位移大小和方向，利用针孔成像模型计算得到铁轨在世界坐标系下发生的实际物理位移；

由于焦距和物距的大小不变，标靶的直径l与标靶映射在图像中的直径l'的比值等于世界坐标系下标靶的质心爬行位移δlx与图像像素坐标系下的质心爬行位移δl'x＝(un-u0)的比值，计算公式为：

由于图像采集设备的镜头与标靶平面平行，垂向位移计算与爬行位移计算相似，其计算公式为：

微型计算机控制图像采集模块按照指定的时间采集图像并保存图像。

无线通讯模块微型计算机保存的图像无线通讯到云服务器中，上位机显示并处理从云服务器中下载到本地的图像。

微型计算机是树莓派。

无线通讯模块是华为4g全网通无线通讯模块。

电源模块包括太阳能电池板和太阳能蓄电池。

附图说明

图1是本发明实施例的整体连接示意图；

图2是本发明实施例的工业摄像头安装示意图；

图3是本发明实施例的铁轨与标靶结构示意图；

图4是本发明实施例的整体流程图；

图5是本发明实施例的图像超分辨率重建的流程图；

图6是本发明实施例的标靶初定位流程图；

图7是本发明实施例的标靶精确定流程图；

图8是本发明实施例的爬行位移测量模块示意图；

图9是本发明实施例的图像采集设备成像模型的图像坐标系；

图10是本发明实施例的图像采集设备成像模型；

图中:铁轨1；标靶2；立杆3；工业摄像头4；感光元件4-1；镜头平面4-2；电源模块5；太阳能电池板5-1；微型计算机6；无线通讯模块7；上位机8；继电器9；云服务器10。

具体实施方式

下面结合附图和实施例进一步详述本发明。

参见图1、图2、图3，本实施例是一种铁轨爬行观测装置，由铁轨1、标靶2、立杆3；工业摄像头4、电源模块5、微型计算机6、无线通讯模块7、上位机8、继电器9和云服务器10构成。标靶2为圆形，其直径为40毫米，标靶2位于铁轨1外侧面的轨腰部位，标靶2与铁轨1通过焊接、粘接或螺栓连接。工业摄像头4安装在铁轨1外侧的立杆3上，工业摄像头4的镜头与标靶2相对应，工业摄像头4的镜头平面与标靶2平行。铁路两条铁轨1之间的标准距离是1435mm，工业摄像头4的镜头距离较近铁轨的距离是1米。标靶2的形状是圆形，其直径为40mm，外侧面的颜色是红色。工业摄像头4选用映美精工业相机，型号是dfk31bu03.h，分辨率为1024×768，接口是usb2.0。工业摄像头4的图像传感器为ccd，其尺寸为1/3inch。每个像素的水平和垂直尺寸都是4.65um，选用焦距为6mm的镜头。

工业摄像头4由电源模块5供电，工业摄像头4与电源模块5之间的电路上安装继电器9，电源模块5由太阳能电池板5-1和太阳能蓄电池构成，当有阳光时太阳能电池板5-1将光能转换为电能并使用智能控制器给太阳能蓄电池充电，当蓄电池满电时智能控制器直接给铁轨位移检测系统供电；当阴雨天气或夜晚等无太阳光时，太阳能蓄电池直接给系统供电。

工业摄像头4通过线路与微型计算机6连接，微型计算机6与无线通讯模块7连接，微型计算机6和无线通讯模块7分别由电源模块5供电。微型计算机6是树莓派4代，树莓派4代使用了1.5ghz的64位cortex-a72芯片、双频802.11ac无线网卡、蓝牙5.0、最低1gb内存、两个usb3.0接口、支持双4k分辨率的双显示器和完全兼容低版本的树莓派。

微型计算机6能够简单方便的连接显示器和键盘等外设进行操作检查。树莓派完全能够满足工作人员通过远程连接或在铁路现场使用已有的hdmi接口和usb接口连接显示器和键盘，从而轻松进行日常维护等工作。工业摄像头4通过usb接口与树莓派直接相连，安装提供的linux版本的相机驱动后，使用树莓派控制工业摄像头4进行定时定点采集图像，并保存在树莓派的内存卡内。

无线通讯模块7是华为4g全网通无线通讯模块，其型号是me909s-821，华为4g全网通无线通讯模块能够免驱动地直接通过microusb接口与树莓派连接。其在-20℃:+60℃温度范围下正常工作，适应铁路现场复杂的环境。数据通讯速度为fdd-lteul50mbit/s、tdd-lteul10mbit/s。无线通讯模块7将图像上传到云服务器10，用户通过云服务器10访问和下载图像。对象存储服务(objectstorageservice，oss)通过提供丰富的sdk或api接口在任意平台上实现在任何的时间和地点存储和访问大量的任意类型的文件，不但成本低而且安全可靠。为了保证云服务器的稳定和可靠性，使用阿里云的oss服务。首先在微型计算机6和上位机8安装对应语言的osssdk并通过命令行验证sdk的版本，然后在oss中创建存储空间用于接下来的存储上传的铁轨位移检测图像，最后微型计算机6和上位机8通过阿里云的accesskey实现对采集图像的安全上传和下载等操作。

上位机8内设有图像超分辨率重建模块、标靶初定位模块、标靶精确定位模块和铁轨爬行位移检测模块。图像超分辨率重建模块用于建立包含标靶在内的高质量图像，上位机8的图像处理过程如图4所示；

参见图5，图像超分辨率重建模块采用基于自转换样本的单图像超分辨率重建算法(selfexsr)，记lr(低分辨率图像)图像为i，其通过模拟图像退化原理得到id，通过以下步骤获得hr图像ih：

(1)用patchmatch算法，得到将lr图像i的每一个图像块p(目标图像块)在退化图像id内找到最佳映射图像块q(源图像块)的转换矩阵f；

(2)在lr图像i中找到与id内的图像块q相似的高分辨率图像块qh；

(3)将qh通过转换矩阵f计算得到目标图像块p对应的hr(高分辨率图像)图像ih中的高分辨率图像块ph；

(4)对lr图像i中的全部图像块循环以上步骤估计hr图像ih；

(5)使用迭代反投影算法判断得到的ih是否符合约束条件。

如上述步骤(1)所述，我们通过分析最近邻场(nearestneighborfield，nnf)估计得到转换矩阵fi。最近邻场估计的目标函数计算公式如下：

其中，θi为需要获取的转换矩阵fi的未知参数集，表示lr图像i中各个图像块的中心位置。目标函数包括平面部分nplane、规模部分nscale和外观部分napp。

外观部分napp通过rgb空间高斯加权平方和距离计算目标图像块与源图像块的相似度，计算公式如下：

其中，gi是当σ²的值为3时的高斯权重，q(ti,θi)是lr图像i在ti位置为中心的图像块通过含有θi的转换矩阵fi在id内映射的图像块。

图像块的几何映射一般是在id内经过旋转和缩放以平移的方式直接搜寻相似图像块，当人工建造场景图像出现透视图失真时，利用仿射变换进行估计的质量明显降低。使用透视变形估计的方法解决目标图像块透视映射源图像块的问题。结合以上两种方法，记fi的参数θi＝(si,mi)，为原始像素块的仿射映射，mi为使用中心投影的射影变换估计算法得到的二维索引。fi(θi)的计算公式如下：

其中，矩阵h为hr的图像块和lr的图像块的位置和二维参数的中心投影的射影变换。

其中，为缩放参量，为2×2的旋转矩阵，矩阵s计算得到相似度转换。

矩阵a计算得到仿射变换中的剪切估计。

上述公式消除了目标图像块的位置与源图像块位置的依赖性，利用计算仿射变换参量来得到的透视变形。

通过添加平面兼容成本nplane实现在平面标签上寻找源图像块和目标图像块。

其中，是像素(x,y)分配mi的后验概率。

通过添加规模成本nscale解决可能发生的目标图像块映射到id图像中与目标图像块对应的图像块。

nscale＝λscalemax(0,sr-sca(fi))

其中，sr为图像扩充或降质的参数，函数sca(·)为转换矩阵fi的比例计算，计算公式如下：

其中，fx,y为转换矩阵fi中(x,y)处的值。

上述基于自相似算法兼顾了图像块可能发生的仿射形变和平面透视失真，很好的应用在人工和自然场景图像的超分辨率重建中。

铁轨爬行位移检测所应用的环境复杂，需要识别作为合作目标的标靶的面积较小，标靶距离图像采集设备远。为了保证检测精度，需要图像中的标靶有尽可能多的像素点，可以从硬件或软件角度提高含有标靶的铁轨图像的分辨率。从硬件角度提高分辨率需要使用更好的制造工艺缩小像元尺寸或者提升成像传感器芯片的大小，然而铁轨爬行位移检测所需的图像采集设备众多，必然大幅提升成本。那么从软件角度使用超分辨率(superresolution，sr)重建算法提高铁轨图像的分辨率就是更好的第一选择。

标靶初定位模块用于快速定位标靶在图像中的位置，用目标框确定标靶的位置，将目标图像与原始图像进行模板匹配；标靶初定位模块基于单向最近邻匹配的ddis(deformablediversitysimilarity)模板方法，ddis模板匹配方法流程如图6所示，令s为目标图像，t为模板图像，tw和th分别为模板图像t的宽度和长度，w∈s是与t的大小一致的图像块。p和q是从t和w中得到的特征向量集合。外观特征p^a和q^a通过欧几里得距离对比，xy位置的特征p^l和q^l的欧几里得距离为rj。p和q特征集主要包括颜色特征和深度特征这两种外观特征。3×3大小的重叠像素块的rgb像素值为颜色特征，利用vgg-deep-net从conv1_2、conv3_4和conv4_4得到深度特征。使用双线性插值重建特征图到原始图像大小。为了在模板t中得到q集的最近邻，通过treecann设置图像块参数wt＝5，ws＝3，密集搜索gs＝gt＝1，逼近参数ε＝2。然后计算w∈s为与模板t的相似度，通过公式(41)计算所有pi∈p的κ(pi)，最后使用公式(42)计算ddis，其中数值最大的就是模板在目标图像中匹配的最佳位置。

标靶精确定位模块在标靶初定位模块的基础上精确定位标靶在图像中的位置，并确定标靶的质心和质心坐标(图7所示)；

1)使用ddis算法定位得到标靶的目标框区域，假设定位区域左上角坐标是(xl,yl)，目标框尺寸是m×m大小，则其几何中心坐标为：

2)以前面得到的目标框中心坐标为中心，将定位区域的边长扩大1/5，得到扩大后的目标框的尺寸为(1.2m,1.2m)，然后对扩大后的目标框区域使用canny算子进行像素级边缘检测；

3)使用canny算子边缘检测得到的是一组离散点集，然后将在目标框内检测到的标靶边缘像素通过最小二乘法进行圆拟合得到标靶质心位置。计算公式如下：

得到的标靶质心坐标为(a,b)，标靶的半径大小为r；

4)以(a,b)为几何中心的m×m大小的目标框为调整之后的目标框。在该目标框区域执行步骤3)再次得到标靶质心坐标(a1,b1)和半径r1。假设误差精度为τ≤0.5，当|a-a1|＜τ、|b-b1|＜τ和|r-r1|＜τ同时成立时，表示微调之后的目标框已经完整包含标靶所有像素点，无需再进行调整。反之，如果|a-a1|＜τ、|b-b1|＜τ或|r-r1|＜τ这三者中有一项不成立则需要从步骤2)开始重复，直至三者同时成立。

参见图7，铁轨爬行位移检测模块用于确标靶的实际位移即铁轨的爬行位移，通过前面所述的复合定位方法可以得到采集图像中标靶的尺寸和质心坐标，比较初始时刻和当前时间采集的图像中标靶的质心位置得到标靶和铁轨所发生的图上位移大小和方向，然后利用针孔成像模型计算得到铁轨在世界坐标系下发生的实际物理位移。铁轨的爬行位移测量如图8所示，圆形标靶2的直径为l，镜头平面4-2与标靶2平面平行，t为初始时刻的标靶2所在位置，记初始时刻图像中t的质心坐标为(u0,v0)，当前时刻的标靶2所在位置为t'，当前时刻采集的图像中的标靶2的质心为(un,vn)，图像中标靶2的直径大小为l'。

由于焦距和物距的大小不变，标靶2的直径l与标靶2映射在图像中的直径l'的比值等于世界坐标系下标靶的质心爬行位移δlx与图像像素坐标系下的质心爬行位移δl'x＝(un-u0)的比值，计算公式如下：

由于图像采集设备的镜头平面4-2与标靶2平面平行，垂向位移计算与爬行位移计算相似，其公式如下：

上位机查看界面包含参数设置、图像显示和数据检测结果这三部分。在参数设置面板选择并设置需要查看的图像数据对应的节点(每个节点都对应一个铁轨爬行位移检测地点)、采集日期和具体时间，点击确定按钮后，铁轨位移显示面板显示要查看的原始图像，数据面板显示图像处理后得到的标靶质心坐标、标靶直径大小和实际位移值。如果数据面板显示的检测结果异常，员工可通过图像显示面板显示的现场图像查看标靶是否发生被遮挡和脱落等情况，以便指导员工及时到该处爬行位移检测现场解决导致异常的问题。

本实施例的图像采集设备成像模型为物理空间中的真实物体如何通过4个坐标系的转换实现在图像上成像的过程。首先在世界坐标系中映射到图像采集设备坐标系，然后根据针孔成像模型将坐标再映射到图像坐标系中，最后转换为图像中的像素坐标。

如图9所示，像素坐标系为o-uv，在该坐标系下的任何一点的位置为(u,v)，单位为px。像素坐标系仅仅表示的是一种数组上位置的概念，为清晰的表示任意像素在图像中的空间位置，创建了图像坐标系o1-xy，o1为原点，x轴和y轴分别同u轴和v轴平行，(x,y)表示此点位于该图像原点o1的横向和纵向的空间距离，单位为mm。

假设一个像素在u轴和v轴的实际空间尺寸为m和n，o1在o-uv坐标系的坐标为(u1,v1)，则o-uv和o1-xy两坐标系的关系如下：

o-uv和o1-xy的齐次坐标对应关系为：

图像采集设备成像模型如图10所示，图像采集设备坐标系为oc-xcyczc，其原点oc为该设备的中心，xc轴和yc轴与o1-xy坐标系的x轴和y轴分别平行，zc轴垂直于图像平面，o1为zc轴与图像平面的唯一交点。世界坐标系为ow-xwywzw。

根据针孔成像模型，pw在图像上的成像点p是pw与oc两点之间组成的直线经过图像所在平面的点，记pw在oc-xcyczc中的坐标为(xc,yc,zc)，p在o1-xy中的坐标为(x,y)，得到如下比例计算公式:

其中，f为oc和o1的空间距离，及图像采集设备的焦距。假设，pw在ow-xwywzw坐标系和oc-xcyczc坐标系中的坐标分别表示为(xw,yw,zw,1)^t和(xc,yc,zc,1)^t，p在o1-xy坐标系下的坐标为(x,y,1)^t，则三者的齐次对应关系为：

其中，0^t＝(0,0,0)^t。结合以上四种坐标系的齐次对应关系，可以得出真实世界里的一点pw在ow-xwywzw坐标系和o-uv坐标系之间的齐次对应关系：

其中，nx＝f/m是u轴的归一化焦距，ny＝f/n是v轴的归一化焦距，m1是图像采集设备的已经固有参量，m2是设备在不同环境中的外部参量，m是大小为3×3的投影矩阵。

本实施例的工作过程是：首先微型计算机6进行各类初始化并对各个外接设备进行自检，验证华为4g无线通讯模块7是否正常工作并连接到网络，使用ls/dev和lsusb命令检测工业相机是否连接无误，如果出现问题则返回异常数据，上位机报错。如果一切自检正常，微型计算机6通过拍照命令控制工业摄像头4采集图像到内存卡中，然后利用华为4g无线通讯模块7连接网络并使用阿里云的accesskey安全访问oss实现上传保存的图像。上位机8联网访问oss并下载云服务器中的铁轨位移检测图像到本地，然后对图像使用selexsr方法进行超分辨率重建，增强图像中标靶的细节信息。

将当前超分辨率重建后的图像与铁轨没有发生位移的初始时刻的模板图像使用ddis方法进行模板匹配。因为铁路现场环境嘈杂，可能存在诸多意外情况，如采集图像时有列车经过、行人横穿铁轨、雨雪堆积等情况，都有可能导致标靶被挡住，使采集的图像无法完成模板匹配，但是这些意外情况都只是暂时性的，可以采取间隔一段时间重复采集图像检测的方式避免这些意外情况。当模板匹配成功时表示初步成功定位标靶在图像中的位置，然后通过基于圆拟合的标靶精确定位方法不断调整模板匹配定位的目标框，直至目标框可以完全包含标靶的所有像素点并得到标靶的质心坐标和直径大小，最后根据光学成像原理得到的铁轨爬行位移检测模型计算得到在世界坐标系下标靶相比初始时刻发生的位移大小和方向，一次铁轨位移检测结束。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。