基于双目立体视觉的接触网及支柱几何参数检测测量系统的制作方法

本发明涉及铁路接触网检测领域，具体地，涉及一种基于双目立体视觉的接触网及支柱几何参数检测测量系统。

背景技术：

目前国内的铁路接触网主要是架空式弹性接触网结构，沿铁路线路架设。安装在列车车顶的受电弓通过与接触网之间的滑动摩擦接触而获取电能。由于刮风、下雨等恶劣气象条件，以及工程安装施工不当，经常遇到接触网的腕臂、定位器等发生角度倾斜甚至形变，当列车高速通过时，造成接触线导高、拉出值等几何参数超过规定的安全阈值，从而增加接触网供电系统发生故障的风险。为了保障接触网的安全可靠，保证列车的安全运营，必须对接触网进行一系列的安全检测工作，以便及时发现安全隐患，并指导接触网检测维修，不断改进和提高接触网设备的质量，从而确保铁路运输的正常运行。在接触网的日常检测过程中，接触线导高、拉出值、定位器坡度、腕臂倾角等几何参数的检测与测量显得日益重要。现有的方法分为基于人工的接触式测量方法和基于光电传感器的非接触式测量方法。基于人工的接触式测量方法，检测精度高，但工作量巨大，效率低下，无法实现快速、实时、准确的接触线几何参数检测、测量、计算的目的。基于光电传感器的非接触式测量方法主要分为基于单目视觉的测量方法和基于双目视觉的测量方法。现有技术中的基于单目视觉的方法由于相机成像平面跟被拍摄目标存在固定的倾角，造成图像的扭曲变形，使得检测测量结果存在先天的误差。

综上所述，本申请发明人在实现本申请发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在现有技术中，现有的基于单目视觉的检测方法，由于相机成像平面跟被拍摄目标存在固定的倾角，造成图像的扭曲变形，使得检测测量结果存在先天的误差的技术问题。

技术实现要素：

本发明提供了一种基于双目立体视觉的接触网及支柱几何参数检测测量系统，解决了现有的基于单目视觉的检测方法存在先天的误差的技术问题，实现了测量系统设计合理，几何参数检测测量结果准确的技术效果。

其中，本申请中的系统采用了基于双目立体视觉的方法，对同一个目标同时在两个不同角度进行图像采集，并结合相应的标定方法，建立世界坐标系跟图像坐标系之间的映射关系，从而实现接触线几何参数的精确检测测量。

为解决上述技术问题，本申请提供了基于双目立体视觉的接触网及支柱几何参数检测测量系统，所述系统包括：

采集单元1、采集单元2、信号触发单元、工控机；其中，信号触发单元接收来自工控机的控制指令，对采集单元1和2的图像采集操作进行控制；采集单元1和2将采集的接触网相关图像传输至工控机中；工控机基于采集的图像对接触网关键零部件进行定位与检测，并结合预设的图像坐标与世界坐标之间的映射关系，对两个采集单元采集的图像画面进行双目立体重建，基于建立的双目立体信息，计算出接触网的几何参数。

进一步的，采集单元1与采集单元2左右对称分布于列车车顶两侧。目的是利用两个左右分布的相机对真实世界中的同一个目标进行拍摄，从该目标在左右两个图像中的像素坐标反推计算出目标在世界坐标系中的真实坐标；安装示意图见图3，计算原理参考图4。

进一步的，采集单元1和采集单元2分别与列车顶面形成第一夹角和第二夹角，第一夹角和第二夹角均大于等于30度且小于等于60度。不同型号的列车，倾角不一样，通常是30—60度的范围内固定基本都能满足要求，左右两个相机距离列车车顶的夹角可以相同，可以不同；这样设计以便两个相机都能覆盖整个接触线移动的范围。

进一步的，工控机基于深度学习方法对接触网关键零部件进行定位，基于定位信息，在接触网关键零部件的局部区域内进行关键特征点检测。

进一步的，在检测到关键特征点，并提取关键特征点周围的特征描述子之后，对采集单元1和采集单元2采集到的两个图像中的特征描述子进行特征匹配；利用来自采集单元1和采集单元2的匹配的关键特征点，采用双目三角交汇法进行双目立体重建。

进一步的，利用来自采集单元1和采集单元2的匹配的关键特征点，采用双目三角交汇法进行双目立体重建，具体为：利用匹配的同一个特征点在采集单元1和采集单元2的像素坐标，计算该特征点在世界坐标系中的真实位置坐标。

进一步的，所述工控机具体用于：

首先，对来自两个采集单元的图像信息分别进行分析处理，利用深度学习方法进行接触网关键零部件的检测定位；

然后，在接触网关键零部件的局部区域内进行关键特征点检测；

然后，提取关键特征点周围的特征描述子；

然后，利用来自两个采集单元匹配的关键特征点，采用双目三角交汇法进行双目立体重建；

然后，计算世界坐标系内接触线的几何参数，包括：导高、拉出值、定位器坡度以及平腕臂和斜腕臂的夹角、接触线水平间距、接触线垂直间距、支撑杆倾角等各种接触线及其基础设施的几何参数。

进一步的，提取关键特征点周围的特征描述子，具体包括：

首先，进行关键特征点的局部特征描述：定义一个经过高斯核做过平滑处理的图像块p的二进制比较准则为：

其中，p(x)为图像块p在像素点(x,y)处的灰度值，p(y)为图像中像素点y处的像素值，τ(p：x，y)为图像块p当中的像素点x,y两处的像素值比较的结果；选择n个(x,y)像素对，则能够得到BRIEF的n位二进制比特串；一个BRIEF特征点定义为一个包含n次二进制比较的向量：

其中，n为经验值，1≤i≤n，i表示二进制比特串的第i位；

然后，进行特征向量匹配：假设V_p是第一帧当中某个特征点p的特征向量，V_q是第二帧当中某个特征点q的特征向量，D(V_p，V_q)表示第一帧的特征点p跟第二帧的特征点q之间的欧式距离，即：

其中，N代表特征向量p,q的维数；若两个向量之间的距离D(V_p，V_q)小于阈值T，则两个特征点匹配。

进一步的，采集单元1、采集单元2均包括：相机和补光灯模块。

进一步的，世界坐标系当中的接触线上任意点C距离坐标原点0的位置坐标为：

其中，两个采集单元中相机焦平面中心A和B距离坐标原点O的水平距离OA＝L1，OB＝L2，两个采集单元相机的焦距分别为f1和f2，相机成像中心位置分别为z1和z2，相机的像素尺寸为p，两个相机的倾斜角分别为t1和t2，C点在相机图像中的坐标位置分别为x1和x2。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

实现了测量系统设计合理，几何参数检测测量结果准确的技术效果。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本申请中基于双目立体视觉的接触网及支柱几何参数检测测量系统的组成示意图；

图2是本申请中接触网几何参数检测测量系统的测量流程示意图；

图3是本申请中采集单元的安装示意图；

图4是本申请中双目三角交汇法进行三维立体重建的原理示意图。

具体实施方式

本发明提供了一种基于双目立体视觉的接触网及支柱几何参数检测测量系统，解决了现有的基于单目视觉的检测方法存在先天的误差的技术问题，实现了测量系统设计合理，几何参数检测测量结果准确的技术效果。

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

请参考图1，本申请提供了一种基于双目立体视觉的接触线几何参数检测测量系统，具体来说，本发明采用两个采集单元左右对称分布于列车车顶两侧，并呈某个固定的倾斜角度对接触网、受电弓相关区域进行拍摄。每个采集单元包含一个相机和一个补光灯模块。相机的采集抓拍需要信号触发单元的同步触发信号来控制。信号触发单元接收来自工控机的信号指令开启或停止工作。工控机接收两个采集单元采集抓拍到的图像信息，利用深度学习方法进行接触线、定位器、定位管、平腕臂、斜腕臂等接触网关键零部件的检测定位。结合事先标定好的图像坐标跟世界坐标之间的映射关系，采用双目三角交汇法对两个相机拍摄到的图像画面进行双目立体重建。并在此基础上计算接触线导高、拉出值、定位器坡度、腕臂倾角(以及平腕臂和斜腕臂的夹角、接触线水平间距、接触线垂直间距、支撑杆倾角等各种接触线及其基础设施的几何参数)等几何参数。同时，结合GPS位置信息系统，实现列车运行过程中全线路接触网几何参数动态测量计算的目的。

本发明涉及的接触线几何参数测量的处理流程如图2所示，

(1)系统上电启动，工控机给信号触发单元发送启动指令；

(2)信号触发单元按照严格的时钟频率发送同步触发抓拍信号给左右两个采集单元；

(3)两个采集单元同时接收到触发抓拍信号，开始图像同步采集抓拍；

(4)工控机分别对来自两个采集单元的图像信息进行分析处理，利用深度学习方法进行接触网关键零部件的检测定位。如：受电弓、平腕臂、斜腕臂、定位管、接触线等；

(5)在接触网关键零部件的局部区域内进行关键特征点检测；这里的关键特征点检测方法有：Moravec,Harris,FAST,Shi-Tomasi,FAST等；即：在受电弓、平腕臂、斜腕臂、定位管、定位器等局部图像区域内进行Moravec,Harris,FAST,Shi-Tomasi,FAST等关键特征点的检测。

(6)提取关键特征点周围的特征描述子；在检测到关键特征点之后，需要用一些数学上的特征对其进行描述，通常称之为特征描述子；常用的特征描述子有SIFT,SURF，FAST,BRISK,ORB,BRIEF等；在检测到左右两个相机的关键特征点，并提取关键特征点周围的特征描述子之后，需要对左右两个图像中的特征描述子进行特征匹配，从而实现关键特征点匹配的目的。

(7)利用上一步来自左右两个相机的匹配的关键特征点，采用双目三角交汇法进行双目重建。即：利用匹配的同一个特征点在左右两个相机的像素坐标，计算该点在世界坐标系中的真实位置坐标；

(8)计算世界坐标系下接触线的真实导高、拉出值，定位器坡度等几何参数。

本发明提出的两个相机和两个光源对称分布安装在列车车顶左右两侧，如图3所示。

本发明涉及到的基于双目立体视觉的接触线几何参数检测测量系统的具体实施步骤如下：

(1)系统上电启动，工控机给信号触发单元发送启动指令；

(2)信号触发单元按照严格的时钟频率发送同步触发抓拍信号给左右两个采集单元；这里的信号触发单元可以是DSP,FPGA，SAT32等嵌入式设备，也可以是工控机，光电编码器等设备；

(3)两个采集单元同时接收到触发抓拍信号，开始图像同步采集抓拍；

(4)工控机分别对来自两个采集单元的图像信息进行分析处理，利用深度学习方法进行接触网关键零部件的检测定位。如：受电弓、平腕臂、斜腕臂、定位管、接触线等；深度学习常用的模型有自动编码器、稀疏自动编码器、降噪自动编码器、受限玻尔兹曼机、卷积神经网络等。本发明不限定深度学习所采用的具体模型。这里以受限玻尔兹曼机(RBM，Restricted Boltzmann Machines)为例，说明深度学习的建模过程：

假设一个RBM包含n个可视单元和m个隐藏单元，用向量v和h分别表示可视单元和隐藏单元的状态，其中，v_i表示第i个可视单元的状态，h_j表示第j个隐藏单元的状态。那么，对于一组给定的状态v,h，RBM的联合概率分布能量函数可以表示为：

这里，w_ij表示可视单元i与隐藏单元j之间的连接强度，b_i表示可视单元i的偏置，c_i表示隐藏单元j的偏置。RBM学习的目的就是为了得到这些参数。给定一组训练样本v，由于隐单元的条件概率值仅仅取决于显单元的分布，则隐单元的条件概率为：

同理，显单元的条件概率：

(5)在接触网关键零部件的局部区域内进行关键特征点检测；

常用的关键特征点检测方法有：Moravec,Harris,FAST,Shi-Tomasi,FAST等；本发明不限定所采用的关键特征点检测算法。这里以FAST算法为例，说明关键特征点的检测过程：FAST(Features from Accelerated Segment Test)特征点检测属于快速的特征点检测方法，只要利用周围像素比较的信息就可以得到特征点，简单、有效。其定义基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别较大，认为该候选点属于特征点；

其中，I(x)为圆周上任意一点的灰度，I(p)为圆心的灰度，ε_d为像素灰度值差的阈值，如果N大于给定的阈值(例如，整个圆周上像素点总数的0.75)，则认为p是一个特征点。

(6)提取关键特征点周围的特征描述子；

在检测到关键特征点之后，需要用一些数学上的特征对其进行描述，通常称之为特征描述子；常用的特征描述子有SIFT,SURF，FAST,BRISK,ORB,BRIEF等；在检测到左右两个相机的关键特征点，并提取关键特征点周围的特征描述子之后，需要对左右两个图像中的特征描述子进行特征匹配，从而实现关键特征点匹配的目的。显然，这里涉及两个步骤：

(a)关键特征点的局部特征描述；

本发明采用BRIEF特征进行局部特征的描述，其原理如下：

在特征点附近随机选取若干个点对组成图像块，把这些图像块的灰度值二值化后组成一个二进制串，并将这个二进制串作为该特征点的特征描述子。BRIEF描述子的每一位都是由随机选取的两个二进制点比较得到的，定义一个经过高斯核做过平滑处理的图像块p的二进制比较准则为：

这里，p(x)为图像块p在像素点(x,y)处的灰度值。选择n个(x,y)像素对，就可以得到BRIEF的n位二进制比特串。一个BRIEF特征点可以定义为一个包含n次二进制比较的向量

这里的n是一个经验值，可以为128,256或512等；

(b)特征向量匹配；

假设V_p是第一帧当中某个特征点p的特征向量，V_q是第二帧当中某个特征点q的特征向量，D(V_p，V_q)表示第一帧的特征点p跟第二帧的特征点q之间的欧式距离，即：

这里的N代表特征向量p,q的维数；

如果两个向量之间的距离D(V_p，V_q)小于某个阈值T(根据实验测试得到)，则认为这两个特征点可以匹配；

(7)利用上一步来自左右两个相机的匹配的关键特征点，采用双目三角交汇法进行双目立体重建。即：利用匹配的同一个特征点在左右两个相机的像素坐标，计算该点在世界坐标系中的真实位置坐标；

双目三角交汇法的原理如图4所示，接触线上任意点C跟左右两个相机焦平面中心点A,B组成了一个三角形。通过测量标定可以获得相机焦平面中心A,B距离坐标原点O的水平距离OA＝L1,OB＝L2,左右两个相机的焦距分别为f1和f2,相机成像中心位置分别为z1和z2,相机的像素尺寸为p,两个相机的倾斜角分别为t1和t2，C点在相机图像中的坐标位置分别为x1和x2，根据小孔成像原理可以计算出C点距离坐标原点0的位置坐标：

(8)计算世界坐标系(ABC平面)内接触线的真实导高、拉出值，定位器坡度等几何参数；

假设，受电弓跟接触线接触的某个点P在世界坐标系(ABC平面)内的真实坐标为(x,y)，显然，x可以当做当前时刻接触线的拉出值；导高H＝y+H1+H2，这里的H1为列车顶部距离铁轨平面的垂直高度；H2为直线AB到列车车顶的垂直高度；定位器坡度的计算，需要先计算出定位器两个端点的坐标，假设其两个端点为P1，P2，在世界坐标系中的真实坐标分别为(x1,y1)和(x2,y2)，那么，定位器的坡度为：

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

实现了测量系统设计合理，几何参数检测测量结果准确的技术效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。