基于多目视觉的轨道交通车辆车顶三维建模系统与方法

本发明专利涉及多目视觉三维建模领域，具体涉及一种基于多目视觉的轨道交通车辆车顶三维建模系统与方法。

背景技术：

1、21世纪以来，轨道交通日趋壮大，铁路运营里程逐年增长，年客运量不断攀升，高铁事业近些年发展尤其迅速，2014年的数据统计表明有8亿多人次选择高铁作为出行工具年底，中国高速铁路运营里程达到1.9万公里，居世界第一位。城市轨道交通事业也在不断发展，各大城市都在建设轨道交通事业。轨道交通事业的高速进步，主要归功于机车能够持续保持高速运行，极大缩短旅客交通时间。

2、电力机车在运行过程中，需要通过受电弓滑板与接触网的接触，从电网中取电。这种接触式供电的方式必然会导致受电弓滑板的电气磨耗与滑动磨耗。若放任磨耗而不采取行动，则会造成拉网甚至卡网，更有甚者成为严重铁路交通事故的直接原因，若接触网发生断裂，也会引发受电弓断弓等问题。机车车顶也存在很多不安全因素，有时是由于工作人员的失误将工具等遗落在车顶上，有时会由于鸟类或其他事物的影响造成车顶异物的存在。这些异物可能会在列车开始运行时或运行过程中由于惯性撞击受电弓或瓷瓶等车顶设备，造成设备的损坏，也可能会缠绕到电缆或传动线等设备上，造成设备无法运行。

3、在三维重建方法中,激光扫描法主要是利用激光测距原理获取目标场景的深度信息，通过使用激光雷达(lidar)等激光扫描设备对目标物体表面进行扫描，从而获得目标场景的三维点云。激光扫描法虽然具有操作简单、扫描精度高的优点，但是无法直接获取目标的纹理信息，并且激光扫描设备一般价格昂贵，应用成本较高。飞行时间法通过记录激光脉冲从发射器发射到经过物体反射回到接收器所用的时间来测距，主要应用于tof相机上，用于获取目标场景的深度图像,从深度图像恢复出三维点云。虽然飞行时间法具有检测距离远、抗干扰能力较强的优点，但是该方法存在设备功耗大、成本较高以及所用相机分辨率较低等问题。结构光法主要通过向目标场景投影编码图案，由图案的变形程度来恢复目标表面的三维信息。结构光法在近距离范围内精度较高，但是易受强环境光干扰，并且随着检测距离增加，精度快速降低。

4、随着ccd光学成像技术的快速提高，成像器件的分辨率、灵敏度以及光谱响应范围等性能参数得到极大改善，基于立体视觉的被动式三维重建便成为了一个重要的研究方向。

技术实现思路

1、本发明的目的在于提供一种精确、高效的基于多目视觉的轨道交通车辆车顶三维建模系统与方法。

2、实现本发明目的的技术解决方案为：一种基于多目视觉的轨道交通车辆车顶三维建模系统，包括车号识别模块、图像采集模块、图像预处理模块、关键部位三维重建模块、信息保存与显示模块、数据库模块，其中：

3、所述车号识别模块包括车轮传感器、plc、车号识别主机，图像采集模块包括光电传感器、工业相机、图像采集系统；车轮传感器触发plc控制车号识别主机检测车号信息，同时光电传感器向plc发出电平信号，通过plc控制车顶多个工业相机实现硬触发，图像采集系统采集车顶原始图像；车号信息和车顶原始图像存储至数据库模块；

4、图像预处理模块，对车顶原始图像进行预处理，采用针孔模型对每个摄像机进行标定，利用中值滤波对图像进行去噪，对图像场景纹理进行特征增强，再通过立体匹配找寻图像间的对应像素点；

5、关键部位三维重建模块，针对图像预处理模块输出的结果，对每组匹配点进行插值匹配，得到最终的每组匹配点的图像坐标，将每组多目图像产生的点云进行合并，获得稠密三维点云数据并建立三维模型，形成三维立体图像并存储至数据库模块；

6、信息保存与显示模块，对三维立体图像进行显示处理，完成轨道交通车辆车顶三维建模。

7、一种基于多目视觉的轨道交通车辆车顶三维建模方法，步骤如下：

8、步骤s0：设置车号识别模块、图像采集模块、图像预处理模块、关键部位三维重建模块、信息保存与显示模块、数据库模块；所述车号识别模块包括车轮传感器、plc、车号识别主机，图像采集模块包括光电传感器、工业相机、图像采集系统；

9、步骤s1：车轮传感器触发plc控制车号识别主机检测车号信息，同时光电传感器向plc发出电平信号，通过plc控制车顶4个工业相机实现硬触发，图像采集系统采集车顶原始图像；车号信息和车顶原始图像存储至数据库模块；

10、步骤s2：图像预处理模块对车顶原始图像进行预处理，采用针孔模型对每个摄像机进行标定，利用中值滤波对图像进行去噪，对图像场景纹理进行特征增强，再通过立体匹配找寻图像间的对应像素点；

11、步骤s3：关键部位三维重建模块，针对图像预处理模块输出的结果，对每组匹配点进行插值匹配，得到最终的每组匹配点的图像坐标；

12、步骤s4：针对步骤s3进行插值匹配后的图像，将每组四目图像产生的点云进行合并，从而获得该场景的稠密三维点云数据建立三维模型，形成三维立体图像并存储至数据库模块；

13、步骤s5：信息保存与显示模块对三维立体图像进行显示处理，完成轨道交通车辆车顶三维建模。

14、本发明与现有技术相比，其显著优点为：(1)通过多目相机获得车顶关键部件的三维立体图像，代替人工去对车顶进行检测和诊断；(2)采用了改进的插值算法在立体匹配之前对图像进行了预处理，提高了立体匹配的准确性；(3)使用了场景纹理特征增强，对图像进行了roi区域划分，提高了匹配的效率，使得后期立体匹配更加高效；(4)使用了点云精简操作，使其保留足够数量的点来表现该区域的形状变化，相对于传统获取点云数据大大提升了算法的有效性，提升了三维建模的精确度。

技术特征：

1.一种基于多目视觉的轨道交通车辆车顶三维建模系统，其特征在于，包括车号识别模块、图像采集模块、图像预处理模块、关键部位三维重建模块、信息保存与显示模块、数据库模块，其中：

2.根据权利要求1所述的基于多目视觉的轨道交通车辆车顶三维建模系统，其特征在于，图像采集模块中工业相机的数量为4个。

3.根据权利要求1所述的基于多目视觉的轨道交通车辆车顶三维建模系统，其特征在于，所述工业相机采用aca2400-20gc；所述车轮传感器为磁性传感器，磁性传感器的探测器为磁性探头；所述光电传感器采用pz-g系列的光电传感器；所述plc采用西门子s7-200plc。

4.一种基于多目视觉的轨道交通车辆车顶三维建模方法，其特征在于，步骤如下：

5.根据权利要求4所述的基于多目视觉的轨道交通车辆车顶三维建模方法，其特征在于，在步骤s2中，进行四目相机标定，线性模型相机标定不考虑畸变的影响，直接用针孔模型来描述相机成像几何关系，并用投影方程表示；

6.根据权利要求4所述的基于多目视觉的轨道交通车辆车顶三维建模方法，其特征在于，在步骤s2中增强场景纹理，选择投影黑白棋盘格图案来增加目标的纹理特征，提取角点作为特征点用于立体匹配；

7.根据权利要求4所述的基于多目视觉的轨道交通车辆车顶三维建模方法，其特征在于，在步骤s4中，改进双三次插值法，根据周围8个像素点的灰度值进行插值计算，参考像素点视差值影响以及各个邻点间距离导致的视差权重影响，具体步骤如下：

8.根据权利要求4所述的基于多目视觉的轨道交通车辆车顶三维建模方法，其特征在于，在步骤s4中，获取场景稠密三维点云数据，通过投影棋盘格图案来增强目标场景的纹理特征，从而获得目标场景的稠密三维点云；

技术总结
本发明公开了一种基于多目视觉的轨道交通车辆车顶三维建模系统与方法，该系统包括车号识别模块、图像采集模块、图像预处理模块、关键部位三维重建模块、信息保存与显示模块、数据库模块；方法包括：图像采集模块通过多目相机采集车顶多视角图像，车号模块通过车号图像识别出车号；对采集到的图像进行预处理，利用针孔模型对每个摄像机进行标定，中值滤波去噪，提高关键部件对比度；通过立体匹配寻找图像间的对应像素点，增强图像场景纹理特征，使立体匹配更准确；合并采集到的三维点云数据，获得该场景的稠密三维点云数据，建立三维模型。本发明提高了三维模型显示的准确性与稳定性。

技术研发人员：朱俊霖,漆琛,吴泽宇,吕晨,李洪,张伟业,叶鑫,邢成雷,陈征,邢宗义
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/1/14