一种基于图像识别的铁路信号设备三维建模方法
【专利摘要】本发明涉及一种基于图像识别的铁路信号设备三维建模的方法，过对摄像机采集到的铁路线路视频进行智能分析，识别沿线信号机、信号标志等铁路信号设备，并结合GPS设备采集的GPS信息，获取铁路信号设备的类型信息和位置信息；根据获取的类型信息从定制的铁路信号设备模型库提取模型，并根据位置信息计算其在三维场景中的3D信息，实现虚拟场景中铁路信号设备的三维建模。本发明提供的方法减少了铁路信号设备建模数据的人工录入处理，提高了工作效率，同时也有效地克服了由于铁路信号设备建模数据缺失导致的建模不精确的问题。
【专利说明】
一种基于图像识别的铁路信号设备三维建模方法
技术领域：
[0001] 本发明属于图像处理与三维建模技术领域，主要涉及一种三维建模的方法，特别 涉及一种基于图像识别的铁路信号设备的三维建模方法。
【背景技术】：
[0002] 近年来，随着铁路行业的蓬勃发展，铁路数字化已经初具规模，随着铁路数字化建 设与运营的逐步深入，对运营仿真模拟、设备数据可视化、数据空间分析等方面的需求日益 增加。"数字铁路"的发展方向之一就是铁路虚拟现实，而三维建模是构建虚拟环境、进行人 机交互的基础。由于现实状况和信息技术的制约，铁路空间数据库的建设受到信息购买价 格昂贵、数据采集困难、维护代价高等因素的制约，需要寻求解决铁路三维数据获取、维护 的有效方法。另外，铁路建模的数据依赖于工程测量或者是工程图纸的设计数据，而将这样 的数据应用于三维建模中，需要大量的人工参与，存在劳动强度大、工作效率低等多方面的 缺点。为此，提出一种基于图像识别的铁路信号设备建模数据的获取方法，并利用这些数据 实现对铁路信号设备的三维建模。
【发明内容】
：
[0003] 本发明的目的是提供一种基于图像识别的铁路信号设备三维建模方法，有效解决 了铁路虚拟场景建模中，由于铁路信号设备相关数据缺失导致的建模不精确的问题。本发 明通过图像识别和GPS信息相结合的方式，获取铁路信号设备的相关建模数据，减少了铁 路信号设备相关数据的人工录入和处理，提高了工作效率，降低了开发成本。
[0004] 本发明实现上述目的采取的技术方案是：一种基于图像识别的铁路信号设备三维 建模方法，包括以下步骤：
[0005] (1)利用相关地形数据和铁路线路数据，建立地形模型和铁路模型，并将两者拼合 在一起，形成铁路线路的三维场景；
[0006] (2)利用三维建模工具制作铁路信号设备的三维模型，生成铁路信号设备三维模 型库；
[0007] (3)对摄像机采集线路视频进行智能分析，利用图像识别算法，获取铁路线路上信 号设备信息，包括类型信息和位置信息；
[0008] (4)根据图像识别提供的铁路信号设备类型和位置信息，将信号设备放置在所述 的铁路线路三维场景中；
[0009] 在步骤（3)中，根据图像识别获取铁路信号设备的类型信息和位置信息，其特征 在于，包括以下步骤：
[0010] 步骤3. 1，将摄像机采集的线路视频与GPS模块采集的GPS信息同步；
[0011] 步骤3. 2,根据被识别铁路信号设备的特征，构建相应的识别算法；
[0012] 步骤3. 3,通过图像识别算法对铁路信号设备进行识别，保存其类型信息和位置信 息；
[0013] 在步骤3. 1中，GPS模块采集的GPS信息包括经度坐标、炜度坐标、高程坐标和时 间。
[0014] 在步骤3. 1中，视频与GPS信息按照时间进行同步，使得线路视频的每一帧数据均 关联GPS信息。
[0015] 在步骤3. 3中，通过图像识别算法得到位置信息，包括经度坐标、炜度坐标、高程 坐标以及相对于铁路中心线的位置，所述的相对于铁路中心线的位置是指位于铁路中心线 的左边还是右边。
[0016] 在步骤（4)中，根据图像识别提供的铁路信号设备类型和位置信息，将信号设备 放置在所述的铁路三维场景中，其特征在于，包括以下步骤：
[0017] 步骤4. 1，根据识别出的铁路信号设备类型，在铁路信号设备模型库中选出相应类 型的信号设备；
[0018] 步骤4. 2,根据识别出的铁路信号信号设备的经度坐标、炜度坐标和高程坐标，进 行坐标变换，转换为三维虚拟场景的坐标；
[0019] 步骤4. 3,根据识别出的铁路信号设备相对于铁路中心线的位置，结合步骤4. 2中 计算出的该设备在三维场景中的坐标，将步骤4. 1中的三维模型放置在步骤（1)所建立的 三维场景中；
[0020] 本发明通过对摄像机采集到的铁路线路视频进行智能分析，识别沿线信号机、信 号标志等铁路信号设备，并结合GPS设备采集的GPS信息，获取铁路信号设备的类型信息和 位置信息；根据获取的类型信息从定制的铁路信号设备模型库提取模型，并根据位置信息 计算其在三维场景中的3D信息，实现虚拟场景中铁路信号设备的三维建模。
[0021] 其优点在于：（1)本发明利用GPS模块采集GPS信息，并与摄像机采集的铁路线 路视频信息同步，有效地为视频的每一帧图像添加了位置信息，即经炜度和高程坐标信息。 (2)本发明利用图像识别算法，识别出每帧图像中出现的铁路信号设备的类型及相对位置 信息，结合经炜度高程坐标信息，为铁路信号设备的三维建模提供所需的数据，从而减少了 铁路信号设备建模数据的人工录入处理，提高了工作效率，同时也有效克服了由于铁路信 号设备建模数据缺失导致的建模不精确的问题。
【附图说明】：
[0022] 图1是一种基于图像识别的铁路信号设备三维建模方法的原理图。
【具体实施方式】：
[0023] 下面结合附图和实施例对本发明进一步说明。但本发明不局限以下实施方式。
[0024] -种基于图像识别的铁路信号设备三维建模方法，包括以下步骤：
[0025] (1)利用相关地形数据和铁路线路数据，建立地形模型和铁路模型，并将两者拼合 在一起，形成铁路线路的三维场景，具体实现步骤为：
[0026] ①利用航测或外业勘测的地形数据，建立线路行经地区的数字高程模型（DEM)，利 用DEM模型生成一个规则的三角网，用于表示三维地形模型；
[0027] ②利用人工输入的平面、纵断面、横断面及桥、隧、路基等设计数据，建立线路三维 模型。线路三维模型的建立主要包括路基、桥梁及隧道的三维模型的建立，以建立路基的三 维模型为例，首先利用平面和纵断面设计数据来确定线路中心线，然后根据横断面数据，计 算出路基的横断面，最后将这些横断面按照一定的次序连接起来，形成了路基的三角网，即 路基的三维模型。
[0028] ③将地形模型和线路模型拼合在一起，形成铁路线路的三维场景。拼合的关键在 于屏蔽线路区域内的地面。首先找出路基的边缘线所围成的多边形，将多边形的边依次加 入到地形DEM模型生成三角网中，然后在三角网中删除位于多边形内的三角形，从而达到 线路覆盖地形的目的。
[0029] (2)利用3DMAX和AutoCAD等工具制作铁路线路信号设备的三维模型，生成铁路信 号设备的三维模型库。模型库中包括各种类型的信号机、线路标志和信号标志。信号机包 括高柱信号机和矮柱信号机；线路标志包括公里标、半公里标、百米标、曲线标、坡度标、桥 梁标及隧道标；信号标志包括警冲标、站地界和预告标；
[0030] (3)对摄像机采集的线路视频进行智能分析，利用图像识别算法，获取铁路线路上 信号设备的类型信息和位置信息，具体实现步骤为：
[0031] ①将一台摄像机以及一个GPS设备放置在列车头部，对需要建模的铁路线路同时 进行视频彳目息米集以及GPS彳目息米集；
[0032] ②将摄像机采集的视频信息与GPS模块采集的GPS信息进行同步，包括以下步 骤：
[0033] 步骤1 :读取GPS模块采集的GPS信息，该信息以.gpx文件的形式保存，包括采集 点的经度坐标、炜度坐标、高程坐标，以及采集该点的时间，时间信息的格式是年月日时分 秒；
[0034] 步骤2 :摄像机采集的线路视频的每一帧图像均关联GPS位置信息，即每一帧均有 经度坐标、炜度坐标以及高程坐标；每一帧的坐标计算公式为：
式中curFrameNumber为线路视频当前帧的帧号，frameRate为视频的帧率，一般为25 帧/秒，curT表示从开始到当前帧所经历的时间；W表示向下取整；l〇n[index]表示在第 index秒时，GPS设备采集的经度坐标；lat [index]表示在第index秒时，GPS设备采集的 炜度坐标；ele [index]表示在第index秒时，GPS设备采集的高程坐标；Ion、lat、ele分别 表示帧号为curFrameNumber的视频帧对应的经度、炜度和高程坐标。
[0035] ③融合被识别设备的颜色特征和形状特征（如长宽比、矩形度、圆形度等）构建识 别算法，识别出视频中信号设备的类型及其相对于铁路线的位置；以高柱信号机为例，其识 别算法的具体实现步骤是：
[0036] 步骤1 :根据高柱信号机的颜色特征，使用Otsu算法获取图像分割阈值T，由于高 柱信号机的颜色较深，将灰度值小于等于分割阈值T的像素点的灰度值设置为0,而灰度值 大于分割阈值T的像素点的灰度值设置为255,得到二值图像；
[0037] 步骤2 :根据高柱信号机的形状特征，进行几何特征过滤，将满足过滤条件的连通 区域保留；设置其面积过滤条件为大于图像面积SA30*50)，且小于图像面积SA10*10) 的连通区域；设置其宽高比过滤条件为连通区域的外接矩形的宽高比例大于1. 2,且小于 4. 0 ；
[0038] 步骤3 :对满足过滤的条件的区域利用Canny边缘检测算子进行边缘检测，并与高 柱信号机轮廓模板进行模板匹配，匹配度大于〇. 9的区域被识别为高柱信号机；
[0039] 步骤4:根据识别出的高柱信号机所在的图像区域，计算出该区域的中心坐标，若 中心点的x坐标小于图像宽度的一半，则高柱信号机位于铁路中心线的左边，否则高柱信 号机位置铁路中心线的右边，得到高柱信号机相对于铁路中心的位置；
[0040] ④根据步骤③中识别出的信号设备的类型及相对位置，并结合步骤②为每帧图像 所关联的经炜度和高程坐标，得到信号设备的类型、经炜度高程坐标以及当前设备与铁路 中心线的相对位置；
[0041] (4)根据步骤（3)提供的信号设备类型及位置信息，将信号设备放置在所述的线 路三维虚拟场景中，具体实现步骤为：
[0042] ①根据步骤（3)中识别出的信号设备的类型，从步骤（2)建立的铁路信号设备模 型库中调出该类型设备的模型；
[0043] ②根据步骤（3)中识别出的信号设备的经炜度高程坐标，进行大地坐标系到三维 场景坐标系的变换，将经炜度高程坐标转换为三维虚拟场景下的坐标；
[0044] ③根据步骤（3)中计算出的信号设备与铁路中心线的相对位置，所述的相对位置 为当前信号设备位于铁路线的左边还是右边，并结合②中计算出的该设备在三维场景中的 坐标，将①中的三维模型放置在步骤（1)所建立的三维场景中。
[0045] 综上所述，本发明所提出了基于图像识别的铁路信号设备的三维建模方法，通过 增加GPS设备采集GPS信息，并将该信息与摄像机采集的视频信息进行同步，有效地为视频 的每一帧图像附加了位置信息，即经炜度和高程坐标信息。通过构造图像识别算法，得到视 频每帧图像中所包含设备的类型信息和相对位置信息，并结合经炜度高程坐标信息，将该 设备放置在三维场景中，提供了一种获取铁路信号设备建模数据方法，有效解决了在铁路 虚拟场景建模中，因数据缺失而导致的建模不精确的问题。
【主权项】
1. 一种基于图像识别的铁路信号设备三维建模方法，其特征在于，包括以下步骤： 步骤一：利用相关地形数据和铁路线路数据，建立地形模型和铁路模型，并将两者拼合 在一起，形成铁路线路的三维场景； 步骤二：利用三维建模工具制作铁路信号设备的三维模型，生成铁路信号设备三维模 型库； 步骤三：对摄像机采集线路视频进行智能分析，利用图像识别算法，获取铁路线路上信 号设备信息，包括类型信息和位置信息； 步骤四：根据图像识别提供的铁路信号设备类型和位置信息，将信号设备放置在所述 的铁路线路三维场景中。2. 根据权利要求1所述的基于图像识别的铁路信号设备三维建模方法，其特征在于： 在步骤三中，根据图像识别获取铁路信号设备的类型信息和位置信息，包括以下步骤： 步骤2. 1，将摄像机采集的线路视频与GPS模块采集的GPS信息同步； 步骤2. 2,根据被识别铁路信号设备的特征，构建相应的识别算法； 步骤2. 3,通过图像识别算法对线路设备进行识别，保存其类型信息以及位置信息。3. 根据权利要求2所述的基于图像识别获取信号设备信息的方法，其特征在于：在步 骤2. 1中，GPS模块采集的GPS信息包括经度坐标、炜度坐标、高程坐标和时间。4. 根据权利要求2所述的基于图像识别获取信号设备信息的方法，其特征在于：在步 骤2. 1中，视频与GPS信息按照时间进行同步，使得线路视频的每一帧数据都关联GPS信 息。5. 根据权利要求2所述的基于图像识别获取信号设备信息的方法，其特征在于：在步 骤2. 3中，通过图像识别算法得到位置信息，包括经度坐标、炜度坐标、高程坐标以及相对 于铁路中心线的位置，所述的相对于铁路中心线的位置是指位于铁路中心线的左边还是右 边。6. 根据权利要求1所述的基于图像识别的铁路信号设备三维建模方法，其特征在于： 在步骤四中，根据图像识别提供的铁路信号设备类型和位置信息，将信号设备放置在所述 的铁路三维场景中，包括以下步骤： 步骤6. 1，根据识别出的铁路信号设备类型，在铁路信号设备模型库中选出相应类型的 信号设备； 步骤6. 2,根据识别出的铁路信号信号设备的经度坐标、炜度坐标和高程坐标，进行坐 标变换，转换为三维虚拟场景的坐标； 步骤6. 3,根据识别出的铁路信号设备相对于铁路中心线的位置，结合步骤6. 2中计算 出的该设备在三维场景中的坐标，将步骤6. 1中的三维模型放置在步骤一所建立的三维场 景中。
【文档编号】G06T17/00GK105894568SQ201410685154
【公开日】2016年8月24日
【申请日】2014年11月17日
【发明人】栗芳, 郑乐观, 高志生, 张安全, 白晓亮
【申请人】郑州捷安高科股份有限公司