超视距实时显示方法、系统、存储介质及计算机设备与流程

本发明涉及铁路安全技术领域，特别涉及一种超视距实时显示方法、系统、存储介质及计算机设备。

背景技术：

随着我国经济的蓬勃发展，以及铁路运输具有运输成本低、运输量大、运输安全可靠、速度快、准确性和连续性强、无污染等优点，在我国交通运输方面以及国民经济发展中发挥着极其重要的作用。我国铁路路线里程长，地势复杂多变，比如山体滑坡、滞留的人或动物等随机异物造成高速运行列车前方出现障碍物，列车的行车安全构成了严重的威胁。并且我们只有两只眼睛，它们反应太慢而无法详细看到快速移动的物体，而且它们只对光谱的有限部分敏感，眩光和反射也妨碍了长时间专注前方视野的能力。现在的动车、高铁运行速度在200-350千米/时，惯性大，制动距离超出人眼的视距，所以在前方出现紧急状况时，动车是1.5千米安全制动距离。高铁制动初速度为350千米/时，紧急制动距离为6.5千米。如前方有不容易瞭望的地方，如曲线、隧道、岔口等。天气不好时，如下雨、下雾、下雪的时候，还有夜间能见度极低的情况下，列车运行都是极其危险的。在高速铁路飞跃发展的今天，仅靠人为检测、固定点安装监测点以及现有技术中的高速列车前障碍物的智能检测也不能保证意外情况的出现，因为软件算法再发达也达不到人脑的高度，至少目前是这样的。并且，基于现有技术的网络传输系统，对视频文件的传输达不到实时性，也是致命缺点。

技术实现要素：

针对上述技术问题，本发明提供一种使用方便，能够充分保证行车安全的超视距实时显示方法、系统、存储介质及计算机设备。

为解决上述技术问题，本发明所采取的技术方案是：提供一种超视距实时显示方法，包括以下步骤：

根据列车的当前位置、速度以及预设的超视距的距离范围，确定即将进行图像采集多个图像采集装置的位置，根据所述图像采集装置的位置确定对应的每个图像采集装置编号；

对从所述各个图像采集装置获取的多张带有相应所述编号的图像进行预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1张图像；

对拼接后的图像进行透视变换，形成特定视角的图后在驾驶室内的显示器上进行显示。

本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作，实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路段的路况，发现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉的和驾驶员应变能力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有很高的实用性。

本发明还提供了一种超视距实时显示系统，包括：

图像采集系统，包括沿铁路轨道等间距设置的与轨道成预设角度的的多个具有唯一编号的图像采集装置，用于进行图像采集，并将图像发送至图像处理系统；

图像处理系统，用于根据列车的当前位置及速度，确定即将进行图像采集、且等间距设置的多个图像采集装置的位置，根据所述图像采集装置的位置确定对应的每个图像采集装置编号；

用于对从所述各个图像采集装置获取的多张带有相应所述编号的图像进行预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1帧图像；

显示系统，用于以预设频率对所述图像处理系统传递来的图像进行显示更新。

本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作，实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路况，发现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉的和驾驶员应变能力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有很高的实用性。

本发明还提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-5任一项所述的方法。

本发明还一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-5任一项所述的方法。

附图说明

下面结合附图对本发明作进一步说明：

图1是本发明提供的超视距实时显示方法一实施例的示意性流程图；

图2是本发明提供的超视距实时显示方法另一实施例的示意性流程图；

图3是本发明提供的司机视角图像的拼接示意图；

图4是本发明提供的鸟瞰视角图像的拼接示意图；

图5是本发明提供的超视距实时显示系统的示意性框架图；

图6为图5中超视距实时显示系统的应用场景图；

图7是图6中图像采集装置的应用场景图。

具体实施方式

如图1所示，本发明提供的超视距实时显示方法，包括以下步骤：

步骤10：根据列车的当前位置、速度以及预设的超视距的距离范围，确定即将进行图像采集的多个图像采集装置的位置，根据图像采集装置的位置确定对应的每个图像采集装置编号；

步骤20：对从各个图像采集装置获取的多张带有相应编号的图像进行预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1张图像；

步骤30：对拼接后的图像进行透视变换后在驾驶室内的显示器上进行显示。

本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作，实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路况，发现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉的和驾驶员应变能力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有很高的实用性。

在图1对应实施例的基础上，还进行了以下改进：

相邻编号的图像采集装置拍摄的图像部分重叠。

图像采集装置以间隔相等距离的方式，均以离轨道相同距离的位置放置于轨道的上方，图像采集装置的镜头方向与轨道成一定角度排列，相邻图像采集装置的视场有重叠部分，并将图像采集装置依次排序，对应的序号，图像采集装置完成标定以后，以一定的帧率采集图像，并根据图像采集装置的编号生成特定的序号，并通过数据链路(网线、光线、4g、5g等通讯链路)实时上传至图像处理系统。

驾驶员驾驶室设置超视距的距离范围值，即限定图像采集装置所在的范围值，这样驾驶员就可以观看布有该系统沿线任何路况图像。此值可以是车头到铁路沿线任何位置处的区域。位于列车或站点的图像处理系统根据图像的编号生成所对应的轨道路段的位置信息。

图像处理系统根据gps定位系统获得列车的当前位置，通过驾驶室获得速度值，根据驾驶员设置的超视距的距离范围，确定即将进行图像采集在所设超视距范围内的多个图像采集装置的位置。图像处理系统通过计算采集到的图像、图像编号和设置的距离值，处理所设超视距范围内的多个图像采集装置对应生成的多个图，将同一时间多个图像采集装置采集到的多张序列图像传输至图像处理系统，图像处理系统对获取的多张带有编号的图像进行畸变校正；对处理后图像的进行边缘检测处理，得到边缘特征；根据特征匹配算法，提取相邻编号图像中的共同特征，将相邻编号图像中的共同特征进行融合，直至所有获取的带有编号的图像都完成拼接重构；对重构图进行透视变换，生成1帧驾驶员视角图像或鸟瞰图。将生成的图像按一定帧率传输并更新到驾驶室的显示器上。

通常情况下：列车未启动时，根据gps定位系统获得的列车位置，显示位于车头前第一个图像采集装置到安全制动距离之间的所有图像采集装置所采集到的图像的拼合图像；当列车启动时，图像处理系统根据列车的位置和速度，获取到距车头一定距离处以外的图像采集装置所采集到的图像，并实时合成图像，按照一定的帧率更新显示，从而保证列车在行驶方向上无死角和充分模拟列车速度同步的驾驶员视角的超视距实时观测图像。

驾驶员通过显示器，看到了距离车头前方一定距离之外的轨道及其周围环境的实时图像。当驾驶员发现轨道上有障碍物时，点击障碍物所处的画面位置，控制系统即可显示出拍摄此处的图像采集装置的编号。每个图像采集装置拍摄的图片都会进行障碍物检测，检测到有障碍物的图片，图像处理系统会根据图像的编号(图片的编号含有图像采集装置的编号)得知图片来源图像采集装置，并从分屏中放大显示该图像采集装置采集到的图像，以便于驾驶员进一步判断此处障碍物详细信息，做出对列车下一步动作的判断。

上述方案针对的是列车员视角视图的确定，还可以实现对列车上方鸟瞰图的确定。具体为：提供的多幅图像重构的超视距实时观测系统中图像采集装置的固定方式和鸟瞰时图像采集装置固定方式一致，但是计算方法不同。该实施例提供了鸟瞰图像的计算方法。

固定方式，如图6，图像采集装置的固定方式采用固定于轨道两侧的安装方式。计算方法为：

根据gps定位系统，计算出查看列车车身的所需图像采集装置的位置；

位于左侧的图像采集装置采集到的图像经过畸变校正、边缘检测、特征匹配、图像拼接、透视变换等技术手段生成车顶左侧到车身左侧的图像，右侧图像采集装置采集到的图像经过同样的方法，生成车顶右侧到车身右侧的图像；

左右两侧图像拼合，生成车顶上方鸟瞰图像，实现整列列车的车身的实时观测。

如图2所示，作为一种可实施方式，对获取的多张带有编号的图像进行预处理，对预处理后的图像按照编号顺序依次进行实时拼接，具体包括以下步骤：

步骤21：对获取的多张带有编号的图像进行畸变校正；

步骤22：对处理后图像进行边缘检测，得到边缘特征；

步骤23：根据特征匹配算法，提取相邻编号图像中的特征点，对相邻编号图像中的特征点进行匹配，并进行图像配准；

步骤24：将相邻编号图像中的后者图像拷贝至于在先图像边缘区域对应的位置，根据边缘特征进行边界重叠，直至所有获取的带有编号的图像都完成拼接重构；

其中：对应位置即为相邻编号图像中后者图像边缘特征与在先图像边缘特征相互贴合的位置，目的是为了后续图像的拼接；

步骤25：对重构图进行透视变换，生成鸟瞰图或司机远视视角的图像。

进一步的，重构图不仅可以生成鸟瞰图或司机远视视角的图像，还可以生成任何其他视角的图像。

其中：特征匹配(fbm)，就是指将从影像中提取的特征作为共轭实体,而将所提特征属性或描述参数，实际上是特征的特征，也可以认为是影像的特征，作为匹配实体，通过计算匹配实体之间的相似性测度以实现共轭实体配准的影像匹配方法。是一比较成熟的算法，并非本申请要保护的技术。

透视变换(perspectivetransformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。透视变换常用于，例如在移动机器人视觉导航研究中，由于摄像机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)，有时希望将图象校正成正投影的形式，就需要利用透视变换。把空问坐标系中的三维物体或对象转变为二维图像表示的过程称为投影变换。根据视点(投影中心)与投影平面之间距离的不同，投影可分为平行投影和透视投影，透视投影即透视变换。平行投影的视点(投影中心)与投影平面之间的距离为无穷大，而对透视投影(变换)，此距离是有限的。透视投影具有透视缩小效应的特点，即三维物体或对象透视投影的大小与形体到视点(投影中心)的距离成反比。例如，等长的两直线段都平行于投影面。但离投影中心近的线段透视投影大，而离投影中心远的线段透视投影小。该效应所产生的视觉效果与人的视觉系统类似。与平行投影相比，透视投影的深度感更强，看上去更真实，但透视投影图不能真实地反映物体的精确尺寸和形状。

在进行图像生成时，图像采集装置采集到的图像通过数据链路传输到图像处理系统。图像处理系统，将同一时间多个图像采集装置采集到的多张序列图像，进行畸变校正预处理，然后对处理后的图像进行边缘检测、特征匹配、图像拼接生成1张拼接图像，拼接成功后，再使用透视变换，生成司机视角的图像。图3中视角图1表示拍摄到的第n帧图，视角图2表示拍摄到的第1帧图，共n个视角图，通过图像处理系统处理后，可以生成图像3，并对生成的图像3进行展示。此处生成的是司机远视视角的图像，鸟瞰视角图像与司机远视视角的图像生成类似，不再进行重复论述。具体为：图4中视角图1表示拍摄到的第n帧图，视角图2表示拍摄到的第1帧图，共n个视角图，通过图像处理系统处理后，可以生成图像3，并对生成的图像3进行展示。

通过对图像的畸变校正、边缘处理以及特征提取等操作，确保了最终得到拼接图像的完整性和准确性。使得最终图像显示更加的直观，障碍物识别更加的明显。

作为一种可实施方式，在根据列车的当前位置及速度，确定即将进行图像采集、且与轨道成预设角度的的等间距设置的多个图像采集装置的位置，根据图像采集装置的位置确定对应的每个图像采集装置编号之前，还包括以下步骤：

根据对应列车始发站至终点站间铁轨路线长以及相邻电线杆间的距离，确定需要的图像采集装置的数量，并为所有的图像采集装置分配编号；

其中，确定需要的图像采集装置的数量，具体为：

n＝(a/b)+1；

其中：n为图像采集装置个数，a为铁轨路线的沿线长度，b为每个电线杆间隔距离。

较优的，在上述技术方案中需要进行图像采集的图像采集装置的编号确定步骤为：

根据车头距离对应列车始发站的距离以及相邻电线杆间的距离，计算需要进行图像采集的图像采集装置的编号，具体为：

q＝(p+c)/b；

其中：p为车头当前位置距对应列车始发站的距离值；c为视距值，列车启动之前，此值为0，随着列车加速启动，此值随之变化，并迅速达到列车匀速时设定的视距值；则采集图像装置的编号为q，q+1，q+2……q+m-1；采集到的图像表示为sq，sq+1，sq+2……sq+m-1；q为列车运行时需要进行图像采集的采集图像装置的起始位置编号；m为合成1帧图像需要的图片的数量。

本发明，如图3至图7所示，还提供了一种超视距实时显示系统，包括：

图像采集系统，包括沿铁路轨道等间距设置的与轨道成预设角度的多个具有唯一编号的图像采集装置，用于进行图像采集，并将图像发送至图像处理系统；

图像处理系统，用于根据列车的当前位置及速度，确定即将进行图像采集、且等间距设置的多个图像采集装置的位置，根据图像采集装置的位置确定对应的每个图像采集装置编号；

用于对从各个图像采集装置获取的多张带有相应编号的图像进行预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1帧图像；

显示系统，用于以预设频率对图像处理系统传递来的图像进行显示更新。

本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作，实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路况，发现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉和驾驶员应变能力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有很高的实用性。

作为一种可实施方式，相邻编号的图像采集装置的拍摄图像部分重叠。

图像采集装置以间隔相等距离的方式，均以离轨道相同距离的位置放置于轨道的上方，图像采集装置的镜头方向与列车行驶方向一致，相邻图像采集装置的视场有重叠部分，并将图像采集装置依次排序，对应的序号，图像采集装置完成标定以后，以一定的帧率采集图像，并根据图像采集装置的编号生成特定的序号，并通过数据链路实时上传至图像处理系统。

作为一种可实施方式，图像处理系统，还用于对获取的多张带有编号的图像进行畸变校正；

对处理后图像的进行边缘检测处理，得到边缘特征；

根据特征匹配算法，提取相邻编号图像中的共同特征，将相邻编号图像中的共同特征进行融合，直至所有获取的带有编号的图像都完成拼接重构；

对重构图进行透视变换，生成鸟瞰或司机远视视角的图像。

其中：特征匹配(fbm)，就是指将从影像中提取的特征作为共轭实体,而将所提特征属性或描述参数，实际上是特征的特征，也可以认为是影像的特征，作为匹配实体，通过计算匹配实体之间的相似性测度以实现共轭实体配准的影像匹配方法。是一比较成熟的算法，并非本申请要保护的技术。

透视变换(perspectivetransformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。透视变换常用于，例如在移动机器人视觉导航研究中，由于摄像机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)，有时希望将图象校正成正投影的形式，就需要利用透视变换。把空问坐标系中的三维物体或对象转变为二维图像表示的过程称为投影变换。根据视点(投影中心)与投影平面之间距离的不同，投影可分为平行投影和透视投影，透视投影即透视变换。平行投影的视点(投影中心)与投影平面之间的距离为无穷大，而对透视投影(变换)，此距离是有限的。透视投影具有透视缩小效应的特点，即三维物体或对象透视投影的大小与形体到视点(投影中心)的距离成反比。例如，等长的两直线段都平行于投影面。但离投影中心近的线段透视投影大，而离投影中心远的线段透视投影小。该效应所产生的视觉效果与人的视觉系统类似。与平行投影相比，透视投影的深度感更强，看上去更真实，但透视投影图不能真实地反映物体的精确尺寸和形状。

在进行图像生成时，图像采集装置采集到的图像通过数据链路传输到图像处理系统。图像处理系统，将同一时间多个图像采集装置采集到的多张序列图像，进行畸变校正预处理，然后对处理后的图像进行边缘检测、特征匹配、图像拼接生成1张拼接图像，拼接成功后，再使用透视变换，生成司机视角的图像。图3中视角图1表示拍摄到的第n帧图，视角图2表示拍摄到的第1帧图，共n个视角图，通过图像处理系统处理后，可以生成图像3，并对生成的图像3进行展示。此处生成的是司机远视视角的图像，鸟瞰视角图像与司机远视视角的图像生成类似，不再进行重复论述。具体为：图4中视角图1表示拍摄到的第n帧图，视角图2表示拍摄到的第1帧图，共n个视角图，通过图像处理系统处理后，可以生成图像3，并对生成的图像3进行展示。

作为一种可实施方式，图像处理系统，还用于根据对应列车始发站至终点站间铁轨路线长以及相邻电线杆间的距离，确定需要的图像采集装置的数量，并为所有的图像采集装置分配编号；

其中，确定需要的图像采集装置的数量，具体为：

n＝(a/b)+1；

其中：n为图像采集装置个数，a为铁轨路线的沿线长度，b为每个电线杆间隔距离。

作为一种可实施方式，图像处理系统，还用于确定需要进行图像采集的图像采集装置的编号，具体为：

根据车头距离对应列车始发站的距离以及相邻电线杆间的距离，计算需要进行图像采集的图像采集装置的编号，具体为：

q＝(p+c)/b；

其中：p为车头当前位置距对应列车始发站的距离值；c为视距值，列车启动之前，此值为0，随着列车加速启动，此值随之变化，并迅速达到列车匀速时设定的视距值；则采集图像装置的编号为q，q+1，q+2……q+m-1；采集到的图像表示为sq，sq+1，sq+2……sq+m-1；q为列车运行时需要进行图像采集的采集图像装置的起始位置编号；m为合成1帧图像需要的图片的数量。

本发明还提供了一种计算机可读存储介质，包括指令，当指令在计算机上运行时，使计算机执行上述方法。

本发明一种计算机设备，包括存储器、处理器及存储在存储器上的并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用，对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的，故本发明包括但不限于上述实施方式，任何符合本权利要求书或说明书描述，符合与本文所公开的原理和新颖性、创造性特点的方法、工艺、产品，均落入本发明的保护范围之内。