铁路轨道资产勘测系统的制作方法

本发明涉及铁路轨道资产的勘测，例如铁路附近的物体或设备。

铁路轨道附近的资产对于轨道上列车的信号发送和运行非常重要。这些包括与信号发送、轨道旁监测、驾驶员协助和指导相关的资产，以及轨道部件相关。

通常，在管理铁路轨道资产时，维护众所周知的资产列表，包括所述资产的位置。这些通常包括重要资产的信息例如信号，但可能不包括较小或较不重要资产的信息。资产列表通常以高成本的手动维护。这非常耗时，并且列表很快就会过时。

以前，轨道勘测由一队检查员完成，他们会沿着轨道行走或在低速机动平台上行驶，使得记录轨道部件及其状况和位置。这个数据采集过程非常缓慢，因为为了使轨道检查员能够记录数据，行进速度需要足够缓慢。对高速客运和货运车辆正常使用轨道的任何干扰都是有害的。如果检查员乘坐常规客运火车，则有必要对轨道的同一段多次通行，以准确识别可能引起关注的所有铁路轨道资产。

最近，数码相机已用于检查车辆上，以记录轨道及其周围的视频，并记录位置数据。通常情况下，图像数据传输到异地计算机，在这里，操作员在桌面软件的帮助下查看收集的数据，并手动从图像中选择感兴趣的资产。这通常是一个缓慢而昂贵的过程；可能需要几周或几个月的时间才能完成对中等规模的轨道段的勘测，在这段时间内，资产状况可能发生重大变化。

最近尝试使用视频图像帧处理技术来针对少量资产类型的预定模板来识别资产。虽然这样的技术可能潜在地识别和分类不同类型的资产，但由于所识别的资产构成的操作风险不是仅由资产类型推断，因此这并不会得到完整的勘测系统本身。人工检查/评估依靠检查员去获取关于不同类型资产的基础知识的显著水平和由此可能对铁路轨道和/或轨道车辆构成风险。因此，尽管捕获用于勘测的图像数据的过程已简化并且使检查员能够接近，但风险评估本身仍然基本上是手动的过程，并且完成测量所花费的时间总体上以检查的轨道的长度的函数而线性地增加。

用于铁路应用的资产检查系统的一个特殊复杂性是视频图像处理是计算密集型的。要求将数据集中并传送到中央处理单元进行处理，再加上对记录数据的详细处理，会导致检查本身与扣除根据检查需要采取的任何行动之间的重大延误。此外，处理大量生成的图像/视频数据可能会有问题。

本发明的目的是提供一种轨道资产勘测系统，其克服或基本上减轻了与传统轨道资产勘测相关的上述缺点中的一个或多个。可以认为本发明的另一个或替代目的是提供一种系统，其可以提供更接近实时的有用的检查结果。

发明概述

根据本发明的一个方面，提供了一种铁路轨道资产勘测系统，包括安装在铁路车辆上的图像捕获传感器，用于传感器所捕获的图像的位置确定系统和图像处理器，图像处理器包括资产分类器，用于自动检测一个或多个捕获图像中的资产并通过根据所捕获图像中的一个或多个特征从资产类型的预定列表中将资产类型分配给检测到的资产来对检测到的资产进行分类，以及用于自动识别资产状态特征并且将所识别的状态特征与预定的资产特征进行比较以便评估其偏差的资产状态分析器。

作为本发明的一部分的用于轨道检查的图像传感器可以使用一系列相机来生成图像、具有能够提供场景的二维或三维视图的激光器的数值测量数据。

图像捕获传感器可以包括形状和/或表面属性传感器。图像捕获传感器可以包括亮度和/或颜色/纹理传感器，例如用于检测资产的一个或多个表面属性。图像捕获传感器可以包括光传感器，例如，用于捕捉视觉图像，例如照相机。附加地或可选地，图像捕获传感器可以包括激光或热图像捕获传感器中的任一个或两个。

激光测量传感器可以包括图像捕获传感器和/或距离测量器。一个或多个激光传感器可以记录激光束投射在其上的表面的三维轮廓。可以使用旋转激光。可以生成三维点云数据集以表示一个或多个资产或场景。

资产的一个或多个形状/几何特征，例如边缘或尺寸，可以从表面特性传感器或激光测量传感器确定。

可以使用多个图像捕获和/或激光测量传感器，例如多个相同或不同类型的传感器。不同的传感器类型可包括不同电磁辐射类型/波长的传感器。可选地，不同的图像传感器类型可以包括不同的传感器维度或取向，例如区域扫描、行扫描、深度检测传感器和/或三维成像装置，例如激光扫描仪。自动资产分类和/或状态评估可通过一个或多个资产视图分析来进行有益地改进。

一个或多个图像传感器或其他传感器类型可用于资产深度/距离检测。

不同的传感器类型可以并行使用。例如，每个传感器的输出可以用来独立评估资产，例如，根据传感器类型使用相同或不同类型的评估。资产分类器和/或资产状态分析器可以接收不同的传感器输入并且可以组合使用它们来确定资产分类和/或资产状态。以这种方式的不同形式的组合可以提供自动化资产勘测的更大确定性，例如，其中对使用一种模式的发现与使用另一种模式的相应发现进行比较以确认或拒绝该发现。

一个或多个图像捕获传感器可以用于轨道成像，例如，同时可以使用一个或多个另外的图像捕获传感器来评估铁路轨道附近的其他资产。图像捕获和/或激光测量传感器的不同类型或取向可以用于那些不同的目的。激光扫描仪可用于扫描轨道/轨道床和/或轨道附近的环境。

一个或多个图像捕获传感器可以在车辆的行进方向上朝向前方。多个图像捕获传感器可以是面向前的，其可以具有至少部分重叠的视场。一个或多个图像捕获传感器可以面向下，例如，朝向车辆通过的下方的轨道，和/或朝上，例如，面对高架的电线。参照车辆的行进轴线，任何图像捕获传感器可以是平行的、倾斜角度的和/或垂直的，例如，根据其预期的目的。

由多个图像捕获传感器捕获的图像，和/或由同一传感器以时间顺序捕获的图像，可以由处理器级联，例如以形成包括所述多个拼接图像的结果图像。这可能有助于捕获单个图像中的整个装置，或确保成像的连续性。捕获的图像可以拼接以提供显示轨道的整个宽度的单个图像，例如，从一个轨枕到另一个轨枕，并且可能包括轨枕末端之外的周围区域。

图像捕获传感器可调整地安装到车辆上，例如，调整图像捕捉传感器的视场。可以使用角度调整。调整镜头和/或光圈可以用于调整(例如扩大/减小)传感器的视场。

资产状态分析器的优点在于，它可以有助于识别与资产相关的操作风险，例如资产的退化和/或资产对铁路车辆在铁路轨道上的当前或未来操作的潜在影响。预定的资产状态特征可以包括名义或正常资产状态特征、用于正常/异常状态的阈值资产状态特征和/或针对相同资产或资产类型的先前确定的资产状态特征中的一个或多个。

资产分类器和资产状态分析器的使用可以是自动化铁路轨道资产勘测系统的一部分，其不需要手动检查和/或手动解释资产图像作为勘测过程的一部分。从图像或激光数据采集到其处理、结果记录、和报告的步骤可以是完全自动化的。资产状态分析器可以输出资产状况或健康的指示。

用于激光测量的相移调制和/或三角测量方法可以用于资产勘测，例如，用于资产分类和/或状态确定。

铁路轨道的成像可以用于评估轨道的取向、或取向变化率，例如轨道曲率。轨道可以视为资产并且可以根据预定的轨道特征来分类。可以确定轨道的纵向轴线，并且可以在沿轨道的多个位置处输出所述纵向轴线的曲率。轨道倾斜可以根据轨道相对于纵向轴线在横向方向上的角度取向来确定。

轨道在与资产的位置对应的位置处的方向/曲率可以向资产状态分析器提供输入和/或可以影响资产状态特性。轨道取向可以通过成像传感器和/或另一个取向传感器，诸如指南针或倾斜计来感测。任何轨道曲率、坡度或倾斜度都可能会改变资产状态特征的接受阈值。

该系统可以包括振动传感器。振动可以作为轨道状态的指示来感测并且可以由系统记录，例如，以一个位置记录。振动输入可以提供为在资产状态分析中使用的多个输入之一。

由一个或多个传感器捕获的图像/资产可以利用来自位置确定系统的位置进行记录(例如，地理位置记录)。位置记录可对应于传感器位置，例如包括由此确定的资产间隔。在使用多个传感器的情况下，由多个传感器捕获的对应的图像和/或激光数据可以用共同的位置记录来记录。在任何示例中，位置记录以用时间记录来补充或代替(例如时间戳)。位置索引可以执行，例如通过图像处理器的一个或多个软件模块，其可以从位置记录的获取位置和时间戳数据，例如从一个或多个位置传感器、和索引图像传感器和/或其他利用它的传感器数据。原始传感器数据条目(图像、或平面文件值)的记录可以保持。所述图像数据和位置记录数据的任何或任意组合可以存储在系统的公共数据存储器中，其可以包括一个或多个数据库。

根据地理坐标系，位置记录可以包括多个分量(例如纬度和经度)。位置记录可以附加地或可选地包括局部或相对坐标值，例如相对于铁路轨道。位置记录可以包括一维位置记录分量或值，例如根据从基准点沿铁路的距离。

资产的位置可以通过其与轨道中心线的距离和沿着轨道从固定参考点的纵向距离来引用。可以为检测到的资产存储一系列资产特征或属性，包括其唯一标识符、大小、尺寸、中心点、颜色和纹理特征、拓扑数据、状况数据及等等。该间隔可以是垂直间隔，例如包括与轨道相关联的从轴或垂直平面的横向和/或垂直间隔/分量。可以记录轨道或架空电缆的间隙。

位置确定系统可以包括车辆行驶距离传感器，例如转速计和/或轨道位置传感器。这可以用作gps定位系统的补充或替代。可以组合使用多个位置确定系统/传感器类型来增加资产位置确定的准确性。轨道位置传感器可以包括用于识别指示已知/预定轨道位置的轨道特征的传感器，例如固定的基准位置。成像传感器可以用于该目的或者否则是近场无线通信发射机接收器。安装在火车上的rfid扫描仪，例如，可用于检测安装在已知位置处的轨道上的rfid标签。可以使用已知标签位置的查找表来确定资产和/或图像传感器位置。

可以根据铁路车辆行驶速度来控制图像捕获的速率。可以设定预定的图像捕获速率或每单位距离的图像数据量。例如，可以设置沿轨道每毫米距离的像素捕获率。可以使用根据车速的脉冲频率的脉冲信号来控制图像/帧捕获频率或扫描速率。

可以从捕获的图像中识别每个资产的边缘轮廓/轮廓。轮廓可以与预定资产特征的数据库进行比较以识别资产分类的匹配。另外地或替代地，可以从捕获的图像中识别每个资产的表面纹理/颜色。表面纹理/颜色可以与预定资产特征的数据库进行比较以识别匹配，或者应用于基于规则的资产检测器/分类器。

资产的尺寸和/或形状测量可以与预定的形状轮廓匹配。可以使用一维、二维或三维形状模型构造和/或分析。例如一些资产，如标识，可以使用二维模型进行最佳匹配，而其他资产可能使用三维模型/分析进行最佳匹配。对于三维分析，点云数据(例如扫描数据)可以在资产的单次或多次通过中进行核对。除了匹配方法之外，还可以使用尺寸和形状测量来应用基于规则的资产检测和分类器的方法。

资产模板匹配可根据几何资产模板使用，其可包括曲率、边缘和/或尺寸特征。模板可以包括一个或多个几何特征和一个或多个表面属性特征。

可以根据在所捕获的图像中识别的资产的几何轮廓和/或表面特性(颜色/纹理)和预定的资产特征之间的匹配程度来确定置信度分数、和/或分配给由系统分类的资产。已经发现形状匹配和颜色/纹理匹配的组合在资产识别和状况分析中产生显著的确定性。

资产状态特征可以包括可见度特征。已经发现这对于为轨道旁资产提供风险评估是有益的，例如信号。系统可以根据为资产的几何轮廓和/或表面属性确定的匹配程度来记录可见度特征。系统可以确定距资产距离的可见度特征的变化，从而确定资产清晰可见的距离。系统可以记录该资产或每个资产的可见距离。一旦在图像中对资产进行了表征，系统可以以正向或反向顺序查看包含资产的捕获图像的顺序以确定可见距离。可见距离输出可以用于确定驾驶员风险评估，例如，当接近信号和水平交叉点时。

数据处理任务可以使用图像(视觉、激光和/或热)数据处理器来执行。在某些情况下，单个数据处理器就足以做到这一点。该图像处理器可以包括多个处理器/芯片，其中至少一个处理器安排成将捕获的图像和相关的位置数据实时记录在数据存储器中，例如，在车上。所述处理器可以安排成校正来自多个传感器/源的图像和/或相关数据。可以安排至少一个处理器来处理所捕获的图像以基本上实时地或以轻微的时间延迟，例如时间延迟，来识别和/或分类资产。可以安排至少一个处理器来对所捕获的图像执行分析。原始图像数据可以与分析处理并行记录。中央控制器可以根据数据输入速率和处理速率来确定要同时执行哪个进程。

图像记录可以包括将数字图像/帧存储为平面(例如二进制)像素数据格式，或者作为众所周知的格式例如jpeg的压缩图像，诸如带有位置标识符。同样，来自激光传感器的原始数据可以采用压缩格式进行记录。对于平面文件格式，图像文件头信息可以在随后的处理阶段添加(例如不是实时或接近实时的)。

可以安排至少一个处理器来处理所捕获的图像和/或激光数据以分析资产状态。资产勘测系统可以实时输出资产标识、位置和/或状态，例如以使得当资产在传感器视场内可见时、与通过自动资产分析系统的它们的检测之间时基本没有延迟或可忽略的延迟。这允许操作员在车辆实时接近或通过这些资产时查看轨道资产数据。资产状态分析器可以在图像和激光数据捕获之后实时或者在相对短的时间延迟之后输出资产状态，例如几乎实时地。在本发明的任何示例中，与车辆的行驶时间或速度相比，所捕获的数据处理时间可以包括相对较短的时间段或速度，例如行程时间/速度的一部分，例如，小于车辆行驶时间/速度的一半或四分之一，或者在正常车辆速度下比车辆行驶时间/速度小一个数量级或更多。在接近实时的情况下，传感器能够查看资产，以及当使用资产状态分析仪在数据库内将其测量的属性记录为具有其测量属性的发现时之间具有短暂的延迟。基于硬件能力和数据分析软件的复杂性，这种延迟可以变化。该系统还允许进行脱机数据分析，从而实时获取数据，但在稍后时间脱机处理。

数据存储器可以包括经处理的图像数据存储和/或缓冲器。经处理的图像数据存储可以包括图像、原始激光读数、和相关联的资产分类和/或状态数据。经处理的图像存储可以包括对应于所存储的图像的位置数据。

数据处理器可以包括中央处理器以及现场可编程门阵列中的一个或两个，例如，用于记录来自图像捕捉传感器以及图形卡的所接收的图像/帧数据。在不同处理器之间划分处理步骤的能力有利于定义处理阶段的层次结构，例如使得一些处理阶段可以优先并且可以实时执行，而其他大部分计算上昂贵的处理可以在近乎实时或在图像捕获后有延时执行。

数据处理器可以包括传感器数据整理/管理模块和数据分析模块。可以提供更详细的数据检查模块作为系统的一部分，但可以仅由中央处理器选择性地使用。

资产状态分析器可以确定资产和轨道/导轨之间的距离/间距。资产和轨道之间的间隔可以包括该状态特征或一个状态特征。预定阈值最小距离可以设置，例如，以便如果资产已经侵害铁路，就会产生警报。

资产状态严重性等级可以定义，例如，指示由资产构成的操作风险。资产状态特征可能与严重性等级上的点或值有关。可以确定多个资产状态特征的集合并将其输出作为资产状态严重性等级上的点或值。严重程度等级上的一个或多个阈值可用于确定是否需要与资产有关的动作，例如资产检查、修理、修改或移除/替换。如果满足/超过一个或多个阈值，则可以输出合适的警报。

资产分类器可以用作新奇/异常检测器。如果资产分类器识别不符合分配预定资产类型的标准的检测到的资产，则资产分类器可以记录新奇资产检测的实例。资产分类器可以记录以下任何或任何组合：其中未分类资产可识别的图像；未分类资产的位置；针对未分类资产的经处理的图像数据(诸如表面特性和/或轮廓)数据。此记录可能稍后进行分析以创建新资产类型或将现有资产类型分配给资产。

可以提供警报模块，其可以接收资产状态特征并确定是否满足一个或多个警报条件。警报标准可以基于资产类型和/或新奇/异常检测来设置。可以在警报输出之前执行语义知识比较，例如，以避免误报，至少对于某些资产类型。

数据处理器可能附带有负责图像或激光数据压缩的附加硬件。在某些情况下，传感器模块可以具有用于数据压缩或执行一组有限分析的内置模块。

资产状态分析器可以执行资产变更分析。预定资产状态可以包括先前确定的资产状态特征，例如几何或表面特征。可以监控资产方向、形状、边缘和/或颜色的变化。资产状态分析器可以将当前状态特征与一个或多个先前确定的状态特征进行比较。因此，该系统可以即时(即在资产的两次连续通过之间)以及在诸如日、周、月、年的一段时间段中记录资产的变化/退化。根据数据存储能力，可以记录一个或多个状态特性以与稍后确定的状态特性进行比较。简单的资产状态特征值的比较可以避免重新处理先前记录的图像数据的需要。以前记录的资产状态特征可以存储在机载数据存储器中，以便实时或近实时地进行比较。

本发明非常适合于匹配不仅人造资产而且植被分析。纹理/颜色分析、与变化分析相结合，对评估植被造成的风险特别有利。可以提供用于植被状况分析的具体模块以评估生长、季节变化等。在某些实施例中，已经发现对特定植被类型和/或属性的识别是有益的，例如，用于识别铁轨上的叶子和/或植物接近高架线或类似物。

图像处理器可以根据一个或多个像素属性，例如亮度或颜色，来识别图像内的像素群。像素群可用于确定资产的边缘、颜色、纹理、形状和/或其他统计特性。像素群可以表示对象，诸如资产或其一部分。

该系统可以包括多个资产分类器，例如，不同类型的资产分类器。一个资产分类器可以包括或可以不包括基于规则的分类器，例如，采用统计和/或语义规则进行资产匹配。一个资产分类器可以包含或不包含模板分类器，例如，使用一种或多种基于相关性的匹配方法例如神经网络或遗传算法来匹配资产形状/表面属性。一个资产分类器可以包括或不包括特征匹配工具，例如，其中像素群在统计上与预定资产识别表中的资产属性/特征匹配。

根据本发明的另一方面，提供了一种对应于第一方面的系统的铁路轨道资产勘测的方法。

根据本发明的另一方面，提供了一种数据载体，包括根据上述方面的系统或方法的图像处理器的操作的机器可读代码。

以上关于本发明的第一方面定义的任何可选特征可以应用于任何另外的方面。

本发明的系统和方法可以产生轨道的两个和/或三维地图，例如，其中资产位置在包括轨道本身的地图上被识别。

本发明描述了高度集成的传感器和资产状态分析器硬件在单一外壳内的组合，无需分离舱内(数据处理和存储硬件)和舱外组件(相机和激光传感器)。所描述的系统需要最少的外部接口来供电和触发，并提供易于安装和使用的低功率、低重量、紧凑和便携式单元。这样的设计非常适合在客运列车上使用。根据传感器和资产状态分析器硬件的选择，系统可以从每小时1-5英里的低车速运行直至高速列车的速度，例如每小时220英里。

附图简述

以下仅通过参考附图的示例来更详细地描述本发明的可实施的实施例，其中：

图1示出了用于安装到列车的封闭资产检查系统的前视图；

图2从下方示出了图1的封闭资产检查系统的三维视图；

图3从上方示出了图1的资产检查系统的组件的示意性布局；

图4示出了图1的资产检查系统的侧视图；

图5示出了安装在列车上的根据本发明的资产检查系统的示例；

图6示出了根据本发明的示例使用的资产检查系统视场的侧视图；

图7示出了根据本发明的示例使用的资产检查系统的视场的上视图；

图8示出了根据本发明的示例使用的资产检查系统视场的前视图；

图9示出了根据本发明的示例的资产检查系统视场的上视图；

图10示出了根据本发明的示例的图像处理和资产勘测阶段的流程图；

图11示出了结合本发明的示例使用的可移动数据存储和/或处理设备的示例；

图12示出了可由本发明的示例检查的铁路轨道资产的示例；

图13示出了使用根据本发明的系统检查的轨道相关的资产的进一步示例；和

图14示出轨道相关资产的其他示例，包括可以使用根据本发明的系统检查的高架资产。

图15显示了隧道检测设备用于测量隧道轮廓、间隙以及诸如渗水、裂缝等表面缺陷的用途。

图16显示了如何将设备安装在列车上以确定架空电线的位置并检测与其相关的缺陷。

图17显示了架空线柱的各个部分，其可以通过所提出的系统成像并诊断出缺陷。

发明详述

铁路轨道也称为永久性方式，通常由铁轨、紧固件、轨枕(枕木)、压载和下面的路基组成。轨道上或轨道相邻的一些资产对于在轨道上的信号发送和运行火车是很重要的。这些包括与土木工程、电气化、信号、轨旁监测、驾驶员辅助和指导、以及轨道部件本身相关的资产。

图1-图4示出了用于勘测铁路资产的封闭系统10的示例，在此称为“trackvue”。下面描述的示例涉及单个单元或模块，其中放置了资产勘测系统运行所需的所有设备。这种单一的容纳单元非常适合于改装现有的客运或货运列车，并且代表本发明的一个实施例，其优选以多种方式便于安装和操作。然而，本发明的其他示例可以包括安装在铁路车辆上的间隔位置处的多个组件或模块，但是通过合适的本地网络连接进行信号通信。

系统10包括多个成像传感器11，在该示例中包括前面的区域扫描和热成像传感器11a、11b和11c。可见光和热辐射波长都可以由一个普通的传感器立刻感测并且随后过滤以分离可见光和热/红外图像。或者，可以每个具有物理滤波器的成像单元11a、11b和11c中安装不同的单个传感器以控制每个传感器检测到的辐射的波长。在任何一个示例中，都可以记录独立的热/红外(ir)和可见光图像。在其他示例中，可以附加地或可选地使用近红外传感器/滤波器。

放置的成像传感器的数量和配置可根据需要进行改变以覆盖整个场景。每个成像传感器的关键特性包括以下任何或任意组合：无论是彩色还是单色；水平和垂直图像分辨率；扫描频率以赫兹为单位；图像采集设备的接口类型包括gige、camlink、usb等；传感器类型和尺寸；以及，任何内置智能来执行分析，数据压缩或动态调整其成像参数以迎合环境的变化。每个面向前的成像单元通常具有常规镜头12。

trackvue10能够容纳各种各样的成像传感器，包括行扫描14、区域扫描/热成像11、和/或激光成像16以及任何相关的镜头和滤波器，用于获得所需应用的最佳质量图像。可以选择传感器以适应在主线客运、货运、地铁、地下或专用检测列车、以及在轨道适应的车辆上(例如，轻轨)和基于电车的平台上的成像的环境，使得它们的成像传感器可以视特定应用的需要覆盖整个勘测和检查的区域。镜头12可以具有固定焦距或可变焦距并且限定图像捕获所需的视场。可以放置适当的截止滤波器以仅在特定波长范围内成像，并减少来自特定波长的外部光干涉。

虽然这里描述的示例包括全套的成像传感器，但是在本发明的示例的目的，单个传感器或传感器类型将选择性地操作，使得并非要求所有传感器始终可操作。一个或多个传感器可能仅在选定的时间触发操作，或者仅用于某些类型的资产检查，而一个或多个其他传感器可以总是使用。

每个成像传感器可以放置在保护传感器免受外部环境影响的玻璃窗18的后面。

图1和图2示出一个示例性配置，其由中央安装的朝向前的具有广角镜头12的区域扫描成像传感器11b(例如照相机)和防止过度阳光污染图像的过滤器以及能够识别产生热签名的资产的热成像传感器组成。成像传感器11b的视野包括列车前方的轨道。

图1-图4还示出了两个侧面成像传感器11a和11c，其沿着传感器11b的轴线或方向成角度偏移地定向。角度偏移基本上在水平面内，但是在其他示例中也可以包括垂直角度偏移/调整。传感器11a和11c在水平面内的角度偏移可以与传感器11b的对齐轴线偏离大约45°。传感器11a和11c可以提供侧翼传感器，例如，用于成像正在使用的轨道侧面的资产。

图1进一步示出了顶部区域扫描和/或热成像传感器20,能够对包括悬链线视图的顶部资产进行成像。

图2还示出了行扫描传感器14，其定位成以俯视图方式地对铁轨和周围区域(即，地面和低处资产)进行成像。

对于区域扫描成像传感器11a、11b和11c和20中的每一个，它们的视场可以通过改变镜头位置来修改。较窄的视场将产生一个图像，其中每个资产都以更高的像素分辨率表示，而对于更广角的镜头则相反。记录的图像是从场景中的各种对象反射的光的数字表示并且由成像传感器感测。对于热成像传感器，其可以包括合适的热相机或热电堆阵列，记录感测到的热量表示的数字图像。记录的温度值转换成描绘场景中温度变化的图像表示，例如，可以在视觉显示器上输出给用户，并且适用于自动图像分析。每个热传感器和可见光传感器的输出因此是一系列图像/帧，每个包括覆盖感兴趣区域的有序的像素阵列，每个像素具有相关联的颜色、亮度和/或热能(温度)值。

该系统允许调整成像传感器操作参数，例如，动态地或通过应用软件控制，例如孔径、曝光和增益设置来响应由其内部传感器检测到的光量，从而允许记录更好质量的图像以补偿成像区域上的任何照明变化。

图2显示了安装在trackvue10外壳中的成像传感器的更多细节，其负责朝向下轨道成像。作为一种可能的配置的例子，图2的系统使用两个行扫描成像传感器14来对包括轨道的左侧和右侧铁轨和轨道附近进行成像。照相机14通常倾斜以查看铁轨的顶部和轨道侧以及围绕它的地面区域。所覆盖的区域取决于选定的镜头，并且可以基于哪些资产要进行成像以及它们与铁轨的距离进行限制或扩大。行扫描成像传感器14可以是彩色或单色(灰度)。

行扫描传感器以期望的分辨率捕获轨道上的行，例如，默认为0.5mm，并通过将这些行连接在一起形成图像来形成图像。

整个轨道图像数据可以构建为行扫描输出的单个图像。然而，通常将汇总的图像数据分成较小的图像，例如，其中每个分区的大小基于预定数量的行扫描、覆盖的距离和/或图像文件大小来确定。在这个例子中，行扫描计数保持，并且由每2048或4096行扫描定义单个图像。图像的像素宽度由成像传感器能力确定，并且可以超过1000像素，例如通常2048像素或4096像素，尽管不同的分辨率可以用于不同的要求。

行进方向上每毫米像素的成像分辨率是预设值，例如每像素0.5mm，其可以是用户根据需要指定/更改的。对于成像传感器来实现这一点，它必须足够快以适应相关的列车速度。垂直于行进方向的成像分辨率是基于镜头的视场。例如，如果图像宽度为1000毫米并且2048像素代表它，则相当于0.48像素/毫米。

朝向下的图像可以在自然光下或借助集成在trackvue10内或附近的光源22进行。光源22照射由行扫描传感器成像的轨道区域，并允许捕获潜在更好质量的图像，从而进一步提高资产识别的质量。光源可以包括led光源，例如包括高功率led的，可在可见波段或特定波长波段进行操作，从而通过对捕获图像进行自动图像分析来简化资产检测流程。led光源22可以包括单个或多个单元，其可以脉冲化的作为选项以最小化功耗并保持光源冷却。

对于朝向前的成像传感器，主要使用自然光，尽管如果环境光不足，可以选择使用铁路车辆自己的头灯或定制的光源作为照明源。可以集成额外的光源以改善朝向前的照明，特别是在隧道和照明不足的区域。

图2所示的示例系统还包括以激光资产16形式的另外的成像系统，其也可以集成在trackvue10内。激光成像资产16能够对轨道表面和相关联的勘测资产进行剖析。

激光资产16可以包括传统的激光扫描系统，其发射激光信号并且感测所接收的反射信号以确定扫描区域中反射表面的位置。激光设备16通常以点云数据的形式生成轨道的一系列轮廓作为三维数据，该点云数据包括在扫描区域中存在的在表面上发现的点的位置。在每个轮廓中扫描最多可以有3500个点或更多，并且该单元可以以高达5000hz的速度进行扫描。扫描的频率可以基于车辆速度和轨道上扫描之间的期望间隔来选择。覆盖轨道宽度及其以外的每个轮廓由多个表面深度测量值组成。扫描光束的长度、宽度和方向可以修改以适应特定的应用。

可以集成旋转激光模块以生成用于分析的点云数据。旋转激光器允许360°扫描环境。多个三维激光扫描信息可以随时间连接以生成显示轨道的完整三维表示的点云数据。

此外，激光设备在资产上的每次通过都将生成一组不同的点数据，并因此可以累积资产的多次通过/扫描以限定正在勘测的表面的更完整图像。

激光装置16的输出以可用于确定每个资产的轮廓或形状的资产的几何数据的形式提供图像。

该系统设计为使得激光源不会污染其他传感器所读取的读数，因此不会干扰区域扫描、线扫描和/或热成像。

对于以上传感器类型的任何、任何组合或全部，可以控制捕获的图像(线、面积或体积)频率，以便相对于沿铁路行进的距离恒定。因此，一段轨道上的频率或分辨率可能是固定的。为了实现这一点，基于车辆速度来控制图像捕捉或扫描的频率。在当前的例子中，这是通过使用车轮转速计24来实现的，例如，如图5所示，以提供数据捕获调节输入，但是在其他示例中，可以使用任何其他常规车辆速度传感器或里程表来实现类似的控制方案。

多个成像传感器的操作可以同步，使得它们各自同时触发它们的数据采样。因此，在共同时间/位置的不同传感器的原始数据可以在索引数据存储记录内交叉参考。

对于预定的行程距离，例如如由转速表上的预定数量或部分车轮转数所感测的，脉冲信号输出到相关图像捕获资产以启动图像捕获的实例，例如，作为一个帧/区域、行或区域扫描。因此，如果列车加速，相关的传感器(s)将更快地扫描，并且如果列车减速，则扫描速率相应地降低。

车轮转速表24向trackvue连接器/接口26(图3)提供固定数量的脉冲信号用于每个车轮旋转，从而提供总行程距离和车轮旋转速度的数据。脉冲信号的数量根据每转的固定值指定。选择车轮转速表24的脉冲输出速率以在期望的图像分辨率水平下以给定的最大车辆速度工作，例如，使得最大扫描速率在成像传感器的上限内。trackvue结构独立于转速表或速度传感器的选择，可以在接口26上接收任何合适的脉冲或其他频率控制信号。例如，固定在车轮上的车轮转速计或使用激光多普勒的便携式车轮都可以工作，因为它们提供以适当的格式的触发，例如晶体管-晶体管逻辑或低电压差分信号格式。

现在转到图2和图3，示出了用于资产勘测系统的操作的图像处理和辅助设备的示例。整个系统大致分为三个独立的舱室/模块，它们一起提供在一个独立单元用于安装在火车上。它们是：(a)装有传感器、光源和其他辅助部件的trackvue外壳的主壳体28；(b)可移动处理单元(rpu)30，其机械地和电气地耦合到主壳体28以使用并且由数据处理、存储和控制硬件组成；(c)电池32也与主壳体28结合在一起以允许系统运行，除了使用经由铁路车辆供电的电力外。

trackvue的主壳体28限定了中空外壳，任何上述成像设备11a、11b、11c、14、16以及任何相关联的光源22均可安装到该中空外壳。相应的开口/窗口设置在壳体28中以允许室外场景的成像。如果需要，主壳体外壳内的内部安装件可以调节，以允许改变成像传感器对其的视角。电动/电气角度调节机构优选集成到照相机/传感器安装件中。

主壳体28具有用于将壳体固定在铁路车辆上的安装件。在这个例子中，壳体28的后壁34具有安装支架36和紧固件38，例如螺栓，用于连接到火车的前部，即火车的前壁。trackvue10的朝向前特性有利于为资产成像提供所需的视场。将trackvue安装在轨道车辆的选定高度以尽可能模仿驾驶员对轨道场景的视野是可取的。

主壳体28以及rpu30两者的内部的冷却对于消除由成像传感器、激光器、led灯以及任何计算设备产生的热量是重要的操作考虑因素。trackvue10的外部在使用中通过火车的运动而空气冷却，并且因此通过将热源热耦合到壳体28的外壁，可以适应任何热源的传导冷却。位于trackvue外部的导电片40或其他合适的结构可能会有利地增加可用表面积以减少对环境空气的热量损失。通风口可以设置在壳体28中以促进壳体内部的冷却空气流动。

适当的冷却风扇42可以设置在主壳体28和rpu30中的任一个或两个内，以促进对流冷却。如果需要，在空气冷却不足以单独维持内部温度在期望水平的情况下，主外壳或rpu30中的任一个或两个都可以设置有液体冷却系统。

主壳体还包括控制/管理电路44，其监视触发/脉冲信号、电源、trackvue10内的设备和环境读数。管理电路44负责设备的操作状态/健康并且可以输出控制信号以调节其使用，以确保设备操作保持在期望的限度内。该电路负责管理许多任务，包括：

a)通过车载温度和湿度传感器监测和调节trackvue的内部温度和湿度。如果这些参数超过了它们所需的阈值，控制电路可以关闭trackvue的电源或其中的单个设备。在这种情况下，警报将通过列车信息管理系统发送到如图5所示的列车48内的监控台和/或任何其他相关通信/监控设备的显示器46。

b)监测电池电量水平并为其充电。这适用于主电池32和/或rpu30内部的电池50。可以通过如上所述的警报来报告电池故障或电量不足的任何警报。

c)修改输入电压电源以适应成像传感器和激光设备的需要，并根据需要重新分配。

d)监测和修改/改进输入触发/脉冲信号的信号质量以控制可视、热量和/或激光图像数据采集的速率。

e)允许和禁止照相机和激光设备的操作以使得这些设备仅在车辆运动时才可用。

f)通过trackvue本身上的lcd显示器52(图4)、列车驾驶室中的监视控制台显示器46和/或远程控制台(图5)向终端用户提供关于各种trackvue组件的健康状态的信息。这个操作数据不是资产勘测数据，而是涉及系统10的健康状况，并可以用于了解操作问题、计划维护等。

g)脉冲led光源或激光器，以降低功耗或减少这些产生的热量。

主壳体28包括警报发送单元54，其使用无线或有线连接将由rpu50内的控制电路或处理设备检测到的任何警报发送到远程位置。警报可能与系统的状况有关，或者与轨道或检测到的资产相关的警报。

在本发明的各种实施例中，主壳体可以包括行程/环境传感器，诸如以下的任何、任何组合或全部：

-提供行程信息的方向的数字罗盘56；

-加速度计和/或陀螺仪传感器58，以提供关于车辆速度、加速度、倾斜和三维位置变化的信息；

-振动传感器60以监测该单元所经历的振动水平；

-标准gps或差分gps装置62，其以设定频率记录车辆的纬度和经度位置。

在本发明的各种实施例中，主壳体可以包括操作控制资产，例如任何、任何组合或全部：

-电源供应单元64以将输入电流(例如24vdc)转换成适用于系统的12vdc或5vdc电源，例如包括相机和激光(例如12vdc或5vdc)；

-加热装置66以在单元温度下降到该最小温度阈值以下的情况下将整个单元加热到最小操作温度；

-除湿单元68，其能够吸收单元内部空气中的水分。

主壳体具有用于数据信号和/或电力的通信的电气/数据连接器，例如以下任何、任意组合或全部：

-一个或多个连接器70，例如内部和/或盲插连接器，其允许rpu30与主壳体28配合。连接器70允许数据和电力传输。

-多个外部连接器，包括用于提供来自车轮编码器的触发信号或其他合适输入的连接器26；

-连接器72，用于从已经转换为24vdc或来自trackvue接受的适当电压的车辆的主电源获取电力；

-连接器74，用于来自外部设备的位置数据，例如，列车上的rfid扫描仪或第三方定位检测系统；

-连接器76，用于通过有线连接将高速数据传输到远程位置，例如到火车数据总线。这可用于需要将大量实时数据传输到车载外部存储器的情况。最终用户可能需要执行更详细的、离线数据分析、或查看从轨道收集的所有图像。

在目前的格式下，由于容量有限，该系统允许使用电池供电进行短期勘测，并使用主电源为其充电。随着电池技术不断发展，预计未来可以通过电池电量进行更长时间的勘测。当前的设计允许电池32在现场容易地从其自己的隔室中交换，并用充电的电池代替以进行记录。电池充电和容量状态显示在lcd显示器52上，并且也传送给操作员控制台46。

在其原生状态由车辆提供给trackvue的电力可能不是24vdc，如果需要，并且因此电力转换器77可以放置在车辆上在trackvue的合理距离内的任何地方，如图5所示，并且应当在24vdc或trackvue期望的电压水平提供不间断的电力。车载控制电路44能够为照相机和激光装置从24vdc输入进一步产生5vdc或12vdc的电力。

图像处理器、软件和数据存储器容纳在独立的rpu30外壳内。rpu30包含用于数据采集和处理的所有计算设备。rpu有目的地以模块化格式提供，使得它可以在需要时容易地移除/替换或者用于脱机数据处理。

rpu30因此包括能够独立处理图像数据的独立单元，只要提供给它相关的输入图像数据流。由于这个原因，rpu设置在其自己的专用外壳内，该外壳可作为主外壳28的模块来移除。

rpu30包括计算机主板78、高速处理器80、现场可编程门阵列(fpga)或图像采集卡82、图形卡84以及非易失性数据存储器86，例如包括一个或多个数据磁盘，在其上提供用于处理所捕获的可视、热和/或激光图像数据的一个或多个软件模块。数据存储器86通常还存储图像(即代表所捕获的图像的像素和/或点坐标数据)和激光数据本身，每个图像和激光测量的位置数据、和/或任何经处理的资产勘测(即资产分类和/或状态)数据。

提供用于rpu30的内部电池50以确保如果该单元从主壳体电池或外部电源断开，则至少内部处理组件可以正常关闭。理想情况下，即使从外部电源断开，内部电池50也允许继续数据处理，即用于已经开始的图像处理工作。内部电池也可以在关闭之前为通信模块供电以传输任何相关消息/数据。

rpu30具有其自己的通信模块88，通常包括常规的无线收发器。该模块可允许车辆操作员以有人参与的操作模式进行通信，或以其他方式在无人值守模式下向操作指挥中心(occ)进行通信。在这两种情况下，与分析或警报相关的数据也可以由本单元发送到列车信息管理系统(tims)。另外，3g/4g无线数据连接设备允许外部访问trackvue。无线连接也可用于远程访问，以执行诊断、软件更新和设备维修。rpu上的诊断可以通过连接外部计算机设备通过允许远程访问包括计算机和控制电路的组件的物理外部连接器90来进一步执行。

为了允许自给自足的运行，rpu30还可以包括一个或多个风扇42，用于冷却单元和/或除湿资产68以吸收内部隔室中的不需要的湿气。

rpu使用盲插连接器70以连接到trackvue主体的主壳体28。这允许rpu按照操作员的要求从trackvue分离，并且可以如图11所示的带回后台以使用对接站92进行数据处理。

rpu允许两种形式的数据处理。首先，实时数据分析，其使用与fpga82和/或图形卡84耦合的高速处理器80的组合来处理由激光成像装置产生的图像/像素数据和/或数字/点数据。在这种分析中，记录的成像结果是即时的，并且缓冲区中不存在处理的数据的增长队列。选择fpga和处理器来处理输入数据的预期数量和速度。其次，使用用于高速处理器和图形卡的软件库可以实现接近实时的数据分析。在这种情况下，分析是快速的但不是实时的，并且，未处理的传感器数据的缓冲区会随着时间的推移逐渐增加。通过如图3所示将rpu保持在车辆73上的主trackvue主体上，或者通过将其分离并随后将其连接到其对接站92的分离的位置，例如后台，可以在所有数据采集完成后继续接近实时分析。另外，rpu30或主壳体28的数据连接可以用于以适合于后续处理的格式卸载记录的图像数据。

图4示出了rpu30可以通过使用手柄94将其拉出而分离。rpu本身形成完全密封的用于户外使用的组件。与rpu30相关的状态或来自控制电路的消息可以直接显示在触摸面板显示器52上，当检查系统时，触摸面板显示器52对轨道上的操作人员是可见的。

图5示出了将trackvue10安装到客运列车48的前部区域的示例，在驾驶室窗口49正下方的区域中。图6至图8显示了关于图1至图4的trackvue所描述的不同成像传感器的不同视场。图12-14显示了可以使用该系统识别的铁路相关资产的各种示例，如下所述。

图6示出了中央成像传感器11b的视野，作为在边界oa和ob内可见的区域。面向前方的中央相机11b能够以彩色或单色(灰度)模式对下列资产以地轨道100本身位于视野中心地成像(见图12)：信号119(见图6)；悬臂150(参见图8)、里程碑109、坡度标桩111、止冲器112、地面控柄台135、天线杆153、用于第三导轨155(参见图13)的电气化缝隙；和弯曲的轨道106、驾驶员标志(线速度、停车等)121、非驾驶员标志(走道板、电网电力线间隙等)122、工作人员警告设备140、信号支持桥151、牵引标志156、旱桥和隧道166以及电缆桥170(参见图14)。

图7显示了成像传感器的视场，即在右侧导轨的边界oc和od内和左侧导轨的边界oe和of内之间可见的区域。根据需要，使用区域扫描相机和/或使用资产的温度在其鉴定和识别中有用的热传感器，以下资产可以以彩色或单色(灰度)模式成像：电气开关设备柜楼61、高架桥165(见图6)；信号或位置柜120、led指示灯141、信号支持146、信号电话152(见图8)；轨道边界117、轮子冲击负载检测器144(见图12)；信号箱108、电气化轨道136、车辆接入点164(见图13)；各种轨道设备118、平交道口泛光灯138、锁定装置139、设备室142、轨道到列车发射器149、牵引安装的辅助变压器或升压变压器158、人行道162、底部接入点163、站平台167、站平台斜坡168和轨道交叉口下169(见图14)。

图8示出了这些传感器向下朝向轨道100的在左侧的边界og和oh和右侧的oi和oj之内的视野。根据需要，使用行扫描相机和/或其中资产温度在其鉴定和识别中有用的热传感器在该视野中，以有色或单色(灰度)成像模式检测以下资产：轨道电路干扰检测器130、阻抗器128(见图7)；轨道101(见图8)；轨道侧面102、枕木103、压载104、轨道中心线z、不锈钢焊接带107、轨道润滑器114、伸缩缝115、绝缘轨道接缝116、tpwstss环路123、应答器125、检测电路连接126、检测电路调谐单元127、检测电路断续器129、轴计算器131、热轴箱检测器132、车轮冲击载荷检测器144、atp信标145、自动功率控制磁体154(见图12)、尖趾110、沙阻力113、踏板133、点机构134、水平交叉道口137、行程测试器148(见图13)；各种信号设备(包括机场跳闸线、登陆探测器、洪水监测器、开关锁指示器、制动块、压低杆、引爆管存放器、钥匙释放器、关闭门(cd)开关)143(见图14)。

图9示出了顶部成像传感器20的视野，作为在边界ok和ol内可见的区域。根据该视野的需要，以下资产以所需的彩色或单色(灰度)模式成像：悬链线160(见图5)、植被171(见图9)、和架空电线172(见图14)。

图9还示出了列车的运动方向，即轨道100的中心轴线z和trackvue内成像资产的对准中心。

当资产在多个视图中成像时，用于自动化资产识别的软件可以以两个视图执行图像分析以提高整体资产识别的准确性。在某些情况下，某些资产可以只在一个视图中得到最佳识别。

激光成像设备16还能够对轨道表面进行轮廓分析以便识别轨道资产，例如：轨道电路中断器130(见图7)；尖趾110、沙阻力113、踏板133、水平交叉道口137、行程测试器148、点加热变压器157(见图13)；轨道润滑器114、tpws回路123、自动警告系统磁体124、应答器125、阻抗键128、轴计算器头131、热轴箱检测器132、轮子冲击负载检测器144、atp信标145、自动电源控制磁铁154(参见图12)。

可以使用一维或二维数据在其上分析独立地进一步分析由激光单元生成的扫描，或者通过首先构建三维表面，然后应用三维数据分析算法来确定资产的位置，并进一步估计它们基于这些轮廓的尺寸和形状测量的身份。这些轮廓受噪声影响，没有通常与成像传感器相关的信息，例如颜色和纹理，仅用于分析激光数据的资产识别软件能取得有限的成功。已发现资产识别和状态评估算法通过将激光传感器数据分析与成像传感器数据分析尽可能结合起来，实现更好的资产识别准确性。

图10详细描述了对于最终用户从传感器到报警/报告工具的整体数据流程，包括图像处理阶段以识别和分析资产状态。根据本发明的示例，任何、任何组合或全部过程的阶段可以自动化。上述成像传感器记录传送到车载trackvue的主处理器80上的数据。如果不需要图像压缩，成像传感器的数据输出可以直接连接到主处理器。如果需要实时压缩，例如至jpeg格式，数据从成像传感器流向一个或多个fpga或图像采集卡82，其会压缩并减少数据量，从而保留最大可能的图像质量以供进一步检查。fpga82还充当用于实时图像分析的硬件并且将与主处理器80一起工作以加载用于分析图像数据的合适的图像分析软件。在fpga82上的输入连接的数量可能受到限制，因此如果需要连接几个成像传感器，则可能需要多于一个fpga板。

处理器80还可以使用图形卡阵列84来使用近实时数据分析来处理数据，或者将其简单地存储在存储器中以便稍后进行分析。原始数据从传感器传递到系统内存以便并行存储以发送它用于处理。主处理器使用三个主要的软件模块。

第一个软件工具用于图像和激光传感器数据采集，并控制采集数据的整个过程，包括来自传感器的数据流、压缩、发送它用于分析、记录系统数据库中的位置(可选时间戳)和存储在物理硬盘86上。

第二个软件工具是用于图像和激光传感器数据分析，并负责实时或接近实时地对采集的数据执行大量处理程序/算法。如果未选择车载数据分析选项，则在收集数据时不执行数据分析。在这种情况下的所有数据分析都是在后台环境中离线执行的。对于这样的情况，fpga可以用一个更简单的图像采集卡来代替，而只能采集数据但不能处理它。

第三个软件工具为最终用户管理图形用户界面，其提供数据查看工具以及执行通用目的数据库管理以确保所有数据及其分析都能够正确记录位置和时间信息。

主处理器80决定哪个软件算法必须用于来自数据存储器内可用算法池的哪个传感器数据。软件算法的实现对于不同的硬件是不同的，例如，它们是否需要在图形卡或fpga上执行。除了将其呈现用于分析到适当的处理硬件之外，还需要将所有原始数据存储到物理存储器86中。对于高速数据采集，实时存储jpeg图像可能非常耗时，并且因此像素数据将存储在平面文件结构中，其通过向其添加标题信息而在稍后将其转换为jpeg数据。压缩格式的激光扫描也存储在非易失性数据存储器86中。数据目录的存储位置可以由系统操作员指定。

该系统在数据存储器86中维护数据库记录，其存储收集的每个原始数据图像，其位置包括gps纬度和经度坐标以及铁路线参考位置。在rfid位置数据可用的情况下，如下所述，除了其他位置数据之外或者替代其他位置数据，这将存储。

整体软件套件的图像分析软件模块部分由主高速处理器80执行，具有或不具有取决于配置的fpga和图形卡的帮助。软件模块或例程是一个独立的软件工具，可以将图像帧(通常以数据格式表示为数字矩阵)或激光数据(作为数字的一维、二维或三维矩阵)，并应用一系列如图10所示的算术运算96a-96e来处理输入数据表示的内容，或者在这些数据内进行测量。

作为数据分析的第一步，资产和新奇检测工具96a首先识别图像内的感兴趣内容。在二维图像的情况下，表示图像的数字矩阵记录图像内的每个位置/像素，表示该像素的亮度的单个值、或表示该像素的红色、绿色和蓝色通道颜色值的三个数值。

一个或多个算术运算用于聚集彼此相邻的相似性质的像素，例如根据图像分割过程。因此，根据亮度/颜色以及与相同/相似属性的其他像素的接近度，通过将像素分配给集群从而将图像分解为一系列集群。对于每个识别的集群，应用确定集群的一个或多个属性的一系列进一步的操作，由此定义集群的特征，其可以指示图像中捕获的资产的对应特征。在此阶段评估的集群特性可以包括集群边缘、颜色、纹理、形状和/或一个或多个其他统计特性中的任何一个或任何组合。

一般的假设是所有像素聚集在一起代表相同的对象/给定其视觉相似性的资产。分类器可以使用所识别的每个集群的属性(例如，基于它已经训练识别的内容来分类或识别图像数据中的对象的身份的软件工具)。因此，使用每个像素群的分类来对由集群表示的资产进行分类。

在系统内实施三种不同类别的分类器以用于资产识别。那些分类器的任何或任何组合可选择性地由主处理器80视为合适使用。例如，可以基于应用每个分类器来分配分类置信度分数。分类器可以按顺序使用，例如，如果通过使用一个分类器应用的置信度分数使得需要进一步的分类器来提高资产/群集分类的确定性。以这种方式，可以按照计算效率或成功率对分类器进行排序，以使得首先尝试一个分类器，然后再尝试一个或多个另外的分类器。作为预先设定的分类器顺序的替代方案，处理器可以根据所识别的像素属性来选择分类器，例如，动态地。

第一种类型的分类器使用一组规则来识别表示真实世界铁路轨道的图像对象或图像群集的身份。一个简单的假设规则可以是：“如果群集物体高度大于其底部宽度的4倍，并且物体距离轨道中心线不到4米，则它是一个信号”。可以添加额外的规则以进一步改进识别的质量，例如，“信号必须有颜色为红色、绿色或黄色方面”。使用基于规则的分类器的关键好处是，铁路的语义规则可以与统计规则相结合，以产生高质量的输出。可以在不影响现有规则的情况下添加其他规则，除非它们与它们相抵触，并且没有明确的培训阶段。

所使用的第二种分类器包括模板匹配方法。对于具有明确定义的形状和纹理的特定资产，它们能够很容易地与模板匹配。资产模板是该资产的代表性图像，其显示为它应显示为-即名义资产图像模板。在现实世界中，同一物体的视觉外观会依赖于图像的物理外观和成像条件而异。尽管如此，将预先存在的资产类型的数字模板与相同资产类型的数字图像进行匹配，提供了一种识别图像是否包含该资产类型以及确切地说明它在哪里(在图像坐标中)的好方法。该系统使用一系列基于相关性的匹配方法以及基于神经网络和基于遗传算法的方法来将像素群与名义资产模板进行匹配。再次，可以根据像素群与名义资产模板之间的相关程度来输出置信度分数。阈值绝对的或相对的置信度分数可用于评估匹配是否足以识别资产类型。

在对已知资产数据进行分类器训练之后，所使用的第三种分类器执行基于特征的匹配。首先从已知的资产图像生成训练数据表。该表由n列和m行组成。前n-1行由从分割的图像集群中提取的集群属性组成。属性可以表示该群集的边缘、颜色、纹理、形状和其他统计属性。最后一列记录资产的名称。表中的每一行现在都表示来自具有该群集的已知身份的单个像素群集的数据。由于该表格是根据内容已知的图像生成的，因此称为训练数据。trackvue系统内使用各种模式识别分类器来学习包括判别分析和神经网络在内的数据。一旦训练完毕，这些分类器就能够识别在系统操作期间实时捕获的新图像中的任何已知资产。任何不能与已知对象产生良好匹配的数据集群都视为图像背景的一部分。

某些轨道资产的身份可以通过他们对轨道床的激光扫描分析以及周围环境的识别来进一步证实。根据以下过程对这些激光扫描进行处理以了解扫描轮廓的形状。

首先，测量表示物体边缘的激光轮廓中的曲率变化点。测量两个连续的高曲率点之间的距离并使用一组规则评估身份。例如，长度接近80毫米的凸起部分表示铁轨头部，如果另外一个这样的部分可以在与轨道的轨距相等的距离处识别出来。因此，在本发明的不同方面，无论是使用激光还是相机成像，资产或资产特征之间的接近/距离都可以用于将资产分类为预定资产类型。

其次，使用扫描段的模板匹配来揭示它们的身份。已知轨迹对象的激光扫描模板可以与获取的数据进行匹配，以确定激光轮廓内是否存在给定的资产。模板匹配过程可以用一维深度信息数据或三维点云数据来执行。

此外，考虑到激光扫描和在相机图像中采集的2d成像数据，基于相应的时间戳和/或与相关特征相关联的位置数据，可以在这些不同类型的数据文件中识别的特征之间的采取交叉参考。从激光扫描获得的基于深度的资产尺寸信息可以通过在成像传感器中测量的二维资产外观进行组合，以改进资产识别。

最后，可以从产生点云的激光数据(随着时间的推移组合在一起的一系列扫描)来创建三维表面。软件可以分析该点云内的群集和模式，并测量距离轨道中心线的物体距离，以确定它们是否代表感兴趣的资产。如果这种分析独立于激光数据进行，其结果可以与相同场景的二维图像分析相结合，以准确地标记轨道上的资产。

可以理解的是，在使用上述资产分类方法时，可以组合使用多个资产属性以提高分类准确性。例如，根据颜色/纹理和一个或多个几何属性例如尺寸、形状、边缘轮廓等组合，对资产进行分类可以给予资产类型匹配更大的置信度。

一旦检测到资产，系统就在数据存储器86中记录资产类型/标签、发现资产的图像标识(例如序列号)、时间戳和资产成像的位置数据、例如，相对于已知的轨道位置。这可以表示记录的最小数据集，并且本发明的工作示例还可以记录一个或多个：图像内的资产属性(关于图像内的质心坐标的信息、水平和垂直的尺寸、兴趣点的坐标或边界像素、颜色、边缘和/或纹理和/或形状数据等)；资产相对于轨道中心线和/或运行导轨(场侧或轨旁)的位置；和检测的置信度，例如0到100之间置信度的值，其中0表示没有置信度，100表示最高可能置信度。置信评估直接基于从一个或多个图像和/或扫描得到的资产属性与已知对象的资产属性之间检测到的匹配水平，并且可以另外考虑对象的可见性(即，根据是否资产部分受阻挡和/或照明条件的质量)。

使用上述技术进行资产分类，资产识别工具96a也可以用作新奇/异常检测器。如果使用不匹配任何预定资产模型/类型(例如，不满足最小阈值置信度水平)的可用传感器数据来检测资产或对象，则工具96a可以输出未分类对象的发现。其中记录了存在异常的图像，并且警报输出了标识异常的存在，例如包括它的位置。手动输入可以需要识别资产类型，如有必要更新记录。

一旦资产已被工具96a识别，应用资产状况分析工具96b以评估资产的状况。工具96b可以包括多个软件模块。一般来说，工具96b将比较所识别资产的与预定(即名义或先前记录的)资产模型的积聚图像数据。模型的精确细节和/或所执行的比较在不同资产类型之间通常会有所不同。在某些方面，这可以类似于上述的模板匹配过程，除了现在资产类型已知之外，成像资产和预定模型之间的差异可以提取和/或量化以提供资产状态的账户。

可以在资产的几何属性之间进行比较，例如诸如资产取向，例如，角度取向或相对位置，或一个或多个资产维度。可以在预定和测量的资产的表面特性(纹理、颜色)之间附加地或可选地进行比较。

资产的表面状况可以分析用于检测：(a)资产的磨损；(b)外部标记例如涂鸦；(c)部件损坏或缺失；(d)改变方向表示损坏；(d)如果先前的信息可用于预计在某给定部分轨道上的资产，则缺失资产；(e)由于其上的积雪、泥土或沙子而造成资产遮挡。成像传感器可以根据其视觉外观、颜色变化、表示裂纹的边缘的存在、物体边界方向的变化等来评估资产状况。

热传感器可以提取有缺陷的资产，例如预期热特征受到影响的断裂的电缆。激光扫描提供了宝贵的深度信息，可以表示资产的某些缺陷。这种分析必须在资产得到可靠识别后进行。资产的深度剖面的突然变化可能对某些人来说是正常的，而在其他情况下可能是异常的。例如，信号的深度剖面变化是相当正常的，然而，人们并不认为在轨道上它应该标记为缺陷。

资产确认和/或状况分析的一个方面包括资产可见性。一旦系统在捕获的图像数据中识别了资产，过程96a或96c就可以从记录的图像流中确定资产首先变得可见的图像。通过比较资产可识别图像的位置和资产的位置，系统能够输出资产的可见距离。可见距离可以针对资产记录。在资产可见距离低于阈值可接受值的情况下，可以相应地创建警报或日志。因此，任何资产可视障碍会很容易识别出来，并在必要时予以纠正。

资产状况分析工具96b可视为提供一种类型的资产状态评估。图10示出了用于各种其他资产状态评估的更多工具96c、96d和96e。

间隙测量工具96c通过其靠近轨道100来评估资产对铁路造成的操作风险。所有轨道需要观察固定的结构尺寸，其限定可以在轨道上操作的机车车辆的尺寸，并且通过桥梁和隧道。trackvue图像和激光数据分析识别出轨道附近存在的已知或未知物体，其侵犯了清除范围。记录侵犯了清除范围的位置和/或时间戳。

在上述过程中，可以理解，轨道轨道本身将由各种成像传感器捕获，并且因此可以作为资产进行处理。在定义的轨距和间隔轨枕上存在的导轨可用于分类轨道。因此，轨道的中心轴线可以定义为位于导轨和中间，并且某些轨道属性可以从可视和/或轨道的激光成像确定，例如轨道曲率/方位和/或轨道中的任何异常。架空电缆也可识别为与轨道或轨道轴相关的资产。资产与轨道和/或架空电缆的接近度可以确定并记录为资产状况或相关风险的一个方面。

资产的位置数据可以从系统的一个或多个合适的位置传感器确定。位置传感器62(图3)是根据纬度和经度坐标提供输出的gps传感器。这对于构建检测到的资产的地图/计划是有用的。然而，资产的位置可以附加地或可选地相对于沿着轨道的距离和距离轨道的距离来定义，即根据相对于轨道的坐标/定位系统。定位相对于轨道的位置的一种方法包括使用转速计24(图5)以根据车轮转数来确定沿着轨道行进的距离。其他行驶距离传感器可以涉及rfid传感器，用于检测位于沿着轨道的已知位置处的rfid标签。使用多个传感器类型的位置确定可以用于提高trackvue位置的确定性，从而确定资产位置。

通过使用植被分析工具96d，使用面向前方和朝向高空的成像和激光传感器数据分析来测量朝向轨道和架空线的植被侵占。植被检测是基于植被的颜色、纹理和边缘属性以及潜在的其热属性。测量植被轮廓、该轮廓内部的密度、颜色、高度和尺寸属性。高空成像传感器可以精确分析沿着植被的架空线的位置并测量两者的接近程度。如果邻近区域侵犯了清除范围，则会报告超出范围。朝下的照相机还能对识别并报告的叶片和杂草进行成像。

此外，通过工具96d可以适应生长剖析，使得由于生长和/或季节变化，植被范围的预期变化可以应用以确定植被是否会在不久的将来侵入清除范围。

变化检测工具96e在一段时间内识别轨道本身或其他资产的变化。为此，使用包含以前分析和原始数据的历史数据。对于轨道上的每个位置或每个相应的资产，比较来自多次运行的图像内容，即在不同时间拍摄的对应图像。变化检测的例子包括：(a)对以前不存在但现在出现的轨道上的对象(感兴趣的资产或其他)的识别，反之亦然。这可能是维护活动或环境变化的结果；(b)资产对象的视觉外观的变化，例如破损的屏障；(c)环境变化，例如植被过度生长。

已经发现，关于轨道布局的语义知识或领域知识的结合在形成资产识别和/或分析工具的一部分的人工智能机器学习算法中是非常重要的。这有助于消除错误的检测和分析，并且对感兴趣的对象(资产或缺陷)提供更好的识别率。连续运行的比较也可以帮助消除误报。

虽然上述系统是根据车载处理步骤进行描述的，但实时图像数据记录允许捕获的数据的随后分析以用于资产识别和状态评估。图11示出了用户控制台或系统，通过其由rpu30(图3)存储的成像数据可以在数据捕获之后的时间分析(离线处理)。对于离线处理，rpu30可以在后台中分离和使用。它需要在这种环境中的对接站92以接收电力用于继续数据分析操作。对接站92通过合适的电力连接器97从供电干线供电，并通过使用合适的电力转换器将其转换成可由rpu30使用的电力。通过使用引导销98来辅助正确的对接，所述引导销98对准站92中对应的对接结构以用于可靠的机械和电连接。rpu30的电力/数据连接器70由对接站92中的相应连接器接收。为了使rpu和对接站在任何离线数据分析或查看中涉及的延长的操作周期中冷却，使用空气/传统的对接站92中的冷却单元99，可以使用传导冷却或液体冷却。为了使用rpu内的数据进行查看和报告，或者用于下载或上传文件，对接站可以连接到使用标准数据连接通过它访问rpu的计算机，例如，usb或以太网/rj45连接器。rpu可以连接到本地网络，以通过相关的网络连接进行远程访问。

综上所述，trackvue可以提供一种紧凑的解决方案，从而所有的传感器和处理设备都可以包装在一个单独的坚固组件内。该解决方案旨在便于连接各种车辆，特别是客运和检查列车，并且比传统的使用单独舱内和舱外设备的轨道勘测和检查系统更加紧凑。trackvue专为低功耗而设计，这是在客运列车上使用的关键推动因素，通过减少使用的电子元件数量，改进系统设计，以及选择低功耗但高性能的组件。与现有检查列车系统相比，trackvue操作的外部依赖性显著降低，并且可以与操作员控制台进行无线通信。因此，整体设计显著减少了布线/安装负担，因为相机和激光设备之间的所有连接、处理设备和数据存储均位于trackvue外壳内部。

trackvue可以在“有人值守”和“无人值守”模式下工作。在“有人值守”模式下，操作员通过控制台应用程序通过系统的开机开始轨道勘测和检查过程，在启动之前如果需要允许应用程序更改任何设置，否则应用默认设置。在轨道勘测中，任何警报都会通过桌面应用程序在它们的控制台上反馈给操作员，应用程序可以提供实时显示已勘测和检查的图像和统计数据。对于实时图像和激光数据分析，检测的任何资产都会呈现给操作员，并可以叠加在地图上。在接近实时的图像/激光数据分析的情况下，等待处理的图像/激光数据池维护并记录在数据库中。为所有收集的资产和数据显示使用一个或多个位置传感器(例如，gps、线参考、rfid)的车辆位置。对于基于激光扫描的超标测量，带状图可以显示与预设阈值相比较的测量值。因此，使用本文描述的勘测系统可以生成在其中轨道和所标识的资产标记的所勘测路线的二维或三维地图或计划。

在系统外壳和安装在车内的控制台之间建立至少一个无线或有线连接用于操作员检查和/或使用。这实时传输原始数据、资产、它们状况、测量值和系统状态信息给操作员，其可以在控制台上显示。

报告工具允许生成一系列资产勘测报告和图表。报告和图表的格式针对最终用户进行了优化。在操作员控制台上显示与trackvue性能或故障相关的任何问题以进行更正。在车辆运行结束时，控制台还显示数据分析的当前状态。如果选择实时分析，则在当前运行结束时完成所有分析。在接近实时分析的情况下，控制台显示等待处理的数据量。在此阶段，操作员可以选择继续进行分析，或停止分析。任何未完成的分析都可以在下次启动trackvue时执行，或者通过移除rpu并将其连接到电源，例如在后台环境的对接站，用于完成所有剩余的数据分析。在这种情况下，rpu可以替代后台环境中的数据分析。一旦数据分析完成，可以通过usb连接将结果从其中卸载，通过复制资产图像和结果数据库，或通过简单地移除可拆卸磁盘。

最终用户可以在办公室环境中使用单独的脱机桌面软件来执行多项任务，包括：(i)使用铁路路线图或其他可用的gis地图来查看检测的资产及其状况，并应用工具用于消除任何错误的检测；(iii)生成维护详细的资产及其状况的勘测报告；(iii)比较以前多次运行的分析以查看轨道状况的变化；(iv)生成清除例外报告，详细说明清除范围破坏的位置；(v)为所有信号、水平交道口和架空线生成风险评估报告；(vi)利用来自二维图像分析的信息生成标记为内容的激光扫描构建的轨道环境的3d地图；(vii)生成一份详细说明轨道上的新特征的报告，例如多余的沙子、泥土或雪、或不寻常的物体；(viii)生成详细描述植被密度和植被类型(草地、灌木、树木)的植被概况报告；还报道了从向下观看的轨道上的叶子和杂草的存在和密度；(ix)打印或输出便携式设备的各种缺陷数据、报告和任何其他统计数据；(x)对设备维修或更换的针对短期或长期战略规划的维护计划；(xi)任何轨道更新的计划；(xii)将分析导出到集中的工程数据管理系统，其包含更广泛的轨道状况信息组；(xiii)将分析导出到任何网络门户或外部数据库；(xiv)将分析输出到可供轨道工程师用于在轨道上行走的便携式设备；和(xv)将自动数据分析报告与相关的轨道维护或轨道行走记录进行比较以审核其质量；和(xvi)检查与激光扫描数据集成的成像传感器数据分析。在这种情况下，首先在2d图像分析中识别资产，并对激光扫描生成的点云集群进行评估以在其中找到相同的资产。对于好的匹配，激光点云数据集群标记为识别的集群。

现在提供工具来导航这些标记的3d数据，以便了解已知资产的三维位置，并使基于距离的测量值以了解资产之间以及轨道中心线和资产资产的空间关系。桌面软件的使用还允许从外部来源导入更多数据，以便为操作人员提供用于数据解释的上下文。

在铁路车辆车载使用期间，在“无人值守模式”下，系统在从外部电源接收电力时自动启动。一旦来自车轮转速计或其他合适的信号输入的数据确认车辆处于运动中，则数据采集传感器和照明单元触发以开始操作。如果车辆停止的时间大于预设的阈值，则传感器停止记录。该系统不需要控制台来显示数据采集或缺陷分析。相反，结果直接传送到列车信息管理系统(tims)，或通过电子邮件/无线通信传送到外部命令控制中心(ccc)。对此类通信采取的进一步行动由tims或ccc负责。如果在无人值守系统上采用“接近实时”的数据分析方法，则只要有主电源或电池电源可用，它就会编程为继续数据处理，并在需要时缓冲数据分析以供将来运行。

所开发的系统设计用于资产状况进行成像和评估，如图12所示的铁路轨道上的地面上的资产，如图13和图14所示的轨道周围的和在地面以上的不同高度的资产。对于每个资产，其距离轨道中心线的以毫米为单位的距离，可以注意到沿着轨道的从一个固定的参考点的它的尺寸和位置。此外，还记录gps、rfid和/或线路参考位置。

该系统可用于各种任务，包括资产识别和定位、资产状况监测、变化检测、信号和水平交叉口和风险评估、包括架空线风险评估的植被剖析、生成具有资产嵌入到其中的轨道的2d和3d地图、具有隧道表面评估的间隙测量和隧道剖面测量、新奇和威胁物体的检测、以及诸如曲率的轨道性质的测量。因此，本发明可以允许使用可用的位置数据来绘制分析结果以产生用于打印或输出的地理信息系统(gis)地图。通过定期重复分析，可以检测部件状况的变化以及与信号可见度和架空线的植被侵占有关的风险等级的变化。

图15显示了使用该系统进行隧道检查的一个示例。当车辆向前移动时，激光扫描传感器171扫描隧道172的360度空间轮廓。由激光扫描产生的扫描轮廓产生螺旋形状的数据线圈。采样点a、b、c和d的接近度将基于传感器采样速度和分辨率。该设备产生传感器171与物体测量的特定点之间的距离，例如a。接下来对激光轮廓数据进行校正，以考虑由传感器经历的动力导致的数据采集期间三维空间中的传感器移动，包括横向和纵向加速度、冲击和振动、以及轨道特征的变化，例如轨道几何形状、曲率等。将惯性传感器数据与该轨道的已知轨道几何信息相结合用于激光数据轮廓的校正，以使其与轨道中心线cl相关。然后将校正后的数据与所需的最小或最大允许间隙阈值进行比较，以生成清除异常和隧道变形信息。trackvue内的热传感器可以创建隧道突出显示的渗水区域173的热剖面。类似地，可以分析光学图像数据以确定隧道壁174上的裂缝、断裂和异常表面特征。

图16显示了使用该系统的架空电线检查的例子。电线177包含非常高的电压电流，其通过受电弓175传送到列车。使用多个传感器来测量多个架空线参数，包括线高度、交叉和厚度。激光扫描传感器估计其自身与架空电线177之间的高度距离。通过使用来自轨道的轨道几何形状和惯性数据(导轨位置、轨道曲率和倾角)来校正原始数据中的这种高度测量以确定从轨道上固定参考点的架空线的真实高度。线的交叉指的是线相对于轨道上的固定参考点的横向运动(垂直于运动方向)。如果线不在轨道中心线的正上方，则可以通过对线举例轨道中心线的位置进行差分来进行测量，从而提供正或负的交叉。进一步进行电线厚度测量以确定随着时间的推移经常随着磨损而减小的电线直径。可以将线高度、交叉和厚度测量与固定阈值进行比较以确定异常情况。

热传感器进一步与激光传感器耦合，以查看受电弓与架空线176之间的接口点。这用于检测列车运行中的放电(电弧)。拍摄每个弧段并记录轨道位置和时间。进一步使用区域扫描来监测受电弓相对于架空线的在图16所示的范围p1-p2内的横向移动。过度的横向移动导致受电弓受损并且必须检测和报告。

trackvue系统进一步使用高分辨率区域扫描照相机，其可以触发以获取图17所示的架空线柱188的高质量图像以供进一步分析。这些柱或杆提供结构支撑以沿着轨道保持架空电线。每个柱均匀地沿着轨道与轨道中心线相距固定的距离。随着时间的推移，在该柱上的多个支撑结构可能受到损坏(破裂、损坏或缺失)，包括电缆吊线178、支架179、铰链180、滴管181、桅杆182、开关线183、铰链184、稳定臂185、定位臂186和接触线187。捕获的所有柱的高清晰度图像由状态分析器硬件和软件处理，以确定这些缺陷和异常，这些缺陷和异常通过轨道位置和时间数据报告给用户。

对于测量需要与固定轨道位置对齐的所有情况，例如在隧道和架空线测量中，必须应用对数据的修正以考虑激光传感器s在三维空间中的位置。传感器s的位置在经历横向和纵向加速度的移动平台上是可变的。轨道几何和基于惯性数据的校正对于导出正确测量是必要的。

因此，该系统可用于生成资产风险报告，其中将包含有关它们的身份、位置、可见性、清除状态、和/或风险严重性的信息。包含通过使用本发明获得的信息的报告可以用于规划资产检查、维护、修理、移除和/或替换。