轨道交通线路环境安全智能监测方法和装置与流程

本发明涉及轨道交通安全监测领域，具体地，涉及一种轨道交通线路环境安全智能监测方法和装置。

背景技术：

铁路作为国家重要的基础设施、城市间彼此联系的纽带以及国民经济的大动脉，在完善交通设施、加快经济增长和提高人民生活水平方面等起着至关重要的作用。同样，铁路运营过程中所产生的灾害同样不可忽视，否则会使国有资产和人身安全造成重大损失。

对铁路行车安全产生危害的因素主要包括雨、雪、风、水灾、地震等自然灾害，以及线路软土下沉、线路边坡崩塌、落石落物、人畜穿行等施工质量和人为灾害，严重危及铁路运输安全。因此，准确及时地检测侵入轨道限界的异物是保证轨道交通安全运营的关键。

许多国家在异物侵限自动监测领域都有了比较完善的理论体系，也研发了比较成熟的异物侵限自动报警系统。各国在监测异物侵限，保障铁路正常、安全运行方面都做出了重大贡献。

现有技术中对于轨道区域入侵异物的监测还存在很多问题，例如，当通过观察红外线是否被遮挡来判断是否有异物入侵时，设备受环境、天气等因素影响较大，实用性不强。当基于立体拍摄的异物侵限监测系统进行监测时，由于算法复杂性，导致了算法移植困难，实时性不高，同时该方法对系统硬件配置要求也很苛刻。当利用双目视觉检测侵限异物时，相机覆盖范围较小，不适合广泛应用，只能用于特殊路段，而且特征匹配算法较繁琐，快速性和准确性较差。

现有技术中存在的需求是，国内不少线路上都安装有摄像机用于监控线路异常，但这些相机大部分都是需要人工观察，工作量大且效率低，漏报情况严重。虽然国内外已有不少学者研究、设计异物侵限自动报警系统，但这些系统基本都是基于固定相机实现的，监测区域固定，对侵限异物的尺寸大小要求较高，对于车站内部等情况复杂区域就更加难以达到预期的应用效果。

技术实现要素：

本发明的目的在于解决上述技术问题中的至少一个技术问题，具体地，本发明中基于云台的可转动可调焦相机进行异物侵限检测方法可以在很大程度上解决固定相机的缺点与不足。

本发明提供了一种轨道交通线路环境安全智能监测方法，该方法包括步骤：(1)通过相机获得所述轨道交通线路环境的大视野图像作为匹配模板图像；(2)在所述匹配模板图像中界定至少一个危险区域，在所述模板图像中检测出初始特征点；(3)自动检测所述相机当前监控视野中的视野特征点，基于所述当前监控视野中的视野特征点与所述模板图像中的初始特征点的匹配，确定所述相机的当前监控视野与所述模板图像的映射关系，利用该映射关系将所述匹配模板图像中的危险区域映射到所述相机的当前监控视野中，生成所述相机的当前监控危险区；(4)判断所述相机的状态是否变化，如果否，则所述相机利用已经生成的所述当前监控危险区检测异物；如果是，则执行步骤(3)。

进一步地，所述步骤(4)包括：利用帧差法，通过相位和焦距中的至少一个来判断所述相机的状态是否变化。

进一步地，步骤(1)中的所述相机是带云台的调焦相机或者定焦枪机，所述相机为云台相机时，所述模板图像的生成方式是：(a)转动不同的方位角，在每个方位角时，所述相机在小焦距大视野条件下获取相同场景不同时段的图像，将获得的所有不同时段的图像进行配准并融合得到所述匹配模板图像；(b)将分时段或在不同姿态及焦距条件下采集的图像直接作为所述匹配模板图像。

进一步地，所述相机为定焦枪机时，所述匹配模板图像的生成方式是：通过不同时刻采集图像的融合获得匹配模板图像，或者将不同时刻采集的图像直接作为匹配模板。

进一步地，在所述步骤(3)中，通过映射而生成一相机监控危险区的步骤包括：计算得到所述模板图像与所述相机当前监控视野图像之间的一坐标变换矩阵，再将所述危险区域的关键点位置的坐标通过所述坐标变换矩阵进行计算，得到所述当前监控视野下对应的位置坐标，进而生成所述相机的当前监控危险区。

进一步地，所述危险区域的关键点位置是所述危险区域的边界上的端点。

进一步地，计算所述坐标变换矩阵的步骤包括：分别检测所述匹配模板图像中的初始特征点和所述当前监控视野中的视野特征点，然后在所述初始特征点和所述视野特征点中寻找具有相同特征矢量的特征点，获得多个匹配点对，从所述多个匹配点对中剔除误匹配点，获得多个有效匹配点对，根据所述有效匹配点对而得到所述坐标变换矩阵。

进一步地，所述配准并融合的步骤包括：在所述白天图像的中心获得一个小图像，在所述夜间图像的相同位置的周围小范围内的区域内找到相关度最高的位置，得到两幅图像的运动矢量，根据所述运动矢量完成运动补偿，利用补偿后的图像完成图像融合。

进一步地，获得匹配模板图像后，危险区域的确定通过手工划定或者自动识别，该自动识别的过程进一步包括：a.进行小波分析；

b.进行形态学预处理和连通域标记；c.进行hough变换，从多根直线钢轨中检测到至少两根直线钢轨；d.确定所述至少两根直线钢轨中任意两根直线钢轨的消隐点；e.极向投影，准确确定所述多根直线钢轨中的未检测到的其他直线钢轨的位置；f.利用检测到的直线钢轨来确定所述危险区域，优选地，利用检测到的最外侧两条钢轨确定所述危险区域。

根据本发明的另一方面，还提供一种轨道交通线路环境安全智能监测装置，该装置包括：至少一台相机，所述相机是云台相机或则定焦枪机，所述云台相机的方位角和焦距能够被调整，通过所述相机获得所述轨道交通线路环境的模板图像，在所述模板图像中界定至少一个危险区域，在模板图像中检测初始特征点；监测装置，连接至各个所述相机，所述监测装置配置成：自动检测所述相机的当前监控视野中的视野特征点，基于所述当前视野特征点与所述模板图像中初始特征点的匹配，确定所述相机的当前监控视野与模板图像的映射关系，利用该映射关系将所述危险区域映射到所述相机的当前监控视野中，生成一相机当前监控危险区；当判断所述相机的状态没有变化时，则所述相机利用已经生成的所述相机当前监控危险区检测异物的出现；如果所述相机的状态发生变化，则重新生成所述相机当前监控危险区，进而检测异物的出现。

进一步地，所述相机配置成，在不同的方位角获取匹配模板，匹配模板采用不同时间段图像的融合获得，或者直接利用采集的图像作为匹配模板。

本发明通过上述技术方案，实现的优于现有技术的有益技术效果包括：实现异物的实时自动检测，工作量大为减少且效率显著提高，减少漏报情况。本发明中基于云台的可转动可调焦相机进行异物侵限检测方法可以在很大程度上解决现有技术中的固定相机的缺点与不足。本发明基于可转动可调焦的云台相机实现铁路异物侵限检测，旨在通过有效可行的处理算法实现相机转动和调焦后铁路限界区域的自动判断，进而通过图像检测算法实现该场景下异物的自动检测。

附图说明

图1示出了根据本申请的识别限界区域流程图；

图2示出了根据本发明的匹配示意图；

图3示出了根据本发明的原图中标记的限界区域；

图4示出了根据本发明的相机姿态变化后重新标记的限界区域。

图5(a)－5(d)示出了haar小波变换结果，分别是ll、hl、lh、hh。

图6示出了二值图像。

图7(a)－7(c)示出了二值图像中钢轨的断线重连，分别是原图、膨胀结果、和再腐蚀结果。

图8示出了连通域标记示意图。

图9(a)和9(b)示出连通域标记处理结果，分别是(a)筛选前和(b)筛选后。

图10示出了消隐点成像模型。

图11示出了hough变换检测结果。

图12示出了极向投影示意图。

图13示出了极向投影曲线。

图14(a)和14(b)示出了六条钢轨的位置。

具体实施方式

本发明的核心在于限界区域自动判断方法的设计，尤其是相机方位角和焦距调整后限界区域的自动匹配生成方法。本发明针对可转动可调焦的云台相机，与固定相机相比适用范围更广，通过云台带动相机调整方位角，可以实现更大范围场景内物体的检测，也可以通过调节焦距实现对可疑目标的放大，进而对目标进行确认。车站内及铁路重点区域已安装有大量云台相机，但目前这些相机基本都只能用于实时监控，均没有自动分析与检测功能，通过本发明的方法可以为这类相机增加自动分析和自动检测功能，对提高铁路限界安全具有重要意义。

相比于传统的预先标记报警区域，本发明算法首先分别在最小焦距、最大视野下获取相同场景下的白天和晚上各一帧图像，配准后将两幅图像融合得到一副新图像。当相机方位角或焦距发生变化以后，能在新图像中利用变换矩阵将原监测区域自动映射到新图像中。整个算法只需识别一次限界区域，后续通过匹配完成新的图像的区域标记，可以很大程度上减少误检、漏检状况，而且可以节约程序运行时间，能够极大的减少设备安装、调试过程的时间成本，满足实时性要求。

整个系统的工作过程如下：

1、使用的云台及电动调焦镜头能够设置一个或几个预置位，可以通过通信接口由计算机控制云台转动到预置位，确保相机方向、焦距发生变化后点击预置位相机姿态可准确恢复到原来的状态。

2、为保证在所有光线条件下都能完成后续匹配识别，针对某台可转动可调焦相机分别在不同光线(例如：白天、夜间等)在最小焦距条件下各采集一幅图像，为防止由于风等因素造成的相机的轻微晃动，先对两帧图像做配准，然后根据匹配结果将图像融合，得到的新图像包含两张图像的信息，与白天和晚上的图像均能很好的匹配。

3、在第2步获得的融合图像中手动划定限界区域或通过钢轨自动识别方法完成最大场景图像中限界区域的自动生成，提取第2步图像中的特征点作为初始特征点进行标记，相机算法自动识别出监控视野中的限界区域，并做好标记，记录区域关键点坐标。

4、各相机根据帧差法不断检测相机状态是否发生变化，如果没有发生变化，则继续使用自动标记出的危险报警区域，若相机状态(方位角或焦距)发生改变，从图像中提取新的特征点，并与最小焦距条件下获得的图像进行配准和特征点对准，计算从原始融合图像到新图像的坐标转换矩阵，利用该矩阵将原始图像中的限界区域映射到新图像中，取新图像中映射的限界区域作为新的限界区域进行异物侵限报警判断；

当有异物入侵到标记出的限界区域时，首先标记出物体位置，进而利用轨距常数作为基准大致估计侵限物体尺寸，该方法通过获得各轨枕延长线的消隐点，再依据钢轨轨距常数估计异物尺寸大小，工作人员可以根据异物大小的不同采取不同的应对措施，保证能够在最短时间内解决问题，保障行车安全。

根据本申请的一个实施例，提供了一种轨道交通线路环境安全智能监测方法，该方法包括步骤：

(1)通过相机获得所述轨道交通线路环境的大视野图像作为匹配模板图像；

(2)在所述匹配模板图像中界定至少一个危险区域，在所述模板图像中检测出初始特征点；

(3)自动检测所述相机当前监控视野中的视野特征点，基于所述当前监控视野中的视野特征点与所述模板图像中的初始特征点的匹配，确定所述相机的当前监控视野与所述模板图像的映射关系，利用该映射关系将所述匹配模板图像中的危险区域映射到所述相机的当前监控视野中，生成所述相机的当前监控危险区；

(4)判断所述相机的状态是否变化，如果否，则所述相机利用已经生成的所述当前监控危险区检测异物；如果是，则执行步骤(3)。

在根据本申请的实施例的上述方法中，可选地，在步骤(4)中可以利用帧差法，通过相位和焦距中的至少一个来判断所述相机的状态是否变化。

优选地，在一个实施例中，所述相机可以是带云台的调焦相机，也可以是定焦枪机。

当相机为云台相机时，所述模板图像的生成方式如下：(a)相机转动不同的方位角，在每个方位角时，所述相机在小焦距大视野条件下获取相同场景不同时段的图像，将获得的所有不同时段的图像进行配准并融合得到所述匹配模板图像；(b)将分时段或在不同姿态及焦距条件下采集的图像直接作为所述匹配模板图像。

优选地，根据本申请的一个实施例，所述相机为定焦枪机时，所述匹配模板图像的生成方式是：通过不同时刻采集图像的融合获得匹配模板图像，或者将不同时刻采集的图像直接作为匹配模板。

优选地，在所述步骤(3)中，通过映射而生成一相机监控危险区的步骤包括：计算得到所述模板图像与所述相机当前监控视野图像之间的一坐标变换矩阵，再将所述危险区域的关键点位置的坐标通过所述坐标变换矩阵进行计算，得到所述当前监控视野下对应的位置坐标，进而生成所述相机的当前监控危险区。

优选地，所述危险区域的关键点位置是所述危险区域的边界上的端点。

优选地，在本申请的实施例中，计算所述坐标变换矩阵的步骤可以包括：分别检测所述匹配模板图像中的初始特征点和所述当前监控视野中的视野特征点，然后在所述初始特征点和所述视野特征点中寻找具有相同特征矢量的特征点，获得多个匹配点对，从所述多个匹配点对中剔除误匹配点，获得多个有效匹配点对，根据所述有效匹配点对而得到所述坐标变换矩阵。

优选地，所述配准并融合的步骤可以包括：在所述白天图像的中心获得一个小图像，在所述夜间图像的相同位置的周围小范围内的区域内找到相关度最高的位置，得到两幅图像的运动矢量，根据所述运动矢量完成运动补偿，利用补偿后的图像完成图像融合。

优选地，在本申请的实施例中，在获得匹配模板图像后，所述危险区域的确定通过手工划定或者自动识别，所述自动识别的过程可以进一步包括：a.进行小波分析；b.进行形态学预处理和连通域标记；c.进行hough变换检测钢轨直线；d.确定任意两根钢轨的消隐点；e.极向投影准确确定其他钢轨位置；f.利用钢轨确定所述危险区域。

根据本发明的另一方面，提供一种轨道交通线路环境安全智能监测装置，该装置包括：至少一台相机，所述相机是云台相机或是定焦枪机，所述云台相机的方位角和焦距能够被调整，通过所述相机获得所述轨道交通线路环境的模板图像，在所述模板图像中界定至少一个危险区域，在模板图像中检测初始特征点；监测装置，连接至各个所述相机，所述监测装置配置成：自动检测所述相机的当前监控视野中的视野特征点，基于所述当前视野特征点与所述模板图像中初始特征点的匹配，确定所述相机的当前监控视野与模板图像的映射关系，利用该映射关系将所述危险区域映射到所述相机的当前监控视野中，生成一相机当前监控危险区；当判断所述相机的状态没有变化时，则所述相机利用已经生成的所述相机当前监控危险区检测异物的出现；如果所述相机的状态发生变化，则重新生成所述相机当前监控危险区，进而检测异物的出现。

优选地，在一个实施例中，所述相机配置成，在不同的方位角获取匹配模板，匹配模板或者不同时间段图像的融合获得，或者利用采集的图像作为匹配模板。

为方便理解检测入侵异物的具体过程，现对应用到的算法程序进行具体说明。

铁路场景的限界区域可以界定为钢轨区域和钢轨以外的一定区域，当有异物侵入到限界区域时，如果有列车恰好通过该区域，便可能发生严重事故。因此，自动识别限界区域关键在于自动检测出视频场景中的钢轨。因为云台相机方位角和焦距不定时发生变化，如果每变化一次都检测一次钢轨，有可能造成较大误差，从而影响后续的异物侵限检测，而且会导致程序运行时间加长，不满足实时性的要求。

因此，本发明采取的方法是只在初始时检测并通过特征点标定限界区域一次，当相机角度和焦距发生变化后，当前帧图像与首帧图像特征进行匹配，利用匹配点确定的变换矩阵将原图中的限界区域变换到当前图像中，即采用一次检测，多次匹配的方法进行处理。整个限界区域确定过程主要分为两步：原图中确定限界区域，参见图3，和当前图像中匹配重新标记区域，参见图4。

1)原图中确定限界区域

为了确定限界区域，首要需要检测出图像中的钢轨。为了能够在后续帧中准确的匹配得到钢轨区域，初次检测时必须在最小焦距、最大视野的场景图像上进行，将此条件下获取的图像定义为原图，并在该图上通过自动检测钢轨完成限界区域的自动识别。实际使用中发现，当夜晚图像与白天图像做匹配时，由于光照的影响，晚上图像与白天图像差别很大，几乎没有任何匹配点，也就不能准确的找到限界区域。因此，为了提高算法的实用性，必须找到一个统一的、与任何状态下的图像都能够匹配的模板。

本发明采用的方法是设置相机预置位(经过实验，在无其他外界因素干扰的情况下，通过预置位，云台相机能够准确的恢复到原来的方向、焦距)，首先在天气良好、光照充足的白天保存一张图像，夜间时，使相机恢复到预置位，获得一张夜间的、光照不足的图像。由于可能存在风等外界因素的干扰，导致相机在预置位上发生轻微抖动，白天和晚上两幅图像场景发生少量变化，因此需要对两图像做配准。

优选地，作为实例，配准的方法是在白天图像中心获得一个100＊100的小图像，搜索夜间图像相同位置的周围小范围内的区域，找到相关度最高的位置，得到两幅图像的运动矢量，根据运动矢量完成运动补偿，利用补偿后的图像完成图像融合。算法流程如图1所示。

融合后的图像如果直接检测钢轨，会有许多的误检情况，本设计采用的处理方式是对原始图像进行小波分析，提取出其不同高低频情况下的分量图，通过实验比较发现，在其水平方向高频、竖直方向低频的分量图中，钢轨特征保留最明显，而且可以很大程度上降低噪声影响，因此利用其水平方向高频、竖直方向低频的分量图进行后续处理。图像预处理阶段主要包括直方图均衡化、二值化以及形态学操作等，直方图均衡化和二值化可以使钢轨特征更明显，形态学操作中分别做一次一个像素单位的膨胀和腐蚀，这样可以修补二值图像中钢轨的细小断裂缺口。

由于在最小焦距下，钢轨大部分都是直轨，因此采用经典的直线检测算法hough变换检测图像中钢轨。此时的检测结果中会存在我们所期望的钢轨以及误检出的钢轨上方的接触网。

本发明中，作为实例，优选地，将角度在(0°，90°)，(－90°，0°)的直线分别存放，比较两个直线集合中第一条直线起点的纵坐标，只保留纵坐标较大(更靠近地面)的一个直线集合，即为检测出的钢轨位置。对检测出的代表钢轨的直线像两端延伸，近端可在保持直线斜率不变的基础上直接延伸至图像边缘，远端则做一次区域生长，首先将直线终点标记为种子点，判断二值图像中直线方向上的第一个白点与种子点之间的距离是否小于设定的阈值，如果小于，则把这个点标记为新的种子点，否则标记为直线终点。如此检测出的两条直线之间的区域则为限界区域，如图2中原图像中的红色区域，记录该区域的关键点坐标。

2)当前图像中匹配重新标记限界区域

当相机姿态或焦距发生变化后(如图2中新图像相对于原图像的方位角和焦距均发生了变化)，通过图像匹配算法在新图像中重新标记限界区域。本发明采用的图像匹配算法是sift算法。sift经典匹配算法首先分别检测两幅图像中的特征点，然后在两幅图像的特征点中寻找到具有相同特征矢量的特征点作为匹配点对，剔除匹配点对中的误匹配点，根据多对匹配点(1－1’，2－2’，3－3’，4－4’)计算得到两幅图像间的仿射变换矩阵，再将1)中获得的限界区域关键点位置坐标通过变换矩阵进行计算，得到新图像背景下对应的位置坐标，进而将原图像中检测出的限界区域在当前图像中自动标记出来。本发明的算法在限界区域自动识别标记中效果良好。

作为实例，如图2所示，原图中的限界区域用红色线条框出，假设匹配过程中找到了四对特征点(1－1’，2－2’，3－3’，4－4’)，利用这四对特征点可以确定原图与当前图像的坐标变换矩阵，将原图中的危险区域特征点(红色框的四个顶点)变换到当前图像中为两条淡蓝色线，这两条线与当前图像的交集即为当前图像中的限界区域。图3和图4为利用上述方法在原图和当前图像中自动确定的限界区域。

基于分时图像融合的匹配模板生成的过程如下：

当ptz相机姿态或焦距变化后预设的限界区域将会发生变化，为了能够通过特征匹配在新图像中找到限界，需要维护一个匹配模板。由于天气、光照等自然因素的变化，相机不同时刻的图像质量差别很大，不能直接使用某幅图像作为匹配模板，需要找到一个在不同光照下都能使用的通用模板用于后续特征点对的匹配。

由于ptz相机可通过软件设置“预置位”，当相机恢复至“预置位”时，相机的姿态和焦距即可自动恢复为原来的参数。本文利用ptz相机的这一特点通过分时图像融合方法得到适合各种复杂光线条件的匹配模板，并定期进行更新，使模板包含更丰富的信息。

为了能在匹配模板中找到对应的匹配点，调整相机角度、焦距，使待检测的区域位于相机焦距最小时的视野中心位置，此时的相机视野最大，并将此时相机的姿态和焦距记录为“预置位”。为了使匹配模板能够适应复杂的光线条件，模板按公式(1)进行更新：

m＿i(x，y)＝α＊m＿(i－1)(x，y)+β＊i＿yi(x，y)(1)

其中，m＿i(x，y)是本次更新后的匹配模板，m＿(i－1)(x，y)是上次更新后的匹配模板，i＿yi(x，y)是当前时刻相机恢复“预置位”处采集的图像，α、β是融合系数。为进一步增强模板的适用性，需根据实际光线条件对融合系数α、β进行调整。在白天光线充足条件下，适当增大α，减小β；在夜间光照不足时适当减小α，增大β。根据现场实验经验，白天时取α＝0.8，β＝0.2，夜间时取α＝0.6，β＝0.4。

初始匹配模板m0的获得是通过分别在白天和夜间预置位采集一幅图像，并将采集到的两幅图像按照公式(2)融合实现的：

m＿0(x，y)＝〖0.25＊i〗＿d(x，y)+〖0.75＊i〗＿n(x，y)(2)

其中，m＿0(x，y)是初始匹配模板，i＿d(x，y)是白天获取的预置位图像，i＿n(x，y)是夜晚获取的预置位图像。图1为利用白天和夜间图像按照1：3的比例融合成的初始模板。

获得初始模板后，将tpz相机每天白天和夜间定时获取一幅预置位图像不断更新匹配模板，该模板图像包含了不同时段不同天气条件下的信息，具有更强的适用性。

在本申请的一个优选实施例中，基于小波与形态学的图像进行预处理。

由于匹配模板中铁轨的位置是固定的，因此可以通过检测模板中的钢轨实现模板图像限界区域的自动识别。为了突出图像中的钢轨特征，需要对模板图像进行预处理操作。本申请采用的预处理操作主要分为haar小波分析、形态学断线重连和连通域标记初步确定钢轨三个步骤。

在一个实施例中，通过harr小波分析进行图像预处理。小波分析是对傅里叶分析的发展与延伸，在图像压缩、图像增强、图像去噪和图像融合等领域有着广泛的应用。小波变换的基本思想是用一组小波函数或基函数表示一个函数或信号，获得其时间和频率域的关系。小波变换通过平移母函数(motherwavelet)可获得信号的时间信息，通过缩放小波的宽度(尺度)可获得信号的频率特性。小波变换中，近似值是大的缩放因子产生的系数，表示信号的低频分量，细节值是小的缩放因子产生的系数，表示信号的高频分量。本文使用haar小波完成图像分析。

haar基函数φ(x)定义为

haar小波函数ψ(x)定义为

如对一个包含4个像素的一维图像a[a(1)a(2)a(3)a(4)]进行haar小波变换得到图像b，变换过程如下：

其中[b(1)b(2)]是原图像的近似(低频)图，包含图像a的大部分能量，但是分辨率是原图像的一半，[b(3)b(4)]是原图像的细节(高频)图，能量很少。表1以[11957]为例，展示了2次haar小波变换的结果。

表1haar小波变换过程

从表中可以看出每进行一次小波变换，分辨率减半，因此分辨率为1×4的图像最多只能进行两次小波变换。本文中首先对原始图像逐行完成一次小波变换，再逐列完成一次小波变换，得到原图像的水平、竖直均近似(ll)，水平近似、竖直细节(hl)，水平细节、竖直近似(lh)和水平、竖直均细节(hh)等4个分量图，原图分辨率为960×1280，小波变换后各分量图分辨率为480×640。因为细节分量图能量很小，不利于直接观察，因此分别对hl、lh、hh等3个分量图做直方图均衡化，结果如图5(a)－5(d)。

图中ll分量图保留了原图的绝大部分能量，与原图非常相似，对ll分量图进行处理意义不大。对比其他3个细节分量图，发现hl分量图在保留部分原图信息的基础上，钢轨特征比较突出，因此选用hl分量图进行后续操作。

在一个实施例中，进行形态学闭运算断线重连。

为方便后续处理，对hl分量图做二值化操作。观察发现，图像整体偏“白”，为了获得效果较好的二值化图像，需设定较大的二值化阈值，本文选定的二值化阈值为240，二值化操作原理如下：

其中d(x，y)为二值化后点(x，y)处的像素值，hl(x，y)为hl分量图坐标(x，y)处灰度值。二值化结果如图6所示。

图6中钢轨的某些部分存在“断裂”情况，这会对后期的钢轨检测带来严重影响。本文通过一次形态学闭运算解决二值图像中钢轨的“断裂”问题，完成断线重连。形态学闭运算是一种重要的形态运算，包括先膨胀后腐蚀两个过程。

膨胀是图像向外扩张的过程，可以用于桥接缝隙，填补物体中的细小空洞，而腐蚀则是向内收缩的过程，可以用于消除独立的点或小物体。定义集合a为一副图像，s为进行形态学操作的结构元素，设其几何中心为s[o]s[o]。用s对a进行膨胀可以表示为其中为膨胀算子。膨胀运算定义如下：

该式表明膨胀过程就是将结构元素的中心s[o]与图像a作与操作，若结果非空，此时结构元素所在区域即变为图像a中此处的目标区域，将结构元素s在图像a内平移，遍历整幅图像，s扫过的区域集合即为a中的目标区域。

用s对a进行腐蚀可以表示为a□s，其中□为腐蚀算子。腐蚀运算定义如下：

该式表明腐蚀结果就是将s在a中平移，遍历整幅图像，当s完全被a包围时，s的中心s[o]的集合。

通过先膨胀后腐蚀的形态学闭运算，完成了目标中细小空洞的填充、相邻目标的连接和目标边缘的平滑，完成了二值图像中钢轨的断线重连，使钢轨特征更加突出，结果如图7(a)至7(c)所示。

在一个实施例中，通过连通域标记来初步筛选钢轨。形态学闭运算后的图7中仍存在许多独立的“白点”，以及一片较大的白色区域，这些都会影响后期钢轨检测的效果。本文提出基于8邻域的连通域标记方法降低上述影响。连通域标记就是将二值图像中彼此相邻(8邻域)的“白点”(像素值为1)标记为同一个目标的过程。

参见图8，示出了连通域标记示意图。所示连通区域的标记过程如下：

step1：扫描第一行，得到两个块[2，4]和[7，10]，分别标记为1和2；

step2：扫描第二行，得到两个块[4，5]和[7]，但是它们分别与上一行的两个块1，2的8邻域有重叠区域，所以将[4，5]标记为1，将[7]标记为2；

step3：扫描第三行，同样得到两个块[1，2]和[6，7]，[1，2]与上一行被标记的块的8邻域均没有重叠区域，所以将其标记为一个新的块3，而[6，7]与上一行两个块的8邻域都有重叠，所以标记为两者中最小的标号，即1，块1，2实际为同一个块，所以将块1，2均标记为1，将3标记为2。

step4：遍历图像，直到所有值为1的像素均被标记。

完成连通域标记后，二值图像被标记为许多不同的目标，统计各目标所包含的像素数。实验中发现，像素个数小于150的都是一些零散的噪声，而像素个数大于5000的多为反光造成的大片白色区域，将这些确定不是钢轨的目标剔除能够很大程度上提高后期算法的检测精度，过程如下：

其中，i表示被标记的第i个目标，s(i)表示第i个目标包含的像素个数。连通域标记后利用公式(9)初步筛选的结果如图9(a)和9(b)所示，从中可以看出经过上述预处理后钢轨特征更加突出，便于后期检测。

在一个实施例中，进行基于极向投影的钢轨检测。经过上述预处理后，图像中的钢轨特征已非常突出，但仍存在许多干扰噪声，准确地检测所有钢轨位置仍面临挑战。本文针对现实场景中直线钢轨平行的特点，提出利用hough变换检测两条钢轨确定消隐点，进而利用极向投影检测其他钢轨位置的方法。

通过hough变换确定平行钢轨消隐点。其中，根据摄像机成像模型，经过透视投影成像后，空间相互平行的直线将在成像平面中相交于一点，称为消隐点。图10为消隐点成像模型，三维场景中的正方形棋盘格经过透视投影成像后在图像平面中如图所示，其中所有纵向直线相交于o1点，所有横向直线相交于o2点，这两个点分别为两束平行线的消隐点。由于铁路直线区段场景中所有钢轨都是平行的，利用透视投影关系可知，这些钢轨具有相同的消隐点，确定消隐点有助于钢轨的检测。

消隐点可以利用现实平行线束中任意两条平行线在图像中的交点确定，因此只要在铁路场景图像中检测出两条钢轨即可确定平行钢轨的消隐点。钢轨检测利用hough变换实现，hough变换是一种由二维空间到参数空间的映射，常用于图像空间中的直线特征检测。由于二维空间的某一点对应于参数空间的某条直线，二维空间的共线性对应于参数空间的共点性，因此可以通过对参数空间某个点对的计数提取二维空间中的直线参数。本文中利用hough变换检测图像中钢轨的结果如图11所示。

图中检测结果并不理想，6条钢轨不能全部准确检测，同时还检测出了许多其他位置的直线，存在误检与漏检情况。由于直线铁路区段各股道的钢轨相互平行，表现在图像平面上即为各钢轨直线应相交于相同的消隐点。如图11所示，本申请使用hough变换检测直线特征最明显的两条直线确定钢轨消隐点，其位置是通过求解两条钢轨直线方程的交点获得的。

在一个实施例中，通过极向投影来确定钢轨位置。其中，

由于实际场景中其他钢轨与检测出的两条钢轨相互平行，因此，图像中的其他钢轨也应通过该消隐点。本文提出的极向投影直线检测方法就是以消隐点为中心，沿各角度向消隐点做极向投影，统计各方向上白色像素点的个数。若某角度上存在一条钢轨直线，则该方向上的白色像素累加值必定是一个峰值。考虑到钢轨只存在于消隐点下方，为减小运算量，角度范围取(－180°，0°)，步长为0.5°。

获取某方向像素累加值的关键是得到该方向的直线方程，过消隐点(x0，y0)且方向为θ的直线截距。

b＝y0-tanθ*x0(10)

则该直线可以表示为：

y＝tanθ*x+b＝tanθ(x-x0)+y0(11)

式(11)即为过消隐点(x0，y0)方向为θ的直线方程。考虑到像素彼此正交的排列方式，大部分像素点并不会恰好在直线上，实际以横坐标x为自变量，通过式(11)求得纵坐标y，对y四舍五入求整即可得到位于直线周围的像素点坐标，如图12所示。

图12中圆圈代表消隐点，“×”代表横坐标固定情况下直线周围的像素点，求该方向的极向投影即把图中所有星号点的像素值相加。以0.5°步长遍历消隐点(－180°，0°)范围内所有方向，极向投影累加公式如下：

其中，(x，y)为角度θ时由公式(11)确定的像素坐标，g(x，y，θ)为对应像素点的数值，极向投影曲线如图13所示。

极值点对应的角度上存在着直线，因为实际图像中存在六条钢轨，因此极向投影值最大的六个极值点即为图像中6条钢轨的位置，由极值点确定各钢轨的角度后，利用公式(11)即可求得所有钢轨直线方程，由此求得的六条钢轨的位置如图14(a)所示，图14(b)即为利用最外围两条钢轨确定的铁路场景图像中的限界区域。

本申请通过上述的技术方案，实现了优于现有技术的有益技术效果，例如，包括实现异物的实时自动检测，减少工作量且提高效率，减少漏报情况。基于云台的可转动可调焦相机进行异物侵限检测方法解决了现有技术中的固定相机的缺点与不足；通过有效可行的处理算法实现相机转动和调焦后铁路限界区域的自动判断，进而通过图像检测算法实现该场景下异物的自动检测。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。