全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法

全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法
【专利摘要】本发明实施例提供了一种基于虚拟采样通道模型的全景图拼接方法和全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法。所述检测方法，包括：获取记录高速铁路环境状态的前向运动视频；基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为铁路运行环境的左、右全景图，作为防护栏全景图；按照最大化熵分割原理，对所述防护栏全景图中的护栏和背景的位置进行定位，得到0和1组成的二值码；对所述二值码进行行程编码；根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度Dcur；根据所述相邻两护栏之间的背景区域的像素宽度Dcur与所述相邻两护栏之间的正常像素间距d，判断相邻两护栏是否存在缺损。
【专利说明】
全景图的拼接方法和检测高速铁路的防护栏的缺损状态的 方法
技术领域
[0001] 本发明设及计算机应用技术领域，尤其设及一种全景图的拼接方法和检测高速铁 路的防护栏的缺损状态的方法。
【背景技术】
[0002] 安全是高速铁路发展的基础和前提。影响高速铁路安全的因素很多，设及到人、列 车、轨道及行车环境W及它们之间的禪合效应。为了保证高速铁路行车安全，要求高速铁路 运行环境必须实现全程封闭。高速铁路沿线加装防护栏是实现封闭环境的一种手段。
[0003] 为了监测人为破坏或攀爬侵入防护栏W内，W及监测封闭环境内信号设备和供电 系统等基础设施的完好情况，目前，主要采用固定式视频设备进行监控。例如，在京沪高速 铁路上，将400余个视频监控设备安装在京沪高速铁路路基、路口、桥梁、公跨铁、咽喉区等 部位，保证车辆安全运行。
[0004] 在通常的视频监控系统中，摄像设备处于固定静止状态，被监控对象可能处于运 动状态。采用视频序列中目标和背景的相对运动来检测目标的状况是常用的一种运动目标 检测方法，其中主要有:背景减除法、时间差分法和光流法(Optical flow)等检测方法。该 类方法的优点在于无需训练，可W在线进行检测;而缺点是只能寻找出相应目标，而无法判 明检测区域为具体何种目标，需要后期进一步判断。
[0005] 背景减除法主要取决于对背景图像建模的准确度，但是在实际环境中，由于环境 变化等因素影响，加剧了背景的提取与更新的难度，为准确提取目标增加了难度。因此，目 前该类方法大多采用统计学习方法对连续视频帖进行分析、背景建模，并随着时间的推移 在线更新背景模型，然后再通过当前帖和背景模型之间的差异来检测运动区域。
[0006] 时间差分方法是一种相对简单、运算量较小的方法，通过计算视频序列的前后两 帖对应位置的像素差，若大于设定的阔值，则认为是目标像素，否则为背景像素。光流法采 用运动目标的向量会随着时间变化的特性来检测运动目标。该方法的优点是即使在摄像机 运动的情况下也可W检测出运动目标。它的主要缺点：对噪声比较敏感，计算量大，不适合 实时性要求较高的场合。
[0007] 但是，固定点监控方式受到采集视野的限制，不能掌控线路及沿线全部情况，因 此，利用安装在高速综合检测列车的车端环境监视设备，监视车前方线路环境及沿线两侧 防护栏状态是一种有效的方法。
[000引国际上采用专用的高速综合检测列车来完成影响列车运行安全的检测任务。检测 内容一般包括:接触网几何、接触线磨耗、弓网作用、电气参数、轨距、轨道几何、钢轨断面及 波浪磨耗、车体及轴箱加速度、轮轨作用力、轨道和转向架、通信检测和定位等。除此之外， 国内外的高速综合检测列车在其前部和后部都装有作为行车记录仪的视频设备，W前向运 动视频的方式用来获取沿途环境状况信息，为后期人工检测铁路沿线环境是否存在异常状 态提供依据。如何从获取的大量视频图像中快速获取影响环境封闭性W及异物或线路内设 备异常侵限的信息，并进行正确预警，是高速铁路亟待解决的问题。

【发明内容】

[0009]本发明的实施例提供了一种全景图的拼接方法和检测高速铁路的防护栏的缺损 状态的方法，将海量的视频数据W轻量级的全景图格式进行无损的信息抽取，降低了视频 数据形式的存储和访问开销。
[0010]为了实现上述目的，本发明采取了如下技术方案：
[0011] -种基于虚拟采样通道模型的全景图拼接方法，包括：
[0012] 获取记录高速铁路环境状态的前向运动视频;从所述前向运动视频中提取帖数为 N的视频图像序列；
[0013] 按照经由消失点确定的铁路场景结构，在每帖图像中设定外部采样矩形ORm;
[0014] 按照列车的速度，在每帖图像中设定内部采样矩形IRm;
[0015] 将由每帖图像的所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采 样环带，分割为四个条带拼接区域St，Sb，Sl，Sr ;
[0016] 将每帖图像的所述四个条带拼接区域St, Sb, Si, Sr通过图像卷绕，校正为规则的矩 形条带 St'，Sb'，Sl'，Sr'；
[0017] 将4 X N个校正过的所述矩形条带St '，Sb '，Si '，Sr '，按照各自的采样平面分别进行 拼合，生成铁路场景4个平面的全景图。
[0018] -种基于所述的全景图拼接方法的检测高速铁路的防护栏的缺损状态的方法，包 括：
[0019] 步骤一，获取记录高速铁路环境状态的前向运动视频；
[0020] 步骤二，基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为 铁路运行环境的左、右全景图，作为防护栏全景图；
[0021] 步骤=，按照最大化赌分割原理，对所述防护栏全景图中的护栏和背景的位置进 行定位，F(j) = l处表示防护栏的位置，F(j) = 0处表示背景的位置，得到0和1组成的二值 码;j为防护栏全景图的列序号；
[0022] 步骤四，对所述二值码进行行程编码；
[0023] 步骤五，根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度Dcur;
[0024] 步骤六，根据所述相邻两护栏之间的背景区域的像素宽度Dsur与所述相邻两护栏 之间的正常像素间距d，判断所述相邻两护栏是否存在缺损，生成判断结果；
[0025] 步骤屯，输出所述判断结果。
[0026] 由上述本发明的实施例提供的技术方案可W看出，本发明实施例中，将海量的视 频数据W轻量级的全景图格式进行无损的信息抽取，降低了视频数据形式的存储和访问开 销。
[0027] 本发明附加的方面和优点将在下面的描述中部分给出，运些将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0028] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可W根据运些附图获得其他 的附图。
[0029] 图1为本发明所述的基于虚拟采样通道模型的全景图拼接方法的流程示意图；
[0030] 图2为本发明所述的基于全景图拼接方法的检测高速铁路的防护栏的缺损状态的 方法；
[0031] 图3为本发明中高速铁路场景采样环几何结构；
[0032] 图4为本发明中相邻两帖之间的图像配准；
[0033] 图5为本发明中全景图中像素列的S维特征F(j)的直方图分布；
[0034] 图6为本发明中基于均值-方差-梯度的阔值分割；
[0035] 图7为本发明中护栏全景图的行程编码表示；
[0036] 图8为本发明中从封闭铁路环境中产生的全景图：（a)左侧全景图；（b)右侧全景 图；（C)底部全景图；（d)上部全景图
[0037] 图9为本发明中综合检测列车采集的视频图像:（a)护栏无缺损；（b)护栏有缺损
[0038] 图10为本发明中部分铁路全景图：（a)铁路左侧的全景图；（b)从(a)中截取的防护 栏全景图
[0039] 图11为本发明中护栏全景图的二值化分割结果：（a)灰度一维直方图最大赌阔值 分割；（b)灰度-梯度(GLGM)二维直方图最大赌阔值分割；（C)本发明提出的结合灰度均值- 方差-梯度的=维直方图最大赌阔值分割
[0040] 图12为本发明中高铁护栏全景图的二值化分割结果：（a)高速铁路的护栏全景图； (b)灰度一维直方图最大赌阔值分割；（C)灰度-梯度(GLGM)二维直方图最大赌阔值分割； (d)本发明提出的结合灰度均值-方差-梯度的=维直方图最大赌阔值分割
[0041 ]图13为本发明中高速铁路防护栏缺损快速检测方法步骤流程图。
【具体实施方式】
[0042] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始 至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参 考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0043] 如图1所述，为本发明所述的一种基于虚拟采样通道模型的全景图拼接方法，包 括：
[0044] 步骤11，获取记录高速铁路环境状态的前向运动视频;从所述前向运动视频中提 取帖数为N的视频图像序列；
[0045] 步骤12,按照经由消失点确定的铁路场景结构，在每帖图像中设定外部采样矩形 ORm ；
[0046] 步骤13,按照列车的速度，在每帖图像中设定内部采样矩形IRm;
[0047] 步骤14,将由每帖图像的所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩 形环状采样环带，分割为四个条带拼接区域St，Sb，Sl，Sr ;
[004引步骤15,将每帖图像的所述四个条带拼接区域St, Sb, Si, Sr通过图像卷绕，校正为 规则的矩形条带St'，Sb'，Si'，Sr'；
[0049] 步骤16，将4 XN个校正过的所述矩形条带St'，Sb'，Si'，Sr'，按照各自的采样平面 分别进行拼合，生成铁路场景4个平面的全景图。
[0050] 确定所述消失点的步骤具体为：
[0051 ]消失点在图像坐标系中的坐标为(xo，yo)T;第i条线段的解析式为x+kiy+bi = 0，ki 为第i条线段的斜率，bi为截距;权值Wi是第i条线段的长;N为防护栏全景图中像素的总列 数；
[0化2]
[0化3]
[0化4]
[0化5]
[0056] 本发明实施例中，将海量的视频数据W轻量级的全景图格式进行无损的信息抽 取，降低了视频数据形式的存储和访问开销，可W用于后续处理。
[0057] 如图2所述，为本发明所述的基于全景图拼接方法的检测高速铁路的防护栏的缺 损状态的方法，包括：
[0058] 步骤21，获取记录高速铁路环境状态的前向运动视频；
[0059] 步骤22,基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为 铁路运行环境的左、右全景图，作为防护栏全景图；
[0060] 步骤23,按照最大化赌分割原理，对所述防护栏全景图中的护栏和背景的位置进 行定位，F(j) = l处表示防护栏的位置，F(j) = 0处表示背景的位置，得到0和1组成的二值 码;j为防护栏全景图的列序号；
[0061] 步骤24，对所述二值码进行行程编码；
[0062] 步骤25,根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度Dcur;
[0063] 步骤26,根据所述相邻两护栏之间的背景区域的像素宽度Dsur与所述相邻两护栏 之间的正常像素间距d，判断所述相邻两护栏是否存在缺损，生成判断结果;其中，所述步骤 26包括:判断Dtur是否大于k ? d，其中，k为经验调节参数。
[0064] 步骤27,输出所述判断结果。
[0065] 本发明实施例中，将海量的视频数据W轻量级的全景图格式进行无损的信息抽 取，降低了视频数据形式的存储和访问开销，而且，将视频转化为一种更适合于人工检视W 及计算机分析处理的形式，解决了由前向运动视频到全景图的无失真快速转换。
[0066] 所述步骤22包括：
[0067] 从所述前向运动视频中提取帖数为N的视频图像序列；
[0068] 按照经由消失点确定的铁路场景结构，在每帖图像中设定外部采样矩形ORm;
[0069] 按照列车的速度，在每帖图像中设定内部采样矩形IRm;
[0070] 将每帖图像的由所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采 样环带，分割为四个条带拼接区域St, Sb, Si, Sr;其中，St, Sb, Si, Sr分别为天空、钢轨、左侧护 栏和右侧护栏区域；
[0071] 将每帖图像的所述四个条带拼接区域St, Sb, Si, Sr通过图像卷绕，校正为规则的矩 形条带 St'，Sb'，Sl'，Sr'；
[0072] 将2 XN个校正过的所述矩形条带Si'，Sr'，按照各自的采样平面分别进行拼合，生 成铁路场景左、右全景图。
[0073 ]确定所述消失点的步骤具体为：
[0074] 消失点在图像坐标系中的坐标为(xo，yo)T;第i条线段的解析式为x+kiy+bi = 0，ki 为第i条线段的斜率，bi为截距;权值Wi是第i条线段的长;N为防护栏全景图中像素的总列 数；
[0075]
[0076]
[0077] ，
[007引
[00巧]所述步骤23包括：
[0080] 对于防护栏全景图的每一列j，计算灰度均值M(1，j)、标准差W1，j)、和梯度均值G (l，j);j = l，…，N;N为防护栏全景图中像素的总列数；
[0081] 使用F(j)最大赌，计算分割阔值(e^C^rf);F(j)为所述防护栏全景图中提取的竖 直方向上每列像素的特征分布；
[0082] 根据所述分割阔值对F(j)进行二值化分割，将防护栏区域置为1，背景 区域置为0;
[0083] 其中，为防护栏全景图中每列像素的灰度均值；
[0084] M(l，j)为防护栏全景图中每列像素的灰度方差;G(IJ)为防护栏全景图中每列像 素的梯度均值。
[0085]
[0086]
[0087] 。 ? ?-? ?:
[0088] 其中，p(i，j)为防护栏全景图中像素点（i，j)的灰度值，th，bh分别为防护栏的顶部 和底部在防护栏全景图中的坐标位置。
[0089] W下描述本发明的另一实施例。
[0090] 本发明W检测高速铁路封闭运行环境的封闭性为对象，提供一种利用前向运动视 频的全景图拼接，并通过全景图特征检测，实现高速铁路防护栏缺损的动态检测。
[0091] 本发明技术方案是:将记录高速铁路环境状态的前向运动视频通过虚拟通道采样 拼接技术转换为铁路环境全景图；对全景图进行特征提取;依据特征提取后得到的特征行 程编码，给出铁路防护栏缺损状态判断和评估。也就是说，将视频图像变换为一种静态全景 图格式，即在相机光轴与运动方向一致条件下生成前向运动视频全景图；基于检测区域几 何结构生成前向运动视频虚拟采样通道模型;基于防护栏全景图的均值-方差-梯度(MVG) =维直方图最大赌阔值分割W及基于行程编码的护栏检测。
[0092] 具体包含W下步骤：
[0093] 步骤1，基于铁路线路先验定位前向运动视频，虚拟矩形采样通道的步骤；
[0094] 步骤2,分割前向运动视频帖为天、地、左、右四部分图像的步骤；
[00M]步骤3,基于前向运动视频帖的全景图拼接计算的步骤；
[0096] 步骤4,对防护栏全景图特征计算的步骤；
[0097] 步骤5，基于行程编码的护栏检测步骤。
[0098] 其中，步骤1具体包括：
[0099] 从视频序列中提取一组环带序列{Si，S2，S3,…，SnK并满足相邻的全景环带对物 理空间的采样之间既不重叠又无间隔，即"完全采样"。将环带序列进行几何修正后拼接在 一起生成全景图像。
[0100] 基于铁路线路先验，定位前向运动视频虚拟通道，是W所关注深度层的物体构建 "完全采样"的虚拟矩形采样通道。虚拟矩形采样通道的构建基于W下客观近似：
[0101] (1)铁路设施场景包括:两侧的防护栏或声屏障，地面的钢轨W及悬挂在上方的接 触网等，同类的设施都视为近似位于同一平面，且平面距相机的距离已知；
[0102] (2)铁路设施场景的各平面为距离相机最近的深度层，生成的全景图中不存在因 欠采样而引起的铁路设施信息缺失。
[0103] 步骤2具体包括：
[0104] (1)确定消失点
[01化]利用LSD(line segment detector)线段检测算法对视频序列的视频图像进行检 查，将所有检测出的线段分成两组，第一组为与水平轴夹角在[-60°，60°]范围内的线段，用 来采用最小二乘法估计平行于钢轨的线段形成的消失点；第二组为与竖直轴夹角在[-5°, 5° ]范围内的线段，用来估计线杆的位置，W便划分铁路场景。
[0106] 设消失点在图像坐标系中的坐标为^日，7日八它与第1条线段义+4巧+131 = 0化1为斜 率，bi为截距)的距离为
[0107] (1)
[010引 I据最小二乘法，最小化点（XO，yo)T与所有线段的之间距 离的平方和，即
[0109]
(2)
[0110] 其中，权值Wi是第i条线段的长。
[OW]对式(2)分别求XO和yo的导数，并令其为零，得到如下线性方程组，
[0112]
(3)
[0113] 运里
[0114] ，N为护栏全景图中像素的总列数；
[0115]
[0116] 始*
[0117] (xo，yo)就是消失点的最优估计。为了提高估计消失点的准确性，采用交叉迭代的 方法剔除一些"错误"的线段。
[011引（2)划分天、地、左、右四部分。
[0119] 由钢轨、接触网W及防护栏或声屏障构成的虚拟矩形采样通道长方体结构具有固 定的几何结构。依据场景的虚拟矩形采样通道的形状，确定选定采样环位置（图3为高速铁 路的场景采样环）。
[0120] 分别连接消失点Q到采样环长方形的四个顶点，被运四条连线分割的四个部分就 是天、地、左、右四个部分。
[0121] 步骤3.基于前向运动视频帖的全景图拼接计算。
[0122] 如图4所示，基于消失点检测和摄像机运动信息图像配准过程如下：
[0123] (1)将关注的铁路场景，即护栏、接触网、声屏障、钢轨所在的位置构成一个虚拟矩 形采样通道，并在虚拟矩形采样通道进行"完全采样"。
[0124] (2)给定一段帖数为N的视频图像序列{Ii，12，…，In-I，In}，在每帖图像中选取拼接 区域，即确定外部矩形ORm: AmBmCmDmW及内部矩形IRm: m。
[0125] (3)按照消失点确定的场景结构，预先指定外部矩形0Rm:AmBmCmDm位置，且在每一帖 中所处的位置都相同。经过消失点Q引出四条分别经过图像左右两侧电杆的顶部和底部的 射线，运四条射线将场景分割为天空、钢轨、左侧护栏和右侧护栏四个部分（即上面的天、 地、左、右四个部分）。外部矩形的四个顶点4。、8。、打、0。应分别落在四条射线上，为此可^确 保生成的上、下、左、右四场景的全景图内容互不重叠，避免错误采样，同时也简化了虚拟场 景绘制的过程。再者，由于摄像机的运动方向与钢轨平行，因此图像中像素点光流的膨胀中 屯、(Focus Of E邱ansion，F0E)与图像中两条钢轨在远处形成的消失点Q重合。运样外部矩 形的四个顶点的移动方向，即外部矩形ORm随着时间帖的缩放方向就经消失点Q唯一确定， 记作：
[0126]
烦
[0127] (4)设列车速度为V，摄像机的帖速为R，则相邻两帖之间空间采样的距离为V/R。若 相机的内部参数已知，则通过相应的几何计算，即可求得图像中像素的移动速度即图像速 度V O
[012引（5)得到第m帖中外部矩形ORm = AmBmCmDm的缩放方向
W及图像 速度V后，该外部矩形在第m-1帖中对应的坐标位置可由诉,，V值接求得。
[0129] (6)第m-1帖中的外部矩形ORm-I和内部矩形IRm-I构成了矩形环状的拼接区域Sm,将 Sm沿着外部矩形顶点的缩放方向怒，趕，识攝分割为4块梯形的条带扣、乱、51、5"分别为天 空、钢轨、左侧护栏和右侧护栏区域。
[0130] (7)利用图像卷绕（Image Wrapping)，对构造的条带St、Sb、Si、Sr进行几何变换，从 而将不规则的梯形条带映射为规则的矩形条带St'、Sb'、Sl'、Sr'。对每帖图像重复W上过 程，得到四组条带序列，将运些序列分别依次拼接起来就得到了全景图。本发明设及左、右 防护栏的检测，为此仅用到矩形条带Si'、Sr'拼接得到的铁路运行环境左、右全景图，即防护 栏全景图。
[0131] 步骤4.防护栏全景图特征计算。
[0132] 令p(i，j)为防护栏全景图中像素点（i，j)的灰度值，th，bh分别为防护栏的顶部和 底部在金景图中的坐标仿晉，则毎列像素的灰麼挽估、灰麼方差W及梯麼均值分别记作
[0133]
[0134]
[0135] 巧）
[0136] 沿着防护栏全景图竖直方向进行灰度和梯度特征提取后，得到
[0137] {F(j)} = {(x，y)} = {(M(l，j)，V(l，j)，G(l，j))} (9)
[0138] 运里为防护栏全景图中像素的总列数，F(j)表示每列像素的S维特征 分布。
[0139] 防护栏处的灰度统计特征满足:M(1，j)<e，V(1，j)a，G(1，j)句。运里e，C和n为用 于分割防护栏的前景区域即定位防护栏位置的分割阔值。
[0140] 从防护栏全景图中提取的竖直方向上每列像素的特征分布F(j)如图5所示。
[0141] 若给定任意一个阔值(e，C，ri)，来对护栏防护栏的特征分布F(j)进行分割，则=维 特征F(j)的空间分布被(e，C，ri)划分为8个特征子区域(如图6所示），记作：
[0142]
(10)
[0143] 各防护栏在竖直方向上具有近似的亮度值W及均匀的亮度分布，而背景区域则是 一些亮度不规则分布的场景。运导致了防护栏位置的特征大多集中于Ri区域，而背景的特 征大多集中于Rs区域。虽然其它的6个区域也包含了部分的护栏和背景信息，为了简化计算 过程，忽略运些次要特征区域的实验结果表明对定位结果并无大的影响。
[0144] F(j)中任意一个特征向量位于护栏区域Ri或者背景区域Rs的概率分别为扣（e，C, n)和PB(e，c，n);
[0145]
(11)
[C 旭)
[0147]运里，Pxyz为图像中的一像素点位于前景或背景中的概率。
[014引且满足
[0149] PF(e,C,n)+PB(e,C,n)^l (13)
[0150] 根据赌的定义，护栏区域与背景区域的=维赌分别为
[0151] (14)
[0152] Q员
[0153] F(j)的总体S维赌为
[0154] 化6，|，11)=化（6，|，11)+曲（6，|，11) (16)
[0155] 由最大赌分割原理，能够使上式H(e，C，ri)取得最大值的S元组就是所 求的最佳分割阔值，即
[0156]
幻巧
[0157] 根据阔值对F(j)进行二值化分割，将防护栏区域置为1，背景区域置为 0,即
[015引
化勤
[0159] 步骤5.基于行程编码的护栏检测
[0160] 按照最大化赌分割原理，可将铁路场景中的护栏和背景位置定位，F(j) = l处表示 防护栏的位置，F(j)=0处表示背景的位置。如图5所示，白色区域(值为1)表示防护栏，而黑 色区域(值为0)表示背景。对根据阔值分割方法得到的一连串0和1组成的二值码进行行程 编码。
[0161] 若护栏存在缺损，则相邻两防护栏之间的背景区域的像素宽度Dcur必然大于防护 栏之间的正常像素间距d，因此若Dcur〉k ? cKk为经验调节参数），则可W判定该区域存在缺 损。
[0162] W下描述本发明的另一实施例。
[0163] 实施例1: 一种新的基于前向运动视频虚拟矩形采样通道模型的全景图拼接方法。
[0164] 铁路全景图的获取包含W下=个步骤：前向视频的采集、构造拼接区域、条带拼 接。
[0165] 依据虚拟矩形采样通道模型生成铁路场景全景图的算法如下算法1所示。
[0166] 123456 2 如图6所示，为高速条件下（ISOkmA)采集的低质视频(720X576)生成的全景图结 果。本发明提出的方法可W生成令人满意的全景图像。如近处的防护栏和电杆没有丢失信 息且失真较小。远处的电杆由于"过采样"发生了明显的拉伸扭曲，但运在实际检测中是不 被关屯、的部分。 3 实施例2:基于全景图拼接的护栏检测。 4 如图9所示，为综合检测列车采集的前向运动视频图像。列车保持相对匀速，摄像 机的采集帖率为25帖/秒。图9(a)为防护栏无缺损的铁路场景，图9(b)为存在缺损的铁路场 景。 5 生成的部分铁路全景图（左侧)如图10(a)所示，图10(b)为从图10(a)中提取的部 分防护栏全景图Qg [405,490]，JG [2500,3000]，其中，i为像素的行坐标，j为列坐标）。 6 按照最大化赌分割原理实现的防护栏防护栏定位算法如下：
[01731
[0174] 图11为本发明提出的=维直方图最大化赌分割法与一维灰度直方图分割法W及 二维灰度-梯度直方图分割法的对比结果。图11(a)为仅根据灰度一维直方图最大赌阔值分 割的结果，可W观察到许多背景区域都被错误分割为防护栏，运将导致检测漏报。图11(b) 为根据灰度-梯度(GLGM)二维直方图最大赌阔值分割的结果，可W观察到列坐标2770位置 处的防护栏被错误分割为背景，运将导致检测误报。图11(c)为基于本发明提出的=维直方 图分割结果，通过与图10(b)中所示的护栏实际位置相比较，可W看出=维直方图分割的结 果最为准确。
[0175] 在提取到护栏的位置后，对二值码进行行程编码，W达到护栏信息的轻量级存储 与访问目的。之后使用算法3从护栏全景图行程编码中快速识别防护栏的破损位置。如图11 (C)所示，[2500,3500]的像素范围内存在两处明显的护栏缺损的区域，分别位于区间 [3000,3138]和[3290,3462]处。
[0176] 实验视频为avi格式，时长约1小时，数据量为1.35GB，像素总数为（1024 X 768)/帖 X85500帖。利用全景拼接生成了数据量为84MB的化g格式的图像，像素总数为267500X600 (水平方向的像素总数X竖直方向的像素总数）。将全景图中护栏的前景和背景区域仅用单 字节的数字来表示，最终得到8917位数字编码(37 3 41 3 33 2 42 3……），数据量仅为 17.4邸。因此，本发明实现了铁路护栏的数据量从GB级一一MB级一一邸级的多级压缩提取， 克服了因视频数据量大，信息存储与检索困难而造成的检测算法的应用瓶颈。
[0177] 本发明给出了基于全景图行程编码检测防护栏防护栏的缺损位置的算法。
[017 引
[0179] 由于列车的行驶行程很长，整个防护栏全景图的光照因受天气，环境，朝向等因素 影响会出现变化，因此，有必要将防护栏全景图分割成K个子图，并为每幅子图计算一合适 的局部阔值(ei，Ci，rU)，运里i = l，K。
[0180] 通过现场多次人工目视检测，确定该段线路中的护栏实际存在38处缺损，记作GT = 38。基于不同阔值分割方法的检测结果对比如表1所示，通过与护栏缺损的真实状况对比 发现，本发明提出的方法正确地检出了 36处缺损(TP = 36);有3处正常的防护栏位置被错误 的检为缺损(FP = 3);有两处漏掉的破损没有被检出（FN = 2)。运里使用检测准确率和召回 率来验证检测方法的有效性，在检测结果对比中基于本发明提出的阔值分割方法取得了 92.3%的准确率和94.7%的召回率，优于其它分割算法的检测结果。
[0181] 表1不同阔值分割方法的检测结果对比
[0182；
[0183]为了进一步验证结合多特征MVGS维直方图的最大赌阔值分割方法的适用性，我 们又对高速铁路的另一类防护栏一一白色的水泥防护栏进行同样的实验。白色的水泥防护 栏与图10(b)中所示的色泽暗淡的铁质护栏不同，因此一般情况下，防护栏区域的亮度反而 要比背景区域高一些。如图12(d)所示，为高速铁路的防护栏全景图的分割结果，通过与图 12(a)中的防护栏全景图相对比，可W发现本发明提出的分割算法无论是针对金属防护栏 还是水泥防护栏，都取得了令人满意的分割结果。
[0184] 图13为高速铁路防护栏缺损快速检测方法的步骤流程图。
[0185] 其中，一种基于前向运动视频全景图的高速铁路防护栏检测方法，包括W下步骤：
[0186] 依据铁路线路先验，定位前向运动视频虚拟矩形采样通道位置后，将前向运动视 频帖分割为天、地、左、右四部分，并分别对四部分进行全景图拼接。也就是说，W全景图格 式将视频数据进行无损的信息抽取，得到了轻量级检测图像信息，相对于视频数据不仅降 低了的存储和访问开销，而且将视频转化为一种更适合于人工视检或计算机分析处理的形 式。
[0187] 基于前向运动视频帖的全景图拼接计算，依靠场景的几何结构先验和相机的运动 速度信息，快速得到采样环的位置，实现拼接图像之间的快速对齐，生成左右防护栏全景 图，其整体显示效果明显优于特征匹配的kK光流法。也就是说，利用前向运动视频虚拟采 样通道模型，克服了前向运动视频全景图窄带拼接的静态模糊，并利用区域几何结构的先 验，构建快速的前向运动视频的全景拼接算法。
[0188] 对左右防护栏全景图采用MVGS维直方图的最大赌阔值分割方法进行分割，分割 出全景图中护栏的前景和背景区域，实现防护栏位置的自动定位。对提取到防护栏位置二 值码进行行程编码，实现了护栏信息的轻量级存储与访问，根据算法3从护栏全景图的行程 编码中快速识别破损防护栏的位置。
[0189] 也就是说，基于护栏全景图（Fence panorama)的护栏缺损的自动化检测方法，利 用基于MVGS维直方图的最大赌阔值分割方法自动提取护栏中竖直防护栏的位置，使其与 背景图像分离;并将护栏全景图分离后的二值码用行程编码压缩，压缩的编码格式包含了 护栏的全部位置信息，相应的解码算法从编码中恢复护栏的位置，并实现了护栏的缺失检 测。
[0190] 本发明具有W下有益效果：
[0191] (1)本发明提出的一种新的全景图拼接方法，该方法是一种基于前向运动视频虚 拟采样通道模型的全景图拼接方法，填补了相机光轴与运动方向一致条件下的前向运动视 频全景图生成的空白；可W广泛应用于轨道交通、公路等运载工具的自动驾驶、安全检查、 高压缩比的行车记录，W及高速铁路钢轨平直度检测、异物侵限检测、铁路沿线山体滑坡检 测等。由于在某些地段使用的声屏障用于减低对周边环境噪音干扰，同时具有防护栏的功 能，但在物理结构上与防护栏有较大区别，因此还可W根据不同类型的防护栏设计不同的 缺损状态检测算法。
[0192] (2)本发明的基于前向运动视频的全景图的自动化视觉的检测方法，将海量的视 频数据W轻量级的全景图格式进行无损的信息抽取，不仅降低了视频数据形式的存储和访 问开销，而且将视频转化为一种更适合于人工检视W及计算机分析处理的形式，解决了由 前向运动视频到全景图的无失真快速转换。另外，W全景图的形式存储视频信息节省了大 量的存储空间，W全景图的形式代替前向运动视频图像作为检测对象，可实现高速铁路封 闭环境的快速检测，满足实际需求。
[0193] (3)前向运动的视频拍摄作为一种移动式的场景获取方式，由于其视野宽阔，景深 远，空间覆盖面广，已经被广泛应用于移动式的场景记录和监控任务中。本发明针对高铁封 闭运行环境状态检测，提出了一种基于前向运动的视频的，利用计算机视觉技术的高速铁 路防护栏缺损状态自动快速检测方法，为利用高速综合检测列车来完成高速铁路封闭运行 环境状态检测提供了一种新的高效手段。
[0194] (4)本发明基于检测区域几何结构的前向运动视频虚拟采样通道模型，克服了前 向运动视频窄带拼接的静态模糊，并利用区域几何结构的先验，构建快速的前向运动视频 的全景拼接算法，W铁路防护栏缺损检测为应用研究背景，提出了相应的基于全景图的自 动化视觉检测算法。高速铁路环境检测是一个定期、常态的工作，定期反复获取环境视频图 像。通过特征检测或场景图像比对获得异常状态的信息。本发明针对高速铁路环境检测提 出了基于高速前向运动视频的一种新的全景图拼接技术。
[0195] (5)本发明基于前向运动视频的虚拟矩形采样通道全景图拼接方法，首次实现了 相机光轴与运动方向一致条件下的前向运动视频全景图生成；采用虚拟矩形采样通道方 式，克服了前向运动视频全景图静态失真问题;基于前向运动视频虚拟矩形采样通道的全 景图生成，对于设备没有特殊要求，一般行车记录仪记录的视频都可W拼接为多种不同用 途全景图。
【主权项】
1. 一种基于虚拟采样通道模型的全景图拼接方法，其特征在于，包括： 获取记录高速铁路环境状态的前向运动视频;从所述前向运动视频中提取帧数为N的 视频图像序列； 按照经由消失点确定的铁路场景结构，在每帧视频图像中设定外部采样矩形ORm; 按照列车的速度，在每帧视频图像中设定内部采样矩形IRm; 将由每帧视频图像的所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采 样环带，分割为四个条带拼接区域St，Sb，S1，Sr; 将每帧视频图像的所述四个条带拼接区域&，&，51，51通过图像卷绕，校正为规则的矩 形条带 St'，Sb'，Si'，Sr'； 将4 X N个校正过的所述矩形条带St'，Sb'，S1'，Sr'，按照各自的采样平面分别进行拼合， 生成铁路场景4个平面的全景图。2. 根据权利要求1所述的方法，其特征在于，确定所述消失点的步骤具体为： 消失点在图像坐标系中的坐标为(XQ，y〇)τ;第i条线段的解析式为x+kiy+bi = 0，其中，ki 为第i条线段的斜率，1^为截距;权值W1是第i条线段的长;N为防护栏全景图中像素的总列 数；3. -种基于权利要求1-2任一所述的全景图拼接方法的检测高速铁路的防护栏的缺损 状态的方法，其特征在于，包括： 步骤一，获取记录高速铁路环境状态的前向运动视频； 步骤二，基于虚拟采样通道模型的全景图拼接方法，将所述前向运动视频转换为铁路 运行环境的左、右全景图，作为防护栏全景图； 步骤三，按照最大化熵分割原理，对所述防护栏全景图中的护栏和背景的位置进行定 位，F(j) = l处表示防护栏的位置，F(j) = 0处表示背景的位置，得到0和1组成的二值码;j为 防护栏全景图的列序号； 步骤四，对所述二值码进行行程编码； 步骤五，根据所述行程编码，计算相邻两护栏之间的背景区域的像素宽度Dcur; 步骤六，根据所述相邻两护栏之间的背景区域的像素宽度〇_与所述相邻两护栏之间 的正常像素间距d，判断所述相邻两护栏是否存在缺损，生成判断结果； 步骤七，输出所述判断结果。4. 根据权利要求3所述的方法，其特征在于，所述步骤六包括： 当Dcur大于k · d时，则所述判断结果为:所述相邻两护栏存在缺损;其中，k为经验调节 参数。5. 根据权利要求3所述的方法，其特征在于，所述步骤二包括： 从所述前向运动视频中提取帧数为N的视频图像序列； 按照经由消失点确定的铁路场景结构，在每帧视频图像中设定外部采样矩形ORm; 按照列车的速度，在每帧视频图像中设定内部采样矩形IRm; 将每帧视频图像的由所述外部采样矩形ORm和所述内部采样矩形IRm组成的矩形环状采 样环带，分割为四个条带拼接区域St，Sb，Sl，Sr ;其中，St，Sb，Sl，Sr分别为天空、钢轨、左侧护 栏和右侧护栏区域； 将每帧视频图像的所述四个条带拼接区域&，&，51，51通过图像卷绕，校正为规则的矩 形条带 St'，Sb'，Si'，Sr'； 将2XN个校正过的所述矩形条带Si'，Sr'，按照各自的采样平面分别进行拼合，生成铁 路场景左、右全景图。6. 根据权利要求5所述的方法，其特征在于，确定所述消失点的步骤具体为： 消失点在图像坐标系中的坐标为(x〇，y〇)T;第i条线段的解析式为x+kiy+bi = 0，ki为第i 条姥6&的金1? 1失1規)昍.切佶w;县笛i客姥6&的其·. N失!昉拍栏仝辱：图中像素的总列数；7. 根据权利要求1所述的方法，其特征在于，所述步骤三包括： 对于防护栏全景图的每一列j，计算灰度均值M(1，j)、标准差V(1，j)、和梯度均值G(1， j);j = l，…，N;N为防护栏全景图中像素的总列数； 使用F(j)最大熵，计算分割阈值（，，|'rf);F(j)为所述防护栏全景图中提取的竖直方 向上每列像素的特征分布； 根据所述分割阈值(ε'ξ'η，，对F(j)进行二值化分割，将防护栏区域置为1，背景区域 置为〇; 其中，;M(l，j)为防护栏全景图中每列像素的灰度均值； v(l，j)为防护栏全景图中每列像素的灰度方差;G(l，j)为防护栏全景图中每列像素的 梯度均值。8. 枏据权利要求7所沭的方法，其特征在于，其中，P(i，j)为防护栏全景图中像素点（i，j)的灰度值，th，bh分别为防护栏的顶部和底 部在防护栏全景图中的坐标位置。
【文档编号】G06T7/00GK106023076SQ201610312137
【公开日】2016年10月12日
【申请日】2016年5月11日
【发明人】田媚, 罗四维, 王胜春
【申请人】北京交通大学