铁路道口智能视频监控装置的制作方法

专利名称：：铁路道口智能视频监控装置的制作方法
技术领域：
：本发明涉及一种铁路道口智能视频监控装置，尤其是一种基于动态图像理解和无线通信技术的铁路道口智能视频监控装置。
背景技术：
：铁路道口一直以来都是铁路安全的薄弱环节。道口事故的频发，直接威胁到人民的生命财产安全和国家的经济运输命脉。在铁路提速后的今天，铁路道口安全越来越成为限制铁路运输能力的一个瓶颈问题。运行时速200公里以上的列车，届时500米以外的列车，只需9秒钟就能到达行人面前，行人一旦横穿铁路将非常危险，按照我国目前对铁路道口管理水平、道口设施、技术、人员素质，对于运行时速200公里以上的列车所经过的"道口"已变成为"虎口"，人民的生命安全得不到保障；时速200公里以上的列车当司机发现前方出现问题采取紧急刹车措施的制动距离大约需要2公里，因此在列车司机视觉发现道口险情时进行紧急制动避免事故发生几乎已经成为不可能的事。据资料报道，在2001年，在道口发生撞车事故887件，撞坏汽车404辆，拖拉机202辆，其他车辆268辆，人员死亡314人，重伤288人，损坏铁路机车248台，铁路车厢61个，破坏线路350公里，致使铁路中断行车2056分钟。随着铁路事业的快速发展，伴随铁路的第六次提速，安全问题再一次提上日程。根据有关资料统计，目前全国共有16021个铁路与公路交叉的道口，其中有人看守道口约有3248个，无人看守道口12953个，这些无人看守道口除基本的标志牌外，几乎无任何预报装置，当前铁路与公路的交叉路口交通日益繁忙，铁路系统有限的人力、物力不可能做到看护每一个道口。另一方面由于天气的原因、行人的忽视、公路上的车辆拥挤和铁路曲线弯道等缘故，每年在道口附近都发生较大数量的伤亡事故，每天平均发生道口事故67件，伤亡6人，损坏机动车4辆，中断铁路行车8小时左右；有的道口事故一次就造成几十人伤亡或造成机车、车辆严重破损，甚至造成列车颠覆，中断铁路行车少则几十分钟，多则数小时乃至几十小时，扰乱正常的运输生产秩序，在国内外造成不良政治影响，经济损失之大更是触目惊心。道口不安全，对铁路部门来说是心腹大患。总结事故多发的原因主要有几条1)目前无人看守道口还是占道口的80%左右，列车接近道口前，对无人看守道口，不给通知；在有人看守道口，虽给通知信号，但对道口收到通知信号没有，没有反馈给机车；2)道口发生诸如机动车熄火之类的故障，车辆抢道等情况，都没有发信号告知列车，列车常常因此失去了紧急刹车的宝贵时机。
发明内容为了克服已有的铁路道口监控设备信息化、智能化水平低、机车司机无法及时判断道口有无险情或故障、存在较大的安全隐患的不足，本发明提供一种智能化水平高、能通过图像理解技术自动判断道口的各种险情或故障、能通过无线通信技术实现列车司机与道口安全状况之间以及过往道口的人车与列车行进状况之间的相互通信的铁路道口智能视频监控装置。本发明解决其技术问题所采用的技术方案是一种铁路道口智能视频监控装置，包括安装在铁路道口上能覆盖整个道口交通状况的视频传感器和用于监控整个道口的监控状况并能进行动态图像理解的监控计算机，所述的视频传感器与监控计算机连接，所述的监控计算机包括用于拍摄铁路道口的实时情况，并将采集到的视频图像通过A/D采样，得到动态序列图像帧，将图像帧送入数据缓存区的视频图像采集模块，用于实时显示道口交通状况的视频数据的显示单元，所述的监控计算机还包括图像预处理模块，用于对缓存区中的图像序列帧进行灰度化、平滑及对比度增强；铁路道口定制模块，用于将铁路道口路面对象在纵向方向上分为三个部分第I区域为新进入的行人、车辆与其他移动物体的感知区域，第I区域从栏杆开始，沿道口的反方向长度等于一般车辆的长度；第II区域为行人、车辆与其他移动物体开始状态获取阶段，第II区域的长度为两个栏杆之间的长度；第III区域为车辆结束状态获取阶段，第III区域从栏杆开始，沿道口的反方向长度等于一般车辆的长度；定制栏杆的视频检测区域，该视频检测区域的大小正好是能覆盖栏杆在开启和关闭状态时栏杆的图像部分；动态图像理解模块，用于分析理解道口安全状态，包括有自适应背景消减单元，用于采用基于混合高斯分布模型的自适应背景消除算法，针对图像的YCrCb颜色空间中的亮度值Y分量进行检测，对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为(1):式(1)中的下标t表示时间；各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时,按照优先级次序将X与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与K匹配，则对该高斯分布的权值和高斯参数按设定的更新率进行更新；阴影抑制单元，用于处理自适应背景消减单元所得到的前景目标中的阴影区域，先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低，判断算法由公式(2)表示0,y—icoiO)>f/zms/zoW11式(2)中标记0的点属于阴影，标记1的点属于前景,abs表示求其绝对值，Cr是该点的Cr颜色分量，Cb是该点的Cb颜色分量，RoadCr表示道路的Cr颜色分量，RoadCb是道路的Cb颜色分量，threshold表示设置的阈值；连通区域标识单元，用于采用八连通区域提取算法得到对象的大小和形状{曰息；对象识别单元，用于将人体模型简化矩形模型，求每个连通区域的宽度w'和高度&，然后用公式(3)计算区域面积属性《"。，其中&为某个连通区域像素个数，将其作为面积大小属性-接着用公式(4)进行形状属性^"'。计算，即矩形的宽度w'与高度A的比的计算<formula>formulaseeoriginaldocumentpage11</formula>(4)根据得到的面积大小属性^、区域面积属性S"。、形状属性S"，然后根据视觉传感器标定的结果，设定行人、车辆与其他移动物体的各种不同的判定阈值范围，依据所得到的连通区域自动判定该连通区域是行人、车辆还是其他移动物体；基于颜色模型的跟踪单元，用于跟踪铁路道口上的各种行人、车辆和移动物体，利用目标的颜色特征在视频图像中找到运动目标所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪；栏杆状态检测单元，用于通过边缘检测算法来检测栏杆的状态，如通过边缘检测算法计算所得到的边缘与栏杆的关闭状态相吻合，判定为栏杆处在关闭状态；如通过边缘检测算法计算所得到的边缘与栏杆的开启状态相吻合，判定为栏杆处在开启状态；如果与上述两个都不吻合，初步判定为栏杆处在过渡变化状态；铁路道口信号检测单元，用于通过定制信号灯的位置，视频检测信号灯，如白灯亮表示道口处于开启状态；如两个红灯交替闪烁表示道口处于从开启状态到关闭状态的过渡期间；如红灯常亮表示表示道口处于关闭状态；铁路道口检测单元，用于依照"铁路道口管理暂行规定"的要求，视频监控完成如下检测<table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table>在铁路道口设定状态、区域内和行人、车辆或移动物体的前景对象三者的关系，如三者之间的关系符合"铁路道口管理暂行规定"要求，判定为正常事件；如出现与"铁路道口管理暂行规定"中明确禁止的情况，判定为异常事件；道口应急处理模块，用于在分析得到道口出现异常事件时自动启动道口应急处理；视频信息存储模块，用于在道口出现异常事件时候，自动保留当时的视频数据，并保存到视频数据库中；道口无线接收发送模块，用于发送道口正常、出现异常事件给列车以及接收列车各种信息；道口安全信息发布模块，用于将列车将要通过道口的时刻信息以及道口出现异常事件时对行人以及过往车辆进行发布；所述道口安全信息发布模块连接道口显示单元和警告音播放单元，所述监控计算机与无线接收发送设备相连接，所述的无线接收发送设备上配置有无线接收发送天线。作为优选的一种方案:在所述的铁路道口检测单元中，在道口的开启状态下，对于行人对象，检测行人对象的运动轨迹是否是向着道路方向以及是否有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；对于车辆对象需要检测是否有超车，如果检测出有超车行为就判定为机动车违章交通事件；是否有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；还要检测车速与转弯等行为，如果检测出有车速与转弯等行为就判定为机动车违章交通事件；对于其他物体对象检测是否有有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；关于停留事件的检测通过动态跟踪的结果来进行判断，如果通过设定时间发现跟踪的对象位置没有发生变化就判定为是停留；车辆的超车与转弯的判断通过车辆进入时的RoadID与当前车辆所处的RoadID来进行判断，如果车辆进入是的RoadID为1，而目前车辆所处的RoadID为2，判定为该车辆有超车或转弯的行为；关于检测车速，计算出该车辆的速度，根据公式(5)进行计算Ass「se(5)V=——画—-At—tgj式中V是车辆的速度；AS是车辆在某一时间内行驶的距离；At是车辆经过某一段距离所花费的时间；SI为测量终点，对应于车辆对象信息中的EndPosition;S0为测量始点，对应于车辆对象信息中的StartPosition;tl为测量终了时间，对应于车辆对象信息中的EndTime;tO为测量起始时间，对应于车辆对象信息中的StartTime;将测量始点定义在车辆刚进入道口的第II区域时，将测量终点定义在车辆刚要离开道口的第II区域时，AS相当于第II区域的沿机动车道路的实际距离；在道口从开启状态过渡到关闭状态时，检测在第II区域是否有行人，如有行人对象，检测行人对象是否向第I区域或者第III区域移动，如果检测出来的行人对象有停留行为，判定为险情异常事件；检测在第I区域或者第m区域的行人是否有进入第II区域，如果检测出来有行人进入第II区域就判定为险情异常事件；对于车辆对象，首先检测在第n区域是否有车辆，如果有车辆的话，是否向第m区域方向在行驶，如果检测出来的车辆有停留行为，判定为险情异常事件；还要检测在第i区域或者第m区域的车辆是否有进入第n区域，如果检测出来有车辆进入第n区域就判定为险情异常事件；对于其他移动物体对象，要检测在第n区域是否有移动物体对象存在，如果检测出来有移动物体对象存在并有停留行为，就判定为险情异常事件；在道口处于关闭状态时，如检测有行人停留以及进入第m区域都判定为险情事件，对于车辆对象以及移动物体对象在第m区域可能会造成重大灾害事故的判定为重大险情事件。作为优选的另一种方案列车上的无线接收发送设备与道口的无线接收发送设备双向通信，列车上的无线接收发送设备的天线指向是列车行驶的正前方，列车上的监控计算机包括视频信息存储模块，用于将记录下来的视频数据进行压縮编码、复用以及调制成压縮视频数据；无线接收发送模块，用于依照通信标准，发送压縮的视频数据；图像解压处理模块，用于将接收的数据进行解压縮、解复用以及解调，恢复成视频数据；所述图像解压处理模块的输出连接显示模块，所述的显示模块将恢复的视频数据信息显示在列车驾驶室内的显示单元上。进一步，在所述的连通区域标识单元中，先进行去噪处理，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收縮集Fc，通过处理所得到的扩张集Fe和收縮集Fc认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；有以下关系Fc<F<Fe成立，以收縮集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为(Rei,i4,2,3,…,W,最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果^R卜ReinF,i=l,2,3/..,n}。更进一步，无线通信以及其通信标准采用GSM-R的铁路的数字移动通信方式。无线通信采用WiMAX通信技术，是微波存取全球互通，通信协议采用IEEE802.16e标准。本发明的技术构思为图像是人类视觉的延伸。通过视觉，可以立即准确地发现道口所发生的事件，图像监测快速性的基础是视觉所接受的信息以光为传播媒介；而图像信息的丰富和直观，更为道口情况的辨识和判断奠定了基础，其它任何检测技术均不能提供如此丰富和直观的信息。如何通过动态图像的理解，及时地将险情反馈给机车司机并控制驶向道口的列车。同时对有价值的道口事故图片做以存储保留，以备査看。铁路道口图像监控系统是通过实时地监控铁路道口现场，分析和处理监控的序列图像，对其中的道口目标进行跟踪、识别和分类，来判断道口有无险情或故障。然后将分类判断的数据以专用的无线代码方式发送给机车的自动接收设备。如果遇到险情或故障，道口可以鸣声报警，机车司机也可以同时根据收到的代码以及道口的视频信息，判断前方道口的现场情况，采取相应措施，达到双向减少事故发生率的目的。从而大大提高铁路运输的安全性。在进入信息社会的今天，应该努力提高道口设备科技含量，提高道口监控信息化、智能化的水平，以达到减少道口交通事故，提高道口安全通过能力的目的。远距离无线通信技术给行进中的列车与道口监控设备之间的通信提供了一种新的解决方案。数字化无线视频传输系统与传统的有线、模拟传输系统相比，具有如下特点①便于进行压縮、分析、存储和显示；②数字信息抗干扰能力强，不易受传输线路信号衰减的影响等。正是由于数字视频传输具有传统模拟传输无法比拟的优点，而且符合当前信息社会中数字化、网络化和智能化的发展趋势，所以数字视频传输正在逐步取代模拟传输，为提高道口设备科技含量提供了一种新的通信手段。本发明的有益效果主要表现在1、实用性好，能通过图像理解技术自动判断道口的各种险情或故障，为80%左右的无人看守道口实现24小时连续监控提供了有效的手段，为20%有人看守道口提供了一种辅助手段，为铁路安全运行、行人与车辆安全过道口提供了强有力的支持；2)实现成本低，设备简单只需要一个摄像单元、一台电脑和一个无线通信单元等硬件就能实现铁路道口智能视频监控；3)使用安装维护方便，由于完全是一种非接触式的检测，检测设备没有损耗，安装时只要将摄像装置安装在能覆盖整个道口检测区域就可以了；4)智能化水平高，同时能实现多参数的测量，通过图像理解技术，即可以自动判断在道口的车辆、行人、其他物体的情况，也可以同时检测道口通行的状态，这是其他检测手段无法实现的；5)各种险情或故障的结果能通过无线通信技术实现列车司机与道口安全状况之间以及过往道口的人车与列车行进状况之间的相互通信，列车司机能在第一时间获得前方道口的各种险情事件以及道口的实时视频图像，能避免重大交通事故的发生；6)能规范行人、车辆过道口时的行为，对于在道口上违章行驶的车辆都会有视频记录，便于相关部门的执法。图1为在铁道道口关闭情况下道口的平面视图；图2为在铁道道口开启情况下道口的平面视图3为基于动态图像理解和无线通信技术的铁路道口智能视频监控装置的结构框图4为出现一种重大道口安全事故的示意图；图5为动态图像理解的步骤以及处理内容示意图；图6为从道口场景中提取前景运动对象的处理流程图；图7为动态图像理解单元中所包括的各种处理手段以及相互关系。具体实施例方式下面结合附图对本发明作进一步描述。参照图1图7，一种基于动态图像理解和无线通信技术的铁路道口智能视频监控装置，包括安装在铁路道口上能覆盖整个道口交通状况的视频传感器1、用于监控整个道口的监控状况并能进行动态图像理解的计算机2，所述的视频传感器1与监控计算机2连接，所述的监控计算机2包括用于视频图像显示以及图像处理的视频图像采集模块3，用于实时显示道口交通状况的视频数据的显示单元4，用于动态图像理解处理的图像预处理单元5，用于分析理解道口安全状态(包括出现险情、故障等各种事件)的动态图像理解单元6，用于在分析得到道口出现险情或者故障时自动启动道口应急处理的道口应急处理模块7，用于现场取证为目的的拍摄和存储当列车经过时从预警、报警到警戒的三个状态时间段内道口状态的视频信息存储模块.8，用于保存上述视频信息的预警期间视频数据库9，用于发送道口正常、出现险情或者故障时给列车以及接收列车各种信息的道口无线接收发送模块10，用于将列车将要通过道口的时刻信息以及道口出现险情或者故障时对行人以及过往车辆进行发布的道口安全信息发布模块11，所述道口安全信息发布模块11中包括列车接近警告手段以及各种违章警告手段，道口安全信息发布模块11连接道口显示单元和警告音播放单元(没有图示)，所述的监控计算机2与所在地的无线接收发送设备(没有图示)相连接，所述的所在地的无线接收发送设备上配置有无线接收发送天线；作为一种基于动态图像理解和无线通信技术的铁路道口智能视频监控装置，在列车上与之相配套的有一个基于无线通信的远程铁路道口智能视频监控设备12，包括用于列车在行驶中能监控前方道口的状况的显示设备13、用于与前方道口的无线接收发送设备通信的机车无线接收发送设备14，用于机车司机在接受到报警并确认前方道口发生重大险情时采取紧急制动等措施的紧急应急处理单元15，一旦发现前方道口上出现险情或者故障，列车司机可以根据铁路道口智能视频监控装置所发送过来的险情或者故障以及道口现场的视频信息作出判断，是否要进行机车的应急处理，列车上的无线接收发送设备与道口的无线接收发送设备之间的通信是双向的，列车上的无线接收发送设备的天线指向是列车行驶的正前方，对于列车上的无线接收发送设备与道口的无线接收发送设备之间的通信距离要保证在3km以上；视频信息存储模块，用于将记录下来的视频数据进行压縮编码、复用以及调制成压縮视频数据；所在地的无线接收发送模块，用于依照通信标准，发送压縮的视频数据；所述的基于无线通信的远程铁路道口智能视频监控设备包括无线接收发送模块，用于依照通信标准，接收压縮的视频数据；图像解压处理模块，用于将接收的数据进行解压縮、解复用以及解调，恢复成视频数据；所述图像解压处理模块的输出连接显示模块，所述的显示模块将恢复的视频数据信息显示在列车驾驶室内的显示单元12上。所述的无线通信以及其通信标准，采用GSM-R(GSMforRailway)的铁路的数字移动通信方式。GSM-R在GSM(GlobalSystemforMobileCommunication)蜂窝系统上增加了调度通信功能和适合高速环境下使用的铁路应用功能，能满足国际铁路联盟提出的铁路专用调动通信的要求。该系统基于GSM的基础结构及其提供的电信业务，提供了铁路特有的基础业务，并以此作为一个信息化的平台，使得用户可以在这个信息平台上开发各种各样的铁路应用，实现无线列调、编组调车通信、应急通信、养护维修通信等语言通信功能外，还能满足列车运行速度最高每小时500公里时的无线通信要求。GSM-R可以实现跨区域的高速和一般列车之间的通信，也可以实现地面与高速运行中的列车之间的双向通信。与GSM/GPRS系统相比，具有以下特点(l)专门用于无线机车信号的传输，是进行列车控制的专用系统；(2)采用GSM作为车地通信的方式并增加了铁路通信所特有的功能；(3)与GSM/GPRS系统相比，具有更高的有效性、可靠性、安全性要求；(4)可开发各种辅助手段保证列车的安全运行。其中铁路道口智能视频监控可以认为是保证列车的安全运行一种辅助手段，同时也是保障过道口行人与车辆安全一种重要举措。所述的列车接近警告手段，针对列车距离道口的不同距离，根据上述道口与高速运行中的列车之间的双向通信，得到目前离道口三公里、二公里、一公里时，警告手段会分别发出预警、报警、警戒三种信号，并可以在显示屏上列车通过道口的倒计时时间，倒计时时间可以通过列车通过上一个道口或者上一个车站的时间以及列车的运行速度来进行估算，也可以通过其他检测手段来得到列车的当前位置与速度信息。所述的各种违章警告手段，根据后面所述的动态图像理解的结果，如果发现有违章行为，系统会自动播放监控对象的违章内容，提醒行人、车辆遵守交通法规。本发明铁路道口智能视频监控装置中的动态图像理解部分所使用的判断依据是根据国家经委/铁道部/交通部/公安部/农业部/城建部/劳动人事部等颁布的关于"铁路道口管理暂行规定"中的第四章关于"道口的安全通行"中的一些条款-第十四条道路上的车辆(包括汽车、拖拉机、畜力车、人力车、自行车等各种机动车、非机动车，下同)和行人在道口、人行过道及平过道处，发现或听到有火车开来时，应立即躲避到距铁路钢轨二米以外的处所，严禁停留在铁路上和抢越。第十五条车辆和行人通过铁路道口，必须听从道口看守人员和道口安全管理人员的指挥。第十六条机动车通过铁路道口最高时速不准超过二十公里，大、中型拖拉机不准超过十五公里，小型拖拉机不准超过十公里，并不得在道口内超车或停留。一旦车辆在道口处发生故障，车辆的驾驶员或操纵、驾驶车辆的人要立即将车辆移出铁路限界(距钢轨外侧不少于二米)；确实无法移出时，需立即采取防护措施，设法通知两端车站，并在该道口两端不少于八百米处的铁路上用红色信号(昼间用红旗、夜间用红色灯光)拦停列车；没有红色信号时，可用红色物品或两臂高举头上，向两侧急剧摆动。第十七条凡遇到道口栏杆(栏门)关闭、音响器发出报警、道口信号显示红色灯光或道口看守人员示意火车即将通过诸情况之一时，车辆、行人严禁抢行，必须依次停在停止线以外；没有停止线的，停在距最外股钢轨五米以外，不得影响道口栏杆(栏门)的关闭，不得撞、钻、爬、越道口栏杆(栏门)。第十八条车辆、行人通过设有道口信号机的铁路道口时，要遵守下列道口信号的显示规定(一)两个红灯交替闪烁或红灯稳定亮时，表示火车接近道口，禁止车辆、行人通行；(二)红灯熄灭白灯亮时，表示道口开通，准许车辆、行人通行；(三)当红灯和白灯同时熄灭时，表示停电或设备发生故障，道口信号无效。在这种情况下，必须与通过没有道口信号机的道口一样按第十五、十七及十九条规定通行。第十九车辆、行人通过没有道口信号机的无人看守道口以及人行过道时，必须停车或止步了望，确认两端均无列车开来时，方准通行。第二十条特别笨重(不能迅速通过道口)、巨大(高度从地面起超过四米，宽度超过车厢，长度前端超出车身，后端超出车厢二米，超出部分触地)和可能破坏铁路设备，干扰铁路运输的物体(履带车辆、大型机械或装载易燃、易爆物品的车辆)通过铁路道口时，应提前商得附近铁路有关部门的同意，在其协助与指导下通过。通过电气化铁路的道口时，车辆及其装载物不得触动限界架活动横板或吊链；装载高度超过二米的货物上，不准坐人；行人手持高长物件、皮鞭等，不准高举挥动。第二十一条两轮畜力车或牧畜通过铁路道口时，赶车或赶牧畜的人要牵住牲畜按本章的规定徒步通过。第二十二条在单车道路的道口上，严禁汽车、拖拉机等大、中型车辆错车。第二十三条机动车在铁路道口处，不准转弯掉头。第二十四条在距道口二十米以内的道路上，除停车了望或停车让行、运行中临时停车的情况以外，不准停留车辆。第二十五条严禁车辆在没有道口或其它平面交叉设施的铁路线路上穿越。本发明中道口智能视频监控装置的视频监视24小时不断连续工作，但是在准许通行、预警、报警、警戒等不同状态下检测的策略不同；根据"铁路道口管理暂行规定"在准许通行的状态下，如图2所示，红灯熄灭白灯亮时，表示道口开通，准许车辆、行人通行，第十六条、第二十二条、第二十三条对车辆、行人有如下规定1)不允许在道口内作超车或停留；2)机动车通过铁路道口最高时速不准超过二十公里；3)在单车道路的道口上，严禁汽车、拖拉机等大、中型车辆错车；4)机动车在铁路道口处，不准转弯掉头。因此动态图像理解处理在准许通行期间要进行如下视频监视1)如果发现行人与车辆在道口内停留时间超过一个阈值(比如30秒)，系统会自动发出劝导赶快通过道口的警示音；2)如果发现机动车在道口内有超车行为，系统会自动拍摄存储视频图像并发出警告音；3)如果发现机动车的时速超过二十公里，系统会自动拍摄存储视频图像并发出警告音;4)如果发现行人与车辆在道口内沿着铁道方向行走或行驶或转弯掉头，系统会自动拍摄存储视频图像并发出警告声音；5)如果是单车道路的道口，发现有汽车、拖拉机等大、中型车辆错车，系统会自动拍摄存储视频图像并发出警告声音；在预警的状态下，出现两个红灯交替闪烁，一般是道口栏杆(栏门)的关闭过程，期间不允许车辆与行人再进入道口内，因此动态图像理解处理在预警期间要进行如下视频监视l)严禁车辆、行人抢行，如果发现有车辆与行人再进入道口内，即运动方向是进入道口内的方向，系统会自动拍摄存储视频图像并发出警告要求车辆与行人迅速退出道口内；2)对于发现在道口内有车辆与行人，系统要求目前在道口内的车辆与行人迅速离开；3)如果发现行人与车辆在道口内没有移动，系统会自动拍摄存储视频图像并发出警告迅速赶快通过道口的警告音，同时明确告诉在场人员再经过几秒钟列车将经过该道口；4)如果发现诸如车辆等大型物体在道口内停下来，可以初判断为车辆出故障或者是道路沿线上的丢弃物，这对高速通过的列车非常危险，因此系统必须迅速将该信息通报以及现场的视频图像通过无线通信手段发给运行中的列车，以便列车司机能采取应急措施；在报警和警戒状态下，红灯稳定亮时，表示火车接近道口，禁止车辆、行人通行，第十七条规定车辆、行人不得撞、钻、爬、越道口栏杆(栏门)；由于这时列车已经到了刹车范围的临界点，对于时速为200km/h的列车其刹车距离在2km范围之内，报警状态发出的时间也正好是2km，这时在道口内的车辆与行人处于非常危险的状况，如果列车不采取任何制动措施的话，36秒后列车将通过道口，系统如果还检测到道口内有行人与车辆存在话，重复警告在场的人员迅速离开道口内，明确告诉在场人员再经过几秒钟列车将经过；同时不断的将该信息通报以及现场的视频图像通过无线通信手段发给运行中的列车；在该情况下是绝对不允许行人与车辆进入道口内，如果发现有行人与车辆试图进入的话，系统重复播放警告音；上述的智能化图像理解与判断都是在动态图像理解单元6中实现的。所述的动态图像理解单元，要实现上述不同策略下的检测，最关键的是实现在道口内的车辆与行人等对象跟踪检测，根据跟踪检测的结果通过高级图像语义来实现车辆与行人等对象的状态以及行为的理解，然后根据道口监控范围大小以及道口的状态来实现不同策略下的检测；根据铁路运输的高速性和高效性，决定了道口智能视频监控装置必须具备以下特性-1)实时性要求；若以现阶段高速列车200km/h计算，列车接近道口3公里发出预警信号，列车通过道口仅约54秒的时间，其中前18秒时间是非常重要的时间，也就是列车离道口距离2~3km区间，使列车司机能采取应急制动的有效区间。在这段时间内，系统要分析出道口所发生的险情或故障，并把道口的现场情况和视频数据及时反馈给机车司机，机车司机还要及时根据收到的代码以及视频数据来判断前方道口情况，采取应急措施，毫无疑问系统需要极高的实时性。在铁路提速后的今天，实时性要求更为突出。2)精确性要求；道口从接收到预警信号开始，道口要经历从预警、报警到警戒的三个状态，既要保证车辆行人安全，不能漏报道口故障；又要保证铁路运输的顺利通行，不能误报无端事故。因此对道口现场有无故障的判断一定要精确，不得有丝毫差错。3)稳定性要求；也就是健壮性要求，要求系统需要长时间稳定可靠地工作，相应地，无论其软件算法设计还是硬件芯片选型，甚至摄像单元的安装都要考虑到这一点，否则稍有差错就会给经过道口的行人与车辆带来危险和影响列车的运行安全。所述的图像采集模块，用于拍摄道口的实时情况，并将采集到的视频图像通过A/D采样，得到动态序列图像帧。同时将这些图像帧送入数据缓存区。所述的图像预处理单元，用于为图像理解模块的处理作好准备，图像的预处理是图像处理模块中一个基本而又重要的部分，其处理效果的优劣直接关系到后续图像的分析理解。图像预处理包括对缓存区中的图像序列帧进行灰度化、平滑及对比度增强。图像灰度化，将大大减少图像分析的数据量.提高图像处理的速度；图像平滑，用以降低噪声，来提高图像的信噪比；图像对比度增强，将有利于图像前景对象目标连通区域、轮廓、边缘的提取；本发明中提出了一个对所关心的对象的行为、事件及情景等通过高级语义进行描述的系统理论构架，并通过该框架来解析道口视频监控一些问题，如图5所示。动态图像理解问题从高层语义的角度来看可以认为是解释一个情景语义问题，以人的思考方式来说，人们从视频图像中首先关心是获取关心的对象信息，然后通过解析获取所关心对象的状态或者事件信息，最后通过对其一个个状态或者事件信息进行分析和抽象得到我们所需要的理解结果。本发明的目的是希望计算机也能像铁路道口管理人员一样按照"铁路道口管理暂行规定"的要求管理着铁路道口交通安全。如本发明中的铁路道口安全检测，关心的对象是铁路道口(轨道、道路)、列车、行人、车辆及交通信号或者栏杆(栏门)；铁路道口是一个静态对象，在本发明中采用定制的方式在视频图像上框定铁路道口安全检测区域，如图1图2的虚线框所示，在虚线框内的前景对象(行人、车辆或者对火车安全造成危险的丢弃物)都要进行视频安全检测；交通信号或者栏杆(栏门)是一个动态对象，该对象随着列车离道口距离不同所处的状态也不同，在离道口距离三公里以上时，交通信号灯白灯亮、栏杆(栏门)处在开启状态；离道口距离三公里时，交通信号灯两个红灯交替闪烁、栏杆(栏门)从开启状态过度到关闭状态；离道口距离二公里、一公里时，交通信号灯红灯稳定亮、栏杆(栏门)处在关闭状态；行人、车辆与其他物体(动体)是一个动态的监控对象，也是本专利中要重点检测的对象，因此对于行人与车辆来说，主要关心的是行人与车辆等监控对象在铁路道口这个静态对象的范围内、在交通信号或者栏杆(栏门)等状态对象的不同状态时的状态与事件，因此要对这些对象、对象的状态和发生的事件进行动态跟踪与关联，期待得到我们所关心的对象语义以及行为语义，对于铁路道口安全问题作出语义解释。因此关键问题是如何将对象跟状态或者事件进行关联，再将状态或者事件跟对象行为语义进行关联，最后对视频情景作出语义解释。要完成以上的状态与事件的视频检测，一方面要检测出交通信号或者栏杆(栏门)等动态对象的状态，另一方面也要检测出经过道口的行人、车辆、其他物体(动体)等动态的监控对象；通过视频方式检测交通信号或者栏杆(栏门)等动态对象的状态比较容易实现；通过视频方式要检测行人、车辆、其他物体(动体)等动态的监控对象，首先需要对这些动态的监控对象实现动态跟踪。本发明中将视频处理思路将图像的语义分为底层特征层、对象层和概念层；将图像理解和处理中分为四个阶段，分别是视觉感知处理、概念化处理、形式化处理和行为语义处理，如图5所示；所述的底层特征层，主要涉及到基于对象的一些基本属性，如颜色、形状、纹理和空间关系等。在这个层面上的知识和信息获取手段属于低级视觉感知处理；要提取各种监控对象行为语义，首先要在底层特征层将铁路道口背景中把前景行人、车辆的像素点分离出来，得到这些对象的各种特征属性，然后根据这些属性来区分不同的前景对象。在这一层中本发明所用到的基础中间件主要由自适应背景消减16、阴影抑制17和连通区域标识18三个部分组成，其顺序图如图6所示，处理的初步结果是二值化的视频图像，然后根据前景对象的各种属性；所述的自适应背景消减，用于解决实时分割动态目标，本发明中采用的是基于混合高斯分布模型的自适应背景消除算法，它的基本思想是使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时,更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点,否则判定该点为前景点。在系统中，针对图像的YCrCb颜色空间中的亮度值Y分量进行检测。自适应混合高斯模型对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为式(1)中的下标t表示时间。各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值。在检测前景点时,按照优先级次序将"与各高斯分布模型逐一匹配。若匹配，则判定该点可能为前景点,否则为前景点。若某个高斯分布与K匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新。所述的阴影抑制，用于解决运动对象之间的遮挡和光照的不均匀等原因而产生阴影现象，通过背景消减所得到的前景目标区域中含有很大一部分阴影区域，为运动对象的正确分割和提取造成严重的影响。在彩色颜色模型空间中，任何颜色都可由YCrCb表示。阴影和道路的区别在于颜色分量CrCb相同(相近)，亮度分量Y较小。我们可以先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，我们判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低，判断算法由公式(2)表示。<formula>formulaseeoriginaldocumentpage25</formula>(2)式(2)中标记0的点属于阴影，标记1的点属于前景,abs表示求其绝对值，Cr是该点的Cr颜色分量，Cb是该点的Cb颜色分量，RoadCr表示道路的Cr颜色分量，RoadCb是道路的Cb颜色分量，threshold表示设置的阈值；所述的连通区域标识，用于得到对象的大小和形状等信息，连通区域标识的方法很多，本发明中采用的是八连通区域提取算法。另外连通区域标识受初始数据中的噪声影响很大，一般需要先进行去噪处理，去噪处理可以通过形态学运算实现，本发明中利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，具体做法是先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收縮集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果。因此有以下关系Fc<F<Fe成立，接着以收縮集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为《Rei,i^,2,3,…,n)，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果(Ri二ReinF,—l,2,3,…,n),通过这种目标分割算法既能保持目标的完整性同时也避免了噪声前景点的影响，还保留了目标的边缘细节部分。所述的前景对象的区分，我们按照图6所示的处理流程，就可以从铁路道口场景中将行人、车辆、移动物体从背景中分离出来，得到这些对象的大小和形状等各种属性，行人与车辆在大小、形状方面是有明显区别的，因此我们可以通过从获得连通区域面积、矩形宽高比等特征将行人、车辆和其他移动体区分开来；为了提高实时处理能力，将人体模型简化矩形模型，求每个连通区域的(水平方向的长度)宽度W和(垂直方向的长度)高度A，然后用公式(3)计算区域面积属性《，，其中&为某个连通区域像素个数，我们将其作为面积大小属性。f,(3)接着用公式(4)进行形状属性^。"计算，即矩形的宽度w'与高度^的比的计算。,=^(4)6rate,、，y根据上述所得到的面积大小属性S'、区域面积属性《"'。、形状属性^"'e，然后根据视觉传感器标定的结果，可以得到行人、车辆与其他移动物体的各种不同的判定阈值范围，有了这些阖值范围计算机就能依据所得到的连通区域自动判定该连通区域是行人、还是车辆、还是其他移动物体，这样我们就得到了我们要关心的行人、车辆与其他移动物体等各种不同的对象了，对于行人对象我们可以用以下一个Person对象来表示它Person(PersonID,StartPosition,StartTime);对于车辆对象我们可以用以下一个Car对象来表示它Car(CarID,RoadNum,StartPosition，StartTime，EndPosition,EndTime);对于移动物体对象我们可以用以下一个Other对象来表示它Other(OtherID,StartPosition,StartTime);对于不同的对象计算机会自动生成一个该对象的ID号，并将检测到的位置与时间信息来初始化该对象，这样就实现了底层特征层与对象层的关联。所述的对象层，从图5中可以看出对象层处在底层特征层与概念层之间，起到承上启下的作用，因此在不同层次之间或者层内之间必须建立语义映射关系。在对象层中我们关心的有对象(Object)和事件(Event)两类。而对象又可以分为可以看作是静态对象的铁路道口场景对象和可以看作是动态对象的行人、车辆、移动物体前景对象、交通信号或者栏杆(栏门)等状态对象，而事件(Event)则是对象之间发生了新的动态联系。利用相关关联模型我们就可以得到在某帧图像中诸如在什么样的栏杆(栏门)等状态下，行人、车辆等现在的所处的位置等等事件或者状态。这个层面上需要经过概念化和形式化两个处理步骤，前者主要的任务是要识别出所关心的前景对象，并从底层特征层所得到的属性与前景对象进行关联；后者主要的任务是获取该对象的一些事件或者状态，为提取所关心对象的行为语义作好准备。前景对象的事件或者状态必须通过动态过程才能展现出来，因此在前者与后者之间必须建立一种动态关联，目前许多跟踪算法，比如基于颜色模型的、基于主动轮廓方法的、基于区域的、基于特征的方法的、基于三维模型的方法的等跟踪算法，本专利中采用基于颜色模型的跟踪算法来实现这种动态的关联，在计算机运算能力比较高的状态下可以采取多种跟踪算法同时并行计算，但是需要满足上述的实时性要求。在这个层次上，本发明中将概念化处理的各种算法归属于应用中间件；将形式化处理的各种算法归属于面向高层应用的中间件。所述的基于颜色模型的跟踪算法，用于跟踪铁路道口上的各种行人、车辆和移动物体，本发明中采用了一种CamShift算法进行对象目标的跟踪，该算法是对MEANSHIFT算法的进一步改进。与MEANSHIFT算法只能处理静态分布相比，基于目标颜色特征跟踪算法需要处理动态变化的分布。简单的说，该算法利用目标的颜色特征在视频图像中找到运动目标所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪。在每次搜寻前将搜寻窗口的初始值设置为运动目标当前的位置和大小，由于搜寻窗口就在运动目标可能出现的区域附近进行搜寻，这样就可以节省大量的搜寻时间，使该算法具有了良好的实时性。同时，该算法是通过颜色匹配找到运动目标，在运动目标运动的过程中，颜色信息变化不大，所以该算法具有良好的鲁棒性。原有的目标颜色特征跟踪算法，比如CamShift算法，在图像跟踪方面需要人工干预，即要通过人为的选定跟踪对象的外接矩形(对象的颜色特征)才能实现对目标对象的跟踪。由于上述的基础中间件和应用中间件处理中可以得到的各种跟踪目标对象的方位、大小以及类型，Person(PersonID，StartPosition,StartTime)、Car(CarID,RoadNum,StartPosition,StartTime,EndPosition,EndTime)、Other(OtherID,StartPosition,StartTime)，只要将该处理结果提交给目标颜色特征跟踪算法，以实现自动跟踪。铁路道口路面对象属于静态对象，因此可以通过定制静态对象使得解决动态图像理解问题简单化，如图1~2所示，定制的过程就是通过一些先验知识、"铁路道口管理暂行规定"等知识在实现静态对象的实例化的过程。针对图1~图2所示的铁路道口路面对象，本发明中将铁路道口路面对象在纵向方向上分为三个部分第I区域为新进入的行人、车辆与其他移动物体的感知区域，在这个区域我们检测是否有新进入的行人、车辆与其他移动物体，第I区域从栏杆(栏门)开始，沿道口的反方向长度约等于一般车辆的长度；第II区域为行人、车辆与其他移动物体开始状态获取阶段，即我们假设在这个区域内我们开始检测行人、车辆与其他移动物体信息，获取到它的开始状态信息，第II区域的长度为两个栏杆(栏门)之间的长度；第III区域为车辆结束状态获取阶段，即我们假设在车辆一进入这个区域我们就结束对车辆的检测，并获取到它的结束状态信息，第III区域从栏杆(栏门)开始，沿道口的反方向长度约等于一般车辆的长度。这样的区域的划分方法主要是为了车辆测速的方便。另外除了以上三个在纵向上的划分外，还有在横向上划分，如果是双向行驶的道路，在横向上划分为两个车道，本发明中规定上行为单数车道从小开始排列，下行为双数车道从小开始排列，如图1~图2中所示的车道命名。铁路道口信号标志对象属于状态变化对象，该对象在视频图像中的位置变化不大，对于栏杆(栏门)而言，它只会处于开启、关闭、从开启到关闭、从关闭到开启这四种状态，另外道口两侧的栏杆(栏门)的动作是对称的，因此只要检测某一侧的栏杆(栏门)就能获得该状态变化对象的状态信息；本发明中通过定制状态变化对象使得解决动态图像理解问题简单化，首先我们定制栏杆(栏门)的视频检测区域，视频检测区域的大小正好是能覆盖栏杆(栏门)在开启和关闭状态时栏杆(栏门)的图像部分，然后通过边缘检测算法来检测栏杆的状态，如果通过边缘检测算法计算所得到的边缘与栏杆的关闭状态相吻合，那么就判定为栏杆处在关闭状态；如果如果通过边缘检测算法计算所得到的边缘与栏杆的开启状态相吻合，那么就判定为栏杆处在开启状态；如果与上述两个都不吻合，就初步判定为栏杆处在过渡变化状态，这时候要看前一次栏杆所处的状态，如果前一次是关闭状态的话，那么这时栏杆处在从关闭到开启的状态；由于该过渡变化状态时间不会很长，如果发现栏杆长时间处在过渡间段，那么就可以怀疑是否栏杆部分有故障发生，需要通知维修。在铁路道口检测区域范围内，按照"铁路道口管理暂行规定"的要求，视频监控要完成以下状态、事件的检测；<table>tableseeoriginaldocumentpage29</column></row><table>拖拉机等大、中型车辆错车从开启状态过渡到关闭状态允许在道口内的人员迅速沿道路方向离开，严禁人员停留以及进入道口检测区允许在道口内的车辆迅速离开，严禁车辆停留以及进入道口检测区严禁影响铁路交通的物体、动物等停留或停放在道口上关闭状态严禁人员在道口检测区内，严禁人员进入道口检测区严禁车辆在道口检测区内，严禁车辆进入道口检测区严禁影响铁路交通的物体、动物等停留或停放在道口上本发明中主要关心的是在铁路道口某个状态下、某个区域内(道口的图像背景图像)和行人、车辆与移动物体的前景对象这三者的关系，这三者之间的关系符合"铁路道口管理暂行规定"要求的就判定为正常事件，出现与"铁路道口管理暂行规定"中明确禁止的情况时就判定为异常事件，在异常事件中可以分为1)重大险情或者重大故障的异常事件；2)险情或者故障的异常事件；3)险情先兆或者故障先兆的异常事件；4)机动车违章交通事件；在道口的开启状态下，对不同的监控对象的检测处理方式有所不同，对于行人对象，只要检测该对象的运动轨迹是否是向着道路方向以及是否有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；对于车辆对象需要检测是否有超车，如果检测出有超车行为就判定为机动车违章交通事件；是否有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；另外还要检测车速与转弯等行为，如果检测出有车速与转弯等行为就判定为机动车违章交通事件；对于其他物体对象主要检测是否有有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；关于停留事件的检测可以通过动态跟踪的结果来进行判断，如果通过若干帧(比如5帧)发现跟踪的对象位置没有发生变化就判定为是停留；关于车辆的超车与转弯的判断，我们通过车辆进入时的RoadID与当前车辆所处的RoadID来进行判断，如果车辆进入是的RoadID为1，而目前车辆所处的RoadID为2就判定为该车辆有超车或转弯的行为；关于检测车速，首先我们要计算出该车辆的速度。一般可以根据公式(5)进行计算<formula>formulaseeoriginaldocumentpage31</formula>式中V是车辆的速度；AS是车辆在某一时间内行驶的距离；At是车辆经过某一段距离所花费的时间；SI为测量终点，对应于车辆对象信息中的EndPosition;S0为测量始点，对应于车辆对象信息中的StartPosition;tl为测量终了时间，对应于车辆对象信息中的EndTime;t0为测量起始时间，对应于车辆对象信息中的StartTime。在本专利中将测量始点定义在车辆刚进入道口的第II区域时，将测量终点定义在车辆刚要离开道口的第II区域时，因此AS就相当于第II区域的沿机动车道路的实际距离。在道口从开启状态过渡到关闭状态时，检测在第n区域是否有行人，如果有行人对象的话，检测这些对象是否向第i区域或者第m区域移动，如果检测出来的行人对象有停留行为，就判定为险情异常事件；另外还要检测在第I区域或者第III区域的行人是否有进入第II区域，如果检测出来有行人进入第II区域就判定为险情异常事件；对于车辆对象，首先检测在第II区域是否有车辆，如果有车辆的话，是否向第m区域方向在行驶，如果检测出来的车辆有停留行为，就判定为险情异常事件；另外还要检测在第I区域或者第m区域的车辆是否有进入第n区域，如果检测出来有车辆进入第n区域就判定为险情异常事件；对于其他移动物体对象，要检测在第n区域是否有移动物体对象存在，如果检测出来有移动物体对象存在并有停留行为，就判定为险情异常事件；在道口处于关闭状态时，凡是有行人停留以及进入第m区域都判定为险情事件，对于车辆对象以及移动物体对象在第m区域可能会造成重大灾害事故的判定为重大险情事件。所述的视频图像存储模块8，用于存储对有价值的道口场景图像帧，以备调用査看。所谓有存储价值，是指在道口出现险情异常事件以及重大险情事件的时候，系统会将当时的几帧道口场景情况自动保存在预警期间视频数据库9内，以作为调查取证的依据。这样能避免传统图像监控系统中的长时间录像存储，从而200710164440.0说明书第24/24页节省了存储介质的资源，存储的方式是以当时的时间为存储文件名，以便在调査取证时快速的检索到所需要的视频信息。所述的道口无线接收发送模块10,用于将动态图像理解处理模块的结果用代码的方式通过无线传输发送给机车无线接收发送设备14，机车司机就可以根据接受到的信号代码了解前方道口的情况了，为了让机车司机能有自己的判断，在传输信号代码的同时将目前道口的视频图像或者是当时一帧视频图像发送给机车司机。实施例2其余与实施例1相同，所述的无线通信以及其通信标准，也可以采用WiMAX通信技术，是微波存取全球互通(WorldwideInteroperabilityforMicrowaveAccess),它是一种新兴的无线城域网技术，它能够为用户提供百兆的传输速率以及能够解决宽带无线通信的移动性问题。通信协议采用IEEE802.16e标准，它是WiMAX系列标准中唯一个支持移动性和非视距传输的宽带系统，能满足未来无线通信中高传输速率和移动性的要求，能为列车与地面无线通信中高速传输视频图像的需求提供解决方案。实施例3其余与实施例l相同，所述的铁路道口信号标志对象的检测，还可以通过视频检测信号灯的方式来实现，信号灯在视频图像中的位置不变，而且固定在一个很小的范围内，我们可以关注白灯以及两个红灯的状态，如果白灯亮表示道口处于开启状态；如果两个红灯交替闪烁表示道口处于从开启状态到关闭状态的过渡期间；如果红灯常亮表示表示道口处于关闭状态；我们可以通过定制信号灯的位置，检测信号灯的某个灯的亮度来判断道口的状态。本发明中的基于动态图像理解和无线通信技术的铁路道口智能视频监控装置中各模块是由C和Java语言实现的。权利要求1、一种铁路道口智能视频监控装置，包括安装在铁路道口上能覆盖整个道口交通状况的视频传感器和用于监控整个道口的监控状况并能进行动态图像理解的监控计算机，所述的视频传感器与监控计算机连接，所述的监控计算机包括用于拍摄铁路道口的实时情况，并将采集到的视频图像通过A/D采样，得到动态序列图像帧，将图像帧送入数据缓存区的视频图像采集模块，用于实时显示道口交通状况的视频数据的显示单元，其特征在于所述的监控计算机还包括图像预处理模块，用于对缓存区中的图像序列帧进行灰度化、平滑及对比度增强；铁路道口定制模块，用于将铁路道口路面对象在纵向方向上分为三个部分第I区域为新进入的行人、车辆与其他移动物体的感知区域，第I区域从栏杆开始，沿道口的反方向长度等于一般车辆的长度；第II区域为行人、车辆与其他移动物体开始状态获取阶段，第II区域的长度为两个栏杆之间的长度；第III区域为车辆结束状态获取阶段，第III区域从栏杆开始，沿道口的反方向长度等于一般车辆的长度；定制栏杆的视频检测区域，该视频检测区域的大小正好是能覆盖栏杆在开启和关闭状态时栏杆的图像部分；动态图像理解模块，用于分析理解道口安全状态，包括有自适应背景消减单元，用于采用基于混合高斯分布模型的自适应背景消除算法，针对图像的YCrCb颜色空间中的亮度值Y分量进行检测，对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为(1)η(Yt，μt，i，∑t，i)，i＝1，2，3…，k(1)式(1)中的下标t表示时间；各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Yt与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与Yt匹配，则对该高斯分布的权值和高斯参数按设定的更新率进行更新；阴影抑制单元，用于处理自适应背景消减单元所得到的前景目标中的阴影区域，先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低，判断算法由公式(2)表示<math-cwu><![CDATA[<math><mrow><mfencedopen='{'close=''><mtable><mtr><mtd><mn>0</mn><mo>,</mo><mi>if</mi><mrow><mo>(</mo><mi>abs</mi><mrow><mo>(</mo><mi>Cr</mi><mo>-</mo><mi>RoadCr</mi><mo>)</mo></mrow></mrow><mo>></mo><mi>threshold</mi><mo>|</mo><mo>|</mo></mtd></mtr><mtr><mtd><mi>abs</mi><mrow><mo>(</mo><mi>Cb</mi><mo>-</mo><mi>RoadCb</mi><mo>)</mo></mrow><mo>></mo><mi>threshold</mi></mtd></mtr><mtr><mtd><mn>1</mn><mo>,</mo><mi>else</mi></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow></math>]]></math-cwu><!--imgid="icf0001"file="S2007101644400C00021.gif"wi="69"he="17"top="5"left="5"img-content="drawing"img-format="tif"orientation="portrait"inline="no"/-->式(2)中标记0的点属于阴影，标记1的点属于前景，abs表示求其绝对值，Cr是该点的Cr颜色分量，Cb是该点的Cb颜色分量，RoadCr表示道路的Cr颜色分量，RoadCb是道路的Cb颜色分量，threshold表示设置的阈值；连通区域标识单元，用于采用八连通区域提取算法得到对象的大小和形状信息；对象识别单元，用于将人体模型简化矩形模型，求每个连通区域的宽度wi和高度hi，然后用公式(3)计算区域面积属性εareai，其中Si为某个连通区域像素个数，将其作为面积大小属性2、如权利要求1所述的铁路道口智能视频监控装置，其特征在于在所述的铁路道口检测单元中，在道口的开启状态下，对于行人对象，检测行人对象的运动轨迹是否是向着道路方向以及是否有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；对于车辆对象需要检测是否有超车，如果检测出有超车行为就判定为机动车违章交通事件；是否有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；还要检测车速与转弯等行为，如果检测出有车速与转弯等行为就判定为机动车违章交通事件；对于其他物体对象检测是否有有停留事件，如果检测出有停留事件就判定为险情先兆异常事件；关于停留事件的检测通过动态跟踪的结果来进行判断，如果通过设定时间发现跟踪的对象位置没有发生变化就判定为是停留；车辆的超车与转弯的判断通过车辆进入时的RoadID与当前车辆所处的RoadID来进行判断，如果车辆进入是的RoadID为1，而目前车辆所处的RoadID为2，判定为该车辆有超车或转弯的行为；关于检测车速，计算出该车辆的速度，根据公式(5)进行计算A一(5)<formula>formulaseeoriginaldocumentpage6</formula>Att.it③式中V是车辆的速度；AS是车辆在某一时间内行驶的距离；At是车辆经过某一段距离所花费的时间；Sl为测量终点，对应于车辆对象信息中的EndPosition;S0为测量始点，对应于车辆对象信息中的StartPosition;tl为测量终了时间，对应于车辆对象信息中的EndTime;tO为测量起始时间，对应于车辆对象信息中的StartTime;将测量始点定义在车辆刚进入道口的第II区域时，将测量终点定义在车辆刚要离开道口的第II区域时，AS相当于第II区域的沿机动车道路的实际距离；在道口从开启状态过渡到关闭状态时，检测在第II区域是否有行人，如有行人对象，检测行人对象是否向第i区域或者第m区域移动，如果检测出来的行人对象有停留行为，判定为险情异常事件；检测在第I区域或者第m区域的行人是否有进入第n区域，如果检测出来有行人进入第n区域就判定为险情异常事件；对于车辆对象，首先检测在第n区域是否有车辆，如果有车辆的话，是否向第m区域方向在行驶，如果检测出来的车辆有停留行为，判定为险情异常事件；还要检测在第i区域或者第m区域的车辆是否有进入第n区域，如果检测出来有车辆进入第n区域就判定为险情异常事件；对于其他移动物体对象，要检测在第n区域是否有移动物体对象存在，如果检测出来有移动物体对象存在并有停留行为，就判定为险情异常事件；在道口处于关闭状态时，如检测有行人停留以及进入第m区域都判定为险情事件，对于车辆对象以及移动物体对象在第m区域可能会造成重大灾害事故的判定为重大险情事件。3、如权利要求1或2所述的铁路道口智能视频监控装置，其特征在于列车上的无线接收发送设备与道口的无线接收发送设备双向通信，列车上的无线接收发送设备的天线指向是列车行驶的正前方，列车上的监控计算机包括-视频信息存储模块，用于将记录下来的视频数据进行压縮编码、复用以及调制成压縮视频数据；无线接收发送模块，用于依照通信标准，发送压缩的视频数据；图像解压处理模块，用于将接收的数据进行解压縮、解复用以及解调，恢复成视频数据；所述图像解压处理模块的输出连接显示模块，所述的显示模块将恢复的视频数据信息显示在列车驾驶室内的显示单元上。4、如权利要求3所述的铁路道口智能视频监控装置，其特征在于在所述的连通区域标识单元中，先进行去噪处理，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收縮集Fc，通过处理所得到的扩张集Fe和收縮集Fc认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；有以下关系Fc〈F〈Fe成立，以收縮集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为(Rei,i^,2,3,…,n)，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果(I^ReinF,i4,2,3,，!!}。5、如权利要求4所述的铁路道口智能视频监控装置，其特征在于无线通信以及其通信标准采用GSM-R的铁路的数字移动通信方式。6、如权利要求4所述的铁路道口智能视频监控装置，其特征在于无线通信采用WiMAX通信技术，是微波存取全球互通，通信协议采用IEEE802.16e标准。全文摘要一种铁路道口智能视频监控装置，包括安装在铁路道口上能覆盖整个道口交通状况的视频传感器和用于监控整个道口的监控状况并能进行动态图像理解的监控计算机，监控计算机包括视频图像采集模块、显示单元、图像预处理模块、铁路道口定制模块、用于分析理解道口安全状态的动态图像理解模块、视频信息存储模块、道口无线接收发送模块、道口安全信息发布模块，道口安全信息发布模块连接道口显示单元和警告音播放单元，监控计算机与无线接收发送设备相连接。本发明智能化水平高、能通过图像理解技术自动判断道口的各种险情或故障、能通过无线通信技术实现列车司机与道口安全状况之间以及过往道口的人车与列车行进状况之间的相互通信。文档编号H04N7/18GK101179710SQ200710164440公开日2008年5月14日申请日期2007年11月30日优先权日2007年11月30日发明者严海东,何祖灵,庞成俊,汤一平,陆海峰,陈耀宇申请人:浙江工业大学