专利名称：一种提高能见度和可视距离的图像拼接重建及全局监控方法
技术领域：
本发明涉及到一种提高能见度和可视距离的图像拼接重建及全局监控方法，属于图像处理、模式识别、计算机视觉和计算机图形学技术领域，具体涉及一系列图像拼接、场景重建、智能监控的应用算法。
背景技术：
视频监控系统在现实生活中已经取得了广泛的应用，如城市交通视频监控系统、 楼宇视频监控系统、铁路视频监控系统等。从技术层面上讲，可以把视频监控技术分为人工监控和计算机智能监控两种，而智能监控主要是利用计算机视觉的各种技术来自动监控特定环境中的异常事件、行为等，具有不需要人力和自动报警的优点，其应用的数字图像处理是对图像进行去除噪声、分割、提取特征等处理的方法和技术，而应用计算机视觉则能够智能检测特定的物体和运动，从而达到异常信息检测和自动报警的功能。现有的视频矩阵一般用于各类监控场合，通过阵列切换的方法将m路视频信号任意输出至η路监看设备上的电子装置，一般情况下矩阵的输入大于输出即m > η。但一台视频终端只能对应显示或切换一台摄像机的一幅图像，监视范围小，监控不能获得无缝的全局图像。对于陆路车辆运行和飞机起降，则要求驾驶员具有足够的能见度和可视距离，而在恶劣天气条件时，驾驶员的能见度和可视距离很小，影响陆路车辆运行和机场的飞机起降，以高速铁路列车为例，高铁的控制系统虽然可以使驾驶员获得一定距离的前方道路信息，但基本上是属于“盲跑”，在能见度不好的恶劣天气时，驾驶员根本瞭望不到前方线路状况，如车速是300公里/小时，80 米的低能见度只能满足驾驶员瞭望1秒时间的运行距离，而高速列车刹车距离则需要数公里，所以解决高速列车驾驶员获得超视距的实景线路路况和解决在能见度不高的恶劣天气时达到安全距离的线路瞭望是非常必要的。
发明内容
本发明所要解决的技术问题在于提出一种提高能见度和可视距离的图像拼接重建及全局监控方法，在需要的视频监控区域全局布置摄像机，图像传输给计算机完成场景重建，包括提取相邻图像间重合区域特征，将提取的特征进行匹配，对图像进行几何变换， 将相邻图像拼接重建，并利用增强现实技术将拼接重建图像显示出来，获得无缝的全局图像，并对其进行异常事件检测和报警处理；在能见度良好的天气条件下，可以使驾驶员获得大于能见度范围以外的场景重建道路图像，相当于提高了驾驶员的可视距离；在能见度不高的天气条件下，由于每台摄像机能拍摄到各自能见度范围内的图像，当能见度大于各台摄像机之间的距离时，把各台摄像机获得的各自能见度的图像拼接重建，可以获得足够能见度或超视距的全局重建图像，特别对于重要视频监控场所、铁路线路和机场等可以提高驾驶员的能见度，掌握运行区间前后列车的运行状况，使调度员获得全局的实景图像，为列车或飞机的安全运行提供重要的辅助信息。
为解决上述问题，本发明提出了一种提高能见度和可视距离的图像拼接重建及全局监控方法，具体包括如下步骤1、按给定的能见度间隔距离布置摄像机；2、每台摄像机分别摄取给定方向、范围的监视区域图像，分别传输给计算机，进行去除噪声、去雨去雾、去除畸变、图像增强、特征提取、异常事件检测等一系列前期处理；3、由计算机的图像处理系统对每台摄像机至相邻摄像机间的区段范围图像拼接重建成全局监控图像，并根据已知信息利用增强现实技术修改拼接后的图像，获得全局监控图像和异常事件检测。上述一种提高能见度和可视距离的图像拼接重建及全局监控方法，图像拼接重建及全局监控方法步骤可以由多层计算机网协同处理，可以根据工作层次进行多层计算机图像处理的任务分配，一般底层级计算机对图像进行去噪、去雨去雾、异常事件检测等前期预处理，中层级计算机接受底层级计算机已经过前期预处理的图像，负责图像汇集、拼接重建等处理，中层级计算机站的拼接重建图像与监控报警信息可以输出供对分片区域或路段监控报警，实现分区域监控；高层级计算机接受中层级计算机已经过拼接处理的分区域图像， 再拼接重建成全区监控图像与处理监控报警信息，实现全局监控。当然，这样的计算机布置方式并不唯一，可以根据工作层次进行多层计算机图像处理的任务分配。本发明能够获得大范围和长路段的场景重建图像，利用智能监控技术来检测全区段内突发异常事件，如线路或跑道异常，移动物体侵入等。在能见度良好条件下，可以大幅提高可视距离，并全局监控场景事件；在能见度受天气影响时，仍能获得具有足够能见度和可视距离的视频监控全局图像，应用除雾、除雨的图像处理技术，更能提高图像的清晰度。其可用于重要视频监控场所，特别适用于铁路列车运行和机场的飞机起降解决能见度不足问题，并为列车或飞机的安全运行提供重要的辅助 fn息ο
图1是本发明全局监控及拼接重建方法的处理流程框图；图2是本发明应用于铁路线路的图像拼接重建及视频监控的示意图。
具体实施例方式如图1所示，一种提高能见度和可视距离的图像拼接重建及全局监控方法包括如下步骤1.按给定的能见度间隔距离安装摄像机，每台摄像机分别摄取给定方向、距离范围的监视区域图像；2.每台摄像机拍摄到的图像传输给计算机站；3.图像处理系统对每台摄像机摄取的区域图像进行去除噪声、去除畸变、特征提取等前期处理，如果天气有雾或有雨，计算机图像处理系统对获取的图像进行除雾或除雨处理；4.由计算机图像处理系统对获取的每台摄像机区域图像进行运动物体检测、目标识别、线路或跑道完好性检测、异物检测等一系列异常事件检测、报警和图像增强处理；5.经前期处理过的各台摄像机图像，利用几何变换、三维重构等技术将相邻图像拼接重建，并根据已知信息利用增强现实技术修改拼接重建后的图像；6.获得全局重建图像和实现异常事件检测报警。如图2所示，在一条300公里的电气化铁路实现摄像机和多层计算机网站和信号通讯系统组成铁路线路图像拼接重建和全局监控。按线路的长度或辖管范围大约按每30 公里左右划分成10个线路路段，图中路段即为1-10 (m= 10)；利用铁路线路侧边的电力接触网支柱，其间隔距离一般是60米左右，在每一根支柱上安装一个摄像机，图中各个摄像机排列为m-n(n ^ 500)，每台摄像机都能摄取到大于至前一个电力接触网支柱距离范围内的图像，为节约空间，每台摄像机配备一个DSP或ARM处理器(相当于底层级计算机站)， 对摄取的图像进行去除噪声、去除畸变、图像增强、线路异常事件检测等一系列前期处理; 图中每一个路段对应建立一个中层级计算机站，各路段的摄像机图像传输给中层级计算机站，中层级计算机站即为l_f(f = 10)，接受各底层计算机站经过前期处理的摄像机图像， 提取相邻图像间重合区域特征，将提取的特征进行匹配，对图像进行几何变换，将相邻图像拼接重建，并利用增强现实技术，完成各路段的图像拼接重建，并对其进行异常事件检测和报警处理；在铁路调度所设置高层级计算机站，接受各个路段的中层级计算机站的视频图像，再进行各路段的图像拼接重建，铁路调度员就可以获得管辖范围内的路段的全部线路图像信息，运行列车信息和异常事件报警信号；利用信号通讯系统，建立各机站、调度和列车之间的通讯。当遇到大雾，雨雪、沙尘等恶劣天气时，如能见度是80-100米，大于一根支柱距离，每台摄像机都能获取保证60米能见度的图像，多层计算机网就可以把每台摄像机获取的60米以内的可视图像截取出来，经处理拼接成清晰的整个区段线路图像，如驾驶员需要获取正常视觉范围的可视距离是3000米，中、高层级计算机站则根据列车所处的区段位置把自列车所处位置运行方向以前3000米距离内50余台摄像机拼接的重建图像部分发送给列车，驾驶员通过视频就可以观察瞭望到3000米内的实景重建图像，如需要获得超过驾驶员视觉范围前方9000米的线路图像，则机站给列车发送前方约150台摄像机拼接的重建图像，随着列车运行，不断滚动更新前方线路的图像，这样就增大了驾驶员的可视距离供列车全速运行需要，并掌握运行区间前后列车的运行状况，铁路调度室也可以随时监控线路状况及监视列车运行；当遇到雨雾天气对能见度造成影响时，由于各台摄像机能获得至前1台以上摄像机的能见度图像，经图像拼接重建，仍能获得具有足够可视距离的视频监控全局图像，应用除雾、除雨的图像处理技术，更能提高监控图像的清晰度；为了减少计算机站的图像处理量，图像更新速度以满足监控需要设置，或采用在有检测到有异物侵入和线路异常时更新和刷新监控图像和发出报警信息；事实上，铁路线路的图像特征明显且比公路要简单得多，更利于发挥图像处理技术的检测和物体识别功能，识别不安全因素的图像信号，如安全距离内存在其他列车、闯入铁路线路的人、动物、轨道上的障碍物以及由极端自然灾难引发的线路故障等，给调度员、驾驶员报警提示。 本发明方法中，图像的去除噪声、去雨去雾、去除畸变、图像增强、特征提取、异常事件检测、图像拼接、场景重建、利用增强现实技术修改拼接后的图像等，都为现有技术，此处不赘述。
权利要求
1.一种提高能见度和可视距离的图像拼接重建及全局监控方法，其特征在于，它包括如下步骤1、按给定的能见度间隔距离布置摄像机；II、每台摄像机分别摄取给定方向、范围的监视区域图像，分别传输给计算机，进行去除噪声、去雨去雾、去除畸变、图像增强、异常事件检测等一系列前期处理；III、由计算机的图像处理系统对每台摄像机至相邻摄像机间的区段范围图像拼接重建成全局监控图像，并根据已知信息利用增强现实技术修改拼接重建后的图像，获得全局监控图像和异常事件检测。
2.如权利要求1所述的一种提高能见度和可视距离的图像拼接重建及全局监控方法， 其特征在于，图像拼接重建及全局监控方法步骤可以由多层计算机网协同处理，可以根据工作层次进行多层计算机图像处理的任务分配，一般底层级计算机对图像进行去噪、去雨去雾、异常事件检测等前期预处理，中层级计算机接受底层级计算机已经过前期预处理的图像，负责图像汇集、拼接重建等处理，中层级计算机站的拼接重建图像与监控报警信息可以输出供对分片区域或路段监控报警，实现分区域监控；高层级计算机接受中层级计算机已经过拼接处理的分区域图像，再拼接重建成全区监控图像与处理监控报警信息，实现全局监控。
全文摘要
本发明公开了一种提高能见度和可视距离的图像拼接重建及全局监控方法，包括如下步骤1、按给定的能见度间隔距离布置摄像机；2、每台摄像机分别摄取给定方向、范围的监视区域图像，分别传输给计算机，进行去除噪声、去雨去雾、去除畸变、图像增强、异常事件检测等一系列前期处理；3、由计算机的图像处理系统对每台摄像机至相邻摄像机间的区段范围图像拼接重建成全局监控图像，并根据已知信息利用增强现实技术修改拼接后的图像，获得全局监控图像和异常事件检测。利用本发明方法能够获得具有足够能见度和可视距离的大范围和长路段的场景重建图像，可用于重要视频监控场所，特别适用于铁路列车运行和机场的飞机起降解决能见度不足问题，并为其安全运行提供全面的观测信息。
文档编号H04N7/18GK102510482SQ20111038790
公开日2012年6月20日 申请日期2011年11月29日 优先权日2011年11月29日
发明者张甜, 蔡棽 申请人:蔡棽