一种基于FPGA的公路危岩崩塌堆积物大小测量及报警系统的制作方法

本发明涉及图像处理技术领域，尤其是采用图像来识别并检测公路崩塌堆积物的系统与方法。

背景技术：

滑坡是一种严重的地质灾害，对滑坡的监测和预警关系到国家财产和人民生命安全。特别是公路崩塌是最为严重的边坡地质灾害，会造成直接的人员伤亡及车辆、物资等财产损失。崩塌堆积物一般为巨石，大的有几百吨重、小的也有好几吨，会造成严重的交通堵塞甚至是交通中断，严重影响交通秩序的正常运行。

现有技术中，对滑坡地质灾害的监测方法主要有：物探法、位移测量法、航测遥感法等。但现有技术均存在有效性和时效时差的问题，基本上没法测试滑坡发展速度和加速度。特别是还没有专门针对公路崩塌堆积物进行跟踪、监测和预警的技术，往往只能依靠视频进行人工监控，需要占用大量的网络资源，人力成本较大。cn01114386.x公开了一种滑坡和崩塌的动态监测装置，激光器1位于底座2上,底座2装有水平调节装置4、水平度检测装置3、减振器5及用于接收从监测对象反射回来的光的接收望远镜9，在激光器1光路上设置有准直镜6、可活动的扩束器7和偏转器8；光传感器及放大器10位于接收望远镜9的光路上，光传感器及放大器10、频谱分析仪11、计算机12顺序通过电信号相联接，计算机12控制偏转器8和接收望远镜9同步偏转。该设备结构复杂，功耗较大，难以实现将设备长期架设在野外进行检测，同时不能实现小型化、工程化，而且成本高，不能大规模批量生产。同时这个装置也同样需要人工来监测，没有提供报警功能，且不能估测出堆积物的相对大小，从而判断灾害等级。

技术实现要素：

针对现有技术存在的上述不足，本发明的目的是提供一种基于fpga的公路危岩崩塌堆积物大小测量及报警系统，根据采集到的视频图像识别出公路上是否存在崩塌，并通过堆积物占屏幕像素点的多少，测出崩塌堆积物体积的相对大小。并通过崩塌堆积物体积的相对大小进行报警等级的划分。

实现上述目的，本发明采用如下技术方案：一种基于fpga的公路危岩崩塌堆积物大小测量及报警系统，其特征在于，包括：

视频图像采集模块：由ccd摄像头和视频解码芯片构成，视频解码芯片的输出通过fpga的外扩接口与fpga主控芯片连接；

fpga处理模块：主要包括fpga主控芯片，fpga主控芯片输出的数据经编码芯片处理后通过vga接口与lcd显示器连接；对视频图像采集模块采集的图像经几何校正、滤波后进行融合算法处理，实现公路危岩崩塌堆积物大小测量及报警的处理；

视频图像显示模块：由编码芯片及lcd显示器组成；将fpga主控芯片处理后的图像在lcd显示器上实时显示出来。

进一步，所述fpga主控芯片还连接有图像压缩模块和缓存存储器；所述fpga主控芯片将含有崩塌堆积物的图像进行压缩后再通过无线数据收发模块进行上传。

进一步，所述fpga主控芯片的算法流程包括几何校正、中值滤波处理和融合算法处理；融合算法分危岩崩塌状态识别和堆积物大小测量及报警；具体包括：

①危岩崩塌状态识别：

当系统上电后进入危岩崩塌状态识别状态，首先进行运动状态判断以及连通性处理，设置的重点关注区域；如果重点关注区域内没有检测到运动物体，则继续检测；若重点关注区域内检测到运动物体，则再计算关注区域内二值化差分图像所占区域的比重，若比重大于阈值t1，则判定重点关注区域内有危岩崩塌发生，系统结束危岩崩塌状态识别过程，进入堆积物大小估测与报警过程，若没有超过阈值则重新开始检测；

整个危岩崩塌状态识别分为：重点关注区域划分、运动状态判断、连通性处理；

重点关注区域划分：在安装摄像头之前，先肉眼观察边坡危岩的情况，将认为比较危险的地方放入重点观测区域，并根据实际情况调节重点观测区域(长方形的框)的大小；在70％的边坡区域的正中心设置一个大小可以调节的重点观测区域(长方形的框)。

运动状态判断：采用帧间差分的方法进行运动状态的判断；帧间差分法就是相邻两帧图像差分，将两帧图像对应像素做相减运算；

连通性处理：消除边界的孤立点、毛刺以及平滑图像的边界而不改变图像的整体轮廓形状，得到一个比较清晰的运动区域检测结果，达到优化边界轮廓的效果，使用数学形态学图像滤波处理方法。

②堆积物大小测量及报警：

a)设置测量重点关注区域(即30％的公路区域)。若重点关注区域内没有堆积物图像，则测量结束，重新返回危岩崩塌状态识别过程，若重点关注区域内有堆积物，则进入下一步骤；

b)计算重点关注区域内堆积物图像占重点关注区域的像素比重。若像素比重小于设定的阈值t2，则测量结束，重新返回危岩崩塌状态识别状态；若像素比重大于设定的阈值则进入下一步骤，此状况说明有影响公路正常通行的物体的出现，但不排除临时停靠的车辆的影响；

c)为排除临时停靠车辆因素的影响，采用统计学方法进行处理，具体为每一分钟在视频流中抽取10幅图片，连续抽取50幅(用时5分钟)，计算这50幅图片中堆积物的相对大小，并用统计学进行统计处理，若这50幅图片堆积物的相对大小都超过阈值t3，就基本排除车辆停靠因素，说明有堆积物的存在，进入下一步骤；

d)发出报警。报警信息分为ⅰ级、ⅱ级、ⅲ级，危害程度依次增加，根据关注区域内堆积物图像占关注区域的像素比重大小划分报警等级，并将其在lcd显示器上显示出来。

相比现有技术，本发明具有如下有益效果：

1、本发明系统可以实现工程化、小型化，功耗较低，可以将设备长久架设在野外进行自主实时监测；同时成本较低，可以实现批量化生产。另外有自动报警功能，不需要花费人力资源，人工进行监测。

2、本发明基于fpga的公路危岩崩塌堆积物大小测量及报警系统，通过实时监测可以及时获得危岩变化的情况，同时通过堆积物占屏幕像素点的多少，测出崩塌堆积物体积的相对大小，对公路上出现的堆积物大小进行不同等级的预警，提早做出相应措施。我国是地质灾害频发的国家，滑坡、泥石流及危岩崩塌是三大主要地质灾害类型。危岩崩塌在地质灾害中占有的比重仅次于滑坡，中国每年产生的崩塌灾害次数在2000次到8000次不等，直接经济损失几十亿元，正因为崩塌这种巨大的危害性，人们开始重视对崩塌的监测和预报。随着公路网的不断发展，在公路的建设过程中，会形成大量的危岩，危岩崩塌导致交通阻塞以及人员及财产伤亡等严重后果。因此，为了避免危岩崩塌造成的不良后果，提供了较好的解决措施。

3、本发明将危岩崩塌状态识别算法与堆积物大小测量及报警算法相结合，实现了对运动目标的实时跟踪，同时对公路上出现的堆积物大小进行不同等级的预警，提早做出相应措施，可以实时的发出警报，时效性好。

附图说明

图1为本发明基于图像的公路崩塌堆积物监测系统组成原理方框图。

图2为本发明基于图像的公路崩塌堆积物监测及预警方法流程框图。

图3为本发明中危岩崩塌状态识别处理流程图。

图4为本发明中堆积物大小测量及报警流程图。

图5为本发明中帧间差分法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步的说明。

参见图1，一种基于fpga的公路危岩崩塌堆积物大小测量及报警系统，包括：

视频图像采集模块：由ccd摄像头和视频解码芯片构成，视频解码芯片的输出通过fpga的外扩接口与fpga主控芯片连接；

fpga处理模块：主要包括fpga主控芯片，fpga主控芯片输出的数据经编码芯片处理后通过vga接口与lcd显示器连接；对视频图像采集模块采集的图像经几何校正、滤波后进行融合算法处理，实现公路危岩崩塌堆积物大小测量及报警的处理；

视频图像显示模块：由编码芯片及lcd显示器组成；将fpga主控芯片处理后的图像在lcd显示器上实时显示出来。

所述fpga主控芯片还连接有图像压缩模块和缓存存储器；所述fpga主控芯片将含有崩塌堆积物的图像进行压缩后再通过无线数据收发模块进行上传。所述缓存存储器为sdram缓存芯片。

所述解码器对视频流进行解码后将视频流数据通过总线传输到fpga主控芯片内，fpga主控芯片将视频流数据转换成视频帧数据存入缓存存储器内，每间隔一段时间从缓存存储器内抽取视频帧从而获图像序列进行崩塌堆积物监测。fpga主控芯片通过堆积物占屏幕像素点的多少，测出崩塌堆积物体积的相对大小，对公路上出现的堆积物大小进行不同等级的预警，并通过无线数据收发模块将含有崩塌堆积物的图像进行上传，并启动报警装置进行报警。

将ccd摄像头采集到的图片流用几何校正方法进行处理，避免图像因成像角度引起的扭曲失真问题，使实验结果更具真实性、完整性和准确性。之后进行中值滤波处理，减少噪声，再结合融合算法实现对公路危岩崩塌堆积物大小测量及报警系统的算法设计。融合算法分为两部分，分别为危岩崩塌状态识别和堆积物大小测量及报警。

参见图2，所述fpga主控芯片的算法流程包括几何校正、中值滤波处理和融合算法处理。其中，几何校正：由于成像系统的非线性及角度变化等原因，通过摄像头采集的视频图像会出现畸变扭曲等问题，这类问题被称为几何失真。对图像的几何失真进行校正。几何失真校正的常用方法是先进行空间几何坐标变换，然后重新确定校正完毕后的各像素点的取值。空间几何坐标变换是按照原始图像f(x，y)来校正其几何失真图像g(x′，y′)。根据两幅图像之间的一些对应点建立映射函数，使得失真图像的x′－y′坐标系变换到原始图像x－y坐标系，实现失真图像按照原始图像的几何位置进行校正。设原始图像使用(x，y)坐标系，失真图像使用(x′，y′)坐标系。经过几何位置校正后，校正空间中各像素点的像素值等于原始图像对应点的像素值。将几何校正后的图像进行中值滤波处理，减少噪声。最后，对滤波后的图像进行融合算法处理。

融合算法处理分危岩崩塌状态识别和堆积物大小测量及报警；具体包括：

①危岩崩塌状态识别：

当系统上电后进入危岩崩塌状态识别状态，首先进行运动状态判断以及连通性处理，设置的重点关注区域；如果重点关注区域内没有检测到运动物体，则继续检测；若重点关注区域内检测到运动物体，则再计算关注区域内二值化差分图像所占区域的比重，若比重大于阈值t1，则判定重点关注区域内有危岩崩塌发生，系统结束危岩崩塌状态识别过程，进入堆积物大小估测与报警过程，若没有超过阈值则重新开始检测；

整个危岩崩塌状态识别分为：重点关注区域划分、运动状态判断、连通性处理；

重点关注区域划分：在安装摄像头之前，先肉眼观察边坡危岩的情况，将认为比较危险的地方放入重点观测区域，并根据实际情况调节重点观测区域(长方形的框)的大小；在70％的边坡区域的正中心设置一个大小可以调节的重点观测区域(长方形的框)。

运动状态判断：采用帧间差分的方法进行运动状态的判断；帧间差分法就是相邻两帧图像差分，将两帧图像对应像素做相减运算；

连通性处理：消除边界的孤立点、毛刺以及平滑图像的边界而不改变图像的整体轮廓形状，得到一个比较清晰的运动区域检测结果，达到优化边界轮廓的效果，使用数学形态学图像滤波处理方法。

②堆积物大小测量及报警：

a)设置测量重点关注区域(即30％的公路区域)。若重点关注区域内没有堆积物图像，则测量结束，重新返回危岩崩塌状态识别过程，若重点关注区域内有堆积物，则进入下一步骤；

b)计算重点关注区域内堆积物图像占重点关注区域的像素比重。若像素比重小于设定的阈值t2，则测量结束，重新返回危岩崩塌状态识别状态；若像素比重大于设定的阈值则进入下一步骤，此状况说明有影响公路正常通行的物体的出现，但不排除临时停靠的车辆的影响；

c)为排除临时停靠车辆因素的影响，采用统计学方法进行处理，具体为每一分钟在视频流中抽取10幅图片，连续抽取50幅(用时5分钟)，计算这50幅图片中堆积物的相对大小，并用统计学进行统计处理，若这50幅图片堆积物的相对大小都超过阈值t3，就基本排除车辆停靠因素，说明有堆积物的存在，进入下一步骤；

d)发出报警。报警信息分为ⅰ级、ⅱ级、ⅲ级，危害程度依次增加，根据关注区域内堆积物图像占关注区域的像素比重大小划分报警等级，并将其在lcd显示屏上显示出来。

所述运动状态判断以及连通性处理，包括当危岩崩塌状态识别模块识别到重点关注区域的危岩有异常发生，则自动启动堆积物大小估测及报警过程，采用区域生长算法对图像进行处理，然后进行二值化和连通性处理，最终得到二值化图像，进行统计估测，估测步骤如下：

a)区域生长算法对图像进行处理，得到含有堆积物轮廓的图像，为了将堆积物与背景区分开来，将背景像素点设为0，堆积物像素点设为1，变为二值化图像，然后进行连通性处理，连通性处理方法同上；

b)区域生长实现过程如下：①对图像选取种子点，设该种子点像素为(x，y)；②以(x，y)为中心，考虑(x，y)的8领域像素(x＇，y＇)，如果(x＇，y＇)满足生长准则，将(x＇，y＇)与(x，y)合并，同时将(x＇，y＇)放入集合；③将集合中的每个像素当作(x，y)，重复步骤②；④集合为空时，返回步骤①；⑤循环步骤①－步骤④，直到领域8点都不符合生长条件，则生长终止；

(1)种子点选取：选取30％的公路区域的图像的中点为种子点，开始区域生长；

(2)生长准则：如果种子点的8领域像素与种子像素差值的绝对值小于某个门限t，则将其合并，放入集合；

(3)生长终止：遍历完30％的公路区域的图像中的所有像素，并且每个图像像素都有归属(是否在集合内)时，生长结束。

如图3所示，为危岩崩塌状态识别处理流程图。当系统进入危岩崩塌状态识别过程后，首先进行运动状态判断以及连通性处理，设置的重点关注区域，如果重点关注区域内没有检测到运动物体，则继续检测；若重点关注区域内检测到运动物体，则再计算重点关注区域内二值化差分图像所占区域的比重，若比重大于阈值t1，则判定重点关注区域内有危岩崩塌发生，系统结束危岩崩塌状态识别过程，进入堆积物大小估测与报警过程，若没有超过阈值则重新开始检测。整个危岩崩塌状态识别可以分为三大部分，重点关注区域划分、运动状态判断、连通性处理。

如图4所示，为堆积物大小测量及报警流程。重点关注区域的危岩发生崩塌后可能对公路路面形成堆积物，当堆积物超过一定体积时即可能引发交通堵塞等次生灾害，堆积物大小测量设计即实现对堆积物相对大小的测量，遇险报警。当危岩崩塌状态识别模块识别到重点关注区域的危岩有异常发生，则自动启动堆积物大小估测及报警过程，采用区域生长算法对图像进行处理，然后进行二值化和连通性处理，最终得到二值化图像，进行统计估测。

本发明应用实施例：

一种基于fpga的公路危岩崩塌堆积物大小测量及报警系统的应用如下：

1、ccd摄像头初始化，在设置摄像头时，首先将摄像头对焦，使得屏幕上70％的区域对准边坡(判断运动目标)；30％的区域对准公路(判断堆积物)。

2、几何校正：由于成像系统的非线性及角度变化等原因，通过摄像头采集的视频图像会出现畸变扭曲等问题，这类问题被称为几何失真。对图像的几何失真进行校正。几何失真校正的常用方法是先进行空间几何坐标变换，然后重新确定校正完毕后的各像素点的取值。空间几何坐标变换是按照原始图像f(x，y)来校正其几何失真图像g(x′，y′)。根据两幅图像之间的一些对应点建立映射函数，使得失真图像的x′－y′坐标系变换到原始图像x－y坐标系，实现失真图像按照原始图像的几何位置进行校正。设原始图像使用(x，y)坐标系，失真图像使用(x′，y′)坐标系。经过几何位置校正后，校正空间中各像素点的像素值等于原始图像对应点的像素值。

3、将几何校正后的图像进行中值滤波处理，减少噪声。

4、对滤波后的图像进行融合算法处理，融合算法分为两部分，分别为危岩崩塌状态识别和堆积物大小测量及报警。具体过程如下：

①危岩崩塌状态识别：

当系统进入危岩崩塌状态识别过程后(上电就进入该状态)，首先进行运动状态判断以及连通性处理，设置的重点关注区域，如果重点关注区域内没有检测到运动物体，则继续检测；若重点关注区域内检测到运动物体，则再计算关注区域内二值化差分图像所占区域的比重，若比重大于阈值t1，则判定重点关注区域内有危岩崩塌发生，系统结束危岩崩塌状态识别过程，进入堆积物大小估测与报警过程，若没有超过阈值则重新开始检测。整个危岩崩塌状态识别可以分为三大部分，重点关注区域划分、运动状态判断、连通性处理。

重点关注区域划分：在70％的边坡区域的正中心设置一个大小可以调节的重点观测区域(长方形的框)，在安装摄像头之前，先肉眼观察边坡危岩的情况，将认为比较危险的地方放入重点观测区域，并根据实际情况调节重点观测区域(长方形的框)的大小。

运动状态判断：采用帧间差分的方法进行运动状态的判断。帧间差分法就是相邻两帧图像差分，将两帧图像对应像素做相减运算。

图5中函数fn(x，y)表示摄像机拍摄的第n帧场景图像，函数fn+m(x，y)表示第n+m帧场景图像，dm(x，y)表示二者的差分图像，bm(x，y)表示差分图像阈值化后的二值图像。当对应像素的差值的绝对值大于阈值t时，输出为1，表示在此像素点检测到运动目标；否则，输出为0，表示没有检测到运动目标。如下式所示。

dm(x，y)＝|fn(x，y)-fn+m(x，y)|

连通性处理：由于噪声或者目标颜色与背景相近的影响，在通过算法运算后，检测到目标区域的图像往往会含有许多孤立的点、孤立的小区域和孔洞，需要进行连通性处理，连通性处理可以消除边界的孤立点、毛刺以及平滑图像的边界而不改变图像的整体轮廓形状，得到一个比较清晰的运动区域检测结果，达到优化边界轮廓的效果，常用的是使用数学形态学图像滤波处理方法。基本的形态学运算是腐蚀和膨胀。腐蚀是消除目标图像中的无用点或孤立噪声点的一个过程，其结果使得剩下的目标比处理前少了一些像素。一般意义的腐蚀定义是：

x用b来腐蚀记为定义为：

如上公式所示腐蚀过程可以描述如下：b平移(x，y)后仍在集合x中的结构元素参考点的集合。换句话说，用b来腐蚀x得到的集合是b完全包括在集合x中时b的参考点位置的集合。

膨胀是腐蚀运算的逆运算，它是将与目标接触的所有点合并到该目标的过程，过程的结果是使目标的面积增加了相应数量的像素。膨胀对填补分割后目标中的孔洞非常有用。

x用b来膨胀记为定义为：

先腐蚀后膨胀的过程称为开运算(opening)。它具有消除细小目标、在纤细点处分离目标、平滑大的边界，而不明显改变其面积的作用。开运算的定义为：

先膨胀后腐蚀的过程称为闭运算(closing)。它具有填充目标内部细小孔洞、连接邻近目标，在不明显改变面积的情况下平滑其边界的作用，闭运算的定义为：

通常情况下，对差分图像使用阈值分割二值化时，所得到的二值化图像中目标区域的边界往往不是平滑的，目标区域具有一定的因错判而产生的孔洞，背景区域上有一些因错判而产生的粒状噪声。开运算可以显著的改善这种情况，得到期望的效果。

②堆积物大小测量及报警：

当危岩崩塌状态识别模块识别到重点关注区域的危岩有异常发生，则自动启动堆积物大小估测及报警过程，采用区域生长算法对图像进行处理，然后进行二值化和连通性处理，最终得到二值化图像，进行统计估测，估测步骤如下：

a)区域生长算法对图像进行处理，得到含有堆积物轮廓的图像，为了将堆积物与背景区分开来，将背景像素点设为0，堆积物像素点设为1，变为二值化图像，然后进行连通性处理，连通性处理方法同上；

b)区域生长实现过程如下：①对图像选取种子点，设该种子点像素为(x，y)；②以(x，y)为中心，考虑(x，y)的8领域像素(x＇，y＇)，如果(x＇，y＇)满足生长准则，将(x＇，y＇)与(x，y)合并，同时将(x＇，y＇)放入集合；③将集合中的每个像素当作(x，y)，重复步骤②；④集合为空时，返回步骤①；⑤循环步骤①－步骤④，直到领域8点都不符合生长条件，则生长终止。

(1)种子点选取：选取30％的公路区域的图像的中点为种子点，开始区域生长。

(2)生长准则：如果种子点的8领域像素与种子像素差值的绝对值小于某个门限t，则将其合并，放入集合。

(3)生长终止：遍历完30％的公路区域的图像中的所有像素，并且每个图像像素都有归属(是否在集合内)时，生长结束。

a)设置测量重点关注区域(即30％的公路区域)。若重点关注区域内没有堆积物图像，则测量结束，重新返回危岩崩塌状态识别过程，若重点关注区域内有堆积物，则进入下一步骤；

b)计算重点关注区域内堆积物图像占重点关注区域的像素比重。若像素比重小于设定的阈值t2，则测量结束，重新返回危岩崩塌状态识别状态；若像素比重大于设定的阈值则进入下一步骤，此状况说明有影响公路正常通行的物体的出现，但不排除临时停靠的车辆的影响；

c)为排除临时停靠车辆因素的影响，采用统计学方法进行处理，具体为每一分钟在视频流中抽取10幅图片，连续抽取50幅(用时5分钟)，计算这50幅图片中堆积物的相对大小，并用统计学进行统计处理，若这50幅图片堆积物的相对大小都超过阈值t3，就基本排除车辆停靠因素，说明有堆积物的存在，进入下一步骤；

d)发出报警。报警信息分为ⅰ级、ⅱ级、ⅲ级，危害程度依次增加，根据重点关注区域内堆积物图像占重点关注区域的像素比重大小划分报警等级，并将其在lcd显示器上显示出来。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。