本发明涉及图像识别方法，尤其涉及一种基于新旧时相变化发现的违章建筑自动识别的方法。
背景技术：
当今社会，土地是人类赖以生存和发展的宝贵自然资源，土地的持续利用是人类社会持续发展的基石。在人口日益膨胀的今天，尤其是在我国，土地承受着巨大的压力，人地关系日趋紧张。而违章建筑建、土地违法使用等现象造作为占用土地的一大因素已十分严重，因此我们急需高效准确的找到违章建筑的可疑变化区域，识别违章建筑。而识别违章建筑过程中极易受复杂现实场景干扰，并难以区分违章建筑和当地合法的建筑。因此提高违章建筑物识别准确率减少误报率，保证检测结果的鲁棒性显得十分重要。违章建筑和合法建筑的区分和对复杂现实场景的干扰因素的去除是解决此问题的关键。
在违章建筑识别过程中，无论是视频信息还是图片信息都可能同时存在违章建筑和合法建筑。直接检测违章建筑的同时极可能将只存在违章建筑的图片报警。造成违章建筑检测的误判。在现实情境中，自动发现违章建筑变化会受到很多因素的干扰，在检测变化的过程中，树叶的抖动，水面的波动，烟雾云朵的运动，都会被检测出来，影响违章建筑识别，造成违章建筑识别的误判。同时由于现实场景中停留的车辆、静止的物体，会使前背景分离时前景误判为背景，影响违章建筑识别的准确率。针对于上述问题，结合建筑物纹理结构区别于自然物体在形态特征上的特点，对于准确高效判定图像中是否含有建筑物的技术的需求日益凸显。
技术实现要素：
发明目的：本发明的目的是提供一种基于新旧时相变化发现的违章建筑自动识别的方法，以弥补视频监控自动发现违章建筑过程中，直接对新时相视频进行识别时违章建筑与视频中本身就存在的建筑区分的困难，去除自然场景中天气变化、树叶抖动、反光阴影和人为停留的自行车轿车等干扰因素，显著提高了违章建筑的识别率、减少了误报率，并大幅度提高了检测结果的鲁棒性。
技术方案：一种基于新旧时相变化发现的违章建筑自动识别的方法，包括如下步骤：
(1)将采集到的大量视频信息，通过跳n帧处理得到图像信息(n建议取5-10)；用em算法改进的gmm模型对图像进行处理得到不同时段背景模型，即新旧时相背景图像，存入背景库中；
(2)使用sift(scale-invariantfeaturetransform)算法，对新旧时相背景图片进行配准，去除摄像机抖动晃动等造成的影响；将得到的配准图像进行修复，以去除配准过程中在边界处造成的黑块，为步骤(3)提供稳定有效的背景图片；
(3)利用背景图像设定灰度阈值t，当两幅背景图像中对应像素灰度差值在阈值范围内(＜t)，则认为不是阴天雨雪等天气，保留该背景信息并更新到场景中的变化区域图中；反之，则认为该天视频信息属于天气变化范围，剔除该天视频信息；
(4)提取步骤(2)中得到的配准后的新旧时相背景图片；将得到的图像进行形态学预处理，以消除不同时相光照对背景图片的影响；再做差值，得到带有噪声的黑白背景差异图像；所述预处理包括直方图均衡化、灰度化和二值化。
(5)用sobel算子对步骤(3)中得到的差值图像进行边缘检测，计算对应的形状算子，去除图像中阴影区域；以消除局部反光和阴影的影响；进行形态学后处理，消除复杂现实场景中，树叶抖动、水波晃动等常见的干扰因素，所述形态学后处理包括小面积删除、连通域检测和设定面积最小阈值s；进行纹理识别，设定纹理的粗细范围；去除离摄像机较近物体对实验结果的影响，并使摄像头被遮挡时发起报警；对变化区域进行建筑物结构检测。
(6)对视频信息做机械检测，发现大型机械如挖掘机铲车时则进行违章搭建报警，并对步骤(5)中形态学处理后的图片帧做小型车辆的检测，通过训练常见的交通工具如自行车轿车等，建立运动前景模型库，去除这些常见的模型停留造成的影响，得到高鲁棒性的可疑建筑物。
(7)计算步骤(5)中的运动前景库里的车辆行人的位置和大小，将之与检测出的疑似违章建筑区域的位置和大小进行比较，去除不符合客观规律的变化，得到高鲁棒性的违章建筑物识别。
具体的，所述步骤(5)具体包括：
(5.1)用sobel算子对步骤s4中得到的差值图像进行边缘检测；
(5.2)遍历图像中每个轮廓计算得到轮廓的面积周长及轮廓面积周长比等形状算子；由于圆的面积周长比最大，线段最小，矩阵排中间；输入图片的长度rows和宽度cols；保留轮廓面积s大于阈值rows*cols/500的轮廓以去除较小的噪声轮廓；通过长宽比l、面积周长比c的阈值，去除因抖动等因素产生的线段，得到去噪后的差值图像；
(5.3)进行纹理识别，粗纹理对应目标物体离摄像头较近，细纹理则较远；经实验设定纹理的粗细范围w,纹理轮廓面积大于w，则去除离摄像机较近物体对实验结果的影响，即摄像头被遮挡时发起报警，并丢弃此视频信息；
(5.4)对得到的可疑变化区域带入新时相背景图片进行建筑物结构特征识别，lsd算法进行直线检测和筛选并按不同角度进行分类，若0°、90°和180°领域同时达到峰值，寻找相互约束的垂直和水平线组；存在则视作该变化区域内有疑似建筑物。
所述步骤(6)具体包括：
(6.1)采集正样本负样本，分别训练部件模型，所述训练部件模型包括挖掘车、铲车、自行车和轿车；
(6.2)对视频信息进行抽帧，用dpm算法进行基于部件模型的大型机械检测，检测是否存在大型机械，如铲车挖掘机，如存在则报警。
(6.3)对步骤(5)中得到的形态学处理后的图片进行部件检测，检测旧时相中是否存在自行车轿车等常见交通工具，如存在则视为车辆停留造成的变化去除相应的可疑建筑物变化区域。
所述步骤(7)具体包括：
(7.1)用faster-r-cnn算法在背景图片中标出车辆行人；
(7.2)计算可疑建筑物变化区域和车辆行人区域所在的位置和区域大小，并对其分块，相近位置的可疑建筑物变化区域和车辆行人区域归为一块；
(7.3)用lsd算法检测同块可疑建筑物变化区域和车辆行人区域中的直线；
(7.4)用dp简化线算法对曲线进行精简和修正，得到若干条直线计算各自最长直线的长度，若同块建筑区域中直线l1与车辆直线l2的比为5以上，且与行人l3比为10以上则判为建筑物；反之，过滤掉此可疑建筑物。
有益效果
本法具有如下显著进步：1、通过引入复杂情景的违章建筑可疑变化区域提取，更好利用地新旧时相背景变化信息，提高检测结果鲁棒性和实时性；2、在违章建筑检测中，去除了由环境干扰引起的各种噪声，和自然场景中天气反光阴影和人为停留的自行车轿车等干扰因素；3、更好地表述空间轮廓关系，避免直接对新时相视频进行识别时违章建筑与视频中本身就存在的建筑区分的困难；显著提高了违章建筑的识别率、减少了误报率，并大幅度提高了检测结果的鲁棒性。
附图说明
图1是本发明的违章建筑可疑变化区域提取方法的整体框图；
图2是本发明的进行背景图像配准时的整体框图；
图3是本发明的自然场景去噪算法的整体图；
图4是本发明的dpm检测的整体框图；
图5是本发明的车辆行人作为运动前景库判别建筑物的整体框图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步说明。
如图1所示，一种基于新旧时相变化发现的违章建筑自动识别的方法，包括如下步骤：
s1、将采集到的大量视频信息，通过跳帧处理得到一定量的图像信息。用em算法改进的gmm模型对图像进行处理得到不同时段背景模型，存入背景库中。
s2、使用sift(scale-invariantfeaturetransform)算法，对新旧时相背景图片进行配准，去除摄像机抖动晃动等造成的影响。将得到的配准图像进行修复，以去除配准过程中在边界处造成的黑块。为步骤s3提供稳定有效的背景图片。
s3、利用背景图像设定灰度阈值t，当两幅背景图像中对应像素灰度差值在阈值范围内(＜t)，则认为不是阴天雨雪等天气，保留该背景信息并更新到场景中的变化区域图中。反之，则认为该天视频信息属于天气变化范围，剔除该天视频信息。
s4、提取步骤s2中得到的配准后的新旧时相背景图片。将得到的图像进行形态学中直方图均衡化、灰度化、二值化等一系列预处理，以消除不同时相光照对背景图片的影响。再做差值。得到带有噪声的黑白背景差异图像。
s5、用sobel算子对步骤s3中得到的差值图像进行边缘检测，计算对应的形状算子，去除图像中阴影区域。以消除局部反光和阴影的影响。进行形态学后处理，通过小面积删除，连通域检测，设定面积最小阈值s等方法，消除复杂现实场景中，树叶抖动、水波晃动等常见的干扰因素。并进行纹理识别，粗纹理对应目标物体离摄像头较近，细纹理则较远。经试验设定纹理的粗细范围。去除离摄像机较近物体对实验结果的影响，并使摄像头被遮挡时发起报警。对变化区域进行建筑物结构检测。
s6、对视频信息做机械检测，发现大型机械如挖掘机铲车时则进行违章搭建报警。并对步骤s5中形态学处理后的图片帧做小型车辆的检测。通过训练常见的交通工具如自行车轿车等。建立运动前景模型库，去除这些常见的模型停留造成的影响。得到高鲁棒性的可疑建筑物。
s7、计算步骤s5中的运动前景库里的车辆行人的位置和大小。将之与检测出的疑似违章建筑区域的位置和大小进行比较。建筑物和行人的大小比值在10以上。建筑物与车辆的比值在5以上。即去除不符合客观规律的变化。得到高鲁棒性的违章建筑物识别。
步骤s1中，将采集到的视频信息经过跳帧处理,得到具有不同时相背景图片的背景库。具体进行的数据处理包括如下步骤：
a、获取采集到的视频结构体的属性，对其进行播放控制，每隔一定帧数输出图片；
b、用em算法改进gmm模型，通过两步迭代更新gmm的初值ωk、μk、σk、nk，其中nk为模型的个数，ωk为第k个高斯的权重，其均值为μk，方差为σk。从而使似然函数
maximization-step：估计每个高斯分布的参数并更新：
如此迭代执行e-step和m-step，直至式(5-4)收敛。此时的ωk、μk、σk、nk就是高斯混合模型的最优初始参数。
c、将步骤a中得到的图片信息输入gmm中，得到此时段视频的背景模型，并存入背景库中。
如图2所示，步骤s2中，使用sift(scale-invariantfeaturetransform)算法，配准新旧时相背景图片，并进行图像修复，以得到稳定有效的背景图片。具体进行的数据处理包括如下步骤：
a、首先提取新旧时相背景图片的特征、生成特征描述子，其次用k-d树算法对两幅图像建立各自的特征空间，并查询匹配特征点。
b、使用随机抽样一致性(randomsampleconsensus,ransac)算法剔除一部分误判的特征点，并求出图像变换矩阵φ。
c、最后对待配准的当前图像作插值重采样，获得与历史背景图像处于同一坐标系的图像。
d、将得到的配准图像进行修复，去除配准过程中在边界处造成的黑块。以得到良好的差值图像。
步骤s4中，提取步骤s2中得到的配准后的新旧时相背景图片。将得到的图像进行形态学中直方图均衡化、灰度化、二值化等一系列预处理，以消除不同时相光照对背景图片的影响。再作差值，以得到带有噪声的黑白背景差异图像。具体进行的数据处理包括如下步骤：
a、首先将s2中得到的配准后的新旧时相背景图像转化成灰度图像，用otsu算法也即最大类间差法对其进行二值化。t＝max[ω0(t)*(u0(t)-u)2+ω1(t)*(u1(t)-u)2]
其中分割的阈值为t时，ω0为背景比例，u0为背景均值，ω1为前景比例，u1为前景均值，u为整幅图像的均值，u＝ω0*u0+ω1*u1
由于上式计算量较大，于是可以等价于t＝ω1*ω2(u1-u2)2
b、对图像进行直方图均衡化，归一化图像亮度和增强对比度，以去除不同时段的光照差异。
c、对处理后的新旧时相图像使用差影法。得到所需的带有噪声的黑白背景差异图片。
如图3所示，步骤s5中，对步骤s4中得到的差值图像进行边缘检测，计算对应的形状算子。进行形态学后处理，并进行纹理识别，使摄像头被遮挡时发起报警。再对变化区域进行建筑物结构检测。具体进行的数据处理包括如下步骤：
a、用sobel算子对步骤s4中得到的差值图像进行边缘检测。
b、遍历图像中每个轮廓计算得到轮廓的面积周长及轮廓面积周长比等形状算子。由于圆的面积周长比最大，线段最小，矩阵排中间。输入图片的长度rows和宽度cols。保留轮廓面积s大于阈值rows*cols/500的轮廓以去除较小的噪声轮廓。通过长宽比l、面积周长比c的阈值，去除因抖动等因素产生的线段，得到干净的差值图像。
c、进行纹理识别，粗纹理对应目标物体离摄像头较近，细纹理则较远。经实验设定纹理的粗细范围w。纹理轮廓面积大于w，则去除离摄像机较近物体对实验结果的影响，即摄像头被遮挡时发起报警，并丢弃此视频信息。
d、对得到的可疑变化区域带入新时相背景图片进行建筑物结构特征识别，lsd算法进行直线检测和筛选并按不同角度进行分类，若0°、90°、180°领域同时达到峰值，寻找相互约束的垂直和水平线组。存在则视作该变化区域内有疑似建筑物。
如图4所示，步骤s6中，对视频信息做机械检测，发现大型机械如挖掘机铲车时则进行违章搭建报警。并对步骤s5中形态学处理后的图片帧做小型车辆的检测。建立运动前景模型库，去除这些常见的模型。得到高鲁棒性的可疑建筑物区域。具体进行的数据处理包括如下步骤：
a、采集正样本负样本，分别训练部件模型，如挖掘车铲车，自行车轿车等。
b、对视频信息进行抽帧，用dpm算法进行基于部件模型的大型机械检测，检测是否存在大型机械，如铲车挖掘机，如存在则报警。
c、对步骤s5中得到的形态学处理后的图片进行部件检测，检测旧时相中是否存在自行车轿车等常见交通工具，如存在则视为车辆停留造成的变化去除相应的可疑建筑物变化区域。
如图5所示，步骤s7中，计算步骤s5中的运动前景库里的车辆行人的位置和大小。将之与检测出的疑似违章建筑区域的位置和大小进行比较。建筑物和行人的大小比值在10以上。建筑物与车辆的比值在5以上。即去除不符合客观规律的变化。得到高鲁棒性的违章建筑物识别。具体进行的数据处理包括如下步骤：
a、用faster-r-cnn算法在背景图片中标出车辆行人。
b、计算可疑建筑物变化区域和车辆行人区域所在的位置和区域大小。并对其分块，相近位置的可疑建筑物变化区域和车辆行人区域归为一块。
c、用lsd算法检测同块可疑建筑物变化区域和车辆行人区域中的直线
d、用dp简化线算法对曲线进行精简和修正，得到若干条直线计算各自最长直线的长度。若同块建筑区域中直线l1与车辆直线l2的比为5以上，且与行人l3比为10以上则判为建筑物。反之，过滤掉此可疑建筑物。
综上，本发明选取gmm算法，对于不同时相的可疑变化区域进行初步过滤，根据步骤s2所得到配准后的图像是稳定的背景图片，进而进行变化分析，但无法判断变化检测结果是否是违章搭建或者本来就存在的建筑。由于现实场景的复杂性，与视频数据的大体量。采取抽帧建模，得到不同时相视频信息的背景模型。并存入背景库，以待比较。
其次，本发明利用高斯混合模型前背景分离理论，结合dpm部件检测算法，提出了基于不同时段背景变化检测和复杂环境噪声的去除对违章建筑可疑变化区域进行提取识别。通过更新背景模型，配准后进行不同时段背景比较，继而利用形态学去噪和机械检测，对背景变化区域进行比对识别，通过现实场景约束背景差异，并重新进行检测，最终自动识别不同时段的违章建筑。