基于视觉显著性和队列修正的停车场和车辆目标检测方法与流程
本发明属于停车场内车辆检测技术领域，具体涉及一种停车场和车辆目标检测方法。
背景技术：
遥感图像中车辆目标的检测在城市规划、交通管理等方面都具有重要的应用意义。但现有的车辆检测研究较多集中在道路车辆的检测，对于停放在停车场内的车辆检测研究相对较少，其方法可以大致分成两种：基于模板匹配的目标分类方法；基于特征提取的目标分类方法。
基于模板匹配的方法是目标分类的基本方法之一，通过计算模板图像和待识别目标图像像素点的欧氏距离等度量其相似度，从而判断待识别区域或目标的类别。但其只能与模板库中含有的样本做匹配，导致算法的泛化能力较低，不具有良好的光照不变性、旋转不变性和视角变换不变性，而且逐点运算复杂度高，运算时间长，不能用于实时处理。基于特征的分类方法对遥感区域提取和目标检测识别是比较通用且有效的方法。通过分析目标与虚警在一些特征上的差异，如尺度不变特征变换特征、方向梯度直方图(histogramoforientedgradient，hog)特征、几何不变矩、长宽比、纹理特征等，然后选择其中有利于分类的特征描述切片，最后利用机器学习等方法对特征分类。
现有的遥感图像的车辆目标检测的主要问题在于区域跨度广，数据量大而且在亚米级分辨率下目标细节特征不明显。这将导致处理系统内存占用大，且处理过程较慢，而且车辆样本切片能提取的特征较少，影响分类器的分类效果，导致车辆目标检测的效果差。
因此，研究一种既能减少无用数据的处理，又能准确检测出车辆目标的方法就显得很有必要。
技术实现要素：
本发明的目的是为解决现有的遥感图像车辆目标检测方法的数据量大导致处理速度慢，以及车辆样本切片能提取的特征少导致车辆目标检测效果差的问题。
本发明为解决上述技术问题采取的技术方案是：基于视觉显著性和队列修正的停车场和车辆目标检测方法，该方法包括以下步骤：
步骤一、输入亚米级高分辨率光学遥感图像，基于停车场的亮度特征和视觉显著性，计算出输入的亚米级高分辨率光学遥感图像的bbsm显著图，并将计算出的bbsm显著图二值化；
步骤二、根据停车场的面特征对二值化后的bbsm显著图进行超像素的分割，得到分割后的全部超像素块，设置筛选条件对分割后的全部超像素块进行筛选，计算筛选出的每个超像素块的质心图cdm(i′,j′)，利用计算出的每个超像素块的质心图cdm(i′,j′)更新二值化后的bbsm显著图，得到二值化后的bbsm显著图的质心图cdm；
根据得到的cdm计算二值化后的bbsm显著图的质心密度分布指数cddi图，并根据cddi图获取roi图像，即获得粗提取停车场区域图像；
步骤三、根据粗提取的停车场区域图像及停车场的颜色特征和面特征，获得精提取的停车场区域图像，完成停车场检测；
步骤四、计算精提取的停车场区域图像的sr显著图，并提取sr显著图内的疑似车辆区域；
计算每个疑似车辆区域的队列排布方向的角度，根据求得的角度将所有的疑似车辆区域旋转至水平排布的方向，完成疑似车辆区域的队列修正；
步骤五、利用滑窗切割方法将旋转后的所有疑似车辆区域切割成切片，并对切割成的切片进行hog特征提取，利用svm分类器对提取的hog特征分类，将分类为车辆的切片标记回原图，完成车辆检测。
本发明的有益效果是：本发明提出了基于视觉显著性和队列修正的停车场和车辆目标检测方法，本发明首先根据停车场区域亮度高且亮度分布区间相对于输入图占比小的亮度特征，设计了一种基于亮度特征的显著图bbsm用于停车场区域的粗提取，然后再利用停车场区域无色且亮度高的颜色特征和区域面积大的面特征，进一步精确提取停车场轮廓，完成停车场检测；在每一个精提取的停车场轮廓内，利用sr显著图提取可能包含车辆的疑似区域，并设计了一种基于边缘统计模型的车辆队列排布方向的计算方法用于修正车辆队列的排布方向，最后利用滑窗方法切割车辆队列，提取出大量疑似车辆的切片，将这些切片提取hog特征后利用svm分类器进行真假车辆切片分类，将分类为车辆的目标标记回原图，最终实现车辆检测；本发明设计的停车场区域提取方法和基于队列修正与sr显著图的车辆检测方法可以保证车辆检测的精确度达到85％以上。
而且与传统方法相比，本发明设计的bbsm显著图的计算方法可以显著加速车辆检测的处理速度。
附图说明
图1是本发明的一种基于视觉显著性和队列修正的停车场和车辆目标检测方法的流程图；
图2为本发明具体实施方式二所述的输入的亚米级高分辨率光学遥感图像的示意图；
图3为本发明具体实施方式二计算出的bbsm显著图；
图4为本发明具体实施方式三所述的粗提取的停车场区域图像的示意图；
图5为本发明具体实施方式四所述的精提取的停车场区域图像的示意图；
图6为本发明具体实施方式五所述的某停车场区域的sr显著图；
图7为本发明具体实施方式五所述的某停车场区域的二值化sr显著图；
图8为本发明具体实施方式五所述的疑似车辆区域方向出现偏差的情况示意图；
图9为本发明具体实施方式五所述的疑似车辆区域的边缘检测结果图；
图10为本发明具体实施方式五所述的anglenum统计结果图；
其中：横坐标为角度值，纵坐标为点对数量；
图11为本发明的车辆目标检测结果1图；
图12为本发明的车辆目标检测结果2图；
图13为本发明的车辆目标检测结果3图；
图14为本发明的车辆目标检测结果4图；
具体实施方式
具体实施方式一：如图1所示，本实施方式所述的基于视觉显著性和队列修正的停车场和车辆目标检测方法，该方法包括以下步骤：
步骤一、输入亚米级高分辨率光学遥感图像，基于停车场的亮度特征和视觉显著性，计算出输入的亚米级高分辨率光学遥感图像的bbsm显著图，并将计算出的bbsm显著图二值化；
步骤二、根据停车场的面特征对二值化后的bbsm显著图进行超像素的分割，得到分割后的全部超像素块，设置筛选条件对分割后的全部超像素块进行筛选，计算筛选出的每个超像素块的质心图cdm(i′,j′)，利用计算出的每个超像素块的质心图cdm(i′,j′)更新二值化后的bbsm显著图，得到二值化后的bbsm显著图的质心图cdm；
根据得到的cdm计算二值化后的bbsm显著图的质心密度分布指数cddi图，并根据cddi图获取roi图像，即获得粗提取停车场区域图像；
步骤三、根据粗提取的停车场区域图像及停车场的颜色特征和面特征，获得精提取的停车场区域图像，完成停车场检测；
步骤四、计算精提取的停车场区域图像的sr显著图，并提取sr显著图内的疑似车辆区域；
计算每个疑似车辆区域的队列排布方向的角度，根据求得的角度将所有的疑似车辆区域旋转至水平排布的方向，完成疑似车辆区域的队列修正；
步骤五、利用滑窗切割方法将旋转后的所有疑似车辆区域切割成切片，并对切割成的切片进行hog特征提取，利用svm分类器对提取的hog特征分类，将分类为车辆的切片标记回原图，完成车辆检测。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一的具体过程为：
步骤一一、如图2所示，输入亚米级高分辨率光学遥感图像，将输入的亚米级高分辨率光学遥感图像转换到亮度通道后，得到亮度图像i，亮度图像i的尺寸为m×n，m和n分别代表亮度图像i的高度和宽度；
统计亮度图像i中所有像素点对应的亮度值u，u＝0,...,255；
统计结果pu表示亮度图像i中亮度值为u的像素点个数，例如p14表示i中亮度值为14的像素点个数，则计算出亮度图像i中每个像素点的bbsm值为：
其中：(i,j)代表亮度图像i中的任意一个像素点，i(i,j)代表亮度图像i中的任意一个像素点(i,j)的亮度值，bbsm(i,j)代表像素点(i,j)的bbsm的值；
则每个像素点的bbsm值形成bbsm显著图；所述bbsm显著图如图3所示；
步骤一二、选取二值化阈值t1，对bbsm显著图做二值化得到二值化后的bbsm显著图bbsm'：
t1＝0.3×max(bbsm)+0.7×min(bbsm)
其中：max(bbsm)为bbsm显著图的最大值，min(bbsm)为bbsm显著图的最小值；
则像素点(i,j)的二值化后的bbsm值为：
计算bbsm显著图的传统方法为：输入亚米级高分辨率光学遥感图像，将输入的亚米级高分辨率光学遥感图像转换到亮度通道后，得到亮度图像i，亮度图像i的尺寸为m×n，其中：i＝1,…,m,j＝1,…,n，则亮度图像i中像素点的bbsm值为：
其中：m和n分别代表亮度图像i的高度和宽度，(i,j)代表亮度图像i中的任意一个像素点，ii,j代表亮度图像i中的任意一个像素点的亮度值，bbsm(i,j)为像素(i,j)的bbsm值，d(i(i,j),i(m,n))是亮度值i(i,j)和亮度值i(m,n)的绝对差值，即
d(i(i,j),i(m,n))＝|i(i,j)-i(m,n)|
每个像素点的bbsm值形成bbsm显著图；
由于在亮度图像i中，相同亮度的像素点应该具有相同的bbsm值，所以与传统方法相比较，本实施方式的bbsm显著图获取方法加速了处理速度。
具体实施方式三：本实施方式与具体实施方式一不同的是：所述步骤二的具体过程为：
步骤二一、步骤一中bbsm只用到了停车场的亮度特征，接下来要利用停车场的面特征；
在二值化后的bbsm显著图上，取高度方向的切割步长为w、取宽度方向的切割步长为h，利用w和h将二值化后的bbsm显著图切割成
定义每个超像素块的权值wsp为：
其中：sp(i′,j′)为超像素块中像素点(i′,j′)的二值化后的bbsm值；
步骤二二、设置筛选条件为wsp＞β·w·h，其中：β为筛选系数，利用设置的筛选条件对步骤二一分割得到的超像素块进行筛选，筛选出权值大于筛选条件的超像素块，剔除权值不大于筛选条件的超像素块；
步骤二三、计算筛选出的每个超像素块的质心图cdm(i′,j′)：cdm指的是标识了每一个超像素块质心的二值图，
cdm的计算方法为
其中：
步骤二四、用尺寸为k×k的单位矩阵tek×k与二值化后的bbsm显著图的质心图cdm卷积得到二值化后的bbsm显著图的质心密度分布指数cddi图；
其中：
步骤二五、选取二值化阈值t2，将二值化后的bbsm显著图的质心密度分布指数cddi图二值化后得到roi图像，得到粗提取的停车场区域图像。粗提取的停车场区域图像如图4所示，也就是说只要cddi不为0的点，全部取1。
具体实施方式四：本实施方式与具体实施方式一不同的是：所述步骤三的具体过程为：
步骤三一、利用停车场具有的颜色特征剔除非路面无关区域，停车场颜色特征体现在场地呈现中性的灰白颜色，且亮度偏高，
在粗提取的停车场区域图像内，通过设定r、g、b三个波段的值来筛选满足筛选条件的像素点，其中：筛选条件为：r、g、b三个波段的值均在(130,250)的范围内，且任意两个波段的差值不得超过40；
步骤三二、利用停车场具有的面特征剔除道路区域，其面特征在停车场相对于其他路面和场地区域具有较大的面积；
对步骤三一的筛选结果进行孔洞填充，利用腐蚀操作剔除宽度小于10米的道路后，再计算每个连通域的面积，以去除面积小于800平方米的连通域；经过膨胀还原后得到亚米级高分辨率光学遥感图像的停车场区域精提取结果，获得精提取的停车场区域图像，完成停车场检测。停车场区域精提取结果如图5所示；
具体实施方式五：本实施方式与具体实施方式一不同的是：所述步骤四的具体过程为：
步骤四一、将精提取的停车场区域图像进行傅里叶变换来计算幅度谱a(f)和相位谱p(f)：
其中：i′(x)为精提取的停车场区域内的亮度图像；
将幅度谱a(f)变为对数谱l(f)，再对对数谱进行线性空间滤波(滤波方式为3×3的均值滤波)，将对数谱l(f)与线性空间滤波结果做差得到剩余谱r(f)；
l(f)＝log(a(f))
r(f)＝l(f)-hn(f)*l(f)
其中：hn(f)为均值滤波算子；
把剩余谱r(f)和相位谱p(f)进行反向傅里叶变换得到反向傅里叶变换结果，再利用高斯滤波器对反向傅里叶变换结果进行线性空间滤波得到sr显著图：得到的sr显著图如图6所示，
其中：g(x)为高斯滤波算子；sr(x)代表sr显著图；
对得到sr显著图进行归一化处理，再对归一化后的sr显著图进行二值化，设定二值化阈值t3＝0.12·max(sr)，max(sr)为sr显著图的最大值，得到二值化后的sr显著图，则二值化后的sr显著图中值为1的区域即为疑似车辆区域；即疑似车辆区域是一幅标识了所有车辆疑似区域的二值图，如图7所示。
在停车场上，大多数的车辆均聚集分布，即多辆车以同一个朝向，停放成一堆，为了使得到的疑似区域的图像中含有车辆的区域排布方向水平，本发明提出了一种区域中物体排布方向计算方法。图8是停车场中疑似区域的图像之一，由图可见，该疑似区域中车辆队列的旁边有另一辆车，该独立的车辆在sr显著图中的显著度较高，因此二值化时得到的二值图中车辆队列与独立车辆的标识图相连，导致其最小外接矩形的长边方向与原本的排布方向不一致，其原因在于车辆队列与独立车辆距离较近，导致其sr显著图二值化结果相连，而直接取该连通域的最小外接四边形的话，就使得最后的方向取值受到的来自于队列和独立目标同等的影响。而人的判断其实综合考虑了所有车辆的影响，也就是说如果把最后的这个角度当做一次投票，那么队列中15辆车辆应各具有一个投票权，而独立的车辆同样有一个投票权，最后一起投票，选择票数最高的角度。基于这一原理，本实施方式设计了一种角度计算方法。
步骤四二、对于队列停放的车辆，利用sobel算子提取疑似车辆区域的边缘，得到疑似车辆区域的边缘图，疑似车辆区域的边缘图的结果如图9所示，再利用统计的方法，计算疑似车辆区域的边缘图中任意两点连线与水平方向的夹角的角度值，记录所有的角度值对应的点对数量，记为anglenumu′,u′＝0,...,179，(疑似车辆区域的边缘图中任意两点连线与水平方向的夹角的定义为：以任意两点连线的延长线与水平方向的交点为圆心，圆心右侧为水平方向正向，圆心左侧为水平方向负向，定义由水平方向正向开始，到任意两点连线为止经过的角度为“疑似车辆区域的边缘图中任意两点连线与水平方向的夹角”，夹角的取值范围是0—179度)其中：anglenumu′代表角度值u′对应的点对数量；例如anglenum5表示疑似车辆区域的边缘图中所有的连线角度为5(±0.5)度的点对的总个数；
图10是图9的anglenum统计结果图，这里anglenum的最大值对应的角度为6度，
将最大的anglenumu′对应的角度值u′作为疑似车辆区域的队列排布方向的角度，将疑似车辆区域按照求得的角度旋转来获得水平方向排布的疑似车辆区域；
例如：某个疑似车辆区域对应的角度为8°，则将该疑似车辆区域向图像的边缘方向(即水平方向)旋转8°，使疑似车辆区域与图像的边缘平行，即获得水平方向排布的疑似车辆区域。
步骤四三、对于非队列停放的车辆，(非队列停放的车辆是指疑似车辆区域的面积不大于25平方米的区域)，即疑似车辆区域中只有一辆车且几乎占满整个区域的情况，由于其面积较小，最小外接矩形的长边方向一般可以准确的表示车辆的朝向，则直接取疑似车辆区域的宽边与水平方向夹角的角度值作为队列排布方向的角度，将疑似车辆区域按照求得的角度值旋转来获得水平方向排布的疑似车辆区域；
步骤四四、重复步骤四二和步骤四三的过程，计算出整个停车场内所有疑似车辆区域的排布方向的角度，将所有疑似车辆区域按照求得的对应角度旋转来获得水平方向排布的所有疑似车辆区域，完成疑似车辆区域的队列修正。
具体实施方式六：本实施方式与具体实施方式一不同的是：所述步骤五的具体过程为：
由于在亚米级分辨率下车辆尺寸小，难以利用特征初步定位车辆，同时也考虑到尽可能少的漏警；
设置滑窗的窗口大小为20×12像素，步长为2像素，将旋转后的所有疑似车辆区域切割成切片，并对切割成的切片进行hog特征提取，利用svm分类器对提取的hog特征进行二分类，将分类为车辆的切片标记回原图，完成车辆检测。
滑窗的窗口大小比所有的常规车辆都要大，这是考虑到当窗口中包含车辆时，样本切片中应该有完整的车辆及其边缘，这样在提取hog特征时能同时得到车辆本身细节的hog特征和车辆轮廓的hog特征，这样能更充分地利用车辆的特征信息，有利于提高分类的准确度。
本发明中所采用的二分类的svm分类器是经过训练的svm分类器，其中用于训练svm分类器的正样本为400个人工选取的真实车辆的切片所提取的hog特征，负样本为500个人工选取的非车辆的切片所提取的hog特征。
具体实施方式七：本实施方式与具体实施方式一或六不同的是：所述hog特征提取时的参数设置为：单元格的尺寸为4像素，划分的角度块数目为5个，步长为2像素。最终提取得到的hog特征维度为420维。
具体实施方式八：本实施方式与具体实施方式三不同的是：所述高度方向的切割步长w和宽度方向的切割步长h的取值范围均为[10,100]。
具体实施方式九：本实施方式与具体实施方式三不同的是：所述筛选系数β的取值范围为[0.3，0.8]。
具体实施方式十：本实施方式与具体实施方式三不同的是：所述二值化阈值t2的取值范围为[0.1，0.9]。
采用以下实施例验证本发明的有益效果：
实验图像是从googleearth上获取的美国得克萨斯州某大型停车场所在区域的大场景图像，图像大小为13000*13000像素，分辨率为0.5米，包含有5145个车辆目标。测试结果表明，基于bbsm显著图的停车场提取方法，按照像素点计算可以提取出93.8％的停车场像素，能够较为准确地提取出停车场区域；基于队列修正与sr显著图的车辆检测算法，按照车辆目标计算，精确度为85.12％，召回率为89.76％，具有较高的检测率。如图11、图12、图13和图14所示，均为部分检测结果图。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
- 还没有人留言评论。精彩留言会获得点赞！