一种基于无人机的路口斑马线识别方法与流程

本发明涉及交通标识识别领域，更具体地，涉及一种基于无人机的路口斑马线识别方法。

背景技术：

道路斑马线是交通管理部门在道路上绘制的、引导行人安全过街的重要标线，也叫人行横道，一般由等间距的白色长方形油漆区组成。斑马线特征明显，常常被用于城区图像和视频的定位参照物，进而识别道路交叉口、道路区域和道路上的行人和车辆等目标。因此，斑马线识别是城市道路上各种目标识别和跟踪的基础。

目前常见的路口斑马线识别方法多是从行人或车辆的视角获得街景图像并识别其中斑马线，或者从道路监控视频中识别斑马线，由于透视的效果，斑马线在图像中并非平行，而是近大远小的，给斑马线的识别带来困难；另外从这些图像中不能识别道路交叉口的所有斑马线，不能对图像进行定位。

近年来，多旋翼无人机技术的快速发展为斑马线识别研究带来新的机遇。无人机可以悬停在道路交叉口的中心上方俯拍整个路口的影像和视频，可以得到路口所有斑马线的正射影像，为后续的路口识别和目标跟踪奠定基础。但是无人机路口视频不仅有道路和行人、车辆等信息，还有行道树、周边建筑物和道路设施等信息，它们会遮挡斑马线和道路，给斑马线识别带来困难；另外，斑马线在无人机视频里面的影像比较小，树木、建筑物或其他地物的影像会对斑马线的识别带来严重干扰。因此，无人机视频影像中斑马线识别更加困难。

技术实现要素：

为了克服目前常见的路口斑马线识别困难和抗干扰性问题，本发明提出一种基于无人机的路口斑马线识别方法，本发明不需要高成本的投资建设费用，不需要耗费大量的人力物力，简单高效，只需操控无人机悬停在路口的正上方，对路口进行拍摄，获取包含路口斑马线目标的视频，然后通过数字图像处理技术，并结合斑马线的形状特征就可以得到路口斑马线的空间区域范围。

为实现以上发明目的，采用的技术方案是：

一种基于无人机的路口斑马线识别方法，包括以下步骤：

s1.将无人机悬停在路口的正上方，对路口范围进行视频拍摄，获取包含斑马线的视频图像；

s2.采用混合高斯背景建模方法提取图像中路口的背景图像；

s3.对提取出的背景图像进行图像分块处理，计算各图块的灰度的最大值、最小值，并作为输入参数计算各图块的双极系数，将各图块的双极系数进行合并操作，得到背景图像的双极系数图；

s4.对双极系数图进行二值化操作，并进行数字图像形态学处理，得到候选的斑马线区域；

s5.设定面积阈值和长宽比阈值，将各个候选斑马线区域进行对比过滤，将不符合面积阈值和长宽比阈值候选斑马线区域删除，而将符合条件的候选斑马线区域作为识别结果进行保留。

本发明的工作原理：操控无人机悬停在路口正上方，对路口进行垂直拍摄，获取包含路口斑马线的视频图像。拍摄的图像中有静止的目标，如斑马线，红绿灯，指示标牌等道路标志信息，也有车辆，行人等运动的目标。路口斑马线属于静止的目标，可以认为是背景图像的一部分，当把背景图像提取出来之后，经过数字图像处理技术并根据斑马线的固有特点，就可以把斑马线区域识别出来。

本发明使用高斯混合背景建模方法提取出无人机拍摄视频的背景图像，高斯混合模型使用多个高斯分布对像素值进行建模，根据各个高斯分布的变化性和不变性，确定哪些高斯分布代表了背景值，而那些不符合背景分布的像素值被认为是前景值。主要原理如下：

一段时间内某个像素的值可以认为是“像素过程”，这个过程是像素值的时间序列，可以表示为：{x1，...xt}＝{i(x0，y0，i)：1≤i≤t}，其中i表示图像序列，t表示时刻，x0、y0表示像素的坐标，用k个的高斯分布对{x1，...xt}进行混合建模，t时刻当前像素值为xt的概率计算公式如下：

其中wi，t是第i个高斯分布在t时刻权重的估计值，μi，t是第i个高斯分布的均值，∑i，t是对应的方差，η是高斯概率密度函数：

本发明使用双极系数法描述斑马线的特征。在图像处理中，双极是指图像某些部分的极大值区域和极小值区域，如斑马线的白色条带和相间的黑色区域，双极系数是用部分图像极大值区域和极小值区域的方差以及它们各自均值的差来定义的，可以刻画图像两极分化程度，适合于描述斑马线等地物的黑白交替变化。双极系数法具体定义如下：

将图像块的灰度分布定义为p0(x)，设图像块只包含黑白像素，

则p0(x)＝α*p1(x)+(1-α)p2(x)，0≤α≤1

其中p1(x)是黑像素的灰度分布，p2(x)是白像素的灰度分布；

定义像素的均值和方差变量：

其中ui和分别代表黑白像素的均值和方差，则根据p0的定义，其方差表示成：

令定义双极系数γ：

优选地，所述α系数计算如下：设定一灰度值阈值，然后统计图像块中灰度值高于灰度值阈值的像素点的数量nh和灰度值低于灰度值阈值的像素点的数量nl；

优选地，所述步骤s4中的数字图像形态学处理包括图像连通和填充。

优选地，所述步骤s4使用了种子填充算法进行图像连通。

与现有技术相比，本发明的有益效果是：

本发明采用无人机垂直拍摄视频来对路口斑马线进行识别，不需要花费大量的人力和物力成本，同时排除了从行人或者车辆角度获得的街景图或从道路监控视频中识别斑马线存在的图像透视的影响。而且本发明的方法具有简单、方便、高效、操作复杂度低和普适性强等特点。

附图说明

图1为本发明提供的方法的流程示意图。

图2为二极化后的双极系数图。

图3为经过面积筛选的二值图。

图4为根据长宽比筛选得到的识别结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

本发明提供一种基于无人机的路口斑马线识别方法，所述的识别方法如下：操控无人机悬停在路口的正上方，对路口进行拍摄，获取包含路口斑马线目标的视频，然后通过数字图像处理技术，得到路口斑马线的空间范围。具体图像处理技术是获取了无人机拍摄的视频图像之后，用高斯混合模型提取路口的背景图像，然后对背景图像进行分块，对各图块的灰度的最大值、最小值进行计算，作为输入参数对各图块的双极系数进行计算，并合并得到图像的双极系数图，最后对双极系数图进行二值化，进一步进行形态学处理，包括图像连通和填充，并用面积阈值和长宽比对结果进行过滤，得到斑马线所在区域。

具体实施案例：

如图1所示，本发明所述的基于无人机的路口斑马线识别方法的步骤如下：

步骤一：将无人机悬停在道路交叉口斑马线的正上方，对交叉口进行垂直拍摄，获取包含斑马线要素的视频图像。

步骤二：采用混合高斯背景建模方法提取视频图像的背景图片，得到的视频图像的背景图片中含有斑马线信息。

步骤三：为了接下来的图像双极系数计算，需要对背景图像进行分块处理，图块的大小应略大于斑马线黑白条带的宽度，如果分块过大，图块中斑马线面积占图像块面积的比值下降，会导致含有斑马线的图块的双极系数响应下降，产生漏检现象。

步骤四：设定一灰度值阈值，然后统计图像块中灰度值高于灰度值阈值的像素点的数量nh和灰度值低于灰度值阈值的像素点的数量nl，用于计算双极系数公式中的α系数：

理论上，灰度值阈值可以选择中值，即灰度值128，但是由于光照和斑马线磨损的影响，路面的灰度值不会为0，斑马线的也不会是255，所以阈值的选取需要根据实际拍摄效果进行筛选。

步骤五：分别对各个图块的双极系数进行计算，然后将计算结果合并起来，得到整个背景图像的双极系数图。

步骤六：在双极系数图上，斑马线区域的值比较高，其他区域的值比较低，因此设置二值化阈值将双极系数图进行二值化，可以筛去大部分非斑马线区域，留下待定候选的斑马线识别区域，如图2所示。

步骤七：对二值化都得双极系数图进行连通域标记，本发明选用了种子填充算法进行4-连通域标记。种子填充算法是一个递归算法，从指定的种子点开始，向各个方向上搜索，逐个像素进行处理，直到遇到边界。在使用种子算法时，同时对连通域大小进行计数，可以确定连通域包含的像素个数并删除那些数目小于阈值的连通域，进一步得到候选的斑马线区域，如图3所示。

步骤八：计算各个候选斑马线区域的外接矩形，结合斑马线区域是长方形的特征，保留符合斑马线长方形形状的区域，删除其他区域，就得到了最后的各个斑马线区域，如图4所示。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。