专利名称：基于航拍图像的交通信息获取方法
技术领域：
本发明属于图像处理 技术领域，涉及一种基于航拍图像的交通信息获取方法及系 统。
背景技术：
稀疏路网交通状态检测是路网交通监控与预警的基础。为了对交通事件和其他的 交通事故等进行科学的、迅速的评测和预警，首先要对交通视频检测系统设备进行功能升 级，使之能够适应西部稀疏路网的特殊地理、自然条件。然后需要研究基于视频的交通状态 检测与识别算法，实现交通事件的有效检测，从而为路网安全预警提供可靠的信息。由于稀疏路网交通状态比较特殊，车流量相对较小，又没有足够人员去现场监控， 所以亟需可以监控该区域的系统解决以下问题(1)对于无人监控的道路区域需要对其交通情况进行监控，尽量减小交通故障带 来的损失。(2)通过智能控制，减少人力资源占用，以优化人力配置。
发明内容
本发明的目的提供一种基于航拍图像的交通信息获取方法，克服传统的基于斑块 检测与跟踪的背景差方法针对动态背景的不适用，可适用背景变化及交通稀疏的场所。为达到以上目的，本发明所采用的解决方案是一种基于航拍图像的交通信息获取方法，根据航拍图像进行分析，检测动态目标 和静态目标，提取道路交通参数；其中，动态目标检测方法为采用KLT算法获得若干特征点以及动态目标的运动参 数，通过道路区域方向投影确定运动方向矢量，采用k-medoids算法将若干特征点聚类，从 而通过特征点将动态目标分离出来；静态目标检测方法为采用道路区域限制和斑块分析方法限定出道路区域和静态 目标。进一步，所述KLT算法是在航拍图像相邻帧之间的特征区域灰度相似的条件下， 在灰度图像序列中选取大量的特征点，进行二维特征跟踪从而得到特征点位置，据此求解 出二维特征运动参数的方法；同时，根据运动矢量的投影方向，提取出道路方向，并利用霍 夫变换检测出道路线。所述k-medoids算法，包括以下步骤(1)从特征点中任意选取K个对象作为Hiedoids(C)1, O2, . . . Oi. ..Ok)；(2)将余下的对象根据与medoid最相近的原则分到各个类中去；(3)对于每个类(Oi)中，顺序选取一个仏，计算用Or代替Oi后的消耗E(0》，选择 E最小的那个A来代替Oi ；(4)返回步骤⑵循环计算，直到Kfmedoids固定下来。
所述道路区域限制是采用颜色直方图分布的方式将道路区域标识处理，结合霍夫 变化检测出的道路线共同限定出道路区域。所述斑块分析是具体获取斑块的中心点坐标、斑块面积、斑块的RGB信息和斑块 数目等信息，斑块的中心点坐标反映静态目标的位置；斑块面积可用于去除噪声；斑块的 RGB信息是在将航拍得到的图像进行二值化处理(即由彩色图像转换为只有黑白二色的图 像)后，在此图像)中确定斑块的位置后，到原航拍图像中找到相应的斑块位置，统计RGB 信息以区分出目标物体和周围环境；斑块数目用于对整个航拍图像中的斑块统一处理。所述提取道路交通参数包括提取车辆行驶方向、车辆速度和车身长度。所述车辆行驶方向，是根据车辆运动矢量与背景点运动矢量的大小关系来确定车 辆的行驶方向，所述车辆运动矢量是指动态目标相对于飞机的运动矢量，所述背景点运动 矢量是指静态目标相对于飞机的运动矢量，如果车辆运动矢量大于背景点运动矢量；那么 车辆与飞机逆向行驶；如果车辆运动矢量小于背景点运动矢量，那么车辆与飞机同向行驶。所述车辆速度根据下式计算，车辆与飞机逆向行驶时，V车=V相对-V飞机；车辆与飞机同向行驶时，V车=V相对+V飞机；其中，￥￥是指动态目标的速度，Viw是指静态目标的速度，ν、Λ是指飞机的速度。所述车身长度根据length = (ymax_ymin) *cos θ * (Vplane*0. 04/vectorbackgromd)计算， 其为车辆在飞机飞行方向上的位移，0为飞机飞行方向与车辆行驶方向的夹角， Vplane是飞机的飞行速度，Vectorbaekgraund为图像上背景点的相对运动速度，0. 04为每帧之间 相隔时间。根据道路目标的特点，分别对运动车辆和静止车辆进行检测。动态目标检测方法对于运动车辆，采用KLT算法进行检测，KLT算法是在图像相邻帧之间的特征区域 灰度相似的条件下，在灰度图像序列中选取大量的特征点，进行二维特征跟踪从而得到特 征点位置，据此求解出二维特征运动参数的方法。同时，根据运动矢量的投影方向，可以提取出道路方向，以减小飞机抖动带来的误 差。利用霍夫变换检测出道路线。霍夫变换可以检测出图像中的所有直线(霍夫变换检测 直线的方法是行业内公知的？最好能够简单介绍一下)，由此计算出所有直线的斜率k和 截距b，根据斜率求出分布最大的斜率范围并求出平均值kavg，由此求出道路线的方向并筛 选掉其他无关直线。由所得截距求出最大的截距bmax和最小的截距bmin可以得出道路线的 两个边界，由此可以粗略估计出目标区域。在聚类算法中，最常用的是k-means算法。k-means算法接受输入量k ；然后将η 个数据对象划分为k个聚类以便使得所获得的聚类满足同一聚类中的对象相似度较高； 而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中 心对象”(引力中心)来进行计算的。 k-means算法的工作过程说明如下首先从η个数据对象任意选择k个对象作为 初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分 别将它们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所获新聚类的 聚类中心(该聚类中所有对象的均值)；不断重复这一过程直到标准测度函数开始收敛为 止。一般都采用均方差作为标准测度函数.k个聚类具有以下特点各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。通过KLT算法可以得到若干特征点以及目标的运动参数，然后通过道路区域方向 投影确定运动方向矢量，而k-means算法则是将若干特征点聚类，从而通过特征点将运动 目标分离出来。
静态目标检测方法对于静止车辆，采用道路区域限制加斑块分析的方法，由于霍夫变换检测出来的 直线不一定能够准确地描述道路线，因此需要结合其他算法共同完成道路区域的检测。一 般来说，路面颜色分布相对比较固定，根据图像处理中已有的求取颜色直方图分布的方式， 可以将道路区域标识出来，结合前边由霍夫变换方法检测出的道路线信息共同限定出道路 区域。(1)斑块分析在四连通环境下对斑块进行分析。所谓四连通，是指一个象素点的 上下左右方向四个紧邻的点与这个点是相邻关系，而左上、左下、右上、右下四个点与这个 点不属于相邻关系。斑块信息越丰富，车辆检测和跟踪就越精确。斑块分析提取的基本信 息主要有斑块的最上、下、左、右坐标。利用这四个坐标，可以方便地计算斑块的中心点坐 标和斑块的矩形面积。(2)斑块的中心点坐标中心点坐标可以粗略地反映车辆的位置，是车辆检测和跟踪的主要依据之一。(3)斑块面积斑块面积包括实际面积和矩形面积。利用面积信息可以去除一些噪声的影响。进 一步精确地得到斑块的位置。(4)斑块的RGB信息在二值图中确定斑块的位置后，到RGB图中找到相应的斑块位置，然后统计RGB信 息。RGB信息也是车辆检测和跟踪的主要依据之一。通过统计RGB信息，可以较为准确地区 分出目标物体和周围环境，成为检测出静止车辆的重要步骤之一。(5)斑块数目整个二值图中，所有斑块的数目。得到斑块数目便于对整个图像中的斑块进行统
一处理。通过斑块分析，利用RGB颜色信息，可以初步确定静止车辆的位置，实现静止车辆 的检测。道路交通参数提取对道路目标检测之后，可以提取相应参数来直观评价道路交通信息。1、车辆的行驶方向根据车辆运动矢量与背景点运动矢量(即地面上的静止物体相对于飞机的运动 矢量)的大小关系来确定车辆的行驶方向。根据对视频的观察可以得到运动矢量的大小关 系如下vector逆向行驶车辆> vector背景点> vector同向行驶车辆 (1)首先，在所得到的特征点中，背景点是最多的，这样便可以得到vector背景点，然 后再根据上式将每辆车的运动矢量与vector背景点进行比较确定车辆的行驶方向是与飞 机同向还是与飞机逆向。如果车辆的运动矢量大于背景点运动矢量，那么车辆与飞机逆向行驶；如果车辆的运动矢量小于背景点运动矢量，那么车辆与飞机同向行驶。2、车辆速度值的提取由于飞机的飞 行速度是给定的，而背景特征点的运动矢量~飞机的飞行速度(给 定)，同时车辆特征点的运动矢量~车辆相对于飞机的相对速度，这样，便可以利用比例关 系得出飞机的相对速度，再利用下式推算出车辆的实际行驶速度V车=V相对-V飞机(车辆与飞机逆向行驶) ⑵V车=V相对+V飞机(车辆与飞机同向行驶) ⑶3、车型的提取车身长度length = (ymax-ymin) *cos θ * (Vpl咖*0· 04/vectorbackground) (4)其中ymax_ymin为车辆在飞机飞行方向上的位移，θ为飞机飞行方向与车辆行驶方 向的夹角，Vplane是飞机的飞行速度，Vectorbaekgraund为图像上背景点的相对运动速度，0. 04 为每帧之间相隔时间。上式同样是利用已知的飞机速度，将相邻两帧之间飞机飞行的实际距离与图像的 像素单位对应起来，从而估算出车身的长度。以上过程都是根据航拍图像，利用计算机图像技术进行处理，针对不同参数通过 不同方法提取而实现的，最终得到本系统所需的各项参数，包括车辆行驶方向、速度以及车 身长度。基于航拍图像的交通信息获取系统该系统通过对无人机航拍视频进行处理，可以获取航拍路段上的交通量信息，和 每辆车的世界坐标、行驶速度等信息。在交通信息获取的基础上，通过对该信息的综合分析 与处理，如对车辆数目的统计，对车速的测量等，得出该地区路面的综合交通信息以及详细 的交通参数。由于采用了上述方案，本发明具有以下特点不仅能够应用在一般交通流量下路 况的分析，特别能够针对西部地区的稀疏路段进行交通状况分析，得到所需交通参数和综 合路况。且由于所得图像来源于无人机航拍，本发明更能够适应采集图像的变化。
图1是本发明方法的一种实施例的流程示意图。图2是本发明方法的一种实施例的运动目标特征检测跟踪方法流程图。图3是本发明方法的一种实施例的静止目标检测方法流程图。
具体实施例方式以下结合附图所示实施例对本发明作进一步的说明。本系统通过摄像头在无人机上航拍获取视频，对视频进行相关预处理后得到需要 的输入视频。如图1所示，即为采集视频的过程。接下来，需要对视频进行一系列相关处理 以得到所需内容。首先，将视频截成帧，每一帧相当于一幅图像，然后针对每一幅图像进行处理。下 面分别阐述针对运动目标检测和静止目标检测的不同方法。
对于运动目标，第一步需要得到其特征点。对于每一帧图像，如图2，利用KLT算法 对图像进行扫描获取特征点，KLT算子首先计算每个特征点的δ矩阵的特征值λ 1、λ 2，如 果πι ^λ” λ2) > H(阈值)(一般来说阈值为经验值)则该点为有效特征点。δ矩阵定 义为 式中ΙΧ为一阶χ方向导数，Iy为一阶y方向导数。随着相机的移动，图像的强度以复杂的方式发生着变化。如果摄像机捕获图像的 速度足够快，那么对于相邻帧而言，由于各种影响灰度变化因素的相似性，在局部区域内的 灰度变化是极其相似的，因此可以认为，相邻两帧的局部区域之间存在沿X和Y方向的位 移，这就是所谓的二维特征平移运动模型。这意味着t时刻图像上的某个特征点X= (x，y) 在t+1时刻运动到了 X’ = 0^-叔，7-(^)，其中(1= (dx,dy)为二维特征的平移运动参数向 量，该特征点的灰度值在运动前后是近似相等的，即J(X) = I(X-d)+n(X) (6)其中J(X) = I (X，t+1)为t+Ι时刻的特征点X的灰度值，I (X-d) = I (X-d，t)为 t时刻该特征点的灰度值，η(X)为相应的噪声。显然需要选择合适的运动参数向量d使在特征点X周围的某个特征窗口 W内如下 的二重积分得到的残差最小ε = / w(I(X-d)-J(X))2codX (J)式中ω为对特征区域内不同象素点的加权方程。如果相邻两帧之间的运动比较 小的情况下，可以将I (X-d)在X点进行一阶泰勒展开I (X-d) = J(X)-g · d (8)g是梯度向量，于是可以将式(7)重新写成如下的形式ε = / w(I(X-d)-J(X))2codX = / w(h_g · d)2codX (9)其中h = I (X)-J(X)。可以看出，残差是平移向量d的二次方程，这个最优化问题 可以得到闭合形式的解。为了使残差最小，对式(9)等号两边，求其对d的一阶导数，得到/ w(h_g · d)gcodX = 0 (10)由于(g*d)g= (ggT)d，而且在特征窗口区域中假设d为常量，因此得到dX / w(ggT) ω Χ = / whgcodX (11)上式是特征跟踪计算中的基本计算步骤，对于特征窗口内的所有像素都可以计算 出其沿X和Y方向的梯度，因此可以得到实对称的交叉梯度矩阵G，同时对于特征窗口内的 所有像素都能计算出两帧之间灰度差并得到向量e。这样就能计算出运动参数d的值。得 到d以后，移动特征窗口，再重复以上过程，直到d小于某个阈值，这表明相邻两帧的特征 窗口已经匹配成功，将前面重复过程中每一轮得到的d都加起来就得到最终的平移运动参 数。第二步，为了将特征点聚类，以准确将运动目标分离出来，需要采用有效的聚类算 法。传统的聚类算法应用较多的是k-means算法。k-means算法的工作过程说明如下首先从η个数据对象任意选择k个对象作为 初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所获新聚类的 聚类中心(该聚类中所有对象的均值)；不断重复这一过程直到标准测度函数开始收敛为 止。一般都采用均方差作为标准测度函数.k个聚类具有以下特点各聚类本身尽可能的紧 凑，而各聚类之间尽可能的分开。k-means有其缺点产生类的大小相差不会很大，对于脏数据很敏感。基于这一 点，提出了一种改进的算法k-med0idS方法。
K-medoids算法选取一个对象叫做medoid来代替上面的中心的作用，这样的一个 medoid就标识了这个类。步骤(1)从特征点中任意选取K个对象作为medoids (O1, 02，· · · Oi. · · Ok)。以下是循环的(2)将余下的对象分到各个类中去(根据与medoid最相近的原则)；(3)对于每个类(Oi)中，顺序选取一个0r，计算用Or代替Oi后的消耗-E(Or)。选 择E最小的那个0,来代替Oi。这样K个medoids就改变了，下面就再转到(2)。(4)这样循环直到K个medoids固定下来。这种算法对于脏数据和异常数据不敏感，但计算量显然要比K均值要大，一般只 适合小数据量。基于密度的k-medoids算法是在聚类过程中，不需要输入聚类的个数，而是根据 数据之间的距离将相邻类进行合并。第三步，道路交通参数的提取。1)运动方向的提取。由前边得到的目标运动矢量以及背景点相对于飞机的运动矢 量，根据(1)式可以得出运动方向。2)车辆速度值的提取。由运动矢量得出的相对速度以及从航拍中获得的飞机速度 可以根据式⑵和式⑶得出车辆速度。3)车型提取。根据相应点的坐标以及运动矢量由式(4)可以获得车辆长度，并进 行分类提取出车型。对于静止车辆，需要得到车辆目标的位置信息。如图3所示，首先进行道路区域选定，一般来说，路面颜色分布相对比较固定，根 据颜色直方图分布，可以将道路区域标识出来，结合前边检测出的道路线信息共同限定出 道路区域。其次，采用斑块分析的方法确定静止目标位置(坐标)。对于斑块分析方法，共需两次扫描，第一次扫描从下往上、从左往右扫描，扫描到 象素值为O的点，不做任何处理。当扫描到第一个象素值为255的点，把它标记为“1”，并记 录下来。然后扫描该点的四个邻居，如果有象素值为255的点，把它标记为与该点相同的标 记“1”，表示它们属于同一个斑块“1”。最后记录该点的坐标值，以及记录“1号斑块目前有 1个象素”。然后继续扫描，重复上面的步骤。第二次扫描主要完成的是标记修正。在合并象素的同时，这次扫描也完成了信息的统计，包括斑块的面积，最上、下、 左、右的坐标，中心点坐标，RGB信息等。所有检测结束后，根据前述方法提取出所需各交通参数，完成系统功能。
本系统能够有效地获得某一路段上的交通流量、车速、车型等交通参数和交通状 态信息，是一种综合性的系统，包括视频输入设备，视频分析工具(软件)以及结果显示设 备(计算机)，通过系统分析处理将结果显示出来，给相关人员或部门提供所需信息。上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发 明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的 一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施 例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的 保护 范围之内。
权利要求
1.一种基于航拍图像的交通信息获取方法，其特征在于根据航拍图像进行分析，检 测动态目标和静态目标，提取道路交通参数；其中，动态目标检测方法为采用KLT算法获得若干特征点以及动态目标的运动参数， 通过道路区域方向投影确定运动方向矢量，采用k-medoids算法将若干特征点聚类，从而 通过特征点将动态目标分离出来；静态目标检测方法为采用道路区域限制和斑块分析方法限定出道路区域和静态目标。
2.如权利要求1所述的基于航拍图像的交通信息获取方法，其特征在于所述KLT算 法是在航拍图像相邻帧之间的特征区域灰度相似的条件下，在灰度图像序列中选取大量的 特征点，进行二维特征跟踪从而得到特征点位置，据此求解出二维特征运动参数的方法；同 时，根据运动矢量的投影方向，提取出道路方向，并利用霍夫变换检测出道路线。
3.如权利要求1所述的基于航拍图像的交通信息获取方法，其特征在于所述 k-medoids算法，包括以下步骤(1)从特征点中任意选取K个对象作为medoids(O1, O2, . . . Oi. ..Ok)；(2)将余下的对象根据与medoid最相近的原则分到各个类中去；(3)对于每个类(Oi)中，顺序选取一个化，计算用A代替(^后的消耗E(0》，选择E最 小的那个化来代替Oi;(4)返回步骤(2)循环计算，直到K个medoids固定下来。
4.如权利要求1所述的基于航拍图像的交通信息获取方法，其特征在于所述道路区 域限制是采用颜色直方图分布的方式将道路区域标识处理，结合霍夫变化检测出的道路线 共同限定出道路区域。
5.如权利要求1所述的基于航拍图像的交通信息获取方法，其特征在于所述斑块分 析是具体获取斑块的中心点坐标、斑块面积、斑块的RGB信息和斑块数目信息，斑块的中心 点坐标反映静态目标的位置；斑块面积用于去除噪声；斑块的RGB信息是在将航拍得到的 图像进行二值化处理后，在此图像中确定斑块的位置，然后到原航拍图像中找到相应的斑 块位置，统计RGB信息以区分出目标物体和周围环境；斑块数目用于对整个航拍图像中的 斑块统一处理。
6.如权利要求1所述的基于航拍图像的交通信息获取方法，其特征在于所述提取道 路交通参数包括提取车辆行驶方向、车辆速度和车身长度。
7.如权利要求6所述的基于航拍图像的交通信息获取方法，其特征在于所述车辆行 驶方向，是根据车辆运动矢量与背景点运动矢量的大小关系来确定车辆的行驶方向，所述 车辆运动矢量是指动态目标相对于飞机的运动矢量，所述背景点运动矢量是指静态目标相 对于飞机的运动矢量，如果车辆运动矢量大于背景点运动矢量；那么车辆与飞机逆向行驶； 如果车辆运动矢量小于背景点运动矢量，那么车辆与飞机同向行驶。
8.如权利要求6所述的基于航拍图像的交通信息获取方法，其特征在于所述车辆速 度根据下式计算，车辆与飞机逆向行驶时，V车=V相对-V飞机；车辆与飞机同向行驶时，V车=V相对+V^a ；其中，^^是指动态目标的速度，Vw是指静态目标的速度，V.是指飞机的速度。
9.如权利要求6所述的基于航拍图像的交通信息获取方法，其特征在于所述车身长度根据 length = (ymax_ymin)*cos θ *(Vpl咖*0· 04/vectorbackground)计算，其中 ymax_ymin 为车辆 在飞机飞行方向上的位移，θ为飞机飞行方向与车辆行驶方向的夹角，Vpl_是飞机的飞行 速度，Vectorbaekgraund为图像上背景点的相对运动速度，0. 04为每帧之间相隔时间。
全文摘要
一种基于航拍图像的交通信息获取方法，根据航拍图像进行分析，检测动态目标和静态目标，其中，动态目标检测方法为采用KLT算法获得若干特征点以及动态目标的运动参数，通过道路区域方向投影确定运动方向矢量，采用k-medoids算法将若干特征点聚类，从而通过特征点将动态目标分离出来；静态目标检测方法为采用道路区域限制和斑块分析方法限定出道路区域和静态目标，在交通信息获取的基础上，通过对该信息的综合分析与处理，可以得到综合交通状况以及详细的交通参数指标。
文档编号G06K9/00GK102073846SQ201010588880
公开日2011年5月25日 申请日期2010年12月15日 优先权日2010年12月15日
发明者刘富强, 刘晓丰, 崔建竹, 张姗姗, 李志鹏, 龚剑 申请人:同济大学