一种基于双摄像机的交叉口分车道详细交通参数采集方法与流程

本发明属于智能交通监控系统及交叉口交通参数采集技术领域，利用计算机视频智能处理技术，采用两台具有相反视角的低角度摄像机共同监控交叉口的入口路段，实现交叉口分车道详细交通参数采集。

背景技术：

道路交叉口是城市道路系统的重要组成部分。交叉口通行能力、延误与服务水平的定量评估，对于交叉口交通组织优化以及信号灯配时及控制管理具有重要意义。以车辆排队长度、入口路段上游合适位置的车辆到达率和绿灯期间车辆驶离停车线的饱和流率等为代表的分车道详细交通参数，可以作为交叉口各项评估的基础性指标。因此针对这些分车道详细交通参数的实测与分析，越来越受到人们的重视。

长期以来，车辆排队长度一直作为反映交叉口延误与服务水平的一种重要参数。近年来，基于视频的车辆检测技术以成本低、安装维护方便、直观性强、监控范围大、扩展与改进的空间大等优点而被广泛采用，是智能交通系统领域交通参数采集的重要技术。基于视频图像处理技术的排队长度检测方法也越来越受到人们的关注。该技术无疑代表了未来车辆排队长度检测技术的发展方向，其研究与应用具有重要的理论意义和实用价值。

但是，目前基于图像处理技术的排队长度检测方法存在这样一个根本性问题：所计算的排队长度只能表示为从入口路段停车线算起的距离(无论图像空间的像素距离或者三维真实世界的距离)，而不是实际真正需要的停车等待的车辆计数。因此，当从距离测量转换为车辆计数时，不可避免地引入一些不太精确的修正，从而严重降低了实际测量车辆排队长度的意义。

入口路段上游的车辆到达率和绿灯期间的车辆饱和流率都是优化调整交叉口信号灯配时及加强控制管理的重要参数。目前，针对这两项重要参数多采用人工调查的方式，因此不可避免地存在着调查成本高、工作量大、不确定因素多等问题。因此，在已经采用复杂图像处理算法进行车辆排队长度检测的基础上，以完全自动的方式同时方便地获得这两项参数，就非常具有实际意义。

归根结底，基于图像处理技术的交叉口交通参数采集方法的性能与适用范围，与视频车辆检测器在交叉口附近区域内的具体安装位置紧密相关。多数交叉口低角度视频车辆检测器主要安装在入口路段的停车线附近，并限制了安装高度范围为6米以内，只能实现传统以距离度量的车辆排队长度检测方法。本发明人已提交的专利《一种车辆鲁棒检测及分车道到达累计曲线估计方法》(专利申请号为201610835876.7)开始尝试将低角度视频车辆检测器安装在交叉口入口路段上游的合适位置，实现了红灯期间车辆依次排队发生严重交通拥堵情况下车辆平均到达率的鲁棒估计。

技术实现要素：

本发明提出一种基于双摄像机的交叉口分车道详细交通参数采集方法。由于安装在入口路段停车线附近，并且限制了安装高度范围的单台低角度摄像机本身存在固有缺陷，本发明使用了两台具有相反视角的低角度摄像机共同监控交叉口的入口路段：其中一台摄像机仍然固定安装在入口路段停车线附近，主要用来拍摄即将驶离入口路段车辆的头部区域；另一台摄像机则固定安装在入口道路上游的适当位置，主要用来拍摄刚刚到达入口路段车辆的尾部区域。同一车辆在经过入口路段形成完整的到达与驶离过程中，首先在刚刚到达入口路段时被车尾摄像机拍摄到尾部图像，然后才在即将驶离入口路段时，被车头摄像机拍摄到头部图像。

本发明在已申请专利《一种车辆鲁棒检测及分车道到达累计曲线估计方法》(专利申请号为201610835876.7)权利要求内容的基础上更进一步，引入了架设在入口路段停车线附近的车头摄像机。只需要将该申请提出的车尾摄像机与新引入的传统意义车头摄像机相结合，有效融合这两台摄像机各自检测到的车辆(分别为车头和车尾)信息，就可以得到城市道路高峰时段交叉口排队长度、到达率与饱和流率等详细参数。具体说来，本发明在通过车尾摄像机估计车辆到达累计曲线的基础上，进一步利用新引入的车头摄像机估计车辆驶离累计曲线，形成完整的交叉口累计输入输出模型表达，为简单而灵活地估计真正需要的车辆排队累积计数打下扎实基础。同时，根据车辆驶离累计曲线，可以方便地实现车辆饱和流率的准确计算。本发明的完全自动计算方式，为解决车辆饱和流率调查成本高、工作量大、不确定因素多等问题具有实际的意义。

一种基于双摄像机的交叉口分车道详细交通参数采集方法，其特征在于包括如下步骤：

步骤1：在交叉口入口路段安装双摄像机并进行感兴趣区域的离线设置

在交叉口入口路段停车线的前方安装专门拍摄车辆头部区域的低角度摄像机a(车头摄像机)，并在入口路段上游的合适位置安装专门拍摄车辆尾部区域的低角度摄像机b(车尾摄像机)。调整这两台摄像机(a和b)的安装高度和低角度姿态，保证它们以相反的视角共同监控交叉口的入口路段。

对于车尾摄像机b而言，采用与已申请专利《一种车辆鲁棒检测及分车道到达累计曲线估计方法》(专利申请号为201610835876.7)同样的离线设置感兴趣区域的步骤，包括设置车道线、用于检测车辆尾部的有效图像范围以及车辆到达检测线(通过多次尝试获得)。

对于车头摄像机a而言，采用类似的离线设置感兴趣区域步骤。因为入口路段停车线已经存在(只需要标注出来方便后续使用)，因此具体的设置工作主要归结为根据停车线合理设置检测车辆头部的有效图像范围。

步骤2：针对各摄像机的车辆鲁棒检测以及分车道车辆到达与驶离累计曲线估计

无论对于摄像机a或b而言，都可以采用与已申请专利《一种车辆鲁棒检测及分车道到达累计曲线估计方法》(专利申请号为201610835876.7)同样的处理步骤。针对车尾摄像机b而言，主要包括基于特征融合的车尾鲁棒检测，分车道车尾定位以及车辆到达累计曲线估计。这部分内容已经在这份已申请专利中详细进行了说明，以下是基本介绍：经过车尾鲁棒检测以及分车道车尾定位的车辆列表可以表示为

其中，{xi,yi,wi,hi}表示了车辆的大小和位置，{indexi,ti}表示该辆车所属的车道索引号以及车尾跨越检测线的时刻，是所检测到的车尾总数。逐车道将分配到同一车道(具有相同的车道索引号)的各车辆统一考虑。根据团块跟踪技术，检测依次行进的各车辆，并跟踪车辆的到达队列，实现车辆到达累计曲线的估计。设为分车道车辆累计到达数，表示为该车道的第ni辆车在时刻t到达(通过检测线)。

针对车头摄像机a而言，首先采用基于假设生成和检验框架的特征融合方法，实现车头的鲁棒检测，确定车头存在性以及具体位置。所选择的两种待融合特征仍然采用了基于adaboost级联分类器的目标检测和车底阴影检测区域。只不过，在摄像机a所拍摄的车头视频图像中，需要采用人工标记车头图像样本的方式获取初始训练样本集。以此车头初始样本集重新训练新的adaboost级联分类器，在每帧图像中实现以车头表示的车辆候选区域的检测。

其次，选定车头检测区域与道路路面接触的稳健点ps，根据两向量叉积方法依次确定车头所属的车道索引号和车头跨越停车线的时刻。在以上两种主要判别两向量叉积结果是否正负情况下，车辆都由车头稳健特征点ps来表示。在确定车头所属的车道索引号(以便实现分车道定位车辆)时，与车头稳健特征点ps分别组成向量的另外两点选为各车道线段的两端点。而在确定车头跨越停车线的时刻(以便估计分车道车辆驶离累计曲线)时，与车头稳健特征点ps分别组成向量的另外两点则由分车道停车线的两端点组成。与实现车辆驶离时刻估计同时，也获得了分车道累计驶离车辆数。分车道车辆驶离累计曲线就是在时间轴上将车辆驶离累计数沿着车辆驶离时刻展开。经过车头鲁棒检测以及分车道车头定位的当前帧车辆列表可以表示为

各符号所表示的含义与以上车尾相关内容相一致，是所检测到的车头总数。逐车道将分配到同一车道(具有相同的车道索引号)的各车辆统一考虑。根据团块跟踪技术，检测依次行进的各车辆，并跟踪车辆的驶离队列，实现车辆驶离累计曲线的估计。设为分车道车辆累计驶离数，表示为该车道的第nj辆车在时刻t离开(驶离停车线)。

步骤3：基于车辆到达及驶离累计曲线的分车道交通详细参数采集与分析

步骤3.1：计算分车道平均到达率以及驶离饱和流率

根据分车道车辆累计到达曲线平均到达率q可以计算如下

其中，δt为时间间隔，δn^arri为相应的跨越检测线的车辆数目。

根据分车道车辆累计驶离曲线绿灯期间饱和流率s可以计算如下：

其中，δt为时间间隔，δn^depart为相应的跨越停车线的车辆数目。平均到达率q和饱和流率s都是分车道进行计算，即qi(i∈{0,1,2,3})，sj(j∈{0,1,2,3,4})。

步骤3.2：以车辆数为单位的分车道车辆排队长度检测

根据交叉口分车道车辆累计到达及驶离曲线以车辆数为单位的分车道车辆排队长度可以轻易地得到。只要事先确保两摄像机具有一致的时间戳，根据输入输出模型，本发明直接将分车道车辆累计到达及驶离曲线结合在一起，得到交叉口入口路段以车辆数为单位的排队长度：

在红灯期间排队长度将不断增加，任何给定时间等待着的车辆数nqueue(t)都代表着排队长度。

与现有技术相比，本发明具有以下明显优势：

(1)本发明针对单台低角度摄像机本身存在的固有缺陷，使用了两台具有相反视角的低角度摄像机共同监控交叉口的入口路段，通过两台摄像机信息的融合，为高精度地检测交叉口多种详细交通参数提供必要的条件。

(2)本发明在通过一台摄像机估计车辆到达累计曲线的基础上，进一步利用另一台摄像机估计车辆驶离累计曲线，形成完整的交叉口累计输入输出模型，为简单而灵活地估计车辆排队累积数打下基础。

(3)本发明以完全自动的方式，轻易实现了车辆饱和流率的准确计算，为解决车辆饱和流率调查成本高、工作量大、不确定因素多等问题具有实际的意义。

(4)由于视频车辆检测器大部分采用垂直车道正上方的安装条件，本发明可以很容易地集成到现有城市交通视频监控系统中，无需进行进一步的更改。

附图说明

图1本发明所涉及方法的总体框图。

图2a-2d交叉口入口路段双摄像机的安装：(a)双摄像机固定安装示意图；(b)基于世界坐标系的双摄像机关系图；(c)在摄像机a的停车线处拍摄的交通视频及车道依次排序；(d)在摄像机b的检测线处拍摄的交通视频及车道依次排序。

图3a-3b针对双摄像机分别离线设置感兴趣区域：(a)针对摄像机a所拍摄的车头图像离线设置感兴趣区域；(b)针对摄像机b所拍摄的车尾图像离线设置感兴趣区域。

图4a-4b用于adaboost车辆分类器训练的部分车头和车尾图像正样本。

图5a-5b使用adaboost级联分类器的车辆检测结果：(a)针对车头摄像机a的车头检测结果；(b)针对车尾摄像机b的车尾检测结果。

图6a-6b面向多种交通状态的车底阴影检测结果：(a)针对车头摄像机a的车底阴影检测结果；(b)针对车尾摄像机b的车底阴影检测结果。

图7a-7d基于假设生成与验证框架的车辆多特征融合鲁棒检测结果：(a)在同一帧图像中同时显示针对车头摄像机a的两种车头检测结果；(b)车头多特征融合鲁棒检测结果；(c)在同一帧图像中同时显示针对车尾摄像机b的两种车尾检测结果；(d)车尾多特征融合鲁棒检测结果。

图8基于稳健特征点的分车道车辆定位。

图9a-9b基于稳健特征点的各车辆跨越分车道停车线或检测线具体时刻的估计：(a)针对摄像机a的车头跨越停车线时刻估计；(b)针对摄像机b的车尾跨越检测线时刻估计。

图10a-10b针对车尾摄像机b估计分车道车辆到达累计曲线：(a)分车道车辆到达累计曲线的完整结果；(b)放大显示的车辆到达累计曲线细节(从第5800帧到第12300帧)。

图11a-11b针对车头摄像机a估计分车道车辆驶离累计曲线：(a)分车道车辆驶离累计曲线的完整结果；(b)放大显示的车辆驶离累计曲线细节(从第17800帧到第24300帧)。

图12a-12d排队车辆数的计算：(a))车辆到达累计曲线(红线)与驶离累计曲线(黑线)的结合；(b)交叉口入口路段排队长度计算结果；(c)(d)放大显示的细节内容(从第6800帧至第15200帧)。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明实施例在安装vc2013和opencv3.4.1的pc机上实现，流程图如图1所示。本发明试验所用交叉口视频是利用固定架设在北京三环路辅路华威桥交叉口入口路段的两部反向低角度摄像机拍摄的，如图2.a所示。整个交叉口试验视频的拍摄过程持续了两天，主要选定为早高峰时间段(上午7:00至9:00)。该交叉口的信号周期是192s，红灯持续160秒，绿灯持续32秒。所有交叉口视频序列总时长达到300分钟，大约100个信号灯周期。视频序列帧率是每秒25帧，图像分辨率为720×576。

本发明实施例方法包括以下步骤：

步骤1：双摄像机的安装、感兴趣区域的离线设置以及车辆分类器的训练过程

步骤1.1：双摄像机的安装

图2.a是在交叉口入口路段固定安装双摄像机的示意图：摄像机a固定架设在停车线的前面以便捕获车头；摄像机b固定架设在入口路段上游的合适位置，以便捕获处于同一车道车辆的尾部。双摄像机a和b之间的距离约为150m，通过道路中间隔离带的栏杆间距进行测量(见图2.b)。每台摄像机固定架设在路面以上约6米的位置，形成低位摄像机架设方式。

双摄像机a和b以相反的视角共同监控入口路段(见图2.c)。显然，车辆从摄像机b的下半视图进入，而从摄像机a的下半视图离开。摄像机b拍摄的车辆尾部图像具有最高分辨率。相应地，摄像机a拍摄的车辆头部图像具有最高分辨率。在各摄像机中各车道分别按顺序排列(在摄像机a中从0号排列到4号，在摄像机b中从0号排列到3号，均从中间隔离带算起)，(见图2.d)。

步骤1.2：感兴趣区域的离线设置

图3表示了在双摄像机上分别离线设置感兴趣区域的具体过程及结果，后续的视频处理过程就不再改动。首先手动交互设置交叉口入口路段的所有车道线，如图3a和图3b中沿着车道线绘制的绿线①所示。各车道线段分别由两端点定义。摄像机a中的六条车道线和摄像机b中的五条车道线是最重要的部分。各车道由相邻两条车道线决定。

将上述分车道行驶区域适当扩展，得到蓝色矩形框所示的车辆有效检测区域②，不妨定义为r。该区域r位于低角度摄像机视野范围中最为清晰的下半部分。本发明限定adaboost级联分类器在该区域中完成遍历，有助于降低计算复杂度。

在靠近交通场景下方的位置，各摄像机所拍摄图像的青色线③则用于车辆跨越时刻的检测。事实上，青色线是连接各条车道线在两台摄像机视图下方位置的端点所形成的线段，并选择与车辆行进方向相垂直。对于车头摄像机a而言，青色线实际就是停车线。而车尾摄像机b中的青色线则是具有合适位置的检测线。

步骤1.3：车辆分类器的训练过程

为了训练基于adaboost的车辆级联分类器，本发明采用从不同的交通监控视频手工选定的6668张车头图像和3654张车尾图像作为正样本。同时，本发明收集了8031张图像作为负样本，其中2454张图片是从现有交通视频背景图中抓取获得，4014幅是从文献(overettg,peterssonl,brewern,etal.anewpedestriandatasetforsupervisedlearning.ieeeintelligentvehiclessymposium,2008:373-378)提供的网址下载的，1563幅是从互联网上搜索到的，部分车头和车尾图像正样本见图4。所有图像样本的尺寸都按比例缩小为28×28。本发明使用能胜任车头与车尾同时检测的车辆分类器，用于后续的工作处理。

步骤2：针对各摄像机的车辆鲁棒检测以及分车道车辆到达与驶离累计曲线估计

图5表示了使用adaboost级联分类器的车辆检测结果，具体表示为一系列矩形区域。图5.a表示针对车头摄像机a的车头检测结果，图5.b表示针对车尾摄像机b的车尾检测结果。图6表示了面向多种交通状态的车底阴影检测结果，具体表示为二值化图像中的连通前景区域(白色区域)，经过数学形态学、连通组件分析和提取外接矩形等图像处理过程，最终表示为另一组矩形区域。图6.a表示针对车头摄像机a的车底阴影检测结果，图6.b表示针对车尾摄像机b的车底阴影检测结果。图7表示了基于假设生成与验证框架的车辆多特征融合鲁棒检测结果。图7.a表示在同一帧图像中同时显示针对车头摄像机a的两种车头检测结果(具体由两种不同颜色的矩形框来表示)；图7.b表示车头多特征融合鲁棒检测结果；图7.c表示在同一帧图像中同时显示针对车尾摄像机b的两种车尾检测结果(具体由两种不同颜色的矩形框来表示)；图7.d表示车尾多特征融合鲁棒检测结果。

给定车辆融合鲁棒检测结果，本发明使用稳定特征点将车辆位置划归到特定的车道，实现分车道车辆定位，从而消除车辆在多条车道间的误定位问题，如图8所示。图8.a表示车辆融合鲁棒检测结果；图8.b表示分车道车辆定位结果。同时，本发明同样使用稳定特征点准确估计各车辆跨越分车道检测线或停车线的具体时刻,如图9所示。图9.a表示针对车头摄像机a的车辆跨越分车道停车线时刻的估计；图9.b表示针对车尾摄像机b的车辆跨越分车道检测线的时刻估计。

本发明能够实时估计信号交叉口入口路段的分车道到达与驶离累计曲线。图10表示了针对车尾摄像机b在检测线处估计的分车道车辆到达累计曲线的完整结果。图11则表示了针对车头摄像机a在停车线处估计的分车道车辆驶离累计曲线完整结果。横坐标代表时间。针对车尾摄像机b，纵坐标代表分车道到达累计曲线i∈{0,1,2,3}。针对车头摄像机a，纵坐标代表分车道驶离累计曲线j∈{0,1,2,3,4}。图10.a的第一个子图表示了在摄像机b中所有四条车道的车辆到达累计曲线。图10.a的其它子图将各车道车辆到达累计曲线估计结果与真实值进行比较。图10.b详细显示了最左边靠近中间隔离带的两条车道(第0号和1号车道)的累计曲线。图11的各图与图10的含义类似。不过，图11显示了在摄像机a中的所有五条车道的车辆驶离累计曲线。图11.b详细显示了最具有代表性的两条车道的累计曲线(对应左转车流的第1号车道和对应直行车流的第2号车道)。

从图10的车辆达到累计曲线可以看到，在交叉口入口路段上游区域中车辆的完全停止或移动状态。车辆停止的时间对应于到达累积曲线保持水平的时间间隔。当车辆移动时，累积曲线将随时间不断增加。从图11的车辆驶离累计曲线可以看到，受到交叉口信号控制方案的限制，在停车线附近车辆不断地在停车和行进两种状态之间切换。在红灯期间，车辆驶离累计曲线不发生任何变化。而在绿灯期间，车辆驶离累计曲线以饱和流率线性增大。可以直观地看出，本发明实现了车辆到达与驶离累计曲线的准确估计。

步骤3：基于车辆到达及驶离累计曲线的分车道交通详细参数采集与分析

表1给出了分车道计算的平均到达率q与驶离饱和流率s。在计算这两项参数的过程中，分别使用了车辆累计到达和驶离曲线，并且已经考虑了小客车当量系数(passengercarequivalents，pcu)。因为城市道路交通主要由小客车和公共汽车组成。本实施例认为小客车占90％，而公共汽车占10％。公共汽车的转换系数为2。在早高峰时段，平均到达率q在184vph与562vph之间变化。同时，驶离饱和流率s在104vph与1709vph之间变化。

表1分车道车辆到达率与饱和流率的计算结果

图12.a同时表示了本发明估计的车辆到达累计曲线(红线)与驶离累计曲线(黑线)。图12.b显示了使用车辆到达与驶离累计曲线的交叉口入口路段排队长度计算结果。图12.c和图12.d分别是放大显示的细节内容(从第6800帧至第15200帧)。在图12中，纵坐标都表示排队的车辆计数。而且，在红灯期间时排队长度增加，而在绿灯期间时按饱和流率消散。

由于总车道数由车尾摄像机b的4条车道变为车头摄像机a的5条车道，本实施例所考虑入口路段的交通流分配关系(即分车道车辆累计到达和驶离曲线的对应关系)尚不明确。因此，图12只显示了在两摄像机(a和b)中距离中间隔离带近的最内侧左转车道上的车辆到达与驶离累计曲线。因为本实施例假设在这条车道上车辆变道的可能性最小。显而易见，该车道的最大排队长度为10辆车。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。