模块化设计的交通信息视频采集实验教学方法

专利名称：模块化设计的交通信息视频采集实验教学方法
模块化设计的交通信息视频采集实验教学方法技术领域
本发明属于交通信息视频采集教学领域，基于交通信息与控制实验平台，以模块化设计为核心，包括视频采集的基础理论、交通参数检测、典型交通违章判别等功能的教学实验方法，并搭建教学实验系统。
背景技术：
交通设施是国民经济重要的基础，是国民经济的先导性产业。伴随着信息化、智能化、人性化时代的到来，ITS技术在交通运输领域愈发重要。
智能交通系统是诸多学科的融合与交叉，它的应用推动了交通科技水平的提高， 起到了提高运输效率、减少对环境的影响、改进安全性与可靠性等作用。因此，以信息技术为核心的智能交通系统的发展和应用将全方位地提高交通运输的质量。可以说，交通信息控制技术是ITS发展的基础。在交通信息与控制技术中，视频处理技术占有重要地位，目前该技术已经广泛应用于交通监控、交通量检测、交通安全以及交通违章检测等诸多领域，为交通秩序的改善以及交通数据的全面获取提供了有效的技术手段。由于该技术具有多学科交叉的特点，近年来对于人才培养模式提出了新的挑战。如何使即将从事交通工程领域相关工作的学生能够掌握交通信息处理的关键技术？如何在掌握信息处理技术基本原理的基础上，面向应用层面，提高学生综合应用知识的能力，就成为课堂教学、实践教学、学生素质培养的难点。
目前，关于从交通信息与控制的相关课程，特别是针对图像采集、视频处理等相关教学内容的课堂教学过程发现，由于其学科交叉的特征，教师在课堂上讲授的难度、深度以及学生实践环节的具体构建等方面存在一定的问题，主要包括
(1)、课堂教学主要采用PPT课件的静态演示方式，尽管针对图像采集及处理有很多的教学软件，但基本上是为图像处理专业的学生开设的，难度、深度均不满足交通工程专业的学生需求。
O)、实践环节主要采取参观学习的方式，学生对于课堂知识的应用处于了解层面，数据采集和处理的核心技术对学生基本上是“黑匣子”，很难达到灵活应用的水平。
(3)、尽管图像处理技术已经成功应用于交通信息的采集、交通违章检测等交通管理和应用领域，但针对城市交通的道路条件，该项技术的准确性以及高效性仍然存在一些关键问题亟待解决，因此需要针对各种图像处理方法开展较深入的研究。
针对以上三点，学生需要一套高参与性、高开放性的教学平台，以应对交通工程专业对于学生的培养需求。为此，本发明围绕视频图像采集处理技术，依托北京工业大学交通信息与控制实验室平台，开发了一套高参与性、高开放性、动手实践空间大的教学实验方法和实验系统。发明内容
本发明的目的在于，通过提供一种模块化的交通信息视频采集实验教学方法，开3发模块化、积木式的交通信息采集教学实验系统为学生提供关于交通视频采集技术基础理论的实践平台，推动传统的演示性教学模式向参与性、体验性教学模式的转变。
本发明是采用以下技术手段实现的
一种模块化设计的交通信息视频采集实验教学方法，包括视频采集的基础理论、 交通参数检测、典型违章判别的教学实验系统，包括以下步骤
以采集的基础理论部分、交通参数检测部分、典型交通违章判别部分为基础，将视频处理的步骤通过编程，制作成多个独立的模块；每个模块具有独立的视频处理功能，具有独立的输入、输出连接端子，通过端子之间的衔接实现数据流的传递；模块设有实现视频处理参数的滚动条、复选框；模块包括灰度化模块、图像预处理模块组、背景提取模块、虚拟线圈模块；基础理论部分包括实现图像灰度化、图像二值化、图像基本形态学运算、图像高级形态学运算、图像平滑和滤波运算；交通参数检测部分实现包括交通量检测、车速检测、平均车速检测；典型交通违章判别部分包括实现逆行违章检测、闯红灯违章检测、违章停车检测三种交通违章行为的判别。
通过灰度化模块、图像预处理模块组、背景提取模块、虚拟线圈模块的组合搭建和参数设置，完成交通量的采集；应用双线圈或者单线圈方法，分别搭建车速检测系统，完成定点车速的采集以及平均车速的计算。
通过灰度化模块、图像预处理模块组，背景提取模块、虚拟线圈模块和信号灯模块的组合衔接完成闯红灯违章识别系统的搭建；应用逆行判断模块以及违章停车判断模块的分别搭建和衔接，实现车辆逆行以及违章停车实验系统的搭建。
前述的教学实验系统，构建有基于视频处理的交通信息采集硬件，通过摄像头、视频采集卡捕获平台上的交通状态，作为视频处理的信息源。
前述的视频处理包括视频流解码、背景初始化、车辆特征提取、车辆跟踪和背景更新。
前述的视频流解码为基于视频文件的视频播放模块，或基于实验平台使用FFmpeg 解编码器的在线视频接入模块。
前述的背景初始化为，道路环境中除了车辆信息以外的图像背景；背景图像可由一幅无车辆图像得到，也可以通过对图像序列的运算得到。
前述的背景更新为用背景帧像素值与当前帧像素值通过加权求和，获得新背景帧的像素值；更新时只需将背景区域的像素点更新，而运动区域的像素点值则保持不变。
本发明与现有技术相比，具有以下明显的优势和有益效果
(1)、将教学现场移至实验室，使学生能够参与到学习过程中。改变教师主导地位、 学生被动的接受的传统教学方式，使学生在实际操作和实验参与中完成课堂学习和课程创新实践。
O)、本发明的实验系统采用积木式、模块化设计方式，每个图像处理的功能均通过不同模块的合理衔接和搭建来实现，使交通工程的学生系统地掌握图像处理的中间过程以及具体功能。值得一提的是，不同的交通信息采集以及违章检测等功能，可以通过各个模块的不同组合来实现。这从根本上避免了传统教学方法导致产生思维定势的现象，并充分激发学生的创新意识。
(3)、由于实验系统采用模块化、积木式的构建形式，使得系统本身也成为一个基4于视频采集的实验平台，它具有很强的开发拓展能力，为学生提供了自主研发的空间。学生可以根据自己的实验设计需求，通过应用简单的接口函数，完成功能模块设计与开发，具备自主实验的特征。提高了学生自主研究能力，系统本身具有良好的推广价值和应用前景。


图1为交通量检测流程图2为逆行违章检测流程图3为闯红灯违章检测流程图4为违章停车检测流程图。
具体实施方式
以下结合说明书附图对本发明的具体实施方式
加以说明
1、进行模块化设计模块化设计是指将视频处理的各个步骤通过编程制作成独立的模块，每个模块具有独立的视频处理功能，具有输入、输出连接端子，通过端子之间的合理的衔接实现数据流的传递。模块具有参数修改功能，可通过改动模块上的滚动条、复选框等操作单位，实现视频处理过程中参数的修订。
通过灰度化模块、背景提取模块、虚拟线圈模块和红灯信号模块的合理组合和衔接可以完成闯红灯违章识别系统的搭建。
整个实验系统的开发过程中，均体现了这种设计理念。将视频图像处理的基本步骤、基于视频图像处理的交通量采集、基于视频处理的违章检测等过程中涉及的视频处理过程，均开发设计成处理单元，构成“积木模块”，这些模块的参数可以通过模块上的操作单元进行适当的调整以改变图像处理过程中的控制参数。在实验过程中，学生可根据实验需求自行搭建不同的“积木模块”，实现自己的实验设计需要，进而通过输入、输出模块直观的进行效果演示和评价。
2、基于视频图像处理的交通信息采集教学实验系统功能设计
从交通信息采集技术的教学需求出发，本发明主要包括视频图像处理基础理论、 交通参数检测、典型交通违章事件检测三类功能。这三类功能的实现难度以及复杂程度由浅入深，符合学生的认知过程。
(1)、视频图像处理的基础理论
视频图像处理的基础理论部分主要包括
灰度化图像的灰度化计算公式如下式所示
Y = O. 212671*R+0. 715160*G+0. 072169*B
通过将图像RGB三个分量代入上式便可得到图像每点的灰度值。此操作可以通过调用OpenCV中的cvCvtColor函数实现。
二值化图像的二值化通过对图像的阈值操作实现，对应OpencV中的 cvThreshold函数。为了体现阈值对图像二值化处理的重要性，系统中将二值化处理模块中的阈值以滑动条的形式作为用户自定义参数输入，以体现阈值对二值化处理结果的影响。
图像基本形态学运算图像的形态学操作包括对图像的腐蚀运算以及膨胀运算， 图像的腐蚀运算由cvErode函数计算完成，图像的膨胀运算由cvDilate函数计算完成。5
图像高级形态学运算图像高级形态学操作包块对图像的开运算、闭运算。在 OpenCV中，图像高级形态运算由cvMorphologyEx实现，通过对此函数参数的不同设置，可实现高级形态学运算。
图像平滑和图像平滑和滤波运算包括中值滤波、均值滤波、直方图均衡等运算。
滤波运算在OpenCV中，图像平滑运算由cvSmoth实现，图像直方图均衡运算由 cvEqualizeHist 实现。
O)、交通参数检测
交通量检测交通量是指单位时间内通过道路某一断面的车辆数，又称为交通流量或流量。交通量有很多种类，其中以小时交通量和高峰小时交通量最具实验意义。实验系统在实验平台上完成对两种交通量的检测。
小时交通量是指一小时内通过道路某一断面的车辆数。对于小时交通量，由于实测一小时时间过长，故在实验时进行15分钟检测，即测15min交通量。检测思路为计数法， 在视频中加入虚拟线圈，每当车辆驶过虚拟线圈时即计数，以此记录15分钟内通过线圈的车辆数，即15分钟交通量。
高峰小时交通量是指一天M小时内交通量最高的某一小时的交通量。在实验系统中将时间缩短为20分钟，并检测其中交通量最高的2分钟。检测思路为在道路上铺设虚拟线圈并记录20分钟内每辆车通过虚拟线圈时刻，在20分钟检测结束后统计每个连续两分钟内的交通量并选出最高值，则最高值所在的时段即为高峰“小时”，最高值即为高峰“小时”交通量。交通量检测流程图如图1所示。
车速检测地点车速(瞬时车速)是交通视频检测中的主要检测对象。地点车速是指车辆通过道路某一地点(道路某断面)时的车速，亦称瞬时车速，它是描述道路某地点交通状况的重要参数。
在进行地点车速检测时，实验系统将记录车辆通过一段很短距离的时间，这段距离与时间的比值则为地点车速。系统将在这段路径的两端设置两个虚拟线圈以确定车辆驶入时间和驶出时间，从而计算在路径上行驶速度。
值得一提的是，由于系统采用模块化设计，以上两种交通参数的检测方法并不固定，学生可以通过不同的模块搭配建立不同的检测流程以达到目的；软件可以检测的交通参数也不限于以上两种，通过模块的选择和模块的搭配亦可以实现其他交通参数的检测， 比如车头时距、占有率等。
(3)、典型交通事件检测
逆行违章检测通过不同模块的搭配有两种逆行违章检测方式。
采用双线圈实现逆行检测
在道路上设置一组两个距离较近的虚拟线圈，通过确定车辆经过两个线圈的先后顺序判断车辆是否逆行。
采用车辆跟踪实现逆行检测
跟踪检测的思路是首先确定是否有车辆驶入检测区，若有车辆驶入则跟踪这辆车并确定车辆的行驶轨迹，再通过轨迹判断车辆是否逆行。实现方法是在道路上设置虚拟线圈判断是否有车辆驶入检测区，运用车辆识别算法识别车辆，然后运用跟踪算法跟踪车辆， 判断车辆轨迹方向是否逆行违章，检测判别过程如图2所示。
闯红灯违章检测闯红灯违章检测的思路是首先判断是否为红灯状态，若为红灯状态则检测是否有车辆驶出停车线，若有则判断为闯红灯违章。具体实现方法为首先通过实验平台的信号机信号灯状态信号判断是否为红灯状态，在视频图像的停车线前设置虚拟线圈以判断是否有车辆驶出，从而实现闯红灯违章判断。检测判别过程如图3所示。
违章停车检测基于实验平台的硬件条件，实验系统中把路口绿灯状态时，不穿越路口的车辆均判断为违章停车。违章停车检测的思路是首先跟踪车辆，然后判断车辆是否运动，在根据路口是否为绿灯状态，判断车辆是否违章停车。检测判别过程如图4所示。
本系统的图像处理功能是借助OPENCV实现的，而OPENCV又是基于VC++平台开发的。鉴于功能要求，本发明选择使用了 Visual C++下的MFC工程。工程中所有的模块是属于由CDialog类派生出的CProcessing ModuleBase类，模块中用到的函数、变量等被封装在这个类中。通过这个类，可以很容易地切割出模块的样子以及为模块添加滚动条、复选框等操作单元。由于所有的模块都属于相同的基类，这样就做到了模块的平等性，同时很多模块间的共有设置可以统一在基类中完成设置。
生成后的分立模块无法独立运行，大部分模块的工作都依赖于上级模块的输出信号。为实现将上级模块的输出信号作为本模块输入信号，并将本模块的处理结果输出给下级模块，每个模块的两侧都至少有一个输入端子和一个输出端子，此功能在程序中通过Pin 实现。通过Pin_0ut与PinJn衔接可以将两个模块连接起来。通过这个虚拟端子，图像、 字符串等数据即可以在模块间传递。因此，只要源模块持续进行数据输出，相互连接的模块间就会产生持续的数据流，经过各级模块对此数据流的处理，最后便可以得到对原始视频的处理结果。
软件采用如下的数据匹配校验机制程序在每个连接动作发生时都会对触发端子数据类型进行判断，确认连接双方端子数据是否同为三通道图像、单通道图像或是字符串数据等，若两方类型吻合，则连接成功，否则弹出对话框报错，连接失败。
系统设计了两种视频信息的接入方法，一种是基于视频文件的视频播放模块，可以接入任何视频文件进行后续的视频图像处理。另外一种是基于实验平台的在线视频接入模块。对于在线视频，系统使用了 FFmpeg解编码器，它提供了录制、转换以及流化音视频的完整解决方案。针对交通信息与控制实验平台的在线视频，系统将来自摄像头的在线视频信号转化成图像序列作为视频源。
背景初始化道路背景是指道路环境中除了车辆信息以外的图像背景。背景图像可由人工拍摄一幅无车辆图像得到，也可以通过对图像序列的运算得到。背景提取的方法有很多种，例如图像时间平均、按照图像序列中出现频率判别、按照单图像中出现频率判别等。结合本发明实验平台交通背景相对比较简单的特点，系统中主要采用图像时间平均法获得背景图像。
图像时间平均方法的提出主要依据车辆的多样性，车辆上的像素点的亮度值有的比路面的值高，有的比路面的值低，车辆有各种色彩，交叉口的车辆大部分都处于运动状态，偶有短暂停车候灯的车辆。因此，背景像素点出现的时间“比重”要大于车辆和其他运动对象出现的时间，车辆状态近似随机状态。因此，视频图像的像素点值的变化接近高斯正态分布。所以，从统计学的角度，图像中因为各个车辆的经过而引起的变化在长时间平均后可以忽略。从而可以利用有车辆运行的一段图像序列进行时间平均来得到道路的背景图。7
高斯正态分布的均值(这里认为是连续多帧图像求平均的均值)在理论上接近背景像素的真实值。当对交通场景的连续数百帧图像进行累计求平均值后，得到的图像近似于真实背景。如下式所示，
权利要求
1. 一种模块化设计的交通信息视频采集实验教学方法，包括视频采集的基础理论、交通参数检测、典型违章判别的教学实验系统，其特征在于，包括以下步骤1.1.以采集的基础理论部分、交通参数检测部分、典型交通违章判别部分为基础，将视频处理的步骤通过编程，制作成多个独立的模块；每个模块具有独立的视频处理功能，具有独立的输入、输出连接端子，通过端子之间的衔接实现数据流的传递；模块设有实现视频处理参数的滚动条、复选框；所述的模块包括灰度化模块、图像预处理模块组、背景提取模块、虚拟线圈模块； 所述的基础理论部分包括实现图像灰度化、图像二值化、图像基本形态学运算、图像高级形态学运算、图像平滑和滤波运算；所述的交通参数检测部分实现包括交通量检测、车速检测、平均车速检测； 所述的典型交通违章判别部分包括实现逆行违章检测、闯红灯违章检测、违章停车检测三种交通违章行为的判别；1. 2.通过灰度化模块、图像预处理模块组、背景提取模块、虚拟线圈模块的组合搭建和参数设置，完成交通量的采集；应用双线圈或者单线圈方法，分别搭建车速检测系统，完成定点车速的采集以及平均车速的计算；1.3.通过灰度化模块、图像预处理模块组，背景提取模块、虚拟线圈模块和信号灯模块的组合衔接完成闯红灯违章识别系统的搭建；应用逆行判断模块以及违章停车判断模块的分别搭建和衔接，实现车辆逆行以及违章停车实验系统的搭建。
2.根据权利要求1所述的模块化设计的交通信息视频采集实验教学方法，其特征在于所述的教学实验系统，构建有基于视频处理的交通信息采集硬件，通过摄像头、视频采集卡捕获平台上的交通状态，作为视频处理的信息源。
3.根据权利要求1所述的模块化设计的交通信息视频采集实验教学方法，其特征在于所述的视频处理包括视频流解码、背景初始化、车辆特征提取、车辆跟踪和背景更新。
4.根据权利要求3所述的模块化设计的交通信息视频采集实验教学方法，其特征在于所述的视频流解码为基于视频文件的视频播放模块，或基于实验平台使用FFmpeg解编码器的在线视频接入模块。
5.根据权利要求3所述的模块化设计的交通信息视频采集实验教学方法，其特征在于所述的背景初始化为，道路环境中除了车辆信息以外的图像背景；背景图像可由一幅无车辆图像得到，也可以通过对图像序列的运算得到。
6.根据权利要求3所述的模块化设计的交通信息视频采集实验教学方法，其特征在于所述的背景更新为用背景帧像素值与当前帧像素值通过加权求和，获得新背景帧的像素值；更新时只需将背景区域的像素点更新，而运动区域的像素点值则保持不变。
全文摘要
本发明一种模块化设计的交通信息视频采集实验教学方法，以采集的基础理论部分、交通参数检测部分、典型交通违章判别部分为基础，将视频处理的步骤通过编程，制作成多个独立的模块；通过灰度化模块、图像预处理模块组、背景提取模块、虚拟线圈模块的组合搭建和参数设置，完成交通量的采集；应用双线圈或者单线圈方法，分别搭建车速检测系统，完成定点车速的采集以及平均车速的计算。应用逆行判断模块以及违章停车判断模块的分别搭建和衔接，实现车辆逆行以及违章停车实验系统的搭建。本发明将视频处理的各个步骤制作成独立的模块，完成独立的功能。学生通过模块间的合理的搭配、衔接实现各种视频处理及其应用功能。
文档编号G09B19/14GK102509490SQ201110309259
公开日2012年6月20日 申请日期2011年10月13日 优先权日2011年10月13日
发明者关伟, 张兴俭, 张金喜, 苏麟甲, 荣建, 赵晓华 申请人:北京工业大学