专利名称：基于多帧差分与投射阴影去除的运动车辆检测方法及装置的制作方法
技术领域：
本发明涉及智能交通管理和视频监控领域，具体涉及一种基于多帧差分与投射阴影去除的运动车辆检测方法及装置。
背景技术：
随着我国经济的快速发展和社会机动车辆拥有量的急剧增加，涉车事件、案件成几何倍数增长。为了提升社会治安水平，降低涉车事件、案件的发生概率，针对机动车辆的检测和监控技术得到了广泛的研究。基于视频分析的机动车辆检测技术得到了迅速的推 广应用，被应用于治安卡口、闯红灯抓拍、异常车辆事件检测、不停车自动收费系统、小区/停车场车辆管理系统、交通流信息检测系统等智能交通技术中。目前，针对运动车辆检测的视频分析技术，主要有光流法、背景差分法和帧间差分法采用光流法，因其运算较复杂，在嵌入式系统中运行时间长，难以满足实时检测的需求；采用背景差分法，因背景建模时间较长，背景更新速度较慢，在光照变化的情况下，无法有效去除投射阴影，不能准确地将机动车辆从背景中分离出来；因受投射阴影影响，造成前后机动车辆产生粘连的情况，却难以分离；采用简单的帧间差分法，可以避免光照条件对背景建模的影响，但是在光照情况下，确无法去除投射阴影对运动车辆粘连造成的影响。基于帧间差分法改进的多帧差分方法，可有效去除运动车辆投射阴影，准确地将机动车辆从背景中分离出来，提高检测准确率。
发明内容
本发明的目的就在于克服现有技术存在的问题和的不足，提供一种基于多帧差分与投射阴影去除的运动车辆检测方法及装置。本发明的目的是这样实现的利用多帧之间运动车辆刚体特性的关联性，以及机动车辆和投射阴影局部纹理特性的差异性，实现投射阴影的去除，有效解决了投射阴影对机动车辆分离造成的目标粘连、目标分离不准确的问题。一、基于多帧差分与投射阴影去除的运动车辆检测方法(简称方法)a、获得当前帧序列图片；b、获取当前帧的灰度值序列图片；C、获得当前帧边缘、帧间差边缘的二值化图像特征Cl、获得当前帧边缘的二值化图像特征；c2、获得图像帧间差边缘的二值化图像特征；d、获得当前帧运动车辆的边缘特征；
e、获得当前帧阴影的边缘特征el、采用Cl过程获得的当前帧边缘的二值化图像特征得到当前帧阴影的边缘特征；e2、采用c2过程获得的帧间差边缘的二值化图像特征得到当前帧阴影的边缘特征；f、获得当前帧阴影的准确边缘特征；g、获得准确的运动车辆边缘特征的图片序列；h、从图片序列中提取运动车辆的具体坐标。二、基于上述运动车辆检测方法的摄像装置
I、智能网络摄像机(有DSP图像传感器)；2、网络摄像机(无DSP图像传感器)+工业控制机。本发明具有下列优点和积极效果①为智能交通系统的运动车辆检测提供了基于视频检测的捕获方案，系统安装更加简单，且易于维护；②本发明相对传统的检测方法，提升了运动车辆的捕获率，提升了机动车辆的位置检测精度；③本发明解决了运动车辆在各种光照条件下、在复杂的背景条件下的捕获率，为智能交通系统的深度应用提供了技术方案，如闯红灯电子警察系统中的违法直行、违法左转、违法右转。
图I是智能网络摄像机的结构方框图；图2是网络摄像机+工业控制机的结构方框图；图3是本方法的工作流程图；图4是摄像装置应用示意图。图中O—摄像装置；A一智能网络摄像机；B—网络摄像机；C一工业控制机；Cl一实时图片序列米集模块；C2—运动车辆检测分析模块；C3—检测结果输出处理模块。I—LENS 光学镜头；2一CO)(Charge Coupled Device,电荷f禹合器件)图像传感器；3—信号采集转换器；4—HV信号驱动器；5-FPGA(Field — Programmable Gate Array,现场可编程门阵列)可编程逻辑处
理器；
6-SDRAM(Synchronous Dynamic Random Access Memory,同步动态随机存储器)存储器；7-H264录像编码器；8-ARM (Advanced RISC Machines)中心处理器；9—DSP (Signal Processor,数字信号处理)图像处理器。401-闯红灯电子警察系统；402—治安卡口系统；403—小区/停车场车辆管理系统；
404—异常车辆事件检测系统； 405—交通流信息检测系统；406—不停车自动收费系统。
具体实施例方式下面结合附图和实施例详细说明一、智能网络摄像机AI、总体如图I，智能网络摄像机A包括LENS光学镜头I、CXD图像传感器2、信号采集转换器3、HV信号驱动器4、FPGA可编程逻辑处理器5、SDRAM存储器6、H264录像编码器7和ARM中心处理器8 ；设置有DSP图像处理器9 ；①LENS光学镜头I、CXD图像传感器2、信号采集转换器3、FPGA可编程逻辑处理器5、SDRAM存储器6、DSP图像处理器9和ARM中心处理器8依次连接，实现图像采集、存储、分析和处理；②FPGA可编程逻辑处理器5、HV信号驱动器4和CXD图像传感器2依次连接，实现对CCD图像传感器2的控制；③FPGA可编程逻辑处理器5、H264录像编码器7和ARM中心处理器8依次连接，实现视频监控和处理。2、功能部件I) LENS光学镜头1、CCD图像传感器2、信号采集转换器3、HV信号驱动器4、FPGA可编程逻辑处理器5、SDRAM存储器6、H264录像编码器7和ARM中心处理器8均为通用器件。2) DSP图像处理器9是一种高性能的图像处理器件，其主频高达800Mhz ；可以选用TMS320DM64X、TMS320DM81X等系列的DSP图像处理器，其内嵌入本方法的专用软件(后面介绍)；DSP图像处理器9主要通过图片序列的分析处理，实现运动车辆检测、定位、跟踪、捕获功能，然后将运动车辆捕获记录输出给ARM中心处理器8。3、工作原理FPGA可编程逻辑处理器5通过LENS光学镜头1、(XD图像传感器2、信号采集转换器3将智能网络摄像机A视场的信息按25fps的速度采集上来，再存放在SDRAM存储器6中；DSP图像处理器9按照时间顺序依次从SDRAM存储器6中获取实时图片序列，并采用本方法，实时分析与检测运动车辆。FPGA可编程逻辑处理器5通过HV信号驱动器4对CXD图像传感器2控制，调节CXD图像传感器的曝光时间、增益、白平衡。在运动车辆行驶过程中，进入系统预先设置的抓拍位置时，自动触发抓拍车辆通行图片；DSP图像处理器9处理每一帧图像，得到运动车辆运动序列；DSP图像处理器9从SDRAM存储器6中获得抓拍图片后进行其他处理车牌识别、车标识别、车身颜色识别、车辆类型识别、抓拍信息叠加等处理之后，传给ARM中心处理器8进行相应处理；H264录像编码器7，可将实时视频编码为H264视频文件，实现道路监控功能，再传给ARM中心处理器8进行相应处理。二、网络摄像机+工业控制机 I、总体如图2，本摄像装置包括网络摄像机(无DSP图像传感器)B+工业控制机C。具体地说，本摄像装置包括LENS光学镜头I、CXD图像传感器2、信号采集转换器3、HV信号驱动器4、FPGA可编程逻辑处理器5、SDRAM存储器6、H264录像编码器7、ARM中心处理器8和工业控制机C ；①LENS光学镜头I、CXD图像传感器2、信号采集转换器3、FPGA可编程逻辑处理器5、SDRAM存储器6、ARM中心处理器8和工业控制机C依次连接，实现图像采集、存储、分析和处理；②FPGA可编程逻辑处理器5、HV信号驱动器4和CXD图像传感器2依次连接，实现对CCD图像传感器2的控制；③FPGA可编程逻辑处理器5、H264录像编码器7和ARM中心处理器8依次连接，实现视频监控和处理。网络摄像机B+工业控制机C的摄像装置，与智能网络摄像机A的主要区别在于图片序列处理方法在工业控制机C上实现，而不是在DSP图像处理器8上实现，其他功能与智能网络摄像机A上的实现相同。2、主要功能部件工业控制机C为一种高性能的工业级控制计算机，其主频高达3. OGHz,内存为2G，其内嵌入本方法的专用软件(后面介绍)；本软件包括依次交互的实时图片序列采集模块Cl、运动车辆检测分析模块C2和检测结果输出处理模块C3，通过图片序列的分析处理，实现运动车辆检测、定位、跟踪和捕获功能。3、工作原理ARM中心处理器8按照时间顺序依次从SDRAM存储器6中获取实时图片序列，然后传给工业控制机C。工业控制机中实时图片序列采集Cl模块获得实时图片序列后，传给运动车辆分析C2模块进行分析处理，最后将分析处理结果传给检测结果输出处理C3模块。三、多帧差分与投射阴影去除的运动车辆检测方法实现过程如图3，本方法实现过程如下a-101 :当前帧序列图片Fn
DSP图像处理器9从SDRAM内存6中获得当前帧序列图片Fn，每帧图像数据由B、G、R三种颜色分量组成；b-102 :获取当前帧的灰度值处理过程；Yn(i，j)=0. 299*Rn(i，j)+0. 587*Gn(i，j)+0. 114*Bn(i，j)Bn(i, j)、Gn(i，j)、Rn(i，j)是第n帧图像的第i行第j列上B、G、R颜色分量的值，Yn(i, j)为第η帧图像的第i行第j列的灰度值；第η帧的灰度值矩阵简写为Yn，则视频图像的灰度图序列为Y1'Y2、-,Yn ；c :获得当前帧边缘、帧间差边缘的二值化图像特征 Cl :获得当前帧边缘的二值化图像特征cl-103 :获取当前帧灰度值图像的边缘特征采用Canny算子、或Sobel算子将灰度值图像转换为边缘特征图像，转换后的边缘特征图像序列表示为E (Y1)、E (Y2)、…、E(Yn)cl-106. a: 二值化处理，将步骤b所得的边缘特征E (Yn)进行二值化处理。根据机动车辆检测经验获得步骤cl-103的二值化阈值为10。二值化之后的图片序列表示为B(E(Y))、B(E(Y2))、…、B(E(Yn))简写为Bg(I)、Bg(2)、...、Bg(n)c2 :获得图像帧间差边缘的二值化图像特征C2-104 :获取当前帧与前一帧的灰度值差灰度值差图像序列表示为Y2-Y1^Y3-Y2,…、Yn-YlriDy2 ⑴=Y2-Y1' Dy3 ⑵=Y3-Y2' …、Dyn(n-1) =Yn-YlriC2-105 :获取灰度值差图像的边缘特征采用Canny算子、或Sobel算子将灰度值差图像转换为边缘特征图像，灰度值差图像边缘特征的图像序列表示为E(Dy2(l))、E(Dy3(2))、…、E(Dyn(n_l))c2-106. b :二值化处理，将步骤C2-105所得的边缘特征E (Dyn(n_l))进行二值化处理。根据机动车辆检测经验获得步骤C2-105的二值化阈值为8。二值化之后的图片序列表示为B(E(Dy2(l)))、B(E(Dy3(2))、…、B(E(Dyn(n_l)))简写为Bd (2)、Bd (3)、...、Bd(n)d-107 :获得当前帧运动车辆的边缘特征将步骤c 二值化处理之后的图像Bg(n) ,Bd(η)进行逻辑‘与，运算，即可得到运动车辆的边缘特征，Bg(n)&Bd(n)。e :获得当前帧阴影的边缘特征
获得当前帧阴影的特征有两种方法得到，且得到的结果不完全一样。el-108, a :采用cl过程获得的当前帧边缘的二值化图像特征得到当前帧阴影的边缘特征，具体方法为步骤cl-106. a的得到二值化图像减去步骤d-107当前帧运动车辆边缘特征的二值化图像，所得到的图像序列表示为Bg (2) -Bg (2) &Bd (2)、Bg (3) -Bg (3) &Bd (3)、…、Bg (n) -Bg (n) &Bd (η)e2-108. b :采用c2过程获得的帧间差边缘的二值化图像特征得到当前帧阴影的边缘特征，具体方法为步骤C2-106. 6的得到二值化图像减去步骤d-107当前帧运动车辆边缘特征的二值化图像，所得到的图像序列表示为Bd (3) -Bg (2) &Bd (2)、Bd (4) -Bg (3) &Bd (3)、...、Bd (η+1) -Bg (n) &Bd (η)
f-109 :获得当前帧阴影的准确边缘特征在步骤e中，分别通过两种方法获得了当前帧背景的边缘特征二值化图像矩阵序列。最后，将这两组图像矩阵序列进行逻辑‘与’运算得到阴影的边缘特征的图片序列。当前帧阴影的准确边缘特征的图像矩阵序列表示如下{Bg (2) -Bg (2) &Bd (2)} & {Bd (3) -Bg (2) &Bd (2)}、{Bg (3) -Bg (3) &Bd (3)} & {Bd (4) -Bg (3) &Bd (3)}、…、{Bg (n) -Bg (n) &Bd (n)} & {Bd (n+1) -Bg (n) &Bd (n)}g-110 :获得准确的运动车辆边缘特征的图片序列，具体方法在步骤d-107中获得运动车辆边缘特征的数据序列减去步骤f-109中阴影边缘特征的数据序列，即可得到去除阴影的运动车辆的边缘特征的数据序列，该数据序列用公式可表示为Bg (2) &Bd (2) - {Bg (2) -Bg (2) &Bd (2)} & {Bd (3) -Bg (2) &Bd (2)}、Bg (3) &Bd (3) - {Bg (3) -Bg (3) &Bd (3)} & {Bd (4) -Bg (3) &Bd (3)}、…、Bg (n) &Bd (n) - {Bg (n) -Bg (n) &Bd (n)} & {Bd (n+1)-Bg (n) &Bd (n)}h-111 :从图片序列中提取运动车辆的具体坐标。在此阶段，会根据需要对数据序列进行去噪处理、膨胀处理；最后，采用八邻域搜索算法获得运动车辆的具体位置坐标，以及相关的运动属性。四、摄像装置应用如图4，ARM中心处理器8通过网络方式上传给后台管理系统闯红灯电子警察系统401、治安卡口系统402、小区/停车场车辆管理系统403、异常车辆事件检测系统404、交通流信息检测系统405和不停车自动收费系统406等，实现上述系统前端数据采集功能。
权利要求
1.一种基于多帧差分与投射阴影去除的运动车辆检测方法，其特征在于 a、获得当前帧序列图片； b、获取当前帧的灰度值序列图片； C、获得当前帧边缘、帧间差边缘的二值化图像特征 Cl、获得当前帧边缘的二值化图像特征； c2、获得图像帧间差边缘的二值化图像特征； d、获得当前帧运动车辆的边缘特征； e、获得当前帧阴影的边缘特征 el、采用Cl过程获得的当前帧边缘的二值化图像特征得到当前帧阴影 的边缘特征； e2、采用c2过程获得的帧间差边缘的二值化图像特征得到当前帧阴影的 边缘特征； f、获得当前帧阴影的准确边缘特征； g、获得准确的运动车辆边缘特征的图片序列； h、从图片序列中提取运动车辆的具体坐标。
2.基于权利要求I所述的运动车辆检测方法的智能网络摄像机(A)，包括LENS光学镜头(1)、(XD图像传感器(2)、信号采集转换器(3)、HV信号驱动器(4)、FPGA可编程逻辑处理器(5 )、SDRAM存储器(6 )、H264录像编码器(7 )和ARM中心处理器(8 );其特征在于 设置有DSP图像处理器(9)； ①LENS光学镜头(1)、(XD图像传感器(2)、信号采集转换器(3)、FPGA可编程逻辑处理器(5)、SDRAM存储器(6)、DSP图像处理器(9)和ARM中心处理器(8)依次连接，实现图像采集、存储、分析和处理； ②FPGA可编程逻辑处理器(5)、HV信号驱动器(4)和CXD图像传感器(2)依次连接，实现对CXD图像传感器(2)的控制； ③FPGA可编程逻辑处理器(5)、H264录像编码器(7 )和ARM中心处理器(8 )依次连接，实现视频监控和处理； 所述的DSP图像处理器9是一种高性能的图像处理器件，其主频高达800Mhz ;其内嵌入本方法的专用软件。
3.基于权利要求I所述的运动车辆检测方法的摄像装置一网络摄像机+工业控制机，包括LENS光学镜头(I)、CXD图像传感器(2)、信号采集转换器(3)、HV信号驱动器(4)、FPGA可编程逻辑处理器(5 )、SDRAM存储器(6 )、H264录像编码器(7 )和ARM中心处理器(8 );其特征在于 设置有工业控制机(C); ①LENS光学镜头(1)、(XD图像传感器(2)、信号采集转换器(3)、FPGA可编程逻辑处理器(5 )、SDRAM存储器(6 )、ARM中心处理器(8 )和工业控制机(C )依次连接，实现图像采集、存储、分析和处理； ②FPGA可编程逻辑处理器(5)、HV信号驱动器(4)和CXD图像传感器(2)依次连接，实现对CXD图像传感器(2)的控制； ③FPGA可编程逻辑处理器(5)、H264录像编码器(7 )和ARM中心处理器(8 )依次连接，实现视频监控和处理； 所述的工业控制机(C)为一种高性能的工业级控制计算机，其主频高达3. OGHz,内存为2G，其内嵌入本方法的专用软件。
全文摘要
本发明公开了一种基于多帧差分与投射阴影去除的运动车辆检测方法及装置，涉及智能交通管理和视频监控领域。本方法是a、获得当前帧序列图片；b、获取当前帧的灰度值序列图片；c、获得当前帧边缘、帧间差边缘的二值化图像特征d、获得当前帧运动车辆的边缘特征；e、获得当前帧阴影的边缘特征；f、获得当前帧阴影的准确边缘特征；g、获得准确的运动车辆边缘特征的图片序列；h、从图片序列中提取运动车辆的具体坐标。本发明为智能交通系统的运动车辆检测提供了基于视频检测的捕获方案，系统安装更加简单，且易于维护；提升了运动车辆的捕获率，提升了机动车辆的位置检测精度。
文档编号H04N5/232GK102881161SQ20121036779
公开日2013年1月16日 申请日期2012年9月28日 优先权日2012年9月28日
发明者张仁辉, 万晨 申请人:武汉烽火众智数字技术有限责任公司