专利名称：基于协方差和二叉树支持向量机的目标检测系统及方法
技术领域：
本发明属于视频图像处理、模式识别、智能交通交叉技术领域，尤其是利用基于协
方差和二叉树支持向量机的目标检测系统及方法。
背景技术：
随着我国国民经济的快速发展，城市交通问题日益严重，为了解决城市地面交通 快速发展所引发的各种问题，智能交通系统(Intelligent Transportation System,简称 ITS)的研究被提到了重要位置。智能交通系统的主要目标是使汽车与道路的功能智能化， 从而保障交通安全、提高交通效率、改善城市环境、降低能源消耗。其中关于车辆检测/车 型识别对实现交通管理智能化具有重要意义。 目前，国外比较流行的是基于无线通信的智能交通系统，在每辆车上装上一个无
线发射节点，用来发送车辆自身的状态信息，该方法识别率高且系统稳定，但是现阶段要在
每辆车上都安装专门设备成本高、难度较大。另外，还有在路面下通过铺设压力传感器、电
磁感应线圈等对经过其上方的车辆自动识别分类，该方法主要不足在于安装时要破坏路
面、中断正常的交通，且设备的后期维护难以及时有效的进行。随着数字图像处理技术及计
算机技术的发展，基于视频图像实现车辆自动识别分类已成为一种趋势，因其安装维护方
便、获得的结果直观等诸多优点，使其在智能交通领域的应用越来越广泛。 基于视频图像的车型识别方法可以分为基于2D和基于3D的车型识别两大类。基
于2D的车型识别一般利用车辆的形状、颜色、轮廓等特征对车型进行识别。该类方法利用
的车辆特征较简单，不具有较强的鲁棒性，误判率高、能区分的车型类别有限。基于3D的车
型识别一般利用立体视觉的技术，在已知摄像机内外参数的情况下，通过对车辆建立三维
尺寸模型，从而判断车辆属于哪一类型。该类方法的车型识别准确率较高，但事先需对摄像
机进行标定，且要保证算法在计算过程中对3D场景重建的误差、车辆运动所引起的图像噪
声、视频检测器的偏移等干扰要有足够的稳健性，这使得该类计算复杂度较大，在复杂交通
场景、恶劣气候条件下不利于实时检测。 现在大多的车型识别系统都是利用PC机加以实现的，在这过程中，来自摄像机的 大量数据首先要传送给PC机，PC机调用事先写好的算法对视频进行处理，然后再输出结 果。大多情况下，被处理的视频数据的量较大且7X24小时的，因此依赖于PC机的处理，不 仅使得摄像机与PC机之间的通信占用了大量的资源，而且PC机也很难实现实时多视频的 并行处理。
发明内容
本发明目的是为了避免基于3D的车型识别的算法高计算复杂度，克服基于2D车 型识别算法的车型识别准确率低的问题，以及利用PC机处理数据时的摄像机与PC机之间 通信成本较大，且处理的实时性不强和网络化应用不便等问题。提供一种基于协方差和二 叉树的支持向量机的目标检测系统及方法。
本发明为实现上述目的，采用如下技术方案 本发明基于协方差和二叉树支持向量机的目标检测系统，包括视频数据采集单 元、图像预处理单元和背景建模车辆分割及显示单元，其中图像预处理单元包括同步信号 间隔检测模块、FIFO模块、AD接口控制单元、SDRAM控制器、帧存SDRAM、总开关、双口 RAM、 接口模块和视频数据处理单元，视频数据采集单元依次串接AD接口控制单元、FIFO模块、 视频数据处理单元、SDRAM控制器、双口 RAM、接口模块后接背景建模车辆分割及显示单元 的输入端，同步信号间隔检测模块的输出端分别接视频数据采集单元、AD接口控制单元和 接口模块的输入端，接口模块的输出端接AD接口控制单元的输入端，AD接口控制单元的输 出端串接SDRAM控制器后接口模块的输入端。 所述视频数据处理单元由视频滤波、投影变换模块串接视频拼接模块构成。
所述视频数据采集单元由多路CMOS摄像头串接视频解码器构成的视频数据采集 支路构成。所述视频解码器采用型号为AD9888芯片的视频解码器。 所述背景建模车辆分割及显示单元由DSP芯片构成，所述DSP芯片由背景建模单 元依次串接车辆分割提取、协方差特征提取和车型识别计算单元构成。
基于协方差和二叉树支持向量机的目标检测方法，包括如下步骤
步骤一，摄像头架设 将摄像机头设在直行道路上方，摄像机轴线与所述直行道路方向的倾角在60度 到70度之间; 步骤二，视频预处理 对视频数据采集单元获取的多路彩色视频的RGB三通道分别进行3X3邻域模板 中值滤波，将得到的结果再合成为彩色视频；
步骤三，视频投影变换和拼接 对步骤二所述的再合成的彩色视频进行投影变换后拼接为一路视频；
步骤四，车辆目标的分割与提取 利用基于分块分类的智能视频监控背景更新算法对步骤三所述的拼接后的视频 进行背景建模及前景目标提取，从而分割得到视频中的车辆；通过寻找到车辆连通域中行 方向最左边点和最右点的坐标值，以及列方向最上边的点及最下边点的坐标值，即得到包 含车辆的最小矩形区域(sf(x，y)，x。，y。，w，h)，其中sf(x，y)为矩形内对应点的像素值，x， y分别表示行、列的像素坐标，(x。，y。)为矩形左上角点的像素坐标，w，h分别为矩形的像素 宽禾口咼； 步骤五，车辆目标分类训练样本的提取 需要分类的车型有m种，针对每一种车型i，选择Ni个训练样本，记为 p'P。2，…，^l，i = 1，...，m，则一共选择了N个训练样本，iV-^iV,; 步骤六，车辆目标分类特征的提取
(3)车辆目标的非协方差特征提取 根据步骤四得到覆盖车辆目标每个训练样本的最小矩形区域(sf (x， y) ， x。， y。， w， h)，由w，h可以计算得到车辆的像素长度(h)、宽度(w)、面积(s = wXh)。
(4)车辆目标的局部协方差特征提取 将步骤四所述的车辆目标的矩形区域(sf(x，y)，x。，y。，w，h)分为8个子区域，首 先将矩形区域分为左右两个相等矩形区域，上下两个相等的矩形区域，然后再将矩形分成 四个相等面积的矩形区域，一共八个子矩形区域，采用基于积分图计算区域协方差特征的 方法计算得到步骤四所述的车辆目标的矩形区域的(sf(X，y)，Xl，y。，w，h)中车辆的协方差 矩阵Q，然后分别计算各个子矩形区域的<formula>formula see original document page 6</formula>
协方差矩阵—^/Vy+iVw-i-ZVJ ，其中(x' y')为
+ a,—! a, - a,—ly, _ i f 矩形左上角点的坐标，(x〃 ， y〃 )为矩形右下角的点坐标，S = x' *y' ， Q为二
次积分图WXHX dX d的张量，P为积分图像WXHX d的张量，其中WXH为图像的分辨率，d
为颜色的维数，T为转置；计算得到的子区域的协方差矩阵依次记为Q、Q、…、Q ; 步骤七，利用SVM方法结合车辆图像协方差特征进行车辆目标分类 将步骤六所述协方差矩阵CpCyCy…、Q映射为对应的欧式空间的向量，再利用
SVM算法进行车型识别。 步骤七所述的识别方法如下 (d)第i类车型有Ni个样本，样本序列为jc,i,c,.2,…，c,wj ，针对每个Cij， j = 1，2，...，
Ni，经过步骤六处理后，将步骤六所述协方差矩阵Q、 C2、 C3、、 C9映射为对应的欧式空间 的向量并依次排列，则对于每一个类车型中的每一个样得到一个324维的训练样本为XCij，
样本集为^q,J^2，…,JTCwj ， i = 1， . . . ， m ; (e)根据变换后的样本集{Xc,,,J^2,…，义c,w,}，计算出第i类样本的重心
义c,^7r2lS，最小包含第i类样本的超球体半径为i ^ max (f)根据(b)计算所述的超球体半径得到各类车型的分布体积Vi，根据体积由大 到小的顺序，对类别进行排序，当存在两个或两个以上的类别具有相同分布体积时，把类标 号小的类排在前面，最后得到所有类别的排列N' 2，...，N' m，此处N'工G(l，
2， ， m}; 利用标准的二值分类SVM算法构造二叉树内节点的最优超平面；在根节点处，从 样本集中选择第N'工类样本为正样本集，其他样本为负样本集，利用SVM训练算法构造最 优超平面，然后把属于第N' i类的样本从样本集中删除；在第2个节点处，从样本集中选择 第N' 2类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超平 面，然后把属于第N' 2类样本从样本集中删除；依次下去，最终得到基于二叉树的多类SVM 分类模型，得到判别函数，通过判别函数即可对车型进行识别。 本发明的优点目标检测算法利用图像目标的协方差特征作为目标分类的依据， 由于协方差特征融合了图像不同类型的特征(如空间位置、亮度、梯度信息等)，从而使得其有较强的鲁棒性，在不同的视角及光照条件下同一区域的协方差特征差异较小，且协方 差特征维数较低，计算代价较小。以一组四个摄像头来覆盖一条道路，从而达到一个处理系 统即可以处理整条道路双向车辆的车型识别。在实现目标检测算法时，基于FPGA的可重构 性和DSP的软件可编程能力，将FPGA和DSP的组合起来，充分发挥了二者强大的功能，从而 实现了视频的实时高效处理。
图l，本发明的一种硬件系统结构示意图。 图2 ，本发明的算法流程图。 图3，计算基于积分图计算图像协方差的坐标系示意图。 图4，原始图像投影变换前后 a为摄像机拍摄的原始图像，b为经投影变换后图像。 图5，车辆目标提取结果及最小覆盖图。
a车辆目标提取结果，b覆盖车辆的最小矩形框。 图6，图像中提取车辆目标的区域图。 图7，提取出来的目标，以及需要计算协方差特征的区域示意图。 a为提取出来的车辆目标，b-j中的阴影部分为分别需要计算的协方差特征。
具体实施例方式
下面结合附图对发明的技术方案进行详细说明 基于协方差和二叉树支持向量机的目标检测系统及方法，主要由目标检测算法、 四个CMOS摄像头的实时视频采集单元、FPGA和DSP组成的图像处理单元组成。
本装置的硬件系统结构如图l所示四个摄像头分别通过同轴电缆与四个 AD9888A/D转换模块的模拟输入端连接，AD9888 A/D转换模块的视频输出端与A/D接口控 制单元连接；FPGA的DSP接口与DSP的视频输入端连接，DSP分别通过EMIF、 DDR2、 JTAG、 EMAC、 VENC与NAND Flash、DDR2 SRAM、仿真器、以太网模块、电视信号输出接口连接。该硬 件系统主要由四个CMOS摄像头和对应的四个AD9888 A/D转换模块组成的实时视频采集单 元，基于FPGA的视频预处理单元和以DSP为核心的车型识别单元以及以太网通信接口等组 成。 基于协方差和二叉树支持向量机的目标检测系统及方法，其特征在于四个CMOS 摄像头分别通过同轴电缆与AD9888芯片A/D转换模块的模拟输入端连接，A/D转换模块的 视频输出端与A/D控制接口连接，AD9888芯片进行图像采集格式转换，对图像信号放大， 抗混叠滤波等功能，FPGA采用CycloneII系列的EP2C35F672C6，该芯片具有35个DSP处 理单元，18x18的乘法器，在图像处理过程中涉及到很多的乘法处理，具备专用乘法单元不 仅可以提高系统的性能，而且利用FPGA就可以对图像做一些简单的预处理如颜色空间转 换、直方图均衡化等，还可以提高系统的稳定性，最后，CycloneII系列芯片采用90nm工艺 并且功耗较低，符合对系统低功耗、体积小的要求。SDRAM存储器型号为A2V64S40CTP-G7， 作为外部存储器，用于存储缓冲图像数据。DSP选用TI公司2006年推出的TMS320匿6437 型DSP，该款DSP专门为高性能、低成本视频应用而开发，采用TI第3代超长指令集结构(VelociTI. 3)的TMS320C64+DSP内核，主频最高达600MHz，支持8个8位或4个16位并行 MAC运算，峰值处理能力高达4800MIPS，片上资源丰富，片上具有64通道增强型DMA控制器 EDMA3，其支持复杂的数据类型的传输，有利于图像数据的高效传输和格式变换。另外该款 DSP还拥有丰富的外部存储器接口 ( 一个专有的32位、200MHz、256M字节寻址空间的DDR2 存储器接口用于接口高速大容量的DDR2存储器，以存储代码和数据；一个8位、64M字节寻 址空间的异步存储器接口用于接口 8位Nor Flash或Nand Flash,以存储固化代码)以及 丰富的片上外设( 一个专用的单通道视频接口，既可以方便地与各种数字视频输入标准接 口 ，还具有常用的视频预处理功能；一个专用的单通道视频输出接口 ，既可以提供多种模拟 视频输出标准，还可以提供各种数字视频输出标准接口 ，并且在视频输出之前，还支持多个 视频窗口管理及在视频画面上叠加文本数据；一个I2C总线，可无缝接口视频解码器/编码 器和音频Codec的控制口 ，方便实现音/视频编解码器的控制；32位PCI总线，方便与PC机 接口，实现多板并行工作。10/100M以太网MAC，方便实现嵌入式视频网络化要求；16位HPI 接口，方便实现主/从结构的双处理器视频处理系统)，其中DDR2存储器采用2片16位的 MT47H32M16的DDR2存储器，NAND Flash采用ST公司的NAND256W3A2BZA61，以太网芯片采 用Micrel公司的KS8001。 DSP接受来自FPGA的视频完成车型识别算法并通过以太网接口 输出车型识别结果或通过视频输出接口输出模拟视频。 本发明的算法流程图如图2所示。通过在线收集训练样本后，将它们按照要求进 行分类后，将它们输入基于二叉树的SVM进行训练，根据训练的结果和需要达到的准确率 来对基于二叉树的SVM的参数进行调节当达到要求后，记录训练得到的参数。将确定了训 练参数的SVM写入DSP中，进行车型识别。首先四路视频输入，FPGA分别对每一路视频进 行中值滤波，投影变换，最后将四路视频拼接为一路视频输入到DSP中，DSP对视频进行背 景建模、车辆目标分割以及车辆提取从而得到覆盖车辆的最小矩形，在得到了覆盖车辆最
小矩形框的情况下计算得到车辆的协方差矩阵，然后根据式(14)进行正交变换，从而将车 辆的协方差矩阵转换为欧式空间的向量，将其输入基于二叉树的SVM计算得到车型识别结 果，将结果输出。 为了避免基于3D的车型识别的算法高计算复杂度，克服基于2D车型识别算法的 车型识别准确率低的问题，以及利用PC机处理数据时的摄像机与PC机之间通信成本较大， 且处理的实时性不强和网络化应用不便等问题。 本发明的目的在于提供一种基于协方差和二叉树的支持向量机的目标检测系统 及方法。该系统及方法利用FPGA和DSP的组合，结合基于图像协方差特征及二叉树SVM的 目标检测方法实现多路视频实时自动车型识别，这既加强了系统的实时性和车型识别的准 确率又便于网络化的应用。该系统由于利用了 FPGA和DSP的组合，不仅能满足多路视频图 像的实时获取及车型识别的要求，而且能够高速的输出图像和车型识别结果，从而便于网 络化的应用。识别算法是以获取的目标车辆协方差特征为基础，再结合基于二叉树的SVM 算法对车型进行自动识别，其中协方差特征有效的融合了图像不同类型的空间和统计特 征，并刻画了它们之间的相关性，它能有效的描述物体在不同视角和姿态下的不变特征，且 协方差特征对于光照变化、目标尺度变化有较强的鲁棒性。SVM是在统计学习的基础上发展 起来的一种新的模式识别方法，1995年，V即nik提出统计学习理论，较好地解决了线性不 可分问题，正式奠定了SVM的理论基础。SVM方法根据有限的样本信息在模型的复杂度(学习精度)和学习能力(无差错的识别任意样本的能力)之间寻求最佳折衷，以期获得最佳 的推广能力(对未来输出进行正确预测的能力)。由于经典SVM是一个二值分类器，而我们 日常生活中的车辆种类繁多，如按照车辆大小分类可分为超大型、大型、中型、中小型和微 型等；按照车辆外形分类可分为货车、客车、轿车、商务车、SUV等；按汽车标志分类可分为 奇瑞、奥迪、大众、宝马等。为了使SVM可以解决多类分类问题，主要的解决途径有两种一 种是通过构造多个SVM分类器并将它们组合起来实现多类分类；另一种是直接在一个优化 公式中同时考虑所有子分类器的参数优化，从而达到多类分类。虽然第二种解决多类分类 的思想简洁，但是在最优化问题求解过程中的变量远多于第一种，训练速度上不及第一种， 且在分类精度上也不占优。有关将SVM用于多类分类的研究见文献唐发明，王仲东，等.支 持向量机多类分类算法研究[J].控制与决策，2005，20(7) :746-749.基于以上考虑我们采 用基于协方差和二叉树SVM的目标检测方法进行车型识别。 为了方便描述本发明的内容，在此对本发明中使用到的一些方法做一些描述
1.中值滤波一种非线性平滑滤波，在一定条件下可以克服线性滤波如平均值滤 波(平滑滤波)等所带来的图像细节模糊问题，而且对过滤脉冲干扰及图像扫描噪声非常 有效。 本发明中，我们采用的3X3邻域模板中值滤波。具体执行步骤如下 1)将模板在图中漫游，并将模板中心点值与图中某个像素位置重合。 2)读取模板下各对应像素的灰度值。 3)将这些灰度值从小到大排成一列。 4)找出这些值里排在中间的一个。 5)将这个中间值赋给对应模板中心位置的像素。 中值滤波的详细原理可参见文献姚敏等编著，《数字图像处理》，机械工业出版 社，2006. 2.车辆协方差特征图像协方差特征首次在文献Oncel Tuzel ， Fatih Porikli， Peter Meer :Region Covariance :A Fast Descriptor for Detection and Classification. ECCV(2) 2006 :589-600.中提出，理论上来说，我们可以构造已知图像中 任意形状区域的协方差特征。为了便于计算，一般对矩形区域进行协方差特征的提取。对 一个矩形区域的协方差特征提取的具体步骤如下 假设I为三维彩色图像。令F为由I提取出来的WXHXd的特征图
F(x， y)=①(1， x， y) ， (1)
其中①可以为任意映射，例如颜色、图像梯度(Ix， Ixx，...)、边缘尺寸、边缘方 向、滤波表示等。对一个给定的矩形窗口 i ^F，令{&}1; = 1,..』为1 中的(1维特征向量，则 该区域的协方差矩阵为 C^+^(/广〃)(/广〃f， (2) 其中P为R中的所有fk的平均值，fk为R中所有的fk按照一定规则排列得到的
d维特征向量序列。针对不同的任务(跟踪目标的类型，目标识别、分类的类型等)可以定
义不同的fk，在本发明中我们定义fk为
9/t=[x y /(x,力/Jx，力；(x，力]，(3) 其中I为亮度；IX， Iy为亮度在x，y方向的导数。由于协方差矩阵构成的空间不是
向量空间，一般的判别距离法则无法判定不同的协方差矩阵之间的差距，所以我们引入了
黎曼流形(Riema皿Manifold)。假设X和Y为流形上的两个点，则他们分别代表了一个协 方差矩阵，则它们之间的距离为 c/(x,r) ,。g"y),k^d tr(log2(1—2)). 3.基于积分图的快速计算矩形区域的协方差特征法由于在识别算法中要对 提取得到的同一车辆目标，计算它的9个不同区域的协方差特征，见车型识别算法步 骤六。为了能快速的计算得出这9个协方差特征，我们利用文献0ncel Tuzel， Fatih Porikli， PeterMeer :Region Covariance :A Fast Descriptor for Detection and Classification. ECCV (2)2006 :589-600.中的基于积分图的快速计算协方差特征的算法 计算指定区域的协方差特征。 为了利用积分图的思想，利用张量来表示不同颜色空间中的图像，假设P为积分 图像WXHXd的张量，其中WXH为图像的分辨率，d为颜色的维数，若为RGB图像，则d为3。
P(y,/,0= Z /r=D
w，w
(5) 其中F(x， y， 1》为图像在坐标(x， y)下第^个颜色分量的值。令Q为二次积分 图WXHXdXd的张量，且Q(工',以"2):SFO,W)F(XJ,/2) /p/^U 令px,v为d维向量，Qx,v为dXd维的矩阵，且
(6). (7) 假设R(x' ，y' ;x〃，y〃 )图像中的任意矩形区域，其中(x' ，y')为矩形左上 角点的坐标，(x〃 ， y〃 )为矩形右下角的点坐标，见图3。由点(l，l)和(x' ， y')组成 的矩形区域的协方差特征，即协方差矩阵为
c
1
1 r
込'y -^"A',/A'y
(8)
其中S二X' *y'。类似的，有矩形区域R(x' ，y' ;x〃 ，y〃 )的协方差矩阵为
/V-1，/ 一 iVy-1)
(9)
10
i s = max
—{1,2,...,",}
Xs 一 Xs"
(13) 则基于超球体最小类包含二叉树生成法的多类别SVM分类算法流程如下
(a)根据式(13)计算各类样本数据的分布体积vs(s = 1，2， . . . ， K)。
(b)根据各类的分布体积由大到小的顺序，对类别进行排序。当存在两个或两个以 上的类别具有相同分布体积时(这种情况较少出现)，把类标号小的类排在前面，最后得到 所有类别的排列n' "n' 2，...，n' k，此处",,e {1，2，...,} ， ^ = 1， 2， . . . ， K为类标号。
(c)利用4中的标准二值分类SVM算法构造二叉树内节点的最优超平面。在根节 点处，从样本集中选择第n'工类样本为正样本集，其他样本为负样本集，利用SVM训练算法 构造最优超平面，然后把属于第n' i类的样本从样本集中删除。在第2个节点处，从样本 集中选择第n' 2类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第n' 2类样本从样本集中删除。 依次下去，最终得到基于二叉树的多类SVM分类模型，得到判别函数。
本发明的技术解决方案四个CMOS摄像头采集视频，四个摄像头基本可以满足一 条道路双向交通信息的获取；采集得到的视频经AD9888芯片的视频解码器处理后送入图 像处理单元中，图像处理单元执行基于协方差和二叉树的SVM目标检测算法，图像处理单 元由FPGA芯片和DSP芯片的嵌入式系统构成，送入图像处理单元的视频首先由FPGA对四 路视频图像进行采集和预处理(对每一路视频进行中值滤波、投影变换，然后将四路视频 拼接为一路)，并实现对视频编码器的初始化、可编程的产生DSP系统所需的时序和逻辑关 系、基本的1/0信号、控制R/W信号；DSP接受经FPGA预处理后的视频并对其进行背景建 模、车辆分割与提取、车辆协方差特征计算和车型识别；DSP将识别结果通过以太网通信接 口输出或将识别结果与视频叠加经视频输出接口输出。 所述的基于协方差和二叉树SVM的目标检测方法，包括如下执行步骤 所检测的车辆类型有m种，每种类型分别记为Q，C2，. . . ，Cm(Ci可以为小轿车、SUV、
面包车、商务车等) 步骤一，摄像头架设 为了使摄像头的视域较大，且视域范围内获得的车辆目标含有较多的判别信息 (车牌信息以及驾驶员信息)，将摄像机架设在直道上方大约10米的高度(如果仅从车型 识别的角度摄像机可以迎着路面上汽车的行驶的方向，也可以与汽车行驶方向相同)，摄像 机的倾角在60度到70度之间，这既保证了摄像机拍摄的车辆包含了较多的判别信息，又保 证了摄像机有较大的可视范围，且视域范围内能获得车辆的车牌及驾驶员的信息。
步骤二，视频预处理 由于室外环境下噪音较多，为了降低视频质量对车型识别准确率的影B向，我们对 获取的视频先进行预处理，从而增强车型识别的准确率。对得到的彩色视频的RGB三通道 分别进行3X3邻域模板中值滤波，将得到的结果再合成为彩色视频。
步骤三，视频投影变换 由于计算协方差矩阵时，为了能快速获得车辆目标的协方差特征，我们利用矩形 框来表示目标，而路面上的车辆是经过投影变换后出现在视频中的，所以车辆大多以梯形 的形式出现，为了使利用矩形框来计算车辆协方差特征时，矩形框中车辆目标在矩形框中 的比重尽量大，而背景在矩形框中的比重尽量小，即降低路面背景在基于协方差特征车型 识别算法中的对车型识别准确率的影响，我们对原始视频进行投影变换，从而降低背景在 车辆协方差特征提取时的影响。 利用拍摄视频中车辆行车线在实际中是平行的原则，将视频进行投影变换使得在 视频中相交在无穷远点的行车线平行，见图4，其中a为原始图象，b为经过投影变换后的 图。由a图变换到b图主要有两种方法一、通过寻找摄像机中的点与实际路面上点之间 的对应关系，求得自由度为8的投影变换矩阵从而可以得到投影变换后的图；二、通过平行 行车线在图像中相交于没影点，从而求得变换矩阵，得到投影变换后的图像。由于第一种 方法需要知道路面上点的坐标位置，增加了得到投影变换矩阵的复杂度，所以在本发明中 我们采用第二种方法确定投影变换矩阵。详细算法过程见文献Richard Hartley, Andrew Zisserman. Multiple View Geometry in Computer Vision(Second Edition). CambridgeUniversity Press, March 2004. 步骤四，车辆目标的分割与提取 为了能有效的将视频中的车辆分割提取出来，我们利用基于分块分类的智能视频 监控背景更新算法对视频进行背景建模及前景目标提取，从而分割得到视频中的车辆，见 图5(a)。视频背景建模及车辆分割目标提取方法见文献李庆武，蔡艳梅，徐立中.基于分 块分类的智能视频监控背景更新算法[J]，智能系统学报，2010。 为了便于车辆协方差特征的提取，我们对得到的车辆，利用最小覆盖的思想获得 覆盖车辆区域的最小矩形，在后面计算车辆协方差特征时，以此矩形作为车型识别需要计 算协方差特征的区域。具体执行步骤如下在得到图5(a)中的车辆目标后，通过寻找到车 辆连通域中行方向最左边点和最右点的坐标值，以及列方向最上边的点及最下边点的坐标 值，即得到包含车辆的最小矩形区域(sf(x，y)，x。，y。，w，h)，其中sf(x，y)为矩形内对应点 的像素值，(x。，y。)为矩形左上角点的像素坐标，w，h分别为矩形的像素宽和高，见图5(b)。
步骤五，车辆目标分类训练样本的提取 由于我们在进行车辆目标分类时，是利用基于二叉树的SVM算法进行识别的，而 基于SVM的算法需要通过训练样本学习得到算法中的参数，待确定了 SVM算法中的参数 后，才能进行识别。经过前面的步骤后我们可以得到车辆目标的最小覆盖后，根据需要识 别的车型种类选择训练样本图像，选择原则是在指定视频监控区域内完整出现的正常行驶 的车辆，见图6。假设需要分类的车型有m种，针对每一种车型i，选择&个训练样本，记为
—加
^ c c }，i = l，...，m，则一共选择了N个训练样本，W-i;y。 广a,h2，…,、w, J ， —1 步骤六，车辆目标分类特征的提取
(5)车辆目标的非协方差特征提取根据步骤四得到覆盖车辆目标每个训练样本的最小矩形区域(sf (x， y) ， x。， y。， w， h)，由w，h可以计算得到车辆的像素长度(h)、宽度(w)、面积(s = wXh)。
(6)车辆目标的局部协方差特征提取 当得到车辆目标的矩形区域(sf (x， y)x。， y。， w， h)后，我们将矩形分为8个子区 域，首先将矩形区域分为左右两个相等矩形区域，上下两个相等的矩形区域，然后再将矩形 分成四个相等面积的矩形区域，一共八个子矩形区域，分别计算各个矩阵块的协方差特征， 需要计算的区域见图7，其中(a)为经过步骤四获得的车辆的区域，(b)至(j)中阴影区域
为需要计算的车辆的协方差特征的区域，利用前面提到的基于积分图计算区域协方差特征 的方法在计算得到了图5(b)中车辆的协方差Q后，根据式(9)可以快速计算得到图8(b) 至(j)中阴影区域的协方差，分别记为C2、 C3、 C4、 C5、 C6、 C7、 C8、 Q、它们均为8X8的正定对 称协方差矩阵，在对车辆进行识别时，我们以同一车辆目标的这9个协方差矩阵&、 C2、 C3、 C4、 C5、 C6、 C7、 C8、 C9作为车型识别的特征。在实际测试过程中，我们发现矩形区域的分块并 不是越多越好，分的子区域越多会增加了 SVM训练的时间，而且由于提取的特征过于详细， 从而限制了 SVM的泛化能力；分的子区域过少，又会使得SVM不能区别较多的车型。将矩形 分成8个子区域，既能保证识别的车型的多样性，又能保证有较高的识别率。
步骤七，利用SVM方法结合车辆图像协方差特征进行车辆目标分类
由于SVM算法是对欧式空间中的变量进行分类的算法，而我们使用的协方差特征是以矩形的形式表示的，不是向量空间，它们构成了一个流形空间。为了能在车辆协方差 特征空间上建立SVM算法，我们需要引入一个映射将车辆的协方差特征映射为欧式空间中 的向量。直观的，我们可以将车辆的协方差矩阵按行或按列进行排列，即得到协方差特征对 应的欧式向量表示。但是这样的映射它破坏了协方差特征空间的结构信息，为了能够保留 住协方差矩阵空间的结构信息，我们引入了 Tuzel等在文献:0ncel Tuzel， FatihPorikli， Peter Meer. Pedestrian Detection via Classification on Riema皿ian Manifolds[J]. IEEETRANSACT扁S ON PATTERN A亂YSIS AND MACHINE INTELLIGENCE, 2008， 30③ 1713-1727中介绍的局部映射的观点，将给定的协方差矩阵映射为对应的欧式空间的向量。
假设y为流形上单位原点I处切空间上的向量，y为dXd的对称正定矩阵，原点I 即为dXd的单位矩阵，原点I处的切空间表示为T工。则y在T工上的标准正交坐标定义为vec,0)^[:^ V^y12 V5_y13…少2,2 V^y23…力乂] . (14) 若y G Tx，即y在X的切空间上，则y在Tx上的标准正交坐标为 veC;f (力=wC/ (;r jr}). (15) 在本发明中我们计算得到车辆协方差特征为8X8的对称正定矩阵，对于计算得 到的车辆协方差矩阵C，我们可以利用式(14)将其转化为对应欧式空间的向量，然后应用 于SVM算法中即可对车型进行识别。利用SVM算法进行车型识别时，首先需要收集训练样 本，通过对训练样本的训练，从而学习得到算法中需要确定的参数，待所有参数确定后，即 可进行车型识别。 通过利用步骤五中收集的m种车辆类别的训练样本经过式(14)的变换后输入SVM 中进行训练学习得到SVM中各个待确定参数后，再利用该算法进行车型识别。具体的执行 过程如下 (g)第i类车型有Nji = 1， ， m)个样本，令样本序列为^，c,.2，…,c^ ,针对每
个Cij， j = 1，2， ... ， Ni，经过步骤六处理后，我们可以得到对应的9个协方差矩阵为Ci/， Ci/， . . . ， Ci/，将得到的9个协方差矩阵分别利用式(9)转换为欧式空间的36维向量并依 次排列，则对于每一个类型中的每一个样本我们得到一个324维的训练样本，记为Xc『我
们将经过上述转换后的样本记为K^,Zc,2,…,Ji^卜i = 1 (h)根据变换后的样本{xc,,,;^,..";^^ (第i类车型，i = 1， ， m)， 计算出第i类样本的重心^c,-^f;jr^ ，最小包含第i类样本的超球体半径为
max {||Xc,.—取』}。 (i)根据(b)计算得到各类车型的分布体积Vi(i = 1，2，... ，m)，根据体积由大到 小的顺序，对类别进行排序，当存在两个或两个以上的类别具有相同分布体积时，把类标号 小的类排在前面，最后得到所有类别的排列N' 2，...，N' m，此处N' iG{l，2，...，
m}， i = 1，2，... ，m为类标号。 利用标准的二值分类SVM算法构造二叉树内节点的最优超平面。在根节点处，从 样本集中选择第N'工类样本为正样本集，其他样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N' i类的样本从样本集中删除。在第2个节点处，从样本集中选 择第N' 2类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超 平面，然后把属于第N' 2类样本从样本集中删除。依次下去，最终得到基于二叉树的多类 SVM分类模型，得到判别函数，通过判别函数即可对车型进行识别。
权利要求
一种基于协方差和二叉树支持向量机的目标检测系统，其特征在于包括视频数据采集单元、图像预处理单元和背景建模车辆分割及显示单元，其中图像预处理单元包括同步信号间隔检测模块、FIFO模块、AD接口控制单元、SDRAM控制器、帧存SDRAM、总开关、双口RAM、接口模块和视频数据处理单元，视频数据采集单元依次串接AD接口控制单元、FIFO模块、视频数据处理单元、SDRAM控制器、双口RAM、接口模块后接背景建模车辆分割及显示单元的输入端，同步信号间隔检测模块的输出端分别接视频数据采集单元、AD接口控制单元和接口模块的输入端，接口模块的输出端接AD接口控制单元的输入端，AD接口控制单元的输出端串接SDRAM控制器后接口模块的输入端。
2. 根据权利要求1所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在 于所述视频数据处理单元由视频滤波、投影变换模块串接视频拼接模块构成。
3. 根据权利要求1所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在 于所述视频数据采集单元由多路CMOS摄像头串接视频解码器构成的视频数据采集支路构 成。
4. 根据权利要求3所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在 于所述视频解码器采用型号为AD9888芯片的视频解码器。
5. 根据权利要求1所述的基于协方差和二叉树支持向量机的目标检测系统，其特征在 于所述背景建模车辆分割及显示单元由DSP芯片构成，所述DSP芯片由背景建模单元依次 串接车辆分割提取、协方差特征提取和车型识别计算单元构成。
6. —种基于协方差和二叉树支持向量机的目标检测方法，其特征在于包括如下步骤 步骤一，摄像头架设将摄像机头设在直行道路上方，摄像机轴线与所述直行道路方向的倾角在60度到70 度之间；步骤二，视频预处理对视频数据采集单元获取的多路彩色视频的RGB三通道分别进行3X3邻域模板中值 滤波，将得到的结果再合成为彩色视频； 步骤三，视频投影变换和拼接对步骤二所述的再合成的彩色视频进行投影变换后拼接为一路视频； 步骤四，车辆目标的分割与提取利用基于分块分类的智能视频监控背景更新算法对步骤三所述的拼接后的视频进行 背景建模及前景目标提取，从而分割得到视频中的车辆；通过寻找到车辆连通域中行方向 最左边点和最右点的坐标值，以及列方向最上边的点及最下边点的坐标值，即得到包含车 辆的最小矩形区域(sf (x， y) ， x。， y。， w， h)，其中sf (x， y)为矩形内对应点的像素值，x， y分 别表示行、列的像素坐标，(x。，y。)为矩形左上角点的像素坐标，w，h分别为矩形的像素宽和 高；步骤五，车辆目标分类训练样本的提取需要分类的车型有m种，针对每一种车型i，选择Ni个训练样本，记为{Cil， ci2，. . . ，&^1， . . . ， m，则一共选择了 N个训练样本，W-ZW ;步骤六，车辆目标分类特征的提取(1) 车辆目标的非协方差特征提取根据步骤四得到覆盖车辆目标每个训练样本的最小矩形区域(sf (x， y)， x。， y。， w， h)，由w，h可以计算得到车辆的像素长度(h)、宽度(w)、面积(s = wXh)。(2) 车辆目标的局部协方差特征提取将步骤四所述的车辆目标的矩形区域(sf(x，y)，x。，y。，w，h)分为8个子区域，首先将矩形区域分为左右两个相等矩形区域，上下两个相等的矩形区域，然后再将矩形分成四个相等面积的矩形区域，一共八个子矩形区域采用基于积分图计算区域协方差特征的方法计算得到步骤四所述的车辆目标的矩形区域(sf(x，y)，x。，y。，w，h)中车辆的协方差矩阵Q，然后其中(x' ，y')为矩形左上角点的坐标，(x〃 ，y〃 )为矩形右下角的点坐标，S二x' *y'，Q为二次积分图WXHXdXd的张量，P为积分图像WXHXd的张量，其中WXH为图像的分辨率，d为颜色的维数，T为转置；计算得到的子区域的协方差矩阵依次记为C2、C3、…、Q ;步骤七，利用SVM方法结合车辆图像协方差特征进行车辆目标分类将步骤六所述协方差矩阵CpCyCp…、Q映射为对应的欧式空间的向量，再利用SVM算法进行车型识别。
7.根据权利要求1所述的基于协方差和二叉树支持向量机的目标检测方法，其特征在于步骤七所述的识别方法如下(a) 第i类车型有Ni个样本，样本序列为{cn，ci2，…，e,w,h针对每个Cij(Cij代表第i类车型中第j个样本)，j = 1， 2，. . . ， Ni，经过步骤六处理后，将步骤六所述协方差矩阵Q、C2、 C3、…、C9映射为对应的欧式空间的向量并依次排列，则对于每一个类车型中的每一个样本得到一个324维的训练样本为XCij，样本集为{Xcn， Xci2， . . . ，Xcw,}，i = 1， . ， m ;(b) 根据变换后的样本集{Xcn， Xci2， ... ， Icw,}，计算出第i类样本的重心^^=备|]义％，最小包含第1类样本的超球体半径为兄=max Xc.l(C)根据(b)计算所述的超球体半径得到各类车型的分布体积Vi，根据体积由大到小的顺序，对类别进行排序，当存在两个或两个以上的类别具有相同分布体积时，把类标号小的类排在前面，最后得到所有类别的排列N' 2，...，N' m，此处N' i G {1，2，…，m};利用标准的二值分类SVM算法构造二叉树内节点的最优超平面；在根节点处，从样本集中选择第N'工类样本为正样本集，其他样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N'工类的样本从样本集中删除；在第2个节点处，从样本集中选择第N' 2类样本为正样本集，其他剩余的样本为负样本集，利用SVM训练算法构造最优超平面，然后把属于第N' 2类样本从样本集中删除；依次下去，最终得到基于二叉树的多类SVM分类模型，得到判别函数，通过判别函数即可对车型进行识别。分别计算各个子矩形区域的协方差矩阵
全文摘要
本发明公布了一种基于协方差和二叉树支持向量机的目标检测系统及方法，所述系统包括视频数据采集单元、图像预处理单元和背景建模车辆分割及显示单元。所述方法视频采集单元用于实时获取信息，并对模拟视频数字化及制式转换。图像处理单元包括现场可编程门阵列FPGA和通用信号处理器DSP两部分，FPGA作为协处理器；DSP作为主处理器，完成视频图像的背景建模、车辆目标分割与提取、车型识别算法的实现。利用FPGA和DSP的组合，结合基于图像协方差特征及支持向量机的车型识别算法可以实现多路视频实时车型识别。本发明可广泛用于智能交通管理领域，智能视频监控等多个领域。
文档编号H04N7/18GK101794515SQ201010134888
公开日2010年8月4日 申请日期2010年3月29日 优先权日2010年3月29日
发明者丁晓峰, 严锡君, 张家华, 徐立中, 樊棠怀, 石爱业 申请人:河海大学