专利名称：基于视频结构化描述的车辆视频特征提取系统及方法
技术领域：
本发明涉及视频处理技术领域，特别涉及视频特征提取技术领域，具体是指一种基于视频结构化描述的车辆视频特征提取系统及方法。
背景技术：
近些年来，汽车的大范围普及以及城市车辆的增加，给城市交通带来了巨大的压力。在给人们生活带来便利的同时，也导致道路拥堵、交通事故等问题愈发严重。各种车辆违章现象也屡见不鲜，因交通肇事造成的人员伤亡连年居高不下。
为了应对上述问题，对于重点道路和高速公路的交通流量进行统计，对超速、超载等交通违法行为以及路况信息进行监测、取证，成为交通管理的重要内容之一。建立面向车辆管理的自动监测系统可显著降低交通警察的劳动强度，并可增强突发事件的处理能力， 震慑少数有违章驾驶习惯的司机，有力保障交通安全。而车辆自动监测系统的关键技术在于从视频数据中对车辆特征进行提取。
现有技术中，王海燕在其发明专利申请“基于视频的车辆检测跟踪及系统”[CN200710163606. 7]中，提出了一种基于视频的车辆检测跟踪系统，依据车辆的二值投影模型参数，从视频中判别出车辆，并采用MAD算法实现车辆跟踪。林卫慈等在其发明专利申请“基于智能视频识别技术的车辆跟踪方法与系统” [CN200810037793. 9]中，提出一种基于视频识别技术的车辆跟踪系统，从视频的连续两帧图像中提取车辆模板进行匹配判别，当匹配成功时控制摄像机转动使车辆始终处于视频图像中心位置。高磊等在其发明专利“一种基于视频图像特征的车辆检测方法”[CN200710704558. 9]中，提出一种基于视频图像特征的车辆检测方法，利用一个全景数字摄像机进行多车道视频监控图像采集，通过基于视频图像特征的车辆检测算法对全景数字摄像机所获取的每一帧数字视频图像进行分析，定位车辆位置与出现时间。杨梦婕在其硕士论文“监控视频中的车辆检测与跟踪技术研究”[南京邮电大学.2012]中，采用背景差法框架下的CodeBook方法进行目标前景检测， 通过改进粒子重采样方法实现在现实环境中对大小可变单目标的车辆实时跟踪。刘汉艳在其硕士论文“监控视频中的车辆检测与跟踪技术研究”[南京邮电大学.2012]中，研究了白天和夜间两套跟踪与计数算法，并开发了基于视频的车辆检测与跟踪系统，根据视频帧平均亮度信息和系统时间信息进行算法切换。
现有技术中的上述系统和方法虽然对车辆检测与跟踪方法进行了探索与应用，但并未涉及功能完整的实用交通监管系统，也无法实现视频中的车辆属性与视频帧进行关联，因此在利用视频资料时，仍然需要耗费大量人力进行视频调阅和比对，限制了交通监管系统的扩展应用。发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种能够实现交通监控视频中车辆特征的高效分阶段提取，并建立车辆特征与视频源数据的时空关联，便于后续视频调阅与处理中的快速检索和定位，进而实现在道路管理中的机动车行为实时智能监管，且结构简单，实现方法简便，应用成本低廉的基于视频结构化描述的车辆视频特征提取系统及方法。
为了实现上述的目的，本发明的基于视频结构化描述的车辆视频特征提取系统具有如下构成
该系统包括视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、 车牌及车标分割器、车牌及车标识别器和视觉任务支撑服务器。
其中，视频流编码解析器用以从所连接的外部视频采集设备获得视频流，根据预设的视频格式将所述的视频流进行转码及添加时间戳，并输出含有所述的时间戳的经转码视频流；车辆底层特征提取器连接所述的视频流编码解析器的输出端，用以从所述的经转码视频流中获取车辆底层特征信息，并输出；车辆视频标准特征提取器连接所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息获取车辆视频标准特征信息， 并输出；车牌及车标分割器连接所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息分割获取车辆的车牌和车标图像，并输出；车牌及车标识别器连接所述的车牌及车标分割器的输出端，用以根据所述的车牌和车标图像识别获取车辆的车牌及车标信息，并输出；而视觉任务支撑服务器则分别连接所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器，用以协调及控制所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的运行；利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，实现输出信息的动态关联；并将所存储的信息进行装配，生成可供网络通信传输的报文。
该基于视频结构化描述的车辆视频特征提取系统中，所述的视频流编码解析器为提供视频点播功能支持的视频流编码解析器。
该基于视频结构化描述的车辆视频特征提取系统中，所述的车辆底层特征提取器包括视频流分析单元、摄像机景深标定及车速计算单元和路口拍照以及车辆ROI (region of interest,视频敏感区域)信息提取单元。其中，视频流分析单元连接所述的视频流编码解析器的输出端，用以进行背景建模和前景提取；摄像机景深标定及车速计算单元连接所述的视频流分析单元，用以基于背景和前景标定景深，实现车速计算；路口拍照以及车辆 ROI信息提取单元连接所述的摄像机景深标定及车速计算单元，用以控制路口摄像机拍照， 提取车辆ROI信息，并进行车流量统计。
该基于视频结构化描述的车辆视频特征提取系统中，所述的车辆底层特征信息包括车辆局部图片信息、车辆在图像帧中坐标位置信息、车辆类型信息、车身颜色信息、行驶方向信息和违章类型信息。
该基于视频结构化描述的车辆视频特征提取系统中，所述的车辆视频标准特征提取器为车辆MPEG-7特征提取器，所述的车辆视频标准特征信息为车辆MPEG-7特征信息。 所述的车辆MPEG-7特征信息包括颜色布局信息、颜色空间信息、颜色结构信息、主颜色信息、边缘直方图信息、可扩展颜色信息、纹理浏览信息、GoFGoP颜色信息和颜色量化信息。
该基于视频结构化描述的车辆视频特征提取系统中，所述的车牌及车标分割器包括车牌及车标定位单元和车牌及车标图像变换单元。车牌及车标定位单元连接于所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息确定车牌位置及车标位置，获取车牌及车标图像；车牌及车标图像变换单元连接于所述的车牌及车标定位单元，根据所述的车牌及车标图像进行仿射变换，获得矫正后的标准视图，并输出。
该基于视频结构化描述的车辆视频特征提取系统中，所述的车牌及车标识别器包括车牌识别单元和车标识别单元。其中，车牌识别单元连接所述的车牌及车标分割器的输出端，用以对车牌图像进行字符划分，识别划分后的字符，获得车辆车牌信息，并输出；车标识别单元连接所述的车牌及车标分割器的输出端，用以将车标图像与车标图像库中的数据进行匹配，获得车辆车标信息，并输出。
该基于视频结构化描述的车辆视频特征提取系统中，所述的视觉任务支撑服务器包括混构信息存储池、网络通信控制器、报文解析分发器、支撑逻辑控制器和混构数据装配器。其中，混构信息存储池分别连接所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器，用以利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息；网络通信控制器用以连接以太网，实现网络报文收发；报文解析分发器连接所述的网络通信控制器的输出端，用以解析从网络通信控制器获得的控制报文，经解析后，获得控制信息或查询信息；支撑逻辑控制器连接所述的报文解析分发器的输出端，用以根据所述的控制信息实现对于视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的协调及控制，并根据查询信息，输出数据装配指令；混构数据装配器分别连接所述的混构信息存储池和支撑逻辑控制器的输出端，并连接所述的网络通信控制器的输入端，用以根据所述的数据装配指令从所述的混构信息存储池获取相应的信息，并装配生成可供网络通信传输的报文经所述的网络通信控制器发送至以太网。
该基于视频结构化描述的车辆视频特征提取系统中，所述的网络通信控制器通过以太网连接外部的语义分析系统、流媒体服务器及多功能调试器。
本发明还提供一种利用所述的系统基于视频结构化描述实现车辆视频特征提取的方法，该方法包括以下步骤
( I)所述的视频流编码解析器从所连接的外部视频采集设备获得视频流，并根据预设的视频格式将所述的视频流进行转码及添加时间戳后，向所述的车辆底层特征提取器和视觉任务支撑服务器输出含有所述的时间戳的经转码视频流；
(2)所述的车辆底层特征提取器从所述的经转码视频流中获取车辆底层特征信息，并向所述的车辆视频标准特征提取器、车牌及车标分割器及视觉任务支撑服务器输出所述的车辆底层特征信息；
(3)所述的车辆视频标准特征提取器根据所述的车辆底层特征信息获取车辆视频标准特征信息，并向所述的视觉任务支撑服务器输出所述的车辆视频标准特征信息；
(4)所述的车牌及车标分割器根据所述的车辆底层特征信息分割获取车辆的车牌和车标图像，并向所述的车牌及车标识别器和所述的视觉任务支撑服务器输出所述的车牌和车标图像；
(5)所述的车牌及车标识别器根据所述的车牌和车标图像识别获取车辆的车牌及车标信息，并向所述的视觉任务支撑服务器输出所述的车牌及车标信息；
(6)所述的视觉任务支撑服务器利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，进行动态关联；并根据通过外部以太网获得的查询信息对所存储的信息进行装配，生成可供网络通信传输的报文后通过以太网输出。
该基于视频结构化描述实现车辆视频特征提取的方法中，所述的车辆底层特征提取器包括视频流分析单元、摄像机景深标定及车速计算单元和路口拍照以及车辆ROI信息提取单元，所述的步骤(2)具体包括以下步骤
(21)所述的视频流分析单元根据所述的经转码视频流进行背景建模和前景提取；
(22)所述的摄像机景深标定及车速计算单元基于背景和前景标定景深，进行车速计算;
(23)所述的路口拍照以及车辆ROI信息提取单元控制路口摄像机拍照，提取车辆 ROI信息，并进行车流量统计。
该基于视频结构化描述实现车辆视频特征提取的方法中，所述的车牌及车标分割器包括车牌及车标定位单元和车牌及车标图像变换单元，所述的步骤(4)包括以下步骤
(41)所述的车牌及车标定位单元根据所述的车辆底层特征信息确定车牌位置及车标位置，并获取车牌及车标图像；
(42)所述的车牌及车标图像变换单元根据所述的车牌及车标图像进行仿射变换， 获得矫正后的标准视图，并输出至所述的车牌及车标识别器和所述的视觉任务支撑服务器。
该基于视频结构化描述实现车辆视频特征提取的方法中，所述的车牌及车标识别器包括车牌识别单元和车标识别单元，所述的步骤(5)具体包括以下步骤
(51)所述的车牌识别单元对车牌图像进行字符划分，识别划分后的字符，获得车辆车牌信息，并输出至所述的视觉任务支撑服务器；
(52)所述的车标识别单元将车标图像与车标图像库中的数据进行匹配，获得车辆车标信息，并输出至所述的视觉任务支撑服务器。
该基于视频结构化描述实现车辆视频特征提取的方法中，所述的视觉任务支撑服务器包括混构信息存储池、网络通信控制器、报文解析分发器、支撑逻辑控制器和混构数据装配器，所述的步骤(6)具体包括以下步骤
(61)所述的混构信息存储池利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，并进行动态信息关联；
(62)所述的网络通信控制器通过以太网接收到网络报文；
(63)所述的报文解析分发器解析从网络通信控制器获得的控制报文后，获得控制信息或查询信息；
(64)所述的支撑逻辑控制器根据所述的控制信息实现对于视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的协调及控制，并根据查询信息，向所述的混构数据装配器输出数据装配指令；
(65)所述的混构数据装配器根据所述的数据装配指令从所述的混构信息存储池获取相应的信息，并装配生成可供网络通信传输的报文后，经所述的网络通信控制器发送至以太网。
采用了该发明的基于视频结构化描述的车辆视频特征提取系统，其包括视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器、车牌及车标识别器和视觉任务支撑服务器。利用该系统的车辆视频特征提取方法中，首先能够利用视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器实现交通监控视频中车辆特征的高效分阶段提取，进而视觉任务支撑服务器利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，基于时间戳实现信息的动态关联；并根据通过外部以太网获得的查询信息对所存储的信息进行装配，生成可供网络通信传输的报文后通过以太网输出，从而便于后续视频调阅与处理中的快速检索和定位，进而能够实现在道路管理中的机动车行为实时智能监管，且本发明的基于视频结构化描述的车辆视频特征提取系统及方法，其系统结构简单，方法实现过程简便， 实现成本低廉，应用范围较为广泛。
图I为本发明的基于视频结构化描述的车辆视频特征提取系统的结构示意图。
图2为本发明的基于视频结构化描述实现车辆视频特征提取的方法的步骤流程图。
图3为本发明的基于视频结构化描述的车辆视频特征提取系统中的视觉任务支撑服务器的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的技术页面，特举以下实施例详细说明。
请参阅图I所示，为本发明的基于视频结构化描述的车辆视频特征提取系统的结构示意图。
在一种实施方式中，该系统包括视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器、车牌及车标识别器和视觉任务支撑服务器。
其中，视频流编码解析器为支持视频点播功能的视频流编码解析器，用以从所连接的外部视频采集设备获得视频流，根据预设的视频格式将所述的视频流进行转码及添加时间戳，并输出含有所述的时间戳的经转码视频流；车辆底层特征提取器连接所述的视频流编码解析器的输出端，用以从所述的经转码视频流中获取车辆底层特征信息，并输出；车辆视频标准特征提取器连接所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息获取车辆视频标准特征信息，并输出；车牌及车标分割器连接所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息分割获取车辆的车牌和车标图像，并输出；车牌及车标识别器连接所述的车牌及车标分割器的输出端，用以根据所述的车牌和车标图像识别获取车辆的车牌及车标信息，并输出；而视觉任务支撑服务器则分别连接所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器，用以协调及控制所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的运行；利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，实现输出信息的动态关联；并将所存储的信息进行装配，生成可供网络通信传输的报文。
利用该实施方式所述的系统基于视频结构化描述实现车辆视频特征提取的方法， 如图2所示，包括以下步骤
( I)所述的视频流编码解析器从所连接的外部视频采集设备获得视频流，并根据预设的视频格式将所述的视频流进行转码及添加时间戳后，向所述的车辆底层特征提取器和视觉任务支撑服务器输出含有所述的时间戳的经转码视频流；
(2)所述的车辆底层特征提取器从所述的经转码视频流中获取车辆底层特征信息，并向所述的车辆视频标准特征提取器、车牌及车标分割器及视觉任务支撑服务器输出所述的车辆底层特征信息；
(3)所述的车辆视频标准特征提取器根据所述的车辆底层特征信息获取车辆视频标准特征信息，并向所述的视觉任务支撑服务器输出所述的车辆视频标准特征信息；
(4)所述的车牌及车标分割器根据所述的车辆底层特征信息分割获取车辆的车牌和车标图像，并向所述的车牌及车标识别器和所述的视觉任务支撑服务器输出所述的车牌和车标图像；
(5)所述的车牌及车标识别器根据所述的车牌和车标图像识别获取车辆的车牌及车标信息，并向所述的视觉任务支撑服务器输出所述的车牌及车标信息；
(6)所述的视觉任务支撑服务器利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，进行动态关联；并根据通过外部以太网获得的查询信息对所存储的信息进行装配，生成可供网络通信传输的报文后通过以太网输出。
在一种较优选的实施方式中，所述的车辆底层特征提取器包括视频流分析单元、 摄像机景深标定及车速计算单元和路口拍照以及车辆ROI信息提取单元。其中，视频流分析单元连接所述的视频流编码解析器的输出端，用以进行背景建模和前景提取；摄像机景深标定及车速计算单元连接所述的视频流分析单元，用以基于背景和前景标定景深，实现车速计算；路口拍照以及车辆ROI信息提取单元连接所述的摄像机景深标定及车速计算单元，用以控制路口摄像机拍照，提取车辆ROI信息，并进行车流量统计。
利用该较优选的实施方式，基于视频结构化描述实现车辆视频特征提取的方法中，所述的步骤(2)具体包括以下步骤
(21)所述的视频流分析单元根据所述的经转码视频流进行背景建模和前景提取；
(22)所述的摄像机景深标定及车速计算单元基于背景和前景标定景深，进行车速计算;
(23)所述的路口拍照以及车辆ROI信息提取单元控制路口摄像机拍照，提取车辆 ROI信息，并进行车流量统计。
在另一种较优选的实施方式中，所述的车辆底层特征信息包括车辆局部图片信息、车辆在图像帧中坐标位置信息、车辆类型信息、车身颜色信息、行驶方向信息和违章类型信息。所述的车辆视频标准特征提取器为车辆MPEG-7特征提取器，所述的车辆视频标准特征信息为车辆MPEG-7特征信息。所述的车辆MPEG-7特征信息包括颜色布局信息、颜色空间信息、颜色结构信息、主颜色信息、边缘直方图信息、可扩展颜色信息、纹理浏览信息、 GoFGoP颜色信息和颜色量化信息。
在又一种较优选的实施方式中，所述的车牌及车标分割器包括车牌及车标定位单元和车牌及车标图像变换单元。车牌及车标定位单元连接于所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息确定车牌位置及车标位置，获取车牌及车标图像；车牌及车标图像变换单元连接于所述的车牌及车标定位单元，根据所述的车牌及车标图像进行仿射变换，获得矫正后的标准视图，并输出。
利用该较优选的实施方式，基于视频结构化描述实现车辆视频特征提取的方法中，所述的步骤(4)包括以下步骤
(41)所述的车牌及车标定位单元根据所述的车辆底层特征信息确定车牌位置及车标位置，并获取车牌及车标图像；
(42)所述的车牌及车标图像变换单元根据所述的车牌及车标图像进行仿射变换， 获得矫正后的标准视图，并输出至所述的车牌及车标识别器和所述的视觉任务支撑服务器。
在一种进一步优选的实施方式中，所述的车牌及车标识别器包括车牌识别单元和车标识别单元。其中，车牌识别单元连接所述的车牌及车标分割器的输出端，用以对车牌图像进行字符划分，识别划分后的字符，获得车辆车牌信息，并输出；车标识别单元连接所述的车牌及车标分割器的输出端，用以将车标图像与车标图像库中的数据进行匹配，获得车辆车标信息，并输出。
利用该进一步优选的实施方式，基于视频结构化描述实现车辆视频特征提取的方法中，所述的步骤(5)具体包括以下步骤
(51)所述的车牌识别单元对车牌图像进行字符划分，识别划分后的字符，获得车辆车牌信息，并输出至所述的视觉任务支撑服务器；
(52)所述的车标识别单元将车标图像与车标图像库中的数据进行匹配，获得车辆车标信息，并输出至所述的视觉任务支撑服务器。
在更优选的实施方式中，所述的视觉任务支撑服务器如图3所示包括混构信息存储池、网络通信控制器、报文解析分发器、支撑逻辑控制器和混构数据装配器。其中，混构信息存储池分别连接所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器，用以利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息；网络通信控制器用以连接以太网，实现网络报文收发；报文解析分发器连接所述的网络通信控制器的输出端，用以解析从网络通信控制器获得的控制报文，经解析后，获得控制信息或查询信息；支撑逻辑控制器连接所述的报文解析分发器的输出端，用以根据所述的控制信息实现对于视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的协调及控制， 并根据查询信息，输出数据装配指令；混构数据装配器分别连接所述的混构信息存储池和支撑逻辑控制器的输出端，并连接所述的网络通信控制器的输入端，用以根据所述的数据装配指令从所述的混构信息存储池获取相应的信息，并装配生成可供网络通信传输的报文经所述的网络通信控制器发送至以太网。该网络通信控制器通过以太网连接外部的语义分析系统、流媒体服务器及多功能调试器。
利用该更优选的实施方式，基于视频结构化描述实现车辆视频特征提取的方法中，所述的步骤(6)具体包括以下步骤
(61)所述的混构信息存储池利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，并进行动态信息关联；
(62)所述的网络通信控制器通过以太网接收到网络报文；
(63)所述的报文解析分发器解析从网络通信控制器获得的控制报文后，获得控制信息或查询信息；
(64)所述的支撑逻辑控制器根据所述的控制信息实现对于视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的协调及控制，并根据查询信息，向所述的混构数据装配器输出数据装配指令；
(65)所述的混构数据装配器根据所述的数据装配指令从所述的混构信息存储池获取相应的信息，并装配生成可供网络通信传输的报文后，经所述的网络通信控制器发送至以太网。
在本发明的应用中，如图I所示，本发明的车辆视频特征提取系统包括视频流编码解析器102、车辆底层特征提取器103、车辆MPEG-7特征提取器104、车牌/车标分割器 105、车牌/车标识别器106和视觉任务支撑服务器107。外围设备和系统包括视频采集设备101、语义分析系统108和流媒体服务器109。这些系统协作完成视频数据中的车辆特征提取与视频点播支撑功能。
视频采集设备101安装在交通道路监控点，对道路交通实况进行拍摄，产生实时视频流数据，附加上视频采集设备所在的监控地点GPS位置、道路名称、监控车道编号，一起发送给本发明设计的车辆视频特征提取系统中的视频流编码解析器模块102。
视频流编码解析器模块102解析来自视频采集设备的视频流，按照规定视频格式将采集到的数据进行转码，并根据当前时刻添加时间戳。以时间戳作为视频帧的全局统一标识符，提供视频点播功能支持。
车辆底层特征提取器模块103主要负责获得室外视频中车辆活动情况、基本特征，提取车辆底层特征(车辆局部图片、车辆在图像帧中坐标位置、车辆类型、车身颜色、行驶方向、违章类型)。主要包括以下功能①视频流分析，背景建模和前景提取；②摄像机景深标定和车速计算；③路口拍照以及车辆ROI信息提取，车流量统计。车辆底层特征提取器的输出车辆底层特征并行分为三路，一路发送给视觉任务支撑服务器模块107中的混构数据存储池子模块302进行存储，一路发送给车辆MPEG-7特征提取器模块104进行MPEG-7 特征提取，另一路发送给车牌/车标分割器105。
车辆MPEG-7特征提取器模块104接收来自车辆底层特征提取器模块107输出的车辆底层特征信息，根据车辆ROI进行底层特征(MPEG-7)提取，并获得车辆MPEG-7特征(颜色布局、颜色空间、颜色结构、主颜色、边缘直方图、可扩展颜色、纹理浏览、GoFGoP颜色和颜色量化)。车辆MPEG-7特征输出给视觉任务支撑服务器模块107中的混构数据存储池子模块302进行存储。
车牌/车标分割器模块105接收来自车辆底层特征提取器模块107输出的车辆底层特征信息，负责根据车辆基础信息定位车牌R0I，根据车牌位置等信息获得车标位置，根据先验知识，将车牌和车标图像进行仿射变换，获得矫正后的标准视图。车牌/车标分割器模块105从车辆局部图片中分割出车牌和车标两张局部图片，并标注其在车辆图片中的坐标位置，车牌/车牌分割信息分为两路输出。一路输出给视觉任务支撑服务器模块107中的混构数据存储池子模块302进行存储，另一路发送给车牌/车标识别器模块106。
车牌/车标识别器模块106接收来自车牌/车标分割器模块105输出的车牌/车牌分割信息，负责从标准正视车牌中划分字符，并识别出每个字符，获得车牌信息；根据标准正视车标，从车标图像库中匹配获得车标的内容。车牌/车标识别器模块106输出车牌和车标信息(包括厂商标志、车牌文本、车牌颜色、车牌结构)以及识别过程信息(识别可靠度、车牌识别耗时、车标识别耗时)，发送给视觉任务支撑服务器模块107中的混构数据存储池子模块302进行存储。
视觉任务支撑服务器模块107负责将其他模块有机的结合在一起，并提供各模块的分步调试功能①与语义分析系统108实现网络通信，执行报文命令或配置；②根据命令要求对混构数据进行检索，生成查询结果并返回给语义分析系统108 ;③独立/联合测试各视觉任务模块；④手工辅助标记调试；⑤同步显示源图像与解析结果。视觉任务支撑服务器107，如图3所示，由支撑逻辑控制器301、混构数据存储池302、混构数据装配器303、报文解析分发器304、网络通信控制器305和多功能调试器306六个子模块构成。其中，支撑逻辑控制器301子模块实现整个视觉任务支撑服务器107的主进程，调度控制视觉任务支撑服务器107各功能模块的运行时序与功能匹配。支撑逻辑控制器301主要功能包括①执行配置命令；②控制(或调试)视频流编码解析器102、车辆底层特征提取器103、车辆MPEG-7 特征提取器104、车牌/车标分割器105和车牌/车标识别器106各功能模块的运行；③根据报文要求对混构数据存储池302中的混构数据进行查询，生成所需发送数据子集推入混构数据存储池302的发送缓冲区；④向混构数据装配器303发送应答报文数据(错误消息和执行回馈信息);⑤通知混构数据装配器303进行数据发送。混构数据存储池子模块302负责以视频帧的时间戳为全局统一标识符来存储源视频流经过视频流编码解析器102、车辆底层特征提取器103、车辆MPEG-7特征提取器104、车牌/车标分割器105及车牌/车标识别器106处理后产生的输出，包括带时间戳的规范格式的压缩视频、车辆底层特征、车辆 MPEG-7特征、车牌车标分割信息及车牌车标识别结果。混构数据装配器子模块303负责按照通信协议对来自混构数据存储池302和支撑逻辑控制器301的混构数据进行装配，生成可供网络通信控制器305发送的报文体。报文解析分发器子模块304按自定义通信协议对网络通信控制器接收的报文进行解析，生成报文序列，发送给支撑逻辑控制器处理。网络通信控制器子模块305负责接收来自外围系统(语义分析系统108、流媒体服务器109)或多功能调试器模块306的TCP请求命令，并传送给报文解析分发器304去解析处理，然后将来自混构数据装配器303的响应结果回送给外围系统或多功能调试器模块306。
采用了该发明的基于视频结构化描述的车辆视频特征提取系统，其包括视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器、车牌及车标识别器和视觉任务支撑服务器。利用该系统的车辆视频特征提取方法中，首先能够利用视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器实现交通监控视频中车辆特征的高效分阶段提取，进而视觉任务支撑服务器利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，基于时间戳实现信息的动态关联；并根据通过外部以太网获得的查询信息对所存储的信息进行装配，生成可供网络通信传输的报文后通过以太网输出，从而便于后续视频调阅与处理中的快速检索和定位，进而能够实现在道路管理中的机动车行为实时智能监管，且本发明的基于视频结构化描述的车辆视频特征提取系统及方法，其系统结构简单，方法实现过程简便， 实现成本低廉，应用范围较为广泛。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
权利要求
1.一种基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的系统包括视频流编码解析器，用以从所连接的外部视频采集设备获得视频流，根据预设的视频格式将所述的视频流进行转码及添加时间戳，并输出含有所述的时间戳的经转码视频流； 车辆底层特征提取器，连接所述的视频流编码解析器的输出端，用以从所述的经转码视频流中获取车辆底层特征信息，并输出； 车辆视频标准特征提取器，连接所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息获取车辆视频标准特征信息，并输出； 车牌及车标分割器，连接所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息分割获取车辆的车牌和车标图像，并输出； 车牌及车标识别器，连接所述的车牌及车标分割器的输出端，用以根据所述的车牌和车标图像识别获取车辆的车牌及车标信息，并输出；以及 视觉任务支撑服务器，分别连接所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器，用以协调及控制所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的运行；利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，实现输出信息的动态关联；并将所存储的信息进行装配，生成可供网络通信传输的报文。
2.根据权利要求I所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的视频流编码解析器为提供视频点播功能支持的视频流编码解析器。
3.根据权利要求I所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的车辆底层特征提取器包括 视频流分析单元，连接所述的视频流编码解析器的输出端，用以进行背景建模和前景提取； 摄像机景深标定及车速计算单元，连接所述的视频流分析单元，用以基于背景和前景标定景深，实现车速计算； 路口拍照以及车辆ROI信息提取单元，连接所述的摄像机景深标定及车速计算单元，用以控制路口摄像机拍照，提取车辆ROI信息，并进行车流量统计。
4.根据权利要求3所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的车辆底层特征信息包括车辆局部图片信息、车辆在图像帧中坐标位置信息、车辆类型信息、车身颜色信息、行驶方向信息和违章类型信息。
5.根据权利要求I所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的车辆视频标准特征提取器为车辆MPEG-7特征提取器，所述的车辆视频标准特征信息为车辆MPEG-7特征信息。
6.根据权利要求I所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的车辆MPEG-7特征信息包括颜色布局信息、颜色空间信息、颜色结构信息、主颜色信息、边缘直方图信息、可扩展颜色信息、纹理浏览信息、GoFGoP颜色信息和颜色量化信肩、O
7.根据权利要求I所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的车牌及车标分割器包括 车牌及车标定位单元，连接于所述的车辆底层特征提取器的输出端，用以根据所述的车辆底层特征信息确定车牌位置及车标位置，获取车牌及车标图像； 车牌及车标图像变换单元，连接于所述的车牌及车标定位单元，根据所述的车牌及车标图像进行仿射变换，获得矫正后的标准视图，并输出。
8.根据权利要求I所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的车牌及车标识别器包括 车牌识别单元，连接所述的车牌及车标分割器的输出端，用以对车牌图像进行字符划分，识别划分后的字符，获得车辆车牌信息，并输出； 车标识别单元，连接所述的车牌及车标分割器的输出端，用以将车标图像与车标图像库中的数据进行匹配，获得车辆车标信息，并输出。
9.根据权利要求I所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的视觉任务支撑服务器包括 混构信息存储池，分别连接所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器，用以利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息； 网络通信控制器，用以连接以太网，实现网络报文收发； 报文解析分发器，连接所述的网络通信控制器的输出端，用以解析从网络通信控制器获得的控制报文，经解析后，获得控制信息或查询信息； 支撑逻辑控制器，连接所述的报文解析分发器的输出端，用以根据所述的控制信息实现对于视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的协调及控制，并根据查询信息，输出数据装配指令； 混构数据装配器，分别连接所述的混构信息存储池和支撑逻辑控制器的输出端，并连接所述的网络通信控制器的输入端，用以根据所述的数据装配指令从所述的混构信息存储池获取相应的信息，并装配生成可供网络通信传输的报文经所述的网络通信控制器发送至以太网。
10.根据权利要求9所述的基于视频结构化描述的车辆视频特征提取系统，其特征在于，所述的网络通信控制器通过以太网连接外部的语义分析系统、流媒体服务器及多功能调试器。
11.一种利用权利要求I所述的系统基于视频结构化描述实现车辆视频特征提取的方法，其特征在于，所述的方法包括以下步骤 (1)所述的视频流编码解析器从所连接的外部视频采集设备获得视频流，并根据预设的视频格式将所述的视频流进行转码及添加时间戳后，向所述的车辆底层特征提取器和视觉任务支撑服务器输出含有所述的时间戳的经转码视频流； (2)所述的车辆底层特征提取器从所述的经转码视频流中获取车辆底层特征信息，并向所述的车辆视频标准特征提取器、车牌及车标分割器及视觉任务支撑服务器输出所述的车辆底层特征信息；(3)所述的车辆视频标准特征提取器根据所述的车辆底层特征信息获取车辆视频标准特征信息，并向所述的视觉任务支撑服务器输出所述的车辆视频标准特征信息； (4)所述的车牌及车标分割器根据所述的车辆底层特征信息分割获取车辆的车牌和车标图像，并向所述的车牌及车标识别器和所述的视觉任务支撑服务器输出所述的车牌和车标图像； (5)所述的车牌及车标识别器根据所述的车牌和车标图像识别获取车辆的车牌及车标信息，并向所述的视觉任务支撑服务器输出所述的车牌及车标信息； (6)所述的视觉任务支撑服务器利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，进行动态关联；并根据通过外部以太网获得的查询信息对所存储的信息进行装配，生成可供网络通信传输的报文后通过以太网输出。
12.根据权利要求11所述的基于视频结构化描述实现车辆视频特征提取的方法，其特征在于，所述的车辆底层特征提取器包括视频流分析单元、摄像机景深标定及车速计算单元和路口拍照以及车辆ROI信息提取单元，所述的步骤(2)具体包括以下步骤 (21)所述的视频流分析单元根据所述的经转码视频流进行背景建模和前景提取； (22)所述的摄像机景深标定及车速计算单元基于背景和前景标定景深，进行车速计算； (23)所述的路口拍照以及车辆ROI信息提取单元控制路口摄像机拍照，提取车辆ROI信息，并进行车流量统计。
13.根据权利要求11所述的基于视频结构化描述实现车辆视频特征提取的方法，其特征在于，所述的车牌及车标分割器包括车牌及车标定位单元和车牌及车标图像变换单元，所述的步骤(4)包括以下步骤 (41)所述的车牌及车标定位单元根据所述的车辆底层特征信息确定车牌位置及车标位置，并获取车牌及车标图像； (42)所述的车牌及车标图像变换单元根据所述的车牌及车标图像进行仿射变换，获得矫正后的标准视图，并输出至所述的车牌及车标识别器和所述的视觉任务支撑服务器。
14.根据权利要求11所述的基于视频结构化描述实现车辆视频特征提取的方法，其特征在于，所述的车牌及车标识别器包括车牌识别单元和车标识别单元，所述的步骤(5)具体包括以下步骤 (51)所述的车牌识别单元对车牌图像进行字符划分，识别划分后的字符，获得车辆车牌信息，并输出至所述的视觉任务支撑服务器； (52)所述的车标识别单元将车标图像与车标图像库中的数据进行匹配，获得车辆车标信息，并输出至所述的视觉任务支撑服务器。
15.根据权利要求11所述的基于视频结构化描述实现车辆视频特征提取的方法，其特征在于，所述的视觉任务支撑服务器包括混构信息存储池、网络通信控制器、报文解析分发器、支撑逻辑控制器和混构数据装配器，所述的步骤(6)具体包括以下步骤 (61)所述的混构信息存储池利用所述的时间戳作为统一标识存储所述的视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器输出的信息，并进行动态信息关联；(62)所述的网络通信控制器通过以太网接收到网络报文； (63)所述的报文解析分发器解析从网络通信控制器获得的控制报文后，获得控制信息或查询信息； (64)所述的支撑逻辑控制器根据所述的控制信息实现对于视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器的协调及控制，并根据查询信息，向所述的混构数据装配器输出数据装配指令； (65)所述的混构数据装配器根据所述的数据装配指令从所述的混构信息存储池获取相应的信息，并装配生成可供网络通信传输的报文后，经所述的网络通信控制器发送至以太网。
全文摘要
本发明涉及一种基于视频结构化描述的车辆视频特征提取系统及方法，属于视频处理技术领域。该系统包括视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器、车牌及车标识别器和视觉任务支撑服务器。该方法中，首先能够利用视频流编码解析器、车辆底层特征提取器、车辆视频标准特征提取器、车牌及车标分割器和车牌及车标识别器实现交通监控视频中车辆特征的提取，进而视觉任务支撑服务器利用时间戳作为统一标识存储其它各模块输出的信息，实现信息的动态关联；并对所存储的信息进行装配，生成报文后输出，从而便于后续视频调阅与处理中的快速检索和定位，进而能够实现在道路管理中的机动车行为实时智能监管。
文档编号H04N21/643GK102982311SQ20121035655
公开日2013年3月20日 申请日期2012年9月21日 优先权日2012年9月21日
发明者胡传平, 梅林 , 王建, 王文斐, 齐力, 刘云淮, 吴轶轩, 颜志国, 蔡烜, 刘伟豪, 尚岩峰, 程涛, 徐磊, 孙明霞 申请人:公安部第三研究所