一种交通场景下视频元数据的校正方法
【专利摘要】本申请公开了一种交通场景下视频元数据的校正方法，将单个摄像头识别出的视频元数据与其周边邻域内的摄像头中的视频元数据进行比较，检测出可疑的视频元数据集合；然后根据视频元数据的时间参数和空间参数获得每辆车在整个摄像头网络中的运动轨迹，如果该车辆的轨迹中的两点在摄像头网络中不直接相连，则认为这两点之间出现了车牌识别错误；在这两点之间可能的路径中，根据图像相似度查询相应的可疑的视频元数据集合，并为其推荐正确值。本申请方案具有如下优点：易于实现，处理效率高，可以达到在无需人力干预的情况下校正大部分元数据错误，保证元数据质量。
【专利说明】一种交通场景下视频元数据的校正方法
[0001] 技术邻域
[0002] 本申请涉及图论与图像识别邻域，具体涉及基于视频元数据的时空关系与图像相 似度，自动检测可疑的视频元数据并进行校正的方法，尤其涉及一种交通场景下视频元数 据的校正方法。
【背景技术】
[0003] 几乎遍布城市所有道路的交通摄像头所拍摄的监控视频使得智能交通成为可能。 通过分析这些海量视频数据，我们可以追踪嫌犯车辆的逃离轨迹，自动检测交通拥塞情况 和交通违规情况。而视频元数据作为原始视频数据的一层抽象，被广泛地用于支撑多种上 层应用，如语义检索以及事件识别。交通场景下的视频元数据主要包括车辆的各种属性信 息，如车牌号，地点，时间，车型，车身颜色等信息。
[0004] 传统的视频元数据提取方法基于单个监控摄像头获取的监控视频数据。以提取车 牌元数据算法为例，首先检测车牌位置，然后使用光学字符识别（OCR)技术识别车牌图像 上的车牌号。
[0005] 传统的视频元数据提取方法依赖于计算机视觉算法。这些计算机视觉算法在现实 中复杂的交通场景下不能达到足够高的准确率。以车牌识别算法为例，虽然很多生产商声 明车牌识别的准确率达到98%，但是在实际的应用场景中，即使使用最好的设备，在最好的 光照条件下准确率也只有90%至94%。即使准确率达到90%，每天有成千上万辆车经过某 个摄像头，也会发生上百个识别错误。如果该车牌号正是来自犯罪嫌疑人的车，那后果将不 堪设想。
【发明内容】
[0006] 本申请提供了一种交通场景下视频元数据的校正方法，可以有效提升视频元数据 的识别准确率。
[0007] 本申请实施例提供的一种交通场景下视频元数据的校正方法，包括：
[0008] A、获取表示交通监控摄像头之间的连接关系的图结构，所述图结构中，节点为交 通监控摄像头，节点之间的边表示节点之间有路相连，边的权重为一辆车从一个交通监控 摄像头到另一个交通监控摄像头的最短时间；
[0009] B、从各个交通监控摄像头获得的监控视频文件中提取用于标识车辆的主要视频 元数据及其对应的时间参数和空间参数；
[0010] C、检测每个交通监控摄像头获取的主要视频元数据的空间参数，若一个交通监控 摄像头中的某个主要视频元数据在所述图结构中该交通监控摄像头的相邻交通监控摄像 头中均未出现，将所述主要视频元数据作为可疑视频元数据集合中的元素；按照上述方式 遍历图结构中的每一个摄像头，获得可疑视频元数据集合；
[0011] D、遍历目标车辆的轨迹，检测轨迹中是否出现断点，若是，获取生成断点处的两点 之间所有可能路径；
[0012] E、根据可疑视频元数据集合中元素的时间参数和空间参数确定位于可能路径上 的备选元素集合SP;
[0013] F、计算备选元素集合SP中的元素与目标车辆的主要视频元数据的图像相似度， 将图像相似度最高的元素校正为目标车辆的主要视频元数据。
[0014] 较佳地，所述主要视频元数据为车牌号，时间参数为进入交通监控摄像头的时间， 空间参数为交通监控摄像头的标识。
[0015] 较佳地，步骤B进一步包括：从各个交通监控摄像头获得的监控视频文件中提取 用于标识车辆的次要视频元数据；
[0016] 步骤F之后进一步包括：基于校正后的主要视频元数据校正次要视频元数据。
[0017] 较佳地，所述次要视频元数据包括：车型和/或车身颜色。
[0018] 较佳地，步骤C包括：
[0019] C1、根据交通监控摄像头标识查询得到每个交通监控摄像头下的车牌号集合； 设交通监控摄像头集合为c = {C(l，Cl，…cN}，第i个交通监控摄像头下的车牌号集合为 Cpplates;
[0020] C2、求出交通监控摄像头Cik邻域内的交通监控摄像头集合Ne( Ci，k)。其中某点k 邻域指的是距该点最短跳数为k的节点；
[0021] C3、对于交通监控摄像头Ci下检测出的车牌号集合中的目标车牌号Pu，判断目标 车牌号Pi，」是否出现在交通监控摄像头 Ci的k邻域内交通监控摄像头的车牌集合Ne (Ci，k) 中；如果不出现，则认为该车牌号Pi，」为可疑的车牌号，将Pi，」存储在交通监控摄像头 Ci对 应的可疑车牌集合Si中。
[0022] 较佳地，步骤E包括：
[0023] E1、遍历S. c到D. c之间只经过1个交通监控摄像头的路径，然后遍历经过2个交 通监控摄像头的路径，直到经过N个交通监控摄像头的路径，将遍历的路径中满足路径的 最短时间minT小于D. time-S. time的路径作为备选路径；其中，路径的最短时间minT表示 为：
【权利要求】
1. 一种交通场景下视频元数据的校正方法，其特征在于，包括： A、 获取表示交通监控摄像头之间的连接关系的图结构，所述图结构中，节点为交通监 控摄像头，节点之间的边表示节点之间有路相连，边的权重为一辆车从一个交通监控摄像 头到另一个交通监控摄像头的最短时间； B、 从各个交通监控摄像头获得的监控视频文件中提取用于标识车辆的主要视频元数 据及其对应的时间参数和空间参数； C、 检测每个交通监控摄像头获取的主要视频元数据的空间参数，若一个交通监控摄像 头中的某个主要视频元数据在所述图结构中该交通监控摄像头的相邻交通监控摄像头中 均未出现，将所述主要视频元数据作为可疑视频元数据集合中的元素；按照上述方式遍历 图结构中的每一个摄像头，获得可疑视频元数据集合； D、 遍历目标车辆的轨迹，检测轨迹中是否出现断点，若是，获取生成断点处的两点之间 所有可能路径； E、 根据可疑视频元数据集合中元素的时间参数和空间参数确定位于可能路径上的备 选元素集合SP ; F、 计算备选元素集合SP中的元素与目标车辆的主要视频元数据的图像相似度，将图 像相似度最高的元素校正为目标车辆的主要视频元数据。
2. 根据权利要求1所述的方法，其特征在于，所述主要视频元数据为车牌号，时间参数 为进入交通监控摄像头的时间，空间参数为交通监控摄像头的标识。
3. 根据权利要求2所述的方法，其特征在于，步骤B进一步包括：从各个交通监控摄像 头获得的监控视频文件中提取用于标识车辆的次要视频元数据； 步骤F之后进一步包括：基于校正后的主要视频元数据校正次要视频元数据。
4. 根据权利要求3所述的方法，其特征在于，所述次要视频元数据包括：车型和/或车 身颜色。
5. 根据权利要求2所述的方法，其特征在于，步骤C包括： C1、根据交通监控摄像头标识查询得到每个交通监控摄像头下的车牌号集合；设交通 监控摄像头集合为C = Ictl, C1，…cN}，第i个交通监控摄像头下的车牌号集合为Ci. plates ; C2、求出交通监控摄像头Cik邻域内的交通监控摄像头集合Ne (Ci，k)。其中某点k邻域 指的是距该点最短跳数为k的节点； C3、对于交通监控摄像头Ci下检测出的车牌号集合中的目标车牌号Pi^判断目标车牌 号Pu是否出现在交通监控摄像头Ci的1^邻域内交通监控摄像头的车牌集合Ne(Ci，k)中； 如果不出现，则认为该车牌号Pu为可疑的车牌号，将Pu存储在交通监控摄像头C i对应的 可疑车牌集合Si中。
6. 根据权利要求2所述的方法，其特征在于，步骤E包括： El、遍历S. c到D. c之间只经过1个交通监控摄像头的路径，然后遍历经过2个交通监 控摄像头的路径，直到经过N个交通监控摄像头的路径，将遍历的路径中满足路径的最短 时间minT小于D. time-S. time的路径作为备选路径；其中，路径的最短时间minT表示为：
式中，w为路径path中的道路的最短时间；其中，不直接相连的两个断点为S，D，这两 点对应的交通监控摄像头为s. c，D. C ;D. time为目标车辆进入交通监控摄像头D. C的时刻， S. time为目标车辆进入交通监控摄像头S. c的时刻； E2、对备选路径集合的每条路径，求出目标车辆进入该路径中各个交通监控摄像头的 可能时间段； E3、对于给定路径p和其上的第i个交通监控摄像头Pi，查询可疑视频元数据集合中元 时间参数位于目标车辆进入交通监控摄像头可能时间段内、且空间参数为交通监控摄 像头Pi的元素；遍历备选路径集合的每条路径的各个交通监控摄像头，将查询到的元素组 成备选车牌号集合SP。
7. 根据权利要求2所述的方法，其特征在于，步骤F中对于每一属于备选车牌号集合 SP的车牌号，根据以下公式计算该车牌是目标车辆车牌的概率： Sim(sp，PN) = a ^ImgSim(sp. pimg, PN. pimg) + β ^ImgSim(sp. vimg, PN. vimg) 式中，α+β =1，分别代表车牌图像相似度和车身图像相似度的权重；ImgSim是用来 求图像相似度的函数;pimg代表车牌图像，vimg代表车身图像。
8. 根据权利要求7所述的方法，其特征在于，使用颜色和边缘方向性描述符CEDD特征 来描述车身图像。
9. 根据权利要求7所述的方法，其特征在于，采用如下方式构建用于描述车牌图像的 特征：将车牌图像分割成多个字符的图像，每个字符图像计算边缘直方图特征，将多个字符 的边缘直方图特征拼接成一个向量作为整个车牌的特征，通过计算向量的余弦夹角来计算 相似度。
10. 根据权利要求7所述的方法，其特征在于，步骤F所述将图像相似度最高的元素校 正为目标车辆的主要视频元数据包括： 保存概率大于阈值Threshold的可疑车牌集合，设为Xi ; 设为Xi中的一个可疑车 牌记录；遍历路径path上所有点的可疑车牌集合Xi的笛卡尔积集合，该集合中的每条元素 为<义\斤，巧'，./?〔>，表示该可疑车牌序列为同一个车牌；如果该可疑车牌序列是 时间上可行，则认为这些可疑车牌号的真实值是PN的概率为他们与PN的图像相似度，对 每一个可疑车牌 <输出< <，AV , .sxwr >三元组；其中score为上式求出的图像相似度；反 之，如果不可行，则该可疑车牌序列不可能为同一车牌PN。
【文档编号】G06K9/46GK104392232SQ201410638356
【公开日】2015年3月4日 申请日期:2014年11月7日 优先权日:2014年11月7日
【发明者】马华东, 赵晓萌, 张海涛, 唐毅, 付广平 申请人:北京邮电大学