基于深度学习算法的特定车辆检索方法与流程

文档序号:13804806阅读:1114来源:国知局

本发明涉及一种车辆检索方法,具体的说,涉及了一种基于深度学习算法的特定车辆检索方法。



背景技术:

随着我国经济的快速发展,各种类型的车辆越来越多,交通事故的发生也越来越频繁。因此,对特定车辆的监控可以降低交通事故的发生率并能对肇事车辆进行跟踪。

目前对车辆的检索一般是依赖于支持向量机(svm)对车牌的检索。此方法会在数据库中检索所识别的车牌号码。该方法依赖于高分辨率的摄像头和摄像头的特定角度,对其它角度和低分辨率的视频是无法检索的。所以本发明将要实现一种与拍摄角度和分辨率无关的车辆检索技术。

为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。



技术实现要素:

本发明的目的是针对现有技术的不足,从而提供了一种基于深度学习算法的特定车辆检索方法,适用于各种角度和分辨率的视频的车辆检索。

为了实现上述目的,本发明所采用的技术方案是:一种基于深度学习算法的特定车辆检索方法,包括用户交互系统和数据处理系统,所述特定车辆检索方法的具体步骤如下:

s1,所述用户交互系统获取目标图片、待检索视频及检索参数并发送给所述数据处理系统;

s2,所述数据处理系统对目标图片和待检索视频进行预处理;

s3,所述数据处理系统利用深度神经网络算法和颜色直方图算法,根据目标图片对待检索视频进行检索处理,并返回检索处理结果给所述用户交互系统;

s4,所述用户交互系统将所述检索处理结果进行可视化操作。

基于上述,s1中所述用户交互系统和所述数据处理系统的结构为b/s结构、c/s结构或单机结构,所述检索参数包括目标车辆的车型、类别,以及各个关键帧的时间间隔。

基于上述,s2中对目标图片和待检索视频进行预处理的步骤包括:

s21,对目标图片进行图像增强处理和缩放处理;

s21,将待检索视频转化成序列化的图片;

s22,根据所述检索参数从序列化的图片中提取出多个关键帧;

s23,对多个关键帧进行图像增强处理和缩放处理。

基于上述,s3的具体步骤为:

s31,利用深度神经网络对多个关键帧进行检索获得车辆标定框,并获得所述车辆标定框中候选车辆与各个车型类别的神经网络置信度评分α;

s32,利用目标图片的颜色直方图与多个关键帧的颜色直方图进行匹配获得颜色评分β;

s33,对每一个关键帧的α评分和β评分进行求加权平均值γ,

其中,x和y为预设超参数权值x和预设超参数权值y;

s34,对加权平均值γ由高到低进行排序,获得目标图片依据可信度排序的检索结果。

基于上述,s31中的所述车辆标定框为深度神经网络通过识别关键帧获得的候选目标框,所述车辆标定框内包含由深度神经网络提取出的候选车辆。

基于上述,步骤s31中所述神经网络置信度评分α的获取方法如下:

s311,将每个关键帧转换成rgb数值矩阵;

s312,依据rgb数值矩阵对训练好的深度神经网络进行前向传播,获得所述车辆标定框,并计算所述车辆标定框中的候选车辆与各个车型类别的置信度评分;

s313,选取置信度评分最高的类别与所述检索参数进行比对,若匹配,则进行比对,若匹配,则令置信度评分为神经网络置信度评分α。

基于上述,步骤s32中所述颜色评分β的获取方法如下:

s321,依据所述车辆标定框对每个关键帧进行剪裁获得图片i;

s322,分别生成图片i和目标图片的颜色直方图;

s323,采用correlation相关系数进行颜色直方图匹配,获得颜色评分β。

基于上述,s34中对加权平均值γ由高到低进行排序的方法如下:

s341,将加权平均值γ与相对应的关键帧组成key-valuepair(键值对);

s342,将组成的key-valuepair数据放入红黑树进行排序;

s343,将红黑树按降序输出,获得有序结果序列。

基于上述,s4中可视化方法具体如下:

s41,从所述数据处理系统中获取所述有序结果序列;

s42,提取所述有序结果序列中排名前n的结果所对应的关键帧;

s43,显示该n个关键帧的监控视频。

本发明相对现有技术具有突出的实质性特点和显著的进步,具体的说,本发明包括二个部分:数据处理系统和用户交互系统;前者通过将从用户交互系统中获得的待检测视频和目标图片进行预处理,再创新性地使用深度神经网络和处理数据来获取特定车辆在视频中出现的单个或多个关键帧,从而达到处理数据的目的;后者通过桌面应用和网页等形式从用户处获得监控视频和目标车辆的图片,然后传送至数据处理系统进行处理,待数据处理完毕后,数据处理系统再将特定车辆的位置传送给用户交互系统,用户交互系统再将处理结果以多种数据可视化方式进行呈现采用深度学习算法和颜色直方图匹配算法,解决了多个角度和低分辨率下视频的检索问题,而且根据用户选择的时间间隔可以达到实时检索的效果,若用户选择了一秒提取一个关键帧,则处理速度可缩短到视频时长的10%。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面通过具体实施方式,对本发明的技术方案做进一步的详细描述。

如图1所示,一种基于深度学习算法的特定车辆检索方法,包括用户交互系统和数据处理系统,所述用户交互系统和所述数据处理系统的架构为b/s结构、c/s结构或单机结构,所述特定车辆检索方法的具体步骤如下:

s1,所述用户交互系统获取目标图片、待检索视频及检索参数并发送给所述数据处理系统,所述检索参数包括目标车辆的车型、类别,以及各个关键帧的时间间隔;

s2,所述数据处理系统对目标图片和待检索视频进行预处理;

s3,所述数据处理系统利用深度神经网络算法和颜色直方图算法,根据目标图片对待检索视频进行检索处理,并返回检索处理结果给所述用户交互系统;

s4,所述用户交互系统将所述检索处理结果进行可视化操作。

基于上述,s1中所述用户交互系统获取目标图片、待检索视频及检索参数的手段与所述用户交互系统和所述数据处理系统的架构有关;

当所述用户交互系统和所述数据处理系统为b/s架构(browser/server,浏览器/服务器)时,所述用户交互系统和所述数据处理系统都运行在服务器上。用户可以通过在终端上访问网页来生成任务并获取目标图片、待检索视频及检索参数;

当所述用户交互系统和所述数据处理系统为c/s架构(client/server,客户端/服务器)时,所述用户交互系统运行在客户端上,所述数据处理系统运行在服务器上。用户在所述用户交互系统上生成任务后,借由网络将任务传递给服务器,同样通过网络从服务器获取处理结果,并通过所述用户交互系统在客户机上进行处理结果的数据可视化。

当所述用户交互系统和所述数据处理系统为单机架构时,所述用户交互系统和所述数据处理系统都运行在单个计算机上,用户需要直接使用该计算机来生成任务和获取结果。

具体的,s2中对目标图片和待检索视频进行预处理的步骤包括:

s21,对目标图片进行图像增强处理和缩放处理;

s21,将待检索视频转化成序列化的图片;

s22,根据所述检索参数从序列化的图片中提取出多个关键帧;

s23,对多个关键帧进行图像增强处理和缩放处理。

具体的,s3的具体步骤为:

s31,利用深度神经网络对多个关键帧进行检索获得车辆标定框,并获得所述车辆标定框中候选车辆与各个车型类别的神经网络置信度评分α;

其中,所述车辆标定框为深度神经网络通过识别关键帧获得的候选目标框,所述车辆标定框内包含由深度神经网络提取出的候选车辆;

所述神经网络置信度评分α的获取方法如下:

s311,将每个关键帧转换成rgb数值矩阵;

s312,依据rgb数值矩阵对训练好的深度神经网络进行前向传播,获得所述车辆标定框,并计算所述车辆标定框中的候选车辆与各个车型类别的置信度评分;

s313,选取置信度评分最高的类别与所述检索参数进行比对,若匹配,则进行比对,若匹配,则令置信度评分为神经网络置信度评分α;

s32,利用目标图片的颜色直方图与多个关键帧的颜色直方图进行匹配获得颜色评分β;

所述颜色评分β的获取方法如下:

s321,依据所述车辆标定框对每个关键帧进行剪裁获得图片i;

s322,分别生成图片i和目标图片的颜色直方图;

s323,采用correlation相关系数进行颜色直方图匹配,获得颜色评分β;

s33,对每一个关键帧的α评分和β评分进行求加权平均值γ,

其中,x和y为预设超参数权值x和预设超参数权值y;x推荐范围为1~0.5,y推荐范围为3~1.5,因为基于颜色直方图匹配的准确度很高而深度神经网络的准确度较低一些,所以权值y高于权值x;

s34,对加权平均值γ由高到低进行排序,获得目标图片依据可信度排序的检索结果;

对加权平均值γ由高到低进行排序的方法如下:

s341,将加权平均值γ与相对应的关键帧组成key-valuepair(键值对);

s342,将组成的key-valuepair数据放入红黑树进行排序;

s343,将红黑树按降序输出,获得有序结果序列。

具体的,s4中可视化方法具体如下:

s41,从所述数据处理系统中获取所述有序结果序列;

s42,提取所述有序结果序列中排名前n的结果所对应的关键帧;优选的,n为10;

s43,显示该n个关键帧的监控视频。

在本实施例中,如图1所示,所述用户交互系统和所述数据处理系统为b/s架构(browser/server,浏览器/服务器),n为10;所述特定车辆检索方法步骤为:

(a)网页前端通过网页表单提交的形式向服务器后端提交所述检测参数、所述目标图片和所述待检测视频;

(b)由服务器后端将时间作为种子生成唯一的uuid发送给所述数据处理系统,所述uuid为该次检索任务的任务标识;

(c)所述数据处理系统利用深度神经网络算法和颜色直方图算法,根据目标图片对待检索视频进行检索处理,将检索处理结果存放在携带有uuid的文本文件中,并将该文本文件返回给服务器后端;

(d)服务器后段通过ajax的方式向网页前端返回所述uuid,当所述用户交互系统中的网页前端向服务器后端发送带有uuid的请求时,服务器后端直接读取带有uuid的文本文档通过ajax的方式向网页前端返回检索结果;

(e)网页前端选取排名前10的有序结果,并根据这10个有序结果所对应的关键帧生成预览图片;

(f)用户点击预览图片,待检测视频会跳转到关键帧位置播放。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1