一种视频结构化人车检测算法的制作方法

本发明创造属于交通管理技术领域，尤其是涉及一种视频结构化人车检测算法。

背景技术：

近年来，随着我国城市化进程的迅速推进，平安城市、智慧城市加速建设，庞大的视频监控数据大大增加了安防运维成本，在传统的视频监控中，若要精确获得某个区域的相关信息，则需从数千小时的高清视频中查找，查找速度慢，检索效率低；因此对区域信息进行视频结构化将极大提升视频查找速度，同时解决视频传输中的带宽压力问题，降低视频存储容量。

技术实现要素：

有鉴于此，本发明创造旨在提出一种视频结构化人车检测算法，以解决在视频监控中查找某个区域的相关信息时，查找速度慢，检索效率低，以及解决视频传输中的带宽压力问题，降低视频存储容量的问题。

为达到上述目的，本发明创造的技术方案是这样实现的：

一种视频结构化人车检测算法，包括以下步骤：

s1、通过相机获取视频帧；

s2、将获取的视频帧进行目标检测跟踪算法；

s3、通过目标检测跟踪算法得到目标区域，将检测得到的目标区域送入数据读取模型中；

s4、通过数据读取算法读取数据读取模型中的目标区域，得到相应的数据；

s5、相机将得到的数据传送至控制台对外输出。

所述步骤s1中的目标检测跟踪算法包括以下步骤：利用相机获取视频本算法对视频进行检测，将检测的目标形成连续的轨迹，本算法内设有一个跟踪器，跟踪器会将前后视频帧的所有目标进行匹配，以使每个目标拥有唯一的id号，目标间的匹配是利用dsst、kcf等算法，同时结合前后目标的iou信息确认是否为同一目标，同一目标则维持前一帧id号不变，不同目标则创建新id号；整个视频流经过目标检测及跟踪步骤后形成连续的轨迹。

所述步骤s3中数据读取模型包括：车牌识别模型、车型识别模型、行人结构化分析模型。

所述步骤s4中数据读取算法包括：车牌识别算法、车型识别算法、行人结构化分析算法。

所述车牌识别算法实现对车牌颜色、类型、号码的获取，实现过程如下：

将步骤s3中检出的车辆目标区域送入车牌定位模型，实现对车牌的定位、类型的划分，再将定位出的车牌区域送入车牌分割模型，对车牌中的字符进行分割，最终将输出车牌的内容、置信度和车牌颜色。

车型识别算法实现对车辆品牌、类型、颜色的获取，实现过程如下：

实现对车型的定位、类型的划分，再将定位出的车型区域送入车型分割模型，对车型中的车辆品牌、类型、颜色进行分割，最终将输出车辆品牌、车辆类型、车牌的颜色。

行人结构化分析算法实现对行人结构化信息的获取；

所述行人结构化信息包括：人的年龄、附属物品、上身款式、下身款式。

相对于现有技术，本发明创造所述的一种视频结构化人车检测算法具有以下优势：

本发明所述的视频结构化人车检测算法将有效地提取视频大数据中对客户真正有价值的信息，这是视频结构化体现的价值；视频结构化从视频大数据中提出所需的所有目标信息，并将这些信息以图片的方式进行存储，便于管理和查找；通过对视频中目标运动的行为进行分析来判断是否为异常事件，如违法停车、违法变道等。通过对目标属性的提取，若有案件发生，民警只需根据嫌疑犯特征即可从图片库中找到与之相符的目标，节约了人力时间资源，提升了办案效率。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的一种视频结构化人车检测算法流程图；

图2为本发明创造实施例所述的行人结构化信息流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

一种视频结构化人车检测算法，包括以下步骤：

s1、通过相机获取视频帧；

s2、将获取的视频帧进行目标检测跟踪算法；

s3、通过目标检测跟踪算法得到目标区域，将检测得到的目标区域送入数据读取模型中；

s4、通过数据读取算法读取数据读取模型中的目标区域，得到相应的数据；

s5、相机将得到的数据传送至控制台对外输出。

所述步骤s1中的目标检测跟踪算法包括以下步骤：利用相机获取视频本算法对视频进行检测，将检测的目标形成连续的轨迹，本算法内设有一个跟踪器，跟踪器会将前后视频帧的所有目标进行匹配，以使每个目标拥有唯一的id号，目标间的匹配是利用dsst、kcf等算法，同时结合前后目标的iou信息确认是否为同一目标，同一目标则维持前一帧id号不变，不同目标则创建新id号；整个视频流经过目标检测及跟踪步骤后形成连续的轨迹。

所述步骤s3中数据读取模型包括：车牌识别模型、车型识别模型、行人结构化分析模型。

所述步骤s4中数据读取算法包括：车牌识别算法、车型识别算法、行人结构化分析算法。

所述车牌识别算法实现对车牌颜色、类型、号码的获取，实现过程如下：

将步骤s3中检出的车辆目标区域送入车牌定位模型，实现对车牌的定位、类型的划分，再将定位出的车牌区域送入车牌分割模型，对车牌中的字符进行分割，最终将输出车牌的内容、置信度和车牌颜色。

车型识别算法实现对车辆品牌、类型、颜色的获取，实现过程如下：

实现对车型的定位、类型的划分，再将定位出的车型区域送入车型分割模型，对车型中的车辆品牌、类型、颜色进行分割，最终将输出车辆品牌、车辆类型、车牌的颜色。

行人结构化分析算法实现对行人结构化信息的获取；

所述行人结构化信息包括：人的年龄、附属物品、上身款式、下身款式。

具体的介绍如下：

一、目标检测跟踪算法

本算法将对交通场景中的汽车、公交车、卡车、行人、二轮车、三轮车等目标实现检测及跟踪，为获取目标的实时信息打下基础。其中目标检测部分以yolo检测算法为基础，由于算法最终将部署在前端相机，相机算力有限，在处理本算法时还要兼顾视频流等其他运算，因此需要对模型进行优化，模型最终以darknet-53为主干网络，在保证检测精度的前提下通过删减其通道数、减少网络层数来增加其检测速度，以适应城市道路及高速路中不同车速车辆的检测；为保证模型效果，模型训练所需数据是由各个交通现场采集得来，并对其增强(颜色增强、图像裁剪等)以应对多场景需求；跟踪部分将对检出的目标形成连续的轨迹，算法内部将维护一个跟踪器，跟踪器会将前后视频帧的所有目标进行匹配，以使每个目标拥有唯一的id号，目标间的匹配是利用dsst、kcf等算法，同时结合前后目标的iou信息确认是否为同一目标，同一目标则维持前一帧id号不变，不同目标则创建新id号；整个视频流经过目标检测及跟踪步骤后形成连续的轨迹。

二、车牌识别算法

本算法由车牌定位算法和车牌分割算法组成，其中车牌定位算法以yolo、centernet等为基础实现对车牌位置的确定，由于车牌目标较小，图像所含信息也相对较少，因此模型以darknet-19为主干网络，并加以删减来适应前端部署，首先yolo部分实现对车牌的粗定位，找到车牌所在大致范围并确定车牌类型(蓝牌、黄牌、黄绿牌等)，其次使用centernet进一步对粗定位的结果进行车牌的角点检测，得到车牌的四个角点，最后对检测到角点进行整体车牌的旋转，将车牌旋正；车牌分割算法将对车牌字符进行分割识别，同样应用yolo模型对车牌进行分割，将车牌各个字符位置检出，再将检出的字符送入分类网络精确得到字符信息；整个流程为：通过将目标检测模型中检出的车辆目标区域送入车牌定位模型，实现对车牌的定位、类型的划分，再将定位出的车牌区域送入车牌分割模型，对车牌中的字符进行分割，最终将输出车牌的内容、置信度和车牌颜色。

三、车型识别算法

将目标检测模型中检出的车辆目标区域送入现有车型识别模型，实现对车辆品牌、车型和车身颜色的识别。其中车辆品牌将输出：车辆主品牌-车辆子品牌-年款，车型将输出：轿车、面包车、皮卡、越野车/suv、商务车/mpv、轻型客车、中型客车、大型客车、公交车、校车、微型货车、轻型货车、中型货车、大型货车、重型货车、集装箱车、三轮车等17种车型，车身颜色将输出：黑、蓝、棕、绿、灰、橙、粉、紫、红、银、白、黄等12种颜色。

四、行人结构化分析算法

将目标检测跟踪算法中目标检测模型检出的行人区域送入现有行人结构化分析模型，实现对行人的结构化分析。

其中：

年龄：分4段，15岁以下，15-30岁，30-50岁，50岁以上。其中，30-50岁大概率为默认值；

附属物品：拎物品、双肩包、手提包、单肩包或斜挎包、婴儿车、行李箱；

上身款式：条纹、纯色、花纹、格子；

下身款式：长裤、裙子、短裤。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。