一种基于视频深度学习技术的公路路产路权车载识别系统的制作方法

1.本发明涉及公路路产路权识别技术领域，具体领域为一种基于视频深度 学习技术的公路路产路权车载识别系统。


背景技术：

2.当前对于高速公路基建设备的巡检，主要采用外场工作人员驾驶巡检车 辆，以一定的平均速度在高速公路的最外侧车道巡检，巡检过程中，车内的 工作人员采用双眼注视所处区域对高速公路的基建设施进行目测。检测的对 象包含养护车辆所在路面状态，路面标线质量，路面两侧护栏，道路侧方以 及高出情报板；巡检过程中需要工作人员眼观六路耳听八方，在进行长距离 的巡检过程中，人员双眼会产生疲惫，并且在行进的过程中难免会出现观察 疏漏的现象，不同的巡检人员均根据自己的目测判断经验对高速公路上的各 种设施进行巡视和判断，也有可能出现标准不统一的现象，从而导致在同一 个路面上不同的巡检人员报告不同的巡检结果，或者在巡检车辆提升行驶速 度时，观察人员会出现漏看漏检的现象。


技术实现要素：

3.本发明的目的在于提供一种基于视频深度学习技术的公路路产路权车载 识别系统，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：一种基于视频深度学习技 术的公路路产路权车载识别系统，包括车载摄像机、车载分析设备和车载显 示器；
5.所述车载摄像机为4台，设置于巡检车辆的车顶中后部，分别采集巡检 车辆前、后、左、右四个方向的视频图像；
6.所述车载分析设备和车载显示器均设置于巡检车辆内部，车载分析设备 获取巡检车辆的实时移动速度，根据巡检车辆实时移动速度，控制车载摄像 机按照设定的速度与相拍摄帧率规则进行拍摄，并进行图像结构化识别，车 载显示器用于实现车载分析设备与巡检人员之间的人机交互。
7.进一步地，所述车载分析设备包括输入接口模块、信息储存模块、信息 处理模块和输出接口模块，所述信息处理模块分别与输入接口模块、信息储 存模块、输出接口模块和对外输出模块数据连接，所述输入接口模块与车载 摄像机数据连接，所述输出接口模块与车载显示器数据相连。
8.进一步地，所述车载分析设备采用基于深度学习的机器视觉技术，通过 对图片进行素材采集，素材标定，算法训练，算法模型开发，模型优化以及 封装，实现本地信息分析终端对车载摄像机拍摄的图像进行检测。
9.进一步地，所述巡检车辆的驶速度在40～80km/h的范围内，所述车载分 析设备控制架设在车顶中后部的4台车载摄像机以每张/3-8米的拍摄频率。
10.进一步地，前部的所述车载摄像机用于采集和识别路侧标识标牌、路面 不特定抛
撒物以及路侧边坡变形；左、右侧的所述车载摄像机用于采集路侧 护板和边坡变形；后部的所述车载摄像机用于采集移动巡检车后方3*3m的范 围的路面视频图像，识别路面病害。
11.进一步地，还包括云管理平台，所述云管理平台包括数据交换机、储存 服务器和应用服务器，所述数据交换机分别与储存服务器和应用服务器数据 相连，所述车载分析设备还包括对外输出模块，所述对外输出模块与信息处 理模块数据连接，所述对外输出模块与数据交换机之间通过无线网络相连。
12.进一步地，所述车载分析设备通过gps卫星定位获取巡检车辆的实时移 动速度。
13.与现有技术相比，本发明的有益效果是：是在高速公路巡检车辆外部安 装一套硬件设备，该套硬件设备主要由车载摄像机，车载分析设备和车载显 示器构成，车载摄像机用于捕捉，采集车辆行驶区域内的视频图像，采集到 的视频图像通过数据线或网线传输至车载分析设备，车载分析设备根据车辆 当前的行驶速度和在固件中设置的拍摄频率，实现在40km/h到80km/h车速 的情况下，车辆每运动3米拍摄拍摄一张图片，并且对图片内容进行基于人 工智能深度学习的图像结构化检测，对图像中的路面，护栏，情报板不同的 重点区域进行识别，并将识别到的结果通过无线网络上传到云端管理中心， 因为本技术采用机器视觉的深度学习技术算法实现，对于车载分析设备分析 出的结果，巡检人员可以通过车载显示器也可以了解到本次巡检任务的工作 效果。
14.1)、由图像识别系统辅助巡检，降低人工目测巡检因疲惫产生遗漏的几 率。
15.2)、通过人工智能技术采用图像结构化算法巡检，统一巡检作业标准， 规避人为因素导致的影响效果。
16.3)、检测频率与车辆行驶速度关联，确保不同车速下检测的质量保持一 致。
17.4)、检测目标覆盖全面，降低人为检测遗漏的现象。
18.5)、降本增效节省人力，原先一趟巡检需要多人，使用本发明可以减少 人员投入。
附图说明
19.图1为本发明的系统结构示意图；
20.图2为本发明中车载摄像机与巡查车辆结构示意图；
21.图3为本发明实施例一的检测流程图；
22.图4为本发明中车载分析设备的工作流程图；
23.图5为本发明中路面遗撒物的检测流程图；
24.图6为本发明中高速公路道路设施的检测流程；
25.图7为本发明中前端相机的水平拍摄范围示意图；
26.图8为本发明中前端相机的垂直拍摄范围示意图；
27.图9为本发明中右端相机的水平拍摄范围示意图；
28.图10为本发明中右端相机的垂直拍摄范围示意图；
29.图11为本发明中左端相机的水平拍摄范围示意图；
30.图12为本发明中左端相机的垂直拍摄范围示意图；
31.图13为本发明中实施例二的检测流程图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.请参阅图1-13，本发明提供一种技术方案：一种基于视频深度学习技术 的公路路产路权车载识别系统，包括车载摄像机、车载分析设备和车载显示 器；车载摄像机为4台，设置于巡检车辆的车顶中后部，分别采集巡检车辆 前、后、左、右四个方向的视频图像；车载分析设备和车载显示器均设置于 巡检车辆内部，车载分析设备获取巡检车辆的实时移动速度，根据巡检车辆 实时移动速度，控制车载摄像机按照设定的速度与相拍摄帧率规则进行拍摄， 并进行图像结构化识别，车载显示器用于实现车载分析设备与巡检人员之间 的人机交互。车载分析设备包括输入接口模块、信息储存模块、信息处理模 块和输出接口模块，信息处理模块分别与输入接口模块、信息储存模块、输 出接口模块和对外输出模块数据连接，输入接口模块与车载摄像机数据连接， 输出接口模块与车载显示器数据相连。车载分析设备采用基于深度学习的机 器视觉技术，通过对图片进行素材采集，素材标定，算法训练，算法模型开 发，模型优化以及封装，实现本地信息分析终端对车载摄像机拍摄的图像进 行检测，素材采集，是深度学习训练的前提，人工智能深度学习的方法，是 通过对大量的图片素材进行重复学习和训练，最终达到“认识”的目的，所 以在本方案中人工智算法也需要大量的图片素材作为机器训练的支撑，是人 工智能识别的前提。所以，需要先根据需求，拍摄到符合未来检测要求的图 片。根据巡检的要求，确定摄像机的参数，参数主要包含景深和视场角(fov)， fov又分为水平视场角和垂直视场角。其中景深参数影响到相机拍摄到图像清 晰成像的远近距离，水平视场角影响到相机拍摄横向的范围，垂直视场角影 响到相机拍摄纵向的范围。假定基于以下采集需求和路面车道情况，本系统 搭载的车载摄像机应当符合以下条件。素材标定，是指将采集到的素材的图 像内容，进行分门别类的标记，使机器“认识”图像的前提。在本方案中， 对图片中的拍摄到的图像中的内容进行标记。标记的对象包含：交通参与者， 各种型号，款式的车辆，如小型客车，货车，摩托车等。交通参与者，行人。 交通道路设施设备，如情报板，道路标线，门架，配电箱，雷达，摄像机等 设备。其他物品，如巡检养护所用的锥桶等通过专用人工智能训练软件对 60000000张图片进行手工图像标定(前端摄像头拍摄20000000张，左侧右侧 各20000000张，每个车速每个相机1000000张，3个相机3000000张，共计 20个车速，合计60000000张图片)采用代表不同含义的，不同颜色或者形状 的框体将交通参与者，交通道路设施和其他物品等。例如交通参与者的车辆 类型用绿色框体标记，交通参与者的行人用红色框体标记，道路设施以蓝色 框体标记，其他物品用黑色框体标记。其中，交通参与者不仅标定自身轮廓， 同时也标定自身与影子的轮廓；交通道路设施同样标定自身轮廓与自身与影 子在一起的轮廓。算法训练，是通过对素材进行标定后，确定检测对象以及 可忽略对象，例如在当前的素材中，蓝色框体的图像，为道路设施，就是本 系统要识别并且进行检测的重点对象绿色框体的图像，为车辆交通参与者， 就是本系统可以忽略的图像粗略来讲，在训练过程中，对于固有的交通标识， 通过人工智能算法对完善的交通标识外观特征预计记录后，发现不符合完善 的交通标识外观特征的标识，即是发现了损坏的交通标识特征，同样的，对 于路面信息，在捕
捉路面信息时，当检测到交通参与者，则忽略为正常，但 是如果检测到的物体特征不符合交通参与者的特征，则进行报告。生成可识 别高速公路路面以及两侧交通设施的规则，称为模型。算法模型通常需要进 行不断的优化。例如，当检测到路面有一种不符合交通参与者的特征的物体， 也不属于其他物品的特征，会进行报告，而报告后在现场检测时发现属于遗 撒物或丢弃的垃圾，则在算法中可以增加此类待识别的特征。同时，如果错 误的将一类物品识别为另外一类物品，则算法模型也需要补充素材增加训练， 例如下图所展示的遗撒物或丢弃的垃圾。移动巡检车的驶速度在40～80km/h 的范围内，车载分析设备控制架设在车顶中后部的4台车载摄像机以每张/3-8 米的拍摄频率。前部的车载摄像机用于采集和识别路侧标识标牌、路面不特 定抛撒物以及路侧边坡变形；左、右侧的车载摄像机用于采集路侧护板和边 坡变形；后部的车载摄像机用于采集移动巡检车后方3*3m的范围的路面视频 图像，识别路面病害。在本方案中，假定要求拍摄到前方20米范围的图像， 并且巡检路段为单向4车道；在实际的巡检过程中，巡检车辆应当在最外侧 低速车道的中央行驶，高速公路车道宽度为3.75米，取整3.8米，则，车辆 对侧直角边的长度为3.8*3+1.9(巡检车占半条车道)＝13.3米，即下图中的 b＝13.3米，而车辆行驶方向的直角边根据拍摄要求为20米，即a＝20米，直 角边与斜边的夹角为r，tanr＝13.3/20，则r＝33.6
°
，r的角度为巡检车辆在 最右侧车道(非应急车道)可以拍摄到最左侧超车道的角度，则本车辆前端 摄像机的水平fov应该为r*2，即不小于68
°
。原则上，本相机只负责拍摄 公路路面情况，公路两侧场景的检测工作不属于前端相机的检验范围。在本 方案中，假定要求拍摄到前方20米范围的图像，门架高度为8米，情报板分 别安装为门架上方和下方，但是远距离情况下只拍摄门架下方情报板信息， 车载摄像机安装于巡检车辆的上方高度为2米，则：a＝20米，b＝门架高度
‑ꢀ
车辆高度＝8米-2米＝6米，tanr＝6/20，r＝17
°
则，本车辆前端的镜头，垂直fov应该r*2，即不小于37
°
。通过以上计算方式获得的结论如下：前端相机 参数应当采用：景深为不小于20米，水平fov为不小于68
°
，垂直fov不小 于34
°
，帧率不低于15fps的摄像机，安装于车辆上(安装的位置包括但是 不限于车辆前部，前机器盖，车辆顶部)，车辆前方的图像可以达到如下图 所示的拍摄效果，水平方向可以覆盖到两侧的护栏，垂直范围可以覆盖到安 装于门架下方的情报板信息。本方案中，假定要求拍摄路侧10米范围的图像， 并且所驾驶的巡检车辆长度为5米，高速公路应急车道宽度为3.75米，取整 3.8米，则则b＝3.8+1.9米(巡检车占半条车道)，a＝5米， tanr＝a/b＝5/5.7＝0.88，则r＝41
°
本车辆右侧相机，水平fov＝r*2＝82
°
。本 方案中，假定要求拍摄路侧2米范围的图像，并且所驾驶的巡检车辆高度为2 米，高速公路应急车道宽度为3.75米，取整3.8米，则b＝3.8+1.9米(巡检 车占半条车道)，a＝2米，tanr＝a/b＝2/5.7＝0.35，则r＝20
°
结论就是本车辆 右侧相机的垂直fov为20
°
。右侧相机参数，应该采用：景深为不小于3.8 米，水平fov为不小于82
°
，垂直fov不小于20
°
，帧率不低于15fps的摄 像机，安装于车辆上(安装的位置包括但是不限于车辆前部或者车辆侧面)， 车辆右侧的拍摄范围可以达到横向覆盖10米，纵向覆盖2米的拍摄效果。本 方案中，假定要求拍摄路侧10米范围的图像，并且所驾驶的巡检车辆长度为 5米，高速公路应急车道宽度为3.75米，取整3.8米，则则b＝3.8*3+1.9米(巡 检车占半条车道)，a＝5米，tanr＝a/b＝5/13.3＝0.36，则r＝21
°
本车辆左侧相 机，水平fov＝r*2＝42
°
。本方案中，假定要求拍摄路侧2米范围的图像，并 且所驾驶的巡检车辆高度为2米，高速公路应急车道宽度为3.75米，取整3.8 米，则b＝3.8*3+1.9米(巡检车占半条车道)，a＝2米，tanr＝
a/b＝2/13.3＝0.15， 则r＝9
°
结论就是本车辆右侧相机的垂直fov为9
°
。右侧相机参数，应该采 用：景深为不小于14米，水平fov为不小于42
°
，垂直fov不小于9
°
，帧 率不低于15fps的摄像机，安装于车辆上(安装的位置包括但是不限于车辆 前部或者车辆侧面)，车辆左侧的拍摄范围可以达到横向覆盖10米，纵向覆 盖2米的拍摄效果。以上，为本系统搭载的车载摄像机的参数属性，根据以 上参数属性进行素材采集，采集的方法为，以当前的需求40km/h到80km/h 的车速下，分别以40km/h，41km/h，42km/h
……
依次类推，以1km/h为单位 逐渐递增的车速行驶，在行驶过程中启动车载摄像机的拍摄功能，并且在每 个车速的行驶过程中，同时开启向前，向左，向右三个摄像机的拍摄功能， 并且根据“车速与相机拍摄帧率的关系”启用对应的帧率进行拍摄，每个车 速行驶过程中，每个相机拍摄到的图片数量不少于1000000张，用于作为人 工智能深度学习的基础素材。拍摄的过程当中需要图像采集车辆通过的采集 区域具有交通情报板，门架，隧道，应急车道等各种交通环境或者标识，并 且是正式通车的道路环境，拍摄下的图片内容包含交通情报板，门架，隧道， 应急车道等各种交通环境或者标识以及各种交通参与者，包含客车，货车， 摩托车以及行人。另外再采集一种图像，该图像为高速公路上没有交通参与 者，只有路面信息和道路标识的图像。还包括云管理平台，云管理平台包括 数据交换机、储存服务器和应用服务器，数据交换机分别与储存服务器和应 用服务器数据相连，车载分析设备还包括对外输出模块，对外输出模块与信 息处理模块数据连接，对外输出模块与数据交换机之间通过无线网络相连。 车载分析设备通过gps卫星定位获取巡检车辆的实时移动速度，存储模块分 为程序存储区和数据存储区gps和相机传输过来的信息保存在数据存储区， 通过gps信息获取车速，通过车速控制车载摄像机的拍照频率相机拍出的图 像，在本地人工智能程序进行检索，对于识别到的异常问题予以上报。通过 无线网络输出到云管理平台输出给车载显示器。
34.确定在规定的车速区间范围内相机的拍摄频率，用于确定在不同的车速 区间范围内相机的工作频率，为了避免丢帧，对应帧率全部进化为整数帧率。 车速与相机拍摄帧率的关系入下表表1所示：
35.速度(km/h)行驶距离(h/m)行驶距离(s/m)3米的倍数对应帧率40-5040000-5000011～133.7～4.3550-6050000-6000013～174.3～5.7660-7060000-7000017～195.7～6.3770-8070000-8000019～226.3～7.3880-9080000-9000022～257.3～7.8不考虑
36.表1
37.帧率公式为：v*1000/3600/3
38.当需求为：车速范围40km/h到80km/h，确保3米拍摄1张图，则：
39.车速范围40km/h到50km/h，相机需要每秒拍摄5张照片，即5帧；
40.车速范围50km/h到60km/h，相机需要每秒拍摄6张图像，即6帧；
41.车速范围60km/h到70km/h，相机需要每秒拍摄7张图像，即7帧；
42.车速范围70km/h到80km/h，相机需要每秒拍摄8张图像，即8帧；
43.在相机镜头选型时，可以选择15帧的相机镜头；
44.在sensor选型时，可以支持帧率大于等于15帧sensor。
45.在固件开发过程中，在sensor支持的帧率的情况下，通过固件控制sensor 的寄存器，可以输出5帧率，6帧率，7帧率，8帧率。
46.工作原理：本发明是在高速公路巡检车辆外部安装一套硬件设备，该套 硬件设备主要由车载摄像机，架构包含但是不限于arm架构，也可以是x86 架构，车载分析设备和车载显示器构成，车载摄像机用于捕捉，采集车辆行 驶区域内的视频图像，采集到的视频图像通过数据线或网线传输至车载分析 设备，车载分析设备根据车辆当前的行驶速度和在固件中设置的拍摄频率， 实现在40km/h到80km/h车速的情况下，车辆每运动3米拍摄拍摄一张图片， 并且对图片内容进行基于人工智能深度学习的图像结构化检测，对图像中的 路面，护栏，情报板不同的重点区域进行识别，并将识别到的结果通过无线 网络上传到云端管理中心，因为本技术采用机器视觉的深度学习技术算法实 现，对于车载分析设备分析出的结果，巡检人员可以通过车载显示器也可以 了解到本次巡检任务的工作效果。采用行驶速度在40～80km/h的移动巡检车， 通过车载处理终端控制架设在车顶中后部的4台高清摄像机，以每张/3米的 拍摄频率，分别采集车辆前、后、左、右四个方向的视频图像。前部摄像机 负责采集和识别路侧标识标牌、路面不特定抛撒物(垃圾)以及路侧边坡变 形；左、右侧摄像机负责采集路侧护板和边坡变形(护板变形非此次需求)； 后部摄像机采集车辆后方3*3m的范围的路面视频图像，负责识别路面病害。 算法模型通常需要进行不断的优化。例如，当检测到路面有一种不符合交通 参与者的特征的物体，也不属于其他物品的特征，会进行报告，而报告后在 现场检测时发现属于遗撒物或丢弃的垃圾，则在算法中可以增加此类待识别 的特征。同时，如果错误的将一类物品识别为另外一类物品，则算法模型也 需要补充素材增加训练，例如遗撒物或丢弃的垃圾。因为会出现在路面上的 物品千差万别，很难做到采用技术手段对出现在路面上的所有物品进行有效 准确的识别，所以引入激光雷达扫描检测的方式。激光雷达的工作原理是构 建出扫描范围内的物体轮廓，然后通过机器学习的训练手段实现激光雷达可 以感知识别出机动车，非机动车，灯杆，情报板，门架，人员等这类具备统 一的特征的物体。在实际的行车工程中激光雷达扫描检测到的物体包含但是 不限于非机动车，灯杆，情报板，门架，人员等这类具备统一的特征的物体， 同时还有如遗撒物等不具备规则形状，不能采用人工智能深度学习技术识别 的物体，所以激光雷达的工作中，将扫描过程中扫描到的目标区分为：需检 测对象，无需检测对象和无法识别的对象。
47.实施例二：本实现方法，是在实施例一的基础上提供的一种新的技术实 现方法。此方法所涉及的针对于车载摄像机的帧率需求，帧率控制以及图像 检测的实现方法，在本段实现方法2中就不再进行重复说明，本部分，主要 针对区别于实施例一中新增的“激光雷达”所应用的技术进行说明。
48.因为会出现在路面上的物品千差万别，很难做到采用技术手段对出现在 路面上的所有物品进行有效准确的识别，所以引入激光雷达扫描检测的方式。 激光雷达的工作原理是构建出扫描范围内的物体轮廓，然后通过机器学习的 训练手段实现激光雷达可以感知识别出机动车，非机动车，灯杆，情报板， 门架，人员等这类具备统一的特征的物体。在实际的行车工程中激光雷达扫 描检测到的物体包含但是不限于非机动车，灯杆，情报板，门架，人员等这 类具备统一的特征的物体，同时还有如遗撒物等不具备规则形状，不能采用 人工智能深度学习技术识别的物体，所以激光雷达的工作中，将扫描过程中 扫描到的目标
区分为：需检测对象，无需检测对象和无法识别的对象。
49.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。