本发明涉及道路交通安全领域,特别是涉及一种基于ifast-rcnn算法的道路交通安全保护模型。
背景技术:
近年来,我国的城镇化建设、国民经济和科技水平得到了大力的发展,我国居民的汽车保有量逐年增加,在汽车保有量越来越多的情况下,不可避免的会发生交通事故。近年来,公路网络基本已经形成,作为公路交通的重要组成部分的交通监控系统更是不断地优化和完善,基本全面覆盖了主要路段,这为降低交通事故发生率提供了有力的保障。其实各类的交通事故,大部分都是可以避免的,只要我们能够在事故发生前对驾驶员发生警报,便可以有效的避免事故的发生。
从交通事故的本身来说,事故的原因主要可细化成以下两方面:一方面是驾驶员驾驶行为的不规范;另一方面是车外驾驶条件的恶劣或隐藏的危险。因此我们可以从以上两方面入手,这两方面都涉及图像识别领域,所以可以用高性能的深度学习模型对拍摄的驾驶员驾驶姿势图像或车外行驶条件图像进行识别,当发现危险时及时给出警报,从而避免事故的发生。在图像识别模型中,需要考虑两大难题:1.深度学习模型的性能极大的受到训练数据数量的制约,如何获取海量的样本数据以及将这些数据有效的利用成为了一个亟待解决的问题;2.摄像机所拍摄的图片在雨雾天气下可能会模糊,导致图像识别模型不能很好的提取特征,从而降低模型的识别精度。
国内涉及道路交通安全方面的专利有“一种公路交通安全智能监测系统”(202010201104.4),该专利主要是针对道路交通中的温度、雨雪、结冰、能见度和交通事故等方面进行分析,其采用了anfis神经网络对交通事故进行分类,从而实现对公路交通事故程度等级的检测、预测和预警,但该专利中未考虑到恶劣条件下数据采集的不稳定性给模型识别精度带来的干扰。国家发明专利“一种基于can数据的驾驶安全提醒方法、装置及介质”(201910926150.8),该方法基于线路空间和时间的划分,定义阈值判断规则自动生成不规范驾驶行为规则阈值,另外采用hmm和k-means聚类方法对所述不规范驾驶行为中的误判进行过滤,统计分析驾驶员及各线路的运行趋势并发出警示,但该方法中的不规范驾驶的阈值的定义不具有自适应性,从而对该方法的泛化性产生了一定的限制。由此可见,设计一个抗干扰且泛化性良好的道路安全保护模型是非常有必要的。
技术实现要素:
为解决上述问题,本发明在asp数据库、msrcr算法和fast-rcnn模型的基础上,提出了一种基于ifast-rcnn算法的道路交通安全保护模型。为了充分的利用数据样本,使用asp数据库存储模型训练数据,并支持数据库的扩充和共享,从而可以极大的扩充ifast-rcnn模型的训练样本量以提高模型的准确性和泛化性。考虑到恶劣环境如雨雾天气,摄像头拍摄的图像不清晰而对模型的识别精度产生影响,本发明采用了msrcr算法对图像进行预处理以削弱图片的失真程度,而后利用fast-rcnn模型对增强后的图像进行特征提取,从而实现对不规范的架势姿势或危险的道路交通条件的识别,并及时的警报以避免交通事故的发生。为达此目的,本发明提供一种基于ifast-rcnn算法的道路交通安全保护模型,具体步骤如下,其特征在于:
步骤1,训练数据采集:利用高清摄像头拍摄的驾驶员驾驶姿势和车外道路环境图片,确定相应的标签后上传至asp数据库中;
步骤2,离线模型训练:上位机程序从asp数据库中获取相应的训练数据,从而对提出的ifast-rcnn算法模型进行训练,直至模型得以收敛;
步骤3,模型在线应用:高清摄像头将实时拍摄的驾驶员驾驶姿势和车外道路环境图片输入到步骤2中已训练好的ifast-rcnn算法模型中进行判别,若预警到危险的发生,则播报相应的警报,反之继续进行实时监测;
步骤4,模型的优化升级:若预警正确,驾驶员需立马修正驾驶姿势或驾驶行为,反之,反馈此次错误播报的结果,并上传至asp数据库中的模型纠错训练数据集中以供模型更新升级。
进一步,步骤1中将采集到的数据上传至asp数据库的具体描述为:
基于物联网大数据共享的思想,本发明支持各地驾驶员姿势图像和道路图像上传至asp数据库中,该数据库共享,从而可以极大的扩充ifast-rcnn模型的训练样本量以提高模型的准确性和泛化性。
进一步,步骤2中所提的ifast-rcnn模型的训练过程可分为以下步骤:
步骤2.1,采用msrcr算法对摄像机拍摄图片进行处理以削弱图片的失真程度,该过程可具体描述如下:
步骤2.1.1,利用msr算法对图像进行预处理以得到初步增强的图像,该过程的原理公式为:
式中,
步骤2.1.2,对步骤2.1.1处理得到的图像进行修正增强,该过程的原理公式为:
式中,ci(x,y)代表第i个颜色通道的恢复因子,其具体的表达式为:
步骤2.2,将步骤2.1得到的增强图像输入到fast-rcnn网络中,实现对fast-rcnn模型的训练,具体步骤可以描述如下:
步骤2.2.1,利用vgg16网络中的卷积和池化层逐层提取图像中的特征以得到feature-map,其采用的网络结构为:卷积层1—卷积层2—池化层1—卷积层3—卷积层4—池化层2—卷积层5—卷积层6—卷积层7—池化层3—卷积层8—卷积层9—卷积层10—池化层4—卷积层11—卷积层12—卷积层13—池化层5;
步骤2.2.2,将feature-map映射到步骤2.1得到的增强图像上,并生成k个anchor;
步骤2.2.3,利用fast-rcnn中的rpn网络进行分类,并对存在危险的驾驶动作或者危险的行驶路况进行回归,并确定相应的候选框;
步骤2.2.4,利用roipooling层求得每个候选框在feature-map所映射的特征,而后转换为相应的特征向量;
步骤2.2.5,利用全连接层和softmax分类层实现对步骤2.2.4得到的特征向量的判断。
进一步,步骤4中所提的ifast-rcnn模型的优化升级的具体描述为:
ifast-rcnn模型会不间断的对asp数据库中纠错集中的训练数据进行检测,当训练数据的数量达到设定的阈值200时,会对模型进行更新以提高模型的准确性和泛化性能。
本发明一种基于ifast-rcnn算法的道路交通安全保护模型,有益效果:本发明的技术效果在于:
1.本发明使用asp数据存储模型训练数据,并支持数据库的扩充和共享,从而可以极大的扩充ifast-rcnn模型的训练样本量以提高模型的准确性和泛化性;
2.本发明采用了msrcr算法对图像进行预处理以削弱图片的失真程度,从而可以消除恶劣环境下因摄像头拍摄的图像不清晰而对模型的识别精度产生的影响,接着利用fast-rcnn模型对增强后的图像进行特征提取,从而实现对不规范的架势姿势或危险的道路交通条件的识别,及时的警报以避免交通事故的发生。
附图说明
图1为本发明的流程图;
图2为本发明所用的ifast-rcnn模型的网络结构图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提出了一种基于ifast-rcnn算法的道路交通安全保护模型,旨在对危险的架势姿势和车辆道路条件进行识别,并及时的发出警报以避免交通事故的发生。图1为本发明的流程图。下面结合流程图对本发明的步骤作详细介绍。
步骤1,训练数据采集:利用高清摄像头拍摄的驾驶员驾驶姿势和车外道路环境图片,确定相应的标签后上传至asp数据库中;
步骤1中将采集到的数据上传至asp数据库的具体描述为:
基于物联网大数据共享的思想,本发明支持各地驾驶员姿势图像和道路图像上传至asp数据库中,该数据库共享,从而可以极大的扩充ifast-rcnn模型的训练样本量以提高模型的准确性和泛化性。
步骤2,离线模型训练:上位机程序从asp数据库中获取相应的训练数据,从而对提出的ifast-rcnn算法模型进行训练,直至模型得以收敛;
步骤2中所提的ifast-rcnn模型的训练过程可分为以下步骤:
步骤2.1,采用msrcr算法对摄像机拍摄图片进行处理以削弱图片的失真程度,该过程可具体描述如下:
步骤2.1.1,利用msr算法对图像进行预处理以得到初步增强的图像,该过程的原理公式为:
式中,
步骤2.1.2,对步骤2.1.1处理得到的图像进行修正增强,该过程的原理公式为:
式中,ci(x,y)代表第i个颜色通道的恢复因子,其具体的表达式为:
步骤2.2,将步骤2.1得到的增强图像输入到fast-rcnn网络中,实现对fast-rcnn模型的训练,具体步骤可以描述如下:
步骤2.2.1,利用vgg16网络中的卷积和池化层逐层提取图像中的特征以得到feature-map,其采用的网络结构为:卷积层1—卷积层2—池化层1—卷积层3—卷积层4—池化层2—卷积层5—卷积层6—卷积层7—池化层3—卷积层8—卷积层9—卷积层10—池化层4—卷积层11—卷积层12—卷积层13—池化层5;
步骤2.2.2,将feature-map映射到步骤2.1得到的增强图像上,并生成k个anchor;
步骤2.2.3,利用fast-rcnn中的rpn网络进行分类,并对存在危险的驾驶动作或者危险的行驶路况进行回归,并确定相应的候选框;
步骤2.2.4,利用roipooling层求得每个候选框在feature-map所映射的特征,而后转换为相应的特征向量;
步骤2.2.5,利用全连接层和softmax分类层实现对步骤2.2.4得到的特征向量的判断。
步骤3,模型在线应用:高清摄像头将实时拍摄的驾驶员驾驶姿势和车外道路环境图片输入到步骤2中已训练好的ifast-rcnn算法模型中进行判别,若预警到危险的发生,则播报相应的警报,反之继续进行实时监测;
步骤4,模型的优化升级:若预警正确,驾驶员需立马修正驾驶姿势或驾驶行为,反之,反馈此次错误播报的结果,并上传至asp数据库中的模型纠错训练数据集中以供模型更新升级。
步骤4中所提的ifast-rcnn模型的优化升级的具体描述为:
ifast-rcnn模型会不间断的对asp数据库中纠错集中的训练数据进行检测,当训练数据的数量达到设定的阈值200时,会对模型进行更新以提高模型的准确性和泛化性能。
图2为本发明所用的ifast-rcnn模型的网络结构图。该结构图可简化为以下三大模块:图像采集与msrcr增强模块、fast-rcnn模块和结果输出模块。其中图像增强模块中采用了msrcr算法,该算法在msr算法的基础上对图像失真度进行进一步的修正调整,解决了因恶劣天气条件下拍摄的图片不清晰而导致fast-rcnn模型识别精度下降的问题,从而提高模型的准确率。在fast-rcnn模块中,采用了卷积池化作为特征提取的手段来提取feature-map,并结合rpn卷积神经网络和roipooling池化等处理算法实现对驾驶员危险驾驶姿势或危险的道路交通环境的警报,从而避免交通事故的发生。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。