一种基于车载视频识别的营运车辆驾驶员画像分类方法

1.本发明涉及营运车辆驾驶员画像分类技术，特别涉及一种基于车载视频识别的营运车辆驾驶员画像分类方法。


背景技术：

2.随着道路建设以及交通物流运输行业的大规模发展，大型货车在高速路段占比加大，其中重点营运车辆的道路安全问题逐渐引起重视，同时围绕货车驾驶员驾驶行为分析、性格画像分类的研究逐渐增多。
3.传统营运车辆未装配智能化车载设备，无法跟踪记录车辆速度、位置信息、偏转角度等行车数据，从而无法精确对驾驶行为和司机进行划分归类。目前驾驶员画像模糊分类方法主要通过调查问卷的方式让司机对驾驶过程、行为习惯和反应状态进行评价打分，再对回收的问卷进一步分析，从而对司机性格特征、行为特征进行分类，但该方法无法实现精确分类。


技术实现要素：

4.发明目的：针对以上问题，本发明目的是提供一种基于车载视频识别的营运车辆驾驶员画像分类方法，针对不同的主动安全预警类别，提出不同分类判别指标，使用上述分类指标有效解决了在日常驾驶环境下难以提取出实验室级的精确驾驶数值的困境，使重点营运车辆驾驶员画像分类标准得到完善。
5.技术方案：本发明的一种基于车载视频识别的营运车辆驾驶员画像分类方法，该方法包括以下步骤：
6.步骤1，采集驾驶员个人信息数据、车辆停车记录数据、主动安全预警数据和预警视频记录数据，将驾驶员个人信息数据、车辆停车记录数据、主动安全预警数据和预警视频记录数据进行关联生成主动安全预警信息详细数据表；
7.步骤2，提取主动安全预警信息详细数据表中预警类别为超时疲劳的数据，生成超时疲劳驾驶记录表；提取每一位驾驶员在主动安全预警信息详细数据表中对应的预警记录，生成预警次数记录表；所述预警次数记录表中包括当前驾驶员前向碰撞预警、车道偏移预警、分身疲劳预警分别对应的触发次数；
8.步骤3，提取预警视频记录数据中的关键数据，利用关键数据计算评价指标；所述关键数据包括车牌号、经纬度、时间和速度信息；所述评价指标包括反应时间、预警前速度变化和预警后速度变化；
9.步骤4，利用预警视频记录数据中的车载前向视频计算车道偏移量；
10.步骤5，根据评价指标和车道偏移量刻画驾驶员在不同预警类型下的反应程度，对指标进行聚类，得到不同预警类型下驾驶员的分类结果；所述预警类型包括前向碰撞预警、车道偏离预警和分神疲劳预警。
11.进一步，步骤3中，提取预警视频记录数据中的关键数据，利用关键数据计算评价
指标包括：
12.对预警视频进行抽帧，提取图片；
13.对生成的图片进行检测，提取图片中的文字，根据文字生成预警详细数据表；
14.根据预警详细数据表中数据得到反应时间、预警前速度变化和预警后速度变化。
15.进一步，所述步骤4具体包括：对车道视频进行抽帧得到车道偏离图片集，利用计算机视觉识别技术对图片集进行车道线检测、识别和拟合，计算出车辆每秒的车道偏移变化量。
16.进一步，在步骤5中，前向碰撞预警下驾驶员分类过程为：以驾驶员的反应时间作为驾驶员反应快慢的衡量标准，以预警后速度变化和车道偏移量来表示驾驶员接收预警后的反应激烈程度，对三个指标数值进行标准归一化后，使用肘部法则和轮廓系数法寻找最佳分类个数，再使用k-mean++进行聚类，得到前向碰撞预警下驾驶员的分类；
17.车道偏离预警下驾驶员分类过程为：以偏离持续时间作为驾驶员反应快慢的衡量标准，以预警后速度变化以及车道偏移量来表示驾驶员接收预警后的反应激烈程度，对三个指标数值进行标准归一化后，使用肘部法则和轮廓系数法寻找最佳分类个数，再使用k-mean++进行聚类，得到车道偏离预警下驾驶员的分类；
18.分神疲劳预警下驾驶员分类过程为：以驾驶员分神疲劳持续时间作为驾驶员反应快慢的衡量标准，以累积超时疲劳驾驶总时长作为驾驶员对待预警的接受程度，以分神疲劳预警累积总报警次数作为驾驶员评判驾驶员违规的指标，对三个指标数值标准归一化后，使用肘部法则和轮廓系数法寻找最佳分类个数，再使用k-mean++进行聚类，得到分神疲劳预警下驾驶员的分类。
19.进一步，将驾驶员个人信息数据、车辆停车记录数据、主动安全预警数据和预警视频记录数据进行关联生成主动安全预警信息详细数据表具体为：
20.根据预警编号将主动安全预警数据与预警视频记录数据相关联，根据驾驶员姓名将主动安全预警数据与驾驶员个人信息数据相关联，根据车牌号将主动安全预警数据与车辆停车记录数据相关联，利用关联之后的数据构建主动安全预警信息详细数据表。
21.进一步，所述超时疲劳驾驶记录表包括车牌号、驾驶员姓名、疲劳驾驶开始时间、疲劳驾驶结束时间和持续时间。
22.有益效果：本发明与现有技术相比，其显著优点是：
23.1、本发明通过对车载视频进行文字识别及车道线检测等方法，提取出毫米级的行车速度变化以及秒级的车道偏移量，克服了现实驾驶环境中不借助安装压力传感装置从而难以获得精确的驾驶数据的困境；
24.2、本发明通过大量真实的行车数据提取出有效的驾驶员行为特征，通过对特征分类，得到不同类别驾驶员的驾驶行为阈值，计算出的阈值可以进一步用于驾驶员驾驶习惯评价体系，达到了问卷调查无法实现的数值型精确分类；
25.3、本发明针对不同预警类型，提出不同能体现驾驶员反应激烈程度与反应快慢的指标，避免了驾驶员对不同预警类型有本质上不同反应的影响，如前向碰撞预警后驾驶员的反应更多会体现在速度变化，而车道偏离预警驾驶员的反应更多会体现在车道偏移量的变化上。
附图说明
26.图1是本发明方法的整体流程图；
27.图2是本发明方法的数据信息采集结构图；
28.图3是本发明方法的车载视频数据展示图；
29.图4是本发明方法的车道偏移检测实例展示图；
30.图5是本发明模型前向碰撞预警下驾驶员分类图；
31.图6是本发明模型车道偏离预警下驾驶员分类图；
32.图7是本发明模型分神疲劳预警下驾驶员分类图。
具体实施方式
33.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。
34.本发明的目标是对重点营运车辆驾驶员的驾驶行为进行分类，根据车载前向视频与驾驶员面部视频提取有效反应驾驶行为的数据，结合上述数据提出各预警类别下(前向碰撞预警、车道偏移预警和分神疲劳预警)的分类判定指标，利用这些指标对驾驶员在不同预警类型下的驾驶习惯进行k-means++算法聚类，得到营运车辆驾驶员的行为分类及判别阈值数据。
35.本实施例中所用数据均为南京市某危险品运输公司所提供，包含2021年12月至2022年3月共4个月内装配主动安全预警系统的gps联网型重点营运车辆的行驶及停留数据、驾驶员信息数据、车辆基本数据、车载前向摄像视频和车内驾驶员面部视频数据。
36.如图1，本实施例所述的一种基于车载视频识别的营运车辆驾驶员画像分类方法，该方法包括以下步骤：
37.步骤1，采集驾驶员个人信息数据、车辆停车记录数据、主动安全预警数据和预警视频记录数据，将驾驶员个人信息数据、车辆停车记录数据、主动安全预警数据和预警视频记录数据进行关联，生成主动安全预警信息详细数据表。
38.如图2所示，驾驶员个人信息数据包括：姓名、年龄和性别。车辆停车记录数据包括：车牌号、驾驶员姓名、停车开始时间和结束时间。主动安全预警数据包括：预警编号、预警类别、车牌号、驾驶员姓名、预警开始时间和预警持续时间。预警视频记录数据为从预警开始时间的前后各5秒的视频数据。
39.将主动安全预警数据无效数值进行处理，将主动安全预警数据中空值数据作整行删除处理，对预警持续时间大于10秒以上的数据默认为异常值，对其所在行作删除处理。利用处理后的主动安全预警数据建立主动安全预警信息详细数据表。
40.根据预警编号将主动安全预警数据与预警视频记录数据相关联，根据驾驶员姓名将主动安全预警数据与驾驶员个人信息数据相关联，根据车牌号将主动安全预警数据与车辆停车记录数据相关联，利用关联之后的数据构建主动安全预警信息详细数据表。
41.步骤2，提取主动安全预警信息详细数据表中预警类别为超时疲劳的数据，生成超时疲劳驾驶记录表；提取每一位驾驶员在主动安全预警信息详细数据表中对应的预警记录，生成预警次数记录表；所述预警次数记录表中包括当前驾驶员前向碰撞预警、车道偏移预警、分身疲劳预警分别对应的触发次数。
42.超时疲劳驾驶记录表包括车牌号、驾驶员姓名、疲劳驾驶开始时间、疲劳驾驶结束时间和持续时间。将满足以下条件的驾驶定义为超时疲劳驾驶：(1)在早上5点至晚上22点之间持续驾驶超过3.5小时即进入疲劳时间；(2)在晚上22点至次日早上5点之间持续驾驶超过1.5小时即进入疲劳时间。按照规定，驾驶员在进入疲劳驾驶时间后需要停车休息，但现实行车过程中仍存在因主观意愿不停车或因客观原因无法停车而导致的违规行为，由于疲劳驾驶时段内驾驶员触发预警的频率会增加，故需要生成超时疲劳驾驶记录表用于后续分析。具体实现方法为根据车辆停车记录数据表中的停车开始、结束时间和提取出来的超时疲劳的数据中预警开始时间作对比，从预警触发时间开始计算，直至该辆车开始停车休息的时间为止，并记录到超时疲劳驾驶记录表中。举例如下，驾驶员于晚20点接受到提示已连续驾驶3.5小时并进入超时疲劳驾驶时段，倘若此时驾驶员在高速行驶无法停车，最终于晚20：30进入高速服务区休息，则认为晚20点至20：30内的30分钟为疲劳驾驶时间。提取出的超时疲劳驾驶记录如表1所示。
43.表1超时疲劳驾驶记录
44.车牌号id驾驶员id开始时间结束时间持续时间3102309272022/03/20 23:30:072022/03/20 23:35:36329秒3102299352022/03/20 19:52:092022/03/20 19:55:18189秒3102279302022/03/20 19:31:242022/03/20 19:31:3612秒
……………
45.对每一位驾驶员按照姓名在主动安全预警信息详细数据表中提取出对应的预警记录，并按照前向碰撞预警、车道偏移预警、分神疲劳预警单独计算对应触发次数，将上述数据记录到预警次数记录表。提取出的预警次数记录如表2所示。
46.表2预警次数记录
[0047][0048]
步骤3，提取预警视频记录数据中的关键数据，利用关键数据计算评价指标；所述关键数据包括车牌号、经纬度、时间(毫秒级)和速度信息；所述评价指标包括反应时间、预警前速度变化和预警后速度变化。
[0049]
提取预警视频记录数据中的关键数据，利用关键数据计算评价指标包括：
[0050]
对预警视频进行抽帧，提取图片；
[0051]
对生成的图片进行检测，提取图片中的文字，根据文字生成预警详细数据表；
[0052]
根据预警详细数据表中数据得到反应时间、预警前速度变化和预警后速度变化。
[0053]
当前视频数据时长固定为10秒，预警触发前与触发后各5秒。为了减少文字识别的复杂度，对视频进行抽帧提取图片。经过测试，车载记录视频每秒有21帧图片，采用每4帧抽取一次的频率可以得到间隔为200毫秒的图片集。对生成的图片集进行检测，得到图像规格
为1280*720像素。根据文字信息在图片中的位置，寻找待识别区域的坐标。根据图3所示，待识别区域内容有车牌号、日期时间、时速、经纬度。本实施例使用的识别方法为在python环境下调用tesseract-ocr包，通过该工具包对图片集中的图片在对应待识别区域坐标范围内进行信息提取，并生成预警详细数据表，表中包含：预警编号、车牌号、日期时间、时速和经纬度。对内容识别后生成的预警详细数据表进行预处理：(1)对所有速度为空值的数据作前向填充处理；(2)对于任意前后两条数据速度差值大于5km/h的数据，默认识别错误并令后一条数据速度值与上一条相同；(3)对预警编号为空的数据作删除整行操作。基于提取出的预警详细数据表，提取出反应时间、预警前速度变化和预警后速度变化作为后期驾驶员分类的部分判别标准。其中反应时间为预警触发时间与预警后速度发生变化时刻的差值。预警前速度变化量的计算需要考虑不同情况，不论预警前速度是否存在多次变化，只取与预警触发时间最接近的变化趋势。例如，预警前5秒至预警前3秒持续加速，预警前3秒至预警触发时为持续减速，则认为预警前驾驶员发生减速行为，取预警前3秒的车速与预警触发时的车速差值为预警前速度变化量。预警后速度变化量与预警前速度变化量类似。
[0054]
步骤4，利用预警视频记录数据中的车载前向视频计算车道偏移量。
[0055]
对车道视频进行抽帧得到车道偏离图片集，利用计算机视觉识别技术对图片集进行车道线检测、识别和拟合，计算出车辆每秒的车道偏移变化量。
[0056]
如图4所示，视频抽帧与图像预处理：对车道视频再次进行抽帧，因毫秒级别时间内的车道偏离距离变化较小，故采用每隔21帧抽取一次的频率得到间隔为1秒的图片集。通过引入hsl颜色空间以及sobel边缘提取算法，抑制无关颜色并对白色车道线边缘检测提取，通过指定车道线检测区域来减少无关区域对识别的影响，再对待检测区域的图像进行透视变换，将图像转换成二值型黑白俯视图，并在新的二维平面下检测俯视图中白色像素点(车道线)密集的两个列，即是左右车道线的大致位置。
[0057]
车道线定位及拟合：通过提取出的左右车道线大致横坐标，利用滑动窗口法对横坐标点附近进行网格化的搜索，确定出左右车道线各自的横纵坐标点，并利用python环境下numpy包内的polyfit函数对左右车道线的横纵坐标点分别作二阶多项式拟合，得到左右车道线的函数表达式如下：
[0058]
左车道：
[0059]
右车道：
[0060]
其中，a
l
、b
l
、c
l
为左车道拟合后的二阶多项式系数，由polyfit函数得到；ar、br、cr为右车道拟合后的二阶多项式系数，由polyfit函数得到。
[0061]
计算车道偏移距离量：车道偏移量由车道中间线位置及图像中间线像素差值决定，表达式为：
[0062]
d＝d
v-dc，如果
[0063]
其中，图像中间线距离dc表达式为：
[0064]
[0065]
式中，w为图像宽度，本实施例中宽度为1280像素；u为单位像素的长度，单位米。
[0066]
车道中间线位置距离dv表达式为：
[0067][0068]
式中，y
l,imax
为水平坐标上的左车道线位置，y
r,imax
为水平坐标上的右车道线位置。
[0069]
步骤5，根据评价指标和车道偏移量刻画驾驶员在不同预警类型下的反应程度，对指标进行聚类，得到不同预警类型下驾驶员的分类结果；所述预警类型包括前向碰撞预警、车道偏离预警和分神疲劳预警。
[0070]
前向碰撞预警下驾驶员分类过程为：以驾驶员的反应时间作为驾驶员反应快慢的衡量标准，以预警后速度变化和车道偏移量来表示驾驶员接收预警后的反应激烈程度，对三个指标数值进行标准归一化后，使用肘部法则和轮廓系数法寻找最佳分类个数，再使用k-mean++进行聚类，得到前向碰撞预警下驾驶员的分类。其中聚类后各类型驾驶员的指标阈值如下表3所示。
[0071]
表3前向碰撞预警驾驶员的指标阈值
[0072] 平均反应时间平均速度变化量平均侧向偏移量激进型1.83s2m/s3.44m预见型0.69s4.32m/s1.57m冷静型1.7s-3.5m/s1.5m
[0073]
本实例中，前向碰撞预警驾驶员分类如图5所示，分为激进型、预见型和冷静型。激进型驾驶员在预警提示后平均反应时间较长，平均横向偏移量大，同时无明显速度变化，表明激进型驾驶员倾向于紧跟前车行驶并寻找超车机会，以换道超车来避免碰撞；预见型驾驶员有最短的平均反应时间，较小的横向偏移量，以及微小的速度变化，表明此类驾驶员提前感知到了风险，在预警提示前做好了响应准备，故而在短时间内解除警报；冷静型驾驶员有较长的平均反应时间，最小的横向偏移量，明显的减速变化量，以上数据表明该类型驾驶员在接收到预警信号后，会观察行车环境并结合自身判断做出合理响应，在此过程中平均横向偏移量极小，无换道行为。
[0074]
车道偏离预警下驾驶员分类过程为：以偏离持续时间作为驾驶员反应快慢的衡量标准，以预警后速度变化以及车道偏移量来表示驾驶员接收预警后的反应激烈程度，对三个指标数值进行标准归一化后，使用肘部法则和轮廓系数法寻找最佳分类个数，再使用k-mean++进行聚类，得到车道偏离预警下驾驶员的分类。聚类后各类型驾驶员的指标阈值如下表4所示。
[0075]
表4车道偏离预警驾驶员的指标阈值
[0076] 平均持续时间平均速度变化量平均侧向偏移量激进型1.9s0.47m/s2.76m预见型0.96s2.92m/s1.54m温和型1.49s-0.59m/s1.35m冷静型2.42s-1.08m/s1.49m
[0077]
本实例中，车道偏离预警驾驶员分类如图6所示，分为激进型、预见型、温和型和冷静型。激进型驾驶员有较大的横向偏移量，中等的预警持续时间，无明显速度变化，与前向
碰撞中的激进型驾驶员行为类似，习惯以换道代替减速并规避预警提示；预见型驾驶员有最小的报警持续时间，较小的横向偏移量，以及较大的平均速度变化，表明驾驶员在预警前已经意识到偏移，并在短时间内返回道路中心行驶；温和型驾驶员有中等偏小的偏移持续时间，中等偏小的平均车道偏移量，无明显的速度变化，表明此类驾驶员的驾驶行为是普通温和型的，符合驾驶人员面对预警提示时常规的反应操作；冷静型驾驶员拥有最长的偏移持续时间，中等的横向偏移量，明显的减速变化，与前向碰撞预警中的分类结果类似，会结合自身判断再进一步决定如何响应警报提示。
[0078]
分神疲劳预警下驾驶员分类过程为：以驾驶员分神疲劳持续时间作为驾驶员反应快慢的衡量标准，以累积超时疲劳驾驶总时长作为驾驶员对待预警的接受程度，以分神疲劳预警累积总报警次数作为驾驶员评判驾驶员违规的指标，对三个指标数值标准归一化后，使用肘部法则和轮廓系数法寻找最佳分类个数，再使用k-mean++进行聚类，得到分神疲劳预警下驾驶员的分类。其中聚类后各类型驾驶员的指标阈值如下表5所示。
[0079]
表5分神疲劳预警驾驶员的指标阈值
[0080] 平均持续时间平均疲劳时间/每千公里平均疲劳次数/每千公里易疲劳型3.9s20min156次温和型3.6s15min72次谨慎型3s17min64次
[0081]
本实例中，分神疲劳预警驾驶员分类如图7所示，分为易疲劳型、温和型和谨慎型。易疲劳型驾驶员，每千公里的疲劳次数最多，其中每千公里疲劳驾驶时间与其他类相比处于中等偏上，同时有着较长的预警持续时间，表明该类司机在驾驶过程中，发生疲劳的可能性大并习惯持续疲劳驾驶；温和型驾驶员有较长的预警持续时间，较少的疲劳次数(次/每千公里)，较小的疲劳驾驶时间(分钟/每千公里)，该类驾驶员符合常规疲劳驾驶司机的反应，一定程度上倾向于服从预警提示并停车休息；谨慎型驾驶员，拥有最短的预警持续时间，表明系统提示疲劳后，能迅速做出反应并接触报警状态，同时最小的疲劳次数(次/每千公里)和较小的疲劳驾驶时间(分钟/每千公里)辅助表明该类司机有着谨慎的驾驶行为习惯。
[0082]
本发明通过对视频信息的深入提取可以直观刻画驾驶员的驾驶行为，并根据驾驶行为对驾驶员进行分类来寻找驾驶员在行驶过程中存在的问题。通过车载实时视频，可以高效准确的捕捉驾驶员的行车特征，与问卷调查方法相比，此类分析方法可以通过大量行驶数据进行统计分析，提供更加真实可靠的数字化证明，对驾驶行为归类、用户画像分析可以为重点营运车辆的行车安全评价体系的建立提供有力理论支撑。