一种地铁司机车载驾驶行为分析方法、车载终端及系统与流程

技术特征：

1.一种地铁司机车载驾驶行为分析方法，其特征在于，包括：

S1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；

S2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；

S3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；

S4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

S11，使用红外视觉传感器采集地铁司机的标准工作视频，并在采集过程结束后从所述标准工作视频中均匀提取出图像帧，对所述图像帧中司机双手位置坐标点以及时间戳进行标注，将标注后的图像帧进行保存，生成驾驶动作数据库；

S12，使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像，从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存，生成面部状态数据库。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2进一步包括：

S21，基于所述驾驶动作数据库，采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型；

S22，构建用于状态辨识的深度学习网络模型，并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型。

4.根据权利要求3所述的方法，其特征在于，所述步骤S21进一步包括：

S211，针对同一个动作，将所述驾驶动作数据库中所有描述该动作的图像帧提取出来，重复训练所述动作多次；

S212，将该动作过程中的任一时刻的双手轨迹点记为多次训练获得的均值，并将所述双手轨迹点按时间顺序记录在一张图片上，生成轨迹图，所述轨迹图记载了该动作时间序列的所有轨迹点，并对所述轨迹图中各轨迹点的位置设置阈值；

S213，重复步骤S211和S212，直至完成所述驾驶动作数据库中所有动作的训练。

5.根据权利要求3所述的方法，其特征在于，步骤S22中所构建的用于状态辨识的深度学习网络模型包括：

顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层、第八卷积层、第五池化层、全连接层、Softmax输出层和自编码器。

6.根据权利要求5所述的方法，其特征在于，步骤S22中利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型的步骤进一步包括：

从所述面部状态数据库中取出连续多帧图片输入所述第一卷积层开始进行卷积计算；

将所述全连接层的输出向量经激活函数计算得到预测值，使用交叉熵损失函数计算所述预测值与真实值的损失函数值，并最小化损失函数值；

通过随机梯度下降法不断调整网络权重和偏置并重新计算损失函数值，直至损失函数值趋于稳定或到达设定的迭代次数，获得分类后的图片特征；

将所述分类后的图片特征输入所述自编码器进行编码压缩，抽象出深度特征，再通过解码重构输入的图片特征，通过反向传播算法不断迭代训练，直至自编码器学习的误差小于预设阈值时完成训练；

将训练完成的所述深度学习网络模型的结构和参数固化，获得司机状态识别模型。

7.根据权利要求1所述的方法，其特征在于，步骤S4中利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规的步骤进一步包括：

将所述驾驶动作轨迹输入训练好的司机驾驶动作识别模型中，通过比较所述驾驶动作轨迹与所述司机驾驶动作识别模型中的轨迹点的偏差是否在预设阈值范围内，判断司机的驾驶动作是否符合规范。

8.根据权利要求1所述的方法，其特征在于，步骤S4中利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常的步骤进一步包括：

将所述连续多帧图像输入所述司机状态识别模型，输出所述司机面部状态的分类结果，根据所述分类结果判定司机的面部状态是否正常。

9.一种车载终端，其特征在于，包括：处理器模块、用户定制板和专用电源模块，其中，

所述处理器模块由256核NVIDIA Pascal GPU和一个6核64位的ARMv8处理器集群组成，用于执行如权利要求1-8任一所述的方法；

所述用户定制板用于实现总线扩展存储功能、4G无线通讯功能，并对所述处理器模块的外接口进行保护引出；

所述专用电源模块用于将直流110V电压转换为所述处理器模块使用的直流低电压。

10.一种地铁司机车载驾驶行为分析系统，其特征在于，包括：如权利要求9所述的车载终端、通信层和云管理平台，其中，

所述通讯层用于负责所述车载终端与云管理平台间的数据传输；

所述云管理平台用于实现在线自学习与大数据分析功能。