驾驶行为检测网络训练、驾驶行为检测方法、装置及设备与流程

本技术涉及图像处理，具体涉及一种驾驶行为检测网络训练、驾驶行为检测方法、装置及设备。

背景技术：

1、随着汽车行业的快速发展，安全驾驶辅助功能越来越受到关注，疲劳和分心驾驶行为是影响事故发生的重要因素。在此背景下，驾驶员疲劳和分心驾驶行为识别方法层出不穷。疲劳和分心判断是驾驶员监测系统中重要部分，其具体要求能够实时准确地识别出图像中驾驶员是否疲劳驾驶或存在影响驾驶的危险行为。

2、现有的驾驶行为检测方法中存在以下不足：1)依赖多个模型且标注成本高，现有技术中的检测方法需要依次经过人脸检测、关键点检测、交互物检测等多个模型，由关键点检测结果获得疲劳相关的行为检测信息，由交互物检测结果获得分心相关的行为检测信息，然而，多个模型在车机端串行计算难以达到检测闭眼的低时延要求，并且在训练数据准备阶段，需要人工打标面部多个关键点和交互物体框，标注成本较高；2)分心行为中的相似动作难以区分，现有技术中用于驾驶行为检测的图像细粒度分类模型通常更加关注和动作相联系的手部特征，比如，打电话动作和挠耳朵动作具有相同的手部特征，挠耳朵动作可能被误判为打电话。因此，需要提供一种更加高效的驾驶行为检测方法。

技术实现思路

1、本技术提供了一种驾驶行为检测网络训练、驾驶行为检测方法、装置、设备及存储介质，可以在提高网络对不同分心行为类别间相似分心行为的区分能力的基础上，实现驾驶行为检测的低时延与高准确率，本技术技术方案如下：

2、一方面，提供了一种驾驶行为检测网络训练方法，所述方法包括：

3、获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息，所述驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息；

4、将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到所述每个样本驾驶行为图像对应的疲劳行为预测信息；

5、将所述每个样本驾驶行为图像分别输入所述预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到所述每个样本驾驶行为图像对应的中间层分心特征和所述每个样本驾驶行为图像对应的分心行为预测信息；

6、基于所述多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，所述目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；

7、基于所述分心样本三元组对应的中间层分心特征，确定分心特征损失；

8、基于所述分心特征损失、所述分心行为标注信息与所述分心行为预测信息之间的分心行为检测损失以及所述疲劳行为标注信息与所述疲劳行为预测信息之间的疲劳行为检测损失，训练所述预设驾驶行为检测网络，得到驾驶行为检测网络。

9、另一方面，提供了一种驾驶行为检测方法，所述方法包括：

10、获取目标驾驶员对应的连续帧驾驶行为图像；

11、将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的分心行为预测信息和所述每帧驾驶行为图像对应的疲劳行为预测信息；

12、基于所述连续帧驾驶行为图像各自对应的分心行为预测信息，对所述目标驾驶员进行分心行为分析，生成所述目标驾驶员对应的分心行为检测结果；

13、基于所述连续帧驾驶行为图像各自对应的疲劳行为预测信息，对所述目标驾驶员进行疲劳行为分析，生成所述目标驾驶员对应的疲劳行为检测结果；

14、其中，所述驾驶行为检测网络是基于如上述的驾驶行为检测网络训练方法训练后得到的。

15、另一方面，提供了一种病理驾驶行为检测网络训练装置，所述装置包括：

16、样本图像获取模块，用于获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息，所述驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息；

17、疲劳行为检测模块，用于将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到所述每个样本驾驶行为图像对应的疲劳行为预测信息；

18、分心行为检测模块，用于将所述每个样本驾驶行为图像分别输入所述预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到所述每个样本驾驶行为图像对应的中间层分心特征和所述每个样本驾驶行为图像对应的分心行为预测信息；

19、分心样本三元组确定模块，用于基于所述多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，所述目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；

20、分心特征损失确定模块，用于基于所述分心样本三元组对应的中间层分心特征，确定分心特征损失；

21、网络训练模块，用于基于所述分心特征损失、所述分心行为标注信息与所述分心行为预测信息之间的分心行为检测损失以及所述疲劳行为标注信息与所述疲劳行为预测信息之间的疲劳行为检测损失，训练所述预设驾驶行为检测网络，得到驾驶行为检测网络。

22、另一方面，提供了一种驾驶行为检测装置，所述装置包括：

23、图像获取模块，用于获取目标驾驶员对应的连续帧驾驶行为图像；

24、驾驶行为检测模块，用于将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的疲劳行为预测信息和所述每帧驾驶行为图像对应的分心行为预测信息；

25、分心行为分析模块，用于基于所述连续帧驾驶行为图像各自对应的分心行为预测信息，对所述目标驾驶员进行分心行为分析，生成所述目标驾驶员对应的分心行为检测结果；

26、疲劳行为分析模块，用于基于所述连续帧驾驶行为图像各自对应的疲劳行为预测信息，对所述目标驾驶员进行疲劳行为分析，生成所述目标驾驶员对应的疲劳行为检测结果；

27、其中，所述驾驶行为检测网络是基于如上述的驾驶行为检测网络训练装置训练后得到的。

28、另一方面，提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的驾驶行为检测网络训练方法或驾驶行为检测方法。

29、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的驾驶行为检测网络训练方法或驾驶行为检测方法。

30、本技术提供的驾驶行为检测网络训练、驾驶行为检测方法、装置、设备及存储介质，具有如下技术效果：

31、利用本技术提供的技术方案，仅需要对多个样本驾驶行为图像分别进行分心行为和疲劳行为的预标注，降低训练数据的标注成本，接着将多个样本驾驶行为图像中每个样本驾驶行为图像分别输入预设驾驶行为检测网络进行驾驶行为检测，得到每个样本驾驶行为图像对应的中间层分心特征、分心行为预测信息和疲劳行为预测信息，并基于多个样本驾驶行为图像各自对应的分心行为预测信息，对多个样本驾驶行为图像进行针对分心行为的误识别样本筛选，以筛选出网络难以识别的分心行为类别间差异较小的目标误识别样本，及其正负样本，生成分心样本三元组，然后确定分心样本三元组对应的分心特征损失，最终基于分心特征损失、每个样本驾驶行为图像对应的分心行为标注信息与分心行为预测信息之间的分心行为检测损失以及每个样本驾驶行为图像对应的疲劳行为标注信息与疲劳行为预测信息之间的疲劳行为检测损失，训练预设驾驶行为检测网络，得到驾驶行为检测网络，通过三元组特征损失和行为类别损失，训练驾驶行为检测网络，可以在提高网络对不同分心行为类别间相似分心行为的区分能力的基础上，实现驾驶行为检测的低时延与高准确率。