基于动态场景的序列化灯光行为检测方法及电子设备与流程

本发明属于智慧车检，具体涉及一种基于动态场景的序列化灯光行为检测方法及电子设备。

背景技术：

1、随着车检领域的不断发展，对于车辆安全监管，交通事故预防至关重要。同时车检站存在审核人员审核压力大、车辆审核标准不统一、车管所在监管方面投入成本大等问题。因此在公交管部门和车检市场的迫切需求下，智慧车检技术应运而生，灯光行为检测是车检中的一项重要指标，灯光能否正常运作直接影响道路安全等问题。

2、在车检站进行灯光检测过程中，车辆停到指定查验工位，驾驶人对车的灯光进行依次操作，并通过固定机位的摄像机分别对车辆的头部和尾部进行视频录制，再从视频中检测并分析每个车灯的灯光行为，若均能检测出大灯和闪光灯的亮起和闪烁，则表示灯光项符合车辆安全上路标准。目前该项检测任务主要依赖车检站工作人员的人工查验以及对视频的人工审核，存在耗时、效率低下等亟需改进的地方。

技术实现思路

1、为解决上述问题，本发明提供一种基于动态场景的序列化灯光行为检测方法及电子设备，将视频识别与深度学习算法相结合得到的检测方法，可适用于车检中智能判断车灯是否存在相关动态行为，以此来大大降低管理人员的工作量，提高工作效率。

2、本发明的第一方面公开一种基于动态场景的序列化灯光行为检测方法，其包括：

3、步骤1：获取待检测的车灯查验录制视频，对所述录制视频进行预处理，得到序列化的车灯图片组；所述预处理包括：读取录制视频中的帧画面，检测并提取所述帧画面中的车灯图片，对每个独立车灯对象按帧先后顺序构造序列化的车灯图片组；

4、步骤2：按预设序列长度及步长构造车灯图片输入序列；

5、步骤3：将所述车灯图片输入序列输入训练完成的目标深度神经网络模型，提取车灯图片的深层语义特征和全局综合特征，输出车灯图片输入序列中每帧车灯图片的二值化分类结果；所述深度神经网络模型包括用于提取车灯图片深层语义特征的cnn网络和用于提取全局综合特征的transformer网络；所述二值化分类结果包括灯的类别及状态，所述灯的类别包括前大灯、后大灯、闪光灯三个类别，状态包括亮/灭两种；

6、步骤4：按帧先后顺序对所述二值化分类结果进行分类统计，得到车灯图片输入序列在前大灯、后大灯、闪光灯三个类别上的预测序列结果；

7、步骤5：基于所述预测序列结果分析是否存在相关动态灯光行为，若存在，则输出相应的灯光行为结果；所述灯光行为结果包括大灯亮起行为、闪光灯闪烁行为。

8、可选的，所述cnn网络采用resnet50网络结构，由4个stage的bottleneck模块组成，每个bottleneck模块内部结构为1*1+3*3+1*1的组合卷积层；

9、所述transformer网络采用6层编码器+6层解码器组合结构，每层编码器和解码器由多头自注意力层和ffn前馈网络组成，通过多个并行的多头自注意力层提取序列帧之间的全局综合特征相关性，再经过ffn前馈网络进行特征融合；

10、通过resize操作将车灯图片缩放到统一大小后输入resnet50网络，通过网络下采样到1*1大小；每层卷积通过不同数量的卷积核进行特征学习，提取出的深层语义特征；对所述深层语义特征进行reshape操作，并添加全连接层对通道维度进行降维处理；对所有特征位置赋予唯一的位置编码；

11、将所述深层语义特征加上位置编码信息输入至编码器，经编码后得到全局综合特征；通过预设数量的查询向量对编码器学习到的全局综合特征进行解码；

12、将每个解码器输出的神经元输出值输入到sigmoid函数中，得到当前帧车灯图片所属每个类别的概率值，对所述概率值进行二值化处理，得到当前帧车灯图片的二值化分类结果。

13、可选的，所述目标深度神经网络模型通过如下方式获得：

14、获取车灯查验录制视频，对所述录制视频进行预处理，得到序列化的车灯图片组；

15、对所述车灯图片组中每帧车灯图片进行人工标注赋予类别标签，所述类别标签包括big、flash、bigflash、off，其中，big和flash分别表示仅有大灯或闪光灯亮起，bigflash表示大灯和闪光灯同时亮起，off表示大灯和闪光灯都处于灭的状态；

16、按所述预设序列长度及步长构造车灯图片输入序列；

17、基于所述车灯图片输入序列，将对应的类别标签转换为前大灯、后大灯、闪光灯3个数值化标签序列，构造数值化标签序列；

18、构建深度神经网络模型，将所述车灯图片输入序列和数值化标签序列作为训练数据对所述深度神经网络模型进行训练，得到目标深度神经网络模型。

19、可选的，对所述深度神经网络模型进行训练，具体包括：

20、所述车灯图片输入序列通过前向计算的方式从深度神经网络模型的输入端到达输出端，结合损失函数和对应的数值化标签计算当前所有层的损失之和，并通过反向传播的方式进行迭代，待所述深度神经网络模型趋于收敛时，训练结束，得到所述目标深度神经网络模型。

21、可选的，所述损失函数包括bce loss和dice loss两种类型，其中：

22、bce loss损失函数的公式为：

23、

24、dice loss损失函数的公式为：

25、

26、所有层的损失之和的计算公式为：

27、

28、式中，p为每个解码器神经元的输出概率值，取值范围为(0，1)；y为每帧图片的数值化标签值，y＝0 or 1；m为神经元的个数；lossbce表示所有神经元的bce loss之和x和y分别表示每个类别的预测序列和标签序列，k为输出类别个数；lossdice表示分别对每个类别进行计算dice loss；α表示lossbce和lossdice的加权系数，取值范围为(0，1)，n为需要计算损失的解码器网络层数；loss表示对每层网络输出的两种损失加权求和，并计算所有层的总损失。

29、可选的，所述预设序列长度为64，步长为4。

30、可选的，所述步骤1具体包括：

31、步骤1.1：从车检站的查验工位获取左前、右后两种车辆检验视角的车灯查验录制视频；

32、步骤1.2：对所述录制视频进行逐帧操作，读取并保存所述录制视频中包含的所有帧画面；

33、步骤1.3：对所述帧画面进行车辆和对应车灯的检测，提取车灯图片；

34、步骤1.4：对每个独立车灯对象按帧先后顺序分别构建序列化的车灯图片组。

35、可选的，所述步骤1.3中，使用基于卷积神经网络的目标检测模型yolov5对帧画面进行车辆和对应车灯的检测，提取车灯图片。

36、可选的，所述步骤5中，基于所述预测序列结果分析是否存在相关动态灯光行为，具体包括：

37、所述前大灯、后大灯的预测数值化序列结果中，若有灯光亮起，则表示存在对应的大灯亮起行为；

38、所述闪光灯的预测数值化序列结果中，若有亮-灭-亮的周期存在，且每次亮灭持续时长均大于设定阈值，则表示存在闪光灯闪烁行为。

39、本发明的第二方面公开一种电子设备，其包括处理器和存储器，所述处理器用于调用存储器中存储的计算机程序，执行本发明第一方面及可选方案的任意一项所述的基于动态场景的序列化灯光行为检测方法。

40、本发明具有以下有益效果：

41、本发明基于智能视频审核技术，可以适用于任何复杂场景，能实现智慧车检中辅助判断车灯能否正常运作。并且，本发明涉及的硬件设备仅包括摄像头和计算机、平板电脑等电子设备，大大降低了硬件成本和运行功耗，具有较高的实用价值和广阔应用前景。