一种基于ST-GCN和YOLOv5n的驾驶员吸烟检测算法

文档序号:37429461发布日期:2024-03-25 19:20阅读:来源:国知局

技术特征:

1.一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:包括下列步骤:

2.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s1中人体骨骼关键点检测的方法为:采用openpose模型,模型整体网络架构由两分支、多阶段结构的vgg为骨架;第一分支用于预测置信图,每个置信图表示人体骨架图的特定部件;第二分支预测部分亲和域,表示部件之间的关联程度;同时,细化每个分支的预测,采用多级级联连续重复在每个阶段设置损失函数,优化预测结果。

3.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s2中误检关键点处理的方法为:每帧中人体骨骼信息pose是按照置信度排序的,由于视频的焦点在驾驶员身上,对于整张输入图像驾驶员的骨架最为明显,置信度也最高,因此只保留结果文件中每帧的第一个pose信息;

4.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s2中缺失关键点处理的方法为:

5.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s3中构建时空骨架图的方法为:以每k帧为一组形成时空骨架图,首先对获得的人体骨骼图进行层次构建,建立一个由人体关节点构成的无向时空图g=(v,e);

6.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s4中基于预训练st-gcn进行时空特征提取的方法为:st-gcn网络首先对输入的时空骨架图进行bn批处理,进一步规范化输入数据,处理后的数据会经过9个st-gcn单元,网络按照每3个单元为一组,每组输出通道数分别为64、128、256;然后对输出的特征向量进行全局平均池化处理,其目的是将不同特征图转换为相同大小;最后通过softmax分类器对结果进行分类;其中每个st-gcn基本单元都由一个空间图卷积子模块gcn和一个时间图卷积子模块tcn两部分构成;在每个卷积层后添加一个bn层和relu激活函数层;在每个子模块结束后还要进行0.5丢失率的dropout操作;为了使训练更稳定对每个单元均采用了残差结构;

7.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s5中引入yolov5n网络来检测烟支目标对象的方法为:yolov5n网络结构由input、backbone、neck和head四部分组成,input延续了yolov4中的mosaic数据增强,以自适应锚帧和图像缩放的形式对输入图像进行随机裁剪和排列;backbone部分作为骨干网络,由卷积模块cbs、空间金字塔池化模块和csp模块,它的作用是结合不同层次的信息,通过增加相当的深度来提高准确率;neck部分位于backbone和head的中间位置,使用了自顶向下和自底向上的特征金字塔结构fpn+pan并进行多尺度融合;head部分主要包括边界框的损失计算函数clou_loss和非极大值抑制nms;

8.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s6中通过注意力机制模块为每个通道的特征映射分配不同的权重的方法为:三维无参注意力机制模块simam通过能量函数为每个神经元分配一个唯一的权重,评估每个神经元的重要性,能量函数定义为:

9.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s7中通过解耦头decoupled head分离目标分类和定位的方法为:decoupled head对于输入特征层,为了降低参数量,首先通过1×1卷积降维,然后增加两个并行分支分离目标分类、目标定位和置信度任务,每个通道均采用两个3×3卷积以降低解耦头的复杂度,提高模型收敛速度;yolov5n融入解耦头后得到三个输出分支:cls_output对目标框的类别预测分数;reg_output对目标框坐标信息(x,y,w,h)进行预测;obj_output用于判断目标框为前景或背景,最后融合三个输出得到最终检测结果。

10.根据权利要求1所述的一种基于st-gcn和yolov5n的驾驶员吸烟检测算法,其特征在于:所述s8中权重融合策略的方法为:获取视频图像数据源,设定模型网络权重、置信度阈值等参数进行逐帧检测;输入图像分别经过st-gcn吸烟动作识别网络和yolov5n烟支目标检测网络,每帧图像得到两个不同的置信度输出,其中st-gcn从包含该帧骨架时空图的前10帧计算输出;将两个网络的输出作为联合置信度公式输入,最终输出联合置信度,公式为:


技术总结
本发明属于检测算法技术领域,具体涉及一种基于ST‑GCN和YOLOv5n的驾驶员吸烟检测算法,本发明从吸烟动作识别和烟支目标检测角度出发,充分利用自上而下的人体姿态估计算法OpenPose对驾驶员人体关键点进行估计。将处理后的关键点以拓扑图形式按帧输入基于深度学习的行为识别网络ST‑GCN中,完成基于骨架的吸烟动作识别。相比于人工提取吸烟动作特征,本发明采用的方法较为客观且具有较强的鲁棒性。针对不能充分利用图像的空间纹理特征和容易混淆与吸烟相似动作两个问题,结合YOLOv5n算法检测图像中的烟支目标做进一步判别。最后根据两个网络的输出进行加权融合,综合考虑驾驶员是否存在吸烟行为。

技术研发人员:李雷孝,何嘉彬
受保护的技术使用者:内蒙古工业大学
技术研发日:
技术公布日:2024/3/24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1