基于多任务算法的护学岗视觉监测系统

文档序号:37795895发布日期:2024-04-30 17:06阅读:来源:国知局

技术特征:

1.基于多任务算法的护学岗视觉监测系统,其特征在于:包括护学岗亭(1);所述护学岗亭(1)上设置有视觉传感器(3),且护学岗亭(1)周边设定监测区域,所述视觉传感器(3)采集监测区域内的图像,所述采集的图像传输至图像分析模块中分析,所述图像分析模块至少搭建车牌检测任务、姿态检测任务以及面部是否有佩戴物任务这三个任务的监测算法网络,所述车牌检测任务、姿态检测任务以及面部是否有佩戴物任务的监测算法均包括编码层和解码层,所述车牌检测任务、姿态检测任务以及面部是否有佩戴物任务的监测算法采用同一个编码层。

2.根据权利要求1所述的基于多任务算法的护学岗视觉监测系统,其特征在于:所述编码层包括backbone模型和neck模型;所述backbone模型是用于特征提取,采用轻量级网络nr-mobilenetv3;所述neck模型由spp模块和fpn模块组成,所述neck模型融合nr-mobilenetv3提取的特征,将neck模型融合加工的特征作为解码层的输入;所述解码层包括ocr-head、pose-head和yolo-head;所述ocr-head处理车牌检测任务,pose-head处理姿态检测任务,yolo-head处理面部是否有佩戴物任务。

3.根据权利要求2所述的基于多任务算法的护学岗视觉监测系统,其特征在于:所述网络nr-mobilenetv3是在网络mobilenetv3的基础上引入特征重建模型;所述特征重建特征模型包括特征提取模块和图像还原模块;所述特征提取模块将通过卷积提取图像的浅层特征输入通道注意力模块和像素注意力模块;所述通道注意力模块将权重转移到被雨水和雾气影响的特征信息,所述像素注意力模块对图像中的每一个像素点加权,采用残差结构,将浅层特征输入深层网络;得到去雨、去雾的推理公式:

4.根据权利要求3所述的基于多任务算法的护学岗视觉监测系统,其特征在于:所述图像还原模块将提取的深层特征映射到去雨、去雾图像中,所述图像还原模块由三个ghost模块和一个卷积组成;第一个ghost模块对提取的特征图做整合细化处理,第二个第三个ghost模块对特征图进行降维;图像还原模块输出与修复模块得到的特征图相融合后,输入最后的卷积层再输出;得图像还原模块推理公式:

5.根据权利要2所述的基于多任务算法的护学岗视觉监测系统,其特征在于:所述ocr-head处理车牌检测任务,将编码层提取的特征信息输入ocr网络,对输出的特征进行后处理操作,得到检测的每一个字符的类别信息和位置信息,将类别信息与预先设置好的字符进行对应能够得到每一个位置的字符信息,以及对于车牌字符依据位置信息进行排序操作,识别车牌;具体检测步骤如下:

6.根据权利要求2所述的基于多任务算法的护学岗视觉监测系统,其特征在于:所述pose-head处理姿态检测任务,将编码层提取的特征信息输入open pose关节点定位网络得到人体骨架关节点信息;判断手部关键点与肩关节关键点的位置关系,得到手臂的姿态变化;设定手部21个关键点分别为hand0,hand1,...,hand20,肩关节关键点为sh0,推理公式如下:

7.根据权利要求6所述的基于多任务算法的护学岗视觉监测系统,其特征在于:判断学生上下学是否摔倒的检测,基于人体骨架关节点数据以及三个条件的判断;三个条件均满足,则认为人员发生摔倒;

8.根据权利要求2所述的基于多任务算法的护学岗视觉监测系统,其特征在于:所述yolo-head处理面部是否有佩戴物任务,将编码层提取的特征信息输入原yolov8算法的头部网络解码,完成对面部是否有佩戴物任务的检测;调整置信度参数、长宽参数、坐标偏移量参数、以及类别参数生成最终的预测框;设定编码层输出的特征图左上坐标为(rx,ry),特征图中生成的先验框的宽和高分别为hw和hh;生成预测框的具体方法如下:


技术总结
本发明公开了一种基于多任务算法的护学岗视觉监测系统,包括护学岗亭;所述护学岗亭上设置有视觉传感器,且护学岗亭周边设定监测区域,所述视觉传感器采集监测区域内的图像,所述采集的图像传输至图像分析模块中分析,所述图像分析模块至少搭建车牌检测任务、姿态检测任务以及面部是否有佩戴物任务这三个任务的监测算法网络,所述车牌检测任务、姿态检测任务以及面部是否有佩戴物任务的监测算法均包括编码层和解码层,所述车牌检测任务、姿态检测任务以及面部是否有佩戴物任务的监测算法采用同一个编码层;多个任务共享同一个编码层,能够减少计算量,提升检测速度;减少交警、老师和家长时间精力的投入,及时管理和监测学生的各个方面的状况。

技术研发人员:张堃,欧阳鹏,吴承刚,刘志诚,吴建国
受保护的技术使用者:南通理工学院
技术研发日:
技术公布日:2024/4/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1