基于YOLOv8的学习行为识别与提醒系统及方法

本发明属于人体行为识别，具体涉及一种基于yolov8的学习行为识别与提醒系统及方法的设计。

背景技术：

1、目前国内外人体行为识别技术正在飞速发展，麻省理工学院（mit）媒体实验室利用人们身上佩戴的加速度计，通过连续采集传感器数据和模式识别技术，成功地识别出了日常生活中的20种常见行为。2010年，王喜昌等人将加速度计放置在上肢，并利用三轴加速度信息来识别上肢动作，取得了较高的准确率。2012年，研究者们采用了深度卷积神经网络模型，在原始的rgb像素空间上进行训练，这个模型包含了6000万个参数和5层卷积网络，总共由65万个神经元构成，并且研究者们使用了图形处理单元（gpu）进行加速，这个深度学习模型取得了很大的创新。vishwakarma等人利用无监督学习的方法在weizman数据集上实现了100%的识别准确率，无监督学习的方法无需人工标注数据集或者只需要较少的标签，就能够达到很好的训练效果，这为人体行为识别的训练提供了广阔的应用前景。

2、早期研究采用加速度计来识别人体行为的方式，其应用受到很大的局限，并且操作比较麻烦，准确率较低。现有人体行为识别技术很多是基于yolov3、yolov5算法，这些算法缺点是泛化能力差、精度相对较低、目标位置误差较大，并且容易出现过拟合和欠拟合，模型鲁棒性较差。并且基于yolo网络优先保证速度的前提下，yolo的算法对于小目标的特征提取往往比较困难，原因是由于yolo算法的卷积底使用的卷积核大小为7x7，大网格对于小目标的特征提取容易失真，往往在训练轮次尚低的情况下就因为纳入过多的噪音而导致模型发生过拟合。

技术实现思路

1、本发明的目的是为了解决现有人体行为识别技术泛化能力差且精度相对较低的问题，提出了一种基于yolov8的学习行为识别与提醒系统及方法。

2、本发明的技术方案为：第一方面，本发明提供了一种基于yolov8的学习行为识别与提醒系统，包括控制模块、硬件采集模块、电源管理模块、行为识别模块、可视化模块和提醒模块；控制模块用于对硬件采集模块、行为识别模块、可视化模块和提醒模块进行控制；电源管理模块用于为控制模块、硬件采集模块、行为识别模块、可视化模块和提醒模块提供工作电源；硬件采集模块用于实时采集用户的学习图像；行为识别模块用于根据用户的学习图像，采用改进yolov8算法网络识别用户的学习行为；可视化模块用于通过可视化界面显示用户的学习行为图像；提醒模块用于当检测到用户的异常学习行为时，采用语音及弹窗向用户进行提醒。

3、进一步地，硬件采集模块包括云台底座、第一舵机、第一l形板、第二舵机、第二l形板、第三舵机和凹板，第一l形板的一端通过螺栓分别与云台底座以及第一舵机连接，其另一端通过螺栓分别与第二l形板的一端以及第二舵机连接，第二l形板的另一端通过螺栓分别与第三舵机以及凹板的一个侧面连接，凹板的底面开设有一个固定孔，用于固定连接摄像机。

4、进一步地，行为识别模块中的改进yolov8算法网络为将轻量级注意力模块cbam插入yolov8的卷积网络cnn中得到的网络，其损失函数采用回归损失函数+ vfl损失函数：

5、；

6、；

7、其中表示预测目标边界框和真实目标检测框的交并比，表示预测目标边界框和真实目标检测框之间的欧式距离，表示预测目标边界框的中心点，表示真实目标检测框的中心点，表示预测目标边界框和真实目标检测框闭合区域的对角线距离，表示权重系数，表示预测目标边界框和真实目标检测框相对比例的一致性，表示得分概率，表示样本标签，当预测目标边界框和真实目标检测框相交时，表示正样本，当预测目标边界框和真实目标检测框无相交时，表示负样本，表示减少负样本贡献的参数。

8、进一步地，可视化模块采用pyqt5设计一个可视化界面，并将可视化界面连同yolov8打包成一个可执行的exe文件。

9、进一步地，提醒模块通过设置置信度阈值检测用户的异常学习行为，当目标用户被识别的置信度超过0.7且达到连续十帧，则会判定用户发生异常学习行为。

10、第二方面，本发明提供了一种基于yolov8的学习行为识别与提醒方法，包括以下步骤：

11、s1、通过摄像机实时采集用户的学习图像，制作关于检测目标的图像数据集，并对图像数据集进行标注，得到标注文件。

12、s2、将标注文件中的图像数据集划分为训练集和验证集，并将划分后的标注文件编译为可执行的exe文件。

13、s3、对yolov8算法网络进行改进，得到改进yolov8算法网络。

14、s4、通过训练集对改进yolov8算法网络进行训练，并通过验证集对训练完成后的改进yolov8算法网络进行验证，得到最优权重模型文件。

15、s5、根据最优权重模型文件推理识别用户的学习行为。

16、s6、通过可视化界面显示用户的学习行为图像，当检测到用户的异常学习行为时，采用语音及弹窗向用户进行提醒。

17、进一步地，步骤s1包括以下分步骤：

18、s11、通过摄像机实时采集用户的学习图像，制作关于检测目标的图像数据集。

19、s12、采用图像标注工具labelimg遍历图像数据集中的所有图片，将其按hp0开始的顺序排列，并将图片名称与json文件一一对应。

20、s13、通过opencv和numpy库，读取单个json文件内的信息，并将其保存在函数df中。

21、s14、遍历所有json文件，将所得信息绘制成表，导出为包含文件名、图片的长宽、标注的类别、标注框的点坐标以及标注框的长宽的csv标注文件。

22、进一步地，步骤s3中改进yolov8算法网络为将轻量级注意力模块cbam插入yolov8的卷积网络cnn中得到的网络，其损失函数采用回归损失函数+ vfl损失函数：

23、；

24、；

25、其中表示预测目标边界框和真实目标检测框的交并比，表示预测目标边界框和真实目标检测框之间的欧式距离，表示预测目标边界框的中心点，表示真实目标检测框的中心点，表示预测目标边界框和真实目标检测框闭合区域的对角线距离，表示权重系数，表示预测目标边界框和真实目标检测框相对比例的一致性，表示得分概率，表示样本标签，当预测目标边界框和真实目标检测框相交时，表示正样本，当预测目标边界框和真实目标检测框无相交时，表示负样本，表示减少负样本贡献的参数。

26、进一步地，步骤s5包括以下分步骤：

27、s51、将最优权重模型文件best.pt在yolov8的源代码目录中替换默认的yolov8n.pt权重文件。

28、s52、启动推理网络，通过摄像机推理识别用户的学习行为。

29、进一步地，步骤s6包括以下分步骤：

30、s61、采用pyqt5设计一个可视化界面显示用户的学习行为图像，并将可视化界面连同yolov8打包成一个可执行的exe文件。

31、s62、当上位机判断摄像头识别到物体后，进入预警判别程序。

32、s63、当目标用户被识别的置信度超过0.7且达到连续十帧，判定用户发生异常学习行为，通过语音及弹窗向用户进行提醒。

33、本发明的有益效果是：

34、（1）本发明采用基于深度学习的学习行为识别与提醒系统，可以更好地监督用户的学习行为，提高学习效率，并实现个性化的行为监督，利用弱监督和无监督学习的方法，进一步降低了训练过程中的人工标注成本，同时提高了模型的泛化能力。

35、（2）本发明采用改进yolov8算法网络识别用户的学习行为，yolov8将yolov5的c3结构换成了梯度流更丰富的c2f结构，并对不同尺度模型调整了不同的通道数，大幅提升了模型的性能；c2f结构假设在一个cbs卷积层内，类似于做了特征融合，让yolov8可以在保证轻量化的同时获得更加丰富的梯度流信息。

36、（3）本发明将轻量级注意力模块cbam插入yolov8的卷积神经网络cnn中，cbam集成了通道注意力和空间注意力模块，并且通过cbs思想将其连接，大大加快了改进yolov8算法网络的运行速度，并且提高了原本网络的特征精度。

37、（4）本发明采用pyqt5设计一个可视化界面显示用户的学习行为图像，并将该可视化界面连同yolov8打包成一个可执行的exe文件，帮助用户直观的观测目标的学习行为情况，有利于在出现异常学习行为时做出正确的判断。

38、（5）本发明通过添加置信度阈值设计预警判别程序，当目标用户被识别的置信度超过0.7且达到连续十帧，判定用户发生异常学习行为，通过语音及弹窗向用户进行提醒，准确度高，并且比较智能化，操作方便。